مقاله تحلیل و ارزیابی کارایی دسته بند های مبتنی بر شبکه های عصبی روی پایگاه داده Proben1

بخشی از مقاله

چکیده ؛

امروزه کاربردهای شبکههای عصبی مصنوعی در زمینههای مختلف علوم و مهندسی بر هیچکس پوشیده نیست. در این مقاله از شبکه های عصبی MLP، ELMAN وRBF برای تجزیه و تحلیل پایگاه Proben1، برای دستیابی به نتایج بهتر استفاده شده است. پایگاه Proben1 شامل 15 مجموعه پایگاه داده در 12 حوزه ی مختلف است که برای دسته بندی و تقریب توابع از آنها استفاده می شود که در اینجا انجام عملیات روی پنج پایگاه آن صورت گرفت و نتایج ROC و ماتریس درهم ریختگی مشخص شد. تغییر پارامترهای هرشبکه عصبی منجر به پاسخ دهی بهتر برای دستهبندی دادههای این پایگاه شد. بهترین عملکرد و کارایی را شبکه عصبی RBF در دستهبندی و بازشناسی الگوهای موجود در این پایگاه از خود نشان داده است.

-1 مقدمه

استفاده از شبکه های عصبی به دلایل بسیاری نظیر »قابلیت عمومیت بخشی بالا«، »مقاوم بودن در برابر داده های نویزی« و »داده های گم شده«1 موجب افزایش کارایی، سرعت و دقت در دستهبندی و بازشناسی الگو میشود. برای یک سیستم دسته بندی از شبکههای عصبی برای پیشبینی دستهای که داده به آن تعلق دارد بسیار مؤثر است. علاوه بر آن استفاده از شبکه های عصبی موجب افزایش سرعت دستهبندی و بازشناسی داده ها می شود.

از نکات مهم استفاده از شبکه های عصبی انتخاب معماری و پارامترهای مختلف شبکه مدل مانند نرخ یادگیری است. همچنین استفاده از الگوریتم های مؤثرتر آموزش می تواند باعث بالارفتن سرعت یادگیری مدل شود. در این زمینه تحقیقات بسیاری در حال انجام شدن است و هر ساله شبکه های عصبی بهبود یافتهای معرفی میشوند که از آنها در بازیابی و دسته بندی استفاده می شود. این بهبودها به طور عمده شامل یافتن الگوریتم های آموزش بهینه تر و در عین حال سریع تری است که موجب بالا رفتن کارایی شبکه در دسته بندی الگوها میشود.

با توجه به اینکه همواره حل مسائل دسته بندی و بازشناسی الگوها به صورت بهینه و صحیح یک چالش به شمار میآید، در این مقاله سعی شده است کاراترین شبکهی عصبی از میان شبکههای MLP، ELMAN و RBF برای پاسخدهی و دسته بندی دادههای پایگاه Proben1 پیدا شود. در بخش اول به تشریح پایگاه Proben1، در بخش دوم به معرفی شبکههای MLP، ELMAN و RBF، در بخش سوم به بررسی نتایج آزمایشهای صورت گرفتهو نهایتاً در بخش چهارم شبکهی RBF به عنوان کاراترین شبکه در دسته بندی و بازشناسی الگوهای پایگاه Proben1 شناخته شد و جمعبندی کلی ذکر شده است.

-2 پایگاه Proben1

پایگاه Proben1 شامل 15 مجموعه داده در 12 حوزهی مختلف است که برای دستهبندی و تقریب توابع از آنها استفاده میشود. در این مقاله بر روی پنج مجموعه داده از این پایگاه بررسیهایی برای دستهبندی صورت گرفته است که در بخش بعدی، نتایج این بررسیها آورده شده است. در جدول 2 اطلاعات مربوط به پنج مجموعه داده مورد نظر نشان داده شده است

جدول :2 توصیف پایگاه داده معیار Proben1    

.3 معرفی شبکههای استفاده شده

.1-3 شبکهیMLP

آموزش یک شبکه با الگوریتم پسانتشار شامل سه مرحلهی پیشخور کردن الگوی آموزش، محاسبه و پسانتشار کردن خطای مربوط و تنظیم وزنها است.

.2-3 شبکهیELMAN

شبکهیELMAN شبکهای چندلایه با یک پس خورد1 از خروجی لایهی پنهان به ورودی آن میباشد. این مسیر پسخورد به شبکه اجازه ی یادگیری تشخیص الگوهای موقتی نظیر الگوهای فضایی - سه بعدی - را میدهد. ویژگی اختصاصی معماری این شبکه، داشتن یک لایهی اضافی از نورونهاست که عملکردهای اخیر را در نرونهای لایه پنهان ذخیره میکنند و بعد از به تأخیر انداختن این مقادیر - با مدت زمان تعیین شده - سپس آنها را به عنوان یک ورودی اضافی به نرونهای لایهی پنهان برمیگردانند. الگوریتم آموزشی برای شبکهی Elman، الگوریتم پس انتشارخطا میباشد

.3-3 شبکهیRBF

در حوزه ی مدل سازی ریاضی، RBF یک شبکه عصبی مصنوعی است که از توابع پایهای شعاعی به عنوان توابع فعالیت استفاده می کند. خروجی این شبکه یک ترکیب خطی از توابع پایه ی شعاعی برای پارامترهای ورودی و نورونهاست. این شبکه در تابع تقریب، پیش بینی سری های زمانی، کلاسبندی و کنترل سیستم مورد استفاده قرار میگیرد.

شبکه های RBF جزو شبکه های نیمه نظارتی هستند که از یک لایه نهانی در معماری خود استفاده می کنند. در لایه نهانی با استفاده از توابع پایه گوسی، شبکه نگاشتی از فضای ورودی به فضایی با ابعاد بالاتر انجام می دهد که در اثر این نگاشت می توان داده های ورودی را بسیار بهتر از یکدیگر تفکیک کرد. دو کاربرد اصلی و مهم شبکه های RBF در »دسته بندی الگوها« و »تقریب توابع « است. به طور کلی کارایی یک شبکه عصبی RBF تحت تأثیر سه عامل مهم قرار دارد: -1 روش آموزش شبکه برای تعیین وزن های بهینه، -2 روش تعیین مراکز توابع گوسی و -3 روش تعیین پهناهای توابع گوسی

.4 نتایج آزمایشها

برای ارزیابی کارایی دسته بندهای مختلف در این مقاله از معیارهایی چون منحنی 2ROC و ماتریس »درهم ریختگی«3 استفاده شده است.[1] با توجه به جدول 3 که در زیر آمده است می توان دریافت که پایگاه Proben1 با استفاده از شبکههای عصبی MLP، ELMAN وRBF در اکثر حالات به میزان 100درصد از آموزش، آزمون و متوسط کارایی رسیده است. همچنین دیده می شود که شبکهی RBF بیشترین کارایی - با مقدار 75.7 درصد - را نسبت به شبکههای MLP و ELMAN برروی مجموعه دادهی Abalone دارد.

طبق نتایج آزمایش هایی که در جدول 3 آمده است به ازای نرخ های یادگیری متفاوت همهی شبکه ها برای تمام مجموعه دادههای پایگاه Proben1 جز Abalone به میزان آموزش 100درصد رسیدهاند.

جدول:3 میزان کارایی شبکه های RBF، MLP و ELMAN

با توجه به اطلاعات ثبت شده در جدول3 میتوان نتیجه گرفت نرخهای یادگیری متفاوت تاثیری در میزان آموزش شبکههای عصبی MLP، ELMAN و RBF بر روی مجموعه دادههای Glass، Ionosphere، Wine و Irish ندارد.

با انجام آزمایش های مختلف مشخص شد اگر تعداد نورونهای لایه های نهانی در شبکه RBF یا تعداد نرونهای لایه های نهانی و تعداد لایههای نهانی در شبکه MLP و ELMAN از حدی بیشتر شوند، شبکه دچار ورآموزی میشود و منجر می شود شبکه روی دادههای آموزش به نتایج خوبی برسد - حتی صددرصد - ولی نمیتواند به دلیل ورآموزی1 روی دادههای آزمون که مهمترین قسمت برای بررسی میزان کارایی شبکه هستند به نتایج خوبی برسد.

همانطور که در شکل1 دیده میشود، محور عمودی بیانگر درصد آموزش هر شبکه بر روی هر یک از مجموعه دادهای که در محور افقی ذکر شدهاند، میباشد.

شکل :1 نمودارمقایسهی میزان درصد یادگیری دادهای آموزشی بر روی پایگاهProben1

در شکل 2 محور عمودی بیانگر درصد آزمون هرشبکه روی هر یک از مجموعه دادههای proben1 میباشد.