بخشی از پاورپوینت
--- پاورپوینت شامل تصاویر میباشد ----
اسلاید 1 :
ANNها:
معماری
یک ANN شامل مجموعه ای از Elementهای در حال پردازش (نرون) است که به عنوان یک گراف متصل تفسیر می شود که هر نود (نرون) i یک تابع انتقال fi را دربر دارد.
ANNها به کلاس های انتشار روبه جلو و
بازگشتی مطابق اتصالشان تقسیم می شوند.
یادگیری در ANNها
یادگیری در ANNها به طور معمولی با استفاده از مثالهای آموزشی (training) صورت می گیرد، چون با سازگار کردن وزن های ارتباطی در شبکه های تکراری حاصل می شود.
یادگیری در ANNها به سه دسته تقسیم می شود:
یادگیری با ناظر (supervised learning)
یادگیری بدون ناظر (unsupervised learning)
یادگیری تقویتی (reinforcement learning)
اسلاید 2 :
EAها:
کلاسی از الگوریتم های جستجوی اتفاقی بر پایه جمعیت است که از ایده ها و قوانین تکامل طبیعی الهام گرفته است که شامل استراتژی های برنامه نویسی تکاملی(EP) و الگوریتم ژنتیک(GA) اند.
Framework عمومی EAها:
مقداردهی جمعیت اولیه به صورت رندم
هر فرد در داخل جمعیت ارزیابی می شود و بر اساس Fitness از جمعیت اولیه چند والد برگزیده می شود
اپراتورهای جستجو را به والدین اعمال می کنیم و تعدادی فرزند برای نسل بعد تولید می کنیم.
اسلاید 3 :
EANNها:
نوع خاصی از کلاس شبکه های عصبی مصنوعی (ANN) است که در آن تکامل یک فاکتور حیاتی دیگری از یادگیری است.
تکامل در EANNها در سه مرحله مجزا صورت می گیرد:
تکامل وزن های ارتباطی – پیدا کردن نزدیکترین ترتیب بهینه برای مجموعه وزنهای ارتباطی
تکامل معماری – رویکردی جهت طراحی ANNهای اتوماتیک با توپولوژی های پویا
تکامل قوانین یادگیری – طراحی فرآیند آموزش برای یادگیری از طریق تکامل
یک برتری قابل توجه از EANNها سازگاری آنها در محیط های پویاست.
اسلاید 4 :
تکامل وزن های ارتباطی
Weight training در ANNها معمولا با مینیمم سازی تابع خطا فرموله می شود. بیشتر الگوریتم های یادگیری بر پایه تقریب گرادیان کار می کنند.
نقطه ضعف های استفاده از تقریب گرادیان
عدم پیداکردن مینیمم های سراسری در تابع خطاهای چندمدله (گیر کردن در بهینه های محلی)
عدم قابلیت الگوریتمهای مبتنی بر گرادیان در سطوح مشتق ناپذیر
هزینه بر بودن محاسبه اطلاعات گرادیان در بعضی مسائل
راه حل: استفاده از الگوریتمهای تکاملی
الگوریتمهای تکاملی به صورت عمومی جستجو میکند و بدون نیاز به اطلاعات گرادیان، مجموعهی جوابهای نزدیک بهینه را پیدا میکند.
اسلاید 5 :
تکامل وزن های ارتباطی
رویکرد تکامل وزن ها در ANNها شامل دو حوزه اصلی است:
تصمیم گیری در مورد شیوه نمایش وزن های اتصالی
تصمیم گیری در مورد اپراتورهای جستجو مثل mutation و crossover در EAها
نمایش ژنوتایپ دودویی
مثال: اختصاص 4بیت
برای هر وزن
یک ANN با اتصال تمام وزن های ارتباطی شبکه در داخل کرومزوم رمزنگاری می شود.
بررسی trade-off بین دقت نمایش و طول کرومزوم
اسلاید 6 :
تکاملوزن های ارتباطی
نمایش ژنوتایپ عدد حقیقی
ôمثال: اختصاص یک عدد حقیقی به هر وزن
یکی از مشکلات تکامل فرآیند یادگیری در ANNها مساله جایگشت است، هر جایگشت از نرون های داخلی می تواند عملکرد معادل با شبکه ای باشد که شیوه نمایش کرومزوم آن متفاوت است.
اعمال اپراتور crossover در استنتاج وزن های اتصالی نامناسب است چون نمونه های خوب شناخته شده در طول تکامل را از بین می برد.
اسلاید 7 :
مقایسه بین یادگیری تکاملی و یادگیری بر پایه گرادیان
جذابیت آموزش تکاملی این است که الگوریتمهای تکاملی میتواند در سطوح پیچیده، چند بعدی و مشتقناپذیر جستجو کند.
اما یادگیری تکاملی برای برخی از مسائل در مقایسه با BP می تواند کند باشد.
نتیجهگیری کلی این است که کارایی و سرعت این الگوریتمها به کاربرد موردنظر بستگی دارد.
Hybrid training
الگوریتم تکاملی ناحیه جوابهای خوب را پیدا میکند. سپس این ناحیه با دقت بیشتری توسط یک الگوریتم جستجوی محلی برای پیدا کردن نقطه بهینه مورد جستجو قرار میگیرد. (ترکیب الگوریتمهای تکاملی با الگوریتمهای یادگیری)
برای مثال اصلاح فنوتایپ (یادگیری شبکه عصبی) میتواند باعث اصلاح ژنوتایپ (ماتریس وزنها با BP) و همچنین تغییر برازندگی فرد در جامعه شود.
اسلاید 8 :
تکامل معماری شبکه عصبی
تاثیر معماری شبکه عصبی بر توانایی یادگیری و تعمیم شبکه
روشهای مرسوم
طراحی معماری توسط فرد خبره
وابسته به تجربه و دانش فرد خبره
فرایند تصحیح و خطا خسته کننده
طراحی معماری با الگوریتم های سازنده-مخرب
مستعد افتادن در دام نقاط بهینه محلی
عدم پوشش همه معماری ها و تمرکز بر دسته خاصی از آنها
اسلاید 9 :
الگوریتمهای تکاملی
- سطح جستجو بی نهایت بزرگ
- سطح غیر قابل مشتق گیری است
- سطح گولزننده است
- سطح چند بعدی است
تکامل معماری
- تکامل توپولوژی
- تکامل انتقال توابع
اسلاید 10 :
تکامل معماری شبکه عصبی
نمایش مستقیم
کد گذاری تمام جزییات معماری در شبکه
ماتریس مجاورت معماری پیش خور
