بخشی از پاورپوینت
اسلاید 1 :
طبقه بندهای غیرخطی
Nonlinear Classifiers
اسلاید 2 :
رئوس مطالب
1- مسئله XOR
2- پرسپترون دو لایه
3- پرسپترونهای سه لایه
4- الگوریتمهای مبتنیبر طبقهبندی کامل مجموعه آموزش
5- الگوریتم پس انتشار خطا
6- تغییرپذیری در موضوع پس انتشار خطا
7- انتخاب تابع هزینه
8- انتخاب اندازه شبکه
9- شبیهسازی
10- شبکههای با اشتراک وزن
11- طبقهبندهای خطی تعمیمیافته
12- ظرفیت فضای L بعدی در طبقهبندی دو قسمتی خطی
اسلاید 3 :
13- طبقهبندهای چندجملهای
14- شبکههای شعاع مبنا
15- تقریبگرهای یونیورسال
16- شبکههای عصبی احتمالی
17- ماشین بردار پشتیبان غیرخطی
18- ماورای قضیه SVM
19- درختهای تصمیم
20- ترکیب طبقهبندها
21- رهیافت تقویت برای ترکیب طبقهبندها
22- مسئله نامتقارنی کلاس
23- بحث و جمعبندی
اسلاید 4 :
4-1- مقدمه
طراحی بهینه طبقهبندهای خطی جهت جداسازی کلاس غیرخطی با حداقل کردن خطا
4-2- مسئله XOR
توابعبول بعنوان یک کار طبقهبندی، برحسب مقادیر دادهورودی آنگاه خروجی به دو کلاس (1)A یا (0)B اختصاص مییابد.
اسلاید 6 :
هدف ابتدایی ارایه یک راهحل با پرسپترون برای XOR میباشد.
4-3- پرسپترون دو لایه
جهت جداسازی فضای XOR قبلی، از دو خط بجای یک خط استفاده کنیم!!
در این حالت داریم: ، بین دوخط ورودی x به کلاس A و در بقیه جاها به کلاس B تعلق دارد.
حالا، مسئله به دو فاز تقسیم میشود.
اسلاید 8 :
فاز اول: محاسبه مکان بردار ویژگی x برحسب هریک از دوخط تصمیم
فاز دوم: ترکیب نتایج فاز قبلی جهت یافتن مکان x باتوجه به دوخط تصمیم، یعنی بیرون یا درون قسمت هاشور خورده
برای فاز اول: یک خروجی با تابع تحریک پله درنظر بگیرید. این فاز موجب نگاشت x به فضای میشود.
در فاز دوم: تصمیمگیری مبتنیبر داده تبدیلشده (مطابق جدول 4-3)، [y1, y2]=[0,0] و [y1, y2]=[1,1] برای کلاس B و [y1, y2]=[1,0] برای کلاس A
اکنون، با ترسیم یک خط سوم بصورت g(y) با یک نرون سوم مسئله در فضای تبدیل به صورت خطی حل میشود.
نگاشت فاز اول موجب تبدیل مسئله جداپذیر غیرخطی به خطی تفکیکپذیر میشود.
در این مسئله، هر یک از سه خط با یک نرون با وزن مناسب تحقق یافتند.
ساختار بدست آمده را پرسپترون چندلایه مینامند. اینجا، پرسپترون دو لایه یا یک شبکه عصبی دولایه feedforward میباشد.
اسلاید 10 :
دو نرون فاز اول وظیفه محاسبه y را بعهده داشته و به لایه مخفی معروف میباشند.
نرون لایه دوم به لایه خروجی معروف است.
لایه ورودی دارای گرههایی برابر ابعاد بردار ویژگی میباشد. در گرههای لایه ورودی هیچ پردازشی صورت نمیگیرد.
ساختار پرسپترون چندلایه قابل تعمیم به تعداد نرونهای بیشتر در لایه مخفی و خروجی خواهدبود.
4-3-1- توانایی طبقهبندی پرسپترون دولایه
بردارهایورودی در فضای l بعدی، ، و p نرون در لایه مخفی را درنظر بگیرید. برای سادگی نرون خروجی یکی باشد.
اسلاید 11 :
با تابع تحریکپله، نگاشت فضای ورودی به رئوس یک ابرمکعب با لایه مخفی انجاممیشود.
ابرمکعب با اضلاع واحد در فضای p بعدی با Hp بصورت زیر تعریف میشود:
رئوس نقاطی هستند که دارای مقادیر میباشند.
نگاشت فضای ورودی به رئوس ابرمکعب با ایجاد p ابرمکعب توسط هر نرون در لایه مخفی حاصل میشود. خروجی هر نرون نیز 0 یا 1 است.
اسلاید 12 :
یک پرسپترون دولایه قابلیت جداسازی کلاسها با اجتماع نواحی چندوجهی را داراست، اما هر اجتماعی پذیرفته نیست.
4-4- پرسپترون سه لایه
در این معماری، دو لایه مخفی بین گرههای ورودی و لایه خروجی وجود دارند.
لایه مخفی دوم میتواند هر اجتماع از چندوجهیهای لایه اول را جدا کند.
فرض تمام نواحی مورد علاقه از تقاطع p نیم فضای l بعدی تعریف شده با p ابرصفحه از p نرون لایه اول مخفی (نگاشت فضای ورودی به رئوس ابرمکعب Hp با اضلاع واحد) ایجاد شدهاند.
اسلاید 13 :
همچنین، فرض میشود کلاس A اجتماع K چندوجهی و کلاس B از مابقی باشد.
بنابراین، تعداد نرونهای لایه مخفی دوم برابر K خواهدبود و هر نرون یک ابرصفحه را در فضای p بعدی تحقق میبخشد.
وزنهای لایه مخفی دوم طوری انتخاب میشوند که ابرصفحه ایجادشده یک رأس Hp را در یک سمت قرار داده و مابقی در سمت دیگر قرار میگیرند. برای هر نرون، در هر لحظه با وارد شدن یک ورودی از کلاس A به شبکه، خروجی یکی از K نرون لایه دوم 1 بوده و مابقی (k-1 نرون باقیمانده) 0 را نتیجه میدهند.
برای تمام بردارهای کلاس B خروجی نرونهای لایه دوم مخفی صفر هستند.
برای کار طبقهبندی، کافی است یک گیت OR را برای نرون لایه خروجی انتخاب نماییم.
بطورکلی در پرسپترون سه لایه:
- نرونهای لایه اول ابرصفحهها را تشکیل میدهند.
- نرونهای لایه دوم نواحی جداساز کلاسها را شکل میدهند.
- سرانجام، نرونهای لایه خروجی نیز کلاسها را جدا میکنند.
اسلاید 14 :
4-5- الگوریتمهای مبتنیبر طبقهبندی کامل مجموعه آموزش
نقطه شروع با یک ساختار کوچک و سپس، بزرگ شدن معماری بطور متوالی تا دستیابی به طبقهبندی کامل تمام N بردار ویژگی از مجموعه آموزش
الگوریتمهای مختلف در نحوه رشد ساختار شبکه تفاوت دارند.
الگوریتمهای مبتنیبر بسط تعداد لایهها، و یا ازدیاد تعداد نرونها در یک یا دو لایه مخفی
الگوریتم موزاییکی تشکیل معماری شبکه با تعداد لایههای زیاد (بطور معمول بیش از سه)
- برای مسئله دو کلاسه، یک گره n(X) از لایه اول با نام واحد فرمانده را درنظر بگیرید.
- این گره را با الگوریتم پاکت آموزشدهید. پساز تکمیل آموزش، این گره مجموعه آموزش را بدو قسمت X+ و X- تقسیم میکند.
- اگر X+(X-) شامل بردارهای ویژگی از هردو کلاس باشد، آنگاه یک گره دیگر n(X+) (n(X-)) بنام واحد فرعی به شبکه اضافه میکنیم.
- این گره را با دادههای مجموعه X+(X-) آموزش میدهیم.
اسلاید 15 :
- حالا اگر یکیاز X++, X+- (X-+, X--) حاصل از نرون n(X+) (n(X-)) شامل بردارهای ویژگی از هردو کلاس باشد، آنگاه گرههای فرعی دیگر اضافه میشوند. این روش تا تعداد معینی از مراحل ادامه مییابد.
- اکنون پساز لایه اول، مجموعه نگاشت شده از لایه اول بوده و لایه دوم و لایههای بعدی بطریق مشابه از روی آن ساخته میشوند.
- هر واحد فرمانده بعدی تمام بردارهای طبقهبندی شده واحد فرمانده قبلی را بعلاوه حداقل یک بردار دیگر با انتخاب مناسب وزنهای دو لایه مجاور طبقهبندی میکند.
اسلاید 16 :
4-5- الگوریتم پس انتشار خطا
در این روش از طراحی پرسپترون چندلایه، ساختار ثابت بوده و هدف، محاسبه وزنها برای حداقل نمودن یک تابع هزینه مناسب در خروجی میباشد.
برای حل مشکل مشتق ناپذیری تابع تحریک پله، از تابع پیوسته مشتقپذیر سیگمویید استفاده میشود. تابع لجستیک نمونهای از آن است:
توابع دیگر بغیر از تابع لجستیک نیز بعنوان تابع تحریک بکار میروند:
برای شروع طراحی فرضهای زیر را درنظر میگیریم:
- شبکه شامل L لایه ثابت است، k0 گره (k0= Ɩ) در ورودی و kr نرون r= 1, 2, …, L در لایه rام قرار دارد.
اسلاید 17 :
- تمام نرونها از تابع تحریک سیگمویید استفاده میکنند.
- N جفت بردار آموزش بصورت (y(i), x(i)), i= 1, 2, …, N
- خروجی یک بردار kL بعدی بصورت است.
- ورودی یک بردار ویژگی k0 بعدی بصورت است.
در طول یادگیری شبکه، خروجی با اعمال هر بردار ورودی تخمینزده میشود. خروجی در تخمین با خروجی مطلوب تفاوت داشته و بردارهای وزن برحسب یک تابع ارزش محاسبه میشوند. تابع ارزش به خروجی تخمین و مطلوب وابسته است.
با استفاده از تکنیکهای تکراری، بمثل روش شیب نزولی، تابع ارزش کمینه میشود. فرض wjr بردار وزن نرون jام در لایه rام با ابعاد kr-1+1 باشد و بصورت زیر تعریف شود:
روش تکراری بصورت زیر است:
اسلاید 18 :
در شکل زیر، vjr مجموع وزندار ورودیهای نرون jام از لایه rام بوده و yjr خروجی این نرون پساز تابع تحریک است. برای تابع ارزش نیز:
اسلاید 19 :
در رابطه قبلی، ε تابعی وابسته به خروجی مطلوب و تخمین آن میباشد. یک انتخاب ساده برای این تابع میتواند مجموع مجذور خطا باشد:
محاسبه شیب
ykr-1(i) خروجی نرون kام از لایه r-1ام برای زوج مرتب iام است و wjkr تخمین جاری وزن نرون jام از لایه rام با j= 1, 2, …, kr باشد. آرگومان تابع تحریک برابر است:
برای قراردادن مقدار آستانه در بردار وزن، y0r(i)=+1 قرارداده میشود. برای لایه خروجی خواهیم داشت و
طبق قاعده زنجیرهای داریم:
اسلاید 20 :
با تعریف عبارت زیر و جایگزینی روابط داریم:
حالا بایستی مقدار دلتا در رابطه بالا را محاسبه نماییم. محاسبات برای r= L شروع شده و به سمت عقب انتشار مییابد. حالا دلیل نامگذاری الگوریتم پس انتشار را میدانیم:
ارتباط بین ε و vjL(i) در لایه آخر ساده است و محاسبه مشتق راحت میباشد. برای لایه مخفی این ارتباط وجود نداشته و محاسبه مشتق به جزییات بیشتری نیاز دارد.
