بخشی از مقاله
برنامه ریزی خطی حوزه حداقل ، برای پوشش تنظیم های افراطی در ماشین های یادگیری
خلاصه مطا لب
در بهینه سازی جدید ماشین های یادگیری (ELM) روش های ترکیبی پیشنهاد شده ، که به وسیله آنها ماتریس با پوشش گسترده را توسط تابع صاف ،آرامش عینی ومحدود یت های کلی تر روش برنامه ریزی خطی برای تعیین حوزه حداقل ، در تدوین و شکل گیری پوشش های مشکل تعریف کردیم . ما این روش را برنامه ریزی خطی حوزه حداقل را برای پوشش تنظیم های افراطی ماشین های یادگیری (LPMSSC) نام گذاری کردیم . علاوه بر این در این مقاله ما به مطابقت LPMSSC محدود و LPMSSC گسترده با استفاده از معادله نا اقلیدسی L1 و متریک L- بی نهایت پرداخته و سپس آن برای کاربرد ،روش LPMSSC را در ELM پیشنهاد نمودیم و در نهایت یک داده مستقل در الگوریتم (DDELM) ELM را ارائه دادیم . به این وسیله ما میتوانیم ELM پیوسته را برای طبقه بندی نمونه ها به طریق LPMSSC به دست آوریم . در این مقاله ما به بررسی عملکرد روش ارائه شده از طریق مبنا قرار دادن مجموعه داده ها UCI پرداختیم .
واژه های کلیدی :
ماشین های یاد گیری افراطی ، پوشش مجموعه حوزه های حد اقل ، بر نامه ریزی خطی ، طبقه بندی الگویی
مقدمه :
اخیراً یک الگوریتم یادگیری جدید برای شبکه های کنترل کننده با لایه مخفی منفرد (SLFN) پیشنهاد شده است که ماشین یادگیری افراطی (ELM) نامیده می شود . در(ELM) پارامتر های گره مخفی (وزن های ورودی ،تمایلات پنهان یا مراکز RBF و عوامل موثر بر گره پنهان می باشد که به شکل تصادفی انتخاب شده و وزن های خروجی به صورت تحلیلی با استفاده مور-پنورس (MP) معکوس عمومی تعیین شده اند . ELM تنها به یادگیری بسیارسریع با عملکرد بالاتر کلیت اجرا نسبت به شیب قدیمی بر اساس الگوریتم های یادگیری نمی پردازد بلکه از مشکلات بسیاری که به وسیله شیب ایجاد میگردد که مبتنی بر روش های یاد گیری مانند معیار توقف ، نرخ یاد گیری ، دوره های یاد گیری ، و اقلیت های بومی می باشد جلوگیری می کند .
بنابراین پیشنهاد می شود که نسخه پویا ELM به صورت E-ELM نام گذاری شود ودراین صورت E-ELM ثبت شده می تواند معماری شبکه های فشرده بیشتری را نسبت به ELM اصلی فراهم کند. بنابراین انتخاب معیار عملکرد برای الگوریتم محاسبات تکاملی و همین طور E-ELM ها تعیین می گردد که این معیار ممکن است در ساختارهای توپولوژی های مختلف مورد استفاده قرار گیرد . همین طر برای شبکه های عصبی کنترل کننده ساختار های بسیاری از روش های اکتشافی وجود دارد که مانند ساختار داده ها برای حفظ معیار ها [K] و تعامد حداقل توان (OLS) [16] هرس و تنظیم در حال رشد و مانند آن موثر باشد . د رواقع برای اکثر این روش ها ما به یک معیار قیاسی برای مشکل انتخاب ساختار نیاز داریم که این امر
کاملا ً بر تجارب ذهنی مرتبط می باشد . از آنجایی که در اغلب موارد به شکل غیر ضروری تعداد زیادی از نرونها در ELM مخفی می باشد لازم است برای استفاده کار آمد از برخی از آنها ساختار های توپولوژی شبکه های پویاتری را فراهم نمود . در این مقاله ما سعی می کنیم به تعیین مدل توپولوژی شبکه ELM-RBF به عنوان مشکل پوشش مجموعه از حوزه های حد اقل بپردازیم .
در ابتدا ما به تولید داده های حوزه های وابسته با توجه به نمونه های آموزشی و سپس به معرفی مفهوم 1-0 ماتریس پوشش می پردازیم . از آنجایی که راه حل برنامه ریزی عدد صحیح یک سیستم سخت می باشد ما پیشنهاد کنیم که از یک مبنای ساده تابع (مشابه تابع فعال سازی حساب کاربری سنتی مثل شبکه های عصبی کنترل کننده) استفاده گردد. ما دراین مقاله روش پوشش مجموعه حوزه های بر نامه ریزی خطی را(LPMSSC) می نامیم LPMSSC می تواند به صورت اتوماتیک به تولید کنترل کننده های پیوسته در ساختار شبکه های عصبی خنثی با استفاده از دادههای وابسته به تابع صاف و را ه حل برنامه ریزی خطی بپردازد که این می توان در چارچوب تئوری VC توجیه نمود . این مقاله به شکل زیر
سازماندهی شده است . در بخش 2 ما به بررسی روش LP و برخی از الگوریتم های توسعه یافته حل مشکل پوشش مجموعه ای از حوزه ها می پردازیم . بخش 3 ارائه دهنده داده های مر تبط با الگوریتم ELM-RBF می باشد . آزمایش های انجام گرفته در این زمینه و بررسی آنها در بخش 4 مورد بررسی قرار می گیرد ودر نهایت اظهارات و نتیجه گیری های انجام شده در بخش 5 ارائه می شود.
2- روش برنامه ریزی خطی پوشش حداقل حوزه های مجموعه
در نمونه های آموزشی داده شده D= در اینجا و می باشد. پوشش مجموعه حوزه ها در مساله طبقه بندی دودویی برای یافتن مجموعه ای از حوزه ها با طبقه بندی ویژه می باشد که در این صورت و است در اینجا هر حوزه Si توسط مرکز C(Sj) ،شعاع r(si) و برچسب رده r(si) توصیف شده است. اگر در نمونه مفروض Xi به وسیله حوزه Sj پوشش داده شود به عنوان مثال این صورت تنها فاصله اقلیدسی میان نمونه Xi و مرکزC(Sj) کمتر از شعاع r(Sj) خواهد بود که به عنوان نمونه بنابراین با ثبت سوابق قبلی ما می توانیم داده های وابسته به حوزه si را برای xi به شکل زیر تعریف نماییم :
1)
در اینجا xi نمونه ای است که به نزدیکترین طبقه به مثال xi تعلق دارد.
1-2 پوشش مجموعه ای از حوزه های حداقل از طریق برنامه ریزی عدد صحیح
برای مجموعه ای از حوزه های داده شده S={si,i= 1,….,n} مامی توانیم در یک ماتریس پوشش 1-0را چنین تعریف نماییم.
یا
در اینجا d(xi,xj)یک فاصله اقلیدسی میان rj , xi , xj می باشد که شعاع حوزه sj بر xj تمرکز یافته است . بنابراین kij ورودی 1 می باشد که این امر در صورتی ممکن است که حوزه مورد نظر برای xj تمرکز یافته و xi را پوشش دهد . مساله پوشش مجموعه حوزه حداقل می تواند به عنوان برنامه ریزی عدد صحیح به صورت زیر فرمول بندی شود :
3)
در اینجا حاصل جمع شماری از حوزه های است که در مجموعه فرعی حوزه z قرار می گیرد. و شماری از حوزه هایی که است که نمونه xi را در برمی گیرد . حداکثر تابع هدف شمار حوزه ها در زیر مجموعه های z می باشد که دراین وقت محدودیت ها پوشش حوزه ها در حداقل یک نمونه را تضمین می کند . برای برخی از مسائل امکاناتی در هر نکته وجود دارد که می تواند حوزه را تحت پوشش قرار دهد. برای هموار کردن برخی از خطاها ما می توانیم متغییرهای کمکی را معرفی نماییم همچون ماشین بردار کمکی (svm) و این برنامه ریزی عدد صحیح را به صورت زیر بازنویسی نماییم :
4)
در اینجا c>0 یک عدد ثابت است که مبادله میان اشتباهات آموزشی و شماره حوزه را کنترل می کند برای حل مساله برنامه ریزی عدد صحیح ما میتوانیم نتیجه را با استفاده از تابع طبقه بندی به دست آوریم .
5)
علاوه بر این هر دو فرمول (3) و(4) مساله برنامه ریزی عدد صحیح می باشد که LP را برای مجموعه پوشش ماشینی بسط و گسترش می دهد .
2-2پوشش مجموعه حوزه های حداقل گسترده از طریق برنامه ریزی خطی
همان طور که در معادله (2) تعریف شد ماتریس پوشای k به صورت دودویی می باشد که این امر به خاطر عناصر مجموعه s در حوزه می باشد و این امر بیشتر به وسیله تصمیم گیری دودویی حاصل می شو د . ما می
توانیم بار دیگر ماتریس پوشا را با استفاده از تابع صاف ویژه به صورت زیر نشان دهیم :
6)
در اینجا F basis(0) یک تابع صاف همچون یک تابع RBF به صورت
می باشد که یک پارامتر کنترل با سرعت از بین میرود . چیزی که بیشتر ما میتوانیم در این زمینه انجام دهیم کم کردن قیود ومحدودیت ها که در این زمینه وجود دارد که میتواند به صورت در عوض اعداد صحیح ثابت قرار گیرد. برای بررسی طبقه بندی برچسب اطلاعات ما میتوانیم فرمول LP را به شکل زیر به دست آوریم :
7)
تابع هدف شمار حوزه ها در زیر مجموعه به حداقل می رساند در اینجا c>0 ثابت است که مبادله میان خطاهای آموزشی و شمار حوزه ها را کنترل می کند . در نهایت ما می توانیم هر حل کننده LP را به خاطر حل این مساله به کار بریم . بار دیگر ما میتوانیم تابع تصمیم را برای هر نمونه نامکشوف x به شکل زیر نشان دهیم :
8)
3-2 پوشش مجموعه حوزه های حداقل هستهای از طریق برنامه ریزی خطی
به خاطر اینکه روش پیشنهادی به خوبی در فضای ابعادی کار می کند تکنیک هسته ای می تواند مورد استفاده قرار گیرد . برای یاد آوری فوت وفن هسته ای اولا باید تابع غیر خطی استفاده کرد وسپس داده ها را در فضای ویژه F جاسازی نمود که در آنجا نمونه های غیر خطی موجود به شکل خطی نشان داده می شود. در الگوریتم اجرایی بیشتر سعی بر این
است که حاصلضرب میانی به شکل جفت در نقاط مختلف جاسازی شود . در نهایت بخش های هسته ای می توانند مورد استفاده قرار گیرند مثلا مضرب درونی در فضای ویژه می تئاند به شکل مستقیم از منابع وتوسط هسته های مرسر مورد محاسبه قرار گیرد . در حال حاضر ما می توانیم تعریفی از داده اهی وابسته به حوزه ها را ارائه دهیم . با استفاده از تابع نقشه کشی غیر خطی ما میتوانیم از گام های مشتق گیری در معادله (1) پیروی کنیم و به این وسیله مساله را می توانیم به این شکل توضیح دهیم :
اگر نمونه داده شده توسط حوزه بالاتر sjk پوشش داده شود در این صورت خواهد بود در اینجا k ارائه دهنده هسته مرسر می باشد . و این امر تنها در صورتی است که فاصله میان نمونه و مرکزc(sjk) از شعاع r(sjk) کمتر است . بنابراین با توجه به نشانه های قبلی ما می توانیم داده های زیر را در ارتباط با حوزه های فوق در sik تعریف نماییم برای هر نمونه در xi فضای ویژه در هسته می شود.
9)
با استفاده از خطوط هسته ای در معادله (9) ما میتوانیم آن را به صورت زیر ساده سازی نماییم :
10)
در نتیجه ما میتوانیم ماتریس پوشای هسته ای 1-0 را به شکل زیر تعریف کنیم :
11)
با استفاده از این تعریف ما میتوانیم به سادگی همان راه حل به عنوان معادل 4 را ارائه دهیم اما توجه کنید که ماتریس پوشا اکنون به صورت هسته ای می باشد
همین طور ما میتوانیم بار دیگر ماتریس پوشای هسته ای را به شکل سلیس به صورت زیر نشان دهیم .
12)
با توجه به تابع RBF ما باید آن را بار دیگر در فضای ویژه هسته به صورت زیر بنویسیم :
13)
در اینجا
این مقاله هسته به دلیل عملکرد عالی درحوزه طبقه بندی انتخاب شده است . بنابراین به دلیل قابل تنظیم و تطبیق می باشد . ما میتوانیم به سادگی آیتم را از معادله 13 پاک کنیم.
بار دیگر ما میتوانیم همان راه حل را همچون معادله 7 ارائه نماییم اما توجه داشته باشید ورودی در ماتریس پوشا در حال حاضر توسط معادله زیر جایگزین می گردد .
با توجه به این که مثال نادیده x از تابع تصمیم هسته ای به شکل زیر تبعیت می کند :
14)
باید توجه کرد که در شکل هسته ای نیازی به دانستن تعابیر واقعی در مرکز فضای ویژه نیست همانطور که پیش از این ذکر شد ما تنها به بدست آوردن حاصلضرب شکل درونی هبورتی که بتواند توسط مرسر هسته ای جایگزین گردد نمی باشیم .
4-2 گسترش فاصله نا اقلیدسی
در واقع جز برای بیان فاصله اقلیدسی یا (L2) همچنان فاصله L1 و فاصله L نامحدود نیز موجود می باشد از آنجا که تنها در زمینه اصلاح ما باید مراقب فاصله متریک باشیم ما فقط داده های وابسته به تعاریف حوزه برای در تعمیم فاصله اقلیدسی را ارائه می دهیم . برای فاصله مورد L1 ما میتوانیم داده های وابسته به حوزه زا به صورت زیر تعریف می کنیم :
15)
در اینجا 1 روش L1 را مشخص می کند
برای فاصله مورد بی نهایت L- ما می توانیم داده وابسته به حوزه را به صورت زیر تعریف نماییم :
16)
در اینجا روش L1 را مشخص می کند
با استفاده از این دو تعریف ما می توانیم به طور طبیعی ،به نتیجه گیری حوزه مربوط به تعیین حداقل پوشش عبارات از طریق LP بپردازیم . توجه داشته باشید ایجاد اصلاحات بزرگ هنوز در فاصله آیتم کذب واوی خلاف واقع می باشد . با انواع فواصل متفاوت ما میتوانیم بسط و گسترش متفتوتی را ایجاد نماییم گام بعدی تقریبا مانند عملکرد در نسخه هسته ای می باشد . به منظور اختصار ما در این مقاله به بحث و بررسی این موضوع نمی پردازیم . اما قطعا تلاش برای استفاده از دیگر فواصل متریک (به غیر از بی نهایت L1 , L2 , L0) ارزشمند است در واقع یکی کردن از دانش های قبلی در یادگیری کارهایی چون فواصل متریک ماهالانوبین از جمله این امور می باشد . بدیهی است که این امر می تواند راهی جهت پیشرفت های آینده باشد .
3- داده های وابسته به الگوریتم ELM-RBF
در این بخش ما داده های وابسته الگوریتم یاد گیری ELM-RBF را پیشنهاد می کنیم . ما نشان می دهیم که چگونه LPMSSC می تواند به اجرای داده های وابسته به توپولوژی ELM-RBF برای مساله طبقه بندی دور ده بپردازد . پیش از اینکه ما به این مبحث وارد شویم ، به طور مختصری به بررسی الگوریتم اصلی ELM-RBF که توسط هوآنک پیشنهاد شده است می پردازیم .
1-3 بررسی ELM-RBF
نمونه آموزشی داده شده D= یک REFNN با هسته های n برای دو طبقه بندی رده می باشد که می تواند به شکل زیر نمایش داده شود
17)
در اینجا رابط فشار I هسته ای و اعصاب خروجی و کاربرد i هسته ای که معمولا به شکل تابع گائوسی می باشد :
18)
در اینجا هسته مرکزی I می باشد و عرض تماس می باشد .
بنابراین الگوریتم اصلیELM-RBF در[9] عبارت است از:مجموعه داده های آموزشی مفروض وشمار هسته ای
گام اول: اختصاص بی هدف مرکز هستهای و عرض تماس
گام دوم : محاسبه لایه پنهانی (هسته) در ماتریس خارجی
گام سوم : محاسبه فشار خارجی
نکته : توجه کنید که در الگوریتم اصلی ELM-RBF هسته مرکزی و عرض فشار کاملا بی هدف و به طور مستقل مجموعه داده ها را آموزش می دهد . این امر نیازمند به شمار هسته ای برای یاد گیری کار می باشد که این روند به خوبی مشخص شده است .
2-3 داده های وابسته به الگوریتم ELM-RBF
به سبب اعمال روش LPMSSC در ELM ما باید بر اساس آن کاربرد ماتریس پوشا را با استفاده از ایده های مشابه همچون ELM که به شکل تصادفی به تعیین گره RBF در مرکزو عرض تماس می پردازد دوباره تعریف نماییم . ما می توانیم ماتریس پوشا صاف را به شکل زیر تعریف نماییم.
19)
در اینجا cj مرکزی است که به طور تصادفی انتخاب از دسته آموزشی انتخاب شده است شعاعی است که به شکل تصادفی تولید شده است ، به فاصله متریک اختصاص دارد و T نوع متریک می باشد .
بنابراین ما می توانیم با توجه به داده های وابسته به الگوریتم ELM-RBF چنین نتیجه گیری کنیم :
گام اول : داده های تصادفی وابسته به مجموعه حوزه ها را برای مجموعه داده های آموزشی تولید نماییم.
گام دوم : فاصله متریک را انتخاب نماییم . تابع صاف را تعیین کرده و ماتریس پوشای تصادفی را تعریف کنیم .
گام سوم : مساله پوشش مجموعه حوزه حداقل را از طریق Lp حل نموده و حوزه تماس زیر مجموعه را به دست آوریم .
همان طور در بخش فوق ذکر شد گام مهم انتخاب فاصله متریک قابل اجرا می باشد . بنابراین نوع فاصله متریک بهتر است عملا مورد محاسبه قرار گیرد . منظور از شمار حداقل حفظ ظرفیت تماس طبقه بندی کننده می باشد . مهمترین دلیل استفتده از این روش تعیین ساختار شبکه عصبی است . عصب ELM در واقع حوزه انتخاب شده در زیر مجموعه می باشد که برخی از نمونه های همان همان طبقه را به شکلی که امکان پذیر است دربرمی گیرد . با استفاده از LPMSSC ، تابع تصمیم گیری زیر را به دست می آوریم :
20)
