بخشی از مقاله
خلاصه
این مقاله به منظور ایجاد یک شبکه عصبی چندگانه، از ترکیب آموزش همبستگی منفی و ژنتیک الگوریتم استفاده می کند. در این روش مولفه های شبکه عصبی چندگانه بصورت همزمان آموزش میبینند. مولفه های شبکه عصبی بدست آمده از طریق شرط پنالتی موجود در تابع خطای آنها بصورت منفی با هم همبسته می شوند. خروجی پیش بینی شده با استفاده از میانگین وزنی خروجی های مولفه های شبکه عصبی بدست می آید.
ژنتیک الگوریتم با اختصاص دادن وزن های مناسب به هر کدام از مولفه های شبکه عصبی آموزش دیده شده، در ایجاد شبکه عصبی چندگانه شرکت می کند. روش پیشنهادی بر روی پالایشگاه شیرین سازی گاز کارون از پروژه آماک مربوط به مناطق نفتخیز جنوب مورد آزمایش قرار گرفت و نتایج تست بدست آمده نشان داد که مدل بدست آمده به خوبی داده های تجربی را پیروی میکند. علاوه بر این روش پیشنهاد شده کارایی و عملکرد شبکه های عصبی یگانه و سایر تکنیک های ایجاد شبکه عصبی چندگانه را بهبود بخشیده است.
.1 مقدمه
امروزه شناسایی سیستم یکی از مهمترین زمینه های تحقیق در علوم مهندسی می باشد.شناسایی، فرایند استخراج یک مدل از یک سیستم فیزیکی با استفاده از مجموعه ای از داده های تجربی می باشد. یکی از جدیدترین و فراگیرترین تکنیک های شناسایی سیستم، شبکه های عصبی مصنوعی هستند. از اصلی ترین دلایل محبوبیت این روش، میتوان به ساده کردن مدل سازی و امکان بهره گیری از ابزار های فراگیر برای طراحی کنترل سیستم نام برد. اگرچه، بیشتر فرایند های شیمیایی بسیار پیچیده بوده و یک شبکه عصبی یگانه نمیتواند چنین سیستم های پیچیده ای را بصورت دقیق شناسایی کند.
برای فایق آمدن بر این محدودیت ها، افزایش بازدهی و دقت شبکه های عصبی مصنوعی و کاهش واریانس خروجی مدل Hansen و [1] Salamon شبکه های عصبی چندگانه را که ترکیبی از مولفه های شبکه عصبی هستند را پیشنهاد دادند. نکته کلیدی در بکارگیری این شبکه های منفرد، بی شباهتی و گوناگونی آنهاست. به عبارت دیگر، هیچ منفعتی در گردآوردن شبکه های عصبی که یکسان و مشابه هستند وجود ندارد.[2]
تکنیک های بسیاری توسط محققان برای ایجاد شبکه های عصبی چندگانه ارایه شده است که اکثر آنها از دو مرحله زیر پیروی می کنند:ایجاد شبکه های عصبی منفرد ،ترکیب کردن آن شبکه ها.[3] در اینگونه تکنیک ها، مولفه های شبکه عصبی بصورت مستقل آموزش میبینند. دو اشکال شایع در این تکنیک ها عبارتست از نبود فعل و انفعال بین مولفه های شبکه عصبی طی آموزش آنها[4] و همچنین امکان فقدان توزیع مناسب شبکه های مستقل در شبکه چندگانه می باشد. دو روش بسیار محبوب این تکنیک ایجاد شبکه عصبی چندگانه، عبارتست از Bagging پیشنهادشده توسط [5] Breiman و Boosting پیشنهادشده توسط Freund و .[6] Schapire تکنیک پیشرو دیگر در ایجاد شبکه های عصبی چندگانه بکارگیری روش آموزش همبستگی منفی میباشد.
آموزش همبستگی منفی از روش های قبلی که شبکه های مستقل بصورت مستقل و ترتیبی آموزش میبینند، متفاوت است [7] و بجای ایجاد شبکه های منفرد غیر مرتبطی که خطاهایشان غیرهمبسته باشد، شبکه های همبسته منفی ای تشکیل می دهد که در عین غیرهمسان بودن، بصورت هماهنگ و همزمان آموزش می بینند.[8] ما با همبسته کردن شبکه های عصبی منفرد، اختصاص دادن یک مقدار وزنی مناسب به هر یک از آنها با استفاده از ژنتیک الگوریتم و ترکیب کردن خروجی آنها با استفاده از روش میانگین وزنی، یک شبکه عصبی چندگانه را که با دقت بالا فرایند را شناسایی میکند، ایجاد می کنیم.
در این مقاله به منظور اثبات توانایی آموزش همبستگی منفی و ژنتیک الگوریتم برای شناسایی و مدل کردن یک سیستم پیچیده، یک مطالعه تجربی روی یک فرایند شیمیایی انجام گرفته است. ادامه این مقاله بصورت زیر طبقه بندی شده است: بخش 2 آموزش همبستگی منفی و ژنتیک الگوریتم را تشریح می کند، بخش 3 یک مطالعه تجربی از آموزش همبستگی منفی بر روی یک فرایند شیمیایی غیرخطی در یک پالایشگاه شیرین سازی را ارایه می کند. بخش 4 متغیر های ورودی و خروجی مولفه های شبکه عصبی را تعیین می کند، بخش 5 نتایج این مطالعه را ارایه کرده و نهایتا خلاصه و نتیجه گیری در بخش 6 ارایه می شود.
2. ترکیب همبستگی منفی و ژنتیک الگوریتم
برای آموزش یک شبکه چندگانه، باید یک برنامه برای ایجاد شبکه های نامشابه و غیرهمسان و یک برنامه دیگر برای ترکیب خروجی های این شبکه های غیرهمسان به منظور تقویت شبکه های دقیق و تضعیف شبکه های غیر دقیق، دلشته باشیم. به دلیل اینکه مزیتی در ترکیب شبکه های مشابه وجود ندارد، غیرهمسان بودن شبکه ها از اهمیت به سزایی برخوردار است.
پارامتر های گوناگون آموزش [1]، الگوهای آموزش متفاوت [9]، زیرمجموعه های گوناگون آموزشی [10] و روش های آموزش گوناگون [11] برای هر یک از شبکه های چندگانه از رایج ترین روش های ایجاد غیرهمسانی در بین شبکه ها می باشد. همچنین میانگین گیری ساده و میانگین گیری وزنی از مشهورترین روش های ترکیب کردن مولفه های شبکه عصبی می باشند.
حال فرض کنید که ماتریس داده های تجربی ورودی،X،و ماتریس داده های خروجی تجربی بصورت زیر تعریف شده باشند: که در آن Z سایز مجموعه داده ها می باشد. در این بخش با استفاده از آموزش همبستگی منفی شبکه های عصبی چندگانه که دقت را افزایش داده و خطا را کاهش می دهند، تخمینی از F - x - را بررسی خواهیم نمود. ابتدا، M شبکه عصبی منفرد را آموزش داده و سپس آنها را ترکیب می کنیم.
این شبکه های عصبی منفرد در مجموعه داده های آموزشی شان غیرمتشابه هستند و این منجر به تشکیل آموزش دهنده های گوناگون شده و غیرهمسان بودن آنها را افزایش می دهد. به منظور ایجاد این زیرمجموعه از داده هااز روش bootstrap پیشنهاد شده توسط Efron استفاده می شود.[12] این یک روش کلی نمونه برداری برای تخمین توزیع داده ها می باشد.
تکنیک پیشنهادی در این مطالعه، بصورت همزمان غیرهمسانی و همبستگی منفی در بین مولفه های شبکه را فراهم می کند. همچنین نتایج پیش بینی شده با نتایج حاصله از سایر روش های ایجاد شبکه های عصبی چندگانه مقایسه می شود. در شبکه های عصبی چندگانه، همه شبکه های منفرد از طریق شرط پنالتی همبستگی موجود در تابع خطای آنها بصورت منفی و همزمان آموزش داده می شوند .[13] بنابراین، با افزایش فعل و انفعال میان شبکه ها، این روش بهترین خروجی را تولید می کند.
ما با اختصاص شرط پنالتی همبستگی منفی در تابع خطای مولفه های شبکه عصبی، از الگوریتم Levenberg-Marquardt - LM - برای آموزش وزن های آنها استفاده می کنیم.LM یک الگوریتم خم آمایی - Curve-Fitting - دقیق و محبوب در شبکه های عصبی محسوب می شود. اگرچه همانند بسیاری از الگوریتم های خم آمایی، LM فقط مینیموم های محلی را که الزاما مینیموم مطلق نیستند، را پیدا می کند درحالیکه هدف ما بدست آوردن مینیموم مطلق تابع خطای شبکه های عصبی است. بنابراین، ما ابتدا ژنتیک الگوریتم را برای تخمین وزن های اولیه ای که به سمت مینیموم مطلق تابع خطا هدایتمان میکند بکار گرفته و سپس از LM برای بدست آوردن وزن های دقیق متناسب با مینیموم مطلق استفاده می کنیم.
