بخشی از مقاله
چکیده -
با پیشرفتهای شگرف اخیر تحلیل دادهها با حجم وسیعی انجام میشود. در این بین، به منظور تحلیل دقیقتر پژوهشهای زیادی با روشهای مبتکرانهای در حوزههای مختلف از جمله هوش مصنوعی صورت پذیرفته است. یکی از روشهای موجود در این حوزه برای پردازش دادهها و تحلیل آنها، شبکههای عصبی مصنوعی است که با الهام از سیستم عصبی مغز انسان، در مواردی همچون پردازش تصویر، مدلسازی موضوع و دستهبندی الگوها کاربرد دارد. در این مقاله با اضافه کردن عدم قطعیت به شبکه باور عمیق، مدل فازی آن را ارائه مینماییم و روش پیشنهادی را بر روی مجموعه داده ارقام دستنوشته انگلیسی و فارسی مورد ارزیابی قرار میدهیم.
اضافه کردن عدم قطعیت به شبکه باور عمیق در مسائل پیچیدهتر با تعداد متغیر بیشتر باعث بهبود عملکرد شده و به کارگیری این روشها باعث ارتقای دقت دستهبندی میگردد. به طوریکه شبکه باور عمیق فازی با معماری در نظر گرفته شده در مقاله، به دقتی بیش از 95 درصد بر روی مجموعه داده ارقام دستنوشته فارسی و بیش از 96 درصد بر روی مجموعه داده ارقام دستنوشته انگلیسی دست یافته که با توجه به پژوهشهای صورت گرفته در این حوزه از دقت مناسبی برخوردار است.
-1 مقدمه
ما انسانها خود را خردمندترین و هوشمندترین موجودات روی کره زمین میدانیم و سالهای زیادی است که تالش کردهایم تا متوجه شویم فرآیند فکر کردن، استدالل و تشخیص ما به چه صورت است. در مقابل رفتارهای انسانی، با حوزه هوش مصنوعی مواجه هستیم. هوش مصنوعی به مجموعه واکنشهایی گفته میشود که مشابه رفتارهای هوشمند انسانی است و دستگاه ممکن است در شرایط مختلف آنها را از خود نشان دهد. پس هوش مصنوعی، هوش ماشینها است که پس از جنگ جهانی دوم مطرح و نام آن در سال 1956 میالدی انتخاب شد
شبکههای عصبی مصنوعی از جمله روشهای رایج برای حل مسائل هوش مصنوعی هستند که در سالهای اخیر با عنوان یادگیری عمیق که یکی از حوزههای مطرح در زمینه یادگیری ماشین محسوب میشود پا به عرصه رقابت گذاشتهاند و در مواردی همچون شناسایی الگو، شناسایی تصویر، شناسایی صوت و پردازش ویدئو کاربرد فراوان دارد
شبکه باور عمیق از جمله معماریهای رایج برای یادگیری عمیق به حساب میآید که از تعدادی ماشین بولتزمن محدود تشکیل شده است. بنابراین میتوان گفت ماشین بولتزمن محدود هم از جمله معماریهای یادگیری عمیق محسوب میشود.
جهت توسعه و ارتقای شبکه باور عمیق روشهای بسیاری وجود دارد که میتوان به استفاده از منطق فازی اشاره نمود.
واژه فازی به معنای غیردقیق و مبهم است. منطق فازی از جمله منطقهای چندارزشی است که در پی تنظیم مجموعههای فازی مطرح گردید و به طور جدی در مقابل منطق دودویی ارسطویی قرار گرفت.[3] در منطق فازی، عدم قطعیت وارد مدل میگردد که اضافه شدن عدم قطعیت به مدلهای شبکه عصبی می تواند کارایی آن را در کاربردهای پیچیده افزایش دهد.
در این مقاله هدف آن است شبکه باور عمیق به حالت فازی توسعه داده شود. به عبارتی میخواهیم عدم قطعیت را به وزن-های موجود در شبکه باور عمیق به صورت اعداد فازی اضافه کنیم.
ساختار بخشهای بعدی در این مقاله به این صورت است: ابتدا در بخش دوم به بررسی برخی از تحقیقهای مرتبط با موضوع پژوهش در سالهای اخیر، پرداخته شده به گونهای که این پژوهشها به توسعه ماشین بولتزمن محدود، شبکه باور عمیق و شبکه عصبی عمیق به حالت فازی پرداختهاند. در بخش سوم به معرفی مدلهای پیشنهادی برای شبکه باور عمیق فازی پرداخته شده است. در بخش چهارم این مقاله، مراحل شبیهسازی مدل پیشنهادی و نتایج حاصل از آزمایشها و مقایسه با شبکه باور عمیق ارائه میگردد. در بخش پایانی، نتیجهگیری حاصل از این مقاله شرح داده خواهد شد.
-2 بررسی پژوهشهای پیشین
در این بخش به بررسی برخی از مهمترین پژوهشهای مرتبط با موضوع توسعه ماشین بولتزمن محدود، شبکه باور عمیق و شبکه عصبی عمیق با استفاده از روشهای فازی پرداخته شده است.
ماشین بولتزمن محدود یک مدل احتماالتی مولد مبتنی بر انرژی و نظارت نشده بدون جهت است که از یک الیه دودویی با واحدهای پنهان و یک الیه دودویی با واحدهای مشاهدهپذیر تشکیل شده است. در ماشین بولتزمن محدود هر واحد در الیه مشاهدهپذیر به تمامی واحدها در الیه پنهان متصل است اما هیچگونه اتصالی بین واحدهای الیه مشاهدهپذیر با یکدیگر و واحدهای الیه پنهان با یکدیگر وجود ندارد.
این مدل در سال 2002 توسط هینتون [5] معرفی گردید. در ماشین بولتزمن محدود هدف به دست آوردن متغیرها شامل وزنهای بین واحدهای الیه مشاهدهپذیر و الیه پنهان و پیشقدرهای واحدهای الیه مشاهدهپذیر و پنهان به صورتی است که تابع انرژی این مدل کمینه گردد. در واقع بر اساس تابع انرژی، تابع احتمال تعریف شده و مدل به یک مسئله درستنمایی تبدیل میگردد که تابع هدف به صورت منفی لگاریتم تابع احتمال تعریف میشود. سپس بر اساس مشتقگیری و روشهای گرادیان نزولی، متغیرها به روزرسانی میگردند.[2] برای یادگیری ماشین بولتزمن محدود از روش یادگیری واگرایی متقابل استفاده میشود.
چن و همکاران [2] - 2015 - با به کارگیری اعداد فازی، به بررسی عملکرد ماشین بولتزمن محدود فازی و مقایسه آن با حالت غیرفازی پرداختند. در ماشین بولتزمن محدود فازی مطرح شده وزنها و پیشقدرها، اعداد فازی هستند که توسط ̅ قابل بیان هستند. اعداد فازی نوع خاصی از مجموعههای فازی هستند که باید عادی باشند یعنی حداقل به ازای یکی از اعضای مجموعه، مقدار تابع عضویت یک باشد، محدب باشند یعنی رابطه - 1 - برای مجموعه اعداد فازی A برقرار باشد و مجموعه پشتیبان آن محدود باشد. مجموعه پشتیبان برای یک مجموعه فازی به صورت رابطه - 2 - تعریف میشود.
شکل 1 ماشین بولتزمن محدود فازی را نشان میدهد که x الیه مشاهدهپذیر و h الیه پنهان را نشان میدهد.
شکل : 1 مدل ماشین بولتزمن محدود فازی[2]
ماشین بولتزمن محدود فازی مدل احتمالی مبتنی بر انرژی است. بنابراین الزم است ابتدا تابع انرژی فازی برای مدل طبق رابطه - 3 - تعریف میگردد.
وزنه ای بین واحدهای الیه مشاهدهپذیر و واحدهای الیه پنهان و مقدار پیشقدرها میباشد . سپس براساس تابع انرژی فازی، تابع انرژی آزاد فازی به صورت رابطه - 4 - محاسبه میشود. در نهایت بهینهسازی موجود در فرآیند یادگیری به یک مسئله بیشینهسازی درستنمایی تبدیل خواهد شد.
حل چنین مسئلهای دشوار است زیرا تابع هدف فازی آن غیرخطی است و محاسبه تابع عضویت هم آسان نیست. پس الزم است مسئله از طریق غیر فازیسازی، به یک مسئله بیشینه درستنمایی عادی تبدیل گردد. روشهای مختلفی برای غیر فازیسازی تابع انرژی آزاد فازی میتواند مورد استفاده قرار گیرد که یکی از آنها روش محاسبه مرکز عدد فازی است که در رابطه - 5 - قابل مشاهده است.
پس از مرحله غیرفازیسازی و محاسبه مرکز عدد فازی، احتمال مطابق رابطه - 6 - تعریف میگردد. در نهایت مسئله
بهینهسازی فازی به یک مسئله با مقدار حقیقی تبدیل شده و میتوان از روشهای معمول برای یافتن راه حلهای بهینه استفاده نمود. در ماشین بولتزمن محدود فازی، تابع هدف منفی لگاریتم احتمال بیان شده در رابطه - 6 - است و هدف آن است که راه حلهای بهینه یا به عبارتی متغیرهای ̅ بهگونهای محاسبه شوند که تابع هدف کمینه گردد.
برای حل مسئله بهینهسازی الزم است فرآیند غیر فازیسازی به اتمام برسد. استفاده از روش یافتن مرکز عدد فازی که فرمول آن در رابطه - 5 - قابل مشاهده است، به دلیل وجود انتگرال دشوار است. به همین علت مراکز توسط تعدادی آلفا-کات روی تابع فازی به دست میآیند . پس ابتدا الزم است با مفهومی به نام آلفا -کات که در منطق فازی مورد استفاده قرار میگیرد، آشنا شد.
در صورتیکه یک مجموعه فازی باشد، آلفا-کات این مجموعه فازی که به صورت [ ] نشان داده میشود، طبق رابطه - 7 - بیان میگردد. الزم به ذکر است در این رابطه آلفا عددی بین صفر و یک است.
بنابراین ادامه الگوریتم به این صورت است که آلفا-کات روی تابع انرژی آزاد فازی محاسبه و کران پایین و باال برای وزنها و پیشقدرها به دست آورده میشود. سپس مرکز تابع انرژی آزاد فازی تقریب زده میشود. الزم به ذکر است پس از غیرفازیسازی میتوان از رابطه - 6 - استفاده نمود و مسئله را به یک مسئله بهینهسازی تبدیل کرد که یکی از روشهای حل چنین مسائلی، روش مبتنی بر گرادیان نزولی است. در مرحله بعد باید از منفی لگاریتم تابع موجود در رابطه - 6 - نسبت به تک تک متغیرها - شش متغیر شامل وزنها و پیشقدرها برای واحد مشاهدهپذیر j و واحد پنهان - i مشتق گرفته شود و احتمال شرطی برای ماشین بولتزمن محدود که احتمال الیه مشاهده پذیر به شرط الیه پنهان و برعکس را بیان میکند، با درنظر گرفتن متغیرها به صورت عدد فازی در نظر گرفته شده، محاسبه شود. در نهایت هم به روش واگرایی متقابل یادگیری انجام پذیرد.
فنگ و چن [7] - 2016 - به فازیسازی ماشین بولتزمن محدود پرداختند. در این ماشین بولتزمن محدود فازی مطرح شده وزنها و پیشقدرها همچنان اعداد فازی هستند . چالش اصلی در ماشین بولتزمن محدود فازی روش انجام غیرفازیسازی تابع انرژی آزاد فازی است چرا که این تابع، غیرخطی و پیچیده میباشد. به همین منظور از معیار دیگری به نام ارزش متوسط احتمالی عددی جهت غیرفازیسازی استفاده شده است. این معیار برای عدد فازی ̃ به صورت رابطه - 8 - قابل بیان است. در این رابطه - - و - - به ترتیب کران پایین و کران باالی بازه [ - - , - - ] است که همان آلفا-کات روی عدد فازی ̃ را نشان میدهد.
وانگ و همکاران [8] - 2014 - شبکه باور عمیق فازی به منظور دستهبندی احساس در متن به روش نیمهنظارتی ارائه کردند. آنها در این مطالعه، به مزایای استفاده از شبکه باور عمیق فازی اشاره کردند که عبارت است از :
• در این مدل از معماری عمیق برای گردآوری مفهوم ماشین بولتزمن محدود و همچنین قدرت دستهبندی مجموعههای فازی استفاده شده است. الزم به ذکر است ماشین بولتزمن محدود سبب کاهش بعد بازبینیها میشود و مجموعههای فازی میتوانند براساس تابع عضویت هر گروه، دقت دستهبندی را باال ببرند.
• شبکه باور عمیق به وسیله روش حریصانه و نظارت نشده یاد گرفته میشود و سپس فضای پارامترهای آن، توسط روش نظارت شده گرادیان نزولی به روز میشود.
دنگ و همکاران [9] - 2017 - مدل شبکه عصبی عمیق فازی ترکیبی برای دستهبندی دادهها ارائه کردند. مدل آنها به صورت همزمان اطالعات موردنیاز را از فازی و شبکه عصبی استخراج میکند. بنابراین این روش، به دلیل وجود قسمت فازی باعث کاهش عدم قطعیت داده و به دلیل وجود شبکه عصبی باعث کاهش اغتشاش از داده میگردد.
-3 مدلهای پیشنهادی
در این بخش به بررسی روشهای پیشنهادی برای شبکه باور عمیق فازی خواهیم پرداخت. بنابراین دو نوع معماری عمیق با عنوانهای شبکه باور عمیق فازی و شبکه باور عمیق فازی با معیار ارزش متوسط احتمالی عددی را ارائه خواهیم داد.
