بخشی از پاورپوینت
اسلاید 1 :
یادگیری توالی به توالی با شبکه های عصبی
Sequence to Sequence Learning with Neural Networks
اسلاید 2 :
رئوس مطالب
مدل توالیبهتوالی
آموزش و جزئیات مدل
آزمایشها
مجموعه دادهها
وارونسازی جملههای مبدأ
نتایج
نتیجه گیری
مسائل باز و کارهای آتی
مقدمه
یادگیری ژرف
شرح مسئله و اهمیت موضوع
مفاهیم اولیه
مدل زبانی
شبکههای عصبی مکرر
کارهای مرتبط
مدل کدگذار - کدگشا
اسلاید 3 :
یادگیری ژرف
استفاده از گرافهای محاسباتی با عمق بیشتر از یک لایه در شبکههای عصبی
اسلاید 4 :
یادگیری ژرف
شبکههای عصبی مکرر: یادگیری وظایف مبتنی بر توالی (Goodfellow et al. 2016).
یادگیری وظایفی که ترتیب ورودی در آنها مهم است: اکثر وظایف حوزه NLP.
اسلاید 5 :
شرح مسئله
در شبکه عصبی مکرر، طول توالی ورودی و خروجی ثابت و برابر است.
این مدل برای توالیهای ورودی و خروجی با طول متفاوت و متغیر مناسب نیست.
نمونههایی از وظایف نگاشت توالیبهتوالی:
ترجمه ماشینی،
تبدیل گفتار به نوشتار،
سیستم پرسش و پاسخ،
و غیره.
نیاز به یک مدل برای یادگیری نگاشت توالیبهتوالی، مستقل از دامنه مسئله (وظیفه).
(Ilya Sutskever, Oriol Vinyals et al. 2014)
What
your
name
چیست
شما
نام
اسلاید 6 :
مدل زبانی
اسلاید 7 :
شبکه عصبی مکرر
اسلاید 8 :
کارهای مرتبط
ایده اصلی استفاده شده در کارهای قبلی:
فشردن اطلاعات توالی مبدأ (ورودی) در یک بردار با بعد ثابت،
استخراج توالی مقصد (خروجی) از روی بردار حاصل شده در مرحله قبل.
Kalchbrenner و Blunsom (Kalchbrenner & Blunsom 2013) :
استفاده از شبکه عصبی پیچشی برای کدگذاری،
عدم حفظ ترتیب نشانهها (واژهها) در توالی.
مدل کدگذار - کدگشا (Cho et al. 2014):
استفاده از شبکه عصبی مکرر با سلول حافظه غیر LSTM،
مشکل در یادگیری توالیهای طولانی.
اسلاید 9 :
مدل کدگذار - کدگشا
مدل کدگذار – کدگشا (Cho et al. 2014).
هسته سلول حافظه استفاده شده در لایه پنهان مدل کدگذار – کدگشا (Cho et al. 2014).
اسلاید 11 :
آموزش و آزمون مدل
(Luong 2016)ترجمه ماشینی عصبی با شبکه عصبی مکرر ژرف
اسلاید 12 :
جزئیات مدل
حافظه کوتاهمدت بلند (LSTM) با ژرفای 4 لایه و 1000 سلول در هر لایه،
مقداردهی اولیه تصادفی پارامترها با توزیع یکنواخت،
یادگیری به روش کاهش گرادیان تصادفی (SGD) با نرخ یادگیری 0.7،
پیادهسازی اولیه در (Ilya Sutskever, Oriol Vinyals et al. 2014) C++،
پیاده سازیهای مشابه در tensorflow (Luong et al. 2017) و keras (Keras-Team 2017).
اسلاید 13 :
مجموعه داده
مجموعه داده ترجمه انگلیسی به فرانسوی WMT’14 (Pecina 2014):
زیرمجموعه 12میلیون جملهای،
348میلیون واژه فرانسوی و 340میلیون واژه انگلیسی.
مجموعه آموزشی کوچکتر (Kelly 2017)
برای آموزش در سطح کاراکتر.
شامل مجموعه داده نمونه ترجمه انگلیسی به فارسی.
اسلاید 14 :
وارونسازی جملههای مبدأ
در این روش جمله مبدأ وارونشده و سپس جمله مقصد به آن الصاق میشود.
کاهش تأخیر زمانی کمینه
کاهش مقدار سرگشتگی مدل از 5.8 به 4.7
افزایش امتیاز BLEU کسب شده توسط مدل از 25.9 به 30.6
عدم تغییر میانگین تأخیر زمانی
اثر این پدیده بر زبانهای از راست به چپ؟؟؟
حالت وارونشده
حالت عادی
اسلاید 15 :
امتیازهای BLEU حاصل شده
اسلاید 16 :
کارآمدی روی جملههای طولانی
اسلاید 17 :
یادگیری بازنمایی
اسلاید 18 :
نتیجهگیری و کارهای آتی
ارایه یک مدل مستقل از دامنه، برای وظایف مبتنی بر نگاشت توالیها به یکدیگر.
یک شبکه LSTM ژرف قادر به شکست سیستمهای ترجمه ماشینی سنتی است.
وارون سازی توالی مبدأ سبب افزایش دقت و بهبود کارآمدی مدل میشود.
LSTM در یادگیری توالیهای طولانی خیلی خوب عمل میکند.
افزایش دقت مدل با روشهای مختلف مثل افزایش مجموعه داده آموزش
استفاده از این مدل برای سایر وظایف مبتنی بر نگاشت توالی به توالی
