پاورپوینت مدل های محاسباتی زبان جدید

بخشی از پاورپوینت

اسلاید 1 :

مدل های محاسباتی زبان جدید

بسم الله الرحمن الرحیم

اسلاید 2 :

فهرست مطالب
مقدمه
انواع مدل های زبانی
مدل های اماری
بررسی عامل های اختلاف شبکه های عصبی
انواع واحدهای محاسباتی
Embedding
Attention
روش های تعلیم

اسلاید 3 :

مقدمه
پردازش زبانهای طبیعی بر ارتباط انسان و رایانه، متمرکز است .

چالش اصلی و عمده در این زمینه، درک زبان طبیعی و ماشینی کردن فرایند درک و برداشت مفاهیم بیانشده با یک زبان طبیعی انسانی است.

مدل سازی زبانی (LM) روشی برای تشخیص این روابط در متن و مدل سازی ان به گونه ای قابل فهم برای ماشین است.

در مدلهای زبانی، ما به دنبال پیشبینی یک خروجی مناسب، به ازای داده های ورودی هستیم.

اسلاید 4 :

انواع مدلهای زبانی:مدلهای زبانی اماری
مدلهای اماری، به مدلهای احتمالاتی گفته میشود که قادر به پیش بینی کلمه بعدی در یک دنباله به ازای دریافت لغات قبلی هستند.

مشکل1: پراکندگی داده ها، عدم مشاهده بسیاری از دنباله ها در تعلیم
فرض وابستگی هر لغت فقط به n لغت قبلی : n-gram

مشکل2: عدم در نظر گرفتن similarity class base n-gram

مشکل3: قوانین سخت similarity: هر کلمه فقط در یک دسته

اسلاید 5 :

انواع مدلهای زبانی:مدلهای زبانی عصبی
مدلهایی که در ان از یک تعلیم یک شبکه ی عصبی استفاده میکنیم.در این شبکه ها، مشکل sparsity و similarity به کمک مفهوم embedding قابل حل است.

عامل های ایجادکننده شبکه های عصبی مختلف:
تعداد لایه
تعداد نرون ها در هر لایه
نوع تابع فعالیت در هر نرون
نوع نرون ها و یا به عبارتی واحد های محاسباتی
نوع تعلیم بر اساس داده ورودی

اسلاید 6 :

بررسی شبکه های عصبی پردازش متن

اسلاید 7 :

بررسی شبکه های عصبی پردازش متن: feedforward
تشکیل شده از نرون های پرسپترون MLP
مشکلات:
محدود بودن به سایز ورودی
تعلیم مختلف یک مفهوم یکسان
تن I like to drink juice a lot
I like to drink a lot of juice
عدم در نظر گرفتن توالی کلمات

اسلاید 8 :

بررسی شبکه های عصبی پردازش متن: RNN
حل مشکل شبکه های FF: تعریف یک بلوک نود ورودی – در نظر گرفتن توالی کلمات
هر واحد محاسباتی یک حافظه برای حفظ حالت قبلی
هرحالت جدید = ورودی جدید + حالت قبلی

مشکلات:
عدم پشتیبانی از دنباله های طولانی به دلیل زوال گرادیان
قادر نبودن به انتقال ویژگی ها به حالت های بعدی به دلیل نبود مکانیزمی برای ندید گرفتن ورودی فعلی

اسلاید 9 :

بررسی شبکه های عصبی پردازش متن: LSTM
حل مشکل شبکه های RNN: به کمک معرفی 3 گیت مختلف
Input Gate / update
Forget Gate
Output Gate
همچنین یک سلول حافظه به نام c در نظر گرفته شده است.

مشکلات : معماری پیچیده

اسلاید 10 :

بررسی شبکه های عصبی پردازش متن: GRU
حل مشکل پیچیدگی شبکه های LSTM: به کمک معرفی 2 گیت مختلف

Input Gate / update
Reset Gate

اسلاید 11 :

بررسی شبکه های عصبی پردازش متن: convolutional
شبکه های CNN، نسبت به شبکه های RNN وlstm سرعت و درک مفهوم بالاتری دارند.
مثال: I’d love to buy your product. Not

اسلاید 12 :

بررسی شبکه های عصبی پردازش متن: convolutional

مشکلات:
مخصوص تصاویر متن یک تصویر با ارتفاع یک است
تمرکز هر لایه روی بخشی از داده
اختصاص حجم بیشتر داده
افزایش تعداد لایه ها = زوال گرادیان مفهوم شبکه بازگشتی(residual)

اسلاید 13 :

بررسی شبکه های عصبی پردازش متن: GAN

مشکلات
مخصوص کار با تصاویر و برای داده ی گسسته برگشت خطا از dis به gen خوب عمل نمیکند. Reinforcement Learning
تنها زمانی خطا قابل محاسبه است که یک جمله کامل ایجاد شده باشد= عدم ثبات تعلیم
Genarative قادر به تولید داده های خیلی متنوع نیست
in-filling task

اسلاید 14 :

بررسی شبکه های عصبی پردازش متن: Auto encoder
بخش مهم این شبکه ها،=لایه های میانی انهاست. این لایه ها حاوی اطلاعات مهمی از ورودی هاست و بنابراین میتواند به عنوان یک ورودی برای سایر شبکه ها (embedding) استفاده شود.

اسلاید 15 :

بررسی شبکه های عصبی پردازش متن: embedding
منظور از embedding یک توکن(منظور از توکن در اینجا واحد پردازشی مورد نظر ماست که میتواند یک کاراکتر،کلمه و . باشد)تبدیل ان به یک بردار یکتا به طول مشخص است.

داده های پردازشی NLP بایستی به صورت embdding وارد شبکه شوند.

اسلاید 16 :

انواع embedding
Char embedding

Word embedding
روش ها برای تعلیم این نوع :
Matrix Factorization or Distributional representation:
تبدیل ماتریسهای اماری به ماتریس های کوچک SLA-HAL
Shallow Window-Based or Distributed representation
حرکت یک پنجره روی داده ها
(Continuous Bag of Words)CBOW: به ازای دریافت کلمه های قبل وبعد یک کلمه، میخواهیم ان کلمه را پیش بینی کنیم.
skipgram : هدف پیش بینی کلمات قبل و بعد به ازای یک کلمه ورودی است.
Class base word representation
مثال:word2vec و Glove

اسلاید 17 :

انواع embedding
context embedding
مثال context2vec

phrase embedding:
در نظر گرفتن skipgram ها به عنوان یک واحد معنایی امانه همه بلکه رایج ترین ها
استفاده از درخت پارسر
Sentence embedding

اسلاید 18 :

attention
هدف از ایجاد یک مدل زبانی این است که مدل بتواند به ازای یک ورودی داده شده، خروجی مناسب را پیشبینی کند. .در شبکه های معمولی چنانچه دنباله ی ورودی خیلی طولانی باشد، ممکن است خروجی ارتباط چندانی با سایر توکن ها نداشته باشد.

اگرچه برای مدل کردن توالی های طولانی از شبکه های LSTM معرفی شدند، در عمل این شبکه ها این قابلیت را ندارند. در نتیجه attention معرفی شد.

attention: به جای تولید یک خروجی مستقل،خروجی شبکه در ارتباط با ورودی عمل کند و در هرمرحله از تولید خروجی به ‏بخش ‏هایی از ورودی که مرتبط ترین اطلاعات را دارد توجه کند.
I arrived at the bank after crossing the river

اسلاید 19 :

روش های محاسبه attention
به کمک یک سلول در شبکه های RNN محاسبه میشود.

ساخت ماتریسی از کلمات پرس و جو و متن. و هر درایه بیانگر شباهت و ارتباط دو عنصر

•self-attention روشی برای موازی سازی attention
تمرکز متن روی روابط داخلی مثلا یافتن مرجع ضمایر

اسلاید 20 :

انواع روش های تعلیم
روشهای supervised

فرض کنیم داده ی ورودی ما x و داده ی خروجی ما y باشد، در نتیجه ما به دنبال تعلیم تابع احتمال(p(y|x P=هستیم.

در روش Generative برای تعلیم احتمال P، ابتدا شبکه احتمالات p(y) وp(x|y) را می اموزد. سپس از طریق قانون بیز، احتمال P به صورت زیر قابل محاسبه است.

در روش Discriminative تابع احتمال P مستقیما تعلیم داده میشود.
Unsupervised
Semi supervised