بخشی از مقاله
چکیده
یادگیری عمیق به عنوان یک تکنیک یادگیری قدرتمند ظاهر شده است که چندین لایه از ویژگیها را از داده یاد میگیرد و نتایجی را تولید میکند. همراه با موفقیت یادگیری عمیق در بسیاری از دامنههای کاربردی، یادگیری عمیق در تجزیه و تحلیل احساسات هم به کار برده میشود.
در این پژوهش، از یادگیری عمیق برای تشخیص قطبیت نظرات و تعیین درخواستهای کاربران در تلگرام استفاده شده است که بر خلاف سایر روشهای قبلی به جای استفاده از کلمات پرتکرار برای تولید واژگان، روش امتیازدهی td-idf به کار گرفته شده است و کلماتی برای ایجاد واژگان به کار میروند که دارای امتیاز بیشتری هستند.
ارزیابیهای انجام شده روی دو مجموعه دادهی مختلف نشان میدهند که این روش با صحت خوبی توانسته است قطبیت هر نظر و یا هر درخواست کاربر را تشخیص دهد. روش پیشنهادی به زبان و دامنهی خاصی محدود نیست و میتواند برای همهی زبانها مورد استفاده قرار گیرد. عدم نیاز مدل پیشنهادی به دیکشنری احساسات و تنها نیازش به متن خام به عنوان ورودی از مزایای این روش است.
مقدمه
تجزیه و تحلیل احساس یا نظرکاوی در واقع مطالعهی محاسباتی نظرات و یا احساسات دربارهی موجودیتهایی مانند محصولات و رویدادها است. اگر فردی بخواهد محصولی را خریداری کند به نظرات دوستان و یا خانواده محدود نمیشود زیرا نظرات و بحثهای زیادی در تالار گفتگوها در مورد محصولات مختلف روی وب وجود دارند.
به دلیل نظرات مختلف در وب، شرکت ها هم نیازی به نظرسنجی ندارند تا نظرات افراد را در مورد محصولات خود بدانند. اما پیدا کردن و نظارت کردن بر سایتهای نظری روی وب و ترکیب اطلاعات، به خاطر تنوع ریاد سایتهای مختلف، یک کار سخت و طاقتفرسا است. هر سایتی معمولا شامل نظرات مختلفی است که پیدا کردن نظرات مرتبط، استخراج و خلاصه سازی نظرات برای افراد کار آسانی نیست. به همین دلیل به سیستمهای تجریه و تحلیل احساس نیاز است.
تحفیقات موجود، تکنیکهای مختلفی را برای کارهای مختلف از تجزیه و تحلیل احساس ایجاد کردهاند که شامل هر دو روش بانظارت و بدون نظارت است. در روش بانظارت، مقالات اولیه شامل همهی انواع روشهای یاذگیری ماشین بانظارت مانند ماشین برداری پشتیبان ٌ، حداکثر آنتروپی و غیره است. روشهای بدون نظارت شامل تکنیکهای مختلفی است که واژگان احساسی، الگوهای گرامری و نحوی را به کار میگیرند.
شبکههای عصبی، شامل تعداد زیادی از واحدهای پردازشی اطلاعات هستند که به صورت لایههایی سازماندهی میشوند که توسط تنظیم وزنهای ارتباطی بین نرونها میتوانند وظایفی را یاد بگیرند. شبکههای عصبی بازگشتیٍ یا بهطور اختصار شبکههای RNN ، یک نوعی از شبکههای عصبی هستند که ارتباط بین نرونها، یک حلقهی جهتدار را شکل میدهند.
این شبکهها از حافظهی داخلیش برای پردازش دنبالهای از ورودیها استفاده میکند که این ویژگی باعث محبوبیت آن در پردازش اطلاعات دنبالهای شد. شبکههای عصبی بازگشتی، پارامترهای یکسانی را در همهی لایهها به اشتراک میگذارند.
بدین معنی که یک کار مشترک را در هر گام ولی با ورودیهای متفاوت اجرا میکنند که این فرایند به طرز قابل توجهی پارامترهای یادگیری را کاهش میدهد. در عمل، RNNها برای بهدست آوردن وابستگیها با فاصلهی زیاد به خاطر مشکل vanishing gradient و یا exploding gradient خیلی خوب نیستند. محققان برای غلبه بر این مشکل، انواع دیگری از RNN استاندارد مانند َLSTM را توسعه دادند. LSTM، یک نوع خاص از RNN است که قادر است وابستگیها با فاصلهی زیاد را یاد بگیرد.
یادگیری عمیق با استفاده از شبکههای عصبی میتواند وظایفی را یاد بگیرد که این امکان توسط شبکههایی فراهم میشود که شامل چندین لایه است. یادگیری عمیق به عنوان یک تکنیک یادگیری ماشین قدرتمند ظاهر شده است و نتایج خوبی در بسیاری از دامنههای کاربردی از جمله، بینایی ماشین و تشخیص صوت گرفته تا پردازش زبان طبیعی ایجاد کرده است. یادگیری عمیق برای تجزیه و تحلیل احساس بسیار قدرتمند ظاهر شده است. بسیاری از مدلهای یادگیری عمیق در پردازش زبان طبیعی به نتایج word embedding به عنوان ویژگیهای ورودی نیاز دارند. word embedding، تکنیکی برای مدل کردن و یادگیری ویژگیها است که کلمات در یک واژگان را به بردارهایی از اعداد مختلف تبدیل میکنند .
یاناجیموتو و همکاران - Yanagimoto et al, 2013 - از شبکهی عصبی مبتنی بر معماری عمیق استفاده کردند تا شباهت اسناد را تخمین بزنند. آنها در روششان به این نتیجه رسیدند که برای بهدست آوردن تخمین خوب باید بردارهای خوب به دست آورندکه بیانگر همهی مشخصات سند است. از این رو، از بسیاری از اخبارهای سهام بازار استفاده کردند تا شبکهی مبتنی بر معماری عمیق را آموزش بدهند و بردارهایی با شبکهی عصبی آموزش داده شده، ایجاد کنند و با استفاده از شباهت کسینوسی، شباهت اسناد را تخمین بزنند. آنها در ارزیابیشان بر محتوا تمرکز نمیکنند بلکه تمرکزشان بر قطبیت احساس است. روش پیشنهادی یک روش یادگیری بدون نظارت است. و آنها به کارایی خوبی در تخمین شباهت اخبار سهام بازار دست یافتند. نتایج نشان میدهند که شبکهی عصبی مبتنی بر معماری عمیق میتواند برای بیشتر کارهای پردازشی زبان طبیعی به کار برده شود.
تجزیه و تحلیل احساسات متنهای کوتاه مانند جملات تکی و پیامهای توییتری به خاطر کمبود اطلاعات محتوایی، چالش برانگیز لست. برای حل این چالش به استراتزیهایی نیاز است که محتوای متن کوتاه را با دانش قبلی ترکیب کند و از کیسهی کلمات بیشتریُ استفاده کند. سنتوس و گاتی - Santos and Gatti, 2014 - ، یک شبکهی عصبی convolutional عمیق پیشنهاد دادند که از اطلاعات در سطح کاراکتر تا رسیدن به سطح جمله استفاده میکند تا تجزیه و تحلیل احساسات را برای متون کوتاه انجام دهد. آنها روششان را در دو دامنهی مختلف SSTb5 و ّSTS بررسی کردند که دو دامنه بهترتیب، شامل نظرات فیلم و پیامهای توییتری است. آنها، برای دامنه اول و دوم بهترتیب به صحت 85.7 و 86.4 دست یافتند.
تجریه و تحلیل احساس محتوای متنی برای بسیاری از کارهای پردازشی زبان طبیعی مهم است. با موفقیت یادگیری عمیق، علاقهمندی در تجزیه و تحلیل احساس با استفاده ار مدلهای یادگیری عمیق ایجاد شد. کیانگ و همکاران - Ouyang et al, 2015 - قالبی ارائه دادند که word2vec+cnn نامیده میشود. آتها word2vec ارائه شده توسط گوگل را به کار گرفتند تا نمایش برداری کلمات را بدست آورند و این بردار را به عتوان ورودی شبکهی cnn به کار گرفتند.
آنها همچنین تکنولوژی PRelu وDroupout را به کار گرفتند تا صحت و تعمیم پذیری مدل را بهبود بخشند. آنها مدلشان را روی دیتاست نظرات دربارهی فیلم به کار گرفتند که این دیتاست شامل 5 برچسب مثبت، منفی، خنثی، تقریبا مثبت و تقریبا منفی است و روی این پیکرهی نظرات به صحت 45.5 دست یافتند.
واتیکول و کومسبها - Vateekul and Koomsubha, 2016 - تکنیک یادگیری عمیقی را به کار گرفتند تا احساسات مربوط به دادهی توییتر به زبان تایلندی را طبقهبندی کنند. در پژوهش آنها، دو تکنیک یادگیری عمیق وجود دارد که شامل LSTM و DCNN7 است.
آنها یک پیش پردازش مناسب روی داده انجام دادند. نتایج نشان می دهد که تکنیک یادگیری عمیق از بسیاری از تکنیک های کلاسیک مانند SVM و Naïve Bayes به مراتب بهتر عمل میکند.
به خاطر پیچیدگی زبانهای بشری، بیشتر الگوریتمهای طبقهبندی احساس از بزرگی مقیاس واژگان رنج میبرند که اکثرا دارای خطا و افزونه هستند. َDBN بر این مشکل توسط یادگیری اطلاعات مفید در پیکرهی ورودی با چندین لایهی مخفی غلبه کرد. متاسفانه DBN، یک فرایند وقتگیر و پر هزینه برای برنامههای دارای مقیاس بزرگ است.
روانگکنوکماس و همکاران - Ruangkanokmas et - al, 2016 یک الگوریتم نیمه نظارتی توسعه دادند که شبکه های باور عمیق با انتخاب ویژگیُ نامیده میشود. با استفاده از انتخاب ویژگی مبتنی بر chi-quare، پیچیدگی واژگان ورودی کاهش مییابد. از این رو یکسری از ویژگیهای نامرتب فیلتر میشوند که فاز یادگیری DBN را کارامدتر میکند. نتایج تجربی از DBNFS پیشنهادی نشان میدهد که به صحت دستهبندی بالاتری دست یافتهاند و زمان آموزش در مقایسه با الگوریتمهای یادگیری نیمه نظارتی معروف دارای سرعت بیشتری است.
وفور بسیاری از سایتهای تجاری منجر به رقابت در میان ارائه دهندگان سرویس یا محصول شده است. بدین منظور که تولیدکنندگان و مدیران بازاریابی مختلف، مشتریان قبلی را حفظ و مشتریان جدید را جذب کنند، ابزارهای تجزیه و تحلیل بازخورد برخط را به کار میگیرند. بیشتر ابزارهای تجریه و تحلیل بازخورد، با استفاده از مدلهای تجزیه و تحلیل بازخورد ایجاد میشوند. زیرشاخهی اصلی از تجزیه و تحلیل احساس، طبقهبندی احساس نامیده میشود که عمدتا برای تصمیمگیری دربارهی قطبیت نظر نوشتهشده - مثبت یا منفی - به کار برده میشود.
به منظور افزایش صحت طبقهبندی، قوش و همکاران - Ghosh et al, 2016 - یک معماری یادگیری عمیق ترکیبی پیشنهاد دادند که ترکیب دو لایه از ماشین Boltzmann و شبکهی عصبی احتمالی است. روش پیشنهادی دارای صحت بهتری برای پنج مجموعه دادهی مختلف در مقایسه با روشهای جدید دیگر است.
ژانگ و همکاران - Zhang et al , 2016 - ، یک معماری جدید به نام CA-RNN پیشنهاد دادند که میتواند محتوای قبلی و بعدی از هر موقعیتی در دنباله را ذخیره کند. در حالیکه یک لایه از convolutional برای بهدست آوردن اطلاعات محلی استفاده میشود، شبکههای عصبی بازگشتی دو طرفه برای دسترسی به اطلاعات گذشته و آینده بهکار گرفته میشوند.
در روش پیشنهادی آنها، RNN استاندارد با دو نوع دیگر از RNN که LSTM و GRU نامیده میشوند، جایگزین میگردد تا تاثیر معماری جدید را ارتقا بخشند. ویژگی چشمگیر مدل پیشنهادی این است که میتواند بدون مداخلهی انسان، آموزش ببیند و پیادهسازی آن آسانتر است. آنها نتایجشان را روی چندین مجموعه دادهی احساسات برچسب خوردهی مختلف بررسی کردند. نتایج نشان میدهد که اطلاعات متنی میتواند صحت طبقهبندی را در مقایسه با مدلهای بازگشتی استاندارد افزایش دهد و مدلهای جدید به کارایی خوبی در مقایسه با روشهای جدید دست یافتهاند.
بادپیما و همکاران - بادپیما و همکاران، - 1395 مدلی مستقل از زبان و دامنه برای تعیین قطبیت متون ارائه دادهاند . هدف آنها، تعیین قطبیت متون فارسی است که مدلی ارائه دادهاند که از ترکیب شبکههای بازگشتی LSTM و ماشین بردار پشتیبان است . در مدل آنها، بعد از پیشپردازش و استخراج کیسهی کلمات از متن خام به عنوان ورودی شبکههای بازگشتی LSTM، استفاده شده است. سپس، از بردارهای حاصل از خروجی این شبکه، میانگین گرفته و در نهایت برای کلاسبندی به ماشین بردار پشتیبان داده شده است.
هدف
در این پژوهش، دو مجموعه داده مورد ارزیابی قرار میگیرند. مجموعه دادهی اول که مربوط به تعیین قطبیت نظرات در تلگرام است و هدف از این پژوهش، تعیین قطبیت - مثبت، منفی و خنثی - هر نظر است. مجموعه دادهی دوم که مربوط به تشخیص درخواستهای کاربران در تلگرام است تا بتوان درخواست کاربر را تشخیص و به آن درخواست پاسخ داد. در این پژوهش، شبکههای یادگیری LSTM و RNN روی این دو مجموعه داده ارزیابی میشوند.
ارزیابیهای انجام شده، نشان میدهند که شبکه های RNN در پردازش دنبالههای خیلی بزرگ و طولانی مناسب نیستند و نمیتوانند وابستگیها با فاصلهی طولانی را در نظر بگیرند به همین دلیل از شبکههای LSTM بهجای شبکههای RNN استفاده میشود که میتوانند وابستگیهای دادهای با فاصلهی زیاد را یاد بگیرند. برای ایجاد واژگان در شبکههای LSTM، به جای معیار پرتکرارترین، روش امتیارزدهی tf-idf برای هر کلمه پیشنهاد شده است که دارای صحتًٌ بهتری نسبت به روشهای قبلی است زیرا منجر به انتخاب کلمات پرکاربردتری میشوند.
