بخشی از مقاله
ارائه راهکاری برای بازشناسی احساسات طبیعی و مصنوعی چهره در تصاویر ویدئویی
چکیده:
با پیشرفت تکنولوژی و ورود رباتها به فعالیتهای اجتماعی، فصل تازهای از ارتباطات اجتماعی انسان آغاز گردید. بازشناسی حالت چهره به سبب کاربردش در تعاملات انسان و ربات، تشخيص دروغ و کاربردهای پزشکی، یکی از موضوعات تحقیقاتی مهم در پردازش تصویر است. اما مشکلاتی از قبیل درست نمایی و پنهان کردن احساس توسط فرد و همچنین تفاوتهای فرهنگی در بروز احساسات، در این زمینه تحقیق وجود دارد. برای بررسی این مشکلات، در این مطالعه آزمایشهایی مطمئن برای ایجاد چهار وضعیت احساسی در ۲۴ شرکت کننده طراحی شده است. در مرحله اول آزمایش، افراد به صورت طبیعی و با استفاده از مجموعه ای از فیلمها و تصاویر استاندارد عاطفی، تحریک می شوند و تصاویر چهره آنها برداشت می شود و در مرحله بعدی به افراد آموزش ܘܐܬܘ میشود که چگونه نقش یک احساس را بازی کنند و از آنها تصویربرداری می شود. در نهایت بازشناسی احساسات با استفاده از روش شار نوری انجام می شود و به مقایسه نتایج حاصل از بازشناسی این دو گروه از تصاویر پرداخته می شود. با توجه به این که در این مطالعه از مجموعه دادگان آماده در زمینه تشخیص حالت چهره استفاده نشده است،
روشهای پیشنهادی در زمینه تقسیم چهره و استخراج بردارهای حرکتی به خوبی توانسته است حالتهای چهره را از یکدیگر بازشناسی کند.
کلمات کلیدی
بازشناسی احساسات - حالت های طبیعی چهره - حالت های مصنوعی چهره - شار نوری.
۱ - مقدمه
بازشناسی حالت چهره به سبب کاربردش در تعاملات انسان و ربات، تشخیص دارد، تشخیص دروغ و کاربردهای روانشناسی و پزشکی، به یکی از موضوعات تحقیقاتی مهم در پردازش تصویر مبدل شده است. تحلیلی حالت چهره از سه بخش اصلی شامل دریافت تصویر چهره، استخراج ویژگی و دسته بندی تشکیل شده است. در بخش دریافت تصویر چهره، معمولا تصاویر از رو به رو گرفته می شوند. پس از مشخص کردن چهره در تصاویر، نوبت به استخراج اطلاعات می رسد. ویژگیهای موجود در چهره را میتوان به دو دسته تقسیم کرد. یکی ویژگی - های دائمی که همواره در صورت وجود دارند و ممکن است در اثر بروز یک احساس تغییر شکل دهند. مهم ترین آنها عبارتند از: چشمها، ابروها، بینی و دهان .دیگری ویژگیهای گذرا که شامل انواع چروک ها و برآمدگیهای ایجاد شده در چهره، در اثر بروز احساسات می باشند .
در این مطالعه آزمایش هایی مطمئن برای ایجاد چهار وضعیت احساسی خوشحالی، ناراحتی، آرامش و نفرت در ۲۴ شرکت کننده طراحی شده است. در مرحله اول آزمایشی، افراد به.صورت طبیعی و با استفاده از مجموعه ای از فیلم ها و تصاویر استاندارد عاطفی، تحریک می شوند و در مرحله بعدی به افراد آموزش داده می شود که چگونه نقش یک احساس را بازی کنند و به صورت همزمان سیگنال مغزی و تصاویر چهره آنها ثبت میشود. با توجه به شرایط خاص آزمایش و توجه به این موضوع که پردازش حالت چهره بروی دادههای معروف و از پیش تعیین شده انجام نشده است و به جای آن بروی تصاویر ویدئویی ضبط شده در حین آزمایش انجام شده است، در بخش پیشینه به بیان تحقیقاتی مشابه در این زمینه پرداخته می شود. در سال ۲۰۰۶ و در یک کارگاه آموزشی، سوران برای اولین بار آزمایشی برای تحریک عاطفی و ثبت همزمان سیگنال مغزی و تصاویر چهره بر روی ۵ شرکت کننده طراحی کرد. در این کارگاه آموزشی از روش های کانتور فعال و مدل ظاهری فعالاستفاده شد و از مدل ظاهری فعال نتایج بهتری بدست آمد||۳||. در سال ۲۰۰۹، سوپریجانتو آزمایشی برای تحریک احساسات مثبت و منفی در ۳ شرکت کننده طراحی کرد و از روش شار نوری برای پردازش تصاویر استفاده نمود ۴] و در سال ۲۰۱۰، ژانگ آزمایشی برای تحریک احساسات مثبت و منفی بر روی ۵ شرکت کننده طراحی کرد و از روش مدل ظاهری فعال برای پردازش تصاویر استفاده نمود
۲- نحوه انجام آزمایش و ثبت تصاویر
در این مطالعه از ۲۴ شرکت کننده شامل ۱۶ مرد و ۸ زن، در رده سنی ۲۰ تا ۳۰ سال استفاده شده است که همگی از افراد سالم انتخاب شدهاند. قبل از انجام آزمایش برای بررسی سلامت عمومی به هر فرد یک پرسشنامه سلامت عمومی شامل ۲۸ سوال داده می شود. این پرسشنامه افراد را از لحاظ بیماری های روان تنی، شدت اضطراب، روابط اجتماعی و میزان افسردگی مورد بررسی قرار می دهد||۶ ]. بنابراین تمام افراد شرکت کننده از جهات یاد شده در سلامت کامل به سر می برند. پس از انتخاب افراد سالم، شرکت کننده ها رضایت نامه شرکت در آزمایش را تکمیل می کنند سپس نحوه انجام آزمایش برای آنها توضیح داده می شود و از انها خواسته می شود در حین انجام ازمایشی کاملا آرام باشند و از انجام حرکات اضافی پرهیز کنند.
برای انجام آزمایش محیطی کاملاً آرام در نظر گرفته شده است و شخص دیگری در محیط انجام آزمایش حاضر نیست. شرکت کننده بر روی صندلی و در فاصله ۴۰ سانتی متری از یک صفحه نمایش ۱۵ اینچی به تماشای فیلم ها و تصاویر آماده شده می نشیند. دو قطعه فیلم دو دقیقه ای و ۳۰ تصویر از مجموعه تصاویر استاندارد عاطفی برای ایجاد هر یک از حالتهای احساسی خوشحالی، ناراحتی، آرامش و نفرت در نظر گرفته شده است. بنابراین در مجموع هشت قطعه فیلم و ۱۲۰ تصویر به شرکت کننده نشان داده می شود و به صورت همزمان سیگنال مغزی و تصاویر چهره آنها ثبت می شود. برای جداسازی احساسات از یکدیگر و آمادگی شرکت کننده برای حس بعد، یک تصویر سیاه به مدت یک دقیقه پس از خودآزمایی و قبل از شروع احساس بعد به افراد نمایش داده می شود. در بخش خودآزمایی از شرکت کنندهها خواسته می شود تا نظر خود را در ارتباط با فیلم ها و تصاویر پخش شده بیان کنند. جزئیات انجام آزمایش در شکل ۱ نشان داده شده اسیت.
برییس استہ ممارس یس، در این مطالعه تصویربرداری با استفاده از یک دوربین. Canon Power Shot A3000 پیکسل انجام گرفته است. دوربین در فاصله ۳۰ سانتیمتری از شرکت کننده هاو در نمای روبهرو قرار گرفته است. در آزمایشات انجام شده تصویربرداری در دو مرحله انجام می شود. در مرحله اول افراد به صورت طبیعی و با استفاده از مجموعه ای از فیلم ها و تصاویر استاندارد، تحریک میشوند و در حین انجام آزمایش، تصاویر چهره آنها برداشت می شود و در مرحله بعدی به افراد آموزش داده می شود که چگونه نقش یک احساس را بازی کنند سپس برای بار دوم از آنها تصویربرداری می شود. پردازش مربوط به سیگنالهای مغزی به تفصیل در || ۷ || آورده شده است و در این مطالعه به پردازش تصاویر چهره پرداخته می شود.
استخراج ویژگی و دسته بندی حالات" پس از دریافت چهره نوبت به مشخص کردن اجزای اصلی چهره شامل چشمها، ابروها، بینی و دهان می رسد برای این منظور از نرم افزار faceSDK استفاده شده است. این نرمافزار ۶۶ نقطه را در اطراف اجزای اصلی چهره مشخص می کند و آنها را در اختیار ما قرار می دهد. پس از تعیین اجزای چهره نوبت به استخراج ویژگی ها میرسد. در این مطالعه از میان روش های مور-جورد، شار نوری برای استخراج حرکات استفاده شده است.
۱-۳ - انتخاب مکانهای استخراج بردار حرکتی پس از دریافت چهره برای استخراج ویژگی ها نیاز است بدانیم در هنگام بروز احساسات بخش های مختلف چهره چگونه تغییر می کنند. بر اساس توصیف باسیلی برای هر احساس حرکت هایی در قسمت های مختلف چهره در نظر گرفته میشود. در شکل ۲ حرکاتی که به علت ابراز یک احساس در چهره فرد ایجاد می شود، نشان داده شده است || ۹ || . در بررسیهای انجام شده روی تصاویر مختلف مواردی مشاهده شد که در آنها تغییرات ایجاد شده تا حدی با تغییرات نشان داده شده در شکل ۲ متفاوت هستند. این موارد را می توان در شکل ۳ مشاهده کرد. برای طراحی سیستمی که بتواند به صورت مطلوب حالات چهره را تشخیص دهد لازم است این موارد نیز در نظر گرفته شوند. بنابراین برای احساسات خوشحالی و ناراحتی ۲ الگو در نظر گرفته می شود. پس از تعیین این الگوها مسئله بعدی تعیین مکان و تعداد بردارهای حرکتی است. برای این مظور دو روش در این مطالعه در نظر گرفته شده است که به شرح زیر است:
3- ۲- روش اول: استخراج ۹ بردار حرکتی
در روش اول تنها ۹ بردار حرکتی از چهره استخراج می شود. برای تعیین مکان این بردارها ابتدا ناحیه مربوط به چهره با توجه به محل قرار گرفتن اجزای اصلی شامل چشمها، بینی و دهان، تعیین می شود. سپس پنجرهای برای استخراج بردارهای حرکتی در نظر گرفته می شود. دو متغیر مهم شامل سایز پنجره و میزان همپوشانی آنها تعیین کننده مکان و تعداد پیکسل هایی است که بردار حرکتی آن مورد بررسی قرار میگیرد. هرچه سایز پنجره کوچکتر و میزان همپوشانی آنها زیادتر باشد تعداد پیکسل بیشتری مورد بررسی قرار میگیرد. در روش اول سایز پنجره به اندازه یک سوم عرض ناحیهای که چهره را در بر گرفته است و بدون همپوشانی در نظر گرفته می شود. این سایز پس از بررسیهای انجام شده بروی تصاویر موجود به دست آمده است. از این رو می توان حرکت ۹ بخش شامل دو چشم، ناحیه بین دو چشم، دو گونه، نوک بینی، لب بالایی و دو طرف لب را بررسی کرد. انتخاب این ۹ بخش با توجه به جهت حرکت آنها در چهار حالت احساسی شادی، ناراحتی، نفرت و آرامش است. همانگونه که از شکل های ۲ و ۳ مشخص است لب پایینی باعث ایجاد دو الگو برای احساسات خوشحالی و ناراحتی می شود بنابراین این ناحیه برای به دست آوردن این ۹ بردار در نظر گرفته نمی شود.
پس از به دست آوردن بردارهای حرکتی در این ۹ ناحیه برای مشخص کردن نوع احساسی، بردارها در دایره مثلثاتی با توجه به اندازه و جهت حرکتشان رسم می شوند. در این مطالعه در ابتدا پردازشی ها بروی تصاویر چهره در موقعیتی که شرکت کنندهها نقش یک احساس را بازی می کنند انجام می شود و پس از اطمینان از نتایج روش های استفاده شده، این روشی ها برای تصاویر چهره در موقعیتی که افراد به صورت طبیعی تحریک میشوند، به کار برده می شود. شکل ۴ بردارهای حرکتی به دست آمده در حالت نفرت را به عنوان نمونه نشان میدهد. نگاشت این بردارها در فضای مثلثاتی در شکل ۵ نشان داده شده است. با کمی دقت می توان حالت های مختلف احساسی را با توجه به قرار گیری بردارها در فضای مثلثاتی از یکدیگر بازشناسی کرد. همانگونه که مشخص است در حالت خوشحالی تمامی بردارها در ربعهای اول و دوم جای گرفته اند و در حالت ناراحتی تمامی بردارها در ربع های سوم و چهارم قرار گرفتهاند و در حالت نفرت بردارها تقریبا هر چهار ربع را اشغال کردهاند. این تقسیم -
بندی به این معنی است که مثلاً احساس خوشحالی نمیتواند برداری در ربع های سوم و چهارم داشته باشد و باید ربع اول، دوم و یا هردو را اشغال کرده باشد. به همین ترتیب احساسی ناراحتی نمی تواند برداری در ربع های اول و دوم داشته باشد. به این ترتیب تنها با بدست آوردن ۹ بردار حرکتی می توان این چهاراحساس را از هم بازشناسی کرد.
روش دوم: استخراج ویژگی بر اساس تقسیم۔ بندی چهره به سه ناحیه در این روش چهره با توجه به جهت حرکت نواحی مختلف در هنگام بروز احساسات، به سه بخش تقسیم می شود. برای این تقسیم بندی از مکان اجزای اصلی چهره استفاده شده است. ناحیه اول شامل مستطیلی است که ابروها و چشمها را شامل میشود. ناحیه دوم، بینی و ناحیه سوم لب را در بر میگیرد. در این روش در هر ناحیه و در هر سطر از تصویر ۲۰ پیکسل و در مجموع تقریبا ۱۴۰ پیکسل مورد بررسی قرار می گیرد. در صورت لزوم می توان این تعداد راکم یا زیاد کرد. برای مشخصی کردن بردارهای نامناسب که باید حذف شوند می توان میانگین طول کلیه بردارها را به دست آورد و سپس بردارهایی که طول آنها از طول بردار میانگین کمتر است را حذف کرد. همچنین میتوان از یک فیلتر انحراف استاندارد برای حذف بردارهای نامناسب استفاده کرد به گونه ای که در آن یک آستانه برای فیلتر مورد نظر تعیین میگردد و به این ترتیب بردارهایی که بیشتر از آستانه از انحراف استاندارد فاصله دارند حذف میگردند ۱۰ . در این مطالعه هر دو روش برای کاهش بردارهای نامناسب به کار گرفته شدهاند و آستانه فیلتر برابر با ۱/۵ برابر مقدار انحراف استاندارد بردارهای حرکتی، در نظر گرفته شده است. شکل ۶ نمونه ای از حذف نویز با استفاده از فیلتر انحراف معیار را نشان می دهد. تعدادی از بردارهایی که به کمک فیلتر حذف شده اند به عنوان مثال و با مستطیلی قرمز مشخص شده است.
بررسیهای که در این مطالعه انجام شده است نشان میدهد جهت حرکت بردارها در این سه ناحیه در احساسات خوشحالی، ناراحتی و نفرت به گونه ای است که می توان به کمک آن احساسات را از یکدیگر بازشناسی کرد. یعنی تفکیک بردارها با توجه به مکان آنها در ربع اول و دوم یا ربع سوم و چهارم که نظر گرفته شده است. پس از بررسی تصاویر ثبت شده، الگوهایی برای حرکت این سه ناحیه به دست آمده است. این الگوها در جدول ۱ نشان داده شده است. در این جدول بردارهایی که مکان آنها در ربع اول و دوم است با عنوان بردارهای رو به بالا و بردارهایی که مکان آنها در ربع دوم و چهارم است با عنوان بردارهای رو به پایین مشخص شدهاند. هنگام استفاده از این معیار باید به این نکته توجه داشت که در این روش نمی توان گفت جهت حرکت تمامی بردارها در این نواحی با جهتهای ذکر شده مطابقت دارند به عنوان مثال برای احساس ناراحتی در ناحیه سوم ممکن است دو گوشه لب به سمت پایین و لب پایین به سمت بالا حرکت کند. بنابراین هر دو حرکت رو به بالا و پایین در این ناحیه وجود دارد. کاری که باید انجام شود، محاسبه درصد بردارهایی است که از الگوهای ذکر شده تبعیت می کنند. برای این منظور در هر ناحیه بردارهای حرکتی محاسبه و بر حسب اندازه و جهت آنها در دایره مثلثاتی رسم می شوند سپس درصد بردارهایی که از الگوها تبعیت می کنند مشخص میشود و بازشناسی انجام میشود. شکل ۷ بردارهای حرکتی به - دست آمده از یک شرکت کننده را در حالت خوشحالی نشان میدهد. این بردارها در فضای مثلثاتی نگاشت شدهاند و در شکل ۸ نشان داده شده اند. با توجه به بردارهای موجود، درصد تبعیت و احساسات تشخیص داده شده، مشخص شده و در جدول ۲ نشان داده شده است. به این ترتیب احساسات با استفاده از این روش از چهره افراد بازشناسی می شود.
