بخشی از مقاله
بررسي کاربرد تصاوير سه بعدي در تشخيص حالت چهره
چکيده : با پيشرفت تکنولوژي و ورود رباتها از فعاليت هاي صنعتي به فعاليت هاي اجتماعي، فصل جديدي از ارتباطات اجتماعي انسان آغازگرديد. تشخيص اتوماتيک حالت چهره به سبب کاربردش در تعاملات انسان و ربات، تشخيص درد، تشخيص دروغ وکاربردهاي روانشناسي و پزشکي ديگر، به يکي از موضوعات تحقيقاتي مهم در پردازش تصوير مبدل شده است .در چند دهه گذشته مطالعات فراواني در اين زمينه صورت گرفته و روشهاي بسياري براي تشخيص حالت چهره ارائه گرديده است .تقريباً تمامي اين روشها بدليل نبود يک پايگاه داده سه بعدي مناسب براي تشخيص حالت چهره، بر پايه تصاوير ثابت يا متحرک دو بعدي صورت گرفته اند. تنها در چند سال اخير و بعد از ارائه يک پايگاه داده سه بعدي ازحالات چهره، تحقيقات به سمت استفاده از تصاوير سه بعدي کشيده شده است . در اين مقاله سعي داريم تا ضمن معرفي اين پايگاه داده دلايلي را براي برتري استفاده از تصاوير سه بعدي نسبت به تصاوير دوبعدي ذکر نماييم . همچنين ساختار کلي روشهاي تشخيص حالت چهره را بررسي کرده و تعدادي از روشهاي سه بعدي ارائه شده در اين زمينه را بر اساس اين الگو مطالعه و مقايسه مي کنيم .
کلمات کليدي: استخراج ويژگي، تشخيص حالت چهره، روشهاي سه بعدي، طبقه بندي .
١- مقدمه
حالت چهره جلوة آشکاري ازحالت احساسي، نيت ، شخصيت و ويژگيهاي رواني يک فرد است ؛که نقش مهمـي درارتباطـات ميـان افـراد دارد.حالات چهره و ديگر حرکات بدن درهنگام سخن گفتن ، انتقال دهندة نشانه هاي ارتباطي غيرکلامي درتعاملات چهره به چهـره مـي باشند.همچنين ممکن است اين نشانه ها کامل کنندة صحبت باشند بدين طريق که به شنونده کمک کنند تا معاني واقعي کلمات گفته شده را دريابد. برطبق تحقيقات انجام شده حالت چهرة گوينده ٥٥درصد تاثير بر شنونده را شامل ميشود،٣٨ درصد به وسيله تـن صـدا وتنها٧ درصد بوسيله کلمات گفته شده انتقال مييابند[١]. در سال ١٨٧٢، يک طبيعت شناس به نام چارز داروين ، در کتاب خـود[٢] بـه بررسي اين مساله پرداخت که چگونه انسان و حيوانات احساسات خود را بيان ميدارند. داروين به ماهيت کلي احساسات در کتـاب خـود اشاره کردهاست :"هم درانسان و هم در حيوانات، پير و جوان از نژادهاي مختلف ، حالت ذهني يکسـان را بـا حرکـات يکسـاني نشـان مـي دهند[٣]. آناليز حالت چهره از کار داروين تاکنون، يک موضوع تحقيقاتي مهم بـراي دانشـمندان رفتـار شناسـي بـوده اسـت . Suwa و همکارانش [٤] ، اولين تلاش را در سال ١٩٨٧ براي آناليز اتوماتيک حالات چهره بارديابي حرکت ٢٠ نقطه شناسايي شده از يک تـوالي تصوير، ارائه دادند. پس از آن پيشرفت هاي بيشتري در ساخت سيستم هاي کامپيوتري صورت گرفت که به ما در فهميدن و به کار بسـتن اين شکل طبيعي از ارتباط انساني کمک کرد[٥]. درچند دهۀ گذشته تحقيقات فراواني در زمينه تشخيص حالت چهره در دانشـگاههاي سراسر دنيا صورت گرفته است . درايران نيز چندين مقاله تحقيقاتي در اين راستا ارائه شده است [٢، ١]. با وجود انجـام تحقيقـات فـراوان، اين موضوع هنوز هم بعنوان يک بحث چالش برانگيز درمحدودة بينايي ماشين به حسـاب مـي آيـد. در [٥] مشـکلات موجـود در مسـير تشخيص حالت چهره و ساختار يک سيستم ايده آل مرور شده است .
در بخش بعدي اين مقاله ابتدا يک ساختار کلي براي روشهاي تشخيص حالت چهره بيان کرده و سپس مبحث را بـا روشـهاي تشـخيص حالت چهره D٣١ ادامه مي دهيم . بدين صورت که دلايل جامعه تحقيقاتي را براي روي آوردن بـه دادة D٣ ذکـر نمـوده و بـا پايگـاه دادة DFE٣-BU که تنها پايگاه دادة تشخيص حالت چهره D٣ ميباشد آشنا مي شويم . پس از آن تعدادي از روشهاي تشخيص حالت چهـره D٣ را که در سالهاي اخير ارائه شده اند، بررسي مي نماييم .
٢- معماري اصلي سيستم هاي تشخيص حالت چهره
سيستم اتوماتيک براي تشخيص حالت چهره معمولاً به شکل يک ساختار ترتيبي از بلوکهـاي پردازشـي اسـت ، کـه بـا مـدل تشـخيص 2 الگوي کلاسيک در توافق است [١]. همانطور که در شکل ١ نشان داده شده است ، بلوکهاي اصلي اين سـاختار شـامل : پـيش پـردازش ، استخراج ويژگي ٣، طبقه بندي ٤ و پس پردازش ٥ ميباشند. در مرحله پيش پردازش اعمالي مانند نـويزگيري، نرمـال سـازي نسـبت بـه نوسانات روشنايي يا نرمال سازي ابعاد و دقت تصاوير، انجام مي پذيرد. استخراج ويژگي مرحله بسيار مهمي درتشخيص حالت چهـره مـي باشد. روشهاي استخراج ويژگي را مي توان به دو دسته تقسيم کرد[٥]: روشهاي مبتني بر ويژگي ٦ روشهاي مبتني بر ظاهر٧. درروشـهاي مبتني بر ويژگي، ويژگيهاي هندسي چهره مانند مکان و شکل اجزاي چهره(چشم ها، بيني، دهـان و ابروهـا) داراي اهميـت مـي باشـند.
اجزاي چهره يا نقاط ويژگي صورت به شکل يک بردار ويژگي که هندسه صورت را نمايش مي دهند، استخراج مـي شـوند. در روش هـاي مبتني بر ظاهر، به بافت پوست توجه شده و با کمک چين وچروکها و شيارهايي کـه در حـالات احساسـي در قسـمتهاي مختلـف چهـره پديدار مي شوند به استخراج ويژگي مي پردازند. در برخي مقالات ارائه شده در ايـن زمينـه ، از ترکيـب روشـهاي مبتنـي بـر ظـاهر و روشهاي مبتني برويژگي (روشهاي هيبريد) براي استخراج ويژگي استفاده شده است . ويژگيهاي استخراج شده در اين مرحلـه بـه عنـوان ورودي يک سيستم طبقه بندي کننده ٨ استفاده مي شود. خروجي طبقه بندي کننده ها عمومـاً يکـي از ٦ حالـت اصـلي تعريـف شـده توسط Ekman [٧] يعني شادي، غم ، تعجب ، عصبانيت ، ترس و تنفر و يا يکي از واحدهاي حرکتي چهره ٩ کـه در سيسـتم کدبنـدي حرکات چهره ١٠(FACS) توصيف شده اند[٨]، مي باشند. هدف مرحله پس پردازش بهبودي دقت تشخيص است . بطـور مثـال امکـان دارد که براي برطرف کردن خطاهاي طبقه بندي از طبقه بندي کننده هاي سلسله مراتبي استفاده شود.
٣- مروري برتشخيص حالت چهره سه بعدي
٣-١- چرا استفاده از تصاوير سه بعدي ؟
تحقيقات روانشناسي نشان مي دهد که سيستم بينايي انسان مي تواند ويژگيهاي D٣ چهره را حتي وقتي به يک تصوير D٢١١ نگاه مي کند استخراج کند. به همين دليل است که تشخيص انسان از حالت چهره موجود در يک تصوير D٢ بسيار بهتر از تشخيص ماشين مي باشد[٦]. هنگام استفاده از تصاوير D٢ در واقع چهره را بصورت يک الگوي مسطح درنظر گرفته ايم . دستاورد اين ديدگاه اين
شکل ١: معماري اصلي روشهاي تشخيص حالت چهره به همراه مثالي که مراحل تشخيص حالت چهره در [٢٤] را نشان مي دهد.
است که تغييرات حالت تنها برحسب اندازه هاي بدست آمده از صفحه تصوير، مورد بررسي قرار مي گيرد. در واقع زماني که ما از تصاوير دو بعدي براي تشخيص اتوماتيک حالت چهره استفاده مي کنيم بخش مهمي از اطلاعات موجود در چهره را مثل برآمدگي ها يا تورفتگي هاي سطح چهره که در اثر تغيير حالت ايجاد مي شوند، از دست داده ايم .
بيشتر روشهاي پيشنهادي براي تشخيص حالت چهره، بر تصاوير تمام رخي کار مي کنند که در محيط هاي آزمايشگاهي و با شرايط نورپردازي ثابت ، تهيه شده اند. اما حقيقت اين است که فرض تمام رخ بودن چهره يا ثابت بودن روشنايي، واقع گرايانه نمي باشد و اين روشها در شرايط غير آزمايشگاهي نتايج جالب توجهي بدست نخواهند آورد. زيرا مردم بندرت احساسات خود را بدون حرکت ناخودآگاه سر و بدن بيان مي دارند. از طرف ديگر چرخش سر باعث تغيير روشنايي خواهد شد که بخشي از چهره را غير قابل رويت خواهد کرد.
اما کار بر روي تصاوير غير تمام رخ و يا با شرايط نورپردازي متغيير در محدوده D٢ بسيار مشکل مي باشد.
در واقع تشخيص حالت چهره با مشکلات متعددي روبرو است . تغيير روشنايي تصاوير و چرخش سر دو مورد از مشکلات اساسي در اين راستا مي باشند که تشخيص حالت چهره D٢ را ناکارآمد نموده اند. اما استفاده از روشهايD٣ غلبه بر اين مشکلات را امکانپذير کرده است . دانستن اين مساله جامعه تحقيقاتي را به تشخيص حالت چهره سه بعدي جلب کرد. با پيشرفت تکنولوژي، تجهيزات اسکن D٣ و تکنيک هاي مبتني بر بينايي کامپيوتر که براي ساختن چهره D٣ از يک يا تعدادي تصوير D٢ بکار مي روند، رشد افزاينده ايي داشته اند. تشخيص چهره از اين امر استفادة فراواني برده و در واقع اولين کار تشخيص چهرة سه بعدي يک دهه قبل انجام پذيرفته است .
برخلاف تشخيص چهره، تشخيص حالت چهره به کندي به سمت استفاده از اطلاعات D٣ سوق پيدا کرد. دليل اين امر نبود يک پايگاه داده سه بعدي تشخيص حالت چهره گزارش شده است . البته در برخي روشهاي D٢ مانند چند کار تحقيقاتي مهم انجام شده در دانشگاههاي ايلي نويز و کاليفرنيا[١٨,١٩,٢٠]، براي برآورد حالت سر و هندسه چهره از مدل هاي D٣ استفاده کرده اند. در حالت کلي آنها يک مدل چهرة مش مانند سه بعدي را بکار بسته اند. اين مدل سه بعدي در اولين فريم و با کمک برخي نقاط ويژگي مثل گوشه هاي چشم ودهان، با چهره انطباق مي يابند. اين روشها مشکلاتي را که به سبب چرخش هاي ملايم سر به اطراف ايجاد مي شود را برطرف نموده اند اما از آنجايي که هيچ ساختار هندسي سه بعدي کاملي از چهره بکار نرفته است ، توانايي کار کردن با چرخشهاي سر در ابعاد بزرگ وجود ندارد.
٣-٢- پايگاه دادة سه بعدي حالات چهره
در کنار پايگاه دادههاي تشخيص حالت چهره D٢ از جمله [٢١]JAFFE،[٢٢]CMU-Pittsburgh، RU-Facs١ [٢٣] و... که در تحقيقات فراواني از آنها استفاده شده است ؛ ؛ DFE٣-BU اولين پايگاه داده سه بعدي تشخيص حالت چهره است که در دسترس عموم قرار گرفته است . اين پايگاه داده در سال ٢٠٠٦ ،توسط Yinوساير همکارانش در دانشگاه Binghamton تهيه گرديد. در تهيه اين پايگاه داده ١٠٠ سوژه شامل ٦٠% زن و ٤٠% مرد با تفاوتهاي نژادي مختلف شرکت داشته اند.اين افراد ٧ حالت اصلي چهره را با٤ درجه شدت متفاوت اجرا کرده اند[٦]. در شکل ٢ نمونه ايي ازتصاوير موجود در اين پايگاه داده را مشاهده مي کنيد. اين قطعاًً اولين تلاش براي
شکل ٢: نمونه اي از تصاوير موجود درپايگاه دادة DFE٣-BU [٦].
ايجاد يک پايگاه دادة سه بعدي حالت چهرة براي جامعه تحقيقاتي بوده است .عموم محققان عقيده دارند که وجود اين پايگاه داده يک اثر فوق العاده بر تحقيقات مرتبط با رفتار چهره در سالهاي اخير داشته است [١٣].
٣-٣- استخراج ويژگي در روشهاي سه بعدي
اولين کار تحقيقاتي براي تشخيص حالت چهره با کمک تصاوير سه بعدي، در سال ٢٠٠٦ انجام پذيرفت [٩]. در اين کار سعي شده است تا باکمک ويژگيهاي ابتدايي سطح چهره مانند فرورفتگي ها، برآمدگي ها و ... که در اثر تغيير حالات در چهره ايجاد مي شوند به استخراج ويژگي بپردازند.براي استخراج اين ويژگيها ابتدا سطح چهره را بصورت يک شبکۀ مثلثي مدل کرده اند. سپس ويژگيهايي مانند منحني هاي سطح و شيب سطح را در هر رأس محاسبه کرده و هر رأس را با يکي از ١٢ ويژگي ابتدايي برچسب گذاري کرده اند. از آنجا که حالات چهرة يکسان توزيع برچسب مشابهي را نشان مي دهند؛ مي توان با کمک آنها به طبقه بندي حالات چهره پرداخت . بنابراين چهره را به ٧ ناحيه تقسيم کرده و با کمک توزيع برچسبها در اين نواحي به استخراج ويژگي پرداخته اند. نويسندگان مقاله روش پيشنهادي خود را که اصطلاحاً PSFD١٢ ناميده مي شود بر تصاوير تمام رخ و غيرتمام رخ
