بخشی از مقاله
چکیده
- ما یک مدل مقید محلی سه بعدی برای استخراج ویژگی های چهره مقاوم به چرخش سر ارائه می دهیم . راه حل ما ترکیبی از اطلاعات شدت روشنایی و اطلاعات عمق چهره در قالبی مشترک می باشد که در این مقاله ارائه شده است. از این مدل می توان جهت تخمین زاویه سر در جهت های سه گانه در تصاویر دوبعدی و همچنین استخراج نقاط مهم چهره مقام با چرخش سر برای کاربردهای دیگر نیز استفاده کرد . ما نشان می دهیم که تخمین زاویه سر با استفاده از این راه حل در تمام جهات سرعت بالایی در کارهای بلادرنگ دارد و به صورت تمام اتوماتیک و مستقل از تغییرات روشنایی و افراد خواهد بود . همچنین این مدل ارائه شده مقاوم به شش حالت اصلی چهره و انسدادهای جزیی - عینک و موهای صورت و... - می باشد . بنابراین می توان گفت یک تخمین زاویه سر نامحدود و بدون قید و شرط ارائه می دهیم.
کلید واژه - بلا درنگ ، بدون قید و شرط ، تخمین زاویه سر ، زاویه چرخش سر ، ژست سر ، سه بعدی ، مدل مقید محلی ، نامحدود .-1 مقدمه
تخمین ژست سر - چرخش سر - یکی از مهم ترین و کاربردی ترین موضوعات مورد بحث برای بینایی ماشین می باشد که تعامل خوبی بین ماشین و انسان برقرار می کند . تخمین زاویه سر به صورت تمام اتوماتیک و مستقل از شخص یکی از مباحث مهم و اساسی می باشد که در تشخیص چهره ، تشخیص رفتار انسان ، تعامل انسان و کامپیوتر و... کاربرد دارد . روش ارائه شده در این مقاله زاویه سر را در جهت های سه گانه - شکل - 1 و به صورت بلادرنگ و تمام اتوماتیک و مستقل از تغییرات روشنایی و مستقل از شخص و مقاوم نسبت به شش حالت اصلی چهره - خوشحالی ، غمگینی ، ترس ، نفرت ، تعجب ، خشم - و انسدادهای جزیی تخمین می زند.
برای تخمین ژست سر تلاش های زیادی صورت گرفته است که از جمله آن می توان استفاده از روش مدل شکل فعال[1] ASM 1 و مدل ظاهر فعال[2],[3],[4] AAM 2 و مدل ظاهر تعمیم یافته بر پایه دید [5] 3GAVAMرا نام برد . یکی از روش های استخراج نقاط مهم چهره روش مدل مقید محلی[3] CLM 4 می باشد در این روش با تولید یک مدل توزیع نقاط - [9] PDM 5 شکل - 2 که شامل قسمت های سخت و نرم چهره می شود نقاط مهم صورت را استخراج می کند. در این مقاله ما یک مدل مقید محلی سه بعدی - 3D CLM - با استفاده از ترکیب شدت روشنایی و عمق چهره ارائه می دهیم - شکل - 3 که با اضافه کردن عمق به روش CLM مشکل پیدا کردن دریچه ها در نگاشت پاسخ6 تکه در این روش را نیز برطرف می کنیم . همچنین استفاده از عمق چهره در این روش باعث بهبود در تغییرات روشنایی می شود و این روش را مستقل از تغییرات روشنایی می کند . ادامه این مقاله بدین صورت است : در بخش 2 کلیاتی از مدل مقید محلی سه بعدی را بیان می کنیم . در زیر بخش 1-2 نحوه انتخاب و جستجوی تکه های ویژه را بررسی می کنیم . در زیر بخش 2-2 نحوه تطبیق کردن روی تکه های ویژه را بیان می کنیم . در زیر بخش 3-2 به نحوه آموزش مدل پیشنهادی می پردازیم و در بخش 3 و 4 به آزمایشات انجام شده و نتیجه گیری می پردازیم.
-2 مدل مقید محلی سه بعدی
اصلی ترین سهم مقاله ما 3D CLM می باشد که یک مدل مقید محلی می باشد که از ترکیب اطلاعات شدت روشنایی و عمق برای استخراج نقاط ویژگی های چهره به کار می رود . مدل 3D CLM را می توان با پارامتر p = [s , R , q , t] شرح داد که می تواند بسته به نیاز های متنوع تغییر کند . که s فاکتور مقیاس و R چرخش شی ء و t انتقال دو بعدی و q برداری است که تغییرات قسمت های غیر سخت شکل را شرح می دهد . مدل پخش نقاط PDM که درمدل 3D CLM استفاده می شود به صورت زیر است :که - xi = - x , y مختصات مکان دوبعدی i امین نقطه ویژگی از تصویر می باشد و ̅= - X , Y , Z - میانگین مقدار از i امین عنصر از PDM در قالب سه بعدی مرجع می باشد و بردار i Φ امین بردار ویژه که از مجموعه آموزش دیده که نشان دهنده تغییرات خطی غیر سخت از نقطه ویژگی ها می باشد .
در مدل 3D CLM ما ماکزیمم احتمال پسین از پارامتر مدل چهره p را از معادله زیر تخمین می زنیم : که ∈ {1, −1} یک مقدار تصادفی گسسته است که تراز یا عدم تراز i امین نقطه ویژگی را نشان می دهد و - - احتمال پیشین7 از بینی با چشم - C قسمتی از چانه. پارامتر مدل p می باشد و ∏ =1 - = 1| , , - احتمال مشترک نقطه ویژگی x است زمانی که با نقطه ویژه xi به شرط شدت روشنایی I و عمق Z تراز می شود . تکه های ویژه در محاسبه - = 1| , , - استفاده می شود که - = 1| , , - احتمال تراز شدن کامل ویژگی به نقطه xi می باشد .
-1-2 تکه های ویژه8
ما مقدار - = 1| , , - را تخمین می زنیم اگر مکان نقطه ویژگی مورد جستجو از میان تکه های ویژه ی محلی استفاده شده و یا تعیین احتمال و تنظیم مقدار آن بر اساس ناحیه مورد حمایت مجاور تراز شود . به عنوان یک تکه ی ویژه ی احتمالی ما از معادله 3 استفاده می کنیم که میانگین دو احتمال شدت روشنایی و عمق می باشد . - معادله 4 و - 5 که CI , i و CZ , i خروجی های شدت روشنایی و عمق کلاس بندی تکه ها می باشد و همچنین برای i امین ویژگی c جداساز منطقی رگرسور و d ضریب رگرسیون می باشد که c برای مقیاس بندی و d برای بایاس استفاده می شود . ما از کلاس بندی SVM9 خطی [7] به دلیل سادگی در محاسبات و اجرای کارآمد بر روی تصاویر با استفاده از کانولوشن استفاده می کنیم. این کلاس بندی به صورت زیر بیان می شود:
که {wi , bi} بردار های وزن و بایاس یک SVM منحصر به فرد می باشد. همچنین - ; - یک بردار از تصویر تکه n*n به مرکز xi می باشد .بردار نرمال سازی تکه ها می باشد که مقادیر تکه ها را به بین صفر تا واریانس تکه ها نرمال سازی می کند . به دلیل اطلاعات از دست رفته بالقوه ناشی از انسداد و بازتاب و حذف پس زمینه ما نمی توانیم از روی داده های عمق استفاده کنیم و به جای آن برای داده های عمق از که همان بردار نرمال سازی عمق است استفاده می کنیم . استفاده روی داده های عمق باعث انحراف مقادیر گمشده در نرمال سازی تکه ها و منجر به عملکرد ضعیفی می شود .
مقادیر گمشده در تکه ها را با محاسبه میانگین آن نادیده می گیرد . و سپس این مقدار میانگین را از عمق کم می کند و مجموعه اطلاعات گم شده را به صورت تجربی تعیین می کند. و نهایتا مقادیر جدید تکه ها بین صفر و مقدار واریانس نرمال سازی می شود. مثالی از تصویر شدت روشنایی و عمق و ترکیب نگاشت پاسخ های آن ها را می توانید در شکل 3 مشاهده کنید. مشکل اساسی مدل CLM را می توان مشکل دریچه عنوان کرد که ضریب اطمینان تشخیص در امتداد عرض لبه ها بهتر از امتداد طول آن است که این مشکل در پاسخ نگاشت شدت روشنایی برای کنار چهره و خط الراس بینی با چشم کاملا مشهود می باشد. اضافه کردن اطلاعات عمق به اطلاعات شدت روشنایی به رفع این مشکل کمک می کند و در جاهایی که لبه های قوی در دو تا تصویر مطابقت دقیقی با هم ندارند برای رفع این مشکل از بین تصویر شدت روشنایی و عمق لبه ای که قوی تر است را نیز به عنوان لبه قوی نهایی در نظر می گیریم . بنابراین با مدل 3D CLM یکی از اساسی ترین مشکلات مدل CLM که همان مشکل دریچه می باشد را حل کردیم.
-2-2 عملیات تطبیق کردن10
ما از یک استراتژی رایج تطبیق کردن CLM دو مرحله ای استفاده می کنیم [6],[7],[8],[9] انجام یک جستجوی جامع محلی حول نقطه ویژگی تخمین زده شده منجر به تولید نگاشت پاسخ حول هر
نقطه ویژگی می شود و به روز رسانی پی در پی پارامتر مدل p برایماکزیمم سازی معادله 2 تا به همگرایی استاندارد برسد . برای عملیات انطباق ما از روش منظم سازی نقاط برجسته میانگین تغییر مکان [9] - RLMS11 - استفاده می کنیم . بطوریکه یک احتمال پیشین p - p - برای پارامتر مدل p در نظر می گیریم و فرض می کنیم که قسمت های غیر سخت چهره که با پارامتر q مدل شده بود دارای توزیع گاوسین می باشد که واریانس i امین پارامتر به مقدار ویژه i امین حالت تغییر شکل در قسمت غیر سخت بستگی دارد و همچنین پارامتر قسمت های سخت s و R و t دارای توزیع نرمال می باشند .
رفتار مکانی نقاط برجسته صحیح به صورت مقادیر نامعلوم می باشد که آن ها را می توان با محاسبه احتمال کلی12 تراز کرد : که - | - = - ; , - و واریانس نویز نقاط برجسته ناشی از کاهش بعد PCA بر روی PDM می باشد[9] و Ψ تمام مناطق صحیح که داخل ناحیه تکه ها قرار دارند می باشد .
با جایگذاری معادله 8 در معادله 2 داریم :
بیشترین مقدار احتمال پسین13 در معادله 9 با پیش بینی ماکزیمم سازی[9] 14 به دست می آید. چون داده های عمق در الگوریتم ما به داده های شدت روشنایی اضافه شده اند بنابراین باید در روش RLMS تغییراتی ایجاد شود .
