بخشی از مقاله
چکیده
تعقیب حرکت چشم دارای کاربردهای فراوان در زمینه های مربوط به طراحی سیستم های هوشمند، پزشکی و روانشناسی م ی باشد. یکی از مراحل ابتدایی و مهم تعقیب حرکت چشم شناسایی محل مردمک در تصاویر به دست آمده می باشد. در بسیاری از روش ها دوربین بر روی کلاهی سوار بوده و در نزدیکی چشم قرار دارد و یا از دوربین بسیار با کیفیت استفاده شده است.
در این مقاله روشی برای شناسایی محل مردمک چشم به کمک دوربین کم کیفیت مادون قرمزی که به کاربر نیز متصل نیست، ارائه شده است. در این روش ابتدا بر اساس مارکرهای شبرنگی ناحیهی مورد نظر برای چشم شناسایی شده و سپس با پردازش روشنایی نواحی جدا شده، محل مردمک پیدا می شود. با آزمایش این روش بر رویمجموعاً 450 تصویر مختلف از 3 کاربر به طور متوسط نزدیک به 98 درصد مردمک ها به درستی در تصاویر شناسایی شدند. با توجه به نتایج به دست آمده، روش پیشنهادی برای شرایطی که از دوربین کم کیفیت و با فاصله از کاربر استفاده میگردد، راه حل مناسبی محسوب میشود.
-1 مقدمه
چشم یاب یا دستگاه تعقیب کننده ی حرکت چشم1 دستگاهی است که محل خیره شدن یا میزان حرکت چشم را اندازه میگیرد. دستگاههای چشم یاب به منظور شناسایی محل مردمک از روش های مختلفی از جمله اندازه گیری پتانسیل استراحت شبکیه چشمی2، استفاده از لنزهای تماسی و پردازش تصویر استفاده می کنند
چشم یاب ها امروزه در زمینه های گوناگون مربوط به طراحی سیستم های هوشمند نظیر سیستم بررسی وضعیت هوشیاری رانندگان خودرو [2] و همچنین زمینه های مربوط به پزشکی نظیر تشخیص و کمک به روند درمان بیماری هایی مانند تنبلی چشم، و نیستاگموس[3] 3 کاربرد دارند. کاربردهای توانبخشی چشم یابها برای بیماران با درجه معلولیت بالا نظیر آنچه در ام-اس شاهد آن هستیم نیز بسیار مورد توجه است .[4] علاوه بر این، کاربردهای دیگری در زمینه هایی چون تعامل انسان-رایانه4 وعلوم شناختی برای چشمیابها مد نظر قرار گرفته شده است
از جمله مهمترین عواملی که در مقایسه ی انواع دستگاههای چشمیاب مورد توجه قرار میگیرد میتوان به دقت نتایج خروجی، راحتی کاربر در هنگام استفاده از دستگاه و همچنین هزینهی مورد نیاز برای فراهم کردن شرایط مورد نظر اشاره کرد.
در بسیاری از سیستم های مبتنی بر پردازش تصویر، گام ابتدایی برای تعقیب چشم شناسایی محل مردمک بر اساس تصویر ثبت شده از چهره ی کاربر می باشد. طبیعی است که هر چقدر مکان یافته شده به عنوان مردمک دقت و صحت بالایی داشته باشد، میتوان به شناسایی محل دقیقتر برای تعقیب حرکت چشم امیدوارتر بود.
عموماً روشهای پردازش تصویری که دقت بالایی برای نتایج خروجی ارایه میکنند، از دوربینهایی با تفکیک پذیری بالا بهره میبرند. در مواردی که از دوربینهای مادون قرمز برای ثبت نتایج با دقت بالا استفاده شود قیمت تجهیزات بکار رفته میتواند بالا رود. همچنین در مواردی که حرکت سر باعث کاهش دقت نتایج خروجی شود،معمولاً با نصب دوربین روی سر فرد، تأثیر حرکت سر را خنثی کرده و دوربین را نسبت به چشم ثابت میکنند
این امر اگرچه موجب افزایش کیفیت تصاویر خروجی دوربین میشود ولی راحتی کار با چشم یاب را کاهش داده و کاربردهای آن را محدودتر میسازد. روشی که ما در این مقاله برای یافتن محل مردمک در تصویر ارائه میکنیم از یک دوربین ساده که تغییراتی در آن داده شده است استفاده میکند. همچنین دوربین به جای اینکه روی سر نصب شود رو به روی فرد قرار میگیرد. به این ترتیب با الگوریتم بکار رفته در پردازش تصویر دقت بالای نتایج خروجی را با صرف هزینه ی پایین و راحتی قابل قبول در استفاده، به طور همزمان خواهیم داشت.
لازم به ذکر است که بر روی صورت هر فرد آزمایش شونده سه مارکر شبرنگی ساده نصب شده است. این مارکرها به منظور تشخیص زاویه ی سر که در کاربردهای آینده مورد نظر هستند بکار رفتهاند. در کنار این کاربرد اصلی، از این مارکرها میتوان برای دقیقتر یافتن محل مردمکها نیز کمک گرفت.
شکل :1 نمونه ای از تصویر ثبت شده توسط دوربین مادون قرمز
-2 روش پیشنهادی
روش پیشنهادی در سه مرحلهی آماده سازی دوربین، یافتن محل مارکرها و یافتن محل مردمکها شرح داده شده است.
-1-2 آماده سازی دوربین
اکتساب نور به روش مادون قرمز دارای چندین مزیت است. اول این که تأثیر تغییرات نور محیط را تا حد ممکن کاهش می دهد و نتایج حاصله تا جای ممکن به شرایط محیطی آزمایش وابسته نخواهد بود. مزیت دیگر این میباشد که به ما اجازه می دهد از اثر پس بازتابگری5 مردمک استفاده نماییم که تا حد بالایی پیچیدگی پردازش تصویر را کاهش میدهد.
هنگامی که نور مادون قرمز در راستای محور دوربین بر چشم تابیده شود اکثر نور تابیده شده بر مردمک در همان مسیر تابیده شده باز گردانده می شود. این نور می تواند توسط دوربین تشخیص داده شده و در نتیجه مردمک روشن تر دیده می شود.6 این مساله شباهت زیادی به قرمز شدن مردمک چشم در برخی تصویر برداری ها دارد. اگر نور تابیده شده در راستای محور دوربین نباشد، نور بازتاب شده نیز وارد دوربین نمی شود و لذا مردمک تیره دیده می شود.[2] 7 در این تحقیق برای ثبت تصاویر مادون قرمز یک وبکم با مشخصات زیر تهیه گردید:
با حذف فیلتر مادون قرمز از مسیر نور و قرار دادن فیلتر نور مرئی - مثلاً فیلم عکاسی یا نوار دیسک فلاپی - ، نور مرئی از مسیر دوربین حذف شده و تنها نور مادون قرمز با حسگرها برخورد پیدا می کند .[8,9] برای ثبت تصاویر مادون قرمز مناسب، باید نور مادون قرمز به شکل درستی در محیط پخش شود. برای این منظور از فرستنده های مادون قرمز - مشابه - LED استفاده شد. این فرستنده ها در اطراف عدسی دوربین نصب شدند. این نوع چینش موجب می شود تا نور مادون قرمز از فرستنده ها به سمت چشم ارسال شده و بازتاب آن از مردمک ها توسط دوربین ثبت شود. نمونه ای از تصویر ثبت شده توسط دوربین را در شکل - 1 - میتوان دید.
-2-2 یافتن محل مارکرهای
برای به دست آوردن مختصات مارکرها ابتدا تصویر ورودی به صورت سطح خاکستری8 در میآید. پس از آن با تعدیل بافت نگار9 سطح روشنایی تصویر یکنواخت می شود. در چنین وضعیتی هر پیکسل از تصویر با توجه به شدت خاکستری بودن آن پیکسل به صورت عددی در بازهی [0-255] میباشد که رنگ سیاه با عدد صفر و رنگ سفید با عدد 255 مشخص میگردد. لازم به ذکر است که نواحی مارکرها به صورت سفید با شدت نور بیشتر نسبت به بقیه جاهای تصویر مشخص میباشند. برای بیشتر مشخص شدن مارکرها در تصویر، تصویر با استفاده از یک حد آستانهی مشخص به تصویر دو سطحی10 تبدیل میگردد. بدین صورت که نقاطی که بالاتر از حد آستانه قرار دارند به عدد 255 - سفید - و نقاط پایین تر از حد آستانه به عدد صفر - سیاه - تغییر می-یابند.
برای تعیین این حد آستانه از بافت نگار تصویر استفاده می شود. برای این کار، به کمک بافت نگار، شمارش تعداد پیکسل ها را از روشن ترین پیکسل به سوی تیره ترین پیکسل آغاز می کنیم. در این پیشروی، مجموع تعداد پیکسل ها را به طور مستمر و پیش از رسیدن به آخرین - تیره ترین - پیکسل محاسبه می کنیم. هر جایی که مجموع این پیکسلها به تعداد تقریبی پیکسلهای مورد انتظار برای مجموع »حداکثر« مساحت مارکرها رسید، شمارش را متوقف کرده و روشنایی آن نقطه را به عنوان حد آستانه برای روشنایی در نظر میگیریم. تعداد پیکسلهای مورد انتظار برای حداکثر مساحت مارکرها، از قبل از روی یکی از تصاویر اولیهی فرد، هنگامیکه سر رو به دوربین میباشد، قابل تقریب زدن است.
با اعمال این حد آستانه بر روی تصاویر خاکستری شده، سه ناحیه که مربوط به مارکرها هستند به صورت روشن - سطح منطقی - 1 و بقیه تصویر به صورت تاریک - سطح منطقی - 0 به عنوان خروجی این مرحله از الگوریتم ذخیره میشوند. شکل - 2 - تصویر را پس از شناسایی محل مارکر ها نشان میدهد.
شکل :2 شناسایی و نمایش محل مارکرها روی تصویر ثبت شده
-3-2 یافتن محل مردمکها
برای مشخص نمودن مختصات مرکز مردمک ها، ابتدا با استفاده از مارکرها حدود نواحی چشم بر روی تصویر را تعیین می کنیم. دو مارکر بالای ابروها و یک مارکر بر روی بینی قرار میگیرند .با این کار مارکرها علاوه بر کاربردشان جهت پیدا کردن چرخش سر، در پیدا کردن دقیقتر محل مردمکها نیز کمک خواهند نمود. در این حالت مستطیلی که مارکر وسط و مارکر راست قطر آن را تشکیل میدهند حاوی چشم راست و مستطیلی که مارکر وسط و مارکر چپ قطر آن هستند حاوی چشم چپ خواهد بود. حال باید پردازش را روی این دو تصویر جدید انجام داد. در تصاویر جدید به تعدیل بافت نگار - مجدداً - می پردازیم تا مردمکها روشنایی نسبی مناسبتری به دست آورند. شکل - 3 - تصویر ناحیه مربوط به چشم را قبل و پس از اعمال تعدیل بافت نگار نشان میدهد.
می شود تا مردمک که شدت نور بالایی دارد در مقایسه با اطراف مردمک - که شدت روشنایی اش در مقایسه با مردمک کمتر، ولی در مقایسه با کل تصویر بیشتر است - بهتر تفکیک شود. البته در حالت خاص که کل تصویر خیلی روشن است، ممکن است نتیجه ی شدت روشنایی متوسط وزن دار عددی بیش از 255 شود. در چنین حالاتی - اگر پیش بیاید - به جای استفاده از شدت روشنایی متوسط وزن دار، از شدت روشنایی متوسط بدون وزن به عنوان حد آستانه استفاده میشود.
پس از دو سطحیسازی تصویر به کمک حد آستانه ی انتخاب شده، ممکن است علاوه بر نواحی مردمک ها برخی نواحی دیگر نیز در تصویر سفید شده باشند. در این مرحله نیاز است که نواحی کوچکتر ناخواسته حذف گردد. برای این منظور ابتدا به کمک عملگر باز کردن بر روی نواحی سفید - با المان دایرهای تقریباً معادل ده درصد متوسط قطر تخمین زده شده ی مردمک - می توان لبه های تیز ناحیه ها را صاف کرده و یا ناحیه های نقطه ای را از تصویر حذف نمود.
همچنین انتظار داریم نواحی روشن که ناشی از پوست صورت می باشند، به علت گستردگی مساحت، با قالب تصویر استخراج شده به کمک مارکرها تماس داشته باشند. بنابراین نواحی سفیدی که با قالب تماس دارند را نیز حذف می نماییم. با این کار ناحیه مورد نظر که همان مردمک چشم است سفید - سطح منطقی - 1 باقی میماند و سایر نواحی سیاه - سطح منطقی - 0 میشوند. شکل - 4 - تصویر چشم را پس از دوسطحی کردن و پس از حذف نواحی اضافی نشان می دهد.
شکل :3 تصویر چشم قبل از تعدیل بافتنگار - راست - و پس از آن - چپ -
در این مرحله دوباره باید حد آستانه مشخص گردد تا تصویر به صورت سیاه و سفید - دو سطحی - گردد. برای این منظور از روی بافت نگار تصویر خاکستری هر چشم، شدت روشنایی متوسط را محاسبه میکنیم. این کار با ضرب کردن تعداد پیکسل های موجود در هر شدت روشنایی، جمع کردن این اعداد و سپس تقسیم آن بر تعداد کل پیکسلهای تصویر انجام میشود. سپس با استفاده از شدت روشنایی متوسط بدست آمده، شدت روشنایی متوسط وزندار را محاسبه میکنیم.
در محاسبه ی شدت روشنایی متوسط وزندار، برای نیمه ی دوم شدتهای بین شدت روشنایی متوسط و شدت روشنایی 255، وزن معادل 2 و برای سایر شدتهای روشنایی وزن معادل 1 قائل شدهایم.. پس از اعمال این وزن ها از نتایج متوسط گیری می شود. نتیجه ی به دست آمده به عنوان حد آستانه بر گزیده میشود. شدت روشنایی متوسط وزندار برای دوسطحی کردن تصویر عدد مناسبی است، چرا که با بیشتر شدن شدت روشنایی کل تصویر، آستانهی دو سطحی شدن بالا میرود. این موضوع اجازه نمیدهد که پیکسلهای با روشنایی کمتر امکان اختلال در جواب نهایی داشته باشند.
شکل :4 تصویر چشم پس از دو سطحیسازی - راست - و حذف نواحی زائد - چپ -
در این مرحله دو ناحیه ی کوچک سفید به عنوان مردمک ها استخراج می شوند. نواحی به دست آمده به عنوان مردمک از لحاظ موقعیت قرار گرفتن در تصویر و همچنین از لحاظ شباهت به دایره مورد بررسی قرار میگیرند. بر اساس این بررسی، اگر ناحیهای غیر از مردمک به اشتباه به عنوان مردمک تشخیص داده شده باشد، با اعمال حد آستانه ی بالاتر در مرحله ی دو سطحی سازی اصلاح میشود. برای مقایسه ی شباهت با دایره، برای هر ناحیه ی استخراج شده به عنوان مردمک مقدار گریز از مرکز11 محاسبه میشود.
در این محاسبه ابتدا بیضی با گشتاور دوم سطح12 معادل ناحیهی مورد نظر به دست میآید. سپس نسبت فاصلهی کانونهای بیضی به قطر اصلی محاسبه میگردد. عدد حاصل به گونهای است که برای ناحیهیکاملاً دایرهای صفر و برای ناحیهیکاملاً خطی یک میشود .ما در تعیین میزان دایرهای بودن، بر اساس نتایج تجربی، نواحی با گریز از مرکز بیشتر از 9،0 را حذف میکنیم. در نهایت بر روی نواحی استخراج شدهی نهایی به عنوان مردمک، مناسبترین بیضی انطباق داده میشود.
