بخشی از مقاله
استخراج ويژگ جديد معنايي مبتن بر خوشه بندي تصوير براي تشخيص رفتار انسان در ويديو
چکيده
براي تشخيص رفتار انسان در ويديو، استخراج ويژگ از فريم هاي متوال و ايجاد توصيف کننده حرکت مناسب ، يک از گام هاي بنيادين و اوليـه است . در اين مقاله ، روش جديدي براي استخراج ويژگ معنايي، مبتن بر خوشه بندي تصوير، معرف م شود که قادر به توليد توصـيف جـامع و مانع از موقعيت اجزاي بدن انسان است . خوشه بندي تصوير به نحوي انجام م گيرد که مرکز خوشـه ها تقريـب خـوبي از مرکـز ثقـل اجـزاي بـدن باشند. به اين ترتيب ، موقعيت هريک از اجزاي بدن با دقت مناسب شناسايي شده و بردار ويژگ نهايي توليد م شود. ايـن ويژگـ ، در تعامـل بـا دسته بنديکننده مبتن بر مدل مخف مارکوف ، نرخ صحت و دقت خوبي را در آزمايش هاي انجام شده نشان داده اسـت . نتـايج حاصـله ، بـا ديگـر ويژگ معنايي مطرح مقايسه شده و درباره نتايج آن بحث شده است .
کلمات کليدي
پردازش ويديو، تشخيص رفتار انسان ، استخراج ويژگ معنايي، مدل مخف مارکوف ، قطعه بندي تصوير، خوشه بندي تصوير.
۱- مقدمه
پردازش ويديو و استخراج اطلاعات مفيد از آن ، در حال حاضـر مورد توجه بسـياري از محققـين فعـال در بينـايي ماشـيني اسـت .
پردازش ويديوهاي دوربين هاي امنيتي با هدف کنترل و تشخيص رفتارهـاي غيرمعمـول ، درنهايـت يـک سيسـتم مراقبتـي-نظـارتي خودکار را پديد مي آورد، که يک نمونـه از سيسـتم هاي تشـخيص رفتار انسان است . سيستم هاي تشخيص رفتار انسان البته محدود به اين مساله نبوده و از طيف گسترد ه اي برخوردارند.
در اغلب اين سيستم ها، اسـتخراج و تشـخيص جزييـات حرکتـي انســان مــورد نظــر اســت کــه ابتــدايي ترين بخــش آن را مي تــوان استخراج ويژگـي مناسـب از فريم هـاي ويـديو دانسـت . منظـور از ويژگي در مساله تشخيص رفتار در ويديو، آن دسـته خصوصـيات شکلي بدن و علائم حرکتي است که با توجه به حرکـات متفـاوت بدن ، از جداکنندگي مناسبي برخوردار باشند. ويژگي هـايي کـه در کاربردهاي متفـاوت اسـتفاده شـد ه اند، بسـيار متنـوع و گونـاگون هستند و از روش هاي ساد ه اي نظيـر شـکل سـياهه بـدن گرفتـه تـا مدل هاي پيچيده اجزاي بدن بـراي ايـن منظـور اسـتفاده شـد ه اند.
معمــــولا قبــــل از اســــتخراج ويژگــــي، کارهــــاي مقــــدماتي و پيش پردازش هايي از قبيل حذف نـويز اوليـه ، تشـخيص موقعيـت انسان در تصوير، نرمال سـازي انـدازه ، حـذف پـس زمينـه ، حـذف سايه ، نرمال سـازي روشـنايي و مـديريت همپوشـاني هاي جزيـي انجام مي شوند.
هدف ما در اين مقاله ، پيشنهاد روشي جهت يافتن نقاط شاخص مناسب و استخراج ويژگي از آن ها براي تشخيص رفتار است کـه در دسته روش هاي معنايي قرار ميگيرد، يعنـي روشـي بـين روش پـارامتري و روش تصـويري، کـه نقـاط ضـعف ديگـر روش هــاي معنايي را تا حد امکان پوشانده و در عين حـال مزايـاي آن را نيـز حفظ نمايد. با در نظر گرفتن ضـعف ها و دشـواريهاي پـيش رو سعي کرده ايم روشي پيشنهاد دهـيم کـه در شـرايط غيرايـده آل نيـز کارايي مطلوبي را از خود نشان دهد.
در ادامه اين مقالـه در بخـش دو، تحقيقـات انجـام شـده در ايـن زمينــه را مــرور خــواهيم کــرد. در بخــش ســه بــه تشــريح روش پيشـنهادي جهــت اسـتخراج ويژگــي پرداختــه و بخـش چهــار بــه توضـــيحات تکميلـــي و آزمايش هـــا اختصـــاص يافتـــه اســـت .
نتيج گيري و جمع بندي در بخش پنجم آمده است .
۲- کارهاي مرتبط
«رفتار انسان » در ويديو از دو ديدگاه شکلي يا ساختاري و زمـاني قابل بررسي است . ديدگاه شکلي به بررسي شـکل بـدن انسـان در هر فريم و ديدگاه زماني بـه بررسـي تـاثير ترتيـب و تقـدم و تـأخر زماني آن ها در کل ويـديو ميپـردازد. در ايـن مقالـه ، ويژگيهـا را فقــط از ديــدگاه شــکلي مــورد بررســي قــرار مــيدهيم . نمــايش خصوصيات رفتار انسان از ديدگاه شکلي به سه دسته کلي تقسيم ميشود. دسته نخست که به ويژگيهاي پارامتري معروفند، شامل هندسه بدن انسان در قالب يک مدل پارامتري هستند. دسته بعد،
ويژگيهاي عمومي تصـوير هسـتند. ايـن ويژگيهـا، غالبـا حـاوي اطلاعاتي درباره تصوير کل بـدن انسـان ، و نـه جزييـات انـدام آن است . دسته آخر مدل هاي آماري هسـتند کـه شـامل توابـع توزيـع ويژگيهاي محلي تصوير هسـتند. بـه طـور خـاص ، دو دسـته اول مورد توجه بوده ، ابتدا کارهاي انجام شده در هر کدام مرور شده ، سپس به بررسي نقاط ضعف و قوت آن ها در مقايسه بـا يکـديگر و تشـريح روشـي کـه ترکيبـي از ايـن دو روش ميباشـد، خـواهيم پرداخت .
۲-۱- روش پارامتريک يا مدل بدن انسان
در سال ۱۹۸۷ يـک روانشـناس بـه نـام يوهانسـون نشـان داد کـه انسان ها ميتوانند رفتارهـاي انسـان ديگـر را فقـط بـا ديـدن چنـد نقطه نوراني که به اجـزا و مفاصـل بـدن وي متصـل شـده اسـت ، تشخيص دهند [۱]. دو روش در اين زمينه ارايه شده است که در اولي ، با مشاهده نقـاط نـوراني ابتـدا مـدل سـ بعدي بـدن سـاخته شده و بعد عمل تشخيص روي مدل سه بعدي صورت ميگيـرد.
در روش دوم ، عمــل تشــخيص بــه صــورت مســتقيم و از روي تصوير دوبعدي نقاط انجام ميپذيرد [۲].
روشهاي پارامتريک بسيار زيادي در ايـن زمينـه پيشـنهاد و عملـي شــده اســت . تعــدادي از آنهــا عبارتنــد از: الــف : مــدل ســ بعدي سلسل مراتبي اجزاي بدن [۳] که هر عضو بـا يـک اسـتوانه مـدل شده و مثلا ساق پا زيرمجموعـ اي از عضـو پـا و آن نيـز بـه نوبـه خود، زيرمجموع اي از پايين تنه است . ب : مدل دوبعدي اجزاي بدن [۴] که اجزاي اصلي بدن در آن به کمک مستطيل هايي مـدل شده اند. ج : خطوط سير نشان هاي متصـل شـده بـه بـدن [۵] کـه عبارتند از چند علامت يا نشانه که به بدن فـرد متصـل شـده و در فريم هـاي متـوالي، خـط سـير آنهـا محاسـبه شـده اسـت . د: مـدل حبابي [۶] که اجزاي اصلي بدن ، مانند سر، کف دسـتها، پاهـا و غيره را با حباب هايي مدل کـرده و موقعيـت و حرکـت آنهـا را در نظر ميگيرد. هـ: مدل تصوير چوبي يا عصايي [۷] که مفاصل و جوارح بدن را با خطوط و دواير مدل ميکند.
۲-۲- روش هاي تصويري يا عموم
روش هاي نمايش عمـومي و مبتنـي بـر تصـوير کـه گـاهي نمـايش کلينگـــر نيـــز ناميـــده ميشـــوند، احتيـــاجي بـــه تشـــخيص و برچسب گذاري اجزاي بدن ندارند و شکل بدن انسـان در آنهـا بـه صورت يکپارچه مورد ارزيابي قرار ميگيـرد. تمـام کـاري کـه ايـن روشها در زمينه تشخيص شـيء انجـام ميدهنـد، يـافتن ناحيـ اي است که بدن انسان در آن قرار دارد.
بسياري از روش هاي تصويري، از سياهه يا منحني محيطي شکل بدن استفاده ميکنند. روش استخراج ويژگي از سـياهه يـا منحنـي محيطـي تنـوع زيـادي دارد کـه از آن جملـه ميتـوان بـه اسـتفاده از ابـــرپيکسل [۸]، تصــاوير تاريخچــه حرکــت (MHI) يــا تصــاوير انـرژي حرکـت (MEI) [۹] حجـم مکـاني-زمـاني (STV) [۱۰] اشاره کرد.
يکي ديگر از روشهاي مبتني بر مدل تصويري، اسـتفاده از جريـان نـوري اسـت . جريـان نـوري بـه معنـاي مجموعـ اي از بردارهـاي حرکت است کـه تغييـرات مکـان نقـاط مـرتبط بـا يکـديگر در دو فريم متوالي را نشان ميدهنـد. در [۱۱] انـدازه بردارهـاي جريـان نـــوري در بلوکهـــاي غيرهمپوشـــان تصـــوير محاســـبه و جمـــع ميشوند. در [۱۲] بردارهاي جريـان نـوري بـا توجـه بـه انـدازه و جهتشــان ، خوشــ بندي شــده و حباب هــاي حرکتــي را تشــکيل ميدهند. همچنين در [۱۳] بردارهاي جريان حرکت بـا توجـه بـه مثبت يا منفي بودن مولف هاي افقـي و عموديشـان تقسـيم بندي و استفاده شده اند.
۲-۳- روش هاي ميان يا معنايي
مساله پيدا کردن اجزاي بدن و تخمين مناسب پارامترهـايي بـراي مدل بـدن از روي تصـوير، مهمتـرين موضـوع در روش اول (بنـد
۲-۱) است . اگر از سيستم ضبط حرکت استفاده نشده باشد، کـه در اکثر سيستم هاي واقعي چنين است ، اطلاعات دقيقي از نحـوه حرکت مفاصل و مکان آن ها در دست نيست . از اين رو به روشي براي يافتن و ردگيري هر کدام از اجزاي بدن احتياج است و ايـن روش هـا جــدا از سـربار زمــاني زيـاد، خطــاي زيـادي دارنــد. امــا مشاهده ميشود که مدل هاي تصويري (بند ۲-۲) بسـيار سـاده تر از مدل هاي پارامتري بدن هستند و تقريبا بـه همـان خـوبي عمـل ميکنند. در اين روش ها، اجزاي بـدن بـه صـورت منفـرد اهميـت ندارند و آن چه مهم است ، شکل کلي ظاهر بدن انسان است که آن هـم بـه سـادگي و بـا کمتـرين حجـم محاسـبات ب دسـت ميآيـد.
بنابراين از اين جهت ، بر مدل پارامتري ارجحيت دارد. امـا نقطـه ضعف اينجاست که اين ويژگيها به تغييـرات جهـت و موقعيـت دوربين ، همپوشاني، اندازه بـدن انسـان در تصـوير و جهـت ديـده شدن آن ، بسـيار حسـاس هسـتند. ايـن در حـالي اسـت کـه دقيقـا همين موضوع نقطه قوت روش پارامتري محسوب ميشود.
مشاهده ميشود که دو دسته روش فوق هر کدام نقـاط ضـعف و قوتي دارند که اتفاقا يکديگر را ميپوشانند. سـوال ايـن اسـت کـه آيا ممکن است روشي بينابين پيدا شود، به گون اي که مزايـاي هـر دو روش را داشته و در عين حال ، تا حد ممکن ، از معايب هر دو روش مبــرا باشــد؟ در حــال حاضــر، تحقيقــاتي انجــام شــده کــه ميتوان آن ها را در زمره چنين روش هـايي جـاي داد. از آن جـا کـه در تعــدادي از ايــن مقــالات ، نــام روش معنــايي بــراي ايــن کــار انتخاب شده است ، [۱۴] ما نيز از همين نام استفاده ميکنيم .
محاسبه نقاط انتهايي (شکل ۱) بدن راهکاري معنايي اسـت کـه در چند مرجـع بعـدي بـه آن هـا پرداختـه شـده اسـت . در [۱۵] از
مرکز ثقل تصوير بدن به عنوان نقطه شـاخص بـراي يـافتن نقـاط انتهايي بدن و استخراج ويژگي استفاده شده است . ايده اين بوده است که نقاطي که بيشـترين فاصـله را تـا مرکـز ثقـل بـدن دارنـد، نقاط انتهايي بدن بوده و ۵ نقطه از آن ها را به عنوان پاها، دسـتها
و سر انتخاب کرده است .
شکل (۱): نقاط انتهايي بدن [۱۴].
در [۱۶] بــراي بهبــود و ارتقــاي کيفيــت روش قبــل ، يــک نقطــه شاخص ديگر که بالاترين نقطـه در منحنـي محيطـي شـکل بـدن امست شونادض.اآفخه رگين ردبيهدبه ودو ندقر اط ن انتزهمايينه ي دبه ر ک[م۱۴ک ] اوـبن ـا دموغنيقـرطـده يانفظتـه است ، اضافه گرديده و نقاط انتهايي به کمک ايـن دو نقطـه يافتـه گــرفتن تعــداد نقــاط شــاخص بــ وجود آمــده اســت . ايــن مقالــه از اکسللت ت کبه يبکددن گرر پريا،د به رعدنه اون ننققاـاط تشصـال دص دفـه چض نـدمبخکنــدش (شکل ۱) سپس براي هر نقطه شاخص ، يک مجموعه ۵تـايي از نقاط انتهايي به روش بيان شده قبل [۱۵]، توليد ميشود. حـال ، هر نقطه نـامزد بـراي نقطـه انتهـايي، بـا توجـه بـه شـرايطي نظيـر وجود يا عدم وجود خط مسـتقيم تـا نقـاط شـاخص ، نگهـداري، حذف يا در يکديگر ادغام ميشوند.
نکتــه جالــب ايــن روش هــا، ايــن اســت کــه بــا اســتفاده از مــدل تصويري بدن ، که به راحتي و سـرعت قابـل اسـتخراج اسـت ، بـه ويژگيهايي ميرسند که حاوي اطلاعـات مفيـدي دربـاره اجـزاي بـدن و موقعيـت آن هـا هسـتند. بنـابراين ميتـوان ايـن روش را بـه نوعي روشي مياني خواند.
۳- استخراج ويژگ معنايي
استخراج نقـاط انتهـايي کـه در بخـش قبـل بـه عنـوان يـک روش معنايي مطـرح شـد، داراي دشـواريهاي خاصـي اسـت . سـاختار بدنيدگبـنـدر اوعپضيـچـايدکمببدــون داانطسالان عـاپوت شيمدانه نــشدندن ا بشعــتضن ا اطلااعــاضات توعسمــط بندبند و پيچيده بدن انسان ، پوشيده شدن بعضي از اعضا توسـط تصــوير، تغييــرات صــحنه ناشــي از تغييــر زاويــه ديــد دوربــين و مششراـيکط ل نمووراي ــم غشيــر بد ع[۴ث ]م.يمشووضــاونتع خماماـب وثرقوامط ــام نتهدـياگيـيـر،ـلدبــن بس ـا شخص است . لباس هاي گشاد به طور ويژه اثر نامطلوبي بـر ايـن روش ها ميگذارند.
از ديگر مشکلات اين مقـالات ، عـدم بررسـي شـرايطي اسـت کـه شـکل بـدن حـاوي حفـره اسـت . بـه عنـوان مثـال ، در شـکل بـدن انساني که دو دست خود را در بالاي سرش بـه هـم متصـل کـرده ، مشخص نيست نقاط شاخص يا انتهايي مربوط به کف دسـت ها يا سر در کجا قرار خواهند گرفت (شکل ۲-الف ). ايراد ديگر در هنگامي که در يک فريم ، شکل بـدن انسـان جمـع شـده و متـراکم باشد، يعني دست ها و.يا پاهـا بـه يکـديگر چسـپيده باشـند، روي ميدهد (شکل ۲-ب ). در اين حالت ، مکان نقـاط انتهـايي نظيـر دست ها و پاها با روش ذکر شده ، به درستي تعيين نخواهند شـد
و به تبع آن ، خطاي دست بندي افزايش خواهد يافت .
شالکف : و۲ج):ودحاحلفت ه ه.ايب :دشهمواپروبشرااني يياافاتتن صناقاط عانتضهاايي بدبدن .ن .
شکل (۲): حالت هاي دشوار براي يافتن نقاط انتهايي بدن .
آدرهاان جهمقت اله ت،ولسيديبرکداررده وايم ژگني مط نااستکب يساتجفزااديه نبـمدـان ييم را. يامنفتظــه وو از در اين مقاله ، سعي کرده ايم نقاط اتکاي اجزاي بـدن را يافتـه و از نقاط اتکا، نقاطي است که به تنهايي يا به صورت دست اي بتوانند نشان دهنده مکان عضو مورد نظر باشـند. روش اسـتفاده شـده در اين کار، قطع بندي تصوير ب کمک خوش بندي است .
۳-۱- قطعه بندي سياهه شکل بدن
در اين بخش ، تمامي مراحل لازم براي توليد و اسـتخراج سـياهه بدن انجام شده فرض شده اند و آن چه به عنـوان ورودي الگـوريتم در نظر گرفته ميشود، دنبال اي از فريم هاست کـه سـياهه بـدن در آن به صورت اشکال باينري مشخص است .
براي قطع بندي تصوير، از روش خوشـ بندي k-means کـه بـراي ايـن کـاربرد، تغييـر داده شـده و خصوصيسـازي شـده ، اسـتفاده کرده ايم .
• در گام آماده سازي اين الگوريتم ، نقاط شروع يا مراکـز خوشـه اوليه ، انتخاب ميشوند. براي تعيين نقاط شروع ، ابتدا تمام نقاط روي منحني محيطي را به ترتيـب و بـا جهـت سـاعتگرد از زاويـه مصرکفزر ثدقرل جه شدکل ظرار تگشرکفتيه ل وداتاده عاييم .يـسک س بعـk ينقاطزه فاماصکـزله منم ـامط حلتـي صفر درجه در نظر گرفته و تابعي يـک بعـدي از فاصـله نقـاط تـا ايــن تــابع مشــخص شــده اســت . مختصــات نقــاطي از منحنــي محيطي سياهه که بـا ايـن k نقطـه مـاکزيمم متناظرنـد، بـه عنـوان نقاط شروع در نظر گرفته ميشوند (شکل ۳). بنـابراين همزمـان با توزيع نسبتا يکنواخت نقاط شروع ، نقاطي کـه فاصـله آن هـا تـا مرکز ثقل بيشتر است ، در اولويت قرار ميگيرند و اين در سرعت
