مقاله طبقه بندی حرکت اندامهای مفصلدار اسکلت بندی شده بر اساس نمایش تنک

بخشی از مقاله

چکیده

طبقهبندي حرکت اندامهاي مفصلدار از جمله موارد مهم براي پی بردن به چگونگی حرکات و سنتز آنها میباشد . به این علت که میتوان از نتایج این طبقهبندي براي ایجاد حرکات طبیعی در کاراکترهاي کارتونی و بازيهاي کامپیوتري استفاده نمود. در این مقاله، روشی براي طبقهبندي حرکت اندام-هاي مفصلدار بدن انسان همانند آرنج و زانو بر اساس یادگیري واژهنامه و نمایش تنک ارائه شده است.

در این الگوریتم، ویژگیهاي استخراج شده براي آموزش واژهنامه، بر مبناي موقعیت مکانی و زاویهاي نمونههاي انتخاب شده بر روي استخوانهاي اندامها میباشند . براي رسیدن به این هدف، ابتدا باید مدل اسکلتی اندامها استخراج شده و سپس موقعیت مکانی و زاویهاي نمونههاي انتخاب شده نسبت به یک مکان مرجع محاسبه شوند. دادههاي به کار رفته در این مقاله بر اساس حرکات طبیعی انسان بوده و نتایج بهدست آمده بیانگر کارآیی و توانمندي الگوریتم در طبقهبندي درست حرکت در نواحی مفصل آرنج و زانو میباشند.

١- مقدمه

سنتز حرکت یکی از مسائل مهم براي درك چگونگی حرکت اشیاء براي تولید حرکات طبیعی و واقعی براي شخصیتهاي کارتونی در انیمیشن و بازيهاي کامپیوتري است. امروزه، بسیاري از بازيهاي رایانهاي توسط حرکات اندامهاي بدن انسان کنترل میشوند. پردازنده به ازاي هر حرکت خاص تصمیمگیري میکند که چه عملی را به کاراکتر انیمیشنی منتقل کند. حرکات اندامهاي مفصلدار همانند آرنج و زانو از جمله حرکات کنترلی براي بازيهاي کامپیوتري میباشند. در دهههاي اخیر، شناسایی حرکات بدن انسان بدون استفاده از تعبیه سنسور بر روي لباس انجام می-شود

این روشها پرهزینه بوده و در صورت خرابی هر یک از سنسورها فرآیند به درستی انجام نمیشود. Bregler و [2] Malik زنجیره حرکتی با بهینهسازي محلی را براي تخمین حرکت بیان کردند. Davis و Gavrila شیوهي جستجو سلسله مراتبی را براي برآورد حرکت هر اندام پیشنهاد دادند که ابتدا با ثابت نگه داشتن سایر اعضاي بدن حرکت بدنه را تخمین زدند و سپس به صورت محلی در فضا و ابعاد کوچکتر به تخمین حرکت اندامهاي متصل پرداختند. این روشها از نظر زمانی بهینه نیستند.

Juang و Chang روشی را مبتنی بر سیستمهاي فازي-عصبی1 براي طبقهبندي حرکات ارائه دادند که ویژگیهاي استخراج شده براي این سیستم از اعمال تبدیل فوریه گسسته بر هیستوگرام تصاویر اخذ شده به-دست میآیند. این روش نیازمند بخشبندي دقیق اندامهاي بدن میباشد.

Petridis و همکاران [5] از ساختار آناتومی بدن انسان بهره بردند و توسط خطوط استخراج شده از اندامهاي بدن و شبکه عصبی3 به طبقهبندي حرکت پرداختند. ولی براي استفاده از این روش باید اطلاعاتی در مورد ساختار آناتومی بدن انسان داشته باشیم.

بسیاري از تحقیقات براي طبقهبندي حرکت تمام بدن انسان پیشنهاد داده شدهاند. ولی طبقهبندي حرکت اندامها به صورت انفرادي به ندرت مورد توجه واقع شده است . در صورتی که بررسی جداگانه حرکت باعث سریعتر شدن فرآیند شده و میتواند به عنوان ابزاري مفید در بازيهاي کامپیوتري و انتقال تغییرات به کاراکترهاي انیمیشنی در کارتونها مورد استفاده قرار گیرد.

در این مقاله، روشی براي طبقهبندي حرکت در نواحی مفاصل آرنج و زانو بر اساس نمایش تنک و یادگیري واژهنامه4 ارائه شده است. در دهه اخیر، نمایش تنک به عنوان روشی مؤثر براي حل مسائل متنوعی از قبیل نویززدایی با ویولت5، انتخاب ویژگی در بینایی کامپیوتر، بازسازي6 و بازیابی تصویر مورد استفاده واقع شده است . جهت حل مسائل مطرح شده، روشهاي متفاوتی از نمایش تنک از قبیل جستجوي پیدرپی [6] - 7MP - ، تطبیق متعامد پیدرپی [7] - 8OMP - ، تطبیق متعامد پیدرپی سریع [8] - Fast OMP - ، کمترین مربعات متعامد [9] - 9OLS - ارائه شده-اند.

این روشها براي دادههاي سیگنالی یک بعدي مناسب هستند ولی نسبت به نویز حساسیت بالایی دارند. براي بیان داده با ابعاد بالاتر به طوري که حساسیت نسبت به نویز و میزان پیچیدگی محاسباتی در آن کاهش یابد از روش تجزیه مقدار منفرد [10] - 10SVD - بر اساس نرم L1، جهت اطمینان از تنک بودن دادهها استفاده میشود. نمایش تنک میتواند هر سیگنال را توسط ترکیب خطی از مؤلفههاي موجود در دیکشنري تخمین زند. بنابراین، کیفیت دیکشنري ایجاد شده بر نتیجه نمایش تنک اثر می-گذارد.

از دیگر تحقیقات در این زمینه میتوان به روش Killedar و Sasi [11] اشاره نمود که با استفاده از استخراج ویژگیهاي زمانی و مکانی - 11STIP - از تصاویر ویدئویی بر اساس آموزش دیکشنري به شناسایی حرکت پرداختند.

Hou و همکاران [12] از روش آموزش دیکشنري براي بهبود اطلاعات از دست رفته تصاویر حرکتی که در زمان اخذ تصاویر در اثر نویز بهوجود آمده، استفاده نمودند. همچنین Cai و همکاران [13] از روش آموزش دیکشنري با استفاده از نقاط استخراج شده از خطوط تصاویر سیاه و سفید اطراف بدن انسان براي شناسایی حرکت انسان بهره بردند. در تمامی این روشها از حرکات تمامی بدن انسان براي شناسایی حرکت استفاده شده است.

در این قسمت، توضیح مختصري از الگوریتم پیشنهادي را بیان می-کنیم. براي طبقهبندي بر اساس نمایش تنک، ابتدا باید براي هر حرکت خاص، یک دیکشنري بر مبناي ویژگیهاي استخراج شده آموزش داده شود. ویژگیهاي به کار رفته در این الگوریتم با استفاده از ویژگیهاي هندسی شکل بهدست میآیند. براي رسیدن به این هدف، ابتدا تصاویر اخذ شده از حرکت به تصاویر سیاه و سفید تبدیل شده و توسط الگوریتم استخراج اسکلت براي هر شکل، اسکلتی استخراج میشود. سپس بر روي اسکلت یکی از شکلها با فواصل یکسان نمونهبرداري انجام داده و مختصات فضایی این نمونهها ذخیره میگردند.

تعداد نمونهها محاسبه شده و نمونه میانی به عنوان نمونه مرجع انتخاب میشود . سپس موقعیت زاویهاي و فاصله تکتک نمونهها از نمونه مرجع محاسبه شده و به عنوان ویژگیهاي کسب شده براي این شکل در نظر گرفته میشوند. این عملیات براي شکل-هاي دیگر شامل حرکات متفاوت نیز تکرار میگردد. ولی در این شکلها نمونهبرداري با توجه به نمونهبرداري در شکل اولیه انجام میگیرد. بنابراین نمونههاي انتخاب شده براي شکلها با هم متناظر بوده و نمونهبرداري براي شکلهاي متفاوت به صورت جداگانه و تصادفی انجام نمیشود.

در مرحله بعد به دنبال آموزش دیکشنري بر اساس ویژگیهاي استخراج شده هستیم. فرض کنید، K حرکت متنوع براي آموزش وجود دارد. بنابراین براي هر حرکت خاص، یک دیکشنري D0k، k = 1,2,..,K بهدست میآید. در این مرحله براي کمینهسازي تابع خطا و حفظ تنک بودن دادهها از روش [15] K-SVD استفاده میشود. پس از آموزش K دیکشنري
  D1, D2, …, DK براي تمامی حرکات، این دیکشنريها با هم ترکیب می-گردند تا یک دیکشنري کلی D تشکیل شود. دیکشنري D میتواند تصاویر آزمایشی را با کمینهسازي تابع خطاي معرفی شده به درستی طبقهبندي کند. در مرحله طبقهبندي، الگوریتم  OMP با افکنش ویژگیهاي تصاویر آزمایشی بر روي دیکشنري D، نمایش تنکی را براي این تصاویر تعیین میکند.

٢- الگوریتم پیشنهادي

همانطور که قبلا نیز مطرح شد، براي طبقهبندي نیاز به آموزش دیکشنري براي هر حرکت خاص میباشد . براي این منظور، ابتدا ویژگیهاي هندسی از شکل مربوط به هر حرکت محاسبه شده و سپس با توجه به ترکیب تمامی دیکشنريها به طبقهبندي حرکات میپردازیم. در ادامه، چگونگی استخراج ویژگی و طبقهبندي حرکات به طور کامل توضیح داده میشوند.

-2-1 استخراج ویژگی

ویژگیهاي به کار رفته در این الگوریتم بر اساس موقعیت زاویهاي و مکانی نمونههاي انتخاب شده بر روي اسکلت اندامها میباشند. بنابراین، ابتدا باید اسکلتی براي هر شکل استخراج شود.

-2-1-1 استخراج اسکلت

در مرحله پیشپردازش، براي استخراج اسکلت شکل، ابتدا تصاویر اخذ شده را به تصاویر سیاه و سفید تبدیل کرده و سپس توسط الگوریتم استخراج اسکلت [14]، اسکلت مربوط به هر اندام استخراج میگردد. نتایج حاصل از الگوریتم استخراج اسکلت در شکل 1 نشان داده میشوند . شکل نشان داده شده شامل تصاویري از حرکات مربوط به ساق دست و ساق پا با اسکلت استخراج شده براي هر اندام میباشد.

شکل:1 تصاویر ناشی از حرکات ساق دست و ساق پا با اسکلت استخراج شده براي هر یک از اندامها.

-2-1-2 نمونهبرداري

در این بخش، نحوه انتخاب نمونههاي مورد نظر براي استخراج ویژگی 10 Singular Value Decomposition    توضیح داده میشوند. براي این منظور، یکی از شکلها را به عنوان شکل 11 Spatio Temporal Interest Points    مرجع در نظر  گرفته و نمونههایی با فواصل یکسان بر روي استخوان استخراج شده از این شکل انتخاب میکنیم. سعی بر این است که نمونه-برداري از ابتداي هر استخوان انجام شده و نمونهها در راستاي مسیر اصلی اسکلت باشند.

بنابراین باید پیکسل ابتدایی و انتهایی استخوان مشخص شوند. براي شناسایی پیکسلهاي ابتدایی و انتهایی هر استخوان، پنجرهاي با محدوده کوچک به طوري که فقط یک پیکسل در وسط آن قرار گیرد، میسازیم. پنجره را بر روي پیکسلهاي خطوط اسکلتی حرکت داده و در مکانهایی که پیکسلهاي خطوط اسکلتی فقط در یک ناحیه با لبه پنجره تقاطع پیدا میکنند به عنوان پیکسلهاي ابتدایی و انتهایی استخوان در نظر میگیریم. بقیه پیکسلهاي خطوط اسکلتی، لبه پنجره را در دو نقطه قطع میکنند که بیانگر پیوستگی مسیر و ادامهدار بودن آن هستند. از طریق پیکسلهایی که ممتد بودن مسیر را بیان میکنند میتوان جهت غالب مسیر را تعیین کرد.

بنابراین، با جستجوي محلی در اطراف هر پیکسل میتوان راستاي امتداد خط اصلی اسکلت را در اسکلتهاي پیچیده پیدا کرده و در موقع نمونهبرداري دچار اشتباه نشویم. در اسکلتهایی که در آنها استخوانهاي فرعی و زاید بر اثر الگوریتم استخراج اسکلت ظاهر میشوند، انتخاب نمونهها در راستاي اصلی مسیر باعث افزایش دقت طبقه-بندي میگردد. در این الگوریتم، مسیري که بیشترین تقاطع با لبههاي پنجره را در یک جهت، نتیجه میدهد به عنوان مسیر غالب تعیین می-گردد.

البته در این مقاله، با توجه به سادگی اسکلت استخراج شده از ساق دست و ساق پا در بسیاري موارد نیاز به شناسایی راستاي غالب نیست. پس از بهدست آوردن پیکسل ابتدایی، اولین نمونه بر روي این پیکسل قرار داده شده و بقیه نمونهها به ترتیب با فواصل یکسان از هم انتخاب میشوند. از آنجایی که طول اسکلت استخراج شده براي شکلهاي تغییر یافته ناشی از حرکت همان اندام همواره ثابت میباشد، میتوان نمونههاي متناظر انتخاب شده در شکل مرجع را در شکلهاي تغییر یافته نیز پیدا نمود.

بدین صورت که همانند قبل، نمونه اولیه بر روي پیکسل ابتدایی اسکلت شکل تغییر یافته قرار گرفته و بقیه نمونهها با فاصلهاي برابر با فاصله نمونهها در اسکلت شکل مرجع انتخاب میشوند. با توجه به یکسان بودن نقطه شروع نمونه-برداري در اسکلت شکل مرجع و اسکلت شکل تغییر یافته و همچنین یکسان بودن فواصل نقاط نمونهبرداري شده از هم، این نمونهها در تناظر یک به یک با هم هستند. در شکل 2 نمونهاي از نمونهبرداري انجام شده بر روي اسکلت شکل مرجع آرنج و اسکلت شکل تغییر یافته آرنج مشاهده میشود.
 
-2-1-3 موقعیت زاویهاي و مکانی

پس از انتخاب نمونهها باید ویژگیهاي مناسبی از آنها استخراج شوند . در این بخش با استفاده از موقعیت زاویهاي و مکانی نمونهها نسبت به یک نمونه مرجع، ویژگیهاي لازم را استخراج مینماییم.

از میان نمونههاي انتخاب شده در مرحله قبل باید نمونهاي به عنوان نمونه مرجع انتخاب گردد. از میان N نمونه انتخاب شده براي یک شکل، نمونه میانه به عنوان نمونه مرجع براي آن شکل انتخاب میشود. این نمونه به عنوان مبدأ در نظر گرفته شده و از طریق آن میتوان فاصله مکانی و زاویهاي بقیه نمونههاي موجود در شکل را محاسبه کرد. فرض کنید، - Xs, Ys - مختصات مکانی نمونه مرجع در فضا بوده و مختصات مکانی نمونههاي دیگر با - Xi, Yi - بیان شوند. در این شرایط، میزان زاویه نمونهها از نمونه مرجع با محاسبه معادله - 1 - بهدست میآید و فاصله مکانی این نمونهها از نمونه مرجع با محاسبه معادله - 2 - تعیین میگردد.

در رابطه - - 1، Өi بیانگر میزان زاویه بین نمونه مرجع و نمونههاي دیگر بوده و di بیانگر فاصله هر یک از نمونهها از نمونه مرجع میباشد. همچنین i بیانگر نمونه انتخاب شده iام بوده و N تعداد کل نمونهها را بیان میکند. مقدار di در هر شکل با تقسیم بر طول استخوان حاصل از شکل مربوطه نرمالیزه میشود. در نتیجه این نرمالیزهسازي، الگوریتم نسبت به ساختارهاي آناتومی متفاوت از ساق دست و ساق پا مقاوم میشود. در شکل 3 میتوان نحوه انتخاب نمونه مرجع و محاسبه موقعیت زاویهاي و مکانی نمونهها نسبت به نمونه مرجع را مشاهده نمود.

شکل: 2 نمونهبرداري بر روي اسکلت. - الف - : شکل مرجع با اسکلت نمونهبرداري شده، نمونهها داخل جعبههاي زرد رنگ قرار دارند . نمونه اولیه داخل جعبه قرمز رنگ قرار گرفته است. - ب - : شکل تغییر یافته ناشی از حرکت ساق دست با اسکلت نمونهبرداري شده. - ج - : شکل تغییر یافته با نمونههاي متناظر از شکل مرجع. در تمامی حالات، نمونهها با فواصل یکسان از هم قرار دارند.

شکل:3 محاسبه موقعیت مکانی و زاویهاي نمونهها. - الف - : شکل مرجع با اسکلت استخراج شده . - ب - : اسکلت نمونهبرداري شده و نمونه میانه که محور مختصات بر روي آن قرار گرفته است. این نمونه به عنوان مبدأ در نظر گرفته میشود. - ج - : محور مختصات و فاصله مکانی و موقعیت زاویهاي نمونهها نسبت به نمونه مرجع.

مقادیر بهدست آمده در بردار ویژگی F=[di, Өi] قرار میگیرند. این مقادیر براي تمامی حرکات به طور جداگانه با توجه به نمونه مرجع و نمونههاي انتخاب شده براي آن شکل محاسبه میشوند.