بخشی از مقاله
ردیابی بازیکنان در تصاویر ویدیویی مسابقات فوتبال
چکیده
هم زمان با شکل گیری سیستم های مبتنی بر بینایی ماشین، ردیابی اشیاء متحرک در دنباله تصویر ویدیویی، جزء زمینههـای مهـم و کاربردی در مبحث بینایی ماشین شناخته شد. موارد کاربردی ردیابی اشیاء متحرک بسیار متنوع و از آن جمله می توان به کـاربرد آن در سیستم های خودکار هدایت کننده اتومبیل، سیستم های خودکار کنترل کننده ترافیک، ردیابی هدف، ردیابی اعضای بدن و تحلیـل حرکات ورزشی اشاره نمود. در این مقاله ابتدا مشکلات ردیابی در تصاویر ویدیویی مسابقات فوتبال بیان می گردد. سـپس روش هـای عمده برای ردیابی اشیاء متحرک تشریح و مزایا و معایب به کارگیری آن ها در تصاویر ویدیویی تشریح میشود. در پایان روشهایی برای ردیابی بازیکنان فوتبال ارائه میشود.
کلمات کلیدی
بینایی ماشین، ردیابی اشیاء، همپوشانی، اشیاء غیر صلب.
-1 مقدمه
موارد کاربردی ردیابی اشیاء متحرک بسیار متنوع و از آن جمله می توان به کاربرد آن در سیسـتم هـای خودکـار هـدایت کننـده اتومبیـل [13]، سیستم های خودکار کنترلکننـده ترافیـک [14]، ردیـابی هـدف [15]، ردیابی اعضای بدن [16] و تحلیل حرکات ورزشی اشاره نمود.
به منظور ردیابی موفـق بازیکنـان در دنبالـه تصـویر ویـدیویی مسابقات فوتبال، باید اطلاعات پیش زمینه درباره حوزه مورد بحث جهت اعمال محدودیت ها و انتخاب ویژگی های مناسب به کار گرفته شود؛ زیرا ردیابی اشیاء کوچک و غیر صلب در محیطی پیچیده و پویا تنهـا متکـی بر ردیابی سطح پایین شدت روشنایی میتواند با خطـا همـراه باشـد . در برخی مطالعات تنها اطلاعات رنگی لباس بازیکنان برای ردیابی بازیکنان مورد اسـتفاده قـرار گرفتـه اسـت 17]٫2٫4٫ 5٫[10 و در برخـی دیگـر اطلاعات حرکتی بازیکنان با فرض ثابت بودن سـرعت حرکـت بازیکنـان در یک بازه زمانی کوتاه، جهت مشخص نمودن ناحیه جستجوی بازیکن در فریمهای متوالی به کار گرفته میشود 3]٫9٫11٫.[1
ادامه این مقاله به صورت زیر سازماندهی میشود:
در بخــش2 مشــکلات ردیــابی در تصــاویر ویــدیویی مســابقات فوتبال بیان می گردد.دربخش 3 روش هـای عمـده بـرای ردیـابی اشـیاء متحرک تشریح می شود. دربخـش 4 روشـهایی بـرای ردیـابی بازیکنـان فوتبال ارائه میشود و نهایتا دربخش5 نتیجه گیری بیان میگردد.
-2مشکلات ردیابی
تصاویر ویدیویی مسابقه فوتبال در هر صـحنه از یـک دوربـین ثابت و بر روی حرکت بازیکنـان، داور، تـوپ و دیگـر اشـیاء موجـود در ورزشگاه می باشد. این تصاویر ویدیویی معمولا با دقت1 پایین و همراه بـا فعل و انفعالات دوربین گرفته شده انـد . اشـیاء موجـود داخـل زمـین در تصاویر ویدیویی گرفته شده کوچک و غیر صلب بوده و تعداد زیاد اشیاء و حرکت سریع و غیر قابل پیش بینی آنهـا محیطـی پویـا و پیچیـده را ایجاد می کنـد. عـلاوه بـر ایـن، بازیکنـان همـواره بـا یکـدیگر تصـادم و هم پوشانی دارند که ردیابی بازیکنان را دشوارتر مـیسـازد. در ادامـه بـه بررسی بیشتر مشکلات یاد شده، پرداخته میشود.
-1-2پویا و پیچیده بودن محیط
چون معمولا در مسابقات فوتبال تجمـع بازیکنـان زیـاد اسـت، تصاویر ویدیویی چنین صحنه هایی با اشیاء متعددی همراه است. عـلاوه بر این، وجود اشیاء دیگر مانند توپ، نشانه های خطی، دروازه، تابلوهـای تبلیغاتی و تماشاچیان، محیط را پیچیده تر می کند. بازیکنان کـه اشـیاء اصلی این محیط می باشند، همواره بـا تغییـر شـکل و جابجـایی مکـانی مواجه هستند . از طرف دیگر، فعل و انفعـالات دوربـین باعـث تغییـرات دایمی صحنه قابل رویت می شود. این مسایل باعث پویا و پیچیده شـدن دنباله تصویر ویـدیویی مـی شـود و در نتیجـه ردیـابی اشـیاء در چنـین صحنههایی به سادگی امکانپذیر نخواهد بود.
-2-2 فعل و انفعالات دوربین
دوربین میتواند به صورت ثابت یا همراه با فعل و انفعال باشـد. فعل و انفعالات دوربین به 2 دسته تقسیم میشوند:
الف) بدون تغییر موقعیت دوربین ب) همراه با تغییر موقعیت دوربین
در نوع اول، سه حالت چـرخش افقـی2، چـرخش عمـودی3 و تغییر طول کانونی دوربین یا بزرگ نمایی4 امکان پذیر است. نوع دوم نیـز شامل انتقالهای افقی5، عمودی6 و افقی-جانبی7میباشد.
از آن جایی که صحنههای گل معمولا با حرکات سـریع تـوپ و بازیکنان به طرف دروازه و تغییر موقعیت بازی به صورت ناگهانی همـراه است، کارگردان تلویزیونی در برخی مواقع، مجبـور بـه چـرخش سـریع دوربین به همراه بزرگ نمایی آنی می شود که این امر ردیابی بازیکنان را با مشکل مواجه می سازد. شکل(( 1 چندین فـریم از یـک صـحنه گـل را نمایش میدهد. همان طور که در شکل دیـده مـی شـود در ایـن صـحنه تغییرات موقعیت نمایش و حرکات سریع دوربین در بین فریمهـا کـاملا آشکار است.
به منظور ردیـابی دقیـق بازیکنـان فوتبـال لازم اسـت حرکـت دوربین شناخته شود. رویه ردیابی یا باید حرکت دوربین را در هر فـریم در نظر بگیرد و یا اینکه حرکت دوربین، قبل از شروع به ردیـابی حـذف گردد؛ زیرا تخمین موقعیت بازیکنان تنها در صورتی کارآمـد اسـت کـه حرکت دوربین شناخته شود.
-3-2 حرکت سریع و غیر قابل پیشبینی بازیکنان
در صحنههای گل، بازیکنان بـا سـرعت زیـاد در حـال دویـدن هستند و در برخی لحظات به طور غیر قابل پـیش بینـی مسـیر خـود را عوض می کنند. در اغلب الگوریتم هـای ردیـابی فـرض بـر آن اسـت کـه حرکت اشیاء یکنواخت و در یک مسـیر اسـت. عـلاوه بـر ایـن، حرکـت بازیکنان با حرکت دوربین ترکیب شده و در نتیجه انتخـاب یـک نقطـه مرجع از بازیکن برای محاسبه سرعت امکان پـذیر نمـی باشـد. شـکل((2 دنباله ای از تصاویر ویدیویی از دویدن یک بازیکن را با نرخ نمونهبـرداری 30 فریم در ثانیه نشان می دهـد. همـان گونـه کـه در ایـن شـکل دیـده می شود بازیکن در هر فریم با تغییر شکل و جابجـایی نسـبت بـه فـریم قبلی همراه است که در برخی از فریمها این تغییرات نمایانتر است.
-4-2 دقت پایین تصاویر ویدیویی
تصاویر ویـدیویی بـه کـار گرفتـه شـده ممکـن اسـت کیفیـت مناسبی نداشته باشند. همچنین صحنه های در نظر گرفته شـده ممکـن است صحنههای نمای دور باشند؛ به عبارت دیگر تصـاویر ویـدیویی بـه صورت بزرگ نما بوده به طـوری کـه فضـای وسـیعی از میـدان بـازی را می پوشانند. از این رو، معمولا اندازه بازیکنان در دنباله تصـویر ویـدیویی در نظر گرفته شده بسیار کوچک است. علاوه بر این، در مواقـع حرکـت سریع دوربین، ممکن است بازیکنان بـه صـورت مـات در تصـویر ظـاهر شوند.
نمونه هایی از تصاویر چندین بازیکن در حالت ها و موقعیت های مختلف در شکل((3 نشـان داده شـده اسـت. همـان طـور کـه مشـاهده می شود، معمولا تصویر بازیکنان دقت پایین و شکل پیچیده ای دارد؛ بـه طوری که مدل کردن آن ها امکان پذیر نمی باشد. همچنـین در برخـی از این تصاویر به علت مات شدگی، بازیکنـان بـه درسـتی قابـل تشـخیص نمی باشند. واضح است روشهای پردازش تصویر که نیازمند لبههـایی بـا تباین8 بالا یا دقت مناسب میباشند، در این گونه تصاویر کاربرد ندارند.
-5-2 غیر صلب بودن بازیکنان
بازیکنان فوتبال به صورت غیر صلب می باشند، به خصـوص در هنگام دویدن که پاها و دستهای بازیکن به طور مرتب در حـال حرکـت است. غیر صلب بودن بازیکنان به همراه حرکـت سـریع آن هـا، حرکـت دوربین، تصـاویر بـزرگ نمـایی شـده و دقـت پـایین تصـاویر ویـدیویی، بازیکنان را بـه صـورت یـک حبـاب در حـال حرکـت نشـان مـی دهـد . همان طور که در شکل((3 دیده می شود، شکل بازیکنـان در حالـتهـای مختلف با تغییرات محسوس همراه است، به طوری که ویژگیهای فردی بازیکنان مانند شماره آنها قابل تشخیص نمیباشد.
در شکل((2 نیز تغییرات شکل یک بازیکن دونده در فریمهـای متوالی نشان داده شده است. واضح است در نظر گرفتن مدل های سـاده برای شکل بازیکن (به عنوان مثال استفاده از کلیشه همبستگی ثابت یـا مدل های هندسی) عملی نیست. علاوه بر این، مدلهـای حرکتـی سـاده نمی توانند حرکات پیچیده دست و پا را مدل کنند و این در حالی اسـت کــه اســتفاده از مــدلهــای حرکتــی پیچیــده بــه دلیــل کــافی نبــودن پیکسلهای یک بازیکن مقدور نیست.
-6-2 همپوشانی
هم پوشانی بازیکنان فوتبال در مسابقات فوتبال و بـه خصـوص در صحنههای گل به دفعات روی می دهد. هم پوشانی می تواند بین 2یـا چند بازیکن و همچنین بین اعضای یک تیم یا اعضای تیم هـای متقابـل رخ دهد. از بین تمامی مشکلات یاد شده برای ردیابی بازیکنـان، مسـاله همپوشانی جدیتر و در اغلب موارد مسالهسازتر میباشد.
-3انواع روشهای ردیابی
وب و اگراوال [18] روشهای ردیابی را به 2 دسته مبتنـی بـر مدل های آیکـونی یـا کلیشـههـای همبسـتگی و مبتنـی بـر مـدلهـای ساختاری یا مدل های ویژگی طبقهبندی کـرده انـد. کلیشـه همبسـتگی قسمتی از فـریم را بـا قسـمتی از فـریم دیگـر تطـابق مـیدهـد. مـدل ساختاری نیز ویژگیهای خاص (مانند خط) را بین 2 فریم با استفاده از مشخصههای آن (مانند طول و جهت) تطـابق مـیدهـد. 2 روش عمـده دیگر عبارتند از روشهای مبتنی بر کلیشههای فرمپذیر9 که بـر اسـاس مدل های انرژی نسبت به زمان تغییر می یابند و ردیابهای حرکتـی کـه شار نوری ناحیهای از تصویر را به منظور پیشبینـی موقعیـت جدیـدش تخمین میزنند.
-1-3 ردیابی کلیشه همبستگی
در کلیشه همبسـتگی اسـتاندارد، تکـه ای از تصـویر بـا الگـوی کوچکی مقایسه میشود. معمـولا بـرای راحتـی کـار، ایـن ناحیـه را بـه صورت مستطیلی شکل در نظر میگیرند و الگوی اولیـه را نیـز بـه طـور مستقیم از اشیاء شـناخته شـده در اولـین تصـویر اسـتخراج مـیکننـد. همبستگی استاندارد به اندازه الگو، شدت روشنایی و مقدار تباین تصویر حساس است. برای رفع این مشکل، همبستگی نرمـالیزه کـه از تقسـیم مقدار همبستگی بر انحراف معیار آن ناحیه به دسـت مـی آیـد، بـه کـار گرفته می شود. این همبستگی نیز همچنان به نسبت سـیگنال بـه نـویز حساس خواهد بود، ولی اندازه پنجره و مقدار میانگین شدت روشنایی و تباین تصویر نرمالیزه خواهد شد.
کلیشه های همبستگی بـه هـم پوشـانی و تغییـرات کوچـک در تکهای از تصویر که باید در فریمهای بعدی ردیابی شود، بسیار حسـاس است. این حساسیت در صحنه هایی که تغییر شکل اشیاء به صورت پویـا میباشد و ممکن است با یکدیگر برخورد یا هـم پوشـانی داشـته باشـند، مساله برانگیز خواهد بود. ردیابی کلیشه در صورتی که حرکت اشـیاء یـا حرکت دوربین باعث تغییرات در شکل شی ء ردیـابی شـونده گـردد، بـا شکست مواجه خواهد شد. روشی که در این حالت مـورد اسـتفاده قـرار می گیرد، استفاده از کلیشه همبستگی تطبیقی خواهد بود . در این روش هر بار که کلیشه با تصویر بعدی مطابقت داده شد، کلیشه جدیـدی کـه در مرکز موقعیت تطبیقی فعلـی واقـع مـی گـردد، اسـتخراج مـی شـود. بنابراین با استفاده از این روش، کلیشـه مـی توانـد تـدریجا بـه گونـه ای تنظیم شود که نشاندهنده نواحی تصویر متغیر با زمان باشد.
روش کلیشه همبستگی تطبیقی، در صورتی کـه تغییـر شـکل اشیاء بسیار سریع باشد، دچار مشکل می شود. علاوه بـر ایـن، بـه دلیـل عدم وجود مدل10 در روش کلیشه تطبیقی، احتمال انحـراف تـدریجی11 وجود دارد. چون در هر مرحله کلیشه تطبیق داده مـی شـود، خطاهـای کوچک تطبیق در کلیشه انباشته شده و در نهایت اگر محـدودیتهـایی برای این روش در نظر گرفته نشود، ممکن است کلیشه از ردیابی هـدف خود منحرف شده و به ردیابی ناحیهای کاملا متفاوت بپردازد.
