بخشی از مقاله
خلاصه
در سال های اخیر مساله کلاسه بندی تصاویر مورد توجه محققان قرار گرفته است که در آن هدف تعیین کلاس یک تصویر می باشد. اکثر روش های موجود در این حوزه فرض می کنند که داده های آموزشی - دامنه منبع - و داده های تست - دامنه هدف - از توزیع یکسان و فضای خصیصه ای یکسان تبعیت می کنند. اگرچه در کاربرد های دنیای واقعی ممکن است به دلیل کمبود دادههای برچسب دار، مجبور شویم از دادههای برچسب دار منابع مرتبط دیگر استفاده کنیم.
در چنین شرایطی به دلیل اختلاف توزیع بین داده های آموزشی و دادههای تست، مدل آموزش دیده بر روی داده های آموزشی ممکن است عملکرد ضعیفی بر روی داده های تست داشته باشد. برای حل این مساله از تطبیق دامنه یا یادگیری انتقالی استفاده شده است که هدف آن ایجاد یک کلاسه بند بر روی داده های آموزشی است که با وجود اختلاف توزیع بین دامنه ها عملکرد خوبی بر روی داده های تست داشته باشد. روش پیشنهادی در این مقاله، یک روش تطبیق دامنه بدون نظارت با بهره گیری از تطبیق توزیع شرطی و خوشه بندی می باشد.
در این روش ابتدا داده ها به یک فضای مشترک که دارای حداقل اختلاف توزیع شرطی بین دامنه های منبع و هدف است، نگاشت می شوند و سپس در فضای جدید ایجاد شده، خوشه بندی مستقل از دامنه برای ایجاد تفکیک پذیری بین کلاس ها بر روی دامنه منبع و هدف اعمال می شود. روش پیشنهادی بر روی سه نوع پایگاه داده بصری مورد ارزیابی قرار گرفته است. نتایج گسترده نشان می دهد که روش پیشنهادی دارای بهبود قابل ملاحظه ای در مقایسه با جدید ترین روش های حوزه یادگیری ماشین و تطبیق دامنه است.
.1 مقدمه
اخیرا مساله کلاسه بندی تصاویر1، مورد توجه محققان قرار گرفته است. در این مساله، هدف تعیین کلاس یک تصویر است. در واقع مجموعه ای از تصاویر وجود دارند که براساس خاصیت ها و ویژگی هایی که تصاویر دارند به یک سری کلاس ها نسبت داده می شوند. در کلاسه بندی تصاویر، داده ها به دو بخش تقسیم می شوند: - 1 داده های آموزشی - 2 2 داده های تست.3 داده های آموزشی داده هایی هستند که بر روی آن ها با استفاده از تکنولوژی های داده کاوی4 مدل ساخته می شود، سپس مدل ساخته شده بر روی داده های تست اعمال شده و داده های تست برچسب گذاری می شوند.
روش های داده کاوی استفاده شده برای کلاسه بندی تصاویر به سه دسته کلی تقسیم می شوند: - 1 یادگیری نظارت شده - 2 5 یادگیری بدون نظارت - 3 6 یادگیری نیمه نظارتی.7 در یادگیری نظارت شده، تمامی داده های آموزشی دارای برچسب هستند. در یادگیری بدون نظارت تمامی داده های آموزشی بدون برچسب هستند و در یادگیری نیمه نظارتی بخش کوچکی از داده های آموزشی دارای برچسب است. هر چه تعداد داده های آموزشی برچسب دار افزایش یابد کارایی مدل ساخته شده افزایش می یابد و برچسب داده های تست با دقت بیش تری پیش بینی می شوند.
اکثر تکنولوژی های داده کاوی و یادگیری ماشین8 فرض می کنند داده های آموزشی و داده های تست از یک فضای خصیصه ای9 یکسان با توزیع یکسان هستند. اما در عمل ممکن است با کمبود داده های برچسب گذاری شده مواجه شویم و مجبور شویم از داده های برچسب گذاری شده منابع دیگر استفاده کنیم. در چنین شرایطی داده های آموزشی و داده های تست از توزیع متفاوتی برخوردار هستند و نمی توان از روش های داده کاوی استفاده کرد و اگر از مدلی که بر روی داده های آموزشی می سازیم برای داده های تست استفاده کنیم عملکرد خوبی را نخواهد داشت.
برای حل این مساله از انتقال دانش10 یا یادگیری انتقالی11 یا انطباق دامنه12 استفاده می کنیم که این سه راه حل با مفهوم تقریبا یکسانی به کار می روند. در یادگیری انتقالی محققان به دنبال یافتن راه حل هایی هستند که با استفاده از آن ها بتوانند با وجود اختلاف توزیع بین دامنه های منبع13 و هدف14 کارایی مدل را حفظ کنند. مسائل یادگیری انتقالی بسته به نوع هدف به دو دسته تقسیم می شوند: - 1 یادگیری انتقالی بدون نظارت - 2 15 یادگیری انتقالی نیمه نظارتی.16 در یادگیری انتقالی بدون نظارت همه ی داده های هدف بدون برچسب هستند اما در یادگیری انتقالی نیمه نظارتی بخش کوچکی از داده های هدف دارای برچسب هستند.
در یادگیری انتقالی ابتدا اختلاف توزیع بین دامنه های منبع و هدف را به حداقل می رسانند و سپس از روش های داده کاوی برای ساختن مدل استفاده می کنند. برای اینکه بتوانیم اختلاف توزیع بین دامنه های منبع و هدف را به حداقل برسانیم کارهای زیادی انجام شده است که به 3 دسته تقسیم بندی می شوند: - 1 روش های مبتنی بر نمونه:17 در این روش با تغییر در وزن نمونه های برچسب دار دامنه منبع، اختلاف توزیع بین داده های دامنه منبع و داده های دامنه هدف را کاهش می دهند. - 2 روش های مبتنی بر خصوصیت:18 در این روش با نگاشت داده ها به فضای خصیصه ای دیگر، اختلاف توزیع بین داده های دامنه منبع و داده های دامنه هدف را کاهش می دهند. - 3 روش های مبتنی بر مدل:19 در این روش با تغییر در مدل از طریق پارامتر های اصلی یا مشترک، مدل را در مقابل اختلاف توزیع بین دامنه ها مقاوم می کنند.
روش پیشنهادی در این مقاله با عنوان خوشه بندی متمایز کننده و تطبیق توزیع شرطی برای کلاسه بندی تصاویر واقعی - CCDA - ، یک روش یادگیری انتقالی بدون نظارت با بهره گیری از تطبیق توزیع شرطی20 و خوشه بندی21 می باشد. در این روش ابتدا داده های دامنه منبع و هدف به یک فضای خصیصه ای مشترک نگاشت می شوند به طوری که در این فضا، توزیع شرطی داده های دامنه منبع و هدف تطبیق پذیری دقیق تری با هم داشته باشند. سپس به منظور افزایش کارایی کلاسه بند، خوشه بندی مستقل از دامنه بر روی نمو نه های دامنه منبع و هدف اعمال می شود.
کارایی روش پیشنهادی بر روی سه پایگاه داده بصری آفیس و کالتک22، اعداد23 و کویل24 ارزیابی شده است. نتایج به دست آمده نشان دهنده بهبود قابل ملاحظه روش پیشنهادی نسبت به جدید ترین روش های موجود در حوزه یادگیری ماشین و یادگیری انتقالی می باشد. همچنین روش پیشنهادی CCDA در مقایسه با بهترین الگوریتم بر روی پایگاه داده آفیس و کالتک، اعداد و کویل به ترتیب دارای متوسط بهبود دقت %3/11، %2/13 در سال های اخیر، روش های یادگیری انتقالی مورد توجه محققان قرار گرفته است. هدف یادگیری انتقالی، ساختن کلاسه بندی هایی است که در مقابل اختلاف توزیع بین دامنه های منبع و هدف مقاوم باشد.
همان طور که در بخش قبل اشاره شد، برای کاهش اختلاف توزیع بین دامنه های منبع و هدف روش های زیادی و جود دارد که به طور کلی این روش ها به سه دسته تقسیم می شوند: - 1 روش های مبتنی بر نمونه، - 2 روش های مبتنی بر خصوصیت، و - 3 روش های مبتنی بر مدل. در روش های مبتنی بر نمونه با تغییر در وزن نمونه های برچسب دار دامنه منبع، اختلاف توزیع بین داده های دامنه منبع و داده های دامنه هدف را کاهش می دهند . [4-1] سپس یک کلاسه بند استاندارد روی داده های وزن دار دامنه منبع آموزش داده می شود و از این کلاسه بند برای برچسب گذاری داده های دامنه هدف استفاده می شود. روش لندمارک [4] از جمله روش های مبتنی بر نمونه است که زیر مجموعه ای از نمونه های منبع که بیش ترین شباهت را از نظر توزیع به نمونه های دامنه هدف دارد، انتخاب می کند.
در روش های مبتنی بر خصوصیت ابتدا داده های دامنه منبع و هدف به فضای خصیصه ای دیگر نگاشت می شوند به طوری که اختلاف توزیع بین داده های دامنه منبع و داده های دامنه هدف کاهش داده شود .[12-5] سپس در فضای خصیصه ای جدید، یک کلاسه بند استاندارد روی داده های دامنه منبع آموزش داده می شود و از این کلاسه بند برای برچسب گذاری داده های دامنه هدف استفاده می شود.
[9] TCA25 از جمله روش های شناخته شده در این حوزه است که داده های دامنه منبع و هدف را بر اساس مولفه های انتقال26 مشترک بین دامنه ها، به یک فضای خصیصه ای با بعد کم نگاشت می کند به طوری که در فضای خصیصه ای جدید اختلاف توزیع حاشیه ای بین دامنه منبع و هدف کاهش یابد و همچنین ساختار اصلی داده ها حفظ شود. [8] JDA27 یکی دیگر از روش های جدید در این حوزه است که داده های دامنه منبع و هدف را به یک فضای خصیصه ای کم بعد نگاشت می کند به طوریکه همزمان اختلاف توزیع حاشیه ای و شرطی بین دامنه های منبع و هدف کاهش یابد.
در روش های مبتنی بر مدل با تغییر در مدل از طریق پارامتر های اصلی یا مشترک، مدل را در مقابل اختلاف توزیع بین دامنه ها مقاوم می کنند ARTL28 .[17-13] یکی از روش های شناخته شده در این حوزه است که یک کلاسهبندی انطباقی29 را توسط کاهش خطای کﻻسهبندی در دامنه منبع، افزایش انطباق هندسی30 بین توزیع حاشیه ای دامنه ها در فضای جدید و تطابق توزیع مشترک بین دامنه ها، آموزش می دهد. ASVM31 [17] یکی دیگر از روش های مشهور در این حوزه است که با استفاده از مرزهای تصمیم گیری32 داده های دامنه منبع، مرز های تصمیم گیری داده های دامنه هدف را مشخص می کند.
[14] DASVM33 یک روش تکرار شونده است که در هر تکرار با استفاده از کلاسه بند به دست آمده روی دامنه منبع، برچسب داده های دامنه هدف را تعیین می کند و سپس نمو نه هایی از دامنه منبع را که برای فرایند یادگیری مفید نیستند حذف می کند. روش پیشنهادی در این مقاله در دسته روش های مبتنی بر خصوصیت قرار دارد. در این روش ابتدا داده های دامنه منبع و هدف به یک فضای خصیصه ای مشترک کم بعد نگاشت می شوند به طوری که اختلاف توزیع شرطی بین دامنه ها کاهش یابد. سپس با بهره گیری از خوشه بندی مستقل از دامنه، بین کلاس های مختلف دامنه منبع و هم چنین دامنه هدف، تفکیک پذیری ایجاد می شود.
.3 روش
در مسائل یادگیری انتقالی دو مفهوم دامنه و تسک34 وجود دارد. هر دامنه شامل دو مولفه فضای خصیصه ای و توزیع احتمال حاشیه ای35 می باشد.
