بخشی از مقاله
چکیده :
یک روش مؤثر برای افزایش کارایی سیستمهای بازشناسایی الگو، استفاده از ترکیب نتایج طبقه بندی کنندهها میباشد که در سالهای اخیر توجه محققین را به خود جلب کرده است. طبقهبندی مرکب، شامل تعدادی طبقهبندی کننده میباشد که تصمیمات منفرد هرکدام از آنها، به روشهای مختلف با یکدیگر ترکیب میشوند. برای آنکه ترکیب طبقهبندی کنندهها نتایج قابل قبولی داشته باشد باید طبقهبندی کنندهها مکمل و دارای خطای مستقل باشند. همچنین طبقهبندی کنندههای منفرد از کارایی مناسبی برخوردار باشد.
در این مقاله روشی جدیدی برای ترکیب خروجی طبقهبندی کنندهها پیشنهادشده است که در آن با استفاده از آنالیز عدم قطعیتها، خروجی طبقهبندی کنندهها باهم ترکیب میشوند. در این روش برای اطلاع از عدم قطعیتها، از معیار آنتروپی استفاده شده است. با اجرای طبقهبندی کنندههای منفرد بیشترین شباهت، ماشین بردار پشتیبان، شبکههای عصبی و جنگل تصادفی، خروجی نتایج بر اساس آنالیز عدم قطعیت در ترکیبات مختلف طبقه بندی کنندهها، باهم ترکیب شدند.
این آزمایش بر روی تصویر آیکونوس - نیمهشهری - بررسی شد. نتایج نشان داد که روش پیشنهادی ترکیب در حالت ترکیب چهارتایی - ML - SVM, NN, RF، نسبت به ترکییات دوتایی و سهتایی طبقهبندی کنندههای مختلف و نیز طبقهبندی کنندههای منفرد دارای دقت بهتری می باشد. دراین بین برای طبقهبندی کنندههای بیشترین شباهت، ماشین بردار پشتیبان، شبکههای عصبی، جنگل تصادفی و روش پیشنهادی ترکیب در حالت ترکیب چهارتایی، به ترتیب دقت کلی برابر %77.95، %80.01، %79.70، %80.56 و %82.89 حاصل شد.
در پایان روش پیشنهادی ترکیب - حالت چهارتایی - با روش معمول رأی اکثریت با دقت کلی معادل 81.92 درصد، مقایسه شد. مقایسه دقت روش پیشنهادی بیانگر برتری این روش نسبت به روش رأی اکثریت میباشد. با توجه به نتایج، روش پیشنهادی ترکیب میتواند منجر به افزایش دقت طبقه بندی کنندهها شود؛ بنابراین از این روش میتوان بهعنوان یک قانون جدید برای ترکیب خروجی طبقه بندی کنندهها، استفاده کرد.
-1 مقدمه
به منظور استخراج اطلاعات از تصاویر ماهواره ای می توان از روش های طبقه بندی استفاده کرد. طبقهبندی یکی از حوزه های تحقیقاتی مهم در سنجش ازدور می باشد. کلیه روش های طبقه بندی به دنبال کشف عارضه ای - کلاسی - هستند که پیکسل موردنظر را با حداکثر اطمینان و مقبولیت به آن نسبت دهند. به عبارتی دیگر، طبقه بندی یک فرآیند تصمیم گیری است که مقادیر پیکسل ها در تصویر اولیه را باکلاس های نهایی جایگزین می کند و منجر به تولید یک نقشهی موضوعی میشود
روش های طبقه بندی به طورکلی برحسب ماهیتی که دارند با سه دیدگاه تقسیم بندی می شوند، بطوریکه می توان برحسب نوع آموزش، به دودسته نظارت شده و نظارت نشده، برحسب فرضیات روش مورداستفاده، به دودسته ی پارامتریک یا غیر پارامتریک و برحسب تعداد برچسب های خروجی، به دودسته طبقه بندی سخت و طبقه بندی نرم تقسیمبندی کرد
در حوزه ی طبقه بندی، تحقیقات زیادی صورت گرفته است که در اکثر موارد از یک روش برای طبقه بندی کل تصویر استفاده شده است. ازآنجایی که همه ی روش های طبقه بندی با داده ی آموزشی یکسان نتایج متفاوتی را ارائه میدهند؛ لذا هیچ طبقه بندی کننده ای کامل و بدون نقص نیست
بدین معنی که هیچ طبقه بندی کننده ای وجود ندارد که یک حجم داده محدود به یک راه حل بهینه برای مسئله موردنظر منجر شود. با توجه به مطالب گفتهشده و نیز با توجه به اینکه ترکیب نتایج طبقه بندی کننده ها می تواند کارایی سیستم الگو را، بهخصوص در مورد الگوهای پیچیده بهبود بخشد [4]، این انگیزه می تواند شکل بگیرد؛ که بجای استفاده از یک طبقهبندی کننده از چندین طبقهبندی کننده استفاده شود؛ بطوریکه نتایج روشهای تکی با یکدیگر ترکیب شوند.
پژوهشگران حوزههای مختلف ازجمله بازشناسایی الگو، یادگیری ماشین و آمار، استفاده از ترکیب طبقهبندی کنندهها را بررسی کردهاند و بانامهای Classifier Fusion, Decision Fusion, Classifier Ensembles, Multiple Expert, Combining classifiers Hybrid Methodsیادکردهاند
شاید یکی از اولین پژوهشها در حوزهی ایجاد ترکیب طبقه بندی کننده ها توسط Dasarathy و Sheela در سال 1979 میلادی باشد که بر تقسیم فضای ویژگی با استفاده از دو یا چند طبقه بندی کننده بحث می کند .[7] بااینحال پیشرفت اصلی در این حوزه، توسط Salamon و Hansen در سال 1990 مطرح گردید .[8] نبوی کریزی و کبیر اولین مقاله ی فارسی در این حوزه را ارائه نمود و روش های ترکیب خروجی طبقه بندی کننده ها را معرفی کرده اند
همچنین مقصودی در سال 2009 ضمن معرفی روش های ایجاد مختلف ترکیب خروجی طبقه بندی کننده ها، روشی برای طبقه بندی تصاویر ابر طیفی با استفاده از استخراج ویژگی و ترکیب طبقهبندی کنندهها استفاده نمود
Hai Tung CHU و Linlin GE در سال 2012 تحقیقی درزمینه ی ترکیب طبقهبندی کنندهها انجام دادند. آنها خروجی نتایج حاصل از الگوریتمهای منفرد SVM, NN, 1SOM را با روشهای ترکیب مبتنی الگوریتم Bagging، Boosting، تئوری دمپستر- شفر، رأی اکثریت و قوانین جمع2، ترکیب کردند .[11] در این تحقیق روش های ترکیبی، نتایج بهتری نسبت به طبقهبندی کنندههای منفرد ارائه دادند.همچنین مطالعهای در سال 2015 توسط Bin Yang و همکارانش بر روی ترکیب طبقهبندی کنندهها انجام گرفت
در این تحقیق با بهکارگیری طبقهبندی کنندههای پایه ML, SVM, NN,3FCM,4MID اقدام به ترکیب خروجی ها در سطح اندازه گیری - میانگین بیزین - ، سطح مفهوم - رأی اکثریت نسبی - و نیز یک روش جدید بنام میانگین وزن دار بر اساس آنالیز سلسله مراتبی - WA-AHP - 5 شد. نتایج نشان داد که ترکیب خروجی طبقه بندی کننده ها در هر سه حالت منجر به بهبود نتایج شدهاند.
بهمنظور بهبود نتایج طبقه بندی، مطالعهای در سال 2015 توسط Nasru Minallah و همکارانش انجام گرفت که در آن، خروجی طبقه بندی کننده ها بر اساس میانگین گیری احتمالات6 باهم ادغام شدند .[13] در این مطالعه، از روشهای طبقه بندی 7NN-MLP , RF, SVM بهعنوان طبقه بندی کنندهی پایه استفاده شد. نتایج نشان داد که ترکیب خروجی طبقه بندی کنندهها میتواند منجر به بهبود دقت طبقهبندی کنندهها شوند. همچنین در 18]،17،16،15،14،[13 نشان داده شد که استراتژی ترکیب طبقه بندی کنندهها باعث بهبود نتایج طبقه بندی میشود.
بررسی کلی تحقیقات پیشین نشان می دهد که در این روش ها استفاده از مفاهیم عدم قطعیت نتایج طبقهبندی کننده ها برای ترکیب خروجی طبقه بندی کنندهها موردتوجه قرار نگرفته است. ازآنجاییکه اطلاع از عدم قطعیت و استفاده از آن در فرآیند طبقه بندی می توان باعث بهبود دقت طبقه بندی شود [19]؛ این انگیزه به وجود می آید که روشی مبتنی بر آنالیز عدم قطعیت برای ترکیب خروجی طبقهبندی کنندهها مطرح شود.
این مقاله شامل پنج بخش میباشد. بخش اول که ازنظر گذشت شامل مقدمه، پیشینهی تحقیق، انگیزه و هدف تحقیق بود. در بخش دوم مبانی نظری تحقیق، بیانشده و بخش سوم به معرفی روش انجام تحقیق اختصاصیافته است. در بخش چهارم پیادهسازی و ارزیابی نتایج انجام میشود و در بخش پنجم نتیجهگیری پژوهش پیش رو ارائه میگردد.
-2 مبانی نظری ترکیب طبقهبندی کنندهها
-1-2 ترکیب طبقهبندی کنندهها
ترکیب طبقهبندی کنندهها شامل دو بخش اصلی است. بخش اول شامل ایجاد طبقهبندی کنندههای کارا و مناسب، انتخاب نوع طبقهبندی کنندهها و تعداد طبقهبندی کنندهها میباشد. بخش دوم شامل قواعد ترکیب و الگوریتمهای تلفیق تصمیمگیری میباشد. هر دو بخش روی کارایی ترکیب تأثیر مستقیمی دارند. تحقیقات انجامشده بیشتر روی قواعد ترکیب تمرکز داشتهاند نحوهی ترکیب خروجی طبقهبندی کنندهها وابسته به کاربرد و نیازمندیهای مسئله میباشد . روش ها و قواعد مختلفی برای ترکیب نتایج خروجی طبقهبندی کنندهها وجود دارد که در ادامه به برخی این موارد اشاره خواهد شد.
-2-2 روشهای ترکیب خروجی طبقهبندی کنندهها
به طورکلی روش هایی که برای ترکیب خروجی طبقه بندی کننده ها بکار می روند بسته به نوع خروجی طبقهبندی کننده ها، می توان در سه سطح مفهوم - رأی اکثریت، رأی اکثریت به صورت وزن دار، روش های مبتنی بر تئوری بیز - ، سطح رتبه و سطح اندازه گیری - استفاده از تکنیک های آماری نظیر میانگین هندسی، میانگین حسابی، ماکزیمم، مینیمم - مطرح کرد. از میان این سه سطح، سطح اندازهگیری دارای بیشترین اطلاعات و سطح مفهوم دارای کمترین اطلاعات میباشد.
پردازش در سطح اندازهگیری یک مرحله میانی در بیشتر طبقهبندی کنندهها باشد و همچنین بیشتر الگوریتم های طبقه بندی قادرند که اطلاعات خروجی از سطح اندازه گیری را تولید کنند .در این مقاله از روش رأی اکثریت برای مقایسه با روش پیشنهادی ترکیب استفاده شد. لذا در ادامه توضیحاتی در مورد این روش ارائه میگردد.
