مقاله حاشیه نویسی خودکار تصاویر بر اساس نزدیکترین همسایه مشابه

بخشی از مقاله

چکیده

حاشیه نویسی تصویر به معنای انتصاب یک یا چند کلمه برای توصیف تصویر است. ورودی - ها - سیستم حاشیهنویسی، ویژگیهای استخرج شده از تصویر است و خروجی - ها - کلمات کلیدی هستند که محتوای تصویر را توصیف میکنند. اغلب روشهای موجود برای حاشیه نویسی خودکار تصاویر از روشهای یادگیری ماشین استفاده مینمایند که پیچیدگی زمانی بالایی دارند. برای کاهش این مشکل، در این مقاله روش جدیدی برای حاشیه نویسی تصاویر بر اساس نزدیک ترین تصویر همسایه مشابه به منظور دسته بندی تصاویر بر اساس محتوا جهت استفاده در سیستم های بلادرنگ ارائه شده است. ایده اصلی این روش استخراج ویژگی های سطح پایین و نمایه سازی تصاویر بر اساس سه مولفه رنگ ، بافت و شکل می باشد.

ابتدا ویژگیهای سطح پایین برای تصاویری که قبلا به صورت دستی توسط انسان حاشیه نویسی شده اند، استخراج می گردد، سپس ویژگی های تصویر ورودی با ویژگیهای هر کدام از تصاویر مجموعه داده مقایسه شده و نزدیکترین تصاویر از نظر تشابه انتخاب می گردند. سپس بر اساس روش رایگیری از کلمات کلیدی بدست آمده از تصاویر مشابه، تصویر جدید به وسیله پر تکرارترین کلمات حاصل از تصاویر نزدیک همسایه حاشیه نویسی میشود. آزمایشات و ارزیابیهای انجام شده روش پیشنهادی بر روی مجموعه تصاویر Corel5kنشان داد که روش پیشنهادی عملکرد بهتری علاوه بر زمان از نظر دقت نیز نسبت به کارهای گذشته دارد.

کلمات کلیدی:حاشیه نویسی خودکار تصاویر، بازیابی تصاویر ، ویژگی رنگ ، بافت، روش نزدیکترین همسایه.

-1 مقدمه

با رشد روزافزون تصاویر در اینترنت و ابزارهای تصویر برداری دیجیتال، حجم تصاویر موجود در کاربردهای مختلف به سرعت در حال افزایش است. در چنین شرایطی نیاز به روشهایی برای مدیریت و بازیابی بهتر تصاویر بیشتر میباشد.کاربران ترجیح میدهند جستجوی تصویر را بر اساس پرسو-جوهای متنی و براساس کلمات کلیدی انجام دهند. از نظر کاربر بیان درخواست بازیابی با استفاده از کلمات به منظور توصیف محتوای تصویر به مراتب سادهتر و سریعتر از ارائهی تصویر نمونه برای بازیابی اطلاعات است. این امر لزوم حاشیه نویسی تصویر را بیشتر کرده است. حاشیه نویسی تصاویر به فرآیند تولید کلماتی که محتوای تصویر را توصیف کنند، اطلاق می شود.

هدف حاشیه نویسی تصاویر، تولید کلماتی است که تصاویر را به شکل مناسبی توصیف میکنند 1]و .[2 در واقع در حاشیه نویسی مجموعهای از کلمه یا کلماتی که بیان گر معنا و مفهوم واقعی تصویر است، با تصاویر همراه می شود. منظور از معنا و مفهوم واقعی، مفاهیمی نزدیک به برداشت انسانها از تصویر است. یافتن تصویر مورد نیاز یک کاربر از بین تصاویر بسیار زیاد، یک کار چالشانگیز است. تحقیقات نشان می دهد که یک فاصلهی معنایی بین بازیابی تصاویر براساس محتوا و معنای تصویر قابل فهم برای انسان، وجود دارد .[3] بهترین راه برای پر کردن این فاصله معنایی، حاشیه نویسی خودکار تصویر است. حاشیه نویسی تصویر می توانند توسط انسان یا ماشین انجام شود اما از آن جا که مجموعههای بزرگی از تصاویر نیازمند حاشیه نویسی است، انجام این عمل توسط انسان زمانبر، پر هزینه و همراه با اشتباه یا ابهام است.

لذا عملا منظور از حاشیه نویسی تصویر، انجام این عمل به صورت اتوماتیک و توسط ماشین است که به آن حاشیه نویسی خودکار تصاویر گفته میشود.اغلب روشهای موجود برای حاشیهنویسی خودکار تصاویر با استفاده از محتوای تصویر مبتنی بر روشهای یادگیری ماشین با ناظر هستند 4]،-.[5 اما در کاربردهای حاضر با حجم و تنوع بالای تصاویر نیاز به روشهای سادهتری است که بتواند کلمات کلیدی مورد نظر را با دقت قابل قبولی تخمین بزند. این روشها امروز در حال گسترش هستند.در این مقاله روشی مبتنی بر نزدیکترین همسایه برای حاشیهنویسی خودکار تصاویر ارائه شده است. ابتدا از تصویر ورودی ویژگیهای سطح پایین آن - در اینجا رنگ، بافت و شکل - استخراج شده و با ویژگی های استخراج شده تصاویر مجموعه داده بر اساس فاصله - معیارشباهت - اقلیدوسی مقایسه میشود.

در مرحله بعد نزدیکترین تصاویر که به تصویر ورودی بر اساس این ویژگیها مشابه هستند انتخاب می گردد و تصاویر جدید را به وسیله پرتکرارترین کلمات موجود در نزدیکترین تصاویر همسایه حاشیه نویسی می کند. یکی از مزایای مهم این ایده، پیچیدگی محاسباتی پایین آن است و همین امر سبب میشود که بتوان آن را در سیستم های بلادرگ نظیر موتور های جستجو استفاده کرد.ادامه مقاله به صورت زیر است: در بخش دوم مروری بر کارهای گذشته خواهیم داشت، سپس در بخش سوم الگوریتم پیشنهادی همراه با ویژگی های استفاده شده و توضیحات هر کدام از بخشها ارائه میشود، در بخش چهارم نتایج تجربی و آزمایشات الگوریتم پیشنهادی آمده است و در نهایت نتیجه گیری تحقیق در بخش پنجم بیان میشود.

-2 مروری بر کارهای گذشته

تاکنون روشها و سیستمهای گوناگونی برای حاشیه نویسی تصاویر توسط افراد مختلف ارائه شده است که هدف و کاربرد آنها با همدیگر متفاوت است. در ادامه ایده تعدادی از این روشها بررسی میگردد.نویسندگان مقاله [6] از WordNet به منظور اندازه گیری معنایی ارتباط کلمات کلیدی با همدیگراستفاده کردند. کلماتی که با یکدیگر وابستگی معنایی دارند برای یک تصویر در نظر گرفته می شوند اما در صورتی که وابستگی کلمات به یکدیگر ضعیف باشد می تواند منجر به نتایج نامربوط گردد.نویسندگان در [7] با الهام گرفتن از خوشه بندی، پارامتر های انسجام و جدایی را جهت کمی سازی کلمات ارائه شده به صورت بصری پیشنهاد داده-اند.

پارامتر انسجام، میزان استحکام ودرستی میان تصاویری که با واژه خاصی حاشیه نویسی شده اند را اندازه گیری می کند اما پارامتر جدایی تمایز محتوای بصری متداول با تمام مجموعه تصاویر را اندازه می گیرد روش [7] بسیار شبیه به روش امتیاز دهی به همسایه است.نویسندگان [8] روشی را جهت بهبود کیفیت حاشیه نویسی ارائه کردند که کلمات نا مربوط را حذف می کند و کلماتی را برای تصاویر ورودی پیشنهاد می کند برای این منظور این روش از هر دو ویژگی شباهت معنایی و بصری استفاده می کند.نویسندگان در مقاله [10] در مورد روش داده های استقاقی برای طبقه بندی کلمات حاشیه نویسی شده برای تصویر بحث کردند که بر مبنای اندازه شی نمایش داده شده در تصویر کار می کند همچنین در این روش برای تعیین اندازه شی نمایش داده شده در تصویر از قطعه بندی استفاده شده است.

نویسندگان [10] روشی را برای طبقه بندی کلمات ارائه کردند که مدل حواس بصری را با یادگیری از طریق چندین نمونه ترکیب می کند این روش سه قسمت کلی دارد 1 استفاده از یادگیری بر اساس چندین نمونه به منظور پخش کردن کلمات کلی تصویر در نواحی محلی 2 استفاده از مدل حواس بصری به منظور تخمین زدن مهمترین نواحی متفاوت 3 طبقه بندی کلمات بر اساس مقادیر برجسته. هر دو روش [9] و [10] از قطعه بندی استفاده می کنند و پردازش ها هنوز بسیار بی دقت است به علاوه [10] نیازمند نقشه برجسته است که اضافه کردن آن پیچیدگی محاسباتی بالایی دارد.

-3 روش پیشنهادی مبتنی بر نزدیکترین همسایگی

در این روش ابتدا تمامی ویژگی های سطح پایین استخراج شده از تصاویر مجموعه داده در پایگاه داده ذخیره می شود. سپس این ویژگیها با ویژگی-های تصویر جدید کاربر به همراه وزن ورودی کاربر برای هر ویژگی بر اساس فاصله اقلیدسی مورد مقایسه قرار می گیرد وتصویر جدید بر اساس تصاویر نزدیک همسایه حاشیه نویسی می شود. شکل 1 الگوریتم کلی این روش را نشان می دهد در این مقاله از الگوریتم color moment برای ویژگی رنگ ، الگوریتمwavelet transform و GLCM برای ویژگی بافت و از HU 7-moment invariant برای استخراج ویژگی شکل استفاده کردهایم .

-1-3  استخراج ویژگی رنگ

برای استخراج ویژگی رنگ با توجه به مقایسه روش های مختلف در [3] از الگوریتم color moment استفاده نمودیم. اساس روش moment های رنگ در فرضی است که به کار رفته است این فرض می گوید توزیع رنگ در تصویر می تواند توسط توزیع های احتمالی تفسیر گردد توزیع های احتمالی توسط تعداد خاصی از moment ها مشخص می شوند - برای مثال توزیع های نرمالASM به صورت زیر است :
توسط میانگین و واریانسشان متمایز می گردند. - در صورتی که رنگ در یک تصویر از توزیع احتمالی مشخص پیروی کندmoment های توزیع می توانند به عنوان یک ویژگی به منظور شناسایی در تصاویر رنگی مورد استفاده قرار گیرند. در این مقاله برای استخراج ویژگی رنگ از میانگین وانحراف معیار بر روی هر کدام از طیف های رنگی استفاده نمودیم معادله - 1 - نحوه محاسبه میانگین و معادله - 2 - محاسبه انحراف معیار را برای هر کدام از طیف های رنگی نشان می دهد.

-2-3 استخراج ویژگی بافت

روش های استخراج ویژگی بافت به طور کلی به دودسته ساختاری وآماری تقسیم می شوند در روش ساختاری غالبا از فرمول های اماری برای نمایش ویژگی های تصاویر بهره می برند همچنین در روش های طیفی با اعمال محدودیت بر روی یک فرکانس خاص ویژگی بافت را استخراج می کنند در این مقاله از هر دو روش برای استخراج ویژگی بافت استفاده نموده ایم در ادامه به بررسی هر یک می پردازیم

GLCM -1-2-3

از روش های ساختاری استخراج ویژگی بافت می باشد در این روش از شدت روشنایی پیکسل ها با نام ماتریس GLCM به همراه برخی محاسبات آماری برای نمایه سازی ویژگی بافت در تصویر استفاده می شوند برخی از این ویژگی های آماری که مورد استفاده قرار گرفته اند عبارتند از:

کنتراست : - contrast -

اندازه گیری کنتراست با استفاده از وزن مربوط به فاصله از قطر اصلی GLCM صورت می پذیرد. معادله - 3 - نحوه محاسبه کنتراست را نشان می دهدهمگن بودن - : - homogeneiاگر وزن ها با افزایش فاصله از قطر اصلی کاهش یابند کنتراست ها بسیار به یکدیگر نزدیک می شوند و نتایج برای پنجره هایی با کنتراست اندک بزرگتر خواهد بود مقادیر وزن ها دراین روش بر خلاف روش کنتراست است وبا دور شدن از قطر اصلی به صورت توانی کاهش می یابد معادله - 4 - نحوه محاسبه پارامتر همگن بودن را نشان می دهد:از این ویژگی در پنجره هایی که دارای کنتراست کمی هستند بیشتر استفاده می شود.

انرژی:

در انرژی و ASM هر کدام از Pi,j به عنوان وزن مورد استفاده قرار می گیرند مقادیر بزرگ از ASM و انرژی زمانی که پنجره ای خیلی مرتب باشد اتفاق می افتد .از مجذورASM برای محاسبه انرژی استفاده می کنند و معادله - 6 - نحوه محاسبه انرژی را نشان می دهد .                

آنتروپی - : - entropy

آنتروپی به بسته انرژی در زمانی که واکنش و یا انتقال های فیزیکی منجر به از دست دادن دما - گرما - می شود نسبت داده می شود انرژی از نظر مفهوم متضاد آنتروپی می باشد انرژی می تواند به منظور کار های مفید به کار گرفته شودبه همین منظور از انرژی در اندازه گیری ترتیب برای استخراج بافت استفاده می شود معادله - 67 - نحوه محاسبه آنتروپی را نشان می دهد

همبستگی : - correlation -

اندازه گیری همبستگی بافت به سطوح خاکستری در پیکسل های همسایه وابستگی خطی دارد. محسبات همبستگی GLCM و اطلاعاتی که توصیف می کند. نسبت به سایر روش در زمینه اندازهگیری بافت در تصویر متفاوت است در نتیجه مستقل از آنهاست و می تواند به منظور ترکیب با سایر روش های استخراج بافت مورد استفاده قرار گیرد معادله - 7 - نحوه محاسبه این ویژگی را نشان می دهد.در معادله ʽ - 8 - برابر میانگین و برابر انحراف معیار می باشد همچنین در معادلات این بخش Pi,j تقریب نرمال سازی شده GLCM و i برابر تعداد سطر های ماتریس و j برابر تعداد ستون ها است.در این مقاله مجموعه این ویژگی ها در قالب یک بردار تحت عنوان بردار ویژگی GLCM استفاده شده است .[12,11]این روش از روش استخراج ویژگی بافت طیفی می باشد بسط سری wavelet را به صورت تقریبی در قالب تابع زیر بیان می شود:
که در آن  0[ ] ضرایب مقیاس دهی در مقیاس 2 0 می باشد.