بخشی از مقاله
*** این فایل شامل تعدادی فرمول می باشد و در سایت قابل نمایش نیست ***
رنگی سازی خودکار فیلم های سیاه و سفید به کمک فیلترهای گابور و شبکه های عصبی مصنوعی
چکیده
این تحقیق یک روش ابتکاری خودکار را برای رنگی سازی فیلم های سیاه و سفید به کمک ویژگی های بافتی و شبکه های عصبی مصنوعی پرسپترون چند لایه ارائه می دهد. در این روش سعی شده تا دخالت انسان در فرایند رنگی سازی از بین رفته و شبکه عصبی مصنوعی که با استفاده از اطلاعات و ویژگی های بافتی فریم مرجع، تعلیم داده شده، به صورت خودکار اقدام به رنگی سازی فیلم سیاه و سفید نماید. در این روش پیشنهادی، ابتدا فریم های مرجع فیلم سیاه و سفید به روشی دستی رنگی سازی می شوند. سپس با استفاده از بانک فیلترهای گابور، ویژگی های بافتی تمام پیکسل های هر فریم مرجع در حالت سیاه و سفید استخراج می شود و یک شبکه عصبی مصنوعی، که ورودی آن مقدار روشنایی هر پیکسل به همراه ویژگی های بافتی یاد شده، و خروجی آن مؤلفه های رنگ این پیکسل ها در فریم مرجع رنگی می باشد، تحت آموزش قرار می گیرد. نهایتاً، بردار ویژگی مربوط به پیکسل های هر کدام از فریم های سیاه و سفید بعدی، تا رسیدن به فریم مرجع بعدی، به ترتیب در ورودی شبکه عصبی تعلیم یافته قرار گرفته و در خروجی شبکه عصبی، مؤلفه های رنگ مربوط به پیکسل های این فریم ها به دست می اید و به این ترتیب بقیه فریم های سیاه و سفید فیلم توسط شبکه عصبی تعلیم یافته، رنگی خواهند شد. آزمایش های انجام شده جهت رنگی سازی فیلم های سیاه و سفید در فضای رنگی HLS، نتایج قابل قبولی را به همراه داشته است.
۱- مقدمه
رنگی سازی عنوانی است که ویلسون مارکلی در سال ۱۹۷۰ میلادی به فرایند ابداعی خود برای اضافه نمودن رنگ به فیلم ها
و یا برنامه های سیاه و سفید تلویزیون، اطلاق نمود. ولی امروزه این عنوان به هر فرایندی اطلاق می شود که شامل اضافه کردن رنگ به تصاویر و یا فیلم های سیاه و سفید باشد ا3]. در تمامی فرایندهای رنگی سازی، هدف جایگزینی مقدار اسکالر ذخیره شده در هر پیکسل تصویر سیاه و سفید (روشنایی) با یک بردار در فضای رنگی سه بعدی است (برای مثال یک بردار سه بعدیقرمز، سبز و آبی در فضای رنگی RGB). قدیمی ترین مثال ها در این زمینه به اوایل قرن بیستم برمی گردد، اما این مقوله در سال های اخیر به دلیل توسعه تکنیک های پردازش تصاویر دیجیتالی، بیشتر مورد توجه قرار گرفته است و انجام این مهم عملی تر به نظر می رسد ا12]. پس از دهه ۱۹۸۰ میلادی تاکنون روش های مختلفی، از روش های دستی تا روش های نیمه خودکار و یا خودکار، برای رنگی کردن تصاویر و فیلم های سیاه و سفید ابداع شده است. در اکثر این روش ها مانند ا7.2| تصویر سیاه و سفید قسمت بندی شده و سپس رنگ از یک تصویر رنگی مرجع قسمت بندی شده به آن منتقل می شود، و یا در 4.3 ارنگ نواحی و قسمت های مختلف تصویر سیاه و سفید، توسط کاربر انسانی تعیین می شود و این رنگ ها به تمامی سطح آن قسمت ها گسترش می یابند. دو مشکل اصلی در فرایندهای رنگی سازی، زمان گیر بودن و هزینه بر بودن این فرایندهاست. اگرچه با پیشرفت فناوری معماری کامپیوترها و ارائه پردازشگرهای سریع تر، در کنار ارائه و یا بهبود الگوریتم های خودکار رنگی سازی تصاویر، این دو مشکل اصلی روز به روز کمرنگ تر می شوند، ولی در حال حاضر هنوز هم جزو مسائل و مشکلات اصلی فرایندهای رنگی سازی محسوب می شوند. این مقاله با در نظر گرفتن مشکلات یاد شده، راهکار جدیدی را برای رنگی سازی خودکار فیلم های سیاه و سفید ارائه می کند. این راهکار بر پایه تحلیل بافت اشیاء موجود در فیلم های سیاه و سفید و استفاده از شبکه های عصبی مصنوعی استوار
است.
۱-۱- مروری بر کارهای گذشته
در اولین فرایند رنگی سازی که توسط مارکل و هانت در سال ۱۹۸۷ میلادی پایه گذاری شد از هر صحنه فیلم یک تصویر (فریم) انتخاب شده و به صورت دستی رنگ می شد و سپس عمل پیگیری در فریم های بعدی انجام می شد. در این پیگیری ها رنگ ها به صورت خودکار به فریم های بعدی در بخش هایی که در آنها حرکتی صورت نگرفته بود، ارجاع می یافت. رنگ ها در مجاورت لبه های حرکتی با استفاده از شار نوری اختصاص داده می شدند که در اغلب اوقات، نیاز به ترمیم های دستی توسط کاربر داشتند 3] فیلم های رنگی شده توسط این تکنیک های اولیه، کم رنگ، تخت و دارای کنتراست ملایم و رنگی شسته شده بودند. اگرچه در طول دهه ۱۹۸۰ میلادی این فناوری پیشرفت های زیادی کرد و توانست بسیاری از فیلم های سیاه و سفید تلویزیونی را با موفقیت رنگی کند، اما ضعف این روش ها عموماً دستی بودن بعضی مراحل آن و پر زحمت بودن این مراحل در کنار هزینه بالای آنها بود [12].
اکثر الگوریتم های رنگی سازی بر پایه بخش بندی تصاویر و رنگی کردن قسمت ها و سپس پیگیری این نواحی در تصاویر بعدی استوار است. به عنوان نمونه برنامه Black Magic که یک نرم افزار تجاری برای رنگی سازی تصاویر بر اساسی تکنولوژی عصبی است، در سال ۲۰۰۳ میلادی ارائه گردید. در این نرم افزار برسی ها و جداول رنگ و الگوهای زیادی در اختیار کاربر قرار گرفته و کار تقسیم بندی تصویر نیز به عهده کاربر است
ولش و همکاران [1] در سال ۲۰۰۲ میلادی تکنیک نیمه خودکاری را برای رنگی سازی تصاویر سیاه و سفید ارائه نمودند. در روش ولش رنگ ها از یک تصویر رنگی (تصویر مرجع) به تصویر سیاه و سفید (تصویر مقصد) منتقل می شدند، بدین صورت که مقدار روشنایی هر پیکسل و واریانس یک همسایگی ۵X۵ اطراف ان پیکسلی، در تصویر سیاه و سفید اندازه گیری می شد و سپس رنگ در تصویر مرجع، از پیکسلی که دو پارامتر مقدار روشنایی ان و واریانس یک همسایگی ۵X۵ اطراف ان، با این دو پارامتر از پیکسل مورد نظر در تصویر مقصد یعنی تصویر سیاه و سفید، مشابه بود، به تصویر مقصد منتقل می شد. این روش در مورد تصاویری که بخش بندی هایی با رنگ های مختلف و روشنایی های متفاوت داشتند، خوب عمل می کرد؛ ولی در مورد بقیه تصاویر، کاربر باید خود مستقیما پیکسل هایی با شرایط بالا را در دو تصویر مرجع و مقصد، پیدا می کرد. اگرچه نتایج خوبی از این روش گرفته شد ولی هنوز دخالت کاربر در آن مشهود بود. تکنیک ولش نمی توانست پیوستگی رنگ ها را ضمانت کند و در بعضی از تصاویر رنگ های کاملا متفاوتی را به پیکسل هایی که روشنایی مشابهی داشتند و در همسایگی هم بودند، منتسب می کرد. شواهد تجربی نشان می داد که در این روش شدت شباهت تصویر مرجع با تصویر مقصد، تأثیر ویژه ای بر کیفیت نتایج به دست آمده دارد [5,3,2]
لوین و همکاران ا3] در سال ۲۰۰۴ میلادی تکنیک نیمه خودکاری را برای رنگی سازی تصاویر سیاه و سفید ارائه نمودند. در این تکنیک رنگ نواحی و قسمت های مختلف تصویر سیاه و سفید، توسط کاربر انسانی تعیین می شود و سپس گسترش رنگ ها به تمامی سطح قسمت ها با توجه به این نکته که پیکسل های همسایه که مقدار روشنایی یکسانی دارند باید رنگ یکسانی نیز داشته باشند، انجام می شود.
لی و همکاران اها نیز در سال ۲۰۰۷ میلادی تکنیک نیمه خودکاری شبیه به کاری که لوین انجام داده بود را برای رنگی سازی تصاویر سیاه و سفید ارائه نمودند. آنها در تکنیک خود برای گسترش رنگ ها به تمامی سطح قسمت هایی که رنگ آنها توسط کاربر تعیین شده بود، از تکنیک های گرادیانی یافتن خط و لبه استفاده نموده اند. چن و همکاران در سال ۲۰۰۴ میلادی یک تکنیک خودکار برای رنگی سازی تصاویر سیاه و سفید ارائه نمودند. در این تکنیک ابتدا تصویر سیاه و سفید با استفاده از تئوری بیز به تصاویر مجزایی که هر کدام شامل یک شی ه از تصویر سیاه و سفید اولیه است، تقسیم می شود. سپس هر تصویر شامل یک شی» با استفاده از یک تصویر رنگی مرجع شبیه آن، رنگی می شود و در نهایت تصاویر رنگی شده با هم ترکیب می شوند تا یک تصویر رنگی از تصویر سیاه و سفید اولیه را به وجود آورند.
آیرونی و همکاران در سال ۲۰۰۵ میلادی یک تکنیک خودکار مبتنی بر قسمت بندی تصاویر، برای رنگی سازی تصاویر سیاه و سفید ارائه نمودند. در این تکنیک تصویر سیاه و سفید و یک تصویر رنگی مرجع شبیه آن به صورت خودکار قسمت بندی شده و سپس رنگ هر قسمت از تصویر رنگی مرجع به قسمت های مشابه در تصویر سیاه و سفید منتقل می شود. متأسفانه الگوریتم های قسمت بندی خودکار برای برخی از محدوده ها و تشخیص بعضی از قسمت ها به صورت مطمئنی کار نمی کنند (برای مثال مرزبندی بین مو و صورت یک خانم) یعنی کاربر باید عموما به صورت دستی محدوده های پیچیده بین قسمت ها را ترسیم و مشخص کند
از آنجا که هر فیلم از مجموعه ای از فریم ها تشکیل شده است، ان دسته از تکنیک های یاد شده که به منظور رنگی سازی خودکار و یا نیمه خودکار تصاویر سیاه و سفید، طراحی شده را برای رنگی سازی فیلم های سیاه و سفید نیز می توان به کار برد.
۲- روش پیشنهادی
در روش پیشنهادی این تحقیقی که به خودکار کردن فرایند رنگی سازی فیلم های سیاه و سفید با استفاده از ویژگی های بافتی و شبکه های عصبی مصنوعی می پردازد، عمده زمان مصرفی فرایند، صرف تعلیم شبکه های عصبی می شود، که با ارائه پردازشگرهای سریع تر و یا الگوریتم های آموزش مناسب تر برای شبکه عصبی، می توان این زمان را کمتر نیز نمود. اگر به ازای هر فریم رنگی شده و آموزش شبکه عصبی توسط آن بتوان به طور متوسط تا حدود پنجاه فریم بعدی (یعنی حدودا دو ثانیه از فیلم)، را رنگی کرد، در این صورت این فرایند رنگی سازی در قیاس با روش مرجعی که در آن تمامی فریم ها باید یک به یک رنگی می شدند، تقریباً پنجاه برابر سریع تر عمل می کند.
ابتکار این روش برای رنگی سازی خودکار فیلم های سیاه و سفید، در به کار بردن بانک فیلترهای گابور به منظور تحلیل حوزه فرکانس و استخراج ویژگی های بافتی از فریم های سیاه و سفید فیلم مورد نظر و سپس استفاده از شبکه عصبی مصنوعی برای رنگی سازی خودکار این فریم ها با استفاده از ویژگی های بافتی استخراج شده، است.
در این روش پیشنهادی برای رنگی سازی خودکار فیلم های سیاه و سفید ابتدا فریم مرجع، به روش دستی یا توسط الگوریتم کاملا خودکار رنگی سازی تصاویر سیاه و سفید ، رنگی می شود. سپس با استفاده از بانک فیلترهای گابور، ویژگی های بافتی را از مؤلفه روشنایی تمام پیکسل های فریم مرجع در حالت سیاه و سفید استخراج نموده و با استفاده از مقدار روشنایی هر پیکسل و ویژگی های بافتی آن، بردار ویژگی پیکسل های این فریم را تشکیل می دهیم. در ادامه، شبکه عصبی طراحی شده برای رنگی سازی فیلم را، با بردار ویژگی تمام پیکسل های فریم مرجع در حالت سیاه و سفید، به عنوان ورودی شبکه عصبی، و مؤلفه های رنگ این پیکسل ها در فریم مرجع رنگی شده، به عنوان خروجی شبکه عصبی، تعلیم می دهیم. پس از تعلیم شبکه عصبی، بردار ویژگی هر پیکسل از فریم سیاه و سفید بعدی به ترتیب در ورودی شبکه عصبی قرار گرفته و در خروجی آن مؤلفه های رنگ این پیکسل ها به دست می آید، و این کار را فریم به فریم تا رنگی شدن تمامی فریم ها ادامه می دهیم. البته در پیاده سازی این تحقیق برای رنگی سازی فریم مرجع از الگوریتم کاملا خودکار فوق الذکر استفاده نشده، بلکه برای بررسی دقیق تر کارآیی روش پیشنهادی، ابتدا یک فیلم رنگی به سیاه و سفید تبدیل شد و سپس این فیلم سیاه و سفید رنگی سازی مجدد شد، تا با توجه به فیلم رنگی اصلی، بتوان خطای روش هوشمند پیشنهادی را محاسبه کرد.
۱-۲- ابزارهای تحقیق
۱-۱-۲- فیلترهای گابور تحقیقات نشان داده است که در سیستم بینایی انسان، تصاویر به صورت تجزیه و تحلیلی در باندهای فرکانسی مختلف و جهات مختلف پردازش می شوند ا8 l. بنابراین ما نیز در پردازش های ماشینی، برای تحلیل تصاویر و استخراج ویژگی های بافتی آنها، از روش های تحلیل چند فرکانسی و جهت دار استفاده می کنیم که یکی از بهترین این روش ها استفاده از بانک فیلترهای گابور است. هر کدام از فیلترهای موجود در این بانک، مؤلفه های فرکانسی خاصی از تصویر که در باند فرکانسی خاص و در جهت خاصی هستند را تقویت و بقیه را تضعیف یا حذف می کند. تابع گابور در حوزه فرکانسی به عنوان یک فیلتر باند گذر عمل می کند و تبدیل فوریه دو بعدی آن به صورت زیر است ا|9}:
در این تحقیقی با استفاده از رابطه (۱) فیلترهای گابور را در حوزه فرکانسی پیاده سازی کردیم و در نتیجه اعمال فیلترها برروی تصاویر را نیز در حوزه فرکانس انجام دادیم؛ به این ترتیب که فیلتر مورد نظر در حوزه فرکانسی را در صفحه فرکانسی تصویر که از تبدیل فوریه آن به دست می آید، ضرب می کنیم. در این پیاده سازی قرار دادیم و (a,b) را به گونه ای تعیین کردیم که دو فیلتر گابور مجاور در بانک فیلترهای گابور، در نقطه ای که دامنه هر کدام به نصف مقدار ماکزیمم خود می رسد، همدیگر را قطع کنند. برای تشکیل بانک فیلترهای گابور مجموعه ای از فرکانس های مرکزی مختلف را برای و مجموعه ای از زوایای مختلف را برای ، انتخاب می کنیم. به عنوان مثال با انتخاب مجموعه های زیر برای و ، یک بانک فیلترهای گابور شامل ۱۲ فیلتر، خواهیم داشت.
در مجموعه فوق منظور از فرکانس ماکزیمم تصویر است، در حالتی که مبدأ مختصات را مرکز صفحه فرکانسی تصویر در نظر بگیریم. شکل ۱ این بانک فیلترهای گابور را نشان می دهد
