بخشی از مقاله
چکیده
ساخت ویدئو HDR در سالهای اخیر یکی از حوزههای مطرح در پردازش ویدئو میباشد، اگرچه مطالعات بسیاری روی تصاویر HDR انجام گرفته است، اما بحث ساخت ویدئو HDR به دلیل وجود حرکت بین فریمها همچنان با مشکلاتی همراه است. در اکثر روشهای موجود، برای ساخت هر فریم HDR تعداد ثابتی فریم LDR با هم ترکیب میگردد به طوری که هر فریم در نوردهی مشخصی گرفته شده است.
در روش پیشنهادی، با استفاده از تئوری بازیها تعیین میکنیم که برای منظره کنونی بهتر است چه تعداد فریم با هم ترکیب گردد و نیز اینکه هر یک از این فریمها با چه نوردهی گرفته شده باشد. این امر کمک میکند تا با حداقل تعداد فریم LDR فریم HDR با کیفیت مناسب را بدست آوریم، به طوری که با استفاده از روش پیشنهادی، نرخ فریم ویدئو HDR ساخته شده نسبت به ویدئو اولیه، به میزان کمتری کاهش پیدا کند و نیز فریمهای HDR بدست آمده کیفیت بالایی داشته باشد.
مقدمه
در سالهای اخیر، تکنیک HDR یکی از حوزههای مطرح در پردازش تصویر و ویدئو، میباشد. برای دست یافتن به تصویر HDR لازم است از یک منظره چندین تصویر LDR با نوردهیهای متفاوت گرفته شود، سپس این تصاویر با هم ادغام گردیده تا تصویر HDR بدست آید1]و.[2 در مورد ویدئو HDR ممکن است یک ویدئو با نرخ فریم بالا بگیریم، به طوری که نوردهی به صورت متناوب تغییر داده میشود، سپس برای یافتن هر فریم HDR تعدادی از فریمهای متوالی - برای مثال سه فریم - را با هم ترکیب کنیم تا فریم HDR مورد نظر بدست آید .
[3] در این صورت، نرخ فریم ویدئو HDR نسبت به ویدئو اولیه کمتر خواهد شد. دسته دیگر الگوریتمهای مطرح شده برای ساخت ویدئو HDR به گونهای است که نرخ فریم ویدئو HDR بدست آمده با نرخ فریم ویدئو اولیه یکسان است .[4] در این دسته از روشها، نوردهی در فریمهای فرد با هم برابر بوده و در فریمهای زوج نیز با هم برابر است. در این الگوریتمها، فریمهای ناموجود ساخته میشوند که این امر باعث میشود، سرعت ساخت ویدئو HDR به شدت کند گردد. در این حوزه، تحقیقات متعددی درباره چگونگی ادغام تصاویر - فریمها - برای ساخت تصویر - فریم - HDR انجام شده است. اما در مورد میزان نوردهی مورد نیاز، تحقیق چندانی صورت نگرفته است. به طوری که در اکثر روشهای موجود، میزان نوردهی بدون توجه به منظره انتخاب می-گردد.
برای مثال سه تصویر از یک منظره با نوردهی -3 و 0 و 3 گرفته میشود. اگر بخواهیم این حالت را برای ویدئو تعمیم دهیم، یعنی نرخ فریم ویدئو HDR پس از ساخته شدن 1/3 ویدئو اولیه است، زیرا هر سه فریم متوالی ترکیب شده و از روی آن، یک فریم HDR ساخته میشود. نادیده گرفتن مقدار مطلوب نوردهی میتواند معایبی را به دنبال داشته باشد، برای نمونه، در منظرهای که نسبتاً تاریک است استفاده از نوردهی کم، سبب میشود تصویر LDR به دست آمده بسیار تاریک شده و جزئیات آن مشخص نباشد.
چنین تصویری نمیتواند در ساخت HDR سهم مؤثری داشته باشد. بنابراین، چنانچه نوردهیهای در نظر گرفته شده برای تصاویر LDR ثابت باشد، ممکن است تصاویری اخذ گردد که مناسب برای ساخت تصویر HDR نمیباشد و این امر سبب بالا رفتن زمان و بار محاسباتی میشود. در نتیجه تعیین نوردهی مورد نیاز برای یک منظره، میتواند سبب شود زمان و بار محاسباتی ساخت HDR کمتر شود، علاوه برآن در تصاویر LDR گرفته شده جزئیات تا حد ممکن مشخص باشد.
منظور از نوردهی، مقدار نوری است که به فیلم یا گیرنده تصویر میرسد، به طوری که این مقدار، ترکیبی از نور موجود، عدد دیافراگم و سرعت شاتر میباشد و همچنین به درجه حساسیت فیلم یا حسگر مورد استفاده بستگی دارد. به نوعی میتوان گفت، مقدار نوردهی تعیین میکند که چه میزان نور به سنسور دوربین برسد که میزان این نور، در روشن یا تاریک شدن تصویر گرفته شده مؤثر است. در حالت کلی برای تغییر نوردهی در دوربین سه روش وجود دارد :[5]
-1 تغییر در سرعت شاتر : مدت زمانی که شاتر باز است، در میزان رسیدن نور به سنسور مؤثر است. به طوری که هر چه مدت زمان باز بودن شاتر بیشتر باشد، نور رسیده شده به سنسور بیشتر است و در نتیجه تصویر نتیجه روشنتر خواهد بود.
-2 تغییر اندازه روزنه: 1 اندازه روزنهای که در لنز باز میشود، در میزان رسیدن نور به سنسور تاثیر دارد.
-3 تغییر در تنظیمات : ISO پارامتر ISO تعیین میکند میزان حساسیت دوربین به نور چقدر است. از میان روشهای گفته شده، تغییر در سرعت شاتر به منظور تغییر در نوردهی اکثراً مورد استفاده قرار میگیرد. در واقع سرعت شاتر، عامل کنترل کننده مدت زمان ورود نور به دستگاه دوربین جهت ثبت یک تصویر میباشد. در این مقاله از اصطلاح تغییر نوردهی استفاده شده است که اشاره به همان تغییر در سرعت شاتر دارد.
کارهای مرتبط
کارهای مختلفی در مورد تعیین نوردهی مناسب برای ساخت HDR انجام شده است که در این بخش مورد بررسی قرار میدهیم. یکی از مواردی که در آن، تغییر نوردهی بسیار مهم است، در دوربینهای نظارتی میباشد. برای مثال در مرجع [6] به دوربینی اشاره شده است که در محل ورودی یک ساختمان نصب شده است. در حالت کلی نور درون و بیرون ساختمان، متفاوت است. بنابراین ممکن نیست که بتوان با یک نوردهی یا یک سرعت شاتر خاص، تصویری بدست آوریم که به صورت همزمان جزئیات درون و بیرون ساختمان را نشان بدهد. از طرف دیگر با توجه به تغییر نور محیط، استفاده از نوردهیهای ثابت برای ساخت فریمهای مختلف معقول نیست.
در این مقاله، دو تکنیک مختلف برای بالا بردن سرعت اخذ تصویر LDR مطرح شده است. در تکنیک اول از دوربینهایی که قابلیت True Partial Scan را دارند، استفاده شده است، این قابلیت اجازه تعریف یک زیرناحیه مستطیلی شکل را روی سنسور CCD دوربین میدهد تا دوربین تنها از این زیرناحیه عکس بگیرد. در این مقاله، الگوریتمی برای تعیین نواحی که badly exposed هستند بیان شده است تا از این طریق زیرناحیه مستطیلی مورد نیاز تعیین شده و با پس از تغییر سرعت شاتر، فقط از این ناحیه انتخاب شده، مجدداً عکس گرفته شود.
در تکنیک دوم به بحث بهینه کردن سرعت شاتر بهینه پرداخته شده است، به طوری که بتوانیم سرعت شاتر را بر اساس منظره کنونی تغییر دهیم. با این کار با مینیمم تعداد تصاویر LDR میتوانیم تصویر HDR با کیفیت بالا را بدست آوریم. میتوان گفت در یک ویدئو HDR هیستوگرام رادیانس منظره از فریم حاصل از عملیات tone mapping مرحله قبل است. بنابراین به صورت برخط2 از هیستوگرام موجود برای یافتن دنباله بهینه سرعت شاتر، استفاده میگردد .
[7] با استفاده از این راهکار، در صورتی که تعداد نوردهیها ثابت باشد، متوسط نسبت سیگنال به نویز3 افزایش مییابد و در صورتی که بخواهیم به یک نسبت سیگنال به نویز خاص دست پیدا کنیم، با مینیم تعداد نوردهیها این امر ممکن است. روش دیگری که در این حوزه مطرح شده است، به دنبال یافتن نوردهیهای مناسب بر اساس میزان حرکت 4 اشیاء در منظره است .[8] در این الگوریتم، ساخت ویدئو HDR و نیز تعیین نوردهیهای مناسب، به صورت برخط انجام میشود و میزان نوردهیها به نحوی تعیین می-گردد که میزان اثر مصنوعی ghost حداقل شود.
روش پیشنهادی
در این بخش، میزان نوردهیهای مورد نیاز برای ساخت یک ویدئو HDR را مورد بررسی قرار میدهیم. در اکثر مطالعات انجام شده در این حوزه، برای ساخت هر فریم HDR تعداد ثابتی فریم LDR با هم ترکیب می-گردد. با توجه به اینکه لازم است برای ساخت هر فریم HDR تعدادی از فریمهای LDRبا نوردهی مختلف را با هم ترکیب کنیم، هدف ما اولاً تعیین تعداد فریمهای مورد نیاز برای ترکیب شدن و ساختن یک فریم HDRاست، ثانیاً تعیین نوردهی مناسب برای گرفتن هر فریم LDR میباشد. همانطور که مشخص است میخواهیم با کمترین تعداد فریم LDR بهترین کیفیت فریم HDR را بدست آوریم. هرچه تعداد فریم-های LDR مورد نیاز کمتر باشد، زمان و پیچیدگی محاسباتی ساخت فریم HDR کمتر میگردد، علاوه بر این، نرخ فریم در ویدئو HDR ساخته شده نسبت به ویدئو اولیه به میزان کمتری کاهش مییابد.
واضح است که هر چه تعداد فریمهای LDR بیشتری را با هم ترکیب کنیم که هر کدام با نوردهی متفاوتی گرفته شدهاند، نتیجه HDR می-تواند کیفیت بالاتری داشته باشد. از طرف دیگر با زیاد شدن تعداد فریم-های LDR زمان و بار محاسباتی یافتن تصویر HDR بالا میرود. از این رو یک رابطه بینابینی 5 بین زمان و کیفیت وجود دارد. برای این منظور پارامتر زمان را معادل تعداد تصاویر LDR که با هم ترکیب میگردد، در نظر میگیریم و پارامتر کیفیت را متناسب با میزان سرعت شاتر - یا همان مفهوم نوردهی - در اخذ هر یک از فریمها، فرض میکنیم. برای یافتن یک حالت بینابینی بین این دو پارامتر از تئوری بازیها استفاده میکنیم. در واقع حالتی را میابیم که کمترین تعداد لازم فریم LDR با هم ترکیب گردد، به طوری که هر فریم نوردهی مناسبی دارد و از ترکیب این فریمها، فریم HDR ای حاصل میشود که جزئیات در آن مشخص است.
-1-3 تعریف بازی
تئوری بازیها شاخهای از ریاضیات است که در آن چند بازیکن با اهداف متفاوت داریم، به طوری که تصمیم هر یک از بازیکنان بر نتیجه نهایی اثر میگذارد، اما نمیتوان با دانستن تصمیم هر یک از بازیکنان به طور کامل نتیجه بازی را تعیین کنیم. فرض اصلی در تئوری بازیها این است که هر بازیکن رفتار خردمندانهای دارد و هدفش بیشینه کردن سود خودش است. اما سود یک بازیکن تنها در گرو تصمیمات خودش نیست، بلکه به تصمیماتی که سایر بازیکنها میگیرند، نیز بستگی دارد. هدف اصلی در یک بازی، یافتن نقطه تعادل نش6 میباشد. در این مسأله دو بازیکن وجود دارد، بازیکن اول مقدار نوردهیهایی است که برای ساخت این فریمها مورد استفاده قرار میگیرد و بازیکن دوم تعداد فریمهایی است که قرار است برای ساخت یک فریم HDR مورد استفاده قرار گیرند. نقطه تعادل نش در این مثال، نقطهای است که با حداقل تعداد فریمها بتوانیم به کیفیت بالا در فریم HDR نتیجه دست یابیم..
-2-3 تعیین ارزش هر یک از نوردهیها
یک نکته حائز اهمیت این است که با توجه به اینکه ورودی ما ویدئو است، در نتیجه، مفهوم وابستگی زمانی7 مطرح میشود، در حالی که در اکثر تحقیقات موجود در این زمینه، این مفهوم در نظر گرفته نشده است. برای در نظر گرفتن مفهوم وابستگی زمانی با وجود حرکت، از یک فریم به فریم دیگر در یک ویدئو، محتوای فریم های متوالی به هم شبیه می باشد . برای تعیین ارزش هر یک از نوردهیها، ابتدا در یک فریم، Patch ها را بدست میآوریم، سپس لازم است Patch های معادل در فریمهای متوالی یافته شود .
[9] برای هر یک از Patch ها در یک فریم باید تعیین کنیم آیا این Patch ، Well exposed است یا نه. در صورتی که Well exposed باشد یعنی نوردهی کنونی برای نمایش این Patch مناسب بوده است، در غیر این صورت لازم است نوردهی دیگری استفاده شود تا این Patch به خوبی قابل نمایش باشد. برای اینکه بفهمیم آیا یک پیکسل well - 1 - است یا نه سه پارامتر استفاده میشود که عبارتاند از کنتراست، اشباع و .well-exposedness منظور از کنتراست همان مقدار قدرمطلق از مقدار گرادیان در تصویر یا فریم میباشد. مفهوم اشباع، مقدار انحراف معیار کانال های رنگی قرمز و سبز و آبی میباشد.
به طوری که پارامتر L همان مفهوم درخشندگی8 میباشد. برای تعیین ارزش هر نوردهی، ابتدا Patch های یک فریم که در آن نوردهی گرفته شده است را مییابیم سپس میزان well-exposed بودن هر یک از Patch ها را تعیین میکنیم. اگر فریمی وجود داشته باشد که همه Patch های موجود در آن Well-exposed باشند، نشان میدهد نوردهی موجود برای گرفتن این فریم بسیار مناسب بوده است، اما عملاً چنین نوردهی وجود ندارد و در اکثر منظرهها نمیتوان با استفاده از یک نوردهی همه جزئیات تصویر را نشان دهیم. ما میخواهیم نوردهیهایی را تعیین کنیم که با استفاده از ترکیب آنها کلیه جزئیات تصویر یا فریم نشان داده شوند و در ضمن تعداد این نوردهیها حداقل باشد.
-3-3ساخت ویدئو HDR
برای ساخت ویدئو HDR لازم است Patch هایی که Well-exposed هستند در ساخت فریم مربوطه مشارکت داشته باشند، بنابراین در گام اول باید Patch های متناظر را بیابیم. ممکن است در یک نوردهی برخی از Patch ها Well-exposed باشند و در برخی نوردهیها سایر Patch ها. ما میخواهیم تشخیص دهیم برای منظره کنونی چه نوردهی-هایی را در نظر بگیریم تا با ترکیب حداقل تعداد نوردهیها، کلیه Patch ها، به صورت واضح قابل نمایش باشند.
