بخشی از مقاله
چکیده
کدگذاری ویدیو با کارایی بالا - استاندارد فشردهسازی ویدیویی - ، جدیدترین استاندارد بینالمللی فشردهسازی ویدئو میباشد که توسط JCT-VC معرفی شد. این استاندارد، فشردهسازی بیشتری را همراه با کیفیت بهتر تصویر نسبت به استانداردهای قبلی مانند H.264/AVC ارائه میدهد. در حال حاضر استاندارد بینالمللی برای کدگذاری ویدئو سه بعدی با بازدهی بالا 3D-HEVC میباشد که جانشین کدینگ ویدئوی چندبعدی است. در کدگذاری درونی عمق 3D-HEVC، حالت مدلسازی عمق و حالت پیشگویی درونی کدگذاری ویدئو با بازدهی بالا، هر دو برای انتخاب بهترین حالت کدگذاری برای هر واحد کدگذاری استفاده میشوند.
35 مد پیشگویی درونی به همراه ساختار بازگشتی تقسیم شدن بلوکهای پیشگویی در HEVC و 4 مد اصلی حالت مدلسازی عمق باعث شده کارایی کدکردن درونی در برابر افزایش هزینه بار محاسباتی افزایش یابد. این تکنیک بیشترین کارایی ممکن کدگذاری را به دست میآورد، ولی زمان کدبندی خیلی زیادی را صرف میکند که مانع کاربرد عملی 3D-HEVC میشود.
در این مقاله، الگوریتم تصمیم حالت سریع بر اساس همبستگی بین بافت ویدئو و نقشه عمق، بمنظور کاهش پیچیدگی محاسباتی کدگذاری درونی عمق 3D-HEVC معرفی میشود. به دلیل اینکه بافت ویدئو و نقشه عمق مربوط به آن، نمایانگر یک صحنه میباشند، همبستگی بالایی میان حالت پیشگویی از بافت ویدئو و نقشه عمق وجود دارد. بنابراین، میتوان برخی حالات پیشگویی درونی عمق خاص را که بندرت در واحد کدگذاری بافت مربوطه، استفاده میشوند، نادیده گرفت. نتایج شبیهسازی نشان میدهد روش ارائه شده در مقایسه با نتایج استاندارد در ازای افزایش %0,1 نرخ بیت، زمان محاسبات را به اندازه %18,67 کاهش میدهد.
.1 مقدمه
کار بر روی HEVC از آوریل 2010 با ایجاد گروهی به نام JCTVC شروع شد. این گروه از ترکیب اعضای دو گروه ITU-T و ISO/IEC تشکیل شد و هدف این گروه معرفی یک استاندارد بود که قادر باشد بهبود خوبی در کارایی کد کردن نسبت به استاندارد H.264/AVC بدست آورد در حالیکه کیفیت تصویر حفظ شود.
اولین نسخه از استاندارد HEVC در ژانویه 2013 انتشار یافت در حالیکه توانسته بود برای کیفیتهای مشابه %50 نرخ بیت پایینتر نسبت به استاندارد H.264/AVC بدست آورد. در حال حاضر استاندارد بینالمللی برای کدگذاری ویدئو سه بعدی با بازدهی بالا 3D-HEVC میباشد.در این استاندارد، ابتدا فریم به واحدهایی بنام بلوک تقسیمبندی مییشود و سپس هر بلوک توسط پیشگویی درون قابی یا پیشگویی برون قابی پیشگویی میشود.
یکی از قسمتهای این استاندارد، کدینگ درونی عمق میباشد. در 3D-HEVC حالت مدلسازی عمق و حالت پیشگویی درونی کدینگ ویدیو با بازدهی بالا هر دو برای انتخاب بهترین حالت کدینگ برای هر واحد کدینگ استفاده میشود. این تکنیک بیشترین کارایی ممکن کدگذاری را به دست میآورد ولی زمان کدبندی خیلی زیادی را صرف میکند.
در 3D-HEVC مد پیشگویی حالت مدلسازی عمق برای کدینگ بهتر لبههای تیز در نقشه عمق استفاده میشود و مد HEVC تمامی مدهای مختلف خود را در نقشه عمق بررسی میکند - 35 مد - سپس یکی از این دو حالت انتخاب میشود. این حجم از بررسیها باعث بار محاسباتی زیادی میشود. از آنجا که در تصاویر سه بعدی بین نقشه عمق و بافت ویدیو همبستگی اطلاعات زیادی وجود دارد و هر دو نمایانگر یک صحنه هستند، از این هم همبستگی اطلاعات زیاد استفاده میشود تا ابتدا الگوریتمی ارائه شود که بین دو پیشگویی درونی حالت مدلسازی عمق و مد پیشگویی HEVC یکی را انتخاب نماید. در صورت انتخاب مد پیشگویی HEVC، الگوریتمی ارائه داده میشود تا تعداد مدهای پیشگویی درونی HEVC را کاهش دهد. ترکیب این دو الگوریتم باعث کاهش بار محاسباتی میشود.
قالب بهبود عمق ویدیوی سه بعدی، اخیرا توجه بالایی را به خود جلب کرده است. نقشه عمق، نشان دهنده اطلاعات صحنه سه بعدی بوده و عموما برای تفسیر تصویر عمق[1] بمنظور پشتیبانی از تلویزیونهای سه بعدی [2] و تلویزیونهای دید آزاد [3] بکار می رود. نمای مجازی، عموما با تکنیک تفسیر تصویر عمق تفسیر میشود و کیفیت آن، به کیفیت نقشه عمق، بستگی دارد. بنابراین، فشردهسازی موثر نقشه عمق، بطور قابل توجهی یکی از مسائل مهم برای تحقق کدگذاری ویدیوی سه بعدی میباشد.
از آنجا که مشخصه نقشه عمق، با بافت ویدیو، تفاوت زیادی دارد، استفاده از کدکهای موجود برای فشردهسازی نقشه عمق، باعث ایجاد اعوجاج در نماهای مجازی جدید میشود. بدین منظور، کدگذاری موثر نقشه عمق، توسط تیم مشترک تحقیقی توسعه کدینگ ویدئوی سه بعدی با هدف توسعه استانداردهای جدید کدینگ ویدئویی با کارایی بالا بر اساس کدینگ ویدئوی سه بعدی [4]، در دست بررسی میباشد.
3D-HEVC از حالت مدلسازی عمق [5] برای کدگذاری بهتر لبههای اشیا در نقشههای عمق، بهره میگیرد. چهار حالت پیشگویی درونی جدید برای کدگذاری عمق، اضافه شده است. کدگذاری HEVC سنتی از 35 حالت پیشگویی درونی متفاوت برای هر واحد پیشگویی استفاده میکند. در نتیجه، بخش پیشگویی درونی عمق در 3D-HEVC که از حالت مدلسازی عمق و حالت پیشگویی درونی HEVC تشکیل شده، دارای بیشترین محاسبات در سیستم کدگذاری عمق ویدئوی سه بعدی میباشد.
حجم بالای دادههای نقشه عمق و پیچیدگی محاسباتی خیلی بالای آن همچنین تعداد زیاد مدهای HEVC، باعث شده تحقق بی درنگ کدکردن 3D-HEVC به هدف دشواری تبدیل شود. از اینرو، لازم است تا روشی برای کاهش پیچیدگی پیشبینی داخلی عمق 3D-HEVC با حداقل افت کیفیت تصویر، توسعه داده شود. در این مقاله روشی ارائه می شود که ابتدا الگوریتمی تشخیص میدهد که پیش گویی درون قابی از طریق مدهای پیشگویی درونی HEVC انجام میشود یا مدهای پیشگویی درونی حالت مدلسازی عمق ، سپس در صورتی که HEVC انتخاب شد روشی جهت پیشگویی درونی مبتنی بر بافت تصویر ارائه میشود که تعداد مدهای پیشگویی را کاهش میدهد در نتیجه پیچیدگی محاسباتی واحد پیشگویی درونی به طور چشمگیری کاهش خواهد یافت. در خصوص کاهش پیچیدگی محاسباتی نقشه عمق الگوریتمهای زیادی ارائه شده است.
[6] Guo به منظور کاهش پیچیدگی، طرح کدینگ سریع عمق پیش گویی درون قابی را با بکارگیری ماتریس همبستگی خاکستری ارائه نمودند تا واحدهای پیشگویی را به انواع مختلف تقسیم نمایند، و از بررسی برخی از حالتهای غیرضروری برای بعضی از بلوکهای پیشگویی خاص جلوگیری کنند .
روش ارائه شده شامل یک الگوریتم دو بخشی می باشد که در بخش اول رد شدن - اسکیپ - DMM بر اساس ماتریس همبستگی خاکستری می باشد و در بخش دوم با استفادهع از کاهش مدهای زاویه ایی باعث کاهش پیچیدگی محاسباتی می شود. نتایج تجربی نشان میدهد که این الگوریتم پیشنهادی میتواند به طور متوسط %19,6 کاهش زمان را به همراه افزایش ناچیز%0,12 درصد نرخ بیت بر روی نماهای سنتز شده ، داشته باشد که این امر در مقایسه با آزمایش اصلی 3DHEVC مدل HTM-9.0 میباشد.
[7] Huang الگوریتم انتخاب مد پیشبینی پیش گویی درون قابی نقشه عمقی را که از پیچیدگی کمی برخوردار است را ارائه دادند که شامل الگوریتم انتخاب سریع مد زاویهایی و الگوریتم انتخاب حالت مدلسازی عمق اسکیپ کننده - رد کننده - اولیه میباشد. ایده اصلی این الگوریتم، پیشبینی مدهای پیشبینی درونی فعلی بلوک عمق، بر مبنای ویژگی بافت عمق نقشه و انتخاب حالت مدلسازی عمق اسکیپ اولیه میباشد.
در این روش، الگوریتم انتخاب مد پیشبینی درونی نقشه عمق که دارای پیچیدگی کم است مطرح می شود که فرآیند انتخاب پیشبینی درونی نقشه عمق را مبتنی بر خصوصیات بافت بلوک عمق، ساده سازی میکند. این الگوریتم میتواند عملکرد کدینگ 3DHEVC را بدون از دست دادن وضوح کیفیت، بهبودی بخشد. نتایج تجربی نشان میدهند که این الگوریتم میتواند باعث کاهش %38 پیچیدگی زمانی در ازای افزایش %1,0 نرخ بیت شود.
روشهای فوق، بخوبی برای کدگذاری نقشه عمق، توسعه داده شده و به صرفه جویی زمانی قابل توجهی دست پیدا میکنند. با اینحال در این مقاله، با تمرکز روی شباهت اطلاعاتی بین بافت ویدیو و نقشه عمق تصاویر سه بعدی، الگوریتمی ارائه داده شده است که ضمن تسریع فرآیند پیشگویی درون قابی با تشخیص مدپیشگویی HEVC یا مد پیشگویی حالت مدلسازی عمق بودن بتواند با کاهش تعداد مدهای HEVC زمان پیشگویی را کاهش دهد و همچنین باعث جلوگیری از کاهش کیفیت تصویر نیز بشود.
نتایج شبیهسازی نشان میدهد روش ارائه شده در مقایسه با نتایج نرم افزار مرجع 3D-HEVC در ازای افزایش %0,1 نرخ بیت، زمان محاسبات را به اندازه %18,67 کاهش میدهد و اما پیچیدگی پایین در کدینگ عمق بعلاوه ویدئوی مالتی ویو، یک روش نقشهبرداری سریع عمق توسط [8] Zhang ارائه میدهد که روش کار بدین صورت است که مبتنی بر اشتراک گذاری بردار حرکت و حالت نادیده گرفتن از ویدیوی بافت میباشد که پیچیدگی کدگذاری عمق را کاهش میدهد.
ویدیوی چندبعدی بعلاوه عمق، فرمت جدیدی از ویدیوی سه بعدی است که از اپلیکیشنهای سه بعدی ایجاد شده توسط MPEG پشتیبانی میکند. چنین فرمتی شامل ترکیبی از ویدیوی بافت و نقشههای عمق مرتبط با آن میباشد . در نتیجه، برای انتقال موثر سیگنالهای ویدیویی سه بعدی، فشردهسازی ویدیوی بافت و همچنین نقشههای عمق لازم میباشد. از آنجایی که پیچیدگی بالای محاسباتی مشترک کدینگ بین ویدیوی بافت و نقشه عمق هنوز مورد سوال میباشد، این مقاله به ارائه پیچیدگی پایین الگوریتم کدینگ میپردازد که از همبستگی نقشه عمق و بافت استفاده انطباقی میکند. نتایج شبیه سازی نشان میدهد در ازای کاهش %70 زمان نرخ بیت به اندازه %2,2 افزایش مییابد.
.2 روش پیشنهادی
در کدگذاری درونی عمق 3D-HEVC، حالت مدلسازی عمق و حالت پیشگویی درونی کدگذاری ویدئو با بازدهی بالا، هر دو برای انتخاب بهترین حالت کدگذاری برای هر واحد کدگذاری استفاده میشوند . 3D-HEVC برای پیشگویی درون قابی از 35 مد پیش گویی HEVC و یا 4 مد پرهزینه DMM استفاده می کند. برای هر بلوک، هر یک از 39 مد میتواند استفاده شود تا یک پیشگویی را تولید کند. در 35 مد پیش گویی HEVC، یک حالت برای پیشگویی DC و 33 حالت برای پیشگویی زاویهای و یک حالت برای پیشگویی سطحی است.
