資源描述:
《多視點(diǎn)自由立體顯示的編碼研究》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在工程資料-天天文庫(kù)。
1、多視點(diǎn)自由立體顯示的編碼研究摘要:自由立體顯示器提供了一種新型的立體觀察手段,它最大的優(yōu)點(diǎn)就在于不需要借助任何輔助手段就可以體驗(yàn)到真實(shí)的三維立體圖像。實(shí)現(xiàn)自由立體顯示是一個(gè)復(fù)雜且技術(shù)含量高的過(guò)程,本文論述了DavinciDM6446開發(fā)平臺(tái)的立體視頻播放器的設(shè)計(jì)原理,研究了H.264壓縮編碼以及MVC壓縮,針對(duì)立體視頻的特點(diǎn),提出了一種改進(jìn)的MVC編碼結(jié)構(gòu)。 關(guān)鍵詞:自由立體顯示多視點(diǎn)編碼H.264視差補(bǔ)償 一、引言 人們對(duì)視頻享受的要求一直在不斷提高,從黑白電視發(fā)展到彩色電視,又從模擬
2、電視發(fā)展到高清晰數(shù)字電視。下一次變革將從平面電視發(fā)展到立體電視。而立體電視視頻需要存儲(chǔ)或者傳輸?shù)臄?shù)據(jù)量非常龐大,必須對(duì)原始視頻數(shù)據(jù)進(jìn)行壓縮,因此研究高速、高效、高質(zhì)量的立體視頻壓縮算法具有很大的實(shí)用價(jià)值。把二維視頻信號(hào)轉(zhuǎn)換為立體圖像的方法在很多文獻(xiàn)中已經(jīng)有了很多的研究,也提出了基于深度的立體視頻合成算法。同二維視頻信息一樣,立體視頻信息不僅具有時(shí)間冗余信息、空間冗余信息、心理視覺(jué)冗余信息和編碼冗余信息,而且具有視點(diǎn)間的視差冗余信息。因此大多數(shù)立體視頻壓縮算法的研究都是基于二維視頻壓縮算法,同時(shí)針對(duì)
3、立體視頻特有的視差冗余信息進(jìn)行算法改進(jìn)和擴(kuò)展。ITU-T視頻專家組(VCEG,VideoCodingExpertsGroup)和ISO/IEC運(yùn)動(dòng)圖像專家組(MovingPictureExpertsGroup,MPEG)在2001年組成了一個(gè)聯(lián)合視頻小組JVT(JointVideoTeam),聯(lián)合開發(fā)了一個(gè)比早期研發(fā)的MPEG和H.263性能更好的視頻壓縮編碼標(biāo)準(zhǔn)。這就是被稱為ITU-TH.264建議和MPEG-4的第十部分標(biāo)準(zhǔn),簡(jiǎn)稱H.264/AVC或者H.264。這個(gè)標(biāo)準(zhǔn)已經(jīng)于2003年3月被
4、ITU-T正式通過(guò)?! 《?、立體顯示器的原理 目前立體顯示根據(jù)其產(chǎn)品特點(diǎn)可分為:立體鏡(需要輔助設(shè)備——各種立體視覺(jué)眼鏡來(lái)實(shí)現(xiàn)左右眼的區(qū)分)、單人觀看的單視點(diǎn)顯示技術(shù)(透鏡柱面和視差柵欄),多人觀看多視點(diǎn)顯示技術(shù)以及全息立體顯示技術(shù)(球形立體顯示,液晶平面隊(duì)列,全息技術(shù))。由于多視點(diǎn)顯示技術(shù)適合多人觀看,且實(shí)現(xiàn)技術(shù)相對(duì)于全息立體更加容易,已成為目前市場(chǎng)上的主流,本文也將主要探討多視點(diǎn)立體顯示及其編碼技術(shù)?! 】偟膩?lái)說(shuō),立體顯示器都經(jīng)過(guò)兩部分的處理。首先要進(jìn)行軟件處理,把圖像處理成需要的格式,比如
5、左右眼交叉的柵狀圖,然后利用硬件手段(如條狀柱鏡、狹縫光柵)將左右眼畫面分別折射到各自的區(qū)域,人們站在一些特定的位置上,便可以看到立體圖像。由于技術(shù)上原因,目前的3D顯示器基本都是基于LCD液晶或者PDP等離子顯示器,且等離子壽命短,已趨于淘汰狀態(tài)?! ∪avinciDM6446開發(fā)平臺(tái)硬件和顯示屏 1.DavinciDM6446開發(fā)平臺(tái) DavinciDM6446開發(fā)平臺(tái)的立體視頻播放器是基于一種雙核處理器的架構(gòu),每塊芯片都含有一個(gè)ARM核心和一個(gè)業(yè)界最高性能的DSP(DigitalSi
6、gnalProcessing)-TMS320C6000,該技術(shù)大大加速了數(shù)字電視應(yīng)用的創(chuàng)新。它的雙核包括:TI高性能的TMS322064TM系列DSP和ARM92EJ-S處理器,同時(shí)它還集成了視頻加速器,X絡(luò)外圍設(shè)備和外圍存儲(chǔ)設(shè)備及接口等模塊。ARM92EJ-S是一個(gè)32位精簡(jiǎn)指令集的處理器,它能夠執(zhí)行32位或者16位的指令。TMS322064系列DSP能夠采用第二代高性能的超長(zhǎng)指令體系結(jié)構(gòu)。因此,這種處理器非常適合數(shù)字多媒體應(yīng)用。 2.顯示屏的硬件組成 前置式狹縫光柵立體顯示器硬件主要由LC
7、D液晶或PDP等離子外加狹縫光柵組成。為了能夠?qū)崿F(xiàn)立體影像的正確分離,對(duì)其狹縫光柵的精度要求比較高,光柵柵距必須與相應(yīng)的LCD液晶或PDP等離點(diǎn)距相匹配。另外為了避免多視點(diǎn)立體顯示單純降低水平分辨率的缺點(diǎn),采用了狹縫光柵斜放一定的角度以提高水平分辨率,降低垂直分辨率?! ∧壳笆袌?chǎng)上基于前置式狹縫光柵的自由立體顯示器其立體數(shù)據(jù)多采用8視點(diǎn)或9視點(diǎn)圖像進(jìn)行排列。由于采用了光柵斜放,使其最終合成的圖像水平和垂直分辨率各為原來(lái)的1/3?! ∷?、基于H.264的多視點(diǎn)視頻編碼MVC 多視點(diǎn)編碼(MVC)是
8、H.264編碼標(biāo)準(zhǔn)的擴(kuò)展集之一。它是利用H.264高級(jí)編碼壓縮算法,針對(duì)多視點(diǎn)的特點(diǎn),通過(guò)更改一部分H.264編碼器的框架,擴(kuò)展編碼器對(duì)應(yīng)的功能,來(lái)達(dá)到壓縮視點(diǎn)視頻的目的?! ?.H.264時(shí)間分級(jí)結(jié)構(gòu) 在H.264AVC標(biāo)準(zhǔn)中,任何一幅圖片都能被標(biāo)志為參考圖片并用于隨后幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。AVC的特性就是能夠自由選擇編碼預(yù)測(cè)的結(jié)構(gòu)。如圖2所示是一種四級(jí)預(yù)測(cè)結(jié)構(gòu),這種結(jié)構(gòu)能夠提供四個(gè)時(shí)間層次的分級(jí)性。視頻序列的第一幀是I幀,也叫關(guān)鍵幀,兩個(gè)關(guān)鍵幀之間的幀和后一個(gè)關(guān)鍵幀一起構(gòu)成一組圖