多視點視頻編碼(3D)課件.ppt

《多視點視頻編碼(3D)課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、多視點視頻編碼的研究現(xiàn)狀及其原理多視點視頻指的是由不同視點的多個攝像機從不同角度拍攝同一場景得到的一組視頻信號，是一種有效的3D視頻表示方法，能夠更加生動地再現(xiàn)場景，提供立體感和交互能力。ITU-T和MPEG的聯(lián)合視頻組（JVT,jointvideoteam）提出了多視點視頻編碼(MVC,multiviewvideocoding)的概念。MVC主要致力于多視點多視頻的高效壓縮編碼，是未來視頻通信領(lǐng)域中的一項關(guān)鍵技術(shù)，也是國際視頻標準化組織正在研究的熱點問題。根據(jù)不同的視頻編碼框架，MVC可分為基于小波的MVC方法和基于運動補償加塊變換的MVC方法?；谛〔ǖ腗VC方法對現(xiàn)

2、有小波視頻編碼框架的擴展，其突出優(yōu)點是具有良好的可分級性。基于運動補償加塊變換的MVC方法是在現(xiàn)有運動補償加塊變換框架的基礎(chǔ)上通過添加新技術(shù)以提高MVC的編碼效率。為了進一步擴展h.264／AVC的功能，使其具有更為廣闊的應(yīng)用前景,JVT相繼公布了3個擴展標準，它們分別是高保真范圍擴展、4：4：4格式擴展和可分級視頻編碼。考慮到3D視頻的廣闊應(yīng)用前景，ⅣT決定將MVC作為H.264/AvC的第四個擴展標準。多視點視頻序列是由一組攝像機陣列同步拍攝得到的。多視點視頻編碼體系結(jié)構(gòu)多視點視頻編碼體系結(jié)構(gòu)如圖2所示，其核心模塊包括多視點視頻的編碼、存儲/傳輸和解碼。由攝像機陣列拍攝

3、的N個視點的視頻并行輸入到MVC編碼器，經(jīng)編碼后生成單個碼流用于存儲或傳輸，解碼端對輸入碼流進行解碼后恢復(fù)出多視點視頻?？紤]到與不同顯示設(shè)備的兼容問題，解碼端根據(jù)用戶的需求恢復(fù)出一個或多個視點的視頻。MVC現(xiàn)階段MVC的主要研究方向包括MVC的預(yù)測結(jié)構(gòu)研究、多視點視頻的運動和視差補償技術(shù)、多視點視頻編碼中的視點圖像插值和顏色校正等。國內(nèi)研究機構(gòu)也紛紛開展MVC的研究工作，主要從MVC編碼方案設(shè)計、顏色校正、視差估計和速率控制等幾個方面開展。多視點視頻編碼的主要研究內(nèi)容經(jīng)過幾年的研究，MVC主要從預(yù)測結(jié)構(gòu)、提高MVC編碼效率的技術(shù)和高層語法3個方面展開的。一、預(yù)測結(jié)構(gòu)在H.2

4、64/AVC編碼框架下，去除視點間冗余最直接的方式是在編碼當(dāng)前圖像時使用其他視點中的已解碼圖像作為參考圖像進行位移估值和幀間預(yù)測，這種方法稱為視點間預(yù)測。如何設(shè)計時間預(yù)測和視點間預(yù)測以有效利用時間和視點間相關(guān)性MVC預(yù)測結(jié)構(gòu)需要解決的問題。預(yù)測結(jié)構(gòu)大體上可分為兩類。第一類預(yù)測結(jié)構(gòu)以提高編碼效率為目的，例如順序視點預(yù)測結(jié)構(gòu)、基于分層B幀的視點間/時間混合預(yù)測結(jié)構(gòu)以及基于最小生成樹的預(yù)測結(jié)構(gòu)等。第二類預(yù)測結(jié)構(gòu)考慮除編碼效率之外的其他一些功能需求，如隨機訪問性能、初始解碼時延、編解碼復(fù)雜度等。該類預(yù)測結(jié)構(gòu)為了滿足某些特定的需求，往往以犧牲編碼效率為代價。二、提高MVC編碼效率的技

5、術(shù)預(yù)測結(jié)構(gòu)一經(jīng)確定后，如何有效進行視點間預(yù)測來提高編碼效率是MVC研究的一個主要內(nèi)容。根據(jù)所使用方法的不同，視點間預(yù)測技術(shù)大致可分為兩類：利用現(xiàn)有視點間相關(guān)性提高MVC編碼效率的技術(shù)和補償視點間差異性提高MVC編碼效率的技術(shù)。1、利用現(xiàn)有視點間相關(guān)性提高MVC編碼效率的技術(shù)視點間預(yù)測指的是采用鄰近視點中已解碼的圖像作為參考圖像對當(dāng)前待編碼圖像進行預(yù)測。根據(jù)利用視點間相關(guān)性進行預(yù)測信息的不同，視點間預(yù)測技術(shù)可進一步分為視點間采樣點預(yù)測和視點間運動信息預(yù)測兩大類。1)視點間采樣點預(yù)測各個視點的圖像之間存在很強的相似性，可使用視點間參考圖像的采樣值來預(yù)測當(dāng)前編碼圖像的采樣值。視差

6、矢(DV‘disparityvector)指的是場景中同一點在各視點中投影位置之間的相對偏差。根據(jù)DV的定義，在獲得準確DV信息后可以有效地進行視點間采樣點預(yù)測。2)視點間運動信息預(yù)測多個攝像機拍攝同一場景時，場景中某一運動物體在各視點的投影的運動特性具有很強的相似性，利用此特性可進一步提高MVC編碼效率。運動跳過模式(motionskipmode)正是基于這種運動相似性提出的。編碼一個塊時，該模式首先尋找與當(dāng)前編碼塊具有相似運動的視點間匹配塊，然后將匹配塊的運動信息作為當(dāng)前編碼塊的運動信息進行運動補償預(yù)測，最后對預(yù)測差進行編碼。采用運動跳過模式，當(dāng)前編碼塊運動信息可由視點

7、間匹配塊運動信息推導(dǎo)得出，不需要傳輸至解碼端，從而有效降低運動信息的編碼開銷?；谌忠暡?GDV,globaldisparityvector)的運動跳過模式認為當(dāng)前編碼塊GDV指向塊的運動信息具有很強的相似性。然而，對于圖像中每個編碼塊，GDV不一定是最佳DV，往往與真實DV存在較大偏差。因此提出了一種基于精細粒度匹配的運動跳過模式，其具體思想是在GDV指向塊附近進行搜索，尋找具有與當(dāng)前編碼塊運動信息更相似的匹配塊。在實際編碼過程中，編碼器根據(jù)一定準則在運動跳過模式和H.264/AVC已有模式中選擇最優(yōu)的預(yù)測編碼