多視點(diǎn)重構(gòu)算法探究和實(shí)現(xiàn)

《多視點(diǎn)重構(gòu)算法探究和實(shí)現(xiàn)》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、多視點(diǎn)重構(gòu)算法探究和實(shí)現(xiàn)摘要：本文基于視點(diǎn)重構(gòu)單元進(jìn)行研究，通過深度圖繪制算法（DepthImageBasedRendering簡(jiǎn)稱DIBR）探討圖像合成所需的視差源序列一一虛擬視點(diǎn)，以實(shí)現(xiàn)多視點(diǎn)裸眼立體圖像合成的預(yù)處理階段，實(shí)驗(yàn)結(jié)果表明采用DIBR算法不僅可以極大地減少參考圖像的數(shù)量，而且還能產(chǎn)生實(shí)時(shí)髙效且具有任意位置的虛擬視點(diǎn)圖像，非常符合多視點(diǎn)裸眼立體顯示中視點(diǎn)源序列的需求。關(guān)鍵詞:DIBR算法;虛擬視點(diǎn);圖像合成中圖分類號(hào)：TP391.411引言（DIBR算法）本文基于裸眼多視點(diǎn)立體電視進(jìn)行研究，采用“二維+深度信息”的解

2、決方法，即在我們平常所看到的二維圖像基礎(chǔ)上增加一個(gè)Z分量的圖像（即深度圖），從而使用戶產(chǎn)生立體視覺［1］。這種設(shè)計(jì)理念追本溯源就是最大程度的重復(fù)使用二維世界的內(nèi)容和概念，其關(guān)鍵在于虛擬視點(diǎn)的合成。本文圍繞參考圖像和與其對(duì)應(yīng)的深度信息合成場(chǎng)景中的虛擬視點(diǎn)圖像進(jìn)行了相關(guān)研究。實(shí)驗(yàn)結(jié)果表明DIBR算法不僅可以極大地減少參考圖像的數(shù)量，而且還能產(chǎn)生實(shí)時(shí)高效且具有任意位置的虛擬視點(diǎn)圖像，非常符合多視點(diǎn)裸眼立體顯示中視點(diǎn)源序列的需求。2坐標(biāo)空間基于DIBR算法實(shí)現(xiàn)虛擬視點(diǎn)繪制，需要準(zhǔn)確的反映真實(shí)場(chǎng)景與圖像平面的變換，因此需要通過坐標(biāo)系間的相互

3、轉(zhuǎn)換來實(shí)現(xiàn)。這里與之密切相關(guān)的坐標(biāo)系有：世界坐標(biāo)系，攝像機(jī)坐標(biāo)系，圖像坐標(biāo)系、像素坐標(biāo)系。(1)世界坐標(biāo)系(X,Y,Z)是客觀世界的絕對(duì)坐標(biāo)，它不但說明了真實(shí)世界里物體所在的位置，還指明了觀察攝像機(jī)在真實(shí)世界所處的位置［2］。它可以設(shè)定為任意位置，但一旦選擇，就不能隨意改變。(2)攝像機(jī)坐標(biāo)系，即以攝像機(jī)的光心為坐標(biāo)原點(diǎn)制定的坐標(biāo)系統(tǒng)(Xc,Yc,Zc)o這兩個(gè)坐標(biāo)系之間關(guān)系可以表述為公式(1)：(3)圖像坐標(biāo)系：用二維矩陣(x,y)表示，是三維空間點(diǎn)對(duì)成像平面上的投影。(4)像素坐標(biāo)系：以像素為單位，用二維矩陣(u,v)表示，是

4、三維空間點(diǎn)在成像平面所處的具體位置。其中(uO,vO)是圖像坐標(biāo)系坐標(biāo)原點(diǎn)在像素坐標(biāo)系上的坐標(biāo)。3針孔相機(jī)模型CCD攝像機(jī)的光學(xué)成像原理一般是由針孔相機(jī)模型(或稱作線性成像模)來表示，模型如圖(1)所示。假設(shè)P點(diǎn)是三維空間中的任意一點(diǎn)，則P點(diǎn)和相機(jī)光心Oc的連線在成像平面的交點(diǎn)p即為P點(diǎn)在圖像平面上所成圖像的位置。假設(shè)P點(diǎn)的世界坐標(biāo)是(X,Y,Z),攝像機(jī)的坐標(biāo)是(Xc,Yc,Zc),圖像坐標(biāo)是(x,y),像素坐標(biāo)是(u,v)o如果P點(diǎn)的世界坐標(biāo)和相機(jī)的相關(guān)參數(shù)是已知的，那么P點(diǎn)的圖像坐標(biāo)(x,y)可由攝像機(jī)坐標(biāo)(Xc,Yc,Zc

5、)和相機(jī)的焦距?得出，如公式(3)所示：假設(shè)相機(jī)參數(shù)和一個(gè)三維空間點(diǎn)的世界坐標(biāo)已知，那么由此可以計(jì)算出該點(diǎn)在成像平面上所對(duì)應(yīng)的坐標(biāo)，從而得出針孔相機(jī)模型中像素坐標(biāo)與世界坐標(biāo)的關(guān)系［2］,用公式(4)表示：下面對(duì)公式(4)作具體說明：P是3X4的投影矩陣，由攝像機(jī)的內(nèi)部參數(shù)?/dx,?/dy,uO,vO及其外部參數(shù)R,t共同決定。已知空間任意一點(diǎn)P,如果已知了它的世界坐標(biāo)2(X,Y,Z,1)T,則可推出P的像素坐標(biāo)p(u,v)；同理，若已知空間某點(diǎn)P在圖像平面的投影點(diǎn)坐標(biāo)及其深度值Z,便可得出P點(diǎn)的世界坐標(biāo)(X,Y,Z,1)T：5］

6、o43D渲染方程DIBR算法是采用已知圖像及其每個(gè)像素對(duì)應(yīng)的深度值，通過3D變換(3DWarping)合成虛擬視點(diǎn)的過程。該過程主要可以分為以下兩步：首先由深度信息將已知圖像上的所有像素點(diǎn)重新投影到與之對(duì)應(yīng)的3D空間中的位置；第二，再將這些三維空間點(diǎn)投影到目標(biāo)圖像的平面上［7］。這種由二維到三維的重投影及從三維到二維的投影方法簡(jiǎn)稱為三維圖像變換。三維圖像變換是基于深度圖將已知圖像的像素點(diǎn)投影到虛擬視點(diǎn)的圖像中的，在針孔相機(jī)的模型中，三維空間點(diǎn)的世界坐標(biāo)和像素坐標(biāo)二者間的關(guān)系如公式（5）的推導(dǎo)［1］：其中Al,Rl,tl是參考相機(jī)的

7、參數(shù)，A1為相機(jī)的內(nèi)參矩陣，Rl,tl為外參矩陣；Z1在攝像機(jī)坐標(biāo)系中是Z軸分量在三維空間點(diǎn)相應(yīng)于參考相機(jī)的深度值。由公式（5）可以得出參考視點(diǎn)所在像素平面的點(diǎn)（ul,vl）投影到與之對(duì)應(yīng)的3D空間點(diǎn)（X,Y,Z）o其中A2,R2,t2為虛擬相機(jī)的相機(jī)參數(shù)，A2是內(nèi)參矩陣，R2,t2是外參矩陣；Z2為三維空間點(diǎn)與虛擬相機(jī)對(duì)應(yīng)的深度值。通過公式（6）,3D空間點(diǎn)（X,Y,Z）在虛擬視點(diǎn)圖像平面上投影點(diǎn)為（u2,v2）0假設(shè)世界坐標(biāo)系和參考視點(diǎn)的攝像機(jī)坐標(biāo)系重合，則以上兩式合并得出適用真實(shí)的場(chǎng)景的3D圖像變換方程，即3D渲染方程：根據(jù)

8、3D渲染方程，ml,m2分別為參考視點(diǎn)圖像和虛擬視點(diǎn)圖像成像平面中的像素點(diǎn)；Al,A2分別是參考相機(jī)和虛擬相機(jī)的內(nèi)參矩陣；Zl,Z2分別是該三維空間點(diǎn)所對(duì)應(yīng)的三維空間對(duì)應(yīng)于參考相機(jī)和虛擬相機(jī)的深度；R—般是一個(gè)3X3的矩陣，為虛擬相機(jī)對(duì)應(yīng)于參考相機(jī)