資源描述：
《全景拼接算法簡介》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、全景拼接算法簡介羅海風(fēng)2014.12.11目錄1.概述22.主要步驟22.1.?圖像獲取22.2魚眼圖像矯正22.3圖片匹配32.4?圖片拼接32.5?圖像融合32.6全景圖像投射33.算法技術(shù)點(diǎn)介紹33.1圖像獲取33.2魚眼圖像矯正43.3圖片匹配53.3.1與特征無關(guān)的匹配方式53.3.2根據(jù)特征進(jìn)行匹配的方式53.4圖片拼接63.5圖像融合73.5.1平均疊加法73.5.2線性法73.5.3加權(quán)函數(shù)法73.5.4多段融合法（多分辨率樣條）73.6全景圖像投射73.6.1柱面全景圖73.6.2球面全景圖83.6.3多面體全景圖84.開源圖
2、像算法庫OPENCV拼接模塊94.1stitching_detail程序運(yùn)行流程94.2stitching_detail程序接口介紹94.3測試效果105.小結(jié)11參考資料111.概述全景視圖是指在一個(gè)固定的觀察點(diǎn)，能夠提供水平方向上方位角360度，垂直方向上180度的自由瀏覽（簡化的全景只能提供水平方向360度的瀏覽）。目前市場中的全景攝像機(jī)主要分為兩種：魚眼全景攝像機(jī)和多鏡頭全景攝像機(jī)。魚眼全景攝像機(jī)是由單傳感器配套特殊的超廣角魚眼鏡頭，并依賴圖像校正技術(shù)還原圖像的魚眼全景攝像機(jī)。魚眼全景攝像機(jī)最終生成的全景圖像即使經(jīng)過校正也依然存在一定程
3、度的失真和不自然。多鏡頭全景攝像機(jī)可以避免魚眼鏡頭圖像失真的缺點(diǎn)，但是或多或少也會(huì)存在融合邊緣效果不真實(shí)、角度有偏差或分割融合后有"附加"感的缺撼。本文檔中根據(jù)目前所查找到的資料，對多鏡頭全景視圖拼接算法原理進(jìn)行簡要的介紹。2.主要步驟2.1.?圖像獲取通過相機(jī)取得圖像。通常需要根據(jù)失真較大的魚眼鏡頭和失真較小的窄視角鏡頭決定算法處理方式。單鏡頭和多鏡頭相機(jī)在算法處理上也會(huì)有一定差別。2.2魚眼圖像矯正若相機(jī)鏡頭為魚眼鏡頭，則圖像需要進(jìn)行特定的畸變展開處理。2.3圖片匹配根據(jù)素材圖片中相互重疊的部分估算圖片間匹配關(guān)系。主要匹配方式分兩種：A．與
4、特征無關(guān)的匹配方式。最常見的即為相關(guān)性匹配。B．根據(jù)特征進(jìn)行匹配的方式。最常見的即為根據(jù)SIFT，SURF等素材圖片中局部特征點(diǎn)，匹配相鄰圖片中的特征點(diǎn)，估算圖像間投影變換矩陣。2.4?圖片拼接根據(jù)步驟2.3所得圖片相互關(guān)系，將相鄰圖片拼接至一起。2.5?圖像融合對拼接得到的全景圖進(jìn)行融合處理。2.6全景圖像投射將合成后的全景圖投射至球面、柱面或立方體上并建立合適的視點(diǎn)，實(shí)現(xiàn)全方位的視圖瀏覽。圖1:opencvstitching模塊進(jìn)行圖像拼接的處理流程（部分步驟可選）3.算法技術(shù)點(diǎn)介紹3.1圖像獲取由于魚眼鏡頭和常規(guī)鏡頭在生成全景圖方面存在很
5、大差異，其校正算法完全不同，因此需分開討論。但是校正后的圖像進(jìn)行拼接步驟時(shí)的處理方法一定程度上可通用。A．單常規(guī)鏡頭拍攝多張圖片方式（手持）該方式很常見，在目前多種手機(jī)上均有相關(guān)全景功能。B．多個(gè)常規(guī)鏡頭組成的相機(jī)（或單鏡頭旋轉(zhuǎn)掃描方式）圖2：三星2014年發(fā)布的360度全景照相機(jī)ProjectBeyond，內(nèi)置16個(gè)攝像頭C．魚眼鏡頭拍攝圖3：理光2013年發(fā)布雙魚眼全景相機(jī)RICOHTHETA3.2魚眼圖像矯正若為魚眼鏡頭采集的到的圖像，必須對圖像進(jìn)行矯正。魚眼鏡頭圖像校正算法通常有兩種：一種是球面坐標(biāo)定位法，一種是經(jīng)緯映射法。具體推導(dǎo)過程
6、見參考資料【1】《魚眼照片生成全景圖算法的研究與實(shí)現(xiàn)》，矯正效果如下圖所示：圖4：魚眼圖像及校正后的展開圖3.3圖片匹配3.3.1與特征無關(guān)的匹配方式與特征無關(guān)的匹配方式常見的為相關(guān)性匹配，一般都用于沒有復(fù)雜變換的圖像拼接情況下。該方式計(jì)算簡單，僅為普通的灰度模板匹配。具體細(xì)節(jié)見參考文檔【2】《全景圖生成技術(shù)研究》。圖5：模板匹配法示意圖3.3.2根據(jù)特征進(jìn)行匹配的方式基于特征的匹配首先從圖像上選取特征信息，然后識(shí)別出兩幅圖像對應(yīng)的特征信息。常用的特征信息有特征輪廓，特征曲線，特征點(diǎn)，多采用特征點(diǎn)匹配法。進(jìn)行特征點(diǎn)匹配的第一步是提取所有素材圖片
7、的局部特征點(diǎn)。普遍來講，一張圖片所包含的特征點(diǎn)通常就是周圍含有較大信息量的點(diǎn)，而僅通過這些富有特征的局部，基本就可以推測出整張圖片。常見的特征點(diǎn)包括SIFT，F(xiàn)AST，SURF等。圖6：SITF特征點(diǎn)檢測效果圖。青色內(nèi)容為檢測到的SIFT特征點(diǎn)。由于特征點(diǎn)由特征向量表示，所以圖中每個(gè)特征點(diǎn)顯示為一個(gè)箭頭。形成特征向量之后下一個(gè)問題就是如何匹配了。最基本的方式可以稱作“最鄰近搜索”（NearestNeighbour），實(shí)際上也就是找在128維空間上直線距離最近的的特征向量，這個(gè)求直線距離的方式和2維無異，最近的特征向量也就被認(rèn)為是互相匹配。SIF
8、T原作者使用的方式是增加了k-dtree算法來高效率地完成高維度上的最鄰近搜索。特征點(diǎn)匹配效果如下圖所示。圖6：SITF特征點(diǎn)匹配效果圖3.4圖片拼接
