柱面全景圖像拼接方法的仿真分析

朱寧寧

武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079

?

柱面全景圖像拼接方法的仿真分析

朱寧寧

武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079

隨著虛擬現(xiàn)實(VR)技術(shù)的興起，全景圖像得到了更為廣泛的應(yīng)用，目前多通過求解單應(yīng)矩陣對圖像進(jìn)行變換，由多相機(jī)拼接獲取全景圖像，但該方法會破壞成像中的共線條件，使拼接后的全景圖像難以精確進(jìn)行攝影測量中的三維重建等工作。本文提出了一種柱面全景圖像拼接方法并對其進(jìn)行仿真分析，該方法基于攝影測量共線方程，設(shè)定拼接相機(jī)的數(shù)目、成像焦距、成像位置和成像姿態(tài)，模擬多拼相機(jī)的成圖過程，構(gòu)建從三維點云到二維圖像的柱面成像方程，通過成像方程不僅可以實現(xiàn)各圖像的全景拼接，而且可對影響全景圖像拼接精度的各參數(shù)進(jìn)行定量分析，試驗結(jié)果表明：①本文提出的柱面成像方程和全景拼接方法可用于不同數(shù)目相機(jī)及傾斜成像下的全景拼接；②利用成像方程推導(dǎo)的誤差方程可知，全景圖像拼接的精度受焦距誤差、中心誤差和旋角誤差的影響，其中，焦距誤差可通過圖像重采樣的方法校正，中心誤差與攝影物距密切相關(guān)，而旋角誤差主要受拼接相機(jī)數(shù)目的影響。

全景圖像拼接；柱面投影；成像方程；適用性分析；精度分析

全景圖像能夠反映攝影位置360°球型范圍內(nèi)的所有景致，避免了一般圖像視角單一，不能帶來全方位感受的缺憾，已在無人駕駛汽車(unmanned vehicle)、街景地圖(street view)和虛擬現(xiàn)實(VR)等領(lǐng)域中得到廣泛應(yīng)用[1-5]，尤其自2014年Facebook收購Oculus VR以來，VR技術(shù)得到極大推廣，眾多科技公司適時推出自己獲取全景圖像的VR設(shè)備，如2015年谷歌和GoPro聯(lián)合開發(fā)完成的16拼全景相機(jī)Google Jump以及2016年Facebook發(fā)布的14拼全景相機(jī)Surround 360等。目前通過多相機(jī)拼接的方式獲取全景圖像成為主流，多相機(jī)圖像拼接可將一系列有重疊區(qū)域的普通圖像或魚眼圖像進(jìn)行拼接獲得全景圖，在此過程中，關(guān)鍵的問題是各相機(jī)圖像間的無縫拼接[6]。目前的拼接方法多通過提取圖像重疊區(qū)域中特征點或特征線的方式尋找相鄰圖像間的最佳變換[7-10]，如文獻(xiàn)[11]用SURF算法提取特征點，實現(xiàn)月表圖像的無縫鑲嵌；文獻(xiàn)[12]用SIFT算法提取細(xì)胞圖像特征點，實現(xiàn)顯微全景圖的無縫拼接；文獻(xiàn)[13]提出利用彩色空間變換和Contourlet變換結(jié)合對比度金字塔分解的圖像融合算法，實現(xiàn)了全景圖拼接的光學(xué)配準(zhǔn)；文獻(xiàn)[14]使用4個具有高紋理特征的種子點，快速建立更準(zhǔn)確的圖像對應(yīng)關(guān)系；文獻(xiàn)[15]模擬蒼蠅復(fù)眼的視覺機(jī)制，在滿足實時性的同時較好地解決了全景拼接錯位的問題。

通過求解單應(yīng)矩陣對圖像進(jìn)行變換獲取全景圖像會破壞成像中的共線條件，使拼接后的全景圖像難以精確進(jìn)行攝影測量中的三維重建等工作；目前全景圖像主要為了滿足人眼的視覺要求，但通過對全景圖像的量測獲取地物的真三維信息等應(yīng)用也變得越來越重要[16-20]。因此，利用成像時多拼相機(jī)的幾何關(guān)系進(jìn)行拼接正成為研究的熱點，該方式不改變成像中的共線條件，使拼接后全景圖像易于進(jìn)行量測。本文提出一種柱面全景圖像拼接方法并對其進(jìn)行仿真分析，該方法基于攝影測量共線方程，設(shè)定拼接相機(jī)的數(shù)目、成像焦距、成像位置和成像姿態(tài)，模擬多拼相機(jī)的成圖過程，構(gòu)建從三維點云到二維圖像的柱面成像方程，通過成像方程不僅可以實現(xiàn)各圖像的全景拼接，而且可對影響全景圖像拼接精度的各參數(shù)進(jìn)行定量分析。

1 全景圖像拼接

本文提出的柱面全景圖像拼接方法包括柱面投影成像模型和柱面全景圖像拼接兩部分。柱面投影成像模型是通過設(shè)定拼接相機(jī)的個數(shù)、成像焦距、成像位置和成像方位，利用三維點云模擬生成柱面投影圖像；柱面全景圖像拼接是根據(jù)相機(jī)的個數(shù)及姿態(tài)計算各影像拼接線位置進(jìn)行全景圖的拼接。成像模型中涉及的參數(shù)有：拼接相機(jī)個數(shù)N，成像位置XS、YS、ZS，成像方位α、β、γ和焦距f(為簡化成像模型，各相機(jī)攝影中心重合，后文會對不重合的情況進(jìn)行討論)。

相機(jī)個數(shù)(N)：N個相機(jī)平均分布于同一平面，各相機(jī)的視場角(FOV)為2π/N。

成像位置(XS、YS、ZS)：各拼接相機(jī)攝影中心重合，XS、YS、ZS為攝影中心的三維坐標(biāo)。

成像方位(α、β、γ)：α、β、γ為成像時的姿態(tài)參數(shù)，α為繞X軸旋角，β為繞Y軸旋角，γ為繞Z軸旋角。

如圖1(a)所示，試驗數(shù)據(jù)Ⅰ為模擬道路點云，模擬道路周邊環(huán)境，生成路面、路樁、路邊護(hù)欄、道旁樹和頂部護(hù)欄等幾種地物點云，為易于分析拼接效果，將面狀地物采用線型表示，如路面點云表示為格網(wǎng)；在此，頂部護(hù)欄點云的作用是分析拼接方法對頂部地物的拼接效果，模擬道路長度為650 m，約有185萬點；如圖1(b)所示，試驗數(shù)據(jù)Ⅱ為真實道路點云，車載點云數(shù)據(jù)位于上海市區(qū)沈海高速某段，試驗道路長度為1.15 km，約有800萬點，點云中包含路面、道旁樹、路崖線、廣告牌、指示牌等道路附屬物。

圖1 試驗數(shù)據(jù)Ⅰ和試驗數(shù)據(jù)ⅡFig.1 Test data-set Ⅰ and test data-set Ⅱ

1.1 柱面投影成像模型

柱面投影圖像可以通過對透視圖像或魚眼圖像做進(jìn)一步處理得到。下面分別對透視成像，柱面成像和球面成像的原理進(jìn)行分析，最后得出3種成像模型之間的轉(zhuǎn)換關(guān)系。

(1) 透視成像模型：透視成像模型基于共線方程，但常用共線方程式的投影面為水平面，而全景相機(jī)要求投影面為垂直面，因此在透視成像模型中須調(diào)整原共線方程旋轉(zhuǎn)矩陣中參數(shù)的位置，如式(1)所示，在該透視模型中X軸垂直于投影平面

(1)

式中，R=RX·RY·RZ；Δx=p.x-XS；Δy=p.y-YS；Δz=p.z-ZS，且

式中，p.x、p.y、p.z為點p的三維坐標(biāo)；XS、YS、ZS為攝影中心三維坐標(biāo)；f為攝影焦距；α、β、γ為成像時的姿態(tài)參數(shù)；prow、pcol為點p在透視投影圖像坐標(biāo)系中的坐標(biāo)。

(2) 柱面成像模型：柱面成像模型是在透視成像模型基礎(chǔ)上對Y(Z)坐標(biāo)值進(jìn)行球面投影，對Z(Y)坐標(biāo)值保持不變的一種變換，如式(2)所示

(2)

(3) 球面成像模型：球面成像模型是在透視成像模型的基礎(chǔ)上同時對Y和Z坐標(biāo)值做球面投影，如式(3)所示

(3)

式中，p″row、p″col為點p在球面投影圖像坐標(biāo)系中的坐標(biāo)，其余參數(shù)含義與上文相同。

分析上述3種成像模型可知，透視投影相機(jī)獲取的平面圖像和魚眼相機(jī)獲取的球面投影圖像均可通過計算得到柱面圖像；式(1)至式(2)即為透視圖像到柱面圖像的變換過程，由球面投影圖像到透視投影圖像的公式可由式(3)推算，如式(4)所示

(4)

分別對數(shù)據(jù)Ⅰ模擬道路點云和數(shù)據(jù)Ⅱ真實道路點云采用透視模型，柱面模型和球面模型的方式成像，圖2顯示了對上述3種模型的成像結(jié)果。

圖2 3種投影方式在數(shù)據(jù)Ⅰ和數(shù)據(jù)Ⅱ中的成像Fig.2 Different projection imaging of Test data-set Ⅰ and Test data-set Ⅱ

1.2 柱面全景圖像拼接

柱面全景圖像拼接是對各相機(jī)獲取的柱面投影圖像進(jìn)行拼接，具體拼接步驟為：

(1) 設(shè)定拼接相機(jī)的數(shù)目N，各相機(jī)平均分布，因此每個相機(jī)的有效視場角為2π/N。將起始相機(jī)設(shè)為0號相機(jī)，其柱面成像方程見式(1)和式(2)；1號相機(jī)與0號相機(jī)相鄰，顧及剛體特性，1號相機(jī)姿態(tài)僅是在0號相機(jī)姿態(tài)基礎(chǔ)上繼續(xù)繞Z軸旋轉(zhuǎn)2π/N，所以兩相機(jī)的柱面成像方程中僅旋轉(zhuǎn)矩陣R不同，1號相機(jī)的旋轉(zhuǎn)矩陣設(shè)為R1

R1=Rdz·R

(5)

式中

以此類推，可得到第n個相機(jī)成像方程中的旋轉(zhuǎn)矩陣Rn

(6)

(2) 相機(jī)成像大小(row·col)，采用對Z值方向做球面投影的柱面成像方式，保持Y值透視投影不變，因此各相機(jī)圖像與拼接后的全景圖像高(Z方向/row)均為2倍焦距，可將垂直方向180°內(nèi)的地物全部投影；圖像寬(Y方向/col)由焦距f和相機(jī)個數(shù)N共同決定，以4拼相機(jī)為例：

如圖3所示，No.0—No.3分別表示4個均勻分布的拼接相機(jī)，各相機(jī)焦距為f，視場角均為2π/4，由此可知拼接后全景圖的寬度

(7)

圖3 4拼相機(jī)拼接示意Fig.3 Schematic diagram of 4 spell camera

因此，n拼相機(jī)全景圖的大小可表示為

(8)

(3) 各相機(jī)圖像拼接，將獲取的各透視圖像或魚眼圖像按式(1)—式(4)轉(zhuǎn)換為柱面投影圖像，然后以像主點為中心點，分別截取Row=2f，Col=2f·tan(π/n)大小的矩形區(qū)域逐次進(jìn)行拼接。

如圖4所示，按上述全景圖像拼接方法，分別使用透視、柱面成像模型獲取5拼相機(jī)的全景圖，其中數(shù)據(jù)Ⅰ中的焦距f1=600像素，數(shù)據(jù)Ⅱ中的焦距f2=800像素，α、β為0°，即俯仰角和翻滾角為0°，γ為道路軸線方向，成像位置(XS,YS,ZS)在道路中間區(qū)域，參考實際成像情況，將攝影高度設(shè)為距離地面2 m位置，在所有成像參數(shù)已知的情況下即可對獲取的各相機(jī)圖像進(jìn)行拼接。在此分別對數(shù)據(jù)Ⅰ和數(shù)據(jù)Ⅱ進(jìn)行試驗，比較透視圖像和柱面圖像拼接全景圖的差異。

圖4 5拼相機(jī)模擬成像示意Fig.4 5 spell camera simulation imaging

由圖5可知，采用透視投影的方式在相鄰相機(jī)拼接處會出現(xiàn)地物連續(xù)但不平滑的拼接痕跡；采用柱面的投影方法，在高程上(Z值)進(jìn)行球面壓縮，不改變水平面內(nèi)X/Y的中心投影方式，可以在不使用頂部相機(jī)的情況下，由單相機(jī)獲取垂直面內(nèi)180°的圖像，還可達(dá)到平滑拼接縫的目的，由此可獲得較為完美的全景拼接圖；球面投影的圖像拼接全景圖需對拼接處做較復(fù)雜的處理容易破壞全景圖的可量測性[21-22]，因此柱面成像模型是一種簡單可行的全景拼接模型。

圖5 5拼相機(jī)的透視投影和柱面投影全景圖Fig.5 5 spell camera center/cylindrical panoramic stitching

2 拼接方法的適用性分析

為檢驗柱面全景拼接方法的適用性，本節(jié)將該方法用于分析全景拼接中的兩個問題：一是拼接相機(jī)數(shù)目對全景拼接的影響；二是傾斜成像對全景拼接的影響。對第一個問題，分別試驗不同數(shù)目相機(jī)的全景拼接效果；對第二個問題，試驗在傾斜成像情況下的全景拼接效果；最后，通過對試驗結(jié)果的討論驗證拼接方法的適用性。

2.1 拼接相機(jī)的數(shù)目

拼接后全景圖像的大小由相機(jī)數(shù)目N和焦距f共同決定，按式(8)可計算出數(shù)據(jù)Ⅰ和數(shù)據(jù)Ⅱ在不同拼接數(shù)目下的成像大小，如表1所示。使用柱面全景圖像拼接方法，選擇相機(jī)數(shù)目為3和13兩種情況下的全景圖進(jìn)行分析，其余成像參數(shù)與上文相同。

表1 全景圖像大小與相機(jī)數(shù)目的關(guān)系(Row1=1200像素;Row2=1600像素)

由圖6可知，不同數(shù)目的相機(jī)拼接出的全景圖像在平滑度上存在較大差異，隨著相機(jī)數(shù)目的增多，全景圖像越加平滑，也更加符合人眼視覺的要求。上述試驗驗證了柱面拼接方法在多拼相機(jī)數(shù)目選擇上的適用性，但均是在多拼相機(jī)平均分布于水平面的條件下，下面對多拼相機(jī)傾斜成像的情況(α、β不為0)進(jìn)行試驗。

圖6 不同數(shù)目相機(jī)的全景拼接Fig.6 Panorama stitching in different number of cameras

2.2 傾斜成像全景拼接

全景成像要求多拼相機(jī)平面盡量處于水平位置，但不可避免會存在傾斜成像的情況，因此需要試驗該拼接方法在傾斜成像下的全景拼接效果。顧及多拼相機(jī)整體為不可變的剛體結(jié)構(gòu)，傾斜角對各個相機(jī)的影響具有相關(guān)性，不失一般性，設(shè)0號相機(jī)的姿態(tài)角α、β分別為10°，γ為道路軸線方向，其余相機(jī)的姿態(tài)角可由式(6)計算得到，以下分別列出數(shù)據(jù)Ⅰ和數(shù)據(jù)Ⅱ在5拼相機(jī)時的全景圖。

由圖7中數(shù)據(jù)Ⅰ和數(shù)據(jù)Ⅱ在不同傾斜條件下的拼接結(jié)果可知，在存在較大傾角的情況下采用本文提出的柱面投影成像模型和柱面全景拼接方法仍可以獲得拼接效果較好的全景圖，證明該拼接方法在傾斜成像下的適用性。

圖7 不同傾斜角下的全景拼接Fig.7 Panorama mosaic in inclined condition

3 拼接方法的容差性分析

上文提出一種基于柱面成像模型的全景圖像拼接方法，并驗證了該方法在相機(jī)數(shù)目選擇及傾斜成像下的適用性，但均建立在無誤差的基礎(chǔ)上；如圖8所示，實際中由于全景相機(jī)在生產(chǎn)、組裝等過程中，各相機(jī)焦距難以保證完全一致，各攝影中心也不會重合，類似的誤差均會影響全景圖像的拼接效果[23-25]，因此，本節(jié)討論各類誤差下的全景拼接效果，對柱面全景拼接方法進(jìn)行容差性分析。以下將利用柱面成像方程，分別從焦距誤差、中心誤差和旋角誤差3方面對拼接效果的影響進(jìn)行理論推導(dǎo)及試驗分析。

圖8 誤差示意Fig.8 Diagram of parameter error

利用柱面投影成像方程，可以推導(dǎo)出各參數(shù)誤差df、dXS、dYS、dZS、dα、dβ、dγ對像點坐標(biāo)的影響，推導(dǎo)過程如下：令式(1)中

(9)

則柱面投影成像方程可化簡為

(10)

(11)

式中

A=[a1a2a3a4a5a6a7]

B=[b1b2b3b4b5b6b7]

N=[dXSdYSdZSdαdβdγdf]

3.1 焦距誤差的影響

如圖8(a)所示，焦距不一致導(dǎo)致各柱面圖像大小不同，會影響全景拼接效果，利用誤差方程式(11)對焦距誤差進(jìn)行定量分析，在此僅考慮焦距誤差df，其余參數(shù)的誤差為0，可得到僅含焦距誤差的誤差方程表達(dá)式(12)

(12)

焦距誤差可通過圖像重采樣的方法校正，通過重采樣使各個圖像與標(biāo)準(zhǔn)焦距圖像大小一致，然后即可完成全景圖的拼接，在此對數(shù)據(jù)Ⅰ試驗焦距變化10%時對拼接效果的影響。圖9為數(shù)據(jù)Ⅰ中7拼相機(jī)校正前后拼接生成的全景圖，由此可知，只需將各相機(jī)圖像重采樣到同一大小，即可克服焦距誤差帶來的拼接問題。

圖9 7拼相機(jī)校正前后的全景拼接Fig.9 7 spell panorama before and after focal length correction

3.2 中心誤差的影響

如圖8(b)所示，多拼相機(jī)的攝影中心存在不一致的情況，即為中心誤差，中心誤差系偶然誤差，在各相機(jī)中的表現(xiàn)無規(guī)律性。利用誤差方程式(11)對中心誤差進(jìn)行定量分析，在此僅考慮中心誤差(dXS,dYS,dZS)，其余參數(shù)誤差為0，可得到僅含中心誤差的誤差方程表達(dá)式(13)

(13)

(14)

(15)

圖10 中心誤差分析Fig.10 Analysis of center error

利用成像方程模擬含有中心誤差的圖像拼接，用于分析中心誤差對全景拼接的影響。在成像方程中各拼接相機(jī)攝影中心的三維坐標(biāo)上加入中心誤差，在此將各相機(jī)的攝影中心XS、YS、ZS均隨機(jī)加入±0.1m的誤差，對數(shù)據(jù)Ⅰ進(jìn)行7拼相機(jī)的成像試驗。圖11為中心誤差下7拼相機(jī)的整體拼接圖，由圖11可知，中心誤差在取0.1m的情況下，柱面拼接方法仍可得到較好的全景拼接圖。

3.3 旋角誤差的影響

旋角誤差是指各相機(jī)主光軸未能完全平均分布于同一平面造成的誤差，可將旋角誤差分解到3個旋轉(zhuǎn)軸上，以dα、dβ、dγ表示，圖8(c)為dγ不等于0時的4拼相機(jī)旋角誤差示意圖。利用誤差方程式(11)對旋角誤差進(jìn)行定量分析，在此僅考慮旋角誤差dα、dβ、dγ，其余參數(shù)的誤差為0，可得到僅含旋角誤差的誤差方程表達(dá)式(16)

(16)

(17)

圖11 中心誤差下的7拼全景Fig.11 7 spell panorama under central error

圖12 旋角誤差分析Fig.12 Analysis of rotation angle error

為分析旋角誤差對全景拼接的影響，在成像方程中各拼接相機(jī)的3軸旋角上分別加入1.0°的旋角誤差，試驗采用7拼相機(jī)，仿真結(jié)果如圖13所示。由圖13可知，旋角誤差對拼接效果的影響很大，當(dāng)dα=dβ=dγ=1.0°時，旋角誤差對全景圖像拼接效果的影響已很明顯，由式(17)可知，拼接相機(jī)的數(shù)目的增加有利于減小旋角誤差的影響；3軸旋角誤差角雖然可以通過相機(jī)檢校的方法獲取，但也難以用于圖像拼接的糾正。

圖13 旋角誤差下的全景拼接(dα=dβ=dγ=1.0°)Fig.13 Panorama image with rotation angle error(dα=dβ=dγ=1.0°)

4 結(jié) 論

本文提出了一種柱面全景圖像拼接方法，通過模擬道路點云和真實道路點云分別對不同數(shù)目拼接相機(jī)和傾斜成像情況下的拼接效果進(jìn)行試驗，驗證了拼接方法的適用性；最后利用由成像方程推導(dǎo)的誤差方程對引起全景拼接誤差的各參數(shù)進(jìn)行具體分析。本文的結(jié)論如下：①建立了三維點云到二維圖像的柱面成像方程，適用于模擬任意位置和角度下的全景成像；②提出的柱面全景拼接方法可用于不同數(shù)目相機(jī)和傾斜成像下的全景拼接；③全景圖像拼接的精度受焦距誤差，中心誤差和旋角誤差的影響，其中，焦距誤差可通過圖像重采樣的方法校正，中心誤差與物距密切相關(guān)，而旋角誤差主要受多拼相機(jī)數(shù)目的影響。上述結(jié)論可用于指導(dǎo)全景相機(jī)的生產(chǎn)及全景拼接中的誤差控制。

[1] LAN Jinhui, LI Jian, HU Guangda, et al. Distance Estimation Using a Panoramic Sensor Based on a Novel Spherical Optical Flow Algorithm[J]. Optics & Laser Technology, 2013, 45: 168-176.

[2] TEHRANI M H, GARRATT M A, ANAVATTI S. Horizon-Based Attitude Estimation from a Panoramic Vision Sensor[J]. IFAC Proceedings Volumes, 2012, 45(1): 185-188.

[3] 李德仁. 論地球空間信息的3維可視化: 基于圖形還是基于影像[J]. 測繪學(xué)報, 2010, 39(2): 111-114. LI Deren. 3D Visualization of Geospatial Information: Graphics Based or Imagery Based[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(2): 111-114.

[4] ALMARAZ-CABRAL C C, GONZALEZ-BARBOSA J J, VILLA J, et al. Fringe Projection Profilometry for Panoramic 3D Reconstruction[J]. Optics and Lasers in Engineering, 2016, 78: 106-112.

[5] BRENNAN P F, PONTO K, CASPER G, et al. Virtualizing Living and Working Spaces: Proof of Concept for a Biomedical Space-Replication Methodology[J]. Journal of Biomedical Informatics, 2015(57): 53-61.

[6] 楊化超, 張磊, 姚國標(biāo), 等. 局部單應(yīng)約束的高精度圖像自動配準(zhǔn)方法[J]. 測繪學(xué)報, 2012, 41(3): 401-408. YANG Huachao, ZHANG Lei, YAO Guobiao, et al. An Automated Image Registration Method with High Accuracy Based on Local Homography Constrain[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3): 401-408.

[7] LOWE D G. Object Recognition from Local Scale-invariant Features[C]∥Proceedings of the 7th IEEE International Conference on Computer Vision. Kerkyra: IEEE, 1999(2): 1150-1157.

[8] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] SINHA S N, FRAHM J M, POLLEFEYS M, et al. GPU-based Video Feature Tracking and Matching[R]. [S.l.]: UNC Chapel Hill, 2006.

[10] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[11] 吳凡路, 劉建軍, 任鑫, 等. 嫦娥三號全景相機(jī)圖像全景鑲嵌方法的研究[J]. 光學(xué)學(xué)報, 2014, 34(9): 0915001. WU Fanlu, LIU Jianjun, REN Xin, et al. Research on Panoramic Mosaics Method of Chang’E-3 Pancam Images[J]. Acta Optica Sinica, 2014, 34(9): 0915001.

[12] 霍春寶, 童帥, 趙立輝, 等. SIFT特征匹配的顯微全景圖拼接[J]. 遼寧工程技術(shù)大學(xué)學(xué)報(自然科學(xué)版), 2015, 34(1): 93-96. HUO Chunbao, TONG Shuai, ZHAO Lihui, et al. Microscopic Panorama Splicing Based on Sift Features Matching[J]. Journal of Liaoning Technical University (Natural Science), 2015, 34(1): 93-96.

[13] 黃立勤, 陳財淦. 全景圖拼接中圖像融合算法的研究[J]. 電子與信息學(xué)報, 2014, 36(6): 1292-1298. HUANG Liqin, CHEN Caigan. Study on Image Fusion Algorithm of Panoramic Image Stitching[J]. Journal of Electronics & Information Technology, 2014, 36(6): 1292-1298.

[14] KIM D H, YOON Y I, CHOI J S. An Efficient Method to Build Panoramic Image Mosaics[J]. Pattern Recognition Letters, 2003, 24(14): 2421-2429.

[15] CHEN Haipeng, SHEN Xuanjing, LI Xiaofei, et al. Bionic Mosaic Method of Panoramic Image Based on Compound Eye of Fly[J]. Journal of Bionic Engineering, 2011, 8(4): 440-448.

[16] 季順平, 史云. 車載全景相機(jī)的影像匹配和光束法平差[J]. 測繪學(xué)報, 2013, 42(1): 94-100, 107. JI Shunping, SHI Yun. Image Matching and Bundle Adjustment Using Vehicle-based Panoramic Camera[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(1): 94-100, 107.

[17] 張正鵬, 江萬壽, 張靖. 自適應(yīng)運(yùn)動結(jié)構(gòu)特征的車載全景序列影像匹配方法[J]. 測繪學(xué)報, 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622. ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing. An Matching Method for Vehicle-borne Panoramic Image Sequence Based on Adaptive Structure from Motion Feature[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(10): 1132-1141. DOI: 10.11947/j.AGCS.2015.20140622.

[18] 季順平, 史云. 多鏡頭組合型全景相機(jī)兩種成像模型的定位精度比較[J]. 測繪學(xué)報, 2014, 43(12): 1252-1258. DOI: 10.13485/j.cnki.11-2089.2014.0169. JI Shunping, SHI Yun. Comparison of Two Sensor Models for Multi-camera Rig System in Measurements[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1252-1258. DOI: 10.13485/j.cnki.11-2089.2014.0169.

[19] 張正鵬, 江萬壽, 張靖. 光流特征聚類的車載全景序列影像匹配方法[J]. 測繪學(xué)報, 2014, 43(12): 1266-1273. DOI: 10.13485/j.cnki.11-2089.2014.0172. ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing. An Image Match Method Based on Optical Flow Feature Clustering for Vehicle-borne Panoramic Image Sequence[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1266-1273. DOI: 10.13485/j.cnki.11-2089.2014.0172.

[20] 季順平, 史云. 高噪聲環(huán)境下基于參考影像的車載序列影像定位方法[J]. 測繪學(xué)報, 2014, 43(11): 1174-1181. DOI: 10.13485/j.cnki.11-2089.2014.0181. JI Shunping, SHI Yun. Georegistration of Ground Sequential Imagery with Geo-referenced Aerial Images in High Noise Environments[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(11): 1174-1181. DOI: 10.13485/j.cnki.11-2089.2014.0181.

[21] URBAN S, LEITLOFF J, HINZ S. Improved Wide-angle, Fisheye and Omnidirectional Camera Calibration[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015(108): 72-79.

[22] HUGHES C, MCFEELY R, DENNY P, et al. Equidistant (fθ) Fish-eye Perspective with Application in Distortion Centre Estimation[J]. Image and Vision Computing, 2010, 28(3): 538-551.

[23] 隆昌宇, 邾繼貴, 郭寅, 等. 基于非參數(shù)測量模型的攝影測量方法研究[J]. 光學(xué)學(xué)報, 2014, 34(12): 1215004. LONG Changyu, ZHU Jigui, GUO Yin, et al. Study on Close-Range Photogrammetry Based on Nonparameteric Measurement Model[J]. Acta Optica Sinica, 2014, 34(12): 1215004.

[24] 趙嘉鑫, 張濤, 張景國, 等. 框幅式航測相機(jī)中像移量對直接地理定位精度影響的研究[J]. 紅外與激光工程, 2015, 44(2): 632-638. ZHAO Jiaxin, ZHANG Tao, ZHANG Jingguo, et al. Study of the Effects on Frame Aerial Photography Direct-Georeferencing Accuracy Caused by Image Motion[J]. Infrared and Laser Engineering, 2015, 44(2): 632-638.

[25] RUPNIK E, NEX F, TOSCHI I, et al. Aerial Multi-camera Systems: Accuracy and Block Triangulation Issues[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 101: 233-246.

(責(zé)任編輯：張艷玲)

Author： ZHU Ningning(1988—)，male，PhD candidate，majors in digital photogrammetry and remote sensing applications.

E-mail： 510786168@qq.com

引文格式：李成名，郭沛沛，殷勇，等.一種顧及空間關(guān)系約束的線化簡算法[J].測繪學(xué)報，2017,46(4)：498-506. DOI:10.11947/j.AGCS.2017.20160546. LI Chengming，GUO Peipei，YIN Yong，et al.A Line Simplification Algorithm Considering Spatial Relations between Two Lines[J]. Acta Geodaetica et Cartographica Sinica,2017,46(4):498-506. DOI:10.11947/j.AGCS.2017.20160546.

Simulation Analysis of Cylindrical Panoramic Image Mosaic

ZHU Ningning

School of Remote Sensing and Information Engineering， Wuhan University， Wuhan 430079， China

With the rise of virtual reality (VR) technology, panoramic images are used more widely, which obtained by multi-camera stitching and take advantage of homography matrix and image transformation, however, this method will destroy the collinear condition, make it’s difficult to 3D reconstruction and other work. This paper proposes a new method for cylindrical panoramic image mosaic, which set the number of mosaic camera, imaging focal length, imaging position and imaging attitude, simulate the mapping process of multi-camera and construct cylindrical imaging equation from 3D points to 2D image based on photogrammetric collinearity equations. This cylindrical imaging equation can not only be used for panoramic stitching, but also be used for precision analysis, test results show: ①this method can be used for panoramic stitching under the condition of multi-camera and incline imaging; ②the accuracy of panoramic stitching is affected by 3 kinds of parameter errors including focus, displacement and rotation angle, in which focus error can be corrected by image resampling, displacement error is closely related to object distance and rotation angle error is affected mainly by the number of cameras.

panoramic image mosaic; cylindrical projection; imaging equation; applicability analysis; precision analysis

朱寧寧.柱面全景圖像拼接方法的仿真分析[J].測繪學(xué)報，2017,46(4)：487-497.

10.11947/j.AGCS.2017.20160456. ZHU Ningning.Simulation Analysis of Cylindrical Panoramic Image Mosaic[J]. Acta Geodaetica et Cartographica Sinica,2017,46(4):487-497. DOI:10.11947/j.AGCS.2017.20160456.

P237

A

1001-1595(2017)04-0487-11

2016-09-20

朱寧寧(1988—)，男，博士生，研究方向為數(shù)字?jǐn)z影測量及遙感應(yīng)用。

修回日期： 2017-01-12