無人機(jī)影像的快速拼接及其誤差

劉慶元，劉 有，鄒 磊，易柳城

(1. 中南大學(xué) 有色金屬成礦預(yù)測教育部重點(diǎn)實(shí)驗(yàn)室，長沙 410083；2. 中南大學(xué) 地球科學(xué)與信息物理學(xué)院，長沙 410083)

隨著無人機(jī)的廣泛應(yīng)用，各種影像和視頻影像的獲取更加方便和及時(shí)，但影像的及時(shí)處理和初步定位顯得越來越重要。無人機(jī)影像特點(diǎn)不同于航空影像，其重疊度較高，傾角大、像幅小，目前現(xiàn)有的影像處理軟件處理不了這種大傾角影像，只有通過地面具有足夠的控制點(diǎn)加以糾正，通過航攝處理方法變?yōu)檎溆跋駡D，再進(jìn)行拼接。而在地質(zhì)勘查、地質(zhì)災(zāi)害、危機(jī)處理、以及搶險(xiǎn)救災(zāi)等應(yīng)用中，并不需要大比例尺影像圖，只需要能夠反映當(dāng)前地物、地貌形態(tài)以及地理位置就完全可以滿足要求。

無人機(jī)影像的快速匹配、拼接和糾正處理可分為兩類，一是在不需要地面控制點(diǎn)的情況下，對已有影像配準(zhǔn)后進(jìn)行拼接和糾正處理，由于沒有考慮投影差對影像拼接時(shí)的影響，使拼接誤差積累較快，同時(shí)沒有考慮影像間尺度的變化[1?6]；二是針對無人機(jī)影像特點(diǎn)參照傳統(tǒng)的攝影測量流程進(jìn)行的處理，這樣處理的結(jié)果精度比較高，但同時(shí)需要有高精度的姿態(tài)參數(shù)和地面像控點(diǎn)，出圖周期長、不利于實(shí)時(shí)應(yīng)用[4?12]。

本文作者主要利用DGPS/IMU 數(shù)據(jù)，在沒有地面像控點(diǎn)的情況下，實(shí)時(shí)進(jìn)行影像(每個(gè)像對)匹配，匹配過程中通過左右像對上下視差的計(jì)算，剔除有較大誤差或錯(cuò)誤的特征點(diǎn)，并充分利用DGPS坐標(biāo)獲取整體影像地理坐標(biāo)值的同時(shí)考慮影像尺度的變化，通過限制和消除投影誤差的辦法，減少拼接時(shí)的誤差累積。

1 實(shí)驗(yàn)

無人機(jī)影像特點(diǎn)不同于航空影像，其重疊度較高，傾角大、像幅小，在單位時(shí)間內(nèi)地面變化小，但影像之間往往存在著平移、旋轉(zhuǎn)和較小尺度的縮放。通過匹配同名點(diǎn)，運(yùn)用仿射變換和粗差剔除的方法實(shí)現(xiàn)影像快速拼接，可獲取被拍攝區(qū)域影像圖。假定待拼接影像之間存在平移、角度旋轉(zhuǎn)和尺度變化等參數(shù)，則影像間的變化關(guān)系可用式(1)表達(dá)。

式中：(x, y)為變換后坐標(biāo)；) ,(yx′′為變換前的坐標(biāo)；a0、a1、a2、b0、b1和 b2為轉(zhuǎn)換參數(shù)。

此方程組僅需要3個(gè)同名像點(diǎn)即可求解出6個(gè)參數(shù)。由于實(shí)際操作中可以獲得大量的同名像點(diǎn)，因此，采用最小二乘法求解加粗差檢驗(yàn)的方法可獲取轉(zhuǎn)換參數(shù)。

1.1 無人機(jī)影像的主要誤差

按上述方法拼接影像是否成功取決于拼接的誤差大小。影響影像拼接的主要誤差包括由外方位元素變化引起的影像變形誤差、地形起伏引起的影像變形誤差以及地球曲率和大氣折射引起的影像變形誤差。由于無人機(jī)距離地面比較低，地球曲率和大氣折射引起的影像變形誤差影響較小，可以忽略。當(dāng)影像經(jīng)過外方位角元素組成的旋轉(zhuǎn)矩陣轉(zhuǎn)換后，影像處于近似水平狀態(tài)，這時(shí)主要的誤差為投影誤差。如果被拍攝地面比較平坦，投影誤差較小，影像可直接進(jìn)行拼接，否則，需要對投影誤差較大的同名點(diǎn)進(jìn)行改正。

圖1 單幅影像上由地面高程引起的像點(diǎn)位移Fig. 1 Image point displacement due to surface height changes

圖1所示為單幅影像上由地面高程引起的像點(diǎn)位移。由圖1可見，點(diǎn)a與a′之間的距離d為地物高度引起的投影誤差。A′A″即為地面上的投影差，用D表示。假設(shè)像片上從像主點(diǎn)到地物頂部的距離是 r，投影到基準(zhǔn)面上的相應(yīng)距離為 R。則根據(jù)相似三角形AA′A″和 SOA″得

式中：D是投影誤差；h為高出基準(zhǔn)面的地面高差；H為航高；R為地面攝影中心到地物點(diǎn)的距離。

由式(2)可以看到，影響投影誤差的主要因素是航高與地面高差。

以像片的比例尺表達(dá)距離D和R，并考慮到左(l)、右(r)兩片具有相同的性質(zhì)，重新整理得到

下面討論兩張相鄰影像的情況。如圖 2所示，O1、O2為攝影基線在地面投影的長度。顯然，地面物體的頂部A在兩次拍攝時(shí)分別被投影到1A′′和2A′′，21AA′′′′即為同一地面點(diǎn)在兩次拍攝時(shí)由h產(chǎn)生的投影誤差，其差值記為ΔD。三角形21AAA′′′′′和21OOA′相似，考慮式(2)和式(3)，假定左右兩片航高相等，并將ΔD化為圖上距離Δd得到

由式(4)可以大致估計(jì)出兩張相鄰影像投影誤差Δd，用作判斷拼接影像效果的依據(jù)。即當(dāng)制作 1∶2.5萬影像圖時(shí)，航高600 m，攝影焦距0.024 m，攝影基線長度 S=30 m，地面高差 h=40 m，代入式(4)得Δd=0.085 mm。這表明此高卷在1∶2.5萬的影像圖中不會影響圖的使用；若地面高差h=100 m時(shí)，代入式(4)得 Δd=0.24 mm，則在1∶2.5萬影像圖上可以分辨出它們的差異。由此可以看出，航高、基線長度以及高出基準(zhǔn)面的地面高差均對投影誤差有一定的影響，在處理影像拼接時(shí)需要考慮到這些影響，并采取不同的方法加以削弱。

由 DGPS/IMU提供的初始外方位線元素和角元素，再經(jīng)連續(xù)相對定向后，構(gòu)成共面方程求解各點(diǎn)的地面三維坐標(biāo)值。將各點(diǎn)Z值取平均獲得平均高程，各點(diǎn)與平均高程之差即為h；當(dāng)h大于投影誤差時(shí)可根據(jù)式(3)分別求得左片與右片的改正量d，分別對左右片的像點(diǎn)坐標(biāo)進(jìn)行改正。

1.2 無人機(jī)影像快速拼接的方法

1.2.1 平坦地區(qū)影像拼接方法

由上面分析可知，影像拼接時(shí)將影像分為平坦地區(qū)和丘陵山區(qū)，所使用的方法會有所不同。由于平坦地區(qū)投影差較小，可以不進(jìn)行投影誤差改正，在不需要任何外在條件的基礎(chǔ)上，直接利用左右影像同名像點(diǎn)進(jìn)行影像拼接。具體方法是：將航線中第一張(左片)影像進(jìn)行畸變差改正后和利用式(5)，將左片像空間坐標(biāo)轉(zhuǎn)為像空間輔助坐標(biāo)系的坐標(biāo)，這樣此片近似處于水平狀態(tài)，然后將右影像像空間坐標(biāo)代入式(1)，求得右像空間坐標(biāo)系轉(zhuǎn)換為左像輔助空間坐標(biāo)系的轉(zhuǎn)換系數(shù) a0、a1、a2、b0、b1和 b2。用此系數(shù)將右片所有像點(diǎn)轉(zhuǎn)換為左片坐標(biāo)系的坐標(biāo)，如圖3所示，左右兩片的坐標(biāo)原點(diǎn)均在各自的左上角，即柵格數(shù)據(jù)的坐標(biāo)原點(diǎn)。以此類推，轉(zhuǎn)換系數(shù)求解到最后一張影像為止。由于同名點(diǎn)較多，用式(1)求解轉(zhuǎn)換系數(shù)時(shí)，按式(6)最小二乘原理進(jìn)行求解，所獲殘差V代表同一點(diǎn)左、右兩影像點(diǎn)的坐標(biāo)差值，其量應(yīng)小于0.1 mm，如果存在大于2倍的誤差時(shí)，可懷疑此點(diǎn)匹配誤差較大或者影像變形較大，將影響兩片的拼接效果，可以剔除該點(diǎn)重新計(jì)算轉(zhuǎn)換系數(shù)，減小誤差積累。

圖2 像對上像點(diǎn)的相對位移(俯視圖)Fig. 2 Same object project onto different frames (Looking down at surface)

式中：[X Y Z]T是左片像空間輔助坐標(biāo)系的坐標(biāo)；R為旋轉(zhuǎn)矩陣；x、y、z為左片像空間坐標(biāo)系坐標(biāo)。

圖3 左、右影像坐標(biāo)原點(diǎn)與同名點(diǎn)示意圖Fig. 3 Homogenous points on right image matched with those on left image

影像拼接時(shí)配合匹配軟件進(jìn)行相對定向，剔除上下視差較大的匹配點(diǎn)，在不需地面像控點(diǎn)的情況下，直接進(jìn)行影像拼接工作，拼接可實(shí)時(shí)或事后進(jìn)行。在拼接影像的同時(shí)，根據(jù)GPS/IMU獲得的外方位元素，同時(shí)進(jìn)行同名點(diǎn)初步的地理坐標(biāo)計(jì)算，使各個(gè)模型在此基礎(chǔ)上連接起來，在影像重采樣時(shí)用地理坐標(biāo)代替像素坐標(biāo)，使整幅影像具有與GPS一致的坐標(biāo)值。

1.2.2 丘陵山區(qū)影像拼接方法

在丘陵山區(qū)因?yàn)橥队罢`差的影響，影像拼接的誤差累積較快。此時(shí)應(yīng)采用分帶拼接，即在保證影像完整的前提下通過幾何糾正使其投影誤差在該區(qū)域內(nèi)消弱，避免向下傳遞。先利用雙線性變換公式(9)，使右片的像點(diǎn)坐標(biāo)在坐標(biāo)轉(zhuǎn)換過程中以左片像點(diǎn)為準(zhǔn)，對右片的同名像點(diǎn)在轉(zhuǎn)換過程中較大的投影誤差點(diǎn)進(jìn)行幾何糾正，使其兩個(gè)坐標(biāo)間的差值變小，而局部隨地形的變化產(chǎn)生一定的形變，達(dá)到在視覺上將影像拼接的目的。因此，拼接時(shí)的影像個(gè)數(shù)應(yīng)有所限制，將這些分段拼接影像再通過式(1)的仿射變換連接起來，形成整幅影像圖。

2 應(yīng)用實(shí)例

實(shí)例1 中國某地2008年實(shí)地航拍，航高600 m，影像尺寸3 888×2 596(像素)。DGPS/IMU給出攝影外方位元素值，角元素精度為 60″，線元素精度為 20～10 m，GPS更新率為1 Hz。實(shí)際地形大部分比較平坦，靠近河流部分有些小山。拼接按每條航線進(jìn)行，每片與左、右片的同名點(diǎn)由專用影像點(diǎn)匹配軟件自動進(jìn)行，匹配后拼接工作也是自動進(jìn)行。在拼接過程中觀察的主要指標(biāo)是殘差 V(residual error)和中誤差 RMS(Root mean square)，對于超出中誤差2～3倍的V值對應(yīng)的同名點(diǎn)給予剔除，消除由于匹配點(diǎn)不準(zhǔn)引起的粗差。拼接效果見圖 4，殘差見表1。

表1 36張UAV影像連續(xù)自動拼接RMS一覽Table 1 RMS errors of hill area test for 36 pieces of UAV’s images

實(shí)例2中國某城市，航高600 m，影像尺寸4 000×3 000(像素)。沒有DGPS/IMU數(shù)據(jù)，地形主要特點(diǎn)是樓房較高，地面平坦。對于影像拼接樓房的投影差較大，是影響拼接的主要障礙。但其有利條件是除了樓房之外地面較為平坦，對影像拼接比較有利。拼接的關(guān)鍵是剔除樓房頂端的投影誤差較大的匹配點(diǎn)，拼接效果見圖5。

圖4 36張UAV影像連續(xù)自動拼接效果圖Fig. 4 36 pieces of UAV’s images stitched together

圖5 9幅UAV影像連續(xù)自動拼接效果圖Fig. 5 9 pieces of UAV’s images stitched together

實(shí)例2與實(shí)例1的區(qū)別在于，沒有內(nèi)、外方位元素，不能進(jìn)行投影差改正和影像傾斜糾正。拼接過程中第一張影像的選取至關(guān)重要，要選取基本水平影像作為起始影像，另外，要在拼接過程中剔除較大的 V值點(diǎn)，始終保持其左、右片同名點(diǎn)基本上在平坦地面上的點(diǎn)。拼接后的中誤差值見表2。

表2 9幅UAV影像連續(xù)自動拼接中誤差一覽Table 2 RMS errors of urban test for 9 pieces of UAV’s images

通過上面兩個(gè)實(shí)例說明當(dāng)匹配點(diǎn)有足夠多時(shí)，通過最小二乘方法求仿射變換轉(zhuǎn)換系數(shù)，既可以保證坐標(biāo)傳遞的正確性和拼接的連續(xù)性也可以抑制粗差對拼接的影響，保證拼接的正確性。另一方面，通過最小二乘解算時(shí)的兩個(gè)指標(biāo)V和RMS的觀察找到誤匹配點(diǎn)和投影誤差較大的點(diǎn)，在快速拼接過程中迅速剔除，小于規(guī)定值的投影誤差進(jìn)行改正，保證坐標(biāo)傳遞的正確性。

3 結(jié)論

1) 若投影誤差 h≈0，則Δd趨近于 0；Δd是一個(gè)與地物高度和航高有關(guān)的量，h越大，則位移Δd越大，H越大，則Δd越小。當(dāng)?shù)匚锔哂诨鶞?zhǔn)面時(shí)，Δd沿著r向主點(diǎn)方向改正，否則，沿著r逆著主點(diǎn)方向改正。

2) 拼接影像的同名點(diǎn)盡量選擇平坦地點(diǎn)上，使同名點(diǎn)的高度盡量小。對于處在高程較高位置的同名點(diǎn)進(jìn)行改正。城市去根據(jù)V和RMS兩個(gè)指標(biāo)，將具有較大投影誤差點(diǎn)(高樓頂部的點(diǎn))剔除，保留城市地面匹配同名點(diǎn)，拼接效果較好。

3) 盡量增大航高，可以減小像點(diǎn)的投影誤差；盡量減小攝影基線的距離，即增加遙感影像的航向重疊度，也可以使像點(diǎn)的投影誤差減小。

4) 如果沒有GPS/IMU的數(shù)據(jù)，拼接時(shí)主要靠觀察V和RMS大小，決定同名點(diǎn)的取舍。

[1] 宮阿都, 何孝瑩, 雷添杰, 李 京. 無控制點(diǎn)數(shù)據(jù)的無人機(jī)影像快速處理[J]. 地球信息科學(xué)學(xué)報(bào), 2010, 12(2): 254?260.

GONG A-du, HE Xiao-ying, LEI Tian-jie, LI Jing. Fast image processing method of UAV without control data [J]. Journal of Geo-Information Science, 2010, 12(2): 254?260.

[2] 趙向陽, 杜利民. 一種全自動穩(wěn)健的圖像拼接融合算法[J].中國圖象圖形學(xué)報(bào), 2004, 9(4): 417?422.

ZHAO Xiang-yang, DU Li-min. An automatic and robust image mosaic algorithm [J]. Journal of Image and Graphics, 2004, 9(4):417?422.

[3] 王書民, 張愛武, 崔營營, 張珍梅. 基于無人飛艇數(shù)字?jǐn)z影測量系統(tǒng)及航拍序列圖像拼接[J]. 測繪科學(xué), 2010, 35(4): 81?83.

WANG Shu-min, ZHANG Ai-wu, CUI Ying-ying, ZHANG Zhen-mei. Digital photogrammetry system based on unmanned airship and aerial image sequence stitching [J]. Science of Surveying and Mapping, 2010, 35(4): 81?83.

[4] 魯 恒, 李永樹, 何 敬, 陳 強(qiáng), 任志明. 一種基于特征點(diǎn)的無人機(jī)影像自動拼接方法[J]. 地理與地理信息科學(xué), 2010,26(5): 16?19.

LU Heng, LI Yong-shu, HE Jing, CHEN Qiang, REN Zhi-ming.A automatic mosaic method in unmanned aerial vehicle images based on feature points [J]. Geography and Geo-Information Science, 2010, 26(5): 16?19.

[5] 徐亞明, 邢 誠, 陳曉東. 一種基于拼接線的無人機(jī)序列影像拼接方法[J]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2011, 36(11):1265?1269.

XU Ya-ming, XING Cheng, CHEN Xiao-dong. A mosaic method for UAV sequence images based on seam line [J].Geomatics and Information Science of Wuhan University, 2011,36(11): 1265?1269.

[6] 蘇俊英. SIFT特征匹配無人飛艇多光譜影像拼接[J]. 應(yīng)用科學(xué)學(xué)報(bào), 2010, 28(6): 616?620.

SU Jun-ying. SIFT mosaicing of multiple spectrum images acquired from unmanned airship with SIFT feature matching [J].Journal of Applied Sciences, 2010, 28(6): 616?620.

[7] 潘 俊, 王 密, 李德仁. 基于顧及重疊的面 Voronoi圖的接縫線網(wǎng)絡(luò)生成方法[J]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2009,34(5): 518?521.

PAN Jun, WANG Mi, LI De-ren. Generation of seamline network using area Voronoi diagram with overlap [J]. Geomatics and Information Science of Wuhan University, 2009, 34(5):518?521.

[8] 張劍清, 孫明偉, 張祖勛. 基于蟻群算法的正射影像鑲嵌線自動選擇[J]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2009, 34(6):675?678.

ZHANG Jian-qing, SUN Ming-wei, ZHANG Zu-xun.Automated seamline detection for orthophoto mosaicing based on ant colony algorithm [J]. Geomatics and Information Science of Wuhan University, 2009, 34(6): 675?678.

[9] 劉鳳德, 邱 懿. 基于左右正射影像的三維量測方法的研究[J]. 測繪科學(xué), 2003, 28(3): 17?19.LIU Feng-de, QIU Yi. 3D measurement based on ortho-image pair [J]. Science of Surveying and Mapping, 2003, 28(3): 17?19.

[10] 楊 林, 張 卡, 盛業(yè)華, 閭國年. 數(shù)字圖像的兩種影像拼接方法及其比較[J]. 計(jì)算機(jī)應(yīng)用研究, 2005, 5: 135?136.

YANG Lin, ZHANG Ka, SHENG Ye-hua, Lü Guo-nian. Two methods of digital image merging and their contrast [J].Application Research of Computers, 2005, 5: 135?136.

[11] 李 奇. 數(shù)字正射影像拼接的研究[J]. 地理空間信息, 2005,3(1): 10?11.LI Qi. Research of digital orthophoto maps mosaic [J].Geospatial Information, 2005, 3(1): 10?11.

[12] 尤紅建, 劉 彤, 劉少創(chuàng), 李樹凱. 利用3維成像儀快速生成遙感地學(xué)編碼圖像[J]. 測繪學(xué)報(bào), 2000, 29(4): 324?328.

YOU Hong-jian, LIU Tong, LIU Shao-chuang, LI Shu-kai. Fast generating geo-referenced image based on airborne 3D imager[J]. Acta Geodaetica et Cartographica Sinica, 2000, 29(4): 324?328.