無人機(jī)遙感影像鑲嵌技術(shù)綜述

朱 鋒，肖 暉，魏亞男

ZHU Feng1,XIAO Hui2，3,WEI Yanan1

1.南京航空航天大學(xué) 航天學(xué)院，南京 210016

2.南京曉莊學(xué)院 生物化工與環(huán)境工程學(xué)院，南京 211171

3.安徽大學(xué) 資源與環(huán)境工程學(xué)院，合肥 230601

1.College of Astronautics,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China

2.School of Biochemical and Environmental Engineering,Nangjing Xiaozhuang University,Nanjing 211171,China

3.School of Resources and Environmental Engineering,Anhui University,Hefei 230601,China

1 引言

無人機(jī)低空遙感系統(tǒng)已成為人們?nèi)找骊P(guān)注的研究領(lǐng)域，廣泛應(yīng)用于精確打擊、軍事偵察、快速數(shù)字城市建模、災(zāi)害救急等國防和國民經(jīng)濟(jì)建設(shè)中[1-3]。由于獲取圖像時受到無人機(jī)飛行高度和相機(jī)焦距的限制，造成無人機(jī)影像像幅小，單張影像無法完全包含感興趣的區(qū)域[4]，為了得到更多目標(biāo)區(qū)域的信息，需要對無人機(jī)影像進(jìn)行鑲嵌。而無人機(jī)自身質(zhì)量較輕、氣流影響大，使其在空中的姿態(tài)很不穩(wěn)定，導(dǎo)致獲取的影像存在很大的畸變，這給無人機(jī)影像的鑲嵌造成很大的困難[5]。

本文首先介紹了無人機(jī)影像鑲嵌的關(guān)鍵問題，歸納了國內(nèi)外無人機(jī)影像鑲嵌的方法，重點(diǎn)闡述了基于對偶四元數(shù)的POS輔助空中三角測量的原理，并且展望了該方法的前景。

2 無人機(jī)影像鑲嵌問題的描述

影像鑲嵌是指不同影像幾何糾正到統(tǒng)一坐標(biāo)系下，去掉重疊部分拼接成具有地理信息的大幅面影像的過程，其主要步驟有：

（1）影像匹配：通過一定的匹配算法在兩幅或多幅影像之間識別同名點(diǎn)。主要有基于灰度的匹配和基于特征的匹配。

（2）幾何糾正：根據(jù)影像的內(nèi)方位、外方位元素與數(shù)字地面模型，利用相應(yīng)的構(gòu)像方程式，或按一定的數(shù)學(xué)模型用控制點(diǎn)解算，確定影像坐標(biāo)和地面坐標(biāo)之間的關(guān)系，從原始非正射投影的影像獲取正射影像，并將其歸化到統(tǒng)一的坐標(biāo)系中。常見的幾何糾正模型有多項(xiàng)式糾正、仿射變換糾正和共線方程糾正等。幾何糾正產(chǎn)生的誤差在很大程度上決定了鑲嵌的精度。

（3）亮度和反差調(diào)整：去掉重疊部分后“縫合”成為新的大視圖影像。由于影像之間存在灰度差異，會導(dǎo)致鑲嵌的影像出現(xiàn)接縫，需要對影像進(jìn)行色調(diào)調(diào)整。

3 無人機(jī)影像鑲嵌方法

3.1 多項(xiàng)式法

Yue Yujuan[6]基于SIFT特征匹配進(jìn)行影像拼接，在基于二次多項(xiàng)式對拼接后影像進(jìn)行幾何校正，均勻選取控制點(diǎn)20個左右校正后的檢查點(diǎn)中誤差為1.65 m，拼接結(jié)果與地形圖疊加目視效果良好。

3.2 卡爾曼濾波法

Fernando[7]等提出一種基于卡爾曼濾波的影像局部配準(zhǔn)方法，先通過基于特征的影像匹配和地形平坦的假設(shè)，計算影像的單應(yīng)性矩陣及其協(xié)方差矩陣，按照金字塔分級匹配的原理，逐步迭代求出精確的單應(yīng)矩陣，單應(yīng)矩陣的協(xié)方差作為一個參數(shù)傳到接下來的影像拼接中，從而減少漂移誤差的累計。算法優(yōu)化后每幅影像采樣點(diǎn)的位置同GPS數(shù)據(jù)對比，平均誤差為1.76 m。但是，該方法只試用于平坦地區(qū)的拼接。Cheng Xing[8]等提出一種改進(jìn)的卡爾曼濾波方法，再通過L-M算法進(jìn)行全局優(yōu)化，以修正重采樣影像的位置。局部優(yōu)化后檢查點(diǎn)中誤差由1.16 m減小到1.09 m，全局優(yōu)化后更降低至1.06 m。

3.3 基于SfM點(diǎn)云匹配的方法

Turner等[9]使用特征匹配和SfM攝影技術(shù)對無人機(jī)影像進(jìn)行幾何糾正和鑲嵌，先對影像進(jìn)行處理，得到模型空間的三維點(diǎn)云，再通過相機(jī)位置數(shù)據(jù)直接定位技術(shù)或者獲取精確的地面控制點(diǎn)（GCP）坐標(biāo)，將點(diǎn)云轉(zhuǎn)換到實(shí)際的地理坐標(biāo)系中，生成數(shù)字地面模型，最后將具有地理信息的影像進(jìn)行鑲嵌。通過量測地面控制點(diǎn)在鑲嵌后影像的平面坐標(biāo)，并與相應(yīng)點(diǎn)的GPS數(shù)據(jù)對比，地面控制點(diǎn)的平面位置最大殘差分別為1.2 m（直接定位技術(shù)）和0.15 m（GCP技術(shù)）。

3.4 傳統(tǒng)空中三角測量法

張永軍[10]采用傳統(tǒng)空中三角測量的方法，先對無人機(jī)影像進(jìn)行匹配，利用匹配獲得的同名點(diǎn)進(jìn)行相對定向，加入地面控制點(diǎn)和檢查點(diǎn)進(jìn)行區(qū)域網(wǎng)平差工作，利用平差以后的方位元素，將經(jīng)過密集影像匹配后的大量同名點(diǎn)進(jìn)行前方交會生成DEM，進(jìn)而采集對應(yīng)的正射影像。通過量測地面控制點(diǎn)在正射影像的平面坐標(biāo)，并與已知坐標(biāo)對比，地面控制點(diǎn)的平面誤差約為0.03 m。

3.5 POS輔助的空中三角測量法

傳統(tǒng)空中三角測量法精度較高，需要提供足夠數(shù)據(jù)的分布均勻的地面控制點(diǎn)。然而由于地面特征不明顯、人員無法到達(dá)，地面控制點(diǎn)的獲取往往比較困難甚至根本不可能。隨著全球定位技術(shù)和慣性導(dǎo)航技術(shù)的迅速發(fā)展，定位定向系統(tǒng)（Position&Orientation System，POS）能獲取攝站三維坐標(biāo)和姿態(tài)信息，POS系統(tǒng)是由差分全球定位系統(tǒng)（Difference Global Positioning System，DGPS）和慣性測量裝置（Inertial Measurement Unit，IMU）組合而成的，能夠?qū)崿F(xiàn)POS輔助的空中三角測量，同時減少或不需要地面控制點(diǎn)[11]。使用該方法對航空影像進(jìn)行實(shí)驗(yàn)，檢查點(diǎn)的平面誤差約為0.12 m[12]。

3.6 對偶四元數(shù)的POS輔助空中三角測量

龔輝[13]提出一種基于單位對偶四元數(shù)的航空影像區(qū)域網(wǎng)平差解算方法，將影像的攝站位置和姿態(tài)以一個單位對偶四元數(shù)整體表示，從而構(gòu)建基于對偶四元數(shù)的區(qū)域網(wǎng)平差模型，并采用具有約束條件的參數(shù)平差進(jìn)行解算。結(jié)果表明，該方法的平差精度與常規(guī)的區(qū)域網(wǎng)平差方法相當(dāng)，同時由于無需設(shè)置計算的初始參數(shù)，計算速度快，具有很好的適應(yīng)性和穩(wěn)定性。姬亭[14]按照不同傾角模擬影像數(shù)據(jù)，分別采用歐拉角法和對偶四元數(shù)法進(jìn)行實(shí)驗(yàn)，從定向精度和對不同傾角的適應(yīng)性進(jìn)行分析，對偶四元數(shù)算法具有明顯優(yōu)勢。因此，用對偶四元數(shù)進(jìn)行無人機(jī)影像統(tǒng)一的位姿描述，建立POS輔助的光束法平差模型，對進(jìn)一步提高無人機(jī)影像幾何定位的可靠性、穩(wěn)定性以及定位精度實(shí)現(xiàn)具有重要的理論意義。

4 對偶四元數(shù)的POS輔助空中三角測量原理介紹

4.1 POS輔助空中三角測量原理

帶POS系統(tǒng)的中心投影成像原理如圖1所示。若a在像平面坐標(biāo)系o-xy中的坐標(biāo)為(x，y)，對應(yīng)的地面點(diǎn)在以M為原點(diǎn)的物方坐標(biāo)系M-XYZ中的坐標(biāo)為(X，Y，Z)，航攝儀投影中心 S在 M-XYZ中的坐標(biāo)為(XS，YS，ZS)，則滿足共線方程：

圖1 帶POS系統(tǒng)的中心投影成像原理示意圖[11]

式中，f為航攝儀焦距，a1，a2，…，c3為旋轉(zhuǎn)矩陣 R的九個方向余弦。

由于GPS天線安裝過程中，天線相位中心不可能與航攝儀攝影中心完全重合，它們之間總存在著一個空間偏移，通常稱為偏心分量。若A在M-XYZ中的坐標(biāo)為(XA，YA，ZA)，偏心分量為(uA，vA，wA)，則：

同樣是由于安裝工藝上的限制，IMU與航攝儀不能完全平行而導(dǎo)致相應(yīng)坐標(biāo)軸存在微小的方向偏差，即偏心角。若IMU測定的航攝儀姿態(tài)角為 φ′，ω′，κ′，偏心角為 φI，ωI，κI，則：

式中 RIMU=Rφ′Rω′Rκ′，RB=RφJ(rèn)RωJRκJ。

4.2 對偶四元數(shù)POS輔助空中三角測量

設(shè)無人機(jī)影像位姿參數(shù)的對偶四元數(shù)[9]描述為：

則角方位元素可用對偶四元數(shù)的實(shí)部表示，線方位元素需以對偶四元數(shù)的實(shí)部和對偶部分共同表示：

將式（5）代入式（1）～（3）中，得到基于對偶四元數(shù)的POS輔助光束法區(qū)域網(wǎng)平差的基礎(chǔ)誤差方程，其矩陣形式可寫為：

式中 VX，VC，VG，VI和 LX，LC，LG，LI分別為像點(diǎn)坐標(biāo)、地面控制點(diǎn)坐標(biāo)、GPS攝站坐標(biāo)和IMU姿態(tài)角觀測值的改正數(shù)向量和殘差向量，PX，PC，PG，PI分別為各觀測值權(quán)矩陣；

x=[ΔX ΔY ΔZ]T為待定點(diǎn)坐標(biāo)未知數(shù)增量向量；t=[Δq0ΔqxΔqyΔqzΔr0ΔrxΔryΔrz]T為對偶四元數(shù)各分量增量向量；r=[Δu Δv Δw]T為偏心分量未知數(shù)增量分量；m=[ΔφIΔωIΔκI]T為偏心角未知數(shù)增量分量；Bx，Ax，AG，AI，R，M 為對應(yīng)的系數(shù)矩陣。

由于采用對偶四元數(shù)描述影像外方位元素，每張影像存在對偶四元數(shù)滿足的兩個約束條件：

對其線性化，可得約束條件方程為：

式中，

由于通過 R和(XS，YS，ZS)的對偶四元數(shù)統(tǒng)一求解可克服外方位元素之間的強(qiáng)相關(guān)性[13-15]，因此必將大大提高空中三角測量的解算精度。目前，利用對偶四元數(shù)進(jìn)行POS輔助空中三角測量仍在理論研究階段，仍需實(shí)驗(yàn)評價其精度。

5 結(jié)論與展望

（1）隨著控制技術(shù)、成像技術(shù)和計算機(jī)技術(shù)的發(fā)展，新的方法在不斷涌現(xiàn)，以下是仍然值得關(guān)注的問題：無人機(jī)易受到風(fēng)力等因素的干擾，對影像數(shù)據(jù)的獲取影響較大，需要增加硬件的穩(wěn)定性能；由于成本和飛行重量的限制，無人機(jī)攜帶的POS系統(tǒng)的精度需要進(jìn)一步提高，減少對地面控制點(diǎn)的依賴，以提升無人機(jī)影像鑲嵌的精度以及自動化程度；對于大數(shù)據(jù)量的無人機(jī)影像的高分辨率的快速處理仍然是一個研究的重點(diǎn)，處理大數(shù)據(jù)量的無人機(jī)遙感影像鑲嵌軟件研發(fā)也是一個亟待解決的問題。

（2）POS輔助空中三角測量無需或者只需少量控制點(diǎn)就能達(dá)到較高的精度，大大降低了野外工作量。由于對偶四元數(shù)描述影像的位置和姿態(tài)具有適應(yīng)性強(qiáng)的優(yōu)勢，利用對偶四元數(shù)建立POS輔助的空中三角測量模型，將是無人機(jī)影像鑲嵌的一個新的發(fā)展方向。

[1]Albert R，Andrea L，Jeffrey H，et al.Unmanned aerial vehicle-based remote sensing for rangeland assessment，monitoring and management[J].Journal of Applied Remote Sensing，2009，3（1）.

[2]賈嬌，艾海濱，張力，等.應(yīng)急響應(yīng)中PixelGrid無人機(jī)遙感數(shù)據(jù)處理的關(guān)鍵技術(shù)與應(yīng)用[J].測繪通報，2013（5）：62-65.

[3]吳亮，趙西安.基于DPGrid系統(tǒng)的無人機(jī)遙感數(shù)據(jù)處理試驗(yàn)[J].北京建筑工程學(xué)院學(xué)報，2013，29（1）：43-48.

[4]王琳.高精度、高可靠的無人機(jī)影像全自動相對定向及模型連接研究[D].北京：中國測繪科學(xué)研究院，2011.

[5]洪宇，龔建華，胡社榮，等.無人機(jī)遙感影像獲取及后續(xù)處理探討[J].遙感技術(shù)與應(yīng)用，2008，23（4）：98-102.

[6]Yue Yujuan，Li Dongliang，Li Ying，et al.Discussion on the mosaic and geometric correction technique of UAV remote sensing image[C]//The International Conference on Mechanic Automation and Control Engineering.Beijing，China：IEEE Computer Society，2010：4528-4530.

[7]Caballero F，Merino L，F(xiàn)erruz J，et al.Homography based kalman filter for mosaic building application to UAV position estimation[C]//International Conference on Robotics and Automation，Roma，Italy，2007.

[8]Xing Cheng，Wang Jinling，Xu Yaming.A robust method for mosaicking sequence images obtained from UAV[C]//2nd International Conference on Information Engineering and Computer Science，Wuhan，China，2010.[S.l.]：IEEE Computer Society，2010：1-4.

[9]Turner D，Lucieer A，Watson C.An automated technique for generating georectified mosaics from ultra-high resolution unmanned aerial vehicle imagery，based on Structure from Motion（SfM）point clouds[J].Remote Sensing，2012，4（5）：1392-1410.

[10]張永軍.無人駕駛飛艇低空遙感影像的幾何處理[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2009，34（3）：284-288.

[11]韓文超.基于POS系統(tǒng)的無人機(jī)遙感圖像拼接技術(shù)研究與實(shí)現(xiàn)[D].南京：南京大學(xué)，2011.

[12]袁修孝.POS輔助光束法區(qū)域網(wǎng)平差[J].測繪學(xué)報，2008，37（3）：342-348.

[13]龔輝，姜挺，江剛武，等.利用單位對偶四元數(shù)進(jìn)行航空影像區(qū)域網(wǎng)平差解算[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2012，37（2）：154-159.

[14]姬亭，盛慶紅.對偶四元數(shù)單片空間后方交會算法[J].中國圖象圖形學(xué)報，2012，17（4）：494-503.

[15]盛慶紅，姬亭，劉微微，等.對偶四元數(shù)線陣遙感影像幾何定位[J].中國圖象圖形學(xué)報，2012，17（10）.