基于無人機低空遙感的航拍圖像拼接方法

匡文元

（湖南省第一測繪院，湖南 長沙 410029）

0.引言

現(xiàn)代科技的快速發(fā)展使得計算機視覺技術(shù)成為新一代技術(shù)領(lǐng)域研究重點，此技術(shù)多應(yīng)用在高分辨率圖像的處理環(huán)節(jié)，雖然廣角鏡頭具有增強視野范圍的能力，可以在一定程度上滿足高分辨率大場景圖像的處理要求，但這種鏡頭所拍攝出來的圖像邊緣處易出現(xiàn)模糊畸形的問題。為保證圖像的分辨率與使用效果，需要對多個單張圖像進行處理后，拼接合成大場景圖像[1]。通過文獻(xiàn)分析可知，所謂的圖像拼接是指依照多個單張圖形中的重復(fù)場景，將其配準(zhǔn)為一幅寬視野的圖像。此種圖像處理技術(shù)在地質(zhì)測繪以及微小圖像處理等多個領(lǐng)域均得到廣泛應(yīng)用，其中使用率較高的為無人機遙感系統(tǒng)，此系統(tǒng)可深入到較為危險的地帶進行航拍，但無人機遙感中使用的相機受拍攝高度與光照強度的影響，其采集到的圖像信息較為有限。為獲取拍攝區(qū)域的全部圖像，需要將獲取到的圖像進行拼接。為此，開展無人機遙感航拍圖像的拼接研究具有重要的現(xiàn)實意義。

由于無人機遙感航拍圖像與普通圖像差距較大，其在圖像的拍攝過程中由于外界環(huán)境的影響，造成相鄰的兩張圖像亮度與形狀具有一定的差異，所以使用常見的圖像拼接方法是無法完成航拍圖像的拼接工作的。圖像配準(zhǔn)對于圖像拼接效果具有重要影響，使用不同的配準(zhǔn)方法對圖像拼接效果具有直接的影響。當(dāng)前的航拍圖像拼接方法對圖像特征點配準(zhǔn)技術(shù)的選擇較為落后，導(dǎo)致圖像拼接結(jié)果異常且誤差較大。針對此問題，本次研究將提出一種新型航拍圖像拼接方法，提高圖像拼接穩(wěn)健性，保證拼接效率與準(zhǔn)確性。

1.基于無人機低空遙感的航拍圖像拼接方法設(shè)計

1.1 無人機低空遙感航拍圖像預(yù)處理

航拍圖像在獲取過程中易受到無人機自身與外界環(huán)境的影響，雖然無人機在組裝過程中可增加多種穩(wěn)定性的設(shè)備，但其自身重量較輕，抗干擾能力較差，在實際拍攝過程中，其飛行姿態(tài)與相機選型結(jié)果無法抵御外界環(huán)境的干擾，導(dǎo)致拍攝目標(biāo)的位置發(fā)生畸變，甚至重影。因此，在本次研究中設(shè)定了航拍圖像的預(yù)處理環(huán)節(jié)，對原始圖像進行幾何校正[2]。具體校正過程（如圖1所示）：

圖1 航拍圖像幾何校正過程

根據(jù)圖1中內(nèi)容完成圖像校正過程后，手動選擇控制點，結(jié)合地理定位，對控制點位置進行校正處理，而后，計算得到控制點坐標(biāo)參數(shù)，根據(jù)此參數(shù)構(gòu)建坐標(biāo)轉(zhuǎn)換模型，并對圖像進行灰色處理，生成待預(yù)處理圖像。選用中值濾波技術(shù)確定濾波窗口A的大小，在此窗口中完成圖像像素排序，用序列中的中位數(shù)代替圖像中心處灰度值。設(shè)定（g，h）為窗口A的中心點，a為中心點灰度值；（g，h）為A中的像素坐標(biāo)；f為未經(jīng)過濾波的圖形序列，則此排序過程可整理為a（x，y）＝median｛（fg，h），（g，h）∈A｝，為實現(xiàn)此排序過程，將其約束條件設(shè)定為：median｛w（b）＋v（b） ｝≠median｛w（b）｝＋median｛v（b）｝，w（b）、v（b）分別為面積為b的兩幅圖像。如果圖像中的噪聲值大于圖像像素中的二分之一，則使用小波變換技術(shù)對此圖像進行處理，避免圖像失真。在圖像濾波后，可能會出現(xiàn)圖像信息缺失的問題，使用三次卷積插值法對其進行處理。假設(shè)圖像中的點C坐標(biāo)為（i，j），則其周圍的像素點可按照此原理進行設(shè)定，D（i－1，j＋1）、E（i－1，j－2）、F（i＋2，j－2）、G（i＋a，j＋b）、H（i＋2，j＋1），G點中的未知項可通過灰度值計算獲取，具體如公式（1）所示：

式（1）中，S＝［Q（1＋a），Q（a），Q（1－a），Q（2－a）］，

K＝［Q（1＋b），Q（b），Q（1－b），Q（2－b）］T，Q（x）為卷積差值權(quán)重，使用此公式對圖像中的未知點坐標(biāo)進行補充，并由此完成圖像預(yù)處理部分。

1.2 圖像特征點配準(zhǔn)處理

提取處理后圖像的特征點，使用此部分特征點對圖像的關(guān)鍵信息進行配準(zhǔn)。首先使用尺度空間函數(shù)[3]對候選特征點進行坐標(biāo)信息擬合，將特征點H(x,y,φ)轉(zhuǎn)化為；根據(jù)轉(zhuǎn)化后的特征點，得到原始圖像的極值點，并對x值進行求導(dǎo)，得到導(dǎo)數(shù)為0時的特征點位置。在此部分計算完成后可得到特征點的位置以及相關(guān)的尺度信息，為提升配準(zhǔn)精度，使用Hessian矩陣進行邊緣點篩除，具體計算過程如公式（2）所示：

式（2）中，Nxx為航拍圖像在不同方向上的二階導(dǎo)數(shù)。假設(shè)公式（2）中的最小特征值為η，最大的特征值為λ由此如公式（3）所示：

將獲取到的特征點自動生成配準(zhǔn)中的控制點，再把得到的控制點結(jié)合最小二乘網(wǎng)絡(luò)，實現(xiàn)特征點的配準(zhǔn)處理，同時將配準(zhǔn)結(jié)果作為航拍圖像拼接的基礎(chǔ)。

1.3 航拍圖像拼接算法設(shè)定

根據(jù)上文中設(shè)定的相關(guān)內(nèi)容，在本環(huán)節(jié)中設(shè)定航拍圖像拼接算法，完成圖像處理全過程。在對多種拼接算法進行分析后，選擇Hough變換技術(shù)[4，5]作為本次研究中的核心算法。根據(jù)此技術(shù)檢測圖像空間中的圖形是否重疊或模糊，從而提升圖像拼接效果。

在圖像中構(gòu)建直角坐標(biāo)系，其中的直線可用方程表示，如公式（4）所示：

式（4）中，?為此直線的斜率；γ為此線段在空間坐標(biāo)y軸上的斜率，則公式（4）可改寫為γ＝－?x＋y的形式。根據(jù)改寫后的形式可確定直線方程在真實的空間坐標(biāo)系中也為一條直線。由上述計算過程可知，圖像二維空間中的一點（x1，y1）對應(yīng)參數(shù)空間中的一條直線，兩者可進行互換，根據(jù)此原理可實現(xiàn)二維空間與真實參數(shù)空間的變換，具體過程（如圖2所示）：

圖2 圖像空間與真實空間變換過程

根據(jù)圖2變換過程，將圖像空間坐標(biāo)與真實空間坐標(biāo)對應(yīng)處理，實現(xiàn)圖像空間轉(zhuǎn)換。同時，運用Hough變換技術(shù)對特征點配準(zhǔn)結(jié)果進行初步提純，剔除配準(zhǔn)過程中出現(xiàn)的誤匹配特征點對。在圖像拼接的過程中，減少計算過程中的迭代次數(shù)，更加快速地得到圖像變換矩陣，完成圖像匹配過程。

對上文中的設(shè)計內(nèi)容進行整理，其中的計算部分需要在多核處理器計算機中完成，以此保證計算結(jié)果的可靠性。其余設(shè)定部分，按照圖像處理先后順序融入到當(dāng)前圖像拼接方法中。至此，基于無人機低空遙感的航拍圖像拼接方法設(shè)計完成。

2.實驗論證分析

在上文中完成了基于無人機低空遙感的航拍圖像拼接方法的理論設(shè)計部分，為確定此方法的研究價值，采集實驗圖像，驗證此方法使用效果。

2.1 實驗環(huán)境設(shè)定

本次實驗中圖像的拍攝地點均為某工業(yè)園區(qū)內(nèi)，在不同拍攝高度、不同拍攝角度以及不同光照條件下完成拍攝過程，使圖像存在不同程度的差異，以測試文中設(shè)計拼接方法的使用性能。拍攝高度100m時所得圖像，拍攝對象為住宿區(qū)以及周邊建筑（如圖3所示）。在較強的光照條件下，按照預(yù)設(shè)角度獲取圖像，使圖像存在較大色彩差異與圖像差異。拍攝高度為150m時所得圖像，此圖像拍攝目標(biāo)為圖書館，周圍建筑物相對較多，在光照強度較弱的條件下進行拍攝，圖像無明顯色彩，但存在一定的視覺差異（如圖4所示）：

圖3 強光條件下100米拍攝高度所得圖像

圖4 弱光條件下150米拍攝高度所得圖像

將圖3、圖4作為本次實驗中的拼接對象，用新型圖像拼接方法、經(jīng)典SIFT拼接方法、APAP拼接方法對圖形進行拼接處理，并對比上述四種方法使用效果。

2.2 強光條件下圖像拼接分析

使用預(yù)設(shè)的實驗環(huán)境與方法，完成實驗拼接過程。在實驗結(jié)果輸出過程中，將拼接結(jié)果顯示在左側(cè)，圖像局部細(xì)節(jié)放大后顯示在右側(cè)，以此對拼接結(jié)果進行細(xì)致地分析。強光條件下圖像拼接結(jié)果（如圖5所示）：

圖5 強光條件下圖像拼接結(jié)果

在上述實驗結(jié)果中，（b）組經(jīng)典SIFT拼接方法在使用后出現(xiàn)接縫較為突出且部分建筑錯位。（c）組APAP拼接方法的圖像配準(zhǔn)精度相對較高，但在圖像拼接后存在2處誤差，且存在細(xì)微的拼接縫隙。在（a）組新型拼接方法使用后，其圖像拼接配準(zhǔn)度較高，沒有出現(xiàn)模糊或拼接縫隙的問題。綜合上述實驗結(jié)果可以看出，在低拍攝高度、強光條件下新型圖形拼接方法的使用效果較好。

2.3 弱光條件下圖像拼接分析

根據(jù)強光條件下圖像拼接實驗圖像輸出設(shè)定，完成弱光條件下圖像拼接分析過程，實驗圖像（如圖6所示）：

圖6 弱光條件下圖像拼接結(jié)果

在處理此部分圖像時，（b）組經(jīng)典SIFT拼接方法在使用后圖像中的建筑物出現(xiàn)了嚴(yán)重的拼接問題，圖像的重疊部分出現(xiàn)了小幅度的位移。（c）組APAP拼接方法使用后，在一些細(xì)節(jié)部分存在誤差，但保持了圖像的原形狀。上述兩種方法在使用后均存在相應(yīng)的問題，與這兩種方法相比，（a）組的新型圖像拼接方法使用后保證了圖像的完整性，且并未出現(xiàn)拼接異常。將此實驗結(jié)果與強光條件下圖像拼接結(jié)果進行綜合處理可以發(fā)現(xiàn)，在不同的拍攝高度與光照情況下，新型圖像拼接方法均可完成圖像的配準(zhǔn)，保證圖像的圖形穩(wěn)定性。

2.4 圖像拼接均方根誤差分析

除上述圖像細(xì)節(jié)對比外，在本次實驗中為了客觀評價不同圖像拼接方法的使用效果，使用均方根誤差對圖像拼接后誤差展開計算，計算如公式（5）所示：

式（5）中，f為圖像變換矩陣；｛ai,a′i｝ni=1為已完成配準(zhǔn)的特征點。根據(jù)以往研究可知，當(dāng)圖像特征點配準(zhǔn)率越高時，對應(yīng)的R值取值結(jié)果越小，圖像拼接效果越好。此實驗環(huán)節(jié)統(tǒng)計了上述實驗中的均方根誤差值，并對其進行5次計算，具體計算結(jié)果（如表1所示）。為了便于分析，將三種圖像拼接方法的R值取值結(jié)果分別記為Ra、Rb、Rc，與圖像拼接結(jié)果組別相對應(yīng)。

表1 圖像拼接均方根誤差計算結(jié)果

為了更好地對圖像拼接結(jié)果進行分析，使用上述數(shù)據(jù)對不同圖像拼接方法的拼接誤差進行分析。由上述數(shù)據(jù)可知，在實驗選定的三種方法中，新型圖像拼接方法在兩種圖像的拼接中誤差值較低，說明此方法配準(zhǔn)度相對較高，圖像拼接效果較好。APAP拼接方法計算結(jié)果與新型圖像拼接方法的100m拍攝高度所得圖像均方根誤差計算結(jié)果較為接近，但其對150m拍攝高度所得圖像拼接效果較差，誤差計算結(jié)果與新型方法相差較大。經(jīng)典SIFT拼接方法使用后所得誤差值為三種方法中最高，可見此方法使用效果為三種方法中最差。綜合上述計算結(jié)果可知，新型圖像拼接方法配準(zhǔn)度最好，使用效果較好。

2.5 實驗結(jié)果討論與分析

無人機遙感航拍圖像拼接技術(shù)作為計算機視覺圖像處理技術(shù)中的重點，已經(jīng)廣泛地應(yīng)用到現(xiàn)實生活中的諸多領(lǐng)域。本次研究提出了一種新型方法，并對其進行大量的實驗分析，驗證了此方法的優(yōu)越性。在本次實驗中通過兩組不同的圖像對文中提出的新型航拍圖像拼接方法進行應(yīng)用分析。經(jīng)過多種方法對比可以看出，新方法的圖像拼接能力與圖像特征點配準(zhǔn)度均高于當(dāng)前使用方法。在日后的無人機圖像處理過程中可將此方法作為圖像拼接處理過程中的主要方法，為后續(xù)圖像應(yīng)用環(huán)節(jié)提供較為完整的大場景圖像。

3.結(jié)束語

隨著計算機技術(shù)的不斷發(fā)展，無人機遙感技術(shù)的應(yīng)用范圍逐漸擴大，為提升其圖像處理效果，在本次研究中提出了一種新型圖像拼接方法，經(jīng)實驗證實，此方法的使用效果較好，可應(yīng)用在實際圖像處理過程中。但由于技術(shù)的限制，在部分環(huán)節(jié)無法對其進行全面、完整地闡述，在日后的研究中還應(yīng)對其進行完善與優(yōu)化，以此保證此方法的使用效果符合未來無人機航拍領(lǐng)域的發(fā)展方向。