含噪無人機圖像拼接方法

黃旭龍，楊曉梅

(四川大學(xué) 電氣工程學(xué)院，四川 成都 610065)

0 引 言

在實際工程應(yīng)用中，由于受限于地面空間環(huán)境和設(shè)備器材的限制，使用相機無法近距離拍攝全景圖像，這時就需要通過無人機圖像拼接技術(shù)將多幅局部圖像拼接融合為一幅全景大圖像[1-3]。但由于無人機在空中極易受到雨水、霧霾和光照等自然環(huán)境的不良影響，致使拍攝圖像包含大量干擾噪聲[4]。這些含噪無人機圖像無法真實和全面反映拍攝對象細(xì)節(jié)信息，進而使待拼接圖像的質(zhì)量大大降低，拼接后圖像極易產(chǎn)生畸變現(xiàn)象[5]，這對無人機圖像拼接方法提出了更高的要求。

含噪無人機圖像拼接方法主要由圖像預(yù)處理、圖像配準(zhǔn)、圖像融合3部分組成[6]。在圖像預(yù)處理部分，Storath M等[7]運用中值濾波進行圖像去噪處理，該方法易破壞圖像銳角、線段等細(xì)節(jié)信息。蘆碧波等[8]將經(jīng)典的全變分(TV)模型運用在去噪處理中，雖能有效去除噪聲，但圖像易出現(xiàn)階梯效應(yīng)。為消除TV模型的階梯效應(yīng)，學(xué)者們提出了眾多TV改進模型[9,10]。近些年來，歐拉彈性曲率正則項被廣泛應(yīng)用在醫(yī)學(xué)圖像分割[11]、重建[12]與修復(fù)[13]中，并取得較好的結(jié)果。圖像配準(zhǔn)是將多幅圖片進行匹配和對齊的過程。尺度不變特征轉(zhuǎn)換(SIFT)算法[14]因其具有良好的魯棒性被廣泛應(yīng)用于圖像配準(zhǔn)，但運算時間較長。唐宏偉等[15]將加速穩(wěn)健特征(SURF)算法運用在圖像配準(zhǔn)中，算法配準(zhǔn)效果較好，運算速度有所提升。在圖像融合部分，文獻[16]使用直接平均融合法進行圖像融合，圖像拼接處易出現(xiàn)縫隙。文獻[17]將加權(quán)思想引入直接平均融合法中，有效實現(xiàn)了圖像無縫融合。

在前人研究的基礎(chǔ)上，針對傳統(tǒng)拼接方法對含噪無人機圖像無法進行有效拼接的問題，本文提出了一種基于歐拉彈性模型與SURF算法的含噪無人機圖像拼接方法。將歐拉彈性模型運用在圖像預(yù)處理環(huán)節(jié)進行去噪處理，并運用離散梯度法進行求解；再通過SURF算法和RANSAC算法進行圖像配準(zhǔn)，最后使用加權(quán)平均融合算法實現(xiàn)圖像的無縫拼接。

1 圖像預(yù)處理

為了有效實現(xiàn)對含噪無人機圖像的去噪處理，我們在圖像預(yù)處理環(huán)節(jié)中引入歐拉彈性曲率正則項，提出了歐拉彈性去噪模型，并對模型進行有效地求解。

1.1 歐拉彈性模型的引入

圖像去噪的核心思想是通過最小化能量泛函V(u) 對含噪聲的輸入圖像g∈Ω進行去噪處理，進而輸出去噪后圖像u∈Ω

(1)

對于經(jīng)典的全變分(TV)模型，就是在式(1)中使用TV正則項JTV(u)， TV正則項表示為

(2)

由于TV模型只是在像素點的兩個正交方向擴散，這樣處理易產(chǎn)生虛假邊緣的現(xiàn)象，即階梯效應(yīng)。為解決TV模型的階梯效應(yīng)，我們引入基于歐拉彈性曲率的全變分正則化方法，提出了歐拉彈性去噪模型。

1744年，歐拉在研究自由旋轉(zhuǎn)細(xì)棒的穩(wěn)態(tài)時首次提出曲線能量的概念，其曲線能量方程可表示為[18]

(3)

通過在TV正則項上增加了一個歐拉彈性曲率相關(guān)項，將曲線能量方程與TV正則項結(jié)合，提出了歐拉彈性模型。通過曲率項對圖像的水平集曲率進行約束，以達(dá)到保持圖像紋理曲率的連通性，使圖像紋理更加符合視覺直觀感受，消除階梯效應(yīng)。歐拉彈性模型可以表示為

(4)

其中，參數(shù)a對應(yīng)最小化梯度項，參數(shù)b對應(yīng)最小化曲率項。c表示函數(shù)是連續(xù)的。

梯度項與曲率項的物理意義分別對應(yīng)圖像邊緣的縱向和橫向信息，歐拉彈性模型充分利用了圖像邊緣的縱向信息和橫向信息。通過設(shè)置參數(shù)a和b來平衡這兩項，以消除階梯效應(yīng)和避免圖像的過渡平滑，更好地保留無人機圖像的細(xì)節(jié)紋理信息。

1.2 歐拉彈性模型的離散化

上文所提歐拉彈性模型是光滑連續(xù)函數(shù)，這不利于對模型的求解。為了方便后續(xù)對模型的求解，我們需先對模型式(4)進行離散化處理。因此，我們采取在交錯網(wǎng)格上運用有限差分的方法對式(4)進行離散化處理，交錯網(wǎng)格形式如圖1所示。

圖1 交錯網(wǎng)格

在交錯網(wǎng)格上，式(4)的保真項可離散化為

(5)

在交錯網(wǎng)格上，對式(4)的歐拉彈性正則項進行離散化處理，具體步驟如下：

(1)對梯度項G(u) 進行離散化處理

G(u) 可近似為向后差分，離散化梯度項表示為

(6)

(2)對曲率項C(u) 進行離散化處理

(7)

其中

(8)

(9)

(10)

(11)

將上訴式(5)～式(7)相結(jié)合，則離散化歐拉彈性模型可表示為

(12)

1.3 離散化歐拉彈性模型的求解

對離散化歐拉彈性模型的求解核心是通過最小化泛函(12)求解去噪后圖像u，我們通過離散梯度法[19]實現(xiàn)最小化V(u) 函數(shù)，形式如下

(13)

其中，τk>0是第k次迭代的步長，為了精確定義和方便計算式(13)的離散梯度，我們引入Itoh-Abe離散梯度，其定義為

(14)

其中，ej表示第j個標(biāo)準(zhǔn)基向量。

這種離散梯度是無導(dǎo)數(shù)的，便于運算。將式(14)代入式(13)中可得

(15)

(1)輸入u0∈Rn,τ>0,tol>0,k=0；

(4)重復(fù)(3)步驟，直到j(luò)=n；

(6)重復(fù)(2)～(5)步驟，直到(V(uk)-V(uk-1))/V(u0)

(7)輸出uk。

2 圖像配準(zhǔn)

為了更加精確地進行圖像信息配準(zhǔn)，本文使用基于圖像特征信息的SURF算法對經(jīng)歐拉彈性模型去噪后的無人機圖像進行特征點提取、描述與匹配，該算法可快速準(zhǔn)確地實現(xiàn)無人機圖像的配準(zhǔn)。

2.1 特征點提取

特征點提取的核心思想就是依據(jù)一定圖像信息準(zhǔn)則去尋找圖像局部相似點。使用Hessian矩陣可對圖像局部斑點進行有效檢測，所以將Hessian矩陣作為檢測特征點的準(zhǔn)則。

(1)基于Hessian矩陣的特征點檢測

基于SURF算法對特征點提取的關(guān)鍵點是通過使用Hessian矩陣進行特征點的檢測。通過計算圖像的Hessian矩陣判別式值(H值)，選擇H值大于零的像素點作為局部極值點。其中Hessian矩陣定義為

(16)

其中，Lxx(I,σ),Lxy(I,σ),Lyy(I,σ) 是圖像在I(x,y) 點和高斯二階偏導(dǎo)數(shù)的二維卷積，σ為尺度。

為了進一步加快計算速度，算法使用盒式濾波器代替高斯濾波器，形式如圖2所示。同時，引入積分圖像[20]的概念進一步實現(xiàn)對卷積運算的加速。則此時Hessian矩陣判別式為

圖2 高斯二階微分濾波與盒式濾波器對照

ΔH=Dxx(x)Dyy(x)-(0.9Dxy(x))2

(17)

其中，Dxx(x)、Dyy(x) 和Dxy(x) 是圖像在I(x,y) 點和盒式濾波器的二維卷積。

在圖2中，從左至右分別表示x方向、y方向與xy方向的高斯二階微分濾波與其對應(yīng)的盒式濾波器，圖中黑白灰3種顏色分別代表不同的權(quán)重。在x方向和y方向的盒式濾波器上，黑塊小方塊表示的權(quán)重值為-2，白色小方塊表示的權(quán)重值為1，灰色小方塊表示不含權(quán)重。在xy方向的盒式濾波器上，黑塊小方塊表示的權(quán)重值是-1，白色小方塊表示的權(quán)重值為1，灰色小方塊表示不含權(quán)重。

(2)基于非極大值抑制的特征點確定

通過將尺寸逐漸增大的盒式濾波器與原圖像進行卷積運算，生成不同尺度值(σ值)的尺度空間。在不同尺度空間進行基于Hessian矩陣的特征點檢測，選出不同尺度空間下的圖像局部極值點。

為了篩選出具有代表性的特征點，對這些局部極值點進行非極大值抑制。其非極大值抑制的具體過程為：將上述檢測的每個局部極值點與其在所尺度空間以及上下相鄰尺度空間上的 26 個鄰近像素點(即以該點為中心的3×3×3立體鄰域)相比較，倘若該局部極值點是其鄰域26個點的最大值或最小值，則該局部極值點就是我們所提取的特征點。

2.2 特征點描述

為了后續(xù)對特征點進行匹配，算法根據(jù)特征點鄰域內(nèi)梯度方向分布特征對提取出的特征點進行特征描述。

為實現(xiàn)描述子對圖像的旋轉(zhuǎn)不變性，需先對圖像特征點的主方向進行確定。對以特征點為中心，半徑為6σ的每60°扇形內(nèi)的所有像素點在水平和垂直方向的Haar小波響應(yīng)矢量進行累加，選擇長度最長的矢量的方向作為特征點主方向。

特征點主方向確定后，再賦予每個特征點以相應(yīng)的特征描述子。將以特征點為中心、邊長為20σ的正方形圖像區(qū)域均勻分為4×4=16個子塊，然后計算每個子塊所含的5σ×5σ個像素點相對特征點主方向的∑dx、 ∑|dx|、 ∑dy和∑|dy|， 進而賦予每個特征點一個16×4=64維的特征描述子。

2.3 特征點匹配

通過上述步驟已完成對圖像特征點的提取與描述，為了反映兩幅圖像之間的相似點，需要對特征點進行匹配。

本文通過運用基于歐氏距離的最近鄰方法分別求出特征點之間距離最近的點與距離次近的點，再計算兩者的比值，通過將該比值與設(shè)定閾值比較來判斷特征點是否匹配。如果該比值小于我們設(shè)定的閾值，則判定這兩個特征點匹配。反之，則判定這兩點不匹配。

為了進一步減少錯誤匹配的情況，我們引入隨機抽樣一致性(RANSAC)算法[21]對錯誤匹配點進行剔除。RANSAC算法的主要思想是利用包含錯誤匹配特征點對的所有匹配特征點對樣本集，通過反復(fù)測試與迭代，計算出數(shù)據(jù)集的數(shù)學(xué)模型的參數(shù)，進而剔除數(shù)據(jù)樣本集中錯誤匹配的特征點對。

3 圖像融合

圖像融合是含噪無人機圖像拼接的最后一步，將經(jīng)特征點匹配后的兩幅圖合成一幅完整圖像。

因為無人機航拍時受環(huán)境光線影響致使拍攝曝光度不同，拍攝圖像之間往往存在亮度差異。為消除拼接后圖像出現(xiàn)的明顯拼接痕跡，我們使用加權(quán)平均融合算法實現(xiàn)兩幅圖像的無縫拼接。

加權(quán)平均融合算法的主要思想是對兩幅圖像的像素值分別進行加權(quán)再融合。其模型公式為

(18)

其中，w1和w2是圖像重疊區(qū)域像素的權(quán)值，且w1+w2=1, 0

圖3 權(quán)值變化

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)與參數(shù)設(shè)置

實驗與仿真均在Intel i5-2400 2.1-GHz的個人計算機，MATLAB 2016b軟件環(huán)境下進行。實驗數(shù)據(jù)選則分辨率640×480，重復(fù)區(qū)域占比分別為0.17與0.24的航拍街景圖，分辨率640×480，重復(fù)區(qū)域占比分別為0.47與0.53的航拍風(fēng)景圖，分辨率640×480，重復(fù)區(qū)域占比分別為0.83與0.87的航拍河流圖，如圖4所示。

圖4 原始待拼接

經(jīng)反復(fù)實驗調(diào)參，歐拉彈性模型中常量a和b分別設(shè)置為0.5和0.1，此時圖像去噪效果最好；離散梯度法的相關(guān)參數(shù)設(shè)置為：ε=10-4,tol=10-6,τ0=0.05/b=0.5。 特征點匹配中比較閾值設(shè)置為0.56，此時特征點的匹配正確率最高。本文拼接方法流程如圖5所示。

圖5 本文拼接方法流程

4.2 方法評價指標(biāo)

針對特征點匹配的準(zhǔn)確性，本文使用一種相對客觀的匹配正確率(CMR)來評價特征點匹配的正確率

(19)

針對圖像質(zhì)量的好壞，本文選擇峰值信噪比(PSNR)作為評價圖像重建質(zhì)量的標(biāo)準(zhǔn)

(20)

4.3 無噪聲圖像拼接實驗

我們分別使用SIFT算法和SURF算法對原始待拼接圖4 進行拼接，具體結(jié)果見表1。

表1 基于SIFT算法與SURF算法的圖像拼接比較

由表1可知，SURF算法提取的圖像特征點數(shù)與匹配數(shù)雖遠(yuǎn)小于SIFT算法的，但其特征點匹配正確率要更高，且算法時間大大縮短。因此，我們選擇SURF算法作為無人機圖像配準(zhǔn)的方法。

4.4 噪聲對圖像拼接的影響

為了后續(xù)可以直觀觀察對比拼接結(jié)果，先使用SURF算法對原始無噪聲待拼接圖4進行拼接處理，將拼接結(jié)果作為對比參考圖，如圖6所示。

圖6 原始無噪聲圖像拼接結(jié)果

我們在原始待拼接圖4中分別加入信噪比為10 dB的椒鹽噪聲和信噪比為10 dB的高斯噪聲，再直接運用SURF算法分別對含噪聲進行拼接處理，拼接結(jié)果如圖7和圖8所示，具體結(jié)果見表2。

圖7 含10 dB椒鹽噪聲圖像的拼接結(jié)果

圖8 含10 dB高斯噪聲圖像的拼接結(jié)果

表2 基于SURF算法的含噪圖像拼接結(jié)果

通過圖6、圖7和圖8可直觀看出，SURF算法對含信噪比為10 dB的椒鹽噪聲與高斯噪聲的無人機圖像拼接結(jié)果存在明顯的畸變現(xiàn)象。尤其當(dāng)拼接圖像的相似結(jié)構(gòu)較多時(如圖4(c)河流圖)，其拼接結(jié)果的畸變現(xiàn)象尤為明顯。

由表1與表2可知，相比于SURF算法對無噪聲圖像的拼接，對含噪圖像的拼接處理易產(chǎn)生較多無用或錯誤的特征點，同時總體的特征點匹配數(shù)量減少近一半，CMR也略微下降，算法耗時增多。

4.5 基于本文算法對含噪聲圖像的拼接實驗

我們使用本文所提算法分別對含信噪比為10 dB的椒鹽噪聲和高斯噪聲的無人機圖像進行拼接處理，其結(jié)果如圖9和圖10所示。

圖9 基于本文算法對含10 dB椒鹽噪聲圖像的拼接結(jié)果

圖10 基于本文算法對含10 dB高斯噪聲圖像的拼接結(jié)果

通過圖7～圖10可直觀看出，本文算法可有效抑制噪聲對無人機圖像拼接的影響，消除因噪聲所導(dǎo)致的拼接畸變的現(xiàn)象。通過圖6、圖9和圖10可直觀看出，本文算法對含噪無人機圖像的拼接效果和無噪聲無人機圖像拼接效果基本一致，本文算法可有效恢復(fù)拼接圖像的細(xì)節(jié)紋理信息，提高無人機圖像拼接的準(zhǔn)確性。

我們分別運用中值濾波+SURF算法(MF-S)、TV+SURF算法(TV-S)和本文提出的基于歐拉彈性模型與SURF算法的圖像拼接方法(EE-S) 對含信噪比為10 dB的椒鹽噪聲的無人機圖像和含信噪比為10 dB的高斯噪聲的無人機圖像進行拼接處理，具體結(jié)果見表3～表5。

表3 基于不同算法的含噪街景圖像拼接結(jié)果

表4 基于不同算法的含噪風(fēng)景圖像拼接結(jié)果

表5 基于不同算法的含噪河流圖像拼接結(jié)果

由上述表格可知，相比于參考方法，EE-S算法提取的特征點個數(shù)更少。表明本文算法提取的特征點個數(shù)能更接近于對無噪聲圖像進行特征點提取的個數(shù)，能有效避免對含噪無人機圖像特征點提取結(jié)果中往往存在較多無用或錯誤的特征點的現(xiàn)象。EE-S算法的特征點匹配數(shù)比參考方法的要小，但CMR數(shù)值普遍比參考方法的略高。表明本文算法能有效提高正確匹配的特征點對數(shù)，使拼接更加精準(zhǔn)，消除拼接畸變現(xiàn)象。同時，EE-S算法的PSNR值也有明顯的提高，表明本文算法可有效提高拼接圖像質(zhì)量，尤其在對含椒鹽噪聲圖像進行拼接時，能大幅度改善拼接圖像質(zhì)量，進而改善無人機圖像拼接效果。

我們在易受噪聲影響而產(chǎn)生明顯畸變現(xiàn)象的河流無人機圖(圖4(c))中分別加入信噪比為5 dB的椒鹽噪聲與信噪比為5 dB的高斯噪聲，再分別運用MF-S算法、TV-S算法和本文提出的EE-S算法進行拼接處理，其具體結(jié)果建見表6。

表6 基于不同算法的含噪河流圖像拼接結(jié)果

由表5和表6可知，相比于參考算法，當(dāng)無人機航拍圖像在更大噪聲的污染下，本文算法可更有效地提取待拼接圖像的體征點，同時正確匹配特征點個數(shù)更多，拼接圖像質(zhì)量也有明顯的提高，尤其對含椒鹽噪聲的無人機圖片，其效果更明顯。本文算法可較好實現(xiàn)對含大量噪聲的無人機圖像進行有效、精準(zhǔn)的拼接處理，極大改善拼接圖像質(zhì)量。

5 結(jié)束語

針對無人機航拍過程中，受拍攝環(huán)境中光照、陰雨等不確定因素的影響，進而使拍攝圖像易受到大量噪聲的干擾，導(dǎo)致含大量噪聲的無人機圖像通過傳統(tǒng)拼接算法的拼接結(jié)果易出現(xiàn)畸變現(xiàn)象，無法獲得精準(zhǔn)、高質(zhì)量的無人機全景拼接圖像。

本文提出了一種基于歐拉彈性模型與SURF算法的含噪無人機圖像拼接方法，將歐拉彈性能量模型運用在圖像預(yù)處理環(huán)節(jié)，充分利用圖像紋理的縱向信息和橫向信息對圖像進行有效地去噪處理，然后通過SURF算法進行特征點的提取、描述與匹配，并通過RANSAC算法進一步去除錯誤特征匹配點，最后通過加權(quán)平均融合算法實現(xiàn)對無人機圖像的無縫拼接。

實驗結(jié)果表明，本文所提方法對含大量椒鹽噪聲、高斯噪聲的圖像具有較強地抑制噪聲的能力，可顯著恢復(fù)圖像的細(xì)節(jié)紋理信息，能有效消除因復(fù)雜環(huán)境因素所產(chǎn)生的含大量噪聲無人機圖像的拼接畸變現(xiàn)象，實現(xiàn)對含大量噪聲的無人機圖像的有效拼接，提高無人機圖像拼接的精準(zhǔn)性與最終拼接圖像的質(zhì)量。具有一定的研究意義與實用價值。