基于SIFT算法的無人機煙株圖像快速拼接方法

張富貴，付 靜，孟 輝，孫校荷

(貴州大學(xué) 機械工程學(xué)院,貴州 貴陽 550025)

無人機由于體積小，攜帶方便，不易受地面環(huán)境影響，受到了國內(nèi)外研究者的青睞。他們將無人機技術(shù)應(yīng)用于許多研究領(lǐng)域，其中無人機圖像拼接技術(shù)已成為國內(nèi)外研究的熱點。由于受到山區(qū)復(fù)雜地形和不規(guī)則地塊的影響，普通攝像機不能在短距離內(nèi)將一些場景全部記錄下來。大圖像有利于野外觀察和數(shù)據(jù)存儲，在農(nóng)業(yè)領(lǐng)域發(fā)揮著重要作用。因此，有必要借助無人機圖像拼接技術(shù)將多個圖像組合成全景圖。

圖像拼接技術(shù)的核心部分是圖像配準，關(guān)系到圖像拼接的質(zhì)量[1]。目前無人機圖像配準技術(shù)主要是基于特征點匹配的方法[2]，該方法利用圖像中提取到的局部特征進行匹配，其關(guān)鍵步驟是圖像特征的提取[3]。1988年，Chris Harris和Mike Stephens[4]改進了Moravec特征點檢測算法，在此基礎(chǔ)上提出了Harris角點檢測算法，針對Moravec算子的三點缺陷給出了改良方法，提高了算法穩(wěn)定性及圖像拼接的速度。2001年，D.H.Kim和Y.I.Yoon等[5]人，提出了一種基于強度的擬特征點投影配準算法，降低了對應(yīng)關(guān)系和歸納變換參數(shù)的計算量。1999年，Lowe[6]提出了基于尺度不變特征變換(Scale invariant feature transform，SIFT)算法，該方法的提出在圖像處理領(lǐng)域具有里程碑的意義，并在2004年對其進行了改進[7]，成為了近年來國內(nèi)外特征匹配的常用算法。2008年，程遠航[8]根據(jù)所獲取的無人機飛行狀態(tài)參數(shù),實現(xiàn)了兩個連續(xù)航拍遙感圖像重疊區(qū)域的圖像范圍計算。2010年，毛家好[9]針對無人機圖像拼接特點造成工作量大、精度低的問題，改進了基于特征的圖像拼接算法，優(yōu)化了其處理過程，使算法的速度和精度得到了一定程度的提高。2016年，賈銀江[10]比較和分析了現(xiàn)有的遙感圖像拼接技術(shù)的特點,基于遙感圖像拼接流程,對無人機遙感圖像預(yù)處理技術(shù)、遙感圖像配準技術(shù)和遙感圖像融合技術(shù)進行了進一步的研究。

綜上所述，中外學(xué)者在圖像拼接領(lǐng)域做了大量研究，取得了許多優(yōu)秀的科研成果，使得圖像拼接效果得到顯著提升。但是，不同的應(yīng)用領(lǐng)域?qū)ζ唇有Ч胁煌囊?，不能單一地運用已有拼接算法。本文主要研究如何在保證一定圖像視覺效果的基礎(chǔ)上提高無人機獲取的煙株圖像拼接效率。為了解決這個問題，提出了一種基于SIFT算法的無人機煙株圖像快速拼接方法。

1 圖像拼接流程

由無人機遙感圖像拼接成的全景圖像，包含了所有圖像的序列信息。從整體情況中獲取重要信息，具有很高的學(xué)術(shù)價值和迫切的實際意義[11]。傳統(tǒng)的航空圖像拼接通常包括五個步驟：待拼接圖像獲取，圖像預(yù)處理，圖像配準，圖像變換以及圖像融合和拼接[12]。流程如圖1所示。

圖1 傳統(tǒng)拼接主要流程Fig.1 Main flow of traditional stitching

針對傳統(tǒng)圖像拼接方法的不足，本文提出了一種改進圖像拼接速度的方法。流程如圖2所示。

圖2 改進拼接主要流程Fig.2 Main process of improving stitching

1.1 圖像獲取

在煙株苗期，田間場景主要由土壤背景、地膜、煙苗植株、雜草幼苗組成。此時葉片較小，葉片間相互遮擋現(xiàn)象比較輕微，不會產(chǎn)生因為葉片受到風(fēng)吹從而干擾拍攝的情況，很適合俯拍，故拍攝該時段煙苗作為圖像拼接依據(jù)。

微小型無人機具有操作簡單、體積小、重量輕、靈活性高等特點，在小區(qū)域內(nèi)快速采集高分辨率圖像時具有明顯優(yōu)勢。針對現(xiàn)有無人機航拍存在的問題，本文選用微小型大疆精靈4無人機搭載自帶相機進行圖像采集，詳細參數(shù)見表1、表2。圖像采集環(huán)境選擇較為理想的晴朗無風(fēng)天氣，采集前先規(guī)劃飛行路徑，為避免獲取的航拍圖像出現(xiàn)漏拍，將航向重疊度設(shè)置為80%，旁向重疊度設(shè)置為60%，航拍高度為35 m，按照規(guī)劃的航拍線路以1m/s的速度前進，相機快門時間設(shè)置為2 s，拍攝圖像格式為RGB。

表1 無人機主要參數(shù)Tab.1 Main parameters of uav

表2 相機主要參數(shù)Tab.2 Main parameters of the camera

1.2 圖像預(yù)處理

無人機機身傾斜、抖動、光照不均勻等因素，都會影響圖像拍攝質(zhì)量，導(dǎo)致圖像出現(xiàn)不同程度的誤差。除此之外，相機像素、采集地形等因素也會對圖像產(chǎn)生影響。因此，無人機圖像的預(yù)處理是整個圖像拼接過程的前提，為特征點的搜索奠定了基礎(chǔ)。

大疆無人機航拍用的相機為自帶相機，圖像邊緣有輕微的光學(xué)畸變，畸變將使圖像中實際圖像點的位置偏離，導(dǎo)致圖像點的坐標位移并改變實際對象的地面位置，最終影響到匹配的精度[13]，因此需要先對獲取圖像進行校正。當在不同時間拍攝相同目標時，鏡頭的光學(xué)參數(shù)通常不是絕對一致的，從而影響圖像質(zhì)量[14]。運用中值濾波濾出圖像中的高頻成分。將一幅具有畸變的無人機圖像經(jīng)過鏡頭校正、平滑、濾波等操作后，得到結(jié)果如圖3所示，可以看出校正后圖像效果得到較大改善。

圖3 圖像預(yù)處理Fig.3 Image preprocessing

2 圖像拼接算法

在基于SIFT特征匹配的傳統(tǒng)圖像拼接方法[15]中，通常是在整個圖像區(qū)域中檢測特征點，并在目標圖像的所有特征點中搜索參考圖像中的每個特征點以完成匹配，整個處理過程需占用大量時間[16]。針對圖像拼接中計算量過大的問題，提出了一種基于SIFT特征向量圖像的煙株圖像快速拼接方法。

2.1 重疊區(qū)域確定

本文采用相位相關(guān)算法[17]確定待拼接圖像的重疊區(qū)域，其理論依據(jù)為傅里葉變換。相位相關(guān)方法具有很大的速度優(yōu)勢，廣泛應(yīng)用于圖像融合，模式識別和特征匹配。

其基本原理如下：

1)圖像之間存在平移變換

圖像f2(x,y)是f1(x,y)經(jīng)平移(x0,y0)后得到的圖像，即f2(x,y)=f1(x-x0,y-y0),對應(yīng)于傅立葉時移特性的傅里葉變換F1和F2之間的關(guān)系如下：

F2(u,v)=exp(-2jπ(ux0+vy0))F1(u,v)。

(1)

通過計算頻域中的交叉功率譜，可以得到以下公式：

exp(2jπ(ux0+vy0))=F1(u,v)F3/|F1(u,v)F3|。

(2)

式(2)中，F(xiàn)3是F2的共軛。

最后，可以使用跨功率譜IFFT變換來獲得影響函數(shù)，該影響函數(shù)在其他位置處幾乎為零并且只有在(x0,y0)處有最大值。因此，可以計算轉(zhuǎn)換參數(shù)。

2)圖像之間的平移和旋轉(zhuǎn)

若圖像f2(x,y)是圖像f1(x,y)經(jīng)平移(x0,y0)、旋轉(zhuǎn)a角度后得到的圖像，則可以通過以下公式表示：

(3)

由于傅立葉具有旋轉(zhuǎn)以及平移的特點，故通過FFT變換后，得到兩幅圖像之間的關(guān)系：

F2(u,v)=exp(-2jpj(ux0+vy0))*

(4)

其中M1、M2分別表示F1、F2的能量，則：

(5)

式(5)表明F1和F2具有相同的能量。從直角坐標到極坐標的轉(zhuǎn)換可表示如下：

M1(r,a)=M2(r,a-b)。

(6)

根據(jù)1)中描述的方法，可以通過使用極坐標系中的相位相關(guān)來獲得旋轉(zhuǎn)角度b。最后，再將圖像旋轉(zhuǎn)b角度，可以獲得圖像之間的平移參數(shù)。

2.2 特征點檢測

Davidg.leowe提出了一種基于尺度空間的圖像局部特征描述算子SIFT，它保持了圖像縮放，旋轉(zhuǎn)甚至仿射變換的不變性。因為該算法具有尺度不變特性，誤匹配率低的特點，所有本文采用該算法進行特征提取。

SIFT算法本質(zhì)是找到不同尺度空間中的關(guān)鍵點，計算關(guān)鍵點的大小、方向和尺度信息，并利用這些信息構(gòu)成關(guān)鍵點來描述特征點。其中，要尋找的關(guān)鍵點是一些突出的“穩(wěn)定”特征點，不會被照明、仿射函數(shù)和噪聲等因素所改變，例如角點，邊緣點等。其中，特征向量圖像的示意圖如圖4所示。

圖4 特征向量圖Fig.4 Feature vector diagram

2.3 特征向量圖構(gòu)建

一般情況下，待拼接圖像的重疊區(qū)域是類似的，因此在構(gòu)建特征向量圖像后，匹配點的搜索范圍可以限制在特征點空間位置的鄰域內(nèi)。

在確定要拼接的圖像的重疊區(qū)域之后，SIFT算法[7]僅用于提取重疊區(qū)域中的特征點。SIFT算法檢測出的每個特征點都會生成一個描述子[16]，SIFT描述子是對特征點附近鄰域內(nèi)高斯圖像梯度統(tǒng)計結(jié)果的一種表示。它是一個三維數(shù)組，但通常表示為向量，通過根據(jù)某些規(guī)則排列三維陣列來獲得矢量。特征描述符與特征點的比例有關(guān)，因此應(yīng)該在與特征點對應(yīng)的高斯圖像上計算梯度。

2.4 特征點匹配

特征點的匹配是通過計算兩組特征點的128維關(guān)鍵點的歐氏距離來實現(xiàn)的。由于特征點的主要方向不同，此時，梯度方向直方圖的每個區(qū)域可以分為80°到360°方向。由于存在4×4個子區(qū)域，總共4×4×8=128個數(shù)據(jù)，最終形成128維SIFT特征向量。類似地，特征向量需要高斯加權(quán)，其中距離是每個點與特征點之間的距離。利用高斯權(quán)值來防止位置上的小變化對特征向量造成大的變化，并將小點賦予遠離特征點的點，以防止錯誤匹配。匹配圖如圖5所示。

圖5 特征點匹配示意圖Fig.5 Schematic diagram of feature point matching

2.5 匹配點優(yōu)化

通過特征點匹配后，得到兩幅圖像中對應(yīng)特征點的坐標關(guān)系，采用RANSAC(隨機采樣一致性)算法[18]計算出最佳匹配的變換矩陣。

RANSAC將正確的數(shù)據(jù)記錄為內(nèi)點，將異常數(shù)據(jù)記錄為異常值。算法的核心思想是隨機性和假設(shè)。隨機性是根據(jù)正確數(shù)據(jù)的概率隨機選擇采樣數(shù)據(jù)。根據(jù)大數(shù)定律，正確的結(jié)果可以通過隨機模擬來近似。

3 試驗結(jié)果及分析

本算法仿真實驗環(huán)境為Intel(R)Core(TM)CPUi3-6100,3.70 GHz，內(nèi)存為4.0 GB，操作系統(tǒng)為Windows7，實驗開發(fā)平臺采用matlab2018 a(MathWorks公司)軟件，每組實驗圖像間重疊區(qū)域百分比均在60%～80%之間。

選擇傳統(tǒng)SIFT特征點匹配方法進行比較，驗證所提方法有效性。用兩種方法對圖6中4張待拼接煙株圖像進行特征點提取。如表3所示，得到了兩種方法分別在圖6四張待拼接圖像中進行特征提取時的時間消耗情況，可以看出，使用改進SIFT算法后，特征點提取中花費的時間明顯減少，同時，由于本文中的方法提取特征點時，僅提取重疊區(qū)域中的特征點，因此特征點的檢測范圍受到限制，特征點的數(shù)量也明顯減少。

表3 兩種算法特征點提取對比Tab.3 Feature point extraction comparison of the two algorithms

表4列出了傳統(tǒng)SIFT算法和本文算法在圖像特征點匹配過程中所消耗的時間。其中Im1為I1和I2拼接圖像，Im2為Im1和I3拼接圖像，Im3為Im2和I4拼接圖像。由表4可知，由于構(gòu)造了特征向量圖，特征匹配階段的匹配點有效地限制了搜索范圍，在匹配速度上，較傳統(tǒng)的SIFT算法有了很大的提升。

表4 特征點匹配耗時(s)對比Tab.4 Comparison of feature point matching time

傳統(tǒng)SIFT算法與本文算法在煙株圖像整體拼接過程中所用時間如表5所示，本文方法減少了特征點檢測階段中提取的特征點的數(shù)量，特征向量圖的構(gòu)造又限制了特征匹配中的搜索范圍，使得拼接過程中的時間有了明顯減少，增強了算法的實時性。

表5 全景圖像拼接耗時(s)對比Tab.5 Comparison of panorama image stitching time

圖7為基于傳統(tǒng)SIFT算法與本文算法對圖6分別進行拼接得到的全景圖，由圖7可見，改進后方法的拼接效果與傳統(tǒng)方法拼接效果不變，但在拼接速度上有了較大提升。

4 結(jié)論

為了提高無人機煙株圖像拼接效率，本文提出了一種基于SIFT算法的無人機煙株圖像快速拼接方法。傳統(tǒng)的SIFT算法用于無人機圖像拼接領(lǐng)域時，通常是檢測整個區(qū)域的特征點，導(dǎo)致特征點數(shù)量增多，整體拼接時間加長。本文僅在圖像重疊區(qū)域中提取特征點，以避免檢測到無用的特征點，合理地減少了特征點的數(shù)量，然后通過組合特征點的空間特征來構(gòu)建圖像的位置信息，從而更好地限制特征匹配的搜索范圍，快速確定匹配，最后使用RANSAC算法消除匹配點上的錯誤，完成圖像拼接。試驗結(jié)果表明，本文改進算法在無人機采集的煙株圖像全景拼接時比傳統(tǒng)的SIFT算法快49.8%，有效地提高了拼接效率。但是，當待拼接煙株圖像數(shù)量較多時，拼接速度改善效果不明顯，主要原因是由于本文利用無人機采集圖像時，航向重疊度和旁向重疊度設(shè)置較高，待拼接圖像間的重疊區(qū)域較大，隨著圖片張數(shù)的增加，和傳統(tǒng)SIFT算法相比，優(yōu)化后的SIFT算法特征點數(shù)量改變很小，全景圖像拼接所用的時間也無明顯改變。因此，本文方法適用于待拼接圖像數(shù)量較少且對拼接速度有要求的煙株圖像全景拼接。

(a)傳統(tǒng)方法 (b)本文改進方法圖7 全景圖像拼接結(jié)果Fig.7 Panoramic image mosaic result