基于優(yōu)化SIFT算法的無人機(jī)遙感作物影像拼接

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M.Rizwan

（東北農(nóng)業(yè)大學(xué)電氣與信息學(xué)院，哈爾濱 150030）

·農(nóng)業(yè)航空工程·

基于優(yōu)化SIFT算法的無人機(jī)遙感作物影像拼接

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M.Rizwan

（東北農(nóng)業(yè)大學(xué)電氣與信息學(xué)院，哈爾濱 150030）

針對作物遙感影像因?qū)Ρ榷鹊退鶎?dǎo)致的使用尺度不變特征變換算法（scale-invariant feature transform，SIFT）提取特征點(diǎn)數(shù)目少，拼接效果不理想的情況，提出了一種基于圖像銳化的自適應(yīng)修改采樣步長的非極小值抑制拼接算法，該算法在圖像預(yù)處理中引入銳化濾波器對平滑后的圖像進(jìn)行卷積，增強(qiáng)圖像細(xì)節(jié)，增加特征點(diǎn)提取數(shù)目，同時通過基于尺度的自適應(yīng)修改采樣步長，使圖像特征點(diǎn)分布更加均勻，根據(jù)低對比度作物遙感影像的成像特性，采用非極小值抑制，提高圖像匹配效率。在查找匹配點(diǎn)的過程中，引入最優(yōu)節(jié)點(diǎn)優(yōu)先算法（best-bin-first，BBF）查找最近鄰與次近鄰，采用隨機(jī)抽樣一致算法（random sample consensus，RANSAC）優(yōu)選特征點(diǎn)。通過試驗(yàn)驗(yàn)證，該文改進(jìn)后的算法相比于標(biāo)準(zhǔn)SIFT算法，在處理低空作物遙感影像時，特征點(diǎn)提取數(shù)目平均增加 77.5%，特征點(diǎn)匹配對數(shù)平均增加 15對，對于標(biāo)準(zhǔn)SIFT算法無法匹配的低對比度作物遙感影像，提取到了8對以上的匹配點(diǎn)對，滿足了拼接條件。該改進(jìn)算法相對于標(biāo)準(zhǔn)SIFT算法更適于低對比度遙感影像的拼接。

作物；遙感；無人機(jī)；非極小抑制；圖像拼接；特征檢測；魯棒性

賈銀江，徐哲男，蘇中濱，靳思雨，Arshad M. Rizwan. 基于優(yōu)化SIFT算法的無人機(jī)遙感作物影像拼接[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(10)：123－129. doi：10.11975/j.issn.1002-6819.2017.10.016 http://www.tcsae.org

Jia Yinjiang, Xu Zhenan, Su Zhongbin, Jin Siyu, Arshad M.Rizwan. Mosaic of crop remote sensing images from UAV based on improved SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(10): 123－129. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.10.016 http://www.tcsae.org

0 引 言

圖像拼接定義為將處于同一場景的多張圖像之間建立對應(yīng)關(guān)系，作為遙感數(shù)據(jù)分析的基礎(chǔ)已廣泛應(yīng)用于精準(zhǔn)農(nóng)業(yè)[1-5]、農(nóng)情信息分析[6-8]、病蟲害預(yù)測[9]等農(nóng)業(yè)生產(chǎn)中。目前，基于無人機(jī)獲取的圖像，拼接主要采用 2種方法：一種是利用無人機(jī)POS數(shù)據(jù)對影像進(jìn)行拼接，但由于無人機(jī)自身因素和氣流的影響，可能無法得到較為精確的飛行姿態(tài)等數(shù)據(jù)，匹配精度難以保證；第二種方法是采用基于圖像區(qū)域特征的匹配[10-12]，該方法具有旋轉(zhuǎn)，縮放和平移不變性。本文對基于圖像特征的尺度不變特征變換[13-16]（scale-invariant feature transform, SIFT）算法進(jìn)行優(yōu)化來實(shí)現(xiàn)低對比度作物遙感影像拼接。

SIFT算法是1999年由Lowe提出，并于2004年進(jìn)行完善[13-14]。該算法是在尺度空間上進(jìn)行特征點(diǎn)的提取，具有良好的尺度不變性以及較強(qiáng)的光照及視角變化的魯棒性[17]。然而在對作物遙感影像拼接時，該算法出現(xiàn)了特征點(diǎn)提取數(shù)目少且分布過于集中的情況。這將直接影響圖像的拼接效果，甚至可能導(dǎo)致無法完成拼接。針對上述不足，研究人員提出了不同的改進(jìn)方案，王萬同等人提出了將SIFT算法與Canny算子結(jié)合以增加特征點(diǎn)的查找數(shù)目[18]，但該方法大大增加了SIFT算法計(jì)算量，很難應(yīng)用到實(shí)際工作中；Yan ke等人提出利用主成分分析的 PCA-SIFT算法來降低特征描述子維度，減少計(jì)算量[19]，但在沒有任何先驗(yàn)知識的情況下，反而會使計(jì)算量增大；Delponte等人提出了用奇異值分解（singular value decomposition，SVD）方法進(jìn)行特征匹配[20]，但匹配過程仍然復(fù)雜。針對以上研究中存在的問題，本文利用銳化濾波器來增強(qiáng)圖像細(xì)節(jié)，以此增加特征點(diǎn)提取數(shù)目。同時，使用基于圖像尺度的自適應(yīng)采樣步長的極值點(diǎn)比較方法，使特征點(diǎn)分布更加均勻，進(jìn)而提高算法效率。

1 SIFT算法

SIFT算法首先通過預(yù)處理對圖像進(jìn)行去噪以及修正[21-22]；然后利用高斯差分函數(shù)構(gòu)造多尺度空間，在不同尺度空間影像上檢測出具有方向信息的局部極值點(diǎn)；最后將極值點(diǎn)精確定位，去除不穩(wěn)定的點(diǎn)，根據(jù)極值點(diǎn)臨近像素，生成128維的SIFT特征描述子，對特征描述子進(jìn)行歸一化處理，減小因圖像旋轉(zhuǎn)以及光照、尺度、噪聲等變化而造成的錯誤匹配概率[13-14]。

1.1 尺度空間極值點(diǎn)檢測

SIFT算法通過高斯核對圖像進(jìn)行尺度空間變換，高斯核是進(jìn)行尺度變換的唯一線性核[23-24]。尺度變換的高斯函數(shù)定義為：

圖像尺度空間函數(shù)L(x,y,σ)定義為：

式中I(x,y)為輸入圖像，G(x,y,σ)是一個可變尺度高斯算子，*是卷積操作，σ為尺度因子，σ值越大，圖像越模糊，σ值越小，圖像越清晰[25]。同時，Lowe在論文中指出，特征點(diǎn)檢測是基于尺度不變的特性[13]，而Lindeberg證明尺度規(guī)范化的高斯拉普拉斯算子（laplacian-of-Gaussian, LOG）具有真正的尺度不變性[21]。為了在尺度空間檢測到相對穩(wěn)定的特征點(diǎn)，Lowe提出了更為有效的 LoG算子的近似算子，即高斯差分算子（difference of Gaussian，DoG）。該算子是將高斯金字塔中上下兩層圖像進(jìn)行相減得到。圖 1即為使用高斯差分算子構(gòu)造差分高斯金字塔的構(gòu)造過程。首先對初始圖像采用不同的平滑因子進(jìn)行高斯模糊得到第一層圖像（first octave），然后對該層下的最后一幅圖像進(jìn)行下采樣，長和寬分別縮短一倍，圖像縮小為原四分之一，這幅圖像就是下一層的初始圖像，在該層初始圖像的基礎(chǔ)上完成屬于這個層的高斯模糊處理，以此類推完成整個算法所需要的所有層的構(gòu)建。構(gòu)建完高斯金字塔后，將同層內(nèi)相鄰兩幅圖像進(jìn)行差值運(yùn)算，得到對應(yīng)層的差分高斯圖像，由差分高斯圖像構(gòu)建成差分高斯金字塔。差分高斯圖像計(jì)算公式為：

式中k是常數(shù)乘性因子，其取值與尺度空間每層圖片數(shù)S有關(guān)，即k=21/S。

圖1 差分高斯金字塔構(gòu)造圖Fig.1 Formation of DoG (difference of Gaussian) pyramid

圖 2所示為在差分高斯金字中進(jìn)行極值點(diǎn)查找的原理圖，將圖中檢查點(diǎn)A與其同一尺度上相鄰的8個像素和上下2個相鄰尺度上9個像素的灰度值進(jìn)行比較，確定檢查點(diǎn)是否為該 27個像素灰度值中的極大值或極小值，若成立則A點(diǎn)為一個極值點(diǎn)。

圖2 極值點(diǎn)查找Fig.2 Extreme points detection

查找到極值點(diǎn)后，需對其進(jìn)行 2步篩選：第一步是利用尺度空間D(x,y,σ)函數(shù)的泰勒二次展開式進(jìn)行曲線擬合來去除低對比度的特征點(diǎn)；第二步是獲得該點(diǎn) 2×2的Hessian矩陣，去除不穩(wěn)定的邊緣響應(yīng)點(diǎn)。Taylor展開式為：

式中D為尺度空間，X為偏移量，即 ,,TX=(x ys)，T為矩陣轉(zhuǎn)置。

Hessian矩陣為：

通過上述步驟，去除了一些低對比度的極值點(diǎn)和不穩(wěn)定的邊緣點(diǎn)，增強(qiáng)了算法匹配穩(wěn)定性，提高了算法的抗噪能力。

1.2 主方向生成

通過計(jì)算關(guān)鍵點(diǎn)鄰域像素的梯度直方圖，為每個關(guān)鍵點(diǎn)分配一個基準(zhǔn)方向，即方向直方圖中的最大值。梯度模值m(x,y)和方向θ(x,y)公式為：

1.3 生成特征描述符

通過以上步驟，特征點(diǎn)將具有位置、方向、尺度 3個基本信息。同時為了保證特征點(diǎn)的旋轉(zhuǎn)不變性，將圖像的坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)所在的主方向，然后以關(guān)鍵點(diǎn)為中心，劃分4×4個種子區(qū)域，每個區(qū)域設(shè)置8個方向，計(jì)算各子區(qū)域的梯度直方圖，形成了一個 128維特征向量。最后對特征描述符進(jìn)行歸一化處理，去除光照變化產(chǎn)生的影響。

2 優(yōu)化SIFT算法

針對作物遙感影像特征點(diǎn)不鮮明，特征點(diǎn)提取不理想的情況，本文提出一種優(yōu)化SIFT算法。通過優(yōu)化，不僅增加了特征點(diǎn)提取數(shù)量，而且特征點(diǎn)分布也更加均勻，便于后續(xù)處理。優(yōu)化后算法拼接流程如下：

1）圖像預(yù)處理中，通過使用自定義銳化濾波器對高斯變換后的圖像進(jìn)行處理；

2）在特征點(diǎn)提取階段，引入自適應(yīng)修改采樣步長的方法對特征點(diǎn)進(jìn)行提取；

3）特征點(diǎn)提取后，使用非極大值抑制對特征點(diǎn)進(jìn)行篩選。

4）使用BBF算法優(yōu)化特征點(diǎn)，RANSAN算法計(jì)算變換矩陣，最后使用小波變換進(jìn)行圖像融合[21]。

優(yōu)化流程圖如圖3所示。具體優(yōu)化方案如下文所述。

圖3 優(yōu)化算法流程圖Fig.3 Flowchart of optimization algorithm

2.1 基于銳化濾波器的圖像預(yù)處理

對于SIFT算法，圖像預(yù)處理后，雖能有效去除圖像噪點(diǎn)，但由于作物遙感影像色彩單一且變化不明顯，導(dǎo)致其轉(zhuǎn)化為灰度圖像后對比度過低，同時在構(gòu)造高斯金字塔的過程中進(jìn)行了多次平滑操作，使圖像細(xì)節(jié)進(jìn)一步模糊，這不利于特征點(diǎn)的提取。因此為了增強(qiáng)圖像細(xì)節(jié)，增加特征點(diǎn)數(shù)目，需降低高斯變換對遙感影像細(xì)節(jié)的影響。由于圖像模糊是因圖像自身因素以及進(jìn)行了像素的平均運(yùn)算或者積分運(yùn)算所造成，因此可以對圖像進(jìn)行相應(yīng)的逆運(yùn)算，如微分運(yùn)算來突出圖像細(xì)節(jié)，使圖像變得更為清晰。本文使用了自定義的銳化濾波器（式8），其是一種微分算子。通過該銳化濾波器對平滑后的圖像進(jìn)行卷積操作（式9），增強(qiáng)了圖像細(xì)節(jié)。同時在高斯變換后進(jìn)行卷積操作，避免了由于卷積而使圖像噪點(diǎn)突出的問題。

式中I(x,y)為輸入圖像，F(xiàn)為自定義銳化濾波器，操作結(jié)果對比如圖4所示。

圖4 灰度圖像銳化對比圖Fig.4 Contrast of sharpening gray-scale image

2.2 自適應(yīng)修改采樣步長的非極小值抑制

Song等人試驗(yàn)證明[27]，通過去除密集區(qū)域不穩(wěn)定特征點(diǎn)，可使特征點(diǎn)的分布趨于均勻化，均勻分布的特征點(diǎn)能有效改善圖像匹配效果。但由于 SIFT算法在 DoG金字塔中是將當(dāng)前像素點(diǎn)與同尺度及相鄰尺度的26個像素點(diǎn)進(jìn)行比較求得的局部極值點(diǎn)，這使得特征點(diǎn)通常集中于色彩變化明顯區(qū)域，導(dǎo)致SIFT特征點(diǎn)分布不均勻[28]，為了解決這一問題，在同一尺度上可采用較大的采樣步長，從而增加特征點(diǎn)距離，優(yōu)化同一尺度特征點(diǎn)的分布。同時，為了研究特征點(diǎn)分布與不同尺度的關(guān)系，對圖 5a提取出的特征點(diǎn)進(jìn)行分析，其對應(yīng)特征點(diǎn)與尺度分布如圖5b，其中為了便于觀察將初始尺度為編號1，依次后排。

圖5 特征點(diǎn)分布圖Fig.5 Feature points distribution

由圖5b可知，在低尺度區(qū)域的特征點(diǎn)占特征點(diǎn)總數(shù)的76.7%，而高尺度區(qū)域特征點(diǎn)數(shù)目僅占23.3%，因此，特征點(diǎn)主要集中在低尺度區(qū)域，為了得到更加均勻的特征點(diǎn)分布，同時防止使用相同采樣步長而導(dǎo)致高尺度區(qū)域特征點(diǎn)數(shù)目過少，本文提出基于圖像尺度的自適應(yīng)修改采樣步長的方法優(yōu)選特征點(diǎn)。如圖 6所示，根據(jù)當(dāng)前檢查點(diǎn)A所在尺度，將同尺度相鄰極值點(diǎn)檢測區(qū)域由圖3所示更改為(2r+1)×(2r+1)，其中r表示查找半徑，其由式11所示的差分金字塔最大尺度σmax與當(dāng)前所在尺度σ(s)的差決定，即所在尺度越小抑制半徑越大，尺度越大抑制半徑越小。通過比較同一尺度上的(2r+ 1)2-1個像素點(diǎn)和相鄰尺度18個像素點(diǎn)來獲得極值。使用該方法得到的極值點(diǎn)間距將不小于r。同時，若該點(diǎn)為局部極值點(diǎn)，則對同尺度上的(2r+1)×(2r+1)區(qū)域像素點(diǎn)不再檢測，以提高算法效率。

圖6 優(yōu)化算法極值點(diǎn)查找Fig.6 Extreme points detection of optimization algorithm

檢測半徑公式如下：

式（10）中σmax表示高斯金字塔中的尺度最大值，σ0表示初始尺度，octvs表示金字塔的層數(shù)。式（11）中加1是為了避免尺度為0的情況，即抑制半徑最大為高斯金字塔中最大尺度減當(dāng)前尺度后加1，因此抑制半徑最小為1。

傳統(tǒng)的非極值抑制方法需要不斷改進(jìn)r值來獲得較為理想的特征點(diǎn)數(shù)目，但這種方法使算法復(fù)雜化。本文采取一種自適應(yīng)步長的抑制方法，即根據(jù)像素所在尺度，自適應(yīng)的選取抑制半徑：尺度越小，圖像越清晰，特征點(diǎn)數(shù)目越多，采取較大的抑制半徑；尺度越大，圖像越模糊，特征點(diǎn)數(shù)目越少，采取較小的抑制半徑。同時，我們隨機(jī)選取了部分作物遙感影像進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果如表 1所示，可以看出，極值點(diǎn)多集中于極小值，而少量極大值點(diǎn)往往不會對圖像匹配效果造成影響，反而會增加算法運(yùn)算量，因此本文采用非極小值抑制。

表1 作物遙感影像極值點(diǎn)數(shù)量分布Table 1 Distribution of crop remote sensing images extreme points

2.3 圖像匹配

本文采用BBF算法實(shí)現(xiàn)圖像匹配，該算法在待匹配圖像特征點(diǎn)集中尋找最近鄰N1與次近鄰N2[29]，計(jì)算最近鄰與次近鄰歐式距離之比，當(dāng)比值小于閾值時（本文為0.5），則最近鄰點(diǎn)N1視為匹配點(diǎn)。最后，為了減少光照及其噪聲等的影響，使用隨機(jī)抽樣一致性RANSAC算法去除錯誤匹配[30]。

3 結(jié)果及分析

2016年7月至8月在黑龍江省方正縣水稻研究院及其周邊地區(qū)開展了基于無人機(jī)遙感平臺的作物遙感信息獲取試驗(yàn)，方正縣水稻研究院位于哈爾濱東南部，地處東經(jīng) 128°49′41″、北緯 45°54′46″。試驗(yàn)采集主要作物類型為水稻，采集時期為水稻抽穗期，試驗(yàn)遙感平臺為TY-6固定翼無人機(jī)，傳感器為DSC-RX1RM2相機(jī)，相機(jī)分辨率為795 2×530 4，對焦方式為手動對焦，鏡頭焦點(diǎn)設(shè)置為無限遠(yuǎn)，觸發(fā)方式為無人機(jī)觸發(fā)。飛行高度為550 m，空間分辨率為0.064 6 m，飛行時間為10點(diǎn)到14點(diǎn)擇機(jī)起飛，一個架次采集圖像約300張，拍攝區(qū)域約6 km2。數(shù)據(jù)分析平臺為：AMD雙核CPU 2.6 GHz，4.0 GB內(nèi)存。

3.1 特征點(diǎn)提取對比分析

通過對同一遙感區(qū)域使用SIFT算法以及本文優(yōu)化算法進(jìn)行特征點(diǎn)提取，結(jié)果如圖7所示。其中圖7a為使用SIFT算法進(jìn)行特征點(diǎn)提取的結(jié)果，圖中共提取出了25個特征點(diǎn)，均不含輔方向。圖7b為使用優(yōu)化算法進(jìn)行提取的結(jié)果，共提取到了100個特征點(diǎn)，其中24個點(diǎn)被賦予了輔方向。通過對比可以看出，優(yōu)化后特征點(diǎn)提取數(shù)目明顯增加,尤其是使用SIFT算法提取數(shù)目過少的A1、A3、A4區(qū)域，同時由于使用了自適應(yīng)修改采樣步長的非極小值抑制的方法，特征點(diǎn)分布也更加稀疏均勻，這種特征點(diǎn)分布方式有利于特征之間的配準(zhǔn)。

圖7 特征點(diǎn)分布對比圖Fig.7 Contrast of feature points distribution

3.2 匹配效果對比分析

為驗(yàn)證優(yōu)化算法的匹配效果，在參數(shù)保持一致的情況下，分別使用本文優(yōu)化算法以及SIFT算法進(jìn)行遙感影像匹配，匹配結(jié)果如表2所示。

由表2可以看出，標(biāo)準(zhǔn)SIFT算法在特征點(diǎn)檢測過程中分別檢測到了25個和26個特征點(diǎn)，而優(yōu)化算法則分別檢測到了100個以及125個特征點(diǎn)。同時由于匹配點(diǎn)數(shù)目少于4對時無法完成拼接，而標(biāo)準(zhǔn)SIFT算法僅檢測到了2對匹配對，因此標(biāo)準(zhǔn)SIFT算法匹配結(jié)果不符合拼接要求；本文優(yōu)化算法雖耗時較SIFT算法高，但檢測到17對匹配點(diǎn)，且 17對匹配點(diǎn)均為正確匹配，與未優(yōu)化SIFT算法相比，具有較好的拼接效果。

表2 特征點(diǎn)匹配統(tǒng)計(jì)結(jié)果Table 2 Statistical results of feature points matching

3.3 魯棒性對比分析

標(biāo)準(zhǔn)SIFT算法具有較強(qiáng)的魯棒性，經(jīng)過試驗(yàn)驗(yàn)證，本文的優(yōu)化算法在旋轉(zhuǎn)變換、尺度縮放、仿射變換等方面同樣具有較好的穩(wěn)定性。限于篇幅，本文僅選取旋轉(zhuǎn)變換方面為例，對其匹配效果和試驗(yàn)數(shù)據(jù)進(jìn)行分析說明。在特征點(diǎn)的數(shù)量，匹配點(diǎn)對和匹配率方面的比較結(jié)果如圖8所示。

圖8 旋轉(zhuǎn)魯棒性對比圖Fig.8 Comparison of rotation robustness

由圖8a可以看出，通過使用了本文的優(yōu)化算法中式（9）所示的銳化濾波器，特征點(diǎn)提取數(shù)目比標(biāo)準(zhǔn) SIFT算法約增加了 4倍。說明本文優(yōu)化算法在拼接影像旋轉(zhuǎn)情況下，同樣保持了良好的特征點(diǎn)查找性能。由圖 8b、圖8c可知，同等情況下，特征點(diǎn)匹配率平均增加9.46%，本文算法正確匹配點(diǎn)平均增加15對，高于匹配基本條件。從以上試驗(yàn)可以得出，優(yōu)化后的算法對旋轉(zhuǎn)圖像具有較好的拼接效果，同時保持了對旋轉(zhuǎn)較強(qiáng)的魯棒性。

4 結(jié) 論

針對使用SIFT算法對農(nóng)作物遙感拼接過程中出現(xiàn)的因農(nóng)作物遙感影像對比度過低所導(dǎo)致特征點(diǎn)提取數(shù)目少，拼接效果差的情況。文章中提出了一種基于SIFT算法改進(jìn)的針對作物遙感影像拼接優(yōu)化方法。該方法引入自定義銳化濾波器增強(qiáng)了作物遙感影像的細(xì)節(jié)。通過使用自適應(yīng)采樣步長的特征點(diǎn)查找方法來均勻特征點(diǎn)分布。在特征點(diǎn)匹配階段，由低對比度作物遙感影像的成像特性可知，農(nóng)作物遙感影像的特征點(diǎn)多集中于極小值，而少量極大值點(diǎn)往往不會對圖像匹配效果造成影響，反而會增加算法運(yùn)算量，因此本文采用非極小值抑制來提高算法運(yùn)行效率。使用該算法進(jìn)行的驗(yàn)證試驗(yàn)結(jié)果如下：

1）通過對采集到的作物遙感影像進(jìn)行特征點(diǎn)查找測試，結(jié)果表明：使用了該文優(yōu)化算法所提取到的特征點(diǎn)數(shù)目與標(biāo)準(zhǔn)SIFT算法相比，查找數(shù)目提高，平均增加了4倍以上。

2）通過對特征點(diǎn)分布狀況的對比分析，結(jié)果顯示使用自適應(yīng)采樣步長的特征點(diǎn)查找方法，提取到的特征點(diǎn)的分布更加均勻，說明該文提出的優(yōu)化方法能有效改善作物遙感影像特征點(diǎn)分布集中的情況。

3）算法魯棒性試驗(yàn)驗(yàn)證結(jié)果表明，優(yōu)化算法能提取到的特征點(diǎn)數(shù)目穩(wěn)定在 110左右，正確匹配點(diǎn)平均增加15對，特征點(diǎn)正確匹配率平均增加 9.46%，滿足了基本拼接條件，同時當(dāng)遙感影像發(fā)生旋轉(zhuǎn)時，能夠保持 SIFT算法所具有的優(yōu)秀的穩(wěn)定性。

綜上所述，該文優(yōu)化算法針對性地優(yōu)化了影響標(biāo)準(zhǔn)SIFT算法拼接作物遙感影像時特征點(diǎn)提取數(shù)目不足，拼接效果差的問題，并且保持了SIFT算法較高的魯棒性。本文算法相對于SIFT算法，更適合用于作物遙感影像的拼接。

[1]劉煥軍，康苒，Susan Ustin，等. 基于時間序列高光譜遙感影像的田塊尺度作物產(chǎn)量預(yù)測[J]. 光譜學(xué)與光譜分析，2016，36(8)：2585－2589.Li Huanjun,Kang Ran, Susan Ustin, et al. Study on the pediction of cotton yield within field scale with time series hyperspectral imagery pressure[J]. Spectroscopy and Spectral Analysis, 2016, 36(8): 2585－2589. (in Chinese with English abstract)

[2]田振坤，傅鶯鶯，劉素紅，等. 基于無人機(jī)低空遙感的農(nóng)作物快速分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(7)：109－116.Tian Zhenkun, Fu Yingying, Liu Suhong, et al. Rapid crops classification based on UAV low-altitude remote sensing[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(7): 109－116. (in Chinese with English abstract)

[3]李宗南，陳仲新，王利民，等. 基于小型無人機(jī)遙感的玉米倒伏面積提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(19)：207－213.Li Zongnan, Chen Zhongxin, Wang Limin, et al. Area extraction of maize lodging based on remote sensing by small unmanned aerial vehicle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(19): 207－213. (in Chinese with English abstract)

[4]李冰，劉镕源，劉素紅，等. 基于低空無人機(jī)遙感的冬小麥覆蓋度變化監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報(bào),2012,28(13)：160－165.Li Bing, Liu Rongyuan, Liu Suhong, et al. Monitoring vegetation coverage variation of winter wheat by low-altitude UAV remote sensing system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(13): 160－165. (in Chinese with English abstract)

[5]Mulla D J. Twenty five years of remote sensing in precision agriculture: Key advances and remaining knowledge gaps [J].Biosystems Engineering, 2013, 114(4): 358－371.

[6]王利民，劉佳，楊玲波，等. 基于無人機(jī)影像的農(nóng)情遙感監(jiān)測應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(18)：136－145.Wang Limin, Liu Jia, Yang Lingbo, et al. Applications of unmanned aerial vehicle images on agricultural remote sensing monitoring[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013,29(18): 136－145. (in Chinese with English abstract)

[7]楊貴軍，李長春，于海洋，等. 農(nóng)用無人機(jī)多傳感器遙感輔助小麥育種信息獲取[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015,31(21)：184－190.Yang Guijun, Li Changchun, Yu Haiyang, et al. UAV based multi-load remote sensing technologies for wheat breeding information acquirement[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(21): 184－190. (in Chinese with English abstract)

[8]史舟，梁宗正，楊媛媛，等. 農(nóng)業(yè)遙感研究現(xiàn)狀與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2015, 46(2)：247－260.Shi Zhou, Liang Zongzheng, Yang Yuanyuan, et al. Status and prospect of agricultural remote sensing[J]. Transactions of the Chinese Society of. Agricultural Machinery, 2015,46(2): 247－260. (in Chinese with English abstract)

[9]Martinelli F, Scalenghe R, Davino S, et al. Advanced methods of plant disease detection. A review[J]. Agronomy for Sustainable Development, 2014, 35(1): 1－25.

[10]周志艷，閆夢璐，陳盛德，等. Harris角點(diǎn)自適應(yīng)檢測的水稻低空遙感圖像配準(zhǔn)與拼接算法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(14)：186－193.Zhou Zhiyan, Yan Menglu, Chen Shengde, et al. Image registration and stitching algorithm of rice low-altitude remote sensing based on Harris corner self-adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015,31(14): 186－193.

[11]Brown M, Lowe D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision, 2007, 74(1): 59－73.

[12]Heikkil? M, Pietik?inen M, Schmid C. Description of interest regions with local binary patterns[J]. Pattern Recognition,2009, 42(3): 425－436.

[13]Lowe D G. Object recognition from local scale-invariant features[C]//Proceedings of the Seventh International Conference on Computer Vision, 2002, 2: 1150.

[14]Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004,60(2): 91－110.

[15]何敬，李永樹，魯恒，等. 基于 SIFT特征點(diǎn)的無人機(jī)影像拼接方法研究[J]. 光電工程, 2011, 38(2)：122－126.He Jing Li Yongshu, Lu Heng, et al. Research of UAV aerial image mosaic based on SIFT[J]. Opto-Electronic Engineering,2011, 38(2): 122－126. (in Chinese with English abstract)

[16]吳建，馬躍. 一種改進(jìn)的 SIFT算法[J]. 計(jì)算機(jī)科學(xué),2013,40(7)：270－272.Wu Jian, Ma Yue. Improved SIFT Algorithm[J]. Computer Science, 2013, 40(7): 270－272. (in Chinese with English abstract)

[17]Mikolajczyk K, Schmid C. Performance evaluation of local descriptors. [J]. IEEE Transactions on Pattern Analysis &Machine Intelligence, 2005, 27(10): 1615－30.

[18]王萬同，韓志剛，劉鵬飛. 基于SIFT點(diǎn)特征和Canny邊緣特征匹配的多源遙感影像配準(zhǔn)研究[J]. 計(jì)算機(jī)科學(xué),2011,38(7)：287－289.Wang Wantong, Han Zhigang, Liu Pengfei. Multi-sensor image registration algorithm based on SIFT points and Canny edge features matching[J]. ComputerScience, 2011, 38(7):287－289. (in Chinese with English abstract)

[19]Yan Ke, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[J]. 2004, 2(2): 506－513.

[20]Delponte E, Isgrò F, Odone F, et al. SVD-matching using SIFT features[J]. Graphical Models, 2006, 68(5/6): 415－431.

[21]Teillet P M. Image correction for radiometric effects in remote sensing[J]. International Journal of Remote Sensing,1986, 7(12): 1637－1651.

[22]Schettini R, Gasparini F, Corchs S, et al. Contrast image correction method.[J]. Journal of Electronic Imaging, 2010,19(2): 334－343.

[23]楊曉敏，吳煒，卿粼波，等. 圖像特征點(diǎn)提取及匹配技術(shù)[J]. 光學(xué)精密工程,2009,17(9)：2276－2282.Yang Xiaomin, Wu Wei, Qing Linbo, et al. Image feature extraction and matching technology[J]. Guangxue Jingmi Gongcheng/optics & Precision Engineering, 2009, 17(9):2276－2282. (in Chinese with English abstract)

[24]Koenderink J J. The structure of images[J]. Biological Cybernetics, 1984, 50(5): 363－70.

[25]Tony Lindeberg. Scale-space theory: A basic tool for analyzing structures at different scales[J]. Journal of Applied Statistics, 2011, 21(1): 225－270.

[26]Li H, Manjunath B S, Mitra S K. Multi-Sensor Image fusion using the wavelet transform.[J]. Graphical Models & Image Processing, 1995, 57(3): 235－245.

[27]Song R, Szymanski J. Well-distributed SIFT features[J].Electronics Letters, 2009, 45(6): 308－310.

[28]許曉帆，王毅，王永泉. 基于自適應(yīng)非極大值抑制的SIFT改進(jìn)算法[J]. 電子設(shè)計(jì)工程,2014，22(206)：180－182.Xu Xiaofan, Wang Yi, Wang Yongquan. Improved SIFT algorithm based on adaptive non-maximun suppression[J].Electronic Design Engineering, 2014, 22 (206): 180－182.(in Chinese with English abstract)

[29]Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[J].Conference on Computer Vision and Pattern Recognition(CVPR), 1997: 1000－1006.

[30]Wang S, Sidhu R, Karve G, et al. Systems and experiment paper: Construction of panoramic image mosaics with global and local alignment. [J]. International Journal of Computer Vision, 2000, 36(2): 101－130.

Mosaic of crop remote sensing images from UAV based on improved SIFT algorithm

Jia Yinjiang, Xu Zhenan, Su Zhongbin, Jin Siyu, Arshad M. Rizwan
(School of Electronic Engineering and Information, Northeast Agricultural University, Harbin150030,China)

The technology of unmanned aerial vehicle (UAV) remote sensing takes the UAV as a remote sensing platform and the digital equipment as the mission payload. UAV is characterized by high mobility, low cost and automated acquisition of the remote sensing data. These characteristics of UAV can be used to acquire high resolution images, and therefore, they are widely used in precision agriculture, pest forecasting, crop yield prediction, and so on. However, due to the restrictions of acquisition equipment and flight height, the task area may not be fully covered in acquired images. So it is necessary to mosaic the gathered image. In the process of using the scale-invariant feature transform (SIFT) algorithm for the mosaic of crop remote sensing images, the feature points were few and the effect of mosaic was poor because of the low contrast of the crop remote sensing images. To solve this problem, the contrast experiment was conducted for analyzing the steps of SIFT algorithm using the low altitude crop remote sensing images of past years. It was noted that the images were blurred because of Gaussian transform in the stage of image preprocessing and Gaussian pyramid constructing, which led to the lack of the feature points. Aiming at this problem, we proposed to use a sharpening filter to highlight the details of the image and increase the number of feature points after the Gauss transform. In the stage of searching feature points, after analyzing the feature points on the same scale, we found the feature points concentrated in the regions where the color changed obviously; while in the different scales, the overall distribution of the feature points was inversely proportional to the scale. To prevent the reduction of the feature points caused by the same sampling step in the regions of high scale, in this paper, a search method of feature points based on adaptive sampling step was used to achieve uniform distribution of the feature points, because the uniform distribution of feature points was more conducive to image mosaic. A larger sampling step was used in the low-scale region and a smaller sampling step was used in the high-scale region. In the phase of feature matching, the feature points of crop remote sensing images were mostly concentrated at the minimum value, and a few maximum points often did not affect the image matching effect, but it would increase the amount of calculation. Therefore, this paper adopted non-minimum suppression to improve the efficiency of the algorithm. In order to verify the validity of the proposed algorithm, we carried out the experiment based on UAV remote sensing platform from July to August in 2016. Through the contrast experiment using SIFT algorithm and proposed algorithm, we could see that, as for low altitude crop remote sensing images, the number of feature points was averagely increased by 77.5% after optimization, the distribution of feature points was also more uniform,the number of matching points averagely increased by 15 pairs and the matching rate averagely increased by 9.46%; for the crop images that could not be stitched by SIFT algorithm, the proposed algorithm could extract more than 8 pairs of matching points, and this satisfied the condition of image mosaic. Experiments have showed that the custom sharpening filter can extract more feature points, and after introducing the adaptive sampling step, the distribution of the feature points is more uniform,and the optimized algorithm keeps the robustness. Therefore, this algorithm is more suitable for the crop remote sensing images mosaic than SIFT algorithm.

crops; remote sensing; unmanned aerial vehicle; non-minimum suppression; image mosaic; sampling step; robustness

10.11975/j.issn.1002-6819.2017.10.016

TP391

A

1002-6819(2017)-10-0123-07

2016-10-02

2017-04-05

國家重點(diǎn)研發(fā)計(jì)劃專項(xiàng)（2016YFD0200701）；863計(jì)劃項(xiàng)目（2013AA102303）；國家重點(diǎn)研發(fā)計(jì)劃專項(xiàng)（2016YFD020060305）

賈銀江，男，黑龍江集賢人，副教授，博士，主要從事農(nóng)業(yè)遙感與信息技術(shù)研究。哈爾濱 東北農(nóng)業(yè)大學(xué)電氣與信息學(xué)院，150030。

Email：jiayinjiang@126.com