基于Harris算法的無人機(jī)影像拼接技術(shù)

趙文君 李梟

摘 要：處理無人機(jī)影像數(shù)據(jù)時(shí)，Harris角點(diǎn)檢測(cè)算法具有較強(qiáng)的魯棒性和穩(wěn)定性。使用Harris角點(diǎn)檢測(cè)算法時(shí)，影像邊界處由于影像畸變影響，生成的特征點(diǎn)存在角點(diǎn)聚簇和偽角點(diǎn)的概率非常大，在處理該類問題時(shí)，通常是刪除影像邊界生成的角點(diǎn)。針對(duì)影像邊緣特征點(diǎn)刪除量的合理性進(jìn)行了實(shí)驗(yàn)：先對(duì)影像生成特征點(diǎn)面積進(jìn)行限制，用Harris算法提取特征點(diǎn)。然后用非極大抑制算法選取特征點(diǎn)，去除偽角點(diǎn)和聚簇的角點(diǎn)，生成最佳縫合線進(jìn)行影像匹配融合。最后對(duì)比影像生成特征點(diǎn)面積和最后影像匹配效果，論證影像邊緣刪除Harris角點(diǎn)的合理量。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)的直接刪除邊界Harris角點(diǎn)方法，該方法更可靠更精確。

關(guān)鍵詞：Harris算法；影像拼接；無人機(jī)影像

DOI：10.11907/rjdk.172721

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）004-0216-04

Abstract：When processing the data of Unmanned Aerial Vehicle （UAV） image， Harris corner detection algorithm has strong robustness and stability. Because of image distortion in its boundaries with Harris corner detection algorithm， there is a very large probability for characteristic points to be corner clusters and pseudo corner points， so when processing this problem， the corner points generated by the image boundaries are usually removed. In order to extract the UAV image characteristic points by Harris algorithm， the rationality of the deletion of the characteristic points which are generated in the image boundaries is studied，this paper launches the experiment at this point.The area of image-generated characteristic points is limited first， and the extraction of characteristic points is carried on by Harris corner detection algorithm next， and the characteristic points selected by non maximum suppression algorithm are used to remove the pseudo corner points and corner clusters and generate the best suture to match and fuse images； finally， having comparing the relationship between the area of image-generated characteristic points and the final image matching effect， the reasonable number of deleted Harris corners in the image boundaries is demonstrated. The experimental results show that the method of this paper is more accurate and reliable than the traditional method of deleting Harris corners of the boundaries directly.

Key Words：Harris algorithm； image stitching； UAV image

0 引言

無人機(jī)航測(cè)節(jié)省了大量人力物力，使影像獲取更加便捷。但無人機(jī)體積小、質(zhì)量輕，在飛行時(shí)容易受到氣流影響，拍攝出來的照片存在畸變，影響后續(xù)影像拼接。

影像拼接技術(shù)指將一組重疊影像集合拼接成一幅大范圍的無縫高分辨率影像[1]。影像拼接技術(shù)包括角點(diǎn)提取、圖像配準(zhǔn)和圖像融合3個(gè)關(guān)鍵步驟[2]。已有的圖像匹配算法主要有基于特征點(diǎn)的配準(zhǔn)、基于灰度信息的配準(zhǔn)以及基于變換域的配準(zhǔn)3大類?；谔卣鼽c(diǎn)配準(zhǔn)算法可對(duì)圖像中特征穩(wěn)定的點(diǎn)進(jìn)行匹配，減少了信息處理量，對(duì)圖像的灰度變化具有魯棒性[3]。目前提取影像特征點(diǎn)的主流算法有SIFT算法[1]、Moravec算法[4]、Harris算法[5]、SUSAN算法[6]等，本文選用Harris角點(diǎn)檢測(cè)算法。Harris角點(diǎn)檢測(cè)算法改進(jìn)主要集中在3個(gè)方面：①基于角點(diǎn)的尺度不變性進(jìn)行改進(jìn)；②像素點(diǎn)梯度模板改進(jìn)；③對(duì)閾值選取的改進(jìn)[7]。2015年，鄒志遠(yuǎn)等[8]針對(duì)Harris算法自適應(yīng)差的問題，提出了一種自適應(yīng)閾值檢測(cè)算法，從而使角點(diǎn)檢測(cè)具有自適應(yīng)性、角點(diǎn)個(gè)數(shù)合理、均勻等優(yōu)點(diǎn)。2016年，張東等[9]提出一種Harris與Sift相結(jié)合的算法，對(duì)圖像特征進(jìn)行提取，提高了提取特征的準(zhǔn)確性、魯棒性[10]。

本文用Harris角點(diǎn)檢測(cè)算法對(duì)無人機(jī)影像進(jìn)行匹配處理，然后以同樣的數(shù)據(jù)減小其生成角點(diǎn)面積，再通過非極大抑制算法去除偽角點(diǎn)和聚簇角點(diǎn)，進(jìn)而生成最佳縫合線[11]進(jìn)行影像的配準(zhǔn)融合，得出影像生成Harris角點(diǎn)的最優(yōu)面積。

1 無人機(jī)影像拼接方法

本文所用方法流程如圖1所示，整個(gè)流程包括無人機(jī)影像生成特征點(diǎn)區(qū)域限制、Harris算法提取特征點(diǎn)、非極大抑制算法選取特征點(diǎn)、RANSAC算法估計(jì)仿射變換、尋找最佳縫合線、生成拼接好的影像圖、比較不同面積生成特征點(diǎn)后拼接好的影像圖質(zhì)量。其中提取特征點(diǎn)區(qū)域限制是本文的關(guān)鍵步驟。

2 Harris算法與非極大抑制算法

2.1 Harris算法

角點(diǎn)被普遍認(rèn)為是二維圖像亮度變化劇烈或者圖像邊緣曲線上曲率極大值的點(diǎn)[6]。Harris算法按其角點(diǎn)檢測(cè)方法可分為兩類：①基于圖像邊緣的角點(diǎn)檢測(cè)；②基于圖像灰度的角點(diǎn)檢測(cè)。前者需要經(jīng)過圖像預(yù)分割、輪廓鏈碼提取和角點(diǎn)檢測(cè)，后者主要通過計(jì)算曲率及梯度進(jìn)行角點(diǎn)檢測(cè)，通過計(jì)算邊緣的曲率來判斷角點(diǎn)的存在[12]。

首先將處理的圖像轉(zhuǎn)換為灰度圖像，然后對(duì)圖像進(jìn)行高斯模糊，再用sobel算子計(jì)算圖像在x，y方向上的亮度梯度，提取特征點(diǎn)，之后用高斯函數(shù)對(duì)梯度進(jìn)行平滑處理，公式如下：

特征值的大小直接反映特征點(diǎn)的位置，即當(dāng)兩個(gè)特征值都比較小時(shí)，此點(diǎn)可能位于平坦區(qū)，不為角點(diǎn)或邊界點(diǎn)；當(dāng)兩個(gè)特征值一個(gè)較大另一個(gè)相對(duì)較小時(shí)，則此點(diǎn)位于邊界上，屬于邊界點(diǎn)；當(dāng)兩個(gè)特征值均相對(duì)較大時(shí)，則此點(diǎn)沿任意方向的曲率都較大，為需要提取的角點(diǎn)[13]。

2.2 自適應(yīng)非極大抑制算法

由于用Harris角點(diǎn)檢測(cè)算法會(huì)生成大量的特征點(diǎn)，這些特征點(diǎn)并不都是特征十分明顯的特征點(diǎn)，如果都保留不僅會(huì)帶來非常大的程序運(yùn)算量，還會(huì)帶來非常大的匹配錯(cuò)誤率，所以需要用非極大抑制算法篩選特征點(diǎn)。

非極大抑制算法的核心思想是：有一個(gè)中心點(diǎn)，其半徑為r，設(shè)它的初始r值為0，然后慢慢增加r值，使得到的特征點(diǎn)的半徑小于中心點(diǎn)的半徑r，直到得到期望特征點(diǎn)的個(gè)數(shù)為止。公式如下：

xi，xj分別為關(guān)鍵點(diǎn)及其鄰域像素的位置向量，參數(shù)為小于1的正數(shù)，用來確定區(qū)域的特征顯著程度閾值，本文取0.9[14]。

3 提取特征點(diǎn)區(qū)域限制

無人機(jī)航攝時(shí)所帶相機(jī)拍攝出來的相片都會(huì)存在如圖2所示的畸變問題，在糾正畸變和刪除邊緣點(diǎn)方向進(jìn)行了很多研究，本文著重于研究從影像邊緣開始去掉以像素為單位的影像面積，減少相片邊緣畸變問題對(duì)后續(xù)影像拼接的影響。利用提取特征點(diǎn)區(qū)域限制的方法提高后續(xù)影像配準(zhǔn)的精度，以達(dá)到提高生產(chǎn)效率的目的。

圖3為影像重疊度示例，所用航攝影像符合航測(cè)規(guī)范，生成特征點(diǎn)的最優(yōu)位置選擇如圖4所示，影像的重疊分為航向重疊和旁向重疊，設(shè)影像航向重疊區(qū)域?yàn)?，陰影部分為x（即為舍棄部分），余下部分為1-2x。同理設(shè)旁向重疊區(qū)域?yàn)?，陰影部分為y（即為舍棄部分），余下部分為1-2y。對(duì)不同面積生成的特征點(diǎn)進(jìn)行比較得到去掉x和y的最優(yōu)區(qū)域。本方法把影像面積減小，因?yàn)橛跋裰丿B度較高，所以對(duì)后續(xù)操作影響并不大[15]。

4 實(shí)驗(yàn)

本實(shí)驗(yàn)選取兩個(gè)航帶內(nèi)6張無人機(jī)影像進(jìn)行實(shí)驗(yàn)，相機(jī)為Sony的A7R，焦距為30mm，平均航高為150m，影像大小為7 360×4 912，影像的航向重疊度在70%左右，旁向重疊度在50%左右，符合航測(cè)規(guī)范。影像的匹配用Harris角點(diǎn)算法進(jìn)行特征點(diǎn)提取，用非極大抑制算法對(duì)生成的特征點(diǎn)進(jìn)行粗差剔除，用RANSAC算法對(duì)序列影像匹配結(jié)果進(jìn)行仿射變換，得到變換矩陣并建立最佳縫合線進(jìn)而拼接成一幅影像圖。以相同的實(shí)驗(yàn)數(shù)據(jù)反復(fù)進(jìn)行試驗(yàn)，得出生成特征點(diǎn)的最優(yōu)面積。

圖5是兩張用Harris算法提取并生成特征點(diǎn)后的原始影像，因?yàn)樵加跋裉蟛焕谟^察，因而以原始影像的細(xì)節(jié)圖代替原始影像。從圖5可以看出，用Harris角點(diǎn)提取的特征點(diǎn)中存在較多角點(diǎn)聚簇和偽角點(diǎn)現(xiàn)象，尤其在影像畸變較大的邊緣處。若直接使用所有的特征點(diǎn)進(jìn)行下一步操作會(huì)大大增加程序運(yùn)行時(shí)間且增加后續(xù)剔除粗差點(diǎn)和匹配的錯(cuò)誤率。

圖6是原始影像A和原始影像B的局部細(xì)節(jié)圖，A（1）是原始影像A的4 000×2 500的局部影像在減少邊界10px后生成特征點(diǎn)的圖像（即局部影像A（1）的面積為3 980×2 480），A（2）和A（3）是在局部影像A（1）的基礎(chǔ)上依次減少10px和20px的局部影像用Harris角點(diǎn)算法生成特征點(diǎn)的影像（局部影像A（2）的面積為3 960×2 460，局部影像A（3）的面積為3 940×2 440）。同理，B（1）是原始影像B的4 000×2 500的局部影像在減少邊界10px后生成特征點(diǎn)的圖像（即局部影像B（1）的面積為3 980×2 480），B（2）和B（3）是在局部影像B（1）的基礎(chǔ)上依次減少10px和20px的局部影像用Harris角點(diǎn)算法生成特征點(diǎn)的影像（局部影像B（2）的面積為3 960×2 460，局部影像B（3）的面積為3 940×2 440）。局部影像初始提取的特征點(diǎn)數(shù)和局部影像依次減小面積后提取的特征點(diǎn)數(shù)如表1所示。

后還是存在偽角點(diǎn)，匹配效果不理想，圖7（b）是局部影像A（1）和局部影像B（1）經(jīng)過非極大抑制算法剔除粗差點(diǎn)后特征點(diǎn)的匹配圖，對(duì)比于圖7（a）有較輕微改善，但還是存在偽角點(diǎn)，匹配效果不理想，圖7（c）是局部影像A（2）和局部影像B（2）經(jīng)過非極大抑制算法剔除粗差點(diǎn)后特征點(diǎn)的匹配圖，較比于前兩幅匹配的特征點(diǎn)有明顯改善，匹配效果較理想，圖7（d）是局部影像A（3）和局部影像B（3）經(jīng)過非極大抑制算法剔除粗差點(diǎn)后特征點(diǎn)的匹配圖，與圖7（c）的效果相近，但是比圖7（c）的效果要好一些，匹配效果較理想。

圖8是局部影像對(duì)應(yīng)的融合后影像效果圖。與圖7對(duì)應(yīng)，可以看出圖8（a）和圖8（b）融合后的影像中，建筑物處出現(xiàn)鬼影現(xiàn)象較為明顯，圖8（c）融合后的影像中建筑物處鬼影現(xiàn)象已經(jīng)有了明顯改善，但建筑物右邊拼接影像還是有點(diǎn)模糊，圖8（d）融合后的影像最清晰。

觀察圖8可以看出，未去掉像素時(shí)拼接的影像和去掉10像素生成的影像基本沒有差別，當(dāng)去掉影像周圍20像素時(shí)，對(duì)比原始影像拼接效果已經(jīng)有了明顯改善，當(dāng)去掉影像周圍30像素時(shí)匹配結(jié)果最好。因?yàn)槿サ?0像素時(shí)最后匹配結(jié)果還是有些模糊，隨后在去掉影像20～30像素之間進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)去掉邊界24像素時(shí)效果和去掉邊界30像素的結(jié)果一致，達(dá)到實(shí)驗(yàn)?zāi)康摹?/p>

5 結(jié)語

本文用提取特征點(diǎn)區(qū)域限制的方法限制Harris角點(diǎn)生成的面積，再結(jié)合非極大值抑制算法剔除粗差和聚簇角點(diǎn)，生成最佳縫合線進(jìn)行后續(xù)的影像配準(zhǔn)融合，得到了較好效果，實(shí)現(xiàn)了圖像的精配準(zhǔn)。對(duì)比于傳統(tǒng)的Harris角點(diǎn)檢測(cè)算法剔除邊緣角點(diǎn)的隨意性，本文給出了具體數(shù)值，為今后使用Harris角點(diǎn)檢測(cè)算法剔除邊緣角點(diǎn)提供了可靠數(shù)據(jù)，為下一步圖像融合打下了良好基礎(chǔ)。但是因?yàn)閿?shù)據(jù)的多樣性不足，后續(xù)將收集不同地物的無人機(jī)影像進(jìn)行深入研究。

參考文獻(xiàn)：

[1] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision，2007，74（1）：59-73.

[2] 王娟，師軍，吳憲祥.圖像拼接技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究，2008，25（7）：1940-1943.

[3] 張宇馳.一種改進(jìn)的基于Harris角點(diǎn)的圖像拼接方法[J].機(jī)械工程師，2017（10）：54-55.

[4] MOREVEC H P. Towards automatic visual obstacle avoidance[C]. International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc.1977：584-584.

[5] HARRIS C. A combined corner and edge detector[J]. Proc Alvey Vision Conf，1988（3）：147-151.

[6] SMITH S M， BRADY J M. SUSAN-A new approach to low-level image processing[J]. International Journal of Computer Vision，1997，23（1）：45-78.

[7] 張維，張晶晶.基于Harris角點(diǎn)的圖像拼接技術(shù)研究[J].電子質(zhì)量，2016（7）：12-14.

[8] 鄒志遠(yuǎn)，安博文，曹芳，等.一種自適應(yīng)紅外圖像角點(diǎn)檢測(cè)算法[J].激光與紅外，2015，45（10）：1272-1276.

[9] 張東，余朝剛.基于特征點(diǎn)的圖像拼接方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2016，25（3）：107-112.

[10] 張見雙，張紅民，羅永濤，等.一種改進(jìn)的Harris角點(diǎn)檢測(cè)的圖像配準(zhǔn)方法[J].激光與紅外，2017，47（2）：230-233.

[11] 方賢勇，潘志庚，徐丹.圖像拼接的改進(jìn)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15（11）：1362-1365.

[12] 趙萌，溫佩芝，鄧星，等.一種參數(shù)自適應(yīng)的Harris角點(diǎn)檢測(cè)算法[J].桂林電子科技大學(xué)學(xué)報(bào)，2016，36（3）：215-219.

[13] 陳靜.圖像配準(zhǔn)特征點(diǎn)提取算法研究[D].南京：南京理工大學(xué)，2006.

[14] 許曉帆，王毅，王永泉.基于自適應(yīng)非極大值抑制的SIFT改進(jìn)算法[J].電子設(shè)計(jì)工程，2014（18）：180-182.

[15] 韓峰，劉昭，劉偉，等.重疊度對(duì)無人機(jī)圖像拼接效率的影響[J].江蘇農(nóng)業(yè)科學(xué)，2017，45（12）：182-187.

（責(zé)任編輯：杜能鋼）