海事監(jiān)管中無人機航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

海事監(jiān)管中無人機航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

針對海事監(jiān)管中航拍圖像拼接生成大視場圖像的時效性較低以及配準(zhǔn)準(zhǔn)確性不高的問題，提出了一種快速高效的無人機(UAV)航拍圖像拼接算法。根據(jù)海事監(jiān)管轄區(qū)航拍圖像特點縮小了角點搜索范圍，通過設(shè)定自適應(yīng)的梯度閾值和角點響應(yīng)函數(shù)閾值篩選角點，通過局部最大角點響應(yīng)函數(shù)值取舍準(zhǔn)則實現(xiàn)了角點均勻化分布；采用基于相位相關(guān)的模板粗匹配方法和帶有特征約束的RANSAC細(xì)匹配方法求出最優(yōu)變換矩陣；利用人眼的視覺特性改進(jìn)傳統(tǒng)加權(quán)平均融合算法的加權(quán)因子使圖像拼接過渡自然。實驗結(jié)果表明：算法具有較好的自適應(yīng)性，在拼接效率和準(zhǔn)確率上較傳統(tǒng)算法有了很大改善。

航拍圖像； 角點檢測； 自適應(yīng)閾值； 圖像配準(zhǔn)； 圖像融合

0 引 言

由于無人機(UAV)[1]航拍成像具有“站得高，看得遠(yuǎn)，跑得快”的優(yōu)勢，在船舶的動態(tài)管理、防污染監(jiān)視、執(zhí)法取證等方面具有其他方式不可比擬的優(yōu)勢。但無人機航拍的過程中受到飛行條件以及拍攝設(shè)備條件的限制，很難用一張圖像將航拍目標(biāo)區(qū)域的信息完全涵蓋，因此，需要利用圖像拼接技術(shù)獲得完整的場景以解決實際需求。

目前，基于無人機圖像拼接的方法主要有直接拼接法[2]和基于特征的方法。目前，航拍圖像拼接算法大多基于特征點的方法[3]，主流的方法是尺度不變特征轉(zhuǎn)換(SIFT)特征點匹配法。雖然其具有高精度的特點，且對平移旋轉(zhuǎn)具有較好的魯棒性，但是非常耗時，無法滿足實時要求[5]。而Harris角點匹配法[6]具有光強和旋轉(zhuǎn)不變性，計算速度快，且角點具有顯著的結(jié)構(gòu)信息。鄭蘭等人[7]提出了一種Harris自適應(yīng)閾值角點提取方法，通過改進(jìn)的隨機抽樣一致性(RANSAC)算法剔除誤匹配點。楊宇博等人[8]提出了一種分塊的Harris角點提取方法，配準(zhǔn)采用分塊逐步的RANSAC方法。

由于無人機沿河岸碼頭固定路線巡航航拍，圖像中會出現(xiàn)較大一部分水域，該區(qū)域不存在角點特征，且水面容易受到光照反射影響，對角點檢測和配準(zhǔn)帶來極大的干擾，現(xiàn)有的算法對其適用性不理想，故本文提出了一種改進(jìn)的無人機航拍算法，實現(xiàn)高效精確拼接。

1 自適應(yīng)閾值的Harris角點檢測算法

1.1 角點檢測區(qū)域選定

根據(jù)實際航拍圖像特點和拼接實時性、準(zhǔn)確性的要求，相鄰幀圖像重疊率達(dá)到80 %可以較好滿足要求，故首先沿著飛行方向?qū)⑺阉鲄^(qū)域縮小至原有的0.8倍。然后對航拍圖像灰度化后做二值化處理，以5×5模板從水面方向進(jìn)行行掃描，當(dāng)像素點鄰域內(nèi)的值均為1時，記錄該點像素y坐標(biāo)并繼續(xù)下一行掃描，最后,取y坐標(biāo)最大值作為搜索區(qū)域y方向的分割線，角點搜索區(qū)域如圖1。極大地縮小了角點搜索范圍，并有效避免了水面反光問題對特征點提取和配準(zhǔn)的干擾。

圖1 角點搜索區(qū)域

1.2 自適應(yīng)的梯度閾值

采用改進(jìn)的梯度算子[-2,-1,0,1,2]計算灰度梯度值，使得對灰度變化更敏感。設(shè)定自適應(yīng)梯度閾值條件

(1)

即滿足水平和垂直梯度大于行平均梯度和列平均梯度作為待定角點。初步提取的像素點能夠反映圖像的主要特征，保證了提取絕大部分的角點，間接提高了角點檢測效率。

1.3 角點響應(yīng)函數(shù)的自適應(yīng)閾值

文獻(xiàn)[9]中指出平坦區(qū)域的條件隨機場(CRF)算法值為較小的正數(shù)，角點的CRF值為較大的正數(shù)，如式(2)

(2)

式中 ξ1,ξ2為波動幅度?；贑RF數(shù)值大小特性，本文提出了一種自適應(yīng)閾值的方法。對于m×n的檢測區(qū)域，由于按式(1)條件取舍角點，將不符合角點的CRF值置為0，使得搜索區(qū)域的CRF矩陣大小也為m×n?，F(xiàn)對各行、列的各個點的CRF求均方值，假設(shè)第i行或者第j列具有較多角點，則對應(yīng)的均方值大小要受角點處的CRF值影響而近似于v，即

(3)

由此極大值抑制閾值可表示為

T=

(4)

考慮到圖像紋理信息的不同，用一個全局閾值做角點篩選，容易遺漏一些簡單內(nèi)容區(qū)域的角點。本文采用加權(quán)平均的思想分塊搜索區(qū)域，先計算局部閾值，然后由局部閾值及其對整體閾值權(quán)重的貢獻(xiàn)率得到最終的閾值表達(dá)式

(5)

式中 Ti為各區(qū)域的閾值；n為分塊數(shù)。

1.4 角點聚簇現(xiàn)象的優(yōu)化

經(jīng)過上述步驟的篩選后，容易出現(xiàn)局部角點聚簇現(xiàn)象，將對角點匹配造成干擾，為了減少配準(zhǔn)誤差，采用15×15大小的模板對匹配區(qū)域進(jìn)行依次掃描，采取取舍準(zhǔn)則：只保留掃描區(qū)域內(nèi)最大CRF值的點作為角點。降低角點誤匹配率的同時提高匹配效率。

2 改進(jìn)的特征點配準(zhǔn)算法

2.1 基于相位相關(guān)的模板粗匹配算法

傳統(tǒng)歸一化互相關(guān)匹配(NCC)算法需要對全部角點進(jìn)行遍歷并進(jìn)行雙向匹配，時間開銷大。故采用改進(jìn)的基于相位相關(guān)法的模板粗匹配算法：根據(jù)相鄰幀圖像的平移量和參考圖像中角點位置，得到對應(yīng)匹配角點的大致位置，在待拼接圖像中該點40×40的鄰域內(nèi)搜索，然后進(jìn)行反向匹配，得到相關(guān)度最大的點。極大減少了搜索區(qū)域，且避免了噪聲、重復(fù)性紋理特征等因素的干擾，有利于提高配準(zhǔn)精度和效率。

2.2 帶有特征約束的RANSAC細(xì)匹配算法

通過粗匹配后，難免會出現(xiàn)誤匹配，有效地消除誤匹配點是拼接成功的關(guān)鍵[10]。通過定義兩個特征匹配約束條件改進(jìn)RANSAC算法實現(xiàn)細(xì)匹配：

1)視差約束。視差定義為配準(zhǔn)圖像上匹配點對的坐標(biāo)之差，正確匹配對的視差大致相同，而對于誤匹配點，視差往往存在較大偏差。可以按如下取舍原則操作,剔除誤匹配對：計算每一對匹配對其X，Y坐標(biāo)視差，分別進(jìn)行快速排序，取剔除視差最大的前5 %和最小的前5 %的點對。

2)唯一性約束:通過對無人機平穩(wěn)飛行狀況的分析,相鄰圖像時間間隔內(nèi)無人機在水平和垂直方向上不存在變形量,故在求解變換矩陣時可以從8個自由度減少到6個自由度，則只需3對匹配點即可求解參數(shù)模型。對于3對匹配點(A-A′)(B-B′)(C-C′)，由余弦定理知

(6)

以此構(gòu)建約束條件表達(dá)式

(7)

式中sgn為符號函數(shù);φ為約束閾值(本文取0.01)。利用余弦值乘積為0的條件排除了三點共線的情況。由式(7)判斷：若F(A)=±2為誤匹配，直接從集合中刪除上述點；若-2

改進(jìn)的細(xì)匹配算法流程主要步驟如下：

1)定義最大采樣次數(shù)，并從粗匹配點集中隨機抽取3對同名匹配點，判斷是否滿足約束條件，滿足，則繼續(xù)步驟(2)；不滿足，則舍棄，重新抽取。

2)計算變換矩陣H，設(shè)定距離閾值逐一判斷剩余點對是否為內(nèi)點。當(dāng)剩余點判斷完畢，循環(huán)次數(shù)+1。

3)判斷此時循環(huán)次數(shù)是否大于最大采樣次數(shù)，大于,則直接跳出循環(huán)，取內(nèi)點比重最大的集合所求的變換矩陣模型即為最優(yōu)變換矩陣;否則，繼續(xù)步驟(1)，直到循環(huán)結(jié)束。

3 改進(jìn)加權(quán)因子的加權(quán)平均融合算法

傳統(tǒng)算法中對圖像融合[11]采用式(8)

(8)

當(dāng)2幅圖像光強差異變化大時，采用傳統(tǒng)算法融合過渡效果不自然。本文根據(jù)人眼的視覺特性對傳統(tǒng)加權(quán)因子d加以改進(jìn)。為了在拼接線附近區(qū)域有更佳的視覺過渡效果，利用三角函數(shù)的數(shù)學(xué)特性對加權(quán)因子加以改造，通過待定系數(shù)法求解得到改進(jìn)的加權(quán)因子表達(dá)式

(9)

如圖2，改進(jìn)的加權(quán)函數(shù)在兩端區(qū)域較傳統(tǒng)加權(quán)因子曲線遞減更為緩慢，在中間區(qū)域斜率保持不變，通過這種變化與人眼的視覺敏感度的變化相結(jié)合，使融合圖像達(dá)到更好的視覺效果。

圖2 傳統(tǒng)加權(quán)函數(shù)和改進(jìn)加權(quán)函數(shù)對比曲線

4 實驗結(jié)果與比較

無人機采用大疆經(jīng)緯M100開發(fā)者套件，航拍攝像機CCD6.17mm×4.55mm，成像焦距2.12mm，無人機飛行速度15m/s，高度150m,圖像分辨率為1 280×720。計算機內(nèi)存為4GB，系統(tǒng)平臺為Win7 64位操作系統(tǒng)。C++編程語言實現(xiàn)，選取2組航拍真實圖像實驗，如圖3。

圖3 兩組航拍實驗

4.1 算法結(jié)果比較

1)改進(jìn)Harris角點檢測算法結(jié)果比較

表1為對兩組航拍圖像分別采用傳統(tǒng)算法以及文獻(xiàn)[7]算法和本文角點檢測算法結(jié)果比較。結(jié)果表明：本文算法較文獻(xiàn)[7]算法的自適應(yīng)閾值具有更強的普適性，較傳統(tǒng)算法效率提高了20 %以上，同時有效地減少了誤匹配對。

表1 角點檢測結(jié)果對比實驗

2)角點聚簇現(xiàn)象的優(yōu)化

圖4中兩圖為使用15×15模板進(jìn)行優(yōu)化前后的對比。結(jié)果表明：經(jīng)過優(yōu)化，角點聚簇現(xiàn)象得到了極大改善，角點分布更為均勻合理，有利于后期配準(zhǔn)。

圖4 角點聚簇優(yōu)化對比實驗

3)改進(jìn)的圖像配準(zhǔn)算法結(jié)果比較

表2～表4為傳統(tǒng)NCC和RANSAC、文獻(xiàn)[7]算法和本文改進(jìn)配準(zhǔn)算法實驗結(jié)果比較。其中，NCC閾值設(shè)為0.9，通過10次實驗得到統(tǒng)計平均結(jié)果。由表2和表3可以看出,傳統(tǒng)算法提取粗匹配點對多，內(nèi)點比例少，效率不高。文獻(xiàn)[7]算法配準(zhǔn)效果有所提升。本文算法經(jīng)過特征約束，可以降低迭代次數(shù)，能較快達(dá)到理想的內(nèi)點比例，配準(zhǔn)效果有了更為明顯的提升。表4對比了3種算法的時間開銷。實驗表明，改進(jìn)配準(zhǔn)算法效果明顯。

表2 配準(zhǔn)算法實驗結(jié)果對比

表3 RANSAC實驗結(jié)果對比

表4 配準(zhǔn)算法時間開銷結(jié)果對比 ms

4)改進(jìn)的加權(quán)平均融合實驗結(jié)果

如圖5(a)取一組220×64分辨率的黑白圖像采用傳統(tǒng)加權(quán)平均融合和本文的改進(jìn)算法對比實驗；圖5(b)對第一組2幅待拼接圖像人為干涉調(diào)整亮度，并分別對比實驗。左圖為傳統(tǒng)算法融合圖，右圖為本文改進(jìn)算法融合圖。結(jié)果表明:改進(jìn)后算法漸變效果更加緩慢自然，拼接過渡較傳統(tǒng)算法有了明顯改善。

圖5 傳統(tǒng)加權(quán)平均融合算法和本文改進(jìn)算法實驗對比

4.2 序列圖像拼接成果的應(yīng)用

圖6為對序列航拍圖像拼接得到的實驗結(jié)果，可將成果用于海事監(jiān)管中。通過拼接圖像可以很直觀看到碼頭全部船舶靠泊情況，檢測其是否超寬靠泊，通過對比圖像中?？看a頭的船舶和海事平臺系統(tǒng)該區(qū)域顯示的船舶，查看其是否按規(guī)定開啟船舶自動識別系統(tǒng)，拼接的圖像可以保存到數(shù)據(jù)庫作為執(zhí)法的依據(jù)。同時，拼接的圖像可以用來生產(chǎn)實時電子地圖數(shù)據(jù)，更新到海事地理信息系統(tǒng)平臺。

圖6 序列航拍圖像拼接結(jié)果

5 結(jié)束語

根據(jù)海事監(jiān)管轄區(qū)的航拍圖像特點，提出了一種新的無人機航拍圖像快速拼接算法。方法首先改進(jìn)了Harris算法，有效地減少了檢測的角點數(shù)量，具有自適應(yīng)性，且能夠有效保證檢測的角點數(shù)量足夠多，同時對角點聚簇現(xiàn)象進(jìn)行了優(yōu)化。然后通過改進(jìn)的配準(zhǔn)方法有效地剔除大量誤匹配對，減少了RANSAC算法迭代運算量，提高了算法的效率和模型的準(zhǔn)確性。最后通過改進(jìn)的加權(quán)平均融合算法使得圖像拼接過渡自然。實驗證明：本文拼接流程效率較傳統(tǒng)算法提高了40 %以上。

[1] 吳成東,張 潤,劉寶德,等.基于無人機航拍圖像拼接算法的優(yōu)化[J].沈陽建筑大學(xué)學(xué)報：自然科學(xué)版,2015(1):182-192.

[2] 程爭剛,張 利.一種基于無人機位姿信息的航拍圖像拼接方法[J].測繪學(xué)報,2016(6)：698-705.

[3] 魯 恒,李永樹,何 敬,等.一種基于特征點的無人機影像自動拼接方法[J].地理與地理信息科學(xué),2010,26(5):16-19.

[4] He J,Li Y S,Lu H,et al.Research of UAV aerial image mosaic based on SIFT[J].Guangdian Gongcheng/Opto-Electronic Engineering,2011,38(2):122-126.

[5] 李永佳,周文暉,沈敏一,等.改進(jìn)Harris特征點的機器人定位算法[J].傳感器與微系統(tǒng),2011,30(8):131-134.

[6] 鄭 蘭,安博文,曹 芳.一種基于特征點匹配的紅外圖像拼接算法[J].計算機應(yīng)用與軟件,2015(9):192-196.

[7] 楊宇博,程承旗.基于分塊Harris特征的航拍視頻拼接方法[J].北京大學(xué)學(xué)報：自然科學(xué)版,2013,49(4):657-661.

[8] 馮宇平.圖像快速配準(zhǔn)與自動拼接技術(shù)研究[D].長春：中國科學(xué)院研究生院，長春光學(xué)精密機械與物理研究所,2010.

[9] 羅宇平.一種新型遙感圖像配準(zhǔn)方法[J].傳感器與微系統(tǒng),2009,28(10):12-15.

[10] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng),2014,33(2):14-18.

UAV aerial image fast mosaic algorithm in maritime supervision*

OUYANG Shuai, AN Bo-wen, ZHOU Fan, CAO Fang

(College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China)

A fast and efficient image mosaic algorithm for unmanned aerial vehicle(UAV) aerial image is proposed,which is able to cope with the problems of low speed and accuracy of generating large field of view image with aerial image mosaic in maritime supervision.First,scanning range of the angular point detection is narrowed according to the feature of aerial image.The gradient threshold and corner response function threshold are used to extract Harris corner.Keeping the max value of local corner response function value is adopted to uniform the feature point distribution.After that,the improved phase correlation of template matching algorithm and improved RANSAC matching algorithm with constraint features are applied to obtain the optimal transformation matrix.Last,according to human visual characteristics,the improved factor of weighted average image fusion algorithm is applied to obtain a seamless image.Experimental results show that the algorithm has better adaptability.And the method overcomes the shortcoming of traditional mosaic methods,since the efficiency and accuracy of stitching are improved greatly.

aerial image; angular point detection; adaptive threshold; image registration; image fusion

10.13873/J.1000—9787(2017)09—0113—04

2016—09—23

國家自然科學(xué)基金資助項目(61171126)； 上海市重點支撐資助項目(12250501500); 廣西教育廳科研項目(YB2014207)

TP 317.4

A

1000—9787(2017)09—0113—04

歐陽帥(1993-)，男，碩士研究生，主要研究方向為數(shù)字圖像處理。