電力巡線無人機(jī)航拍圖像匹配算法研究

馬耀名，陳藝琳，李萬禹

遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島125105

隨著無人機(jī)技術(shù)的發(fā)展，使用無人機(jī)對輸電線路巡檢已成為必然趨勢，使用電力巡線無人制作輸電線路全局圖像、電網(wǎng)三維實(shí)景、故障檢測已成為熱門研究方向[1-6]。圖像匹配技術(shù)是輸電線路圖像拼接、三維重建的主要步驟，直接影響圖像拼接和三維重建效果。電力巡線無人機(jī)拍攝的輸電線路圖像具有幾何畸變較大、相鄰圖像重疊高、光照不均勻等特點(diǎn)[7-8]，致使航拍圖像匹配難度較高。

目前電力巡線無人機(jī)輸電線路影響匹配算法主要是基于局部特征的匹配算法，其核心是特征檢測和描述符構(gòu)建。基于局部特征的圖像匹配算法可分為三大部分：一是尺度空間構(gòu)建，二是局部特征提取，三是特征編碼。SIFT算法（Scale Invariant Feature Transform）[9]利用高斯濾波構(gòu)建尺度空間，然后再高斯差分金字塔中檢測特征點(diǎn)，最后建立128維浮點(diǎn)型描述符；該算法具有較好的抗噪聲、視角變換等能力，但描述符維度較高嚴(yán)重影響算法效率。針對SIFT算法效率較低，提出了利用小波算法建立64維浮點(diǎn)型描述符的SURF算法[10]（Speeded Up Robust Feature），該算法穩(wěn)定性與SIFT算法相似，效率提升了10倍左右。SIFT算法和SURF算法的描述符均為浮點(diǎn)型，由于計算不同描述符相似性耗時較長，故提出了ORB算法[11]（Oriented FAST and Rotated BRIEF），該算法利用FAST算法[12]（Features from Accelerated Segment Test）快速提取特征點(diǎn)，然后通過BRIEF算法[13]（Binary Robust Independent Elementary Features）建立二進(jìn)制描述符；該算法執(zhí)行效率較高，但對抗視角變化和抗噪聲能力較差。SIFT、SURF、ORB等算法的尺度空間均使用高斯濾波函數(shù)構(gòu)建，而高斯濾波會致使圖像邊緣信息丟失，嚴(yán)重影響局部特征和描述符的穩(wěn)定性。針對高斯濾波會造成尺度空間信息丟失等問題，提出了借助非線性擴(kuò)散濾波構(gòu)建尺度空間，如KAZE算法[14]，先通過AOS算法[15]解非線性方程構(gòu)建尺度空間，然后利用M-SURF算法[10]構(gòu)建描述符，KAZE算法的穩(wěn)定性優(yōu)于SURF算法，但是AOS算法迭代計算非線性方程耗時長。故在KAZE算法的基礎(chǔ)上提出了AKAZE算法[16]（Accrlerated KAZE），該算法借助FED算法（Fast Explicit Diffusion）更高效的解非線性方程，然后利用MLDB算法[17]（Modified Local Difference Binary）構(gòu)建二進(jìn)制描述符。韓宇等人[18]提出一種基于改進(jìn)SIFT算法的無人機(jī)航拍圖像匹配算法，將SIFT算法矩形特征采樣區(qū)域改成圓形，然后對描述符降維，最后借余弦距離衡量不同描述符的相似性。韓敏等人[19]提出一種改進(jìn)KAZE算法無人機(jī)航拍圖像匹配算法，使用二進(jìn)制描述符替換KAZE算法的浮點(diǎn)型描述符，有效地加速了匹配算法。

高斯濾波構(gòu)建尺度空間速度較快，但會造成圖像邊緣信息丟失，影響匹配算法的魯棒性；非線性尺度空間雖更好地保護(hù)圖像邊緣信息，但是迭代計算非線性方程耗時較長。

針對上述問題，本文提出一種基于高斯曲率濾波[20]的局部特征匹配算法。首先使用高斯曲率濾波構(gòu)建尺度空間，然后使用FAST算法提取特征點(diǎn)，其次對特征采樣區(qū)域再次建立層度空間并在尺度空間中提取LIOP描述符[21]（Local Intensity Order Pattern），再對二階尺度空間提取的LIOP描述符兩兩做差，最后設(shè)定閾值二值化差值LIOP描述符并累加得到穩(wěn)定性更強(qiáng)的ASVLIOP描述符（Accumulated Stability Voting Local Intensity Order Pattern）[22]完成匹配。

1 算法理論

1.1 高斯曲率濾波

圖像I(x)可以看做三維曲面(x,I(x))，則二維圖像轉(zhuǎn)化為三維曲面后可直接使用經(jīng)典的微分幾何處理三維曲面[19]。由經(jīng)典的微分幾何可知，可展曲面S的局部能夠用其切平面TS(x0)近似，并且滿足關(guān)系式：

二維圖像中的高斯曲率為兩個主曲率的乘積，由式（1）可知，任何可展曲面上任一點(diǎn)的高斯曲率均為零。因此，最小化其中任意一個主曲率，就相當(dāng)于最小化高斯曲率。假設(shè)圖像三維曲面(x,I(x))任意一像素點(diǎn)可表示為P(x0,y0,u0)，枚舉其領(lǐng)域N((x0,y0,u0),δ)內(nèi)所有的切平面為TSk(x0)，k=1,2,…,N，計算像素點(diǎn)P(x0,y0,u0)到切平面TSk(x0)的所有符號距離dk，k=1,2,…,N，其中最短距離對應(yīng)的切平面TSk(x0)min可近似為三維曲面S。將點(diǎn)P與符號距離dm做加法運(yùn)算，即將點(diǎn)P移動至TSk(x0)min便可完成一次圖像的局部高斯曲率優(yōu)化。

在圖像域Ω內(nèi)，以像素點(diǎn)U(i,j)為中心3×3領(lǐng)域，作為S(x,y)域，為了解除相鄰圖像之間的依賴性將S(x,y)內(nèi)的像素劃分為4類，保證U(i,j)在水平和豎直方向的同類像素均不相鄰。

為了在域S(x,y)找到最小投影距離dmin，在域S(x,y)可分為三種類型的三角構(gòu)型切平面，如圖1所示。圖1為三種三角構(gòu)型切平面又各有四種可能切平面，共計12種可能三角構(gòu)型切平面，其中部分三角構(gòu)型切平面會有兩頂點(diǎn)共線，故只需要計算其中8個切平面到像素點(diǎn)U(i,j)的距離。

圖1 構(gòu)成切面的種類Fig.1 Types of section

三維曲面(x,I(x))到圖2所示的8個三角構(gòu)型切平面的投影距離dk,k∈1,2,…,8。計算三維曲面(x,I(x))到8個三角構(gòu)型切平面的距離，再從中選擇最小距離dmin，最后根據(jù)最小距離更新U(x,y)，具體步驟如下：

更新U(x,y)操作

上述僅對一類三角構(gòu)型平面操作，對其他三類投影操作則可完成高斯曲率濾波，具體如下：

1.2 LIOP描述符建立

無論是SIFT算法的浮點(diǎn)型描述符還是ORB算法的二進(jìn)制描述符，均需要建立特征描述符主方向，而由于匹配圖像質(zhì)量不同會導(dǎo)致同一特征區(qū)域主方向存在偏差，降低匹配算法的魯棒性。本文所用LIOP描述符，根據(jù)特征采樣區(qū)域內(nèi)像素強(qiáng)度建立描述符，不需要建立描述符的主方向，故對亮度較差匹配圖像魯棒性較強(qiáng)。構(gòu)建LIOP描述符步驟如下：

步驟1對特征采樣區(qū)域P(x)中的像素點(diǎn)按大小順序排列，并把排列結(jié)果映射到相應(yīng)的排列序號，具體過程如下：

式中π=(i1,i2,…,iN)，P={xk1,xk2,…,xkN}為P(x)中像素點(diǎn)按大小順序排列結(jié)果。

步驟2以采樣點(diǎn)數(shù)量N，建立像素值強(qiáng)度排列順序索引表，當(dāng)N=4建立的強(qiáng)度排列順序索引表，π為索引值。

步驟3以γ(P)=π映射的索引值編碼N！的向量，可表示為：

式中Ind(π)表示索引值π在索引表對應(yīng)的索引，向量φ(π)第Ind(π)=1，其余值均為0。

步驟4特征區(qū)域中單個像素點(diǎn)的的LIOP描述符建立方式如下式：

對同一個子區(qū)域的像素點(diǎn)的LIOP的描述符相加，得到該子區(qū)域的描述符，把所有子區(qū)域的描述串聯(lián)便得到整個特征區(qū)域的描述符，表示方式如下：

式中，B表示為特征區(qū)域分為子區(qū)域的個數(shù)，則特征區(qū)域的描述符的維數(shù)為N!×B。

1.3 Accumulated Stability Voting算法

現(xiàn)在的特征匹配算法，均在不同尺度下提取特征點(diǎn)和描述符，為了增加描述符魯棒性，提出ASV模型。具體步驟如下：

步驟1建立尺度空間，并在尺度空間中提取特征點(diǎn)，對于任何一尺度空間層，通過不同的尺度因子λ建立ns層尺度空間，新建的尺度空間為(λsσ,λlσ)，λs為新建尺度空間層的最小尺度因子，λl為新建尺度空間層的最大尺度因子。

步驟2特征點(diǎn)所在尺度空間，得到ns層尺度空間皆提取描述符，并計算不同層描述符的差值絕對值，用公式可表示為：

式（6）可判斷描述符在不同尺度下的穩(wěn)定性，式中xi、xj為j和i層尺度空間中提取的描述符，i、j的關(guān)系為1≤i,j≤ns，j≠i。例如，SIFT算法的描述符為128，則新構(gòu)建尺度層之間描述符差值絕對值可表示為：式中，k為描述符維數(shù)，SIFT算法的k∈{1,2,…,128}。

步驟3新建尺度空間共有ns層，則不同層兩兩做差值共有個結(jié)果，若重新定義Vi,j為Vm，m∈[1,2,…,M]。為Vm設(shè)定閾值，將不同尺度描述符差值作穩(wěn)定性量化，可表示：

式中，θt為閾值函數(shù)，tm表示為閾值。若則表示描述符第d維較為穩(wěn)定，否則不穩(wěn)定。在設(shè)置適當(dāng)?shù)拈撝禇l件下，量化后的數(shù)據(jù)對噪聲具有更強(qiáng)的魯棒性。二進(jìn)制穩(wěn)定性值可以看做穩(wěn)定性投票的過程，累積所有尺度對的二進(jìn)制形式的穩(wěn)定性hm，得到度量穩(wěn)定性的整數(shù)型描述符表示為：

C反映了描述符的每一維在不同尺度下的魯棒性。

2 算法實(shí)現(xiàn)

2.1 高斯曲率尺度空間構(gòu)建

為了使局部特征匹配算法具有尺度不變性，特征提取和描述符構(gòu)建均需在尺度空間中完成。在1.1節(jié)中，高斯曲率濾波是一個迭代優(yōu)化的過程，每次迭代計算dmin，再通過U?(x,y)=U(x,y)+dmin迭代，可得到類似高斯濾波不同尺度因子λ的尺度空間。為了使匹配算法具有較好的尺度不變性和較高的運(yùn)行效率，本文設(shè)置5層尺度空間，每一層的降采樣率和高斯曲率迭代次數(shù)，如表1所示。

表1 尺度空間構(gòu)建方式Table 1 Construction of scale space

圖3 （a）為高斯濾波逐漸增加尺度因子濾波圖像，隨尺度因子增加圖像邊緣越來越模糊，圖像信息丟失嚴(yán)重；圖3（b）為逐漸增加高斯曲率濾波迭代次數(shù)得到濾波圖像，濾波后圖像保變性較好，信息丟失較少。

圖3 高斯濾波與高斯曲率濾波效果對比Fig.3 Comparison of Gaussian filter and Gaussian curvature filter

2.2 描述符提取

在高斯曲率濾波金字塔上，利用FAST算法快速提取特征點(diǎn)，并以特征點(diǎn)為中心選擇合適的區(qū)域作為特征采樣區(qū)域。在1.2節(jié)中提出了局部強(qiáng)度順序算法構(gòu)建描述符，LIOP描述符根據(jù)特征采樣區(qū)域內(nèi)像素強(qiáng)度排列建立描述符，本身具有方向不變性，故不需要建立描述符的主方向。

電力巡線無人機(jī)拍攝的輸電線路圖像的復(fù)雜度較高，為了進(jìn)一步提高匹配算法的魯棒性，本文提出ASVLIOP描述符。1.3節(jié)中，高斯濾波函數(shù)構(gòu)建金字塔后，再對金字塔每一層使用不同大小的尺度因子λ，重新構(gòu)建ns層尺度空間；本文提出使用高斯曲率濾波構(gòu)建尺度空間，通過改變圖像U(i,j)迭代次數(shù)，可得到不同尺度層。在本文中，新建尺度空間層數(shù)ns取5，具體ASVLIOP描述符構(gòu)建步驟如下：

步驟1尺度空間每層繼續(xù)對U(i,j)迭代，尺度空間不同層ns對應(yīng)的迭代次數(shù)分別為2、4、6、8、10。

步驟2對ns層尺度空間上的LIOP描述符，不同層求差值絕對值，可表示為：

式中，1≤i,j≤5，j≠i。LIOP描述符的維數(shù)為144維，則不同描述符做差值絕對值，可表示為：

式中，k為描述符維數(shù)，k∈{1,2,…,144}。

步驟3新建的尺度空間層數(shù)為5，則兩兩求差的絕對值得到10個矢量，對于對Vm設(shè)定不同的閾值，可得到：

式中，θt為閾值函數(shù)；tm表示為閾值，取值為5；d表示LIOP描述符的維數(shù)。

步驟4累積所有尺度對的二進(jìn)制形式的穩(wěn)定性hm，得到ASV_LIOP描述符，可表示為：

得到的ASV-LIOP描述符為整數(shù)型，使用歐式距離衡量不同描述符的相似性，并借助KD樹算法搜索相似描述符。

3 實(shí)驗(yàn)

為了證明所提的基于局部特征的輸電線路匹配算法的優(yōu)越性，選擇使用SIFT算法、ORB算法、KAZE算法和AKAZE算法、改進(jìn)KAZE算法與所提算法在圖4上對匹配算法的抗模糊變化、光照魯棒性、尺度不變性、旋轉(zhuǎn)不變性等特性測試。圖4（a）和4（b）是兩組待匹配原圖像，對圖像高斯濾波可模擬圖像模糊變化；改變圖像亮度可模擬光照變化對圖像的影響；對航拍圖像截取不同尺寸的圖像可模擬圖像尺度變化；對圖像加上旋轉(zhuǎn)角可模擬電力巡線無人機(jī)拍攝角度變化。

圖4 實(shí)驗(yàn)圖像Fig.4 Experimental images

為了更好地判斷不同算法的魯棒性，本文通過計算匹配圖像正確匹配點(diǎn)數(shù)n與匹配點(diǎn)數(shù)N的比值，得到匹配算法的正確匹配率，如式（15）所示：

算法的運(yùn)行時間反映了算法的匹配效率，本文通過計算每個特征匹配平均時間衡量，若兩幅圖像匹配耗時為Time，匹配點(diǎn)數(shù)為Num，則可得平均時間point_time可表示為：

本文使用Matlab2014a作為實(shí)驗(yàn)軟件平臺，并使用Opencv3.0數(shù)字圖像處理庫，計算機(jī)硬件配置為：Intel?i7-7700@2.6 GHz、內(nèi)存8 GB。

3.1 抗模糊變化實(shí)驗(yàn)

電力巡線無人機(jī)在高空中拍攝輸電線路時，可能會有霧霾、噪聲等影響圖像質(zhì)量，降低了圖像的清晰度，對圖像4（a）高斯模糊處理以衡量算法的抗模糊變化能力。如圖5所示，把圖像分別分為5組，隨著圖像序號增加高斯模糊半徑遞增，圖像的模糊程度增加。

圖6 為SIFT算法、ORB算法、KAZE算法、AKAZE算法、改進(jìn)KAZE和本文所提算法在圖5上實(shí)驗(yàn)得到匹配正確率，由條形圖可看出，隨著圖像模糊程度增加匹配正確率逐漸減小。由條形圖可看出，ORB算法的匹配正確率最低且下降速度最快，本文算法匹配正確率與AKAZE算法差別不大；當(dāng)圖像模糊程度最高時，本文算法匹配正確率比AKAZE算法高8%左右。

圖5 模糊變化圖Fig.5 Fuzzy change diagram

圖6 模糊變化圖像匹配正確率Fig.6 Image matching accuracy of fuzzy variation

表2 為圖5（a）匹配點(diǎn)數(shù)和單點(diǎn)匹配時間，隨著圖像模糊程度的增加，每一種算法的匹配點(diǎn)數(shù)都在減少。由表2可知，SIFT算法得到匹配點(diǎn)數(shù)最多，其次是ORB算法，但這兩種算法的匹配正確率均比較低，魯棒性較差。ORB算法尺度空間和描述符構(gòu)建比較簡單，二進(jìn)制描述符匹配速度較快，故ORB算法單點(diǎn)匹配速度最快。KAZE算法需要迭代計算解非線性方程，而且使用64維浮點(diǎn)型描述符，故匹配速度較慢。改進(jìn)KAZE算法使用FREAK二進(jìn)制描述符[23]代替SURF浮點(diǎn)型描述符，增加算法的匹配效率但降低穩(wěn)定性，故改進(jìn)KAZE算法單點(diǎn)匹配速度優(yōu)于KAZE算法，匹配正確率不及KAZE算法。SIFT算法描述符為128維浮點(diǎn)型，利用歐式距離衡量不同描述符的相似性耗時較長，故效率不佳。本文提出的高斯曲率尺度空間構(gòu)建速度較快，但需要二次構(gòu)建尺度層，多次建立LIOP描述符，ASV-LIOP描述符整型，需要使用歐式距離衡量不同描述符的相似度，故匹配速度最慢。如表2所示，在具有模糊變化圖像匹配中，ORB算法單點(diǎn)匹配速度最快，其次是AKAZE算法，本文所提算法匹配速度最慢。

表2 模糊變化圖像對比結(jié)果Table 2 Comparison of fuzzy change images

3.2 光照魯棒性實(shí)驗(yàn)

為了模擬天氣變幻、拍攝陰影或者時間不同，對電力巡線無人機(jī)航拍圖像亮度造成的影響，對圖4（b）的亮度依次下降，變化幅度為10，變化范圍從0到?50。如圖7所示，隨著圖像序號的增加，圖像亮度依次下降。

圖7 光照變化匹配圖像Fig.7 Illumination change matching image

圖8 柱狀圖為各種算法在圖7得到的匹配正確率，由柱狀圖可看出，隨著圖像亮度的增加各種算法的匹配正確率逐漸下降，其中ORB算法下降速度最快，AKAZE算法次之。本文所提算法在亮度差最大時，匹配正確率仍高于60%，且隨著亮度下降，所提算法的下降速率不超過10%。

圖8 光照變化圖像匹配正確率Fig.8 Image matching accuracy of illumination change

SIFT算法、ORB算法、KAZE算法、AKAZE算法和改進(jìn)KAZE算法均需建立特征采樣區(qū)域主方向，然后把描述符旋轉(zhuǎn)至主方向位置，才可進(jìn)行特征匹配，但是當(dāng)光照條件較差時，特征采樣區(qū)域的梯度較小，建立的主方向不具有較好的區(qū)分性，會導(dǎo)致匹配算法的精度下降。所提ASV-LIOP算法先對特征采樣區(qū)域像素按照強(qiáng)度排序，然后建立索引表編碼得到LIOP描述符，最后在多種尺度下建立ASV-LIOP描述符，該描述符對光照變化敏感度較低，與SIFT、AKAZE等算法相比，光照魯棒性最強(qiáng)。表3中，本文所提算法匹配點(diǎn)數(shù)相比SIFT算法、ORB算法和AKAZE算法較少，但是匹配正確率越超過這幾種算法。所提算法的描述符構(gòu)建過程較為復(fù)雜，故單點(diǎn)匹配耗時最長，如表3所示。

表3 光照變化圖像對比結(jié)果Table 3 Comparison result of illumination changes

3.3 尺度變化實(shí)驗(yàn)

為了模擬電力巡線無人機(jī)飛行高度的變化造成相鄰輸電線路圖像的尺度不同，對圖4（a）圖像乘不同的尺度系數(shù)，然后在中心點(diǎn)位置截取比例圖像，如圖9所示。

圖9 尺度變化匹配圖像Fig.9 Scale change matching image

尺度變化圖像匹配正確率如圖10所示，ORB算法、SIFT算法、KAZE算法、AKAZE算法、改進(jìn)KAZE算法和本文算法的特征提取和描述符建立均在尺度空間中，以上幾種算法具有較好的尺度不變性。所提算法的匹配正確率與AKAZE算法、KAZE算法相差不到5%，相較ORB算法提高了15%左右。

圖10 尺度變化圖像正確匹配率Fig.10 Correct matching rate of scale change images

表4 為上述算法在尺度變化圖像上的匹配點(diǎn)數(shù)和單點(diǎn)匹配時間，由表4知，SIFT算法的匹配點(diǎn)數(shù)最多，ORB算法其次，KAZE算法匹配點(diǎn)數(shù)最少。ORB算法匹配點(diǎn)數(shù)雖多，但是匹配正確率較低，故魯棒性較差。所提算法的匹配點(diǎn)數(shù)相較SIFT算法少，但是匹配正確率遠(yuǎn)超過SIFT算法。所提算法的匹配正確率與KAZE算法、AKAZE算法相差較小，但匹配點(diǎn)數(shù)遠(yuǎn)超過KAZE和AKAZE算法。所提算法單點(diǎn)匹配耗時最長，約為8.1 ms。

表4 尺度變化圖像對比結(jié)果Table 4 Comparison of images with scale change

3.4 旋轉(zhuǎn)不變性實(shí)驗(yàn)

為了模擬電力巡線無人機(jī)在高空中航向或者云臺角度的變化，對圖4（b）順時針依次旋轉(zhuǎn)15°得到旋轉(zhuǎn)圖像，然后以中心點(diǎn)截取部分圖像，得到圖11。

圖11 角度變化部分匹配圖像Fig.11 Angle change of partial matching image

ORB算法、SIFT算法、KAZE算法、AKAZE算法和改進(jìn)KAZE算法為了滿足旋轉(zhuǎn)不變性，均需要為描述符建立主方向，而相同特征采樣區(qū)域建立的主方向可能具有差異，會造成同一特征描述符的距離增加，誤判為錯誤匹配點(diǎn)。所提ASV-LIOP描述符，不需要建立特征采樣區(qū)域主方向，本身具有旋轉(zhuǎn)不變性，故對具有旋轉(zhuǎn)圖像的匹配效果較好，故匹配正確率最高，如柱狀圖12。

圖12 角度變化圖像正確匹配率Fig.12 Correct matching rate of angle change images

表5 統(tǒng)計了旋轉(zhuǎn)圖像匹配點(diǎn)數(shù)和單點(diǎn)匹配時間，SIFT算法匹配點(diǎn)數(shù)最多，ORB算法次之，KAZE算法匹配點(diǎn)數(shù)最少。對于旋轉(zhuǎn)變化圖像，ORB算法匹配點(diǎn)數(shù)雖多，但匹配正確率最低；所提算法匹配點(diǎn)數(shù)相較ORB算法少，但是匹配正確率高于ORB算法7%左右。

表5 角度變化圖像對比結(jié)果Table 5 Comparison of angle change images

4 結(jié)束語

本文提出一種基于高斯曲率濾波的電力巡線無人機(jī)航拍圖像匹配方法，首先使用保邊性更好高斯曲率濾波算法構(gòu)建金字塔，然后用FAST算法檢測特征點(diǎn)，再對金字塔二次建立尺度空間并提取每層尺度空間內(nèi)特征點(diǎn)的LIOP描述符，隨后對不同尺度層上LIOP描述符兩兩做差，再設(shè)置閾值二值化差值LIOP，最后累加得到ASV-LIOP描述符。實(shí)驗(yàn)表明：本文算法的穩(wěn)定性比傳統(tǒng)算法更強(qiáng)，可獲得較多的正確匹配點(diǎn)。在進(jìn)一步的工作中，在不影響算法的魯棒性前提下，進(jìn)一步提高算法的匹配效率。