基于輸電桿塔區(qū)域提取的圖像匹配算法

郭可貴，曹瑞，萬能，汪曉，尹悅，唐旭明，熊軍林*

（1.國網(wǎng)安徽省電力有限公司 超高壓分公司，合肥 230601； 2.中國科學技術(shù)大學 信息科學技術(shù)學院，合肥 230026；3.國網(wǎng)安徽省電力有限公司 合肥供電公司，合肥 230000； 4.國網(wǎng)安徽省電力有限公司 淮南供電公司，安徽 淮南 232007）（?通信作者電子郵箱xiong77@ustc.edu.cn）

基于輸電桿塔區(qū)域提取的圖像匹配算法

郭可貴1，曹瑞2，萬能3，汪曉1，尹悅1，唐旭明4，熊軍林2*

（1.國網(wǎng)安徽省電力有限公司 超高壓分公司，合肥 230601； 2.中國科學技術(shù)大學 信息科學技術(shù)學院，合肥 230026；3.國網(wǎng)安徽省電力有限公司 合肥供電公司，合肥 230000； 4.國網(wǎng)安徽省電力有限公司 淮南供電公司，安徽 淮南 232007）（?通信作者電子郵箱xiong77@ustc.edu.cn）

針對無人機（UAV）視覺定位過程中傳統(tǒng)特征提取與匹配算法匹配質(zhì)量不佳的問題，提出了一種基于輸電桿塔區(qū)域提取的圖像匹配算法。首先，將圖像劃分為若干相互重疊的網(wǎng)格區(qū)域，并對每個區(qū)域采用雙層金字塔結(jié)構(gòu)提取特征點，從而保證特征點的均勻分布；其次，使用直線分割檢測（LSD）算法提取圖像中的直線，從而利用輸電桿塔的特殊結(jié)構(gòu)得到輸電桿塔的支撐區(qū)域；最后，在連續(xù)圖像中對輸電桿塔區(qū)域與背景區(qū)域內(nèi)的特征點分別進行匹配，以進一步估計相機運動。在旋轉(zhuǎn)和平移估計實驗中，與傳統(tǒng)的ORB特征提取與匹配算法相比，所提算法的特征匹配準確率提升了10.1個百分點，相對位姿誤差的均值降低了0.049；在UAV巡檢實驗中，采用所提算法進行UAV軌跡估計的相對誤差為2.89%，表明該算法可在實時繞塔飛行過程中實現(xiàn)對UAV位姿的魯棒、精確估計。

無人機巡檢；輸電桿塔提取；均勻化特征；圖像匹配；運動估計

0 引言

隨著我國電力行業(yè)的高速發(fā)展，超高壓、大容量的輸電線路在不斷地擴建，能源覆蓋面積也在增加。輸電線路作為電力系統(tǒng)中的關(guān)鍵組成部分之一，其安全穩(wěn)定的運行直接影響到電力系統(tǒng)的可靠性，故對輸電線路的巡檢工作至關(guān)重要。多旋翼無人機（Unmanned Aerial Vehicle， UAV）由于擁有機動靈活、懸停穩(wěn)定性好以及便于操控的特點，目前已經(jīng)廣泛應用于電力巡檢中［1-2］。無人機自主巡檢時，需要實時對自身的空間位置進行估計。但在輸電塔附近，無人機因受周圍環(huán)境影響，局部區(qū)域內(nèi)可能無法接收到全球定位系統(tǒng)（Global Positioning System， GPS）信號，從而導致定位失靈。因此，基于視覺的同時定位與建圖（Simultaneous Localization and Mapping，SLAM）技術(shù)逐漸在無人機自主巡檢中得到應用。

在利用視覺信息進行無人機定位時，首先對拍攝的圖像提取特征點并進行特征匹配，進而根據(jù)匹配的結(jié)果估計無人機位姿。圖像中特征點的提取與匹配結(jié)果直接影響后續(xù)位姿計算的精度。傳統(tǒng)的ORB（Oriented FAST（Features from Accelerated Segment Test） and Rotated BRIEF（Binary Robust Independent Elementary Features））［3］特征提取算法采用FAST［4］角點提取算法提取圖像中的角點，并結(jié)合灰度質(zhì)心法與旋轉(zhuǎn)不變的二進制描述子提取圖像中的特征點。但FAST角點檢測算法基于圖像中像素灰度值的統(tǒng)計量進行角點篩選，導致提取特征點集中于圖像中紋理密集區(qū)域，易導致特征匹配時無法有效利用全局特征匹配信息，降低了特征匹配質(zhì)量。并且由于輸電塔的鏤空結(jié)構(gòu)，部分輸電塔上特征點的描述子包含背景信息，該類特征點參與匹配時同樣會降低全局特征匹配的質(zhì)量。因此在實際巡檢中，采用傳統(tǒng)ORB特征提取與匹配算法提取并匹配圖像中特征點時，易出現(xiàn)圖像間特征匹配質(zhì)量不佳、無人機位姿計算精度不高的問題。針對此問題，本文提出了一種基于輸電桿塔區(qū)域提取的圖像匹配算法，利用桿塔結(jié)構(gòu)特征提取圖像中輸電桿塔區(qū)域，然后基于提取結(jié)果對特征點進行分類并完成特征匹配，同時將匹配結(jié)果用于無人機的旋轉(zhuǎn)及平移估計中，實驗結(jié)果驗證了本文算法的有效性。

1 相關(guān)工作

無人機在電力巡檢作業(yè)中，可利用基于視覺的SLAM技術(shù)進行自身位置與姿態(tài)的輔助估計。目前主流的視覺SLAM方法主要分為間接法和直接法［5-6］：間接法通過提取和匹配圖像中的顯著性特征完成運動估計與定位建圖，如基于點特征的ORB-SLAM2［7］、基于線特征的PL-SLAM［8］等；直接法利用圖像中各像素間灰度信息的變化關(guān)系完成定位與建圖，如SVO［9］、DSO［10］、LSD-SLAM［11］等。由于無人機作業(yè)場景光照變化較大，對光度誤差敏感的直接法不能穩(wěn)定運行，在此任務中本文選擇基于特征的視覺SLAM。而在基于特征點的視覺SLAM中，特征點的提取與匹配結(jié)果直接影響后續(xù)位姿計算的精度。常用的特征點有尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）［12］、SURF（Speeded Up Robust Features）［13］、ORB等。本文選用具備尺度、光照、旋轉(zhuǎn)不變性，并兼顧實時性的ORB特征完成圖像間的特征提取與匹配操作。然而，依據(jù)特征提取原理，ORB特征主要分布在圖像中紋理豐富的區(qū)域，平滑區(qū)域的少量特征點對圖像間的匹配與運動估計會產(chǎn)生不利影響。

在無人機巡檢任務中，對圖像中輸電桿塔的識別與提取能有效地幫助無人機完成各項巡檢任務［14］。Tragulnuch等［15］提出了一種基于視頻序列的輸電鐵塔檢測與跟蹤方法，利用Canny-Hough變換的方式實現(xiàn)在航拍視頻序列中對輸電桿塔的高效檢測與跟蹤。王榆夫等［16］利用桿塔上鋼條互相平行且與主輪廓相接的特性提取了桿塔的主輪廓與中軸，通過計算桿塔中軸與地面水平參考線的夾角完成對桿塔的傾斜程度的判斷。徐晶等［17］提出了一種檢測鐵塔上鳥巢的方法，利用圖像中的交叉線段確定桿塔區(qū)域，在桿塔區(qū)域內(nèi)根據(jù)描述鳥巢的慣性矩特征量檢測鳥巢。該方法只在桿塔區(qū)域內(nèi)檢測鳥巢，降低了背景區(qū)域?qū)z測結(jié)果的干擾，能有效地檢測出鳥巢區(qū)域，但其確定桿塔區(qū)域的方法忽略了背景中存在的干擾線段，導致桿塔識別的結(jié)果有較大誤差。

基于文獻［17］的研究，本文提出了一種改進的輸電桿塔提取方法，并將之應用于特征匹配過程中，進而提升了圖像間特征匹配質(zhì)量及運動估計的精度。

2 技術(shù)方案

在輸電桿塔巡檢任務中，針對傳統(tǒng)ORB特征提取與匹配算法在室外場景下特征匹配質(zhì)量不佳，易導致在視覺跟蹤時無人機位姿計算精確度較低的問題，本文提出了一種基于輸電桿塔區(qū)域提取的圖像匹配算法。首先，對圖像進行網(wǎng)格劃分提取均勻分布的ORB特征點；然后，提取圖像中的輸電桿塔區(qū)域。將提取的特征點分為輸電桿塔區(qū)域特征點與背景區(qū)域特征點兩類，對兩類特征點分別進行匹配，得到圖像間特征匹配結(jié)果。本文算法的具體流程如圖1表示。

圖1 所提基于輸電桿塔區(qū)域提取的特征匹配算法流程Fig. 1 Flow chart of proposed feature matching algorithm based on transmission tower area extraction

本文的主要工作如下：

1）提取圖像均勻分布的特征點，能有效地提高旋轉(zhuǎn)估計的計算精度及魯棒性。

2）結(jié)合圖像中的線段特征提出了一種提取輸電桿塔區(qū)域的方法，同時根據(jù)圖像中的輸電桿塔區(qū)域?qū)鶆蚍峙涞奶卣鼽c進行分類并完成特征匹配，提高了特征匹配準確率以及平移估計的計算精度。

2.1 特征點的均勻提取

傳統(tǒng)的ORB特征提取算法獲得的特征點主要分布在圖像中紋理密集的區(qū)域，而無人機拍攝的照片視野開闊，紋理分布集中，平滑區(qū)域較多，提取出的特征點會集中在局部區(qū)域。當無人機發(fā)生大角度的旋轉(zhuǎn)運動時，大量特征點在運動后消失，導致匹配結(jié)果中出現(xiàn)大量誤匹配，運動估計的計算精度也因此降低。在此情況下，可對圖像提取全局均勻分布的特征點，提高匹配質(zhì)量及后續(xù)運動估計的精度。

從圖2可知，傳統(tǒng)算法提取的特征點在圖像中的分布并不均勻，集中在輸電桿塔、房屋等局部區(qū)域，在輸電線路、樹木等區(qū)域均無法有效提取特征點，而本文算法則實現(xiàn)了特征點在圖像上的均勻分布。

圖2 不同算法特征點分布情況Fig. 2 Distribution of feature points of different algorithms

2.2 基于輸電桿塔區(qū)域提取的特征匹配

輸電桿塔上提取的特征點由于桿塔的鏤空性質(zhì)包含部分背景信息，對無人機拍攝的照片進行特征匹配與運動估計時，桿塔區(qū)域上的特征點與背景區(qū)域上的特征點會相互影響對方的匹配結(jié)果，導致圖像間整體的特征匹配質(zhì)量不佳，進而影響運動估計的魯棒性和穩(wěn)定性。為提高特征匹配質(zhì)量，本文提出了一種基于輸電桿塔區(qū)域提取的特征匹配方法。利用本文提出的輸電桿塔區(qū)域提取方法提取圖像中的輸電桿塔區(qū)域，并基于此對圖像中的特征點進行分類，進而完成圖像間的特征匹配，提高了圖像全局的特征匹配質(zhì)量。

2.2.1 輸電桿塔區(qū)域提取方法

提取圖像中的輸電桿塔區(qū)域是對圖像中的特征點進行分類與匹配的基礎。由于桿塔結(jié)構(gòu)存在大量的交叉線段，文獻［17］提出了可以根據(jù)圖像中交叉斜線的數(shù)量來確定桿塔區(qū)域，并采用塊狀區(qū)域進行前景的分割；但其忽略了圖像中存在的噪聲線段，并且在進行桿塔區(qū)域判定時，只要求斜上與斜下方向線段超過一定數(shù)量要求即可，并未考慮線段交叉結(jié)構(gòu)的對稱性對線段數(shù)目的約束，導致大量背景區(qū)域被誤判成桿塔區(qū)域。針對這一問題，本文提出了一種新的方法使輸電桿塔區(qū)域的提取結(jié)果更為精細與準確。

在實際環(huán)境中，由于圖像中紋理信息豐富的區(qū)域常易提取出大量的噪聲線段，為減少噪聲線段對輸電桿塔提取結(jié)果的影響，需預先對輸入的圖像進行濾波平滑處理。由于輸電桿塔區(qū)域內(nèi)像素點的方差高于噪聲線段區(qū)域像素點的方差，因此本文選用雙邊濾波器對圖像進行濾波，使得在濾波過程中，噪聲線段被去除，輸電桿塔上的線段被保留。本文采用直線分割檢測（Line Segment Detector， LSD）算法［18］提取圖像中的線段，并根據(jù)線段的角度對線段進行分類：

由交叉線段的對稱性可知，桿塔上斜上線段與斜下線段的數(shù)目應當相近，因此本文根據(jù)圖像中任一區(qū)域內(nèi)的斜上線段數(shù)目M1與斜下線段數(shù)目M2提出桿塔區(qū)域判定條件。圖像中符合式（1）的區(qū)域即為輸電桿塔區(qū)域。

算法1給出了提取圖像中輸電桿塔區(qū)域的具體步驟，圖3給出了桿塔提取結(jié)果的可視化展示。從圖3可知，本文算法能夠有效地提取圖像中的輸電桿塔區(qū)域。

算法1 輸電桿塔區(qū)域提取算法。

2）采用LSD算法提取圖像中的線段

4） for 圖像內(nèi)的每個區(qū)域 do

5） for 分塊內(nèi)每條直線 do

6） 計算線段的角度

7） 根據(jù)線段的角度對線段進行分類

8） end for

12） end if

13） end for

圖3 無人機拍攝圖像及輸電桿塔提取結(jié)果Fig. 3 Image taken by UAV and transmission tower extraction result

2.2.2 特征點的分類與匹配

為了提升圖像間的特征匹配質(zhì)量，在提取出圖像中的輸電桿塔區(qū)域后，本文提出了一種特征匹配的方法。首先，遍歷圖像中所有特征點，根據(jù)特征點所處位置構(gòu)造輸電桿塔支撐區(qū)域特征點集合與背景區(qū)域特征點集合。其次，對任意兩張圖像與圖像，將兩張圖像的輸電桿塔支撐區(qū)域特征點集合與背景區(qū)域特征點集合分別進行特征匹配。

輸電桿塔區(qū)域在圖像整體中面積小，特征點數(shù)目較少，對該區(qū)域內(nèi)特征匹配對篩選的要求可更為寬松，本文將輸電桿塔支撐區(qū)域特征點集合中匹配對的篩選閾值設置為。背景上的特征點匹配對數(shù)目較多，為降低背景區(qū)域的誤匹配對數(shù)目，本文將背景區(qū)域特征點集合中匹配對的篩選閾值設置為，圖3為采用本文所提算法對無人機拍攝圖像提取輸電桿塔的結(jié)果。圖4（a）、圖4（b）分別展示了圖像中輸電桿塔區(qū)域及背景區(qū)域的特征匹配結(jié)果，可知桿塔區(qū)域與背景區(qū)域的特征點均得到了良好匹配。

圖4 基于輸電桿塔和背景特征點的分類與匹配結(jié)果示意圖Fig. 4 Schematic diagram of classification and matching results based on feature points of transmission tower and background

3 運動估計

本文將特征匹配的結(jié)果應用于圖像間的運動估計中來驗證本文算法的性能。圖像間的運動估計包含旋轉(zhuǎn)估計與平移估計兩部分。

3.1 旋轉(zhuǎn)估計

式中：K為相機的內(nèi)參；E為圖像之間的本質(zhì)矩陣；R與t為相機之間的旋轉(zhuǎn)與平移。

由式（2）～（3）可知，本質(zhì)矩陣由對極約束確定且具有尺度等價性。由于旋轉(zhuǎn)平移共有6個自由度，因此本質(zhì)矩陣實際上有5個自由度，即最少可通過5對正確匹配進行求解?？紤]到本質(zhì)矩陣內(nèi)部的非線性性質(zhì)，本文采用八點法［19-20］對其進行線性化并求解本質(zhì)矩陣，從而精確解算出圖像間的旋轉(zhuǎn)變換。

3.2 平移估計方法

對于兩張連續(xù)圖像，若第一幅圖像中特征點的空間3D位置已知，則根據(jù)兩張圖像特征點的匹配關(guān)系得到若干對3D-2D點的匹配關(guān)系，進而可構(gòu)造求解相機位姿的PnP（Perspective-n-Point）問題。本文采用EPnP（Efficient PnP）方法［21］進行求解，將獲得的位姿作為初始值最小化重投影誤差e，得到優(yōu)化后的精準平移量。

式中：n為匹配特征點的總個數(shù)；ui為第i個匹配特征點的像素坐標；表示相機的位姿；Pi為第i個匹配特征點對應的空間坐標；si表示第i個匹配特征點的深度；為其根據(jù)求解位姿投影后的像素坐標。

在實際估計圖片間的平移變換過程中，圖像之間可提供的匹配對數(shù)遠超過需要的匹配對數(shù)。在提供的特征匹配對中，正確匹配對占比越多，求解出位姿精度也更高，估計出的平移也越精準。

4 實驗與結(jié)果分析

為驗證本文算法的性能，針對旋轉(zhuǎn)和平移估計分別進行對比實驗。定義傳統(tǒng)的ORB特征提取與匹配方法為M1，提取圖像均勻分配的ORB特征點后直接進行特征匹配的方法為M2，提取圖像均勻分配的ORB特征點后結(jié)合輸電桿塔區(qū)域進行特征點分類與匹配的方法為M3。

4.1 旋轉(zhuǎn)估計

在實際的輸電桿塔環(huán)境中，保持無人機位置不變，將云臺翻滾角設置為0°，調(diào)整云臺相機的偏航角與俯仰角以進行組合拍攝，共拍攝25張，分別采用M1、M2算法提供的特征匹配結(jié)果估計圖片的旋轉(zhuǎn)。

圖5為旋轉(zhuǎn)估計的均值隨特征點數(shù)目與旋轉(zhuǎn)角度的變化情況（定點旋轉(zhuǎn)分別為6°、12°、18°、24°），橫坐標表示提取的特征點數(shù)目，縱坐標表示估計的旋轉(zhuǎn)角度。由圖5中可知，在旋轉(zhuǎn)角度較小時，M1、M2均能獲得穩(wěn)定的估計效果；當旋轉(zhuǎn)角度進一步增大時，M1收斂性被破壞，而本文提出的M2算法能在特征點數(shù)量較少時得到收斂至誤差范圍內(nèi)的估計結(jié)果。綜上可知，在無人機運動過程中，本文提出的M2算法對旋轉(zhuǎn)估計問題具有更強的魯棒性和準確性。

圖5 不同角度下旋轉(zhuǎn)估計的均值隨特征點數(shù)目的變化情況Fig. 5 Variation of mean value of rotation estimation with feature points at different angles

4.2 平移估計

為驗證本文提出的基于輸電桿塔區(qū)域提取的特征點分類與匹配方法對提升平移估計精度的有效性，本文使用無人機拍攝了5組平移圖片序列進行實驗，每組包含4張圖片，構(gòu)成3段平移。分別采用M1、M2、M3三種算法計算特征匹配的準確率，并將特征匹配結(jié)果用于圖片間的平移估計。由于單目相機不具備尺度信息，且實驗數(shù)據(jù)中不包含旋轉(zhuǎn)運算，本文采用相對位姿誤差（Relative Pose Error， RPE）的均方根誤差（Root Mean Squared Error， RMSE）在平移變化中的退化形式來評價算法效果。

取拍攝圖像位置所處的GPS坐標作為參考真實值，圖6給出了三種算法下的軌跡估計，表1給出了三種算法的匹配準確率以及用于平移估計時的相對位姿誤差。由圖6可知，與M1算法相比，本文所提出的M2、M3算法下的運動軌跡更接近真實值。由表1可知，本文所提M2與M3算法的特征匹配準確率相較于M1算法分別提升了1.8個百分點與10.1個百分點。此外，與M1算法相比，M2與M3算法用于平移估計時的相對位姿誤差的均值分別降低了0.016 5與0.049 0，表明本文算法能在不同程度上通過提升特征匹配準確率提高估計精度。

圖6 不同算法的軌跡對比Fig. 6 Trajectory comparison of different algorithms

4.3 巡檢應用

為驗證本文所提算法的實際應用價值，以ORB-SLAM2為運行平臺，對本文算法在輸電桿塔環(huán)境下的定位效果進行了測試。實驗過程中，無人機在輸電桿塔旁起飛，繞塔飛行一段距離后降落，由本文算法求解到的軌跡和由GPS記錄的真實軌跡如圖7所示。由圖7可知，本文算法得到的軌跡與真實軌跡相近，隨著飛行距離的增加，誤差有增大的趨勢，最終降落點的相對誤差為2.89%，在允許接受的誤差范圍內(nèi)。

表1 匹配準確率與平移誤差對比Tab. 1 Comparison of matching accuracy and translation error

圖7 本文算法在輸電桿塔巡檢環(huán)境下的軌跡和真實軌跡Fig. 7 Trajectory of proposed algorithm and real trajectory in transmission tower inspection environment

5 結(jié)語

為了提高無人機視覺定位精度，本文提出了一種基于輸電桿塔區(qū)域提取的圖像匹配算法。該算法在圖像中提取均勻分布的ORB特征點，有效提高了后續(xù)旋轉(zhuǎn)估計的計算精度及魯棒性；同時依據(jù)輸電桿塔上存在大量交叉線段的特殊性質(zhì)確定圖像中輸電桿塔區(qū)域，進而對特征點分類并完成特征匹配，提高了特征匹配的準確率及后續(xù)平移估計的計算精度。實驗結(jié)果表明，在輸電桿塔的巡檢任務中，采用本文算法結(jié)合ORB-SLAM2框架對無人機進行定位時效果良好，在輸電巡檢領域中具有實際應用價值；但是本文算法中的直線提取過程十分耗時，很難達到實時性的要求。在以后的工作中，將進一步考慮采用更高效的直線檢測技術(shù)提高算法的運行效率。

[1] 隋宇，寧平凡，牛萍娟，等.面向架空輸電線路的掛載無人機電力巡檢技術(shù)研究綜述［J］.電網(wǎng)技術(shù)，2021，45（9）：3636-3648.（SUI Y， NING P F， NIU P J， et al. Review on mounted UAV for transmission line inspection ［J］. Power System Technology， 2021， 45（9）： 3636-3648.）

[2] 吳立遠，畢建剛，常文治，等.配網(wǎng)架空輸電線路無人機綜合巡檢技術(shù)［J］.中國電力，2018，51（1）：97-101，138.（WU L Y， BI J G， CHANG W Z， et al. Research of unmanned aerial vehicle comprehensive inspection for distribution network overhead transmission lines ［J］. Electric Power， 2018， 51（1）： 97-101， 138.）

[3] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2564-2571.

[4] ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection ［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 430-443.

[5] 高翔，張濤，劉毅，等.視覺SLAM十四講從理論到實踐［M］.北京：電子工業(yè)出版社，2017：132-204.（GAO X， ZHANG T， LIU Y， et al. Fourteen Chapters of Visual SLAM： from Theory to Practice ［M］. Beijing： Publishing House of Electronics Industry，2017： 132 -204.）

[6] 王霞，左一凡.視覺SLAM研究進展［J］.智能系統(tǒng)學報，2020，15（5）：825-834.（WANG X， ZUO Y F. Advances in visual SLAM research ［J］. CAAI Transactions on Intelligent Systems，2020， 15（5）： 825-834.）

[7] MUR-ARTAL R， TARDóS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo and RGB-D cameras ［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

[8] PUMAROLA A， VAKHITOV A， AGUDO A， et al. PL-SLAM： real-time monocular visual SLAM with points and lines ［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2017：4503-4508.

[9] FORSTER C， PIZZOLI M， SCARAMUZZA D. SVO： fast semi-direct monocular visual odometry ［C］// Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Piscataway： IEEE，2014： 15-22.

[10] ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.

[11] ENGEL J， SCH?PS T， CREMERS D. LSD-SLAM： large-scale direct monocular SLAM ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8690. Cham： Springer， 2014： 834-849.

[12] LOWE D G. Distinctive image feature from scale-invariant key points ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[13] BAY H， TUYTELAARS T， GOOL L van. SURF： speeded up robust features ［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 404-417.

[14] 李振宇，郭銳，賴秋頻，等.基于計算機視覺的架空輸電線路機器人巡檢技術(shù)綜述［J］.中國電力，2018，51（11）：139-146.（LI Z Y， GUO R， LAI Q P， et al. Survey of inspection technology of overhead transmission line robot based on computer vision ［J］. Electric Power， 2018， 51（11）： 139-146.）

[15] TRAGULNUCH P，CHANVIMALUANG T， KASETKASEM T，et al. High voltage transmission tower detection and tracking in aerial video sequence using object-based image classification ［C］// Proceedings of the 2018 International Conference on Embedded Systems and Intelligent Technology and the 2018 International Conference on Information and Communication Technology for Embedded Systems， Piscataway： IEEE，2018： 1-4.

[16] 王榆夫，韓軍，趙慶喜，等.基于無人機圖像的電力桿塔傾斜檢測［J］.計算機仿真，2017，34（7）：426-431.（WANG Y F， HAN J，ZHAO Q X， et al. The method of power transmission tower inclination detection based on UAV image ［J］. Computer Simulation， 2017， 34（7）： 426-431.）

[17] 徐晶，韓軍，童志剛，等.一種無人機圖像的鐵塔上鳥巢檢測方法［J］.計算機工程與應用，2017，53（6）：231-235.（XU J， HAN J， TONG Z G， et al. Method for detecting bird’s nest on tower based on UAV image ［J］. Computer Engineering and Applications， 2017， 53（6）： 231-235.）

[18] GIOI R G von， JAKUBOWICZ J， MOREL J M， et al. LSD： a line segment detector ［J］. Image Processing on Line， 2012， 2： 35-55.

[19] HARTLEY R I. In defense of the eight-point algorithm ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（6）： 580-593.

[20] LONGUET-HIGGINS H C. A computer algorithm for reconstructing a scene from two projections ［J］. Nature， 1981， 293（5828）： 133-135.

[21] LEPETIT V， MORENO N F， FUA P. EPnP： an accurateO（n） solution to the PnP problem ［J］. International Journal of Computer Vision， 2009， 81（2）： Article No.155.

Image matching algorithm based on transmission tower area extraction

GUO Kegui1， CAO Rui2， WAN Neng3， WANG Xiao1， YIN Yue1，TANG Xuming4， XIONG Junlin2*

（1.Ultra High Voltage Company，State Grid Anhui Electric Power Company Limited，Hefei Anhui230601，China；2.School of Information Science and Technology，University of Science and Technology of China，Hefei Anhui230026，China；3.Hefei Electric Power Supply Company，State Grid Anhui Electric Power Company Limited，Hefei Anhui230000，China；4.Huainan Electric Power Supply Company，State Grid Anhui Electric Power Company Limited，Huainan Anhui232007，China）

In order to solve the problem of low matching quality of the traditional feature extraction and matching algorithm in Unmanned Aerial Vehicle （UAV） visual localization， a new image matching algorithm based on transmission tower area extraction was proposed. Firstly， the image was divided into several overlapping grid areas， and the feature points were extracted by a two-layer pyramid structure for each area to ensure the uniform distribution of feature points. Then， the Line Segment Detector （LSD） algorithm was used to extract the lines in the images， the transmission tower support areas were extracted on the basis of special structure of transmission tower. Finally， the feature points in the transmission tower areas and the background areas were matched respectively in continuous images to further estimate the camera motion. In the rotation and translation estimation experiment， compared with the traditional Oriented Features from Accelerated Segment Test（FAST） and Rotated Binary Robust Independent Elementary Features （BRIEF） （ORB） feature extraction and matching algorithm， the proposed algorithm has the feature matching accuracy improved by 10.1 percentage points， the mean value of relative pose error reduced by 0.049. In the UAV inspection experiment， the relative error of the UAV trajectory estimation by using the proposed algorithm is 2.89%， which indicates that the proposed algorithm can achieve the robust and accurate estimation of the UAV’s pose during the real-time flying around the tower.

Unmanned Aerial Vehicle (UAV) inspection; transmission tower extraction; homogenized feature; image matching; motion estimation

TP391.4；TM75

A

1001-9081（2022）05-1591-07

10.11772/j.issn.1001-9081.2021050796

2021?05?17；

2021?12?22；

2021?12?23。

2019—2020年安徽省電力有限公司科技項目（5212F018008S）。

郭可貴（1985—），男，安徽淮南人，工程師，主要研究方向：輸電線路無人機巡檢； 曹瑞（1997—），男，安徽六安人，碩士研究生，主要研究方向：視覺同時定位與建圖； 萬能（1990—），男，江西臨川人，工程師，碩士，主要研究方向：輸電線路無人機巡檢； 汪曉（1972—），男，安徽合肥人，高級工程師，碩士，主要研究方向：輸電線路運維管理； 尹悅（1991—），男，安徽淮南人，工程師，主要研究方向：輸電線路無人機巡檢； 唐旭明（1965—），男，安徽淮南人，高級工程師，主要研究方向：輸電線路無人機巡檢； 熊軍林（1977—），男，河南鄭州人，教授，博士，主要研究方向：自動控制。

This work is partially supported by 2019—2020 Science and Technology Project of Anhui Electric Power Company Limited （5212F018008S）.

GUO Kegui， born in 1985， engineer. His research interests include transmission line unmanned aerial vehicle inspection.

CAO Rui， born in 1997， M. S. candidate. His research interests include visual simultaneous localization and mapping.

WAN Neng， born in 1990， M. S.， engineer. His research interests include transmission line unmanned aerial vehicle inspection.

WANG Xiao， born in 1972， M. S.， senior engineer. His research interests include transmission line operation and maintenance management.

YIN Yue， born in 1991， engineer. His research interests include transmission line unmanned aerial vehicle inspection.

TANG Xuming， born in 1965， senior engineer. His research interests include transmission line unmanned aerial vehicle inspection.

XIONG Junlin， born in 1977， Ph. D.， professor. His research interests include automatic control.