基于Order-Aware網(wǎng)絡(luò)內(nèi)點篩選網(wǎng)絡(luò)的電力巡線航拍圖像拼接

回立川，李萬禹，陳藝琳

（遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

基于Order-Aware網(wǎng)絡(luò)內(nèi)點篩選網(wǎng)絡(luò)的電力巡線航拍圖像拼接

回立川，李萬禹*，陳藝琳

（遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

電力巡線圖像紋理復(fù)雜且具有視差變化，針對傳統(tǒng)算法獲取成對匹配點數(shù)量較少、配準(zhǔn)精度較低，嚴(yán)重影響電力巡線無人機圖像拼接效果等問題，提出了一種基于改進OANet的圖像拼接算法。首先，借助加速“風(fēng)”（AKAZE）算法對待拼接電力巡線圖像進行粗匹配；其次，對OANet中Order-Aware模塊添加擠壓和激勵網(wǎng)絡(luò)（SENet），從而增強網(wǎng)絡(luò)對局部和全局上下文信息的抓取能力，得到更精確的成對匹配點；然后，通過MPA算法配準(zhǔn)待拼接圖像；最后，借助內(nèi)容壓縮感知算法計算重疊區(qū)域的最佳縫合線以完成圖像拼接。改進OANet相較原OANet的正確匹配點數(shù)量增加了10%左右，耗時平均增加了10 ms；與APAP算法、AANAP算法、MPA算法等配準(zhǔn)拼接算法相比，所提算法的拼接質(zhì)量最好，其待拼接圖像的重疊區(qū)域的均方根誤差為0，非重疊區(qū)域未發(fā)生畸變。實驗結(jié)果表明，所提算法可快速、穩(wěn)定地拼接電力巡線航拍圖像。

電力巡線；圖像拼接；OANet；擠壓和激勵網(wǎng)絡(luò)；MPA算法；內(nèi)容壓縮感知算法

0 引言

為了保障輸電線路的正常運行，需要定期對輸電線路巡檢。輸電線路走廊范圍較大且距離長，線路的地形往往十分復(fù)雜，可能跨越江河或者山嶺等，這些區(qū)域借助交通工具行駛是十分不便的。隨著無人機技術(shù)的發(fā)展，借助無人機完成電力巡線已成為一個熱門研究方向［1-3］。限于無人機機載相機的畫幅，需要多次拍攝拼接合成才能得到完整的輸電線路走廊局部圖像。

電力巡線無人機輸電線路走廊地圖制作主要分為兩個環(huán)節(jié)：特征匹配和圖像配準(zhǔn)融合。特征匹配主要通過局部特征點匹配算法完成，成對特征點的質(zhì)量和數(shù)量直接影響到形變矩陣配準(zhǔn)的精度；圖像配準(zhǔn)融合通過成對特征點的空間位置關(guān)系得到待拼接圖像的位置信息，形變拼接圖像完成配準(zhǔn)，并融合重疊區(qū)域圖像。

成對特征點的質(zhì)量和數(shù)量直接影響電力線走廊地圖質(zhì)量的好壞，為了得到較好質(zhì)量的成對匹配點完成圖像拼接，有研究者提出了一種基于改進尺度不變特征變換（Scale Invariant Feature Transform， SIFT）算法［4-5］的柱面全景拼接算法，先使用改進SIFT算法完成圖像粗匹配，然后借助隨機采樣一致性（RANdom SAmple Consensus， RANSAC）算法篩選特征點，最后根據(jù)點與點的關(guān)系計算空間變換矩陣完成圖像拼接。SIFT算法借助高斯函數(shù)構(gòu)建尺度空間，會導(dǎo)致尺度圖像的角與邊緣信息丟失，造成匹配算法的魯棒性下降。為了進一步提高匹配點的質(zhì)量，有研究者提出了一種基于“風(fēng)”算法（KAZE，“風(fēng)”的日文發(fā)音）［6-7］的無人機圖像拼接方法，KAZE算法使用非線性濾波構(gòu)建尺度空間，有助于提高成對特征點的質(zhì)量。SIFT和KAZE算法的描述符均為浮點型，需要使用歐氏距離衡量不同描述符的相似性，耗時較長，圖像拼接算法效率較低。有研究者提出了基于加速“風(fēng)”（Accelerated KAZE， AKAZE）算法［8-9］的圖像拼接算法，AKAZE算法匹配點耗時較少、魯棒性較好，使得圖像配準(zhǔn)精度進一步提高。上述幾種方法均通過RANSAC算法篩選特征點，該算法主要通過迭代計算得到最佳的參數(shù)模型，但易把正確匹配點誤判為外點，致使成對特征點數(shù)量減少。有研究者提出了基于漸進一致采樣算法［10-11］的無人機航拍圖像拼接算法，漸進一致采樣算法篩選內(nèi)點時根據(jù)匹配結(jié)果由高到低的得分進行排序，有助于更好更快地得到參數(shù)模型。有研究者提出了基于網(wǎng)格運動統(tǒng)計（Grid-based Motion Statistics， GMS）算法［12-13］的最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法，該算法首先使用ORB（Oriented FAST（Features from Accelerated Segment Test） and Rotated BRIEF（Binary Robust Independent Elementary Features））算法［14］匹配特征點，然后借助運動網(wǎng)格算法篩選特征點，最后采用動態(tài)規(guī)劃計算最佳縫合線完成圖像拼接。有研究者提出了基于向量場一致性（Vector Field Consistency， VFC）算法［15-16］的圖像拼接方法，先對傳統(tǒng)SIFT算法改進，然后借助向量場一致性篩選內(nèi)點，最后計算單應(yīng)性矩陣完成圖像拼接。

綜上所述，成對匹配點質(zhì)量和數(shù)量直接影響待拼接圖像配準(zhǔn)精度，而常用特征點篩選算法魯棒性較差，保留內(nèi)點數(shù)較少，為了得到更好的電力線走廊地圖，本文提出了一種基于改進OANet（Order-Aware Network）［17］的航拍圖像拼接算法。首先，借助AKAZE算法完成圖像粗匹配；然后，對OANet添加擠壓和激勵網(wǎng)絡(luò)（Squeeze-and-Excitation Network， SENet）［18］篩選正確匹配點；最后，借助MPA（Mesh-based Photometric Alignment）算法［19］配準(zhǔn)待拼接圖像，并使用內(nèi)容壓縮感知算法［20］對兩張待拼接圖像重疊區(qū)域分別保留重要度較高和較低區(qū)域，以此為最佳縫合線完成圖像拼接。

1 相關(guān)工作

1.1 OANet內(nèi)點篩選網(wǎng)絡(luò)

OANet會對每一對匹配點的匹配精度添加權(quán)重值，利用這個權(quán)重值計算兩張待匹配圖像形變關(guān)系。有若干成對具有重疊區(qū)域的訓(xùn)練圖像，其中成對匹配點的關(guān)系為：

或者可用幾何損失函數(shù)表示為：

OANet主要包含四大模塊，分別為：PointCN（Point Context Normalization）網(wǎng)絡(luò)模塊、可微池化（Differentiable Pooling， DiffPool）網(wǎng)絡(luò)模塊、Order-Aware濾波器模塊、Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊，如圖1所示。

圖1 OANet結(jié)構(gòu)Fig. 1 OANet structure

1）PointCN網(wǎng)絡(luò)模塊。PointCN網(wǎng)絡(luò)是在點云網(wǎng)絡(luò)（PointNet）的基礎(chǔ)上改進得到的，PointNet經(jīng)證明可擬合任意輸入數(shù)據(jù)集合，為了更好得到圖像點在上下文的信息，PointCN提出了上下文歸一化層（Context Normalization）用于提取圖像的全局特征，引入共同感知機（Shared Perceptron）可更快速有效地提取，如圖2所示。

2）DiffPool網(wǎng)絡(luò)模塊。PointCN盡管可以捕捉圖像的全局信息，但是局部點信息容易丟失，因為缺少點與點之間的相互作用，因此在網(wǎng)絡(luò)中添加DiffPool網(wǎng)絡(luò)。DiffPool網(wǎng)絡(luò)可以將無序的節(jié)點信息聚類采樣，構(gòu)建成M個類。DiffPool網(wǎng)絡(luò)具有排列不變性，表明不同序列的數(shù)據(jù)輸入都可聚類成一種可學(xué)習(xí)的規(guī)范順序。

3）Order-Aware濾波器模塊，如圖3所示。經(jīng)過DiffPool網(wǎng)絡(luò)后，匹配點被聚類且是空間有序的，直接使用PointCN網(wǎng)絡(luò)處理，并不能很好地利用空間順序信息，因為它忽略了點與點的空間位置關(guān)系，同時也不能很好地對全局上下文信息提取。

圖2 PointCN網(wǎng)絡(luò)Fig. 2 PointCN network

圖3 Order-Aware濾波器模塊Fig. 3 Order-Aware filter module

為了更好地提取點空間和全局上下文信息，OANet借助空間相關(guān)性層（Spatial Correlation）捕捉全局上下文信息。在多層感知機前后，添加轉(zhuǎn)換層，將通道維度轉(zhuǎn)換為空間維度，使得共享感知機在空間維度遍歷點與點的聯(lián)系，從而更加高效地捕捉全局上下文信息。在PointCN層是對通道維度處理，空間相關(guān)性層是對空間維度處理，加入注意力層（Transpose）可快速提取所需信息，故這兩個層是正交互補的。

4）Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊。DiffPool網(wǎng)絡(luò)被用來預(yù)測整個圖網(wǎng)絡(luò)的標(biāo)簽值，但不適用于稀疏匹配問題。因為需要對所有的成對匹配點添加權(quán)重，所以需要在DiffPool網(wǎng)絡(luò)后添加上采樣網(wǎng)絡(luò)。在經(jīng)過Order-Aware濾波器模塊后，點與點之間丟失了空間順序，所以單純地對DiffPool網(wǎng)絡(luò)反操作不能恢復(fù)訓(xùn)練數(shù)據(jù)的空間順序，故使用Order-Aware Differentiable Unpooling網(wǎng)絡(luò)模塊輸出的權(quán)重參數(shù)一一對應(yīng)。

1.2 MPA算法

圖4 網(wǎng)格形變對光流的校準(zhǔn)Fig. 4 Calibration of optical flow by mesh deformation

2 本文算法

基于局部特征點的圖像拼接算法主要分為三個部分：特征粗匹配、內(nèi)點篩選和圖像配準(zhǔn)融合。本文先借助AKAZE算法完成特征粗匹配；其次對OANet的Order-Aware濾波器模塊添加SENet，篩選較好的成對匹配點；然后借助MPA算法完成圖像配準(zhǔn)，并通過內(nèi)容壓縮感知算法計算最佳縫合線，完成圖像拼接，具體流程如圖5所示。

AKAZE算法主要分為三個部分：非線性尺度空間、特征點提取和MLDB（Modified-Local Difference Binary）描述符構(gòu)建，具體參見文獻［8］。

2.1 改進OANet內(nèi)點篩選網(wǎng)絡(luò)

圖1中OANet共有6層Order-Aware濾波器模塊，Order-Aware網(wǎng)絡(luò)結(jié)構(gòu)由兩個點卷積網(wǎng)絡(luò)和一個空間相關(guān)性網(wǎng)絡(luò)組成，點卷積網(wǎng)絡(luò)主要對通道維度處理數(shù)據(jù)，空間相關(guān)性網(wǎng)絡(luò)主要對空間維度處理數(shù)據(jù)。訓(xùn)練數(shù)據(jù)較多，勢必有很多冗余信息，為了更好地學(xué)習(xí)樣本特征點的上下文信息，本文提出在Order-Aware網(wǎng)絡(luò)中引入SENet，具體如圖6所示。

圖5 本文算法流程Fig. 5 Flow chart of proposed algorithm

圖6 具有SENet的Order-Aware網(wǎng)絡(luò)Fig. 6 Order-Aware network with SENet

SENet主要分為擠壓（Squeeze）和激勵（Excitation）操作兩大階段。擠壓主要是將一個通道上所有空間特征編碼為全局特征，可通過全局平均池化層得到，表示為：

把原OANet中的Order-Aware結(jié)構(gòu)替換成本文所提的具有SENet的Order-Aware結(jié)構(gòu)，可有效增加網(wǎng)絡(luò)的擬合能力，得到更多穩(wěn)定的正確匹配點。

2.2 航拍圖像計算最佳縫合線拼接

成對特征點送入改進OANet網(wǎng)絡(luò)后，可得到成對正確匹配點，根據(jù)成對匹配點分布可計算得到兩張航拍圖像的單應(yīng)性矩陣，把單應(yīng)性矩陣代入MPA算法中，通過最大期望值算法得到最優(yōu)光流網(wǎng)格形變參數(shù)，完成相鄰航拍圖像配準(zhǔn)。對重疊區(qū)域較為復(fù)雜的航拍圖像，若對重疊區(qū)域融合，勢必會有重影；為了使重疊區(qū)域更加美觀，提出借助內(nèi)容壓縮感知算法計算最佳縫合線完成圖像拼接。

3 實驗與結(jié)果分析

本文實驗主要分為兩個部分，驗證AKAZE+改進OANet算法對電力巡線航拍圖像的穩(wěn)定性和所提算法對電力線圖像的拼接效果。為了得到更好的改進OANet模型，本文借助University1652-Baseline航拍數(shù)據(jù)集［21］訓(xùn)練OANet和改進OANet。

3.1 實驗過程

圖7為電力訓(xùn)練無人機在不同高度拍攝的輸電線路走廊圖片，圖像尺寸均為。實驗分為兩部分：第一部分，借助RANSAC算法、VFC算法、GMS算法、OANet算法與本文所提改進OANet算法對圖7進行匹配實驗，驗證內(nèi)點篩選數(shù)量和算法耗時；第二部分，借助APAP（As-Projective-As-Possible）算法［22］、AANAP（Adaptive As-Natural-As-Possible）算法［23］、MPA算法與本文算法進行對比實驗，判斷圖像拼接質(zhì)量。

3.2 結(jié)果分析

本文實驗主要分為特征匹配部分和圖像拼接部分兩部分，從而驗證特征匹配過程的穩(wěn)定性和圖像拼接質(zhì)量。

1）特征匹配部分：先借助AKAZE算法對待拼接輸電線路航拍圖像完成粗匹配，然后分別通過VFC、RANSAC、GMS、OANet等算法篩選內(nèi)點，依次與本文所提改進OANet算法對比。

2）圖像拼接部分：APAP、MPA、AANAP等算法使用SIFT算法完成圖像粗匹配，并通過RANSAC算法篩選匹配點，本文算法按照圖5的流程完成。

圖7 實驗圖像示例Fig. 7 Experimental image examples

3.2.1 內(nèi)點篩選效果評價

使用AKAZE算法與VFC、GMS、RANSAC、OANet、改進OANet算法等內(nèi)點篩選算法對圖7的實驗圖像中匹配點進行統(tǒng)計，如表1所示。由表1可知，所提改進OANet對電力巡線航拍圖像內(nèi)點篩選效果最好，每一組圖像均保留了大量成對匹配點，相較原OANet算法匹配點數(shù)量增加了10%左右，由此表明所提算法的適應(yīng)性強、魯棒性好；VFC內(nèi)點篩選算法的穩(wěn)定性最差，對圖7（b）、（c）組中圖像保留內(nèi)點數(shù)為0；RANSAC算法對7（a）圖像僅有9個成對匹配點，表明該算法適應(yīng)性欠佳；GMS算法對圖7（a）圖像得到內(nèi)點數(shù)為0，其他組得到匹配點數(shù)也較少，表明其穩(wěn)定性不及改進OANet算法。

表1 不同算法的匹配點數(shù)量對比Tab. 1 Comparison of number of matching points of different algorithms

航拍無人機高空拍攝易受到空氣對流影響，導(dǎo)致相鄰航拍圖像的角度和仿射性發(fā)生變化，為了驗證改進OANet算法是否具有較好抗角度不變性和抗仿射不變性，改變圖7（a）中目標(biāo)匹配圖像的角度和仿射。

對圖7（a）中目標(biāo)圖像添加15°和30°的角度旋轉(zhuǎn)，然后進行圖像匹配實驗，以檢測特征點篩選算法的旋轉(zhuǎn)不變性，數(shù)據(jù)結(jié)果如表2所示。VFC算法得到的匹配點數(shù)最多，但正確點數(shù)較少，平均匹配正確率僅為28.39%；RANSAC和GMS算法得到的匹配點較少，在15°變換時，GMS算法得到的匹配點數(shù)為0；本文所提改進OANet算法得到的匹配點數(shù)多于OANet算法，正確匹配點數(shù)也較多，匹配正確率提高了2.86個百分點。表2結(jié)果表明，所提改進OANet算法具有較好的旋轉(zhuǎn)不變性。

對圖7（a）中的目標(biāo)圖像添加不同程度的仿射變化，以檢測算法的抗仿射不變性，匹配實驗數(shù)據(jù)結(jié)果如表3所示。第一組實驗中，VFC算法得到的匹配點數(shù)最多，但匹配正確率僅為37.37%，第二組匹配點數(shù)為0，表明VFC算法的魯棒性較差。RANSAC和GMS算法得到的匹配點數(shù)較少，算法適應(yīng)性較差。本文所提改進OANet算法得到的匹配點數(shù)比原OANet算法多，匹配正確率提高了0.6個百分點，表明所提算法具有較強的抗仿射不變性。

表2 不同算法的角度變化匹配數(shù)據(jù)對比Tab. 2 Angle change matching data comparison of different algorithms

表3 不同算法的仿射變化匹配數(shù)據(jù)對比Tab. 3 Affine change matching data comparison of different algorithms

圖8為AKAZE+改進OANet算法特征匹配效果，線條連接同一對匹配點。

為了更好地衡量不同算法的效率，AKAZE、VFC、RANSAC、GMS、OANet和改進OANet算法均在CPU上運行，不同算法的耗時如表4所示。

表4 不同算法的匹配耗時對比 單位： msTab. 4 Matching time consumption comparison of different algorithms unit： ms

由表4可知，GMS內(nèi)點篩選算法耗時最少，其次是RANSAC算法、VFC算法以及RANSAC算法，本文所提改進OANet算法的內(nèi)點篩選速度最慢。

GMS、RANSAC、VFC算法的內(nèi)點篩選效率均較快，但魯棒性較差，VFC算法對圖7（b）、（c）的內(nèi)點保有量為0，GMS算法對圖7的內(nèi)點保有量也較少。本文提出的改進OANet算法，雖效率較低，但魯棒性較好，能得到大量優(yōu)質(zhì)的成對特征點。

3.2.2 拼接效果評價

APAP算法、AANAP算法、MPA算法和本文算法對圖7（b）的拼接效果如圖9所示，對電力塔、建筑物和公路區(qū)域進行了局部放大。

圖8 AKAZE+改進OANet算法匹配效果（線條連接同一對匹配點）Fig. 8 AKAZE+improved OANet algorithm matching effect （lines connecting same pairs of matching points）

圖9 不同算法對圖7（b）的拼接局部放大圖比較Fig. 9 Partial enlarged stitched images comparison of different algorithms on fig. 7（b）

圖9（a）為APAP算法拼接效果，APAP算法借助網(wǎng)格形變配準(zhǔn)對重疊區(qū)域拼接效果較好，無明顯重影，但未對非重疊區(qū)域限制，造成了電力塔絕緣子出現(xiàn)扭曲。AANAP算法先借助APAP算法局部調(diào)整重疊區(qū)域，然后再借助全局最優(yōu)相似變換矩陣限定非重疊區(qū)域，并在邊緣處設(shè)定錨點，防止出現(xiàn)畸變。圖9（b）中，建筑物區(qū)域未出現(xiàn)重影，電力塔也未出現(xiàn)失真，但圖像邊緣區(qū)域出現(xiàn)嚴(yán)重畸變，MPA算法把圖像配準(zhǔn)轉(zhuǎn)化為最小化光流配準(zhǔn)能量函數(shù)，借助最大期望值算法得到最優(yōu)配準(zhǔn)參數(shù)。圖9（c）中，非重疊區(qū)電力塔未出現(xiàn)失真，重疊區(qū)域內(nèi)建筑物和電力塔絕緣子的邊緣區(qū)域紋理較為復(fù)雜，故有輕微重影。本文算法在MPA算法基礎(chǔ)上，提出了對重疊區(qū)域通過內(nèi)容壓縮感知計算最佳縫合線，對兩張待拼接圖像重疊區(qū)域分別保留重要度較低和較高區(qū)域，拼接得到完整圖像。圖9（d）中，非重疊區(qū)域未出現(xiàn)畸變，重疊區(qū)域內(nèi)建筑物和公路拼接效果很好，未出現(xiàn)重影，拼接效果很符合原始場景。

圖10為本文算法對圖7（a）、（c）和（d）的拼接效果圖，重疊區(qū)域未出現(xiàn)重影，非重疊區(qū)域沒有失真，拼接圖像很好地復(fù)原了原始場景。

本文通過兩張待拼接圖像重疊區(qū)域的均方根誤差（Root Mean Square Error， RMSE）判斷不同的算法拼接質(zhì)量，均方根誤差的計算式為：

圖10 本文算法對圖7（a）、（c）和（d）的拼接效果Fig. 10 Stitching effects of proposed algorithm on fig. 7（a）、（c） and （d）

表5為APAP、AANAP、MPA和本文算法對圖7電力線航拍圖像得到的均方根誤差。由表5可知，AANAP算法的均方根值誤差最大，APAP算法次之。由于APAP算法和AANAP算法配準(zhǔn)依靠成對特征點的數(shù)量和質(zhì)量，若是成對特征點數(shù)量較少或者存在錯誤匹配點，會嚴(yán)重影響配準(zhǔn)精度；MPA算法先利用成對特征點計算單應(yīng)性矩陣，然后把圖像配準(zhǔn)轉(zhuǎn)化為光流最優(yōu)化問題，對成對特征點要求較低，因此，成對特征點中存在少量錯誤匹配點，不會對MPA算法配準(zhǔn)造成影響。由于本文借助內(nèi)容壓縮感知算法計算重疊區(qū)域最佳縫合線，對兩張待拼接圖像分別保留重要度較高和較低區(qū)域拼接，故配準(zhǔn)均方根誤差均為0。

表5 不同算法的配準(zhǔn)均方根誤差對比Tab. 5 Root mean square error comparison of registration of different algorithms

表6為不同算法的配準(zhǔn)耗時（未統(tǒng)計匹配算法和特征點篩選算法耗時）。由表6可知，APAP算法配準(zhǔn)最快，AANAP算法最慢；本文所提算法在使用MPA配準(zhǔn)后，需借助內(nèi)容壓縮感知算法計算最佳縫合線，故拼接時間多于MPA算法。

綜上所述，本文算法對電力線圖像的拼接效果最好，可最大限度地還原真實電力線走廊場景，待拼接圖像的重疊區(qū)域均方根誤差最小，配準(zhǔn)精度最高，拼接效果較好。所提算法可快速有效地構(gòu)建輸電線路走廊地圖，廣泛應(yīng)用于無人機電力巡線。

表6 不同算法的配準(zhǔn)耗時對比 單位：sTab. 6 Registration time consumption comparison of different algorithms unit：s

4 結(jié)語

本文提出了一種基于改進OANet的電力巡線無人機航拍圖像拼接算法。首先，使用AKAZE算法完成圖像粗匹配；然后，對OANet添加SENet，更好地擬合了網(wǎng)絡(luò)模型，得到了更多穩(wěn)定成對匹配點；最后，借助MPA算法配準(zhǔn)電力巡線圖像，并對重疊區(qū)域計算最佳縫合線完成圖像拼接。實驗結(jié)果表明，本文算法可保留大量匹配內(nèi)點，拼接效果較好還原了現(xiàn)實場景。在接下來的研究中，將著重提高特征粗匹配魯棒性，使用深度學(xué)習(xí)方法完成圖像匹配。

[1] 郭一江，王衛(wèi)紅，鄭潔，等.基于無人機巡線數(shù)據(jù)的電力走廊可視化研究［J］.西南科技大學(xué)學(xué)報，2020，35（3）：92-96.（GUO Y J， WANG W H，ZHENG J， et al. Research on power corridor visualization based on UAV line inspection data ［J］. Journal of Southwest University of Science and Technology， 2020， 35（3）： 92-96.）

[2] 鄭貴林，張麗.自旋翼飛機電力巡線技術(shù)研究與應(yīng)用［J］.中國電力，2014，47（7）：26-31.（ZHENG G L， ZHANG L. Research and application of auto-gyro power line inspection technology ［J］. Electric Power， 2014， 47（7）： 26-31.）

[3] 羅昊，蘇盛，楊浩，等.基于FPGA的電力巡線無人機硬件加密通信方法［J］.中國電力，2019，52（7）：11-16.（LUO H， SU S， YANG H， et al. FPGA-based hardware encryption of power line patrol drones ［J］. Electric Power，2019， 52（7）： 11-16.）

[4] 朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺一致性的柱面全景拼接算法［J］.中國圖象圖形學(xué)報，2016，21（11）：1523-1529.（ZHU Q H， SHANG Y Y，SHAO Z H， et al. Cylindrical panorama stitching algorithm based on local features and vision consistence ［J］. Journal of Image and Graphics， 2016， 21（11）： 1523-1529.）

[5] LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[6] 韓敏，閆闊，秦國帥.基于改進KAZE的無人機航拍圖像拼接算法［J］.自動化學(xué)報，2019，45（2）：305-314.（HAN M， YAN K， QIN G S. A mosaic algorithm for UAV aerial image with improved KAZE ［J］. Acta Automatica Sinica， 2019， 45（2）： 305-314.）

[7] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features ［C］// Proceedings of the 2012 European Conference Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.

[8] 閆璠，張瑩，高贏，等.基于AKAZE算法的圖像拼接研究［J］.電子測量與儀器學(xué)報，2017，31（1）：36-44.（YAN F， ZHANG Y， GAO Y， et al. Research of image stitching based on AKAZE algorithm ［J］. Journal of Electronic Measurement and Instrumentation， 2017， 31（1）： 36-44.）

[9] ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces ［C］// Proceedings of the 2013 British Machine Vision Conference. Durham： BMVA Press， 2013：Article No.13.

[10] 李振宇，田源，陳方杰，等.基于改進ORB和PROSAC的無人機航拍圖像拼接算法［J］.激光與光電子學(xué)進展，2019，56（23）：83-91.（LI Z Y， TIAN Y， CHEN F J，et al. Aerial image stitching algorithm for unmanned aerial vehicles based on improved ORB and PROSAC ［J］. Laser and Optoelectronics Progress， 2019， 56（23）： 83-91.））

[11] CHUM O， MATAS J. Matching with PROSAC — progressive sample consensus ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 220-226.

[12] 牟琦，唐洋，李占利，等.基于網(wǎng)格運動統(tǒng)計算法和最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法［J］.計算機應(yīng)用，2020，40（1）：239-244.（MU Q， TANG Y， LI Z L， et al. Fast stitching method for dense repetitive structure images based on grid-based motion statistics algorithm and optimal seam ［J］. Journal of Computer Applications， 2020， 40（1）： 239-244.）

[13] BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： grid-based motion statistics for fast，ultra-robust feature correspondence ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2828-2837.

[14] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2567-2571.

[15] 張進，趙相偉，欒吉山，等.改進FAST和對立顏色特征的向量場一致性匹配［J］.測繪通報，2020（11）：50-54.（ZHANG J， ZHAO X W， LUAN J S， et al. The vector field consistent matching of FAST and opposite color features is improved ［J］. Bulletin of Surveying and Mapping， 2020（11）： 50-54.）

[16] MA J Y， ZHAO J， TIAN J W， et al. Robust point matching via vector field consensus ［J］. IEEE Transactions on Image Processing， 2014， 23（4）： 1706-1721.

[17] ZHANG J H， SUN D W， LUO Z X， et al. Learning two-view correspondences and geometry using Order-Aware Network ［EB/OL］. ［2020-02-10］. https：//arxiv.org/pdf/1908.04964.pdf.

[18] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[19] LIN K M， JIANG N J， LIU S C， et al. Direct photometric alignment by mesh deformation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2701-2709.

[20] 胡浩慧，倪蓉蓉，趙耀.圖像內(nèi)容感知縮放的檢測方法研究［J］.軟件學(xué)報，2018，29（4）：1002-1016.（HU H H， NI R R， ZHAO Y. Research on detection method of content-aware image resizing ［J］. Journal of Software， 2018， 29（4）： 1002-1016.）

[21] ZHENG Z D， WEI Y C， YANG Y. University-1652： a multi-view multi-source benchmark for drone-based geo-localization ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 1395-1403.

[22] ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT ［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013： 2339-2346.

[23] LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

HUI Lichuan， LI Wanyu*， CHEN Yilin

（Faculty of Electrical and Control Engineering，Liaoning Technical University，Huludao Liaoning125105，China）

The texture of power line inspection images with parallax variation is complex， the number of paired matching points obtained by traditional algorithms is less and the registration accuracy is low， which seriously affect the stitching effect of power line inspection unmanned aerial vehicle image. In order to solve the problems， a new image stitching method based on improved Order-Aware Network （OANet） was proposed. Firstly， the Accelerated KAZE （AKAZE） algorithm was adopted to match the power line inspection images to be stitched roughly. Secondly， the Squeeze-and-Excitation Networks （SENet） was added to the Order-Aware module in OANet， which helped to enhance the grasping ability of the network for both the local and global context information， and more accurate paired matching points were obtained. Then，the Mesh-based Photometric Alignment （MPA） algorithm was used to register the images to be stitched. Finally， the optimal suture line in the overlapping area was calculated by the content compressed sensing algorithm to complete image stitching. The number of correct matching points of the improved OANet network is about 10% higher than that of the original OANet network with time consumption increased by 10 ms on average. Compared with the registration stitching algorithms such as As-Projective-As-Possible （APAP） algorithm， Adaptive As-Natural-As-Possible （AANAP） algorithm and MPA algorithm， the proposed algorithm has the highest stitching quality with the root mean square error of the overlapping area of the images to be stitched is 0 and no distortion in the non-overlapping area. Experimental results show that， the proposed algorithm can stitch the aerial images of power line inspection quickly and stably.

power line; inspection image stitching; Order-Aware Network (OANet); Squeeze-and-Excitation Network (SENet); Mesh-based Photometric Alignment (MPA) algorithm; content compressed sensing algorithm

TP391

A

1001-9081（2022）05-1583-08

10.11772/j.issn.1001-9081.2021030493

2021?04?01；

2021?05?18；

2021?05?18。

遼寧省教育廳科學(xué)研究項目（LJ2017QL009）。

回立川（1980—），男，河北邢臺人，副教授，博士，主要研究方向：電力系統(tǒng)運行監(jiān)測； 李萬禹（1993—），男，遼寧大連人，碩士研究生，主要研究方向：電力系統(tǒng)運行監(jiān)測； 陳藝琳（1994—），女，河北阜城人，碩士研究生，主要研究方向：電力系統(tǒng)運行監(jiān)測。

This work is partially supported by Scientific Research Project of Educational Department of Liaoning Province （LJ2017QL009）.

HUI Lichuan， born in 1980， Ph. D.， associate professor. His research interests include power system operation monitoring.

LI Wanyu， born in 1993， M. S. candidate. His research interests include power system operation monitoring.

CHEN Yilin， born in 1994， M. S. candidate. Her research interests include power system operation monitoring.