基于遷移學(xué)習(xí)的無(wú)人機(jī)桿塔巡檢圖像異常識(shí)別技術(shù)及實(shí)驗(yàn)對(duì)比

摘 要：針對(duì)無(wú)人機(jī)進(jìn)行電路巡檢過(guò)程中，由于得到的桿塔圖像背景復(fù)雜，正負(fù)樣本分布不均而導(dǎo)致的桿塔異常檢測(cè)準(zhǔn)確度不高的問(wèn)題，提出了一種基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)。設(shè)計(jì)了一種基于多元特征混合提取的目標(biāo)檢測(cè)架構(gòu)，用于模型的預(yù)訓(xùn)練，之后基于預(yù)訓(xùn)練模型進(jìn)行微調(diào)，以適應(yīng)下游桿塔異常圖像的檢測(cè)任務(wù)，它能夠通過(guò)小樣本數(shù)據(jù)來(lái)構(gòu)建高效的桿塔異常圖像檢測(cè)模型。結(jié)果表明：該方法較其他方法在異常檢測(cè)準(zhǔn)確率方面提升了約2%，驗(yàn)證了所提出的無(wú)人機(jī)桿塔巡檢圖像異常檢測(cè)的有效性。

關(guān)鍵詞：圖像處理；深度學(xué)習(xí)；特征提??；異常檢測(cè)；圖像識(shí)別

中圖分類號(hào)：TM711;TP391文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1001-5922（2023）06-0136-04

Experimental comparison of image anomaly recognition techniques by unmanned aerial vehicle （UAV） tower inspection? based on transfer learning

HU Minghui

（EPTC （Beijing） Electic Power Research Institute，Beijing 100055，China）

Abstract：In order to solve the problem that the abnormal detection accuracy of tower anomalies is not high due to the complex background of the obtained tower image and the uneven distribution of positive and negative samples during the circuit inspection process of the UAV，an anomaly detection technique based on transfer learning for inspection image of UAV power tower is proposed.This technology designs a target detection architecture based on multivariate feature hybrid extraction （DME） for model pre-training，and then fine-tunes based on the pre-trained model to adapt to the detection of abnormal images of downstream towers.It can build an efficient tower anomaly image detection model with small sample data.The experimental results showed that this method improved the anomaly detection accuracy by about 2% compared with other methods，which fully enabled the effectiveness of the proposed UAV tower inspection image anomaly detection.

Key words：image processing;deep learning;feature extraction;abnormal detection;image recognition

電力桿塔是電力傳輸系統(tǒng)中的重要環(huán)節(jié)之一，但受到自然災(zāi)害的影響，電力桿塔常常出現(xiàn)傾斜，倒塌等異常情況，嚴(yán)重影響電力的安全運(yùn)輸。為了避免這種情況，現(xiàn)在多使用無(wú)人機(jī)來(lái)進(jìn)行快速數(shù)據(jù)采集和檢測(cè)，雖然無(wú)人機(jī)的引入大大降低了人力開(kāi)支，但是產(chǎn)生大量圖像數(shù)據(jù)仍然需要進(jìn)行快速處理，從而定位出異常區(qū)域。因此，結(jié)合圖像目標(biāo)檢測(cè)技術(shù)的電力桿塔異常區(qū)域的自動(dòng)化識(shí)別方法成為無(wú)人機(jī)巡檢過(guò)程中的重要應(yīng)用方法。

由于用于電力桿塔異常檢測(cè)的無(wú)人機(jī)圖像數(shù)據(jù)集的正負(fù)樣本極不均衡，并且異常情況下的數(shù)據(jù)樣本較少而缺乏普適性，因而使用現(xiàn)有的深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)難以訓(xùn)練出有效的目標(biāo)檢測(cè)模型。

基于上述分析，研究提出了一種基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)。該技術(shù)通過(guò)構(gòu)建基于多元特征混合提取目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)獲取預(yù)訓(xùn)練模型，在通過(guò)參數(shù)微調(diào)來(lái)適應(yīng)下游任務(wù)，進(jìn)而實(shí)現(xiàn)基于小樣本圖像數(shù)據(jù)來(lái)構(gòu)建高效高精度的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)模型。

1 方法及原理

基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)主要包含基于多元特征混合提取的目標(biāo)檢測(cè)架構(gòu)的構(gòu)建以及基于無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)任務(wù)的微調(diào)2個(gè)部分。由于用于電力桿塔檢測(cè)的圖像數(shù)據(jù)集極少，因此本文還收集了224張無(wú)人機(jī)電力桿塔檢測(cè)圖像并對(duì)異常區(qū)域進(jìn)行了標(biāo)注，構(gòu)建了數(shù)據(jù)集適應(yīng)后面的微調(diào)任務(wù)，得到更加準(zhǔn)確的電力桿塔巡檢圖像異常檢測(cè)模型。

1.1 基于多元特征混合提取目標(biāo)檢測(cè)結(jié)構(gòu)的預(yù)訓(xùn)練模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)模型多應(yīng)用于圖像數(shù)據(jù)上下文特征的提取，而現(xiàn)有的transformer中提出的自注意力機(jī)制［5-6］則更加關(guān)注于圖像長(zhǎng)距特征的挖掘，研究創(chuàng)新性的結(jié)合以上2種方法，提出了一種基于多元特征混合提取的目標(biāo)檢測(cè)架構(gòu)用于模型的預(yù)訓(xùn)練，以達(dá)到更好的檢測(cè)效果。

2.2 實(shí)驗(yàn)流程

實(shí)驗(yàn)過(guò)程中選擇了Faster-Rcnn［9］、Swin-transformer［10］、SPPNet［11］、ResNet［12］、P-RetinaNet［13］等深度學(xué)習(xí)算法與本文提出的方法進(jìn)行了實(shí)驗(yàn)對(duì)比驗(yàn)證。實(shí)驗(yàn)過(guò)程均在裝有nvidia 2080Ti單卡的服務(wù)器上進(jìn)行，模型訓(xùn)練次數(shù)為100，學(xué)習(xí)率設(shè)置為1e-4，并且使用Adam優(yōu)化器［14］來(lái)加快模型收斂。實(shí)驗(yàn)過(guò)程中，將數(shù)據(jù)集按照2∶1∶1劃分訓(xùn)練集；測(cè)試集以及驗(yàn)證集。

2.3 實(shí)驗(yàn)設(shè)計(jì)以及效果評(píng)估

首先，將基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)與不同對(duì)比方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。在此期間，我們通過(guò)減少數(shù)據(jù)集樣本數(shù)，來(lái)驗(yàn)證小樣本數(shù)據(jù)集對(duì)于不同方法性能的影響。其實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表1所示。

通過(guò)對(duì)表1中的數(shù)據(jù)進(jìn)行分析可知，研究提出的基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)在進(jìn)行預(yù)訓(xùn)練（Ours+pretrain）與沒(méi)有進(jìn)行預(yù)訓(xùn)練（Ours）2種情況下，其識(shí)別準(zhǔn)確率較之效果較為突出的P-RetinaNet最少提升了2%，IoU提升了1.3%，Reall提升了1.5%，其識(shí)別效率也較為突出。不僅如此，隨著數(shù)據(jù)集數(shù)量的減少，基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)仍然具備最優(yōu)的性能，表現(xiàn)出了強(qiáng)大的泛化能力。

此外，我們對(duì)實(shí)驗(yàn)過(guò)程中基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)與部分對(duì)比方法的異常檢測(cè)結(jié)果進(jìn)行了部分展示。

最后，我們對(duì)多元融合策略（MSF）進(jìn)行了消融實(shí)驗(yàn)?；跀?shù)據(jù)集，在基于多元特征混合提取的目標(biāo)檢測(cè)架構(gòu)（DME）中，將去除多元融合策略的單一卷積模型與添加多元融合策略的模型結(jié)構(gòu)進(jìn)行了實(shí)驗(yàn)對(duì)比，以驗(yàn)證多元融合策略的有效性。其實(shí)驗(yàn)數(shù)據(jù)如表2所示：

由表2對(duì)比分析可知，多元融合策略的添加使得DME的檢測(cè)準(zhǔn)確度分別提升了3.9%和3.1%，充分證明了這2個(gè)模塊的有效性。

接下來(lái)我們對(duì)基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)有無(wú)預(yù)訓(xùn)練對(duì)模型的檢測(cè)準(zhǔn)確率影響進(jìn)行了對(duì)比，如圖1所示。

從圖1可以看出，添加了預(yù)訓(xùn)練的目標(biāo)檢測(cè)模型將持續(xù)提升模型的檢測(cè)準(zhǔn)確率，說(shuō)明了遷移學(xué)習(xí)方式帶來(lái)的先驗(yàn)知識(shí)可有效提升電力桿塔圖像異常區(qū)域的檢測(cè)效果。

不僅如此，我們還對(duì)模型訓(xùn)練過(guò)程中的Loss和Precision數(shù)值變化進(jìn)行了統(tǒng)計(jì)，結(jié)果如圖2所示。

從圖2可以看出，隨著模型訓(xùn)練次數(shù)的疊加，研究提出的基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)在相同的訓(xùn)練次數(shù)下，比其他方法具備更高的Precision值和更低的Loss值，收斂速度更快，充分驗(yàn)證了方法的有效性。

通過(guò)一系列對(duì)比實(shí)驗(yàn)驗(yàn)證可以得出，提出的基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)可以通過(guò)小樣本遷移學(xué)習(xí)的方式有效實(shí)現(xiàn)對(duì)電力桿塔圖像異常區(qū)域的檢測(cè)，與其他對(duì)比方法相比較，在識(shí)別性能方面具備一定優(yōu)勢(shì)。

3 結(jié)語(yǔ)

研究提出了一種基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)。通過(guò)結(jié)合Transformer，搭建了一種基于多元特征混合提取目標(biāo)檢測(cè)架構(gòu)，實(shí)現(xiàn)了對(duì)預(yù)訓(xùn)練模型的有效獲取，并通過(guò)遷移學(xué)習(xí)的方式，在小樣本數(shù)據(jù)集上大大提升了電力桿塔圖像異常區(qū)域的識(shí)別準(zhǔn)確率。在實(shí)驗(yàn)驗(yàn)證部分，不僅將該技術(shù)與一系列方法進(jìn)行了實(shí)驗(yàn)對(duì)比驗(yàn)證，而且對(duì)其中的模塊進(jìn)行了單獨(dú)的測(cè)試。實(shí)驗(yàn)結(jié)果表明，基于遷移學(xué)習(xí)的無(wú)人機(jī)電力桿塔巡檢圖像異常檢測(cè)技術(shù)與對(duì)比方法相比較具備更好的性能優(yōu)勢(shì)。在接下來(lái)的研究工作中，將致力于構(gòu)建輕量型的目標(biāo)檢測(cè)模型，使其能夠大大降低無(wú)人機(jī)的能耗，提升其持續(xù)性監(jiān)測(cè)能力。

【參考文獻(xiàn)】

［1］馬騫.基于圖像視頻的景區(qū)人流密度估計(jì)方法研究［J］.信息技術(shù)，2020，44（8）：34-38.

［2］張艷邦，張芬，張姣姣.基于SVM和背景模型的顯著性目標(biāo)檢測(cè)算法［J］.電子設(shè)計(jì)工程，2022，30（5）：17-21.

［3］楊小艷.基于圖像處理技術(shù)的包裝表面缺陷檢測(cè)［J］.微型電腦應(yīng)用，2021，37（8）：63-66.

［4］魯家皓，張捷，胡國(guó)勝，等.基于多特征融合的圖像匹配研究［J］.微型電腦應(yīng)用，2022，38（3）：1-3.

［5］魏冬梅.基于卷積神經(jīng)網(wǎng)絡(luò)的移動(dòng)網(wǎng)絡(luò)目標(biāo)跟蹤與控制[J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2023，45（3）：342-347.

［6］楊禮吉，王家祺，景麗萍，等.基于張量計(jì)算的卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)義表示學(xué)習(xí)[J].計(jì)算機(jī)學(xué)報(bào)，2023，46（3）：568-578.

［7］ZHAO Z，LI Q，ZHANG Z，et al.Combining a parallel 2D CNN with a self-attention dilated residual network for CTC-based discrete speech emotion recognition［J］.Neural Networks，2021，141： 52-60.

[8］S. MEFTAH，B. H. M. TAN，C. F. MUN，K. M. M. AUNG，B. Veeravalli and V. Chandrasekhar. Toward Efficient Deep Convolutional Neural Networks with Fully Homomorphic Encryption，IEEE Transactions on Information Forensics and Security[J]，vol. 16，pp. 3740-3752.

［9］吳昌隆，儲(chǔ)劍波.永磁輔助同步磁阻電機(jī)改進(jìn)型滑模觀測(cè)器無(wú)位置傳感器控制［J］.電機(jī)與控制應(yīng)用，2021，48（7）：26-33.

［10］王妤，陳秀新，袁和金.基于改進(jìn)Faster RCNN的變電站紅外圖像多目標(biāo)識(shí)別［J］.傳感技術(shù)學(xué)報(bào)，2021，34（4）：522-530.

［11］VALTCHANOV I，HOPWOOD R，POLEHAMPTON E，et al.Relative pointing offset analysis of calibration targets with repeated observations with Herschel-SPIRE Fourier-transform spectrometer［J］.Experimental Astronomy，2014，37（2）：207-223.

［12］WANG X，WANG S，CAO J，et al.Data-driven based tiny-YOLOv3 method for front vehicle detection inducing SPP-net［J］.IEEE Access，2020，32 （7）：1-15.

[13］ELPELTA Gy，M.，and H. Sallam. "Automatic prediction of COVID19 from chest images using modified ResNet50." Multimedia Tools and Applications[J］（2021）：1-13.

［14］羅月童，江佩峰，段昶，等.面向小目標(biāo)檢測(cè)的改進(jìn)RetinaNet模型及其應(yīng)用［J］.計(jì)算機(jī)科學(xué)，2021，48（10）：233-238.

［15］BARAKAT A，BIANCHI P.Convergence and dynamical behavior of the ADAM algorithm for nonconvex stochastic optimization［J］.SIAM Journal on Optimization，2021，31（1）： 244-274.

收稿日期：2023-02-12；修回日期：2023-05-26

作者簡(jiǎn)介：胡明輝（1988-），男，碩士，工程師，主要從事輸配電技術(shù)研究、技術(shù)咨詢與技術(shù)成果轉(zhuǎn)化等；E-mail：215747172@qq.com。

引文格式：胡明輝.基于遷移學(xué)習(xí)的無(wú)人機(jī)桿塔巡檢圖像異常識(shí)別技術(shù)及實(shí)驗(yàn)對(duì)比[J].粘接，2023，50（6）：136-139.