面向無人機(jī)巡檢的農(nóng)村輸電線螺栓銹蝕檢測

黃劍鋒，王淑青，王年濤，張鵬飛，頓偉超，魯 濠

(湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068)

因農(nóng)村輸電線路運(yùn)維難度較大，螺栓銹蝕較常見，未及時處理銹蝕嚴(yán)重的螺栓會加劇其對供電穩(wěn)定性的威脅。隨著無人機(jī)技術(shù)和基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)的發(fā)展，電網(wǎng)巡檢變得更加便利[1-2]。此外，深度學(xué)習(xí)亦能準(zhǔn)確檢測，防鳥刺[3]、防震錘[4]。輸電線路部件檢測十分常見，不過對螺栓銹蝕檢測的研究不多[5]，且對農(nóng)村輸電線檢測的針對性不強(qiáng)。

針對農(nóng)村輸電線螺栓銹蝕檢測難度大，人工巡檢成本高的問題，提出一種面向無人機(jī)圖像的農(nóng)村輸電線螺栓銹蝕檢測方法，利用YOLOv5結(jié)合圖像銳化和去霧的方法可以高效精準(zhǔn)地檢測螺栓銹蝕與否，對比其他常見的網(wǎng)絡(luò)模型擁有更好的網(wǎng)絡(luò)性能。

1 螺栓銹蝕檢測原理

螺栓銹蝕檢測方法主要基于YOLOv5系列模型中的YOLOv5l[6]卷積神經(jīng)網(wǎng)絡(luò)，其在推理速度與推理精度方面均有優(yōu)異表現(xiàn)，結(jié)構(gòu)與其他YOLO[7]網(wǎng)絡(luò)相似，為實(shí)時one-stage檢測網(wǎng)絡(luò)，由Input、Backbone、Neck和Output四部分組成，其網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

Input：訓(xùn)練螺栓樣本數(shù)據(jù)集的輸入端，采用Mosaic數(shù)據(jù)增強(qiáng)策略，能夠隨機(jī)選擇不同的螺栓圖像進(jìn)行裁剪并拼接為一張圖片，豐富了輸入圖像的多樣性，對小目標(biāo)的檢測效果有較好提升，可以增強(qiáng)網(wǎng)絡(luò)模型對螺栓目標(biāo)的檢測能力。

Backbone：主要的特征提取部分，能夠提取輸入的螺栓圖像的總體特征并進(jìn)行分類。其結(jié)合了Focus和CSPNet(Cross stage Paetial Networks)網(wǎng)絡(luò)結(jié)構(gòu)，F(xiàn)ocus的核心是切片操作，螺栓圖片進(jìn)入Backbone后，利用切片操作將寬高信息整合到卷積通道的c維度，即將輸入的640×640×3的特征圖變成320×320×12的特征圖，以此提升模型的推理速度。CSPNet將梯度的變化集成到特征圖中，從而解決了梯度信息重復(fù)問題，能夠提取豐富的螺栓圖像特征，有效地提升了模型的推理精度。

圖 1 YOLOv5l網(wǎng)絡(luò)模型結(jié)構(gòu)

Neck：強(qiáng)化網(wǎng)絡(luò)的特征提取能力，進(jìn)一步提高網(wǎng)絡(luò)對螺栓圖像的分類和檢測能力，其結(jié)合了特征空間金字塔(FPN)、路徑融合網(wǎng)絡(luò)(PAN)和CSPNet網(wǎng)絡(luò)結(jié)構(gòu)，F(xiàn)PN將高層的強(qiáng)語義特征自上而下傳遞下來，增強(qiáng)語義信息，而未傳遞定位信息，PAN在FPN的后面添加一個自下而上的金字塔，將低層的強(qiáng)定位特征傳遞上去，CSPNet也加強(qiáng)了網(wǎng)絡(luò)特征融合的能力。

Output：螺栓樣本數(shù)據(jù)集的輸出端，可以對檢測到的螺栓目標(biāo)進(jìn)行標(biāo)注，采用GIoU_loss作為邊界框的損失函數(shù)，并且采用NMS非極大值抑制算法消除了多余的檢測框，提高了網(wǎng)絡(luò)模型的檢測精度。

同時，YOLOv5l采用Leaky ReLU激活函數(shù)實(shí)現(xiàn)數(shù)據(jù)在網(wǎng)絡(luò)節(jié)點(diǎn)輸入端到輸出端的映射，能夠強(qiáng)化網(wǎng)絡(luò)的學(xué)習(xí)能力，其定義為：

式中，λ是一個位于0～1之間的設(shè)定值，在網(wǎng)絡(luò)反向傳播過程中，Leaky ReLU在輸入小于零的部分時仍可以計算得到梯度，可以解決ReLU函數(shù)反向傳播時值可能為0的問題。

邊界框損失函數(shù)用于網(wǎng)絡(luò)模型對螺栓目標(biāo)的定位，YOLOv5l采用GIoU函數(shù)的定義：

式中，A、B分別表示兩個邊界框，C表示包含A和B邊界框的最小范圍，相比IoU函數(shù)其定位能力更強(qiáng)，有助于提高模型的檢測精度。

2 實(shí)驗(yàn)預(yù)處理

2.1 數(shù)據(jù)集制作

本實(shí)驗(yàn)用到的農(nóng)村輸電線路圖像主要由無人機(jī)采集，地點(diǎn)為湖北兩市某鄉(xiāng)鎮(zhèn)，在不同市域采集時天氣情況也不相同，輸電線圖像的環(huán)境背景豐富性得到滿足。將獲得的無人機(jī)巡檢視頻文件進(jìn)行截圖，最終擇優(yōu)選取1000張輸電線螺栓截圖，圖中基本覆蓋常見的輸電線六角螺栓。由于農(nóng)村輸電線螺栓目標(biāo)較多，且目標(biāo)較小，檢測起來難度較大，為了提高針對螺栓小目標(biāo)的檢測精度，對檢測模型進(jìn)行小目標(biāo)檢測優(yōu)化，以提升檢測模型的整體性能。對螺栓數(shù)據(jù)集進(jìn)行特定方式的數(shù)據(jù)增強(qiáng)，即對包含螺栓的圖像進(jìn)行過采樣，并通過多次復(fù)制粘貼螺栓的方式來增加每張圖片中的螺栓數(shù)量，提高相應(yīng)Anchor的匹配量，螺栓小目標(biāo)過采樣示例見圖2。Anchor即預(yù)定義邊框，預(yù)定義邊框就是一組預(yù)設(shè)的邊框在訓(xùn)練時，以真實(shí)的邊框位置相對于預(yù)設(shè)邊框的偏移來構(gòu)建訓(xùn)練樣本。YOLOv5算法可以自動學(xué)習(xí)Anchor的尺寸。

圖 2 螺栓小目標(biāo)過采樣

完成螺栓圖像的采集和螺栓小目標(biāo)過采樣后，挑選部分圖像分別進(jìn)行水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、亮度調(diào)節(jié)、添加噪聲等數(shù)據(jù)擴(kuò)充操作。水平翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)可以模擬無人機(jī)從不同角度的拍攝圖像，亮度調(diào)節(jié)可以模擬不同光照條件下輸電線路的視覺效果。通過該數(shù)據(jù)擴(kuò)充手段，豐富數(shù)據(jù)集內(nèi)容，有效避免模型訓(xùn)練時過擬合現(xiàn)象，同時提高了檢測模型的泛化能力。數(shù)據(jù)制作完成后，最終共得到3000張農(nóng)村輸電線的圖像，數(shù)據(jù)量級得到保證，具體的圖像數(shù)據(jù)擴(kuò)充效果見圖3。

圖 3 數(shù)據(jù)擴(kuò)充

數(shù)據(jù)擴(kuò)充完成后，使用LableImage對圖像進(jìn)行標(biāo)注，其中，由于輸電線中螺栓目標(biāo)較小，在部分圖片中人眼無法判別其是否生銹，故一律將其標(biāo)記為普通螺栓，只有當(dāng)人眼可以清晰判別螺栓已生銹時，方可將其標(biāo)記為銹蝕螺栓。標(biāo)注后統(tǒng)計數(shù)據(jù)集內(nèi)螺栓數(shù)目，其中包括銹蝕螺栓1806個，普通螺栓3980個，螺栓數(shù)據(jù)集按8∶2的比例劃分為訓(xùn)練集與測試集。

2.2 圖像預(yù)處理

在螺栓數(shù)據(jù)集進(jìn)行訓(xùn)練之前，分別采用暗通道去霧和二階微分銳化等預(yù)處理手段提高數(shù)據(jù)集中部分圖像的清晰度，同時保留處理前的測試集，以供對比實(shí)驗(yàn)。

為了保障輸電線路運(yùn)行穩(wěn)定性，巡檢無人機(jī)無法近距離靠近輸電線路部件，同時由于設(shè)備的局限性，無人機(jī)獲取的圖像數(shù)據(jù)存在部分模糊樣本，為了提高螺栓檢測精度，將模糊樣本進(jìn)行銳化處理。二階微分離散公式采用拉普拉斯算子，二元函數(shù)f(x,y)的拉普拉斯變換定義為：

在x和y方向二階偏微分為：

綜合上述公式可得到：

?2f(x,y)=f(x+1,y)+f(x-1,y)+

f(x,y+1)+f(x,y-1)-4f(x,y)

獲得公式后，可得到基于拉普拉斯算子的模板，拉普拉斯算子強(qiáng)調(diào)圖像中灰度的突變，且不強(qiáng)調(diào)圖像的緩慢變換區(qū)域，因此一些漸變的淺灰色邊緣線將成為圖片輪廓的背景色，然后再將原圖和拉普拉斯圖像進(jìn)行疊加，保持原圖像的同時可以看到增強(qiáng)的邊緣圖像，從而實(shí)現(xiàn)螺栓圖像的銳化處理。輸電線路圖像銳化處理圖見圖4，通過細(xì)節(jié)圖片可以看出，銳化處理后的螺栓輪廓更為清晰，可以降低模型對螺栓的檢測難度。

圖 4 二階微分銳化處理

秋冬季節(jié)農(nóng)村地區(qū)常受大霧侵?jǐn)_，電力巡檢難度較大，在檢測之前對有霧待測圖像進(jìn)行去霧處理，可以有效提高輸電線路部件的檢測準(zhǔn)確率。圖像去霧采用暗通道去霧算法，暗通道的值由以像素x為中心，分別取RGB通道窗口的最小值，暗通道的定義[8]：

式中，Jdark為圖像暗通道像素值，且趨近于0；Jc為其他某個色彩的通道；Ω(x)是以x為中心的一塊方形區(qū)域。大氣散射模型由直接衰減項(xiàng)和大氣光照兩部分組成，公式表示如下：

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中，I(x)是有霧的螺栓圖像；J(x)是景物反射光強(qiáng)度，也是需要計算后得到的去霧后圖像；t是透射率；A是全局大氣光照強(qiáng)度。通過A、t和I的值，可以求得去霧圖像J，由于I(x)和A可視作定值，所以計算t的值便可以實(shí)現(xiàn)圖像去霧。根據(jù)大氣散射模型和暗通道的定義，透射率t可表示為：

(2)

Ic是已知的輸入圖像，計算Ac的值即可求得透射率，首先對輸入的有霧圖片進(jìn)行暗通道處理，然后選擇暗通道內(nèi)總像素點(diǎn)數(shù)的千分之一個(記為T)最亮的像素點(diǎn)并記錄這些點(diǎn)的坐標(biāo)，再根據(jù)點(diǎn)坐標(biāo)在原輸入圖像找到該點(diǎn)的三個通道，最后進(jìn)行像素點(diǎn)求和，可得到(sumr，sumg，sumb)，其中Ar=sumr/T，Ag=sumg/T，Ab=sumb/T，最終可以得到全局大氣光照值A(chǔ)c=[Ar，Ag，Ab]，根據(jù)式(2)可以得到t的值，然后代入式(1)，進(jìn)一步可求得J(x)，實(shí)現(xiàn)圖像去霧(圖5)。

圖 5 暗通道去霧

3 實(shí)驗(yàn)過程與結(jié)果分析

3.1 實(shí)驗(yàn)配置

將已標(biāo)注好的農(nóng)村輸電線螺栓數(shù)據(jù)集作為訓(xùn)練樣本，采用YOLOv5l網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，訓(xùn)練平臺的配置信息見表1。

表1 訓(xùn)練平臺配置

本實(shí)驗(yàn)主要由Python語言、MATLAB語言完成，網(wǎng)絡(luò)模型的訓(xùn)練框架為Pytorch1.7.1。模型訓(xùn)練前，初始化voc和coco數(shù)據(jù)集里類別數(shù)、類別名稱和訓(xùn)練路徑等相關(guān)參數(shù)。選擇YOLOv5l為預(yù)訓(xùn)練模型，采用Adam算法進(jìn)行訓(xùn)練優(yōu)化，圖像輸入尺寸設(shè)為640×640，最大迭代輪數(shù)設(shè)為300，每次訓(xùn)練圖片數(shù)設(shè)為8；動量因子值設(shè)為0.9；權(quán)重衰減系數(shù)設(shè)為0.0005；初始學(xué)習(xí)速率設(shè)為0.001。

3.2 模型評估

模型訓(xùn)練完成后，通過訓(xùn)練日志內(nèi)的指標(biāo)進(jìn)行模型評價，目標(biāo)檢測模型的評價指標(biāo)通常包括損失值(loss)、平均精度均值(mAP)等。損失值是樣本預(yù)測值與真實(shí)值之間的誤差，損失值越小，說明螺栓預(yù)測效果越好，損失值由損失函數(shù)計算得到，YOLOv5l損失函數(shù)共包括邊界框回歸損失(Lbox)、置信度損失(Lobj)、分類損失(Lcls)，置信度損失與分類損失通過交叉熵方法計算。YOLOv5l網(wǎng)絡(luò)訓(xùn)練完畢后自動生成損失值曲線圖，三類損失值變化見圖6。

圖 6 損失值

圖中橫坐標(biāo)為300，代表共迭代300輪，三類損失值總和為整體損失值，最終損失值低于0.1，收斂效果好，說明預(yù)測結(jié)果與實(shí)際存在的偏差較小。

平均精度均值是根據(jù)在螺栓數(shù)據(jù)集上預(yù)測得到的精確率(Precision)和召回率(Recall)決定。以Recall為橫軸，Precision為縱軸的曲線稱為P-R曲線，P-R曲線下所圍成面積占總體的比例記為精度均值(AP)，兩種類別螺栓AP值的平均值記為mAP值，其值越大，說明網(wǎng)絡(luò)模型的預(yù)測效果越好，模型的精度值隨迭代輪數(shù)變化的曲線見圖7。從圖7可以看出，檢測模型的精度值較高，從訓(xùn)練日志可見最終的精確率和召回率分別為89.29%、90.70%，平均精度均值為90.21%，模型整體檢測精度較高，能夠?qū)崿F(xiàn)農(nóng)村輸電線路螺栓銹蝕檢測任務(wù)。

圖 7 精度值

完成YOLOv5l網(wǎng)絡(luò)模型的訓(xùn)練并獲取模型指標(biāo)后，保持訓(xùn)練平臺的配置信息不變，使用YOLOv4[9]、Faster-RCNN[10]和SSD[11]等網(wǎng)絡(luò)模型在相同訓(xùn)練集上進(jìn)行訓(xùn)練，最終選擇各網(wǎng)絡(luò)模型的最佳權(quán)重在測試集上進(jìn)行對比分析。同時，使用YOLOv5l分別在采用和未采用銳化、去霧等螺栓圖像預(yù)處理方法的測試集上進(jìn)行對比分析，不同模型及方法的對比見表2。

表2 模型性能對比

由表2可知，在螺栓數(shù)據(jù)集上，相比YOLOv4、Faster-RCNN和SSD網(wǎng)絡(luò)模型，YOLOv5l模型的mAP值分別提高了2.6%，5.8%，11.0%；采用銳化和去霧預(yù)處理方法的mAP值較未采用提高了2.7%，普通螺栓和銹蝕螺栓的精度均值分別達(dá)到93.3%、93.9%，說明經(jīng)過銳化和去霧等方法處理之后，模型檢測農(nóng)村輸電線螺栓的效果更優(yōu)。

3.3 檢測效果

模型訓(xùn)練完畢之后，首先在未采用去霧和銳化預(yù)處理方法的測試集進(jìn)行效果驗(yàn)證，部分檢測結(jié)果見圖8。

圖 8 測試結(jié)果

從圖8可以看出，模型實(shí)際檢測效果較好，僅存在少量漏檢螺栓，由于圖片背景較為復(fù)雜，圖中螺栓目標(biāo)的位置和角度各不相同，部分螺栓目標(biāo)極為模糊，所以難以全部檢測每幅圖內(nèi)的螺栓，不過無人機(jī)巡檢時能夠多角度拍攝到螺栓目標(biāo)，所以在實(shí)際巡檢過程中漏檢率相當(dāng)?shù)?。然后，在采用去霧和銳化預(yù)處理方法的測試集上進(jìn)行效果驗(yàn)證，同時對比預(yù)處理之前圖片的檢測效果，檢測結(jié)果見圖9。

圖 9 預(yù)處理前后測試結(jié)果

圖9中黑色實(shí)線框內(nèi)是漏檢的螺栓，虛線框內(nèi)為誤檢螺栓，對比銳化前的檢測結(jié)果，經(jīng)銳化處理后螺栓的置信度有較高提升，且沒有漏檢的螺栓，說明模型檢測經(jīng)銳化后的輪廓清晰的圖片時精度更高，對于檢測運(yùn)動且易模糊的無人機(jī)圖像有一定運(yùn)用價值；經(jīng)去霧處理后的圖片僅有少量漏檢，而原圖漏檢的螺栓較多，說明在霧天情況下輸電線路巡檢時螺栓小目標(biāo)的檢測難度較大，去霧處理后可以提高巡檢系統(tǒng)在霧天等低能見度情況下工作時的檢測精度，對于提高模型在復(fù)雜環(huán)境下的檢測效率有一定幫助。

4 結(jié)論

提出了一種基于YOLOv5網(wǎng)絡(luò)模型的輸電線路螺栓銹蝕檢測方法，收集包含螺栓的無人機(jī)圖像，通過小目標(biāo)過采樣方法提高螺栓小目標(biāo)的數(shù)量，然后運(yùn)用圖像擴(kuò)充策略以滿足數(shù)據(jù)集中輸電線環(huán)境背景的豐富性，訓(xùn)練后得到的檢測模型優(yōu)于YOLOv4、Faster RCNN、SSD等網(wǎng)絡(luò)，同時利用二階微分銳化和暗通道去霧算法對數(shù)據(jù)集進(jìn)行處理，檢測模型在處理后的數(shù)據(jù)集上展現(xiàn)出更優(yōu)性能，該方法能夠用于農(nóng)村輸電線的無人機(jī)檢測，對農(nóng)村電網(wǎng)巡檢的智能化發(fā)展有一定的積極意義。由于螺栓目標(biāo)較小，模型的檢測精度仍有提升空間，今后的研究將著重于提高模型針對小目標(biāo)的檢測能力，同時進(jìn)一步擴(kuò)充數(shù)據(jù)集并增加其豐富性，以提高模型的泛化能力，降低螺栓目標(biāo)的漏檢率。