基于改進YOLOv7 的實時輸電導線缺陷檢測方法

王宇博，尚軍利，張燁，劉建勇，楊雷，李博濤

（1. 國網(wǎng)陜西省電力有限公司渭南供電公司，陜西 渭南 714000；2. 西安工程大學電子信息學院，西安 710048）

0 引言

高壓輸電導線是電力系統(tǒng)的重要組成部分，其工況對電力系統(tǒng)的安全穩(wěn)定運行具有重要的影響［1-2］。由于輸電線路沿途氣象復雜、地理分布位置特殊，覆蓋范圍廣，易遭遇極端氣候的侵襲，造成跳線，導線斷股、散股等故障，給電網(wǎng)的安全可靠運行帶來巨大的隱患［3-4］。如在2018 年至2019年，江西地區(qū)經(jīng)歷持續(xù)性凍雨天氣，造成輸電線路塔頭折損7 基，導線斷裂41 根、地線斷裂3 根，輸電線路發(fā)生跳閘36 次，給居民生活及電網(wǎng)運行帶來巨大損失［5］。2018年1月23—28日，湖北省遭遇極端惡劣天氣，受損嚴重，其中導地線斷裂、斷股故障82 處，占總故障數(shù)量的9.14%；因?qū)Ь€故障受影響線路9條，占總受損線路的13.24%［6］。近年來，隨著我國多地遭受惡劣天氣影響，由輸電線路導線故障而引發(fā)的事故也呈增長趨勢，因此積極探索和研究輸電線路導線故障檢測技術與防范措施，對電網(wǎng)的安全可靠運行以及人們的財產(chǎn)安全具有重要意義［7］。

傳統(tǒng)針對線路的檢測主要依靠人工巡檢，但人工巡檢方式速度慢、效率低，并且輸電線路的基層運檢人員數(shù)量增長緩慢，使得傳統(tǒng)的人工巡檢方式無法滿足電網(wǎng)快速巡檢的需求。隨著我國“十四五”規(guī)劃電力行業(yè)呈現(xiàn)出技術創(chuàng)新驅(qū)動力不斷增強，綜合智慧能源形態(tài)逐步形成的發(fā)展趨勢，“云大物移智”等先進技術創(chuàng)新培育，成為電力產(chǎn)業(yè)升級的新增長點。電力與現(xiàn)代信息通信技術和控制技術深度融合，實現(xiàn)多能互補、智能互動。同時，圖像識別、卷積神經(jīng)網(wǎng)絡技術的興起以及深度學習網(wǎng)絡性能的提升，基于無人機巡檢圖像的缺陷智能識別便成為主要的研究方向之一［8-11］。

目前，國內(nèi)外諸多學者開始針對輸電導線缺陷智能檢測展開研究，并取得了顯著成效。文獻［12］提出一種基于邊緣檢測技術的導線缺陷識別方法，針對簡單背景下缺陷可以達到較準確的識別結果。文獻［13］提出了一種通過導線灰度分布曲線的方波變換檢測導線缺陷的方法，可有效測量導線斷股和表面缺陷故障。文獻［14］提出了一種基于徑向基概率神經(jīng)網(wǎng)絡的輸電導線缺陷狀態(tài)識別方法，可在復雜背景下具有較好的檢測結果。文獻［15］通過分析導線表面灰度圖像的光滑性與一致性來檢測斷股的方法，對復雜背景下的缺陷及異物進行檢測。文獻［16］提出一種基于FCN 網(wǎng)絡及Canny 算法的導線缺陷識別方法，將深度學習與傳統(tǒng)算法相結合，對導線散股缺陷具有良好的識別效果。然而上述方法多使用傳統(tǒng)算法或?qū)⒕矸e神經(jīng)網(wǎng)絡與傳統(tǒng)算法相結合，針對輸電導線缺陷精確、實時的檢測技術還不完善，同時算法適應性有待進一步加強。

基于此本文針對輸電導線缺陷的智能檢測提出了一種基于改進YOLOv7［17］算法的缺陷檢測方法：創(chuàng)新性地將輕量化網(wǎng)絡與自注意力機制相融合，替換YOLOv7 算法原有的主干網(wǎng)絡；替換雙向融合PANet 結構，采用加權雙向特征金字塔網(wǎng)絡BiFPN進行網(wǎng)絡特征融合。運用本文方法可以顯著提升模型檢測速度和檢測精確度，重點解決輸電導線缺陷檢測任務中現(xiàn)有模型速度慢、效果不佳、容易誤檢等問題。

1 改進YOLOv7算法的缺陷檢測方法

YOLOv7 算法主要由輸入端（input）、主干網(wǎng)絡（backbone）、頸部網(wǎng)絡（neck）、預測端（prediction）構成，原始YOLOv7算法結構如圖1所示。

圖1 系統(tǒng)結構框圖Fig. 1 System structure diagram

圖1 中，輸入端主要實現(xiàn)數(shù)據(jù)的增強操作，包括Mosaic 數(shù)據(jù)增強［18］、自適應錨框計算和自適應圖片放縮；主干網(wǎng)絡由卷積（Conv）結構、拼接（Concat）結構和最大池化（MP）結構組成，實現(xiàn)圖像目標特征提??；頸部網(wǎng)絡包括跨階段局部網(wǎng)絡（CSPNet）和雙向融合（PANet）結構，完成特征融合操作，使網(wǎng)絡同時包含低層位置信息及深層語義信息；預測端使用CIOU_Loss 函數(shù)，主要預測信息的損失。由于YOLOv7 算法使用多尺度訓練及預測，會產(chǎn)生多個預測框，因此在預測段使用非極大值抑制（NMS）只保留一個最優(yōu)的預測框。

為了加快網(wǎng)絡訓練速度，得到更高的精確度，本文將主干網(wǎng)絡替換為輕量化網(wǎng)絡EfficientnetV2［19］。同時將自注意力機制引入EfficientnetV2主干網(wǎng)絡，并將PANet替換為加權雙向特征金字塔網(wǎng)絡（BiFPN［20］）。

1.1 基于EfficientnetV2 和CA 自注意力機制的主干網(wǎng)絡

本文提出一種新的CNN+Self-Attention 結構的輕量型主干網(wǎng)絡，該主干網(wǎng)絡由輕量級網(wǎng)絡EfficientNetV2 和協(xié)調(diào)自注意力機制（coordinate attention，CA）模塊構成。

輕量級網(wǎng)絡EfficientNetV2 由谷歌在2021 年提出，網(wǎng)絡使用NAS 搜索功能探尋輸入圖片尺寸、網(wǎng)絡深度、卷積核大小之間的最優(yōu)匹配關系，使得模型精確度與推理速度達到最高。EfficientNetV2在淺層網(wǎng)絡使用Fused-MBConv 結構，在深層網(wǎng)絡使用MBConv 結構。同時加深網(wǎng)絡層次，避免因增大卷積核大小帶來的感受野減小的問題。MBConv結構和Fused-MBConv結構如圖2所示。

圖2 MBConv結構和Fused-MBConv結構Fig. 2 Structure of MBConv and Fused-MBConv

CNN 網(wǎng)絡中的卷積操作固定了卷積核的大小，導致卷積核的感受野固定，無法關注圖像的全局信息。然而，在網(wǎng)絡特征提取階段，即主干網(wǎng)絡中添加自注意力機制，通過簡單的查詢與賦值就能獲取到特征圖的全局空間信息，提升網(wǎng)絡的檢測性能。CA自注意力機制［21］將位置信息嵌入通道注意力中，在捕獲跨通道的信息的同時還能捕獲方向感知和位置感知的信息，增強了圖像特征的表達能力。CA自注意力機制結構如圖3所示。

圖3 CA自注意力機制結構Fig. 3 CA self-attention mechanism structure

CA 自注意力機制由兩部分組成：坐標信息嵌入和坐標注意力生成。首先，為了更好地保留目標位置信息，在圖像輸入CA 結構后使用一對一維特征編碼沿著水平方向和豎直方向?qū)γ總€通道進行編碼。因此水平和豎直方向上的第c個通道輸出分別如式（1）—（2）所示。

式中：zc為第c個通道輸出的編碼值；xc（·）為第c個通道的輸入特征函數(shù)；W和H分別為圖像的寬和高；w和h為圖像中位于（w，h）點的像素點的坐標值。

然后，將兩個方向的特征圖進行拼接，并提取中間特征。最后，將特征圖沿著水平和豎直方向分為兩個張量，經(jīng)過卷積及激活函數(shù)處理后再融合，生成坐標注意力。本文將CA 自注意力機制引入EfficientnetV2主干網(wǎng)絡，得到改進后的YOLOv7算法的主干網(wǎng)絡如表1所示。

表1 改進后的YOLOv7算法主干網(wǎng)絡Tab. 1 Improved YOLOv7 algorithm backbone network

1.2 加權雙向特征金字塔網(wǎng)絡BiFPN

由于CNN 網(wǎng)絡通過逐層抽象的方式來提取目標的特征，網(wǎng)絡淺層包含圖像的位置信息，網(wǎng)絡深層多為圖像的語義信息，而多尺度特征融合旨在對不同分辨率下的特征進行聚合，結合網(wǎng)絡的淺層與深層信息。

YOLOv7 算法所使用的特征融合結構為PANet，通過一個自頂向下和自底向上的雙向融合網(wǎng)絡將不同層次的特征聚合。但是，由于PANet自身結構的復雜性，在取得較好結果的同時也增加了計算代價。本文為了進一步提升模型的推理速度采用更加高效快速的BiFPN 結構進行特征融合。與PANet 相比，BiFPN 刪除了中間層上下兩節(jié)點，減小了計算量，又添加了跳躍連接，融合了更多的特征。PANet與BiFPN結構如圖4所示。

圖4 PANet與BiFPN結構Fig. 4 Structures of PANet and BiFPN

2 改進YOLOv7算法訓練過程

2.1 自動擴充數(shù)據(jù)集方法

為提高網(wǎng)絡的精確度、泛化性，在本文使用的輸電線路缺陷圖像數(shù)據(jù)集包括由無人機拍攝的真實環(huán)境圖像和模擬運行環(huán)境圖像，兩類圖像各100張。對原始圖像采用Labelme 標定地面真實框生成JSON 格式的文件，文件中包含缺陷位置與種類信息。

針對現(xiàn)存輸電線路數(shù)據(jù)集樣本數(shù)量少、背景單一、人工標注時間長等不足，同時為了增強網(wǎng)絡的魯棒性，保證網(wǎng)絡在復雜背景下同樣達到可觀的精確度，本文提出了一種自動擴充數(shù)據(jù)集的方法。該方法對數(shù)據(jù)集進行自動數(shù)據(jù)增強，即對每一張圖像做x方向翻轉(zhuǎn)、y方向翻轉(zhuǎn)、添加椒鹽噪聲、添加Gauss 噪聲、調(diào)整圖像對比度等操作，再自動擴充圖像對應數(shù)據(jù)標簽，無需對擴充后的圖像進行人工標定。數(shù)據(jù)集經(jīng)過數(shù)據(jù)增強后圖像數(shù)量由原來的200張變?yōu)? 800張，最終生成符合YOLOv7算法訓練要求的COCO 格式數(shù)據(jù)集，其中訓練集與驗證集按8：2的比例劃分。

2.2 訓練參數(shù)及結果

本文使用深度學習框架PyTorch 對YOLOv7 算法進行訓練，最終生成模型權重文件。訓練圖像統(tǒng)一尺寸為640×480 px。每輪訓練所選取的樣本數(shù)batch_size 設置為16； 訓練過程中首先使用Adamw［22］優(yōu)化器快速逼近最優(yōu)解，以減少網(wǎng)絡的訓練時間，加快優(yōu)化速度，再使用SGD［23］優(yōu)化器對模型進行微調(diào)，以使得損失函數(shù)降到最低。同時，為了進一步加快訓練速度、提高精確度，本文使用遷移學習［24］在預訓練模型的基礎上進行權重更新，生成針對輸電導線缺陷檢測的模型文件。針對學習率本文使用預熱加s余弦退火的方式進行調(diào)整。訓練輪次為1 000輪，訓練時間大約為4.3 h。

3 實驗結果與分析

為了驗證本文提出的基于改進YOLOv7算法的有效性，選擇了不同背景下的輸電導線作為研究對象，圖像實驗在Ubuntu16.04 系統(tǒng)下運行，實驗平臺CPU 為Inter i7-6850 k、內(nèi)存為64 GB，算法在兩塊顯存12 GB 的TITAN XP 顯卡上訓練預測，Python 版本為3.8，PyTorch 版本為1.7.0，并采用Pycharm 2021.1.3 軟件運行程序。主要實驗內(nèi)容包括不同卷積神經(jīng)網(wǎng)絡算法對缺陷目標的識別精度和速度。同時，為了驗證改進改進方法的有效性，實驗內(nèi)容中還包括對YOLOv7算法的消融實驗。

3.1 評估指標

為了準確驗證算法的優(yōu)越性，分別對各個模型進行定量分析計算精確度P、幀率NFPS。

精確度P是指預測正確的結果數(shù)量占總預測數(shù)量的比值，定義如式（3）所示。

式中NTP、NFP分別為正確、錯誤預測的樣本數(shù)量。

NFPS幀率是指網(wǎng)絡每秒鐘可預測的圖片數(shù)量，NFPS值越大則網(wǎng)絡的推理速度越快。

3.2 消融實驗

為了驗證本文對YOLOv7算法的改進效果，采用消融實驗對各個改進方面進行驗證。消融實驗的訓練過程及對比結果分別如圖5、表2 所示。驗證的標準包括模型的參數(shù)量、權重模型的大小、精確度P、幀率NFPS值。其中模型參數(shù)量與權重模型大小可以表示網(wǎng)絡的輕量級，值越小代表模型越輕量。

表2 消融實驗對比結果Tab. 2 Ablation experiment comparison results

圖5 模型訓練過程圖Fig. 5 Model training process diagram

從圖5 中可知模型訓練輪數(shù)和模型精確度的關系。從圖5 可以看出，本文使用的所有模型訓練輪數(shù)均為1 000，并且精確度已經(jīng)平穩(wěn)，即已經(jīng)達到或接近最小損失函數(shù)值；未改進的模型1 相較于其他模型的精確度上升速度最快，最先趨于平穩(wěn)；同時，各模型訓練結束后達到的精確度與表2一致。

從表2 中模型1 與模型5 對比可以看出，替換輕量化主干后的YOLOv7 算法推理速度顯著提升，提升效率I計算如式（4）所示。

式中：V模型A為改進后模型的推理速度；V模型B為改進前模型的推理速度。

根據(jù)式（4）計算可得，模型5較模型1的推理速度提升效率I為59.15%，精確度上漲了2.3%；對比模型1 與模型2、模型5 與模型6 可得，兩組的后者均添加CA 模塊，在提升精確度P的同時加大了計算代價，導致其幀率降低；而使用BiFPN 進行特征融合的模型3 與模型7，雖然精確度的提升效果沒有模型2 與模型6 明顯，但是幀率可以達到同主干網(wǎng)絡下最高的55.55 和85.47 幀；由模型4 和模型8 可得，同時使用CA 與BiFPN 模塊的精確度P可達到同主干網(wǎng)絡下的最高，幀率相比初始模型有所提升；此外，通過模型1 與模型8 的對比，充分驗證了本文改進方法的有效性，模型精確度與幀率高達97.5%與84.03，較原模型有巨大的提升。綜上所述，本文算法具有更加準確的檢測能力，整體質(zhì)量最高，可以實現(xiàn)對輸電導線缺陷的實時檢測。

3.3 對比實驗

為了驗證所提算法的優(yōu)越性，本文將所提算法和單階段檢測算法YOLOv5、SSD［25］，雙階段檢測算法Faster R-CNN［26］、 Cascade R-CNN［27］及對YOLOv5 算法做同樣改進算法做比較。對比試驗結果如表3所示。

表3 不同算法對比實驗結果Tab. 3 The experimental results of different algorithms

本文所提算法同樣為單階段檢測算法，從表3可以看出，用作對比的單階段檢測算法在精確度P上普遍比雙階段低，而幀率要高于雙階段算法；本文算法較上一代YOLOv5及YOLOv5改進算法整體性能提升明顯，且改進后的性能提升要高于YOLOv5；Faster R-CNN 和Cascade R-CNN 由于其雙階段檢測的特性導致其精確度高推理速度低，而本文算法在單階段網(wǎng)絡的基礎上進行創(chuàng)新，使網(wǎng)絡能夠充分利用各層的特征信息，實現(xiàn)性能效果最優(yōu)化。

3.4 現(xiàn)場應用效果

為了直觀顯示本文算法的先進性，此次實驗中分別使用YOLOv7算法和本文算法對現(xiàn)場運行環(huán)境下拍攝的輸電導線圖像進行測試，記錄算法正檢率、漏檢率及檢測精度的情況，實驗結果如圖6 所示。圖6（a）、（b）分別為YOLOv7 算法與本文算法檢測結果。圖中使用紅色方框標定缺陷位置，并放置算法推理結果，包括種類名稱及檢測精度。從實驗結果可以看出，本文算法的平均檢測精度較YOLOv7 算法提升了約10%。第三組圖像在大霧天氣的復雜背景下拍攝得到，YOLOv7 算法出現(xiàn)了漏檢情況，而本文算法仍能將缺陷準確識別出，檢測精度達到了96%，這得益于CA 模塊對特征進行了編碼，很好地解決了漏檢的問題，說明本文算法在復雜背景下仍具有良好的識別精度，表現(xiàn)出了較強的魯棒性。第一組、第二組圖像中均含有多個缺陷，本文算法的識別精度可以達到96%。第4、5組圖像的拍攝角度、距離與其他圖像不同，導致YOLOv7 算法的檢測精度相比圖6（a）中其余圖像表現(xiàn)較差，而本文算法對多個感受野提取到的特征進行高效融合，第4、5 組圖像在圖6（b）中的顯示的精度同樣處于高水準，說明本文算法具有優(yōu)異的泛化性，對不同情況下拍攝的圖像均有較高的檢測精度。

圖6 算法實際檢測效果圖Fig. 6 The real test results of algorithm

4 結論

本文針對現(xiàn)有輸電導線缺陷檢測模型檢測精確度不高，速度慢的問題創(chuàng)新性地提出基于改進YOLOv7 算法的輸電導線在線監(jiān)測與缺陷識別算法，可以在保證檢測精度的同時滿足輸電線路實時巡檢的要求。首先，針對現(xiàn)存輸電線路數(shù)據(jù)集樣本數(shù)量少、背景單一、人工標注時間長等不足，本文提出了一種自動擴充數(shù)據(jù)集的方法，可以使用少量樣本圖像進行擴充，節(jié)省了標注時間、增大了訓練樣本，避免了模型訓練過程的過擬合現(xiàn)象；然后，提出新的CNN+Self-Attention 結構的輕量型主干網(wǎng)絡， 將EfficientnetV2 和CA 模塊結合， 替換YOLOv7 算法的主干網(wǎng)絡，對目標位置信息進行編碼，實現(xiàn)更快更精確的特征提取；最后，為了更好地融合并利用網(wǎng)絡淺層和深層信息，同時又進一步提升網(wǎng)絡的推理速度，本文使用BiFPN 結構替換PANet 進行特征融合，BiFPN 模塊可以將提取到的特征進行快速高效的融合，使輸出特征同時含有位置及語義信息。通過對輸電導線現(xiàn)場運行圖像的實驗結果表明本文算法在檢測輸電導線缺陷任務中的精確度達到了97.5%，檢測速度達到了84.03 幀/s，充分展現(xiàn)了其優(yōu)越的性能，可以運用于實際巡線工作中。