摘 要:針對(duì)復(fù)雜環(huán)境與霧霾天氣下絕緣子缺陷過小,傳統(tǒng)目標(biāo)檢測(cè)算法難以識(shí)別造成誤檢、漏檢等情況,提出一種以YOLOv7 為基礎(chǔ)模型并改進(jìn)的缺陷檢測(cè)算法。在圖像預(yù)處理部分采用暗通道先驗(yàn)去霧算法,提高模型對(duì)特征的可分辨性與魯棒性;為提高模型特征提取能力和識(shí)別小目標(biāo)能力,在主干網(wǎng)絡(luò)結(jié)構(gòu)后端引入雙重多尺度注意力機(jī)制(Dual MultiScale Attention Network,DMSANet);為減小模型尺寸,提高模型識(shí)別速度,采用基于SwinTransformer 改進(jìn)的C3 模塊替代E-ELAN 模塊;在預(yù)測(cè)部分使用Wise-IOU 損失函數(shù),提高模型收斂效率。實(shí)驗(yàn)結(jié)果表明,DMSANet-YOLOv7 算法相較于原YOLOv7 算法平均準(zhǔn)確率、準(zhǔn)確率以及召回率分別提高6. 3% 、7. 9% 、12. 3% ,單張圖片檢測(cè)速度達(dá)到12. 3 ms,參數(shù)量為37. 7 M。在提高檢測(cè)精度的同時(shí)確保檢測(cè)速度和性能的平衡,能夠更好地搭載至無(wú)人機(jī)及其他平臺(tái),滿足絕緣子及其缺陷的實(shí)時(shí)動(dòng)態(tài)檢測(cè)需求。
關(guān)鍵詞:絕緣子缺陷;目標(biāo)檢測(cè);注意力機(jī)制;YOLOv7;暗通道先驗(yàn)去霧算法
中圖分類號(hào):TM216;TP391. 4 文獻(xiàn)標(biāo)志碼:A 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
文章編號(hào):1003-3106(2024)06-1431-09
0 引言
絕緣子在高壓輸電網(wǎng)中發(fā)揮著至關(guān)重要的作用,由于所處環(huán)境較為惡劣,因此絕緣子時(shí)常出現(xiàn)破損、掉串、腐蝕和裂痕等缺陷[1],給電網(wǎng)安全運(yùn)行帶來(lái)極大的不穩(wěn)定因素。作為輸電線網(wǎng)中的重要元器件,定期巡檢成為電網(wǎng)公司的首要任務(wù)。由于絕緣子所處復(fù)雜的自然環(huán)境,且近年霧霾天氣頻發(fā),給線路巡檢帶來(lái)了極大困難,因此如何設(shè)計(jì)出一種滿足實(shí)時(shí)性、魯棒性的絕緣子缺陷檢測(cè)算法成為亟待解決的問題[2]。
在目標(biāo)檢測(cè)算法中深度學(xué)習(xí)是目前常見的前沿技術(shù),其中包括一階段(OneStage)目標(biāo)檢測(cè)算法和二階段(Two-Stage)目標(biāo)檢測(cè)算法,其主流算法有Single Shot MultiBox Detector (SSD)算法、You OnlyLook Once(YOLO)算法、Faster R-CNN 算法以及Re-fineDet 算法[3]等。由于一階段目標(biāo)檢測(cè)算法相比二階段目標(biāo)檢測(cè)算法識(shí)別速度快,更適合應(yīng)用于實(shí)時(shí)檢測(cè),因此成為現(xiàn)階段的研究熱點(diǎn)。
目前國(guó)內(nèi)外已有不少研究使用目標(biāo)檢測(cè)算法在絕緣子缺陷識(shí)別上取得不菲的成績(jī)。王道累等[4]提出一種基于YOLOv5 的輕量化檢測(cè)模型,對(duì)主干網(wǎng)絡(luò)中的殘差模塊進(jìn)行改進(jìn)并添加可分離卷積,設(shè)計(jì)DC-SPP 模塊使網(wǎng)絡(luò)在不損失細(xì)節(jié)信息的情況下增大感受野,提高模型檢測(cè)性能。李斌等[5]提出一種基于多尺度的特征融合網(wǎng)絡(luò),使用殘差注意力網(wǎng)絡(luò)獲取絕緣子不同分辨率的缺陷特征,并且使用Focal 損失和高斯非極大抑制方法進(jìn)一步提升檢測(cè)效果。張國(guó)寶等[6]提出使用傳統(tǒng)的光線法智能定位裝置,由此開發(fā)絕緣子缺陷檢測(cè)的三維成像技術(shù),此理論可以更好地將絕緣子全面覆蓋檢測(cè)。Zheng 等[7]提出改進(jìn)的YOLOv7 模型,基于Kmeans++對(duì)絕緣子數(shù)據(jù)集目標(biāo)框進(jìn)行聚類,引入坐標(biāo)注意(CoordAtt)模塊和HorBlock 模塊增強(qiáng)特征提取能力,利用SIOU 和焦點(diǎn)損失函數(shù)加速模型收斂,并改進(jìn)非最大抑制方法,提高檢測(cè)精度。上述研究模型雖然相較于原網(wǎng)絡(luò)模型的速度和精度有一定的提升,但是仍無(wú)法滿足現(xiàn)實(shí)需求,與要求存在一定的差距,且在霧霾天氣與環(huán)境復(fù)雜的條件下,檢測(cè)速度過慢精度較低,使得模型難以應(yīng)用于動(dòng)態(tài)實(shí)時(shí)檢測(cè)工作。
因此,針對(duì)復(fù)雜環(huán)境和霧霾天氣下絕緣子缺陷尺寸過小等問題造成檢測(cè)精度較低,無(wú)法滿足動(dòng)態(tài)實(shí)時(shí)檢測(cè)要求,采用較為新穎的YOLOv7 網(wǎng)絡(luò)為基礎(chǔ)模型,在頭部網(wǎng)絡(luò)引入基于自注意力機(jī)制的改進(jìn)C3 模塊,并融合DMSANet 注意力機(jī)制,使用Wise-IOU 損失函數(shù)充分發(fā)揮非單調(diào)調(diào)焦機(jī)制的潛力,降低高質(zhì)量錨框的競(jìng)爭(zhēng)力,并掩蓋低質(zhì)量樣本的影響,提高絕緣子缺陷的檢測(cè)的效率。
1 YOLOv7 算法原理
YOLOv7 算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示,此算法基于YOLOv5 算法,引入模型重新參數(shù)化思想,并增加深度監(jiān)督技術(shù),改進(jìn)了動(dòng)態(tài)標(biāo)簽分配策略,提出了由粗到精的引導(dǎo)標(biāo)簽分配策略等[8]。其中,模型再參數(shù)化的作用是在訓(xùn)練過程中將整個(gè)模塊拆分為幾個(gè)相同或不同的模塊分支,在推理過程中將多個(gè)分支模塊整合為一個(gè)完全等價(jià)的模塊。模型再參數(shù)化的好處是可以獲得更好的特征表示,減少計(jì)算量和參數(shù)量,提高推理速度。
由于深層網(wǎng)絡(luò)可以更有效地學(xué)習(xí)和收斂,因此YOLOv7 引入ELAN 結(jié)構(gòu)并改進(jìn)為E-ELAN,可以通過控制最短和最長(zhǎng)梯度路徑,使網(wǎng)絡(luò)有效地學(xué)習(xí)到更多特征,并具有更強(qiáng)的魯棒性。E-ELAN 可以完全不改變?cè)屑軜?gòu)梯度傳輸路徑,利用群卷積增加特征基數(shù),并以Shuffle 和Merge 基數(shù)的方式將不同組的特征組合起來(lái)。這種操作方式可以增強(qiáng)不同特征圖學(xué)習(xí)到的特征,以提高參數(shù)和計(jì)算的使用。
在結(jié)構(gòu)上,E-ELAN 只改變計(jì)算塊的體系結(jié)構(gòu),而過渡層的體系結(jié)構(gòu)完全不變。此策略使用群卷積進(jìn)行擴(kuò)展計(jì)算塊的通道和基數(shù),將計(jì)算層的所有計(jì)算塊使用相同的組參數(shù)和信道乘法器,緊接著每個(gè)計(jì)算塊計(jì)算出的特征圖按照設(shè)定的組參數(shù)進(jìn)行洗牌,再將其拼接在一起。此時(shí),每組特征圖中的通道數(shù)將與原架構(gòu)中的通道數(shù)相同。E-ELAN 除保持原有的ELAN 設(shè)計(jì)架構(gòu)外,還可以引導(dǎo)不同組的計(jì)算塊學(xué)習(xí)更多樣化的特性,通過擴(kuò)展、洗牌、合并基數(shù)策略,在不破壞原有梯度路徑的前提下,不斷增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。YOLOv7 與以往YOLO 結(jié)構(gòu)不同,其結(jié)構(gòu)中MP 層同時(shí)使用Maxpooling 和3×3 卷積進(jìn)行下采樣,得到的輸出通過并聯(lián)進(jìn)行連接,這使得網(wǎng)絡(luò)能夠更好地提取特征[9]。
2 DMSANet-YOLOv7 的提出
2. 1 改進(jìn)C3 模塊
在YOLOv7 中,ELAN 模塊用于從輸入特征映射中提取特征。然而,對(duì)于絕緣子缺陷的種類和大小存在巨大差異,不同種類缺陷之間也存在相似之處,并且絕緣子材質(zhì)的不同以及光照影響,在拍攝過程中所得到的圖像也會(huì)有所變化,因此ELAN 模塊不能更好地提取有效特征。同時(shí)ELAN 模塊包含更多卷積模塊和殘差連接,使得計(jì)算量增大,降低了推理速度。
基于上述原因,將YOLOv5 中的C3 模塊如圖2所示,改進(jìn)的C3C2 模塊[10]如圖3 所示。C3C2 模塊的設(shè)計(jì)靈感來(lái)源于SwinTransformer 的網(wǎng)絡(luò)結(jié)構(gòu)。它在原有C3 模塊的基礎(chǔ)上,將殘差分支卷積模塊改為簡(jiǎn)單的卷積結(jié)構(gòu),并去除歸一化層和激活函數(shù)層,以減少參數(shù)計(jì)算量。鑒于Mish 激活函數(shù)比SiLU 激活函數(shù)具有更好的抑制過擬合的能力,因此Mish 激活函數(shù)對(duì)不同的超參數(shù)具有更強(qiáng)的魯棒性。鑒于以上優(yōu)點(diǎn),將最終卷積模塊中的激活函數(shù)由原來(lái)的SiLU 激活函數(shù)改為Mish 激活函數(shù),并在最后的并聯(lián)操作后輸入卷積模塊,增強(qiáng)了網(wǎng)絡(luò)的非線性變化。
2. 2 DMSANet 注意力機(jī)制
在目標(biāo)檢測(cè)模型中引入注意力機(jī)制,可以避免模型計(jì)算能力向無(wú)價(jià)值的部分進(jìn)行偏移,選擇性地加強(qiáng)重要特征并抑制無(wú)用特征,降低圖像干擾信息的影響,從而提高檢測(cè)效果。
現(xiàn)有注意力機(jī)制難以做到對(duì)性能和模型復(fù)雜度之間的良好平衡,在兼顧通道和空間注意機(jī)制的同時(shí)帶來(lái)額外的計(jì)算負(fù)擔(dān)。因此引入雙重多尺度注意力機(jī)制(Dual Multi Scale Attention Network,DMSA-Net)[11],其結(jié)構(gòu)如圖4 所示,由兩部分組成:① 提取不同尺度的特征并對(duì)其進(jìn)行聚合;② 使用空間與通道注意力模塊對(duì)局部特征與全局依賴項(xiàng)進(jìn)行自適應(yīng)整合。
第一部分借鑒SKnet[12]與Sa-Net[13]的觀點(diǎn),將輸入特征映射X 與通道尺寸分為N 部分,對(duì)于每個(gè)分裂部分,網(wǎng)絡(luò)具有C0 = CS 的共同頻道,并且第i 個(gè)特征映射是Xi ∈RC0×H×W ,各個(gè)特征在傳遞到2 個(gè)不同的分支之前進(jìn)行融合。
第二部分由空間和通道注意力模塊組成,用于語(yǔ)義分割。通道注意模塊用于選擇性地加權(quán)每個(gè)通道的重要性,從而產(chǎn)生最佳的輸出特征,此方法可以有效降低參數(shù)量。網(wǎng)絡(luò)首先建立一個(gè)空間注意矩陣,此矩陣對(duì)特征圖像的任意2 個(gè)像素之間的空間關(guān)系進(jìn)行建模;其次對(duì)注意矩陣與原始特征矩陣之間進(jìn)行矩陣乘法;最后對(duì)得到的矩陣和原始特征進(jìn)行逐元素求和運(yùn)算。
在網(wǎng)絡(luò)的最后一部分中,所有子功能都被聚合,使用“通道洗牌”運(yùn)算符來(lái)啟用沿通道維度的跨組信息流。模塊最終輸出與輸入的輸出大小相同,使注意力模塊與其他網(wǎng)絡(luò)較為容易的集成。
通過式(1)定義的拼接方式,可以得到整個(gè)多尺度預(yù)處理特征圖:
F = Concat([E1j,E2j]), (1)
式中:F∈CC×H×W 為得到的多尺度特征圖,E1j、E2j 為通道注意力機(jī)制與空間注意力機(jī)制輸出結(jié)果。DM-SANet 注意力機(jī)制在特征描述符的引導(dǎo)下,跨通道自適應(yīng)選擇不同的空間尺度。該操作定義如下:
最后,將重新校準(zhǔn)的多尺度通道注意力權(quán)重atti 與相應(yīng)尺度Fi 的特征圖相乘:
Yi = Fi ⊙atti, (3)
式中:i = 1,2,3,…,S-1,⊙表示相乘。
DMSANet 注意力機(jī)制與大多數(shù)現(xiàn)有模型相比,不僅達(dá)到了最佳性能,而且參數(shù)更少,由于其輕量級(jí)的特性,DMSANet 注意力機(jī)制可以很容易地與其他卷積神經(jīng)網(wǎng)絡(luò)集成。
2. 3 Wise-IOU 損失函數(shù)
邊界框回歸(BoundingBox Regression,BBR)損失函數(shù)是目標(biāo)檢測(cè)的一大關(guān)鍵,對(duì)目標(biāo)檢測(cè)至關(guān)重要,檢測(cè)性能很大程度上依賴于損失函數(shù)的設(shè)計(jì),而邊界框損失函數(shù)作為其重要組成部分,其準(zhǔn)確定義可以使檢測(cè)網(wǎng)絡(luò)擁有顯著的性能提升。因此選擇較為合適的損失函數(shù)成為目標(biāo)檢測(cè)的首要任務(wù)。
Wise-IOU 損失函數(shù)[14]是一種動(dòng)態(tài)非單調(diào)調(diào)頻損耗,可以降低高質(zhì)量錨框的競(jìng)爭(zhēng)力,同時(shí)減少低質(zhì)量樣本產(chǎn)生的有害梯度,使Wise-IOU 損失函數(shù)可以更好地提高網(wǎng)絡(luò)的檢測(cè)性能。當(dāng)Wise-IOU 損失函數(shù)應(yīng)用于YOLOv7 模型中,MS-COCO 數(shù)據(jù)集中AP75提高2. 77% ,因此本文選擇Wise-IOU 損失函數(shù)作為BBR 損失函數(shù),如圖5 所示。
IOU 損失定義為:
式中:B 為預(yù)測(cè)邊界框,Bgt 為真實(shí)邊界框。
由于訓(xùn)練數(shù)據(jù)中包含低質(zhì)量樣本,距離和縱橫比等幾何因素會(huì)加重對(duì)低質(zhì)量樣本的懲罰,從而降低模型泛化性能。當(dāng)錨框與檢測(cè)框吻合良好時(shí),良好的損失函數(shù)應(yīng)能減弱幾何因素的懲罰,而較少的訓(xùn)練干預(yù)將使模型獲得更好的泛化能力。RWise-IOU ∈[1,e),將顯著放大一般質(zhì)量錨框的LIOU 。LIOU ∈[0,1]將顯著降低高質(zhì)量錨框的Wise-IOU ,并在錨框與目標(biāo)錨框重合時(shí),其關(guān)注中心點(diǎn)之間的距離。因此得到Wise-IOU 損失函數(shù)的距離損失公式:
式中:Wg、Hg 為最小封閉框大小,x、y 為預(yù)測(cè)框中心點(diǎn)坐標(biāo),xgt、ygt 為真實(shí)框中心點(diǎn)坐標(biāo)。為了防止RWise-IOU 產(chǎn)生阻礙收斂的梯度,Wg、Hg 從計(jì)算圖中分離出來(lái)(上標(biāo)*表示此操作)。
非單調(diào)聚焦系數(shù)r 定義為:
式中:β 為離群度,表征回歸框的質(zhì)量; LIOU 為動(dòng)量為m 的滑動(dòng)平均值,其動(dòng)態(tài)更新使整體β 保持較高水平,可以有效解決訓(xùn)練后期收斂速度較慢的問題;α、δ 為超參數(shù),當(dāng)回歸框的離群度滿足β = C(C 為預(yù)設(shè)值)時(shí),回歸框可以獲得最高的梯度增益。同時(shí)由于LIOU 是動(dòng)態(tài)更新的,回歸框的質(zhì)量劃分標(biāo)準(zhǔn)也是動(dòng)態(tài)調(diào)整的,使得Wise-IOU 可以在訓(xùn)練中隨時(shí)做出最符合當(dāng)前狀況的梯度增益分配策略。
綜上所述,Wise-IOU 損失定義為:
LWIOU = r· RWise-IOUL IOU 。(8)
2. 4 去霧算法
由于霧霾天氣的影響使得絕緣子缺陷檢測(cè)更為困難,因此本文算法采用暗通道先驗(yàn)(Dark ChannelPrior)去霧算法[15]在圖像輸入網(wǎng)絡(luò)之前進(jìn)行圖像預(yù)處理。去霧效果對(duì)比如圖6 所示,由于在圖像中至少存在一個(gè)顏色通道且亮度值極低,因此結(jié)合霧成像模型與軟摳圖插值方法進(jìn)行去霧處理,式(9)為暗通道先驗(yàn):
式中:Jdark(x)為暗通道趨于0,Jc(y)為J 的顏色通道,Ω(x)為以x 為中心的局部區(qū)域。
由于透光量較少,直接恢復(fù)場(chǎng)景亮度容易產(chǎn)生噪點(diǎn),因此設(shè)定傳輸t(x)限制在一個(gè)下限t0 ,因而在霧霾嚴(yán)重的地方保留了少量的霧霾。
經(jīng)過公式推演,去霧算法如式(10)所示:
式中:J(x)為無(wú)霧圖像,I(x)為有霧圖像,A 為全球大氣光值,t(x)為透射率。
經(jīng)過以上改進(jìn)得到DMSANet-YOLOv7 模型如圖7 所示。圖片在預(yù)處理階段進(jìn)行去霧操作以提高模型的識(shí)別能力與魯棒性,進(jìn)一步增強(qiáng)YOLOv7 網(wǎng)絡(luò)結(jié)構(gòu)的特征提取和融合能力[16],提高推理速度,使得網(wǎng)絡(luò)更適合應(yīng)用于絕緣子及絕緣子缺陷動(dòng)態(tài)實(shí)時(shí)檢測(cè)。
3 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析
3. 1 數(shù)據(jù)集處理
本實(shí)驗(yàn)使用網(wǎng)絡(luò)開源數(shù)據(jù)集與自采數(shù)據(jù)集,共計(jì)1 022 張。由于圖片數(shù)量較少,在進(jìn)行試驗(yàn)時(shí)容易因數(shù)據(jù)不足造成模型泛化能力差,導(dǎo)致過擬合現(xiàn)象出現(xiàn),從而影響實(shí)驗(yàn)結(jié)果。因此通過亮度增強(qiáng)、水平翻轉(zhuǎn)、隨機(jī)角度、馬賽克和灰度圖等方法進(jìn)行數(shù)據(jù)擴(kuò)充并使用算法將正常圖片霧化處理。圖像增強(qiáng)實(shí)例如圖8 所示。
經(jīng)過數(shù)據(jù)增強(qiáng)最終得到8 176 張絕緣子圖片,數(shù)據(jù)集規(guī)模不僅成倍擴(kuò)充,還提高了網(wǎng)絡(luò)模型的泛化能力。本文將數(shù)據(jù)集按照8 ∶ 1 ∶ 1 的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,訓(xùn)練集與驗(yàn)證集將用于網(wǎng)絡(luò)模型的訓(xùn)練,而測(cè)試集則用于檢驗(yàn)網(wǎng)絡(luò)模型的識(shí)別準(zhǔn)確率。
3. 2 模型評(píng)估
本實(shí)驗(yàn)使用的模型評(píng)估指標(biāo)分別為FPS、準(zhǔn)確率(Precision,P)、召回率(Recall,R)和平均準(zhǔn)確率(mean Average Precision,mAP)作為評(píng)估指標(biāo)進(jìn)行網(wǎng)絡(luò)模型的性能評(píng)估。相關(guān)評(píng)估指標(biāo)計(jì)算如下:
式中:Frameum 表示檢測(cè)圖片總數(shù),ElapsedTime 表示檢測(cè)所花費(fèi)的總時(shí)間,TP 表示正樣本正確識(shí)別為正類的數(shù)量,FP 表示負(fù)樣本錯(cuò)誤識(shí)別為正類的數(shù)量,FN 表示正樣本錯(cuò)誤識(shí)別為負(fù)類的數(shù)量,N 表示數(shù)據(jù)集中樣本類別數(shù)量。
3. 3 實(shí)驗(yàn)環(huán)境
本實(shí)驗(yàn)采用的操作系統(tǒng)為Linux Ubuntu 發(fā)行版,CPU 型號(hào)為15 核心Intel(R)Xeon(R)Platinum8375C,內(nèi)存為80 GB,GPU 選擇NVIDIA GeforceRTX 4080,顯存為24 GB。環(huán)境配置為Cuda 11. 0,對(duì)應(yīng)的深度學(xué)習(xí)框架為PyTorch 1. 7. 0,編程語(yǔ)言環(huán)境為Python 3. 8. 0。
3. 4 模型主干網(wǎng)絡(luò)實(shí)驗(yàn)
模型主干網(wǎng)絡(luò)實(shí)驗(yàn)數(shù)據(jù)對(duì)比如表1 所示,在引入Wise-IOU 損失函數(shù)后平均準(zhǔn)確率、準(zhǔn)確率和召回率相比原YOLOv7 網(wǎng)絡(luò)分別提高2. 7% 、2. 2% 、7. 8% ,從數(shù)據(jù)可以體現(xiàn)出Wise-IOU 損失函數(shù)可以更好地將預(yù)測(cè)框貼合真實(shí)框,降低高質(zhì)量錨框的競(jìng)爭(zhēng)力,并掩蓋低質(zhì)量樣本的影響,從而達(dá)到快速準(zhǔn)確地預(yù)測(cè)目標(biāo)。
使用改進(jìn)的C3C2 模塊更換原EELAN 模塊后平均精度、準(zhǔn)確率和召回率分別提高4. 1% 、3. 1% 、10. 9% ,這證明C3C2 模塊可以充分探索鄰近的上下文信息,以一種高效的方式提升自注意力的學(xué)習(xí),從而提高輸出特征的表達(dá)能力,提高網(wǎng)絡(luò)檢測(cè)精度使其更好地應(yīng)用于小型無(wú)人機(jī)進(jìn)行動(dòng)態(tài)實(shí)時(shí)檢測(cè),極大方便電力工人的巡檢工作。
3. 5 注意力機(jī)制實(shí)驗(yàn)
為驗(yàn)證本文所提出的引入DMSANet 注意力機(jī)制相較其他注意力機(jī)制的優(yōu)勢(shì)設(shè)計(jì)此實(shí)驗(yàn)。不同的注意力機(jī)制對(duì)比實(shí)驗(yàn)數(shù)據(jù)如表2 所示,在主干網(wǎng)絡(luò)后引入其他2 種較為常見的注意力機(jī)制進(jìn)行對(duì)比,分別為CBAM[17]、GAM[18]。
不同注意力機(jī)制熱力圖如圖9 所示,對(duì)比熱力圖可以發(fā)現(xiàn),DMSANet 注意力機(jī)制對(duì)于絕緣子及絕緣子缺陷的關(guān)注度更高,發(fā)散程度更低。從可視化角度說明,DMSANet 注意力機(jī)制相較于其他注意力機(jī)制更為優(yōu)越,對(duì)于絕緣子缺陷檢測(cè)效果更好,可以有效地提高網(wǎng)絡(luò)模型對(duì)目標(biāo)的關(guān)注度,降低了復(fù)雜背景對(duì)絕緣子及其缺陷的檢測(cè)的影響,更好地提升了模型性能。
由表2 中數(shù)據(jù)與熱力圖可得出結(jié)論,對(duì)于絕緣子及其缺陷在引入注意力機(jī)制后,檢測(cè)效果顯著提高,而DMSANet 注意力機(jī)制相較于其他注意力機(jī)制提升效果最大,與原網(wǎng)絡(luò)相比mAP 提升6. 3% ,單張圖片檢測(cè)時(shí)間可達(dá)12. 3 ms,雖相較于原網(wǎng)絡(luò)速度有所下降,但大幅提高了精度,可以更好地應(yīng)用于絕緣子缺陷實(shí)時(shí)檢測(cè)之中。
3. 6 模型對(duì)比試驗(yàn)
為進(jìn)一步驗(yàn)證本文所提算法的優(yōu)越性,設(shè)計(jì)各類模型對(duì)照試驗(yàn),其中選取二階段算法Faster R-CNN 與一階段算法SSD、YOLOv4、YOLOv5、YOLOv7 與改進(jìn)算法進(jìn)行比較,結(jié)果如表3 所示。改進(jìn)算法在檢測(cè)精度與檢測(cè)速度上具有較大優(yōu)勢(shì),相較于其他5 類算法模型全部達(dá)到了最先進(jìn)的結(jié)果,mAP 分別提高39. 9% 、45. 1% 、6. 5% 、4. 5% 、6. 2% ,且檢測(cè)速度相較于其他網(wǎng)絡(luò)表現(xiàn)更為優(yōu)異,FPS 達(dá)到81,因此本文所提出的算法可以更好地保證動(dòng)態(tài)實(shí)時(shí)檢測(cè)的效果,更加準(zhǔn)確便捷地對(duì)絕緣子缺陷進(jìn)行檢測(cè)。
3. 7 消融實(shí)驗(yàn)
為驗(yàn)證DMSANet-YOLOv7 算法的各項(xiàng)改進(jìn)對(duì)絕緣子及其缺陷檢測(cè)的影響,進(jìn)行消融實(shí)驗(yàn),對(duì)各個(gè)改進(jìn)點(diǎn)進(jìn)行評(píng)估,評(píng)估結(jié)果如表4 所示。
表4 第一行為原網(wǎng)絡(luò)檢測(cè)結(jié)果。通過表4 可以看出,引入Wise-IOU 損失函數(shù),mAP 與原網(wǎng)絡(luò)相比提高1. 7% ,準(zhǔn)確率與召回率分別提高3. 8% 、8. 7% ,不僅提高了模型預(yù)測(cè)精度,而且預(yù)測(cè)框更加的符合真實(shí)框;將C3C2 模塊引入主干網(wǎng)絡(luò)后,mAP提高5. 13% ,準(zhǔn)確率與召回率分別提高4. 9% 、6. 1% ,證明C3C2 模塊對(duì)網(wǎng)絡(luò)主干起到正向作用,使檢測(cè)精度進(jìn)一步提高;而在主干網(wǎng)絡(luò)之后加入DMSANet 注意力機(jī)制mAP、準(zhǔn)確率與召回率進(jìn)一步提高4. 7% 、6. 1% 、10. 6% ,證明DMSANet 注意力機(jī)制可以更好地關(guān)注絕緣子及其缺陷目標(biāo),達(dá)到更好的檢測(cè)效果;采用Kmeans 聚類算法后提高了定位精度,使訓(xùn)練更加穩(wěn)定,在不影響檢測(cè)速度的情況下mAP、準(zhǔn)確率以及召回率分別提高6. 3% 、7. 9% 、12. 3% 。消融實(shí)驗(yàn)結(jié)果表明Wise-IOU 損失函數(shù)、C3C2 模塊、DMSANet 注意力機(jī)制以及K-means 聚類算法對(duì)原網(wǎng)絡(luò)檢測(cè)精度均有正面影響。
圖10 為YOLOv7 算法與本文改進(jìn)算法在霧霾天氣下與背景較為復(fù)雜的環(huán)境下對(duì)目標(biāo)的檢測(cè)效果圖,DMSANet-YOLOv7 算法基于YOLOv7模型并加以改進(jìn),對(duì)霧霾天氣下絕緣子及其缺陷的檢測(cè)效果相比原YOLOv7 算法具有顯著的提高。
圖中數(shù)據(jù)結(jié)果表明,改進(jìn)后的算法對(duì)霧霾天氣與復(fù)雜背景下的檢測(cè)效果有了明顯提升,本文所提算法,顯著提高了模型的特征提取能力,使算法可以快速準(zhǔn)確地檢測(cè)出目標(biāo),有效地減少了誤檢、漏檢現(xiàn)象的出現(xiàn),證明此算法在背景復(fù)雜與霧霾天氣條件下仍然能夠取得顯著的檢測(cè)效果。
由于單張圖片檢測(cè)時(shí)間可達(dá)12. 3 ms,因此DMSANetYOLOv7 算法可以更好地應(yīng)用于實(shí)時(shí)檢測(cè)中,基于YOLO 算法的特性,此算法搭載至無(wú)人機(jī)進(jìn)行航拍檢測(cè),可在不斷電的情況下進(jìn)行缺陷檢測(cè),極大地保證了生產(chǎn)生活安全,對(duì)實(shí)時(shí)檢測(cè)具有極大的現(xiàn)實(shí)意義。
4 結(jié)論
針對(duì)復(fù)雜背景及霧霾天氣下絕緣子缺陷檢測(cè)精度較低,未達(dá)到動(dòng)態(tài)實(shí)時(shí)檢測(cè)的要求,提出基于YOLOv7 的改進(jìn)網(wǎng)絡(luò)模型,主要結(jié)論如下:
① 改進(jìn)主干網(wǎng)絡(luò)模塊C3 模塊增加含有Mish激活函數(shù)的卷積,并替換E-ELAN 模塊,進(jìn)一步提高視覺表達(dá)能力,從而有效地促進(jìn)自注意學(xué)習(xí)增強(qiáng)輸出聚合特征圖的表達(dá)能力。
② 針對(duì)絕緣子及其缺陷的特點(diǎn),引入DMSANet注意力機(jī)制,使模型提高絕緣子缺點(diǎn)的關(guān)注度,提高目標(biāo)檢測(cè)的精度,并將預(yù)測(cè)框回歸損失函數(shù)更換為Wise-IOU 損失函數(shù),使非單調(diào)調(diào)頻的潛力得到充分發(fā)揮,從而提高模型的預(yù)測(cè)精度,使改進(jìn)后的網(wǎng)絡(luò)更適合實(shí)時(shí)檢測(cè)。
③ 在同一實(shí)驗(yàn)條件下,對(duì)DMSANet-YOLOv7 算法與其他深度學(xué)習(xí)算法進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果顯示DMSANet-YOLOv7 算法雖然失去了一部分檢測(cè)速度,但在檢測(cè)精度與性能方面取得了更好的平衡,進(jìn)一步提高巡檢自動(dòng)化程度和效率。
④ 由于在巡檢過程中會(huì)遇到大風(fēng)天氣使得拍攝器材抖動(dòng)鏡頭無(wú)法對(duì)焦,造成圖像模糊,鑒于此類弱點(diǎn)及局限性,可以在圖像預(yù)處理階段使用深度學(xué)習(xí)的方法進(jìn)行圖像去噪,以提高圖像的清晰度。
參考文獻(xiàn)
[1] 陳奎,劉曉,賈立嬌,等. 基于輕量化網(wǎng)絡(luò)與增強(qiáng)多尺度特征融合的絕緣子缺陷檢測(cè)[J/ OL]. 高電壓技術(shù):1-14[2023 - 05 - 17 ]. https:∥ doi. org / 10. 13336 / j. 1003 -6520. hve. 20221652.
[2] 茍軍年,杜愫愫,劉力. 基于改進(jìn)掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的輸電線路絕緣子自爆檢測(cè)[J]. 電工技術(shù)學(xué)報(bào),2023,38(1):47-59.
[3] ZHANG S F,WEN L Y,BIAN X,et al. Singleshot Refinement Neural Network for Object Detection[C]∥2018IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City:IEEE,2018:4203-4212.
[4] 王道累,張世恒,袁斌霞,等. 基于改進(jìn)YOLOv5 的輕量化玻璃絕緣子自爆缺陷檢測(cè)研究[J]. 高電壓技術(shù),2023,49(10):4382-4390.
[5] 李斌,屈璐瑤,朱新山,等. 基于多尺度特征融合的絕緣子缺陷檢測(cè)[J]. 電工技術(shù)學(xué)報(bào),2023,38(1):60-70.
[6] 張國(guó)寶,楊為,趙恒陽(yáng),等. 基于X 射線三維成像技術(shù)的在役GIS 盆式絕緣子缺陷檢測(cè)[J]. 高壓電器,2022,58(10):230-236.
[7] ZHENG J F,WU H,ZHANG H,et al. Insulatordefect Detection Algorithm Based on Improved YOLOv7 [J]. Sensors,2022,22(22):8801.
[8] 倪昌雙,李林,羅文婷,等. 改進(jìn)YOLOv7 的瀝青路面病害檢測(cè)[J ]. 計(jì)算機(jī)工程與應(yīng)用,2023,59 (13 ):305-316.
[9] 宋智偉,黃新波,紀(jì)超,等. 基于Flexible YOLOv7 的輸電線路絕緣子缺陷檢測(cè)和故障預(yù)警方法[J]. 高電壓技術(shù),2023,49(12):5084-5094.
[10] WANG R J,LIANG F L,MOU X W,et al. Development ofan Improved YOLOv7based Model for Detecting Defectson Strip Steel Surfaces[J]. Coatings,2023,13(3):536.
[11] SAGAR A. DMSANet:Dual Multi Scale Attention Network[C ]∥ Image Analysis and ProcessingICIAP 2022.Lecce:Springer,2022:633-645.
[12] LI X,WANG W H,HU X L,et al. Selective Kernel Networks[C]∥ 2019 IEEE / CVF Conference on ComputerVision and Pattern Recognition. Long Beach:IEEE,2019:510-519.
[13] ZHANG Q L,YANG Y B. SaNet:Shuffle Attention forDeep Convolutional Neural Networks [C ]∥ ICASSP2021-2021 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). Toronto:IEEE,2021:2235-2239.
[14] TONG Z J,CHEN Y H,XU Z W,et al. WiseIoU:Bounding Box Regression Loss with Dynamic FocusingMechanism[EB / OL]. (2023 -01 -24)[2023 -05 -17].https:∥arxiv. org / abs / 2301. 10051.
[15] HE K M,SUN J,TANG X O. Single Image Haze RemovalUsing Dark Channel Prior[C]∥2009 IEEE Conference onComputer Vision and Pattern Recognition. Miami:IEEE,2010:2341-2353.
[16] 楊錦輝,李鴻,杜蕓彥,等. 基于改進(jìn)YOLOv5s 的輕量化目標(biāo)檢測(cè)算法[J]. 電光與控制,2023,30(2):24-30.
[17] WOO S,PARK J,LEE J Y,et al. CBAM:ConvolutionalBlock Attention Module [C]∥ European Conference onComputer Vision (ECCV). Munich:Springer,2018:3-19.
[18] LIU Y C,SHAO Z R,HOFFMANN N. Global AttentionMechanism:Retain Information to Enhance Channelspatial Interactions [EB / OL]. (2021 - 12 - 10 )[2023 -05-17]. https:∥arxiv. org / abs / 2112. 05561.
作者簡(jiǎn)介
王海群 女,(1968—),碩士,副教授,碩士生導(dǎo)師。主要研究方向:智能控制與應(yīng)用、機(jī)器學(xué)習(xí)。
王 康 男,(1998—),碩士研究生。主要研究方向:深度學(xué)習(xí)與圖像處理。
基金項(xiàng)目:河北省自然科學(xué)基金(F2021209006)