鄭良成,曹雪虹,焦良葆,2,高 陽(yáng),王彥生
(1.南京工程學(xué)院 人工智能產(chǎn)業(yè)技術(shù)研究院,南京 211167;2.江蘇省智能感知技術(shù)與裝備工程研究中心,南京 211167)
電力資源的安全穩(wěn)定是社會(huì)經(jīng)濟(jì)建設(shè)和安全發(fā)展的重要基石,而作為電力系統(tǒng)大動(dòng)脈的架空線路則遍布全國(guó)各地,由于其分布廣泛且沒(méi)有保護(hù)條件,因此其安全性往往難以保證。據(jù)國(guó)內(nèi)數(shù)據(jù)統(tǒng)計(jì),30%的輸電線路故障事件是由外力破壞導(dǎo)致的,外力破壞已成為除雷害以外的輸電線路安全運(yùn)行的最大隱患,常見(jiàn)的外力破壞危險(xiǎn)行為主要有:超大工程車(chē)輛、低空飛行物、火災(zāi)、懸掛異物、搭建違章建筑、林區(qū)高樹(shù)成長(zhǎng)壓線、可疑人員蓄意破壞、桿塔沉降傾斜等[1]。其中超大工程車(chē)輛由于其自身機(jī)械臂較長(zhǎng),在挖掘、裝運(yùn)、起重、移動(dòng)等操作中極易對(duì)輸電線路造成金屬性永久接地,對(duì)輸電線路危害極強(qiáng),并且由于違章施工現(xiàn)象的層出不窮,致使超大工程車(chē)輛成為主要的外力破壞行為,其中主要的超大工程車(chē)輛有塔吊、吊車(chē)和挖掘機(jī);而以山火,堆積起火為主要形式的火災(zāi)對(duì)輸電線路的危害同樣很大,因?yàn)槿绻荒芗皶r(shí)控制火情蔓延,造成火勢(shì)升級(jí),其很可能燒斷導(dǎo)線,甚至對(duì)桿塔造成破壞,并且短時(shí)間內(nèi)難以對(duì)其進(jìn)行恢復(fù)。因此本文以輸電線路下超大工程車(chē)輛和煙火為主要外力破壞目標(biāo),在輸電線路預(yù)警區(qū)對(duì)其進(jìn)行目標(biāo)檢測(cè)和預(yù)警,提升線路巡的效率,達(dá)到對(duì)電力線路的保護(hù)作用。
與傳統(tǒng)目標(biāo)檢測(cè)不同,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類(lèi):第一類(lèi)是基于候選區(qū)域的雙階段目標(biāo)檢測(cè)算法,第二類(lèi)是基于回歸問(wèn)題的單階段目標(biāo)檢測(cè)算法[2]。前者主要有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等,第一階段生成候選框(Region Proposal Net)并從其中感興趣區(qū)域提取特征;第二階段對(duì)候選框進(jìn)行卷積分類(lèi)和矯正回歸等操作生成位置框并預(yù)測(cè)類(lèi)別,使其擁有更高的精度。由于其雙階段機(jī)制的特點(diǎn),其產(chǎn)生的參數(shù)量較大,實(shí)時(shí)性差,檢測(cè)小目標(biāo)效果差,這種算法適用于高精度目標(biāo)檢測(cè)。而單階段目標(biāo)檢測(cè)算法,如SSD、Retina-Net和YOLO被廣泛應(yīng)用。這些算法無(wú)需提前進(jìn)行區(qū)域候選,而是直接通過(guò)輸入圖像來(lái)回歸目標(biāo)邊界框和類(lèi)別,從而滿足工業(yè)生產(chǎn)快速性要求;模型結(jié)構(gòu)簡(jiǎn)單,具有更大的開(kāi)發(fā)價(jià)值,更適合移動(dòng)和嵌入式設(shè)備應(yīng)用。馬學(xué)森[3]等人通過(guò)在YOLOv5l網(wǎng)絡(luò)添加CA注意力機(jī)制,使網(wǎng)絡(luò)有效地抵抗混亂信息的干擾,更好地關(guān)注特征信息,提高檢測(cè)精度;寧紀(jì)峰[4]等人利用YOLOv5網(wǎng)絡(luò),在替換為CARAFE上采樣方式后,在帶來(lái)極小參數(shù)量的情況下增強(qiáng)了上采樣過(guò)程的特征重組能力;張欣怡[5]等人將標(biāo)準(zhǔn)卷積替換為鬼影混洗卷積GSConv,在保證精度的同時(shí)使得網(wǎng)絡(luò)更加輕量化,王慧贏[6]等人在特征融合層使用GSConv_slimneck結(jié)構(gòu),增強(qiáng)了特征融合能力,又降低了參數(shù)內(nèi)存。
基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的檢測(cè)效果對(duì)檢測(cè)圖片樣本要求較高,若檢測(cè)環(huán)境惡劣或目標(biāo)被遮擋重疊,則效果不理想。此外,對(duì)于輸電線路這種難以部署大量設(shè)備的工作情況,對(duì)檢測(cè)算法進(jìn)行輕量化優(yōu)化就十分重要[7-9]。而檢測(cè)裝置想要減小模型的復(fù)雜度往往會(huì)導(dǎo)致檢測(cè)精度的大幅降低[10-14]。
為了有效解決上述問(wèn)題,本文以YOLOv5s算法為基礎(chǔ)對(duì)輸電線路的外力破壞行為進(jìn)行目標(biāo)檢測(cè),首先通過(guò)去霧算法CLAHE,提升圖片對(duì)比度,提高檢測(cè)效果;通過(guò)添加CA注意力機(jī)制,結(jié)合空間和通道信息,增強(qiáng)了YOLOv5s網(wǎng)絡(luò)的特征提取能力[15-16];通過(guò)使用輕量級(jí)上采樣算子CARAFE,加強(qiáng)特征重組能力和特征語(yǔ)義信息利用能力[17-18];通過(guò)引入GSConv_Slimneck的設(shè)計(jì)范式,來(lái)減輕模型復(fù)雜度的同時(shí)并保持準(zhǔn)確性[19-21]。
YOLOv5家族包括5個(gè)成員,分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x、YOLOv5n。每種網(wǎng)絡(luò)的深度寬度都不同[7]。其中YOLOv5s的網(wǎng)絡(luò)深度和寬度最小,速度也最快,更為輕量化[22-23]。
改進(jìn)后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,包括輸入端、骨干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(neck)、頭部網(wǎng)絡(luò)(Prediction)。首先,針對(duì)輸電線路多存在雨霧、煙塵工作環(huán)境,本文使用限制對(duì)比度自適應(yīng)直方圖均衡算法(CLAHE,contrast limited adaptive histogram equalization)對(duì)數(shù)據(jù)集圖片進(jìn)行預(yù)處理,提升圖片對(duì)比度,達(dá)到去霧的效果;然后,由于輸電線路下環(huán)境復(fù)雜且時(shí)常會(huì)有工程車(chē)輛被異物遮擋的情況出現(xiàn),因此本文在骨干網(wǎng)絡(luò)的特征提取層引入坐標(biāo)注意力機(jī)制(CA,coordinate attention),以增強(qiáng)對(duì)目標(biāo)車(chē)輛的察覺(jué)和檢測(cè)能力。其次,在原YOLOv5s的特征金字塔網(wǎng)絡(luò)中使用的是最鄰近插值法對(duì)高階特征圖進(jìn)行上采樣,這種上采樣方式只考慮到相鄰的亞像素空間,感知范圍較小,不利于對(duì)遠(yuǎn)距離目標(biāo)和背景噪聲過(guò)大的目標(biāo)進(jìn)行特征提取[8]。因此本文在頸部網(wǎng)絡(luò)的特征融合層引入輕量級(jí)上采樣算子(CARAFE,content-aware reassembly of features),解決遠(yuǎn)距離目標(biāo)的信息丟失問(wèn)題,來(lái)提高檢測(cè)精度,并且只引入了很少的參數(shù)量和計(jì)算代價(jià)。最后,針對(duì)輸電線路只能部署邊緣計(jì)算設(shè)備的情況,本文把平衡模型計(jì)算成本和檢測(cè)精度作為輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)主要目標(biāo),而大多輕量級(jí)網(wǎng)絡(luò)常使用深度可分離卷積(DSC,depth-wise separableconvolution)來(lái)極大地減少參數(shù)量,但其不能充分利用不同通道在相同空間位置上的特征信息,造成檢測(cè)精度的嚴(yán)重降低。因此,本文使用GSConv(Ghost-Shuffle Convolution)替換Neck層的標(biāo)準(zhǔn)卷積(SC,standard convolution),使模型參數(shù)量大幅降低。并在此基礎(chǔ)上引入由GSbottleneck搭建而成的VoV-GSCSP(Vision Over Visibility Via Guided Sparse Context Propagation)輕量級(jí)網(wǎng)絡(luò),與GSConv組成纖細(xì)頸部網(wǎng)絡(luò)(GSConv_slimneck),減輕模型重量同時(shí)獲得更好的特征提取能力和感知能力。
圖1 YOLOv5s改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)圖
本文首先使用CLAHE預(yù)處理方法對(duì)圖片進(jìn)行去霧操作,然后對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行添加CA注意力機(jī)制、修改上采樣方式為CARAFE以及引入GSConv_slimneck范式的方法改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),使YOLOv5s網(wǎng)絡(luò)更適用于對(duì)輸電線路這種工作環(huán)境復(fù)雜且部署空間有限的場(chǎng)合。
1.2.1 限制對(duì)比度自適應(yīng)直方圖均衡化CLAHE
傳統(tǒng)的自適應(yīng)均衡直方圖(AHE,adaptive histgram equalization)通過(guò)計(jì)算圖像多個(gè)局部區(qū)域的直方圖,并重新分布亮度,以此改變圖像對(duì)比度,完成對(duì)圖像的增強(qiáng),但是AHE對(duì)局部對(duì)比度提升過(guò)大,會(huì)導(dǎo)致圖像失真嚴(yán)重。而本文引用的CLAHE 算法與AHE的區(qū)別主要是:
1)CLAHE對(duì)子塊中的直方圖進(jìn)行裁剪,使其幅值低于所需要的上限,同時(shí)將裁剪掉的部分均勻地分布到整個(gè)灰度區(qū)間上,保證直方圖的總面積不變,達(dá)到限制區(qū)域?qū)Ρ榷鹊淖饔谩?/p>
2)在CLAHE變換中,圖片像素點(diǎn)的值由它周?chē)?個(gè)子塊的映射函數(shù)進(jìn)行雙線性插值所得到,有效地解決了呈塊效應(yīng)。
針對(duì)本實(shí)驗(yàn)出現(xiàn)的雨、霧、煙塵等困難檢測(cè)環(huán)境,引入CLAHE預(yù)處理可以有效地改善圖像的對(duì)比度,達(dá)到去霧去噪的效果,對(duì)比圖如圖2所示。
圖2 效果對(duì)比圖
1.2.2 添加CA注意力機(jī)制
作為最典型的通道注意力模塊,SENet強(qiáng)調(diào)通道間的相關(guān)性,重點(diǎn)關(guān)注重要通道,減弱其他通道特征的影響,從而達(dá)到提高網(wǎng)絡(luò)性能的效果,但其缺點(diǎn)是忽略了對(duì)于生成空間特征選擇性十分重要的位置信息??臻g注意力模塊與其類(lèi)似,只關(guān)注于尋找網(wǎng)絡(luò)中最重要部分的空間信息進(jìn)行處理,雖然能夠節(jié)省資源用于重要區(qū)域,但是這種注意力機(jī)制卻忽略了通道間信息,將空間域變換方法局限于原始圖片的特征提取階段?;旌献⒁饬C(jī)制兼顧了兩者的優(yōu)點(diǎn),同時(shí)關(guān)注位置和通道信息,其中最具代表性的有CBAM和CA注意力機(jī)制,但是CBAM引入了大尺度的卷積核提取空間特征,忽略了長(zhǎng)程依賴問(wèn)題。
Hou[11]等人提出CA(Coordinate Attention)注意力機(jī)制,將通道注意力分解為兩個(gè)1維的全局池化過(guò)程,分別沿縱向和橫向2個(gè)空間方向?qū)νǖ捞卣鬟M(jìn)行聚合,這樣可以得到兩個(gè)具有獨(dú)立方向感知的特征映射,然后在通道注意力的聚合特征向量中嵌入輸入特征圖的位置信息。將兩種不同的特征圖嵌入到兩種不同的注意圖中,每一種注意圖都能反映出特征圖在空間上的長(zhǎng)期相關(guān)性和位置信息。再將這兩個(gè)注意運(yùn)用到輸入特征圖上,以增強(qiáng)對(duì)興趣區(qū)域的表達(dá)。具體流程如圖3所示。
圖3 CA注意力算法流程圖
1)為了避免將空間信息全部壓縮到通道中,CA注意力通過(guò)把輸入特征圖在橫向和縱向兩個(gè)方向進(jìn)行平均池化處理的方法,緩解了2D全局池化的位置信息丟失問(wèn)題。并且這種2維變換能夠使得注意功能模塊在其中一維空間上獲取長(zhǎng)程依賴性,而在另外一維空間上存儲(chǔ)更多的位置信息,從而幫助網(wǎng)絡(luò)更加精準(zhǔn)地找到所關(guān)注對(duì)象。
2)在經(jīng)過(guò)上述變換后,將生成的特征圖進(jìn)行concat重疊操作,并通過(guò)一個(gè)1×1的卷積來(lái)壓縮通道,減少計(jì)算量,方便后續(xù)的卷積操作,然后通過(guò)BN+Non-linear層來(lái)編碼縱向方向和橫向方向的空間信息。
3)將生成的特征圖沿空間維度進(jìn)行分割,生成一對(duì)具有方向感知和位置敏感性的特征圖,然后再各自通過(guò)1×1卷積層恢復(fù)到和原始特征圖一樣的通道數(shù)。
1.2.3 改進(jìn)上采樣方式CARAFE
上采樣算法是各種網(wǎng)絡(luò)結(jié)構(gòu)中最廣泛使用的算法之一,YOLOv5s采用的上采樣算法是最鄰近插值法[9]。此方法選擇單個(gè)像素灰度值來(lái)替換源圖像中最近的像素灰度值。算法簡(jiǎn)單,易于實(shí)現(xiàn)且速度較快,但是在上采樣時(shí)會(huì)產(chǎn)生色塊現(xiàn)象,從而導(dǎo)致特征丟失,降低小目標(biāo)檢測(cè)精度[10];并且最鄰近上采樣算法僅利用像素的空間位置來(lái)確定上采樣核心,并不能利用特征圖的語(yǔ)義信息,也就會(huì)導(dǎo)致感受野非常小,不能有效地利用周?chē)男畔ⅰ?/p>
本文在YOLOv5s中引用的輕量級(jí)通用上采樣算子CARAFE,具有輕量化特征的同時(shí)還能擁有一個(gè)較大的感受野,并且將上采樣核心與特征圖的語(yǔ)義信息進(jìn)行關(guān)聯(lián),根據(jù)輸入進(jìn)行上采樣,進(jìn)一步提升模型的特征表達(dá)能力和對(duì)細(xì)節(jié)的感知能力。在不引入過(guò)多參數(shù)和計(jì)算量的前提下,首先使用輸入特征映射對(duì)每個(gè)目標(biāo)位置的內(nèi)容先預(yù)測(cè)一個(gè)上采樣核,然后根據(jù)輸入特性去指導(dǎo)預(yù)測(cè)的上采樣核進(jìn)行特征重組,具有較大的感受野,能夠更好地聚合感知領(lǐng)域內(nèi)的上下文信息。CARAFE主要分為上采樣核預(yù)測(cè)模塊和特征重組模塊,結(jié)構(gòu)如圖4所示。假設(shè)輸入的特征圖尺寸為H*W*C,上采樣倍率為σ,目標(biāo)是將其轉(zhuǎn)換為σH×σW×C的輸出特征圖。
圖4 CARAFE上采樣模塊結(jié)構(gòu)
1.2.3.1 上采樣預(yù)測(cè)模塊
首先,將特征圖的通道數(shù)使用一個(gè)1×1的卷積來(lái)壓縮,以減小計(jì)算量,便于后續(xù)可以使用更大的上采樣核,壓縮后的特征圖形狀為H×W×Cm。
最后將得到的上采樣核使用softmax函數(shù)作歸一化處理,即確保卷積核的權(quán)重加起來(lái)為1。
1.2.3.2 特征重組模塊
在輸入特征圖中,選取一個(gè)以(i,j)為中心,Kup×Kup的區(qū)域,將其與預(yù)測(cè)出的該點(diǎn)上采樣核作內(nèi)積,得到輸出值。在相同位置的(i,j)雖然通道不同,但仍共享一個(gè)上采樣核。
輕量級(jí)通用上采樣算子參數(shù)如下公式:
參數(shù)量=2(Cin+1)Cm+
(1)
1.2.4 Neck部分引入GSConv_slimneck范式
針對(duì)輸電線路移動(dòng)終端的存儲(chǔ)能力有限且實(shí)際工作環(huán)境復(fù)雜:外物遮擋、背景色強(qiáng)和距離遠(yuǎn)等不利于檢測(cè)的情況,需要在特征增強(qiáng)網(wǎng)絡(luò)的設(shè)計(jì)上既要考慮網(wǎng)絡(luò)輕量化,也要兼顧精度。常見(jiàn)的輕量級(jí)網(wǎng)絡(luò)多使用深度可分離卷積DSC,其通過(guò)分割特征提取與通道融合的方式,顯著減少了參數(shù)量,但是也正因如此,DSC的檢測(cè)精度也隨之降低。相反標(biāo)準(zhǔn)卷積SC[5]則是使用不同的卷積核對(duì)3個(gè)通道同時(shí)卷積,最后再疊加每個(gè)通道對(duì)應(yīng)位置的值,使之變?yōu)閱瓮ǖ?,需要很大的參?shù)量。
因此本文通過(guò)在頸部特征融合時(shí),使用鬼影混洗卷積GSConv來(lái)代替標(biāo)準(zhǔn)卷積,最大程度地平衡模型參數(shù)量和準(zhǔn)確度。GSconv結(jié)構(gòu)如圖5所示。
圖5 GSConv結(jié)構(gòu)圖
通道混洗由Han[12]為了緩解通道間特征融合時(shí),使用 1×1 卷積占用過(guò)多計(jì)算量的問(wèn)題,提出ShuffleNet中的概念。即首先將輸入通道數(shù)C分為G組,令每個(gè)卷積核僅負(fù)責(zé)C/G個(gè)通道的卷積計(jì)算,然后將結(jié)果拼接得到輸出特征,通過(guò)分組卷積能夠?qū)⒂?jì)算量壓縮至標(biāo)準(zhǔn)卷積1/G。最后將分組卷積后的輸出特征進(jìn)行打亂與重組,使不同組的通道信息充分融合,過(guò)程如圖6所示。
圖6 通道混洗過(guò)程示例
其中1~12為輸入通道數(shù)的編號(hào),首先采用Reshape操作將通道拓展為兩個(gè)維度,包括卷積組數(shù)和每個(gè)卷機(jī)組包含的通道數(shù),之后采用Transpose操作對(duì)兩個(gè)維度進(jìn)行置換,最后采用Flaten操作將兩個(gè)維度恢復(fù)為原本的維度,經(jīng)過(guò)通道混洗在不增加計(jì)算量的情況下,實(shí)現(xiàn)了不同組之間的信息融合。
使用輕量級(jí)卷積方法GSConv代替SC,其計(jì)算成本約為SC的60%~70%,但其對(duì)模型學(xué)習(xí)能力的貢獻(xiàn)與后者不相上下,甚至隨著逐層卷積下采樣的處理,還會(huì)丟失大量的特征信息。因此在GSConv的基礎(chǔ)上引入GSbottleneck模塊,將其代替C3模塊中的bottleneck部分,通過(guò)一次性聚合成為一個(gè)新的跨級(jí)部分網(wǎng)絡(luò)模塊VoV-GSCSP。GSbottleneck聚合成VoV-GSCSP過(guò)程如圖7所示。
圖7 VoV-GSCSP模塊結(jié)構(gòu)
由GSConv和VoV-GSCSP組成的纖細(xì)頸部網(wǎng)絡(luò)GSConv_slimneck使得網(wǎng)絡(luò)模型擁有了更強(qiáng)的特征提取能力和感知能力,從而有助于幫助CA注意力機(jī)制更好地捕捉圖像中的上下文信息,提升模型對(duì)重要特征的感知能力。同時(shí)更強(qiáng)的特征提取能力還有助于增強(qiáng)CARAFE的特征表達(dá)能力,增強(qiáng)模型對(duì)細(xì)節(jié)信息的感知能力,有助于檢測(cè)精度的提升。
本文的網(wǎng)絡(luò)模型訓(xùn)練平臺(tái)搭建在GPU運(yùn)算服務(wù)器,硬件配置如表1所示。
表1 硬件參數(shù)配置
本文所有實(shí)驗(yàn)的模型訓(xùn)練均在此臺(tái)GPU運(yùn)算服務(wù)器上進(jìn)行,所使用的訓(xùn)練參數(shù)均為:在不添加預(yù)訓(xùn)練權(quán)重的情況下,輸入圖片大小為640×640,epochs設(shè)置為300,batch-size設(shè)置為16,調(diào)用3個(gè)GPU,IOU閾值設(shè)置為0.5,初始學(xué)習(xí)率設(shè)置為0.01。
本文所使用的數(shù)據(jù)集圖片類(lèi)型包括塔吊(Tower Crane)、吊車(chē)(Hoist)、挖掘機(jī)(Excavator)三類(lèi)超大工程車(chē)輛和煙火(Smoke)共4大類(lèi),共計(jì)圖片1 825張。其中工程車(chē)輛數(shù)據(jù)集原始圖由某市公司提供,包括塔吊圖片596張,吊車(chē)圖片477張,挖掘機(jī)圖片483張;煙火數(shù)據(jù)集圖片來(lái)源于網(wǎng)絡(luò)搜索,共有269張。經(jīng)過(guò)CLAHE處理后的數(shù)據(jù)集圖片如圖8所示。
圖8 外力破壞數(shù)據(jù)集圖片示例
使用LabelImg對(duì)其進(jìn)行標(biāo)注,將標(biāo)注完的信息以xml的格式保存在相同的路徑下。然后將數(shù)據(jù)集按照6∶2∶2的比例分別劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。數(shù)據(jù)集類(lèi)別和數(shù)量如表2所示。
表2 數(shù)據(jù)集類(lèi)別及數(shù)量
本文參考的精度評(píng)價(jià)指標(biāo)有:查全率(R,recall)、查準(zhǔn)率(P,precision)和平均精度均值mAP。
以下TP(True Positives)表示模型為正樣本,且被分對(duì)了;TN(True Negatives)表示預(yù)測(cè)該模型為負(fù)樣本,且預(yù)測(cè)對(duì)了;FN(False Negatives)表示該預(yù)測(cè)模型為負(fù)樣本,但是預(yù)測(cè)錯(cuò)了;FP(False Positives)表示該模型為正樣本,但預(yù)測(cè)錯(cuò)了。
查全率R就是在檢索結(jié)果中,被正確檢測(cè)出是正樣本的模型數(shù)量(TP)在所有事實(shí)上是正樣本模型的數(shù)量(TP+FN)中的比值,公式如下:
(2)
查準(zhǔn)率P就是在檢索結(jié)果中,被正確檢測(cè)出是正樣本的模型數(shù)量(TP)在所有被預(yù)測(cè)為正樣本模型的數(shù)量(TP+FP)中的比值,公式如下:
(3)
mAP表示各類(lèi)的檢測(cè)器PR曲線下面積占比的平均值,該指標(biāo)可以關(guān)聯(lián)P、R指標(biāo),展現(xiàn)模型性能:
(4)
因?yàn)椴闇?zhǔn)率、查全率二者通常有高有低、所以在二者變化不大的情況之下,以mAP平均精度均值作為評(píng)判網(wǎng)絡(luò)精度的標(biāo)準(zhǔn)。
參考的模型輕量化指標(biāo)有:參數(shù)量(Param)的大小、訓(xùn)練權(quán)重文件(Weights)的內(nèi)存大小。其中參數(shù)量是一個(gè)模型中參數(shù)的總和,參數(shù)量一方面會(huì)影響內(nèi)存占用,另一方面也會(huì)影響程序的初始化時(shí)間;模型權(quán)重文件是使用者最終部署時(shí)所需的文件,對(duì)于空間資源有限的設(shè)備來(lái)說(shuō),模型權(quán)重文件盡可能小是一個(gè)優(yōu)勢(shì)。
2.4.1 注意力實(shí)驗(yàn)對(duì)比
為了更好地對(duì)比驗(yàn)證本文所添加的CA注意力機(jī)制的有效性,設(shè)計(jì)在backbone網(wǎng)絡(luò)的SPPF模塊前,C3卷積后,分別嵌入SE、CBAM以及CA注意力機(jī)制進(jìn)行對(duì)比實(shí)驗(yàn)。
由表3的4組評(píng)價(jià)指標(biāo)可見(jiàn),加入CA注意力后網(wǎng)絡(luò)精度提升最高,查準(zhǔn)率和查全率均得到了提升??梢?jiàn)CA可以作為最優(yōu)注意力添加進(jìn)網(wǎng)絡(luò)模型。
表3 注意力機(jī)制對(duì)比表
2.4.2 輕量化實(shí)驗(yàn)對(duì)比
從表4中可以看出輕量化結(jié)構(gòu)中,將ShuffleNetV2、MobileNetV2與本文使用的GSConv_slimneck網(wǎng)路在本實(shí)驗(yàn)的外力破壞數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)??梢?jiàn),將YOLOv5s特征提取層替換為MobileNetV3結(jié)構(gòu)后,參數(shù)量和模型體積分別減小了7.6 MB、4 MB,但精度卻下降了12.6%,下降嚴(yán)重;替換為ShuffleNetV2后,參數(shù)量和模型體積分別減小了12.3 MB、6.4 MB,但精度卻下降了14.3%,同樣下降嚴(yán)重。而將GSConv_slimneck替換原YOLOv5s的特征融合層后,其參數(shù)量和模型體積分別減小了1.7 MB、0.9 MB,并且在保證模型輕量化的同時(shí)精確度還提升了1.4%。由此證明了GSConv+slimneck可以輕量地保證YOLOv5s特征融合的有效性。
表4 輕量化網(wǎng)絡(luò)對(duì)比表
2.4.3 消融實(shí)驗(yàn)
消融實(shí)驗(yàn)類(lèi)似于控制變量的思想,在機(jī)器學(xué)習(xí)領(lǐng)域常使用消融實(shí)驗(yàn)來(lái)分析不同的因素對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)產(chǎn)生的影響[13]。為進(jìn)一步分析各改進(jìn)模塊組合的影響,本文將CA注意力、輕量級(jí)上采樣算子CARAFE和纖細(xì)頸部網(wǎng)絡(luò)GSConv_slimneck分別進(jìn)行組合,測(cè)試其對(duì)精度和參數(shù)量等衡量指標(biāo)的影響。其中“√”表示實(shí)驗(yàn)中使用該模塊。
分析表5,可以從A、B、C看出各改進(jìn)模塊均對(duì)網(wǎng)絡(luò)檢測(cè)精度有所提升,由D、E、F三組可以看出GSConv_slimneck模塊可以顯著提高CA注意力的特征提取能力和CARAFE的特征表達(dá)能力。最終三者的結(jié)合更加突出地提升了網(wǎng)絡(luò)的檢測(cè)精度,相較于原YOLOv5s網(wǎng)絡(luò),Our網(wǎng)絡(luò)檢測(cè)精度提升了4.4%,參數(shù)量降低了3.4%,權(quán)重模型內(nèi)存減小了2.7%,滿足輕量化要求的同時(shí),提升了網(wǎng)絡(luò)的檢測(cè)精度,對(duì)于輸電線路下的危險(xiǎn)行為檢測(cè)有所改善。
表5 消融實(shí)驗(yàn)結(jié)果
為了凸顯網(wǎng)絡(luò)改進(jìn)后效果的直觀性,列舉改進(jìn)前后網(wǎng)絡(luò)的檢測(cè)效果如圖9所示,圖 (a)代表原網(wǎng)絡(luò)檢測(cè)效果,可見(jiàn)在原網(wǎng)絡(luò)檢測(cè)時(shí)存在檢測(cè)精度低和漏檢現(xiàn)象。而圖(b)為改進(jìn)后的Our網(wǎng)絡(luò),可見(jiàn)網(wǎng)絡(luò)改進(jìn)后檢測(cè)精度得到了有效提升,并且改善了漏檢現(xiàn)象。
圖9 改進(jìn)前后網(wǎng)絡(luò)檢測(cè)效果對(duì)比圖
本文針對(duì)輸電線路工作環(huán)境復(fù)雜、小目標(biāo)檢測(cè)精度差和移動(dòng)設(shè)備部署等問(wèn)題,對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行了改進(jìn),改進(jìn)點(diǎn)如下:
1)通過(guò)添加CA注意力模塊,將空間信息嵌入到通道信息增強(qiáng)網(wǎng)絡(luò)對(duì)復(fù)雜環(huán)境和小目標(biāo)的特征提取能力;
2)將YOLOv5s的最鄰近差值上采樣替換為輕量級(jí)上采樣算子CARAFE,擴(kuò)大感受野,更好地聚合上下文信息;
3)利用GSConv_slimneck作為特征增強(qiáng)網(wǎng)絡(luò),縮減網(wǎng)絡(luò)參數(shù)量和權(quán)重文件內(nèi)存的同時(shí)還可以提升注意力機(jī)制和上采樣算子的性能,進(jìn)一步提高模型的檢測(cè)精度。
實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的Our網(wǎng)絡(luò)相比于原YOLOv5s網(wǎng)絡(luò)提升了對(duì)遮擋目標(biāo)和小目標(biāo)的檢測(cè)能力,更適用于輸電線路的工作環(huán)境,改進(jìn)后mAP提升了4.4%,達(dá)到了88.9%;同時(shí)改進(jìn)后的模型也更加輕量化,更適用于在邊緣計(jì)算設(shè)備上部署,改進(jìn)后模型參數(shù)量減小了3.4%,達(dá)到了25.9 MB,權(quán)重文件大小減小了2.7%,達(dá)到了14.1 MB。但是改進(jìn)后的Our網(wǎng)絡(luò)在檢測(cè)速度上還有待提高。在后續(xù)工作中可以進(jìn)一步擴(kuò)充數(shù)據(jù)集的種類(lèi)和數(shù)量,并通過(guò)不斷優(yōu)化網(wǎng)絡(luò)提升檢測(cè)速度,達(dá)到預(yù)警的實(shí)時(shí)性要求。