基于改進(jìn)YOLOv4-tiny的輸電線路目標(biāo)識(shí)別算法

武建超， 張 楠， 閆彥輝， 張國(guó)慶， 唐 銳， 倪 威

(1.國(guó)網(wǎng)新疆電力有限公司巴州供電公司，新疆 庫(kù)爾勒 841000； 2.華北電力大學(xué) 電氣與電子工程學(xué)院，北京 102206)

近年來(lái)，隨著目標(biāo)檢測(cè)研究的不斷深入，目標(biāo)檢測(cè)被廣泛應(yīng)用到工業(yè)領(lǐng)域。在電力行業(yè)中，由于電力設(shè)備數(shù)量眾多且分布位置較為復(fù)雜，人工巡檢比較耗時(shí)耗力，實(shí)現(xiàn)對(duì)電力設(shè)備的智能巡檢是必然的趨勢(shì)。智能巡檢依托各種移動(dòng)終端接入巡檢影像，通過(guò)深度學(xué)習(xí)方法對(duì)電力設(shè)備周圍的典型目標(biāo)進(jìn)行分類，提高巡檢故障檢出率。為了更好地將目標(biāo)檢測(cè)算法部署在移動(dòng)終端，需要同時(shí)考慮到算法的處理速度和精確程度。因此，本文研究適用于輸電線路巡檢實(shí)際場(chǎng)景的目標(biāo)檢測(cè)算法,對(duì)電力設(shè)備智能化巡檢具有重要意義。

現(xiàn)階段基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要有兩階段(Two-Stage)算法和單階段(One-Stage)算法。兩階段算法以R-CNN[1-2](Region-Convolutional Neural Network)系列為代表，首先隨機(jī)生成多個(gè)候選框，再針對(duì)各個(gè)候選框使用卷積神經(jīng)網(wǎng)絡(luò)提取特征并進(jìn)行判斷，最后使用回歸器修正候選框位置，這類目標(biāo)算法的精度較高，但是在實(shí)時(shí)性要求較高的場(chǎng)景下檢測(cè)速度略有不足；單階段方法以YOLO[3-5](You Only Look Once)系列算法、SSD[6-7](Single Shot Multibox Detection)算法等為代表。單階段方法運(yùn)算速度更快，在實(shí)際應(yīng)用中更多。單階段算法中的YOLOv4[8]使用較深的CSPDarknet53作為骨干網(wǎng)絡(luò)，通過(guò)路徑聚合網(wǎng)絡(luò)[9](Path Aggregation Network，PANet)進(jìn)行特征融合，網(wǎng)絡(luò)整體在保持較高的檢測(cè)速度同時(shí)也有較高檢測(cè)精度，之后由學(xué)者提出的YOLOv4-tiny建立在YOLOv4基礎(chǔ)之上， YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)更加輕巧，檢測(cè)速度大幅加快。文獻(xiàn)[10]在原YOLOv4-tiny網(wǎng)絡(luò)基礎(chǔ)上，對(duì)八倍下采樣特征圖進(jìn)行上采樣，再將上采樣結(jié)果與上一層特征圖拼接，加強(qiáng)了對(duì)小目標(biāo)的檢測(cè)能力。文獻(xiàn)[11]在原YOLOv4-tiny網(wǎng)絡(luò)中添加改進(jìn)后的SE(Squeeze-and-Excitation)模塊和Xception模塊，提升模型學(xué)習(xí)能力；同時(shí)引入空間金字塔池化(Spatial Pyramid Pooling，SPP)模塊和PRN(Partical Residual Networks)模塊，提高模型檢測(cè)率。文獻(xiàn)[12]對(duì)原YOLOv4-tiny網(wǎng)絡(luò)的跨階段局部網(wǎng)絡(luò)(Cross Stage Partial Network，CSPNet)進(jìn)行強(qiáng)化以增強(qiáng)特征提取能力，添加SPP模塊以緩解網(wǎng)絡(luò)對(duì)目標(biāo)尺度的敏感度。文獻(xiàn)[13]通過(guò)引入深度可分離卷積，減少模型參數(shù)和計(jì)算量；采用雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)(Bi-directional Feature Pyramid Network，BiFPN)代替特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)以提升對(duì)不同尺度目標(biāo)的檢測(cè)能力；使用Focal損失函數(shù)解決訓(xùn)練過(guò)程中數(shù)據(jù)集正負(fù)樣本不均衡問(wèn)題。文獻(xiàn)[14]利用MobileNet[15]的深度可分離卷積優(yōu)化YOLOv4-tiny骨干網(wǎng)絡(luò)，去除非檢測(cè)目標(biāo)區(qū)域的冗余信息來(lái)提高SURF(Speeded up Robust Features)匹配算法效率以提升檢測(cè)精度。文獻(xiàn)[16]從增加網(wǎng)絡(luò)感受野的角度出發(fā)，設(shè)計(jì)了一類將改進(jìn)的SPP模塊、Sub-stage特征融合與YOLO-tiny相結(jié)合的檢測(cè)器，有效改善了多尺度檢測(cè)問(wèn)題。文獻(xiàn)[17]利用SPP結(jié)構(gòu)進(jìn)行多尺度池化并融合特征，增大網(wǎng)絡(luò)感受野。結(jié)合路徑聚合網(wǎng)絡(luò)反復(fù)增強(qiáng)不同尺度特征，提升對(duì)目標(biāo)的表達(dá)能力。本文對(duì)YOLOv4-tiny原有的FPN結(jié)構(gòu)做了改進(jìn)，通過(guò)引入空洞卷積空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)結(jié)構(gòu)來(lái)捕捉更多的上下文信息，針對(duì)原有YOLOv4-tiny只包含兩個(gè)預(yù)測(cè)尺度的不足，將四倍下采樣后的通道引出，在三種尺度上進(jìn)行檢測(cè)，提高了對(duì)小目標(biāo)的檢測(cè)能力。

1 YOLOv4-tiny網(wǎng)絡(luò)

單階段算法在檢測(cè)速度上比兩階段算法更占有優(yōu)勢(shì)，作為單階段目標(biāo)檢測(cè)算法的代表，YOLO系列算法將檢測(cè)任務(wù)轉(zhuǎn)化為回歸問(wèn)題，在進(jìn)行目標(biāo)檢測(cè)任務(wù)時(shí)兼顧了檢測(cè)精度與檢測(cè)速度之間的平衡。其中YOLOv4-tiny網(wǎng)絡(luò)是YOLOv4的簡(jiǎn)化版本，它在犧牲一部分檢測(cè)精度的條件下大幅度提升了檢測(cè)速度，其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，如圖1所示。YOLOv4-tiny網(wǎng)絡(luò)整體由3部分組成，分別是骨干網(wǎng)絡(luò)部分(CSPDarknet53-tiny)、FPN和預(yù)測(cè)部分(YOLOhead)。骨干網(wǎng)部分首先通過(guò)兩個(gè)基本卷積模塊對(duì)輸入圖片大小進(jìn)行壓縮，并對(duì)圖片通道進(jìn)行擴(kuò)張，實(shí)現(xiàn)對(duì)圖片的下采樣；跨階段局部模塊將基礎(chǔ)層特征映射分為兩部分，一部分作為大的殘差邊，另外一部分在經(jīng)過(guò)卷積操作和小的跨越鏈接后再和殘差邊部分進(jìn)行拼接，這種結(jié)構(gòu)能有效增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力，在提高檢測(cè)準(zhǔn)確率的同時(shí)減少計(jì)算量；在跨階段局部模塊之后通過(guò)最大池化層進(jìn)行尺度縮放，擴(kuò)大感受野范圍，特征金字塔部分將不同尺度的信息進(jìn)行融合。YOLOhead預(yù)測(cè)部分對(duì)得到的特征結(jié)果進(jìn)行兩種尺度上的預(yù)測(cè)。

2 改進(jìn)方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

網(wǎng)絡(luò)模型輕量化的一種重要手段是通過(guò)減少骨干網(wǎng)絡(luò)中相應(yīng)卷積、殘差等結(jié)構(gòu)的數(shù)量達(dá)到減少網(wǎng)絡(luò)參數(shù)的目的。YOLOv4-tiny特征金字塔的構(gòu)造非常簡(jiǎn)單，在13×13大小特征層和26×26大小特征層的特征融合上采取一次上采樣然后堆疊的方式，這樣能加快網(wǎng)絡(luò)推理速度，同時(shí)也會(huì)導(dǎo)致網(wǎng)絡(luò)感受野小、特征融合不夠全面以及對(duì)骨干網(wǎng)絡(luò)提取特征信息利用率低的缺點(diǎn)。

相比較于普通卷積，空洞卷積[18]在特征圖大小相同的情況下可以獲得更大的感受野，從而獲得更加密集的數(shù)據(jù)，讓每個(gè)卷積的輸出包含更大范圍的信息，更大的感受野可以加強(qiáng)對(duì)小目標(biāo)的檢測(cè)效果?？斩淳矸e如圖2所示。虛線網(wǎng)格框表示大小為3×3的空洞卷積核，灰色小網(wǎng)格內(nèi)的黑色方塊表示該點(diǎn)有參數(shù)需要學(xué)習(xí)，空白則表示該點(diǎn)補(bǔ)零。當(dāng)卷積核空洞率為1時(shí)，此時(shí)的卷積核與標(biāo)準(zhǔn)卷積核相同。

圖1 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)

圖2 空洞卷積

由空洞卷積的特點(diǎn)可知，空洞卷積能讓網(wǎng)絡(luò)在不丟失分辨率和增加參數(shù)的前提下獲得更大的感受野。骨干網(wǎng)絡(luò)提取圖片特征后會(huì)導(dǎo)致分辨率下降，這里將原先網(wǎng)絡(luò)的卷積加上采樣替換為空洞卷積金字塔加上卷積和上采樣。空洞卷積空洞率越大，其感受野越大。在這里選取空洞率為1、3、7的空洞卷積構(gòu)造金字塔，較小的空洞卷積對(duì)于提取低分辨率的特征圖更加高效，信息丟失也越少。構(gòu)造的空洞空間卷積池化金字塔如圖3所示。之后將得到的特征圖在通道維度上進(jìn)行拼接操作，得到的特征圖包含輸入在多個(gè)尺度上的特征信息。

改進(jìn)后的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4所示。YOLOv3以及YOLOv4兩種模型在預(yù)測(cè)部分共用到中間層、下層和底層共3個(gè)特征層，極大地利用了主干特征提取網(wǎng)絡(luò)提取到的信息。為此本文在YOLOv4-tiny骨干特征提取網(wǎng)絡(luò)上額外引出一層52×52大小的特征層，在特征金字塔部分對(duì)骨干網(wǎng)絡(luò)提取到的特征進(jìn)行13×13、26×26、52×52三種尺度上的預(yù)測(cè)，提高信息利用率。

圖3 空洞空間卷積池化金字塔

圖4 改進(jìn)后網(wǎng)絡(luò)整體結(jié)構(gòu)

在鬧市區(qū)域，可能會(huì)遇到城市建設(shè)過(guò)程中較多的施工機(jī)械在輸電線路周邊的情況，此種場(chǎng)景下會(huì)出現(xiàn)目標(biāo)重疊和遮擋的情況。為減少出現(xiàn)漏檢或者重檢概率，引入了SoftNMS[19]算法，在目標(biāo)檢測(cè)的后處理過(guò)程中，當(dāng)2個(gè)預(yù)測(cè)框的重疊面積比值大于給定閾值時(shí)，不會(huì)直接將得分歸零，而是減少該預(yù)測(cè)框的得分，重疊面積越大，得分減少越多，算法如下。

Input：初始化預(yù)測(cè)框B={b1,…，bN}

得分集合S={s1,…，sN}

重疊面積比閾值Nt

begin:

B←{bi},S←{si},N(bu，bv)←Nt

B′,S′←φ#B′,S′為預(yù)測(cè)框集合和得分集合

whileB≠φdo

s*←max{si}

b*←s*對(duì)應(yīng)的預(yù)測(cè)框

B′←B′∪b*#更新后的預(yù)測(cè)框

S′←S′∪s*#更新后的得分集合

B←B-b*#除b*外的預(yù)測(cè)框集合

S←B#對(duì)應(yīng)的得分集合

forbi∈B

end

returnB′，S′

end

2.2 網(wǎng)絡(luò)相關(guān)函數(shù)改進(jìn)

在激活函數(shù)方面，選用性能更好的Mish激活函數(shù)，Mish激活函數(shù)為

F(x)=x·(2sigmoid(2ln(1+ex)-1))

(1)

Mish激活函數(shù)如圖5所示。該激活函數(shù)和其他激活函數(shù)一樣，由于沒(méi)有上界則避免了梯度飽和；沒(méi)有下界則有助于實(shí)現(xiàn)強(qiáng)正則化效果；同時(shí) Mish激活函數(shù)并非單調(diào)函數(shù)，有助于保持小的負(fù)值，從而穩(wěn)定網(wǎng)絡(luò)梯度流；同時(shí)Mish激活函數(shù)是光滑函數(shù)，具有良好的泛化能力和優(yōu)化能力，能提高神經(jīng)元傳遞的質(zhì)量。

圖5 Mish激活函數(shù)

YOLOv4-tiny網(wǎng)絡(luò)的損失函數(shù)包含3部分：邊框回歸損失函數(shù)、置信度損失函數(shù)和分類損失函數(shù)。損失函數(shù)為

(2)

其中邊框回歸損失函數(shù)采用CIoU[8]作為損失函數(shù)，CIoU損失函數(shù)能最小化預(yù)測(cè)框與真實(shí)框之間的歸一化距離，讓邊框回歸損失收斂速度更快，在預(yù)測(cè)框與真實(shí)框有重疊時(shí)更精確。CIoU函數(shù)為

(3)

式中:A為預(yù)測(cè)框的面積大?。籅為真實(shí)框的面積大??；α為平衡比例的參數(shù)；v為衡量預(yù)測(cè)框與真實(shí)框間的比例一致性；b和bgt分別為預(yù)測(cè)框與真實(shí)框的中心點(diǎn)；ρ(b,bgt)為求預(yù)測(cè)框中心點(diǎn)b和真實(shí)框中心點(diǎn)bgt之間歐氏距離的函數(shù)；c為預(yù)測(cè)框與真實(shí)框閉包區(qū)域?qū)蔷€之間的距離。由于在進(jìn)行目標(biāo)檢測(cè)時(shí)大多數(shù)像素通常都是背景，只有很少的像素是需要檢測(cè)的目標(biāo)，這樣就引起了比較嚴(yán)重的正負(fù)樣本不均衡問(wèn)題。為減少正負(fù)樣本不均衡問(wèn)題，在置信度損失函數(shù)和分類損失函數(shù)中引入Focal損失函數(shù)[20]替代原來(lái)的二分交叉熵函數(shù)。Focal損失函數(shù)為

FL(Pt)=-αt(1-pt)γln(pt)

(4)

式中：pt為模型的預(yù)測(cè)概率，反映了與目標(biāo)真實(shí)類別的接近程度；αt為調(diào)整正負(fù)樣本不平均的系數(shù)；γ為負(fù)責(zé)降低簡(jiǎn)單樣本的損失值，防止累加后損失值過(guò)大。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)所使用的數(shù)據(jù)是由國(guó)家電網(wǎng)公司某段輸電線路監(jiān)控設(shè)備采集，在不同季節(jié)、不同時(shí)段、不同場(chǎng)景下對(duì)監(jiān)控視頻進(jìn)行隨機(jī)抽取，提取出監(jiān)控視頻的單幀圖像作為數(shù)據(jù)集，通過(guò)使用圖片標(biāo)注工具(Labeling)按照Pascal VOC格式[21]對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，對(duì)應(yīng)的XML文件記錄了圖像中目標(biāo)的位置信息和類別信息，整個(gè)數(shù)據(jù)集一共包含1500張圖片，將數(shù)據(jù)集按照7∶3劃分，訓(xùn)練集和測(cè)試集分別占70%和30%。數(shù)據(jù)集共5個(gè)類，分別為T(mén)aDiao(塔吊)、ShiGongJiXie(施工機(jī)械)、DiaoChe(吊車)、DaoXianYiWu(導(dǎo)線異物)、YanHuo (煙火)，其中TaDiao類1152個(gè)、ShiGongJiXie類927個(gè)、DiaoChe類843個(gè)、YanHuo類305個(gè)。在開(kāi)始訓(xùn)練前，對(duì)候選框的大小及位置進(jìn)行調(diào)整，使用大小及位置恰當(dāng)?shù)暮蜻x框能夠有效提高模型訓(xùn)練速度和準(zhǔn)確度。本研究使用K-means算法對(duì)數(shù)據(jù)集中框的大小進(jìn)行聚類，共得到9組候選框，參數(shù)分別為(12，30)、(13，10)、(21，19)、(25，54)、(36，12)、(41，27)、(57，81)、(90，29)、(159，88)，之后使用這些大小的候選框進(jìn)行模型訓(xùn)練。

3.2 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)使用自制的數(shù)據(jù)集在改進(jìn)前后的網(wǎng)絡(luò)上進(jìn)行訓(xùn)練和測(cè)試，采用平均精度(Average Precision，AP)、平均準(zhǔn)確率(Mean Average Precision，mAP)和模型推理速度(Frames Per Second,FPS)作為評(píng)價(jià)指標(biāo)。AP值由準(zhǔn)確率(Precision)和召回率(Recall)生成的Precision-Recall曲線和坐標(biāo)軸組成的面積計(jì)算得到，mAP表示對(duì)所有AP求得的均值。FPS指每秒幀率，即每秒內(nèi)能夠處理的圖片數(shù)量。Recall和Precision的計(jì)算公式為

(5)

式中:Recall為檢測(cè)為正樣本且確實(shí)為正樣本占所有確實(shí)為正樣本的比例；TP為檢測(cè)為正樣本并且確實(shí)為正樣本數(shù)量；FN為檢測(cè)為負(fù)樣本但實(shí)際不是負(fù)樣本數(shù)量；Precision為檢測(cè)為正樣本且確實(shí)為正樣本占所有檢測(cè)為正樣本的比例；FP為檢測(cè)為正樣本但實(shí)際不是正樣本數(shù)量。

3.3 結(jié)果分析

本實(shí)驗(yàn)平臺(tái)為Ryzen 7 4800H，機(jī)帶RAM大小為16 GB，64位Windows10操作系統(tǒng)，顯卡為NVIDIA GeForce RTX2060，編譯環(huán)境為Pycharm/python語(yǔ)言，深度學(xué)習(xí)框架為Pytorch 1.9.0，對(duì)應(yīng)加速庫(kù)為CUDA 11.3。實(shí)驗(yàn)訓(xùn)練參數(shù)如表1所示。

表1 實(shí)驗(yàn)訓(xùn)練參數(shù)

前100次凍結(jié)骨干網(wǎng)進(jìn)行訓(xùn)練，后100次進(jìn)行解凍訓(xùn)練。使用上述參數(shù)訓(xùn)練后，得到loss變化示意圖，如圖6所示。由圖6可知前三次訓(xùn)練損失比較大，隨著網(wǎng)絡(luò)繼續(xù)訓(xùn)練，訓(xùn)練損失值在慢慢降低，學(xué)習(xí)率開(kāi)始進(jìn)行微調(diào)，最后達(dá)到收斂狀態(tài)。

圖6 訓(xùn)練損失散點(diǎn)圖

各類目標(biāo)AP值、mAP及FPS值對(duì)比如表2所示。在對(duì)YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)做了改進(jìn)以后，檢測(cè)精度更好：其中DiaoChe的AP值提高了6.92%，ShiGongJiXie的AP值提高了11.56%，DaoXianYiWu的AP提高了5.29%，YanHuo的AP值提高了10.93%，TaDiao的AP值提高了19.73%，總體的mAP值由65.22%提升到了75.14%，精度提升了9.92%。添加小目標(biāo)檢測(cè)頭后模型推理速度FPS相比于YOLOv4tiny有一定下降，但仍高于YOLOv4，具備實(shí)時(shí)性條件。

表2 各類目標(biāo)AP值、mAP及FPS值對(duì)比

圖7為檢測(cè)效果對(duì)比圖。從左到右依次為YOLOv4、YOLOv4-tiny和改進(jìn)算法的檢測(cè)效果， 從圖7可以看出，相比較于YOLOv4-tiny，改進(jìn)后的算法檢出率高于原YOLOv4-tiny，但與YOLOv4相比仍然有一定差距。在添加了小目標(biāo)檢測(cè)頭之后使其對(duì)小目標(biāo)具有更好的檢測(cè)能力。

圖7 檢測(cè)效果對(duì)比圖

4 結(jié)束語(yǔ)

為防止輸電線路外部破壞，針對(duì)輸電線路周圍典型目標(biāo)進(jìn)行識(shí)別，提出了一種基于改進(jìn)YOLOv4-tiny的目標(biāo)檢測(cè)模型，能夠?qū)旊娋€路周圍典型目標(biāo)進(jìn)行自動(dòng)識(shí)別，通過(guò)在YOLOv4-tiny網(wǎng)絡(luò)的FPN部分加入空洞空間卷積池化金字塔模塊，提高了對(duì)小目標(biāo)和遮擋目標(biāo)的檢測(cè)能力，經(jīng)過(guò)仿真實(shí)驗(yàn)驗(yàn)證，提出的網(wǎng)絡(luò)模型能快速準(zhǔn)確識(shí)別輸電線路周圍典型目標(biāo)及位置，mAP達(dá)到了75.14%，有9.92%的精度提升，對(duì)5類典型目標(biāo)識(shí)別精度有一定提升，同時(shí)檢測(cè)速率為59 f/s，檢測(cè)速度略有下降，其檢測(cè)準(zhǔn)確率和速度更為均衡，適合于輸電線路周圍典型目標(biāo)檢測(cè)任務(wù)。為防止輸電線路外部破壞保證輸電線路安全提供了幫助，為輸電線路周圍環(huán)境全景感知奠定了一定基礎(chǔ)。