基于特征補(bǔ)充與重構(gòu)的電網(wǎng)巡檢作業(yè)風(fēng)險(xiǎn)識別技術(shù)研究

孔晨華，賀洲強(qiáng)，陳 釗，楊 康，吳儉民

（1.國網(wǎng)甘肅省電力公司蘭州供電公司，甘肅 蘭州 730070；2.國網(wǎng)甘肅省電力公司，甘肅蘭州 730030）

在電網(wǎng)巡檢過程中，需人工確認(rèn)故障發(fā)生的位置并進(jìn)行維修。但發(fā)生故障的野外通常處于強(qiáng)電、潮濕、山區(qū)等安全保護(hù)措施較差的環(huán)境，故維修人員的基礎(chǔ)保護(hù)設(shè)備有安全帽、安全帶與靜電衣等。傳統(tǒng)的安全帽檢測僅依靠人工監(jiān)督，但電網(wǎng)野外巡檢施工作業(yè)的面積較大，固定攝像監(jiān)控難以全面覆蓋，因而無法及時(shí)監(jiān)控工人施工安全措施是否達(dá)標(biāo)[1]?；跓o人機(jī)的電網(wǎng)巡檢監(jiān)控技術(shù)是未來的主要工程應(yīng)用平臺，因此研究一種體量小、速度快且精度高的復(fù)雜環(huán)境安全帽自動識別算法，對保證巡檢人員的人身安全、降低作業(yè)過程中安全事故的發(fā)生具有重要意義。

安全帽檢測算法屬于目標(biāo)檢測范疇，其主要通過對圖像中所構(gòu)建的特征加以學(xué)習(xí)與重構(gòu)，進(jìn)而對安全帽進(jìn)行準(zhǔn)確識別。傳統(tǒng)的目標(biāo)檢測算法使用人工對安全帽特征進(jìn)行篩選，并將篩選過后的數(shù)據(jù)進(jìn)行訓(xùn)練。此種方法主觀性較強(qiáng)，且無法應(yīng)用到實(shí)際工程中。而當(dāng)前使用的深度學(xué)習(xí)方法（Deep Learning，DL）依靠卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）對圖像特征進(jìn)行學(xué)習(xí)與重構(gòu)，故檢測準(zhǔn)確度得到提升，并脫離了人工特征提取的方法。依據(jù)卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)算法，還延伸出了多種算法：例如文獻(xiàn)[2]中的SSD 算法，其使用了多尺度特征重構(gòu)，可有效檢測目標(biāo)群安全帽的佩戴情況；文獻(xiàn)[3]所采用的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，不僅可擴(kuò)大檢測范圍，還簡化了算法。但上述算法對計(jì)算機(jī)的要求均較高，且無法實(shí)現(xiàn)端對端的算法應(yīng)用需求。因此，該文使用YOLOv4檢測網(wǎng)絡(luò)，設(shè)計(jì)了一種輕量化、運(yùn)算速度快的端到端安全帽識別算法。

1 算法設(shè)計(jì)

1.1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4 網(wǎng)絡(luò)[4-7]算法的基本思路是首先將輸入圖像進(jìn)行標(biāo)準(zhǔn)化分割，得到分辨率為S×S的若干個(gè)圖像；同時(shí)每個(gè)圖像均會生成N個(gè)邊界框；然后確定被檢測目標(biāo)所在的圖像區(qū)塊，并計(jì)算邊界框的置信度。該算法使用多種尺度的特征圖進(jìn)行預(yù)測，將不同尺度的特征圖分割成為不同數(shù)量的單元格，而每個(gè)單元格均可對三個(gè)邊界框進(jìn)行預(yù)測。邊界框使用(x,y)、w、h、c這幾個(gè)參數(shù)來表示，(x,y)表示目標(biāo)中心點(diǎn)相較于圖像左上原點(diǎn)的偏移坐標(biāo)，w和h為圖像的寬度與高度，c為圖像的通道數(shù)，而邊界置信度可表示為：

式中，Conj 為置信度，P表示目標(biāo)中心是否在預(yù)選框中的狀態(tài)，在為1，不在則為0。S為預(yù)選框及真值框的面積重合大小，Bt表示真值框，Bp表示預(yù)選框。

如圖1 所示，圖像經(jīng)過分割后輸入網(wǎng)絡(luò)，首先經(jīng)過CSPDarknet53 特征提取網(wǎng)絡(luò)，并得到多個(gè)尺度的特征圖。設(shè)輸入圖像的分辨率大小為512×512，則采樣得到64×64、32×32 及16×16 三個(gè)尺度的特征圖。與此同時(shí)，將16×16 尺度的特征值放入SPP 池化層中進(jìn)行處理。首先進(jìn)行三次卷積，之后再進(jìn)入不同大小的池化層中進(jìn)行處理。最終64×64、32×32 與池化處理過后的16×16 這三個(gè)圖像將進(jìn)入路徑聚合層中進(jìn)行融合處理。處理完成的圖像則通過YOLO head 分類器進(jìn)行分類，從而輸出網(wǎng)絡(luò)檢測結(jié)果。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

1.2 改進(jìn)的YOLOv4網(wǎng)絡(luò)

在該文應(yīng)用場景中，算法更注重輕量化與實(shí)時(shí)性，因此文中對YOLOv4 網(wǎng)絡(luò)算法進(jìn)行改進(jìn)以適應(yīng)移動端需求，主要從以下兩個(gè)方向入手：

1）將CSPDarknet53 主干特征識別網(wǎng)絡(luò)進(jìn)行輕量化處理，即替換為ShuffleNETv2 網(wǎng)絡(luò)。

2）為解決替換后平均精確率均值（mean Average Precision，mAP）下降嚴(yán)重的問題，在路徑聚合層中加入注意力機(jī)制以提高mAP 指標(biāo)，并保證算法性能。

1.2.1 改進(jìn)的ShuffleNETv2網(wǎng)絡(luò)

ShuffleNETv2 網(wǎng)絡(luò)[8-9]是一種可部署在輕量化平臺的神經(jīng)網(wǎng)絡(luò)模型，該模型通過對輸入輸出通道及卷積網(wǎng)絡(luò)層數(shù)的優(yōu)化。ShuffleNETv2 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。圖中結(jié)構(gòu)為在圖像輸入后的右方通道進(jìn)行卷積操作，同時(shí)原有結(jié)構(gòu)中的1×1 卷積也被更換為基礎(chǔ)卷積操作；之后再對兩個(gè)通道進(jìn)行處理，以此得到輸出結(jié)果。

圖2 ShuffleNETv2網(wǎng)絡(luò)結(jié)構(gòu)

為滿足輕量化的要求，先對其完成進(jìn)一步剪裁，改動如下：

1）兩個(gè)分支上均有Conv1×1，略顯冗余，因此去掉一個(gè)支路中的Conv1×1。

2）擴(kuò)大原有通道中的卷積核。將原有的3×3 大小卷積擴(kuò)增至3×3+BN，即5×5，由此便可進(jìn)一步增加系統(tǒng)提取特征值的能力。

3）使用Mish 激活函數(shù)，該函數(shù)相較ReLU 函數(shù)能夠避免梯度上升過快的問題，從而保證信息的平穩(wěn)輸入。Mish 函數(shù)表達(dá)式為：

式中，x為上一層傳入當(dāng)前層的數(shù)據(jù)參數(shù)。

因此，改進(jìn)后的ShuffleNETv2 網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)后的ShuffleNETv2網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 Bi-FPN特征重構(gòu)融合結(jié)構(gòu)

在YOLOv4 網(wǎng)絡(luò)算法的架構(gòu)中，特征融合層使用的PANe（tPath Aggregation Network）網(wǎng)絡(luò)為傳統(tǒng)雙向特征融合結(jié)構(gòu)，而Bi-FPN 結(jié)構(gòu)[10]即在傳統(tǒng)結(jié)構(gòu)的基礎(chǔ)上刪除了部分中間節(jié)點(diǎn)，進(jìn)而簡化了FPN 結(jié)構(gòu)[11]，具體如圖4 所示。

圖4 Bi-FPN結(jié)構(gòu)

如圖4所示，每個(gè)節(jié)點(diǎn)均會形成特征值融合[12-14]，故不同的輸入圖像數(shù)據(jù)對于特征值的影響因子也存在差異。因此，該網(wǎng)絡(luò)使用權(quán)重訓(xùn)練層來保證不同的特征值有各自的權(quán)重。文中選擇的權(quán)重因子分配函數(shù)為快速歸一化函數(shù)f，該函數(shù)的表達(dá)式為：

式中，i、j分別表示特征圖的數(shù)量；φi、φj分別為輸入圖像的權(quán)重因子，其值在0～1 之間，λ避免了分母為0，取10×10-5。訓(xùn)練完成后，通過Mish 激活函數(shù)，可保證值大于0。在多次迭代訓(xùn)練之后，最終模型便可保證權(quán)重因子為最優(yōu)。

1.2.3 模型系統(tǒng)結(jié)構(gòu)

該文模型系統(tǒng)結(jié)構(gòu)基于YOLOv4 進(jìn)行了兩方面改進(jìn)，分別為特征網(wǎng)絡(luò)模型部分和特征融合層部分[15-16]。

特征網(wǎng)絡(luò)模型部分使用改進(jìn)的ShuffleNETv2 結(jié)構(gòu)保證了模型的輕量化，使其擁有更快的處理速度，同時(shí)對ShuffleNETv2 模型的卷積核進(jìn)行處理，以保證其mAP 值最優(yōu)。

特征融合層則使用Bi-FPN 模型進(jìn)行特征融合，該模型增加了注意力機(jī)制，并簡化了結(jié)構(gòu)，保證了模型的輕量化。最終改進(jìn)完成的模型如圖5 所示。

圖5 改進(jìn)模型結(jié)構(gòu)圖

1.3 系統(tǒng)評價(jià)指標(biāo)

為了對算法性能進(jìn)行評估，該文使用準(zhǔn)確率、平均準(zhǔn)確率均值及平均幀率三項(xiàng)指標(biāo)。準(zhǔn)確率指的是數(shù)據(jù)預(yù)測中正樣本數(shù)量TP 與所有樣本數(shù)量（TP+FP）的比值，具體如下：

平均準(zhǔn)確率均值也稱mAP，該指標(biāo)對多個(gè)驗(yàn)證數(shù)據(jù)集合的準(zhǔn)確率均值進(jìn)行平均計(jì)算，如式（6）所示：

其中，N為數(shù)據(jù)集中的數(shù)據(jù)量，NC 為數(shù)據(jù)集個(gè)數(shù)。

而平均幀率指的是算法每秒鐘處理圖片數(shù)據(jù)幀的數(shù)量，該值越大說明實(shí)時(shí)性越強(qiáng)。

2 算法測試

2.1 測試環(huán)境

為了對算法進(jìn)行驗(yàn)證，進(jìn)行了實(shí)驗(yàn)環(huán)境的搭建，同時(shí)使用電網(wǎng)工程類的開源數(shù)據(jù)集合GDUT-HWD進(jìn)行數(shù)據(jù)的訓(xùn)練與驗(yàn)證[17-18]。該數(shù)據(jù)集為安全帽佩帶檢測數(shù)據(jù)集合，內(nèi)部涵蓋了不同場景。實(shí)驗(yàn)的環(huán)境數(shù)據(jù)如表1 所示。

表1 硬件環(huán)境

2.2 消融實(shí)驗(yàn)

首先進(jìn)行功能驗(yàn)證，對數(shù)據(jù)集中的圖片進(jìn)行識別，結(jié)果如圖6 所示。由圖可知，該文算法可將已佩戴安全帽和未佩戴安全帽的人員區(qū)分開。

圖6 識別結(jié)果

隨后進(jìn)行消融實(shí)驗(yàn)，為了驗(yàn)證該系統(tǒng)算法對YOLOv4 的改進(jìn)作用，在基礎(chǔ)YOLOv4 網(wǎng)絡(luò)中分別單獨(dú)添加ShuffleNETv2 網(wǎng)絡(luò)與Bi-FPN 模型進(jìn)行驗(yàn)證。該實(shí)驗(yàn)分別對比了各種組合模式下的mAP、平均幀率及模型大小，結(jié)果如表2 所示。

表2 消融實(shí)驗(yàn)測試結(jié)果

由表可知，YOLOv4+ShuffleNETv2 的平均幀率相較YOLOv4 有所提升，且模型容量也大幅減少，但由于精簡了部分卷積層，因此mAP 值進(jìn)一步下降了。與之相比，YOLOv4+改進(jìn)ShuffleNETv2 模型的mAP 值則有所上升。而在此基礎(chǔ)上加入了Bi-FPN后的該文算法mAP值進(jìn)一步提高，同時(shí)模型大小和平均幀率均處于最優(yōu)水平。原因在于改進(jìn)的ShuffleNETv2 模型能夠增加平均幀率，提高算法實(shí)時(shí)性能，而Bi-FPN 模型則可適度提升算法的準(zhǔn)確度。上述結(jié)果表明，該文所使用模型相較YOLOv4原始模型性能有所提升。

2.3 不同算法對比實(shí)驗(yàn)

為橫向驗(yàn)證算法的性能，還進(jìn)行了對比算法測試。文中使用了SSD、RCNN、YOLOv3 等常見算法進(jìn)行算法測試。算法最終測試結(jié)果如表3 所示。

表3 測試結(jié)果

由表3 可知，該文算法相較其他算法，在mAP 及平均幀率上的表現(xiàn)均為最優(yōu)，說明該算法性能較好，且實(shí)時(shí)性較高，故可應(yīng)用于實(shí)際工程。

3 結(jié)束語

面向智能電網(wǎng)巡檢的作業(yè)環(huán)境，該文提出了一種體量小、速度快、精度高的安全帽自動識別算法，其使用YOLOv4 目標(biāo)檢測模型作為算法框架，并從主網(wǎng)與路徑聚合兩方面對框架進(jìn)行改進(jìn)，實(shí)現(xiàn)了算法的輕量化，以便于更好地應(yīng)用在無人機(jī)/機(jī)器人等移動巡檢平臺上。實(shí)驗(yàn)結(jié)果表明，所提算法識別準(zhǔn)確率高，且平均幀率值較高，具有良好的工程應(yīng)用價(jià)值。