基于改進(jìn)YOLO算法的激光清異場(chǎng)景目標(biāo)檢測(cè)方法

吳 軍，程 繩，董曉虎，范 楊，林 磊，方春華，李承熹，徐 鑫

（1.國(guó)網(wǎng)湖北省電力有限公司檢修公司，湖北 武漢 430050；2.三峽大學(xué)電氣與新能源學(xué)院，湖北 宜昌 443002）

0 引言

隨著全社會(huì)對(duì)用電量需求的迅速增大，保證電力輸送和用電安全也就成了非常重要的問(wèn)題。但輸電線(xiàn)路跨越森林，當(dāng)樹(shù)木生長(zhǎng)高度接近架空導(dǎo)線(xiàn)時(shí)，易使導(dǎo)線(xiàn)對(duì)線(xiàn)路通道內(nèi)超過(guò)安全距離的樹(shù)木放電，造成的閃絡(luò)、停電、火災(zāi)等事故，給線(xiàn)路的安全運(yùn)行帶來(lái)了巨大的災(zāi)難。除此之外，風(fēng)箏、廣告布、塑料布等漂浮性異物容易纏在導(dǎo)線(xiàn)和地線(xiàn)上，在雨雪的情況下容易引起單相接地、相間短路等故障，導(dǎo)致線(xiàn)路跳閘或線(xiàn)路損毀，影響供電安全，垂落地面的異物和燒斷損毀的導(dǎo)線(xiàn)還有可能造成人畜傷亡。

目前，一般采用基于激光技術(shù)的異物清除裝置［1-4］，通過(guò)大功率激光的灼燒來(lái)達(dá)到清除異物的效果。由于激光樹(shù)障清除裝置功率較大，一旦照射到人或者其他公共物品，會(huì)帶來(lái)極大的危害。因此電力激光作業(yè)屬于高風(fēng)險(xiǎn)作業(yè)方式，需要做好嚴(yán)格的安全應(yīng)對(duì)措施和解決辦法，來(lái)防止電力激光清異過(guò)程中存在的危險(xiǎn)［5-8］。

為了實(shí)現(xiàn)智能化、精確化的安全監(jiān)察控制系統(tǒng)，采用人工智能技術(shù)是發(fā)展趨勢(shì)。飛速發(fā)展的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）技術(shù)和圖形處理器（Graphics Processing Unit，GPU）快速發(fā)展，憑借圖形處理器能夠高效率地處理深度學(xué)習(xí)算法（Deep Learning，DL）訓(xùn)練和測(cè)試過(guò)程，使得深度學(xué)習(xí)這一需要大量計(jì)算的技術(shù)得以高速發(fā)展［9-15］，所以深度學(xué)習(xí)在包括目標(biāo)檢測(cè)以及圖像分類(lèi)等圖像識(shí)別任務(wù)上取得了非常大的突破。文獻(xiàn)［16］采用改進(jìn)的Faster R-CNN算法訓(xùn)練電力設(shè)備檢測(cè)模型，然后對(duì)圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，并調(diào)整卷積核大小，從而實(shí)現(xiàn)了提高模型檢測(cè)精度。文獻(xiàn)［17］使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像目標(biāo)特征，并將隨機(jī)森林算法運(yùn)用到網(wǎng)絡(luò)中，將其作為分類(lèi)器，實(shí)現(xiàn)對(duì)電力設(shè)施的識(shí)別，從而達(dá)到安全監(jiān)控的效果；文獻(xiàn)［18］對(duì)Faster R-CNN 進(jìn)行改進(jìn)，通過(guò)提出的改進(jìn)策略能夠有效實(shí)現(xiàn)輸電設(shè)別的檢測(cè)，并提出將圖像先切分再檢測(cè)的方法來(lái)提高小目標(biāo)檢測(cè)準(zhǔn)確率。

上述文獻(xiàn)針對(duì)人工智能算法優(yōu)化及應(yīng)用于電力設(shè)備等目標(biāo)檢測(cè)等問(wèn)題進(jìn)行了研究，實(shí)現(xiàn)了安全監(jiān)控的效果，但并未考慮激光器戶(hù)外使用時(shí)移動(dòng)端性能受限等問(wèn)題。本文考慮到Y(jié)OLO算法對(duì)設(shè)備性能的要求較高，通過(guò)改進(jìn)YOLO算法使之適用于移動(dòng)端設(shè)備，同時(shí)搭建實(shí)驗(yàn)環(huán)境，擴(kuò)充并建立激光清異安全控制圖像數(shù)據(jù)集，進(jìn)行了模型的訓(xùn)練，對(duì)比進(jìn)行了移動(dòng)端檢測(cè)準(zhǔn)確率及效率實(shí)驗(yàn)，驗(yàn)證了改進(jìn)后YOLO算法的優(yōu)勢(shì)。

1 改進(jìn)的YOLO算法

新一代YOLO 算法，雖然檢測(cè)精度和效率大大提升，但同時(shí)模型本身的復(fù)雜性也大大提升，因此對(duì)算力的要求也越來(lái)越高，需要具有強(qiáng)大計(jì)算能力的服務(wù)器才能夠進(jìn)行有效的識(shí)別和檢測(cè)，因此在最終的應(yīng)用上，采用的還是前后端分離的檢測(cè)方式。

對(duì)于電力激光作業(yè)安全監(jiān)控中，激光器配備的攝像頭本身就沒(méi)有聯(lián)網(wǎng)，沒(méi)辦法在激光器監(jiān)控裝置前端就實(shí)時(shí)獲得后端的檢測(cè)結(jié)果。而作業(yè)現(xiàn)場(chǎng)的監(jiān)控?cái)z像頭雖然可能聯(lián)網(wǎng)，但監(jiān)控圖像從前端傳到服務(wù)器的過(guò)程中，可能因?yàn)榫W(wǎng)絡(luò)等問(wèn)題帶來(lái)的不確定危險(xiǎn)因素，從而降低了安全監(jiān)控的有效性和實(shí)時(shí)性［19-23］。

所以，若是直接采用上述的目標(biāo)檢測(cè)算法對(duì)電力激光作業(yè)場(chǎng)景進(jìn)行安全監(jiān)控，會(huì)增加不必要的風(fēng)險(xiǎn)，無(wú)法達(dá)到實(shí)時(shí)安全監(jiān)控的效果。因此，電力激光作業(yè)場(chǎng)景的安全監(jiān)控應(yīng)當(dāng)選擇輕量級(jí)目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型在移動(dòng)端進(jìn)行實(shí)現(xiàn)，目標(biāo)檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)圖見(jiàn)圖1。

圖1 目標(biāo)檢測(cè)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Structure of target detection network model

目標(biāo)檢測(cè)模型往往分為四個(gè)部分，分別是：輸入（Input）、骨干網(wǎng)絡(luò)（Backbone）、特征融合網(wǎng)絡(luò)（Neck）、檢測(cè)器（Head）。針對(duì)電力激光作業(yè)安全監(jiān)控裝置的移動(dòng)端性質(zhì)，結(jié)合現(xiàn)有的目標(biāo)檢測(cè)研究現(xiàn)狀，以YOLOv4 目標(biāo)檢測(cè)算法為基礎(chǔ)，從骨干網(wǎng)絡(luò)（Backbone）、特征融合網(wǎng)絡(luò)（Neck）兩個(gè)方面進(jìn)行優(yōu)化［24-26］。

1.1 改進(jìn)的骨干網(wǎng)絡(luò)（Backbone）

YOLOv4算法采用CSPDarknet-53作為骨干網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)約有6 000萬(wàn)個(gè)參數(shù)，極其復(fù)雜且需要較高的算力才能運(yùn)行，所以并不適用于移動(dòng)端。本文針對(duì)移動(dòng)端的特性對(duì)主干網(wǎng)絡(luò)進(jìn)行調(diào)整，選擇CSPDarknettiny 改進(jìn)的特征提取網(wǎng)絡(luò)，CSPDarknet-tiny 結(jié)構(gòu)參數(shù)見(jiàn)圖2。

圖2 CSPDarknet_tiny 特征提取網(wǎng)絡(luò)Fig.2 CSPDarknet_tiny feature extraction network

CSPDarknet-tiny 同樣也是在YOLOv4 中提出的一種精簡(jiǎn)版特征提取骨干網(wǎng)絡(luò)，在保證了使用CSP 等改進(jìn)措施的基礎(chǔ)上，少了一些結(jié)構(gòu)，將原來(lái)的Mish 激活函數(shù)換成了Leaky 激活函數(shù)，且在小幅度犧牲精度的前提下，且網(wǎng)絡(luò)參數(shù)變?yōu)樵瓉?lái)的十分之一，可以極大地消減特征提取網(wǎng)絡(luò)中卷積部分的運(yùn)算量和參數(shù)數(shù)量，極大地縮小了模型大小和推理時(shí)間，從而縮減整個(gè)模型使之可以運(yùn)行在嵌入式設(shè)備中，且保證了在電力激光作業(yè)安全監(jiān)控時(shí)具有較高的準(zhǔn)確率和良好的實(shí)時(shí)性。

1.2 改進(jìn)的特征融合網(wǎng)絡(luò)（Neck）

對(duì)于原有的CSPDarknet-53特征提取網(wǎng)絡(luò)使用了3 個(gè)特征層進(jìn)行分類(lèi)與回歸預(yù)測(cè)，預(yù)測(cè)的尺度有3 個(gè)尺度，且采用多層卷積融合提取特征，但同樣也會(huì)增加檢測(cè)時(shí)間和加大性能需求，不能滿(mǎn)足移動(dòng)端的要求，所以本文從以下3 個(gè)方面對(duì)特征融合網(wǎng)絡(luò)進(jìn)行改進(jìn)。

1）本文采用CSPDarknet-tiny作為主干網(wǎng)絡(luò)，為了滿(mǎn)足小目標(biāo)的檢測(cè)精確度的要求，并提高移動(dòng)端實(shí)時(shí)性，本文的特征融合網(wǎng)絡(luò)（neck）僅使用了兩個(gè)特征層進(jìn)行分類(lèi)和回歸，同時(shí)在特征融合網(wǎng)絡(luò)中采用Laeky激活函數(shù)，能夠在對(duì)模型的實(shí)時(shí)性和縮小模型的大小影響不大的前提下提高推理精度。

2）本文在CSPDarknet-tiny 主干網(wǎng)絡(luò)后添加了SPP 網(wǎng)絡(luò)，并減小了卷積次數(shù)，其產(chǎn)生固定大小的輸出，得到同樣長(zhǎng)度的池化特征，從而顯著地改善感受野的大小，加快網(wǎng)絡(luò)收斂速度，降低了過(guò)擬合（overfitting），且速度幾乎未降低。

3）本文結(jié)合YOLOv4 中的多尺度特征融合方法，針對(duì)移動(dòng)端的特性，將原YOLOv4 的PANet 中的思想運(yùn)用到CSPDarknet-tiny 之后的特征融合網(wǎng)絡(luò)，對(duì)FPN進(jìn)行了改進(jìn)，得到簡(jiǎn)化版的PANet。由于CSPDarknettiny 屬于淺層特征提取骨干網(wǎng)絡(luò)，且僅使用了兩個(gè)特征層進(jìn)行分類(lèi)和回歸，所以在進(jìn)行PANet特征融合時(shí)，并不需要多層卷積，可以將原來(lái)的5層卷積融合，改成1 層卷積融合，從而在融合所有層的信息基礎(chǔ)上降低計(jì)算量，提高實(shí)時(shí)性。

改進(jìn)的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖3。

圖3 基于CSPDarcknet-tiny的改進(jìn)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Improved YOLOv4 network structure based on CSPDarcknet-tiny

2 特征分析

激光器照射區(qū)域安全隱患可以歸結(jié)為非法誤入照射區(qū)域和照射損害其他電氣設(shè)備兩個(gè)方面。

在非法誤入方面，如圖4（a）、圖4（b）所示，一些人員或者車(chē)輛可能未注意周?chē)邏何ｋU(xiǎn)警示標(biāo)志，突然闖入到激光器的照射區(qū)域中，導(dǎo)致激光器照射到人或者車(chē)輛上，發(fā)生意外。因此，需要快速識(shí)別闖入激光照射區(qū)域的危險(xiǎn)物體［27-31］。

在照射損害其他電氣設(shè)備方面，如圖4（c）所示，可能由于作業(yè)人員的失誤，導(dǎo)致激光器發(fā)射的激光偏移到非清異區(qū)域的其他電氣設(shè)備上，如復(fù)合絕緣子，而輸電線(xiàn)路除異的激光設(shè)備往往功率都很大，發(fā)射的激光能量很高，可能導(dǎo)致電氣設(shè)備的損壞，所以需要標(biāo)注好目標(biāo)圖像中存在的絕緣子位置，從而提醒作業(yè)人員。

圖4 電力激光清異區(qū)域危險(xiǎn)目標(biāo)示意圖Fig.4 Schematic diagram of dangerous targets in power laser cleaning area

對(duì)于激光器照射區(qū)域檢測(cè)對(duì)象列于表1。

表1 輸電線(xiàn)路激光照射區(qū)域檢測(cè)目標(biāo)和任務(wù)Table 1 Detection targets and tasks of laser irradiation area of transmission line

3 數(shù)據(jù)集和環(huán)境的構(gòu)建

對(duì)于非法誤入方面，主要的檢測(cè)對(duì)象為人和汽車(chē)；對(duì)于照射損害其他電氣設(shè)備方面，應(yīng)提前檢測(cè)到可能被激光照射產(chǎn)生危害的電氣設(shè)備，如復(fù)合絕緣子，迅速識(shí)別照射區(qū)域周?chē)奈ｋU(xiǎn)電氣設(shè)備，一旦照射范圍檢測(cè)到安全隱患，就應(yīng)當(dāng)發(fā)出警報(bào)，打開(kāi)激光器安全鎖，不允許啟動(dòng)。

深度學(xué)習(xí)模型算法通過(guò)大量數(shù)據(jù)集訓(xùn)練發(fā)揮其優(yōu)越的性能。在圖像分類(lèi)、目標(biāo)檢測(cè)與識(shí)別等方面，一些機(jī)構(gòu)和公司無(wú)償發(fā)布制作的數(shù)據(jù)集（含訓(xùn)練集和測(cè)試集），對(duì)比列于表2。

表2 公開(kāi)實(shí)驗(yàn)數(shù)據(jù)集Table 2 Public experimental data set

對(duì)于以上公開(kāi)的數(shù)據(jù)集，主要采用PASCAL VOC數(shù)據(jù)集（下面簡(jiǎn)稱(chēng)“VOC”）數(shù)據(jù)集，其包含為20 個(gè)類(lèi)別：人類(lèi)，交通工具（飛機(jī)、自行車(chē)、船、公共汽車(chē)、汽車(chē)、摩托車(chē)、火車(chē)），動(dòng)物（鳥(niǎo)、貓、牛、狗、馬、羊），其他目標(biāo)（瓶子、椅子、餐桌、盆栽植物、沙發(fā)、電視）。VOC數(shù)據(jù)集文件中主要包含3 個(gè)文件，JPEGImages 文件夾中包含了VOC所提供的所有圖片信息。Annotations文件夾中存放的是xml 格式的標(biāo)簽文件，也就是圖像中包含目標(biāo)的位置信息，每一個(gè)xml 文件都對(duì)應(yīng)于JPEGImages 文件夾中的一張圖片。ImageSets 存放的是每一種類(lèi)型任務(wù)對(duì)應(yīng)的圖像數(shù)據(jù)。

3.1 實(shí)拍實(shí)驗(yàn)數(shù)據(jù)集

本文需要建立電力場(chǎng)景下的目標(biāo)檢測(cè)數(shù)據(jù)集，數(shù)據(jù)集來(lái)源于收集到的大量電力場(chǎng)景中拍攝到的圖像，且針對(duì)相應(yīng)的檢測(cè)目標(biāo)在互聯(lián)網(wǎng)上收集到了一些電力設(shè)備實(shí)拍圖像數(shù)據(jù)。這些電氣場(chǎng)景圖像都是來(lái)源于實(shí)際的生產(chǎn)作業(yè)現(xiàn)場(chǎng)，所以具有很強(qiáng)的應(yīng)用價(jià)值。

對(duì)于絕緣子檢測(cè)的數(shù)據(jù)集，本文收集到了約600張圖像，由于模型的訓(xùn)練需要大量的數(shù)據(jù)來(lái)實(shí)現(xiàn)目標(biāo)定位和分類(lèi)，所以以上數(shù)量圖像遠(yuǎn)遠(yuǎn)不足以滿(mǎn)足需求，為了解決激光清異作業(yè)場(chǎng)景的多樣性問(wèn)題和應(yīng)對(duì)樣本集和實(shí)際檢測(cè)圖像之間的差距，本文提出了采用數(shù)據(jù)擴(kuò)充的方法。

首先將現(xiàn)有圖像中的絕緣子剪裁下來(lái)后，添加不同的復(fù)雜場(chǎng)景且沒(méi)有絕緣子的圖像，然后將剪裁下來(lái)的絕緣子再隨機(jī)組合粘貼在沒(méi)有絕緣子圖像的隨機(jī)位置，通過(guò)現(xiàn)有的數(shù)據(jù)增強(qiáng)方法一共擴(kuò)充到2 000張含絕緣子的圖像。并通過(guò)LabelImg工具對(duì)未標(biāo)注的圖像數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)注為“insulator”，以生成PASCAL VOC格式存儲(chǔ)。電力場(chǎng)景實(shí)拍絕緣子數(shù)據(jù)集及圖像增強(qiáng)擴(kuò)充方法示意圖見(jiàn)圖5-圖6。

圖5 電力場(chǎng)景實(shí)拍絕緣子數(shù)據(jù)集Fig.5 Insulator data set of power scene

圖6 圖像增強(qiáng)擴(kuò)充方法示意圖Fig.6 Schematic diagram of image enhancement and expansion method

3.2 數(shù)據(jù)增強(qiáng)

在實(shí)際收集到的電力場(chǎng)景圖像中，僅為在有限場(chǎng)景下的圖像樣本，為了應(yīng)對(duì)多樣化的實(shí)際監(jiān)控拍攝情況，本文提出了采用數(shù)據(jù)增強(qiáng)的方法。數(shù)據(jù)增強(qiáng)又稱(chēng)為數(shù)據(jù)擴(kuò)增，其作用是在不實(shí)質(zhì)性增加樣本的情況下，讓有限的樣本產(chǎn)生等價(jià)于更多樣本訓(xùn)練的效果，從而提升檢測(cè)模型泛化能力和魯棒性。

3.2.1 訓(xùn)練數(shù)據(jù)增強(qiáng)

1）圖像翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、位移、扭曲、遮擋

通過(guò)imgaug 庫(kù)來(lái)對(duì)圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、位移、裁剪、遮擋，將圖像特征相對(duì)位置重新排列，并通過(guò)圖像扭曲來(lái)改變目標(biāo)圖形的形狀，這些經(jīng)過(guò)處理后的圖片放入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，可以有效防止模型訓(xùn)練出現(xiàn)過(guò)擬合現(xiàn)象并提高模型的魯棒性，綜合圖像處理見(jiàn)圖7。

2）圖像色彩增強(qiáng)

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，隨機(jī)調(diào)整圖像亮度、飽和度、對(duì)比度和色相屬性，能夠減小檢測(cè)模型受到圖像色彩因素的干擾。且圖像色彩調(diào)整一定程度上模擬天氣和光照等環(huán)境因素對(duì)圖像色彩的影響，提高模型的魯棒性，綜合圖像處理見(jiàn)圖7。

圖7 綜合圖像處理示意圖Fig.7 Schematic diagram of integrated image processing

3）Mosaic數(shù)據(jù)增強(qiáng)

由于訓(xùn)練數(shù)據(jù)數(shù)量較少，訓(xùn)練出來(lái)的模型的多樣性和魯棒性無(wú)法保證，所以采用了YOLOv4 中的Mosaic 數(shù)據(jù)增強(qiáng)方法，將四張訓(xùn)練圖片合并為一張訓(xùn)練圖像。由于每個(gè)輸入訓(xùn)練模型的訓(xùn)練圖像是由4張圖像組合而成，每個(gè)圖像之間互相有遮擋，且增加了背景的多樣性，從而提高訓(xùn)練樣本的多樣性和模型的魯棒性，也可以在一定程度上減少對(duì)大Batch Size 的需求。

3.2.2 檢測(cè)數(shù)據(jù)增強(qiáng)

1）圖像銳化處理

針對(duì)電力激光清異作業(yè)監(jiān)控圖像顯示模糊、目標(biāo)太小、重疊分布等問(wèn)題，本文采用二階拉普拉斯算子來(lái)進(jìn)行高電壓區(qū)域監(jiān)控圖像的銳化處理，使圖像色彩邊界變得更鮮明突出，從而更好地提取目標(biāo)特征。二元函數(shù)f（x，y）的拉普拉斯變換定義為公式（1）。

鄰域矩陣的模板形式見(jiàn)圖8（a）。

圖8 銳化濾波器Fig.8 Sharpening filter

為進(jìn)一步加強(qiáng)檢測(cè)目標(biāo)的特征，本文在拉普拉斯算子鄰域矩陣模板的基礎(chǔ)上，在中心位置加一，使銳化濾波后的圖像與原始圖像具有相同的亮度。

擴(kuò)大后的拉普拉斯算子鄰域矩陣模板見(jiàn)圖8（b），對(duì)卷積操作后的圖像各通道值除以8，最后得到銳化前后對(duì)比見(jiàn)圖9。

圖9 監(jiān)控圖像銳化前后對(duì)比Fig.9 Comparison of monitoring image before and after sharpening

2）圖像色彩校正

電力激光清異作業(yè)場(chǎng)景下，監(jiān)控設(shè)備采集的圖像色彩因其所處戶(hù)外環(huán)境復(fù)雜，光照、反射等受天氣影響而容易產(chǎn)生變化。利用圖像色彩校正來(lái)提高拍攝的穩(wěn)定性，從而提高識(shí)別精度。

本文根據(jù)實(shí)際需要，采用了一種獨(dú)特的顏色校正算法，提高圖像顏色穩(wěn)定性。首先根據(jù)圖像色彩的偏移主要原因是亮度因素，計(jì)算出圖像平均亮度，即利用均方差公式計(jì)算圖像中所有R、G、B 通道分量的均方差，如式（4）、式（5）所示。

根據(jù)計(jì)算得到的圖像平均亮度值，利用PIL.Image Enhance 函數(shù)對(duì)圖像整體亮度、對(duì)比度和色度值進(jìn)行調(diào)整。當(dāng)亮度值偏低或偏高時(shí)，將亮度、色度和飽和度參數(shù)值相應(yīng)提高或降低。當(dāng)亮度值在合理范圍內(nèi)時(shí)，利用Gamma校正算法對(duì)圖像做輕微校正，Gamma校正算法是基于人類(lèi)感知光和顏色的非線(xiàn)性方式，使圖像的顏色特征更加符合實(shí)際情況，減弱光照對(duì)圖像顏色信息的干擾。通過(guò)本文所提出的顏色校正，對(duì)于色彩偏移的圖像均有較好的校正作用。圖像色彩校正前后對(duì)比圖見(jiàn)圖10。

圖10 圖像色彩校正前后對(duì)比Fig.10 Comparison before and after image color correction

3.3 LSCD數(shù)據(jù)集的構(gòu)建和標(biāo)注

為了保證檢測(cè)模型的針對(duì)性和有效性，改善訓(xùn)練效果，本文建立多標(biāo)記的“激光清異安全控制圖像數(shù)據(jù)集（Laser Safety Control Dataset，LSCD 數(shù)據(jù)集）”，具體見(jiàn)表3。數(shù)據(jù)來(lái)源由幾個(gè)部分組成，一部分?jǐn)?shù)據(jù)集來(lái)源于公開(kāi)實(shí)驗(yàn)數(shù)據(jù)集；一部分?jǐn)?shù)據(jù)集來(lái)源于實(shí)驗(yàn)室采集到的圖像數(shù)據(jù)集。

表3 LSCD數(shù)據(jù)集構(gòu)建Table 3 LSCD dataset construction

通過(guò)采用LabelImg 工具對(duì)圖像中的目標(biāo)進(jìn)行標(biāo)注，在圖像上圈住目標(biāo)位置，然后標(biāo)注類(lèi)別信息，接著按照同樣的步驟對(duì)圖像中的所有目標(biāo)進(jìn)行標(biāo)注，并以生成PASCAL VOC 格式的XML 標(biāo)簽文件保存到指定路徑的文件夾中，LabelImg工具標(biāo)注圖像見(jiàn)圖11。

圖11 LabelImg工具標(biāo)注圖像Fig.11 Labelimg tool annotation image

由于收集到的有效圖像數(shù)據(jù)較少，利用收集到的圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)和擴(kuò)充，從而彌補(bǔ)數(shù)據(jù)不足的問(wèn)題。

針對(duì)激光照射區(qū)域下的檢測(cè)任務(wù)，主要的檢測(cè)對(duì)象包括人員、汽車(chē)、絕緣子。由于實(shí)拍電力場(chǎng)景實(shí)驗(yàn)數(shù)據(jù)集中存在入侵人員車(chē)輛的圖像較少，選擇VOC數(shù)據(jù)集來(lái)補(bǔ)充人和車(chē)這兩個(gè)類(lèi)別的數(shù)據(jù)集圖像。且針對(duì)可能被激光損害的電氣設(shè)備，構(gòu)建絕緣子圖像數(shù)據(jù)集，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)和擴(kuò)充后得到足量的數(shù)據(jù)滿(mǎn)足訓(xùn)練模型的要求。

3.4 實(shí)驗(yàn)環(huán)境的搭建

1）實(shí)驗(yàn)的硬件環(huán)境為：采用的第七代CPU 處理器，16G 內(nèi)存，NVIDIA 公司的GTX2080ti 系列GPU 卡，顯存為12G。

2）實(shí)驗(yàn)的軟件環(huán)境為：操作系統(tǒng)為Windows10，編程軟件為PyCharm，編程環(huán)境為Python、opencv、LabelImg、CUDA9.2。運(yùn)用Tensorflow 和Keras 深度學(xué)習(xí)框架。

4 目標(biāo)檢測(cè)

4.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

通過(guò)準(zhǔn)備好的激光清異安全控制圖像數(shù)據(jù)集（LSCD），通過(guò)上文提到的數(shù)據(jù)增強(qiáng)的方法將這些數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)和數(shù)據(jù)擴(kuò)充，增加數(shù)據(jù)的多樣性，具體訓(xùn)練圖像數(shù)據(jù)見(jiàn)表4。

表4 圖像數(shù)據(jù)集數(shù)量Table 4 Number of image data sets

按照9∶1的比例將其劃分為訓(xùn)練集和測(cè)試集。在進(jìn)行模型訓(xùn)練之前，需要確定預(yù)選框的個(gè)數(shù)及大小，采用合適的預(yù)選框參數(shù)可以有效地提高模型準(zhǔn)確率和訓(xùn)練速度。本文采用k-means算法對(duì)標(biāo)記好的激光清異安全控制圖像數(shù)據(jù)集（LSCD）相應(yīng)數(shù)據(jù)進(jìn)行聚類(lèi)分析，由于只有兩個(gè)預(yù)測(cè)尺度，所以?xún)H得到了6 組預(yù)選邊界框參數(shù)，并使用這些參數(shù)進(jìn)行下述模型訓(xùn)練，預(yù)選框參數(shù)表見(jiàn)表5。

表5 預(yù)選框參數(shù)Table 5 Pre selection box parameters

4.2 模型的訓(xùn)練

參考YOLOv4官方推薦權(quán)重參數(shù)及具體實(shí)驗(yàn)中進(jìn)行適當(dāng)調(diào)整后，采用模型訓(xùn)練參數(shù)如下：

初始學(xué)習(xí)速率設(shè)置為0.001，通過(guò)余弦退火衰減（Cosine annealing scheduler）來(lái)實(shí)現(xiàn)學(xué)習(xí)率的衰減，標(biāo)簽平滑取值為0.01，置信度閾值取0.5，NMS 閾值取0.5，batch-size 為16。為了防止訓(xùn)練發(fā)生過(guò)擬合，本文采用了Early Stopping 來(lái)防止網(wǎng)絡(luò)發(fā)生過(guò)擬合，原理為將數(shù)據(jù)分為訓(xùn)練集和驗(yàn)證集，驗(yàn)證集的比例為0.1，記錄每個(gè)epoch的驗(yàn)證集的loss，果然，隨著epoch的增加在驗(yàn)證集上發(fā)現(xiàn)測(cè)試誤差上升，則停止訓(xùn)練。

首先進(jìn)行凍結(jié)訓(xùn)練，即“凍結(jié)”該層，指的是該層不參加網(wǎng)絡(luò)訓(xùn)練，即該層的參數(shù)不會(huì)更新。凍結(jié)訓(xùn)練可以加快訓(xùn)練速度，也可以在訓(xùn)練初期防止權(quán)值被破壞。將特征提取主干網(wǎng)絡(luò)凍結(jié)，即網(wǎng)絡(luò)的前60 層，25 個(gè)epoch 的凍結(jié)訓(xùn)練，同時(shí)按照學(xué)習(xí)率為0.001 來(lái)執(zhí)行學(xué)習(xí)率的余弦退火衰減對(duì)模型進(jìn)行微調(diào)操作，再進(jìn)行解凍后訓(xùn)練，對(duì)所有層解除凍結(jié)，使模型參數(shù)可以根據(jù)訓(xùn)練更新，再進(jìn)行25個(gè)epoch的訓(xùn)練，同時(shí)按照學(xué)習(xí)率為0.000 1來(lái)執(zhí)行學(xué)習(xí)率的余弦退火衰減。

使用上述訓(xùn)練流程，共訓(xùn)練50 個(gè)epoch，loss 和val_loss變化示意圖如圖12。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行，網(wǎng)絡(luò)的損失值隨著訓(xùn)練的進(jìn)行而繼續(xù)緩慢下降，最終達(dá)到收斂狀態(tài)。在解除凍結(jié)后的訓(xùn)練次數(shù)中，每個(gè)epoch輸出一個(gè)模型，一共得到25個(gè)模型，如圖13所示，通過(guò)比較這25個(gè)模型的平均精度均值（mAP），選出一個(gè)最優(yōu)模型，可以看出在第47個(gè)epoch時(shí)，mAP達(dá)到最大值為73.65%，因此可以選出最優(yōu)模型。激光照射范圍目標(biāo)檢測(cè)模型訓(xùn)練的Loss 值和mAP 變化示意圖見(jiàn)圖12和圖13。

圖13 激光照射范圍目標(biāo)檢測(cè)模型訓(xùn)練的mAP變化示意圖Fig.13 mAP change of target detection model training in laser irradiation range

4.3 實(shí)驗(yàn)檢測(cè)結(jié)果與性能對(duì)比

4.3.1 特征提取過(guò)程可視化分析

對(duì)訓(xùn)練好的檢測(cè)模型的卷積層提取特征效果進(jìn)行可視化分析，得到特征提取網(wǎng)絡(luò)的每個(gè)殘差層輸出的可視特征圖以及經(jīng)過(guò)特征金字塔SPP生成的可視化特征圖，具體見(jiàn)圖14。

圖14 特征提取網(wǎng)絡(luò)以及特征金字塔生成的特征圖層Fig.14 Feature layer generated by feature extraction network and feature pyramid

如圖14所示，在前兩個(gè)卷積層提取特征后所得到的特征圖顯示最為清晰，非常順利地提取了圖像特征，CSPDarcknet-tiny 網(wǎng)絡(luò)從第3 個(gè)ResBlock 開(kāi)始出現(xiàn)提取特征流失，開(kāi)始對(duì)小目標(biāo)特征提取不夠精確，且一定量地丟失了圖像信息。圖14（e）表示經(jīng)過(guò)特征金字塔SPP 融合了多范圍的特征，可以看到加入特征金字塔后，融合提取將低分辨率、高語(yǔ)義信息的高層特征和高分辨率、低語(yǔ)義信息的低層特征進(jìn)行自上而下的側(cè)邊連接，使得所有尺度下的特征都有豐富的語(yǔ)義信息，越到高層區(qū)分前景能力越強(qiáng)，SPP 在一定程度上挽回丟失的信息。

4.3.2 模型測(cè)試結(jié)果

為了驗(yàn)證模型的效果、準(zhǔn)確情況、穩(wěn)定性以及樣本對(duì)其的影響，從測(cè)試集中每次隨機(jī)抽取200 張圖片進(jìn)行測(cè)試，得到檢測(cè)模型的AP圖見(jiàn)圖15。

圖15 特征提取網(wǎng)絡(luò)以及特征金字塔生成的特征圖Fig.15 Feature map generated by feature extraction network and feature pyramid

當(dāng)NMS 閾值取值為0.5 時(shí)，測(cè)試結(jié)果見(jiàn)表6，可以看出，在檢測(cè)輸電線(xiàn)路激光清異照射區(qū)域中可能存在的危險(xiǎn)物體上，該模型表現(xiàn)較好，準(zhǔn)確率達(dá)到并穩(wěn)定在73.65%左右，且該模型平均識(shí)別一張圖片所用的時(shí)間為217 ms，且模型大小僅為29.5 MB，能順利移植到移動(dòng)設(shè)備中。

表6 模型測(cè)試結(jié)果Table 6 Model test results

4.3.3 性能對(duì)比

為測(cè)評(píng)該模型在移動(dòng)端上的性能，關(guān)閉GPU，僅在CPU 上運(yùn)行，本文對(duì)比了目前比較流行的目標(biāo)檢測(cè)模型：Faster R-CNN 和SSD，且將改進(jìn)前的原YOLOv4 也作為比較組。運(yùn)用相同的策略和數(shù)據(jù)集訓(xùn)練模型，并從測(cè)試集中隨機(jī)抽取200張圖片進(jìn)行測(cè)試，mAP、每識(shí)別一張圖片所用的平均時(shí)間和模型大小作為檢測(cè)效果的評(píng)價(jià)指標(biāo)，結(jié)果見(jiàn)表7。

由實(shí)驗(yàn)結(jié)果表7 可得在準(zhǔn)確率方面，本文提出的適用于移動(dòng)端的激光清異照射范圍目標(biāo)檢測(cè)方法的mAP達(dá)到了76.08%，相比于SSD算法在準(zhǔn)確率上有明顯提升。雖然改進(jìn)算法準(zhǔn)確率低于原YOLOv4算法和Faster R-CNN算法，但是檢測(cè)速度大大提升，且模型大小很小，更適用于嵌入式設(shè)備。前兩者的算法無(wú)論是在檢測(cè)速度還是模型大小上，都無(wú)法使用與嵌入設(shè)備。因此，改進(jìn)的YOLO 模型可以順利地應(yīng)用到激光清異照射區(qū)域目標(biāo)檢測(cè)任務(wù)上，且可以較好地完成照射區(qū)域危險(xiǎn)物體的檢測(cè)任務(wù)，同時(shí)能夠順利地嵌入移動(dòng)端，對(duì)啟動(dòng)警報(bào)器策略起到重要支撐作用。

表7 同步算法性能對(duì)比Table 7 Performance comparison of synchronization algorithms

5 結(jié)語(yǔ)

1）對(duì)YOLO 算法進(jìn)行改進(jìn)，選擇了CSPDarcknettiny 作為特征提取主干網(wǎng)絡(luò)，并將SPP、PANet 等改進(jìn)措施針對(duì)移動(dòng)端的特性進(jìn)行改進(jìn)，使檢測(cè)模型更適用于移動(dòng)端檢測(cè)環(huán)境。

2）在激光照射區(qū)域目標(biāo)檢測(cè)場(chǎng)景下，通過(guò)LSCD數(shù)據(jù)集訓(xùn)練，改進(jìn)的YOLO算法檢測(cè)準(zhǔn)確度為73.65%，滿(mǎn)足檢測(cè)精度要求。

3）較Faster R-CNN 等算法相比，改進(jìn)的YOLO 算法具有更快的檢測(cè)速度，每張圖片識(shí)別平均所需時(shí)間為217 ms，在保證精度的前提下，極大地縮小了模型大小，僅為29.5 MB，更適用于移動(dòng)端安全監(jiān)控系統(tǒng)。