基于YOLO v3的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)技術(shù)研究

陳詠秋,孫凌卿,張永澤,傅啟明,陸 宇,李淵博,孫建剛

(江蘇電力信息技術(shù)有限公司,南京 210000)

0 概述

在當(dāng)前社會(huì)現(xiàn)代化發(fā)展的背景下,社會(huì)對(duì)于電力的供應(yīng)、傳輸?shù)陌踩砸约翱煽啃缘囊筇岢鲈絹?lái)越高的要求,電力系統(tǒng)的可靠性和安全性發(fā)揮著重要的作用[1],同時(shí)隨著環(huán)境保護(hù)理念的加強(qiáng)以及有關(guān)鳥(niǎo)類(lèi)保護(hù)的相關(guān)法律法規(guī)的建立并完善[2],鳥(niǎo)類(lèi)的數(shù)量以及活動(dòng)場(chǎng)地已擴(kuò)增到前所未有的規(guī)模,為輸電線(xiàn)路的安全運(yùn)行造成了危害。根據(jù)有關(guān)統(tǒng)計(jì)分析,鳥(niǎo)類(lèi)活動(dòng)引起線(xiàn)路跳閘次數(shù)在國(guó)家電網(wǎng)發(fā)生的全部輸電線(xiàn)路跳閘次數(shù)中排名第三,僅僅排在雷擊和外部損害導(dǎo)致的線(xiàn)路故障跳閘次數(shù)[3-5]。

目前針對(duì)輸電線(xiàn)路鳥(niǎo)害問(wèn)題,電網(wǎng)公司往往采取傳統(tǒng)的驅(qū)鳥(niǎo)方式,如在桿塔的構(gòu)建上安裝鳥(niǎo)刺、安裝絕緣板防止鳥(niǎo)糞、在絕緣子下端安裝風(fēng)車(chē)[6-8]。采用以上物理方式并不能長(zhǎng)期有效地解決鳥(niǎo)害問(wèn)題,其存在施工困難、成本高和需要有風(fēng)的特殊條件等。目前最有效的方法是安裝超聲波驅(qū)鳥(niǎo)器[9-10],但是使驅(qū)鳥(niǎo)器長(zhǎng)時(shí)間處于工作狀態(tài)不僅浪費(fèi)資源,還可能會(huì)對(duì)周?chē)h(huán)境產(chǎn)生影響,定時(shí)間歇性工作又會(huì)使鳥(niǎo)類(lèi)形成習(xí)慣,從而達(dá)不到驅(qū)鳥(niǎo)的效果。因此,如何制定驅(qū)鳥(niǎo)器的啟停策略成為解決鳥(niǎo)害問(wèn)題的關(guān)鍵。

近年來(lái),由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的興起,學(xué)者們將深度學(xué)習(xí)的方法運(yùn)用在目標(biāo)檢測(cè)中并取得了較好的檢測(cè)效果。文獻(xiàn)[11]提出的R-CNN利用滑動(dòng)窗口策略進(jìn)行圖像遍歷,運(yùn)用聚類(lèi)的方法將候選框分組,但是存在訓(xùn)練階段多、步驟繁瑣等問(wèn)題,導(dǎo)致效率較低。與R-CNN相比,Fast R-CNN[12]改變了區(qū)域選取的位置,用Softmax代替了支持向量機(jī),顯著降低了訓(xùn)練速度、測(cè)試速度和訓(xùn)練所需空間。Faster R-CNN[13]引入RPN候選框提取模塊,在速度和精度上都有了一定的提升。文獻(xiàn)[14-16]提出了YOLO目標(biāo)檢測(cè)方法,并對(duì)其進(jìn)行了2個(gè)版本的改進(jìn),從而使實(shí)時(shí)檢測(cè)成為可能。雖然基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法日漸成熟,如文獻(xiàn)[17]將YOLO算法應(yīng)用于對(duì)行人的檢測(cè),提高了定位準(zhǔn)確性,文獻(xiàn)[18]運(yùn)用Fast RCNN進(jìn)行前方車(chē)輛檢測(cè),解決了特征提取速度慢的問(wèn)題,但是目前還沒(méi)有將其應(yīng)用于輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)這一場(chǎng)景下。

本文將采集到的現(xiàn)場(chǎng)環(huán)境的監(jiān)控?cái)?shù)據(jù)進(jìn)行相應(yīng)數(shù)據(jù)預(yù)處理,制作成輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)數(shù)據(jù)集?；赮OLO v3模型為主體,檢測(cè)出輸電線(xiàn)路附近的鳥(niǎo)類(lèi)數(shù)目,當(dāng)有一定數(shù)目的鳥(niǎo)活動(dòng)在輸電線(xiàn)路周?chē)鷷r(shí)啟動(dòng)驅(qū)鳥(niǎo)器,在驅(qū)鳥(niǎo)的前提下最大程度地節(jié)約能耗與保護(hù)環(huán)境。

1 基于YOLO v3的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)算法

1.1 YOLO算法

YOLO[14](You Only Look Once)自從被提出以來(lái)即受到了廣泛關(guān)注,共經(jīng)歷了3個(gè)版本的迭代,不斷地優(yōu)化自身和吸取其他檢測(cè)模型的優(yōu)點(diǎn)。與Faster R-CNN基于區(qū)域預(yù)測(cè)的目標(biāo)檢測(cè)算法不同,YOLO運(yùn)用回歸的思想直接檢測(cè)整張輸入圖像,從而得到目標(biāo)的類(lèi)別和位置。

YOLO算法實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè),模型將輸入圖像分成S×S的網(wǎng)格,如圖1所示。如果一個(gè)目標(biāo)的中心處于某個(gè)網(wǎng)格中,則這個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)這個(gè)目標(biāo)。在檢測(cè)的過(guò)程中,每個(gè)網(wǎng)格會(huì)產(chǎn)生B個(gè)邊界框(bounding box),每個(gè)邊界框都要預(yù)測(cè)邊界框位置信息(x,y,w,h)和置信度(confidence)。置信度是邊界框所含目標(biāo)的可能性(Pr(object))與邊界框準(zhǔn)確度IOU的乘積,計(jì)算公式如下:

(1)

圖1 圖像劃分示意圖

引入目標(biāo)類(lèi)別屬性,對(duì)包含目標(biāo)的網(wǎng)格預(yù)測(cè)C個(gè)類(lèi)別概率,用Pr(classi|object)表示。為了得到每個(gè)邊界框的分類(lèi)信息,將邊界框所屬網(wǎng)格的類(lèi)別概率與邊界框的置信度相乘得到置信度評(píng)分(confidence score),如式(2)所示,置信度評(píng)分代表了邊界框中目標(biāo)屬于某個(gè)類(lèi)的概率。

(2)

在模型訓(xùn)練中,將邊界框的C個(gè)類(lèi)別的置信度評(píng)分按高低排序,將得分小于閾值的置為0,最后再用非極大值抑制算法(NMS)去掉重復(fù)率較大的邊界框,最后每一個(gè)邊界框只保留置信度評(píng)分大于0且最高的類(lèi),從而檢測(cè)出各類(lèi)目標(biāo)。

在YOLO v3中,模型的復(fù)雜程度進(jìn)一步提升,采用多尺度融合方式來(lái)進(jìn)行預(yù)測(cè),在多尺度特征圖上進(jìn)行位置和類(lèi)別的預(yù)測(cè),從而提高目標(biāo)檢測(cè)的準(zhǔn)確度,并在引入殘差網(wǎng)絡(luò)的同時(shí)提出更好的特征提取網(wǎng)絡(luò)darknet-53。基于以上改進(jìn),YOLO v3模型在準(zhǔn)確度和速度上都有較好的效果。

1.2 基于YOLO v3的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)算法

在采用驅(qū)鳥(niǎo)器解決輸電線(xiàn)路鳥(niǎo)害問(wèn)題時(shí),驅(qū)鳥(niǎo)器的啟停時(shí)機(jī)尤為關(guān)鍵,采用目標(biāo)檢測(cè)技術(shù)檢測(cè)輸電線(xiàn)路附近的鳥(niǎo),從而控制驅(qū)鳥(niǎo)器的啟停可達(dá)到實(shí)時(shí)驅(qū)鳥(niǎo)的效果。采用YOLO v3目標(biāo)檢測(cè)算法不僅可以做到實(shí)時(shí)檢測(cè),還可以保證多尺度目標(biāo)檢測(cè)的準(zhǔn)確性。輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)算法流程如圖2所示。首先由輸電線(xiàn)路附近監(jiān)控裝置以一定時(shí)間間隔提供實(shí)時(shí)圖像,提取出單幀的圖像送入檢測(cè)模型中,對(duì)預(yù)測(cè)出來(lái)的目標(biāo)進(jìn)行計(jì)數(shù),當(dāng)鳥(niǎo)的數(shù)目達(dá)到閾值時(shí)啟動(dòng)驅(qū)鳥(niǎo)器進(jìn)行驅(qū)鳥(niǎo)。其中,檢測(cè)模型又可分為特征提取網(wǎng)絡(luò)和目標(biāo)檢測(cè)網(wǎng)絡(luò)。

圖2 輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)算法流程

1.3 特征提取網(wǎng)絡(luò)darknet-53

隨著提取網(wǎng)絡(luò)的不斷加深,在訓(xùn)練過(guò)程中會(huì)出現(xiàn)梯度消失和梯度爆炸等問(wèn)題,而引入殘差網(wǎng)絡(luò)就可以很好地解決這一問(wèn)題[19]。將進(jìn)入殘差盒前的特征和殘差盒輸出的特征相結(jié)合,能提取更深層次的特征信息。本文特征提取網(wǎng)絡(luò)使用darknet-53,網(wǎng)絡(luò)中運(yùn)用到了殘差網(wǎng)絡(luò),特征提取網(wǎng)絡(luò)如圖3所示,其中虛線(xiàn)標(biāo)出部分為殘差單元。

圖3 特征提取網(wǎng)絡(luò)結(jié)構(gòu)

1.4 改進(jìn)的目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

YOLO v3在目標(biāo)檢測(cè)領(lǐng)域已經(jīng)取得較好的檢測(cè)效果,采用多尺度融合的方式進(jìn)行目標(biāo)檢測(cè),對(duì)目標(biāo)的尺度變化適應(yīng)性較好,但是在輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)中,從K-means算法聚類(lèi)的結(jié)果中發(fā)現(xiàn)監(jiān)控設(shè)備拍攝目標(biāo)普遍較小,常會(huì)出現(xiàn)多目標(biāo)聚集和小目標(biāo)的情況。因此,需要對(duì)YOLO v3檢測(cè)模型進(jìn)行改進(jìn),從而適應(yīng)特定的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù),同時(shí)為了提升運(yùn)算速率保證任務(wù)的實(shí)時(shí)性,模型中僅提取兩組多尺度特征對(duì)鳥(niǎo)類(lèi)位置和類(lèi)別進(jìn)行預(yù)測(cè),從而適應(yīng)特定的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)。

輸入圖像大小為416×416,網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。將L74(74層)進(jìn)行5次卷積操作以及上采樣操作,然后再進(jìn)行5次卷積操作、3×3和1×1等卷積后得到26×26的特征,并與L61融合作為第一尺度特征,以類(lèi)似的方法可以得到52×52的特征,并與L36融合作為第二尺度特征。通過(guò)多尺度特征分析,可以更好地適應(yīng)輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)場(chǎng)景下多目標(biāo)聚集和小目標(biāo)的情況,從而提高模型準(zhǔn)確率,同時(shí)采用與現(xiàn)實(shí)場(chǎng)景相匹配的尺度數(shù)目,可以有效地減少計(jì)算量。此外,在輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)中只需要檢測(cè)鳥(niǎo)類(lèi)這一個(gè)類(lèi),修改模型輸出類(lèi)別個(gè)數(shù),從而減少不必要的計(jì)算量。

圖4 網(wǎng)絡(luò)模型結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)運(yùn)行環(huán)境

本文實(shí)驗(yàn)硬件環(huán)境如表1所示,在此基礎(chǔ)上搭建軟件環(huán)境Ubuntu16.04、Python、OPPENCV、CUDA等,運(yùn)用Caffe框架與darknet-53框架。

表1 實(shí)驗(yàn)硬件環(huán)境配置

2.2 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)中所用數(shù)據(jù)由江蘇地區(qū)輸電線(xiàn)路桿塔附近監(jiān)控設(shè)備采集。在不同時(shí)段、不同天氣及不同場(chǎng)景下隨機(jī)抽取監(jiān)控視頻,并提取出單幀圖像作為數(shù)據(jù)集,同時(shí)為了提高模型的魯棒性,在數(shù)據(jù)集中加入部分來(lái)源于網(wǎng)絡(luò)且符合實(shí)際的鳥(niǎo)類(lèi)圖片。

用Labellmg工具對(duì)收集到的圖片進(jìn)行標(biāo)注并以VOC數(shù)據(jù)的格式來(lái)存儲(chǔ)。數(shù)據(jù)集中共有5 000張圖像,按照4∶1的比例將其劃分為訓(xùn)練集和測(cè)試集。

在進(jìn)行模型訓(xùn)練之前,需要確定預(yù)選框的個(gè)數(shù)及大小,采用合適的預(yù)選框參數(shù)可以有效地提高模型準(zhǔn)確率和訓(xùn)練速度。本文采用k-means算法對(duì)標(biāo)記好的數(shù)據(jù)集進(jìn)行聚類(lèi)分析,得到了6組預(yù)選框參數(shù)分別為:(20,51),(49,28),(45,43),(75,40),(61,64),(53,81),并使用這些參數(shù)進(jìn)行下述模型訓(xùn)練。

2.3 訓(xùn)練過(guò)程

參考YOLO v3官方推薦權(quán)重參數(shù)及具體實(shí)驗(yàn)中進(jìn)行適當(dāng)調(diào)整后,采用模型訓(xùn)練參數(shù)如表2所示,從而使得訓(xùn)練出的模型具有最優(yōu)的檢測(cè)效果。

表2 模型參數(shù)說(shuō)明

使用上述參數(shù)作為訓(xùn)練的初始化參數(shù),共訓(xùn)練了13 000次,Loss變化示意圖如圖5所示。

圖5 Loss值變化示意圖

由于前3 000次Loss較大,當(dāng)達(dá)到1 000次時(shí),Loss已經(jīng)下降到了2。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,網(wǎng)絡(luò)的損失值逐漸降低,當(dāng)訓(xùn)練到達(dá)指定次數(shù)時(shí),網(wǎng)絡(luò)開(kāi)始降低學(xué)習(xí)速率,對(duì)模型進(jìn)行微調(diào)操作,損失值隨著訓(xùn)練的進(jìn)行而繼續(xù)緩慢下降,最終達(dá)到收斂狀態(tài)。

在訓(xùn)練的13 000次中,每100次迭代輸出一個(gè)模型,一共得到130個(gè)模型。通過(guò)比較這130個(gè)模型的平均精度均值(mAP),選出一個(gè)最優(yōu)模型。由130個(gè)模型計(jì)算出的mAP值如圖6所示,其中,橫坐標(biāo)代表模型序號(hào),mAP值范圍為0～100%。

圖6 mAP值變化示意圖

從圖6可以看出,當(dāng)?shù)搅? 500次時(shí)mAP值已基本穩(wěn)定,沒(méi)有較大的變化,因此可以選出最優(yōu)模型。

2.4 實(shí)驗(yàn)效果

為了驗(yàn)證模型的效果、準(zhǔn)確情況、穩(wěn)定性以及樣本對(duì)其的影響,分別從訓(xùn)練集和測(cè)試集中每次隨機(jī)抽取200張圖片進(jìn)行測(cè)試,共測(cè)試10次,并用準(zhǔn)確率和召回率來(lái)比較測(cè)試結(jié)果。其中:TP表示預(yù)測(cè)有鳥(niǎo),實(shí)際有鳥(niǎo);FP表示預(yù)測(cè)有鳥(niǎo),實(shí)際無(wú)鳥(niǎo);FN表示預(yù)測(cè)無(wú)鳥(niǎo),實(shí)際有鳥(niǎo);TN表示預(yù)測(cè)無(wú)鳥(niǎo),實(shí)際無(wú)鳥(niǎo)。準(zhǔn)確率(P)和召回率(R)的計(jì)算公式如下:

測(cè)試結(jié)果如表3所示,從表3可以看出,在輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)這一場(chǎng)景下,該模型表現(xiàn)較好,準(zhǔn)確率達(dá)到并穩(wěn)定在90%左右,平均識(shí)別一張圖片所用的時(shí)間為20 ms,即平均檢測(cè)速度達(dá)到47 frame/s,圖7為檢測(cè)結(jié)果。由此可知,該模型運(yùn)用在輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)這一場(chǎng)景下具有較好的效果,對(duì)檢測(cè)出來(lái)的鳥(niǎo)類(lèi)進(jìn)行計(jì)數(shù)后便可以作為驅(qū)鳥(niǎo)器是否啟動(dòng)的重要判斷條件。

表3 實(shí)驗(yàn)測(cè)試結(jié)果

圖7 輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)示意圖

在現(xiàn)實(shí)場(chǎng)景中,由于大風(fēng)、下雨、下雪和大霧等天氣影響,會(huì)導(dǎo)致監(jiān)控裝置采集到的圖片質(zhì)量嚴(yán)重下降。為進(jìn)一步驗(yàn)證模型在極端天氣下的表現(xiàn),選取一些存在極端情況下的圖片進(jìn)行檢測(cè),隨機(jī)抽取部分具有代表性的檢測(cè)結(jié)果如圖8～圖10所示。

圖8 雨中檢測(cè)示意圖

圖9 霧中檢測(cè)示意圖

圖10 設(shè)備抖動(dòng)檢測(cè)示意圖

圖8為下雨場(chǎng)景,經(jīng)過(guò)測(cè)試,下雨場(chǎng)景對(duì)該模型影響不大,準(zhǔn)確度并沒(méi)有明顯下降。圖9為大霧場(chǎng)景,大霧天氣對(duì)檢測(cè)效果有一定影響,個(gè)別鳥(niǎo)過(guò)于融入霧中導(dǎo)致無(wú)法檢測(cè)出來(lái)。由于大風(fēng)監(jiān)控裝置抖動(dòng),導(dǎo)致采集的圖片模糊,如圖10所示,對(duì)于小幅度抖動(dòng)不會(huì)影響檢測(cè)效果,但是抖動(dòng)幅度過(guò)大將影響模型檢測(cè)效果。綜上所述,因?yàn)闃O端天氣在實(shí)際情況中為少數(shù),且只有濃霧和大幅度抖動(dòng)會(huì)影響模型檢測(cè)效果,對(duì)于檢測(cè)后計(jì)數(shù)和啟動(dòng)驅(qū)鳥(niǎo)器閾值的影響在可接受范圍內(nèi)。

2.5 性能對(duì)比

為測(cè)評(píng)該模型的性能,本文對(duì)比了目前比較流行的目標(biāo)檢測(cè)模型:Faster R-CNN和SSD。運(yùn)用相同的策略和數(shù)據(jù)集訓(xùn)練模型,并從測(cè)試集中隨機(jī)抽取200張圖片進(jìn)行測(cè)試,每種模型進(jìn)行5次測(cè)試并對(duì)結(jié)果求平均,以準(zhǔn)確率和每識(shí)別一張圖片所用的平均時(shí)間作為檢測(cè)效果的評(píng)價(jià)指標(biāo),結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果對(duì)比

由實(shí)驗(yàn)結(jié)果可知,在準(zhǔn)確率方面,Faster R-CNN算法最高,達(dá)到了89.73%,YOLO v3的準(zhǔn)確率為86.75%,雖然檢測(cè)準(zhǔn)確率低于Faster R-CNN,但是檢測(cè)速度比Faster R-CNN算法快134倍,對(duì)于輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)這一實(shí)時(shí)檢測(cè)任務(wù),使用YOLO v3較為合適。對(duì)于SSD算法來(lái)說(shuō),檢測(cè)準(zhǔn)確率和檢測(cè)所需時(shí)間都略遜于YOLO v3。因此,基于YOLO v3的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)模型可以較好地完成鳥(niǎo)類(lèi)檢測(cè)任務(wù),同時(shí)為制定啟動(dòng)驅(qū)鳥(niǎo)器策略起到重要支撐作用。

3 結(jié)束語(yǔ)

本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)YOLO v3算法的輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)方法。運(yùn)用輸電線(xiàn)路上監(jiān)控裝置采集的圖像訓(xùn)練模型,實(shí)現(xiàn)對(duì)輸電線(xiàn)路附近鳥(niǎo)類(lèi)的檢測(cè),從而控制驅(qū)鳥(niǎo)器的啟停時(shí)間,在節(jié)能環(huán)保的同時(shí),達(dá)到保護(hù)輸電線(xiàn)路并保證電網(wǎng)運(yùn)行安全的效果。實(shí)驗(yàn)結(jié)果表明,與SSD算法、Faster R-CNN算法相比,YOLO v3算法具有較快的檢測(cè)速度,在雨霧等惡劣天氣的影響下能夠基本滿(mǎn)足輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)任務(wù)所需的準(zhǔn)確性和實(shí)時(shí)性要求。但是對(duì)于姿態(tài)多變的鳥(niǎo)類(lèi)圖像存在漏檢的現(xiàn)象,還需要完善數(shù)據(jù)集并優(yōu)化算法,以盡量避免漏檢,從而提升輸電線(xiàn)路鳥(niǎo)類(lèi)檢測(cè)的準(zhǔn)確率。