基于圖像切片的移動(dòng)端輸電線路鳥類檢測算法研究*

吳 鵬 姜海波 王永強(qiáng) 高 超 孫凌卿 張永澤 王敏鑒 李淵博

（江蘇電力信息技術(shù)有限公司 南京 210000）

1 引言

輸電線路作為電力系統(tǒng)輸電模塊的載體，是供電、用電之間的橋梁［1］，其運(yùn)轉(zhuǎn)的高效、安全與否直接決定著電力系統(tǒng)是否能夠穩(wěn)定運(yùn)行［2］。隨著生態(tài)環(huán)境的不斷改善以及人們對野生動(dòng)物保護(hù)意識(shí)的增強(qiáng)，鳥類數(shù)量逐漸增加，鳥類活動(dòng)也更加頻繁，而且輸電線路大部分架設(shè)在野外環(huán)境，因此由鳥類引發(fā)的輸電線路跳閘事故也在不斷增加［3～4］。據(jù)統(tǒng)計(jì)資料表明，由于鳥類活動(dòng)引起的線路故障僅次于雷害和外力破壞，占線路故障總數(shù)的第三位，已經(jīng)嚴(yán)重危害了輸電線路的安全運(yùn)行［5～6］。因此，輸電線路鳥害問題亟待解決。

傳統(tǒng)的驅(qū)鳥方式多采用安裝防鳥刺、防鳥擋板，使用驅(qū)鳥劑等方法［7～8］，這些方法不僅需要大量的人力物力，而且效果并不是很好。隨著深度學(xué)習(xí)的興起，研究人員將其思想應(yīng)用于目標(biāo)檢測，由于深度學(xué)習(xí)提取的深度特征更加準(zhǔn)確并且表達(dá)能力更強(qiáng)，因而取得了很好的檢測效果［9］。因此，采用深度學(xué)習(xí)的方法對輸電線路鳥類進(jìn)行檢測，根據(jù)檢測結(jié)果啟動(dòng)驅(qū)鳥器，在節(jié)省人力成本的同時(shí)又能精準(zhǔn)、高效地解決輸電線路的鳥害問題。

但是輸電線路鳥類檢測是一個(gè)典型的實(shí)時(shí)小目標(biāo)檢測任務(wù)，為了減少圖像傳輸?shù)街醒敕?wù)器過程中因網(wǎng)絡(luò)問題帶來的不可靠性和時(shí)延性，本文的鳥類檢測任務(wù)在移動(dòng)終端內(nèi)實(shí)現(xiàn)。目前針對小目標(biāo)檢測問題，深度學(xué)習(xí)大多是通過結(jié)合不同層級特征的方式來實(shí)現(xiàn)［10～11］，但是該方法會(huì)額外增加大量的計(jì)算資源，與任務(wù)的實(shí)時(shí)檢測目的相違背，此外，目標(biāo)檢測任務(wù)包括檢測框預(yù)測和檢測框分類，其深度學(xué)習(xí)模型結(jié)構(gòu)較大，需要大量的計(jì)算資源，很難在移動(dòng)端進(jìn)行應(yīng)用［12～13］。然而對于輸電線路驅(qū)鳥任務(wù)來說，任務(wù)的關(guān)鍵是檢測輸電線路是否存在鳥，并根據(jù)檢測結(jié)果啟動(dòng)驅(qū)鳥器。因此，本文將輸電線路鳥類檢測任務(wù)轉(zhuǎn)化為分類任務(wù)，減少模型計(jì)算量，從而可將其應(yīng)用于移動(dòng)端?；诖?，本文提出了一種基于圖像切片的移動(dòng)端輸電線路鳥類檢測算法，該算法首先對采集到的輸電線路圖像進(jìn)行切片，然后采用ResNet18識(shí)別每張切片是否有鳥，并根據(jù)檢測結(jié)果啟動(dòng)驅(qū)鳥器。與直接采用原圖進(jìn)行ResNet18識(shí)別相比，切片會(huì)增加小目標(biāo)即鳥類的語義信息，可以有效提高識(shí)別的精度。本算法可實(shí)現(xiàn)在檢測到有一定數(shù)目鳥類活動(dòng)時(shí)啟動(dòng)驅(qū)鳥器對輸電線路上的鳥進(jìn)行驅(qū)趕，節(jié)約能源的同時(shí)實(shí)時(shí)、高效地解決了輸電線路的鳥害問題，具有良好的應(yīng)用前景。

2 研究內(nèi)容

2.1 基于圖像切片的移動(dòng)端鳥類檢測模型介紹

本文提出的基于圖像切片的移動(dòng)端輸電線路鳥類檢測模型的總體流程如圖1所示。

由圖1可看出，本算法的具體步驟如下：

圖1 鳥類檢測模型總體流程圖

1）建立比對模板庫。比對模板庫是特定場景特定時(shí)間不存在鳥的現(xiàn)場圖片，因?yàn)橛糜诒O(jiān)控鳥類的攝像頭是安裝在不同線路桿塔上的，因此每個(gè)攝像頭都需要維護(hù)一套獨(dú)立的模板庫。此外，由于從早晨到晚上的光照變化，反映在圖像上是圖像色彩、亮度的變化，因此需要在不同的時(shí)間段設(shè)置不同的對比模板。同時(shí)，由于本算法的主要思想是對圖片進(jìn)行切片，然后針對切片進(jìn)行鳥類識(shí)別，因此不僅原圖需要對比模板，而且切片也應(yīng)該設(shè)置對應(yīng)的對比模板。綜上所述，比對模板庫包括兩類模板：原圖比對模版和切片比對模版，每類模板還應(yīng)根據(jù)光照變化設(shè)置不同的模板圖片。

2）圖像采集。由安裝在不同桿塔的固定位置的攝像頭以固定時(shí)間間隔拍攝現(xiàn)場圖像，每次采集的圖像作為鳥類檢測算法的輸入信息，以判斷該圖像中是否存在鳥。

3）原圖對比。圖像采集完成后，為了加快鳥類檢測中無鳥的識(shí)別效率，首先通過編碼標(biāo)識(shí)在比對模板庫中查詢到該時(shí)段的模板原圖，將采集到的實(shí)時(shí)圖像與模板原圖進(jìn)行對比，兩張圖像差值計(jì)算的方法是計(jì)算所有像素點(diǎn)的像素值差值的均值，經(jīng)實(shí)驗(yàn)得出，差值閾值為0.1時(shí)效果最好，如果兩者的差值大于閾值0.1，則進(jìn)行步驟4），否則，認(rèn)為該時(shí)間段輸電線路上沒有鳥，不啟動(dòng)驅(qū)鳥器。

4）原圖切片。由于移動(dòng)端計(jì)算資源較少，因此本文采用對切片進(jìn)行圖像分類代替對原圖的目標(biāo)檢測，因此該步驟需要對圖像進(jìn)行切片，即把原圖劃分成更小的區(qū)域。當(dāng)原圖和模板的差值小于閾值時(shí)，則可認(rèn)為原圖中可能存在鳥，為了定位引起相似度變化的區(qū)域，將實(shí)時(shí)圖像按n×n等分進(jìn)行切片處理。經(jīng)實(shí)驗(yàn)驗(yàn)證，將實(shí)時(shí)圖像按6×6等分進(jìn)行切片處理時(shí)，實(shí)驗(yàn)效果最好。輸電線路實(shí)時(shí)圖像切片處理的結(jié)果如圖2所示。

圖2 經(jīng)切片處理的輸電線路實(shí)時(shí)圖像

5）選擇分塊。用滑動(dòng)窗口的方式，以切片為單位，逐個(gè)選取每個(gè)切片進(jìn)行步驟6）的處理。如果所有切片都已選擇完成，則認(rèn)為該圖像沒有鳥，不啟動(dòng)驅(qū)鳥器。

6）分塊對比。以切片為單位，查詢對應(yīng)的模板原圖切片，進(jìn)行切片之間的差值計(jì)算，計(jì)算方式和步驟3）保持一致，如果兩者的差值大于閾值0.1，則認(rèn)為該切片變化明顯，進(jìn)行步驟7），反之進(jìn)行步驟5）。

7）鳥類識(shí)別。若切片與模板的差值大于閾值，則該切片中包含鳥類的可能性很高，需要采用深度學(xué)習(xí)算法對該切片進(jìn)一步識(shí)別。本文采用輕量級的訓(xùn)練好的深度學(xué)習(xí)分類模型ResNet18對該切片進(jìn)行類別預(yù)測，如果分類結(jié)果為存在鳥類，則啟動(dòng)驅(qū)鳥器，如果分類結(jié)果為沒鳥，則進(jìn)行步驟5）。

2.2 輕量級分類模型ResNet18介紹

ResNet分類網(wǎng)絡(luò)始提于2015年，是當(dāng)前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)，其主要思想是在網(wǎng)絡(luò)中增加了直連通道，即Highway Network的思想［14］。此前的網(wǎng)絡(luò)結(jié)構(gòu)是對輸入直接進(jìn)行非線性變換，而Highway Network則允許保留之前網(wǎng)絡(luò)層的一定比例的輸出［15］。

ResNet又稱為“殘差網(wǎng)絡(luò)”，其主要是在網(wǎng)絡(luò)中使用了大量的殘差模塊作為網(wǎng)絡(luò)的基本組成部分，殘差模塊如圖3所示。

圖3 ResNet的殘差學(xué)習(xí)模塊

由圖3可以看到，殘差網(wǎng)絡(luò)與傳統(tǒng)的網(wǎng)絡(luò)相比，最大的變化是加入了一個(gè)恒等映射層y=x層，其最主要的作用是使得網(wǎng)絡(luò)隨著深度的增加不會(huì)產(chǎn)生權(quán)重衰減和梯度衰減或者消失這些問題。上圖中，F(xiàn)(x)表示的是殘差，F(xiàn)(x)+x是最終的映射輸出，設(shè)深度網(wǎng)絡(luò)中某隱含層為H(x)-x→F(x)，如果假設(shè)多個(gè)非線性組合可以近似于一個(gè)復(fù)雜函數(shù)，那么也同樣可以假設(shè)隱含層的殘差近似于某個(gè)復(fù)雜函數(shù)。因此可以得到網(wǎng)絡(luò)的最終輸出為H(x)=F(x)+x，而由于網(wǎng)絡(luò)框架中有兩個(gè)卷積層和兩個(gè)ReLU函數(shù)，因此最終的輸出結(jié)果可以表示為

其中H1(x)是第一層的輸出，H2(x)是第二層的輸出。

ResNet網(wǎng)絡(luò)一經(jīng)提出，就因其巧妙的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)以及極高的識(shí)別精度吸引了眾多學(xué)者的注意，因此很多實(shí)驗(yàn)都開始采用ResNet作為backbone network，例如Faster rcnn［16］、Mask rcnn［17］等，其已成為在高性能服務(wù)器上進(jìn)行特征提取的標(biāo)桿網(wǎng)絡(luò)。但是，由于ResNet的網(wǎng)絡(luò)層數(shù)很深，計(jì)算量很大，因此無法在移動(dòng)端直接使用。不過ResNet論文也提出了一種輕量級的模型ResNet18，其有自己獨(dú)特的殘差結(jié)構(gòu)，可以在損失一定精度的情況下運(yùn)行在移動(dòng)端，因此本文使用訓(xùn)練好的深度學(xué)習(xí)分類模型ResNet18對輸電線路圖像的切片進(jìn)行類別預(yù)測，其具體的殘差學(xué)習(xí)模塊如圖4所示。

圖4 ResNet18的殘差學(xué)習(xí)模塊

ResNet18的結(jié)構(gòu)組成如表1所示。

表1 ResNet18結(jié)構(gòu)組成

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本文采用的數(shù)據(jù)集由安裝在江蘇地區(qū)輸電線路桿塔上固定位置的攝像頭進(jìn)行采集，共8000張來自8個(gè)不同位置的攝像頭采集的圖像，圖像分辨率為1920×1080像素。在實(shí)際場景中雨天、霧天、雪天等特殊天氣、太陽日照情況及四季變化等自然因素會(huì)對模型訓(xùn)練和檢測效果產(chǎn)生一定影響，因此在制作數(shù)據(jù)集時(shí)，需要考慮上述自然條件的變化，因此按照不同時(shí)間段、不同季節(jié)、不同天氣情況以及不同地點(diǎn)合理地制作數(shù)據(jù)集，同時(shí)為了訓(xùn)練模型具有較好的魯棒性，在數(shù)據(jù)集中加入一些來自網(wǎng)絡(luò)的鳥類圖像。

實(shí)驗(yàn)所使用的硬件環(huán)境如表2所示，此外軟件環(huán)境為Ubuntu16.04、Python、TensorFlow、TFrecords等。

表2 實(shí)驗(yàn)硬件環(huán)境配置

3.2 模型訓(xùn)練

在進(jìn)行模型訓(xùn)練前，需要對數(shù)據(jù)集進(jìn)行預(yù)處理，在模型中進(jìn)行識(shí)別圖像為切片后圖像，因此將每張1920×1080像素的圖像用6×6的網(wǎng)格劃分為36張像素為320×180像素的圖像，共得到288000張圖像，再從中隨機(jī)等比例的選出正負(fù)樣本圖片8000張，按7∶1的比例劃分為訓(xùn)練集和測試集，即7000張訓(xùn)練集，1000張測試集，同時(shí)對圖片進(jìn)行標(biāo)注。

在模型訓(xùn)練中，超參數(shù)的設(shè)置對模型效果有著很大的影響，在經(jīng)過多次調(diào)整后，設(shè)置批次大小為64，初始學(xué)習(xí)率為0.001，為了防止網(wǎng)絡(luò)陷入局部最小，學(xué)習(xí)率隨著訓(xùn)練逐步減少，學(xué)習(xí)率最終值是0.0001，迭代次數(shù)為10000次，訓(xùn)練過程中l(wèi)oss值的變化如圖5所示。

圖5 loss值變化曲線圖

由圖5可知，模型迭代到4000次時(shí)開始收斂，在6000次左右loss值穩(wěn)定在0.3左右，不再有明顯的變化，所以本實(shí)驗(yàn)選取迭代次數(shù)為6000次的模型進(jìn)行測試。

3.3 模型測試及效果

為了進(jìn)一步驗(yàn)證模型的性能，本實(shí)驗(yàn)中用精確率（Precision）和召回率（Recall）作為模型評價(jià)指標(biāo)。從測試集中隨機(jī)抽取500張圖片進(jìn)行10次測試，并計(jì)算精確率和召回率，結(jié)果如表3所示。

表3 測試實(shí)驗(yàn)結(jié)果

從測試結(jié)果可知，該模型具有較好的穩(wěn)定性、實(shí)時(shí)性及準(zhǔn)確性，精確率在97%左右小幅波動(dòng)，綜上所述該模型達(dá)到了應(yīng)用于輸電線路鳥類檢測任務(wù)的準(zhǔn)確性要求。

最后，對輸電線路鳥類檢測模型進(jìn)行測試，該模型部署在驅(qū)鳥器嵌入式主板上，硬件參數(shù)為CPU：聯(lián)發(fā)科MT6750CT 8核心ARM A53 1.5Hz，內(nèi)存：4GB LPDDR3 667MHz，存儲(chǔ)：16GB eMMC5.1，操作系統(tǒng)：Android 7.0。在實(shí)驗(yàn)中，采用來自8個(gè)不同位置的攝像頭在實(shí)際場景中采集的視頻數(shù)據(jù)進(jìn)行測試，圖像抽取間隔為2min，經(jīng)測試模型平均精度達(dá)到85%，一張分辨率為1920×1080像素的圖片的平均檢測時(shí)間為9.7s，其中精度降低主要是由于數(shù)據(jù)集的內(nèi)容及圖像差值計(jì)算算法的影響。由實(shí)驗(yàn)可知，本文提出的輸電線路鳥類檢測模型，可以滿足輸電線路鳥類檢測任務(wù)所需的準(zhǔn)確性和實(shí)時(shí)性要求。

4 結(jié)語

針對輸電線路的鳥害問題，本文提出了一種基于圖像切片的移動(dòng)端鳥類檢測算法。為了實(shí)現(xiàn)移動(dòng)端的鳥類識(shí)別，首先采用對比算法篩選出可能包含鳥的圖像，然后對這些圖像進(jìn)行切片，對切片先采用對比算法篩選可能有鳥的切片，然后再對這些切片采用ResNet18進(jìn)行識(shí)別，降低了檢測時(shí)間，提高了檢測精度，從實(shí)驗(yàn)結(jié)果可知，ResNet18分類模型在輸電線路鳥類檢測任務(wù)中有著較好的準(zhǔn)確性和穩(wěn)定性。同時(shí)，本文提出的輸電線路鳥類檢測模型可運(yùn)行在移動(dòng)端嵌入式主板中，實(shí)現(xiàn)了鳥的實(shí)時(shí)檢測，避免了數(shù)據(jù)傳輸帶來的時(shí)延影響，具有較好的準(zhǔn)確性和實(shí)時(shí)性，滿足輸電線路鳥類檢測任務(wù)所需的基本要求。