多旋翼無(wú)人機(jī)巡檢圖像的部件識(shí)別應(yīng)用

羅藝，王乾龍，晏凱

（云南電網(wǎng)有限責(zé)任公司曲靖供電局，云南 曲靖 655000）

0 前言

電力巡線(xiàn)無(wú)人機(jī)有廣闊的應(yīng)用前景。一方面，無(wú)人機(jī)巡線(xiàn)具有野外作業(yè)風(fēng)險(xiǎn)低、成本低以及作業(yè)靈活的特點(diǎn)；另一方面，產(chǎn)生的海量數(shù)據(jù)需要經(jīng)過(guò)人工判讀才能得到最終的巡檢報(bào)告，因此采用圖像識(shí)別的方法對(duì)這些數(shù)據(jù)進(jìn)行部件檢測(cè)識(shí)別具有十分重要的意義。與傳統(tǒng)的小部件識(shí)別相比，無(wú)人機(jī)巡檢得到的圖像具有背景復(fù)雜、小部件與背景對(duì)比度低、不同地區(qū)不同季節(jié)背景差異較大、存在大量干擾等難題。傳統(tǒng)的電力部件識(shí)別算法主要采用人工設(shè)計(jì)的特征，如SIFT(Scal invariant feature transform)[1]、邊緣檢測(cè)[2]、HOG(Histogram of Oriented Gridients)等，不能很好地適用于電力部件，采用的分割算法主要基于部件外圍輪廓骨架[3]、自適應(yīng)閾值[4]等進(jìn)行圖像分割[5]。但這些方法在設(shè)計(jì)原則上往往是基于特定類(lèi)別來(lái)實(shí)現(xiàn)的，其準(zhǔn)確率低，不具有可擴(kuò)展性；而且方法結(jié)構(gòu)松散，缺少對(duì)低層特征進(jìn)行綜合利用進(jìn)而達(dá)到全局最優(yōu)識(shí)別的目的。但這些方法尚不具備隨樣本數(shù)量增多提升識(shí)別準(zhǔn)確率的能力。

2012 年起，深度學(xué)習(xí)引起了廣泛關(guān)注，并在圖像識(shí)別與檢測(cè)中取得了良好的識(shí)別效果。本文研究了深度學(xué)習(xí)在電力部件識(shí)別中的應(yīng)用，以及采用優(yōu)化算法對(duì)參數(shù)進(jìn)行調(diào)優(yōu)，并比較了DPM、RCNN(Regionbased Convolutional Neural Network)[6]的SPPnet(Spatial pyramid poolingnetworks)[7]和Faster R-CNN[8]算法，針對(duì)電力小部件識(shí)別問(wèn)題分析了不同算法的效果和性能。

1 經(jīng)典DPM方法和RCNN

對(duì)于目標(biāo)識(shí)別主要包括目標(biāo)位置的確定和目標(biāo)類(lèi)別的判別。根據(jù)確定目標(biāo)位置的方式不同，可以分為2 類(lèi)：

1）采用滑動(dòng)窗口的方式，逐窗口判斷是否存在目標(biāo)對(duì)象；

2）采用區(qū)域提議的方式，先集中生成可能包含目標(biāo)對(duì)象的區(qū)域框，再逐一判斷每個(gè)候選框是否包含目標(biāo)對(duì)象?；瑒?dòng)窗口方式識(shí)別方法的典型算法是可變形部件模型DPM；區(qū)域提議方式識(shí)別的典型算法是基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)RCNN。

1.1 可變形部件模型

可 變 形 部 件 模 型DPM 方 法 是 由P.Felzenszwalb 提出的經(jīng)典目標(biāo)識(shí)別算法。在檢測(cè)階段，DPM 在圖像特征金字塔上作為一個(gè)滑動(dòng)窗口運(yùn)行，圖像特征金字塔通常由HOG 特征建立。DPM 通過(guò)優(yōu)化一個(gè)綜合部件變形代價(jià)函數(shù)和圖像匹配得分的得分函數(shù)來(lái)給每個(gè)滑動(dòng)窗口賦予一個(gè)得分。

1.2 區(qū)域提議卷積神經(jīng)網(wǎng)絡(luò)

Ross 等2014 年提出的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)方法RCNN，成為基于區(qū)域提議方式進(jìn)行識(shí)別的典型方案。在檢測(cè)階段，RCNN 分為4個(gè)步驟：

1）使用視覺(jué)方法( 如Selective Search) 生成大量候選區(qū)域；

2）對(duì)每個(gè)候選區(qū)域用CNN 進(jìn)行特征提取，形成高維特征向量；

3）將這些特征量送入一個(gè)線(xiàn)性分類(lèi)器計(jì)算屬于某個(gè)類(lèi)別的概率，用于判斷所包含對(duì)象；

4）對(duì)目標(biāo)外圍框的位置和大小進(jìn)行一個(gè)精細(xì)的回歸。

與DPM 使用滑動(dòng)窗口進(jìn)行遍歷搜索的方式相比，RCNN 第一步的區(qū)域提議是選擇性搜索，使用得分最高的前2000 個(gè)區(qū)域可以有效減少后面特征提取的計(jì)算量，能很好地應(yīng)對(duì)尺度問(wèn)題；CNN 在實(shí)現(xiàn)上采用GPU 進(jìn)行并行計(jì)算，計(jì)算效率明顯優(yōu)于DPM 方法( 實(shí)現(xiàn)上采用單CPU計(jì)算)；外圍框回歸使目標(biāo)定位的精確性進(jìn)一步提升。在訓(xùn)練階段，RCNN 也有4 個(gè)步驟：

1）使用選擇性搜索集中生成每張圖片的候選區(qū)域，并對(duì)每個(gè)候選區(qū)域用CNN 提取特征，本文CNN 采用的是訓(xùn)練好的ImageNet 網(wǎng)絡(luò)；

2）利用候選區(qū)域和提取出的特征對(duì)ImageNet 網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，調(diào)優(yōu)依據(jù)標(biāo)準(zhǔn)的反向傳播算法進(jìn)行，從特征層開(kāi)始向后調(diào)整各層權(quán)重；

3）以特征層輸出的高維特征向量和目標(biāo)類(lèi)別標(biāo)簽為輸入，訓(xùn)練支持向量機(jī)；

4）訓(xùn)練對(duì)目標(biāo)外圍框位置和大小進(jìn)行精細(xì)回歸的回歸器。

RCNN 方法在準(zhǔn)確率和效率上遠(yuǎn)遠(yuǎn)超過(guò)DPM 方法，成為基于深度學(xué)習(xí)進(jìn)行識(shí)別的典型方案。2014 年和2015 年，Ross 和微軟亞洲研究院的研究者陸續(xù)提出了改進(jìn)的RCNN 方法[9]：SPPnet 首次引入空間金字塔池化層從而放寬了對(duì)輸入圖片尺寸限制并提高準(zhǔn)確率；Fast-RCNN 采用自適應(yīng)尺度池化能夠?qū)φ麄€(gè)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)從而提高深層網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率；Faster R-CNN 通過(guò)構(gòu)建精巧的區(qū)域提議網(wǎng)絡(luò)來(lái)代替時(shí)間開(kāi)銷(xiāo)大的選擇性搜索方法，從而打破了計(jì)算區(qū)域提議時(shí)間開(kāi)銷(xiāo)大的瓶頸問(wèn)題，使實(shí)時(shí)識(shí)別成為可能。本文主要研究了利用Faster R-CNN方法對(duì)電力部件進(jìn)行識(shí)別。

2 電力部件識(shí)別定位

與SPPNet 和Fast-RCNN 相比，F(xiàn)aster R-CNN方法既突破了計(jì)算區(qū)域提議的時(shí)間瓶頸，又能保證理想的識(shí)別率。因此，本文以Faster R-CNN識(shí)別方法為主，提取電力小部件的識(shí)別特征并進(jìn)行目標(biāo)識(shí)別驗(yàn)證。

2.1 電力部件識(shí)別的網(wǎng)絡(luò)訓(xùn)練

Faster R-CNN 方法包含2 個(gè)CNN 網(wǎng)絡(luò)：區(qū)域提議網(wǎng)絡(luò)RPN(Regional Proposal Network)和Fast R-CNN 檢測(cè)網(wǎng)絡(luò)。訓(xùn)練階段的主要步驟如圖1 所示。對(duì)RPN 網(wǎng)絡(luò)和Fast-RCNN 檢測(cè)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練，如圖2 所示。

2.1.1 預(yù)訓(xùn)練CNN模型

RPN 網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)都需要對(duì)預(yù)訓(xùn)練的Image Net 網(wǎng)絡(luò)進(jìn)行初始化，通常采用的網(wǎng)絡(luò)主要 有ZFnet 網(wǎng) 絡(luò)(Zeilerand Fergus) 和VGG16網(wǎng)絡(luò)。因本文數(shù)據(jù)集規(guī)模較小，故選用ZFnet網(wǎng)絡(luò)。ZFnet 包含5 個(gè)卷積層，有些卷積層后面添加池化層和3 個(gè)完全連接的特征層。利用ILSVRC 2012 圖像分類(lèi)任務(wù)中的訓(xùn)練數(shù)據(jù)(120萬(wàn)張圖像，l000 類(lèi))對(duì)ZFnet 模型進(jìn)行預(yù)訓(xùn)練。區(qū)域提議網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)都是在ZFnet 輸出后添加特定的層得到。這些特定層可以對(duì)輸入圖片提取可能含有目標(biāo)的區(qū)域，并計(jì)算出以該區(qū)域?yàn)槟繕?biāo)的概率。

圖1 部件識(shí)別的聯(lián)合網(wǎng)絡(luò)訓(xùn)練過(guò)程

圖2 網(wǎng)絡(luò)訓(xùn)練過(guò)程示意圖

ZFnet 的最后一個(gè)卷積層( 即第5 個(gè)卷積層) 包含256 個(gè)通道，被稱(chēng)為特征圖(Feature Map)。特征圖為輸入圖像的深層卷積特征，同類(lèi)物體的深層特征十分接近；而不同類(lèi)物體的深層特征差異很大，即在特征圖上物體具有很好的可分性。

2.1.2 RPN網(wǎng)絡(luò)訓(xùn)練

用電力部件圖像構(gòu)建圖像訓(xùn)練集，但電力部件圖像集與預(yù)訓(xùn)練圖像集無(wú)論是類(lèi)別數(shù)量還是圖像樣式都存在很大的差別。在用電力部件圖像集訓(xùn)練RPN 網(wǎng)絡(luò)時(shí)，直接用上一步預(yù)訓(xùn)練的ZFnet 模型初始化RPN，使用反向傳播算法對(duì)區(qū)域提議網(wǎng)絡(luò)進(jìn)行淵優(yōu)。RPN 網(wǎng)絡(luò)以任意大小的圖像為輸入，之后輸出一系列可能包含目標(biāo)的區(qū)域框。如圖3 所示，在ZFnet 的CONV5后面添加一個(gè)小的卷積層，這個(gè)小的卷積層采用滑動(dòng)方式運(yùn)作，對(duì)于特征圖上的每一個(gè)位置(對(duì)應(yīng)原始圖像上一個(gè)位置)，南小卷積層進(jìn)行卷積運(yùn)算，即在此位置開(kāi)一個(gè)小窗口進(jìn)行卷積運(yùn)算，得到同一個(gè)位置對(duì)應(yīng)的256 維向量( 由于有256 個(gè)通道)，該向量反映了該位置小窗口(對(duì)應(yīng)原始圖像上某一窗口)內(nèi)的深層特征。由這個(gè)256 維的特征向量可以預(yù)測(cè)：①該位置小窗口屬于目標(biāo)／背景的概率值，即得分；②該位置附近包含目標(biāo)的窗口相對(duì)于該位置小窗口的偏差，用4 個(gè)參數(shù)表示，2 個(gè)平移，2 個(gè)放縮。采用3 種不同尺寸和3 種不同比例(1:l，l:2，2:1)組合成的9 種基準(zhǔn)小窗口對(duì)包含目標(biāo)的窗口位置進(jìn)行預(yù)測(cè)，可以使區(qū)域提議更準(zhǔn)確。

圖3 檢測(cè)識(shí)別過(guò)程

2.1.3 Fast R-CNN檢測(cè)網(wǎng)絡(luò)訓(xùn)練

根據(jù)步驟(2) 生成的區(qū)域提議結(jié)果是基于Fast。RCNN 方法訓(xùn)練獨(dú)立的檢測(cè)網(wǎng)絡(luò)，檢測(cè)網(wǎng)絡(luò)也利用ZFnet 預(yù)訓(xùn)練模型初始化。對(duì)輸入圖像進(jìn)行5 層卷積網(wǎng)絡(luò)的特征提取，第5 層特征圖(CONV5) 是一個(gè)256x256 的特征圖，取CONV5 上對(duì)應(yīng)的深度特征，將256 個(gè)通道內(nèi)的全部特征串聯(lián)成一個(gè)高維(4096 維)特征向量，稱(chēng)為FC6 特征層，后面添加另一個(gè)4096 維的特征層，形成FC7，F(xiàn)C6 和FC7 之間采用完全連接。由FC7 特征層可預(yù)測(cè)：①候選區(qū)域框?qū)儆诿總€(gè)類(lèi)別的概率，即得分；②目標(biāo)對(duì)象外圍框的更合適的位置，用它相對(duì)于候選區(qū)域框的2 個(gè)平移和2 個(gè)放縮共4 個(gè)參數(shù)表示。通過(guò)預(yù)先標(biāo)記的信息利用反向傳播算法對(duì)該檢測(cè)網(wǎng)絡(luò)進(jìn)行微調(diào)。

2.1.4 2個(gè)網(wǎng)絡(luò)的CNN共享和聯(lián)合調(diào)優(yōu)

將2 個(gè)網(wǎng)絡(luò)單獨(dú)訓(xùn)練并未實(shí)現(xiàn)卷積網(wǎng)絡(luò)的參數(shù)進(jìn)行共享。利用步驟(3)訓(xùn)練的檢測(cè)網(wǎng)絡(luò)來(lái)初始化RPN 網(wǎng)絡(luò)，并固定共享的深度卷積層，對(duì)RPN 網(wǎng)絡(luò)的特殊部分進(jìn)行調(diào)優(yōu)，為了與檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)，稱(chēng)此部分為RPN 網(wǎng)絡(luò)的FC 層，這樣2 個(gè)網(wǎng)絡(luò)就共享了深度卷積層。最后，固定共享的卷積層，對(duì)Fast R-CNN 的FC 層進(jìn)行調(diào)優(yōu)。這樣2 個(gè)網(wǎng)絡(luò)就共享了卷積層并形成了一個(gè)聯(lián)合的網(wǎng)絡(luò)。

2.2 檢測(cè)識(shí)別過(guò)程

由上面的訓(xùn)練可知，2 個(gè)網(wǎng)絡(luò)最終可共用同一個(gè)5 層的卷積神經(jīng)網(wǎng)絡(luò)，這使整個(gè)檢測(cè)過(guò)程只需完成系列卷積運(yùn)算即可完成檢測(cè)識(shí)別過(guò)程，徹底解決了原來(lái)區(qū)域提議步驟時(shí)間開(kāi)銷(xiāo)大的瓶頸問(wèn)題。檢測(cè)識(shí)別的過(guò)程如圖3 所示，其實(shí)現(xiàn)步驟為：

1) 對(duì)整個(gè)圖像進(jìn)行系列卷積運(yùn)算，得到特征圖CONV5；

2) 由區(qū)域提議網(wǎng)絡(luò)在特征圖上生成大量候選區(qū)域框；

3) 對(duì)候選區(qū)域框進(jìn)行非最大值抑制，保留得分較高的前300 個(gè)框；

4) 提取特征圖上候選區(qū)域框內(nèi)的特征形成高維特征向量，檢測(cè)網(wǎng)絡(luò)計(jì)算類(lèi)別得分，并預(yù)測(cè)更合適的目標(biāo)外圍框位置。

3 結(jié)果與分析

無(wú)人機(jī)拍攝影像具有分辨率較高、包含目標(biāo)較小的特點(diǎn)，拍攝影像的角度具有多樣性和一定隨機(jī)性。本文識(shí)別3 類(lèi)小型電力部件一間隔棒、防震錘和均壓環(huán)。

3.1 訓(xùn)練樣本處理

數(shù)據(jù)集來(lái)源于多旋翼無(wú)人機(jī)巡檢圖像，從季節(jié)上覆蓋了春、夏、秋、冬4 個(gè)季節(jié)。原始影像大小為5184x3456，截取以目標(biāo)為主體的正方形小塊圖像，統(tǒng)一放縮至512x512，作為訓(xùn)練樣本。

表1 訓(xùn)練圖像樣本數(shù)量表

3.2 訓(xùn)練集和測(cè)試集構(gòu)建

本次試驗(yàn)，對(duì)于間隔棒、均壓環(huán)和防震錘的每一類(lèi)部件，分別收集三個(gè)種類(lèi)在春夏秋冬四個(gè)季節(jié)不同背景真實(shí)樣本，分別有2088、2197、2195 張圖片來(lái)構(gòu)筑樣本庫(kù)，樣本分布和數(shù)量如表1 所示。訓(xùn)練測(cè)試數(shù)據(jù)集分布比例按照8:2 隨機(jī)按比例分配。對(duì)訓(xùn)練集中每張圖片里完整出現(xiàn)的沒(méi)有被遮擋的小型電力部件標(biāo)記其外圍框樣本，而對(duì)測(cè)試集，要標(biāo)出每張圖片里出現(xiàn)的所有電力部件，包括不完整的和被遮擋的。

測(cè)試時(shí)，當(dāng)識(shí)別出的外圍框與標(biāo)記的外匍框重疊面積達(dá)到標(biāo)記外框的90%以上時(shí)，視為一次成功識(shí)別。本次試驗(yàn)中，用正確率和召回率來(lái)評(píng)判識(shí)別的準(zhǔn)確性，其中正確率為目標(biāo)類(lèi)別標(biāo)記正確的外同框個(gè)數(shù)除以所有標(biāo)記的外同框個(gè)數(shù)；召回率為目標(biāo)類(lèi)別標(biāo)記正確的外框個(gè)數(shù)除以所有標(biāo)準(zhǔn)的外圍框個(gè)數(shù)。由于本次試驗(yàn)識(shí)別的類(lèi)別僅有3 種類(lèi)型，因此分別對(duì)每一類(lèi)電力部件識(shí)別的正確率和召回率做統(tǒng)計(jì)件。

3.3 實(shí)驗(yàn)結(jié)果

本文使用Caffe 框架實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型。使用3.2 節(jié)構(gòu)建的訓(xùn)練集和測(cè)試集，首先研究了多個(gè)Faster R-CNN 參數(shù)對(duì)mAP( 平均準(zhǔn)確率均值)的影響，然后將Faster R-CNN 方法與基于Selective Search 方法進(jìn)行區(qū)域提議的SPPnet 方法和DPM 方法進(jìn)行對(duì)比。Faster R-CNN 涉及到一些參數(shù)，例如dropout 比例、最大迭代次數(shù)、批處理尺寸、nms(非極大值抑制)前后區(qū)域保留個(gè)數(shù)，這些參數(shù)對(duì)mAP 有較大影響。測(cè)試結(jié)果隨著nms 數(shù)量的減小，mAP也逐漸減小，這是因?yàn)榻?jīng)過(guò)nms 后，保留的候選區(qū)域也隨之減小，導(dǎo)致檢測(cè)結(jié)果準(zhǔn)確度下降。因此較高的nms 可以得到較好的檢測(cè)結(jié)果。

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，當(dāng)dropout 的比例從0.2 增大至0.8 時(shí)，mAP 總體上是下降趨勢(shì)，但是在0.6 時(shí)有一個(gè)最高值。目前并無(wú)相關(guān)理論解釋dropout 對(duì)mAP 的影響，通常取經(jīng)驗(yàn)值。令dropout 取值為0.6，改變nms 前后候選區(qū)域數(shù)量，測(cè)試其對(duì)mAP 的影響，隨著nms 數(shù)量的減小，mAP 也逐漸減小，這是因?yàn)榻?jīng)過(guò)nms 后，保留的候選區(qū)域也隨之減小，導(dǎo)致檢測(cè)結(jié)果準(zhǔn)確度下降。岡此較高的nms 可以得到較好的檢測(cè)結(jié)果。

令nms 前后候選區(qū)域個(gè)數(shù)分別取2000 和300，改變批尺寸，測(cè)試其對(duì)mAP 的影響，結(jié)果如表4 所示。不同的批尺寸得到不同的mAP。隨著批尺寸逐漸變小，mAP 逐漸增大。

表2 不同dropout對(duì)mAP的影響

表3 不同nms數(shù)目對(duì)mAP的影響

表4 不同批尺寸對(duì)mAP的影響

表5 在測(cè)試集上的準(zhǔn)確率召回率對(duì)比

有理論表明，當(dāng)batchsize 為1 時(shí)，優(yōu)化速度最快。根據(jù)mAP 最大時(shí)對(duì)應(yīng)的參數(shù)，對(duì)測(cè)試集使用Faster R-CNN 與SPPnet、DPM 進(jìn)行部件識(shí)別，對(duì)應(yīng)的3 類(lèi)電力部件的正確率和召回率如表5 所示。從表5 可看出，F(xiàn)aster R-CNN方法識(shí)別的準(zhǔn)確率明顯高于SPPnet 和DPM，而DPM 方法準(zhǔn)確率最低。這主要是由于區(qū)域提議網(wǎng)絡(luò)可以產(chǎn)生比SPPnet 更精準(zhǔn)的候選框，而DPM 方法采用滑動(dòng)窗口進(jìn)行檢測(cè)，其特征為HOG 特征，而不是深度訓(xùn)練特征。此外，F(xiàn)aster R-CNN 在網(wǎng)絡(luò)訓(xùn)練的第(2) 步對(duì)全部特征層和卷積層的權(quán)重進(jìn)行調(diào)優(yōu)，而SPPnet 僅調(diào)優(yōu)特征層，從而限制了識(shí)別準(zhǔn)確率。值得注意的是，F(xiàn)aster R-CNN 采用的區(qū)域提議網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)具有很好的泛化能力，能夠識(shí)別出部分被遮擋和中間穿過(guò)鐵桿的間隔棒，且對(duì)各種不同方向的部件都可正確識(shí)別。

4 結(jié)束語(yǔ)

本文在總結(jié)分析當(dāng)前幾種典型的目標(biāo)檢測(cè)識(shí)別方法的基礎(chǔ)上，驗(yàn)證了利用RCNN 等深度學(xué)習(xí)算法對(duì)電力小部件識(shí)別的準(zhǔn)確性和效率，并分析了不同參數(shù)對(duì)Faster R-CNN 檢測(cè)結(jié)果的影響。實(shí)驗(yàn)表明，利用特定的GPU 計(jì)算單元可以實(shí)時(shí)目標(biāo)檢測(cè)和識(shí)別，可為后期無(wú)人機(jī)巡檢圖像的智能化處理及巡檢無(wú)人機(jī)的精確拍攝奠定良好的基礎(chǔ)。

此外，根據(jù)深度學(xué)習(xí)的特點(diǎn)，構(gòu)建更大的樣本庫(kù)可能進(jìn)一步提高準(zhǔn)確率。下一步的工作是構(gòu)建更精細(xì)的識(shí)別類(lèi)別，包括某些部件的缺陷圖像都可看做一種類(lèi)型，這樣不但可以實(shí)現(xiàn)目標(biāo)部件的分類(lèi)，還可實(shí)現(xiàn)部件的缺陷識(shí)別。