基于遷移學(xué)習(xí)和R-FCN的電力設(shè)備紅外圖像識(shí)別算法*

王 勛， 毛華敏， 李唐兵， 曾 晗， 程宏波

(1.華東交通大學(xué) 電氣與自動(dòng)化工程學(xué)院，江西 南昌 330013；2.國(guó)網(wǎng)江西省電力有限公司電力科學(xué)研究院，江西 南昌 330096)

0 引 言

利用紅外熱像儀采集電力設(shè)備紅外圖像進(jìn)行設(shè)備的故障診斷是一種運(yùn)用廣泛且行之有效的方法[1]，利用現(xiàn)場(chǎng)獲取的電力設(shè)備紅外圖像進(jìn)行圖像處理，診斷設(shè)備的故障狀態(tài)、確定設(shè)備的故障區(qū)域[2]。這種方法高度依賴人工經(jīng)驗(yàn)，效率低下，誤判率高。隨著檢測(cè)技術(shù)的發(fā)展，可以依靠計(jì)算機(jī)對(duì)海量的電力設(shè)備紅外圖像進(jìn)行分析，從中對(duì)電力設(shè)備進(jìn)行識(shí)別和定位,為后續(xù)電力設(shè)備故障診斷提供可靠依據(jù)[3]。

研究者已提出了多種電力設(shè)備紅外圖像的自動(dòng)識(shí)別方法。文獻(xiàn)[4]采用Zernike不變矩來(lái)提取變電站設(shè)備紅外圖像的特征，利用支持向量機(jī)(support vector machine,SVM)構(gòu)造分類器，對(duì)變電站設(shè)備紅外圖像進(jìn)行分類，具有人為選擇計(jì)算特征的缺陷。近年來(lái), 圖像識(shí)別[5]領(lǐng)域最著名的方法是深度學(xué)習(xí)方法。常見(jiàn)的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法包括有(region-based fully convolutional networks，R-CNN)[6],YOLO[7],Fast R-CNN[8],SSD[9]等。2017年，文獻(xiàn)[10]利用R-CNN算法對(duì)電力設(shè)備進(jìn)行識(shí)別，驗(yàn)證了利用深度學(xué)習(xí)算法可以對(duì)高壓電線路小部件進(jìn)行目標(biāo)檢測(cè)和識(shí)別；文獻(xiàn)[11,12]提出了一種結(jié)合CNN和隨機(jī)森林的電力系統(tǒng)關(guān)鍵電力設(shè)備圖像識(shí)別方法，這種方法由于CNN算法的局限性，檢測(cè)圖像大小必須為正方形，這極大影響到形狀復(fù)雜的電力設(shè)備的定位。

本文以避雷器、斷路器、電壓互感器和電流互感器4種設(shè)備為例進(jìn)行電力設(shè)備的自動(dòng)識(shí)別研究。制作了避雷器、斷路器、電壓互感器和電流互感器的紅外圖像數(shù)據(jù)集；對(duì)R-FCN[14],Faster RCNN[15],RON[16]和SSD等4種算法的檢測(cè)效果進(jìn)行對(duì)比；將Imagenet數(shù)據(jù)集的預(yù)訓(xùn)練模型的權(quán)重作為初始參數(shù)，訓(xùn)練基于遷移學(xué)習(xí)和R-FCN的電力設(shè)備紅外圖像識(shí)別模型；結(jié)合Resnet101網(wǎng)絡(luò)和在線難例挖掘(online hard example mining,OHEM)等優(yōu)化方法，提出一種改進(jìn)的電力設(shè)備識(shí)別方法。將本文算法與傳統(tǒng)算法進(jìn)行對(duì)比，識(shí)別精度得到很大提升。所提方法可應(yīng)用于變電站電力設(shè)備紅外圖像識(shí)別，為后續(xù)電力設(shè)備故障診斷提供可靠依據(jù)。

1 遷移學(xué)習(xí)與R-FCN算法

1.1 遷移學(xué)習(xí)原理

遷移學(xué)習(xí)[13]是機(jī)器學(xué)習(xí)的一個(gè)分支，傳統(tǒng)的機(jī)器學(xué)習(xí)方法要求：1)訓(xùn)練數(shù)據(jù)樣本和測(cè)試數(shù)據(jù)樣本服從相同的特征分布；2)訓(xùn)練數(shù)據(jù)足夠多，這樣才能得到一個(gè)精度較高的模型。而遷移學(xué)習(xí)的應(yīng)用可以放寬這兩個(gè)要求。遷移學(xué)習(xí)利用數(shù)據(jù)、任務(wù)和模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過(guò)的模型應(yīng)用于新領(lǐng)域的學(xué)習(xí)過(guò)程[17,18]，從而顯著降低深度學(xué)習(xí)所需的硬件資源。遷移學(xué)習(xí)可定義為

D(s)={χ,P(χ)},D(t)={χ,P(χ)}

(1)

式中D(s)為源領(lǐng)域，D(t)為目標(biāo)領(lǐng)域，χ為域的特征空間，P(χ)為特征空間對(duì)應(yīng)的邊緣概率分布。

1.2 R-FCN圖像識(shí)別算法

首先，輸入采集的電力設(shè)備紅外圖像；將整張電力設(shè)備紅外圖像輸入CNN，提取整張紅外圖像的卷積特征圖；然后，利用卷積特征圖和區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)生成建議(proposals)窗口，送入后面的感興趣區(qū)域(region of interest,ROI)子網(wǎng)；將全卷積層的特征圖與多層卷積核做運(yùn)算，生成位置敏感的分?jǐn)?shù)圖(scores map)，將ROI和Score Maps輸入后面的SoftMax層進(jìn)行投票(Vote)，定位和識(shí)別出的物體位置和類別。R-FCN算法框架流程圖如圖1所示。

圖1 R-FCN算法框架流程框圖

1.2.1 RPN

RPN原理與經(jīng)典算法Faster RCNN 的RPN原理相同。RPN的輸入為卷積特征圖，根據(jù)Anchor機(jī)制，針對(duì)每個(gè)錨點(diǎn)生成9個(gè)大小不同的矩形框。利用極大值抑制法(NMS)等方法篩選出得分最高的前300個(gè)ROI，將這些經(jīng)過(guò)初步篩選出來(lái)的預(yù)選框送到后續(xù)ROI子網(wǎng)中。在RPN中采用OHEM方法可以大大提高初步篩選的ROI的精度。

1.2.2 ROI子網(wǎng)

ROI子網(wǎng)的作用是修正從RPN中得到的ROI的定位，以期實(shí)現(xiàn)電力設(shè)備的準(zhǔn)確識(shí)別定位。

RPN篩選出尺寸為w×h的ROI，被分割成k×k個(gè)部分(bin)，與k2(c+1)個(gè)卷積核進(jìn)行卷積操作，即每個(gè)部分映射到一張Score map上，其中，(c+1)為類別數(shù)加上背景，得到k2(c+1)層位置敏感分?jǐn)?shù)圖，對(duì)于ROI的第(i,j)個(gè)bin(0≤i,j≤k-1)的C個(gè)類別的池化響應(yīng)為

(2)

式中 (x0,y0)為左上角的bin，n為每個(gè)bin中的像素?cái)?shù)，θ為學(xué)習(xí)到的參數(shù)。

完成池化過(guò)程之后，再對(duì)ROI進(jìn)行投票。對(duì)k×k個(gè)bin求和得到(c+1)維的輸出，并通過(guò)SoftMax層進(jìn)行分類。此時(shí)輸出的結(jié)果為物體的定位坐標(biāo)tx,y,w,h和類別。

2 對(duì)R-FCN檢測(cè)方法的改進(jìn)

2.1 改用Resnet101網(wǎng)絡(luò)進(jìn)行訓(xùn)練

Resnet101的結(jié)構(gòu)與Resnet50的結(jié)構(gòu)相比，主要區(qū)別在于Conv_4卷積層增加了卷積次數(shù)。Resnet101比Resnet50訓(xùn)練層次更深，能夠?qū)W到更多的、更抽象的圖像特征，從而提高R-FCN模型精度。

2.2 OHEM

區(qū)域生成網(wǎng)絡(luò)中，生成了大量的矩形框，其中的數(shù)百到數(shù)千個(gè)區(qū)域會(huì)參與預(yù)測(cè)目標(biāo)類別和位置的訓(xùn)練。本文樣本中，電力設(shè)備居中且占比小，故設(shè)備背景區(qū)域與目標(biāo)區(qū)域數(shù)量之比過(guò)大，造成樣本不平衡。同樣，識(shí)別具體的電力設(shè)備也存在較難識(shí)別的難例。

OHEM方法認(rèn)為大部分背景區(qū)域和容易識(shí)別的目標(biāo)區(qū)域關(guān)于類別的預(yù)測(cè)精度高，其損失(Loss)較??；訓(xùn)練時(shí)，當(dāng)出現(xiàn)Loss較大的預(yù)選區(qū)域時(shí)，可以對(duì)該難例重新進(jìn)行訓(xùn)練和分類，解決正負(fù)樣本類別不均衡問(wèn)題，提高電力設(shè)備紅外圖像識(shí)別模型的精度。

3 測(cè)試過(guò)程

3.1 實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)采用的硬件平臺(tái)是Dell 塔式工作站，操作系統(tǒng)為Ubuntu 16.04，編程環(huán)境基于Python，GPU為NVIDIA Geforce 1080Ti，顯存為11GB。實(shí)驗(yàn)基于深度學(xué)習(xí)框架CAFFE進(jìn)行。迭代次數(shù)為80 000次，學(xué)習(xí)率為0.000 1。

3.2 原始數(shù)據(jù)整理

根據(jù)檢測(cè)目標(biāo)整理訓(xùn)練數(shù)據(jù)集，最終用于訓(xùn)練的類別數(shù)據(jù)量如表1所示。每類樣本數(shù)量應(yīng)該均衡，盡量避免出現(xiàn)樣本嚴(yán)重不平衡。利用已經(jīng)在VOC 2007數(shù)據(jù)集訓(xùn)練好的預(yù)訓(xùn)練模型，在此基礎(chǔ)上進(jìn)行樣本訓(xùn)練，將采集到的2 451張電力設(shè)備紅外圖像隨機(jī)選取1 986張紅外圖像作為訓(xùn)練集，隨機(jī)選取245張圖像作為測(cè)試集，剩下的220張圖像作為驗(yàn)證集。

表1 各類別數(shù)據(jù)量

4 實(shí)驗(yàn)結(jié)果與分析

4.1 R-FCN與同類算法對(duì)比分析

對(duì)于相同的電力設(shè)備紅外圖像數(shù)據(jù)集，各種模型在本地服務(wù)器上的識(shí)別速度和平均精度均值(mean average precision,MAP)如表2所示。

表2 R-FCN及對(duì)比算法MAP及檢測(cè)速度

由實(shí)驗(yàn)結(jié)果表明， Faster R-CNN算法在精度上表現(xiàn)一般，MAP為90.22 %，速度不快，檢測(cè)性能一般；R-FCN模型精度最高，但速度稍慢，其在VOC數(shù)據(jù)集的MAP為90.48 %，速度為68 ms/幅；SSD模型速度較快，為22 ms/幅，但SSD識(shí)別準(zhǔn)確率不高，為90.23 %；RON模型則在精度和速度上均未達(dá)到最優(yōu)，速度和精度分別為42 ms/幅和87.62 %。

4.2 R-FCN改進(jìn)方法比較

由表3可以看出，基于R-FCN與較深度的網(wǎng)絡(luò) Resnet101和OHEM方法結(jié)合模型算法的電力設(shè)備紅外圖像識(shí)別精度高于Resnet50淺層網(wǎng)絡(luò)結(jié)合模型算法，電力設(shè)備識(shí)別精度為91.43 %，改進(jìn)效果明顯。

由表4可以看出，與傳統(tǒng)方法相比，本文算法極大提高了電力設(shè)備紅外圖像識(shí)別精度，為后續(xù)電力設(shè)備熱故障診斷奠定了基礎(chǔ)。

表3 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表4 與傳統(tǒng)算法比較

4.3 電力設(shè)備紅外圖像識(shí)別結(jié)果

由圖2的實(shí)驗(yàn)結(jié)果可以驗(yàn)證：無(wú)論是在復(fù)雜還是簡(jiǎn)單的變電站環(huán)境場(chǎng)景下，本文的方法均獲得了較佳的識(shí)別效果。

圖2 電力設(shè)備紅外圖像檢測(cè)結(jié)果

5 結(jié) 論

本研究以電力設(shè)備的紅外圖像為研究對(duì)象，提出了基于R-FCN的電力設(shè)備紅外圖像目標(biāo)識(shí)別方法。

1)采用Labelimg制作了電力設(shè)備紅外圖像數(shù)據(jù)標(biāo)注，并采用遷移學(xué)習(xí)方法初始化網(wǎng)絡(luò)權(quán)重，在Resnet101網(wǎng)絡(luò)上完成了數(shù)據(jù)集的訓(xùn)練。

2)結(jié)合研究具體問(wèn)題提出了一種基于R-FCN的電力設(shè)備紅外圖像識(shí)別模型與二種不同CNN相結(jié)合的策略來(lái)進(jìn)行實(shí)驗(yàn)，并利用OHEM方法進(jìn)行優(yōu)化；分別對(duì)簡(jiǎn)單背景、復(fù)雜背景進(jìn)行識(shí)別，驗(yàn)證了該算法確實(shí)有助于提高電力設(shè)備紅外圖像識(shí)別的準(zhǔn)確性和魯棒性，且平均識(shí)別精度達(dá)到 0.9143，優(yōu)于傳統(tǒng)方法，能夠?yàn)楹罄m(xù)電力設(shè)備熱故障診斷提供技術(shù)支持。