基于改進(jìn)的R-FCN刀閘檢測算法研究

陶征勇，宗起振，曾清旋

(南京國電南自軌道交通工程有限公司，江蘇 南京 210032)

0 引 言

準(zhǔn)確快速地檢測出牽引變電站刀閘的狀態(tài)，可以很大程度地降低人工成本，有效提高電網(wǎng)的安全運行，這對于整個變電站具有至關(guān)重要的意義[1]。然而刀閘的工作環(huán)境位于室外，受拍攝視角問題以及外部環(huán)境遮擋問題的影響，同時刀閘又與其他設(shè)備顏色趨近一致，這些都大大增加了刀閘狀態(tài)識別的難度。

目前，國內(nèi)外對刀閘檢測提出了眾多的檢測方案，其中采用圖像處理的電力設(shè)備檢測技術(shù)成為主流技術(shù)[2-3]。REDDY，MURTHY V S，張驥等[4-6]均提出了圖像視覺處理技術(shù)及絕緣子狀態(tài)相關(guān)的算法，實驗數(shù)據(jù)表明該種算法具有較高的識別準(zhǔn)確率；張金鋒[7]提出了一種改進(jìn)亮度序描述子的刀閘檢測方法，實驗結(jié)果顯示該方法可以準(zhǔn)確定位絕緣子快速識別出刀閘狀態(tài)，但對變電站實際場景下刀閘可能出現(xiàn)部分被遮擋的情況，識別的準(zhǔn)確率會下降；吳寬[8]為精確識別出垂直伸縮式刀閘狀態(tài)，定義了一種新的絕緣子邊緣特征，通過提取邊緣特征獲取刀閘識別狀態(tài)，該種方法能夠準(zhǔn)確定位到刀閘區(qū)域進(jìn)而準(zhǔn)確識別出刀閘狀態(tài)；臺德群[9]提出了一種基于改進(jìn)的Meanshift刀閘跟蹤識別的算法，實現(xiàn)了刀閘狀態(tài)的實時監(jiān)測，識別精度較高；邵劍雄[10]針對變電站開關(guān)設(shè)備狀態(tài)監(jiān)測，提出了一種基于霍夫森林的開關(guān)狀態(tài)識別方法，實驗表明該方法對開關(guān)設(shè)備狀態(tài)的設(shè)備具有較高的準(zhǔn)確率，且魯棒性好。

上述方法均針對變電站刀閘的局部特征進(jìn)行識別檢測，而對于變電站實際現(xiàn)場環(huán)境存在的、受外界環(huán)境因素導(dǎo)致的拍攝角度發(fā)生偏移、拍攝到的刀閘被部分遮擋等問題，僅依據(jù)局部特征進(jìn)行刀閘狀態(tài)的識別，將無法獲得理想的準(zhǔn)確率。本文提出了一種基于改進(jìn)的R-FCN網(wǎng)絡(luò)刀閘檢測算法，通過對R-FCN輸出預(yù)測網(wǎng)絡(luò)并聯(lián)融入全局特征預(yù)測模塊，補充原始網(wǎng)絡(luò)只通過局部特征預(yù)測刀閘產(chǎn)生的感受野不足缺陷，通過對局部特征預(yù)測結(jié)果和全局特征預(yù)測結(jié)果正則化后進(jìn)行預(yù)測結(jié)果累加，實現(xiàn)全局特征預(yù)測結(jié)果對局部特征預(yù)測結(jié)果的補充。

1 改進(jìn)的R-FCN刀閘檢測算法

1.1 算法整體概括

針對變電站輔助監(jiān)控系統(tǒng)在刀閘檢測識別過程中，因天氣環(huán)境的頻繁變化，相機位置在預(yù)先建立的模板圖像角度基礎(chǔ)上會發(fā)生偏移，進(jìn)而無法準(zhǔn)確識別出刀閘的狀態(tài)，出現(xiàn)較高的誤檢與漏檢現(xiàn)象。本文對R-FCN網(wǎng)絡(luò)模型進(jìn)行了改進(jìn)，構(gòu)建了一種聯(lián)合局部特征和全局特征的R-FCN的聯(lián)合檢測算法，對R-FCN網(wǎng)絡(luò)模型嵌入全局特征預(yù)測，聯(lián)合局部特征和全局特征預(yù)測的優(yōu)點提升刀閘檢測的準(zhǔn)確率，提升現(xiàn)有刀閘檢測方法的準(zhǔn)確率。改進(jìn)的R-FCN刀閘檢測算法整體流程如圖1所示。

圖1 改進(jìn)的R-FCN刀閘檢測算法整體流程

1.2 算法具體實現(xiàn)

1.2.1 變電站圖像采集

變電站輔助監(jiān)控系統(tǒng)為變電站中的所有網(wǎng)絡(luò)監(jiān)控攝像機和相關(guān)控制設(shè)備的集成，通過調(diào)整相機的角度，實現(xiàn)采集不同時刻、天氣、背景的包含刀閘和未包含刀閘的圖像數(shù)據(jù)集，且包含刀閘的圖像數(shù)據(jù)集數(shù)量應(yīng)均勻包含刀閘的開關(guān)兩種狀態(tài)。變電站現(xiàn)場采集的刀閘如圖2所示。

圖2 變電站現(xiàn)場刀閘

1.2.2 劃分、清洗并標(biāo)注圖像數(shù)據(jù)集

將上述采集到的數(shù)據(jù)集進(jìn)行清洗，去除損壞的圖像數(shù)據(jù)，并分成兩種：只包含刀閘的圖像數(shù)據(jù)集和未包含刀閘但與刀閘類似的數(shù)據(jù)集。變電站現(xiàn)場采集到的數(shù)據(jù)集包含刀閘的圖像總數(shù)為800張，未包含刀閘但與刀閘類似的800張，分別對兩種進(jìn)行劃分，其中訓(xùn)練集和測試集之比為8∶2，并將只包含刀閘圖像的數(shù)據(jù)集進(jìn)行標(biāo)注刀閘位置和狀態(tài)，第一次訓(xùn)練，采用樣本的數(shù)量如表1所示，第二次訓(xùn)練，采用樣本的數(shù)量如表2所示。

表1 第一次訓(xùn)練集樣本數(shù)量的統(tǒng)計結(jié)果

表2 第二次訓(xùn)練集樣本數(shù)量的統(tǒng)計結(jié)果

1.2.3 構(gòu)建聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)

采用分類網(wǎng)絡(luò)ResNet101作為主干特征提取網(wǎng)絡(luò)，在ResNet101第4組卷積層后使用RPN操作產(chǎn)生感興趣區(qū)域(用于后期刀閘的檢測)，拋棄使用ResNet101第5組卷積層后面的池化層和全連接層，最終輸出的通道數(shù)為2 048個?？紤]在不改變特征圖大小的情況下降低特征數(shù)據(jù)維度，通過添加卷積核大小為1×1的卷積層將通道數(shù)降低為1 024個。聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 聯(lián)合局部特征和全局特征的R-FCN網(wǎng)絡(luò)結(jié)構(gòu)

同時，構(gòu)建局部特征預(yù)測分支，通過采用原始具有局部特征預(yù)測的網(wǎng)絡(luò)模型R-FCN輸出局部預(yù)測結(jié)果，且局部特征預(yù)測采用RPN建議區(qū)域劃分為7×7個局部區(qū)域進(jìn)行預(yù)測；構(gòu)建全局特征預(yù)測分支，通過對提取的語義特征進(jìn)行池化操作，統(tǒng)一提取語義特征大小，然后，串聯(lián)卷積核大小為7×7和1×1的卷積層輸出全局預(yù)測結(jié)果。局部特征預(yù)測模塊如圖4所示，全局特征預(yù)測模塊如圖5所示。

圖4 局部特征預(yù)測模塊

圖5 全局特征預(yù)測模塊

1.2.4 訓(xùn)練保存模型

訓(xùn)練時，模型主干特征提取網(wǎng)絡(luò)ResNet101的初始化參數(shù)使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的模型權(quán)重，模型訓(xùn)練使用的損失函數(shù)選擇與R-FCN網(wǎng)絡(luò)相同的損失函數(shù)，進(jìn)行兩次訓(xùn)練：第一次使用只包含有刀閘圖像的數(shù)據(jù)訓(xùn)練，至損失函數(shù)收斂，保存網(wǎng)絡(luò)模型；第二次基于第一次訓(xùn)練的模型參數(shù)基礎(chǔ)之上，使用包含刀閘和未包含刀閘類似刀閘的數(shù)據(jù)進(jìn)行訓(xùn)練，進(jìn)一步提升網(wǎng)絡(luò)模型的刀閘辨別能力，最終得到模型的測試結(jié)果，以mAP-50作為準(zhǔn)確率評價指標(biāo)，統(tǒng)計的準(zhǔn)確率如表3所示。其中，訓(xùn)練使用的損失函數(shù)數(shù)學(xué)表達(dá)式為：L(s,t)=Lcls(sc*)+λ[c*>0]Lreg(t,t*)。式中，L(s,t)表示分類損失和回歸損失的總損失；s為類別預(yù)測概率；sc*表示類別c*的預(yù)測概率；t表示模型預(yù)測的回歸框；Lcls(s)為分類損失，數(shù)學(xué)表達(dá)式為：Lcls(sc*)=-log(sc*)；λ多任務(wù)平衡因子；c*為類別真實標(biāo)簽，當(dāng)c*=0表示背景類別，c*≠0表示對應(yīng)的對別；[c*>0]組成指導(dǎo)因子，其值取為1，表示回歸框只對非背景類別對象進(jìn)行調(diào)整；Lreg(t,t*)為回歸損失；t表示模型預(yù)測的目標(biāo)框；t*表示人工標(biāo)注的真實框。

表3 刀閘訓(xùn)練準(zhǔn)確率對比結(jié)果

2 現(xiàn)場應(yīng)用實驗分析

本文改進(jìn)的R-FCN網(wǎng)絡(luò)刀閘檢測算法在工程現(xiàn)場與R-FCN算法、Faster R-CNN算法、FPN進(jìn)行刀閘檢測對比實驗，通過自有的牽引變電所輔助監(jiān)控系統(tǒng)軟件進(jìn)行不同預(yù)置位下刀閘圖片的識別。實驗設(shè)置牽引變電所輔助監(jiān)控系統(tǒng)軟件每隔5分鐘巡檢一次，巡檢采集了500張刀閘狀態(tài)圖片，實驗用的4種刀閘檢測算法對應(yīng)的服務(wù)器識別這些狀態(tài)圖片獲得識別結(jié)果圖片。分析所獲得的識別結(jié)果圖片，以AP50，AP75，AP作為評價指標(biāo)進(jìn)行評測[11]，AP50和AP75分別表示(IOU)預(yù)測目標(biāo)與實際目標(biāo)的重疊比大于0.5和0.75，AP表示IOU[0.5∶0.05∶0.9]，從50%取到90%，步長為5%，共9個不同閾值下的檢測目標(biāo)概率的平均值。對比4種刀閘檢測算法，準(zhǔn)確率統(tǒng)計結(jié)果如表4所示，隨機選取部分改進(jìn)的R-FCN刀閘檢測算法識別圖片與對比實驗的其它刀閘檢測算法識別圖片，分別如圖6、圖7所示，圖中方框左上角“dzclose”表示識別到刀閘狀態(tài)為關(guān)閉，“dzopen”表示識別到刀閘狀態(tài)為打開。

圖6 改進(jìn)的R-FCN刀閘檢測算法識別圖片

圖7 對比實驗的其他刀閘檢測算法識別圖片

表4 四種刀閘檢測算法準(zhǔn)確率對比結(jié)果

分析實驗相關(guān)數(shù)據(jù)，采用改進(jìn)的R-FCN刀閘檢測算法在評價指標(biāo)AP50，AP75，AP評測下，準(zhǔn)確率均優(yōu)于對比實驗的其他刀閘檢測算法。分析多數(shù)識別有誤的圖片發(fā)現(xiàn)，對比實驗的其他刀閘檢測算法對于有遮擋的刀閘識別準(zhǔn)確率較低，如圖7(b)中從左往右第二個刀閘因外物遮擋導(dǎo)致對打開狀態(tài)的刀閘識別為關(guān)閉狀態(tài)(dzclose)，而對于同一張照片識別，采用改進(jìn)的R-FCN刀閘檢測算法識別準(zhǔn)確率較高，如圖6(b)中從左往右第二個刀閘識別狀態(tài)正確。實驗結(jié)果顯示，本文改進(jìn)的R-FCN刀閘檢測算法具有很高的識別準(zhǔn)確率，有效降低了變電站復(fù)雜場景中刀閘檢測的誤檢率和漏檢率，符合牽引變電站對刀閘狀態(tài)檢測準(zhǔn)確性的應(yīng)用需求。

3 結(jié) 語

針對牽引變電站刀閘狀態(tài)檢測的問題，本文通過構(gòu)建局部特征預(yù)測R-FCN網(wǎng)絡(luò)，融入全局特征預(yù)測，實現(xiàn)了一種改進(jìn)的R-FCN刀閘檢測算法。通過對比實驗，本文改進(jìn)的R-FCN刀閘檢測算法相比于對比實驗的其他刀閘檢測算法，具有更高的識別準(zhǔn)確率，對變電站復(fù)雜的外部環(huán)境具有很好的適應(yīng)性，能有效降低刀閘檢測的漏檢率和誤檢率，符合牽引變電站對刀閘狀態(tài)檢測準(zhǔn)確性的應(yīng)用需求，為達(dá)到牽引變電站無人值守模式的目標(biāo)邁出了重要一步。