基于Faster-RCNN及一維曲線分析的表計指針識讀方法

鐘力強，屈娟娟，姜新麗，黃炎

(1.南方電網(wǎng)電力科技股份有限公司 a.廣東省特殊行業(yè)特種機器人工程技術(shù)研究中心；b.中國南方電網(wǎng)電力機器人聯(lián)合實驗室，廣東 廣州 510080；2.廣州新華學(xué)院，廣東 廣州 510520；3.許昌開普電氣研究院有限公司，河南 許昌 461000)

變電站是電網(wǎng)電能傳輸?shù)年P(guān)鍵節(jié)點，對設(shè)備安全的要求較高。傳統(tǒng)人工巡檢勞動強度大，工作效率低，且存在一定的人身安全風(fēng)險，而固定式視頻監(jiān)控由于盲區(qū)較多，也難以滿足變電站全面巡檢的需求。近年來，大量變電站開始采用機器人執(zhí)行常規(guī)巡檢任務(wù)，智能化巡檢逐漸成為行業(yè)的發(fā)展趨勢[1-3]。其中，表計讀數(shù)識別是變電站巡檢工作的重要內(nèi)容[4]，如氣壓表、溫度表、油溫表、避雷器表等均為機器人采集表計讀數(shù)的主要對象。然而，目前變電站機器人對表計讀數(shù)的讀取仍以預(yù)設(shè)模板匹配為主[4-5]，這就要求在機器人部署調(diào)試階段，針對每一個表計單獨進(jìn)行模板歸類、設(shè)定識別范圍等工作，不僅部署周期長，可擴展性差，且效果參差不齊，與部署人員的經(jīng)驗、責(zé)任心密切相關(guān)。

針對指針表計的識別讀數(shù)問題，研究人員從不同角度開展研究。在預(yù)處理方面，劉晶[6]等基于視覺識別進(jìn)一步提高了機器人拍攝的精確程度；黃炎[4]等基于擴展掃描區(qū)域的方法，對模板匹配算法進(jìn)行改進(jìn)，提高了讀取準(zhǔn)確率。在讀數(shù)算法方面，黃炎[5]等通過設(shè)置識別基線，將刻度區(qū)域轉(zhuǎn)化為一維線性信號，并通過灰度突變獲取指針角度；李治瑋等[7]使用最大灰度法計算無指針的儀表模板圖像，然后通過模板圖像與實際圖像相減得到指針位置；施健等[8]使用減影法得到指針位置，然后利用Hough變換計算指針夾角；張文杰等[9]利用視覺顯著性區(qū)域檢測先驗知識，提取儀表圖像指針區(qū)域，再計算指針與橫軸的夾角，最后采用最小二乘法擬合指針夾角與指針刻度之間的線性函數(shù)參數(shù)，計算儀表讀數(shù)。上述研究均建立在一定的人工標(biāo)注(指定模板、劃分區(qū)域、標(biāo)注圓心刻度等)基礎(chǔ)上，均難以實現(xiàn)對部分或者大部分表計的自動識讀。

針對這一問題，本文融合Faster-RCNN[10](faster region-based convolutional network)識別方法和快速傅里葉變換(fast Fourier transform，F(xiàn)FT)頻域分析等技術(shù)進(jìn)行指針刻度位置識別的研究。首先對表計圖像進(jìn)行顏色過濾預(yù)處理；再通過Faster-RCNN對預(yù)處理結(jié)果進(jìn)行篩選與調(diào)整，從而獲取表盤刻度的初步位置和指針圓心初步位置；最后通過微調(diào)周期、起始位置等操作，實現(xiàn)軸坐標(biāo)轉(zhuǎn)換后的曲線對齊，以及采用一維線性映射[5]方法獲得指針與刻度的相對位置，實現(xiàn)無人工干預(yù)的表計智能識讀。

1 預(yù)處理與樣本擴展

已有的表計讀數(shù)方法中，典型標(biāo)注信息如圖1所示，圖1(b)所示輔助線均為人工標(biāo)注。

圖1 原圖與典型輔助線

以圖1中的空氣壓力表為例，首先對原圖進(jìn)行分通道顏色濾波和拆分預(yù)處理。對圖像進(jìn)行此類預(yù)處理的主要目的是增加算法的普適性和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)確性，降低因表盤顏色設(shè)計、光影、反光問題造成的識別誤差，同時也有利于增加樣本量，提高識別準(zhǔn)確率。

圖2所示為1(b)的RGB直方圖，各通道上均存在多個峰值，但3個通道并不重合，每個峰值處均為顏色趨向一致的圖像元素。分別對3個顏色通道進(jìn)行單獨的峰值濾波，進(jìn)而生成多張圖像，如圖3所示。其中部分通道通過峰值篩選后的部分圖像刻度區(qū)域信息被突出顯示出來，也有部分圖像的刻度信息并不明顯，但并不影響Faster-RCNN的識別與訓(xùn)練。

圖2 圖1(b)RGB直方圖

圖3 直方圖波峰篩選后的樣例圖像(未列出特征完全不明顯圖像)

2 標(biāo)記與識別

預(yù)處理后，同一張圖片擴展為10余張黑白圖像。由于變電站表計種類繁多，且部署期間經(jīng)常會遇到新的表計種類，傳統(tǒng)特征識別等方法需要預(yù)先對表計特征有所描述，因此考慮使用深度學(xué)習(xí)方法進(jìn)行表盤識別。

2.1 Faster-RCNN簡介

Faster-RCNN是近年來應(yīng)用比較廣泛的二階段檢測模型的神經(jīng)網(wǎng)絡(luò)方法[11-15]，是Ross B. Girshick在2016年結(jié)合RCNN和Fast-RCNN提出的改進(jìn)算法[11]。相比于傳統(tǒng)RCNN，F(xiàn)aster-RCNN在結(jié)構(gòu)上將特征抽取、區(qū)域提名、邊界框校正歸類等整合在1個網(wǎng)絡(luò)中，使得速度和準(zhǔn)確率有了較大的提高。與SSD、YOLO等基于回歸的經(jīng)典檢測算法相比，F(xiàn)aster-RCNN算法在速度上雖有一定不足，但定位精確度較高，而機器人在表計識別上對實時性的要求并不高。因此，選用Faster-RCNN算法進(jìn)行表計初步定位。圖4所示為Faster-RCNN的基本結(jié)構(gòu)。

圖4 Faster-RCNN基本結(jié)構(gòu)

Faster-RCNN算法的基本識別流程如下。

a)提取特征：通過預(yù)訓(xùn)練網(wǎng)絡(luò)，提取圖片特征。

b)區(qū)域提名：利用提取的圖片特征，經(jīng)過區(qū)域提名網(wǎng)絡(luò)(region proposal networks，RPN)，找出一定數(shù)量的感興趣區(qū)域。

c)分類與回歸：將感興趣區(qū)域和圖像特征輸入到全連接層，對感興趣區(qū)域進(jìn)行分類，判斷分別屬于什么類別，同時對其位置進(jìn)行微調(diào)。

其中，該算法的關(guān)鍵性創(chuàng)新在于使用其獨創(chuàng)RPN代替?zhèn)鹘y(tǒng)的滑動窗口或圖像金字塔法生成檢測框，大幅提升了算法的綜合性能。

2.1.1 骨干網(wǎng)絡(luò)

Faster-RCNN中，對輸入圖像進(jìn)行語義信息提取的部分稱為骨干網(wǎng)絡(luò)或主干網(wǎng)絡(luò)，視覺幾何組(visual geometry group，VGG)網(wǎng)絡(luò)[16]和深度殘差網(wǎng)絡(luò)(residual network，ResNet)[17]均為較傳統(tǒng)的Faster-RCNN骨干網(wǎng)絡(luò)，其中ResNet增加了臨近網(wǎng)絡(luò)層之間的信息傳遞，在對速度影響不大的前提下，可大幅提升網(wǎng)絡(luò)的可設(shè)置深度?？紤]平衡識別時間，本文選用ResNet中經(jīng)典的ResNet_50網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

2.1.2 區(qū)域提名網(wǎng)絡(luò)

RPN主要用于在骨干網(wǎng)絡(luò)輸出特征圖的基礎(chǔ)上，確定目標(biāo)候選位置，再對這一位置的目標(biāo)類別進(jìn)行預(yù)測。首先在特征圖上生成各尺度和長寬比的錨點(Anchor)，通過Softmax分類器[11]判斷錨點框內(nèi)是前景還是背景，將前景部分作為目標(biāo)候選區(qū)域。其損失函數(shù)為

(1)

其中分類損失函數(shù)

(2)

預(yù)測損失函數(shù)

(3)

式中：x、y為預(yù)測框的中心點坐標(biāo)；w、h為預(yù)測框?qū)捄透?；fsmooth表示為

(4)

最后通過線性回歸對輸出框(預(yù)測框)的位置進(jìn)行微調(diào)，獲得檢測結(jié)果。

2.2 刻度位置識別實驗

整體學(xué)習(xí)模型采用python-Keras框架搭建，選取變電站各類型表計圖像共計1 200余張作為原始樣本庫，并通過預(yù)處理進(jìn)行單通道濾波，形成最終學(xué)習(xí)樣本共14 325張，其中含有完整刻度信息文件約6 000余張；標(biāo)注采用VOC2007格式，僅標(biāo)注較為明顯的刻度段位置，標(biāo)注時盡可能保持標(biāo)注框中心在刻度尺度上。圖5所示為Faster-RCNN訓(xùn)練樣本；圖6所示為采用Faster-RCNN模型經(jīng)過樣本庫訓(xùn)練后，對圖1(a)及其相關(guān)圖片(原圖及圖3所有圖片)的預(yù)測結(jié)果。

圖5 Faster-RCNN訓(xùn)練樣本示例

圖6 圖1(a)部分峰值濾波圖像的識別預(yù)測框

由于不同濾波圖像差異較大，預(yù)測框定位并不完全準(zhǔn)確一致，不同圖像找到的預(yù)測框數(shù)量也不同。將所有預(yù)測框中心坐標(biāo)(表1為圖7中所有點的具體坐標(biāo))在原始圖象上用紅點標(biāo)出，如圖7所示。

表1 多圖預(yù)測框參數(shù)

圖7 預(yù)測框中心點位置(紅點有重疊)

3 基于預(yù)測結(jié)果的后處理

如表1、圖7所示，F(xiàn)aster-RCNN具備基本定位刻度位置的能力，但對部分形狀或方向不規(guī)則的刻度區(qū)域，定位并不準(zhǔn)確，識別率也有一定的偏差。不考慮Faster-RCNN本身對定位精度和標(biāo)注時存在誤差的原因，刻度分布和方向不規(guī)則也必然造成此類誤差。基本確定表盤刻度位置后，采用一維信號處理方法進(jìn)一步精確定位刻度盤成為可能。

3.1 表盤圓心和刻度圓半徑初步確定

如表1所示，F(xiàn)aster-RCNN算法共定位39個疑似刻度所在區(qū)域中心點，采用最小二乘法[17]對點進(jìn)行擬合以獲取圓心和半徑。假設(shè)平面上1個圓的圓心為(xc,yc)，半徑為R，則圓上任一點(xi,yi)的方程為

(xi-xc)2+(yi-yc)2=R2.

(5)

因此，任一點(xi,yi)到最小二乘圓上的距離的平方和最小時，殘差

ei=(xi-xc)2+(yi-yc)2-R2，

(6)

則平方和

min∑(xi2+yi2+Axi+Byi+C)2.

(7)

式中A、B為多項式分解后的一次項系數(shù)，C為常量。

當(dāng)f取極小值時有

(8)

令

(9)

式中n為需擬合點的總個數(shù)。

可得

(10)

則

(11)

因此，可計算得出表1中39個點擬合圓的圓心為(855,600)，半徑為372。

3.2 關(guān)鍵區(qū)域截取與頻域篩選

將圖1(a)按照圖8所示圓心進(jìn)行軸坐標(biāo)轉(zhuǎn)換(如圖9所示)，并取與(xc,yc)點距離為R×(1±30%)的范圍進(jìn)行FFT頻域分析(如圖10所示)。由圖9和圖10可見，在有刻度的曲線上，存在較明顯的周期性分量，可利用頻率特征對曲線進(jìn)行篩選。

圖8 預(yù)測框中心點及刻度圓擬合

圖9 軸坐標(biāo)轉(zhuǎn)換

圖10 刻度區(qū)域的FFT頻域分析

篩選步驟如下：

步驟1，初步篩選。調(diào)用scipy的signal庫中find_peaks，通過遍歷波峰間距的方式獲取最高的5個頻域峰值，因曲線總長定為1，考慮基頻信號干擾較多，取4 kHz后峰值仍大于周邊平均值1倍以上的曲線作為候選曲線。

步驟2，精確篩選。①統(tǒng)計篩選后曲線在4～6 kHz間的峰值所在位置均方根平均值，排除均方根值大于平均值2倍的曲線；②統(tǒng)計①所篩選曲線的間隔，與周邊曲線無法形成5組以上連續(xù)分布的曲線應(yīng)為誤篩選值，需要進(jìn)行排除。據(jù)此，圖9中刻度區(qū)域半徑最終限定為384～461像素區(qū)域(如圖11所示)。

步驟3，曲線對齊。由于Faster-RCNN識別后，預(yù)測框位置存在一定誤差，圓心位置也必然存在偏差；因此，以圖11所示的中心線為基準(zhǔn)，進(jìn)行曲線周期和起始位置的微調(diào)。①周期統(tǒng)一，即通過插值微調(diào)曲線長度，將所有曲線的周期/頻率調(diào)整為均方根平均值；②互相關(guān)對齊，即以篩選后中心曲線為基準(zhǔn)，計算所有曲線與該曲線的互相關(guān)值，并根據(jù)最大相關(guān)值位置將所有曲線與中心曲線對齊(如圖12所示)。

圖11 篩選后的刻度區(qū)域

圖12 周期調(diào)整和互相關(guān)對齊

步驟4，計算灰度平均值確定刻度線位置。將篩選后的曲線疊加，其均值曲線的谷值點角度即為表計刻度所在位置(如圖13所示)，具體角度位置見表2。

圖13 曲線均值及谷值點位置

表2 刻度位置角度表

3.3 指針角度確定

參考文獻(xiàn)[5]對指針角度的確定方法，取R×(1±30%)范圍內(nèi)除刻度區(qū)域以外的區(qū)域進(jìn)行灰度值統(tǒng)計后，計算得到指針位置為153.5°(如圖14所示)。從圖9直接讀取數(shù)據(jù)可知指針尖端覆蓋的角度范圍約為153.1°～154.0°，鄰近2段刻度線覆蓋角度分別為152.4°～153.5°和157.1°～158.0°，與表3、圖14的結(jié)果基本一致。根據(jù)表盤信息，對刻度讀數(shù)進(jìn)行人工標(biāo)注后程序自動讀數(shù)為1.488 3(星號處)，人工讀數(shù)約為1.49，誤差為0.3%。

圖14 指針位置

4 各類型表計的實驗驗證

為驗證算法的有效性，取機器人在變電站拍攝的表計圖像共60張進(jìn)行實驗驗證。表3列出了實驗中程序智能識別的各環(huán)節(jié)準(zhǔn)確率和性能參數(shù)。

由表3可見，在神經(jīng)網(wǎng)絡(luò)成功識別的基礎(chǔ)上，本文方法對指針、刻度相對位置的識別較為準(zhǔn)確，與人工讀數(shù)基本處于同一水平或優(yōu)于人工識別，但受限于訓(xùn)練樣本、模型適配性等原因，部分表計(如圖15所示)仍存在無法識別的情況，有待進(jìn)一步研究。

圖15 無法識別表計示例

表3 各類型表計程序自動識讀驗證試驗結(jié)果

5 結(jié)束語

針對變電站巡檢機器人部署過程中需針對每一個表計人工配置模板的現(xiàn)實問題，本文介紹了一種基于Faster-RCNN并進(jìn)行一維信號處理的識別方法，從而實現(xiàn)無需人工干預(yù)智能識別指針與刻度相對位置的方法。首先借助分通道的峰值濾波預(yù)處理，降低不同類型間表計設(shè)計可能引入的識別誤差；接著通過Faster-RCNN算法初步確定刻度區(qū)域范圍，并獲得擬合圓的圓心完成軸坐標(biāo)展開，再通過頻域分析對疑似刻度區(qū)域進(jìn)行篩選，獲取刻度區(qū)域的準(zhǔn)確范圍；然后通過微調(diào)刻度所在曲線的周期和刻度對齊、疊加，獲得區(qū)域在各角度上的灰度平均值，從而讀取各刻度的角度信息；最后統(tǒng)計刻度區(qū)域外的灰度分布獲得指針角度信息，從而最終實現(xiàn)表計刻度與指針相對位置的準(zhǔn)確識讀。

對60張典型變電站表計圖像的實驗結(jié)果顯示，本文方法對訓(xùn)練數(shù)據(jù)較多的表計識別準(zhǔn)確率較高，但對訓(xùn)練數(shù)據(jù)較少的表計仍存在無法識別的可能。此外，在解決了指針、刻度相對位置的準(zhǔn)確識別后，有待引入表盤印刷體數(shù)字的識別能力[18-20]，最終解決表計無人工干預(yù)的智能識別問題。