電力機房巡檢機器人的指針式儀表識別算法

司朋偉，樊紹勝

(長沙理工大學 電氣與信息工程學院，湖南 長沙 410114)

0 引言

隨著智能電力機房的大力推廣，電力機房智能巡檢機器人將逐步代替人工完成電力機房設備的巡檢工作。巡檢機器人攜帶高清紅外相機和各類傳感器，采集電力機房各類儀表圖像，采用圖像處理技術完成對各類儀表的自動識別，但是由于光照等環(huán)境影響，自動識別過程中存在儀表漏檢和誤檢現(xiàn)象，識別率低。

近年來，國內外學者針對儀表檢測和定位提出了不同的視覺算法。在儀表檢測方面，文獻[1]提出了模板匹配的方法識別與定位儀表，該方法不能很好地區(qū)分多種類型的儀表，識別準確率也相對較低。張文杰等[2]提出了基于視覺顯著性的儀表區(qū)域檢測技術，該方法不適合做儀表分類檢測。在儀表讀數(shù)識別方面，針對光照對指針式儀表刻度影響的問題，文獻[2-4]提出了一種利用減影法提取指針位置，然后利用Hough變換計算指針夾角的方法，該方法不適合變量程儀表。距離法[5]是通過儀表指針與表盤的相對位置得到指針讀數(shù)，主要在識別表盤刻度的基礎上，通過計算指針直線與左邊刻度中點和右邊刻度中點的距離，得出指針讀數(shù)。

由文獻[6-9]可知，指針式儀表的檢測定位和讀數(shù)識別已經(jīng)存在很多方法并取得了一定成果，但是仍然存在一些問題，如強光照、刻度盤模糊等因素造成表盤信息不能被很好地獲取。本文提出的Faster RCNN+模板匹配的方法對儀表進行檢測定位，解決了傳統(tǒng)方法不能很好地檢測定位的問題；針對儀表傾斜的問題，采用基于輪廓的矯正方法進行矯正；針對儀表讀數(shù)識別問題，提出自適應Canny邊緣提取和基于線性分析拓撲結構的直線段檢測方法，運用特征插值恢復表盤小刻度，并建立刻度坐標系，通過判斷指針與表盤刻度的相對位置完成指針式儀表讀數(shù)的自動識別。該方法能很好地解決變量程儀表讀數(shù)識別問題。

1 儀表搜索與檢測方法

電力機房環(huán)境復雜，儀表類型、數(shù)量眾多，首先需要把儀表準確檢測出來，才能進行儀表讀數(shù)識別。本文的檢測算法分為Faster-RCNN[10-11]儀表檢測和目標位置優(yōu)選兩部分。首先進行Faster-RCNN儀表檢測，然后為了彌補網(wǎng)絡不能精確判別的缺陷，采用建立特征模板的方法對初步的局部極大值做進一步的篩選。

1.1 基于Faster RCNN網(wǎng)絡的儀表檢測

1.1.1儀表檢測候選集

本文選擇卷積神經(jīng)網(wǎng)絡VGGNet-16對感興趣的區(qū)域進行特征提取，提取后的特征圖共享于RPN網(wǎng)絡[12-15]，生成初始的目標候選集。在卷積網(wǎng)絡的最后一層，采用3×3的卷積核以滑動窗口的形式生成候選目標位置，并且在每個位置采用三種尺度、三種寬高比，獲得9種錨。經(jīng)過此過程一幅500×400的圖像大約生成2 000個候選包圍框，如何從龐大的候選集中判斷并選擇包含目標的位置是一個很大挑戰(zhàn)[16-18]。

1.1.2儀表檢測結果

按照一般的方法，將得分閾值高于0.6的作為檢測結果，會使低得分區(qū)中正確的目標位置被漏掉，而高得分的局部最大值被保留，造成誤檢和漏檢情況，如圖1所示。

圖1 儀表檢測結果

1.2 基于特征模板匹配的目標位置優(yōu)選

針對儀表的漏檢和誤檢情況，本文根據(jù)同類儀表之間相似度和不同類儀表之間差異度的規(guī)律，選取高分類得分的局部極大值作為模板，將低得分的局部極大值與模板比較，匹配度高的加入檢測結果中，匹配度低的舍棄。最后綜合模板區(qū)域和篩選的部分作為最終的檢測結果。

1.2.1特征相似性分析

本文采用漢明距離來計算VGG16網(wǎng)絡中兩層特征之間的距離，距離越大說明差異性越大，也就是相似性低。距離計算公式為：

(1)

其中，fconvi，fconvj表示第i層和j層卷積特征，fConvik，fConvjk分別表示第i層和j層中的第k個feature maps。

為了選擇最合適的卷積層特征作為模板特征，本文選擇VGG-16中的Conv1-2、Conv3-1、Conv4-1、Fc6和Fc7作為測量的卷積層，相似度與差異度計算公式為：

(2)

(3)

其中，a、b為兩類數(shù)據(jù)，fai、fbj為圖像特征，N為數(shù)量集6 000。 表1、表2分別為同類儀表各層特征之間的相似度和不同類儀表各層特征之間的差異度。

表1 同類儀表各層特征之間的相似度S(%)

表2 不同類儀表各層特征之間的差異度D(%)

由表1、表2可知，網(wǎng)絡層數(shù)越深，同類儀表之間的相似性越大，不同類儀表之間的差異性越小。Fc7層對于不同類儀表的區(qū)分能力比其他層效果要好，并且對儀表特性具有更強的全局性描述。綜上多種因素，選擇Fc7層的特征作為模板特征。

1.2.2特征模板匹配

設定分類器得分閾值為P、相似度閾值為Q，把高于該閾值的局部極大值作為模板，組成的模板集為O={o1,o2,o3,…,on}，對應的特征集合為F={fo1,fo2,fo3,…,fon}，取特征集合的平均值作為模板，計算公式為：

(4)

低于該閾值的局部極大值要做進一步匹配篩選，該局部極大值集合為L={l1,l2,l3,…,lm}，對應的特征集合為Fp={fp1,fp2,fp3,…,fpm}，采用余弦度量計算特征集合中每個局部極大值和模板之間的相似度，即：

m=1,2,3,…,m

(5)

當某個局部極大值特征相似度大于設定的閾值Q時，該局部極大值標記為1，否則標記為0。集合L在設定標簽后，設定為集合Y，Y={y1,y2,…,ym}，即：

(6)

標簽為1的局部極大值即為篩選出來的結果，再加上模板集F，即為最終的檢測結果Rresult。

1.2.3檢測結果分析

通過模板匹配、Faster-RCNN+VGG-16和Faster-RCNN+VGG16+模板匹配三組對比實驗可以看出，該方法有助于改善目標的檢測精度，避免了直接通過閾值來劃分目標的不足。圖2為Faster RCNN添加特征模板匹配后的結果。

圖2 優(yōu)化后的檢測結果

表3為三種方法對100張相同樣本的檢測結果對比情況。

表3 檢測精度對比

2 指針式儀表讀數(shù)識別算法

2.1 檢測表盤線段

本文提出了一種自適應的Canny邊緣檢測算法對表盤進行邊緣提取并通過基于線性拓撲結構的直線段篩選。

自適應Canny邊緣檢測算法在設置高低閾值時，首先利用OTSU[19]算法得到一個最優(yōu)的分割閾值μ，然后將高低閾值分別設置為(1+α)μ和(1-α)μ，其中α為閾值控制量，α過大會導致缺失很多較弱的邊緣信息，過小會導致檢測出較多的偽邊緣，這里α設置為0.4。

分析拓撲結構的線性關系，首先，獲取當前單像素邊緣第[j,2m+j-1] (02m-2時，則認為第[m+i,2m+i-1]個像素點所在線段為直線段，并進行最小二值化直線擬合。

2.2 識別刻度線段

識別刻度線段即通過進行線段過濾實現(xiàn)非刻度線段的剔除，得到較高置信度的刻度線段。對過濾后的線段進行最小二乘橢圓擬合，得到表盤刻度所在的部分橢圓，最后利用橢圓對LSD算法檢測到直線進行約束，從而識別刻度線段。

考慮到一條刻度對應兩條長度相近、互相平行且距離相近的兩條線段，將刻度直線段一分為二，分解為左右兩個線段集合，對兩個線段對應的直線進行兩兩求交點，得到左右兩個交點集ΩL、ΩR，再求取兩個交點集的平均坐標cL、cR，即：

(7)

(8)

使用平均坐標計算出刻度線段所在橢圓的近似中心c，然后對刻度直線段的中心進行橢圓擬合，得到儀表刻度線段中點所在的橢圓及橢圓中心如圖3所示。

圖3 線段過濾效果圖

圖4 刻度及指針識別效果

2.3 修復缺省刻度

本文提出的線段檢測算法依然存在部分刻度缺省的現(xiàn)象，需要對缺省的刻度進行修復，進而建立完整的坐標系。對于缺省的刻度采用特征插值的方法恢復表盤刻度。首先，利用刻度線的長度特征將大小刻度分離；然后，根據(jù)大刻度間距離的相似性完成對小刻度的插值，得到完整的儀表刻度分布如圖5所示。

圖5 缺省刻度修補效果圖

以上方法都是解決儀表指針、刻度清晰的情況下儀表的識別，但是由于光照、圖片清晰度、表面灰塵等因素會造成表盤線段刻度缺省，使得建立儀表坐標系不完備。受干擾的表盤圖如圖6所示。

圖6 受燈光干擾的表盤

識別表盤線段并通過上文算法修復刻度后的結果如圖7所示。

圖7 刻度缺省表盤

本文采用一種新穎的刻度缺省數(shù)目計算與修復方法來解決這些影響因素造成的刻度缺省現(xiàn)象。首先，按照刻度長度特征將大刻度和小刻度進行區(qū)分；然后進行需要插值的線段數(shù)目計算和插值位置定位，先對缺省的大刻度進行插值，再對小刻度進行插值，直到完成整個表盤刻度的修復。

假設儀表缺省刻度圖如圖8所示，A、B、C、D、E為刻度位置，虛線OB、OC為缺省線段，Δθ1為缺省刻度的角度，Δθ2為相鄰刻度間的角度。

圖8 缺省刻度計算與修復示意圖

刻度B、C、D對扇形區(qū)域做了等值劃分，計算扇形區(qū)域平均角度公式如式(9)所示。

(9)

其中，MeanL表示平均角度值，θmax表示扇形區(qū)域中刻度的最大角度，θmin代表的是扇形區(qū)域中刻度的最小角度。

然后計算刻度間的角度值和平均角度值之間的倍率關系，得到需要插值的數(shù)目num，計算公式如公式(10)所示。

(10)

圖9 改進算法修復缺省刻度

2.4 建立刻度坐標系

以橢圓圓心為中心，順時針建立儀表刻度的角度坐標系，通過指針對應角度在儀表刻度中的角度坐標系中的位置，讀取指針式儀表的數(shù)值。建立刻度坐標系后的效果圖如圖10所示。

圖10 指針式儀表坐標系建立效果圖

3 現(xiàn)場作業(yè)

根據(jù)以上思路，研發(fā)了軌道式巡檢機器人，并且在多個電力機房進行現(xiàn)場實驗，在無人工干預的情況下，可以完成整個電力機房儀表讀數(shù)識別任務。另外機器人還具有開關柜保護壓板狀態(tài)識別功能。圖11為機器人投入現(xiàn)場作業(yè)。

圖11 機器人現(xiàn)場作業(yè)圖

4 結論

本文提出了一種指針式儀表檢測與識別新方法，儀表檢測方法采用Faster RCNN網(wǎng)絡生成候選集，然后采用了基于特征相似度比較的模板匹配策略，從而減少誤檢和漏檢情況，提高了儀表的檢測精度。指針式儀表識別方法采用一種自適應Canny算法進行邊緣檢測，然后使用八領域輪廓跟蹤算法串聯(lián)邊緣點獲取輪廓，最后分析輪廓形態(tài)，對缺省小刻度進行修復，建立完備刻度坐標系，根據(jù)指針與刻度之間的相對位置得到儀表讀數(shù)，該方法提高了指針式儀表的識別精度。本文提出的指針式儀表檢測和識別方法，提高了指針式儀表識別的準確率，提高了軌道式巡檢機器人的作業(yè)效率。