基于Mask- RCNN 的指針式儀表自動(dòng)識(shí)別研究

張 斌 毛順丹 楊鐵梅

（太原科技大學(xué)，山西 太原030024）

1 概述

科學(xué)技術(shù)的不斷發(fā)展，給工業(yè)生產(chǎn)帶來(lái)了極大便利，其中工業(yè)儀表作為工業(yè)監(jiān)控系統(tǒng)的一個(gè)重要檢測(cè)設(shè)備，可以對(duì)生產(chǎn)中的設(shè)備進(jìn)行溫度、流量、壓力等參數(shù)的測(cè)量和指示，并實(shí)時(shí)顯示系統(tǒng)的運(yùn)行狀態(tài)，通過(guò)對(duì)儀表的數(shù)據(jù)的獲取可以提前預(yù)測(cè)得到設(shè)備的預(yù)警狀態(tài),從而預(yù)防設(shè)備故障發(fā)生。

儀表自動(dòng)識(shí)別不僅僅是儀表數(shù)據(jù)讀取，更重要的是對(duì)變電站各種設(shè)備運(yùn)行狀態(tài)的自動(dòng)識(shí)別[1]。采用機(jī)器視覺(jué)技術(shù)代替人工對(duì)儀表進(jìn)行識(shí)別和數(shù)據(jù)提取，大大減輕了工作人員的工作負(fù)擔(dān)，提高了工廠生產(chǎn)效率和質(zhì)量，且節(jié)省了大量財(cái)力和物力支出。最重要的是，機(jī)器視覺(jué)技術(shù)相比于傳統(tǒng)人工識(shí)別更客觀，不會(huì)產(chǎn)生疲勞期，機(jī)器識(shí)別更加準(zhǔn)確、高效。

2 基于Mask-RCNN 網(wǎng)絡(luò)的指針儀表檢測(cè)

2.1 Mask-RCNN 簡(jiǎn)述

Mask-RCNN 由何凱明團(tuán)隊(duì)于2017 年提出的一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)，是基于Faster-RCNN[2]提出來(lái)的一個(gè)改進(jìn)網(wǎng)絡(luò)架構(gòu)，主要作用是對(duì)目標(biāo)個(gè)體進(jìn)行語(yǔ)義分割。Mask-RCNN 相較于原來(lái)的框架，極大的提高了對(duì)目標(biāo)識(shí)別的效率和分割質(zhì)量。這個(gè)網(wǎng)絡(luò)不僅檢測(cè)精度高，同時(shí)檢測(cè)速度達(dá)到了5fps，滿足了目標(biāo)檢測(cè)與分割的要求[3]。Mask-RCNN 主要分為四個(gè)方面：卷積層FPN(特征金字塔網(wǎng)絡(luò))、RPN(區(qū)域候選網(wǎng)絡(luò))、ROIAlign 和輸出分支。

Mask-RCNN 相對(duì)于Faster-RCNN 主要提出兩個(gè)方面的改進(jìn)：為了解決網(wǎng)絡(luò)中圖像像素和興趣區(qū)域匹配產(chǎn)生錯(cuò)位的問(wèn)題，將原來(lái)的池化層替換為ROIAlig；提出了第三種輸出分支mask 分支，來(lái)解決目標(biāo)類(lèi)別間的相互競(jìng)爭(zhēng)，提高了檢測(cè)效率。

ROIAlign 是對(duì)Faster-RCNN 網(wǎng)絡(luò)中池化層的優(yōu)化，原算法中，當(dāng)候選區(qū)域映射到feature map 上，與特征圖上的像素點(diǎn)不匹配時(shí)，會(huì)直接進(jìn)行間隔取整，最后得到的每個(gè)格子里面的值均為整數(shù)，當(dāng)映射回原圖上時(shí)誤差更大。在RoIAlign 算法中，對(duì)每個(gè)格子都取一個(gè)浮點(diǎn)數(shù)，對(duì)于feature map 上的每一個(gè)RoI 都會(huì)被分成m*m 個(gè)格子，并在其中選取4 個(gè)點(diǎn)，分別對(duì)應(yīng)格子中四個(gè)部分的中點(diǎn)，然后對(duì)于每一個(gè)點(diǎn)所在格子的四個(gè)頂點(diǎn)進(jìn)行雙線性插值計(jì)算，使得像素和興趣區(qū)域更匹配。

Mask-RCNN 網(wǎng)絡(luò)采用了三種輸出分支的損失函數(shù)：分類(lèi)損失(cls)、檢測(cè)損失(box)和分割損失(mask)。其中mask 分支為分割損失，只針對(duì)該興趣區(qū)域該類(lèi)別的目標(biāo)進(jìn)行分類(lèi)，不會(huì)與其他類(lèi)別的mask 值產(chǎn)生關(guān)系，從而有效的避免了類(lèi)間競(jìng)爭(zhēng)，提高了檢測(cè)的精度和效率。

2.2 Mask-RCNN 在儀表讀數(shù)識(shí)別中的應(yīng)用

在對(duì)儀表圖像進(jìn)行訓(xùn)練時(shí)，首先對(duì)巡檢機(jī)器人獲得的儀表圖像進(jìn)行整理，最后選取了1000 張儀表的原始圖像，選取900張圖片將大小改為640*640 大小，然后用labelme 軟件將每張圖像中的興趣區(qū)域也就是儀表表盤(pán)部分進(jìn)行選標(biāo)注，制作成數(shù)據(jù)集。剩余的100 張圖片作為測(cè)試集，在Mask-RCNN 網(wǎng)絡(luò)訓(xùn)練完成時(shí)進(jìn)行驗(yàn)證，可以在復(fù)雜的背景下將儀表表盤(pán)區(qū)域精準(zhǔn)識(shí)別，為方便觀察截取了局部?jī)x表區(qū)域如圖1 所示，可以看出儀表的匹配精確度達(dá)到了98%以上。

圖1 Mask-RCNN 算法檢測(cè)效果

3 儀表讀數(shù)識(shí)別

3.1 儀表圖像預(yù)處理

從復(fù)雜背景中提取到儀表表盤(pán)區(qū)域后，儀表圖像會(huì)存在表盤(pán)傾斜、光照不足、細(xì)節(jié)模糊的情況，因此需要對(duì)表盤(pán)區(qū)域進(jìn)行預(yù)處理。首先對(duì)傾斜表盤(pán)圖像進(jìn)行透視變換；其次對(duì)光照不足的圖像進(jìn)行暗光增強(qiáng)；最后選取自適應(yīng)濾波算法對(duì)圖像進(jìn)行降噪，去除圖像噪聲，保留圖像細(xì)節(jié)[4]。

3.2 儀表刻度讀取

通過(guò)觀察，指針式儀表的圓心位于指針根部，刻度區(qū)域也是呈環(huán)形，所以利用同心圓原理定位儀表刻度區(qū)域，可以看出環(huán)形區(qū)域包括圓心位置、起始刻度位置、量程和單位。首先進(jìn)行霍夫檢測(cè)確定儀表的圓心位置，然后按照儀表的實(shí)際比例在儀表盤(pán)上構(gòu)建一個(gè)同心圓把刻度區(qū)域截取出來(lái)。因?yàn)榄h(huán)形區(qū)域并不方便數(shù)據(jù)讀取，在獲取儀表的環(huán)型刻度區(qū)域后，還是無(wú)法順利進(jìn)行數(shù)據(jù)讀取，所以還需要對(duì)儀表的刻度區(qū)域進(jìn)行變換。針對(duì)這個(gè)問(wèn)題，采用了極坐標(biāo)變換的方法，將圓環(huán)區(qū)域經(jīng)過(guò)極坐標(biāo)轉(zhuǎn)換后，轉(zhuǎn)為矩形區(qū)域的圖像，從而更方便獲取儀表刻度信息[5]。

3.3 儀表指針定位

因?yàn)橹羔槂x表的指針呈線型，而且比較容易識(shí)別。因此，能夠采用霍夫直線檢測(cè)算法來(lái)對(duì)儀表的指針實(shí)現(xiàn)定位，再采用最小二乘算法將儀表指針進(jìn)行細(xì)化，得到指針的角度。

3.4 儀表示數(shù)識(shí)別

圖2 儀表圖像坐標(biāo)標(biāo)定

獲取儀表信息后，建立圖2 所示的直角坐標(biāo)系，原點(diǎn)為儀表中心，根據(jù)已知信息，該壓力表的量程為0～1.6MPa，儀表指針與起始刻度的夾角為65.3°，所求的儀表指針讀數(shù)為x，根據(jù)以下公式求取儀表讀數(shù)：

其中，Δ1為儀表的起始刻度值，Δ2為儀表的最大刻度值，λ 為儀表刻度值覆蓋的角度范圍260°，最后進(jìn)行計(jì)算可以得出該儀表示數(shù)0.402MPa，為確保識(shí)別的準(zhǔn)確性，分別選取了幾種代表性的儀表進(jìn)行驗(yàn)證，試驗(yàn)結(jié)果表明可以達(dá)到實(shí)際應(yīng)用需求，如表1 所示。

表1 指針儀表測(cè)試結(jié)果

4 結(jié)論

傳統(tǒng)的指針式儀表自動(dòng)識(shí)別方法存在著一定的弊端，當(dāng)背景中出現(xiàn)類(lèi)似儀表的圖像很容易產(chǎn)生誤檢和漏檢，由于其很難適應(yīng)實(shí)際的應(yīng)用環(huán)境，不能獲得很好的識(shí)別效率和精度。

本文主要研究了基于Mask-RCNN 網(wǎng)絡(luò)指針式儀表的自動(dòng)識(shí)別方法。首先對(duì)巡檢機(jī)器人獲取的圖像進(jìn)行預(yù)處理；其次通過(guò)Mask-RCNN 網(wǎng)絡(luò)對(duì)儀表區(qū)域進(jìn)行精確定位，提取儀表表盤(pán)區(qū)域；最后針對(duì)不同指針儀表的檢測(cè)難題，采用了對(duì)指針儀表表盤(pán)的刻度和指針?lè)謩e處理的方法，根據(jù)指針與儀表盤(pán)刻度的關(guān)系，獲得儀表數(shù)據(jù)。試驗(yàn)結(jié)果表明本算法可以很好的從復(fù)雜背景中獲取儀表區(qū)域，并且儀表自動(dòng)識(shí)別算法的識(shí)別效率和精度可以滿足實(shí)際需求。