基于CenterNet 和DeepLabv3+的變電站指針式儀表讀數(shù)識(shí)別方法

黃思遠(yuǎn)，樊紹勝，王子揚(yáng)

（長(zhǎng)沙理工大學(xué)電氣與信息工程學(xué)院，長(zhǎng)沙 410114）

0 引言

在數(shù)字化、人工智能的發(fā)展下，大部分工業(yè)場(chǎng)景可以使用數(shù)字式儀表對(duì)機(jī)器的工作狀態(tài)進(jìn)行監(jiān)測(cè)，但對(duì)于像室外變電站這種有強(qiáng)磁場(chǎng)存在的復(fù)雜環(huán)境，仍需要使用指針式儀表來(lái)監(jiān)測(cè)變電設(shè)備的工作狀態(tài)［1-2］。早期指針式儀表讀數(shù)自動(dòng)識(shí)別的研究工作主要基于傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)［3-4］，這些傳統(tǒng)方法對(duì)儀表的成像質(zhì)量要求比較高，再加上人工設(shè)計(jì)的特征對(duì)室外變電站場(chǎng)景變化的魯棒性不高，導(dǎo)致指針式儀表的檢測(cè)和讀數(shù)識(shí)別精度普遍不高。文獻(xiàn)［5-6］采用傳統(tǒng)霍夫直線檢測(cè)算法來(lái)檢測(cè)指針直線段，對(duì)圖片的質(zhì)量要求高，且圖像降噪預(yù)處理繁瑣，但檢測(cè)結(jié)果精度不高，存在多條干擾線條。文獻(xiàn)［7］通過(guò)圖像的RGB 顏色空間轉(zhuǎn)換到HSV 顏色空間來(lái)定位油位計(jì)刻度環(huán)的起始、終點(diǎn)位置，但顏色特征受強(qiáng)光照影響大，可靠性低于空間特征，且魯棒性較差。文獻(xiàn)［8-9］采用SIFT 算法進(jìn)行特征點(diǎn)匹配完成儀表盤的定位，SIFT 算法不僅計(jì)算量大，運(yùn)行耗時(shí)長(zhǎng)，而且對(duì)于室外變電站場(chǎng)景容易產(chǎn)生大量的誤匹配，導(dǎo)致檢測(cè)結(jié)果不理想。

目前，卷積神經(jīng)網(wǎng)絡(luò)［10］因其強(qiáng)大的特征表征能力，廣泛應(yīng)用于變電站指針式儀表檢測(cè)與讀數(shù)識(shí)別領(lǐng)域。文獻(xiàn)［11-12］利用目標(biāo)檢測(cè)算法Faster-RCNN 來(lái)完成儀表盤的定位，在很大程度上提高了儀表檢測(cè)的精度，但在讀數(shù)識(shí)別階段仍采用傳統(tǒng)方法來(lái)檢測(cè)指針，導(dǎo)致指針的識(shí)別精度不高。文獻(xiàn)［13-14］在儀表檢測(cè)階段采用深度學(xué)習(xí)方法，但在儀表讀數(shù)識(shí)別階段仍通過(guò)自適應(yīng)閾值分割算法來(lái)分割指針區(qū)域和刻度盤，根據(jù)指針與刻度之間的角度差來(lái)計(jì)算讀數(shù)，該方法對(duì)閾值的調(diào)參要求高，而且小刻度之間容易產(chǎn)生誤連通。文獻(xiàn)［15］在儀表檢測(cè)階段采用深度學(xué)習(xí)目標(biāo)檢測(cè)算法來(lái)定位儀表盤和指針區(qū)域，在儀表讀數(shù)識(shí)別階段利用深度學(xué)習(xí)語(yǔ)義分割算法來(lái)分割儀表刻度盤和指針區(qū)域，分別進(jìn)行刻度盤和指針輪廓擬合，顯著提高了檢測(cè)和讀數(shù)識(shí)別精度，但該方法所采用的模型計(jì)算量大、冗余特征多，部署難度大。文獻(xiàn)［16］提出了一種基于掩模區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）的關(guān)鍵點(diǎn)檢測(cè)的指針自動(dòng)讀數(shù)方法，該方法利用檢測(cè)到的關(guān)鍵點(diǎn)進(jìn)行擬合，具有較強(qiáng)的準(zhǔn)確性，但關(guān)鍵點(diǎn)的檢測(cè)易受光照影響，可靠性較低。

由以上文獻(xiàn)研究可知，變電站指針式儀表讀數(shù)識(shí)別存在如下待解決的難點(diǎn)：第一是從復(fù)雜的背景當(dāng)中識(shí)別儀表并給出儀表矩形框的準(zhǔn)確坐標(biāo)信息；第二是對(duì)待檢測(cè)的畸變儀表圖像進(jìn)行矯正，獲取儀表的正立圖像；第三是對(duì)儀表正立圖像進(jìn)行刻度盤、指針區(qū)域的分割，獲取指針區(qū)域直線擬合的角度并得到讀數(shù)。針對(duì)以上難點(diǎn)，本文采用改進(jìn)的深度學(xué)習(xí)anchor-free 的目標(biāo)檢測(cè)算法CenterNet，從復(fù)雜的背景中獲取畸變儀表圖像；利用線性變換理論對(duì)畸變儀表圖像進(jìn)行矯正，獲取儀表正立圖像；采用改進(jìn)的深度學(xué)習(xí)語(yǔ)義分割算法DeepLabv3+分割儀表正立圖像的刻度盤、指針區(qū)域，獲取指針的傾斜角度；結(jié)合儀表量程，通過(guò)角度法計(jì)算，實(shí)現(xiàn)對(duì)指針式儀表讀數(shù)的自動(dòng)識(shí)別。

1 儀表檢測(cè)與讀數(shù)識(shí)別模型

針對(duì)指針式儀表檢測(cè)精度低與讀數(shù)誤差大的問(wèn)題，通過(guò)在CenterNet 目標(biāo)檢測(cè)模型主干網(wǎng)絡(luò)的殘差結(jié)構(gòu)上引入ECA-Net 注意力模塊，提高復(fù)雜環(huán)境中指針式儀表的檢測(cè)精度；通過(guò)圖像線性變換理論來(lái)對(duì)畸變儀表圖像進(jìn)行矯正，獲取儀表正立圖像；通過(guò)在DeepLabv3+語(yǔ)義分割模型ASPP 結(jié)構(gòu)上并聯(lián)DAMM 雙注意力模塊來(lái)加強(qiáng)對(duì)前景像素點(diǎn)的上下文信息的聯(lián)系，從而提高對(duì)刻度盤和指針區(qū)域分割的準(zhǔn)確度。

本文提出的儀表檢測(cè)與讀數(shù)識(shí)別模型的主要思路如下：將云臺(tái)攝像機(jī)采集到的圖像通過(guò)CenterNet 目標(biāo)檢測(cè)模型，獲取當(dāng)前幀圖像中儀表的類別和儀表矩形框的位置坐標(biāo)信息，從而在復(fù)雜的背景環(huán)境中單獨(dú)截取出儀表圖像。由于攝像頭平面與儀表的表盤平面不平行，圓形儀表表盤在當(dāng)前幀圖像中畸變?yōu)闄E圓狀?；趫D像的線性變換理論和表盤分割結(jié)果，選擇橢圓的長(zhǎng)短軸與橢圓的4 個(gè)交點(diǎn)坐標(biāo)，將其和假想圓與坐標(biāo)軸的4 個(gè)頂點(diǎn)坐標(biāo)位置對(duì)應(yīng)關(guān)系進(jìn)行透視變換及仿射變換，來(lái)矯正畸變儀表圖像，獲取儀表正立圖像。通過(guò)DeepLabv3+語(yǔ)義分割模型來(lái)分割刻度盤、指針區(qū)域，獲取指針直線角度。結(jié)合儀表量程與角度的對(duì)應(yīng)關(guān)系計(jì)算儀表讀數(shù)結(jié)果，從而實(shí)現(xiàn)對(duì)指針式圓形儀表的自動(dòng)讀數(shù)識(shí)別。儀表檢測(cè)與讀數(shù)識(shí)別流程圖如圖1所示。

圖1 儀表檢測(cè)與讀數(shù)識(shí)別流程圖Fig.1 Instrument inspection and reading recognition flowchart

2 基于CenterNet 的儀表目標(biāo)檢測(cè)

2.1 CenterNet 算法

深度學(xué)習(xí)目標(biāo)檢測(cè)算法大致分可為兩大類：第一類是基于anchor-based 的目標(biāo)檢測(cè)網(wǎng)絡(luò)，第二類是基于anchor-free 的目標(biāo)檢測(cè)網(wǎng)絡(luò)。anchor-free 的目標(biāo)檢測(cè)算法速度快、精度高、方便部署，所以本文在儀表目標(biāo)定位時(shí)采用了改進(jìn)的CenterNet 模型［17］。CenterNet 的“anchor”僅僅出現(xiàn)在當(dāng)前目標(biāo)的位置，而不是整張圖上，其不需要區(qū)分anchor 是前景還是背景，因?yàn)槊總€(gè)目標(biāo)只對(duì)應(yīng)一個(gè)“anchor”，這個(gè)anchor 是從heatmap 中提取出來(lái)的，所以無(wú)須進(jìn)行NMS 操作來(lái)過(guò)濾冗余框。CenterNet 的輸入特征圖尺寸是輸出特征圖尺寸的4 倍，這種保持大分辨率的輸出有利于系統(tǒng)保留邊緣、紋理等細(xì)節(jié)特征，而這些淺層的物理信息更有利于物體邊界框的準(zhǔn)確位置回歸。CenterNet 由特征提取主干網(wǎng)絡(luò)、連接層和功能模塊3 大組件構(gòu)成，其網(wǎng)絡(luò)結(jié)構(gòu)的主要功能模塊如圖2 所示。

圖2 CenterNet 主要功能模塊Fig.2 CenterNet main functional module

2.2 引入ECA-Net 注意力機(jī)制模塊

本文采用的改進(jìn)CenterNet 目標(biāo)檢測(cè)算法的主干網(wǎng)絡(luò)將原來(lái)的Resnet18 更改為ECA-Net50。ECANet 在SENet 的基礎(chǔ)上進(jìn)行了一些改進(jìn)，是一種不降維的局部跨信道交互策略和自適應(yīng)選擇一維卷積核大小的方法。ECA-Net50 是在ResNet50的殘差結(jié)構(gòu)模塊引入了ECA-Net 輕量級(jí)注意力機(jī)制模塊［18］。ECA-Net50 在實(shí)現(xiàn)原有ResNet50 的參數(shù)量增加很少的前提下，大大提高了檢測(cè)的精度。ECA-Net 模塊添加在殘差網(wǎng)絡(luò)模塊ResNet50 的結(jié)構(gòu)圖如圖3 所示。

圖3 加入ECA 模塊的Resnet50 網(wǎng)絡(luò)Fig.3 Join the Resnet50 network of the ECA module

3 基于DeepLabv3+的儀表刻度盤、指針?lè)指?/h2>

3.1 DeepLabv3+算法

DeepLabv3+語(yǔ)義分割算法通過(guò)空洞卷積［19］（Atrous Convolution）來(lái)減少下采樣率，同時(shí)保持了較大的感受野，降低了低層特征空間位置信息的損失。該算法采用編碼-解碼網(wǎng)絡(luò)架構(gòu)，在編碼模塊，以Xception 網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)進(jìn)行特征提取。在Xception 中利用深度可分離卷積進(jìn)行特征提取，相比標(biāo)準(zhǔn)卷積，其參數(shù)量以及計(jì)算量大幅度減小，而其性能卻能夠與標(biāo)準(zhǔn)卷積媲美。在解碼模塊，采用雙線性插值逐步恢復(fù)圖像的尺寸，為了保留局部細(xì)節(jié)信息，在恢復(fù)過(guò)程中融合低層特征中的細(xì)節(jié)信息，再經(jīng)過(guò)線性插值處理恢復(fù)圖像尺寸。針對(duì)目標(biāo)的多尺度問(wèn)題，該算法可利用ASPP 模塊融合多尺度特征。ASPP 模塊由空洞率分別為6、12、18 的3×3 空洞卷積和1×1 卷積以及全局平均池化操作共同組成。DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4 所示。

圖4 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 DeepLabV3+ network structure diagram

3.2 引入DAMM 雙注意力機(jī)制模塊

在DeepLabv3+中，ASPP 模塊作為編碼與解碼模塊之間的橋梁，連接著模型中的上下文信息，并捕捉全局語(yǔ)義信息，因此該部分提取的特征至關(guān)重要。ASPP 通過(guò)多個(gè)分支采用不同空洞率的方式獲取多尺度特征，最后對(duì)多種特征層進(jìn)行融合。實(shí)際應(yīng)用中，如果是一個(gè)大物體，那么其空洞率最大的分支提取到的特征應(yīng)該是最重要的，對(duì)應(yīng)的權(quán)重也是最大的，其余分支的權(quán)重較小；如果是一個(gè)小物體，那么其空洞率最小的分支的權(quán)值應(yīng)該是最大的，其余分支的權(quán)值較小。在ASPP 模塊中，僅僅是每個(gè)分支對(duì)應(yīng)不同的權(quán)重，不同分支的權(quán)重之間都是獨(dú)立的，沒(méi)有相關(guān)性。這樣就導(dǎo)致了DeepLabv3+網(wǎng)絡(luò)存在刻度盤分割中類內(nèi)不一致、存在空洞現(xiàn)象，指針邊緣分割不平滑等缺陷。針對(duì)此問(wèn)題，本文將雙注意力機(jī)制DAMM 模塊［20］與ASPP模塊并行連接來(lái)彌補(bǔ)ASPP 模塊的缺點(diǎn)。DAMM 模塊中的位置注意力模塊能夠有效模擬出圖像位置間的長(zhǎng)期上下文依賴信息，將不同局部特征信息連貫起來(lái)，提高語(yǔ)義分割能力；DAMM 模塊中的通道注意力模塊利用不同通道的相關(guān)類別特征間的關(guān)聯(lián)性進(jìn)行不同類別特征強(qiáng)化，提升像素分類精度。DAMM 雙注意機(jī)制模塊與ASPP 模塊并聯(lián)結(jié)構(gòu)圖如圖5 所示。

圖5 DAMM 雙注意機(jī)制模塊與ASPP 模塊并聯(lián)圖Fig.5 DAMM dual attention mechanism module and ASPP module in parallel diagram

4 基于線性變換理論的畸變儀表圖像的矯正

4.1 透視變換

云臺(tái)攝像機(jī)采集的圖像通過(guò)CenterNet 模型截取待檢儀表圖像。由于攝像頭采集原始儀表圖像時(shí)，相機(jī)平面和儀表表盤平面存在角度偏差，圓形表盤畸變?yōu)闄E圓狀，此時(shí)的待檢儀表圖像為畸變儀表圖像。通過(guò)透視變換對(duì)畸變儀表圖像進(jìn)行處理，將其修正為儀表正立圖像，可以減小讀數(shù)誤差。透視變換是原圖像平面中的向量在三維空間中經(jīng)過(guò)線性變換矩陣T映射為新視平面中的向量，其變換規(guī)則如式（1）所示：

式中，（x，y）為待檢儀表圖像上的坐標(biāo)，（x′，y′）為儀表正視圖像上的坐標(biāo)。待檢儀表圖像經(jīng)過(guò)DeepLabv3+算法得到刻度盤和指針區(qū)域的分割圖。變換前刻度盤輪廓橢圓擬合的長(zhǎng)短軸與橢圓的4 個(gè)頂點(diǎn)坐標(biāo)，和變換后假想圓與坐標(biāo)軸的4 個(gè)交點(diǎn)坐標(biāo)相對(duì)應(yīng)，由式（1）求出透視變換矩陣T，再結(jié)合式（2）將待檢儀表圖像上所有點(diǎn)都映射到儀表正視圖像上。待檢儀表圖像中刻度盤區(qū)域擬合的橢圓經(jīng)過(guò)透視變換后將映射為儀表正視圖像中圓的位置。

4.2 仿射變換

經(jīng)過(guò)透視變換得到的儀表正視圖像與儀表正立圖像存在旋轉(zhuǎn)角度偏差，在這種情況下，可以對(duì)儀表正視圖像做仿射變換得到儀表正立圖像。仿射變換是原圖像上的所有向量經(jīng)過(guò)線性變換矩陣Q映射為儀表正立圖像上的所有向量，其變換規(guī)則如式（3）：

式（4）中，（x″，y″）是儀表正立圖像上的坐標(biāo)，（x′，y′）是儀表正視圖像上的坐標(biāo)。過(guò)橢圓焦點(diǎn)坐標(biāo)在待檢儀表圖像中畫一條輔助垂線，待檢儀表圖像經(jīng)過(guò)透視變換后，儀表正視圖像上的輔助線與中心垂線存在相應(yīng)的角度差，再將儀表正視圖像旋轉(zhuǎn)相應(yīng)的角度差得到儀表正立圖像。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 引入ECA-Net 的CenterNet 儀表目標(biāo)檢測(cè)實(shí)驗(yàn)

CenterNet 的作用是從攝像頭采集的儀表圖像中框出儀表目標(biāo)的矩形框位置并裁剪出儀表圖像。本文所采用的數(shù)據(jù)集是變電站真實(shí)指針式儀表圖像數(shù)據(jù)，借助開源工具Labelme 制作數(shù)據(jù)集：在儀表圖像中框出表盤目標(biāo)區(qū)域，并輸入相應(yīng)儀表類別標(biāo)簽（包括監(jiān)測(cè)器、壓力表、油位計(jì)3 類），一共1 182 張圖片，其訓(xùn)練集∶驗(yàn)證集∶測(cè)試集的比例為8∶1∶1，訓(xùn)練集制作完成后將圖像和標(biāo)簽輸入CenterNet 網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，epoch參數(shù)設(shè)置為100，前50 個(gè)epoch 凍結(jié)ECA-Net50 的Resnet50 預(yù)訓(xùn)練權(quán)重，后50 個(gè)epoch 不凍結(jié)backbone 主干網(wǎng)絡(luò)，網(wǎng)絡(luò)全局參數(shù)都可以進(jìn)行微調(diào)。學(xué)習(xí)率的調(diào)整采用自適應(yīng)衰減方法，優(yōu)化器采用傳統(tǒng)的Adam 優(yōu)化器。在訓(xùn)練完成后，需要對(duì)引入ECA-Net 注意力機(jī)制的CenterNet 進(jìn)行儀表盤定位測(cè)試。圖6 展示了改進(jìn)的CenterNet 對(duì)變電站不同時(shí)刻采集到的指針式儀表圖像的表盤定位結(jié)果。從測(cè)試結(jié)果中可以發(fā)現(xiàn)，云臺(tái)攝像機(jī)在不同時(shí)刻、不同角度、不同距離下采集到的變電站儀表圖像，改進(jìn)的CenterNet 均能以高置信度檢測(cè)出表盤區(qū)域，并識(shí)別出表盤的類別結(jié)果，說(shuō)明加入ECA-Net 注意力機(jī)制的CenterNet 模型訓(xùn)練效果理想。

圖6 儀表表盤區(qū)域檢測(cè)結(jié)果Fig.6 Instrument dial area test results

將本文改進(jìn)的CenterNet 模型與原始Resnet50-CenterNet 模型進(jìn)行對(duì)比實(shí)驗(yàn)分析，各類評(píng)價(jià)指標(biāo)的AP值、mAP、FPS 和Model size 的對(duì)比結(jié)果如表1 所示。

表1 改進(jìn)的CenterNet 模型與原始Resnet50-CenterNet 模型的對(duì)比結(jié)果Tab.1 Comparison results between the improved CenterNet model and the original Resnet50-CenterNet model

從表1 中可以看出，與傳統(tǒng)殘差結(jié)構(gòu)ResNet50 相比，本文使用ECA-Net50 主干網(wǎng)絡(luò)，對(duì)模型參數(shù)量的增加很少。對(duì)比原始Resnet50-CenterNet 模型，采用本文改進(jìn)的CenterNet 模型，可使監(jiān)測(cè)器的AP 值增加13%，油位計(jì)的AP 值增加7%，壓力表的AP 值增加2.23%，mAP 值提高7.51%。

5.2 引入DAMM 的DeepLabv3+儀表目標(biāo)分割實(shí)驗(yàn)

DeepLabv3+算法的作用是分割出儀表的刻度盤區(qū)域和指針區(qū)域，其輸入是經(jīng)過(guò)CenterNet 目標(biāo)檢測(cè)算法截取的儀表圖像（RGB 格式），輸出是帶有像素類別標(biāo)簽的，與輸入圖像大小一致的分割圖。訓(xùn)練集的制作同樣用到Labelme 標(biāo)注工具，制作方式為將儀表表盤區(qū)域分為3 大類（背景，刻度盤，指針），背景用像素值（0，0，0）表示，刻度盤用像素值（255，0，0）表示，指針用像素值（0，255，0）表示。訓(xùn)練集的原圖與標(biāo)簽圖保持命名一致，圖7 展示了訓(xùn)練集部分樣本圖。

圖7 訓(xùn)練集部分樣本圖Fig.7 Sample diagram of the training set part

本文所采集的變電站指針式儀表圖像中，原始?jí)毫Ρ韴D像僅有213 張，故對(duì)原始圖像和標(biāo)簽圖進(jìn)行對(duì)應(yīng)的數(shù)據(jù)增強(qiáng)操作。數(shù)據(jù)增強(qiáng)操作包括：±30°旋轉(zhuǎn)、色彩抖動(dòng)、噪聲擾動(dòng)等。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的訓(xùn)練集達(dá)到600 張左右。采用遷移學(xué)習(xí)進(jìn)行訓(xùn)練，加載DeepLabv3+在PASCAL_VOC 數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重。損失函數(shù)在Cross-entropy 交叉熵?fù)p失函數(shù)的基礎(chǔ)上加上Dice 損失函數(shù)。訓(xùn)練完成后，需要對(duì)DeepLabv3+網(wǎng)絡(luò)的訓(xùn)練效果進(jìn)行測(cè)試。圖8 展示了DeepLabv3+分割儀表刻度盤和指針的測(cè)試結(jié)果。

圖8 測(cè)試結(jié)果Fig.8 Test results

從圖8 的測(cè)試結(jié)果中可以發(fā)現(xiàn)，當(dāng)采集的指針式壓力表圖片分辨率較高時(shí)，原始模型基本上能夠準(zhǔn)確分割出刻度盤和指針區(qū)域，但是發(fā)現(xiàn)刻度盤邊緣分割存在瑕疵點(diǎn)、指針邊緣不平滑以及存在微小噪聲點(diǎn)的問(wèn)題，而引入注意力機(jī)制的本文模型基本上沒(méi)有存在很明顯的噪聲點(diǎn)，分割的刻度盤、指針邊緣較平滑，且刻度盤中間不會(huì)出現(xiàn)斷層現(xiàn)象，說(shuō)明引入注意力機(jī)制的本文所提模型能夠加強(qiáng)對(duì)刻度盤、指針輪廓邊緣像素點(diǎn)的特征學(xué)習(xí)，提高對(duì)刻度盤以及指針邊緣分割的效果。

5.3 畸變儀表圖像矯正實(shí)驗(yàn)

在變電站場(chǎng)景中，巡檢機(jī)器人云臺(tái)上的攝像頭位置比較低，而指針式儀表的安裝位置比較高，攝像頭在采集儀表圖像時(shí)呈仰角狀態(tài)，導(dǎo)致采集的圓形儀表圖像的表盤畸變?yōu)闄E圓。為了減少這種畸變橢圓所帶來(lái)的指針區(qū)域直線擬合的角度誤差，需要對(duì)畸變儀表圖像進(jìn)行透視變換和仿射變換來(lái)獲取儀表正立圖像?；儍x表圖像透視變換、仿射變換的結(jié)果如圖9 所示。

圖9 畸變儀表圖像及線性變換結(jié)果Fig.9 Distortion gauge images and Linear transformation results

同時(shí)，對(duì)分割刻度盤、指針的二值圖像也做相應(yīng)的透視變換和仿射變換來(lái)獲取最終的指針輪廓擬合直線的傾斜角。分割二值圖像的透視變換、仿射變換的結(jié)果圖如圖10 所示。

圖10 分割二值圖像及線性變換結(jié)果Fig.10 Split binary image and linear transformation results

5.4 儀表讀數(shù)自動(dòng)識(shí)別實(shí)驗(yàn)

儀表原始圖像經(jīng)過(guò)CenterNet 目標(biāo)檢測(cè)算法后會(huì)得到儀表的類別信息，進(jìn)而確定了儀表的量程。然后根據(jù)儀表正立圖像中指針區(qū)域直線擬合的傾斜角，由角度法計(jì)算指針式儀表的讀數(shù)值。角度法的計(jì)算公式如式（5）所示：

式中，Lmax表示儀表的最大量程，Lmin表示儀表的最小量程，θmax表示儀表的最大量程對(duì)應(yīng)的角度，θmin表示儀表的最小量程對(duì)應(yīng)的角度，θ表示指針的傾斜角，R表示儀表的讀數(shù)值。部分儀表圖像矯正前和矯正后的讀數(shù)結(jié)果如圖11 所示。表2 統(tǒng)計(jì)了部分樣本矯正前與矯正后的讀數(shù)值與真實(shí)值大小。

由圖11 和表2 可知，矯正前儀表讀數(shù)預(yù)測(cè)值和儀表真實(shí)值之間的標(biāo)稱誤差為6.0%，平均誤差為4.2%，矯正后儀表讀數(shù)預(yù)測(cè)值和儀表真實(shí)值之間的標(biāo)稱誤差為2.0%，平均誤差為1.3%。實(shí)驗(yàn)結(jié)果證明，矯正畸變儀表圖像能夠提高儀表讀數(shù)值識(shí)別的精度。

表2 部分儀表圖像矯正前與矯正后的讀數(shù)結(jié)果與真實(shí)值對(duì)照表Tab.2 Comparison table between the numerical results and the real values of some instrument images before and after correction

圖11 部分儀表圖像矯正前和矯正后的讀數(shù)識(shí)別結(jié)果Fig.11 The identification results of some instrument images before and after correction

6 結(jié)論

本文針對(duì)指針式儀表讀數(shù)識(shí)別時(shí)存在檢測(cè)精度低、讀數(shù)誤差大的問(wèn)題。在儀表檢測(cè)階段，與傳統(tǒng)殘差結(jié)構(gòu)ResNet50 相比，本文使用ECA-Net50 主干網(wǎng)絡(luò)，對(duì)模型參數(shù)量的增加很少。對(duì)比原始模型，本文改進(jìn)的CenterNet 模型使得監(jiān)測(cè)器的AP 值增加13%，油位計(jì)的AP 值增加7%，壓力表的AP 值增加2.23%，且整體mAP 提高了7.51%。在分割模型上增加DAMM 雙注意力機(jī)制，DAMM 雙注意力機(jī)制緩解了Deep－Labv3+收斂速度慢的情況，以及有效地去除了表盤目標(biāo)分割的空洞現(xiàn)象，顯著提高了刻度盤閉合區(qū)域輪廓擬合的精度；在儀表讀數(shù)識(shí)別階段，矯正前儀表讀數(shù)預(yù)測(cè)值和儀表真實(shí)值之間的標(biāo)稱誤差為6.0%，平均誤差為4.2%，矯正后儀表讀數(shù)預(yù)測(cè)值和儀表真實(shí)值之間的標(biāo)稱誤差為2.0%，平均誤差為1.3%。

所提方法有效提高了變電站巡檢機(jī)器人對(duì)指針式圓形儀表的檢測(cè)精度，同時(shí)也減小了儀表讀數(shù)值與真實(shí)值之間的誤差。但在現(xiàn)實(shí)場(chǎng)景中，如果指針式儀表的指針?lè)浅＜?xì)或者存在指針遮擋現(xiàn)象，指針?lè)指畹木葧?huì)受到影響。未來(lái)要進(jìn)一步對(duì)細(xì)指針和指針遮擋的儀表識(shí)別算法進(jìn)行優(yōu)化，提升復(fù)雜環(huán)境下算法的泛化能力。