基于機(jī)器學(xué)習(xí)和模板匹配的變電站儀表自動(dòng)讀數(shù)方法

李漢巨

基于機(jī)器學(xué)習(xí)和模板匹配的變電站儀表自動(dòng)讀數(shù)方法

李漢巨

（南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣州 510700）

針對(duì)變電站固定攝像頭拍攝的各種類型的指針式儀表，提出一種自動(dòng)讀數(shù)方法。該方法包括模板制作、模板匹配、圖像處理、表針識(shí)別和幾何讀數(shù)五個(gè)階段。通過(guò)模板制作確定刻度值和角度的幾何關(guān)系，使用模板匹配算法定位待讀數(shù)的儀表盤(pán)位置，提取儀表盤(pán)部分的圖像，并通過(guò)高斯濾波和伽馬變換降低光照和陰影對(duì)表針識(shí)別的干擾。為提升復(fù)雜環(huán)境下圖像二值化的效果，使用K均值聚類算法獲取儀表盤(pán)圖像的動(dòng)態(tài)二值化閾值。為適應(yīng)圓形和橢圓形變形的表盤(pán)，使用可變長(zhǎng)度的線段擬合儀表盤(pán)二值化圖像中的表針，獲取表針的旋轉(zhuǎn)角度，再結(jié)合主要刻度的角度和刻度值的對(duì)應(yīng)關(guān)系，計(jì)算出表針角度對(duì)應(yīng)的讀數(shù)。實(shí)際應(yīng)用結(jié)果表明，針對(duì)自然場(chǎng)景下變電站中的指針式儀表，該方法對(duì)光照、陰影、遮擋、傾斜、變形等干擾因素具有良好的魯棒性，誤差均小于最小刻度間隔，滿足工程應(yīng)用要求。

儀表讀數(shù)；表針識(shí)別；模板匹配；K均值聚類；圖像二值化

0 引言

指針式儀表具有結(jié)構(gòu)簡(jiǎn)單、易于使用、方便維修、抗電磁干擾能力強(qiáng)等優(yōu)點(diǎn)，且能防塵、防水、防凍，被廣泛應(yīng)用于變電站中，以監(jiān)控電力設(shè)備狀態(tài)。變電站中的指針式儀表包括壓力表、氣壓表、油位表、溫度計(jì)、避雷器監(jiān)測(cè)儀等，這些同類或不同類儀表的量程、刻度、表盤(pán)形狀、安裝位置等存在較大差異，并且缺少數(shù)據(jù)輸出接口，這給儀表自動(dòng)讀數(shù)帶來(lái)了挑戰(zhàn)，指針式儀表的自動(dòng)讀數(shù)是一個(gè)需要長(zhǎng)期研究的問(wèn)題。根據(jù)應(yīng)用場(chǎng)景不同，儀表自動(dòng)讀數(shù)的圖片來(lái)源于固定攝像頭和不固定攝像頭（如巡檢機(jī)器人[1]）兩種情形。兩種情形下都需要儀表目標(biāo)檢測(cè)，提取儀表部分的圖像。針對(duì)來(lái)自不固定攝像頭的圖片，一般有兩種目標(biāo)檢測(cè)方法：一種是Hough圓檢測(cè)[2]，但該方法不適用于變形的表盤(pán)和其他形狀的表盤(pán)；另一種是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)，如RCNN（region with convolutional neural network features）和YOLO（you only look once）。由于目前多數(shù)變電站使用固定攝像頭獲取儀表圖像，因此本文使用模板匹配方法提取儀表盤(pán)部分的圖像，具有更好的實(shí)用效果。儀表自動(dòng)讀數(shù)的兩個(gè)關(guān)鍵步驟是指針識(shí)別和指針讀數(shù)。雖然深度學(xué)習(xí)能夠統(tǒng)一上述兩個(gè)步驟，實(shí)現(xiàn)端到端的、圖像到數(shù)值的回歸模型，但是深度學(xué)習(xí)需要海量的標(biāo)注圖像數(shù)據(jù)。特別在實(shí)際應(yīng)用中，儀表的數(shù)值大部分分布在合理的數(shù)值范圍之內(nèi)，很難獲取數(shù)值覆蓋整個(gè)儀表量程的圖像數(shù)據(jù)，這導(dǎo)致訓(xùn)練出來(lái)的深度學(xué)習(xí)模型無(wú)法識(shí)別異常值，而異常值恰恰是電力設(shè)備監(jiān)控的重點(diǎn)指標(biāo)，因此本文不采用深度學(xué)習(xí)。指針識(shí)別的常用方法是Hough直線檢測(cè)[3-6]，但該方法計(jì)算量大且容易受噪聲和圖像二值化效果影響，如檢測(cè)出多條直線時(shí)，較難識(shí)別出正確的指針，另外即使識(shí)別出正確的指針，也很難確定指針的準(zhǔn)確角度。

針對(duì)上述問(wèn)題，本文使用模板匹配算法快速定位儀表盤(pán)的位置，提取儀表盤(pán)部分的圖像，使用K均值聚類算法獲取儀表盤(pán)圖像的動(dòng)態(tài)二值化閾值，提升圖像二值化效果。在此基礎(chǔ)上，針對(duì)指針識(shí)別，使用可變長(zhǎng)度的可旋轉(zhuǎn)線段擬合儀表盤(pán)二值化圖像中的指針，其中旋轉(zhuǎn)角度即指針的角度；針對(duì)指針讀數(shù)，根據(jù)主要刻度的角度和刻度值的對(duì)應(yīng)關(guān)系，計(jì)算出表針角度對(duì)應(yīng)的讀數(shù)。最后，利用人造數(shù)據(jù)和實(shí)際業(yè)務(wù)數(shù)據(jù)驗(yàn)證算法的有效性。本文主要工作如下：

1）提出一種基于機(jī)器學(xué)習(xí)和模板匹配的指針式儀表自動(dòng)讀數(shù)方法。該方法簡(jiǎn)單有效，可快速工 程化。

2）提出自適應(yīng)的圖像二值化方法，避免用單一閾值對(duì)各種類型的表盤(pán)圖像進(jìn)行分割，提升指針識(shí)別效果。

3）提出一種使用可變長(zhǎng)度的可旋轉(zhuǎn)線段擬合指針的方法，該方法易于獲取指針的準(zhǔn)確角度。另外，由于指針末端的軌跡是圓形或傾斜的橢圓形，因此該方法與表盤(pán)的形狀、類型無(wú)關(guān)，從而能夠減少噪聲對(duì)識(shí)別結(jié)果的影響，避免Hough直線檢測(cè)的缺點(diǎn)。

本文算法流程如圖1所示，下面進(jìn)行詳細(xì)說(shuō)明。

圖1 算法流程

1 模板制作

1.1 表盤(pán)區(qū)域、圓心定位與主要刻度標(biāo)注

模板制作如圖2所示，獲取一張固定攝像頭拍攝的圖片，對(duì)該圖片中表盤(pán)矩形區(qū)域進(jìn)行截取和標(biāo)注，如圖2（a）所示；截取部分作為模板圖片，如圖2（b）所示。利用標(biāo)注軟件（如Labelme）獲取表盤(pán)圓心與主要刻度相對(duì)于原圖的坐標(biāo)。值得說(shuō)明的是，標(biāo)注的刻度越細(xì)，越能減小橢圓形變形的影響，讀數(shù)準(zhǔn)確性越高。利用模板圖片可對(duì)該攝像頭拍攝的其他圖像中的表盤(pán)進(jìn)行定位。

1.2 主要刻度值和角度的幾何關(guān)系

（a）通過(guò)Labelme獲取表盤(pán)矩形區(qū)域、圓心與主要刻度的坐標(biāo)

（b）模板圖片

圖2 模板制作

式（1）和式（2）表明了刻度值和角度的幾何關(guān)系。值得指出的是，刻度值和角度的幾何關(guān)系在固定攝像頭情形下保持不變，因此利用這一幾何關(guān)系可計(jì)算出其他圖像指針的旋轉(zhuǎn)角度對(duì)應(yīng)的刻度值，完成指針自動(dòng)讀數(shù)。

2 模板匹配

模板匹配是一項(xiàng)成熟、可靠的圖像處理技術(shù)，已廣泛應(yīng)用于字符識(shí)別、目標(biāo)定位、人臉識(shí)別等領(lǐng)域[7]。模板匹配就是用一幅較小的圖像（模板）與一幅較大圖像中的一部分（子圖像）進(jìn)行匹配。匹配的結(jié)果是確定在大圖像中是否存在小圖像，若存在則進(jìn)一步確定小圖像在大圖像中的位置。對(duì)于攝像頭固定的情形，由于存在抖動(dòng)、室外環(huán)境復(fù)雜等因素，所拍攝圖片中儀表的位置也會(huì)發(fā)生微小變化。若這種變化只來(lái)源于攝像頭微小的左右、上下擺動(dòng)，則同一攝像頭所拍攝的圖片很少出現(xiàn)旋轉(zhuǎn)情況。因此，使用模板匹配技術(shù)能快速、有效地定位儀表在新圖像中的位置，進(jìn)而可以確定新圖像中儀表圓心的坐標(biāo)。

3 圖像預(yù)處理

3.1 不均勻光照校正

圖3 不均勻光照校正效果

3.2 基于K均值聚類算法的圖像二值化

不均勻光照對(duì)圖像二值化效果影響較大，原圖的二值化圖像無(wú)法區(qū)分表針，而經(jīng)過(guò)不均勻光照校正后，其二值化圖像能較好區(qū)分表針。圖像二值化效果對(duì)比如圖4所示。

4 指針識(shí)別

5 指針讀數(shù)

圖5 指針識(shí)別效果

6 實(shí)驗(yàn)結(jié)果及分析

6.1 仿真數(shù)據(jù)實(shí)驗(yàn)

在實(shí)際應(yīng)用中，儀表的數(shù)值大部分分布在合理數(shù)值范圍之內(nèi)，較難獲取指針數(shù)值覆蓋整個(gè)儀表量程的圖像數(shù)據(jù)，無(wú)法測(cè)試算法的泛化能力，因此本文利用生成數(shù)據(jù)驗(yàn)證算法的泛化能力。利用Echarts生成以下隨機(jī)數(shù)據(jù)：1 000個(gè)400×400像素表盤(pán)，刻度值范圍為0～100，一個(gè)刻度長(zhǎng)度為2，其中表環(huán)顏色、表針大小、長(zhǎng)度、表針取值等隨機(jī)生成。仿真數(shù)據(jù)集如圖6所示。

圖6 仿真數(shù)據(jù)集

選定其中一張圖片（見(jiàn)圖7（a））作為模板，其二值化圖像和指針識(shí)別效果如圖7（b）和圖7（c）所示。

圖7 仿真數(shù)據(jù)的模板圖片

仿真數(shù)據(jù)的實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 仿真數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

6.2 實(shí)測(cè)數(shù)據(jù)實(shí)驗(yàn)

采用廣州某變電站真實(shí)儀表圖像，這些圖像數(shù)據(jù)包含光照不均勻、傾斜、橢圓變形、遮擋、模糊、干擾等情況。實(shí)測(cè)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果見(jiàn)表2。從表2可知，本文方法的魯棒性良好，能有效處理受到各種因素影響的圖像。

7 結(jié)論

本文研究了變電站復(fù)雜環(huán)境下固定攝像頭拍攝的指針式儀表的自動(dòng)讀數(shù)問(wèn)題，提出一種自動(dòng)讀數(shù)方法，主要包括模板制作、模板匹配、圖像處理、指針識(shí)別和幾何讀數(shù)五部分。這五部分松耦合，可操作性強(qiáng)，不需要大量數(shù)據(jù)用于建模，能夠快速工程化，后期可根據(jù)應(yīng)用效果對(duì)每個(gè)模塊的處理方法進(jìn)行快速迭代和替換，如：針對(duì)模板制作，可提升刻度標(biāo)注的顆粒度；針對(duì)模板匹配，可使用相關(guān)法、二次匹配誤差算法、高速模板匹配法等方法；針對(duì)圖像處理，可增加去霧、去雨、增亮等算法。

仿真數(shù)據(jù)和實(shí)測(cè)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，本文方法適用范圍廣，可以統(tǒng)一處理各種類型、量程的儀表；魯棒性好，能有效處理受到光照不均勻、表盤(pán)傾斜、橢圓變形、刻度遮擋、表盤(pán)模糊、表針干擾等因素影響的圖像。

表2 實(shí)測(cè)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

[1] 孫婷, 馬磊. 巡檢機(jī)器人中指針式儀表示數(shù)的自動(dòng)識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(1): 287-291.

[2] 段志達(dá), 魏利勝, 劉小琿, 等. 基于Hough變換圓檢測(cè)和邊緣模板匹配的軸承缺陷檢測(cè)與定位[J]. 安徽工程大學(xué)學(xué)報(bào), 2020, 35(4): 60-68.

[3] 杜靜, 魏鴻磊, 樊雙蛟, 等. 基于HOUGH變換的指針式壓力表自動(dòng)識(shí)別算法[J]. 機(jī)床與液壓, 2020, 48(11): 70-75.

[4] 楊應(yīng)彬, 尹春麗, 劉波, 等. 基于Hough變換與特征聚類的指針輪廓識(shí)別方法[J]. 機(jī)械設(shè)計(jì)與研究, 2019, 35(3): 7-11.

[5] 姚洋, 彭道剛, 王志萍. 基于改進(jìn)Canny檢測(cè)與Hough變換的儀表圖像識(shí)別算法[J]. 上海電力大學(xué)學(xué)報(bào), 2020, 36(2): 183-189.

[6] 高建龍, 郭亮, 呂耀宇, 等. 改進(jìn)ORB和Hough變換的指針式儀表識(shí)讀方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2018, 54(23): 252-258.

[7] 朱添益, 戴逢哲, 程思舉, 等. 基于圖像處理技術(shù)的換流站智能掃描系統(tǒng)[J]. 電氣技術(shù), 2020, 21(4): 25-29.

[8] 汪榮貴, 朱靜, 楊萬(wàn)挺, 等. 基于照度分割的局部多尺度Retinex算法[J]. 電子學(xué)報(bào), 2010, 38(5): 1181- 1186.

[9] 王攀峰, 趙書(shū)俊, 王雙玲, 等. 一種基于Retinex原理的DR圖像增強(qiáng)改進(jìn)算法[J]. 中國(guó)體視學(xué)與圖像分析, 2020, 25(1): 57-64.

[10] 王萍, 孫振明. 多級(jí)分解的Retinex低照度圖像增強(qiáng)算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2020, 37(4): 1204-1209.

[11] 李賢陽(yáng), 陽(yáng)建中, 楊竣輝, 等. 基于改進(jìn)的直方圖均衡化與邊緣保持平滑濾波的紅外圖像增強(qiáng)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2019, 36(3): 96-103.

[12] 王殿偉, 王晶, 許志杰, 等. 一種光照不均勻圖像的自適應(yīng)校正算法[J]. 系統(tǒng)工程與電子技術(shù), 2017, 39(6): 1383-1390.

[13] 裴超, 王大磊, 楊占剛, 等. 考慮時(shí)空分布的配電網(wǎng)站房巡檢策略[J]. 電氣技術(shù), 2023, 24(1): 86-90.

[14] 陳振祥, 林培杰, 程樹(shù)英, 等. 基于K-means++和混合深度學(xué)習(xí)的光伏功率預(yù)測(cè)[J]. 電氣技術(shù), 2021, 22(9): 7-13.

Automatic reading method of substation meters based on machine learning and template matching

LI Hanju

(China Southern Power Grid Digital Power Grid Research Institute Co., Ltd, Guangzhou 510700)

An automatic reading method is proposed for various types of pointer instruments captured by fixed cameras in substations. This method consists of five stages: template making, template matching, image processing, needle recognition, and geometric reading. The geometric relationship between the scale value and the angle is determined by template making. The template matching algorithm is used to locate the position of the meter panel. The image of the meter panel is extracted. The interference of light and shadow on the needle recognition is reduced by Gaussian filter and gamma transform. In order to improve the effect of image binarization in complex environment, K-means clustering algorithm is used to obtain the dynamic binarization threshold of meter panel image. In order to adapt to the round and oval deformed dial, the line segment with variable length is used to fit the needle in the binary image of the meter panel to obtain the angle of the needle, and then the reading corresponding to the angle of the needle is calculated in combination with the corresponding relationship between the angle of the main scale and the scale value. The practical application results show that for the pointer meter in the substation, this method has good robustness to the interference factors such as illumination, shadow, occlusion, inclination and deformation, and the error is less than the minimum scale interval, which meets the engineering application requirements.

meter reading; needle recognition; template matching; K-means clustering; image binarization

2023-09-07

2023-10-27

李漢巨（1979—），男，廣東省湛江市人，碩士，高級(jí)工程師，主要從事機(jī)器學(xué)習(xí)技術(shù)研究工作。