基于相機(jī)標(biāo)定和最大連通區(qū)域算法的指針式儀表讀數(shù)識(shí)別

徐遵義 韓紹超

摘 ?要： 針對(duì)現(xiàn)有指針式儀表判讀技術(shù)很少利用攝像機(jī)標(biāo)定參數(shù)，自動(dòng)判讀準(zhǔn)確度較低，無法滿足工業(yè)生產(chǎn)實(shí)際需求的現(xiàn)狀，提出將攝像機(jī)標(biāo)定技術(shù)應(yīng)用于圓形指針式儀表的自動(dòng)判讀，極大地減少了攝像機(jī)自身在圖像采集過程中產(chǎn)生的誤差;提出基于最大連通區(qū)域的儀表輪廓識(shí)別方法，提高了圓形儀表輪廓檢測(cè)速度。利用SIFT算法進(jìn)行儀表圖像的關(guān)鍵點(diǎn)提取，利用模板匹配的方式實(shí)現(xiàn)圖像中儀表的傾斜校正。實(shí)驗(yàn)結(jié)果表明，該方法的檢測(cè)精確度可以達(dá)到95%以上，檢測(cè)效率較傳統(tǒng)方法提高了30%左右。

關(guān)鍵詞： 指針式儀表; 攝像機(jī)標(biāo)定; 特征提取; 模板匹配; Hough變換; 最大連通區(qū)域

中圖分類號(hào)： TN911.73?34; TP216 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）09?0046?05

Pointer instrument reading recognition based on camera calibration

and maximum connected region algorithm

XU Zunyi， HAN Shaochao

（School of Computer Science and Technology， Shandong Jianzhu University， Jinan 250101， China）

Abstract： The camera is rarely used in existing automatic reading recognition technologies of pointer instrument for parameter calibration， and the low accuracy of automatic reading recognition can′t meet the actual needs of industrial productions. Therefore， the camera calibration technology is proposed for the automatic reading recognition of the circular pointer instruments to greatly reduce the camera′s error generated in the process of image acquisition. The instrument′s contour recognition method based on maximum connected region is presented to improve the detection speed of the circular instrument contour. The SIFT algorithm is used to extract the key points of the instrument image. The template matching method is adopted to correct the instrument tilt in the image. The experimental result shows that the detection accuracy of this method can reach up to 95%， and the detection efficiency is improved by about 30% than that of the traditional method.

Keywords： pointer instrument; camera calibration; feature extraction; template matching; Hough transformation; maximum connected region

0 ?引 ?言

指針式儀表是一種重要的工業(yè)測(cè)量?jī)x表，以結(jié)構(gòu)簡(jiǎn)單、靈敏度高、受外界環(huán)境影響較小而廣泛應(yīng)用于電力、冶金等工業(yè)領(lǐng)域[1?2]。但指針式儀表沒有數(shù)據(jù)傳輸接口，不能將測(cè)量值直接傳入計(jì)算機(jī)等設(shè)備進(jìn)行處理，因此，在對(duì)工業(yè)生產(chǎn)中數(shù)量龐大的指針式儀表進(jìn)行數(shù)據(jù)采集時(shí)，存在勞動(dòng)強(qiáng)度大、讀數(shù)誤差大等問題[3]。在許多工業(yè)生產(chǎn)領(lǐng)域如電廠，由于存在嚴(yán)重的電磁輻射等影響因素，數(shù)字式儀表的使用受到諸多限制，在未來相當(dāng)長(zhǎng)的時(shí)間內(nèi)大量指針式儀表在工業(yè)生產(chǎn)領(lǐng)域仍然是主要的測(cè)量傳感器。

為解決指針式儀表自動(dòng)讀數(shù)識(shí)別問題，基于機(jī)器視覺的指針式儀表自動(dòng)判讀技術(shù)被廣泛采用[4?5]，目前采用的主要算法有：經(jīng)典的檢測(cè)圓的Hough變換算法[6?8]，檢測(cè)直線的Hough變換算法[9?10]、最小二乘法[3]、總體最小二乘法[11]、Bresenham畫線法[12]以及基于區(qū)域生長(zhǎng)的算法[13]等，在實(shí)驗(yàn)室環(huán)境下其識(shí)別準(zhǔn)確率可以達(dá)到90%以上。此外，基于模板匹配和查表法的儀表讀數(shù)識(shí)別方法也取得了比較高的識(shí)別精度[14]。但由于工業(yè)環(huán)境下相機(jī)誤差、拍攝角度、光照等因素的影響，采集到的儀表圖像帶有不同程度的畸變和模糊，嚴(yán)重影響了識(shí)別準(zhǔn)確率和識(shí)別效率，仍然不能滿足工業(yè)生產(chǎn)中高精度和實(shí)時(shí)性的要求。

針對(duì)相機(jī)畸變誤差，本文提出將相機(jī)標(biāo)定技術(shù)引入到指針式儀表判讀中。通過對(duì)相機(jī)進(jìn)行標(biāo)定求取相機(jī)內(nèi)外參數(shù)，利用得到的相機(jī)參數(shù)對(duì)原始儀表圖像進(jìn)行畸變校正。并提出基于最大連通區(qū)域的儀表輪廓識(shí)別方法，提高圓形儀表輪廓檢測(cè)速度和精度，從而提高最終的讀數(shù)識(shí)別效率和精確度。

1 ?基于相機(jī)標(biāo)定技術(shù)的指針式儀表自動(dòng)讀數(shù)

空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，幾何模型參數(shù)即為攝像機(jī)參數(shù)。由于相機(jī)鏡頭制作材料及制作工藝的不同，采集到的圖像通常帶有不同程度的畸變。對(duì)于指針式儀表圖像，畸變會(huì)使圖像中的儀表輪廓以及指針線發(fā)生不同程度的變形，并且越靠近儀表圖像邊緣，變形越明顯，導(dǎo)致獲取到的儀表圖像存在不同程度的扭曲。為了提高儀表輪廓以及指針線檢測(cè)的精確度，盡量減少儀表圖像畸變至關(guān)重要，因此，本文將相機(jī)標(biāo)定技術(shù)引入指針式儀表自動(dòng)判讀。

基于相機(jī)標(biāo)定技術(shù)的指針式儀表自動(dòng)判讀技術(shù)工作流程為：首先對(duì)相機(jī)進(jìn)行標(biāo)定，獲取其內(nèi)外參數(shù);其次使用該相機(jī)采集指針式儀表圖像并進(jìn)行預(yù)處理;然后利用該相機(jī)參數(shù)進(jìn)行圖像畸變校正，利用SIFT算法提取關(guān)鍵點(diǎn)并進(jìn)行模板匹配實(shí)現(xiàn)旋轉(zhuǎn)校正;最后利用機(jī)器視覺相關(guān)算法檢測(cè)出儀表輪廓和指針線，根據(jù)指針線角度以及儀表刻度信息計(jì)算出當(dāng)前儀表讀數(shù)。完整的讀數(shù)識(shí)別過程如圖1所示。

圖1 ?基于相機(jī)標(biāo)定的指針式儀表自動(dòng)判讀流程圖

用[Mx，y，z]表示世界坐標(biāo)系中的某點(diǎn)，[mu，v]表示圖像平面上的對(duì)應(yīng)點(diǎn)，它們的齊次坐標(biāo)分別表示為[Mx，y，z，1]和[mu，v，1]，則攝像機(jī)成像模型可用式（1）表示[15]：

式中：[ax]，[ay]分別表示[u]軸和[v]軸的尺度因子;[γ]表示[u]軸和[v]軸的不垂直因子。相機(jī)標(biāo)定的目的就是求得內(nèi)參數(shù)矩陣[A]、旋轉(zhuǎn)矩陣[R]以及平移矩陣[t]，利用這些參數(shù)值實(shí)現(xiàn)圖像中目標(biāo)物體的校正。

目前，攝像機(jī)標(biāo)定方法主要有：基于3D立體靶標(biāo)的相機(jī)標(biāo)定、基于徑向約束的相機(jī)標(biāo)定和基于2D平面靶標(biāo)的相機(jī)標(biāo)定等。本文采用基于二維標(biāo)定板的標(biāo)定方法，即張正友標(biāo)定法。所采用的二維標(biāo)定板如圖2所示，利用同一相機(jī)在不同角度對(duì)標(biāo)定板進(jìn)行圖像采集，首先計(jì)算出外參數(shù)矩陣，然后利用極大似然估計(jì)法求得內(nèi)參數(shù)矩陣。

圖2 ?二維標(biāo)定板

經(jīng)過該標(biāo)定過程，可以很容易地獲取到攝像機(jī)的內(nèi)參數(shù)矩陣[A]、旋轉(zhuǎn)矩陣[R]以及平移矩陣[t]，利用這些參數(shù)對(duì)該相機(jī)所采集的儀表圖像進(jìn)行相應(yīng)參數(shù)的逆變換，達(dá)到對(duì)儀表圖像畸變校正的效果。

2 ?最大連通區(qū)域法檢測(cè)輪廓

為了確定指針線位置，儀表輪廓的檢測(cè)是指針式儀表自動(dòng)判讀技術(shù)的一個(gè)重要步驟。在二維圖像平面中檢測(cè)圓形物體常用的是Hough變換算法。但是由于執(zhí)行Hough變換算法時(shí)，需要對(duì)圖像中的每個(gè)像素點(diǎn)進(jìn)行轉(zhuǎn)換處理，因此會(huì)消耗大量的計(jì)算時(shí)間和內(nèi)存空間。本文根據(jù)圓形指針式儀表表盤結(jié)構(gòu)特點(diǎn)，提出基于最大連通區(qū)域的儀表輪廓識(shí)別方法。

圖像中感興趣的物體是由一系列像素點(diǎn)組成的。為了獲取物體所在區(qū)域，本文利用8鄰域法分析兩個(gè)像素點(diǎn)是否連通，即判斷該像素點(diǎn)是否位于另一像素點(diǎn)的8個(gè)鄰域方向上[16]，8鄰域法如圖3所示。

圖3 ?8鄰域法像素點(diǎn)關(guān)系圖

本文采用深度優(yōu)先搜索算法進(jìn)行儀表圖像的8鄰域法搜索以獲取儀表輪廓的像素點(diǎn)集合。具體算法為：反復(fù)搜索圖像中未被處理的像素行，當(dāng)判斷出該行中某個(gè)像素點(diǎn)屬于物體的輪廓像素點(diǎn)后，接著搜索與此像素點(diǎn)交疊的上下兩個(gè)像素行，利用8鄰域規(guī)則判斷搜索行中的每個(gè)像素點(diǎn)是否屬于參考像素點(diǎn)的鄰域點(diǎn)，執(zhí)行該過程的偽代碼如下所示：

算法：最大連通區(qū)域搜索算法框架

1.輸入指針式儀表二值圖像。

2.逐行掃描每一個(gè)未經(jīng)處理的像素點(diǎn)，對(duì)于每一個(gè)未經(jīng)處理像素點(diǎn)，逐行搜索其上下兩行，按照8鄰域規(guī)則判斷所掃描像素點(diǎn)的像素值是否屬于參考像素點(diǎn)所在連通區(qū)域幾何的元素，若是，加入該集合并繼續(xù)搜索;否則，不加入并繼續(xù)搜索。

3.通過所得的多個(gè)像素點(diǎn)的集合，計(jì)算其中所含像素個(gè)數(shù)最多的像素集合，由此得出最大連通區(qū)域所在的像素點(diǎn)集合。

4.輸出最大連通區(qū)域所在像素集合。

通過最大連通區(qū)域搜索算法，可以獲取到儀表二值化圖像中表盤所在的圓。最大連通區(qū)域算法的檢測(cè)效果及提取出的儀表感興趣區(qū)域如圖4所示。

圖4 ?最大連通區(qū)域識(shí)別效果及ROI

3 ?仿真實(shí)驗(yàn)

基于相機(jī)標(biāo)定的最大連通區(qū)域算法的圓形指針式儀表自動(dòng)判讀技術(shù)處理過程如圖1所示，其中關(guān)鍵點(diǎn)提取與模板匹配、讀數(shù)識(shí)別是主要處理過程。

3.1 ?關(guān)鍵點(diǎn)提取與模板匹配

由于拍攝角度以及相機(jī)位置等原因，圖像中的儀表通常會(huì)帶有一定的旋轉(zhuǎn)角度，導(dǎo)致計(jì)算出的指針線角度存在誤差。為了降低檢測(cè)誤差，需要進(jìn)一步對(duì)圖像中的指針式儀表進(jìn)行旋轉(zhuǎn)校正。本文通過提取儀表圖像的關(guān)鍵點(diǎn)，利用關(guān)鍵點(diǎn)將待測(cè)儀表圖像與模板圖像進(jìn)行匹配的方式實(shí)現(xiàn)旋轉(zhuǎn)校正。

首先分別檢測(cè)模板圖像與待校正圖像中的關(guān)鍵點(diǎn)，即對(duì)于位置、尺度、旋轉(zhuǎn)等均不變的特征點(diǎn)。將模板圖像與待測(cè)圖像中的對(duì)應(yīng)關(guān)鍵點(diǎn)分別表示為向量形式，形成每個(gè)關(guān)鍵點(diǎn)的特征向量，通過匹配特征向量校正待測(cè)圖像。待測(cè)圖像與模板圖像的匹配效果如圖5所示，待測(cè)圖像校正前與校正后的效果如圖6所示。由此可見，圓形指針式儀表圖像的旋轉(zhuǎn)校正對(duì)識(shí)別指針線角度計(jì)算讀數(shù)階段的精確度具有較大影響，因此，指針式儀表旋轉(zhuǎn)校正可以極大地提高識(shí)別精確度。

圖5 ?待測(cè)圖像與模板圖像的匹配效果

圖6 ?待測(cè)圖像校正前后效果

3.2 ?指針線角度計(jì)算及讀數(shù)識(shí)別

當(dāng)前常用的檢測(cè)指針線的方法是Hough變換算法，該方法利用笛卡爾坐標(biāo)空間與極坐標(biāo)空間的對(duì)偶性。但考慮到儀表中的指針線可能較粗，直接進(jìn)行直線檢測(cè)時(shí)會(huì)出現(xiàn)偏差，甚至檢測(cè)到多條直線，因此本文首先對(duì)指針線區(qū)域進(jìn)行細(xì)化操作，提取出指針線的骨架，其基本原理可用式（3）表示，而后利用Hough變換算法檢測(cè)指針?biāo)谥本€。原始圖像與檢測(cè)效果如圖7a），圖7c）所示。

圖7 ?儀表圖像細(xì)化結(jié)果

4 ?實(shí)驗(yàn)結(jié)果分析

4.1 ?實(shí)驗(yàn)結(jié)果

本文分別對(duì)相機(jī)畸變校正、圓形儀表旋轉(zhuǎn)校正、改進(jìn)的Hough變換算法以及指針線細(xì)化等進(jìn)行相關(guān)實(shí)驗(yàn)，并與其他傳統(tǒng)檢測(cè)方法進(jìn)行對(duì)比，其檢測(cè)精確度均有很大提高。

首先利用相機(jī)標(biāo)定的內(nèi)部參數(shù)（見表1），對(duì)原始儀表圖像進(jìn)行畸變校正，并且利用圖像方差評(píng)估畸變大小，如表2所示。實(shí)驗(yàn)結(jié)果表明，盡管當(dāng)前攝像機(jī)制作水平已相當(dāng)成熟，但仍然存在較小程度的畸變。通過標(biāo)定過程消除畸變，可以更加準(zhǔn)確地定位表盤圓心及半徑。

表1 ?相機(jī)內(nèi)參標(biāo)定結(jié)果

表2 ?圖像標(biāo)定前后誤差對(duì)比

為了消除儀表旋轉(zhuǎn)角度，使讀數(shù)更精確，通過匹配待測(cè)儀表圖像以及模板圖像中關(guān)鍵點(diǎn)的方式進(jìn)行儀表旋轉(zhuǎn)校正，將校正后的儀表圖像的檢測(cè)讀數(shù)與未經(jīng)校正的儀表讀數(shù)進(jìn)行識(shí)別精確度的對(duì)比，結(jié)果如表3所示。可以看出，當(dāng)儀表存在較大旋轉(zhuǎn)角度而不進(jìn)行旋轉(zhuǎn)校正時(shí)，識(shí)別精確度會(huì)出現(xiàn)很大偏差。

表3 ?旋轉(zhuǎn)校正結(jié)果對(duì)比

針對(duì)傳統(tǒng)的Hough變換算法檢測(cè)效率較低的問題，本文提出基于最大連通區(qū)域的圓形儀表輪廓檢測(cè)方法，具體檢測(cè)數(shù)據(jù)如表4所示。實(shí)驗(yàn)證明，該檢測(cè)方法對(duì)識(shí)別精確度有較好的魯棒性，檢測(cè)效率明顯提高。

表4 ?連通區(qū)域法與Hough變換法結(jié)果對(duì)比

最后本文對(duì)采集到的三幅儀表圖像進(jìn)行自動(dòng)判讀實(shí)驗(yàn)，并將判讀結(jié)果與傳統(tǒng)判讀方式進(jìn)行精確度與識(shí)別效率的對(duì)比，如表5所示。實(shí)驗(yàn)結(jié)果證明，該判讀方法具有很高的精確度，并且基本可以達(dá)到實(shí)時(shí)檢測(cè)的效果。

表5 ?三組儀表圖像實(shí)驗(yàn)效果對(duì)比

4.2 ?誤差分析

經(jīng)實(shí)驗(yàn)驗(yàn)證，本文提出的圓形指針式儀表自動(dòng)判讀方法具有很高檢測(cè)精確度與檢測(cè)效率。產(chǎn)生判讀誤差的原因主要是：本實(shí)驗(yàn)尚未充分考慮儀表曝光問題，所用實(shí)驗(yàn)數(shù)據(jù)均采集于自然光照條件下，導(dǎo)致對(duì)儀表進(jìn)行預(yù)處理時(shí)，難以控制閾值的選擇。后期可以通過控制曝光時(shí)間和光照飽和度來采集更加清晰的指針式儀表圖像，以獲得更高的識(shí)別精確度。

5 ?結(jié) ?語

本文通過對(duì)相機(jī)進(jìn)行標(biāo)定獲取相機(jī)參數(shù)，對(duì)儀表圖像進(jìn)行畸變校正。利用SIFT提取關(guān)鍵點(diǎn)并進(jìn)行模板匹配實(shí)現(xiàn)儀表的旋轉(zhuǎn)校正。提出最大連通區(qū)域算法，進(jìn)行儀表輪廓的識(shí)別與提取，較傳統(tǒng)的Hough變換算法，檢測(cè)圓形輪廓在效率上有了很大提高。進(jìn)行指針線檢測(cè)時(shí)，首先對(duì)指針區(qū)域進(jìn)行細(xì)化操作，避免了由于指針線較粗而增大檢測(cè)誤差的問題。最后利用指針角度法計(jì)算出當(dāng)前儀表圖像中的儀表讀數(shù)。

由于本文尚未充分考慮圖像采集時(shí)的曝光時(shí)間和曝光強(qiáng)度，因此在進(jìn)行輪廓和指針線檢測(cè)時(shí)仍然存在少量誤差，后期可通過設(shè)定曝光時(shí)間與強(qiáng)度，獲取到更加清晰的指針式儀表圖像進(jìn)行處理，進(jìn)而得到更高的識(shí)別精確度和效率。

參考文獻(xiàn)

[1] ZHENG C， WANG S， ZHANG Y， et al. A robust and automatic recognition system of analog instruments in power system by using computer vision [J]. Measurement， 2016， 92： 413?420.

[2] HAN J， LI E， TAO B， et al. Reading recognition method of analog measuring instruments based on improved Hough transform [C]// 2011 IEEE International Conference on Electronic Measurement & Instruments. Chengdu： IEEE， 2011： 337?340.

[3] YANG B， LIN G， ZHANG W. Auto?recognition method for pointer?type meter based on binocular vision [J]. Journal of computers， 2014， 9（4）： 787?793.

[4] 李勇.指針式表盤的自動(dòng)識(shí)別技術(shù)研究及實(shí)現(xiàn)[D].鄭州：鄭州大學(xué)，2015.

LI Yong. Analog dial indicator automatic identification technology and its realization [D]. Zhengzhou： Zhengzhou University， 2015.

[5] 王欣.智能變電站指針式儀表自動(dòng)識(shí)別方法的研究[D].沈陽：沈陽工業(yè)大學(xué)，2016.

WANG Xin. Intelligent substation pointer instrument automatic identification method [D]. Shenyang： Shenyang University of Technology， 2016.

[6] 陶冰潔，韓佳樂，李恩.一種實(shí)用的指針式儀表讀數(shù)識(shí)別方法[J].光電工程，2011，38（4）：145?150.

TAO Bingjie， HAN Jiale， LI En. A practical method of pointer meter reading identification [J]. Opto?electronic engineering， 2011， 38 （4）： 145?150.

[7] GUAN Y， ZOU Y， HUANG B， et al. Pointer?type meter rea?ding method research based on image processing technology [C]// 2010 IEEE the Second International Conference on Networks Security Wireless Communications and Trusted Compu?ting. Chengdu： IEEE， 2010： 107?110.

[8] 朱桂英，張瑞林.基于Hough變換的圓檢測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（6）：1462?1464.

ZHU Guiying， ZHANG Ruilin. Circle detection based on Hough transform [J]. Computer engineering and design， 2008， 29（6）： 1462?1464.

[9] 王欣，孫鵬.智能變電站中指針式儀表圖像自動(dòng)識(shí)別方法[J].電氣技術(shù)，2016，17（5）：7?10.

WANG Xin， SUN Peng. An automatic identification method of pointer instrument image in intelligent substation [J]. Electrical technology， 2016， 17（5）： 7?10.

[10] 李祖賀，劉嘉，薛冰，等.面向自動(dòng)校驗(yàn)系統(tǒng)的指針式壓力表讀數(shù)識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（23）：213?219.

LI Zuhe， LIU Jia， XUE Bing， et al. Reading identification of pointer pressure gauge for automatic verification system [J]. Journal of computer engineering and applications， 2016， 52（23）： 213?219.

[11] WANG Q， TANG X， DING C， et al. Automatic alignment system based on center point recognition of analog measuring instruments dial [C]// 2013 Annual Conference of the IEEE Industrial Electronics Society. Vienna： IEEE， 2013： 5532?5536.

[12] BELAN P A， ARAUJO S A， LIBRANTZ A F H. Segmentation?free approaches of computer vision for automatic calibration of digital and analog instruments [J]. Measurement， 2013， 46（1）： 177?184.

[13] LIU J， LIU Y， YU L. Novel method of automatic recognition for analog measuring instruments [C]// 2015 International Conference on Manufacturing Science and Engineering. [S.l.]： Atlantis Press， 2015： 67?74.

[14] 莫文雄，裴利強(qiáng)，黃青丹，等.基于模版匹配和查表法的高精度指針式儀表自動(dòng)檢定系統(tǒng)研制[J].電測(cè)與儀表，2017，54（12）：100?105.

MO Wenxiong， PEI Liqiang， HUANG Qingdan， et al. Deve?lopment of automatic verification system of high precision pointer instrument based on template matching and look?up table [J]. Journal of electric instruments and devices， 2017， 54（12）： 100?105.

[15] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations [C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra： IEEE， 1999： 666?673.

[16] STEGER Carsten，ULRICH Markus.機(jī)器視覺算法與應(yīng)用[M]. 楊少榮，吳迪靖，段德山，譯.2版.北京：清華大學(xué)出版社，2009：155?159.

STEGER Carsten， ULRICH Markus. Machine vision algorithms and applications [M]. Translated by YANG Shaorong， WU Dijing， DUAN Deshan. 2nd ed. Beijing： Tsinghua University Press， 2009： 155?159.