基于顏色特征的數(shù)字式儀表讀數(shù)定位方法

雷海軍，謝蓮花，何業(yè)軍，李靈敏

(1.深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院，廣東 深圳 518060;2.深圳大學(xué)信息工程學(xué)院，廣東 深圳 518060)

0 引言

近年來，數(shù)字式儀表因其精度高、讀取方便、易設(shè)置、功能全等優(yōu)點(diǎn)，被廣泛應(yīng)用于各種工業(yè)測(cè)控領(lǐng)域［1］。雖然目前較高檔的數(shù)字儀表已具有了無線通信接口，但在相當(dāng)一部分應(yīng)用環(huán)境下如科學(xué)實(shí)驗(yàn)、測(cè)量控制、電表計(jì)費(fèi)等，仍需要對(duì)儀表讀數(shù)進(jìn)行人工記錄，然后再轉(zhuǎn)錄到計(jì)算機(jī)中進(jìn)行處理。這種方法不僅費(fèi)時(shí)費(fèi)力、工作效率低，而且容易因人為因素導(dǎo)致讀數(shù)出錯(cuò)［2］。因此利用圖像處理及識(shí)別技術(shù)，對(duì)數(shù)字式儀表讀數(shù)的自動(dòng)提取進(jìn)行研究具有較高的應(yīng)用價(jià)值。

在儀表讀數(shù)定位方法研究中，現(xiàn)有的數(shù)字式儀表讀數(shù)區(qū)域的定位方法主要有2種，一種是基于視頻圖像［1-2］，根據(jù)儀表的示數(shù)在一定時(shí)間內(nèi)會(huì)發(fā)生變化的特點(diǎn)，采用幀間差求得變化區(qū)域從而定位儀表讀數(shù)，但這一方法顯然不適用于靜態(tài)的儀表圖像定位;另一種則是從灰度圖像出發(fā)［3］，利用字符串的邊緣細(xì)節(jié)進(jìn)行定位。但這種方法只適用于儀表表盤較為簡潔的情況，在實(shí)際使用中，許多儀表在其表盤中存在大量用來說明儀表的規(guī)格、參數(shù)等信息的字符，這些字符信息會(huì)形成許多邊緣細(xì)節(jié)，可能對(duì)字符串區(qū)域的定位形成較大的干擾，從而影響定位精度。因此無法應(yīng)用于表盤背景較復(fù)雜的情況。數(shù)字式儀表的一個(gè)明顯的特征是采用液晶屏(liquid crystal display，LCD)作為讀數(shù)顯示區(qū)域，而現(xiàn)有的2種方法均跳過了對(duì)液晶屏區(qū)域的定位，直接對(duì)儀表讀數(shù)字符進(jìn)行分割。雖然減少了一個(gè)環(huán)節(jié)，但因?qū)嶋H儀表圖像中讀數(shù)的細(xì)節(jié)特征如投影特征等并不明顯，且易受復(fù)雜背景干擾，所以導(dǎo)致定位失敗。針對(duì)這一問題，本文提出了一種基于顏色特征的數(shù)字式儀表讀數(shù)定位算法。

1 液晶屏顯示原理及顏色特征分析

液晶屏是以液晶體為材料制成的顯示屏。常見的液晶屏主要有:扭轉(zhuǎn)式向列型(twisted nematic，TN)、超扭轉(zhuǎn)式向列型(super twisted nematic，STN)以及薄膜式晶體管型(thin film transistor，TFT)。在工業(yè)用數(shù)字式儀表中，因?yàn)楸肀P設(shè)計(jì)上不存在統(tǒng)一的標(biāo)準(zhǔn)，不同的生產(chǎn)廠家使用的液晶屏也各不相同，所以電表液晶屏的顏色并無明確而統(tǒng)一的特征。不過基于成本、顯示功能、耗電量、技術(shù)成熟度等因素的考量，各廠家多采用TN或STN型單色液晶屏用于數(shù)顯式電表的讀數(shù)顯示，而且均采用正向顯示模式，即其背景顯示為某種較淡的色彩，而所顯示的內(nèi)容則呈現(xiàn)為黑色。

TN型以及STN型液晶屏的顯示原理均是基于一種被稱為扭轉(zhuǎn)式向列場(chǎng)效應(yīng)［4］的物理現(xiàn)象。液晶屏的內(nèi)部結(jié)構(gòu)如圖1所示，液晶屏主要由垂直與水平方向的偏光板［5］、具有細(xì)紋凹槽的配向膜、液晶分子和導(dǎo)電的玻璃基板組成。偏光板上下各有一層，且其偏振的方向相互垂直，液晶分子則沿著配向膜的方向排列，從上至下旋轉(zhuǎn)90°。在不施加電場(chǎng)的情況下，光線從上層的偏光板進(jìn)入液晶層，并沿著液晶分子的排列方向逐漸旋轉(zhuǎn)90°，離開液晶層時(shí)恰好與下層偏光板方向一致，因此能順利穿過。此時(shí)液晶屏呈明亮的顏色。而當(dāng)施加電場(chǎng)時(shí)，液晶分子排列方向迅速變?yōu)榕c電場(chǎng)方向平行，不再具有旋光的能力，光線在穿過液晶層時(shí)，其方向與下層偏光板方向互相垂直，無法穿過，此時(shí)液晶屏也就呈現(xiàn)為黑色。

受扭轉(zhuǎn)式向列場(chǎng)效應(yīng)以及液晶體材料本身顏色和光線干涉現(xiàn)象的影響，TN型液晶屏背景顯示的色調(diào)以淡綠色、灰綠色和橘黃色為主，又因?yàn)橐壕帘旧聿⒉话l(fā)光，因此在外部光照正常的情況下自身亮度較低。而在液晶屏外，數(shù)顯式電表的表盤多采用白色、銀灰色等較為明亮的色彩來區(qū)分表盤與液晶屏。由色飽和度的定義可知，電表液晶屏區(qū)域的色飽和度較高，而電表表盤的色飽和度則較低。

圖1 液晶屏顯示原理圖Fig.1 LCD displaying elementary diagram

2 數(shù)字式儀表讀數(shù)定位算法

本文提出的儀表讀數(shù)定位算法主要包括2個(gè)步驟，首先是對(duì)液晶屏進(jìn)行定位，即粗定位。然后通過一系列預(yù)處理得到液晶屏的二值圖，并在此基礎(chǔ)上利用儀表讀數(shù)字符串的投影特征對(duì)其進(jìn)行定位，即精確定位。通過對(duì)液晶屏進(jìn)行定位，大量的非讀數(shù)字符干擾將被排除，使得儀表讀數(shù)的邊緣及投影特征得到凸顯，明顯提高儀表讀數(shù)定位的準(zhǔn)確性，因此液晶屏定位結(jié)果對(duì)儀表讀數(shù)的精確定位具有決定性影響。

2.1 液晶屏定位算法

由前述分析可知，儀表液晶屏的色飽和度較高，且呈現(xiàn)為偏綠或橘黃的色彩。因此利用液晶屏的這一顏色特征，將儀表彩色圖像從RGB彩色空間轉(zhuǎn)換到特定的顏色空間，即可將液晶屏與表盤大部分區(qū)域區(qū)分開來，再結(jié)合液晶屏的形狀、尺寸等特征，即可實(shí)現(xiàn)對(duì)液晶屏的粗定位。該算法實(shí)現(xiàn)過程如下。

步驟1 對(duì)輸入圖像IMA(x，y)進(jìn)行采樣。輸入圖像一般有上百萬的像素，直接對(duì)其進(jìn)行處理會(huì)使計(jì)算量過大，時(shí)間復(fù)雜度過高，因此需首先對(duì)圖像進(jìn)行采樣處理。

步驟2 對(duì)圖像IMA1(x，y)進(jìn)行特征變換。變換函數(shù)Fi(x，y)為

(1)式中:S(x，y)為圖像的色飽和度，可用(2)式求得;k1，k2為變換系數(shù)，滿足條件k1+k2=1，本文取k1=k2=0.5;Ti為R，G，B分量所滿足的條件;fi(x，y)為基于RGB空間的變換函數(shù);變換次數(shù)i控制變換函數(shù)fi(x，y)與條件Ti的選擇。在本文中，根據(jù)常見儀表所用液晶屏的顏色種類，最大變換次數(shù)N=2，在絕大多數(shù)情況下，液晶屏呈現(xiàn)淡綠色與暗灰色，因此可計(jì)算電表圖像的綠色特征值。此時(shí)，變換函數(shù)與條件分別為

當(dāng)i=2時(shí)，適用于液晶屏為橘黃色的情況，此時(shí)的變換函數(shù)與條件分別為

(5)式中，系數(shù)k用于調(diào)節(jié)黃色的變換范圍。當(dāng)k較小時(shí)，部分偏紅或偏綠的淡黃色區(qū)域也會(huì)被認(rèn)定為黃色而凸顯出來。考慮到液晶屏本身可能存在老化或者受拍攝時(shí)光照的影響，k的值需設(shè)定為較小的值，本文設(shè)定為0.7。

步驟3 對(duì)變換后的圖像進(jìn)行二值化和形態(tài)學(xué)濾波。

步驟4 對(duì)二值圖像進(jìn)行連通區(qū)域標(biāo)記并對(duì)標(biāo)記過的連通區(qū)域進(jìn)行篩選。雖然各種電表所用的液晶屏尺寸因儀表種類和生產(chǎn)廠家的不同而存在區(qū)別，但均為矩形，寬高比大于1，再結(jié)合矩形區(qū)域的寬、高與圖像的寬、高之比等先驗(yàn)知識(shí)即可完成連通區(qū)域的篩選。

步驟5 判斷篩選結(jié)果，若篩選后有且僅有一個(gè)連通區(qū)域，則定位成功，進(jìn)入下一步預(yù)處理;若篩選后沒有符合條件的連通區(qū)域，變換次數(shù)i加1，返回步驟2。若變換次數(shù)i大于2，則說明圖像中不存在液晶屏區(qū)域，跳出定位流程。

2.2 儀表字符串的定位

在完成液晶屏的定位之后，可根據(jù)文獻(xiàn)［6］的預(yù)處理方法將液晶屏區(qū)域轉(zhuǎn)變?yōu)槎祱D像。為便于數(shù)據(jù)的讀取，儀表中的讀數(shù)字符串一般位于液晶屏中心的位置，或者其字符尺寸明顯要大于其余字符。因此可以采用下述步驟來實(shí)現(xiàn)儀表字符串的精確定位:首先對(duì)圖像進(jìn)行水平投影，通過水平投影獲得字符串的行起始位置，在此基礎(chǔ)上再利用形態(tài)學(xué)濾波和連通區(qū)域分析方法確定字符串的列起始位置。

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)所用的計(jì)算機(jī)系統(tǒng)，其硬件配置主要包括主頻為2.2 GHz的INTEL Core2中央處理器以及2條1G 800 MHz DDR2內(nèi)存條，軟件配置則包括Windows XP SP2操作系統(tǒng)以及Matlab 7.0。

為使所選擇的圖片集能較好地測(cè)試所提出的定位算法的準(zhǔn)確度，本文選用深圳市供電局提供的抄表工人在實(shí)際工作場(chǎng)景中采集的110張數(shù)顯式電表圖像作為實(shí)驗(yàn)圖像，圖像尺寸均為2 304×3 072。這些圖像中包含國內(nèi)主要電表生產(chǎn)廠家的近10種不同類型的數(shù)顯式電表，而且各圖片拍攝的角度、外部光照、液晶表盤反光等情況各有不同。本文以其中一張圖片為例，分析本文提出的定位算法的實(shí)現(xiàn)過程。

圖2給出了一幅對(duì)實(shí)際抄表過程中采集的電能表圖像直接進(jìn)行二值化處理和邊緣提取處理后得到的結(jié)果。在圖2a中可以看到所采集的電表圖像表盤存在著大量的字符、條碼等背景，而且由于閃光燈的影響，存在光照不均勻的現(xiàn)象。因此從圖2b和圖2c中可以看到，在直接二值化的圖像中，液晶屏區(qū)域受自身亮度不高和外部不均勻光照的影響，與周圍的表盤區(qū)域結(jié)合在一起。而在邊緣特征圖像中可以看到，表盤下方的非讀數(shù)字符邊緣較為豐富，而儀表讀數(shù)區(qū)域的邊緣細(xì)節(jié)反而較為稀少，邊緣特征不明顯。因此無法通過直接進(jìn)行二值投影或者邊緣投影對(duì)具有復(fù)雜背景的儀表讀數(shù)進(jìn)行精確定位。

圖2 原始圖像及2種圖像處理后的結(jié)果Fig.2 Original image and the results processed by the two kinds of methods

圖3則給出了本文提出的儀表讀數(shù)定位算法及各個(gè)步驟的結(jié)果。從圖3中可以看到，通過顏色特征變換，儀表的液晶屏區(qū)域與表盤的其他區(qū)域被很好地區(qū)分，液晶屏的邊界較為清晰，而且液晶屏區(qū)域的灰度值基本均勻，說明特征變換較好地將液晶屏區(qū)域與表盤其余部分區(qū)分開來，同時(shí)避免了光照不均勻現(xiàn)象的干擾。圖3c則說明經(jīng)過二值化以后，更多的非液晶屏區(qū)域的細(xì)節(jié)被進(jìn)一步過濾，使得液晶屏區(qū)域的尺寸及形狀特征更為凸顯。因此從圖3c－e中可以看到，在實(shí)現(xiàn)液晶屏準(zhǔn)確定位和二值化處理以后，由于儀表設(shè)計(jì)的特點(diǎn)，儀表讀數(shù)具有較為明顯的特征，通過水平方向和垂直方向的二值投影即可以實(shí)現(xiàn)讀數(shù)的精確定位。

圖3 本文提出的定位算法的各個(gè)步驟的處理結(jié)果Fig.3 Results of each steps of proposed locating algorithm

對(duì)110幅現(xiàn)場(chǎng)采集的圖像進(jìn)行定位實(shí)驗(yàn)，其定位效果數(shù)據(jù)如表1所示，實(shí)驗(yàn)結(jié)果表明直接用二值投影或者邊緣投影幾乎無法對(duì)具有復(fù)雜背景的儀表讀數(shù)進(jìn)行準(zhǔn)確定位，而采用本文算法可以對(duì)108幅圖片中的儀表讀數(shù)進(jìn)行準(zhǔn)確定位，定位準(zhǔn)確率達(dá)到98.2%。另外本文還對(duì)定位耗時(shí)進(jìn)行了測(cè)試，考慮到文章篇幅，本文只列出了前10幅圖像的定位耗時(shí)情況，見表2。在對(duì)總共110張電表圖像的定位測(cè)試結(jié)果中，定位耗時(shí)最短為0.5 s，耗時(shí)最長為0.78 s，平均耗時(shí)為0.576 s，在可承受的范圍之內(nèi)。因此先利用顏色特征將儀表中的液晶屏區(qū)域分割出來，然后對(duì)液晶屏圖像進(jìn)行二值化，最后利用讀數(shù)字符串的投影特征對(duì)字符串進(jìn)行精確定位的數(shù)字式儀表讀數(shù)定位方法是有效并且必要的。

表1 增加粗定位前后的定位效果數(shù)據(jù)Tab.1 Comparison of the effect data before and after the coarse location

表2 數(shù)字式儀表圖像定位算法測(cè)試耗時(shí)情況Tab.2 Location time of the digital meter by the algorithm

4 結(jié)論

通過對(duì)數(shù)字式儀表所用液晶屏的顯示原理以及顏色特征進(jìn)行分析，本文提出了一種基于顏色特征的數(shù)字式儀表讀數(shù)定位算法，該方法將定位過程分為對(duì)液晶屏的粗定位和對(duì)屏內(nèi)讀數(shù)的精確定位。通過對(duì)液晶屏的定位，有效避免了表盤內(nèi)各類字符所產(chǎn)生的投影或邊緣細(xì)節(jié)的干擾，從而凸顯了儀表讀數(shù)的投影特征，為屏內(nèi)讀數(shù)的精確定位奠定了基礎(chǔ)，實(shí)現(xiàn)了靜態(tài)圖像中儀表讀數(shù)的準(zhǔn)確定位。同時(shí)利用現(xiàn)場(chǎng)實(shí)際采集的儀表圖像對(duì)該算法進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該算法能較好地避免拍攝現(xiàn)場(chǎng)不均勻光照的干擾，對(duì)復(fù)雜背景具有較好的適應(yīng)能力，具有較高的定位準(zhǔn)確率。

［1］張海波，段會(huì)川，謝術(shù)富，等.一種數(shù)字儀表顯示值識(shí)別的預(yù)處理算法［J］.計(jì)算機(jī)應(yīng)用研究，2005(2):240-242.ZHANG Hai-bo，DUAN Hui-chuan，XIE Shu-fu，et al.A Preprocessing Algorithm for Meter Display Value Recognition［J］.Application Research of Computers，2005(2):240-242.

［2］尹傳歷，劉冬梅，宋建忠，等.基于視頻圖像的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別［J］.微計(jì)算機(jī)信息，2008，24(10)，219-221.YIN Chuan-li，LIU Dong-mei，SONG Jian-zhong，et al.An Auto-Recognition Method for Digital Characters Based on Video Images ［J］. Microcomputer Information，2008，24(10):219-221.

［3］陳家祥，龍劍忠，陶青川，等.數(shù)字儀表顯示值的快速識(shí)別方法［J］.中國測(cè)試技術(shù)，2006，32(6):49-51.CHEN Jia-xiang，LONG Jian-zhong，TAO Qing-chuan，et al.A rapid recognition approach for the display value of digital meters［J］.China Meas Urement，2006，32(6):49-51.

［4］申小陽，姜伯軍.多個(gè)數(shù)字儀表字符串區(qū)域的定位和識(shí)別研究［J］.蘇州科技學(xué)院學(xué)報(bào)，2005，22(4)，43-45.SHEN Xiao-yang，JIANG Bo-jun.A Research on String Region Location and Recognition of Multi-Numeral Instruments［J］.Journal of University of Science and Technology of Suzhou.2005，22(4):43-45.

［5］劉啟能.一種新型優(yōu)質(zhì)光子晶體偏振濾波器的設(shè)計(jì)［J］.壓電與聲光，2010，32(4):642-645.LIU Qi-neng.Design of Novel Kind of Polarization Filter on High Grade Photonic Crystal［J］.PIEZOELECTECTRICS ＆ ACOUST OOPT ICS，2010，32(4):642-645.

［6］LEI Hai-jun，LI Ling-min，ZHANG Pan-pan，et al.A Binarization Algorithm for Digital Meter Image Based on Gray-scale Morphology［C］//2010 3rd International Congress on Image and Signal Processing.Yantai China:［s.n.］，2010:2427-2429.