基于OpenCV和LSSVM的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別*

林劍萍，廖一鵬

(1. 陽(yáng)光學(xué)院，福建 福州 350015；2. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350000)

基于OpenCV和LSSVM的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別*

林劍萍1，廖一鵬2

(1. 陽(yáng)光學(xué)院，福建 福州 350015；2. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350000)

為了提高儀表讀數(shù)及記錄的工作效率，減少人工干預(yù)并降低出錯(cuò)概率，提出了一種基于OpenCV和LSSVM的數(shù)字儀表自動(dòng)識(shí)別方法。首先選取免驅(qū)的USB攝像頭采集儀表圖像，然后采用Canny檢測(cè)與Hough變換相結(jié)合的算法對(duì)儀表圖像的傾斜角度進(jìn)行校正；利用數(shù)學(xué)形態(tài)學(xué)、Otsu算法以及連通域提取對(duì)圖像進(jìn)行預(yù)處理和字符定位分割；最后，進(jìn)行字符特征提取并利用最小二乘支持向量機(jī)算法對(duì)儀表讀數(shù)進(jìn)行識(shí)別。經(jīng)過(guò)大量的實(shí)驗(yàn)驗(yàn)證，與現(xiàn)有的儀表讀數(shù)識(shí)別方法相比，該方法具有更好的準(zhǔn)確性，實(shí)現(xiàn)了數(shù)字儀表的自動(dòng)識(shí)別功能。

機(jī)器視覺(jué)；圖像處理；OpenCV；最小二乘支持向量機(jī)

0 引言

目前，在很多領(lǐng)域受工作條件限制及經(jīng)濟(jì)性、便捷性的要求，很多用于計(jì)量的儀器儀表都沒(méi)有專(zhuān)門(mén)的數(shù)據(jù)通信接口，導(dǎo)致無(wú)法自動(dòng)識(shí)別讀數(shù)，對(duì)儀表數(shù)字的讀取還是要靠人工來(lái)實(shí)現(xiàn)，但是在一些特定場(chǎng)合，例如高溫高壓、化工冶金、高山峭壁、有核輻射等人體不能適應(yīng)的地方，人工抄表存在很大的危險(xiǎn)性及不可行性，而機(jī)器視覺(jué)卻可以無(wú)視這些不利因素，廣泛地用于長(zhǎng)時(shí)間惡劣的工作環(huán)境，這就為儀表讀數(shù)的讀取提供了便利，同時(shí)可以提高工作效率，更好地保障人身安全。儀表讀數(shù)識(shí)別也可以說(shuō)是自動(dòng)抄表，自動(dòng)抄表的試點(diǎn)和運(yùn)用始于20世紀(jì)80年代，在20世紀(jì)90年代得到較快的發(fā)展[1]。目前，國(guó)內(nèi)外許多科技人員在基于機(jī)器視覺(jué)的數(shù)字識(shí)別上做了很多深入研究。從圖像預(yù)處理、傾斜校正、字符分割及數(shù)字識(shí)別等方面各有側(cè)重點(diǎn)地做了不同方法的研究比較。在儀表數(shù)字識(shí)別方面，工業(yè)和信息化部電子第五研究所的申中鴻、蔣春旭等人利用機(jī)器視覺(jué)技術(shù)，結(jié)合計(jì)算幾何軌跡識(shí)別方法與D-S證據(jù)理論實(shí)現(xiàn)數(shù)字顯示儀表的自動(dòng)讀數(shù)；中國(guó)計(jì)量科學(xué)研究院的劉科等人采用投影變換的方法對(duì)數(shù)字圖像進(jìn)行分割、編碼，進(jìn)而實(shí)現(xiàn)了對(duì)該類(lèi)儀表示值的自動(dòng)讀??；山東管理學(xué)院的常曉瑋利用光學(xué)字符識(shí)別技術(shù)實(shí)現(xiàn)了遠(yuǎn)程識(shí)別儀表上顯示的數(shù)字信息[2-5]。綜合各方研究，實(shí)現(xiàn)基于機(jī)器視覺(jué)的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別的方式多樣，不僅在圖像預(yù)處理上可根據(jù)不同環(huán)境不同儀表選擇合適的算法，在數(shù)字的定位識(shí)別上也有多種方法可供選擇。本文采用Canny檢測(cè)與Hough變換相結(jié)合的算法對(duì)攝像頭采集到的儀表圖像的傾斜角度進(jìn)行校正，利用數(shù)學(xué)形態(tài)學(xué)方法、Otsu(大津法或最大類(lèi)間方差法)算法等技術(shù)對(duì)校正后的圖像進(jìn)行預(yù)處理[6-7]，之后對(duì)字符進(jìn)行分割，采用最小二乘支持向量機(jī)(LSSVM)算法對(duì)儀表讀數(shù)進(jìn)行識(shí)別。經(jīng)過(guò)大量的實(shí)驗(yàn)驗(yàn)證，該方法具有良好的準(zhǔn)確性，實(shí)現(xiàn)了數(shù)字儀表的自動(dòng)識(shí)別功能。

1 數(shù)字儀表圖像的預(yù)處理

1.1 圖像的采集

圖像采集是基于機(jī)器視覺(jué)進(jìn)行圖像處理的第一步，也是很重要的一步。采集到質(zhì)量較高的圖像可以在很大程度上降低處理的難度。本文采用分辨率為480×680的CCD免驅(qū)USB攝像頭對(duì)儀表數(shù)據(jù)進(jìn)行采集，該攝像機(jī)可以直接捕捉影像傳輸處理，運(yùn)用更加便捷。

1.2 儀表圖像的傾斜校正

圖1 USB攝像頭采集原圖

進(jìn)行數(shù)字儀表圖像采集時(shí)，采集到的數(shù)字儀表圖像經(jīng)常會(huì)發(fā)生傾斜。為使儀表端正以方便后期處理，需要對(duì)傾斜的儀表圖像進(jìn)行校正。本文采用的是Canny邊緣檢測(cè)與Hough變換相結(jié)合的傾斜校正方法。用Canny算子對(duì)儀表圖像進(jìn)行邊緣檢測(cè)，然后利用Hough變換檢測(cè)數(shù)字儀表邊框平行線(xiàn)的傾斜角度，再利用旋轉(zhuǎn)函數(shù)進(jìn)行校正，得到端正水平的數(shù)字儀表圖像。

攝像頭采集到的圖像如圖1所示，Canny邊緣檢測(cè)及Hough變換檢測(cè)得到最長(zhǎng)直線(xiàn)圖如圖2所示，傾斜校正后的圖像如圖3所示。

圖2 Canny邊緣檢測(cè)及Hough變換檢測(cè)得到最長(zhǎng)直線(xiàn)圖

圖3 傾斜校正后數(shù)字儀表圖

1.3 圖像的形態(tài)學(xué)處理

為簡(jiǎn)化圖像數(shù)據(jù)，并除去不相干的結(jié)構(gòu)，本系統(tǒng)對(duì)圖像進(jìn)行腐蝕(Erosion)膨脹(Dilation)等數(shù)學(xué)形態(tài)學(xué)運(yùn)算，對(duì)圖像進(jìn)行濾波處理，平滑邊界。提高數(shù)字儀表圖像的質(zhì)量，并填充儀表讀數(shù)中的細(xì)小空洞，避免單個(gè)數(shù)字各段碼之間的中斷。

膨脹的定義:

D=X⊕B={(x,y)|Bxy∩X≠φ}

(1)

腐蝕的定義：

E=X?B={(x,y)|Bxy?X}

(2)

式(1)和(2)中，B為結(jié)構(gòu)元素，X為原始圖像。

1.4 圖像的二值化

為了字符的準(zhǔn)確識(shí)別，在字符識(shí)別之前對(duì)圖像做二值化處理，將圖像分割成背景和目標(biāo)兩部分。本文采用最經(jīng)典的全局閾值的Otsu算法(最大類(lèi)間方差法)。為了減少對(duì)比度和光照不均勻?qū)Χ祷挠绊?，在二值化處理之前先?duì)圖像進(jìn)行頂帽處理，讓二值化達(dá)到更好的效果。Otsu算法是在最小二乘法原理基礎(chǔ)上推導(dǎo)出來(lái)的，它的基本原理是：令連通區(qū)域S，其中像素灰度范圍為[0,255]，點(diǎn)(x,y)的灰度表示為I(x,y)，灰度級(jí)x的點(diǎn)的概率為P(x)，則Otsu就是求下式達(dá)到最大值的灰度級(jí)m：

(3)

圖4 二值化處理后圖像

灰度級(jí)m即為最佳分割閾值。利用此方法二值化處理后的圖像如圖4所示。

2 數(shù)字儀表圖像的特征提取

經(jīng)過(guò)預(yù)處理之后，可以得到質(zhì)量較高的二值化圖像，接下來(lái)就需要對(duì)數(shù)字儀表的讀數(shù)進(jìn)行定位與分割，為數(shù)字識(shí)別做好準(zhǔn)備。定位分割的準(zhǔn)確性，直接影響數(shù)字識(shí)別的難易程序及識(shí)別率。

2.1 儀表數(shù)字區(qū)域的特征分析

在數(shù)字儀表讀數(shù)的定位分割過(guò)程中，必須根據(jù)數(shù)字區(qū)域與背景儀表的不同特征進(jìn)行提取，才能達(dá)到定位分割的目的。而數(shù)字儀表的特征總體是有跡可循的，可以將數(shù)字區(qū)域與背景分別出來(lái)。從視覺(jué)角度出發(fā)，儀表數(shù)字區(qū)域的特征可以從其形狀、顏色和亮度三個(gè)方面進(jìn)行分析。

2.2 儀表數(shù)字定位分割方法

儀表數(shù)字定位分割一般有基于連通域和基于投影法的儀表數(shù)字定位與分割。但是不同的光照條件，儀表的影子對(duì)水平投影的影響過(guò)大，在有影子存在的情況下，僅根據(jù)水平投影不足以將兩行讀數(shù)分割開(kāi)來(lái)，而水平投影結(jié)果不理想導(dǎo)致分割不準(zhǔn)確，也就使得垂直投影不能理想地分割出每行中的每一個(gè)字符。因此本文采用的是基于連通域的方法來(lái)進(jìn)行數(shù)字的定位與分割。

在圖像當(dāng)中用f(x,y)表示位于圖像陣列中第x行、第y列的像素的值，一幅m×n的圖像具有m行n列，f(0,0)表示圖像左上角的像素值，f(m-1,n-1)表示圖像右下角的像素值。遍歷圖像，通過(guò)4鄰域連通標(biāo)準(zhǔn)查找出所有符合的連通域，這樣就可以把圖像中每一個(gè)分離的區(qū)域檢測(cè)出來(lái)。

在查找出所有連通域之后，按照連通域的面積、讀數(shù)的形狀、長(zhǎng)寬比來(lái)進(jìn)行篩選，排除不符合條件的區(qū)域，這樣就可以直接定位并分割出數(shù)字儀表的每個(gè)讀數(shù)。算法實(shí)現(xiàn)步驟如下。

(1)計(jì)算連通域面積：連通域A的面積就是像素值為255的點(diǎn)的數(shù)目，即區(qū)域的邊界內(nèi)包含的像素點(diǎn)數(shù)。面積的計(jì)算公式為：

(4)

(2)計(jì)算連通域的長(zhǎng)寬比：連通域的寬/連通域的長(zhǎng)。

(3)遍歷所有連通域，如果連通域面積大于500小于5 000且連通域的長(zhǎng)寬比大于1.5小于2.5則提取，如果不滿(mǎn)足以上條件則舍棄。這樣便可篩選出滿(mǎn)足要求的連通域，即數(shù)字儀表每個(gè)讀數(shù)。

圖5 儀表讀數(shù)分割定位結(jié)果

數(shù)字儀表讀數(shù)的定位分割結(jié)果如圖5所示。

2.3 儀表數(shù)字特征提取

數(shù)字的特征主要可以從形狀、顏色、紋理、結(jié)構(gòu)等方面入手來(lái)提取，而大部分的數(shù)字儀表的讀數(shù)區(qū)域是基于七段數(shù)碼管來(lái)實(shí)現(xiàn)顯示，因此也可以根據(jù)數(shù)碼管的特征來(lái)提取。本文用的提取特征的方法就是基于七段數(shù)碼管，根據(jù)每段碼的像素值來(lái)判斷識(shí)別。將定位好的數(shù)碼管每位進(jìn)行4×4分割，統(tǒng)計(jì)黑點(diǎn)和白點(diǎn)的個(gè)數(shù)，每塊的像素用x0～x15表示，提取結(jié)果如圖6所示。

圖6 儀表數(shù)字特征提取結(jié)果

3 儀表讀數(shù)的模式識(shí)別

數(shù)字儀表的讀數(shù)識(shí)別是基于機(jī)器視覺(jué)的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別的重點(diǎn)，只有這一步做好了才能正確識(shí)別讀數(shù)并且保證一定的識(shí)別率。最常用的數(shù)字字符識(shí)別算法主要有模板匹配法、基于人工神經(jīng)網(wǎng)絡(luò)法、穿線(xiàn)法等[8-10]。本文采用的是最小二乘支持向量機(jī)(LSSVM)算法[11-13]。

設(shè)訓(xùn)練集為(xi,yi)(i=1,2,…,N)，N表示訓(xùn)練樣本數(shù)，xi∈Rm為樣本輸入，yi為輸出，LSSVM在高維特征空間的線(xiàn)性函數(shù)為：

f(x)=wTφ(x)+b

(5)

式(5)中，w為權(quán)值向量，b為偏置量，φ(x)為非線(xiàn)性映射函數(shù)。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，綜合考慮擬合誤差和算法復(fù)雜度，轉(zhuǎn)換為一個(gè)等式約束的優(yōu)化問(wèn)題：

(6)

為求解上述優(yōu)化問(wèn)題，引入拉格朗日等式，ai是拉格朗日乘子，把約束優(yōu)化問(wèn)題變?yōu)闊o(wú)約束優(yōu)化問(wèn)題，如式(7)所示：

(7)

根據(jù)非線(xiàn)性最優(yōu)規(guī)劃(Karush-Kuhn-Tucker，KKT)條件求得參數(shù)ai,b代入公式(5)，得到支持向量機(jī)的輸出：

(8)

最后，選擇RBF(Radial Basis Function)作為L(zhǎng)SSVM的核函數(shù)，得到LSSVM的預(yù)測(cè)函數(shù)：

(9)

式中，σ為核寬度，反映數(shù)據(jù)集的特性。

4 系統(tǒng)軟件實(shí)現(xiàn)與測(cè)試

4.1 系統(tǒng)軟件實(shí)現(xiàn)

本系統(tǒng)利用OpenCV開(kāi)源庫(kù)[14-15]在VS2010環(huán)境中編寫(xiě)MFC程序，實(shí)現(xiàn)數(shù)字儀表讀數(shù)的實(shí)時(shí)采集、處理及識(shí)別輸出。通過(guò)點(diǎn)擊界面內(nèi)按鈕即可完成相應(yīng)的處理，最終將數(shù)字儀表原圖及讀數(shù)識(shí)別結(jié)果都直觀地顯示在窗口界面上。

根據(jù)本文系統(tǒng)采取的方法對(duì)實(shí)時(shí)采集到的數(shù)字儀表圖像進(jìn)行處理、分割及識(shí)別，以采集到的其中一張測(cè)試圖為例，系統(tǒng)從實(shí)時(shí)采集、傾斜校正、預(yù)處理(濾波、二值化)、定位分割到識(shí)別的每一步效果圖如圖7所示。

圖7 系統(tǒng)處理每一步效果圖

4.2 LSSVM與其他算法的比較

本文采用最小二乘支持向量機(jī)算法對(duì)數(shù)字儀表的讀數(shù)進(jìn)行識(shí)別，為了驗(yàn)證該算法的識(shí)別率，總共實(shí)時(shí)采集了200幅儀表圖像近800個(gè)數(shù)字字符，用模板匹配法、基于人工神經(jīng)網(wǎng)絡(luò)法、穿線(xiàn)法、最小二乘支持向量機(jī)分別進(jìn)行了測(cè)試，對(duì)這800個(gè)數(shù)字字符進(jìn)行分類(lèi)統(tǒng)計(jì)，測(cè)試結(jié)果如表1所示。

統(tǒng)計(jì)分析發(fā)現(xiàn)，這幾種算法對(duì)每個(gè)數(shù)字的識(shí)別率都高于90.0%，LSSVM對(duì)每個(gè)數(shù)字的識(shí)別率都高于95.0%，對(duì)10個(gè)字符的平均識(shí)別率達(dá)到98.2%，比其他幾種識(shí)別模式的平均識(shí)別率有明顯提高，識(shí)別效果良好，達(dá)到了預(yù)期的目標(biāo)與要求。

5 結(jié)論

根據(jù)數(shù)字儀表顯示的特征，本文首先采用攝像頭實(shí)時(shí)采集并顯示數(shù)字儀表圖像；然后將Canny邊緣檢測(cè)算子與Hough變換相結(jié)合，對(duì)儀表圖像進(jìn)行傾斜校正；利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)圖像光照不均勻等進(jìn)行處理，通過(guò)濾波增強(qiáng)有效信息；根據(jù)數(shù)字儀表讀數(shù)特征，采取查找最小連通域后篩選的方法對(duì)儀表讀數(shù)進(jìn)行定位分割；采用和聲搜索法和最小二乘支持向量機(jī)的算法對(duì)儀表的數(shù)字讀數(shù)進(jìn)行模式識(shí)別；利用OpenCV開(kāi)源庫(kù)在VS2010環(huán)境中編寫(xiě)MFC程序，實(shí)現(xiàn)數(shù)字儀表讀數(shù)的實(shí)時(shí)采集、處理及識(shí)別輸出。本設(shè)計(jì)在實(shí)驗(yàn)室環(huán)境下具有良好的效果，下一步的研究方向是進(jìn)一步改進(jìn)完善，并將其推廣應(yīng)用到實(shí)際環(huán)境中。

表1 不同識(shí)別算法數(shù)字字符識(shí)別測(cè)試結(jié)果比較

[1] 譚志強(qiáng),黃懿.自動(dòng)抄表技術(shù)的發(fā)展[J].電測(cè)與儀表, 2009，46(1):1-5.

[2] 申中鴻,蔣春旭,徐華偉,等.基于機(jī)器視覺(jué)的數(shù)字顯示儀表自動(dòng)讀數(shù)[J].電子產(chǎn)品可靠性與環(huán)境試驗(yàn),2013，31(A01):110-115.

[3] 申中鴻,劉群興,蔣春旭,等.基于機(jī)器視覺(jué)技術(shù)和D—S證據(jù)理論的數(shù)字顯示儀表自動(dòng)讀數(shù)[J].信息工程期刊(中英文版),2013，3(6):122-129.

[4] 劉科,侯立新,卞昕.基于機(jī)器視覺(jué)的儀表示值識(shí)別算法研究[J].計(jì)量學(xué)報(bào),2013，34(5):425-429.

[5] 常曉瑋.基于機(jī)器視覺(jué)的數(shù)字化儀表字符識(shí)別[J].計(jì)算機(jī)測(cè)量與控制,2014，22(9):3071-3073.

[6] 丁文,李勃,陳啟美.Canny色彩邊緣檢測(cè)及分類(lèi)新方法[J].北京郵電大學(xué)學(xué)報(bào),2012，35(1)：115-119.[7] 黃登山,王曉楠.基于Canny和Hillbert-Huang變換的改進(jìn)的SIFT算法研究[J].西北工業(yè)大學(xué)學(xué)報(bào),2015(6)：962-965.

[8] 朱顥東,李紅嬋.基于特征加權(quán)模糊模板匹配的字符識(shí)別[J].蘭州理工大學(xué)學(xué)報(bào)，2013，39(1) :68-71.

[9] 劉宗林,田瑩,李雪瀅.一種數(shù)顯儀表字符快速自動(dòng)識(shí)別方法[J].現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版),2015(18):37-40.

[10] 王明勛.基于神經(jīng)網(wǎng)絡(luò)的液晶數(shù)字識(shí)別在船用設(shè)備管理中的應(yīng)用[J].艦船電子工程,2012，32(7):95-97.

[11] 劉永平,郭小波.基于最小二乘支持向量機(jī)車(chē)牌字符特征識(shí)別[J].數(shù)字技術(shù)與應(yīng)用,2015(7):119-120.

[12] 劉靜.基于最小二乘支持向量機(jī)的車(chē)牌字符特征分類(lèi)研究[J].計(jì)算機(jī)與數(shù)字工程,2015(7):1315-1319.

[13] 喬宗良,張蕾,周建新,等.一種改進(jìn)的CPSO-LSSVM軟測(cè)量模型及其應(yīng)用[J].儀器儀表學(xué)報(bào),2014,35(1):234-240.

[14] 王舒憬，杜皎潔.基于OPENCV的數(shù)字萬(wàn)用表數(shù)字識(shí)別方法[J].自動(dòng)化與儀器儀表, 2014(1):62-63.

[15] 徐歡,李振璧,姜媛媛,等.基于OpenCV和改進(jìn)Canny算子的路面裂縫檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2014，35(12):4254-4258.

Automatic recognition of digital meter readings based on OpenCV and LSSVM

Lin Jianping1,Liao Yipeng2

(1.Yango College, Fuzhou 350015, China；2. School of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350000，China)

In order to improve the efficiency of meter reading and recording, and to reduce manual intervention and error probability , a method of automatic digital meter recognition based on the OpenCV and LSSVM is proposed. Firstly, a free drive USB camera is selected to acquire instrument’s image as well as combining the edge detection algorithm based on Canny and Hough transform to correct the inclined instrument images. Then mathematical morphology, Otsu algorithm and connectivity area abstraction are used for image preprocessing and character segmentation. Lastly, least squares support vector machine is used to identify the meter reading with the character feature extraction. Through numerous of experiments, the method has better accuracy comparing to existing meter reading and recoding method. Thus, automatic identification function of digital instrument can be achieved.

machine vision; image processing;OpenCV;LSSVM

TP394.1

A

10.19358/j.issn.1674- 7720.2017.02.013

林劍萍，廖一鵬.基于OpenCV和LSSVM的數(shù)字儀表讀數(shù)自動(dòng)識(shí)別[J].微型機(jī)與應(yīng)用，2017,36(2)：37-40.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61471124)

2016-08-25)

林劍萍(1983-)，女，碩士，講師，主要研究方向：圖像處理、方向研究。

廖一鵬(1982-)，男，博士，講師，主要研究方向：圖像處理與模式識(shí)別研究。