基于OpenCV的水表讀數(shù)研究及其改進(jìn)算法

陳國平

摘 要：該文針對日常生活中較為常見的水表系統(tǒng)，采用拍攝照片的方式，獲取其讀數(shù)的圖像，采用相關(guān)的方法對其進(jìn)行分割處理，并對分割后的單字圖片，采用傳統(tǒng)的SVM方式進(jìn)行數(shù)字識別，并對此進(jìn)行改進(jìn)，對于兩者的識別準(zhǔn)確率進(jìn)行對比分析。在此基礎(chǔ)之上，針對于讀數(shù)中可能出現(xiàn)的半字圖像，嘗試性地提出一種基于二值化和HOG+SVM的識別方式，并在實驗中取得了較為不錯的實驗結(jié)果。

關(guān)鍵詞：模式識別 讀數(shù)識別 圖像分割 HOG+SVM 半字識別

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2017）06（c）-0078-06

Abstract：This paperis aimed at the system of water meter.We use the photos of meter and use methods to split the photos. Then we use HOG and LBP to extract the feature of pictures.Then use SVM to train and predict the pictures and compare the accuracy among different method. Based on this， we find a method based on HOG and image binaryzation to recognize the pictures of half word and experiment it.

Key Words：Pattern recognition； Automatic indication recognition； Image segmentation； HOG+SVM； Recognition of half word

1 研究背景

水是生命之源，是人類賴以生存的自然資源，在經(jīng)濟(jì)高速增長的今天，水資源短缺制約著城市的發(fā)展。為了方便管理城市居民用水，城市供水部門為每戶居民安裝入戶的機(jī)械水表，監(jiān)控居民用水，并依據(jù)用水量收繳水費。目前，供水部門或企業(yè)都是雇用專門的抄表員來抄取水表讀數(shù)，每月抄取一次。人工抄表有其天然的弊端，首先對于大型城市，需要雇用大量抄表人員，需要付出不小的人力成本和時間成本。其次人工抄表難免會發(fā)生錯誤，抄錯現(xiàn)象難以杜絕，并且還需對紙質(zhì)資料進(jìn)行整理，也是一項費時費力并且容易出錯的任務(wù)。最后人工抄表不夠?qū)崟r，不能及時掌握居民或者企業(yè)用水情況，所以對于一些緊急情況，如嚴(yán)重漏水、偷水現(xiàn)象等不能及時處理，給供水部門帶來嚴(yán)重?fù)p失。

隨著監(jiān)控技術(shù)和計算機(jī)技術(shù)的發(fā)展，使得遠(yuǎn)程自動抄表成為可能。攝像直讀水表是其中一種技術(shù)方案，其利用在傳統(tǒng)水表上加裝微型攝像頭，定時拍攝水表表盤并傳遞給服務(wù)器，然后在服務(wù)器端對表盤圖像進(jìn)行圖像分析，自動識別出水表讀數(shù)，從而完成遠(yuǎn)程自動抄表。這種方案不需要更換原有水表，并且圖像資料可以作為留底憑證，所以受到市場廣泛歡迎。

該文將研究該遠(yuǎn)程抄表方案中核心的水表讀數(shù)識別技術(shù)，完成整套識別算法的設(shè)計，驗證算法可行性，并且優(yōu)化算法，提高算法的識別準(zhǔn)確率，同時考慮到多種圖片情況，使得該識別算法可以真正應(yīng)用到實際方案中。

2 主要研究內(nèi)容

遠(yuǎn)程自動抄表系統(tǒng)主要由現(xiàn)場采集子系統(tǒng)和服務(wù)器識別子系統(tǒng)構(gòu)成?，F(xiàn)場采集子系統(tǒng)的主要功能是采集水表到表盤圖像，并發(fā)送給服務(wù)器，需要考慮的問題有現(xiàn)場組網(wǎng)、設(shè)備供電、設(shè)備防水以及設(shè)備可靠性等方面，同時需要保證采集到的圖像清晰規(guī)范。服務(wù)器識別子系統(tǒng)的主要功能是識別表盤圖像的讀數(shù)，并存入數(shù)據(jù)庫，需要考慮的問題是識別算法的準(zhǔn)確率、識別算法效率和對不同輸入的冗余等。

該次研究主要是根據(jù)合適的水表讀數(shù)識別流程，尋找最優(yōu)的模式分類方法，包括以下四個方面的研究內(nèi)容。

2.1 圖像去噪

研究改善圖片的視覺效果，提高圖片清晰度，消除圖像中的噪聲點，從而避免對后續(xù)分割和識別步驟造成的不必要影響。

2.2 圖像矯正

研究在一些情況下（如采集儀器位置偏移）會有圖片傾斜扭曲的情況，需要對圖片進(jìn)行矯正，才能提高識別的準(zhǔn)確率。

2.3 字符分割

主要研究如何將水表讀數(shù)字符精確地從圖片中分離出來，作為識別過程的輸入。

2.4 字符識別

對分割出來的字符進(jìn)行精確的識別，并研究不同分類方法在識別率、性能方面的差異。

3 主要流程圖

水表讀數(shù)識別流程見圖1。

4 數(shù)據(jù)獲取

因為該項目為一個實際項目的初級版本，所以該項目的的圖像數(shù)據(jù)來源于真實水表的讀數(shù)圖像。該項目在上海設(shè)有2個試驗點，即兩個小區(qū)，共包括40幾塊水表，在每塊水表上安裝了一個微型攝像裝置，定時對水表表盤進(jìn)行拍攝，之后將圖片通過網(wǎng)絡(luò)來遠(yuǎn)程傳輸至服務(wù)端進(jìn)行分析識別。由于目前尚屬于項目初期，因此試驗點較少，所拍攝的水表讀數(shù)圖像數(shù)目較小，對于實驗的結(jié)果會產(chǎn)生一定的影響。

5 圖像預(yù)處理

5.1 圖像灰度化

灰度化的實質(zhì)是將紅、綠、藍(lán)3種通道的顏色值進(jìn)行加權(quán)求和，得到像素間只有在亮度上差異的黑白圖片。但注意到水表圖像在讀數(shù)部分是黑白的，所以首先提出圖像的黑白部分。另外，當(dāng)圖像的RGB值較為接近時可以認(rèn)為是黑白部分。所以該文使用了如下的灰度化算法。

由于黑色和白色在各通道間的方差小，所以能很好地提取黑白區(qū)域，灰度化效果如下。由圖2可看出灰度化處理能較好地將數(shù)字凸顯出來。

5.2 圖像去噪

由于在水表拍攝和圖片傳輸過程中，不可避免地會造成噪點，造成噪點的主要原因有曝光過長或JPG格式圖片在壓縮過程中產(chǎn)生的噪聲點等，由此，噪聲中以“椒鹽”噪聲居多，去除噪聲的方法是對圖片進(jìn)行濾波操作，如均值濾波、中值濾波、高斯濾波等。endprint

該文采用的是中值濾波的方式，中值濾波能有效克服因偶然因素造成的干擾，同時可以保護(hù)圖像尖銳的邊緣，是廣泛采用的濾波方法。

圖3是使用中值濾波前后的效果對比圖?？梢钥吹?，濾波后的圖像噪聲點明顯減少，圖片變得更加清晰，并且邊緣信息得到了保留和突出。

6 字符分割

6.1 二值化

得到灰度圖像后，字符區(qū)域已經(jīng)比較明顯，下面使用Otsu閾值來實現(xiàn)二值化。Otsu Threshing方法是一種基于自適應(yīng)閾值實現(xiàn)二值化的方法，其最重要的部分是尋找圖像二值化閾值，使用類間方差達(dá)到最大，然后根據(jù)閾值將圖像分為前景或者背景。利用Otsu可以得到圖4的二值化效果。

6.2 形態(tài)學(xué)操作

二值化圖像后，會產(chǎn)生很多突出的邊緣以及粘連的輪廓，這時我們利用一些形態(tài)學(xué)操作進(jìn)行處理。形態(tài)學(xué)的基本操作包括腐蝕和膨脹，腐蝕縮小圖中的連通區(qū)域，膨脹放大圖中的連通區(qū)域。這里使用了腐蝕操作，用來分割出讀數(shù)區(qū)域，避免因光線或者其他因素造成其他區(qū)域與讀數(shù)區(qū)域的粘連。腐蝕以圖5為例。

6.3 檢索輪廓

輪廓信息是圖像中的重要特征，利用輪廓信息，我們可以將讀數(shù)區(qū)域從表盤圖像中分割出來。利用OpenCV提供的輪廓檢測方法可以很方便地計算圖片的輪廓信息（即圖像邊緣），函數(shù)findContours是用于計算輪廓信息的函數(shù)，輸入二值化圖像，輸出輪廓集合，每個輪廓是輪廓點集合。

有了輪廓信息，我們需要對輪廓進(jìn)行篩選，篩選出讀數(shù)區(qū)域的輪廓，這里可以制定多種規(guī)則，如輪廓的形狀、位置和面積等信息，可以根據(jù)實際情況提供多種選擇。

該文首先從二值圖像中檢索輪廓，然后計算各個輪廓的最小外接矩形，接著過濾出符合條件的矩形。可以看出，一般的水表圖片讀數(shù)都在靠中間的位置，且矩形的面積較大，長寬比在一定的范圍以內(nèi)。通過這些篩選，大部分情況下可以確定讀數(shù)所在的區(qū)域。見圖6。

得到讀數(shù)區(qū)域后就能夠提取出讀數(shù)區(qū)域，從原圖中提取該區(qū)域見圖7。

6.4 字符切分

從圖7可以看出，得到的局域并不精確，左右還留有一些無用的區(qū)域，接下來需要對區(qū)域圖像進(jìn)行縱向切分。

我們假設(shè)讀數(shù)所在區(qū)域都完整地出現(xiàn)在圖片中，那么每個數(shù)字的寬度應(yīng)該是相同的，但是不能簡單的固定分割。因為數(shù)字之間留有較多的空白，數(shù)字區(qū)域不一定位于圖像中心，所以我們的算法是枚舉讀數(shù)的起始位置和每個數(shù)字的寬度，分別檢測數(shù)字之間間隔區(qū)域的RGB值之和，最大的即為分割結(jié)果。圖8是分割的結(jié)果示例。

7 數(shù)字識別算法介紹

7.1 支持向量機(jī)

該文采用了支持向量機(jī)（Support Vector Machine，SVM）作為主要的圖像識別算法，其原理在于尋找特征空間上使間隔最大化的超平面，使得樣本不同分類間的樣本間隔最大化，這樣訓(xùn)練出來的分類模型更具通用性。見圖9。

當(dāng)樣本線性不可分時，可以將樣本映射到更高維的空間上，在高維空間上可以做到線性分類即可，然后尋找高維空間中的分類超平面。向高維映射的過程可通過核函數(shù)隱藏。

對于多類問題，該文采用OpenCV中的C_SVM作為分類器。這是一種n類的分類器，它可以處理多類問題，并且不要求樣本完全線性可分。其核函數(shù)采用高斯核函數(shù)（RBF），核函數(shù)的相關(guān)系數(shù)通過多次試驗尋找最佳的方式來確定。

7.2 HOG特征

7.2.1 算法簡介

HOG（Histogram of Oriented Gradient）是計算機(jī)視覺領(lǐng)域中常用的圖像特征，它在物體檢測、人臉檢測等方面得到廣泛應(yīng)用。2005年，法國研究人員最早提出了利用HOG+SVM的方式進(jìn)行行人檢測，取得了不錯的效果，在此基礎(chǔ)上，越來越多的研究人員對HOG特征進(jìn)行研究，并結(jié)合SVM提出多種優(yōu)化的行人檢測算法，但基本都是以HOG+SVM的思路為主。該文也利用了HOG特征作為識別分類器的特征輸入。

和其他圖像特征相比，HOG特征有諸多優(yōu)點。其將圖像分為眾多的小方格，計算每個方格內(nèi)部的梯度信息，它對圖像幾何的和光學(xué)的形變都能保持很好的不變性。在水表應(yīng)用中，這兩種形變恰恰是經(jīng)常出現(xiàn)的。

7.2.2 算法流程

HOG特征提取方法如下所示。

（1）灰度化：由于圖片顏色信息的作用較小，因此通常首先將圖片轉(zhuǎn)化為灰度圖。

（2）歸一化：對生成的灰度圖進(jìn)行歸一化，調(diào)整圖像的對比度，降低光照不均勻和陰影帶來的圖像差異，常用的歸一化方法是Gamma校正法，對灰度圖像進(jìn)行調(diào)整。

（3）計算梯度：掃描圖像中的每個像素點，計算水平梯度和垂直方向的梯度，然后可以求得該點梯度的大小和方向。

（4）計算方格的特征：將圖像分割成細(xì)小的方格（cell），例如3×3大小，按照梯度的方向統(tǒng)計cell像素的大小和個數(shù)，便得到方格的特征（descriptor）。

（5）計算區(qū)塊的特征：進(jìn)一步多個方格組合為一個區(qū)塊（block），例如，3×3個cell組成一個區(qū)塊，區(qū)塊中所有方格特征組合起來便成為block的特征。

（6）計算圖像的特征：經(jīng)過分割，一個圖像由多個區(qū)塊構(gòu)成，將圖像中所有區(qū)塊的特征組合起來便成為圖像的HOG特征，作為分類器的輸入。

7.2.3 算法流程圖

HOG特征算法流程圖見圖10。

7.3 LBP特征

7.3.1 算法簡介

除了HOG特征，LBP特征（Local Binary Pattern）也是一種常用的物體檢測和人臉分析特征。該算法最早由T.Ojala等在1994年提出。其算法邏輯并不復(fù)雜，原始算法是將像素點和像素周圍的8個像素點相比較，高的點標(biāo)記為1，低的點標(biāo)記為0，便可以得到8位二進(jìn)制數(shù)作為該點的LBP特征，如圖11所示。得到每個像素點的LBP特征后，同樣計算圖像每個區(qū)塊內(nèi)的LBP統(tǒng)計分布信息，將區(qū)塊的LBP分布信息組合起來便得到圖像的LBP特征。endprint

經(jīng)過驗證，LBP特征能夠很好地反映圖像局部信息，在物體檢測應(yīng)用中常被采用，并且演變出了多種優(yōu)化算法。

7.3.2 LBP改進(jìn)算法

經(jīng)過研究人員改進(jìn)，LBP特征演進(jìn)出了多種優(yōu)化版本。

由于基本的LBP特征只限定了和周圍8個像素點比較，其實可以對該區(qū)域進(jìn)行擴(kuò)展，和更多的像素點進(jìn)行比較。例如Ojala等采用了圓形來限定像素點的鄰域，圓的半徑可以調(diào)整，如圖12所示，半徑可以指定為2，并且可以只比較圓周上部分的點。這樣使得LBP特征可以適應(yīng)更多的圖像紋理，應(yīng)用更加廣泛。

另外，可以發(fā)現(xiàn)，這樣的LBP仍存在缺陷，當(dāng)圖像發(fā)生輕微旋轉(zhuǎn)時，圖像的LBP特征是不一樣的，所以LBP不能保持旋轉(zhuǎn)不變。為了解決該問題，Maenpaa等人提出了LBP的旋轉(zhuǎn)不變模式，即在求解像素的LBP特征時，求解不同旋轉(zhuǎn)情況下的LBP編碼，取最小的LBP編碼作為該像素的LBP特征。如圖13所示，經(jīng)過旋轉(zhuǎn)有8種旋轉(zhuǎn)模式，即存在8種LBP編碼，其中15是最小的LBP編碼，所以取該編碼作為像素點LBP特征。

8 實驗對比

8.1 實驗環(huán)境

該項目采用OpenCV開源計算機(jī)視覺庫作為框架，采用C++作為開發(fā)語言，樣本庫采用從實際使用場景收集到的讀數(shù)圖像，經(jīng)過圖像分割及圖像篩選后，共計204張單字圖片進(jìn)行圖像的訓(xùn)練與識別。之后，按照每個數(shù)字選擇5張圖片作為訓(xùn)練樣本的原則，共選取了50張圖片作為訓(xùn)練樣本，將其余的圖片分為兩組進(jìn)行識別，其中一組為完整的單字圖片，共計132張；另一組為半字圖片，共計22張。

8.2 單字識別

8.2.1 傳統(tǒng)HOG特征提取

在采用SVM進(jìn)行識別的過程中，分別采用了HOG與LBP+HOG的方式進(jìn)行特征的選取。在傳統(tǒng)的HOG特征提取中，通過選取不同的block與cell的大小，分別獲得了不同的識別準(zhǔn)確率（圖片分辨率為90×100），結(jié)果如表1所示。

由實驗結(jié)果可以看出，在不同大小的block和cell下，SVM識別的準(zhǔn)確率也有所不同。隨著block和cell的增大，數(shù)字的識別率也在逐漸提高。針對這一現(xiàn)象，認(rèn)為其原因可能是：由于樣本的數(shù)量較小，因此訓(xùn)練程度過低，導(dǎo)致隨著HOG特征數(shù)目的增大，其識別率反而會產(chǎn)生一定程度的下降。

8.2.2 LBP+HOG特征提取

在完成傳統(tǒng)的HOG+SVM算法的基礎(chǔ)上，考慮到實際的單字圖片中可能會存在一些圖像的旋轉(zhuǎn)，從而導(dǎo)致識別率有所下降。因此，該文中嘗試性地進(jìn)行了LBP+HOG的特征提取方法，然后再利用SVM進(jìn)行訓(xùn)練與分類。首先，該文采用LBP算法來生成原始圖像所對應(yīng)的LBP特征圖像，然后再根據(jù)HOG算法，對于LBP特征圖像進(jìn)行特征提取，最后應(yīng)用于SVM中進(jìn)行訓(xùn)練及預(yù)測工作。在此實驗中，分別采用表2中各項參數(shù)進(jìn)行預(yù)測，預(yù)測的準(zhǔn)確率如表2所示。

從實驗結(jié)果中可以發(fā)現(xiàn)，采用兩種方式來綜合求取圖片特征的方式，其準(zhǔn)確率反而低于傳統(tǒng)的HOG特征的準(zhǔn)確率，該種方法并不能較好地用于數(shù)字圖像的識別工作之中。

8.3 半字識別

除了正常的單字圖像識別之外，由于水表的結(jié)構(gòu)特點，在讀數(shù)過程中往往會出現(xiàn)不同程度的半字情況，如圖14所示。

半字識別作為水表讀數(shù)識別的難點之一，一直以來都沒有較好的識別算法。該文在已有研究的基礎(chǔ)上，提出了一種識別方案，并對其準(zhǔn)確性進(jìn)行實驗測試。

為了能夠識別半字，首先需要對半字的數(shù)字區(qū)域進(jìn)行分割，并選取其中所占面積較大的一塊繼續(xù)進(jìn)行識別工作。在分割的階段，首先對原始圖像進(jìn)行二值化處理，排除由于光照等因素造成的噪聲點影響，以便于尋找分割區(qū)域。在進(jìn)行圖像二值化處理之后，原始圖像即變?yōu)榫哂忻黠@白色間隔的兩塊區(qū)域，如圖15中的圖像即為經(jīng)過二值化處理之后的圖像。

經(jīng)過二值化處理之后，可以看出圖像中包含明顯的空白區(qū)域。之后，通過編輯圖像像素點的方式，來獲取最佳的分割位置。在分割之后，我們選取面積較大的部分來進(jìn)行后續(xù)的識別工作，分割之后的半字圖像如圖16所示。

完成分割工作之后，需要對半字圖像進(jìn)行識別工作。在識別過程中，采用前文中識別率較高的HOG+SVM方式進(jìn)行識別。由于半字圖片的特征點會有一定的缺失，造成識別的準(zhǔn)確率下降。為了盡量避免這種情況，我們采取將訓(xùn)練樣本也按照相同比例進(jìn)行分割的方式，將分割后的樣本作為訓(xùn)練集進(jìn)行訓(xùn)練，之后再對圖像進(jìn)行識別。經(jīng)過實驗驗證，該方法的識別準(zhǔn)確率在50%左右，說明其具有一定的可行性。

在半字識別的過程中，可以進(jìn)行調(diào)節(jié)的參數(shù)為HOG特征提取的相關(guān)參數(shù)以及圖像二值化中的閾值。該文在進(jìn)行實驗的過程中，由于HOG特征的block與size受到分割圖像分辨率的影響，因此未對其進(jìn)行更改，而是通過改變二值化閾值的方式，獲取不同的識別準(zhǔn)確率，結(jié)果如表3所示。

9 結(jié)語

在對水表讀數(shù)識別的過程中，其難點主要在于如何定位并分割數(shù)字區(qū)域。該文提出在對圖像進(jìn)行灰度化以及去噪的預(yù)處理之后，運用二值化和形態(tài)學(xué)操作來忽略非目標(biāo)區(qū)域的影響，之后對于目標(biāo)區(qū)域進(jìn)行輪廓檢索和單字的切割操作，從而獲得單字圖像。在此基礎(chǔ)上，該文采用基于HOG+SVM的方式進(jìn)行樣本訓(xùn)練與預(yù)測，并提出加入LBP特征來減小旋轉(zhuǎn)所帶來的影響。同時，針對半字識別問題，該文提出一種半字的分割和識別算法，并通過實驗的方式來獲取較為不錯的結(jié)果。在未來的工作中，我們將繼續(xù)深入研究這一方面的算法，爭取不斷提高其識別的準(zhǔn)確率。

參考文獻(xiàn)

[1] A Kaup，T Aach.Coding of segmented images using shape-independent basis functions[J].IEEE Transactions on Image Processing，2008，7（7）：937-947.

[2] Maragos，Petros.Tutorial on advances in morphological image processing and analysis[J].Optical Engineering，1987，26（7）：623-632.

[3] Hu M，Chen Y，Kwok J T Y.Building sparse multiple-kernel SVM classifiers[J].Neural Networks，IEEE Transactions on，2009，20（5）：827-839.

[4] Dalal N，Triggs B.Histograms of oriented gradients for human detection[C].Computer Vision and Pattern Recognition，CVPR 2005.IEEE Computer Society Conference on.IEEE，2005（1）：886-893.

[5] 文學(xué)志，方巍.一種基于類Haar特征和改進(jìn)AdaBoost分類器的車輛識別算法[J].電子學(xué)報，2011，39（5）：1121-1126.

[6] Navneet Dalal，Bill Triggs.Histograms of Oriented Gradients for Human Detection[J].Proc of International Conference on Computer Vision & Pattern Recognition，2005，1（12）：886-893.endprint