基于卷積神經(jīng)網(wǎng)絡(luò)的字輪式儀表雙半字符識別

王 望，徐望明,3，伍世虔，閆富海

(1.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢，430081；2.武漢科技大學(xué)機(jī)器人與智能系統(tǒng)研究院，湖北 武漢，430081；3.武漢科技大學(xué)冶金自動化與檢測技術(shù)教育部工程研究中心，湖北 武漢，430081)

隨著物聯(lián)網(wǎng)的興起，遠(yuǎn)程自動抄表技術(shù)已被廣泛應(yīng)用于各類指針式儀表[1]和字輪式儀表[2-3]中，如水表、電表、氣表等，大大提高了工作效率和準(zhǔn)確率。在字輪式儀表的遠(yuǎn)程自動抄表過程中，最為重要的一步就是對采集到的表盤圖像中的數(shù)字字符進(jìn)行準(zhǔn)確識別。目前，國內(nèi)外研究者已在字符識別方面做了大量工作，尤其是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的端到端識別方法，在讀取各種表盤上的完整數(shù)字字符時都取得了良好的表現(xiàn)。熊誠[4]采用基于Inception V1架構(gòu)的CNN模型識別燃?xì)獗碜址?，在一定程度上解決了傳統(tǒng)機(jī)器視覺方法對圖像質(zhì)量要求過高的問題；薛亮[5]采用LeNet-5網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，實現(xiàn)了對水表字符的準(zhǔn)確快速識別；熊勛等[6]結(jié)合CNN和長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)模型的特點構(gòu)建了一種卷積記憶神經(jīng)網(wǎng)絡(luò)，在無需分割字符的情況下即可對電表字符序列進(jìn)行準(zhǔn)確識別。但對于字輪式表盤，其機(jī)械結(jié)構(gòu)可能導(dǎo)致出現(xiàn)雙半字符的情形，即在字輪上的某個位置，兩個數(shù)字字符均出現(xiàn)了一部分。相較于完整字符，對雙半字符的識別更加困難，更具挑戰(zhàn)性。

目前，人們對儀表盤識別精度的要求越來越高，雙半字符識別問題也亟待解決，但相關(guān)研究工作較少，主要采用的還是傳統(tǒng)的特征提取[7]和模板匹配[8]方法。張艱等[7]利用掃描線穿過半字符的次數(shù)來提取字符結(jié)構(gòu)特征進(jìn)行識別，這種方法依賴于有效的特征設(shè)計，對圖像質(zhì)量要求也較高。徐平等[8]通過事先做好字符模板，采用模板匹配的方法來識別雙半字符，這種方法魯棒性較差，兩個半字符相鄰間隔大小、字符樣式以及噪聲干擾都會影響識別結(jié)果，而且對不同類型的表盤都需要重新制作字符模板。另外，基于CNN的字符識別方法不能直接用于雙半字符識別的主要原因是，在實際應(yīng)用中能采集到的雙半字符樣本較少，不足以訓(xùn)練CNN模型，而且對實際的雙半字符圖像直接采用旋轉(zhuǎn)、鏡像、平移等深度學(xué)習(xí)領(lǐng)域中常用的數(shù)據(jù)增強(qiáng)方法[9]也不合適。

針對以上問題，本文提出一種新的基于卷積神經(jīng)網(wǎng)絡(luò)的字輪式儀表雙半字符識別方法。為了獲取足夠多的雙半字符樣本并實現(xiàn)對雙半字符的魯棒識別，運(yùn)用從實際采集的完整字符樣本隨機(jī)生成雙半字符樣本的數(shù)據(jù)增強(qiáng)方法，并通過生成的雙半字符樣本集來訓(xùn)練一個專門設(shè)計的CNN模型用于識別雙半字符，最后通過實驗來驗證該方法的有效性。

1 雙半字符識別方法的基本流程

本文方法的主要思路是：①為了從采集的表盤圖像中區(qū)分出完整字符和雙半字符，采用圖像預(yù)處理和投影分割算法分離出二值化后的完整字符和雙半字符；②CNN模型的訓(xùn)練依賴于充足的樣本，為了解決雙半字符訓(xùn)練樣本不足的問題，提出一種從現(xiàn)有完整字符樣本生成雙半字符樣本的方法；③為了使訓(xùn)練的CNN模型取得較好的識別性能，專門設(shè)計了一個用于雙半字符識別的CNN網(wǎng)絡(luò)結(jié)構(gòu)。

本文方法的基本流程如圖1所示，可分為離線和在線兩個過程。離線過程訓(xùn)練用于識別雙半字符的CNN模型：先收集完整字符樣本，上下對齊拼接相鄰?fù)暾址㈦S機(jī)截取子圖像生成雙半字符樣本，利用這些樣本訓(xùn)練所設(shè)計的CNN網(wǎng)絡(luò)，就可得到所需的CNN模型。在線過程實現(xiàn)對所輸入字輪式表盤圖像中的字符識別：首先進(jìn)行圖像預(yù)處理，包括灰度化、去噪、去傾斜、字符區(qū)域定位、字符區(qū)域二值化等；然后對字符區(qū)域二值化圖像利用垂直投影和水平投影算法分割出單個字符，判定是完整字符還是雙半字符；最后利用離線訓(xùn)練好的CNN模型分別對完整字符和雙半字符進(jìn)行識別。其中，完整字符識別也采用離線單獨訓(xùn)練好的CNN模型，由于此類方法眾多且相對成熟，本文不對其展開，而是以燃?xì)獗碜詣幼x數(shù)為例，重點介紹所提出的雙半字符識別方法。

圖1 雙半字符識別方法的流程

2 雙半字符識別方法的實現(xiàn)細(xì)節(jié)

2.1 圖像預(yù)處理

在遠(yuǎn)程自動抄表系統(tǒng)中，由于儀表安裝位置、拍照環(huán)境、圖像網(wǎng)絡(luò)傳輸?shù)纫蛩赜绊?，采集的表盤圖像可能存在傾斜和噪聲，因此圖像首先需要經(jīng)過預(yù)處理操作。本文方法的圖像預(yù)處理過程包括灰度化、去噪、去傾斜、字符區(qū)域定位、字符區(qū)域二值化等，目的是得到表盤字符區(qū)域的一幅較干凈的二值化圖像，具體的實現(xiàn)方法很多，這里不展開描述。假設(shè)圖2是初步定位好的燃?xì)獗碜址麉^(qū)域子圖像，下面只給出幾個重要的中間結(jié)果圖像進(jìn)行說明。

圖2 燃?xì)獗韴D像字符區(qū)域的雙半字符示例

對于圖2中最上面一幅圖像，去傾斜后的字符區(qū)域灰度圖如圖3(a)所示，使用SWT算法[10]進(jìn)行二值化處理后的結(jié)果如圖3(b)所示，最后根據(jù)字符高、寬、面積以及高寬比等約束條件去除二值化圖噪聲后的結(jié)果如圖3(c)所示。

(a)去傾斜后的字符區(qū)域

2.2 字符分割

對于預(yù)處理后的二值化圖像，通過垂直投影和水平投影，結(jié)合投影直方圖的特點確定單個字符的位置[11]，估計字符標(biāo)準(zhǔn)高度、標(biāo)準(zhǔn)寬度以及位置相鄰字符的間隔，進(jìn)一步確定每個字符是完整字符還是半字符，并將其從二值圖像中分割出來。

以圖4為例來說明。圖4(a)的垂直投影直方圖如圖4(b)所示，其中白色部分反映了水平軸每點對應(yīng)的垂直方向白色像素的累計值。根據(jù)字符的特點，每個字符在垂直投影圖上的高度和寬度滿足一定大小，可以很容易區(qū)分出殘留的噪聲，并且定出每個字符的位置。圖4(c)為從圖4(a)中初步分割出來的完整字符和雙半字符，這些字符的水平投影直方圖如圖4(d)所示，可以看到雙半字符投影圖像呈現(xiàn)兩段白色區(qū)域，而完整字符投影圖像是一段連續(xù)白色區(qū)域。為了消除殘留噪聲的影響，對檢測到的白色區(qū)域高度與預(yù)估字符平均高度進(jìn)一步比較，即可區(qū)分完整字符與雙半字符。

(a)去噪圖像(仍可能含有殘留噪聲)

由于表盤規(guī)格和拍攝角度的不同，上述直接分割出來的雙半字符圖像中兩個半字符之間的間隔大小很可能不相等，為了使得字符識別算法能夠統(tǒng)一識別，需要對圖像進(jìn)行后處理。如圖5所示，分割出來的字符通過水平投影后，消除水平投影直方圖中兩段白色區(qū)域間的間隙，保留白色區(qū)域?qū)?yīng)的字符并合并，最后將尺寸歸一化為W×H，這樣處理可以保證不同規(guī)格的表盤都可以有效識別。完整字符也按相同方式處理，不同之處在于完整字符的水平投影圖只有一段白色區(qū)域，不存在間隙，可直接保留白色區(qū)域?qū)?yīng)的字符并將尺寸歸一化為W×H。這樣就從預(yù)處理后的二值圖中將完整字符和雙半字符都準(zhǔn)確分割出來，再輸入CNN模型進(jìn)行數(shù)字識別。

圖5 雙半字符后處理流程

2.3 雙半字符識別CNN模型

鑒于傳統(tǒng)識別方法的魯棒性較差，本文采用卷積神經(jīng)網(wǎng)絡(luò)來識別雙半字符。由于從實際表盤中采集足夠的雙半字符樣本來訓(xùn)練CNN模型比較困難，本文采用從實際采集的完整字符樣本生成雙半字符樣本的簡便方法，如圖6所示，其具體步驟為：

(1)從實際采集的完整數(shù)字字符圖像中隨機(jī)獲取一組相鄰數(shù)字字符，并將像素尺寸歸一化為W×H(本文取W=H=28)；

(2)將相鄰數(shù)字字符按其數(shù)值大小進(jìn)行上下對齊拼接，小的在上，大的在下，拼接圖像大小為W×2H；

(3)在區(qū)間[0.2,0.8]上取一個隨機(jī)數(shù)α，從上述拼接圖像上截取縱坐標(biāo)從αH到(1+α)H的部分，即從拼接位置向上取αH高度的上半字符，向下取(1-α)H高度的下半字符，從而得到一個尺寸為W×H的雙半字符樣本；

(4)該雙半字符樣本的標(biāo)簽取相鄰數(shù)字字符高度占比大的字符標(biāo)簽(當(dāng)上、下字符均占1/2時，則取上字符標(biāo)簽)，即當(dāng)0.5≤α≤0.8時取上半字符標(biāo)簽，當(dāng)0.2≤α<0.5時取下半字符標(biāo)簽。

圖6 雙半字符樣本的生成

由于實際表盤中能采集到的完整字符數(shù)據(jù)量較為充足，并且在生成雙半字符時可隨機(jī)組合相鄰?fù)暾址措S機(jī)高度比例截取子圖像進(jìn)行拼接，故可保證最終生成的雙半字符樣本數(shù)量充足、形式多樣，且更加接近真實的雙半字符樣本。部分生成的雙半字符樣本如圖7所示。

與傳統(tǒng)方法相比，深度神經(jīng)網(wǎng)絡(luò)在樣本充足且多樣的情況下，可大幅改善雙半字符識別的魯棒性。在各種深度神經(jīng)網(wǎng)絡(luò)中，CNN是應(yīng)用最廣泛的一種，其基本結(jié)構(gòu)包含卷積層、池化層和全連接層，其中，卷積層用于提取特征，池化層可壓縮卷積層得到的特征圖，全連接層起到分類的作用。

圖7 生成的雙半字符樣本圖例

由于字符圖像較小，不適合使用太深的網(wǎng)絡(luò)結(jié)構(gòu)，本文采用的CNN模型共有4個卷積層(帶有標(biāo)準(zhǔn)化層和池化層)、1個全局平均池化層和2個全連接層。網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，第一卷積層采用16個5×5的卷積核(stride=1，pad=2)，對輸入大小為28×28的單通道圖像進(jìn)行特征提取，并依次經(jīng)過標(biāo)準(zhǔn)化層、激活層和池化層(stride=1，pad=0)；第二卷積層采用32個3×3的卷積核(stride=1，pad=1)，對第一層池化后的特征圖進(jìn)行特征提?。坏谌偷谒木矸e層的卷積核個數(shù)分別為64和128，大小均為3×3(stride=1，pad=1)。采用全局平均池化層(Global Average Pooling)代替全連接層與最后一個卷積層的池化層相連，可防止過擬合，在本文方法中主要起到了將卷積形式的數(shù)據(jù)轉(zhuǎn)換為神經(jīng)元形式的作用，最后連接兩個全連接層得到10個數(shù)字分類概率。另外，在模型中加入的標(biāo)準(zhǔn)化層可抑制過擬合，防止梯度消失和梯度爆炸。本文CNN模型的總參數(shù)量為107 786。

圖8 本文方法使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗與結(jié)果分析

為了驗證本文方法的有效性，以實際的燃?xì)獗肀肀P數(shù)字圖像為例，通過本文方法從20 971幅完整字符樣本中生成10 000幅雙半字符樣本作為訓(xùn)練集，從另外600幅完整字符樣本中采用相同方法生成1000幅雙半字符樣本作為測試集1，并在實際表盤圖像中提取114幅真實的雙半字符樣本作為測試集2，進(jìn)行雙半字符識別實驗。對比了傳統(tǒng)的模板匹配法、支持向量機(jī)(SVM)分類法[12]、HOG+SVM 方法[13-14]、LeNet-5卷積神經(jīng)網(wǎng)絡(luò)方法[15]以及本文方法。其中，模板匹配法采用標(biāo)準(zhǔn)化差值平方和的方式判斷模板圖像與待匹配圖像之間的相似程度，標(biāo)準(zhǔn)化差值平方和越小表明相似程度越高；在SVM方法中，選用高斯核函數(shù)，直接使用像素值排列作為特征向量；HOG+SVM 方法是在HOG特征提取后再進(jìn)行SVM分類；LeNet-5是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)之一，主要有2個卷積層、2個池化層和3個全連接層。在測試集1和測試集2上的實驗結(jié)果分別如表1和表2所示。

表1 生成的雙半字符(測試集1)識別結(jié)果

表2 實際采集的雙半字符(測試集2)識別結(jié)果

實驗結(jié)果表明：傳統(tǒng)的模板匹配方法在兩個測試集上的表現(xiàn)比較穩(wěn)定，但識別準(zhǔn)確率都遠(yuǎn)不如本文方法；兩種基于SVM的機(jī)器學(xué)習(xí)方法，在測試集1上表現(xiàn)很好，但在測試集2上表現(xiàn)較差，說明其對實際樣本的適應(yīng)性較差，而本文方法魯棒性要更好，準(zhǔn)確率也更高；LeNet-5網(wǎng)絡(luò)在測試集1和測試集2上都可以有效地識別雙半字符樣本，然而識別準(zhǔn)確率卻受網(wǎng)絡(luò)所限，低于本文方法；本文方法通過設(shè)計一個專門的CNN網(wǎng)絡(luò)結(jié)構(gòu)，在兩個數(shù)據(jù)集上均取得了最高的識別準(zhǔn)確率。

4 結(jié)語

雙半字符圖形時常會出現(xiàn)在字輪式表盤中，為了解決遠(yuǎn)程自動抄表系統(tǒng)中雙半字符識別難題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙半字符識別方法，其特點在于專門設(shè)計了一個CNN模型，并根據(jù)實際采集的完整字符樣本來隨機(jī)生成充足而多樣的雙半字符樣本來訓(xùn)練該CNN模型，解決了實際雙半字符樣本較少以及識別準(zhǔn)確率不高的問題。以燃?xì)獗碜詣幼x數(shù)為例，在生成的雙半字符測試集和真實的雙半字符測試集上開展實驗，并與傳統(tǒng)的模板匹配方法、SVM方法以及LeNet-5方法進(jìn)行對比，驗證了本文方法的有效性。本文方法同樣適用于水表、電表等其他字輪式儀表的自動抄表系統(tǒng)。