基于增強(qiáng)CNN模型的手寫字體圖像識(shí)別*

李忠海，王崇瑤，宋智欽，徐 蕾

（1.沈陽(yáng)航空航天大學(xué)自動(dòng)化學(xué)院，沈陽(yáng) 110136；2.武警工程大學(xué)，西安 710000）

0 引言

手寫漢字的識(shí)別問題一直是圖像處理與模式識(shí)別研究領(lǐng)域的難點(diǎn)之一。傳統(tǒng)的識(shí)別方法如最近鄰算法［1］、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)［2］等，解決復(fù)雜分類問題及數(shù)學(xué)函數(shù)表示能力和網(wǎng)絡(luò)的泛化能力有限，不能達(dá)到高識(shí)別精度的需求，隨著科技的發(fā)展和研究，CNN的出現(xiàn)解決了這個(gè)問題。它最初由美國(guó)學(xué)者Cun［3］等提出，是一種層與層之間局部連接的神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［4］通過降低C5層的特征圖改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)模型，提高了識(shí)別速度；文獻(xiàn)［5］提出通過改進(jìn)激活函數(shù)來改變卷積神經(jīng)網(wǎng)絡(luò)的性能，提高了識(shí)別率。文獻(xiàn)［6］提出了基于頻度統(tǒng)計(jì)生成相似子集，提取訓(xùn)練樣本中的梯度特征，改進(jìn)了識(shí)別率和速度。

在此基礎(chǔ)上，本文先將原有的圖像用高階差分法進(jìn)行增強(qiáng)處理，增加漢字的全局特征，然后在原始的LeNet-5結(jié)構(gòu)的基礎(chǔ)上，將前兩層的激活函數(shù)改為ReLu函數(shù)，并且去掉C5層以及F6層，通過增加輸出層的神經(jīng)元數(shù)來增加漢字的識(shí)別率。

1 原始的LeNet-5識(shí)別網(wǎng)絡(luò)

最初LeNet-5是用于手寫數(shù)字識(shí)別的，輸出的類別數(shù)目為10，但是手寫漢字的識(shí)別與手寫數(shù)字識(shí)別相比，需分類的類別數(shù)目要多很多。除了10個(gè)數(shù)字外，大約還有3 000多個(gè)常見的漢字。原有的LeNet-5網(wǎng)絡(luò)已經(jīng)不能滿足漢字識(shí)別需要了，因此對(duì)識(shí)別數(shù)字的LeNet-5網(wǎng)絡(luò)進(jìn)行了改進(jìn)。

卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的結(jié)構(gòu)如圖1所示。輸入數(shù)字的圖像要經(jīng)過大小歸一化，神經(jīng)網(wǎng)絡(luò)的每一個(gè)神經(jīng)元的輸入均來自于前一層的一個(gè)局部鄰域，并被加上由一組權(quán)值決定的權(quán)重。提取的這些特征在下一層結(jié)合形成更高一級(jí)的特征。同一特征圖的神經(jīng)元共享相同的一組權(quán)值，次抽樣層對(duì)上一層進(jìn)行平均。

圖1 LeNet-5結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)LeNet-5不包括輸入，由7層組成，每一層都包括可訓(xùn)練的參數(shù)（權(quán)值）。該網(wǎng)絡(luò)的輸入是32*32的圖像，其中C層是由卷積層神經(jīng)元組成的網(wǎng)絡(luò)層，S層是由次抽樣層神經(jīng)元組成的網(wǎng)絡(luò)層。網(wǎng)絡(luò)層F6，包括84個(gè)神經(jīng)元，與網(wǎng)絡(luò)層C5進(jìn)行全連接。最后，輸出層有10個(gè)神經(jīng)元，是由徑向基函數(shù)單元（RBF）組成，輸出層的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)字符類別。RBF單元的輸出Y的計(jì)算方法如式（1）所示:

2 增強(qiáng)CNN網(wǎng)絡(luò)模型

由于原始的LetNet-5網(wǎng)絡(luò)識(shí)別類數(shù)少，不能滿足識(shí)別手寫漢字的需要；加上手寫漢字存在書寫不規(guī)范，掃描圖像不清晰且存在較大的噪聲，難以識(shí)別。基于此本文提出了增強(qiáng)CNN網(wǎng)絡(luò)模型來增加手寫漢字的識(shí)別率?，F(xiàn)對(duì)原始的LeNet-5網(wǎng)絡(luò)進(jìn)行了改進(jìn):

1）由于漢字識(shí)別的種類多，訓(xùn)練樣本集數(shù)據(jù)量大，用原始LeNet5網(wǎng)絡(luò)中的激勵(lì)函數(shù)會(huì)出現(xiàn)過擬合現(xiàn)象，現(xiàn)將ReLu函數(shù)作為網(wǎng)絡(luò)前兩層的激勵(lì)函數(shù)，能夠有效防止訓(xùn)練數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象，輸出層的激活函數(shù)仍用softmax。

2）為了得到較高的識(shí)別率，則需要更多的特征信息?，F(xiàn)將CNN網(wǎng)絡(luò)的C5層以及F6層去掉，與輸出層的神經(jīng)元進(jìn)行全連接，來保留漢字的局部和全局特征，增加漢字的識(shí)別率。

增強(qiáng)CNN網(wǎng)絡(luò)模型如圖2所示:

圖2 增強(qiáng)CNN網(wǎng)絡(luò)模型

由圖2可知，增強(qiáng)CNN網(wǎng)絡(luò)模型只有5層，模型的層數(shù)減少了，這樣訓(xùn)練時(shí)間也會(huì)相應(yīng)地縮短，同時(shí)由于改進(jìn)后的網(wǎng)絡(luò)依舊是卷積層和采樣層交替出現(xiàn)，所以改進(jìn)的網(wǎng)絡(luò)仍保留了圖像對(duì)位移、縮放和扭曲的不變性和良好魯棒性的優(yōu)點(diǎn)。

3 漢字圖像的增強(qiáng)處理

在此對(duì)輸入的漢字圖像進(jìn)行增強(qiáng)處理，以減少特征提取的干擾。本文摒棄了傳統(tǒng)的增強(qiáng)算法，引進(jìn)了五階濾波模板，提出高階差分增強(qiáng)算法，用于對(duì)輸入漢字圖像進(jìn)行增強(qiáng)。

3.1 五階差分濾波器模板系數(shù)的推導(dǎo)

依據(jù)偏微分理論在圖像處理中的原理［9］，將圖像進(jìn)行離散化，圖像微分可用差分近似實(shí)現(xiàn)，即用離散差分方程近似代替導(dǎo)數(shù)方程。

假設(shè)濾波器模板大小為五階，取為5×5的方陣，濾波系數(shù)用Y（i，j）表示，像素的系數(shù)根據(jù)位置記錄，中心點(diǎn)的濾波器系數(shù)值記為Y（0，0），5×5濾波器模板表示如下:

四階差分濾波實(shí)現(xiàn)方法是利用五階濾波器與圖像進(jìn)行卷積運(yùn)算，一般來說對(duì)大小為M×N的圖像f（x，y）使用m×n濾波器實(shí)現(xiàn)圖像濾波的計(jì)算公式為:

其中，a=（M-1）/2，b=（N-1）/2，Y （i，j） 是濾波器系數(shù)，f（x，y）是圖像像素值。隨著濾波器在圖像f（x，y）中的移動(dòng)，將計(jì)算出新的圖像像素值f（x，y）。

由于離散差分方程來近似代替導(dǎo)數(shù)方程，可知有如下公式:

進(jìn)一步可知:

由于二維離散圖像進(jìn)行差分運(yùn)算時(shí)，要確定運(yùn)算方向。本文采用先前向差分后后項(xiàng)差分，即對(duì)圖像f（x，y）先做前向差分，當(dāng)下一次前向差分沒有離散像素點(diǎn)時(shí)做后項(xiàng)差分。因此，本文只需研究水平（0°和 180°）、45°（225°） 對(duì)角、垂直（90°和 270°）、135°（315°）對(duì)角4個(gè)方向的濾波器模板系數(shù)。定義Δnkαf（x，y）為圖像f（x，y）在kα方向上的n階差分，其中 α=45°，k=0，1，2，3。

3.1.1 水平方向的濾波器模板系數(shù)推導(dǎo)

當(dāng)k=0，n=4時(shí)，f（x，y）的四階差分表達(dá)式為:

由式（10）可知:差分方程的系數(shù)依次為1、-4、6、-4、1。將這5個(gè)系數(shù)分別作為濾波器系數(shù)值，記Y（-2，0）=1，Y（-1，0）=-4，Y（0，0）=6，Y（1，0）=-4，Y（2，0）=1。

3.1.2 45°對(duì)角方向的濾波器模板系數(shù)推導(dǎo)

由式（11）可知:差分方程的系數(shù)依次為1、-4、6、-4、1。將這5個(gè)系數(shù)分別作為濾波器系數(shù)值，記Y（-2，-2）=1，Y（-1，-1）=-4，Y（0，0）=6，Y（1，1）=-4，Y（2，2）=1。

3.1.3 垂直方向的濾波器模板系數(shù)推導(dǎo)

當(dāng)k=2，n=4時(shí)，即f（x，y）的差分表達(dá)式為:

由式（12）可知:差分方程的系數(shù)依次為1、-4、6、-4、1。將這5個(gè)系數(shù)分別作為濾波器系數(shù)值，記Y（0，-2）=1，Y（0，-1）=-4，Y（0，0）=6，Y（0，1）=-4，Y（0，2）=1。

3.1.4 135°對(duì)角方向的濾波器模板系數(shù)推導(dǎo)

當(dāng)k=3，n=4時(shí)，即f（x，y）的差分表達(dá)式為:

由式（13）可知:差分方程的系數(shù)依次為1、-4、6、-4、1。將這5個(gè)系數(shù)分別作為濾波器系數(shù)值，記Y（-2，2）=1，Y（-1，1）=-4，Y（0，0）=6，Y（1，-1）=-4，Y（2，-2）=1。

陪同親屬?gòu)牧?、楊絮紛飛的城市一路開車到達(dá)腫瘤醫(yī)院，路上甚至得知親人生病后很長(zhǎng)時(shí)間都沉浸在擔(dān)心與焦慮里，偶然抬頭看到流蘇花的那一刻，心里覺得松了一口氣，之后留意到每個(gè)角落里都熱烈生長(zhǎng)的植物，心里也愉快了些，尋味到一種“人間四月芳菲盡，山寺桃花始盛開”的意境。再觀看每一位穿梭在我身邊的人，雖然行色匆匆不曾駐足，卻也是面目如素，沒有預(yù)設(shè)中的“悲戚”。在CT室外看到大家都在討論顯影水多么難喝時(shí)，我覺得自己此前“談癌色變”的緊張都顯得多余，緊張兮兮、一直面有難色的我在人群里才是最不正常的存在。

綜上所述:四階差分方程4個(gè)方向的濾波器模板系數(shù)已經(jīng)分別求出。

將上述4個(gè)方向的模板進(jìn)行線性組合，可得出4個(gè)方向的五階濾波器模板如圖3所示:

圖3 五階濾波器模板

將4個(gè)五階濾波器模板進(jìn)行線性組合，則圖像邊緣增強(qiáng)后的新圖像表達(dá)式為:

4 實(shí)驗(yàn)結(jié)果及分析

為了獲取較真實(shí)的實(shí)驗(yàn)數(shù)據(jù)，增加算法的說服性，本文采用中科院自動(dòng)化研究所和模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室聯(lián)合建立的手寫字體數(shù)據(jù)集CASIA-HWDB1.1進(jìn)行實(shí)驗(yàn)驗(yàn)證。它包括3 755個(gè)一級(jí)手寫漢字以及171個(gè)數(shù)字和符號(hào)，其中手寫漢字的總樣本容量為1 121 749個(gè)。在本文中實(shí)驗(yàn)數(shù)據(jù)集從中選擇了306個(gè)漢字所對(duì)應(yīng)的30 600個(gè)樣本，每個(gè)手寫漢字包括300個(gè)手寫體樣本。本文將每個(gè)漢字的290個(gè)樣本拿來訓(xùn)練，剩下的10個(gè)樣本拿來測(cè)試。訓(xùn)練樣本圖片的大小為69*69。部分手寫漢字的訓(xùn)練樣本如圖4所示。

圖4 訓(xùn)練樣本

4.1 迭代次數(shù)與訓(xùn)練樣本正確率的關(guān)系

表1 迭代次數(shù)與訓(xùn)練樣本正確率的關(guān)系

如表1所示，隨著訓(xùn)練樣本的迭代次數(shù)增多，訓(xùn)練樣本的正確率也在提升。但是，當(dāng)?shù)螖?shù)達(dá)到一定的數(shù)目時(shí)，訓(xùn)練樣本的正確率達(dá)到100%，繼續(xù)訓(xùn)練，測(cè)試樣本的錯(cuò)誤率在下降，并且趨近平穩(wěn)，基本上沒有過訓(xùn)練的情況。這說明ReLu激活函數(shù)很好地補(bǔ)救了訓(xùn)練數(shù)據(jù)出現(xiàn)過擬合的現(xiàn)象，同時(shí)也體現(xiàn)了改進(jìn)后的CNN網(wǎng)絡(luò)良好的性能。

4.2 增強(qiáng)處理與誤識(shí)別率的關(guān)系

為了分析經(jīng)過圖像增強(qiáng)處理后，手寫漢字誤識(shí)別率的大小和本文算法的優(yōu)越性，將本文算法與目前幾種常用的識(shí)別方法進(jìn)行對(duì)比，對(duì)比數(shù)據(jù)如表2所示:

從表2中可以看出，早期的識(shí)別方法誤識(shí)別率較大，高達(dá)15%；而CNN識(shí)別方法效果較好，誤識(shí)別率為0.98%。通過CNN算法與本文增強(qiáng)CNN算法對(duì)比，可以看出經(jīng)過高階差分增強(qiáng)處理的CNN算法誤識(shí)別率更低，僅為0.5%。相比較而言，本文算法比未增強(qiáng)處理的CNN算法識(shí)別率提高了0.48%。進(jìn)一步表明本文算法在手寫漢字識(shí)別方面占據(jù)一定的優(yōu)勢(shì)。

4.3 手寫漢字識(shí)別效果測(cè)試

實(shí)驗(yàn)識(shí)別所用卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)的設(shè)定:

1）輸入圖像為69*69大小，圖像增強(qiáng)模板用的是五階濾波器模板如圖3所示。

2）卷積層為6個(gè)20*20的模板，池化層采用2*2的模板。

識(shí)別效果如圖5所示:

從測(cè)試的漢字來看，本文算法的識(shí)別度比較高，效果比較好。

5 結(jié)論

本文將輸入圖像用高階差分法進(jìn)行圖像增強(qiáng)處理，然后在原始的LeNet-5結(jié)構(gòu)的基礎(chǔ)上，將前兩層的激活函數(shù)改為ReLu函數(shù)，并且通過增加輸出神經(jīng)元的個(gè)數(shù)，來增加字體的識(shí)別率。經(jīng)過數(shù)據(jù)分析，ReLu激活函數(shù)很好地補(bǔ)救了訓(xùn)練數(shù)據(jù)出現(xiàn)過擬合的現(xiàn)象；增強(qiáng)處理比未增強(qiáng)處理的CNN算法識(shí)別率提高了0.48%。實(shí)驗(yàn)證明，手寫漢字隨著訓(xùn)練樣本數(shù)據(jù)的增大，識(shí)別率也在逐漸增加，高達(dá)99.5%?？梢?，本文算法在手寫漢字識(shí)別方面有一定的優(yōu)勢(shì)。但是，如何能夠在軍事領(lǐng)域應(yīng)用識(shí)別，準(zhǔn)確識(shí)別出被遮擋或者未寫完的漢字將是下一步研究的課題和方向。