基于特征圖疊加的脫機手寫體漢字識別

毛曉波， 程志遠， 周曉東

(1.鄭州大學 電氣工程學院 河南 鄭州 450001； 2.鄭州大學 產(chǎn)業(yè)技術研究院 河南 鄭州 450001)

0 引言

手寫漢字識別作為模式識別的重要研究領域之一，在文檔數(shù)字化、郵件分揀和支票處理等方面有著廣闊的應用前景[1-2].漢字的種類繁多，并且由于書寫者不同的書寫習慣，手寫體漢字相較于印刷體漢字有很大的隨意性，這些都給手寫漢字識別帶來了較大的困難[3-4].傳統(tǒng)的脫機手寫體漢字識別方法基本上包含圖像預處理、特征提取和分類器設計三個過程.整個過程主要依賴人工提取特征和設計分類器，識別效果也往往受制于此，無法滿足實際應用中的需求，且進一步的發(fā)展遇到了較大的瓶頸[5-7].

近年來，深度學習在很多傳統(tǒng)的模式識別任務上都取得了優(yōu)異的成績，這也為手寫體漢字識別提供了新的研究方向.瑞士IDSIA團隊首次將卷積神經(jīng)網(wǎng)絡運用到手寫體漢字識別中，在ICDAR-2011脫機手寫體漢字識別競賽中獲得冠軍，識別準確率達到92.18%[8].而在ICDAR-2013聯(lián)機和脫機手寫體漢字識別競賽中，冠軍隊伍均采用了基于卷積神經(jīng)網(wǎng)絡模型的方法，其中脫機手寫體漢字識別準確率達到94.77%[9].文獻 [10]提出了HCCR-Ensemble-GoogLeNet模型，通過手工提取的特征與卷積神經(jīng)網(wǎng)絡的結合將識別準確率提高到96.74%.文獻 [11]證明漢字的細微結構特征對漢字的準確識別有很大的作用.文獻 [12]指出以往用于漢字識別的卷積神經(jīng)網(wǎng)絡的損失函數(shù)只對類間差別進行優(yōu)化而忽略了類內差別，因此，為網(wǎng)絡設計了新的損失函數(shù)對兩方面同時進行了優(yōu)化.然而,以上所提到的深度學習模型均采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結構，以原始圖像作為圖像輸入，特征信息依次“流經(jīng)”若干卷積層和池化層，每一層都將信息進行加工后送入下一層，最后用于分類.在這個過程中，要想提升網(wǎng)絡的表現(xiàn)就要加深網(wǎng)絡層數(shù)，而隨著網(wǎng)絡層數(shù)的增加又極易發(fā)生梯度彌散和梯度爆炸問題[13].更重要的是，在使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結構處理漢字識別問題時，需要保留的漢字細微特征信息在網(wǎng)絡傳遞過程中也可能被改變甚至丟棄.

ResNet[14]被證明可以很好地克服深層次網(wǎng)絡訓練中出現(xiàn)的梯度彌散問題.簡單來說，ResNet是在線性網(wǎng)絡連接的基礎上引入了一種捷徑連接方式，使得網(wǎng)絡底層不僅可以與中間層相連接，還可以通過捷徑繞過一些層次直接連接到更高層，然后將捷徑的輸出與主路徑的輸出以求和的方式進行融合.加入了這樣的一條捷徑后，誤差由高層向底層的反向傳播路徑被縮短，上層梯度可以直接跳過中間層傳到下層，使網(wǎng)絡更易優(yōu)化.然而，如果直接應用ResNet處理漢字識別問題，其通過求和來融合捷徑與主路徑輸出的方式依然具有覆蓋漢字細微特征信息的風險.

通過綜合考慮ResNet中捷徑連接方式的優(yōu)點和漢字識別任務的特殊性，本文提出一種改進的卷積神經(jīng)網(wǎng)絡結構，在提取“高水平”特征信息的階段，可以將前一卷積層提取到的特征圖保留下來，與當前卷積層提取到的特征圖疊加之后共同作為輸入進入下一層，由最后的分類層決定是采用保留的特征信息還是經(jīng)過加工之后的信息.該卷積神經(jīng)網(wǎng)絡結構緩解了梯度消失的問題，有效地保留了漢字的細微結構特征.

1 采用特征圖疊加的卷積神經(jīng)網(wǎng)絡結構

設計的卷積神經(jīng)網(wǎng)絡結構如圖1所示.輸入64×64的灰度圖像，輸出長度為3 755的向量.模型總共有8層卷積層、4層最大值池化層、1層全連接層和1層輸出層.

圖1 卷積神經(jīng)網(wǎng)絡結構Fig.1 The architecture of convolutional neural network

1.1 特征圖疊加塊

圖1中出現(xiàn)的特征圖疊加塊的工作原理如圖2所示.假設現(xiàn)有卷積層1和卷積層2，輸入經(jīng)過卷積層1后產(chǎn)生特征圖1，特征圖1再經(jīng)過卷積層2 的卷積操作之后產(chǎn)生特征圖2.接下來先不直接對特征圖2進行池化操作，而是先將卷積層2產(chǎn)生的特征圖2與卷積層1產(chǎn)生的特征圖1進行疊加，之后再對所有的特征圖進行池化操作.ResNet是對特征圖1和特征圖2進行求和操作，特征圖1和特征圖2將會相互覆蓋，特征圖數(shù)目保持不變.與ResNet不同，本文方法將會把特征圖1和特征圖2中所有的特征圖都保留下來，此時特征圖的數(shù)目是特征圖1的數(shù)目和特征圖2的數(shù)目之和.

圖2 特征圖疊加塊的工作原理Fig.2 The concatenated block principle of feature maps

1.2 網(wǎng)絡連接

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡中，第l層的輸出是第(l+ 1)層輸入，轉換關系為

Xl+1=Fl+1(Xl)，

(1)

式中：Fl(·)表示特征圖在l層所進行的變換；Xl是第l層的輸出.

ResNet引入捷徑連接方式，網(wǎng)絡學習的目標是輸入與輸出之間的殘差：

Xl+1=Fl+1(Xl)+Xl.

(2)

在所提出的網(wǎng)絡結構中，特征提取的初始階段采用式(1)方式提取“基礎”圖像特征，而到兩個特征圖疊加塊之后的池化層時，層間轉換關系為

Xl+1=Fl+1(Xl,Xl-1)，

(3)

式中：Fl+1(Xl,Xl-1)表示將當前層和前一層提取到的特征圖排列在一起共同作為輸入進入下一層.與ResNet不同，這不是將兩層提取到的特征圖進行求和，而是將它們疊加組合成新的一組特征圖.

如此設計網(wǎng)絡結構是基于漢字識別問題的特殊性.傳統(tǒng)的卷積神經(jīng)網(wǎng)絡設計主要應用于普通的物體識別任務，如對車、飛機、花朵等的識別.在這些識別任務中，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡結構在高層提取到的特征已經(jīng)高度輪廓化[15],能否充分提取色彩與物體的整體輪廓特征，對分類準確率有很大的影響.漢字識別與之不同：首先，漢字識別不基于色彩；其次，相較于整體輪廓，漢字對細微結構的變化也十分敏感，如“大”和“犬”二字，恰恰是細微筆畫的不同決定了二者的不同.因此，細微筆畫信息與整體輪廓信息對于漢字分類來說都是必要的.

1.3 特征圖尺寸

池化操作是卷積神經(jīng)網(wǎng)絡中不可缺少的重要步驟，它降低了特征維度從而使得模型可以更有效地訓練.然而，池化操作本質上是下采樣操作，它將帶來每張?zhí)卣鲌D尺寸上的變化，不同尺寸的特征圖無法進行疊加進入下一層.為了解決這一問題，將特征圖的疊加操作限制在兩次池化之間，這就保證了將要排列的特征圖具有相同的尺寸.表1為模型的詳細參數(shù)設置，展示了特征圖尺寸隨著卷積與池化操作的變化情況.

表1 模型的詳細參數(shù)設置

1.4 網(wǎng)絡訓練

模型采用誤差反向傳播算法來訓練網(wǎng)絡，由于采用softmax層分類，所以定義網(wǎng)絡的誤差函數(shù)為交叉熵誤差函數(shù)，表示為

(4)

激活函數(shù)使用修正線性單元(ReLu)[16]，函數(shù)表達式為

f(x)=max(x,0).

(5)

使用Adam優(yōu)化算法[17]迭代更新各層的權值直至收斂，沒有使用微調而直接在訓練集上進行模型訓練.整個數(shù)據(jù)集迭代24 000次，學習率固定為0.1，訓練過程中對訓練集進行了數(shù)據(jù)增廣.

需要注意的是，在進行權值更新的過程中，根據(jù)鏈式求導法則，在誤差從輸出層反向“流”到輸入層的過程中，與其他層相比，疊加塊的第一個卷積層的誤差項有兩個來源：一是誤差經(jīng)過前一卷積層 “流”向疊加塊的第一個卷積層；二是誤差直接從池化層“流”向疊加塊的第一個卷積層.當網(wǎng)絡隨著層數(shù)增加出現(xiàn)梯度彌散消失現(xiàn)象而變得難以訓練時，后者可以使誤差“繞過”長路徑而直接使用短路徑訓練網(wǎng)絡，緩解梯度消失現(xiàn)象，使網(wǎng)絡更易優(yōu)化.

2 實驗部分

2.1 數(shù)據(jù)集

實驗采用中國科學院自動化研究所公開提供的HWBDB1.0和HWBDB1.1數(shù)據(jù)集[18].HWBDB1.0數(shù)據(jù)集包含3 866類漢字，420名書寫者，樣本數(shù)為15 556 675；HWBDB1.1數(shù)據(jù)集包含3 755類漢字，300名書寫者，樣本數(shù)為1 121 749.本文采用HWBDB1.1作為訓練集，從訓練集隨機抽取20%的數(shù)據(jù)作為驗證集.測試集采用ICDAR-2013脫機手寫體漢字識別競賽測試集[9]，包含3 755類漢字，60名書寫者，樣本數(shù)為224 419.

2.2 結果與討論

訓練模型硬件環(huán)境為CPU I7 7700@3.6 GHz，內存16G，圖像核心為GTX1070 8G顯存.系統(tǒng)環(huán)境為Ubuntu 16.04LTS，使用CUDA8.0運行庫及cudnn6.0加速方案.圖3展示了訓練集和驗證集的識別準確率隨著迭代次數(shù)的變化.可以發(fā)現(xiàn)，本文的網(wǎng)絡收斂速度很快，迭代5 000次左右驗證集就可以達到很高的準確率,并且模型沒有出現(xiàn)過擬合.

圖3 訓練集和驗證集的識別準確率Fig.3 The recognition accuracy on train and validation dataset

表2為不同方法在ICDAR-2013脫機手寫體漢字識別競賽測試集上的結果.可以發(fā)現(xiàn)，本文方法相較于傳統(tǒng)方法在識別準確率上有了很大的提高，表明深度學習方法處理圖像任務時具有傳統(tǒng)方法難以比擬的優(yōu)越性.3次競賽最優(yōu)方法的準確率逐年提升，而本文方法的表現(xiàn)優(yōu)于ICDAR-2013脫機手寫體漢字識別競賽冠軍隊伍所用的方法，說明通過考慮漢字識別問題的特殊性從而改進網(wǎng)絡結構，可以使模型更契合漢字識別問題的處理.雖然本文方法的準確率低于HCCR-Ensemble-GoogLeNet模型，但是本文的模型參數(shù)較低. 另外，本文采用的卷積神經(jīng)網(wǎng)絡僅有14層，屬于輕型的網(wǎng)絡結構.如果使用更深、更寬的網(wǎng)絡結構或者先將模型在大型圖像數(shù)據(jù)庫上進行長時間的訓練，再在訓練集上進行微調，那么識別準確率將會得到再次提升.

表2 不同方法在ICDAR-2013脫機手寫體漢字識別競賽測試集上的結果

3 結語

考慮到脫機手寫體漢字識別問題的特殊性，提出一種改進的深度卷積神經(jīng)網(wǎng)絡結構.新的網(wǎng)絡結構更容易優(yōu)化，且可以將整體輪廓信息和細微筆畫信息一起提供給分類層，使之獲得更為全面的分類特征，更適用于漢字識別問題.在今后的研究工作中，可以考慮將更多的先驗知識加入到模型設計中.

致謝：特別感謝中國科學院自動化研究所模式識別國家重點實驗室授權本研究使用完整的脫機手寫樣本數(shù)據(jù)庫(CASIA-HWBDB).