大數(shù)據(jù)下的基于深度神經(jīng)網(wǎng)的相似漢字識別

楊釗，陶大鵬，張樹業(yè)，金連文

（華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州 510641）

1 引言

手寫漢字識別技術(shù)已取得了較大的進(jìn)步，然而無約束的手寫漢字識別仍然是漢字識別領(lǐng)域有待解決的問題之一[1]。其中影響識別率的一個(gè)重要因素是手寫漢字中存在大量的相似字，如“夫”，“失”和“天”以及“看”，“著”和“春”等，書寫隨意性引起的不規(guī)則變形更增加了識別的困難。因此，研究相似漢字識別，是提升無約束手寫漢字識別率的關(guān)鍵，該問題的研究最近幾年引起了廣泛關(guān)注，例如有學(xué)者在梯度特征提取的基礎(chǔ)上采用兩級手寫漢字識別架構(gòu)來改善系統(tǒng)識別性能[2~4]。第一級采用簡單快速的分類器進(jìn)行粗分類，分類結(jié)果需要以很高的概率測試樣本的正確類別，即獲得相似字表；第二級分類器采用一個(gè)速度較慢但性能更好的分類器進(jìn)行精細(xì)分類，即從候選相似字集中挑出正確的標(biāo)注。Leung針對“相似字對”增加額外的關(guān)鍵區(qū)域特征來改善二級分類性能[2]，Gao提出利用基于復(fù)合距離的線性判別分析(LDA, linear discriminant analysis)增強(qiáng)相似字之間的判別信息[3]，Tao首次將流形學(xué)習(xí)算法引入相似字特征選擇，極大地改善了小樣本訓(xùn)練情況下相似字識別率[4]。然而上述方法都是在經(jīng)典的梯度特征提取基礎(chǔ)上進(jìn)行的，且傳統(tǒng)的梯度特征提取方法容易丟失相似字之間細(xì)微的鑒別信息，這樣直接制約著后續(xù)特征選擇方法以及分類器的性能。

深度神經(jīng)網(wǎng)(DNN, deep neural network)[5,6]的巨大成功，提供了避免人工設(shè)計(jì)特征缺陷的方法。深度神經(jīng)網(wǎng)是一種含有多隱含層且具有特定結(jié)構(gòu)和訓(xùn)練方法的神經(jīng)網(wǎng)絡(luò)，受大腦對信息層次處理方式的啟發(fā)，從低層向上逐層學(xué)習(xí)更高層次的語義特征，近兩年引起了機(jī)器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注[7]。常見的深度神經(jīng)網(wǎng)包括由多層受限玻爾茲曼機(jī)組成的深度信念網(wǎng)(DBN, deep belief network)[8]，以及具有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)(CNN, convolutional neural network)[9]。相對于深度信念網(wǎng)，卷積神經(jīng)網(wǎng)更適合于二維視覺圖像，它直接從原始的像素出發(fā)，分布式地提取具有平移和扭曲不變性的特征并實(shí)現(xiàn)分類[10]。

卷積神經(jīng)網(wǎng)是由美國學(xué)者 LeCun提出的一種層與層之間局部連接的深度神經(jīng)網(wǎng)絡(luò)[9]，在許多領(lǐng)域已取得了成功的應(yīng)用，如手寫數(shù)字、英文字符的識別等。LeCun提出一種 5層的卷積神經(jīng)網(wǎng)結(jié)構(gòu)(LeNet-5)，相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，極大地改進(jìn)了手寫數(shù)字的識別率[11]。在 LeNet-5的基礎(chǔ)上，Deng[12]、Yuan[13]等人進(jìn)行輸出錯(cuò)誤糾正編碼改進(jìn)(outputs with error-correcting codes)分別用于光學(xué)字符和大小寫英文字母識別。除此之外，研究人員還成功地將卷積神經(jīng)網(wǎng)用于自然場景中的數(shù)字[14,15]和字符識別[16,17]，并指出卷積神經(jīng)網(wǎng)能夠?qū)W習(xí)出優(yōu)于人工設(shè)計(jì)的特征。

相比之下，深度卷積神經(jīng)網(wǎng)在手寫漢字上的研究報(bào)道非常少，這是因?yàn)榫矸e神經(jīng)網(wǎng)是一種深層且復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，需要大量的訓(xùn)練樣本[18,19]。與英文、數(shù)字這一類的問題相比，漢字屬于大類別，難以針對每一個(gè)字收集到大量樣本。然而隨著互聯(lián)網(wǎng)的快速發(fā)展，云計(jì)算技術(shù)普及[20]，用戶已經(jīng)能夠享受到越來越多基于云計(jì)算的服務(wù)。本文利用作者所在實(shí)驗(yàn)室設(shè)計(jì)的手寫識別云服務(wù)平臺，在用戶授權(quán)許可的情況下，通過基于云端服務(wù)平臺自動獲取海量手寫數(shù)據(jù)，使得設(shè)計(jì)基于大數(shù)據(jù)的手寫識別研究成為可能[21]。

基于上述分析，本文提出了使用具有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)用于相似手寫漢字特征學(xué)習(xí)和識別，如圖1所示，相對于傳統(tǒng)的方法，它能夠有效避免人工設(shè)計(jì)梯度特征的缺陷。同時(shí)采用云平臺獲取的大數(shù)據(jù)集更好地訓(xùn)練深度模型，整個(gè)系統(tǒng)可以通過以下步驟實(shí)現(xiàn)：1）利用第一級分類器生成相似字表；2）利用大量手寫樣本構(gòu)成相似字集來訓(xùn)練卷積神經(jīng)網(wǎng)；3）在云端采用卷積神經(jīng)網(wǎng)進(jìn)行精細(xì)分類并返回識別結(jié)果到客戶端。

圖1 基于特征提取和基于深度神經(jīng)網(wǎng)的方法用于相似字識別

2 相似字集生成

2.1 相似字表生成

相似字表生成方法包括基于距離的相似字和基于頻度統(tǒng)計(jì)的相似字[22]?；诰嚯x的相似方法認(rèn)為，相似漢字的特征向量模板在特征空間中“距離”也很近。因此選定一個(gè)目標(biāo)漢字集合后，將特征空間中“距離”最近的K個(gè)漢字作為其相似字。該方法生成相似字簡單，但它僅考慮每一類漢字的平均情況，并不能反映各類字體的變形情況。某些漢字類別的樣本離散度很高，此時(shí)基于距離的相似字方法有不足之處。所以本文采用基于頻度統(tǒng)計(jì)的相似字生成方法來進(jìn)行相似字的生成[22]，其基本原理是將目標(biāo)字的一些樣本送入分類器，通過分類器的輸出得分排序生成K個(gè)候選字。通過統(tǒng)計(jì)訓(xùn)練子集中所有漢字的識別結(jié)果，計(jì)算識別成目標(biāo)漢字的頻率，頻率高的漢字類別就是該目標(biāo)字的相似字。

2.2 相似字樣本生成

云計(jì)算為手寫識別提供了新的應(yīng)用框架，通過云平臺可以建立基于云計(jì)算的云手寫識別系統(tǒng)[21]。手寫漢字識別作為一個(gè)服務(wù)（HCRaaS, handwritten character recognition as a service）駐留云端，客戶端的手寫筆跡通過無線網(wǎng)絡(luò)發(fā)送到云服務(wù)器，云服務(wù)器進(jìn)行識別并將結(jié)果返回給客戶端。借助于已有的云手寫平臺，可以獲得大量的手寫數(shù)據(jù)。利用文獻(xiàn)[21]所述的手寫識別云服務(wù)器收集了10組相似字?jǐn)?shù)據(jù)，每組10個(gè)漢字類別，每個(gè)字10 000個(gè)樣本，從中分別選擇2組(G1, G2)書寫較工整和2組(G3,G4)書寫相對隨意的手寫漢字樣本做對比實(shí)驗(yàn)，部分手寫樣本如表1所示。

表1 相似字集以及相應(yīng)的手寫樣本

3 卷積神經(jīng)網(wǎng)

卷積神經(jīng)網(wǎng)是一種主要用于二維數(shù)據(jù)（如圖像視頻）的深度神經(jīng)網(wǎng)絡(luò)模型，可以直接對如原始的圖像等處理對象進(jìn)行特征學(xué)習(xí)和分類，需要較少的預(yù)處理工作，且有效地避免了人工特征提取方法的缺陷。本文采用的卷積神經(jīng)網(wǎng)通過共享權(quán)值和網(wǎng)絡(luò)結(jié)構(gòu)重組將特征學(xué)習(xí)融入到多層神經(jīng)網(wǎng)絡(luò)中，同時(shí)使得整個(gè)網(wǎng)絡(luò)可以通過反向傳播算法得到很好的訓(xùn)練并用于分類。卷積神經(jīng)網(wǎng)由卷積層和采樣層交替組成，每一層都由多個(gè)特征圖(feature map)組成，如圖 2所示。卷積層的每一個(gè)像素(神經(jīng)元)與上一層的一個(gè)局部區(qū)域相連，可以看做一個(gè)局部特征檢測器，每個(gè)神經(jīng)元可以提取初級的視覺特征如方向線段、角點(diǎn)等。同時(shí)這種局部連接使得網(wǎng)絡(luò)具有更少的參數(shù)，有利于訓(xùn)練。卷積層后面通常是一個(gè)采樣層，以降低圖像的分辨率，同時(shí)使得網(wǎng)絡(luò)具有一定的位移、縮放和扭曲不變性。

對于卷積層，前一層的特征圖與多組卷積模板進(jìn)行卷積運(yùn)算然后通過激活函數(shù)得到該層的特征圖，卷積層的計(jì)算形式如下

其中，l代表卷積層所在的層數(shù)，k是卷積核，通常是 5×5的模板，b為偏置，f代表激活函數(shù)，為1/(1+e-x)，Mj表示上一層的一個(gè)輸入特征圖。

圖2 卷積神經(jīng)網(wǎng)結(jié)構(gòu)

采樣層就是對上一卷積層的特征圖做下采樣，得到相同數(shù)目的特征圖，計(jì)算形式如下

其中，down(·)表示下采樣函數(shù)，β表示下采樣系數(shù)，同樣b為偏置，f為激活函數(shù)1/(1+e-x)。

卷積神經(jīng)網(wǎng)采用誤差反向傳播來訓(xùn)練，訓(xùn)練的參數(shù)包括卷積層的卷積核模板k和偏置b，以及采樣層的采樣系數(shù)β(本文中取常量0.25)和偏置b。卷積神經(jīng)網(wǎng)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練一樣，采用隨機(jī)梯度下降。設(shè)誤差函數(shù)為：E(k,β,b)，則網(wǎng)絡(luò)訓(xùn)練的實(shí)質(zhì)就是梯度?E/?k、?E/?β、?E/?b的計(jì)算，具體推導(dǎo)過程見文獻(xiàn)[23]。

本文采用的卷積神經(jīng)網(wǎng)如圖2所示，輸入層是28×28手寫漢字圖像。C1層是第一個(gè)卷積層，該層有8個(gè)24×24的特征圖，每個(gè)特征圖中的一個(gè)像素(節(jié)點(diǎn)或神經(jīng)元)與輸入層相對應(yīng)的一個(gè) 5×5的區(qū)域相互連接，共(5×5+1)×8=208個(gè)訓(xùn)練參數(shù)。S1層是含有8個(gè)大小為12×12特征圖的下采樣層，特征圖中的每一個(gè)節(jié)點(diǎn)與C1層中相應(yīng)的特征圖以2×2的區(qū)域相互連接，共 1×8=8個(gè)偏置參數(shù)。C2是第 2個(gè)卷積層，具有8個(gè)特征圖且每個(gè)特征圖的大小為8×8，共(5×5+1)×8×8=1 664 個(gè)參數(shù)。S1 與 C2 層的連接在特征提取中取了重要的作用。S2是第2個(gè)采樣層，具有8個(gè)特征圖且每個(gè)特征圖的大小為4×4，共1×8=8個(gè)偏置參數(shù)。最后一層是含有10個(gè)節(jié)點(diǎn)的輸出層，對應(yīng)著輸出類別，與S2層進(jìn)行全連接，共 4×4×8×10=1 280個(gè)參數(shù)。整個(gè) CNN 模型含有208+8+1 664+8+1 280=3 168個(gè)參數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

對于從云平臺上整理得到的相似手寫漢字?jǐn)?shù)據(jù)，考慮到漢字書寫的隨意程度直接影響著最終的識別率，本文分別選擇2組書寫較工整和2組書寫相對隨意無約束的手寫漢字樣本進(jìn)行對比實(shí)驗(yàn)。每一組相似字包含10個(gè)漢字類別，每個(gè)漢字有10 000個(gè)樣本。表1列出了該4組相似字以及相應(yīng)的手寫樣本，其中G1、G2書寫相對工整，G3、G4書寫相對隨意。

為了驗(yàn)證卷積神經(jīng)網(wǎng)在相似字識別中的性能，將卷積神經(jīng)網(wǎng)與基于特征提取的支持向量機(jī)（SVM,support vector machine）和最近鄰分類器（1-NN,1-nearest neighbors）進(jìn)行對比。對于SVM和1-NN，首先將所有樣本轉(zhuǎn)化為64×64的脫機(jī)圖像，然后提取梯度特征[24]，得到每個(gè)樣本為512維的特征向量。而對于CNN，將手寫數(shù)字圖像直接壓縮到28×28，這樣減少CNN的參數(shù)，從而提高訓(xùn)練速度。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用如圖2所示的卷積神經(jīng)網(wǎng)結(jié)構(gòu)，采用Liblinear[25]用于SVM分類實(shí)驗(yàn)，1-NN采用最小歐氏距離進(jìn)行分類。為了分析 CNN的性能并考慮到訓(xùn)練樣本對分類結(jié)果的影響，實(shí)驗(yàn)中分別使用了不同大小的訓(xùn)練樣本做對比實(shí)驗(yàn)（“Tr-Ts”分別表示每個(gè)字的訓(xùn)練樣本和測試樣本個(gè)數(shù)）。表 2中列出了幾種方法的錯(cuò)誤識別率，其中最后一列“錯(cuò)誤率減少”指標(biāo)是指本文所提出的CNN方法相對1-NN和SVM的錯(cuò)誤率下降的百分比。

相似字識別作為手寫漢字識別系統(tǒng)的一個(gè)重要部分，其模型運(yùn)行速度以及存儲量大小值得考慮。實(shí)驗(yàn)中以“Tr-Ts”分別為1 000~200和3 000~200的情形下所有測試樣本(10類漢字，所以測試樣本大小均為2 000)的分類時(shí)間來評估算法的運(yùn)行速度(實(shí)驗(yàn)機(jī)器，Intel i7-2600 CPU, 3.4 GHz, 16.0 G RAM)，以模型的參數(shù)個(gè)數(shù)來計(jì)算模型的存儲量。統(tǒng)計(jì)結(jié)果如表3所示。

4.3 實(shí)驗(yàn)結(jié)果分析及討論

表2 幾種方法錯(cuò)誤率對比實(shí)驗(yàn)結(jié)果

對比表2中的數(shù)據(jù)，當(dāng)訓(xùn)練樣本增加時(shí)，1-NN、SVM、CNN的錯(cuò)誤率都整體下降，且本文采用的CNN模型具有更低的錯(cuò)誤率。特別是在書寫較為隨意的情況下，隨著訓(xùn)練樣本的增加，CNN錯(cuò)誤率下降更為明顯。這表明大數(shù)據(jù)對深度卷積神經(jīng)網(wǎng)絡(luò)的性能提升是十分關(guān)鍵的，因?yàn)殡S著樣本的增加，CNN能夠更好地進(jìn)行分布式的深度學(xué)習(xí)，自動學(xué)習(xí)特征并進(jìn)行分類。SVM和1-NN性能較差的原因是在特征提取過程中丟失了細(xì)微的鑒別信息，相比而言，1-NN的識別性能最差，這主要是因?yàn)?-NN分類器是基于歐氏空間距離最小的假設(shè)，然而實(shí)際特征空間并不完全與歐氏空間一致。

從表3可以看出，在運(yùn)算效率方面SVM最優(yōu)，CNN其次，這是因?yàn)镃NN是一種深層的神經(jīng)網(wǎng)絡(luò)，而SVM是一種兩層的淺層網(wǎng)絡(luò)結(jié)構(gòu)，且SVM所用的輸入特征（512維）比 CNN所用的輸入特征（28×28=784維）維數(shù)要明顯低。相比之下，1-NN最慢，且1-NN會隨著訓(xùn)練樣本的增加變得更慢，其中SVM和CNN都在合理的時(shí)間范圍內(nèi)；在存儲量上，線性SVM的參數(shù)主要由特征維數(shù)和類別數(shù)決定(512×10=5 120)，相比之下CNN存儲量更低，有明顯的優(yōu)勢。

表3 幾種方法運(yùn)算效率(每2 000個(gè)漢字)與存儲量對比

為了進(jìn)一步分析CNN的性能，圖3給出G3組相似字在每個(gè)字訓(xùn)練樣本為1 000、測試樣本為200、和訓(xùn)練樣本為3 000、測試樣本為1 000時(shí)的訓(xùn)練誤差、訓(xùn)練集錯(cuò)誤率、測試集錯(cuò)誤率曲線?？梢钥闯觯珻NN在相似字識別上具有較好的性能，隨著迭代次數(shù)的增加，訓(xùn)練誤差減少的同時(shí)，訓(xùn)練集和測試集的錯(cuò)誤率均平穩(wěn)下降，沒有出現(xiàn)過擬合現(xiàn)象。

5 結(jié)束語

圖3 卷積神經(jīng)網(wǎng)的訓(xùn)練誤差、訓(xùn)練集錯(cuò)誤率和測試集錯(cuò)誤率曲線

本文提出利用深度卷積神經(jīng)網(wǎng)自動學(xué)習(xí)相似手寫漢字特征并進(jìn)行識別，同時(shí)采用相似漢字的大數(shù)據(jù)集來訓(xùn)練模型參數(shù)以進(jìn)一步提高識別率。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)方法而言：1) 深度卷積神經(jīng)網(wǎng)能夠自動學(xué)習(xí)有效特征并進(jìn)行識別，避免了人工設(shè)計(jì)特征的缺陷；2) 隨著訓(xùn)練數(shù)據(jù)的增大，深度卷積神經(jīng)網(wǎng)在降低錯(cuò)誤識別率方面表現(xiàn)得更為顯著，大數(shù)據(jù)訓(xùn)練對提升深度神經(jīng)網(wǎng)絡(luò)的識別率作用明顯；3) 深度神經(jīng)網(wǎng)應(yīng)對書寫隨意性的能力強(qiáng)，在漢字書寫較隨意的情況下，有較好的識別結(jié)果；4) 與SVM相比，深度神經(jīng)網(wǎng)在保證合理的運(yùn)算效率的同時(shí)，存儲量指標(biāo)有較大優(yōu)勢。

[1] LIU C L, YIN F, WANG Q F,et al. ICDAR 2011 Chinese handwriting recognition competition[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Beijing, China,2011. 1464-1469.

[2] LEUNG K C, LEUNG C H. Recognition of handwritten Chinese characters by critical region analysis[J]. Pattern Recognition, 2010,43(3): 949-961.

[3] GAO T F, LIU C L. High accuracy handwritten Chinese character recognition using LDA-based compound distances[J]. Pattern Recognition, 2008, 41(11): 3442-3451.

[4] TAO D P, LIANG L Y, JIN L W,et al. Similar handwritten Chinese character recognition by kernel discriminative locality alignment[J].Pattern Recognition Letters, 2014, 35(1): 186-194.

[5] BENGIO Y. Learning deep architectures for AI[J]. Foundations and trends in Machine Learning, 2009, 2(1):1-127.

[6] BENGIO Y, COURVILLE A. Deep Learning of Representations[M].Handbook on Neural Information Processing. Springer Berlin Heidelberg, 2013.

[7] DENG L, HINTON G, KINGSBURY B. New types of deep neural network learning for speech recognition and related applications: an overview[A]. Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing[C]. Vancouver, Canada,2013.

[8] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.

[9] LECUN Y, BOSERB, DENKER J S,et al. Handwritten digit recognition with a back-propagation network[A]. Advances in neural information processing systems[C]. Denver, United States, 1990. 396-404.

[10] LECUN Y, KAVUKCUOGLU K, FARABET C. Convolutional networks and applications in vision[A]. Proceedings of IEEE International Symposium onCircuits and Systems[C]. Paris, France, 2010.253-256.

[11] LECUN Y, BOTTOU L, BENGIO Y,et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998,86(11): 2278-2324.

[12] DENG H, STATHOPOULOS G, SUEN C Y. Error-correcting output coding for the convolutional neural network for optical character recognition[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C].Barcelona, Spain, 2009.581-585.

[13] YUAN A, BAI G, JIAO L,et al. Offline handwritten English character recognition based on convolutional neural network[A]. Proceedings of IAPR International Workshop on Document Analysis Systems[C].Gold Cost, QLD, 2012. 125-129.

[14] NETZER Y, WANG T, COATES A,et al. Reading digits in natural images with unsupervised feature learning[A]. NIPS Workshop on Deep Learning and Unsupervised Feature Learning[C]. Granada, Spain,2011.

[15] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification[A].Proceedings of IEEE International Conference on Pattern Recognition[C].Tsukuba,Japan, 2012. 3288-3291.

[16] COATES A, CARPENTER B, CASE C,et al. Text detection and character recognition in scene images with unsupervised feature learning[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Beijing, China, 2011. 440-445.

[17] WANG T, WU D J, COATES A,et al. End-to-end text recognition with convolutional neural networks[A]. Proceedings of IEEE International Conference on Pattern Recognition[C].Tsukuba, Japan, 2012.3304-3308.

[18] SIMARD P, STEINKRAUS D, PLATT J C. Best practices for convolutional neural networks applied to visual document analysis[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Edinburgh, UK, 2003.958-963.

[19] CIRESAN D C, MEIER U, GAMBARDELLA L M,et al. Convolutional neural network committees for handwritten character classification[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Beijing, China, 2011. 1135-1139.

[20] VAQUERO L M, CACERES J, MORAN D. The challenge of service level scalability for the cloud[J]. International Journal of Cloud Applications and Computing (IJCAC), 2011, 1(1):34-44.

[21] GAO Y, JIN L W, HE C,et al. Handwriting character recognition as a service: a new handwriting recognition system based on cloud computing[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Beijing, China, 2011. 885-889.

[22] LIU Z B, JIN L W. A static candidates generation technique and its application in two-stage LDA Chinese character recognition[A]. Proceedings of Chinese Control Conference[C]. Hunan, China, 2007.571-575.

[23] BOUVRIE J. Notes on Convolution Neural networks[R]. MIT CBCL,2006.

[24] BAI Z L, HUO Q. A study on the use of 8-directional features for online handwritten Chinese character recognition[A]. Proceedings of IEEE International Conference on Document Analysis and Recognition[C]. Seoul, Korea, 2005. 262-266.

[25] FAN R E, CHANG K W, HSIEH C J,et al. LIBLINEAR: a library for large linear classification[J]. The Journal of Machine Learning Research, 2008, 9: 1871-1874.