DBN融合模型對(duì)脫機(jī)手寫漢字識(shí)別

劉露+孫巍巍+丁博

摘 要：針對(duì)脫機(jī)手寫漢字識(shí)別問題，提出一種新的分類器級(jí)聯(lián)識(shí)別模型。新模型將修正的二次判別函數(shù)（modified quadratic discriminant function，MQDF）與深度置信網(wǎng)絡(luò)（deep belief network，DBN）相融合，利用MQDF先進(jìn)行識(shí)別并得出結(jié)果，同時(shí)計(jì)算一個(gè)該識(shí)別結(jié)果的可信度，通過這個(gè)可信度對(duì)識(shí)別結(jié)果進(jìn)行判別，若可信度符合要求，則MQDF的識(shí)別結(jié)果可作為最終結(jié)果直接輸出，否則再與DBN結(jié)合進(jìn)行二次識(shí)別，得到最終的識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明，在ETL9B手寫漢字?jǐn)?shù)據(jù)集上進(jìn)行的脫機(jī)手寫漢字識(shí)別任務(wù)中，使用MQDF與DBN融合模型，可以取得比單獨(dú)使用MQDF和DBN更好的準(zhǔn)確率。

關(guān)鍵詞：脫機(jī)手寫字；二次判別函數(shù)；深度置信網(wǎng)；漢字識(shí)別

DOI：10.15938/j.jhust.2017.06.016

中圖分類號(hào)： TP391.412

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2017）06-0082-05

Abstract：The requirement of the recognition result is also increasing in practical applications. In this paper， a new classifier cascade recognition model is proposed for the problem of offline handwritten Chinese character recognition. New model is the fusion of modified quadratic discriminant function （MQDF） and deep belief network （DBN）. First to recognize and get result using MQDF， and calculate the reliability of the recognition result. If the reliability can meet the requirement， MQDF recognition result can be as the final result directly output. Otherwise using the DBN to make recognition again and getting the final recognition result. Experiments show that the MQDF and DBN fusion model proposed in this paper can achieve better accuracy than the single use of MQDF and DBN in the offline handwritten Chinese character recognition task， which is performed on the ETL9B handwritten Chinese character dataset.

Keywords：offline handwritten character； quadratic discriminant function； deep belief network； Chinese character recognition

0 引 言

文字識(shí)別作為模式識(shí)別中的一個(gè)重要領(lǐng)域，一直受到研究人員的廣為關(guān)注。對(duì)于手寫數(shù)字，手寫英文字符已經(jīng)取得了較好的識(shí)別結(jié)果，但是在手寫漢字的識(shí)別任務(wù)當(dāng)中仍然存在著不小的挑戰(zhàn)。由于漢字在中國(guó)傳統(tǒng)文化發(fā)展中的重要地位，對(duì)于漢字識(shí)別的研究自然具有非常重要的意義和價(jià)值[1]。最早的漢字識(shí)別研究始于IBM的Casey等對(duì)印刷漢字的識(shí)別。到了20世紀(jì)80年代，手寫漢字識(shí)別成為研究的重點(diǎn)并發(fā)展至今，許多方法相繼被提出，并且取得了不錯(cuò)的效果。手寫漢字識(shí)別主要分為聯(lián)機(jī)和脫機(jī)兩種，聯(lián)機(jī)手寫漢字通過手機(jī)或者其它電子設(shè)備人工輸入手寫字，因此可直接得到漢字的筆畫順序、書寫方向以及提筆、落筆等信息，更容易獲得漢字的結(jié)構(gòu)。而脫機(jī)手寫漢字是通過掃描技術(shù)將手寫字掃描入計(jì)算機(jī)，得到掃描圖像，再對(duì)圖像進(jìn)行識(shí)別的過程，其特點(diǎn)是數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜，不同的人具有不同的書寫風(fēng)格，并且在不同的環(huán)境中手寫字會(huì)不同程度的發(fā)生形變，所以脫機(jī)手寫字識(shí)別難度遠(yuǎn)遠(yuǎn)大于聯(lián)機(jī)手寫漢字。

目前，對(duì)于手寫漢字識(shí)別，研究人員提出了許多種方法，并且都取得了不錯(cuò)的識(shí)別效果。文[2]提出了一種代價(jià)敏感的修正二次判別函數(shù)（CMQDF）分類器，主要針對(duì)手寫中文地址進(jìn)行識(shí)別；文[3]提出了級(jí)聯(lián)修正二次判別函數(shù)分類器來進(jìn)行手寫漢字識(shí)別，其是一種基于串行結(jié)構(gòu)的分類器集成算法，在度量的層次上將分類結(jié)果進(jìn)行結(jié)合，但是對(duì)于手寫圖像的扭曲變形等復(fù)雜情況識(shí)別效果不是很理想。文[4]利用MQDF與支持向量機(jī)（support vector machine， SVM）結(jié)合的方式對(duì)相似手寫漢字進(jìn)行識(shí)別，該方法相比之前的方式無需提取額外特征，并利用分類混淆矩陣自動(dòng)得到相似漢字特征集。文[5]引入深度學(xué)習(xí)技術(shù)，將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）融入到手寫漢字識(shí)別中，并與MQDF相結(jié)合，取得了不錯(cuò)的識(shí)別結(jié)果。文[6]提出自適應(yīng)判別局部對(duì)齊方法（adaptive discriminative locality alignment， ADLA），很大程度上改進(jìn)了不同群體間的最優(yōu)參數(shù)選擇問題，進(jìn)而提升了對(duì)相似漢字識(shí)別的準(zhǔn)確率。文[7]在當(dāng)今大數(shù)據(jù)情況下，采用深度神經(jīng)網(wǎng)絡(luò)（DNN）對(duì)相似手寫漢字進(jìn)行識(shí)別，對(duì)大樣本取得了好的識(shí)別效果。本文針對(duì)脫機(jī)手寫漢字識(shí)別問題，提出了一種新的融合模型，該模型將MQDF和DBN相融合，通過定義可信度來協(xié)調(diào)兩個(gè)分類器在識(shí)別任務(wù)中的具體分工情況，從而達(dá)到理想的識(shí)別效果。通過實(shí)驗(yàn)證明，所提出的融合模型在識(shí)別任務(wù)中，取得了比兩種分類器模型單獨(dú)使用時(shí)更好的識(shí)別準(zhǔn)確率。endprint

1 修正的二次判別函數(shù)

MQDF基于統(tǒng)計(jì)方法，通過用常量代替小的特征值，補(bǔ)償了有限樣本的估計(jì)誤差。其次，由于只需要輸入特征向量進(jìn)行計(jì)算，簡(jiǎn)化了復(fù)雜度。由于結(jié)構(gòu)簡(jiǎn)單、便于多類問題的分類、易于實(shí)現(xiàn)以及準(zhǔn)確率高等優(yōu)點(diǎn)，被廣泛應(yīng)用于手寫文字識(shí)別中。但是，在對(duì)于有些稍微復(fù)雜的手寫字圖像時(shí)，識(shí)別能力仍非常有限。

2 深度置信網(wǎng)

深度置信網(wǎng) （deep belief network， DBN）是Hinton等在2006年提出的一個(gè)具有層次特征的概率生成模型[9]，通過訓(xùn)練神經(jīng)元之間的權(quán)重，可以讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)。同時(shí)DBN是一種深層神經(jīng)網(wǎng)絡(luò)，采用自底向上的傳遞，底層的神經(jīng)元接收原始的特征向量，不斷向更高層次抽象，頂層的神經(jīng)網(wǎng)絡(luò)形成易于組合的特征向量。通過增加層次就能夠使特征向量更高的抽象化，而且，每一層的網(wǎng)絡(luò)會(huì)弱化上一層的錯(cuò)誤信息和次要信息，以確保深層網(wǎng)絡(luò)的精度。DBN結(jié)構(gòu)如圖1所示。其是由一系列疊加的受限玻爾茲曼機(jī)（restricted boltzmann machine， RBM）[10]和頂層的反向傳播（back propagation， BP）網(wǎng)絡(luò)[11]構(gòu)成。自提出以來受到了越來越多的關(guān)注，并陸續(xù)應(yīng)用于計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等領(lǐng)域，有著廣闊的發(fā)展和應(yīng)用空間。

DBN的訓(xùn)練包含預(yù)訓(xùn)練和微調(diào)兩個(gè)步驟。首先，預(yù)訓(xùn)練階段利用大量無類標(biāo)信息數(shù)據(jù)，無監(jiān)督地訓(xùn)練每層RBM，將下層 RBM的隱層輸出作為上一層RBM可示層的輸人。微調(diào)階段則采用有監(jiān)督學(xué)習(xí)方式對(duì)頂層的BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將實(shí)際輸出與預(yù)期輸出的誤差逐層反向傳播，目的是調(diào)整網(wǎng)絡(luò)的權(quán)值。DBN這樣做克服了BP網(wǎng)絡(luò)因隨機(jī)初始化權(quán)值而導(dǎo)致的局部最優(yōu)問題。

2.1 受限玻爾茲曼機(jī)介紹

受限玻爾茲曼機(jī)（RBM）由隱層v和可示層h兩種神經(jīng)元節(jié)點(diǎn)構(gòu)成。可示層的作用是輸入數(shù)據(jù)，隱層的作用是特征檢測(cè)。區(qū)別于玻爾茲曼機(jī)，RBM的特點(diǎn)是可示層和隱層之間采用全連接的方式，而在可示層內(nèi)神經(jīng)元之間和隱層內(nèi)各神經(jīng)元之間是無連接的，以二分圖的形式存在，這樣相比玻爾茲曼機(jī)更為高效。

2.2 BP網(wǎng)絡(luò)

BP網(wǎng)絡(luò)主要是對(duì)RBM預(yù)訓(xùn)練階段所得特征向量分類，依據(jù)分類結(jié)果微調(diào)DBN每層參數(shù)。訓(xùn)練BP網(wǎng)絡(luò)包括前向和后向兩個(gè)過程。將特征向量向前傳播，由輸出層得到分類結(jié)果，將該分類結(jié)果與預(yù)期結(jié)果相比較得到誤差值[13]。后向傳播是將所得誤差值逐層回傳，從而調(diào)整DBN參數(shù)。傳播過程中每層需計(jì)算一個(gè)靈敏度δ，然后將δ向下傳遞調(diào)整網(wǎng)絡(luò)權(quán)值。

3 MQDF與DBN融合模型

修正的二次判別函數(shù)MQDF應(yīng)用于脫機(jī)手寫漢字識(shí)別任務(wù)中，通?？梢宰R(shí)別出大部分漢字圖像，但對(duì)一些較復(fù)雜漢字圖像識(shí)別率有所下降。針對(duì)這類漢字圖像，使用深度模型DBN進(jìn)行再次識(shí)別，即為本文提出的MQDFDBN融合模型。

MQDFDBN整體分成訓(xùn)練、識(shí)別和融合三部分，如圖2所示。先將漢字圖像經(jīng)過預(yù)處理，歸一化到統(tǒng)一分辨率，此外還包括去噪、二值化等相關(guān)操作，再利用訓(xùn)練數(shù)據(jù)同時(shí)對(duì)MQDF和DBN同時(shí)訓(xùn)練。在訓(xùn)練階段，MQDF提取梯度特征，DBN按照之前所介紹方法進(jìn)行訓(xùn)練。

4 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文提出方法，選擇ETL9B手寫漢字?jǐn)?shù)據(jù)集進(jìn)行實(shí)驗(yàn)。ETL9B數(shù)據(jù)集由日本電子技術(shù)實(shí)驗(yàn)室建立的，其中包括120萬個(gè)數(shù)字以及日文、中文、拉丁文的印刷體和手寫體樣本，其中漢字類別2965個(gè)，每個(gè)類別包含160或200個(gè)樣本，部分樣本如圖3所示。實(shí)驗(yàn)選用1500個(gè)類別，每個(gè)類別包含200個(gè)樣本，前20個(gè)和后20個(gè)用來測(cè)試，剩余160個(gè)用來訓(xùn)練。DBN選擇Theano深度學(xué)習(xí)工具包實(shí)現(xiàn)。實(shí)驗(yàn)環(huán)境為Intel i5 3.2GHz處理器，8GB內(nèi)存。

在實(shí)驗(yàn)過程中，將漢字圖像線性歸一化到64*64，訓(xùn)練MQDF時(shí)，提取588維的梯度特征。深度置信網(wǎng)設(shè)置為兩層RBM結(jié)構(gòu)，中間隱層點(diǎn)數(shù)350個(gè)，迭代次數(shù)設(shè)置為10。實(shí)驗(yàn)整體分成兩部分。首先通過實(shí)驗(yàn)確定最優(yōu)的閥值T和加權(quán)系數(shù)α；然后把識(shí)別率作為評(píng)價(jià)標(biāo)準(zhǔn)，將DBN的識(shí)別效果與不同截?cái)鄥?shù)k下的MQDF和MQDFDBN的識(shí)別效果進(jìn)行比較。

在ETL9B數(shù)據(jù)集中，應(yīng)用實(shí)驗(yàn)所選的漢字圖像樣本，在不同的閥值T和加權(quán)系數(shù)α情況下對(duì)MQDFDBN模型進(jìn)行實(shí)驗(yàn)，記錄兩個(gè)值不同組合情況下的識(shí)別準(zhǔn)確率信息。設(shè)置T值分為0.08，0.10，0.12，0.15，0.20，0.30，1.00，然后在α值由0.1到0.9時(shí)記錄識(shí)別準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖4所示?？梢钥闯鯩QDFDBN融合模型在T值和α值不同時(shí)，識(shí)別效果有明顯不同，當(dāng)T值在0.20跟0.30之間，α落在[0.4，0.6]區(qū)間中時(shí)識(shí)別效果最好。

表1給出了在實(shí)驗(yàn)所用數(shù)據(jù)集下DBN分類器的識(shí)別準(zhǔn)確率，以及截?cái)鄥?shù)不同時(shí)，單獨(dú)的MQDF分類器，和融合分類器MQDFDBN的識(shí)別表現(xiàn)。從實(shí)驗(yàn)結(jié)果可以看出，隨著截?cái)鄥?shù)k值的增加，MQDF和MQDFDBN的識(shí)別準(zhǔn)確率都有所提高，而后者要明顯高于前者，同樣MQDFDBN的識(shí)別準(zhǔn)確率也高于DBN單獨(dú)使用時(shí)的識(shí)別準(zhǔn)確率。

5 結(jié) 語

本文針對(duì)脫機(jī)手寫漢字識(shí)別問題，提出了一種修正二次判別函數(shù)和深度置信網(wǎng)融合模型，為該方面研究提供了新的思路。二次修正判別函數(shù)分類器識(shí)別較簡(jiǎn)單的漢字圖像，而較為復(fù)雜的漢字圖像則交給深度模型DBN來處理識(shí)別，并且在得出最后結(jié)果時(shí)結(jié)合了MQDF的中間識(shí)別結(jié)果。最后的實(shí)驗(yàn)表明，兩種模型結(jié)合使用能很好地形成互補(bǔ)，取得了不錯(cuò)的識(shí)別效果。在接下來的工作中，我們會(huì)將工作重心放在實(shí)際應(yīng)用價(jià)值更大的相似手寫漢字識(shí)別研究當(dāng)中，探索并改進(jìn)MQDFDBN模型，力求取得新的突破。

參 考 文 獻(xiàn)：

[1] 丁曉青. 漢字識(shí)別研究的回顧[J]. 電子學(xué)報(bào)， 2002， 30（9）： 1364-1368.endprint

[2] LU S， WEI X， LU Y. Costsensitive MQDF Classifier for Handwritten Chinese Address Recognition. ICDAR[C]// 2015 13th International Conference on. IEEE， 2015： 76-80.

[3] 付強(qiáng)， 丁曉青， 劉長(zhǎng)松. 用于手寫漢字識(shí)別的級(jí)聯(lián) MQDF 分類器[J]. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2008， 48（10）： 1609-1612.

[4] 姚超， 盧朝陽， 李靜， 等. 一種分類器級(jí)聯(lián)的手寫相似漢字識(shí)別方法[J]. 西安電子科技大學(xué)學(xué)報(bào)， 2015， 42（5）： 26-32.

[5] WANG Y， LI X， LIU C， et al. An MQDFCNN Hybrid Model for Offline Handwritten Chinese Character Recognition. Frontiers in Handwriting Recognition. （ICFHR）[C]// 2014 14th International Conference on. IEEE， 2014： 246-249.

[6] QU X， XU N， WANG W， et al. Similar Handwritten Chinese Character Recognition Based on Adaptive Discriminative Locality Alignment. Machine Vision Applications （MVA）[C]// 2015 14th IAPR International Conference on. IEEE， 2015： 130-133.

[7] 楊釗， 陶大鵬， 張樹業(yè)， 等. 大數(shù)據(jù)下的基于深度神經(jīng)網(wǎng)的相似漢字識(shí)別[J]. 通信學(xué)報(bào)， 2014， 35（9）： 184-189.

[8] 周明輝， 劉輝， 曹剛. 基于 MQDF 的車牌字符識(shí)別[J]. 信息技術(shù)， 2013 （7）： 121-123.

[9] HINTON G. E.， OSINDERO， S.， Teh， Y.A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation， 2006（18）： 1527-1554.

[10]SALAKHUTDINOV R， MNIH A， HINTON G. Restricted Boltzmann Machines for Collaborative Filtering[C]// Proceedings of the 24th international conference on Machine learning. ACM， 2007： 791-798.

[11]王洋， 曾雪琴， 范劍英. 汽車牌照字符識(shí)別系統(tǒng)設(shè)計(jì)[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2012， 17（1）： 90-95.

[12]HINTON G E.Training products of experts by minimizing contrastive divergence[J]. Neural Computation， 2002， 14（8）： 1771-1800.

[13]何春香， 劉泊. 小波與 BP 神經(jīng)網(wǎng)絡(luò)在零件識(shí)別應(yīng)用中的研究[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2008， 13（5）： 50-53.

[14]LIU C.L.， MASAKI N. Precise Candidate Selection for Large Character Set Recognition by Confidence Evaluation[C]// IEEE Trans. on Pattern Analysis and Machine Intelligence， 2000： 636-642.

[15]HUANG Y.S.， SUEN C.Y. A Method of Combining Multiple Experts for the Recognition of Unconstrained Handwritten Numerals[J]. IEEE Trans Pattern Recognition and Machine Intelligence， 1995（17）： 90-94.

（編輯：關(guān) 毅）endprint