特征分組提取融合深度網(wǎng)絡(luò)手寫(xiě)漢字識(shí)別

李國(guó)強(qiáng)，周 賀，馬 鍇，張 露

燕山大學(xué) 河北省工業(yè)計(jì)算機(jī)控制工程重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島066004

1 引言

手寫(xiě)漢字識(shí)別有聯(lián)機(jī)和脫機(jī)之分。聯(lián)機(jī)手寫(xiě)漢字識(shí)別可以實(shí)時(shí)地獲取到書(shū)寫(xiě)者的筆畫(huà)信息，如筆畫(huà)總數(shù)、書(shū)寫(xiě)順序、書(shū)寫(xiě)速度、筆畫(huà)走向等[1]。這些信息簡(jiǎn)化了識(shí)別的難度。而脫機(jī)手寫(xiě)漢字識(shí)別的難度相對(duì)加大，因?yàn)槊摍C(jī)手寫(xiě)漢字都是靜止的二維圖像，特征提取比較困難，導(dǎo)致識(shí)別精度較低。

在脫機(jī)手寫(xiě)漢字識(shí)別上有許多提高識(shí)別精度的傳統(tǒng)方法被提出，但是收效甚微。究其原因即在于：首先，漢字筆畫(huà)多，最多有32畫(huà)；其次，漢字相似性大，例如“戊”和“戌”，“已”和“己”等；此外，漢字?jǐn)?shù)量多，總共50 000多漢字。最后，漢字書(shū)寫(xiě)風(fēng)格多變，不同人的書(shū)寫(xiě)字體不同，因此識(shí)別難度自然加大[2]。

傳統(tǒng)的手寫(xiě)漢字識(shí)別方法有多種，但是識(shí)別精度普遍較低，常用的有：隱馬爾可夫模型（Hidden Markov Model，HMM）[3]、貝葉斯分類器[4]、支持向量機(jī)（Support Vector Machine，SVM）[5]和改進(jìn)的二次判別函數(shù)（Modified Quadratic Discriminant Functions，MQDF）[6]等，這些傳統(tǒng)方法不僅計(jì)算復(fù)雜，而且精度低，很難進(jìn)行實(shí)際應(yīng)用。

隨著計(jì)算機(jī)數(shù)據(jù)處理能力的提高，以及更好的非線性激活函數(shù)的出現(xiàn)，致使深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks，DCNN）在許多圖像識(shí)別和分類任務(wù)中取得了顯著的進(jìn)步[7]。在過(guò)去幾年里，DCNN在手寫(xiě)漢字識(shí)別上的進(jìn)展大大超過(guò)了傳統(tǒng)的方法，取得了很大的進(jìn)步。MCDNN是第一個(gè)將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在手寫(xiě)漢字識(shí)別上的網(wǎng)絡(luò)模型，并且誤差為4.21%。隨后，富士通公司的研究團(tuán)隊(duì)利用DCNN基礎(chǔ)模型，在手寫(xiě)漢字識(shí)別上取得94.8%的識(shí)別精度。這相比傳統(tǒng)的MQDF識(shí)別精度92.61%，提高了2.19%。

伴隨一些先進(jìn)網(wǎng)絡(luò)模型的出現(xiàn)，例如VGGNet[8]、InceptionNet[9]、ResNet[10]等，這些先進(jìn)的技術(shù)為脫機(jī)手寫(xiě)漢字識(shí)別提供了良好的借鑒。

2 特征分組提取的網(wǎng)絡(luò)設(shè)計(jì)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)會(huì)存在特征提取不充分，網(wǎng)絡(luò)學(xué)習(xí)能力差等問(wèn)題，同時(shí)隨著網(wǎng)絡(luò)的加深存在信息的丟失和損耗。為了解決這些問(wèn)題，本文借鑒ResNet殘差網(wǎng)絡(luò)的優(yōu)點(diǎn)將信息直接傳遞到輸出，從而保護(hù)了信息的完整性，來(lái)減輕信息丟失問(wèn)題；將特征信息進(jìn)行分組，然后分別進(jìn)行特征提取，最后再將每組的信息整合在一起，增加網(wǎng)絡(luò)學(xué)習(xí)的多樣性。

2.1 特征分組提取模塊

本文設(shè)計(jì)的特征分組提取模塊如圖1和圖2所示。圖1網(wǎng)絡(luò)模塊的輸入特征圖個(gè)數(shù)為129，在進(jìn)行特征分組之前，先將特征信息進(jìn)行通道重排，打亂輸入特征信息的順序。

圖1 網(wǎng)絡(luò)模塊1

圖2 網(wǎng)絡(luò)模塊2

如圖3所示，以分三組為例，為增加網(wǎng)絡(luò)學(xué)習(xí)的多樣性，對(duì)特征信息進(jìn)行分組，以不同顏色表示不同的信息，在未進(jìn)行通道重排時(shí)同一組段內(nèi)可能含有相同特征信息，而不同組段內(nèi)的信息會(huì)不相同，如果直接進(jìn)行特征分組會(huì)導(dǎo)致組段內(nèi)的信息不完整，降低信息的表示能力。由圖可知通過(guò)通道重排能夠讓不同組段進(jìn)行信息交換，使得不同組段的特征信息更加豐富。通過(guò)通道重排使得每個(gè)組內(nèi)都有其他組的特征信息，這樣雖然分組后，組與組之間沒(méi)有了聯(lián)系，但是每組的信息都很全面不會(huì)丟失。然后把129個(gè)特征圖分為三組，每組43個(gè)特征，為增強(qiáng)網(wǎng)絡(luò)提取信息的多樣性，對(duì)每組分別使用不同大小的卷積核進(jìn)行特征提??；當(dāng)每組進(jìn)行一次信息提取之后，進(jìn)行一次組與組之間的信息交流融合，此時(shí)每組的特征圖從43個(gè)增加為86個(gè)；再對(duì)每組的86個(gè)特征圖進(jìn)行信息提取，進(jìn)一步提高網(wǎng)絡(luò)的學(xué)習(xí)能力；最后，將每組的信息進(jìn)行合并整合，整合后的特征通道數(shù)為258個(gè)，為使之與輸入通道相一致，方便其與原始輸入信息進(jìn)行殘差運(yùn)算，需要使用1×1卷積對(duì)輸出通道進(jìn)行降維。圖2網(wǎng)絡(luò)模塊的輸入特征圖個(gè)數(shù)為256，將其分為四組，每組有64個(gè)特征圖，信息交流組合的思路與圖1相同。

圖3 通道重排

2.2 下采樣和通道擴(kuò)增模塊

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通常采用平均池化層或最大池化層來(lái)進(jìn)行下采樣，可是這種方法忽略了特征信息的重要性和次要性，沒(méi)有考慮圖像的位置信息，將所有位置的特征都視為一樣。比如，一張圖像的中心區(qū)域感受野的信息比其他區(qū)域的要完整和重要，所以一張圖像不同區(qū)域?qū)?yīng)不同的權(quán)重大小。為了避免池化層的這種模糊化效果導(dǎo)致準(zhǔn)確率下降的問(wèn)題，本文使用3×3和5×5的卷積核進(jìn)行下采樣，讓網(wǎng)絡(luò)自己學(xué)習(xí)不同點(diǎn)的權(quán)重，并與通道擴(kuò)增過(guò)程組合為一個(gè)模塊。如圖4所示，其中3×3和5×5卷積步長(zhǎng)為2，負(fù)責(zé)下采樣；1×1卷積的步長(zhǎng)為1，負(fù)責(zé)通道的升維和降維。

圖4 降采樣模塊

2.3 特征信息的濃縮提煉

經(jīng)過(guò)分組模塊的特征提取，網(wǎng)絡(luò)會(huì)得到豐富的特征信息，但是這些信息之間難免會(huì)有重疊的相同信息，如果將所有特征信息都進(jìn)行特征提取和分類，會(huì)造成相同的信息被反復(fù)多次提取，造成計(jì)算資源的浪費(fèi)。為此，本文設(shè)計(jì)了一個(gè)特征信息融合和濃縮卷積層（Feature Fusion and Concentration Convolution，F(xiàn)FCConv），采用合并特征圖的方式精煉和濃縮特征信息，來(lái)解決特征信息的重疊和冗余問(wèn)題。該層的輸入為4×4×510的特征圖，首先將特征信息進(jìn)行通道重排，信息交流融合后將其分為A、B、C、D四組，每組特征圖數(shù)目分別為51、102、153、204。具體過(guò)程如圖5所示，對(duì)A組每張?zhí)卣鲌D進(jìn)行卷積；對(duì)B組，采用兩個(gè)合為一個(gè)進(jìn)行卷積；對(duì)C組，采用三個(gè)合為一個(gè)進(jìn)行卷積；對(duì)D組，采用四個(gè)合為一個(gè)進(jìn)行卷積。其中卷積方式與常規(guī)卷積方式不同，采用如公式（1）所示的加權(quán)平均卷積。由于輸入都是圖6所示的4×4大小的特征圖，所以A組的加權(quán)平均卷積計(jì)算過(guò)程如公式（1）所示，其中ω代表相應(yīng)位置的權(quán)值；設(shè)B組的兩個(gè)特征圖的加權(quán)平均卷積計(jì)算分別為X1和X2則B組的特征合并結(jié)果XB的計(jì)算方式如公式（4）所示。同理C組與D組的合并結(jié)果計(jì)算方式與B組的計(jì)算原理相同。這樣每組得到51個(gè)1×1的特征圖，然后將每組通道進(jìn)行整合得到204個(gè)1×1的特征圖。信息通道數(shù)從原來(lái)510被濃縮整合為204。為了控制信息濃縮的程度，防止信息過(guò)度精煉而丟失重要特征信息，故本文采用圖5中的一個(gè)、兩個(gè)、三個(gè)、四個(gè)的合并方式。

圖5 特征信息的濃縮提煉

圖6 4×4大小的特征圖

經(jīng)過(guò)多次實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)將圖2模塊重復(fù)使用五次，將圖3模塊重復(fù)使用兩次能使網(wǎng)絡(luò)性能達(dá)到最優(yōu)。整體網(wǎng)絡(luò)配置如表1所示，其中c代表通道數(shù)，s代表步長(zhǎng)。網(wǎng)絡(luò)結(jié)構(gòu)中的最后一個(gè)降采樣模塊將保持通道數(shù)不變，只對(duì)圖像大小進(jìn)行處理。最后，將網(wǎng)絡(luò)的輸出送入全連接層。雖然網(wǎng)絡(luò)每經(jīng)過(guò)一個(gè)特征分組提取模塊，圖像大小不變，但是每次提取的圖像特征卻不同，這些豐富的圖像特征非常有助于提高圖像識(shí)別準(zhǔn)確率。

表1 網(wǎng)絡(luò)配置細(xì)節(jié)

2.4 網(wǎng)絡(luò)優(yōu)化算法

整體網(wǎng)絡(luò)在每個(gè)模塊的卷積層之后都加了一個(gè)批歸一化（Batch Normalization，BN）層。由于輸入數(shù)據(jù)的分布很容易發(fā)生改變，隨著網(wǎng)絡(luò)的加深改變會(huì)被放大，因此網(wǎng)絡(luò)模型為了去適應(yīng)發(fā)生的改變，就要去學(xué)習(xí)這個(gè)改變的新的數(shù)據(jù)分布，這導(dǎo)致訓(xùn)練收斂速度越來(lái)越慢。BN層可以通過(guò)規(guī)范化來(lái)防止數(shù)據(jù)分布發(fā)生改變，同時(shí)擴(kuò)大輸入對(duì)損失函數(shù)的影響因子，使反向傳播的梯度變大。為了適用BN規(guī)范化后的數(shù)據(jù)和梯度變大，需要增大學(xué)習(xí)率來(lái)加快收斂速度。

假設(shè)網(wǎng)絡(luò)的第l層的輸入為Z[]l-1對(duì)其做標(biāo)準(zhǔn)化處理，忽略上標(biāo)[l-1]，則規(guī)范化過(guò)程如公式（5）～（7）所示：

其中，m是單個(gè)訓(xùn)練數(shù)據(jù)集包含的樣本數(shù)，ε常值，可取ε=10-7。這樣，就使得輸入值均值為0，方差為1。但是如果強(qiáng)制將數(shù)據(jù)進(jìn)行規(guī)范化會(huì)影響網(wǎng)絡(luò)原有的特征學(xué)習(xí)，導(dǎo)致網(wǎng)絡(luò)表達(dá)能力下降。為此引進(jìn)兩個(gè)可調(diào)節(jié)參數(shù)γ和β，則得到公式（8）即：

式中，γ和β是可學(xué)習(xí)參數(shù)，和權(quán)重和偏置相似，使用梯度下降算法求得。通過(guò)調(diào)整γ和β的值可以改變Z的值，如令γ=，β=μ，則Z=Zi。因此參數(shù)γ和β的引入，可以使網(wǎng)絡(luò)得到所要學(xué)習(xí)的特征分布，使得網(wǎng)絡(luò)表達(dá)能力增強(qiáng)。

3 數(shù)據(jù)集預(yù)處理

本文選用了CASIA-HWDB（V1.1）數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)模型，數(shù)據(jù)集共包括3 755個(gè)一級(jí)漢字樣本。該數(shù)據(jù)集是采集到的原始樣本，為了提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的性能有必要對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)增和錯(cuò)誤挑選處理。

3.1 訓(xùn)練集錯(cuò)誤挑選

訓(xùn)練集對(duì)模型的訓(xùn)練舉足輕重，為了盡量保持訓(xùn)練集原始樣本和提高訓(xùn)練模型性能，本文只對(duì)比較明顯的錯(cuò)誤進(jìn)行處理；同時(shí)為了后面訓(xùn)練好模型的測(cè)試和防止發(fā)生過(guò)擬合，因此只對(duì)訓(xùn)練集進(jìn)行輕微處理，測(cè)試集不予改動(dòng)。

訓(xùn)練集錯(cuò)誤的糾正只針對(duì)三種情況，如圖7所示。其中（1）為樣本分類錯(cuò)誤，這種對(duì)其進(jìn)行糾正，將圖片轉(zhuǎn)移到正確標(biāo)簽；（2）為在字形區(qū)域外有額外干擾筆畫(huà)，這種情況將圖片進(jìn)行剪切，刪除多余筆畫(huà)后放入原標(biāo)簽；（3）為漢字書(shū)寫(xiě)錯(cuò)誤后又進(jìn)行勾畫(huà)，這種樣本將被從訓(xùn)練集中剔除。

圖7 需要糾正的三種樣本示例

3.2 數(shù)據(jù)增強(qiáng)

由于網(wǎng)絡(luò)的加深，有可能發(fā)生過(guò)擬合的風(fēng)險(xiǎn)，此時(shí)如果數(shù)據(jù)集較小，很容易將數(shù)據(jù)集的特點(diǎn)擬合掉。因此引進(jìn)數(shù)據(jù)增強(qiáng)（Data Augmentation），防止過(guò)擬合發(fā)生的風(fēng)險(xiǎn)。首先，對(duì)訓(xùn)練集原始樣本進(jìn)行隨機(jī)上下翻轉(zhuǎn)；然后再對(duì)訓(xùn)練集進(jìn)行隨機(jī)水平左右翻轉(zhuǎn)。處理后的訓(xùn)練集每個(gè)手寫(xiě)漢字類別有500多張樣本圖片，這使訓(xùn)練得到的模型效果更好。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)集為CASIA-HWDB（V1.1），其包括3 755個(gè)漢字，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理后數(shù)據(jù)集總共有200多萬(wàn)張圖片。雖然數(shù)據(jù)集的擴(kuò)大有利于提高漢字識(shí)別精度，但是對(duì)計(jì)算機(jī)硬件要求也更高。為了減少計(jì)算量，統(tǒng)一將脫機(jī)手寫(xiě)漢字圖像大小調(diào)整為64×64，然后進(jìn)行圖像灰度化，將RGB三通道降為一通道的灰度圖進(jìn)行訓(xùn)練和測(cè)試。訓(xùn)練采用隨機(jī)梯度下降算法。初始學(xué)習(xí)率值為0.1，來(lái)加快訓(xùn)練衰減速度。訓(xùn)練的批量大小設(shè)為128，一共迭代訓(xùn)練10萬(wàn)步。實(shí)驗(yàn)機(jī)器為Windows 7操作系統(tǒng)，CPU為Intel?CoreTMi7—7820X，3.60 GHz，32 GB內(nèi)存，同時(shí)使用GPU計(jì)算加速訓(xùn)練過(guò)程。

4.2 實(shí)驗(yàn)結(jié)果分析

模型總共訓(xùn)練迭代100 000步，每100步保存一次數(shù)據(jù)，所以最終得到的模型訓(xùn)練和測(cè)試的損失和準(zhǔn)確率如圖8到圖11所示。為使得訓(xùn)練模型結(jié)果最優(yōu)，對(duì)實(shí)驗(yàn)過(guò)程進(jìn)行全程監(jiān)測(cè)，根據(jù)訓(xùn)練情況及時(shí)進(jìn)行參數(shù)調(diào)整。將學(xué)習(xí)率設(shè)置為0.1來(lái)加快收斂速度；當(dāng)訓(xùn)練到40 000步時(shí)將學(xué)習(xí)率降為0.01來(lái)穩(wěn)定訓(xùn)練；當(dāng)訓(xùn)練到80 000步時(shí)將學(xué)習(xí)率設(shè)置為0.001。當(dāng)訓(xùn)練結(jié)束時(shí)訓(xùn)練損失和測(cè)試損失分別穩(wěn)定收斂到0.49和0.18；訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率分別達(dá)到0.987 5和0.971 6。最后在訓(xùn)練好的模型基礎(chǔ)上進(jìn)行了top5實(shí)驗(yàn)，得到高達(dá)99.36%的準(zhǔn)確率。

圖8 訓(xùn)練損失

圖9 訓(xùn)練準(zhǔn)確率

圖10 測(cè)試損失

圖11 測(cè)試準(zhǔn)確率

為了說(shuō)明本文所設(shè)計(jì)的加入BN優(yōu)化算法的深度網(wǎng)絡(luò)模型的有效性，本文進(jìn)行了對(duì)比實(shí)驗(yàn)。首先，將本文所設(shè)計(jì)的適合脫機(jī)手寫(xiě)漢字識(shí)別的網(wǎng)絡(luò)模型稱為CharacterNet-F FCConv；然后，用平均池化層替換本文設(shè)計(jì)的下采樣模塊，將其稱為CharacterNet-A；最后，用傳統(tǒng)的卷積層替換特征信息融合和濃縮卷積層FFCConv，將其稱為Character Net-B。對(duì)上述三種網(wǎng)絡(luò)分別進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示?？梢钥闯霰疚乃O(shè)計(jì)的特征分組提取融合的深度網(wǎng)絡(luò)模型Charact erNet-FFCConv比CharacterNet-A和Charac terNet-B模型的top1準(zhǔn)確率分別提高0.71%和0.03%，由此可以說(shuō)明本文設(shè)計(jì)的特征信息融合和濃縮卷積層FFCConv以及下采樣模塊的合理性和有效性。

表2中的第一個(gè)對(duì)比模型DLQDF使用傳統(tǒng)MQDF分類器進(jìn)行分類，可以看出準(zhǔn)確率很低。Inception和ResNet為當(dāng)前比較先進(jìn)的兩個(gè)網(wǎng)絡(luò)模型，兩者結(jié)合得到的Inception-Resnet能夠明顯提高識(shí)別準(zhǔn)確率，可見(jiàn)殘差網(wǎng)絡(luò)結(jié)構(gòu)的高效性，所以當(dāng)前很多網(wǎng)絡(luò)模型都加入了殘差結(jié)構(gòu)。文獻(xiàn)[12]改進(jìn)殘差模型的精度與原殘差網(wǎng)絡(luò)相比優(yōu)勢(shì)明顯，而與其他先進(jìn)模型相差較多。文獻(xiàn)[13]的網(wǎng)絡(luò)模型只有5個(gè)卷積層，特征信息提取不充分，影響分類效果。文獻(xiàn)[14]用多個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后對(duì)這多個(gè)結(jié)果取均值，這種方法工作量大，實(shí)驗(yàn)很費(fèi)時(shí)。文獻(xiàn)[15]將傳統(tǒng)卷積方式進(jìn)行改進(jìn)，采用不共享權(quán)值的卷積方式，取得了不錯(cuò)的效果。

表2 不同模型的分類精度統(tǒng)計(jì) %

最后，從表2中可以看出，相比于現(xiàn)有的部分模型，本文提出的特征分組提取融合的深度網(wǎng)絡(luò)在脫機(jī)手寫(xiě)漢字識(shí)別準(zhǔn)確率上具有明顯優(yōu)勢(shì)。

5 結(jié)束語(yǔ)

本文設(shè)計(jì)的特征分組提取融合的深度網(wǎng)絡(luò)，其利用特征混洗、特征分組提取與再融合的方法，豐富了特征信息，提高了網(wǎng)絡(luò)的學(xué)習(xí)性能和表達(dá)能力；使用新的下采樣方式取代平均池化層，解決了池化層對(duì)圖像模糊化效果導(dǎo)致準(zhǔn)確率下降的問(wèn)題。然后，通過(guò)對(duì)特征信息的精煉和濃縮，進(jìn)一步提高了網(wǎng)絡(luò)的分類性能。此外，網(wǎng)絡(luò)優(yōu)化算法BN的加入加快了網(wǎng)絡(luò)收斂速度。

最后，雖然本文設(shè)計(jì)的網(wǎng)絡(luò)在脫機(jī)手寫(xiě)漢字識(shí)別上表現(xiàn)優(yōu)異，但是網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜。能否在保證較高識(shí)別正確率的前提下，使網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)潔，以及如何與其他先進(jìn)優(yōu)化算法進(jìn)行結(jié)合來(lái)再次優(yōu)化網(wǎng)絡(luò)性能，值得進(jìn)一步研究。