基于改進(jìn)的LeNet網(wǎng)絡(luò)手寫體字符識別技術(shù)的研究

郁 巖

（江蘇安全技術(shù)職業(yè)學(xué)院 機(jī)械工程學(xué)院，江蘇 徐州 221000）

0 引 言

傳統(tǒng)的光學(xué)字符識別（OCR）在數(shù)據(jù)場景單一的背景中雖有較好的識別率，但是面對復(fù)雜、多干擾的自然場景時，OCR識別效果不佳。SVM、Boosting等算法需要人工定義特征信息，由特征提取器從圖像中提取相關(guān)特征，再由分類器對這些特征進(jìn)行分類。而深度學(xué)習(xí)只需輸入原始圖像模型就能夠自主學(xué)習(xí)圖像特征，然后輸出分類結(jié)果[1]。

隨著移動支付技術(shù)的更新，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)LeNet_5進(jìn)行動態(tài)字符識別時仍存在問題：現(xiàn)有網(wǎng)絡(luò)深度不足，影響字符識別精度。多數(shù)研究人員認(rèn)為深度神經(jīng)網(wǎng)絡(luò)的深度到了盡頭，這是由于超深層網(wǎng)絡(luò)在進(jìn)行反向傳播時，靠近輸入層的梯度會出現(xiàn)消失或爆炸的現(xiàn)象[2]，但2014年由Christian Szegedy提出的GoogleNet網(wǎng)絡(luò)可以有效緩解該問題[3]。據(jù)此，本文提出了一種加寬網(wǎng)絡(luò)以創(chuàng)建超大型網(wǎng)絡(luò)的方法，此類方法不僅能夠獲得足夠復(fù)雜的網(wǎng)絡(luò)，還能避免不斷加深網(wǎng)絡(luò)造成的梯度消失問題。

1 字符識別數(shù)據(jù)庫

通過收集物流和支付等環(huán)節(jié)的字符數(shù)據(jù)，分析整理得到不同字跡及位置字符信息數(shù)據(jù)，并基于數(shù)字圖像預(yù)處理方法對數(shù)據(jù)進(jìn)行濾波去噪、信息分割等操作，構(gòu)建字符分析數(shù)據(jù)樣[4]。

1.1 MNIST數(shù)據(jù)集

MNIST是訓(xùn)練數(shù)據(jù)集包含60 000個樣本和測試集包含10 000個樣本的手寫數(shù)字?jǐn)?shù)據(jù)集[5]，該數(shù)據(jù)集基于重新混合NIST（National Institute of Standards and Technology, NIST）的特殊數(shù)據(jù)集（Special Database）SD-3和SD-1創(chuàng)建。其中SD-3來自人口普查局的工作人員筆跡，SD-1來自大學(xué)生筆跡，其樣本結(jié)構(gòu)見表1所列。訓(xùn)練集和測試集分別由250個不同的人編寫，由此確保訓(xùn)練集和測試集的編寫者相互獨立不相交，避免非樣本差異外的干擾因素，數(shù)據(jù)集均經(jīng)過歸一化預(yù)處理。

表1 MNIST數(shù)據(jù)集

圖1為MNIST測試集的部分樣例，可以看出，不同人員書寫的字體形狀差異較為明顯，而且相比印刷字體，手寫字體較容易變形、歪扭，例如圖中第3排8列的數(shù)字和4排4列的數(shù)字4等，這極大考驗了模型識別字體的能力。

圖1 MNIST數(shù)據(jù)集手寫體數(shù)字樣例

1.2 激活函數(shù)

在神經(jīng)網(wǎng)絡(luò)中，輸入值經(jīng)過權(quán)重層后進(jìn)行非線性變換。由于現(xiàn)實中的復(fù)雜問題均為非線性，若神經(jīng)網(wǎng)絡(luò)無非線性函數(shù)機(jī)制，無論堆疊了多少層網(wǎng)絡(luò)，它仍然等效于一個單層的神經(jīng)網(wǎng)絡(luò)，即它仍是單個線性變換。因此，只有引入非線性變換才能解決問題[6]。理想中的激活函數(shù)是階躍函數(shù)，所以神經(jīng)網(wǎng)絡(luò)發(fā)展初期經(jīng)常使用Sigmoid函數(shù)作為激活函數(shù)，Sigmoid函數(shù)能夠?qū)⑤斎胫底儞Q為0到1范圍內(nèi)的數(shù)值，其表達(dá)式如下：

Sigmoid函數(shù)如圖2所示。

圖2 Sigmoid函數(shù)

研究人員通過研究發(fā)現(xiàn)，Sigmoid函數(shù)會出現(xiàn)梯度消失、收斂緩慢等問題[7]。因此，本文利用ReLU激活函數(shù)替代Sigmoid函數(shù)。ReLU函數(shù)具有運算簡單、計算復(fù)雜度低等特點，其表達(dá)式如下：

ReLU函數(shù)如圖3所示。

圖3 ReLU函數(shù)

由公式和函數(shù)圖可以看出，ReLU函數(shù)中，輸入為負(fù)，則映射為0，若輸入為正，則取其本身的值。正是由于這種簡單機(jī)制，使得其計算速度極快。

2 深度卷積網(wǎng)絡(luò)模型

LeNet結(jié)構(gòu)由LeCun等人于1994年提出，經(jīng)過多次迭代，于1998年完成了最終變體[8]，并命名為LeNet_5。該網(wǎng)絡(luò)設(shè)計之初，主要用于手寫數(shù)字的識別，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 LeNet_5網(wǎng)絡(luò)結(jié)構(gòu)

由于LeNet_5表征學(xué)習(xí)能力弱，特別在移動工況下模型識別數(shù)字的錯誤率高。因此本節(jié)將在LeNet_5模型基礎(chǔ)結(jié)構(gòu)上設(shè)計出新的模型，改進(jìn)內(nèi)容主要包括模型收斂速度和模型識別性能2方面。

模型收斂速度。在新設(shè)計的模型中，將LeNet_5模型的Sigmoid激活函數(shù)替換成ReLU激活函數(shù)。模型權(quán)重參數(shù)初始化中使用Xavier進(jìn)行初始化，然后引入批量歸一化[9]。當(dāng)模型開始訓(xùn)練時，會對輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，前幾層網(wǎng)絡(luò)的輸出一般不會出現(xiàn)劇烈變化，而隨著模型的逐層訓(xùn)練及前一層參數(shù)的更新調(diào)整，將導(dǎo)致后一層被累計放大，最終使后層的數(shù)據(jù)分布發(fā)生變化，降低網(wǎng)絡(luò)的訓(xùn)練速度。批量歸一化能夠?qū)⒚繉訑?shù)據(jù)歸一化到相同的分布，加快收斂速度[10]，避免出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定等問題。

模型識別性能，增加模型深度?，F(xiàn)有網(wǎng)絡(luò)模型中具有先進(jìn)性能的網(wǎng)絡(luò)均為深層網(wǎng)絡(luò)，通過堆疊卷積核加深模型深度，使模型在視覺任務(wù)上獲得更好的性能。其次，用2個小的卷積核替換1個大的卷積核，以減少參數(shù)數(shù)量。同時，此舉也能夠加深網(wǎng)絡(luò)深度，增強(qiáng)模型的復(fù)雜度。

改進(jìn)模型命名為Model_A。Model_A的改進(jìn)之處是用ReLU激活函數(shù)替換原LeNet_5模型的Sigmoid激活函數(shù)，并在LeNet_5模型基礎(chǔ)上增加模型的“復(fù)雜度”及深度。在原LeNet_5的基礎(chǔ)上增加一層卷積層，將所有卷積設(shè)為3×3，將C1，C3，C4層的卷積核數(shù)分別設(shè)為 6，12，24，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Model_B網(wǎng)絡(luò)結(jié)構(gòu)

3 模型訓(xùn)練過程與結(jié)果分析

（1）將采集的數(shù)據(jù)經(jīng)過圖像預(yù)處理后，保留感興趣區(qū)域，并將圖像轉(zhuǎn)換為二維矩陣數(shù)據(jù)樣本（x，y），設(shè)置圖像訓(xùn)練周期，進(jìn)行樣本預(yù)處理、權(quán)重初始化操作；

（2）構(gòu)建卷積數(shù)據(jù)迭代器訓(xùn)練網(wǎng)絡(luò)；

（3）計算損失誤差、反向傳播，并反饋更新權(quán)值參數(shù)后再次迭代計算；

（4）保存網(wǎng)絡(luò)權(quán)重函數(shù)；

（5）網(wǎng)絡(luò)訓(xùn)練結(jié)束。

圖6所示為網(wǎng)絡(luò)訓(xùn)練流程。

圖6 訓(xùn)練流程

實驗使用LeNet_5網(wǎng)絡(luò)和Model_A網(wǎng)絡(luò)分別在MNIST數(shù)據(jù)集上訓(xùn)練， 其中LeNet_5網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)為1，初始學(xué)習(xí)率會在網(wǎng)絡(luò)訓(xùn)練的過程中，每30個周期衰減一次，學(xué)習(xí)率衰減（Learning Rate Decay）系數(shù)為0.1。Model_A的初始學(xué)習(xí)率設(shè)為0.01，學(xué)習(xí)率為每30個周期衰減一次，學(xué)習(xí)率衰減系數(shù)為0.1。通過實驗觀察2個網(wǎng)絡(luò)分別在MNIST測試集上的準(zhǔn)確率和網(wǎng)絡(luò)收斂速度。

從圖7可以看出，Model_A網(wǎng) 絡(luò)的訓(xùn)練過程分為2個階段，LeNet_5網(wǎng)絡(luò)訓(xùn)練過程分為3個階段。在網(wǎng)絡(luò)訓(xùn)練開始時，Model_A的損失函數(shù)為0.339 1，LeNet_5的損失函數(shù)為2.328 9。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行，Model_A網(wǎng)絡(luò)在第10周期時損失函數(shù)下降至0.020 0后趨于平緩，LeNet_5網(wǎng)絡(luò)則經(jīng)過30個周期損失函數(shù)下降至0.027 6之后趨于平緩。由此看出，Model_A網(wǎng)絡(luò)能在極短的周期內(nèi)收斂，而LeNet_5網(wǎng)絡(luò)需要耗費數(shù)個周期才能收斂，因此ReLU函數(shù)在加快網(wǎng)絡(luò)訓(xùn)練和收斂速度上優(yōu)于Sigmoid函數(shù)，在模型訓(xùn)練初期就能使網(wǎng)絡(luò)提早進(jìn)入合適的優(yōu)化方向。

圖7 Model_A及LeNet_5損失函數(shù)

圖8為Model_A和LeNet_5在測試集上的分類準(zhǔn)確率，圖中實線為LeNet_5的分類準(zhǔn)確率，虛線為Model_A的分 類準(zhǔn)確率。觀察圖8發(fā)現(xiàn)，Model_A在訓(xùn)練初期就學(xué)習(xí)出合適的優(yōu)化方向，使網(wǎng)絡(luò)能快速收斂。網(wǎng)絡(luò)訓(xùn)練第一個周期結(jié)束時，在測試集上有97.23%的準(zhǔn)確率。隨著網(wǎng)絡(luò)的訓(xùn)練，在第24個周期時達(dá)到99.02%的準(zhǔn)確率，而最終在訓(xùn)練100個周期結(jié)束后在測試集上分類準(zhǔn)確率為99.26%，錯誤率為0.74%。LeNet_5網(wǎng)絡(luò)在訓(xùn)練前10個周期處于初始化階段，期間網(wǎng)絡(luò)在測試集上的準(zhǔn)確率僅約為17%，而從第10個周期開始，網(wǎng)絡(luò)的準(zhǔn)確率先急劇上升，到達(dá)96%左右之后開始平緩上升，最后網(wǎng)絡(luò)訓(xùn)練100個周期結(jié)束時，在測試集上的分類準(zhǔn)確率為98.20%，分類錯誤率為0.80%。

圖8 Model_A和LeNet_5分類準(zhǔn)確率

4 結(jié) 語

本文研究了深層網(wǎng)絡(luò)在數(shù)字字符識別上的應(yīng)用，以LeNet_5網(wǎng)絡(luò)為基準(zhǔn)網(wǎng)絡(luò)，對其進(jìn)行改進(jìn)，并對改進(jìn)得到的新網(wǎng)絡(luò)繼續(xù)優(yōu)化完善，得到新的網(wǎng)絡(luò)變體。通過分析發(fā)現(xiàn)，在保持LeNet_5基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下，ReLU函數(shù)相比Sigmoid函數(shù)具有加快網(wǎng)絡(luò)收斂特性，可以使用較小的學(xué)習(xí)率來訓(xùn)練網(wǎng)絡(luò)等優(yōu)勢。隨著網(wǎng)絡(luò)的加深，將 網(wǎng)絡(luò)每層輸出的數(shù)據(jù)歸一化到相同的分布會使網(wǎng)絡(luò)更穩(wěn)定、更易訓(xùn)練。