基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別系統(tǒng)

黃一格，張炎生

（廣東海洋大學電子與信息工程學院，廣東湛江 524088）

0 引言

隨著我國人口逐年遞增，公民在填寫報表時產(chǎn)生的數(shù)據(jù)量也在同步上漲，其中大量數(shù)據(jù)由阿拉伯數(shù)字組成。因此，需要采取必要手段將手寫數(shù)字轉(zhuǎn)化成存在計算機里的文字。傳統(tǒng)的做法采用手工錄入，這種做法效率低且勞動力成本高。目前，主流的數(shù)據(jù)錄入方法采用光學字符識別（Optical Character Recognition,OCR）技術(shù)[1]，OCR技術(shù)是指將采集得到帶有字符的數(shù)字圖像輸入計算機后經(jīng)過處理，在輸出端得到存儲在計算機的字符的技術(shù)，手寫數(shù)字識別技術(shù)作為OCR技術(shù)的一個分支，其研究目的是將人書寫在紙上的阿拉伯數(shù)字轉(zhuǎn)換為計算機里的數(shù)字。由于數(shù)據(jù)信息主要由阿拉伯數(shù)字組成，如：郵政編碼、銀行票據(jù)等，因此處理此類信息的關(guān)鍵技術(shù)是手寫數(shù)字識別技術(shù)，所以對該技術(shù)的深入研究蘊含著巨大的應(yīng)用價值和現(xiàn)實意義[2-3]。

本文在此背景下，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字分類識別模型。該模型在Matlab開發(fā)環(huán)境下實現(xiàn)[4]，訓練時間較短，對手寫數(shù)字的識別精度較高。

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種采用了BP算法的多層前饋神經(jīng)網(wǎng)絡(luò)模型，具備高度的非線性映射能力并且克服了簡單感知機的局限性，其拓撲結(jié)構(gòu)如圖1所示[5]。隱含層是一個寬泛的概念，它指代了所有介于輸入層和輸出層之間的中間層，因此其數(shù)目可以是一或多個。

BP神經(jīng)網(wǎng)絡(luò)的學習過程包括兩個階段：正向傳播和反向傳播。正向傳播時，輸入向量從輸入層輸入，輸入數(shù)據(jù)經(jīng)過線性組合成為隱含層神經(jīng)元的輸入值，隱含層內(nèi)包括對輸入值的線性組合和非線性映射，隨后得到隱含層的輸出值，輸出層又對隱含層輸出值作出類似的運算，最后得到實際輸出。反向傳播采用BP算法，也稱為誤差反向傳播算法，BP算法實際上是一種根據(jù)求導鏈式法則計算梯度的算法。描述輸出誤差的數(shù)學表達式不統(tǒng)一，通常采用均方誤差描述。輸出誤差反向逐層傳遞，根據(jù)隱含層神經(jīng)元的誤差對連接權(quán)值和偏置進行調(diào)整，經(jīng)過一步步迭代后，最終輸出誤差降至可接受的區(qū)間內(nèi)[6]。

圖1 BP神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)

2 結(jié)合BP網(wǎng)絡(luò)技術(shù)對手寫數(shù)字識別

手寫數(shù)字識別系統(tǒng)的總流程如圖2所示，該系統(tǒng)由圖像處理、特征提取和分類識別3個模塊組成[7]。系統(tǒng)的輸入端為通過攝像頭或其他方式采集得到的原始RGB數(shù)字圖像，輸出端則是對這個原始圖像上手寫數(shù)字的識別結(jié)果。

圖2 系統(tǒng)流程圖

2.1 圖像處理

該模塊對輸入的原始圖像進行必要的預處理后進行字符分割[8]，以采集得到的原始圖像（圖3）為例，其經(jīng)過圖像處理模塊后效果如圖4所示。

圖3 原圖

圖4 圖像處理后效果圖

2.1.1 灰度轉(zhuǎn)換和二值化

采集的圖像通常是RGB彩色圖像，也就是說，一幅彩色圖像是由紅色（R）、綠色（G）、藍色（B）3種單色圖像組成的，需要將RGB圖像轉(zhuǎn)化為灰度圖像以確保后續(xù)操作成功，得到的灰度圖每一個像素像在每一個R、G、B分量上具有同等值，將RGB圖像進行灰度轉(zhuǎn)化通常采用如下公式：

圖像的灰度轉(zhuǎn)換調(diào)用gray=rgb2gray（I）函數(shù)實現(xiàn)，其中I為彩色圖像，gray為灰度圖像。其次對灰度圖像進行二值化，通過調(diào)用函數(shù)im2bw（）實現(xiàn)。本文采用固定閾值法，閾值的給定要根據(jù)底色的灰度值來確定，一般情況下，圖像底色灰度值約為120～180，本文將閾值設(shè)定為120。

2.1.2 平滑去噪

在非理想情況下，采集的原始數(shù)字圖像可能摻雜了噪聲，此時需要將噪聲去除或者削弱其影響，以免對后續(xù)步驟造成較大的負面影響。最常見的噪聲是椒鹽噪聲，它在二值圖像中表現(xiàn)為在白色的背景中有若干孤立的黑點，或是在黑色的數(shù)字中包含白色的孤立點。常用的濾波方法有均值濾波、中值濾波、最大最小值濾波等，但這些方法不能夠很好地去除孤立點而且有可能破壞數(shù)字的輪廓。本文采用8鄰域濾波法，此方法不僅能有效去除孤立點，還能夠?qū)ψ址麅?nèi)空缺白點進行填充，其原理如下：

（1）當二值圖像（i,j）處灰度值f（i,j）=0時，而（i,j）位置相鄰的8個鄰域的灰度值為1時，則令f（i,j）=1。

（2）當二值圖像（i,j）處灰度值f（i,j）=1時，而（i,j）位置相鄰的8個鄰域的灰度值為0時，則令f（i,j）=0。

2.1.3 圖像分割

由于分類識別是對每個數(shù)字的特征信息逐一識別的，所以要將每一個字符獨立分割出來。本文采用如下方法：首先對二值圖像進行水平投影，統(tǒng)計出每列白像素點之和，如圖5所示?？梢姡址g的縫隙產(chǎn)生了波谷，字符所在列產(chǎn)生了波峰，波峰的區(qū)間就是每個字符的左右邊界。同理，可以確定每個字符的上下邊界，于是便能從二值圖像中分割出獨立的字符。

圖5 各列白像素點之和

2.1.4 歸一化

由于分割后每個字符圖像的分辨率不同，而后續(xù)特征提取步驟要求輸出特征向量具有相同的維數(shù)，則需要對字符圖像進行歸一化處理。本文采用大小歸一化，就是將實際提取的字符圖像通過橫縱坐標的比例放縮，得到指定大小的圖像。此步驟通過調(diào)用函數(shù)BW=imresize（I,a×b），在本文中a=14，b=10。調(diào)用后可將字符圖像變?yōu)?4×10的規(guī)格，采用最近鄰插值法。

2.2 特征提取

本文采用逐像素點特征提取法，即直接將圖像送入分類器進行分類識別，這種特征提取方法相對簡單而且不會因缺少數(shù)據(jù)而喪失其他特征。逐像素點特征提取法在Matlab中表現(xiàn)為對字符圖像進行逐行逐列掃描，將14×10的字符圖像矩陣重新排列成140×1的特征向量矩陣，通過調(diào)用指令feature=reshape（I,140,[]）實現(xiàn)。

2.3 分類識別

2.3.1 初始參數(shù)的選取

連接權(quán)值的初始值通常選取大小介于[-1,+1]的偽隨機數(shù)，調(diào)用randn（）實現(xiàn)；初始偏置設(shè)為全0；訓練次數(shù)為1 000；學習速率η為0.05。

2.3.2 各層神經(jīng)元數(shù)目的確定

本文采用3層BP神經(jīng)網(wǎng)絡(luò)，即中間層數(shù)為1。輸入節(jié)點數(shù)目取決于特征向量，由于本文訓練樣本采用14×10的點陣，采用逐像素點特征提取法，因此可以確定輸入層神經(jīng)節(jié)點數(shù)為140。輸出節(jié)點數(shù)取決于目標向量，由于輸出模式有10種可能，本文采用10位數(shù)對輸出模式編碼，所以輸出節(jié)點數(shù)為10。對于隱含層節(jié)點數(shù)的確定，目前尚無確切的理論依據(jù)。節(jié)點數(shù)太少會導致“欠擬合”現(xiàn)象，識別精度不夠；節(jié)點數(shù)過多會造成“過擬合”現(xiàn)象，雖然擬合精度足夠高，但是模型的泛化能力不足。本文選擇如下經(jīng)驗公式[9]：

式中：m為隱藏層節(jié)點；n為輸入層節(jié)點；I為輸出層節(jié)點；α為1～10之間的整數(shù)。已知n=140，I=10，令α=1，計算得m≈13。

2.3.3 BP神經(jīng)網(wǎng)絡(luò)的學習算法

由于Sigmoid具有單調(diào)可微等優(yōu)良特性，本文的選取Sigmoid函數(shù)作為神經(jīng)元的激活函數(shù)，下面給出學習算法步驟[10]。

（1）將連接權(quán)值ωji初始化-1～+1之間的偽隨機數(shù)，偏置值θj初始化為0。

（2）輸入訓練樣本Xk（k=1，2，…，P），期望輸出為dk（k=1，2，…，P），對每個訓練樣本進行步驟（3）到步驟（5）的迭代。

（3）計算神經(jīng)元的狀態(tài)和實際輸出:

（4）計算輸出誤差:

（5）修正連接權(quán)值和偏置值:

（6）當?shù)螖?shù)滿足要求時，結(jié)束。

式中：ωji為前一層第i個神經(jīng)元到本層第j個神經(jīng)元的連接權(quán)值；okj為實際輸出；θj為本層第j個神經(jīng)元的偏置值；f（·）為激活函數(shù)；η為學習率。需要說明，式（4）適用于輸出層，式（5）適用于隱含層。

3 實驗結(jié)果分析

本次實驗在Windows10 64bit intel（R） Core（TM）i7-8750H 2.20Ghz CPU 8GB RAM環(huán)境下使用Maltab2016a完成。使用100個訓練樣本對神經(jīng)網(wǎng)絡(luò)進行訓練，訓練時間約為7.5 s，對驗證集的識別準確率約為92.5%，再對另外10張手寫數(shù)字圖片進行識別，識別結(jié)果如表1所示。

表1 識別結(jié)果

可見，對于書寫較為簡單的數(shù)字，如0、1等識別正確率為100%。而較為復雜的數(shù)字，如8、6等識別正確率較低。此外，由于不同筆者的書寫風格具有差異性，數(shù)字的傾斜度也不同；也有筆者書寫的數(shù)字5、6差別微乎其微。針對上述種種情況，可以考慮采用傾斜度矯正、圖像細化的方法以提高識別精度。

4 結(jié)束語

本文主要對手寫數(shù)字識別結(jié)合神經(jīng)網(wǎng)絡(luò)方法的實現(xiàn)進行了探討與研究，并且采用MATLAB為開發(fā)環(huán)境，編寫了系統(tǒng)各個模塊。本文在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上結(jié)合逐像素點特征提取法設(shè)計了手寫數(shù)字識別系統(tǒng)，該系統(tǒng)主要由圖像處理和分類識別兩大部分組成。對原始圖片進行圖像處理是分類識別的前期工作，特征提取是連接圖像與神經(jīng)網(wǎng)絡(luò)的橋梁。分類識別是整個系統(tǒng)的核心，本文采用具有代表性的三層BP神經(jīng)網(wǎng)絡(luò)，在保證識別精度前提下又能保證簡短的訓練過程，性能較好。手寫體數(shù)字識別是近年來的研究熱點并且應(yīng)用廣泛，特別是脫機手寫體數(shù)字識別在銀行票據(jù)認證、成績自動錄入等方面均有用途。