卷積神經(jīng)網(wǎng)絡(luò)的民國(guó)紙幣序列號(hào)識(shí)別系統(tǒng)

沈成龍 王笑梅 王晨

摘 ?要： 實(shí)現(xiàn)了深度學(xué)習(xí)的民國(guó)紙幣序列號(hào)自動(dòng)識(shí)別系統(tǒng).提取、分割民國(guó)紙幣序列號(hào)字符，對(duì)單個(gè)字符進(jìn)行預(yù)處理，裁剪字符空白區(qū)域，歸一化字符大小，并使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別.實(shí)驗(yàn)結(jié)果表明：在紙幣存在污跡、褶皺的情況下，所提民國(guó)紙幣序列號(hào)識(shí)別系統(tǒng)能夠減少人工錄入的工作量，單個(gè)字符的識(shí)別精度高于99.99%.

關(guān)鍵詞： 民國(guó)紙幣; 圖像處理; 序列號(hào)識(shí)別; 卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TP 391.4 ? ?文獻(xiàn)標(biāo)志碼： A ? ?文章編號(hào)： 1000-5137（2020）04-0465-07

Abstract： An automatic recognition system of paper currency serial numbers of the Republic of China was realized by deep learning in this paper.Firstly，the characters of paper currency serial numbers of the Republic of China were extracted and segmented.Secondly，pre-processing for each character was conducted and the blank character zone was clipped in order to normalize the character size.Lastly，the characters were recognized by the convolutional neural network.The experimental results showed that the paper currency serial number recognition system proposed in the paper could reduce the workload of manual entry while there were stains and wrinkles existing on the paper currency.The recognition accuracy of a single character could reach more than 99.99%.

Key words： paper currency of the Republic of China; image processing; serial number recognition; convolutional neural network

0 ?引 ?言

民國(guó)時(shí)期（1912—1949年），紙幣發(fā)行量大、種類豐富且保存相對(duì)完整，為博物館研究民國(guó)時(shí)期的歷史與文化信息提供了重要的載體.在數(shù)字博物館建設(shè)過程中，通常會(huì)得到大量的民國(guó)紙幣圖像.在提取、錄入、檢索紙幣關(guān)鍵信息時(shí)，通常采用人工操作，需要從事博物館紙幣研究的專業(yè)人員參與，工作量較大、容易出錯(cuò)，同時(shí)浪費(fèi)較大的智力資源.紙幣序列號(hào)是紙幣的唯一編號(hào)，隱藏著印刷批次和數(shù)量等重要信息，對(duì)錢幣的辨識(shí)和檢索有重要的意義.

民國(guó)紙幣因發(fā)行年代、紙幣種類的不同，序列號(hào)的位置也不盡相同，可能出現(xiàn)在紙幣的左上角、右上角、中部偏左或中部偏右等不同的位置.民國(guó)紙幣在較長(zhǎng)時(shí)間的流通、收藏過程中會(huì)受到不可避免的損傷，導(dǎo)致褶皺、污跡、破損，給民國(guó)紙幣序列號(hào)字符的識(shí)別工作造成一定的難度.

目前，紙幣序列號(hào)識(shí)別領(lǐng)域常用的識(shí)別方法有：差別不等式[1]、模式匹配[2-3]、支持向量機(jī)（SVM）[4-5]、神經(jīng)網(wǎng)絡(luò)[6-7]等方法.差別不等式算法人為選擇每張紙幣的閾值和特征差別點(diǎn)，易造成人力、物力的浪費(fèi)，效率較低;模式匹配算法是一種基于統(tǒng)計(jì)的字符識(shí)別算法，通過匹配待識(shí)別字符與字符模板，實(shí)現(xiàn)字符識(shí)別功能，原理簡(jiǎn)單且速度較快，但受采集的字符質(zhì)量影響較大，當(dāng)紙幣出現(xiàn)磨損、褶皺、破損時(shí)，匹配模板的特征維數(shù)較高，識(shí)別效果不佳;SVM是機(jī)器學(xué)習(xí)領(lǐng)域中一種基于統(tǒng)計(jì)的新型字符識(shí)別方法，能夠較好地解決高維數(shù)和非線性問題，識(shí)別效率較高，且在小樣本條件下具備較高的識(shí)別準(zhǔn)確率，然而，該算法易受輸入?yún)?shù)影響，智能程度不高.神經(jīng)網(wǎng)絡(luò)是一種廣泛應(yīng)用于圖像處理領(lǐng)域的新型識(shí)別算法，為民國(guó)紙幣字符識(shí)別提供了一種新的思路.目前，基于神經(jīng)網(wǎng)絡(luò)的紙幣序列號(hào)識(shí)別主要分為特征提取和分類兩個(gè)過程，在特征提取階段，提取圖像的特征向量、小波變換特征等;在分類階段，使用back propagation（BP）神經(jīng)網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)（PNN）進(jìn)行識(shí)別操作.然而，這種識(shí)別方式識(shí)別準(zhǔn)確率與特征選取關(guān)系較大，泛化性能較弱.

本文作者提出一種民國(guó)紙幣序列號(hào)自動(dòng)識(shí)別算法，對(duì)民國(guó)紙幣圖像進(jìn)行預(yù)處理，依據(jù)顏色特征過濾色彩信息將紙幣轉(zhuǎn)為二值圖像，作為提取字符區(qū)域的信息;采用形態(tài)學(xué)處理和改進(jìn)的投影法實(shí)現(xiàn)字符的定位和分割;結(jié)合單個(gè)字符圖像中字符本身結(jié)構(gòu)分布特點(diǎn)，裁剪字符空白區(qū)域;使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別字符，并對(duì)識(shí)別系統(tǒng)進(jìn)行仿真，分析討論實(shí)驗(yàn)結(jié)果.

1 ?民國(guó)紙幣圖像預(yù)處理

由于紙幣存在褶皺、污跡、破損等情況，識(shí)別前，圖像預(yù)處理是重要的操作步驟.在采集過程中，因光線、設(shè)備以及一些不可避免的因素干擾，紙幣圖像存在不同程度的噪聲干擾，這些噪聲會(huì)對(duì)紙幣字符識(shí)別造成不利影響.另外，不同地區(qū)、銀行、年代發(fā)行的紙幣類型各異，其尺寸差異較大.對(duì)民國(guó)紙幣圖像進(jìn)行預(yù)處理，包括：圖像采集、紙幣圖像大小歸一化、序列號(hào)的定位和字符的分割等操作，以獲取紙幣序列號(hào)單個(gè)字符圖像.

1.1 民國(guó)紙幣圖像歸一化及序列號(hào)定位

由于形態(tài)學(xué)處理中的膨脹運(yùn)算具有一定的擴(kuò)張功能，能夠填補(bǔ)目標(biāo)區(qū)域中空洞，使目標(biāo)區(qū)域向外擴(kuò)充.同時(shí)，考慮到紙幣序列號(hào)的區(qū)域呈矩形且字符呈水平方向排列，使用矩形算子對(duì)圖像進(jìn)行膨脹處理，使序列號(hào)字符連接為一個(gè)矩形區(qū)域，結(jié)果如圖2（c）所示.

由于民國(guó)紙幣序列號(hào)字符區(qū)域具有明顯的幾何特征，字符區(qū)域形狀為矩形，尺寸、長(zhǎng)寬比滿足一定條件，紙幣四角不存在序列號(hào)字符，可依據(jù)以下準(zhǔn)則選取字符區(qū)域：

1） 受序列號(hào)字符尺寸的限制，紙幣連通區(qū)域面積需要在一定范圍內(nèi)，剔除紙幣中連通區(qū)域中面積過大或過小的部分;

2） 序列號(hào)連通區(qū)域的位置不會(huì)存在紙幣的四角和中部位置，剔除位于紙幣四角或其中心位置的連通區(qū)域;

3） 雖然字符連通區(qū)域的外圍矩形長(zhǎng)寬比會(huì)因紙幣的不同，存在些許差別，但該值始終在一定范圍內(nèi)波動(dòng)，剔除連通區(qū)域長(zhǎng)寬比不恰當(dāng)?shù)膮^(qū)域.

依據(jù)以上準(zhǔn)則，依次剔除不滿足條件的區(qū)域，如圖2（d）所示.

1.2 民國(guó)字符的分割

紙幣圖像分割之前需要進(jìn)行二值化處理，常用的二值圖像方法包括：全局閾值和局部閾值.全局閾值對(duì)于目標(biāo)和背景易于分離的圖像處理效果較好;局部閾值對(duì)噪聲有較好的抗干擾能力.由于民國(guó)紙幣序列號(hào)字符色彩與背景色彩存在較大差異，使用全局閾值二值化圖像.民國(guó)紙幣序列號(hào)由數(shù)字和字母組成，識(shí)別字符時(shí)依據(jù)字符整體特征進(jìn)行判斷，因此在識(shí)別之前需要完成字符的分割.目前，分割紙幣字符主要有投影法[18]、連通區(qū)域分析法[19]、模板匹配法[20]、整體識(shí)別法[21]等.投影法簡(jiǎn)單易操作，但要求字符無傾斜、污跡干擾.連通區(qū)域分析法對(duì)噪聲較敏感，在有噪聲、污跡干擾時(shí)，容易出現(xiàn)錯(cuò)分、漏分的情況;模板匹配法主要依據(jù)字符位置等先驗(yàn)信息建立模板實(shí)現(xiàn)分割，較為依賴邊框，抗干擾能力不強(qiáng);整體識(shí)別法將分割與識(shí)別相結(jié)合，對(duì)圖像質(zhì)量要求較低，但計(jì)算量和數(shù)據(jù)量要求較大.本文作者改進(jìn)了投影法，采用形態(tài)學(xué)方法在垂直方向膨脹字符，增強(qiáng)字符投影在水平方向上的界限，利用字符投影間隙特征分割字符，如圖2所示.

2 ?民國(guó)紙幣序列號(hào)字符的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中一種重要的網(wǎng)絡(luò)結(jié)構(gòu)，具有較強(qiáng)的容錯(cuò)、自適應(yīng)能力和準(zhǔn)確率.與BP神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)能夠直接將二值字符圖像作為神經(jīng)元的輸入，借助卷積核在神經(jīng)網(wǎng)絡(luò)內(nèi)部提取圖像特征，因此減少單個(gè)字符圖像周圍的空白區(qū)域，使圖像集中反映字符本身結(jié)構(gòu)，能夠有效提升識(shí)別準(zhǔn)確率.在使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別字符之前，對(duì)字符進(jìn)行預(yù)處理，提高識(shí)別準(zhǔn)確率.

2.1 字符圖像預(yù)處理

分割后的民國(guó)紙幣序列號(hào)中，單個(gè)字符結(jié)構(gòu)周圍存在空白、噪聲干擾，會(huì)對(duì)后續(xù)字符識(shí)別造成不利影響，因此在識(shí)別之前，需要裁剪字符空白區(qū)域.字符裁剪的關(guān)鍵在于尋找單個(gè)字符本身結(jié)構(gòu)的最小外接矩形.最小外接矩形的邊界即字符四周空白區(qū)域初次與字符結(jié)構(gòu)本身接觸的部分，考慮到不同字符中央?yún)^(qū)域空白分布不均，從字符圖像邊緣向中央檢測(cè)第一個(gè)符合條件的邊界點(diǎn).為減少字符圖像中噪聲對(duì)邊界檢測(cè)的影響，選擇投影點(diǎn)及其后的若干投影點(diǎn)的均值作為該檢測(cè)點(diǎn)的投影值，經(jīng)驗(yàn)證，投影點(diǎn)數(shù)為6時(shí)，效果較好.同時(shí)為防止過度剪裁造成字符本身結(jié)構(gòu)的丟失，選擇字符圖像投影值中前10%的最大值的均值作為確定邊界點(diǎn)閾值的基準(zhǔn)值.經(jīng)實(shí)驗(yàn)驗(yàn)證，當(dāng)閾值選定為基準(zhǔn)值的40%時(shí)，能較好實(shí)現(xiàn)各字符圖片之間的均衡.

卷積神經(jīng)網(wǎng)絡(luò)識(shí)別字符的具體過程如下：

1） 對(duì)字符進(jìn)行歸一化處理，使其尺寸統(tǒng)一為28×28 pixels;

2） 將處理后的字符圖像輸入CNN進(jìn)行訓(xùn)練，創(chuàng)建識(shí)別模型;

3） 處理待識(shí)別的字符圖像，并將其輸入識(shí)別模型進(jìn)行識(shí)別;

4） 輸出紙幣各字符的識(shí)別結(jié)果.

3 ?實(shí) ?驗(yàn)

為驗(yàn)證所提識(shí)別方法的有效性，在Inter（R） Core（TM）i5-7200處理器，8.00 GB內(nèi)存，Windows 10 Pro（64-bit）操作系統(tǒng)的電腦上，采用MATLAB R2018b，PyCharm 2018.3.1（Professional Edition）進(jìn)行實(shí)驗(yàn).以一張編號(hào)為126605的民國(guó)紙幣為例，將民國(guó)紙幣字符識(shí)別庫(kù)中的訓(xùn)練文件導(dǎo)入系統(tǒng)，經(jīng)大小歸一化處理后，系統(tǒng)對(duì)序列號(hào)進(jìn)行自動(dòng)識(shí)別.樣本系統(tǒng)運(yùn)行結(jié)果如圖4所示.

采用一組在博物館采集的民國(guó)紙幣圖像，共包含154張含序列號(hào)的民國(guó)紙幣.在處理過程中，根據(jù)顏色特征和形態(tài)學(xué)處理進(jìn)行定位，共成功檢測(cè)出153張紙幣序列號(hào)，1張誤檢;采用改進(jìn)的分割算法對(duì)檢測(cè)出的153張紙幣序列號(hào)進(jìn)行分割，共分割出單個(gè)字符圖片1 006張，其中，有效字符圖片991張，錯(cuò)分、漏分、多分字符圖片15張;在識(shí)別過程中，將有效字符數(shù)據(jù)分為訓(xùn)練集（90%）與驗(yàn)證集（10%），經(jīng)數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)后，實(shí)際的訓(xùn)練集和驗(yàn)證集樣本量分別為51 200張和5 120張，并采用CNN識(shí)別處理后的單個(gè)字符圖像，實(shí)驗(yàn)結(jié)果表明，單個(gè)字符識(shí)別準(zhǔn)確率高于99.99%.另外，單張紙幣序列號(hào)識(shí)別計(jì)算耗時(shí)約0.443 s，基本滿足紙幣識(shí)別系統(tǒng)的實(shí)時(shí)性要求.

4 ?結(jié) ?論

以圖像處理為基礎(chǔ)，利用CNN實(shí)現(xiàn)民國(guó)紙幣序列號(hào)識(shí)別系統(tǒng).利用顏色特征和形態(tài)學(xué)處理的方法，解決民國(guó)紙幣因流通過程中破損、污跡所造成的定位難的問題，采用改進(jìn)的字符分割算法對(duì)字符進(jìn)行分割，最后通過CNN實(shí)現(xiàn)單個(gè)字符的識(shí)別.實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地識(shí)別民國(guó)紙幣藏品的序列號(hào)，具備較高字符識(shí)別率和運(yùn)行效率.

盡管所設(shè)計(jì)的民國(guó)紙幣識(shí)別系統(tǒng)在現(xiàn)有數(shù)據(jù)集上有較好的識(shí)別率，但考慮到民國(guó)紙幣種類豐富，存在其他特殊種類的紙幣，后期研究將致力于提升算法的泛化性.

參考文獻(xiàn)：

[1] TRIER ? D，JAIN A K，TAXT T.Feature extraction methods for character recognition：a survey [J].Pattern Recognition，1996，29（4）：641-662

[2] 梁琎，包志強(qiáng).人民幣冠字號(hào)碼的提取與識(shí)別 [J].現(xiàn)代電子技術(shù)，2013，36（11）：70-74.

LIANG Y，BAO Z Q.Extraction and recognition of RMB crown numbers [J].Modern Electronic Technology，2013，36 （11）：70-74.

[3] 張冬嬌，甘早斌.基于模板匹配的人民幣紙幣序列號(hào)識(shí)別系統(tǒng)研究 [J].計(jì)算機(jī)與數(shù)字工程，2012，40（1）：104-108.

ZHANG D J，GAN Z B.Research on the serial number recognition system of RMB paper currency based on template matching [J].Computer and Digital Engineering，2012，40（1）：104-108.

[4] 任俊，黃丹丹，李志能.基于支撐向量機(jī)和小波的字符識(shí)別 [J].浙江大學(xué)學(xué)報(bào)，2005，39（12）：2016-2020.

REN J，HUANG D D，LI Z N.Character recognition based on support vector machine and wavelet [J].Journal of Zhejiang University，2005，39（12）：2016-2020.

[5] 李文宏，田文娟，王霞，等.基于支持向量機(jī)的人民幣紙幣序列號(hào)識(shí)別方法 [J].信息與控制，2010，39（4）：462-465，471.

LI W H，TIAN W J，WANG X，et al.Recognition method of RMB paper currency serial number based on support vector machine [J].Information and Control，2010，39（4）：462-465，471.

[6] 涂豫.神經(jīng)網(wǎng)絡(luò)的人民幣序列號(hào)識(shí)別算法 [J].計(jì)算機(jī)仿真，2011，28（12）：376-379.

TU Y.Serial number recognition of RMB banknote based on neural network [J].Computer Simulation，2011，28（12）：376-379.

[7] 王崇駿，于汶滌，陳兆乾，等.一種基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用 [J].南京大學(xué)學(xué)報(bào)（自然科學(xué)版），2003（5）：459-466.

WANG C J，YU W D，CHEN Z Q，et al.A BP neural network algorithm based on genetic algorithm and its application [J].Journal of Nanjing University （Natural Science），2003（5）：459-466.

[8] 陳綠平.人民幣圖像序列號(hào)識(shí)別及其在假幣串并系統(tǒng)上的應(yīng)用 [D].昆明：昆明理工大學(xué)，2016.

CHEN L P.Recognition of RMB image serial number and its application in the system of counterfeit currency serialization [D].Kunming：Kunming University of Science and Technology，2016.

[9] 阮雷.紙幣序列號(hào)識(shí)別系統(tǒng)的算法研究 [D].成都：電子科技大學(xué)，2010.

RUAN L.Research on the algorithm of banknote serial number recognition system [D].Chengdu：University of Electronic Science and Technology of China，2010.

[10] 王瑞玲.人民幣紙幣序列號(hào)識(shí)別方法 [D].哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

WANG R L.Recognition method of serial number of RMB paper currency [D].Harbin：Harbin Institute of Technology，2006.

[11] 趙楠楠，竇艷芳.紙幣號(hào)碼圖像預(yù)處理及識(shí)別技術(shù) [J].遼寧科技大學(xué)學(xué)報(bào)，2015，38（1）：22-25，31.

ZHAO N N，DOU Y F.Paper money number image preprocessing and recognition technology [J].Journal of Liaoning University of Science and Technology，2015，38（1）：22-25，31.

[12] 張志文，趙楠楠.卷積神經(jīng)網(wǎng)絡(luò)在紙幣冠字號(hào)識(shí)別中的應(yīng)用 [J].遼寧科技大學(xué)學(xué)報(bào)，2017，40（2）：133-137.

ZHANG Z W，ZHAO N N.Application of convolutional neural network in recognition of paper money crown numbers [J].Journal of Liaoning University of Science and Technology，2017，40（2）：133-137.

[13] 張穎，陳雪波，吳慶洪，等.人民幣紙幣識(shí)別系統(tǒng) [J].儀器儀表學(xué)報(bào)，2004，25（增刊4）：669-670.

ZHANG Y，CHEN X B，WU Q H，et al.Identification system of RMB paper currency [J].Journal of Instrumentation，2004，25 （Suppl.4）：669-670

[14] 湯永華，張志佳，苑瑋琦.基于DSP的紙幣號(hào)碼自動(dòng)識(shí)別記錄系統(tǒng) [J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2007（4）：442-446.

TANG Y H，ZHANG Z J，YUAN W Q.DSP-based automatic identification and recording system for banknote numbers [J].Journal of Shenyang University of Technology，2007（4）：442-446.

[15] 朱雙東，張懿，陸曉峰.三角形交通標(biāo)志的智能檢測(cè)方法 [J].中國(guó)圖象圖形學(xué)報(bào)，2006（8）：1127-1131.

ZHU S D，ZHANG Y，LU X F.Intelligent detection method of triangle traffic signs [J].Journal of Image and Graphics，2006 （8）：1127-1131.

[16] 王義興，黃鳳崗，韓金玉，等.基于顏色搭配與紋理特征的車牌定位方法 [J].中國(guó)圖象圖形學(xué)報(bào)，2009，14（2）：303-308.

WANG Y X，HUANG F G，HAN J Y，et al.License plate location method based on color matching and texture features [J].Journal of Image and Graphics，2009，14 （2）：303-308.

[17] 常巧紅，高滿屯.基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車牌定位研究 [J].圖學(xué)學(xué)報(bào)，2013，34（4）：159-162.

CHANG Q H，GAO M T.Research on license plate location based on HSV color space and mathematical morphology [J].Journal of Graphics，2013，34 （4）：159-162.

[18] CHEN Z X，CHANG F L，LIU C S.Chinese license plate recognition based on human vision attention mechanism [J].International Journal of Pattern Recognition and Artifical Intelligence，2013，27（8）：1350024.

[19] 王興玲.最大類間方差車牌字符分割的模板匹配算法 [J].計(jì)算機(jī)工程，2006（19）：193-195.

WANG X L.Template matching algorithm for segmentation of license plate characters with maximum inter-class variance [J].Computer Engineering，2006 （19）：193-195.

[20] 李文舉，梁德群，王新年，等.質(zhì)量退化的車牌字符分割方法 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004（5）：697-700.

LI W J，LIANG D Q，WANG X N，et al.Deterioration of license plate character segmentation method [J].Journal of Computer Aided Design and Graphics，2004（5）：697-700.

[21] 李偉，楊向東，陳懇.基于CNN和RNN聯(lián)合網(wǎng)絡(luò)的心音自動(dòng)分類 [J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（1）：46-51.

LI W，YANG X D，CHEN K.Automatic classification of heart sounds based on CNN and RNN joint network [J].Computer Engineering and Design，2020，41（1）：46-51.

（責(zé)任編輯：包震宇）