一種基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣臟污識別方法

孫偉忠，馬 躍，尹震宇，谷 艾，徐福龍

1(中國科學(xué)院大學(xué)，北京 100049) 2(遼寧科技大學(xué) 計算機(jī)與軟件工程學(xué)院，遼寧 鞍山 114051) 3(中國科學(xué)院 沈陽計算技術(shù)研究所，沈陽 110168)

1 概 述

隨著我國國民經(jīng)濟(jì)的突飛猛進(jìn)，紙幣作為商品流通的一種媒介流通量與日俱增.缺損與臟污紙幣的比例也隨著流通時間的增長變得越來越大，這使人民生活的便利以及商品交易都會受到不同程度的影響.因此，當(dāng)紙幣達(dá)到一定程度的污損時，銀行往往會對其進(jìn)行回收并且集中銷毀.銀行等金融機(jī)構(gòu)往往采用紙幣清分機(jī)等金融設(shè)備通過圖像處理、模式識別等技術(shù)對紙幣進(jìn)行面值、真?zhèn)巍⒐谧痔柎a等識別[1].

國內(nèi)外學(xué)者也針對紙幣特征的識別進(jìn)行了一定程度的研究.張玉欣等人[2]提出一種基于D-S證據(jù)理論和支持向量機(jī)相結(jié)合的多特征融合紙幣真?zhèn)巫R別方法,解決了單一特征紙幣真?zhèn)巫R別存在的低正確率和低穩(wěn)定性問題.張航[3]利用卷積神經(jīng)網(wǎng)絡(luò)針對紙幣序列號學(xué)習(xí)進(jìn)行了研究.Khashman等人[4]基于神經(jīng)網(wǎng)絡(luò)研究開發(fā)出了識別紙幣發(fā)行國家的系統(tǒng).基于使用單個或多個傳感器獲取紙幣圖像的方法，這些方法可以分為兩類：使用整個鈔票圖像的方法和在鈔票圖像上使用特定感興趣區(qū)域(ROI)的方法，用于鈔票適合度的分類.在Sun和Li[14]提出的方法中，他們認(rèn)為不同等級的新舊紙幣具有不同的灰色直方圖.因此，他們使用紙幣圖像直方圖的特征作為特征，使用直方圖對齊的動態(tài)時間扭曲(DTW)，以及用于對紙幣新舊進(jìn)行分類的支持向量機(jī)(SVM).

然而，無論是國內(nèi)還是國外，卻鮮有學(xué)者進(jìn)行紙幣臟污識別的研究[5]，具體原因如下：

首先，紙幣的臟污是一個相對主觀的概念，不同的人對臟污程度的理解不同，而紙幣的臟污特征也是一個相對復(fù)雜的指標(biāo)，金融行業(yè)內(nèi)缺少共同認(rèn)可的評價標(biāo)準(zhǔn).

其次，金融設(shè)備對紙幣的清點(diǎn)速度相對較快，因此對數(shù)據(jù)的采集速度、機(jī)器運(yùn)算的速度以及圖像識別算法都有很高的要求.

最后，想要統(tǒng)一紙幣識別結(jié)果的穩(wěn)定性和一致性，以及要符合人眼的視覺規(guī)律及人類的主觀認(rèn)同是非常困難的事情.如何合理的解決上述問題，成為了相關(guān)人員研究的重點(diǎn).

紙幣的臟污特征，可以通過光學(xué)特征、硬度、重量、粗糙度等方面表現(xiàn)出來.在上述特征中，光學(xué)特征能夠最直觀的反應(yīng)出紙幣的臟污特征[6]，因此，紙幣清分機(jī)等金融設(shè)備通常使用光學(xué)圖像傳感器采集紙幣的光學(xué)特性來完成紙幣的識別.荷蘭央行在紙幣的臟污識別方面進(jìn)行了大量的研究[7，8].他們的研究表明紙幣的臟污主要來源于人的手指接觸后的污漬殘留，這種污漬主要體現(xiàn)為黃色或褐色，在深藍(lán)色或靛藍(lán)色光譜下不同臟污等級的紙幣區(qū)別最大.Kwon[9]使用了可見光反射圖像和紅外光透射圖像進(jìn)行了紙幣臟污識別，他認(rèn)為可見光反射圖像和紅外光透射圖像對于紙幣的臟污分類有很大的影響.

綜上，本文使用接觸式線性傳感器(CIS)[15]采集紙幣在紅光、綠光、藍(lán)光、紅外光下的雙面反射圖像，同時也采集了紙幣在綠光透射和紅外光透射下的紙幣圖像.

2 關(guān)鍵技術(shù)

2.1 整體設(shè)計

整體設(shè)計方案的流程圖如圖1所示，紙幣被投入后，它的圖像被捕獲并且進(jìn)行預(yù)處理.通過CIS采集紙幣在紅光、綠光、藍(lán)光、紅外光下的雙面反射圖像，同時也采集了紙幣在綠光透射和紅外光透射下的紙幣圖像.采集到的圖像從背景中分割并且調(diào)整大小以實(shí)現(xiàn)相同尺寸的像素，因?yàn)檩斎氲紺NN的圖像尺寸應(yīng)該是一樣大小.將紙幣的尺寸標(biāo)準(zhǔn)化圖像送入到與訓(xùn)練的CNN中，最后輸出缺失曲線.

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣臟污識別處理方法

2.2 紙幣圖像的預(yù)處理

圖2為本文采集到的紙幣在每種光源下的紙幣圖像:(a)紅光反射正面圖像；(b)紅光反射反面圖像；(c)綠光反射正面圖像；(d)綠光反射反面圖像；(e)藍(lán)光反射正面圖像；(f)藍(lán)光反射反面圖像；(g)紅外光反射正面圖像；(h)紅外光反射反面圖像；(i)綠光透射圖像；(j)紅外光透射圖像.其中，每幅圖像的分辨率為768×448像素.在采集圖像之前需要準(zhǔn)備紙幣，并且通過人工方式對紙幣進(jìn)行分類.本文把紙幣分為五類，分別是：很新、干凈、正常、較臟、臟污嚴(yán)重，然后通過CIS圖像傳感器分別對這五類紙幣進(jìn)行圖像采集，形成每張紙幣的圖像樣本作為我們后續(xù)研究的基礎(chǔ)數(shù)據(jù).

圖2 不同光照下的十幅紙幣圖像

通過CIS獲得每張紙幣在不同光照條件下的10幅原始圖像，如圖2所示.原始圖像采集完成后，如何提取紙幣的數(shù)據(jù)是一個關(guān)鍵問題.首先，需要把原始圖像中的紙幣圖像與背景分離.提取紙幣圖像通?？梢允褂肏uogh直線檢測算法[10]或角點(diǎn)檢測算法[11].本文采用的方法是先從上向下等間隔的通過直線掃描的方式對圖像進(jìn)行檢測.當(dāng)檢測到圖像梯度發(fā)生較大變化時，記錄該點(diǎn)的位置.從上向下掃描結(jié)束后，會得到所有上邊界檢測點(diǎn)的位置.為了避免紙幣邊緣存在缺失會對紙幣的輪廓提取產(chǎn)生影響，需要去除掉差異較大的像素點(diǎn)，同時還需要去除掉未檢測到紙幣邊界的點(diǎn).最后對剩余的點(diǎn)進(jìn)行最小二乘法直線擬合，這樣就會得到紙幣圖像的上邊緣直線方程.使用相同的方法，我們也可以得到紙幣圖像的下邊緣直線方程.把上下邊緣的兩條直線方程相加，就會得到經(jīng)過紙幣中心點(diǎn)并且平行于紙幣上下邊緣的直線方程.再等間隔的取平行于這條直線的一些直線，分別對圖像的左右方向進(jìn)行檢測，就會得到左右直線的檢測點(diǎn).同樣經(jīng)過濾波和最小二乘法直線擬合就會得到紙幣圖像的左右直線方程.把左右邊緣的兩條直線方程相加，就會得到經(jīng)過紙幣中心并且平行于紙幣左右邊緣的直線方程.

表1 我們采用的CNN結(jié)構(gòu)(單位：像素)

Table 1 Structure of CNN used in our proposed method(unit:pixel)

圖層類型內(nèi)核大小過濾器數(shù)量特征圖大小輸入層圖片56×32×6卷積層C1卷積層5×5×63252×28×32Sigmoid層均值池化2×2×32126×14×32C2卷積層3×3×324824×12×48Sigmoid層均值池化2×2×48112×6×48C3卷積層3×3×484810×4×48Sigmoid層均值池化2×2×4815×2×48全連接層F1全連接層256Sigmoid層F2全連接層256Sigmoid層F3全連接層5Softmax層

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣臟污識別

圖3為我們采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).其中，輸入層是上面提到綠光反射正面圖像、綠光反射反面圖像、藍(lán)光反射正面圖像、藍(lán)光反射反面圖像、綠光透射圖像和紅外光透射圖像這6幅圖像.輸入層之后采用的是一個具有三層結(jié)構(gòu)的卷積層，分別是C1、C2和C3.每個結(jié)構(gòu)包括一個卷積層、一個激活函數(shù)和一個池化層.

圖3 本文采用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

在訓(xùn)練模型時，在卷積層和全連接層選用Sigmod激活函數(shù)和Relu激活函數(shù)進(jìn)行對比.從缺失曲線能夠看出Sigmod激活函數(shù)在訓(xùn)練達(dá)到一定量時，確實(shí)存在飽和現(xiàn)象并導(dǎo)致收斂速度慢.當(dāng)改用Relu激活函數(shù)訓(xùn)練網(wǎng)絡(luò)時，發(fā)現(xiàn)模型不能收斂，懷疑是神經(jīng)元都死掉了.在訓(xùn)練模式時并沒有使用改進(jìn)得Relu激活函數(shù)，因此最終選擇Sigmod作為卷積層和全連接層的激活函數(shù).卷積層的激活函數(shù)我們采用的是經(jīng)典的Sigmoid函數(shù)，公式(1)是Sigmoid函數(shù)的表達(dá)式.池化層我們采用的是均值池化，它的作用是去掉圖像中不用的特征從而達(dá)到降維的目的.卷積層之后使用的是一個具有三層結(jié)構(gòu)的全連接層，分別是F1、F2和F3.每個結(jié)構(gòu)包括一個全連接層和一個激活函數(shù).其中F1和F2使用的激活函數(shù)還是Sigmoid函數(shù)，而F3使用的激活函數(shù)是指數(shù)歸一化函數(shù)Softmax，公式(2)是softmax函數(shù)的表達(dá)式，它的作用是增強(qiáng)網(wǎng)絡(luò)輸出的最大值，抑制網(wǎng)絡(luò)輸出較小的值.表一是我們采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的詳細(xì)信息.

(1)

(2)

3 實(shí)驗(yàn)結(jié)果

以紅光反射圖像為例，圖4是使用本文的方法對紙幣的邊緣檢測示意圖和檢測到的結(jié)果示意圖,其中：(a)正面檢測方法示意圖；(b)反面檢測方法示意圖；(c)正面檢測結(jié)果示意圖；(d)反面檢測結(jié)果示意圖.

圖4 紙幣邊緣檢測圖像

檢測到紙幣圖像的邊緣后，要對紙幣進(jìn)行旋轉(zhuǎn)和歸一化處理.我們采用旋轉(zhuǎn)矩陣的方法[12]對圖像進(jìn)行旋轉(zhuǎn).為了避免紙幣邊緣對紙幣臟污識別結(jié)果的影響，去除旋轉(zhuǎn)后紙幣圖像的四個邊緣部分.然后用線性歸一化的方法對圖像進(jìn)行歸一化[13]，把圖像歸一化到每副圖像的分辨率為56×32像素.圖5是對圖一所示的圖像經(jīng)過邊緣檢測、圖像旋轉(zhuǎn)和歸一化后得到的紙幣圖像結(jié)果.通過這種方法，我們可以得到任意一張紙幣圖像歸一化后的10幅圖像.

圖5 圖1中10幅紙幣圖像經(jīng)過旋轉(zhuǎn)和歸一化后的結(jié)果

在把圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)之前，需要對10幅圖像進(jìn)行篩選，選擇紙幣在哪種光源照射下所采集的紙幣圖像對紙幣的臟污等級影響較大，哪種影響小.剔除影響小的紙幣圖像，既可以減少卷積神經(jīng)網(wǎng)絡(luò)輸入層的維數(shù)，也可以避免其對輸出結(jié)果產(chǎn)生不穩(wěn)定的影響.本文方法是把訓(xùn)練樣本中的每一張紙幣的10幅圖像進(jìn)行旋轉(zhuǎn)和歸一化處理，然后分別對5類紙幣圖像進(jìn)行計算.以很新這一類為例，我們把很新這一類里的所有紅光反射正面圖像的取平均，會得到一幅紅光反射正面圖像的平均值圖像.其它9幅圖像按照相同的方法同樣可以得到相應(yīng)的平均值圖像.這樣在很新這個類里，可以得到10幅平均值圖像.使用相同的方法依次對其它四類進(jìn)行計算，最終我們可以獲得50副平均值圖像.然后對這50副圖像分別進(jìn)行垂直投影，就會得到相應(yīng)的垂直投影曲線.圖6是把5類中相同方向、相同光源的曲線進(jìn)行對比.從圖4中可以看出(a)正面紅光反射、(b)反面紅光反射、(c)正面紅外光反射、(d)反面紅外光反射，這4種曲線圖中五類臟污紙幣的曲線相互摻雜在一起，根本無法區(qū)分這五類.而(e)正面綠光反射、(f)反面綠光反射、(g)正面藍(lán)光反射、(h)反面藍(lán)光反射這幾幅圖像能夠明顯的區(qū)分出五類臟污紙幣，同時也會發(fā)現(xiàn)藍(lán)光反射區(qū)分會更容易一些.(i)綠光透射和(j)紅外光透射不能很好地區(qū)分舊和很舊，但是對于區(qū)分其它幾類，效果也非常明顯.因此我們最終選擇綠光反射正面圖像、綠光反射反面圖像、藍(lán)光反射正面圖像、藍(lán)光反射反面圖像、綠光透射圖像和紅外光透射圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入.

圖6 五類平均值對比

本文采用MSE最小平方誤差作為損失函數(shù)，訓(xùn)練后的缺失度曲線如圖7所示.

4 結(jié)束語

本文針對如何精準(zhǔn)的識別紙幣的臟污設(shè)計了一種基于卷積神經(jīng)網(wǎng)絡(luò)的識別方法，使用接觸式圖像傳感器采集紙幣在紅光、綠光、藍(lán)光、紅外光下的雙面反射圖像，同時也采集紙幣在綠光透射和紅外光透射下的圖像.通過使用圖像處理的方法把紙幣圖像提取出來，然后分析不同臟污等級的紙幣在各種光源照射下所形成的圖像，最終決定把哪種光源的紙幣圖像輸入到卷積神經(jīng)網(wǎng)絡(luò).我們把已經(jīng)分類好的訓(xùn)練樣本和測試樣本通過上述方式處理，會得到紙幣圖像的訓(xùn)練樣本和測試樣本.使用訓(xùn)練樣本對我們設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，就會得到我們所需要的紙幣臟污識別分類器.然后使用測試樣本在這個分類器上進(jìn)行測試，會得到我們訓(xùn)練的分類器的識別效果.測試結(jié)果表明我們所設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)分類器對于識別紙幣臟污的準(zhǔn)確性非常高.然而，由于采用的算法比較復(fù)雜，在實(shí)際生產(chǎn)中，實(shí)時性無法保障.因此，在作者日后的工作中，將重點(diǎn)放在提升算法的準(zhǔn)確率和實(shí)時性方面.

圖7 訓(xùn)練后的缺失曲線