基于深度學(xué)習(xí)的銀行卡號(hào)識(shí)別研究與應(yīng)用

劉 成，李正輝，高基豪

（鄭州鐵路職業(yè)技術(shù)學(xué)院，河南鄭州450000）

人類對(duì)外界信息的認(rèn)識(shí)及感知，最基本來自于視覺，因此對(duì)視覺信息的搜集與處理，一直是人類認(rèn)識(shí)世界、認(rèn)識(shí)規(guī)律的重要手段[1]。人工智能技術(shù)，通過對(duì)視覺信息的采集，對(duì)圖形圖像信息做科學(xué)的篩選、比對(duì)并分析，然后經(jīng)過算法（深度學(xué)習(xí)）、理解和思考之后，將真實(shí)的現(xiàn)實(shí)內(nèi)容呈現(xiàn)在計(jì)算機(jī)中[2]。

隨著人工智能、深度學(xué)習(xí)技術(shù)的發(fā)展，人工智能技術(shù)在視覺領(lǐng)域方面的應(yīng)用日益突出，得到了廣泛的關(guān)注和研究[3]。尤其是隨著電子商務(wù)的興起，手機(jī)支付已成為主要的支付方式之一，在移動(dòng)終端上快速準(zhǔn)確地識(shí)別出銀行卡號(hào)，完成銀行卡與移動(dòng)支付方式的綁定也成為了研究的熱點(diǎn)。本文將使用基于深度學(xué)習(xí)的視覺識(shí)別技術(shù)，拓展現(xiàn)有的光學(xué)識(shí)別（OCR）銀行卡號(hào)系統(tǒng)，解決目前卡號(hào)識(shí)別速度慢、效率低等問題，實(shí)現(xiàn)卡號(hào)的快速和準(zhǔn)確識(shí)別[4-5]。

1 數(shù)據(jù)集制作

一般而言，對(duì)于常用的光學(xué)識(shí)別需要對(duì)圖片進(jìn)行預(yù)處理，包括灰度化、二值化、邊緣檢測(cè)、輪廓提取、歸一化的處理，得到圖片進(jìn)行識(shí)別[6]。而基于深度學(xué)習(xí)的銀行卡識(shí)別是在原來光學(xué)識(shí)別預(yù)處理的基礎(chǔ)上，對(duì)處理過后的圖片制作數(shù)據(jù)集。

原始數(shù)據(jù)集只有1084 張圖片，為了提高模型準(zhǔn)確性，使用數(shù)據(jù)增強(qiáng)技術(shù)。由于對(duì)圖片的過度旋轉(zhuǎn)以及對(duì)稱處理會(huì)改變圖片本質(zhì)，這里采用的數(shù)據(jù)增強(qiáng)方式主要是對(duì)圖片數(shù)據(jù)的亮度、飽和度、對(duì)比度進(jìn)行隨機(jī)變化，以及對(duì)圖片加模糊和加噪聲，共生成了8萬(wàn)張圖片，用以輔助訓(xùn)練，同時(shí)對(duì)照片進(jìn)行了小角度的隨機(jī)翻轉(zhuǎn)。

2 銀行卡號(hào)定位檢測(cè)

2.1 CTPN 網(wǎng)絡(luò)介紹

對(duì)于復(fù)雜場(chǎng)景的文字識(shí)別，首先要定位文字的位置，即文字檢測(cè)，深度學(xué)習(xí)框架CTPN 網(wǎng)絡(luò)應(yīng)運(yùn)而生，CTPN 算法結(jié)合了CNN 與LSTM深度網(wǎng)絡(luò)，能有效地檢測(cè)出復(fù)雜場(chǎng)景下橫向分布的不定長(zhǎng)文字[7]，如圖1所示，是測(cè)試集中隨機(jī)選取的銀行卡定位效果。從圖中可以看出，利用CTPN 算法可以將銀行卡中的文字圈出，不超過兩行。

圖1 建設(shè)銀行文本檢測(cè)結(jié)果圖

由于CTPN 網(wǎng)絡(luò)是基于Faster R- CNN 改進(jìn)而來，其基本結(jié)構(gòu)和Faster R- CNN 結(jié)構(gòu)類似，F(xiàn)aster R- CNN網(wǎng)絡(luò)在2016 年被提出，經(jīng)過R- CNN 和Fast RCNN的積淀，Ross B.Girshick 提出了新的Faster RCNN，在結(jié)構(gòu)上，F(xiàn)aster R- CNN 已經(jīng)將特征抽取（Feature，Extraction）、Proposa 提 取、Bounding box Regression（Rect，Refine）、Classification 都整 合 在 了 一個(gè) 網(wǎng) 絡(luò)中，使得綜合性能有較大提高，在檢測(cè)速度方面尤為明顯[8]。Faster R- CNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。Faster R- CNN 網(wǎng)絡(luò)主要有四個(gè)方面的內(nèi)容：

圖2 Faster R- CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

1）Conv Layers：作為一種CNN 網(wǎng)絡(luò)目標(biāo)檢測(cè)方法，F(xiàn)aster R- CNN 首先使用一組基礎(chǔ)的Conv + Relu+ Pooling 層提取Image 的Feature Maps。該Feature Maps 被共享用于后續(xù)RPN 層和全連接層。

2）Region Proposal Networks：RPN 網(wǎng)絡(luò)用于生成Region Proposals。該層通過Softmax 判斷Anchors 屬于Foreground 或者Background，再利用Bounding Box Regression 修正Anchors 獲得精確的Proposals[9]。

3）RoI Pooling：該層收集輸入的Feature Maps 和Proposals， 綜合這些信息后提取Proposal Feature Maps，送入后續(xù)全連接層判定目標(biāo)類別[10]。

4）Classification：利用Proposal Feature maps 計(jì)算Proposal 的類別，同時(shí)再次Bounding Box Regression獲得檢測(cè)框最終的精確位置。

通過上述步驟，獲得目標(biāo)的檢測(cè)位置和所屬類別，銀行卡號(hào)識(shí)別屬于文本檢測(cè)，有別于普通的目標(biāo)檢測(cè)，文本檢測(cè)可以看成是特殊的目標(biāo)檢測(cè)，在通用目標(biāo)檢測(cè)中，每個(gè)目標(biāo)都有定義好的邊界框，檢測(cè)出的Box 與當(dāng)前目標(biāo)的Groundtruth 重疊率大于0.5 就表示該檢測(cè)結(jié)果正確。文本檢測(cè)中正確檢出需要覆蓋整個(gè)文本長(zhǎng)度，且評(píng)判的標(biāo)準(zhǔn)不同于通用目標(biāo)檢測(cè)，文字檢測(cè)主要是Wolf 標(biāo)準(zhǔn)，而物體檢測(cè)對(duì)邊界的要求不高，一般IOU 大于0.7 即可，場(chǎng)景文字檢測(cè)有明顯的序列特征，而物體檢測(cè)沒有這些特征，和物體檢測(cè)相比，場(chǎng)景文字檢測(cè)含有更多的小尺寸的物體。

針對(duì)以上特點(diǎn)，CTPN 相較于Faster R- CNN 做了許多優(yōu)化：在CTPN 中使用更符合場(chǎng)景文字檢測(cè)特點(diǎn)的錨點(diǎn)；針對(duì)錨點(diǎn)的特征使用新的損失函數(shù)；改進(jìn)了RPN,Anchor 產(chǎn)生的Window 的寬度固定為3；RPN 后面不是直接接全連接+ 分類/ 回歸，而是通過一個(gè)LSTM 再接全連接層，RNN（雙向LSTM）的引入用于處理場(chǎng)景文字檢測(cè)中存在的序列特征，如在銀行卡定位中，由于不同的銀行卡卡號(hào)位數(shù)不同導(dǎo)致出現(xiàn)不定長(zhǎng)字符，然而RNN 具有處理字符序列問題，在傳統(tǒng)CNN 提取圖像特征后，送入RNN 網(wǎng)絡(luò)處理；Side-Refinement 的引入進(jìn)一步優(yōu)化文字區(qū)域。

2.2 CTPN 定位步驟

假設(shè)圖片大小為C×H×W，輸入為N 張：

1）利用VGG16 網(wǎng)絡(luò)作為特征提取層，得到Conv5_3 的特征作為Feature Map，大小是W×H×C。

2）在Feature Map 上做滑窗，窗口大小是3×3,也就是每個(gè)窗口都能得到一個(gè)長(zhǎng)度為3×3×C 的特征向量,這個(gè)特征向量將用來預(yù)測(cè)和10 個(gè)Anchor 之間的偏移距離，每一個(gè)窗口中心都會(huì)預(yù)測(cè)出10 個(gè)Text Propsoal。

3）將上一步得到的特征輸入到一個(gè)雙向的LSTM中，得到長(zhǎng)度為W×256 的輸出，然后接一個(gè)512 的全連接層，準(zhǔn)備輸出。

4）經(jīng)過“FC”卷積層，變?yōu)榈奶卣鳌?/p>

3 銀行卡號(hào)識(shí)別

3.1 DenseNet 網(wǎng)絡(luò)介紹

卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺物體識(shí)別上優(yōu)勢(shì)顯著，典型的模型有：LeNet5，VGG,Highway Network，Residual Network。一般卷積深度越深則效果越好，但隨著卷積深度的增加也會(huì)面臨梯度彌散的問題，即經(jīng)過卷積層數(shù)越多，前面的信息就會(huì)漸漸減弱和消散。雖然目前已有很多措施去解決以上困境，如Highway Network、Residual Network 通過前后兩層的殘差鏈接使信息盡量不丟失。但這些措施都有一個(gè)共性：都是在前一層和后一層中建立一個(gè)短連接，無法很好地使信息在整個(gè)網(wǎng)絡(luò)保持。DenseNet 網(wǎng)絡(luò)相較于其他網(wǎng)絡(luò)而言，是一種全新的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)中的每層都與該層之前的所有層相連，即每層的輸入是前面所有層的輸出的合并。這樣的結(jié)構(gòu)將需要更少的參數(shù)，減少中間變量，也增強(qiáng)了前向或后向計(jì)算時(shí)信息的完整性，進(jìn)而達(dá)到更好的識(shí)別效果。圖3 是DnseNet 結(jié)構(gòu)圖。因此，可利用DenseNet 網(wǎng)絡(luò)實(shí)現(xiàn)銀行卡號(hào)的識(shí)別。由于每個(gè)銀行卡樣式不一，卡號(hào)的整體長(zhǎng)度也不一致，為處理不定長(zhǎng)的字符，使用了CTC 損失函數(shù)。

圖3 Densenet 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 模型訓(xùn)練

整個(gè)模型訓(xùn)練是在Linux 環(huán)境下進(jìn)行，使用Python 3 語(yǔ)言與Keras 框架實(shí)現(xiàn)，并利用GPU 加速模型訓(xùn)練過程。在沒有使用數(shù)據(jù)增強(qiáng)技術(shù)時(shí)，訓(xùn)練原始數(shù)據(jù)集100 個(gè)Epoch 后，得到如圖4、圖5 所示曲線。

圖4 訓(xùn)練集的正確率曲線圖（橫坐標(biāo)為樣本數(shù)，縱坐標(biāo)為訓(xùn)練集正確率）

圖5 驗(yàn)證集的正確率曲線圖（橫坐標(biāo)為樣本數(shù)，縱坐標(biāo)為驗(yàn)證集正確率）

通過上圖，可得原始數(shù)據(jù)訓(xùn)練集的正確率在90%左右，驗(yàn)證集的準(zhǔn)確率在80%左右，很明顯這是遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的工業(yè)化部署要求。因此，通過數(shù)據(jù)增強(qiáng)之后得到訓(xùn)練集約8 萬(wàn)張，按照二八原則，80%為訓(xùn)練集，20%為測(cè)試集，訓(xùn)練100 個(gè)Epoch 后，得到如圖6、圖7 所示曲線。

圖6 數(shù)據(jù)增強(qiáng)- 訓(xùn)練集Acc 曲線圖（橫坐標(biāo)為樣本數(shù)，縱坐標(biāo)為數(shù)據(jù)增強(qiáng)訓(xùn)練集正確率）

圖7 數(shù)據(jù)增強(qiáng)- 驗(yàn)證集Loss 曲線圖（橫坐標(biāo)為樣本數(shù)，縱坐標(biāo)為數(shù)據(jù)增強(qiáng)驗(yàn)證集損失值）

通過曲線圖可以很清楚地看出，在使用數(shù)據(jù)增強(qiáng)技術(shù)之后，訓(xùn)練集的準(zhǔn)確率達(dá)到了99%左右，驗(yàn)證集也達(dá)到了99%左右，模型的訓(xùn)練效果較好，在測(cè)試集中，模型準(zhǔn)確率達(dá)到100%，因此可認(rèn)為模型具有較強(qiáng)的泛化能力，能夠快速準(zhǔn)確地識(shí)別銀行卡卡號(hào)。

4 結(jié)論

在模型都訓(xùn)練結(jié)束之后，對(duì)其識(shí)別結(jié)果進(jìn)行了可視化展示，選擇識(shí)別字體概率最大的框進(jìn)行輸出，也就是卡號(hào)，具有良好的用戶交互式界面，方便用戶操作。效果如圖8 所示。

圖8 銀行卡號(hào)識(shí)別結(jié)果圖

本文主要介紹了基于深度學(xué)習(xí)的銀行卡卡號(hào)識(shí)別，包括了數(shù)據(jù)集的制作、卡號(hào)文本的定位及模型訓(xùn)練與驗(yàn)證，并著重介紹了CTPN 網(wǎng)絡(luò)算法，為銀行卡卡號(hào)文本檢測(cè)提供了一種有效方法，通過深度學(xué)習(xí)網(wǎng)絡(luò)DenseNet 進(jìn)行模型訓(xùn)練使其達(dá)到了應(yīng)用級(jí)別，極大地提高識(shí)別的效率和正確率。