基于深度學習的離線手寫簽名真?zhèn)巫R別方法

胥玉龍　張永梅　滑瑞敏

摘要：針對手寫簽名樣本數(shù)據(jù)量少、需要較高準確率的特點，設計了一種基于彈性網(wǎng)格的Gabor特征提取結合卷積神經(jīng)網(wǎng)絡的離線手寫簽名內容識別方法，利用仿射變換擴展數(shù)據(jù)集，基于彈性網(wǎng)格提取Gabor特征，訓練帶有BN層和Dropout層的卷積神經(jīng)網(wǎng)絡進行簽名內容分類。提出了一種LBP特征提取算法結合深度置信網(wǎng)絡的離線手寫簽名真?zhèn)巫R別方法，分塊提取LBP直方圖特征，進行特征合并，訓練由三層受限玻爾茲曼機堆疊而成的深度置信網(wǎng)絡進行簽名真?zhèn)巫R別。實驗結果表明，該方法可以有效提高離線手寫簽名分類和真?zhèn)巫R別的準確率，并減少了過擬合現(xiàn)象的發(fā)生。

關鍵詞：彈性網(wǎng)格;Gabor特征;卷積神經(jīng)網(wǎng)絡;深度置信網(wǎng)絡;離線手寫簽名

中圖分類號：TP391 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）15-0228-05

Abstract： Considering less sample data quantity and higher accuracy in handwritten signature， design an off-line handwritten signature content identification method combined with Gabor feature extraction based on spring mesh and Convolutional Neural Networks （CNN）. The data sets are extended by affine transformation， Gabor features are extracted based on spring mesh， and CNN with the BN layer and the Dropout layer is trained for signature content classification. An LBP feature extraction algorithm in combination with Deep Belief Networks （DBN） offline identification for signature authenticity method is proposed. LBP histogram features are extracted on the block and merged， and the DBN formed by the three-layer Restricted Boltzmann Machines is trained for signature authenticity. The experiment results show the methods can effectively improve the accuracy of off-line handwritten signature classification and authenticity， and reduce the occurrence of overfitting phenomenon.

Key words： spring mesh; Gabor features; Convolutional Neural Networks; Deep Belief Networks; off-line handwritten signature

1 引言

身份鑒別手段，文字書寫具有通用性、獨特性、易獲取等優(yōu)點，因而在用戶中易于推廣普及。20世紀60年代起，研究者開始了簽名認證的研究。Azmi[1]提出一種簽名驗證系統(tǒng)，利用FVeeman鏈碼作為簽名特征表示，共提取了47維，用ANN分類器進行識別。Das[2]使用Gabor濾波技術提取簽名圖像的拓撲特征和統(tǒng)計特征，并通過粗糙集理論的屬性約簡形成簽名識別系統(tǒng)。Hatkar[3]提取圖像的幾何特征，利用神經(jīng)網(wǎng)絡進行分類識別。

本文通過提取簽名圖像結合彈性網(wǎng)格的Gabor特征，輸入卷積神經(jīng)網(wǎng)絡進行訓練，實現(xiàn)對簽名內容的識別。在此基礎上，本文通過對簽名圖像進行局部二值模式LBP變換后提取其灰度直方圖特征，輸入深度置信網(wǎng)絡進行訓練，實現(xiàn)對簽名真?zhèn)蔚蔫b定。

2 離線手寫簽名識別方法

由于神經(jīng)網(wǎng)絡是一種對數(shù)據(jù)量要求較高的分類方法，數(shù)據(jù)量不足會導致過擬合現(xiàn)象的發(fā)生[4，5，6]，而手寫簽名樣本往往具有數(shù)據(jù)量少、需要實時分類的特點[7，8]。因此為了減少過擬合現(xiàn)象的發(fā)生，本文引入仿射變換來擴充訓練集，并在設計網(wǎng)絡時引入Dropout方法進一步優(yōu)化網(wǎng)絡性能。本文在進行簽名內容識別時采用彈性網(wǎng)格劃分技術來避免不同樣本數(shù)據(jù)的筆畫位置不穩(wěn)定、字形變形等干擾因素，采用了與人類視覺系統(tǒng)中簡單細胞的視覺刺激響應非常相似的Gabor濾波器來提取紋理特征;在進行簽名真?zhèn)巫R別時，采用了在灰度范圍內非常有效的紋理描述算子LBP（Local binary pattern， LBP）和灰度共生矩陣提取紋理特征。圖1給出了本文總體技術路線。

2.1離線手寫簽名特征提取方法

在傳統(tǒng)手寫漢字簽名識別研究中，特征提取特別重要，所提取特征是否穩(wěn)定且能很好地表達所屬類別，將直接關系到訓練和識別的準確率。網(wǎng)格特征是字符識別中常用的特征之一，可以通過統(tǒng)計漢字某一區(qū)域內特征的總和，來削弱局部干擾。網(wǎng)格的劃分可分為均勻網(wǎng)格和彈性網(wǎng)格。其中，均勻網(wǎng)格是根據(jù)網(wǎng)格的大小，將漢字簽名圖像均勻地劃分為若干個固定大小的子網(wǎng)格;而彈性網(wǎng)格則根據(jù)漢字簽名圖像的像素點分布情況動態(tài)確定網(wǎng)格線的位置，以適應手寫漢字簽名的筆畫書寫變形。彈性網(wǎng)格對字符位置偏移、扭曲更加不敏感，是目前采用最多的網(wǎng)格結構。

上述步驟中的批量歸一化處理，實現(xiàn)了在神經(jīng)網(wǎng)絡層的中間進行預處理的操作，即在上一層的輸入歸一化處理后再進入網(wǎng)絡的下一層，這樣可有效防止“梯度彌散”，加速網(wǎng)絡訓練。在卷積神經(jīng)網(wǎng)絡中進行批量歸一化時，一般對未進行ReLu激活的特征圖進行批量歸一化，輸出后再作為激勵層的輸入，可達到調整激勵函數(shù)偏導的作用。并且在BN層中，在每一個神經(jīng)元維度上，都有自己的參數(shù)，它們與該網(wǎng)絡的權重一樣可以通過訓練進行優(yōu)化。

本文網(wǎng)絡的激活函數(shù)采用了Relu函數(shù)。傳統(tǒng)卷積神經(jīng)網(wǎng)絡中激活函數(shù)一般選擇 Sigmoid 函數(shù)或 Tanh 函數(shù)，這兩個函數(shù)曾是卷積神經(jīng)網(wǎng)絡的核心所在。后來研究人員引入了線性糾正函數(shù)（Relu）作為隱藏層的激活函數(shù)。對于深層網(wǎng)絡，由于Sigmoid或者Tanh函數(shù)在接近飽和區(qū)時變化緩慢，導數(shù)趨于0，所以在反向傳播時，很容易會出現(xiàn)梯度彌散現(xiàn)象，從而無法完成深度網(wǎng)絡的訓練。而Relu在大于0的部分，導數(shù)為其本身，能很好地適應深層網(wǎng)絡的訓練，并且有助于加速網(wǎng)絡的收斂。

Relu函數(shù)是從仿生學的角度，模擬大腦神經(jīng)元接收信號更精確的激活模型。相比于Sigmoid函數(shù)，Relu函數(shù)主要具有以下三個特點：單側抑制、相對寬闊的興奮邊界、稀疏激活性。

本文還通過在網(wǎng)絡中引入Drouout技術來減少過擬合現(xiàn)象。Dropout技術是指在模型訓練過程中隨機地使網(wǎng)絡的某些隱層節(jié)點的權重失效，此時這些節(jié)點的權重仍然存在，但是可以看作是不屬于當前網(wǎng)絡，不參與網(wǎng)絡訓練。這樣，每一次訓練樣本進入網(wǎng)絡，網(wǎng)絡結構其實都可以看作不一樣，但網(wǎng)絡結構又是彼此共享權值。而且，通過Dropout這種方法，可以避免一種特征必須依賴另一種特征存在而存在的現(xiàn)象。測試時，并不抑制隱藏層神經(jīng)元，而是對所有的隱藏層神經(jīng)元的輸出值乘上一個乘性因子，這也進一步體現(xiàn)了模型平均的思想。

本文綜合使用上述技術設計的卷積神經(jīng)網(wǎng)絡，能夠在一定程度上有效地降低過擬合所帶來的影響，提高識別的準確率，達到一個較為理想的識別水平。

深度置信網(wǎng)絡采用了監(jiān)督學習和無監(jiān)督學習相結合的方法對數(shù)據(jù)進行訓練，即先用部分無標簽數(shù)據(jù)訓練模型，使模型中隱層參數(shù)能得到較好的初始值，然后再用部分有標簽的數(shù)據(jù)對模型進行微調，可以使模型達到最優(yōu)解，而不會像其他深度學習模型一樣容易陷入局部最優(yōu)解。本文在鑒別簽名真?zhèn)螘r使用了深度置信網(wǎng)絡作為分類器。

由于本文在進行簽名真?zhèn)巫R別時所提取到的LBP特征是一系列直方圖特征，即特征中的每個元素都是一維像素點數(shù)，所以在選取分類器時沒有采用能夠保持圖像結構信息的卷積神經(jīng)網(wǎng)絡，而相比其他深度學習神經(jīng)網(wǎng)絡，深度置信網(wǎng)絡具有結構簡單，方便易行，符合人腦的認知推理過程等優(yōu)點，而且本文所提取到的LBP特征維數(shù)很高，可以充分利用深度置信網(wǎng)絡良好的降維能力，故在簽名真?zhèn)舞b別階段使用了深度置信網(wǎng)絡作為分類器。

本文設計的DBN包含三層RBM，輸入層為24480維，三層隱層均為800維，將鑒定簽名真?zhèn)嗡枰奶卣飨蛄浚╗12×255×8=24480]維）作為訓練數(shù)據(jù)輸入上述深度置信網(wǎng)絡后，經(jīng)過充分訓練，對簽名真?zhèn)闻袛嗟臏蚀_率較高。

訓練數(shù)據(jù)經(jīng)神經(jīng)網(wǎng)絡分類訓練后，可以先對測試數(shù)據(jù)中的簽名圖像進行內容識別，識別結果判斷出該簽名所屬簽名人，再從訓練集中取出該簽名人的全部真?zhèn)魏灻M行另一個神經(jīng)網(wǎng)絡訓練，對該簽名的真?zhèn)芜M行預測。訓練界面如圖6所示，在訓練界面可以選擇訓練數(shù)據(jù)集，選好后點擊“開始訓練”按鍵將自動進行訓練，并將訓練過程顯示在“開始訓練”按鍵下的文本框內。完成訓練后點擊“進行預測”按鍵進入圖7所示的簽名識別界面，在簽名識別界面可以選擇測試簽名圖像進行識別，點擊“識別結果”按鍵顯示簽名內容的識別結果，點擊“鑒定真?zhèn)巍憋@示簽名真?zhèn)蔚淖R別結果。實驗結果表明，本文的簽名內容識別，以及簽名真?zhèn)巫R別平均準確率分別為89.6%、82.76%，準確率較高。

3 結論

手寫簽名識別在信用卡身份檢查、機場登機身份驗證等安全檢查方面應用廣泛，并以其安全性高、實現(xiàn)簡單且不會丟失遺忘等特點，成為身份認證中的常用技術。本文主要研究了離線手寫簽名識別技術，深入分析了離線手寫簽名應用中常用到的特征提取和分類器設計技術，實現(xiàn)了識別率較高的簽名分類鑒別和真?zhèn)舞b別。利用從簽名圖像中提取的基于彈性網(wǎng)格的Gabor特征輸入卷積神經(jīng)網(wǎng)絡進行訓練分類，對簽名內容進行識別，再利用對簽名圖像分塊提取LBP直方圖特征，將特征整合，對識別的該簽名所屬類進行訓練生成新的DBN真?zhèn)舞b別網(wǎng)絡，對該簽名的真?zhèn)芜M行鑒別。實驗結果表明，本文的簽名內容識別，以及簽名真?zhèn)巫R別方法準確率較高。

參考文獻：

[1] Azmi A N， Nasien D. Freeman chain code （FCC） representation in signature fraud detection based on nearest neighbour and artificial neural network （ANN） classifiers[J]. International Journal of Image Processing （IJIP）， 2014，8（6）：434-434.

[2] ?Das S， Roy A. Signature Verification Using Rough Set Theory Based Feature Selection[M]. Springer India， 2016：153-161.

[3] ?Hatkar P V， Salokhe B T， Malgave A A. Offline handwritten signature verification using neural network[J]. Methodology， 2015，2（1）：1-5.

[4] 周紅麗，鄒建成.一種基于直方圖的圖像簽名方法[J]. 北方工業(yè)大學學報，2008，20（1）：9-12.

[5] 林俊杰，王崇文，段程浩，等. 基于智能移動終端的動態(tài)簽名識別[J].北京理工大學學報，2014，34（7）：701-704.

[6] 王洪革，宋曉雪，潘石.基于信息熵的靜態(tài)手寫漢字簽名鑒定研究[J].計算機應用與軟件，2013，30（1）：99-102.

[7] 王星， 鄭湙彬，朱楓怡，等.基于非參數(shù)回歸和卷積神經(jīng)網(wǎng)絡的在線手寫簽名身份認證模型研究[J].數(shù)理統(tǒng)計與管理，2018，37（4）：610-622.

[8] 張瀛.基于統(tǒng)計方法的神經(jīng)網(wǎng)絡預測模型研究[J].數(shù)理統(tǒng)計與管理，2016，35（1）：89-97.

【通聯(lián)編輯：王力】