深度學(xué)習(xí)框架Caffe在圖像分類中的應(yīng)用

王茜，張海仙（四川大學(xué)計算機學(xué)院，成都　610065）

深度學(xué)習(xí)框架Caffe在圖像分類中的應(yīng)用

王茜，張海仙
（四川大學(xué)計算機學(xué)院，成都610065）

0　引言

在深度學(xué)習(xí)概念的提出以及GPU被用于科學(xué)計算之前，大型神經(jīng)網(wǎng)絡(luò)幾乎鮮有問津。究其原因，其一，深度神經(jīng)網(wǎng)絡(luò)面臨著由梯度消失和過擬合等原因?qū)е碌挠?xùn)練困難的問題。其二，大型神經(jīng)網(wǎng)絡(luò)動輒百萬甚至千萬級的參數(shù)數(shù)量不僅令人生畏，而且面臨著訓(xùn)練周期以周甚至月為單位計量的尷尬局面。深度學(xué)習(xí)的提出在很大程度上解決了梯度消失和過擬合的問題。而GPU計算平臺被直接用于科學(xué)計算能極大地提高數(shù)據(jù)的計算速度。GPU用于科學(xué)計算主要以NVIDIA（英偉達）公司的CUDA框架為底層系統(tǒng)，在此基礎(chǔ)上，科研人員開發(fā)出了眾多的深度學(xué)習(xí)開源框架，例如Caffe、Theano、Torch、CXXNet、MXNet等，Caffe是其中較為成熟和完善的一個深度學(xué)習(xí)框架。在Caffe的基礎(chǔ)上，NVIDIA公司進一步推出了Digits系統(tǒng)，Digits系統(tǒng)提供簡單易用的Web頁面對Caffe進行了包裝，使深度學(xué)習(xí)在圖像分類中的應(yīng)用變得更加簡單輕便。

印章是國內(nèi)應(yīng)用最廣泛的簽章設(shè)備，由于印章具有重要的作用，其仿造成本又極為低廉，不少不法分子制販假章，偽造的印章層出不窮，給社會帶來了巨大的負面影響。因此，對印章圖像的快速識別和精準鑒定已成為當今重要的研究課題。傳統(tǒng)的印章鑒別方法主要依靠人工對兩幅印章圖樣進行對比，但人工對比有很多缺陷，第一，印章識別準確率無法保證，達不到實用要求，第二，實際情況復(fù)雜，限制條件較多、適應(yīng)性弱。第三，使用不夠便捷[1]。因此，對印章的自動化識別和鑒定具有重要的應(yīng)用價值。

由于印章類型多種多樣，對印章的自動識別第一步便是對印章的章型進行識別。本文將采用深度學(xué)習(xí)的開源框架Caffe完成印章類型的自動識別。

1　算法設(shè)計

1.1算法流程

在進行印章類型識別時，首先需要通過掃描儀等圖像輸入設(shè)備采集印章圖像，采集到圖像后要將先將待識別的印文從圖像中的目標區(qū)域提取出來以排除背景及噪聲的干擾。緊接著對提取出的目標印文進行一定的預(yù)處理。由于前饋式神經(jīng)網(wǎng)絡(luò)要求輸入圖像大小固定，因此首先要對圖像進行縮放使之大小固定。最后，將歸一化后的印文圖像傳入神經(jīng)網(wǎng)絡(luò)模型進行分類。

如圖1所示，算法主要包含四個步驟。

①從掃描儀或其他設(shè)備輸入含有待識別印文的文檔圖像。

②從文檔圖像中提取出待識別印文，這一步我們采用脈沖耦合神經(jīng)網(wǎng)絡(luò) （PCNN，Pulse Coupled Neural Network）燃燒的技術(shù)實現(xiàn)對印文的提取[2]。

③對提取到的印文進行預(yù)處理，在這一步中我們將印文圖像歸一化，統(tǒng)一縮放為大小等于128×128的圖像。

④章型識別，我們采用前饋式神經(jīng)網(wǎng)絡(luò)來實現(xiàn)對輸入圖像的分類。

圖1　算法流程

1.2模型設(shè)計

我們采用兩種不同的網(wǎng)絡(luò)結(jié)構(gòu)進行實驗，如圖2所示，圖中（a）是著名的LeNet結(jié)構(gòu)圖，（b）是一個簡單的四層前饋式神經(jīng)網(wǎng)絡(luò)。

LeNet由Yan LeCun等人于1998年提出，在手寫數(shù)字的識別上有極高的準確率[3]。該網(wǎng)絡(luò)采用兩個卷積層、兩個池化層以及兩個全連接層。輸入層大小為128×128，第一個卷積層窗口大小為5×5，有20個過濾器共生成20張?zhí)卣鲌D，第二個卷積層窗口大小為5× 5，50個過濾器共生成50張?zhí)卣鲌D，兩個池化層窗口大小均為2，第一個全連接層共有500個神經(jīng)元，第二個全連接層共有6個神經(jīng)元，最后輸出層采用Softmax函數(shù)作為損失函數(shù)。

圖（b）中的模型采用的是一個簡單的四層前饋式神經(jīng)網(wǎng)絡(luò)，輸入層大小為128×128，第一個隱層神經(jīng)元個數(shù)為100，第二個隱層神經(jīng)元個數(shù)為50，輸出層共有6個神經(jīng)元，最后同樣采用Softmax函數(shù)作為損失函數(shù)。各層內(nèi)的激活函數(shù)均為Sigmoid函數(shù)。

圖2　網(wǎng)絡(luò)結(jié)構(gòu)圖

2　實驗

現(xiàn)有的標準章型共分六類，分別為單位公章、發(fā)票專用章、合同專用章、法人名章、財務(wù)專用章及其他章型，標準章型如圖3所示：

圖 3 標準章型示意圖[4]

實驗采用的數(shù)據(jù)為600張印章圖像，6類印章每類各100張圖像。每類訓(xùn)練數(shù)據(jù)各90個共計540張，驗證數(shù)據(jù)各10張共計60張。

實驗結(jié)果如圖4所示，圖中（a）為LeNet模型的訓(xùn)練結(jié)果，在一個Epoch之后網(wǎng)絡(luò)便收斂，在驗證集上取得了100%的分類精度。圖中（b）為四層前饋式神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練結(jié)果，在5個Epoch之后網(wǎng)絡(luò)也得到收斂，在驗證集上同樣取得了100%的分類精度。

圖4　網(wǎng)絡(luò)訓(xùn)練過程及驗證結(jié)果

為考察網(wǎng)絡(luò)的運行狀況，我們將給出測試樣本在LeNet網(wǎng)絡(luò)中各層的激活情況，如圖5所示，圖中顯示了輸入圖像經(jīng)過各層神經(jīng)元變換后的輸出圖像，最后得到前五個降序排列屬于各類別的概率。

3　結(jié)語

隨著技術(shù)的發(fā)展，越來越多的深度學(xué)習(xí)開源框架展現(xiàn)在我們面前，這些工具不僅性能優(yōu)異而且使用便捷。對先進的GPU計算平臺的利用，大大提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，更為重要的是，使用這些框架訓(xùn)練得到的模型可以直接高效地部署到工業(yè)應(yīng)用中，這必將推動深度學(xué)習(xí)在各方面的應(yīng)用。本文將深度學(xué)習(xí)框架Caffe應(yīng)用于印章類型的識別中，分別采用了兩個不同的網(wǎng)絡(luò)模型進行分類，實驗證明，在印章章型分類問題上均具有相當高的分類精度。

圖5　測試樣例在LeNet網(wǎng)絡(luò)中的逐層變換

[1]郭泉.稀疏表達及其在圖像處理中的應(yīng)用[D].四川大學(xué),2013.

[2]尚利峰.脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用[D].電子科技大學(xué),2007.

[3]Lecun Y,Bottou L,Bengio Y,et al.Gradient-Based Learning Applied to Document Recognition[J].Proceedigs of the IEEE,1998,86 （11）:2278-2324.

[4]高振濤.判別自動編碼機在分類問題中的應(yīng)用[D].四川大學(xué),2015.

Deep Learning;Caffe Framework;Seal Type Recognition

Application of Deep Learning Framework Caffe in Image Classification

WANG Xi，ZHANG Hai-xian

（College of Computer Science,Sichuan University,Chengdu 610065）

國家自然科學(xué)基金資助項目（61303015）、四川省科技計劃項目（No.2014GZ0005-5）

1007-1423（2016）05-0072-05

10.3969/j.issn.1007-1423.2016.05.016

王茜（1990-），女，四川眉山人，在讀碩士研究生、研究方向為機器智能、電子郵箱

張海仙（1980-），女，河南鄧州人，博士研究生，副教授，研究方向為機器智能

2015-12-24

2016-01-15

2006年深度學(xué)習(xí)的提出為機器學(xué)習(xí)領(lǐng)域帶來新的革命，深度學(xué)習(xí)的成功不僅依賴于理論和模型上的突破，也離不開大數(shù)據(jù)環(huán)境下的海量訓(xùn)練樣本以及不斷革新的先進計算技術(shù)。在GPU被應(yīng)用于科學(xué)計算之前，神經(jīng)網(wǎng)絡(luò)特別是大型神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間往往令人生畏。GPU特別適應(yīng)于并行計算的特性給神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度帶來數(shù)十倍的提升。開源的GPU計算框架也不斷地推陳出新，推動深度學(xué)習(xí)在各方面的應(yīng)用，Caffe就是其中的一種。由于簡單易用、性能強大，Caffe框架受到了廣泛的認可。利用Caffe框架對印章類型進行識別，所采用的兩種模型都取得極好的實驗效果，對印章的自動識別提供新的參考。

深度學(xué)習(xí)；Caffe框架；章型識別

The proposal of deep learning in 2006 brought a revolution to the field of machine learning.Huge amount of available training data and new computational techniques lie in the key position of deep learning’s success.GPU has the very feature of parallel computation,and this feature can speed up the training of neural networks by a factor of more than 40.Many open source frameworks of GPU computation have been proposed during the years.Among them,Caffe is one of good reputation for its many merits.Utilizes the Caffe Framework for the task of Seal type recognition,both models used have shown very good performance.