卷積神經(jīng)網(wǎng)絡(luò)中減少訓(xùn)練樣本時(shí)間方法研究

范青

摘要：深度學(xué)習(xí)在人工智能尤其是在圖像處理，圖像分類方面的應(yīng)用越來(lái)越廣泛。其中卷積神經(jīng)網(wǎng)絡(luò)在其中具有重要地位。本文的主要目的為探究通過調(diào)整在網(wǎng)絡(luò)中卷積過程所使用的濾波器大小，在保證分類結(jié)果準(zhǔn)確率可接受情況下，盡量減少樣本的訓(xùn)練時(shí)間，并總結(jié)出一套較為通用的濾波器大小設(shè)置規(guī)則。在文章中，通過對(duì)theano中基于lenet模型所構(gòu)造的卷積神經(jīng)網(wǎng)絡(luò)的兩層卷積層中的濾波器大小進(jìn)行不同搭配的設(shè)置，測(cè)試數(shù)據(jù)集為廣泛使用的mnist手寫數(shù)字庫(kù)以及cifar_10庫(kù)，最后對(duì)比探究出適用于這兩個(gè)數(shù)據(jù)集的減少訓(xùn)練時(shí)間的設(shè)置規(guī)律。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像處理；訓(xùn)練時(shí)間

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）33-0167-04

如今在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位，通過模仿人腦學(xué)習(xí)方式構(gòu)造模型，在圖像、文本、語(yǔ)音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型（MLP）[2]，卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機(jī)模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點(diǎn)一般分層排列，主要由輸入層，輸出層和一些隱層組成，同層之間的神經(jīng)元節(jié)點(diǎn)無(wú)連接，相鄰的兩層神經(jīng)元進(jìn)行全連接，前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入，但本身此種算法存在著一些問題，那就是它的學(xué)習(xí)速度非常慢，其中一個(gè)原因就是由于層與層之間進(jìn)行全連接，所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的，所以對(duì)其進(jìn)行改進(jìn)，產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面的應(yīng)用十分廣泛[5，8，9]。從它的結(jié)構(gòu)上來(lái)看，層與層之間的神經(jīng)元節(jié)點(diǎn)采用局部連接模式，而并非MLP的全連接模型，這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中，它的每一個(gè)濾波器作為卷積核重復(fù)作用于整個(gè)輸入圖像中，對(duì)其進(jìn)行卷積，而得出的結(jié)果作為輸入圖像的特征圖[6]，這樣就提取出了圖像的局部特征。而由于每一個(gè)卷積濾波器共享相同的參數(shù)，這樣也就大大降低了訓(xùn)練參數(shù)的時(shí)間成本。而本文，以卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，在其模型的基礎(chǔ)上通過對(duì)其結(jié)構(gòu)中卷積核也就是濾波器的大小進(jìn)行調(diào)整并結(jié)合卷積核個(gè)數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法，達(dá)到降低訓(xùn)練時(shí)間并且對(duì)識(shí)別結(jié)果并無(wú)太大影響的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上，已經(jīng)對(duì)結(jié)構(gòu)進(jìn)行了優(yōu)化，通過層與層之間的局部連接以及權(quán)值共享等方式對(duì)要訓(xùn)練的參數(shù)的進(jìn)行了大幅減低。

1.1局部連接

BP神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元在本層中呈線性排列狀態(tài)，層與層之間進(jìn)行全連接，而在卷積神經(jīng)網(wǎng)絡(luò)中，為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量，對(duì)連接方式進(jìn)行了修改，相對(duì)于BP神經(jīng)網(wǎng)絡(luò)的全連接，卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7]，也就是說按照某種關(guān)聯(lián)因素，本層的神經(jīng)元只會(huì)與上層的部分神經(jīng)元進(jìn)行連接。

2.2 權(quán)值共享

在CNN中，卷積層中的卷積核也就是濾波器，重復(fù)作用在輸入圖像上，對(duì)其進(jìn)行卷積，最后的輸出作為他的特征圖，由于每個(gè)濾波器共享相同的參數(shù)，所以說他們的權(quán)重矩陣以及偏置項(xiàng)是相同的。

我們從上圖看出，相同箭頭連線的權(quán)值是共享的，這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

2.3卷積過程

特征圖是通過濾波器按照特定的步長(zhǎng)，對(duì)輸入圖像進(jìn)行濾波，也就是說我們用一個(gè)線性的卷積核對(duì)輸入圖像進(jìn)行卷積然后附加一個(gè)偏置項(xiàng)，最后對(duì)神經(jīng)元進(jìn)行激活。如果我們?cè)O(shè)第k層的特征圖記為[hk]，權(quán)重矩陣記為[Wk]，偏置項(xiàng)記為[bk]，那么卷積過程的公式如下所示（雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)）：

2.4 最大池采樣

通過了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個(gè)重要的概念那就是最大池采樣方法，它是一種非線性的采樣方法。最大池采樣法在對(duì)減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個(gè)方面：

1 ）它減小了來(lái)自m-1層的計(jì)算復(fù)雜度。

2 ）池化的單元具有平移不變性，所以即使圖像在濾波后有小的位移，經(jīng)過池化的特征依然會(huì)保持不變。

3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時(shí)間的方法

3.1使用GPU加速

本次論文實(shí)驗(yàn)中，使用了theano庫(kù)在python環(huán)境下實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，在lenet手寫數(shù)字識(shí)別模型上進(jìn)行改進(jìn)，由于theano庫(kù)本身支持GPU加速，所以在訓(xùn)練速度上實(shí)現(xiàn)了大幅度的提高。

3.2 數(shù)據(jù)集的預(yù)處理

本次實(shí)驗(yàn)使用的兩個(gè)數(shù)據(jù)集是mnist手寫數(shù)字庫(kù)以及cifar_10庫(kù)

Mnist手寫數(shù)字庫(kù)具有60000張訓(xùn)練集以及10000張測(cè)試集，圖片的像素都為28*28，而cifar_10庫(kù)是一個(gè)用于普適物體識(shí)別的數(shù)據(jù)集，它由60000張32*32像素的RGB彩色圖片構(gòu)成，50000張圖片組成訓(xùn)練集，10000張組成測(cè)試集。而對(duì)于cifar_10數(shù)據(jù)集來(lái)說，由于圖片都是RGB的，所以我們?cè)谶M(jìn)行實(shí)驗(yàn)的時(shí)候，先把其轉(zhuǎn)換為灰度圖在進(jìn)行存儲(chǔ)。由于實(shí)驗(yàn)是在python環(huán)境下運(yùn)行，theano函數(shù)庫(kù)進(jìn)行算法支持，所以我們把數(shù)據(jù)集進(jìn)行處理，此處我們對(duì)使用的數(shù)據(jù)集進(jìn)行了格式化。格式化的文件包括三個(gè)list，分別是訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)。而list中每個(gè)元素都是由圖像本身和它的相對(duì)應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例，我們包含train_set，valid_set，test_set三個(gè)list，每個(gè)list中包含兩個(gè)元素，以訓(xùn)練集為例，第一個(gè)元素為一個(gè)784*60000的二維矩陣，第二個(gè)元素為一個(gè)包含60000個(gè)元素的列向量，第一個(gè)元素的每一行代表一張圖片的每個(gè)像素，一共60000行，第二個(gè)元素就存儲(chǔ)了對(duì)相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗(yàn)證樣本，進(jìn)行相同的格式化，而測(cè)試樣本為沒有經(jīng)過訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象時(shí)，把其進(jìn)行灰度化后，進(jìn)行相同的格式化處理方式。

3.3實(shí)驗(yàn)?zāi)Ｐ徒Y(jié)構(gòu)

本次實(shí)驗(yàn)是在python環(huán)境下基于theano函數(shù)庫(kù)搭建好的lenet模型進(jìn)行參數(shù)的調(diào)整，以達(dá)到在實(shí)驗(yàn)準(zhǔn)確度可接受情況下減少訓(xùn)練時(shí)間的目的。

上圖為實(shí)驗(yàn)中的基礎(chǔ)模型舉例說明實(shí)驗(yàn)過程，首先以mnist數(shù)據(jù)集為例，我們的輸入圖像為一個(gè)28*28像素的手寫數(shù)字圖像，在第一層中我們進(jìn)行了卷積處理，四個(gè)濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說明一下濾波器的大小問題，濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行設(shè)置，舉例說明，假如說我們的輸入圖像為28*28像素的圖像，我們把第一層卷積層濾波器大小設(shè)置為5*5，也就是說我們用一個(gè)大小為5*5的局部滑動(dòng)窗，以步長(zhǎng)為一對(duì)整張圖像進(jìn)行滑動(dòng)濾波，則滑動(dòng)窗會(huì)有24個(gè)不同的位置，也就是說經(jīng)過卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進(jìn)行調(diào)整，本論文希望通過對(duì)濾波器大小的調(diào)整，已達(dá)到減少訓(xùn)練時(shí)間的目的，并尋找調(diào)整的理論依據(jù)。C1層的特征圖個(gè)數(shù)與卷積過程中濾波器數(shù)量相同。S1層是C1經(jīng)過降采樣處理后得到的，也就是說四個(gè)點(diǎn)經(jīng)過降采樣后變?yōu)橐粋€(gè)點(diǎn)，我們使用的是最大池方法，所以取這四個(gè)點(diǎn)的最大值，也就是說S1層圖像大小為12*12像素，具有4張?zhí)卣鲌D。而同理S1層經(jīng)過卷積處理得到C2層，此時(shí)我們?yōu)V波器的大小和個(gè)數(shù)也可以自行設(shè)置，得到的C2層有6張?zhí)卣鲌D，C2到S2層進(jìn)行降采樣處理，最后面的層由于節(jié)點(diǎn)個(gè)數(shù)較少，我們就用MLP方法進(jìn)行全連接。

3.4實(shí)驗(yàn)參數(shù)改進(jìn)分析

由此可見，我們對(duì)濾波器的大小以及個(gè)數(shù)的改變，可以直接影響到卷積訓(xùn)練參數(shù)的個(gè)數(shù)，從而達(dá)到減少訓(xùn)練時(shí)間的目的。

從另一種角度來(lái)看，增大濾波器的大小，實(shí)際效果應(yīng)該相似于縮小輸入圖像的像素大小，所以這樣我們可以預(yù)測(cè)增大濾波器的大小會(huì)減少樣本的訓(xùn)練時(shí)間，但是這樣也可能會(huì)降低訓(xùn)練后的分類的準(zhǔn)確率，而濾波器的大小是如何影響訓(xùn)練時(shí)間以及分類準(zhǔn)確率的，我們通過對(duì)兩種圖片庫(kù)的實(shí)驗(yàn)來(lái)進(jìn)行分析。

4 實(shí)驗(yàn)結(jié)果與分析

4.1以mnist手寫數(shù)字?jǐn)?shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān)，所以我們通過對(duì)卷積層濾波器大小的變化來(lái)尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時(shí)間的目的。在實(shí)驗(yàn)記錄中，我們表格縱列記錄兩層卷積層濾波器大小，橫列分別為對(duì)已經(jīng)過訓(xùn)練圖像識(shí)別和對(duì)未經(jīng)過訓(xùn)練的驗(yàn)證圖像進(jìn)行識(shí)別的錯(cuò)誤率，最后記錄每種濾波器大小搭配的使用時(shí)間。我們?cè)O(shè)定每次試驗(yàn)都進(jìn)行100次重復(fù)訓(xùn)練，每次對(duì)權(quán)重矩陣進(jìn)行優(yōu)化。

此處我們記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對(duì)應(yīng)時(shí)間做平均。

4.2以cifar_10數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

同樣是以100次循環(huán)訓(xùn)練進(jìn)行測(cè)試，通過改變兩層中濾波器的大小來(lái)尋找減少訓(xùn)練時(shí)間的設(shè)定。

此處以同樣的方法，記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。

4.3實(shí)驗(yàn)結(jié)果分析

從兩組試驗(yàn)中，在不同的數(shù)據(jù)集下，我們得到了濾波器的大小與訓(xùn)練時(shí)間成反比的關(guān)系，而在減少了訓(xùn)練時(shí)間的同時(shí)確實(shí)增大了訓(xùn)練的錯(cuò)誤率。

5 總結(jié)

通過實(shí)驗(yàn)結(jié)果分析表明，增大卷積層濾波器大小的方法，在此兩種數(shù)據(jù)庫(kù)的情況下，是有效減小訓(xùn)練時(shí)間的方式，而在不同的數(shù)據(jù)庫(kù)對(duì)分類準(zhǔn)確率的影響程度不同，mnist手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)中圖像之間的相似度非常高，所以濾波器的增大對(duì)準(zhǔn)確率產(chǎn)生的負(fù)面影響較小，而ifar_10數(shù)據(jù)集中圖像之間的相似度較小，所以增大濾波器的大小對(duì)其分類結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

[8] Ji S， Xu W， Yang M， et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（1）： 221-231.

[9] Ciregan D， Meier U， Schmidhuber J. Multi-column deep neural networks for image classification[C]//Computer Vision and Pattern Recognition （CVPR）， 2012 IEEE Conference on. IEEE， 2012： 3642-3649.