基于Lenet—5的卷積神經(jīng)網(wǎng)絡改進算法

李丹　沈夏炯　張海香　朱永強

摘 要： 在當前語音識別和圖像識別領域，卷積神經(jīng)網(wǎng)絡已經(jīng)取得了很大的成功?，F(xiàn)有的Lenet-5卷積神經(jīng)網(wǎng)絡是多層網(wǎng)絡結(jié)構(gòu)，但是大量實驗表明，從全鏈接層到輸入層的回調(diào)影響了最終的精度，特別是在有限數(shù)據(jù)量的情況下。因此提出了單層回調(diào)的Lenet-5算法，即在Lenet-5卷積神經(jīng)網(wǎng)絡的卷積層后添加一個臨時輸出層，與真實標簽進行比較，根據(jù)誤差函數(shù)對層間參數(shù)進行回調(diào)，并用全球手寫數(shù)字MNIST數(shù)據(jù)集進行訓練和測試。實驗表明，即使在有限數(shù)據(jù)量的情況下算法的精度仍能得到提高。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡； Lenet-5； 全鏈接； 卷積； 池化； 回調(diào)； 精度

中圖分類號：TP391.4 文獻標志碼：A 文章編號：1006-8228（2016）08-04-04

Abstract： In the area of speech recognition and image recognition， convolutional neural network has achieved a great success， the structure of Lenet-5 convolutional neural network is multilayer， but a lot of experiments show that the callback from full connection layer to the input layer influences the accuracy， especially in the case of limited data sets. So， the single layer callback Lenet-5 algorithm is proposed， which adds a temporary output layer in the end of each convolutional layer， compares the output with the real labels， adjusts the parameter of each layer according to the error function， and uses the global MNIST data base to train and test. The experiment proves that the accuracy of the algorithm can be improved even in case of limited data sets.

Key words： convolutional neural network； Lenet-5； full-connection； convolution； pooling； callback； accuracy

0 引言

提高卷積神經(jīng)網(wǎng)絡的精度對于卷積神經(jīng)網(wǎng)絡[1]在實踐中的應用有重要的意義，1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野[2]（receptive field）的概念， 1984年日本學者Fukushima基于感受野[3]概念提出的神經(jīng)認知機（neocognitron）可以看作是卷積神經(jīng)網(wǎng)絡[4]的第一個實現(xiàn)網(wǎng)絡，也是感受野概念在人工神經(jīng)網(wǎng)絡領域的首次應用。Lenet-5卷積神經(jīng)網(wǎng)絡是一個多層的神經(jīng)網(wǎng)絡，對于圖片的特征提取[5-7]有著出色的表現(xiàn)。

針對Lenet-5卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)及其在處理圖片的數(shù)據(jù)量方面的研究，筆者構(gòu)造出了一種新的Lenet-5卷積神經(jīng)網(wǎng)絡模型，使其同時具備單層神經(jīng)網(wǎng)絡和多層神經(jīng)網(wǎng)絡的優(yōu)點，考慮在較少的訓練數(shù)據(jù)的情況下，該模型在圖片特征提取中仍然能通過層間傳遞得到優(yōu)秀的訓練參數(shù)，特構(gòu)建出一個特征模型。

1 Lenet-5算法簡介

Lenet-5[8]算法是Y.LeCun提出的一個卷積神經(jīng)網(wǎng)絡，它是一種特殊的多層神經(jīng)網(wǎng)絡，和其他神經(jīng)網(wǎng)絡一樣，也是通過反向傳播方式來訓練，不同點是它的網(wǎng)絡結(jié)構(gòu)，其最大的特點就是每層間的權(quán)值共享，這讓Lenet-5在構(gòu)建網(wǎng)絡過程中減少了大量的參數(shù)，加快了學習過程，其網(wǎng)絡結(jié)構(gòu)如圖1所示。

Lenet-5的每層由多個二維平面組成，每個平面由多個獨立神經(jīng)元組成，網(wǎng)絡中包含一些簡單元和復雜元，分別標記為S-元和C-元，S-元聚合在一起組成S-面，S-面聚合在一起組成S-層，同理C-元、C-面、C-層也存在類似關(guān)系。C層是特征提取層，每個神經(jīng)元的輸入與前一層的局部感受也相連，并提取該局部特征；S層是特征映射層，每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經(jīng)元權(quán)值相等，特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡的激活函數(shù)，使得特征映射有位移不變性的特征。

2 Lenet-5訓練過程

Lenet-5[9]的訓練過程主要分為兩個部分，一是前向傳播，從訓練集中取出一個訓練數(shù)據(jù)（trnData， trnLabel），trnData輸入到神經(jīng)網(wǎng)絡中，經(jīng)過多次卷積和池化的傳播，得到實際輸出output_real；二是反向傳播，計算出實際標簽reaLabel和理想標簽trnLabel的誤差函數(shù)，反向傳播使用極小化誤差的方法，根據(jù)每層與上層間的誤差調(diào)節(jié)層間參數(shù)。

2.1 卷積

輸入數(shù)據(jù)經(jīng)過卷積得到C1層，產(chǎn)生六個特征映射圖，由一個濾波器F（x）來卷積輸入圖像，加偏置B（x），得到卷積層C1層，多個濾波器來做卷積可以得到多個Feature Map。卷積的計算過程如圖2所示。

規(guī)定卷積核大小為5*5，以輸入層與C1層為例，輸入層大小為32*32，則C1層特征圖的大小為28*28，可由28=32-5+1計算得到，C1層共六個Feature Map，由權(quán)值共享概念可得：每個Feature Map共5*5+1=26個參數(shù)，C1層共26*6=156個參數(shù)，共156*（28*28）=122304個連接，卷積過程如圖3所示。