基于卷積神經(jīng)網(wǎng)絡(luò)的隨機(jī)梯度下降算法

王功鵬，段 萌，牛常勇

(鄭州大學(xué) 信息工程學(xué)院，河南 鄭州 450001)

0 引 言

卷積神經(jīng)網(wǎng)絡(luò)(以下簡稱CNN)是在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改造的深層網(wǎng)絡(luò)，是目前語音分析以及物體識別等領(lǐng)域使用最廣的網(wǎng)絡(luò)結(jié)構(gòu)[1]。CNN中使用最廣泛的優(yōu)化算法當(dāng)屬SGD(stochastic gradient descent)算法，SGD算法的關(guān)鍵在于學(xué)習(xí)率η，η如果設(shè)置不當(dāng)將會直接影響SGD的效果。針對學(xué)習(xí)率的研究，文獻(xiàn)[2]提出了一種學(xué)習(xí)率自適應(yīng)遞減算法，但是其學(xué)習(xí)率是嚴(yán)格遞減的，在訓(xùn)練后期學(xué)習(xí)率會變得非常小。為了使得學(xué)習(xí)率能更好適應(yīng)SGD算法以提高SGD算法的效率，本文提出了一種用于SGD的學(xué)習(xí)率自適應(yīng)更新算法，該算法的主要思想是隨著迭代的進(jìn)行，根據(jù)不同的迭代次數(shù)周期性的將學(xué)習(xí)率進(jìn)行更新，使得學(xué)習(xí)率能更好地適應(yīng)SGD算法。

目前CNN中常用的激活函數(shù)為Relu(rectified linear units)函數(shù)。然而，在Relu函數(shù)中的閾值為負(fù)的神經(jīng)元處于抑制的狀態(tài)[3]，針對Relu函數(shù)的這種缺陷，文獻(xiàn)[4]提出了一種改進(jìn)的激活函數(shù)Leaky Relu。該激活函數(shù)在閾值大于零部分的處理與Relu一致，但是在小于零的部分的處理則是將這些閾值乘以一個很小的數(shù)值，而不是直接壓縮至零。這樣既重新修正了數(shù)據(jù)的分布同時又避免了網(wǎng)絡(luò)梯度的消失，這也是近年來國內(nèi)外研究者常用的激活函數(shù)。目前針對CNN國外的研究者提出了許多的改進(jìn)，如國外研究者提出了許多新的激活函數(shù)如PReLU(parametric retified linear unit)[5]、RReLU(randomized rectified linear unit)等激活函數(shù)，目前國外最新的研究還提出在訓(xùn)練過程中使用批規(guī)范化來提高訓(xùn)練速度[6]。本文將分別對比采用Leaky Relu與Relu作為激活函數(shù)的CNN的實驗結(jié)果。

本文也將采用上述提出的學(xué)習(xí)率自適應(yīng)更新算法的SGD和Leaky Relu進(jìn)行結(jié)合在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行分類識別測試，并且與Relu和學(xué)習(xí)率非自適應(yīng)的SGD進(jìn)行比較。

1 卷積神經(jīng)網(wǎng)絡(luò)概述

1.1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是在前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行升級改造的深層神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元都只與鄰近的局部神經(jīng)元相互作用。CNN有三大特性分別為局部感知野、權(quán)值共享和降采樣[7,8]。局部感知野使網(wǎng)絡(luò)提取局部特征的能力大大增強(qiáng)。權(quán)值共享可以顯著的減少網(wǎng)絡(luò)中的參數(shù)，很大程度地降低了網(wǎng)絡(luò)計算的復(fù)雜度。權(quán)值共享和降采樣的結(jié)合使得網(wǎng)絡(luò)的計算復(fù)雜度顯著下降，這也正是CNN優(yōu)于其它算法的顯著特征，正是這些特性使得CNN迅速得到普及。CNN在圖像分類和語音識別中使用最為廣泛，大部分計算機(jī)視覺系統(tǒng)都將它作為核心技術(shù)。目前國內(nèi)也有很多基于CNN的成功的研究成果如手勢識別[9]和用于情感識別平臺[10]等。

卷積運算實際是一種對圖像元素的矩陣變換，它的輸入層是通過一個W*W大小的卷積核與上一層輸入的一小部分進(jìn)行連接并進(jìn)行卷積運算，然后提取該區(qū)域的局部特征。如此就減少了網(wǎng)絡(luò)中的參數(shù)使得網(wǎng)絡(luò)的計算復(fù)雜度顯著降低，同時也提高了網(wǎng)絡(luò)的訓(xùn)練性能。卷積運算公式如下

(1)

通過卷積運算提取圖像特征后，下一步就是從這些獲得的特征中去進(jìn)行分類處理。降采樣層主要作用是對通過卷積核提取到的特征進(jìn)行降維抽樣處理。目前CNN中常用的池化操作有最大池化、均值池化和隨機(jī)池化。本文所選擇最大池化作為池化操作。經(jīng)過池化操作后網(wǎng)絡(luò)的維度就大幅地降低，同時也降低了過擬合發(fā)生的機(jī)率。降采樣公式如下所示

(2)

其中，降采樣函數(shù)用bool(·)表示。在對輸入圖像中不同區(qū)域的n*n塊的全部像素進(jìn)行求和運算時，降采樣函數(shù)可以將圖像整體縮小了n*n倍。經(jīng)過降采樣獲得重新規(guī)劃的值后，將該值與偏執(zhí)系數(shù)β相乘，最后激活函數(shù)再將該值輸出。

本文中在每一個卷積層后降采樣層前都會添加Relu或者Leaky Relu函數(shù)作為激活函數(shù)。同時為了防止過擬合的發(fā)生將會結(jié)合Dropout[11]一起使用。CNN最后全連接層采用Softmax函數(shù)來作為回歸函數(shù)對結(jié)果進(jìn)行分類，Softmax回歸模型針對于多分類問題，它也是CNN常用的分類器。另外選擇合適的優(yōu)化算法來學(xué)習(xí)模型參數(shù)，通過Softmax回歸函數(shù)計算出頂層損失值，再使用優(yōu)化算法學(xué)習(xí)模型參數(shù)。本文選擇學(xué)習(xí)率非自適應(yīng)的SGD算法與本文提出的使用學(xué)習(xí)率自適應(yīng)更新算法的SGD作為優(yōu)化算法。

1.2 Leaky Relu激活函數(shù)及其特性

Relu激活函數(shù)是CNN中使用最廣的激活函數(shù)。Relu激活函數(shù)具有如下優(yōu)勢：解決梯度消失問題和提高網(wǎng)絡(luò)的訓(xùn)練速度[4]。綜上所述，選擇計算復(fù)雜度更低計算速度更快的Relu作為CNN的激活函數(shù)更為合適。但是它同樣有很大的缺陷，Relu激活函數(shù)的表達(dá)式為：f(x)=max(0,x)，x表示網(wǎng)絡(luò)輸入閾值，f(x)表示的是網(wǎng)絡(luò)輸出值。從表達(dá)式可以看出它只保留了大于零的部分的閾值，而簡單的將小于零的部分的閾值置為零，因而該激活函數(shù)具有了稀疏表達(dá)能力，但是同時該激活函數(shù)中閾值為負(fù)的神經(jīng)元處于抑制的狀態(tài)，這些神經(jīng)元的權(quán)值也不會再通過反向傳播算法進(jìn)行更新。針對這種缺陷本文提出采用LeakyRelu激活函數(shù)作為CNN的激活函數(shù)。

LeakyRelu激活函數(shù)對應(yīng)的公式如下

(3)

式中:xi代表激活函數(shù)的輸入值，yi代表的是激活函數(shù)輸出值。α代表的是一個范圍為(0,1)之間的數(shù)值斜率，在實際使用過程中α?xí)鶕?jù)先驗經(jīng)驗值進(jìn)行設(shè)定。文獻(xiàn)[12]通過大量的實驗驗證α的值在0.1至0.5之間效果達(dá)到最佳，本文通過大量實驗后將其值設(shè)置為0.15。

從式(3)中可以看出，LeakyRelu激活函數(shù)將閾值為負(fù)的神經(jīng)元與一個很小的數(shù)值向乘，如此閾值為負(fù)的神經(jīng)元不會被丟棄同時這些的神經(jīng)元信息也得到了保留。

2 SGD算法

2.1 SGD算法原理

在機(jī)器學(xué)習(xí)中，對于大多數(shù)的監(jiān)督學(xué)習(xí)模型，為了得到最優(yōu)的權(quán)值，需對模型創(chuàng)建代價損失函數(shù)，然后選擇合適的優(yōu)化算法以得到最小的函數(shù)損失值。梯度下降算法是目前使用最廣的優(yōu)化算法。它的核心思想是：要計算出最小的函數(shù)損失值，必須先計算出損失函數(shù)的梯度，然后按照梯度的方向使函數(shù)損失值逐漸減少，通過對權(quán)值的不斷更新調(diào)整，使得函數(shù)損失值達(dá)到最小，從而獲得最優(yōu)解。SGD算法是一個基于梯度下降的改進(jìn)算法，SGD每次隨機(jī)選擇一個樣本來迭代更新一次，而不是針對所有的樣本。因此該算法明顯的降低了計算量。SGD具有訓(xùn)練速度快易收斂等特性，也是最受國內(nèi)外研究者青睞的優(yōu)化算法。SGD相關(guān)的公式如下

(4)

(5)

φ:=φ-η▽φh(φ)

(6)

式中，φ代表網(wǎng)絡(luò)參數(shù)權(quán)值，▽φ表示的是梯度，h(φ)代表損失函數(shù)，g(φ)代表目標(biāo)函數(shù)，yi代表第i個樣本的樣本值，m表示的是整個迭代進(jìn)行的總次數(shù)，η表示梯度下降中的步長即學(xué)習(xí)率，j表示的CNN中參數(shù)的總數(shù)目。正如上文所描述的學(xué)習(xí)率對梯度下降算法至關(guān)重要，如果η設(shè)置的過小則會需要多次迭代才能找到最優(yōu)解且會降低網(wǎng)絡(luò)的收斂速度，甚至可能出現(xiàn)陷入到局部最優(yōu)解中停滯不前的情況。如果增大學(xué)習(xí)率，雖然會加快CNN的訓(xùn)練速度，但是同時也會加大了跳過最優(yōu)解的機(jī)率，CNN可能出現(xiàn)找不到最優(yōu)解的情況[13]。由此可以看出η是決定梯度下降算法是否有效的關(guān)鍵因素。為了使學(xué)習(xí)率更好地適應(yīng)SGD，本文針對學(xué)習(xí)率提出了一種基于SGD的學(xué)習(xí)率自適應(yīng)更新算法。

2.2 基于SGD的學(xué)習(xí)率自適應(yīng)更新算法

目前較為流行的CNN結(jié)構(gòu)中都將沖量添加到SGD實現(xiàn)方式中，沖量的作用是為了防止CNN在最小損失值點而繼續(xù)進(jìn)行迭代訓(xùn)練不能停止的情況發(fā)生[14]。本文在CNN中的SGD也添加沖量并將其設(shè)置為0.9。為了克服SGD中學(xué)習(xí)率選擇的困難，本文提出了一種讓學(xué)習(xí)率自適應(yīng)SGD的學(xué)習(xí)率自適應(yīng)更新算法，通過該算法獲得的學(xué)習(xí)率來更加適應(yīng)網(wǎng)絡(luò)的訓(xùn)練。與使用學(xué)習(xí)率非自適應(yīng)的SGD相比使用該算法的SGD解決了學(xué)習(xí)率設(shè)置不當(dāng)而跳過最優(yōu)解而產(chǎn)生動蕩的問題。算法描述見表1。

表1就是本文提出的SGD學(xué)習(xí)率更新算法，但是為了防止η遞減的過快本文設(shè)置了上述的學(xué)習(xí)率更新規(guī)則1和學(xué)習(xí)率更新規(guī)則2兩種學(xué)習(xí)率更新規(guī)則。常數(shù)σ是防止隨著迭代的進(jìn)行η逐漸減小以至于過小而失去作用而設(shè)置的。按照本文提出的學(xué)習(xí)率更新算法每進(jìn)行一次迭代后相應(yīng)的更新學(xué)習(xí)率η，這樣就做到了學(xué)習(xí)率的更新。隨著迭代的進(jìn)行，函數(shù)損失值逐漸減小，應(yīng)適當(dāng)?shù)臏p小學(xué)習(xí)率。故本文算法中學(xué)習(xí)率呈現(xiàn)整體梯形下降趨勢，但并不是嚴(yán)格下降，而是在一定迭代區(qū)間內(nèi)周期性下降，采用周期性下降的方式可以使得相同的學(xué)習(xí)率參與更多的訓(xùn)練，使得學(xué)習(xí)率得到充分的使用。隨著迭代的進(jìn)行學(xué)習(xí)率衰減幅度也逐漸減

表1 SGD學(xué)習(xí)率自適應(yīng)更新算法

小，這樣可以防止因?qū)W習(xí)率減小的過快而造成網(wǎng)絡(luò)收斂變慢情況的發(fā)生。該算法具有通用性對所有的SGD算法都適用。其中本文學(xué)習(xí)率自適應(yīng)更新算法中學(xué)習(xí)率隨迭代次數(shù)變化如圖1所示。

圖1 本文學(xué)習(xí)率變化曲線

3 實驗與結(jié)果分析

3.1 實驗平臺和數(shù)據(jù)

實驗選取的數(shù)據(jù)集為Yann LeCun建立的數(shù)字手寫字符體MNIST，Alex Krizhevsky等收集建立的CIFAR-10[15]的一般物體圖像數(shù)據(jù)集和CIFAR-100數(shù)據(jù)集，其中CIFAR-10共有60 000張尺寸為32*32的真彩色圖片，共有10種類別。CIFAR-100數(shù)據(jù)集與CIFAR-10數(shù)據(jù)集類似不過它包含了20種大類和100種小類別。

實驗平臺選擇的是Amazon提供的云計算服務(wù)EC2機(jī)型，操作系統(tǒng)為Linux Ubuntu 14.04，選擇的GPU型號為GRID K520，可用顯存大小為8 GB。采用了NVIDIA提供的計算加速方案。

實驗數(shù)據(jù)集，見表2。

表2 實驗數(shù)據(jù)集

3.2 數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

對于3個數(shù)據(jù)集，本文設(shè)計了不同的網(wǎng)絡(luò)結(jié)構(gòu)。表3給出了用于3個數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)。

表3 3個數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.3 實驗結(jié)果分析

評價一個算法優(yōu)劣有很多種的標(biāo)準(zhǔn)如交叉驗證集正確率、訓(xùn)練集正確率以及優(yōu)化算法的收斂性[16]。本文選取上述3種標(biāo)準(zhǔn)作為本文算法評價的標(biāo)準(zhǔn)。本文中的實驗在MNIST，CIFAR-10和CIFAR-100數(shù)據(jù)集各進(jìn)行了150次迭代。表4～表6給出了不同CNN在各個數(shù)據(jù)集獨立運行20次后取平均值的實驗結(jié)果。其中Relu與Leaky Relu分別表示激活函數(shù)采用Relu與Leaky Relu，優(yōu)化算法采用固定學(xué)習(xí)率為0.01非自適應(yīng)的SGD的網(wǎng)絡(luò)。MSGD Relu與MSGD Leaky Relu分別表示激活函數(shù)采用Relu與Leaky

Relu，優(yōu)化算法為采用本文提出的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)。

表4 MNIST數(shù)據(jù)集的實驗結(jié)果

表5 CIFAR-10數(shù)據(jù)集的實驗結(jié)果

表6 CIFAR-100數(shù)據(jù)集的實驗結(jié)果

從上述的實驗結(jié)果中可以看出，在3個數(shù)據(jù)集上，在相同優(yōu)化算法下使用Leaky Relu激活函數(shù)的網(wǎng)絡(luò)正確率要高于使用Relu激活函數(shù)的網(wǎng)絡(luò)。在相同激活函數(shù)下優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)的訓(xùn)練和驗證正確率也要高于采用學(xué)習(xí)率非自適應(yīng)的SGD的網(wǎng)絡(luò)。從實驗結(jié)果中可以看出，采用Leaky Relu作為激活函數(shù)，以本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD作為優(yōu)化算法相結(jié)合可以進(jìn)一步提高網(wǎng)絡(luò)的訓(xùn)練和驗證正確率。

其中各個網(wǎng)絡(luò)在3個數(shù)據(jù)集上訓(xùn)練和驗證和收斂曲線如圖2～圖4所示。train_loss表示訓(xùn)練函數(shù)損失值，val_loss表示驗證函數(shù)損失值，Epochs表示迭代次數(shù)。

圖2 不同網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上的收斂曲線

圖3 不同網(wǎng)絡(luò)在CIFAR-10數(shù)據(jù)集上的收斂曲線

圖4 不同網(wǎng)絡(luò)在CIFAR-100數(shù)據(jù)集上的收斂曲線

從圖2～圖4實驗結(jié)果可以得出結(jié)論，使用Leaky Relu作為激活函數(shù)的網(wǎng)絡(luò)目標(biāo)函數(shù)的損失值明顯小于使用Relu作為激活函數(shù)的網(wǎng)絡(luò)。當(dāng)優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)能更快的收斂，訓(xùn)練損失值和驗證損失值趨于平穩(wěn)不再波動。網(wǎng)絡(luò)的收斂性明顯的優(yōu)于學(xué)習(xí)率非自適應(yīng)的SGD算法。

從圖4中可以看出在CIFAR-100數(shù)據(jù)集上激活函數(shù)采用Relu的網(wǎng)絡(luò)的函數(shù)損失值最后呈現(xiàn)上升趨勢。相反激活函數(shù)采用Leaky Relu，優(yōu)化算法采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)能更好的訓(xùn)練下去。且采用本文的學(xué)習(xí)率更新算法的SGD和Leaky Relu激活函數(shù)相結(jié)合的網(wǎng)絡(luò)不僅具有更好的收斂性，而且訓(xùn)練函數(shù)損失值和驗證函數(shù)損失值均小于其它網(wǎng)絡(luò)，實驗效果明顯優(yōu)于其它網(wǎng)絡(luò)。

評估一個優(yōu)化算法優(yōu)劣的最可靠的依據(jù)就是看該優(yōu)化算法是否收斂[16]，數(shù)據(jù)是否趨于穩(wěn)定，參數(shù)是否達(dá)到了穩(wěn)定值，是否還會出現(xiàn)周期性波動。實驗結(jié)果表明，采用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD的網(wǎng)絡(luò)收斂性明顯的好于其它網(wǎng)絡(luò)。由此可以得出結(jié)論：本文提出的算法有效，能夠提高SGD算法的效率。

4 結(jié)束語

針對CNN中Relu激活函數(shù)的不足，本文設(shè)計了采用Leaky Relu作為激活函數(shù)的CNN，同時也將CNN中傳統(tǒng)的SGD算法進(jìn)行了改良并提出了基于SGD的學(xué)習(xí)率自適應(yīng)更新算法。3個數(shù)據(jù)集上的實驗結(jié)果表明，以Leaky Relu作為激活函數(shù)的CNN實驗結(jié)果要優(yōu)于使用Relu作為激活函數(shù)的CNN。使用本文的學(xué)習(xí)率自適應(yīng)更新算法的SGD在保證正確率的前提下，還可以加快網(wǎng)絡(luò)的收斂。然而，本文的算法中的眾多參數(shù)仍有許多改進(jìn)的地方。在以后的工作中如何找到更優(yōu)的參數(shù)，仍然需要反復(fù)的實驗和測試。下一步，將本文中的算法用于普適物體識別中，用該算法去解決實際問題。

[1]Lu Hongtao,Zhang Qinchuan.Applications of deep convolutional neural network in computer vision[J].Journal of Data Acquisition and Processing,2016,31(1):1-17.

[2]Duchi J,Hazan E,Singer Y.Adaptive subgradient methods for online learning and stochastic optimization[J].Journal of Machine Learning Research,2011,12(7):257-269.

[3]Glauner PO.Deep convolutional neural networks for smile reco-gnition[J].IEEE/ACM Transactions on Audio Speech & Language Processing,2015,22(10):1533-1545.

[4]Maas AL,Hannun AY,Ng AY.Rectifier nonlinearities improve neural network acoustic models[C]//Proceedings of the 30th International Conference on Machine Learning,2013.

[5]He K,Zhang X,Ren S,et al.Delving deep into rectifiers:Surpassing human-level performance on imageNet classification[C]//IEEE International Conference on Computer Vision.IEEE,2015:1026-1034.

[6]Ioffe S,Szegedy C.Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning,2015:448-456.

[7]AlexKrizhevsky,IlyaSutskever,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//AdvancesinNeuralInformationProcessingSystem.Cambridge:MITPress,2012:1097-1105.

[8]LiangM,HuX.Recurrentconvolutionalneuralnetworkforobjectrecognition[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2015:3367-3375.

[9]CAIJuan,CAIJianyong,LIAOXiaodong,etal.Preliminarystudyonhandgesturerecognitionbasedonconvolutionalneuralnetwork[J].ComputerSystems&Applications,2015,24(4):113-117(inChinese).[蔡娟,蔡堅勇,廖曉東,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別初探[J].計算機(jī)系統(tǒng)應(yīng)用,2015,24(4):113-117.]

[10]LINPingrong,HOUZhi,WENGuihua.Openplatformofemotionrecognitionbasedondeeplearning[J].ComputerEngineeringandDesign,2016,37(6):1510-1514(inChinese).[林平榮,侯志,文貴華.基于深度學(xué)習(xí)的情感識別開放平臺[J].計算機(jī)工程與設(shè)計,2016,37(6):1510-1514.]

[11]SrivastavaN,HintonGE,KrizhevskyA,etal.Dropout:Asimplewaytopreventneuralnetworksfromoverfitting[J].JournalofMachineLearningResearch,2014,15(1):1929-1958.

[12]XuB,WangN,ChenT,etal.Empiricalevaluationofrectifiedactivationsinconvolutionnetwork[D].ICMLDeepLearn,2015:1-5.

[13]PoriaS,CambriaE,GelbukhA.Deepconvolutionalneuralnetworktextualfeaturesandmultiplekernellearningforutte-rance-levelmultimodalsentimentanalysis[C]//EmpiricalMethodsinNaturalLanguageProcessing,2015:2539-2544.

[14]SutskeverI,MartensJ,DahlG,HintonG.Ontheimportanceofinitializationandmomentumindeeplearning[C]//InternationalConferenceonMachineLearning,2013:1139-1147.

[15]DudikM,HarchaouiZ,MalickJ.Liftedcoordinatedescentforlearningwithtrace-normregularization[J].Aistats,2012,22(22):327-336.

[16]WANGChangsong,ZHAOXiang.Generalmethodforevalua-tingoptimizationalgorithmanditsapplication[J].JournalofComputerApplications,2010,30(A01):76-79(inChinese).[汪昌松,趙翔.評價優(yōu)化算法的一般性方法及其應(yīng)用[J].計算機(jī)應(yīng)用,2010,30(A01):76-79].