基于TensorFlow深度學(xué)習(xí)框架的卷積神經(jīng)網(wǎng)絡(luò)研究

袁文翠， 孔雪

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，大慶 163318)

0 引言

眾所周知，隨著人們對(duì)智能化需求的提高，人工智能將是未來(lái)發(fā)展的大方向。從企業(yè)到國(guó)家甚至全球?qū)θ斯ぶ悄茴I(lǐng)域都非常重視，深度學(xué)習(xí)則是人工智能領(lǐng)域的一個(gè)重要分支。本文針對(duì)深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)進(jìn)行了研究，并在手寫數(shù)字?jǐn)?shù)據(jù)集的識(shí)別上進(jìn)行了應(yīng)用實(shí)驗(yàn)。主要工作包括兩方面：一是構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫數(shù)字?jǐn)?shù)據(jù)集進(jìn)行識(shí)別，運(yùn)用交叉熵?fù)p失函數(shù)去代替?zhèn)鹘y(tǒng)二次代價(jià)函數(shù)，并通過使用Relu激活函數(shù)來(lái)防止梯度消失來(lái)增加學(xué)習(xí)的速率，提高模型的準(zhǔn)確率；二是在TensorFlow[1]中利用改進(jìn)后的卷積神經(jīng)網(wǎng)對(duì)手寫數(shù)字?jǐn)?shù)據(jù)集的分類結(jié)果進(jìn)行直觀展示。TensorFlow是谷歌在深刻總結(jié)其前身 DistBelief 的經(jīng)驗(yàn)教訓(xùn)上形成的目前比較流行的深度學(xué)習(xí)框架，與其他框架相比，具有可以在不同的計(jì)算機(jī)上運(yùn)行，以及高度靈活性、可移植性、自動(dòng)求微分等特征。

1 CNN卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

在神經(jīng)網(wǎng)絡(luò)中，BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用是十分廣泛的，但是其有很多的缺點(diǎn)，例如：權(quán)值太多，計(jì)算量太大，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，容易造成過擬合等現(xiàn)象的發(fā)生。為了解決這些問題，在1962年哈佛醫(yī)學(xué)院神經(jīng)生理學(xué)家Hubel和Wiesel[2]通過對(duì)貓視覺皮層細(xì)胞的研究，提出了感受野的概念，1984年日本學(xué)者Fukushima基于感受野概念提出的神經(jīng)認(rèn)知機(jī)neocognitron[3]可以看作是卷積神經(jīng)絡(luò)的第一個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)，也是感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的首次應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)[4]是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個(gè)方面，一方面它的神經(jīng)元間的連接是非全連接的，另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的(即相同的)。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。很好的解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)權(quán)值過多計(jì)算量過大的問題。

CNN的基本結(jié)構(gòu)包括兩種特殊的神經(jīng)元層，其一為卷積層，每個(gè)神經(jīng)元的輸入與前一層的局部相連，并提取該局部的特征；其二是池化層，用來(lái)求局部敏感性與二次特征提取的計(jì)算層。這種兩次特征提取結(jié)構(gòu)減少了特征分辨率，減少了需要優(yōu)化的參數(shù)數(shù)目。CNN網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。

2 對(duì)CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化

2.1 對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化

每一個(gè)算法都有一個(gè)目標(biāo)函數(shù)(objective function)，算法就是讓這個(gè)目標(biāo)函數(shù)達(dá)到最優(yōu)。首先我們看一下傳統(tǒng)的二次代價(jià)函數(shù)(quadratic cost)：

圖1 CNN卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

其中，C表示目標(biāo)函數(shù)，x表示樣本，y表示實(shí)際值，a表示輸出值，n表示樣本的總數(shù)。在公式中y(x)-a(x)就是真實(shí)值與輸出值得差，也就是誤差值。所以我們的目標(biāo)就是使誤差最小化也就是目標(biāo)函數(shù)最小化，為簡(jiǎn)單起見 ，同樣以一個(gè)樣本為例進(jìn)行說明，此時(shí)二次代價(jià)函數(shù)為：

假如我們使用梯度下降法(Gradient descent)[5]來(lái)調(diào)整權(quán)值參數(shù)的大小，權(quán)值w和偏置b的梯度推導(dǎo)如式(1)、(2)。

(1)

(2)

其中，z表示神經(jīng)元的輸入，σ表示激活函數(shù)。w和b的梯度跟激活函數(shù)的梯度成正比，激活函數(shù)的梯度越大，w和b的大小調(diào)整得越快，訓(xùn)練收斂得就越快。假設(shè)我們的激活函數(shù)是Sigmoid函數(shù),如圖2所示。

圖2 sigmoid函數(shù)

假設(shè)我們的目標(biāo)是收斂到1，A點(diǎn)為0.82,距離目標(biāo)比較遠(yuǎn)，梯度比較大，權(quán)值調(diào)整的比較快，學(xué)習(xí)速率快，而B點(diǎn)為0.98距離目標(biāo)比較近，梯度較小，權(quán)值調(diào)整較慢，學(xué)習(xí)速率較低，以上情況符合我們的預(yù)期，距離目標(biāo)越遠(yuǎn)則學(xué)習(xí)速率越快，距離目標(biāo)較近的時(shí)候降低學(xué)習(xí)速率，可以避免學(xué)習(xí)速率過快而找不到最低點(diǎn)。

反之如果我們的目標(biāo)是0，則所達(dá)到的結(jié)果遠(yuǎn)離我們的預(yù)期，所以我們將改變一下原有的二次代價(jià)函數(shù)，使權(quán)值和偏置值的調(diào)整與σ′(z)無(wú)關(guān)，這樣就解決了上述問題。在本文中我們將用交叉熵代價(jià)函數(shù)去代替二次代價(jià)函數(shù)。首先我們先看一下交叉熵代價(jià)函數(shù)的推導(dǎo)過程：

由公式(2)可知為了消除σ′(z)，想得到一個(gè)代價(jià)函數(shù)使得式(3)。

(3)

由公式(3)即可推出式(4)。

(4)

對(duì)公式(4)兩側(cè)求微分可得交叉熵代價(jià)函數(shù)：

其中，C表示目標(biāo)函數(shù)，x表示樣本，y表示實(shí)際值，a表示輸出值，n表示樣本的總數(shù)。在這里我們還使用梯度下降法來(lái)調(diào)整權(quán)值參數(shù)的大小，權(quán)值w和偏置b的梯度推導(dǎo)如下：

由以上推導(dǎo)公式可以看出權(quán)值和偏置值的調(diào)整與σ′(z)無(wú)關(guān)，另外，梯度公式中的σ(z)-y表示輸出值與實(shí)際值的誤差。所以當(dāng)誤差越大時(shí)，梯度就越大，參數(shù)w和b的調(diào)整就越快，訓(xùn)練的速度也就越快。很好的解決了激活函數(shù)梯度的變化對(duì)權(quán)值更新速率的影響。

2.2 對(duì)激活函數(shù)進(jìn)行改進(jìn)

2.2.1 sigmoid激活函數(shù)結(jié)構(gòu)分析

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一個(gè)重要組成部分，通過對(duì)神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行函數(shù)變換，得到適當(dāng)?shù)妮敵?，通常情況下激活函數(shù)為線性表達(dá)能力較差的神經(jīng)網(wǎng)絡(luò)注入非線性因素，使數(shù)據(jù)能夠在非線性的情況下可分，也可以將數(shù)據(jù)進(jìn)行稀疏表達(dá)，更加高效的進(jìn)行數(shù)據(jù)的處理。而可以提高學(xué)習(xí)速率。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最常用的兩個(gè)激活函數(shù)，Sigmoid系(Logistic-Sigmoid、Tanh-Sigmoid)被視為神經(jīng)網(wǎng)絡(luò)的核心所在。傳統(tǒng)激活函數(shù)圖像，如圖3所示。(摘于AlexNet的論文Deep Sparse Rectifier Neural Networks)。

圖3 sigmoid/tanh函數(shù)

一般我們優(yōu)化參數(shù)時(shí)會(huì)用到誤差反向傳播算法，即要對(duì)激活函數(shù)求導(dǎo)，得到sigmoid函數(shù)的瞬時(shí)變化率，其導(dǎo)數(shù)表達(dá)式為：

φ′(x)=φ(x)(1-φ(x))

導(dǎo)數(shù)圖像，如圖4所示。

圖4 sigmoid/ sigmoid’函數(shù)

由圖可知，導(dǎo)數(shù)從0開始很快就又趨近于0了，易造成“梯度消失”現(xiàn)象,使學(xué)習(xí)停滯。為解決這一問題我們將提出Relu激活函數(shù)[7]來(lái)代替?zhèn)鹘y(tǒng)的sigmoid系函數(shù)。

2.2.2 Relu激活函數(shù)[5]結(jié)構(gòu)分析

Relu的函數(shù)式：

Relu函數(shù)圖像，如圖5所示。

圖5 Relu函數(shù)

由圖5可以看出，Relu會(huì)使一部分神經(jīng)元的輸出為0，這樣就造成了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過擬合問題的發(fā)生，并且發(fā)現(xiàn)ReLu更容易學(xué)習(xí)優(yōu)化。因?yàn)槠浞侄尉€性性質(zhì)，導(dǎo)致其前傳，后傳，求導(dǎo)都是分段線性。而傳統(tǒng)的Sigmoid函數(shù)，由于兩端飽和，在傳播過程中容易丟棄信息。所以本文將選用Relu激活函數(shù)和交叉熵代價(jià)函數(shù)進(jìn)行試驗(yàn)去提高實(shí)驗(yàn)的準(zhǔn)確率。

3 實(shí)驗(yàn)驗(yàn)證

3.1 運(yùn)用手寫識(shí)別數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)

本實(shí)驗(yàn)運(yùn)行的環(huán)境是anaconda3中的juypter notebook。由于每次訓(xùn)練后模型都會(huì)更新權(quán)值和偏向，從而提高準(zhǔn)確率，在進(jìn)行20次實(shí)驗(yàn)后模型的準(zhǔn)確率提高幅度幾乎為零，所以本實(shí)驗(yàn)將進(jìn)行20次訓(xùn)練。

首先運(yùn)用傳統(tǒng)簡(jiǎn)單的三層神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，每個(gè)訓(xùn)練批次的大小是100張圖片，訓(xùn)練20次，沒有進(jìn)行目標(biāo)函數(shù)和激活函數(shù)的改進(jìn)，試驗(yàn)結(jié)果，如圖6所示。

由實(shí)驗(yàn)結(jié)果可以看出，在進(jìn)行10次訓(xùn)練后模型的準(zhǔn)確率才達(dá)到90%以上，說明用簡(jiǎn)單的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的模型學(xué)習(xí)速率慢，準(zhǔn)確率低。由此我們將進(jìn)行改進(jìn)，將傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)改為CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗(yàn)，看是否可以提高學(xué)習(xí)速率和準(zhǔn)確率，如圖6所示。

圖6 第一次實(shí)驗(yàn)結(jié)果圖

在這次實(shí)驗(yàn)中，我們將構(gòu)建一個(gè)有兩層卷積層和兩層池化層的卷積神經(jīng)網(wǎng)絡(luò)，沒有對(duì)網(wǎng)絡(luò)中的目標(biāo)函數(shù)和激勵(lì)函數(shù)進(jìn)行改進(jìn)，得到實(shí)驗(yàn)結(jié)果，如圖7所示。

圖7 第二次實(shí)驗(yàn)結(jié)果圖

運(yùn)用CNN卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練后，在第一次模型訓(xùn)練后結(jié)果就已經(jīng)達(dá)到90%以上，基本達(dá)到普通神經(jīng)網(wǎng)絡(luò)的最終訓(xùn)練結(jié)果，并且準(zhǔn)確率也有了大幅度的提升。

在這次實(shí)驗(yàn)中我們將在上次實(shí)驗(yàn)的基礎(chǔ)上對(duì)模型的目標(biāo)函數(shù)和激勵(lì)函數(shù)進(jìn)行改進(jìn)，看看是否可以提升模型的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果，如圖8所示。

圖8 第三次實(shí)驗(yàn)結(jié)果圖

由實(shí)驗(yàn)結(jié)果可以看出，在第二次訓(xùn)練后模型的準(zhǔn)確率已經(jīng)達(dá)到了97%以上，解決了學(xué)習(xí)速率低的問題，并且在模型的準(zhǔn)確率方面也有所提升，所以通過以上三次實(shí)驗(yàn)可以論證本文提出的方法確實(shí)可以提高模型的準(zhǔn)確率。

3.2 運(yùn)用TensorBoard進(jìn)行模型可視化

TensorBoard是TensorFlow內(nèi)嵌的可視化組件，可以通過讀取事件日志進(jìn)行相關(guān)摘要信息的可視化展示。下面我們將對(duì)模型精準(zhǔn)度和模型分類效果進(jìn)行可視化，如圖9所示。

圖9中紫色線是測(cè)試集的精準(zhǔn)率走勢(shì)，橘色線是訓(xùn)練集的走勢(shì)，我們很容易的可以看出，測(cè)試集和訓(xùn)練集的走勢(shì)基本一致，可以判斷模型沒有發(fā)生過擬合[6]的現(xiàn)象，如圖10所示。

圖10將0到9十個(gè)數(shù)字行進(jìn)分類訓(xùn)練，并且以不同的顏色進(jìn)行標(biāo)記，圖10是模型訓(xùn)練1 000輪后顯示出來(lái)的效果圖。通過此圖可以很直觀的看到模型的分類效果。

圖10 分類效果圖

4 總結(jié)

目前深度學(xué)習(xí)已經(jīng)被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界，但在深度學(xué)習(xí)的多種神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)神經(jīng)網(wǎng)絡(luò)無(wú)論是在速率，還是在準(zhǔn)確率方面表現(xiàn)都是最為出色的，本文提出一種對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的兩種方式，并且通過實(shí)驗(yàn)驗(yàn)證得到了具有較高識(shí)別精度的模型，對(duì)構(gòu)建更復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)具有一定的參考意義。

[1] 章敏敏,徐和平,王曉潔,周夢(mèng)昀,洪淑月. 谷歌TensorFlow機(jī)器學(xué)習(xí)框架及應(yīng)用[J/OL]. 微型機(jī)與應(yīng)用,2017,36(10):58-60.

[2] HUBEL D H, WIESEL T N. Receptive fields，binocular interaction，and functional architecture in the cat's visual cortex [J].Journal of Physiology,1962,160(1):106-154．

[3] FUKUSHIMA K. Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position [J]. Biological Cybernetics,1980,36(4):193-202．

[4] 李彥冬,郝宗波,雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用,2016,36(9):2508-2515.

[5] Dmitry Yarotsky. Error bounds for approximations with deep ReLU networks[J]. Neural Networks,2017.

[6] Murphy K P. Machine Learning: A Probabilistic Perspective[M]. Cambridge， MA: MIT Press,2012: 82-92．