卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的性質(zhì)分析與改進(jìn)

張 煥，張 慶，于紀(jì)言

(南京理工大學(xué)機(jī)械工程學(xué)院，江蘇 南京 210094)

1 引言

深度學(xué)習(xí)(Deep Learning，DL)[1]是近年來(lái)人工智能相關(guān)領(lǐng)域最令人矚目的發(fā)展方向，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)作為深度學(xué)習(xí)的主力軍，已經(jīng)在安防、交通、醫(yī)療、教育、零售、家居等諸多領(lǐng)域特別是圖像相關(guān)的任務(wù)上表現(xiàn)優(yōu)異[2-6]。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展源于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)[7-9]，且其具備模擬動(dòng)物的神經(jīng)元這一生物理論基礎(chǔ)。而激活函數(shù)(Activation Functions)作為卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)重要組成部分，其存在的意義重大。

激活函數(shù)通常上也可以稱為非線性映射層，從數(shù)學(xué)角度來(lái)看，它的引入可以增加卷積神經(jīng)網(wǎng)絡(luò)的非線性表達(dá)能力。從生物學(xué)理論角度來(lái)看，激活函數(shù)對(duì)數(shù)據(jù)的作用過程模擬了生物神經(jīng)元對(duì)電信號(hào)的處理過程。生物神經(jīng)元通過一定的閾值激活或抑制接收到的電信號(hào)而產(chǎn)生一定的輸出，從而完成了信息的處理與傳播。因此，參考生物神經(jīng)元，理想的激活函數(shù)應(yīng)該是將輸入數(shù)據(jù)映射為{0，1}兩種結(jié)果的輸出。但是，卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練、誤差反向傳播的過程要求激活函數(shù)具備一定的可微性，顯然理想“神經(jīng)元激活”目前不符合文中的模型訓(xùn)練要求。因此，尋找時(shí)間、空間及特征采集度高效的激活函數(shù)成為了深度學(xué)習(xí)的一項(xiàng)重要基礎(chǔ)研究?jī)?nèi)容。

在初期的深度學(xué)習(xí)發(fā)展過程中，傳統(tǒng)S型非線性飽和激活函數(shù)sigmoid和 tanh 函數(shù)得到了廣泛的應(yīng)用[10]。隨著深度學(xué)習(xí)理論和計(jì)算機(jī)運(yùn)算能力的快速發(fā)展，深度學(xué)習(xí)模型的深度大大提升，此類函數(shù)在模型訓(xùn)練過程中導(dǎo)數(shù)連乘很容易出現(xiàn)“梯度彌散”的問題[11]。2010年，Hinton教授首次提出了修正線性單元(rectified linear units，relu)[12]作為激活函數(shù)，Krizhevsky 等在2012 年 ImageNet ILSVRC 比賽中使用了激活函數(shù)ReLU，驗(yàn)證了ReLU激活函數(shù)具備稀疏性的優(yōu)勢(shì)，能使模型訓(xùn)練以及模型收斂速度大大加快，且很好的解決了sigmoid和tanh函數(shù)存在的梯度彌散問題。但是ReLU激活函數(shù)在負(fù)半軸的梯度恒為零，模型在訓(xùn)練過程可能會(huì)發(fā)生神經(jīng)元“壞死”的狀況[13]。

為了解決ReLU負(fù)半軸置0而導(dǎo)致“神經(jīng)元壞死”的情況，2012年至今研究者們提出Leaky ReLU[14]、PReLU[15]、Noisy ReLU[16]、ELUs[13]、ReLU-softplus[17]、ReLU-softsign[18]、TReLU[19]、Swish[20]、Xwish[21]，ReLU閾值[22]等激活函數(shù)，這些激活函數(shù)有效緩減了“神經(jīng)元壞死”的問題。下文將以神經(jīng)網(wǎng)絡(luò)前向傳播、反向傳播為例，推導(dǎo)激活函數(shù)的作用過程，并總結(jié)、分析優(yōu)良激活函數(shù)應(yīng)該具備的特性。基于激活函數(shù)的發(fā)展及文中有關(guān)激活函數(shù)性質(zhì)的分析，本文提出了一種新型激活函數(shù)ReLU-XeX，通過理論分析其優(yōu)越性，并通過數(shù)據(jù)模型實(shí)驗(yàn)證明了其優(yōu)越性。

2 激活函數(shù)的性質(zhì)分析

激活函數(shù)的直觀作用是對(duì)已有數(shù)據(jù)進(jìn)行非線性映射，增加表達(dá)能力。在神經(jīng)網(wǎng)絡(luò)中，每一層網(wǎng)絡(luò)所學(xué)習(xí)到的特征表現(xiàn)為權(quán)值的形式更新。從神經(jīng)科學(xué)學(xué)科角度來(lái)看，其目的是激活某些信號(hào)進(jìn)行表達(dá)，且抑制某類信號(hào)的表達(dá)。以下將推導(dǎo)和分析神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中激活函數(shù)的作用，并對(duì)激活函數(shù)性質(zhì)進(jìn)行解釋和分析。

可以把神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程分為前向傳播和反向傳播。其中，前向傳播的過程是輸入層輸入、經(jīng)過隱藏層的特征提取，最后在輸出層進(jìn)行輸出；反向傳播是根據(jù)輸出層的實(shí)際輸出與目標(biāo)期望輸出通過某種計(jì)算公式來(lái)計(jì)算誤差損失，并通過每一層的誤差損失求得反向梯度來(lái)更新權(quán)值參數(shù)的過程。圖1是一個(gè)4層的神經(jīng)網(wǎng)絡(luò)，輸入層為第0層，中間三個(gè)隱藏層，第四層為輸出層。圖2為激活函數(shù)的作用示意圖。以下將以圖1中的深層神經(jīng)網(wǎng)絡(luò)為例，推導(dǎo)分析激活函數(shù)在前向傳播和反向傳播中發(fā)揮的作用。

圖1 神經(jīng)網(wǎng)絡(luò)

圖2 激活函數(shù)作用示意圖

2.1 前向傳播

輸入信號(hào)通過各個(gè)網(wǎng)絡(luò)層的隱節(jié)點(diǎn)產(chǎn)生輸出的過程稱為前向傳播。在網(wǎng)絡(luò)訓(xùn)練過程，前向傳播會(huì)生成一個(gè)標(biāo)量損失函數(shù)。其過程表達(dá)式為(1)(2)(3)(4)(5)。其中，x為輸入，w[i]、b[i]為第i層的權(quán)值參數(shù)和偏置，z[i]、a[i]是第i層輸入神經(jīng)元的值和經(jīng)激活函數(shù)激活后神經(jīng)元的值，g[i]為第i層的激活函數(shù)。

第一層需要計(jì)算

z[1]=w[1]x+b[1]，a[1]=g[1](z[1])

(1)

第二層需要計(jì)算

z[2]=w[2]a[1]+b[2]，a[2]=g[2](z[2])

(2)

第三層需要計(jì)算

z[3]=w[3]a[2]+b[3]，a[3]=g[3](z[3])

(3)

第四層需要計(jì)算：

z[4]=w[4]a[3]+b[4]，a[4]=g[4](z[4])

(4)

將上述的輸入x記作a[0]，前向傳播的過程可以寫成通式

z[i]=w[i]a[i-1]+b[i]，a[i]=g[i](z[i])

(5)

分析式(1)～(5)，在神經(jīng)網(wǎng)絡(luò)前向傳播的過程中，輸入經(jīng)過權(quán)值和偏置的累加線性映射，得到一個(gè)初值，這個(gè)初值要經(jīng)過激活函數(shù)的非線性映射進(jìn)一步加工，以增強(qiáng)網(wǎng)絡(luò)表達(dá)能力。因此分析前向傳播過程，激活函數(shù)應(yīng)該具備以下性質(zhì)：

1)激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行非線性映射從而增加表達(dá)能力，因此該過程要求激活函數(shù)為非線性函數(shù)；

2)激活函數(shù)應(yīng)該符合或近似符合零均值分布條件，以增加其對(duì)數(shù)據(jù)的適應(yīng)性；

3)激活函數(shù)計(jì)算的時(shí)間、空間復(fù)雜度應(yīng)該盡量較小。

2.2 反向傳播

反向傳播是根據(jù)輸出層的實(shí)際輸出與目標(biāo)期望輸出通過某種計(jì)算公式來(lái)計(jì)算誤差損失，并通過每一層的誤差損失求其反向梯度來(lái)更新權(quán)值參數(shù)。其過程表達(dá)式為(6)、(7)、(8)、(9)、(10)，反向傳播過程使用梯度下降法的參數(shù)更新公式為式(11)、(12)。其中，將da[j]作為輸入，得到da[j-1]、dw[j]、db[j]作為輸出，a為學(xué)習(xí)率，其余參數(shù)表達(dá)參照2.1節(jié)中的前向傳播。

dz[j]=da[j]*g[j]′(z[j])

(6)

dw[j]=dz[j]*a[j-1]T

(7)

db[j]=dz[j]

(8)

da[j-1]=(w[j])T*dz[j]

(9)

dz[j-1]=(w[j])T*dz[j]*g[j-1]′(z[j-1])

(10)

w=w[j]-a*(w[j+1])T*dz[j+1]*

g[j]′(z[j]) *a[j-1]T

(11)

b=b-a*db=b[j]-a*(w[j+1])T*

dz[j+1]*g[j]′(z[j])

(12)

分析式子(6)～(12)，可以得出權(quán)值參數(shù)的更新與激活函數(shù)導(dǎo)數(shù)值的大小存在線性相關(guān)關(guān)系，深層神經(jīng)網(wǎng)絡(luò)的參數(shù)更新中會(huì)出現(xiàn)激活函數(shù)的導(dǎo)數(shù)連乘。因此分析前向傳播過程，激活函數(shù)應(yīng)該具備以下性質(zhì)：

1)要求激活函數(shù)的導(dǎo)數(shù)不能太小或太大，以避免出現(xiàn)梯度消失或梯度爆炸的問題；

2)要求激活函數(shù)的導(dǎo)數(shù)不能過多的置“0”，以避免出現(xiàn)“神經(jīng)元壞死“問題；

3)要求激活函數(shù)便于計(jì)算機(jī)求導(dǎo)計(jì)算，優(yōu)化計(jì)算成本及性能[23]，以避免計(jì)算量巨大的問題；

4)要求激活函數(shù)理論上存在一定的稀疏性，以符合神經(jīng)科學(xué)的研究論證；

5)要求模型剛開始訓(xùn)練的時(shí)，激活函數(shù)的導(dǎo)數(shù)應(yīng)該較大，加速模型收斂；同時(shí)在模型收斂后半段，應(yīng)要求激活函數(shù)有一定的軟飽和性，即導(dǎo)數(shù)漸漸趨于0，使得模型收斂至最優(yōu)值；

6)要求最好選擇一個(gè)正負(fù)值都可以輸出的激活函數(shù)，因參數(shù)w的更新方向與該層的輸入a[j-1]有關(guān)，使得參數(shù)的更新方向自由；

7)要求激活函數(shù)應(yīng)該具備一定的飽和性，使得模型對(duì)數(shù)據(jù)噪聲具有一定的魯棒性。

3 改進(jìn)的激活函數(shù)ReLU-XeX

考慮函數(shù)f(x)=x*e-|x|，將其命名為XeX。其函數(shù)、導(dǎo)數(shù)表達(dá)式為(13)(14)；其函數(shù)、導(dǎo)數(shù)圖像如圖3、圖4。從式(13)(14)可以看出，函數(shù)XeX具備一些性質(zhì)：

1)其本身為非線性函數(shù)；

2)符合0均值分布；

3)在零點(diǎn)附近其導(dǎo)數(shù)較大，能加速模型的收斂；

4)函數(shù)輸出有正負(fù)值，保證了參數(shù)更新的方向自由；

5)具有軟飽和性，對(duì)數(shù)據(jù)噪聲具備一定的魯棒性。

(13)

(14)

圖3 XeX函數(shù)圖

圖4 XeX導(dǎo)數(shù)圖

(15)

(16)

圖5 ReLU-XeX函數(shù)圖

圖6 ReLU-XeX導(dǎo)數(shù)圖

圖7 函數(shù)圖對(duì)比

圖8 導(dǎo)數(shù)圖對(duì)比

圖7、圖8為L(zhǎng)eaky ReLU(a=0.1)、relu-softplus[13]、relu-softsign[14]以及ReLU-XeX激活函數(shù)在負(fù)半軸的函數(shù)、導(dǎo)數(shù)圖像。對(duì)比圖5、6、7、8可以得出：

1)ReLU-XeX相較于Leaky ReLU(a=0.1)，其負(fù)半軸斜率先大后小的特性有利于模型加速收斂；

2)ReLU-XeX相較于relu-softplus、relusoftsign，其導(dǎo)數(shù)與正半軸導(dǎo)數(shù)(導(dǎo)數(shù)為1)不連續(xù)且相對(duì)較小(a控制著其大小)，這使得輸入值的正負(fù)對(duì)權(quán)值參數(shù)的更新影響更大，增大了輸入正負(fù)值的區(qū)分度；

4 仿真結(jié)果與分析

為了驗(yàn)證上文提出的ReLU-XeX激活函數(shù)的有效性，本文分別在MNIST、CIFAR-10、CIFAR-100、MSTAR四種數(shù)據(jù)集上，對(duì)sigmoid、tanh、ReLU、Leaky ReLU(a=0.1)、relu-softplus、relu-softsign、ReLU-XeX七種激活函數(shù)作性能測(cè)試。針對(duì)四種數(shù)據(jù)集，文中分別設(shè)計(jì)了相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)模型。

目前深度學(xué)習(xí)有很多成熟的開源框架，如Pytorch、TensorFlow、Caffe、CNTK等等。本實(shí)驗(yàn)是在深度學(xué)習(xí)框架Pytorch下完成的，運(yùn)行顯卡為NVIDIA GeForce GTX 1060，并且使用了CUDA進(jìn)行加速。本文在Jupyter Notebook下運(yùn)用matplotlib對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了可視化，并對(duì)參與實(shí)驗(yàn)的幾種激活函數(shù)展開了性能對(duì)比和分析。

4.1 MNIST數(shù)據(jù)集上的仿真結(jié)果及分析

MNIST數(shù)據(jù)集是用于識(shí)別0～9這十種數(shù)字的圖像數(shù)據(jù)集，一共包含70000張28*28像素的灰度手寫數(shù)字圖片，其中60000張圖像為訓(xùn)練集，10000張圖像為測(cè)試集，圖9為其部分圖像樣本。

圖9 MNIST數(shù)據(jù)集

圖10為針對(duì)MNIST數(shù)據(jù)集設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型；表1為本模型相關(guān)的參數(shù)及優(yōu)化方法、損失函數(shù)設(shè)計(jì)。將尺寸為28×28的灰度圖像按中心裁剪的方法裁剪成24×24，并對(duì)其作歸一化處理輸入設(shè)計(jì)好的卷積神經(jīng)網(wǎng)絡(luò)模型。三個(gè)卷積層的卷積核尺寸都是3×3，卷積步長(zhǎng)(stride)為1，卷積填充(padding)為1，每個(gè)卷積層后都跟著一個(gè)最大池化層。最后將提取的特征圖展開為特征向量，由一個(gè)全連接層相接。

表2是在該模型在不同激活函數(shù)作用下得到的測(cè)試集準(zhǔn)確率。由表2可知，文中提出的改進(jìn)激活函數(shù)ReLU-XeX在參數(shù)a=0.2、b=0.2和a=0.2、b=0.05時(shí)均取得了比其它六種激活函數(shù)更優(yōu)的效果。其中在a=0.2、b=0.05時(shí)取得了最高準(zhǔn)確率99.02%，相較于sigmoid提高8.08%；相較于tanh提高0.73%；相較于ReLU提高0.19%；相較于Leaky ReLU(a=0.1)提高0.09%；相較于relu-softplus提高0.26%；相較于relu-softsign提高0.05%。

圖11為30個(gè)訓(xùn)練周期，即9000個(gè)訓(xùn)練批次得到的該模型在不同激活函數(shù)作用下訓(xùn)練集的平均損失與訓(xùn)練批次數(shù)的關(guān)系，從圖中可以看出，relu-softplus、relu-softsign以及本文提出的改進(jìn)激活函數(shù)ReLU-XeX相較于傳統(tǒng)激活函數(shù)sigmoid、tanh、ReLU、Leaky ReLU，在模型收斂速度上有更大的優(yōu)勢(shì)。圖12為模型訓(xùn)練初期，模型的60～150批次數(shù)訓(xùn)練的平均損失，從圖中能看出該模型收斂的先后順序是ReLU-XeX(a=0.5，b=0.05)、relu-softplus、ReLU-XeX(a=0.2，b=0.05)、relu-softsign、ReLU-XeX(a=0.2，b=0.5)。圖13為幾種激活函數(shù)的導(dǎo)數(shù)圖像，參考之前得到的結(jié)論，權(quán)值參數(shù)的更新和激活函數(shù)導(dǎo)數(shù)值的大小成正相關(guān)，這種模型收斂的先后順序得到了論證。

圖10 設(shè)計(jì)的MNIST的CNN模型

表1 MNIST卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)計(jì)

表2 MNIST數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果

圖11 各激活函數(shù)的模型損失

圖12 損失下降對(duì)比

圖13 導(dǎo)數(shù)對(duì)比

4.2 CIFAR-10、CIFAR-100、MSTAR數(shù)據(jù)集上的仿真結(jié)果及分析

CIFAR-10是包含10種類別共60000張32*32像素的三通道圖像數(shù)據(jù)集；CIFAR-100是對(duì)CIFAR-10更加細(xì)致劃分而得到的100類圖像數(shù)據(jù)集。它們都是50000張用作訓(xùn)練集，10000張用作測(cè)試集，部分?jǐn)?shù)據(jù)展示如圖14。MSTAR美國(guó)國(guó)防高等研究計(jì)劃署(DARPA)推出的開源SAR軍事目標(biāo)圖像數(shù)據(jù)庫(kù)。本文采用的MSTAR數(shù)據(jù)集種訓(xùn)練集有2746張圖像，測(cè)試集有2426張圖像，都是128×128分辨率的三通道十類別軍事目標(biāo)圖像，部分?jǐn)?shù)據(jù)展示如圖15。

圖14 CIFAR-10/100數(shù)據(jù)集

圖16為針對(duì)CIFAR-10/CIFAR-100/MSTAR數(shù)據(jù)集設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型；表3為模型相關(guān)的參數(shù)及優(yōu)化方法、損失函數(shù)設(shè)計(jì)。表4為模型在不同激活函數(shù)作用下得到的測(cè)試集準(zhǔn)確率，從表4中可以看出，激活函數(shù)在不同數(shù)據(jù)集的表現(xiàn)效果不盡相同，這與具體模型的特點(diǎn)以及數(shù)據(jù)集的特征有關(guān)。文中提出的改進(jìn)激活函數(shù)ReLU-XeX在參數(shù)a=0.2、b=0.2和a=0.2、b=0.05時(shí)整體取得了比其它六種激活函數(shù)更優(yōu)的效果。

圖15 MSTAR數(shù)據(jù)集

圖16 CIFAR-10/CIFAR-100/MSTAR卷積神經(jīng)網(wǎng)絡(luò)模型

表3 模型參數(shù)設(shè)計(jì)

表4 CIFAR-10/CIFAR-100/MSTAR的實(shí)驗(yàn)結(jié)果

5 結(jié)語(yǔ)

上文通過研究激活函數(shù)的發(fā)展進(jìn)程，以及在分析神經(jīng)網(wǎng)絡(luò)前向傳播和反向傳播中激活函數(shù)所起到的作用的基礎(chǔ)上，提出了改進(jìn)的激活函數(shù)ReLU-XeX，有效的緩解了梯度消失、“神經(jīng)元壞死”等問題。在MNIST、CIFAR-10、CIFAR-100、MSTAR數(shù)據(jù)集上的仿真結(jié)果表明，改進(jìn)的激活函數(shù)ReLU-XeX在本文仿真中整體表現(xiàn)強(qiáng)于其它的一些激活函數(shù)，且在模型的收斂速度上有所提升。

實(shí)驗(yàn)數(shù)據(jù)顯示，激活函數(shù)的表現(xiàn)性能不僅與激活函數(shù)本身的性質(zhì)有關(guān)，還和數(shù)據(jù)集的數(shù)據(jù)分布、模型復(fù)雜度有關(guān)。當(dāng)網(wǎng)絡(luò)模型足夠復(fù)雜，類比大腦神經(jīng)信息傳播，此時(shí)激活函數(shù)理論上也應(yīng)該要具備很高的稀疏性，以防止過擬合。本文提出的改進(jìn)的激活函數(shù)ReLU-XeX在ReLU的基礎(chǔ)上置負(fù)半軸軟飽和，在模型較為復(fù)雜時(shí)其理論上可能仍存在稀疏性不足的問題。但深度學(xué)習(xí)的應(yīng)用對(duì)實(shí)時(shí)性有很高的要求，也即需要用較簡(jiǎn)易的模型完成實(shí)際任務(wù)，本文提出的改進(jìn)的激活函數(shù)ReLU-XeX保留了負(fù)半軸的部分信息，提高了簡(jiǎn)易模型的泛化能力。同時(shí)，ReLU-XeX在負(fù)半軸達(dá)到飽和后，其導(dǎo)數(shù)始終為零，減小了離群點(diǎn)對(duì)模型的干擾以及增強(qiáng)了模型對(duì)噪聲的魯棒性。本文為激活函數(shù)的設(shè)計(jì)改進(jìn)提供了一種思路，激活函數(shù)仍存在許多可以進(jìn)一步優(yōu)化改進(jìn)的地方。