基于PReLUs-Softplus非線性激勵(lì)函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)*

郜麗鵬，鄭 輝

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

基于PReLUs-Softplus非線性激勵(lì)函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)*

郜麗鵬，鄭 輝

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

針對卷積神經(jīng)網(wǎng)絡(luò)表達(dá)能力和識別效果受卷積層激勵(lì)函數(shù)影響的問題，提出了一種新型非線性激勵(lì)函數(shù)PReLUs-Softplus，并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)卷積層.對新型神經(jīng)網(wǎng)絡(luò)和采用傳統(tǒng)激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)在MNIST和CIFAR-10標(biāo)準(zhǔn)數(shù)據(jù)庫上進(jìn)行了圖像識別對比實(shí)驗(yàn)，結(jié)果表明，相比于采用傳統(tǒng)激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)，使用PReLUs-Softplus激勵(lì)函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)在不同的池化方式下圖像識別計(jì)算收斂速度更快，顯著降低了識別的錯(cuò)誤率.

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；激勵(lì)函數(shù)；模式識別；非線性映射；池化；網(wǎng)絡(luò)結(jié)構(gòu)；圖像識別

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中一種常見的模型，輸入是原始圖像，而非提取出來的圖像特征，免去了復(fù)雜的特征提取過程.卷積神經(jīng)網(wǎng)絡(luò)模型作為新興的分類器在多個(gè)領(lǐng)域得到了廣泛應(yīng)用，如字符識別[1]、語音識別[2]、人臉識別[3]、人體行為理解[4]、交通信號識別[5]、情感識別[6]和手勢識別[7-8]等.在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，卷積的操作過程是線性的，表達(dá)能力較弱.通過使用非線性映射的激勵(lì)函數(shù)可以顯著提高神經(jīng)網(wǎng)絡(luò)的表達(dá)能力，激勵(lì)函數(shù)的選取直接決定著網(wǎng)絡(luò)性能的優(yōu)劣.飽和非線性激勵(lì)函數(shù)如雙曲正切函數(shù)(Tanh)和S形生長曲線(Sigmoid)在神經(jīng)網(wǎng)絡(luò)領(lǐng)域取得了良好成果，但存在收斂速度慢和梯度彌散導(dǎo)致的不收斂等問題.近年來，生物學(xué)家建立了能夠更加精確地模擬腦神經(jīng)元接受信號過程的激勵(lì)模型ReLUs(Rectified Linear Units).ReLUs模型具有計(jì)算簡單、收斂速度快和識別精度高等優(yōu)點(diǎn)，較好地解決了使用Tanh函數(shù)和Sigmoid函數(shù)的神經(jīng)網(wǎng)絡(luò)存在的問題，但是ReLUs函數(shù)網(wǎng)絡(luò)可能導(dǎo)致神經(jīng)元壞死的現(xiàn)象[9].隨后有學(xué)者提出了ReLUs函數(shù)的變形函數(shù)形式ReLUs-Leaky和PReLUs(Parametric ReLUs)，這兩種函數(shù)繼承了ReLUs函數(shù)的優(yōu)點(diǎn)，具備一定的稀疏能力，解決了神經(jīng)元壞死的問題.但是以上三種ReLUs族激勵(lì)函數(shù)在x軸的正半軸沒有本質(zhì)變化，對神經(jīng)網(wǎng)絡(luò)進(jìn)行了線性修正，因此欠缺對模型的表達(dá)能力.Softplus函數(shù)是對ReLUs函數(shù)的一種非線性表達(dá)，Softplus函數(shù)是一個(gè)近似光滑的非線性函數(shù)，從曲線形式上看更加契合生物神經(jīng)元的激活特征，但欠缺稀疏表達(dá)能力.本文綜合PReLUs和Softplus函數(shù)優(yōu)點(diǎn)，提出了一種新的不飽和非線性函數(shù)PReLUs-Softplus，其具備稀疏表達(dá)能力，收斂速率快，識別精度高.

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)有別于其他形式的神經(jīng)網(wǎng)絡(luò)，通過對輸入的原始圖像進(jìn)行直接卷積運(yùn)算實(shí)現(xiàn)對旋轉(zhuǎn)、平移和放縮圖像的自適應(yīng)識別，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Convolutional neural network structure

(1)

(2)

式中，f(·)為神經(jīng)元的激勵(lì)函數(shù).

采樣層是通過降采樣和池化手段獲得特征圖像的子模塊集合，子模塊之間不能互相重疊.CNNs采樣層的池化方式分為均值池化、最大池化和隨機(jī)池化三種形式[10].

卷積神經(jīng)網(wǎng)絡(luò)與其他神經(jīng)網(wǎng)絡(luò)的相同之處是均采用前向傳播學(xué)習(xí)進(jìn)行圖像分類，采用反向傳播更新權(quán)重和偏置的方式進(jìn)行學(xué)習(xí).不同之處在于卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置以卷積核的形式存在，前向傳播通過多層卷積層和采樣層的交替作用直接學(xué)習(xí)原始圖像[11].反向傳播算法更新權(quán)值的公式為

W(t+1)=W(t)-ηδ(t)x(t)

(3)

式中：x(t)為該神經(jīng)元的響應(yīng)輸出；δ(t)為該神經(jīng)元的誤差項(xiàng)；η為學(xué)習(xí)率.

CNNs的輸入層和采樣層均不含激活函數(shù)，通常使用CNNs模型進(jìn)行分類時(shí)，輸出層一般采用Sigmoid函數(shù).因此，本文僅對卷積層使用不同激活函數(shù)的神經(jīng)網(wǎng)絡(luò)模型的性能進(jìn)行研究.

2 常用激活函數(shù)及其特性

卷積神經(jīng)網(wǎng)絡(luò)提出后，激勵(lì)函數(shù)的選擇一直是學(xué)者們研究的熱點(diǎn).Tanh、Sigmoid激勵(lì)函數(shù)和Softplus、ReLUs激勵(lì)函數(shù)以及ReLUs族函數(shù)的圖形如圖2～4所示，其表達(dá)式分別如下所示.

1) 飽和非線性函數(shù)

Tanh函數(shù)的表達(dá)式為

圖1給出了從故障開始到重合閘的設(shè)備操作順序，如保護(hù)繼電器、斷路器、重合閘繼電器等。在繼電保護(hù)動(dòng)作和斷路器跳閘后，斷路器重合閘之前還需要電去離子時(shí)間。在此期間，次級電弧應(yīng)滅弧。根據(jù)斷路器的斷開與斷路器重合閘以恢復(fù)電力傳輸之間的間隔定義重合閘間歇時(shí)間：

圖2 飽和非線性函數(shù)曲線Fig.2 Saturated nonlinear function curves

圖3 不飽和非線性函數(shù)曲線Fig.3 Non-saturated nonlinear function curves

圖4 ReLUs族函數(shù)曲線Fig.4 ReLUs family function curves f(x)=(ex-e-x)/(ex+e-x)

(4)

Sigmoid函數(shù)的表達(dá)式為

f(x)=(1+e-x)-1

(5)

2) 不飽和非線性函數(shù)

ReLUs函數(shù)的表達(dá)式為

f(x)=max(0，x)

(6)

Softplus函數(shù)的表達(dá)式為

f(x)=ln(ex+1)

(7)

3) ReLUs族函數(shù)

ReLUs族函數(shù)的表達(dá)式為

(8)

由圖2可知，飽和非線性激勵(lì)函數(shù)Tanh的曲線與Sigmoid函數(shù)的曲線具有相同的趨勢，只是函數(shù)值域不同.由于激勵(lì)函數(shù)的輸出中心為零，不會出現(xiàn)權(quán)重“Z”字下降情況，但是激勵(lì)函數(shù)關(guān)于零點(diǎn)奇對稱的特性與生物神經(jīng)元的基本特征并不相符.Sigmoid函數(shù)具有連續(xù)可微分性的特征，一度成為激活函數(shù)的最優(yōu)選擇，但是后續(xù)研究表明其不具有稀疏特性，而且收斂速度較慢.由圖3可知，ReLUs激勵(lì)函數(shù)曲線自變量小于0時(shí)的輸出為0，從而獲得稀疏表達(dá)能力；Softplus函數(shù)是對ReLUs函數(shù)的非線性平滑表示，具有非線性映射糾正的能力，但其欠缺稀疏表達(dá)能力.在ReLUs族函數(shù)的Leaky-ReLUs函數(shù)表達(dá)式中，a通常取一個(gè)較小的數(shù)，如0.01、0.05等固定值，不再是直接壓縮至0，而是將x<0部分的輸出值壓縮1/a倍，這樣既起到修正數(shù)據(jù)分布的稀疏作用，又不會造成神經(jīng)元壞死，在后面幾層需要負(fù)軸信息時(shí)不至于完全無法恢復(fù).PReLUs表達(dá)式中的a是在高斯分布中抽取的一個(gè)隨機(jī)數(shù)，在測試過程中可對a進(jìn)行修正.研究人員通過實(shí)驗(yàn)論證指出，相比Leaky-ReLUs函數(shù)，PReLUs函數(shù)的圖像識別準(zhǔn)確率提高了1.03%.PReLUs函數(shù)繼承了Leaky-ReLUs函數(shù)的一切優(yōu)點(diǎn)，但是由于ReLUs族激勵(lì)函數(shù)對x>0部分的數(shù)據(jù)只進(jìn)行了線性修正，所以對樣本模型的表達(dá)能力仍有所欠缺.

3 PReLUs-Softplus激活函數(shù)及其特征

綜合PReLUs和Softplus等非線性修正激活函數(shù)的特點(diǎn)，本文提出了一種新型非線性飽和激勵(lì)函數(shù).該激勵(lì)函數(shù)繼承了PReLUs激活函數(shù)的稀疏特性和Softplus函數(shù)的光滑特性，既實(shí)現(xiàn)了稀疏表達(dá)，又不會造成神經(jīng)元壞死，同時(shí)還實(shí)現(xiàn)了激勵(lì)函數(shù)的光滑非線性映射，更貼近于人腦神經(jīng)元的激勵(lì)模型.分別對Softplus函數(shù)和PReLUs函數(shù)進(jìn)行變換，就可得到PReLUs-Softplus激勵(lì)函數(shù)，即首先將Softplus函數(shù)曲線下移ln 2個(gè)基本單位，然后把x<0部分的輸出數(shù)據(jù)設(shè)為ax，修正后函數(shù)記為PReLUs-Softplus，函數(shù)曲線如圖5所示，其表達(dá)式為

(9)

由圖5可以看出，a為一個(gè)被訓(xùn)練的常數(shù)，PReLUs-Softplus激勵(lì)函數(shù)的負(fù)半軸斜率將根據(jù)實(shí)時(shí)訓(xùn)練發(fā)生變化，最終收斂為適宜的常數(shù).PReLUs-Softplus具有靈活的稀疏表達(dá)能力，為了增強(qiáng)對樣本模型的表達(dá)能力，該激勵(lì)函數(shù)對x>0部分的數(shù)據(jù)進(jìn)行了連續(xù)光滑的非線性修正，此外該激活函數(shù)一階導(dǎo)數(shù)曲線在x>0的部分是連續(xù)光滑的增函數(shù)，在卷積層應(yīng)用該激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)更容易收斂并獲得最優(yōu)解.

圖5 PReLUs-Softplus函數(shù)曲線Fig.5 PReLUs-Softplus function curves

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證采用PReLUs-Softplus激勵(lì)函數(shù)卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中應(yīng)用的效果，分別在MNIST和CIFAR-10數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)研究.全輸出層的激勵(lì)函數(shù)均為Sigmoid函數(shù)，卷積層的激勵(lì)函數(shù)分別選取本文提出的PReLUs-Softplus和傳統(tǒng)的激勵(lì)函數(shù)，對比兩種網(wǎng)絡(luò)的識別效果.實(shí)驗(yàn)設(shè)置如下：Matlab版本為2016a，操作系統(tǒng)為Windows 7專業(yè)版，CPU為INTEL i7-6700，主頻為3.4 GHz，內(nèi)存為8 GB.

4.1 MNIST實(shí)驗(yàn)

MNIST庫為手寫羅馬數(shù)字(0～9)數(shù)據(jù)庫，其中包含訓(xùn)練圖片60 000張，測試圖片10 000張，圖片規(guī)格為28×28大小的灰度圖像.樣本庫中部分訓(xùn)練圖片如圖6所示，部分測試圖片如圖7所示.

圖6 部分訓(xùn)練圖片F(xiàn)ig.6 Partial training images

CNNs網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為6C-2S-12C-2S-200F，卷積核大小為5×5，6C/12C表示映射出6個(gè)卷積層/12個(gè)卷積層；2S表示采樣窗口為2的采樣層；200F表示200個(gè)神經(jīng)元組成的全連接層.CNNs網(wǎng)絡(luò)模型的訓(xùn)練過程中，由于實(shí)驗(yàn)環(huán)境和網(wǎng)絡(luò)結(jié)構(gòu)以及選擇激勵(lì)函數(shù)的不同，訓(xùn)練時(shí)間也會存在差別，本文實(shí)驗(yàn)中進(jìn)行一次訓(xùn)練的時(shí)間約為40～70 s.以Softplus激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)為例，遍歷整個(gè)訓(xùn)練庫，每訓(xùn)練50張圖片迭代一次，最終獲得卷積層和全連接層的權(quán)值和偏置，第二層神經(jīng)層(卷積層)和第四層神經(jīng)層的權(quán)值如表1、2所示，限于篇幅，表3只列舉了全連接層的偏置.錯(cuò)誤率收斂如圖8所示，可見使用PReLUs-Softplus激勵(lì)函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)在迭代400次后錯(cuò)誤率就下降到0.1%以下，相較于常用的Sigmoid激勵(lì)函數(shù)收斂速度顯著加快.

表2 神經(jīng)網(wǎng)絡(luò)第四層訓(xùn)練所得權(quán)值Tab.2 Training weight in fourth layer of neural network

采樣層的池化方式均采用均值池化，卷積層分別使用Sigmoid、Tanh、ReLUs、Softplus、Leaky-ReLUs、PReLUs-Softplus函數(shù)作為激勵(lì)函數(shù).采用不同激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)的分類正確率隨迭代次數(shù)變化的曲線如圖9所示.

表3 神經(jīng)網(wǎng)絡(luò)連接層偏置Tab.3 Offset of connected layer in neural network

圖8 錯(cuò)誤率收斂Fig.8 Convergence of error rate

圖9 不同激勵(lì)函數(shù)下的網(wǎng)絡(luò)識別準(zhǔn)確率Fig.9 Network recognition accuracy under different excitation functions

正確率的計(jì)算公式為

(10)

式中：num(error)為分類錯(cuò)誤的圖片數(shù)；num(test_library)為測試圖片總數(shù).

從圖9中可以看出，以MNIST數(shù)據(jù)集作為實(shí)驗(yàn)對象，卷積層使用Sigmoid函數(shù)作為激勵(lì)函數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)收斂速度最慢，最高識別率只有98.5%；使用Tanh激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)取得了較好的收斂效果和識別準(zhǔn)確率，其準(zhǔn)確率達(dá)到98.87%；使用Softplus函數(shù)作為卷積層激勵(lì)函數(shù)的網(wǎng)絡(luò)收斂速度相比于Sigmoid函數(shù)有所提高，識別準(zhǔn)確率提高至98.80%；使用ReLUs函數(shù)作為卷積層激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)收斂速度較快，識別準(zhǔn)確率達(dá)到99.09%；使用ReLUs族函數(shù)的收斂速度進(jìn)一步提升且準(zhǔn)確率最高可達(dá)到99%以上；使用本文提出的PReLUs-Softplus激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確率高達(dá)99.55%.

池化方式分別采用最大值池化和隨機(jī)池化進(jìn)行上述實(shí)驗(yàn)，數(shù)據(jù)庫遍歷次數(shù)設(shè)置為50次，測試結(jié)果如表4所示.

表4 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.4 Experimental results in MNIST database %

從表4中可以看出，在實(shí)驗(yàn)的測試訓(xùn)練過程中，采樣層的池化方式為最大池化時(shí)，傳統(tǒng)的激活函數(shù)網(wǎng)絡(luò)錯(cuò)誤率均約為1.2%，而使用PReLUs-Softplus激勵(lì)函數(shù)的網(wǎng)絡(luò)錯(cuò)誤率降低至0.72%；采用隨機(jī)池化時(shí)，傳統(tǒng)的激活函數(shù)網(wǎng)絡(luò)錯(cuò)誤率均約為1.5%，而使用PReLUs-Softplus激勵(lì)函數(shù)的網(wǎng)絡(luò)錯(cuò)誤率僅為0.65%，網(wǎng)絡(luò)識別性能得到了明顯改善.通過上述實(shí)驗(yàn)驗(yàn)證可知，PReLUs-Softplus激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)在不同池化方式下均能明顯地提高圖像識別的準(zhǔn)確率.

4.2 CIFAR-10數(shù)據(jù)庫實(shí)驗(yàn)

CIFAR-10數(shù)據(jù)庫中含有圖片60 000張，圖片均為32×32的規(guī)格，其中50 000張用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，10 000張用于測試神經(jīng)網(wǎng)絡(luò)的性能.CIFAR-10數(shù)據(jù)庫中的圖片均為彩色圖片，因此在使用CNNs網(wǎng)絡(luò)時(shí)需要先進(jìn)行灰度處理，然后進(jìn)行歸一化.網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)置為8C-2S-16C-2S-240F，卷積核的大小仍為5×5.采樣層選取不同池化方式，卷積層選取不同激勵(lì)函數(shù)，神經(jīng)網(wǎng)絡(luò)圖像識別的錯(cuò)誤率如表5所示.

從表5可以看出，在不同池化方式下，選取PReLUs-Softplus作為激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)識別的錯(cuò)誤率最低.

實(shí)驗(yàn)結(jié)果表明，在選取不同池化方式的條件下，卷積神經(jīng)網(wǎng)絡(luò)中使用PReLUs-Softplus作為激勵(lì)函數(shù)，在兩種數(shù)據(jù)集上均取得了較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)更低的識別錯(cuò)誤率.其中，MNIST數(shù)據(jù)集上的最低錯(cuò)誤率達(dá)到0.45%，而CIFAR-10數(shù)據(jù)集上錯(cuò)誤率可降低至31.20%，相較其他形式的激勵(lì)函數(shù)識別錯(cuò)誤率分別降低了約1%和2%.

表5 CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.5 Experimental results in CIFAR-10 database %

5 結(jié) 論

本文針對深度學(xué)習(xí)算法中卷積神經(jīng)網(wǎng)絡(luò)卷積層ReLUs激勵(lì)函數(shù)對模型表達(dá)能力的不足，ReLUs族函數(shù)作為激勵(lì)函數(shù)時(shí)容易導(dǎo)致神經(jīng)元壞死，Softplus函數(shù)欠缺稀疏表達(dá)能力等問題，提出了一種新型非線性修正函數(shù)PReLUs-Softplus作為神經(jīng)元激勵(lì)函數(shù).在MNIST和CIFAR-10兩個(gè)數(shù)據(jù)集上分別進(jìn)行相關(guān)實(shí)驗(yàn)，結(jié)果表明，在采用多種池化方式的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，使用PReLUs-Softplus非線性修正函數(shù)作為激勵(lì)函數(shù)顯著提高了圖像識別的收斂速度，在MNIST數(shù)據(jù)集上，識別準(zhǔn)確率最高達(dá)到99.55%；在CIFAR-10數(shù)據(jù)集上識別準(zhǔn)確率最高達(dá)到68.80%，相較于其他傳統(tǒng)激勵(lì)函數(shù)，準(zhǔn)確率均有所提高.

[1] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks [C]//Advances in Neural Information Processing Systems.New York，USA，2012：1097-1105.

[2] Abdel-llamid O，Mohamed A R，Hui J，et al.Convolutional neural networks for speech recog-nitionl [J].IEEE-ACM Transactions on Audio Speech and Language Processing，2014，22(10)：1533-1545.

[3] Cheung B.Convolutional neural networks applied to human face classification [C]//11th International Conference on Machine Learning and Applications.Boca Raton，USA，2012：580-583.

[4] Ji S W，Xu W，Yang M，et al.3D convolutional neural networks for human action recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(1)：221-231.

[5] Jin J Q，F(xiàn)u K，Zhang C S.Traffic sign recognition with hinge loss trained convolutional neural networks [J].IEEE Transactions on Intelligent Tranportation Systems，2014，15(5)：1991-2000.

[6] Mao Q R，Dong M，Huang Z W，et al.Learning salient features for Speech emotion recognition using convolutional neural networks [J].IEEE Transaction on Multimedia，2014，16(1)：2203-2213.

[7] Stefan D，Berlemont S，Lefebvre G，et al.3D gesture classification with convolutional neural networks [C]//IEEE International Conference on Acoustics.Florence，Italy，2015：5432-5436.

[8] Li S Z，Yu B，Wu W，et al.Feature learning based on SAEPCA network for human gesture recognition in RGBD images [J].Neuron Computing，2015，15(2)：565-573.

[9] Nair V，Hinton G E.Rectified linear units improve restricted boltzmann machines [C]//Proceeding of the 27th International Conference on Machine Lea-rning(ICML-10).Madison，USA，2010：807-814.

[10]Zeiler M D，F(xiàn)ergus R.Stochastic pooling for regularization of deep convolutional neural networks [C]//International Conference on Learning Representation.Scottsdale，USA，2013：1-9.

[11]牛連強(qiáng)，陳向震，張勝男，等.深度連續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與性能分析 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2016，38(6)：662-666.

(NIU Lian-qiang，CHEN Xiang-zhen，ZHANG Sheng-nan，et al.Model construction and performance analysis for deep consecutive convolutional neural network [J].Journal of Shenyang University of Technology，2016，38(6)：662-666.)

ConvolutionalneuralnetworkbasedonPReLUs-Softplusnonlinearexcitationfunction

GAO Li-peng, ZHENG Hui

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Aiming at the problem that the expression ability and recognition effect of convolutional neural network (CNN) are affected by the excitation function of convolutional layer, a new nonlinear excitation function PReLUs-Softplus was proposed and applied to the convolutional layer in neural network.The contrast experiments on the image recognition of both new neural network and neural network with the traditional excitation function were performed in MNIST and CIFAR-10 standard database.The results show that compared with the neural network with the traditional excitation function, the convolutional neural network with PReLUs-Softplus excitation function has faster convergence rate in the calculation of image recognition under different pooling methods, and can effectively reduce the recognition error rate.

deep learning; convolutional neural network; excitation function; pattern recognition; nonlinear mapping; pooling; network structure; image recognition

2016-11-02.

國家自然科學(xué)基金資助項(xiàng)目(61571146).

郜麗鵬(1972-)，男，黑龍江哈爾濱人，教授，博士，主要從事寬帶信號檢測、處理和識別以及信息融合等方面的研究.

* 本文已于2017-10-25 21∶12在中國知網(wǎng)優(yōu)先數(shù)字出版.網(wǎng)絡(luò)出版地址：http：//kns.cnki.net/kcms/detail/21.1189.T.20171025.2112.020.html

10.7688/j.issn.1000-1646.2018.01.10

TN 953

A

1000-1646(2018)01-0054-06

鐘 媛 英文審校：尹淑英)