基于粒子群優(yōu)化的深度隨機(jī)神經(jīng)網(wǎng)絡(luò)

凌青華,宋余慶,韓 飛

(1.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院, 鎮(zhèn)江 212013) (2.江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院, 鎮(zhèn)江 212003)

超限學(xué)習(xí)機(jī)(extreme learning machine,ELM)[1]為單隱層前饋隨機(jī)神經(jīng)網(wǎng)絡(luò)的一類有效學(xué)習(xí)算法．該算法隨機(jī)選擇輸入層權(quán)值和隱單元閾值,并通過摩爾-彭若斯廣義逆解析，確定網(wǎng)絡(luò)輸出層權(quán)值．相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法,超限學(xué)習(xí)機(jī)能夠以極快的速度獲得更優(yōu)的泛化性能;同時(shí),超限學(xué)習(xí)機(jī)中隱單元激活函數(shù)不需要一定可微,在學(xué)習(xí)過程中不用考慮停止規(guī)則、學(xué)習(xí)率和迭代次數(shù)等問題．相對(duì)于支持向量機(jī)，超限學(xué)習(xí)機(jī)僅需確定隱層節(jié)點(diǎn)數(shù),不需要進(jìn)行復(fù)雜的參數(shù)選擇,在多類別分類問題和回歸問題上均能獲得良好性能．因此,近十年來,ELM在生物醫(yī)學(xué)數(shù)據(jù)分析,農(nóng)業(yè)病蟲害預(yù)測(cè)、衛(wèi)星遙感圖像處理等領(lǐng)域得到了廣泛應(yīng)用[2]．

深度學(xué)習(xí)是包含多個(gè)隱層的深度網(wǎng)絡(luò)結(jié)構(gòu)下的機(jī)器學(xué)習(xí)算法,其動(dòng)機(jī)在于建立模擬人腦分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò).它模仿人腦機(jī)制來解釋數(shù)據(jù)，實(shí)現(xiàn)對(duì)信息進(jìn)行分級(jí)處理,由低級(jí)特征組合形成高級(jí)特征,特征表達(dá)逐漸抽象化．深度模型通過堆疊網(wǎng)絡(luò)的層數(shù)來逐層表達(dá)輸入數(shù)據(jù)的不同級(jí)別特征,網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部每層的輸出都作為其下一層的輸入,從而更好地學(xué)習(xí)原始數(shù)據(jù)的內(nèi)在聯(lián)系．深度自動(dòng)編碼器是深度學(xué)習(xí)的一種常用模型,是一種盡可能復(fù)現(xiàn)輸入數(shù)據(jù)特征的學(xué)習(xí)過程[3],但其訓(xùn)練過程太長(zhǎng),時(shí)間開銷過大．為了克服傳統(tǒng)深度自動(dòng)編碼器時(shí)間開銷過大的缺陷,文獻(xiàn)[4]中提出了基于隨機(jī)自動(dòng)編碼器的深度隨機(jī)神經(jīng)網(wǎng)絡(luò)模型——多層超限學(xué)習(xí)機(jī)(multi layer-ELM,ML-ELM)，實(shí)現(xiàn)逐層學(xué)習(xí),實(shí)現(xiàn)了較優(yōu)的泛化性能,且時(shí)間開銷遠(yuǎn)低于傳統(tǒng)深度結(jié)構(gòu)網(wǎng)絡(luò)．

多層超限學(xué)習(xí)機(jī)中初始權(quán)值隨機(jī)確定,而隨機(jī)確定的權(quán)值最終決定著各層的連接權(quán)值．因此,初始隨機(jī)權(quán)值影響著多層超限學(xué)習(xí)機(jī)的性能,會(huì)導(dǎo)致多層超限學(xué)習(xí)機(jī)的性能不穩(wěn)定．為了降低初始權(quán)值設(shè)置的盲目性,文中一方面將利用粒子群優(yōu)化算法(particle swam optimization,PSO)，結(jié)合網(wǎng)絡(luò)的輸入輸出靈敏度信息對(duì)各隨機(jī)自動(dòng)編碼器初始權(quán)值進(jìn)行優(yōu)選,盡可能選出最優(yōu)的各層隨機(jī)自動(dòng)編碼器的初始權(quán)值,從而提高多層隨機(jī)網(wǎng)絡(luò)的穩(wěn)定性;另一方面,對(duì)整個(gè)多層網(wǎng)絡(luò)所獲取的各層權(quán)值利用PSO作進(jìn)一步全局優(yōu)化,以建立最優(yōu)的全局網(wǎng)絡(luò)結(jié)構(gòu)．實(shí)驗(yàn)表明,相對(duì)于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò),文中提出的方法能夠大大降低特征降維的時(shí)間開銷;而相對(duì)于傳統(tǒng)的隨機(jī)深度神經(jīng)網(wǎng)絡(luò),雖然在時(shí)間開銷上略有增加,但能獲取更關(guān)鍵、有效的特征,從而有利于獲得更優(yōu)的分類預(yù)測(cè)性能．

1 深度隨機(jī)神經(jīng)網(wǎng)絡(luò)

1.1 隨機(jī)自動(dòng)編碼器

隨機(jī)神經(jīng)網(wǎng)絡(luò)可以看成是將數(shù)據(jù)的輸入特征表示成不同的形式,分為特征壓縮、特征稀疏表示和等維變換等．單隱層前饋隨機(jī)神經(jīng)網(wǎng)絡(luò)中連接輸入節(jié)點(diǎn)和隱節(jié)點(diǎn)的權(quán)值隨機(jī)產(chǎn)生,從而將輸入數(shù)據(jù)映射到另一隨機(jī)特征空間．在隨機(jī)神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器中,網(wǎng)絡(luò)的輸出等同于網(wǎng)絡(luò)的輸入．

不妨假設(shè)單隱層前饋神經(jīng)網(wǎng)絡(luò)中隱層節(jié)點(diǎn)數(shù)為L(zhǎng),則隨機(jī)網(wǎng)絡(luò)的輸出:

(1)

式中：β為輸出層權(quán)值矩陣；h(X)=[g1(X),g2(X),…,gL(X)]為輸入向量X的隱層輸出,即隨機(jī)隱層特征．由于在自動(dòng)編碼器中輸出向量就是輸入向量,從而有:

Hβ=X

(2)

隨機(jī)神經(jīng)網(wǎng)絡(luò)輸出層權(quán)值 通過最小二范數(shù)均方差計(jì)算，其中H+為隱層輸出矩陣摩爾·彭若斯(moore-penrose,MP)廣義逆:

β=H+X

(3)

為了改進(jìn)網(wǎng)絡(luò)的泛化性能,在式(3)中增加正則項(xiàng)來提高解的魯棒性．

(4)

以上網(wǎng)絡(luò)訓(xùn)練與超限學(xué)習(xí)機(jī)一致,故稱之為超限學(xué)習(xí)機(jī)自動(dòng)編碼器(ELM-auto encoder,ELM-AE)．相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器,ELM-AE能夠極快地訓(xùn)練出泛化性能良好的網(wǎng)絡(luò)．

奇異值分解(singular value decomposition,SVD)是一類常見的特征表達(dá)方法．文獻(xiàn)[4]中ELM-AE采用類似于奇異值分解的方法進(jìn)行特征表達(dá)．式(4)的奇異值分解為:

(5)

式中：ui為HHT的特征向量；di為H的特征值，N為樣本數(shù).

1.2 粒子群優(yōu)化算法

文獻(xiàn)[5]對(duì)Hepper的模擬鳥群(魚群)模型進(jìn)行修正，提出粒子群優(yōu)化算法．PSO是一類基于群體搜索的隨機(jī)優(yōu)化方法,其中每個(gè)個(gè)體稱為粒子,群體由所有個(gè)體組成,稱為種群．每個(gè)粒子代表優(yōu)化問題的一個(gè)可能解．

在PSO優(yōu)化過程中,每個(gè)粒子在多維搜索空間飛行,根據(jù)自己的個(gè)體經(jīng)驗(yàn)和近鄰粒子的群體經(jīng)驗(yàn)調(diào)整自己在搜索空間的位置．因此,每個(gè)粒子利用自身飛過的最佳位置,即個(gè)體歷史最優(yōu)Pbest和其鄰居粒子中最優(yōu)粒子,即全局最優(yōu)粒子Gbest的信息來調(diào)整自己的飛行方向．

每個(gè)粒子的優(yōu)劣,即其離真正全局最優(yōu)解的距離，由一個(gè)預(yù)先定義的適應(yīng)度函數(shù)來評(píng)價(jià),該適應(yīng)度函數(shù)與具體要解決的問題相關(guān)．

不妨假設(shè)第i個(gè)粒子在第t個(gè)時(shí)間步長(zhǎng)的位置為xi(t),粒子的位置更新通過在原有位置向量上增加速度向量來改變,如式(6、7)[6]．

Xi(t+1)=Xi(t)+Vi(t+1)

(6)

Vij(t+1)=wVij(t)+c1r1j(t)(Pbj(t)-Xij(t))+

c2r2j(t)(Pgj(t)-Xij(t))

(7)

式中：w為慣性權(quán)重,對(duì)算法的收斂起到了重要的作用,并能有效平衡種群的探測(cè)與開發(fā)能力;Pbj(t)為第i個(gè)粒子的個(gè)體最優(yōu)位置對(duì)應(yīng)的分量;Pgj(t)為種群全局最優(yōu)粒子對(duì)應(yīng)的分量．

1.3 隨機(jī)前饋網(wǎng)絡(luò)的輸入輸出靈敏度

神經(jīng)網(wǎng)絡(luò)的輸入輸出靈敏度反應(yīng)網(wǎng)絡(luò)的輸出對(duì)輸入變化的敏感程度．較低的網(wǎng)絡(luò)輸入輸出靈敏度使得網(wǎng)絡(luò)具有較好的魯棒性,從而提高網(wǎng)絡(luò)的泛化性能[7]．

考慮一個(gè)含有L-1個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò),yi對(duì)應(yīng)于xk的輸入輸出靈敏度為:

(8)

在超限學(xué)習(xí)機(jī)中,網(wǎng)絡(luò)為單隱層前饋神經(jīng)網(wǎng)絡(luò),輸出層為線性單元,yi對(duì)應(yīng)于xk在第l個(gè)樣本上的輸入輸出靈敏度為:

(9)

因此,在所有樣本上的輸入輸出靈敏度可以用下式計(jì)算:

(10)

式中：n,m和N分別為輸入單元數(shù)目、輸出單元數(shù)目和訓(xùn)練樣本數(shù)目．為了更準(zhǔn)確地獲取網(wǎng)絡(luò)的靈敏度值,在實(shí)際實(shí)驗(yàn)中根據(jù)式(10)重復(fù)計(jì)算多次取均值．

2 基于粒子群優(yōu)化的多層隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)(PSO-ML-ELM)

相對(duì)于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò),多層隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)ML-ELM[4]前向快速訓(xùn)練網(wǎng)絡(luò)各層的權(quán)值,且不反向微調(diào),從而大大減少多層網(wǎng)絡(luò)的訓(xùn)練時(shí)間;同時(shí)由于ELM采用最小范數(shù)最小均方差方法獲取網(wǎng)絡(luò)的各層權(quán)值,ML-ELM泛化性能優(yōu)于傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)．ML-ELM結(jié)構(gòu)如圖1.

然而,ML-ELM在依次訓(xùn)練各隱層時(shí),隱層權(quán)值為對(duì)應(yīng)的隨機(jī)網(wǎng)絡(luò)自動(dòng)編碼器輸出層權(quán)值．當(dāng)隨機(jī)網(wǎng)絡(luò)自動(dòng)編碼器的輸入層權(quán)值確定后,就可以通過MP廣義逆唯一確定．因此,ML-ELM各隱層的網(wǎng)絡(luò)權(quán)值由相應(yīng)的隨機(jī)網(wǎng)絡(luò)自動(dòng)編碼器的輸入層權(quán)值決定．而在ML-ELM中,所有隨機(jī)網(wǎng)絡(luò)自動(dòng)編碼器的輸入層權(quán)值均為隨機(jī)設(shè)置,不合適的隨機(jī)輸入層權(quán)值會(huì)導(dǎo)致較差的輸出層權(quán)值,且較大可能使得自動(dòng)編碼器條件性能降低,使得ML-ELM中隱層結(jié)構(gòu)不合理,最終影響ML-ELM的性能．

傳統(tǒng)的多層隨機(jī)神經(jīng)網(wǎng)絡(luò)ML-ELM雖然能大大提高訓(xùn)練速度、大幅度減少時(shí)間,但由于隨機(jī)設(shè)置隨機(jī)神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器輸入層權(quán)值,導(dǎo)致ML-ELM性能不夠穩(wěn)定,且有一定的改進(jìn)空間．文中將采用PSO對(duì)各ELM-AE中輸入層權(quán)值進(jìn)行優(yōu)選以期得到最優(yōu)的各隱層權(quán)值,從而提高多層隨機(jī)神經(jīng)網(wǎng)絡(luò)的泛化性能．該算法將PSO用于優(yōu)化ML-ELM,故稱為PSO-ML-ELM,其算法流程圖如圖2．

圖1 多層隨機(jī)神經(jīng)網(wǎng)絡(luò)(ML-ELM)結(jié)構(gòu)Fig.1 Frame of multi layer random neural network

圖2 基于PSO的多層隨機(jī)神經(jīng)網(wǎng)絡(luò)框圖Fig.2 Frame of multi layer random neural network based on particle swarm optimization

PSO-ML-ELM算法步驟如下:

步驟1:確定多層網(wǎng)絡(luò)結(jié)構(gòu)．設(shè)置多層隨機(jī)神經(jīng)網(wǎng)絡(luò)各層隱單元節(jié)點(diǎn)數(shù)Li(i=1,2,…,k)．劃分原始數(shù)據(jù)集為訓(xùn)練集和測(cè)試集．

步驟2:計(jì)算多層隨機(jī)網(wǎng)絡(luò)第i隱層在原始訓(xùn)練數(shù)據(jù)集上的輸出，生成新的輸入數(shù)據(jù)集DTR{i}．利用PSO構(gòu)建第i+1隱層,即獲得連接第i層和第i+1層的連接權(quán)值．初始輸入層視為第0層．具體包括以下步驟:

步驟2.1:初始化粒子群．每個(gè)粒子的維數(shù)為(Li+1)×Li+1,其中Li×Li+1個(gè)分量表示自動(dòng)編碼器中輸入層連接權(quán),L(i+1)個(gè)分量表示自動(dòng)編碼器中各隱單元的閾值,粒子各分量在[-1, 1]之間隨機(jī)取值;設(shè)置每個(gè)粒子的初始飛行速度、粒子的最大飛行速度和種群最大迭代次數(shù);每個(gè)粒子的個(gè)體最優(yōu)歷史位置為粒子當(dāng)前位置;隨機(jī)選取一粒子位置為當(dāng)前種群全局最優(yōu);設(shè)置優(yōu)化目標(biāo)．

步驟2.2:計(jì)算各粒子適應(yīng)度值,更新各粒子的個(gè)體歷史最優(yōu)和種群的全局最優(yōu)粒子．為了避免過學(xué)習(xí),粒子的適應(yīng)度函數(shù)為相應(yīng)的自動(dòng)編碼器利用超限學(xué)習(xí)機(jī)算法在訓(xùn)練集上的五折交叉驗(yàn)證準(zhǔn)確率．為了使自動(dòng)編碼器具有良好的泛化性能,在考慮自動(dòng)編碼器分類性能的同時(shí)適當(dāng)降低網(wǎng)絡(luò)的輸入輸出靈敏度,文獻(xiàn)[8]中采用式(11、12)更新粒子的個(gè)體最優(yōu)和種群的全局最優(yōu)粒子．

(11)

(12)

式中：f(Pi),f(Pib) 和f(Pg)分別為第i個(gè)粒子、第i個(gè)粒子個(gè)體最優(yōu)粒子以及種群全局最優(yōu)粒子的適應(yīng)度函數(shù)值；senpi,senpib和senpg分別為第i個(gè)粒子、第i個(gè)粒子個(gè)體最優(yōu)粒子所代表的單隱層前饋網(wǎng)絡(luò)的輸入輸出靈敏度值．λ>0為容忍系數(shù)．

步驟2.3:根據(jù)基本PSO粒子速度位置更新公式更新粒子．

步驟2.4:對(duì)步驟2.2到步驟2.3反復(fù)迭代,直到達(dá)到預(yù)定的優(yōu)化目標(biāo)或達(dá)到最大的迭代次數(shù)．以種群全局最優(yōu)粒子對(duì)應(yīng)的自動(dòng)編碼器的輸出層權(quán)值作為鏈接多層隨機(jī)網(wǎng)絡(luò)第i隱層和第i+1隱層的連接權(quán),而自動(dòng)編碼器輸出層權(quán)值 可根據(jù)SVD方法由式(13)來計(jì)算:

(13)

式中：Hi為多層隨機(jī)網(wǎng)絡(luò)第i隱層的輸出；H為自動(dòng)編碼器隱層輸出．而多層隨機(jī)網(wǎng)絡(luò)第i隱層和第i+1隱層的連接權(quán)為(βi+1)T．

步驟3:重復(fù)步驟2直至構(gòu)造出第k隱層．

步驟4:在第k隱層上增加輸出層,連接第k隱層和輸出層的權(quán)值βk+1直接通過式(14)來計(jì)算:

(14)

式中：Hk為多層隨機(jī)網(wǎng)絡(luò)第k隱層的輸出；t為期望輸出．最終生成多層隨機(jī)神經(jīng)網(wǎng)絡(luò)．

步驟5:利用帶慣性權(quán)重的PSO對(duì)上述多層隨機(jī)神經(jīng)網(wǎng)絡(luò)的各層權(quán)值作簡(jiǎn)單優(yōu)化,即通過較少的迭代次數(shù)對(duì)各層權(quán)值作微調(diào),生成最終的多層隨機(jī)神經(jīng)網(wǎng)絡(luò)．

不妨假設(shè)PSO的最大迭代次數(shù)為ITmax,種群大小為Npso,則算法PSO-ML-ELM的時(shí)間復(fù)雜度為O(K×ITmax×Npso),而隱層數(shù)目K通常為一常數(shù),故算法PSO-ML-ELM的時(shí)間復(fù)雜度為O(ITmax×Npso)．

相對(duì)于傳統(tǒng)的ML-ELM,PSO-ML-ELM在逐層獲取各隱層權(quán)值時(shí)利用PSO對(duì)相應(yīng)的ELM-AE中輸入層權(quán)值進(jìn)行優(yōu)化,這在一定程度上增加了建立多層隨機(jī)網(wǎng)絡(luò)的時(shí)間開銷,但提高了多層網(wǎng)絡(luò)的分類性能．相對(duì)于傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò),PSO-ML-ELM不需要反向微調(diào)網(wǎng)絡(luò)各層權(quán)值,這在一定程度上又降低了時(shí)間開銷．

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法PSO-ML-ELM的有效性,對(duì)算法PSO-ML-ELM、深度ELM以及其他流行的深度學(xué)習(xí)算法進(jìn)行比較．實(shí)驗(yàn)運(yùn)行的軟硬件環(huán)境為:Intel-i7處理器,32GB DDR3內(nèi)存,Windows 10操作系統(tǒng),Matlab 2013b．

3.1 與ML-ELM的比較

文中在Diabetes、Wine、Satellite image和Image Segmentation 4個(gè)相對(duì)較小的基準(zhǔn)數(shù)據(jù)集上,驗(yàn)證文中提出算法的有效性．實(shí)驗(yàn)中,深度隨機(jī)網(wǎng)絡(luò)中隱層數(shù)為3,具體各隱層神經(jīng)元數(shù)目設(shè)置如表1．在PSO-ML-ELM中,PSO的參數(shù)設(shè)置為:c1=c2=1.49,種群最大迭代次數(shù)為10,種群大小為20．表中，N1、N2和N3分別表示深度隨機(jī)神經(jīng)網(wǎng)絡(luò)第1隱層、第2隱層和第3隱層中隱單元個(gè)數(shù)．其設(shè)置與文獻(xiàn)[9]中一致,表1中ML-ELM在4個(gè)數(shù)據(jù)集上的測(cè)試精度來源于文獻(xiàn)[9]．

算法ML-ELM和PSO-ML-ELM在4個(gè)基準(zhǔn)數(shù)據(jù)集均獲得優(yōu)于單隱層隨機(jī)神經(jīng)網(wǎng)絡(luò)的分類精度,這說明深度隨機(jī)神經(jīng)網(wǎng)絡(luò)更能提取有效的數(shù)據(jù)特征．相對(duì)于傳統(tǒng)的深度隨機(jī)神經(jīng)網(wǎng)絡(luò),PSO-ML-ELM在4個(gè)數(shù)據(jù)集上均能獲得更優(yōu)的預(yù)測(cè)準(zhǔn)確率;但訓(xùn)練網(wǎng)絡(luò)的時(shí)間大大提高,這是由于PSO對(duì)各個(gè)自動(dòng)編碼器優(yōu)化所導(dǎo)致．

表1 基準(zhǔn)數(shù)據(jù)集上PSO-ML-ELM與ML-ELM算法的性能比較

對(duì)PSO-ML-ELM在以上4個(gè)基準(zhǔn)數(shù)據(jù)集上各隱層單元數(shù)目進(jìn)行討論,為了便于可視化,假定第1隱層和第2隱層單元數(shù)目相同．從圖3中可以看出,PSO-ML-ELM在按表1中所定的隱單元數(shù)目設(shè)置深度隨機(jī)網(wǎng)絡(luò)的結(jié)構(gòu)時(shí)均獲得較好的預(yù)測(cè)精度．

3.2 與其他深度學(xué)習(xí)算法的比較

在MINST數(shù)據(jù)集上對(duì)PSO-ML-ELM與其他流行的深度學(xué)習(xí)算法進(jìn)行比較,包括SAE、SDE、DBN、DBM、MLP-BP和ML-ELM．PSO-ML-ELM中PSO參數(shù)的設(shè)置與3.1節(jié)中一致．ML-ELM和PSO-ML-ELM中第1隱層、第2隱層和第3隱層神經(jīng)元的個(gè)數(shù)分別為700、700和15 000;輸入層到第1隱層、第1隱層到第2隱層、第2隱層到第3隱層、第3隱層到輸出層的脊參數(shù)C分別設(shè)為1e-1、1e-10、1e4、1e7．DBN的網(wǎng)絡(luò)結(jié)構(gòu)為784-500-500-2000-10,DBM的網(wǎng)絡(luò)結(jié)構(gòu)為784-500-1000-10．為了便于比較,以上參數(shù)的設(shè)置與文獻(xiàn)[4]中一致．

圖4給出了ML-ELM和PSO-ML-ELM第1隱層輸出權(quán)值的可視化結(jié)果,圖中描述的是網(wǎng)絡(luò)第1隱層的輸出,每個(gè)輸出由一個(gè)子圖代表,共有700個(gè)子圖．此圖表明這兩種方法能提取圖像的有效特征．

表2給出了不同算法在MNIST數(shù)據(jù)集上的性能表現(xiàn),其中DBN和DBM實(shí)驗(yàn)結(jié)果來源于文獻(xiàn)[4],該實(shí)驗(yàn)結(jié)果是在Intel-i7 2.7GHz處理器,32GB DDR3內(nèi)存,Matlab 2013a環(huán)境下獲取的,實(shí)驗(yàn)環(huán)境基本一致,因此具有可比性．從表2可以看出,基于PSO優(yōu)化的深度隨機(jī)神經(jīng)網(wǎng)絡(luò)在MINST數(shù)據(jù)集上的收斂精度優(yōu)于SAE、SDE和ML-ELM,但略低于DBN和DBM．從時(shí)間開銷來說,PSO-ML-ELM要遠(yuǎn)低于DBN和DBM;但相對(duì)于ML-ELM、SAE和SDE有較大幅度增加,這是因?yàn)橐隤SO進(jìn)行優(yōu)化增加了時(shí)間開銷．

圖3 基準(zhǔn)數(shù)據(jù)集上PSO-ML-ELM中各層隱單元數(shù)目與測(cè)試精度的關(guān)系曲線Fig.3 Relationship curve between the hidden neuron number in different layers in PSO-ML-ELM and test accuracy on benchmark data

圖4 兩種深度隨機(jī)神經(jīng)網(wǎng)絡(luò)第一隱層輸出權(quán)值可視化Fig.4 Visualization of the first hidden layer output weights on two deep random neural networks

表2 不同算法在MNIST數(shù)據(jù)集上的性能表現(xiàn)

相對(duì)于傳統(tǒng)的多層ELM,文中提出的算法提高了預(yù)測(cè)準(zhǔn)確性;相對(duì)于DBN與DBM它又提高了訓(xùn)練速度．因此,與其他流行深度學(xué)習(xí)方案相比,PSO-ML-ELM是一有效的深度學(xué)習(xí)框架．

4 結(jié)論

(1) 文中利用粒子群優(yōu)化算法結(jié)合網(wǎng)絡(luò)輸入輸出靈敏度對(duì)自動(dòng)編碼器的輸入層權(quán)值進(jìn)行優(yōu)化,從而改善自動(dòng)編碼器的性能以改善多層隨機(jī)神經(jīng)網(wǎng)絡(luò)的性能．最后利用PSO對(duì)整個(gè)網(wǎng)絡(luò)的權(quán)值作適當(dāng)優(yōu)化,進(jìn)一步提高深度隨機(jī)神經(jīng)網(wǎng)絡(luò)的性能．在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了文中提出方法的有效性．

(2) 盡管文中提出的方法在分類性能上有一定的改善,但也增加了時(shí)間開銷,下一步工作將考慮如何降低優(yōu)化代價(jià)．另外，文中算法運(yùn)用標(biāo)準(zhǔn)的PSO進(jìn)行優(yōu)化,下一步工作將考慮如何針對(duì)深層隨機(jī)神經(jīng)網(wǎng)絡(luò)具體的優(yōu)化目標(biāo)設(shè)計(jì)PSO算法,以更大限度地提高深度隨機(jī)神經(jīng)網(wǎng)絡(luò)的性能．