ELM優(yōu)化的深度自編碼分類算法*

徐 毅，董 晴，戴 鑫，宋 威

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

1 引言

近年來，隨著人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘的發(fā)展，神經(jīng)網(wǎng)絡(luò)算法的研究一直受到學(xué)者們的關(guān)注。2006年，Hitton教授提出了“深度學(xué)習(xí)”[1]的概念，深度學(xué)習(xí)方法實(shí)際上是一種深層神經(jīng)網(wǎng)絡(luò)框架，在圖像、語音、目標(biāo)檢測(cè)等方面取得了很好的效果[2-4]。作為深度學(xué)習(xí)中經(jīng)常用到的基礎(chǔ)模塊，自動(dòng)編碼機(jī)[5]（autoencoder）可以從大數(shù)據(jù)中有效提取特征。為了提高特征提取性能，不斷有學(xué)者對(duì)此進(jìn)行改進(jìn)及應(yīng)用。如Vincent等人[6]提出了一種降噪自動(dòng)編碼機(jī)，隨機(jī)破壞輸入特征中的一些數(shù)據(jù)，輸出數(shù)據(jù)仍使用原始數(shù)據(jù)，自編碼網(wǎng)絡(luò)根據(jù)原始數(shù)據(jù)估計(jì)被破壞的值，這樣網(wǎng)絡(luò)的泛化能力更強(qiáng)。胡帥等人[7]將多層降噪自編碼神經(jīng)網(wǎng)絡(luò)與欠采樣局部更新的元代價(jià)算法結(jié)合，進(jìn)一步應(yīng)用于臨床分類診斷，提高了分類模型的輔助診斷性能。秦勝君等人[8]將稀疏自動(dòng)編碼機(jī)（sparse autoencoder，SAE）和深度置信網(wǎng)絡(luò)（deep belief network，DBN）結(jié)合，建立SD算法進(jìn)行文本分類。目前自編碼神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)應(yīng)用中取得了一定的效果，但仍然存在一些共性不足：當(dāng)特征維數(shù)比較小時(shí)，難以提取有效的特征；訓(xùn)練過程繁瑣困難，需要大量迭代計(jì)算，耗費(fèi)時(shí)間。

針對(duì)上述問題，本文提出一種極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）優(yōu)化的深度自編碼神經(jīng)網(wǎng)絡(luò)算法。ELM是一種簡(jiǎn)單有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)[9-11]，可調(diào)參數(shù)少，無迭代過程，吸引了許多學(xué)者對(duì)其進(jìn)行研究[12-13]，本文將ELM與自動(dòng)編碼機(jī)相結(jié)合能有效減少訓(xùn)練時(shí)間。本文算法在分類過程中，把ELM作為自編碼塊，將自動(dòng)編碼機(jī)原始的無監(jiān)督學(xué)習(xí)轉(zhuǎn)化為監(jiān)督學(xué)習(xí)，即在各輸出層中加入標(biāo)簽節(jié)點(diǎn)，比對(duì)實(shí)際輸出與各樣本的期望標(biāo)簽，從而在深度學(xué)習(xí)過程中實(shí)現(xiàn)分類訓(xùn)練。為驗(yàn)證本文方法的有效性，在多個(gè)UCI數(shù)據(jù)集中進(jìn)行廣泛的測(cè)試。實(shí)驗(yàn)結(jié)果表明，與其他自編碼網(wǎng)絡(luò)和傳統(tǒng)的RBF（radial basis function）神經(jīng)網(wǎng)絡(luò)相比，本文算法具有良好的分類準(zhǔn)確率，并且有效地提高了訓(xùn)練速度。

2 相關(guān)工作

2.1 自編碼神經(jīng)網(wǎng)絡(luò)

自動(dòng)編碼機(jī)是深度神經(jīng)網(wǎng)絡(luò)的常用基礎(chǔ)模塊，是一種三層神經(jīng)網(wǎng)絡(luò)，包括輸入層L1、隱含層L2和輸出層L3。自動(dòng)編碼機(jī)是一種使輸出等于輸入的無監(jiān)督學(xué)習(xí)算法，訓(xùn)練樣本集合沒有類別標(biāo)簽，含P個(gè)訓(xùn)練樣本，設(shè)為 {x(1),x(2),…,x(i),…,x(p)}，其中x(i)∈Rn，輸出y=x，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

Fig.1 Network structure of autoencoder圖1 自動(dòng)編碼機(jī)網(wǎng)絡(luò)結(jié)構(gòu)圖

隱藏層L2的輸出滿足公式：

其中，f(x)=1/(1+e-x)為sigmoid函數(shù)；W1為輸出層與隱含層之間的權(quán)值矩陣；b1為偏置向量。輸出層L3滿足公式：

由于自動(dòng)編碼機(jī)的特殊映射關(guān)系，通常定義W2是W1的轉(zhuǎn)置矩陣，b2是隱含層與輸出層之間的偏置向量。樣本數(shù)據(jù)由輸入層到隱含層看作編碼過程，隱含層到輸出層看作解碼過程。每一個(gè)訓(xùn)練樣本x先映射到L2，然后再重構(gòu)成y，每個(gè)樣本的誤差函數(shù)為：

總誤差函數(shù)為：

其中，m為訓(xùn)練樣本的數(shù)量，通過最小化誤差函數(shù)來優(yōu)化參數(shù)。

對(duì)于特征維數(shù)較大的樣本，隱含層即編碼層，可以看作是特征的另一種表達(dá)，有效降低了特征維數(shù)，為接下來的分類工作降低了難度，減少了計(jì)算時(shí)間。但當(dāng)特征維數(shù)比較少時(shí)，自編碼網(wǎng)絡(luò)的作用難以發(fā)揮。

2.2 極限學(xué)習(xí)機(jī)

ELM是一種簡(jiǎn)單的三層前饋神經(jīng)網(wǎng)絡(luò)，輸入權(quán)值矩陣W和偏置向量b是隨機(jī)生成的，只需要計(jì)算輸出權(quán)值矩陣β。對(duì)K個(gè)訓(xùn)練樣本，{X,Y}={xi,yi}，i=1,2,…,k，xi∈Rn是n維輸入特征，yi是目標(biāo)向量，訓(xùn)練ELM的數(shù)學(xué)模型與圖1類似，但是輸出層L3的輸出向量是標(biāo)簽。為了便于介紹，與自動(dòng)編碼機(jī)區(qū)分，將圖1中的W2記作β，數(shù)學(xué)模型如下：

其中，ei=yi-h(xi)β,i=1,2,…,K；C是訓(xùn)練誤差的懲罰系數(shù)；h(xi)是樣本xi在隱含層的輸出。得到下面的等價(jià)問題：

其中，H=[h(x1)T,h(x2)T,…,h(xK)T]T，為了得到上述問題的最優(yōu)解，將上述目標(biāo)函數(shù)的梯度設(shè)置為0，得到下面等式：

通過計(jì)算，式（7）的最優(yōu)解如下：

其中，是nh維的單位矩陣。

3 基于ELM的自編碼深度神經(jīng)網(wǎng)絡(luò)算法

3.1 RP-ELM方法

隨機(jī)映射（random projection，RP）[14]使用適當(dāng)?shù)目s放隨機(jī)矩陣，能夠?qū)ⅹ?dú)立的正態(tài)分布數(shù)據(jù)映射到低維空間，是一種簡(jiǎn)單有效的降維技術(shù)。當(dāng)樣本數(shù)據(jù)維數(shù)較大時(shí)，使用RP技術(shù)降低維數(shù)。RP來源于JL引理（Johnson-Lindenstrauss lemma）[15]：d維歐式距離空間中的任意N個(gè)點(diǎn)可以被映射到r維空間，其中r≥O(ε-2ln(N))，并且任意兩點(diǎn)之間歪曲的距離不超過1±ε，ε∈(0,1)。在r維空間中，RP能夠近似保留N個(gè)數(shù)據(jù)向量之間的距離。Richard等人[15]提出，在2.2節(jié)中的矩陣W由式（9）生成：

其中，Wi,j有1/2的概率等于的概率等于，這種隨機(jī)矩陣既滿足JL引理也滿足受限等距限制，這就在RP和ELM之間建立了聯(lián)系。當(dāng)樣本維數(shù)過大時(shí)，使用RP技術(shù)降維，有效減少了計(jì)算時(shí)間，提高了運(yùn)算效率。

3.2 深度ELM結(jié)構(gòu)

深度ELM由多個(gè)ELM連接而成，輸入層的輸入數(shù)據(jù)是訓(xùn)練特征樣本或測(cè)試特征樣本，X∈RN×1，N為特征維數(shù)，輸入層通過全連接矩陣Wp1∈RM×N連接第一個(gè)ELM塊隱含層（神經(jīng)元個(gè)數(shù)M），隱含層的輸出為x1=Wp1X∈RM×1。第i個(gè)隱含層單元的輸出由sigmoid函數(shù)給出：

式（8）計(jì)算第一個(gè)ELM塊的輸出權(quán)值矩陣β1，并得到輸入向量的近似解?1。以近似解?1作為第二個(gè)ELM塊的輸入數(shù)據(jù)，同樣的方法計(jì)算第二個(gè)ELM塊的輸出權(quán)值矩陣β2，得到輸入向量的近似解2。之后的ELM塊計(jì)算均使用以上方式，最后得到一個(gè)深度ELM結(jié)構(gòu)。傳統(tǒng)的ELM是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，這種淺層網(wǎng)絡(luò)的學(xué)習(xí)效果是有限的，而本文提出的ELM優(yōu)化的深度結(jié)構(gòu)可以更好地學(xué)習(xí)特征，從而取得更好的分類結(jié)果。

3.3 深度ELM監(jiān)督自編碼

在ELM中，當(dāng)把輸入特征作為目標(biāo)輸出，即輸 出等于輸入時(shí)，ELM就成為一個(gè)類似2.1節(jié)介紹的無監(jiān)督自編碼機(jī)。受文獻(xiàn)[16]啟發(fā)，一個(gè)簡(jiǎn)單的方法是在訓(xùn)練樣本中加入標(biāo)簽，若有K個(gè)訓(xùn)練樣本，{X,Y}={xi,yi}，i=1,2,…,k，xi是輸入特征，yi是目標(biāo)向量。設(shè)有M個(gè)分類，若樣本i屬于第1類，則yi=[1,-1,-1,…,-1]，若屬于第2類，則yi=[-1,1,-1,…,-1]，若屬于第M類，則yi=[-1,-1,-1,…,1]。將目標(biāo)向量加入原始輸入特征，目標(biāo)輸出向量為yi+xi，使自動(dòng)編碼機(jī)變?yōu)楸O(jiān)督學(xué)習(xí)。在深度ELM自編碼結(jié)構(gòu)的訓(xùn)練過程中，第一個(gè)ELM塊的輸入數(shù)據(jù)是原始特征，期望輸出是帶標(biāo)簽的特征，即加入目標(biāo)向量的特征，實(shí)際輸出作為第二個(gè)ELM塊的輸入數(shù)據(jù)，依然以帶標(biāo)簽的特征作為期望輸出，計(jì)算得到實(shí)際輸出。之后的ELM塊是同樣的過程，在這種深度結(jié)構(gòu)中不斷學(xué)習(xí)，不斷向期望輸出逼近，取實(shí)際輸出目標(biāo)向量中的最大值作為預(yù)測(cè)分類值，直至最后的分類準(zhǔn)確率符合分類需求。算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2。

Fig.2 Network structure of ELM optimized deep autoencoder classification algorithm圖2 ELM優(yōu)化的深度自編碼算法網(wǎng)絡(luò)結(jié)構(gòu)圖

整個(gè)算法主要過程描述如下：

輸入：k個(gè)n維原始特征樣本{x(1),x(2),…,x(i),…,x(k)}，x(i)∈Rn。

輸出：加入目標(biāo)向量的特征樣本{x(1),x(2),…,x(i),…,x(k)}，x(i)∈ Rn+M。

步驟1確定自動(dòng)編碼機(jī)的隱含層神經(jīng)元個(gè)數(shù)及ELM塊數(shù)。

步驟2將目標(biāo)向量加入到原始特征中，構(gòu)成期望輸出。

步驟3確定樣本特征維數(shù)，若維數(shù)較大需要降維，使用式（9）生成輸入層與隱含層間的權(quán)值矩陣W，若不需要降維，跳過此步。

步驟4利用式（8）計(jì)算隱含層與輸出層間的權(quán)值矩陣β。

步驟5利用β計(jì)算實(shí)際輸出，取實(shí)際輸出中目標(biāo)向量的最大值作為預(yù)測(cè)分類值。

步驟6判斷分類準(zhǔn)確率是否滿足要求，若滿足要求，算法結(jié)束；若不滿足要求，增加ELM塊數(shù)，并返回步驟1。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本文算法的有效性，在UCI Machine Learning Repository上的iris、wine、breastcancer、skin_nonskin、glass、seeds、covtype、LSVT和urbanlandcover數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)（數(shù)據(jù)集出自http://archive.ics.uci.edu/ml/）。所有的數(shù)據(jù)集均是隨機(jī)選取2/3作訓(xùn)練數(shù)據(jù)集，剩下的1/3作測(cè)試數(shù)據(jù)集。各個(gè)數(shù)據(jù)集的基本情況見表1。

Table 1 Introduction to data sets表1 數(shù)據(jù)集介紹

4.2 實(shí)驗(yàn)結(jié)果分析

使用本文算法在UCI的9個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分別在module為1、2、4、6的情況下計(jì)算分類準(zhǔn)確率，module數(shù)是ELM塊數(shù)，即網(wǎng)絡(luò)的深度。

圖3中，（a）是iris數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)準(zhǔn)確率，（b）是測(cè)試數(shù)據(jù)準(zhǔn)確率。數(shù)據(jù)集中一共有150組數(shù)據(jù)，為了避免偶然性，做多次實(shí)驗(yàn)并計(jì)算實(shí)驗(yàn)結(jié)果的平均值，每次實(shí)驗(yàn)從全部150組數(shù)據(jù)中隨機(jī)取100組數(shù)據(jù)進(jìn)行訓(xùn)練，50組數(shù)據(jù)進(jìn)行測(cè)試，一共進(jìn)行100次實(shí)驗(yàn)，計(jì)算平均值作為最后的實(shí)驗(yàn)結(jié)果。當(dāng)深度為2，隱含層神經(jīng)元為24時(shí)，測(cè)試準(zhǔn)確率最高為95.78%。

Fig.3 Experimental results on iris dataset圖3 iris數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

圖4 是iris數(shù)據(jù)集在隱含層神經(jīng)元個(gè)數(shù)為24，深度為2時(shí)的100次隨機(jī)實(shí)驗(yàn)結(jié)果。其中圖4（a）展現(xiàn)了這100次隨機(jī)實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率，從中可以看出測(cè)試的準(zhǔn)確率基本保證在90%以上，取平均值后，得到最終測(cè)試準(zhǔn)確率95.78%。圖4（b）展現(xiàn)了訓(xùn)練時(shí)間和測(cè)試時(shí)間，可以看出訓(xùn)練時(shí)間較短，即使最長(zhǎng)也不會(huì)超過0.1 s，保證了學(xué)習(xí)效率。

Fig.4 Results of 100 experiments of 2 hidden layers and 24 neurons in iris dataset圖4 iris數(shù)據(jù)集上隱含層神經(jīng)元24深度2的100次實(shí)驗(yàn)結(jié)果

圖5 是skin_nonskin數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。對(duì)于skin_nonskin數(shù)據(jù)集來說，由于此數(shù)據(jù)集有245 057組數(shù)據(jù)，數(shù)據(jù)過于龐大，為了節(jié)約時(shí)間，做10次實(shí)驗(yàn)后得到平均值。當(dāng)ELM塊的數(shù)量一定時(shí)，隨著隱含層神經(jīng)元個(gè)數(shù)的增加，不論是訓(xùn)練準(zhǔn)確率還是測(cè)試準(zhǔn)確率均得到提高，當(dāng)神經(jīng)元數(shù)量小于14時(shí)，準(zhǔn)確率的提升比較明顯，達(dá)到14后，準(zhǔn)確率的提升不如之前顯著，逐漸趨于穩(wěn)定。從圖中可以看出，ELM塊數(shù)是1時(shí)，準(zhǔn)確率不是很高，當(dāng)塊數(shù)增加時(shí)，準(zhǔn)確率有所提高。在skin_nonskin數(shù)據(jù)集上，當(dāng)ELM塊數(shù)為4，即深度為4時(shí)，測(cè)試的準(zhǔn)確率最高達(dá)到97.05%。

圖6是在breastcancer數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。隱層神經(jīng)元數(shù)量在范圍[2,30]之間，測(cè)試數(shù)據(jù)準(zhǔn)確率在ELM塊數(shù)是1時(shí)普遍是最低的，當(dāng)ELM塊數(shù)是4時(shí)，準(zhǔn)確率較高，神經(jīng)元個(gè)數(shù)在10之后時(shí)基本穩(wěn)定在97%左右。

Fig.5 Experimental results on skin_nonskin dataset圖5 skin_nonskin數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

以上 iris、skin_nonskin、breastcance數(shù)據(jù)集和其他6個(gè)數(shù)據(jù)集上的最佳實(shí)驗(yàn)結(jié)果如表2。

與DBN算法和RBF神經(jīng)網(wǎng)絡(luò)算法的準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果如表3。

與DBN算法和RBF神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練時(shí)間對(duì)比實(shí)驗(yàn)結(jié)果如表4。

從表3中可以看出，本文算法（DELMAE）取得了良好的準(zhǔn)確率，在breastcancer、wine、seeds、covtype、LSVT、urbanlandcover數(shù)據(jù)集上的表現(xiàn)均要優(yōu)于DBN算法、RBF神經(jīng)網(wǎng)絡(luò)算法和ELM算法，在iris、skin_nonskin、glass數(shù)據(jù)集上雖然不是最佳準(zhǔn)確率，但是分類效果與最佳準(zhǔn)確率相差并不多，在可以接受的范圍內(nèi)。從表4數(shù)據(jù)可以看出，在9個(gè)數(shù)據(jù)集中，與DBN算法和RBF神經(jīng)網(wǎng)絡(luò)算法相比，本文算法極大地縮短了訓(xùn)練時(shí)間，有效地提高了訓(xùn)練效率。

Fig.6 Experimental results on breastcancer dataset圖6 breastcancer數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

Table 2 Experimental results of accuracy表2 準(zhǔn)確率實(shí)驗(yàn)結(jié)果

以wine數(shù)據(jù)集為例，圖7展示了ELM塊數(shù)分別為1、2、4、6時(shí)在不同的隱含層神經(jīng)元下的訓(xùn)練時(shí)間，隱含層神經(jīng)元個(gè)數(shù)范圍在[2,30]內(nèi)，實(shí)驗(yàn)結(jié)果依然是100次實(shí)驗(yàn)取平均值。從圖中可以看出，訓(xùn)練時(shí)間明顯隨著深度的增加而增加，在ELM塊數(shù)為6時(shí)，訓(xùn)練時(shí)間最大是0.25 s，但是在相同的ELM塊數(shù)下，受神經(jīng)元個(gè)數(shù)的影響比較小，即在深度相同時(shí)，訓(xùn)練時(shí)間幾乎不會(huì)隨著神經(jīng)元個(gè)數(shù)的增加而增加。

Table 3 Experimental contrast results of accuracy表3 準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果 %

Table 4 Experimental contrast results of training time表4 訓(xùn)練時(shí)間對(duì)比實(shí)驗(yàn)結(jié)果 s

Fig.7 Training time on wine dataset圖7 wine數(shù)據(jù)集上的訓(xùn)練時(shí)間

5 結(jié)束語

本文提出了一種ELM優(yōu)化的深度自編碼分類算法。為了改善傳統(tǒng)的自編碼神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)，需要大量迭代計(jì)算的缺點(diǎn)，本文算法以ELM作為自編碼塊，避免了迭代過程。同時(shí)對(duì)特征維數(shù)較大的數(shù)據(jù)集，采用RP-ELM方法代替?zhèn)鹘y(tǒng)ELM中的隨機(jī)輸入權(quán)值方法，進(jìn)一步降低特征維數(shù)，以減少訓(xùn)練時(shí)間。在輸出層中加入標(biāo)簽節(jié)點(diǎn)，比對(duì)實(shí)際輸出與期望輸出，使無監(jiān)督學(xué)習(xí)過程轉(zhuǎn)化為監(jiān)督學(xué)習(xí)過程。在多個(gè)UCI數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果證明，與DBN算法和RBF神經(jīng)網(wǎng)絡(luò)算法相比，本文算法的訓(xùn)練時(shí)間得到有效減少，提高了訓(xùn)練效率，并且有良好的分類準(zhǔn)確率。

[1]Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[2]Yuan Feiyun.Codebook generation based on self-organizing incremental neural network for image classification[J].Journal of ComputerApplications,2013,33(7):1976-1979.

[3]Cao Meng,Li Hongyan,Zhao Rongrong.A pitch detection method based on deep neural network[J].Microelectronics&Computer,2016,33(6):143-146.

[4]Ouyang Wanli,Wang Xiaogang.Joint deep learning for pedestrian detection[C]//Proceeding of the 2013 IEEE International Conference on Computer Vision,Sydney,Dec 1-8,2013.Washington:IEEE Computer Society,2013:2056-2063.

[5]Wang Haibo.Research of face recognition based on deep learning[D].Hefei:Hefei University of Technology,2014.

[6]Vincent P,Larochelle H,Bengio Y,et al.Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th International Conference on Machine Learning,Helsinki,Jun 5-9,2008.New York:ACM,2008:1096-1103.

[7]Hu Shuai,Yuan Zhiyong,Xiao Ling,et al.Stacked denoising autoencoders applied to clinical diagnose and classification[J].Application Research of Computers,2015,32(5):1417-1420.

[8]Qin Shengjun,Lu Zhiping.Research of text categorization based on sparse autoencoder algorithm[J].Science Technol-ogy and Engineering,2013,13(31):9422-9426.

[9]Huang Guangbin,Zhu Qinyu,Siew C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//Proceedings of the 2004 International Joint Conference on Neural Networks,Budapest,Jul 25-29,2004.Piscataway:IEEE,2004,2:985-990.

[10]Huang Guangbin,Zhu Qinyu,Siew C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006,70(1/3):489-501.

[11]Kasun L L C,Zhou Hongming,Huang Guangbin,et al.Representational learning with ELMs for big data[J].Intelligent Systems IEEE,2013,28(6):31-34.

[12]Feng Liang,Ong Y S,Lim M H.ELM-guided memetic computation for vehicle routing[J].IEEE Intelligent Systems,2013,28(6):38-41.

[13]Rong Haijun,Ong Y S,Tan A H,et al.A fast pruned-extreme learning machine for classification problem[J].Neurocomputing,2008,72(1/3):359-366.

[14]Gastaldo P,Zunino R,Cambria E,et al.Combining ELMs with random projections[J].Intelligent Systems IEEE,2013,28(6):46-48.

[15]Baraniuk R,Davenport M,Devore R,et al.A simple proof of the restricted isometry property for random matrices[J].ConstructiveApproximation,2008,28(3):253-263.

[16]Tissera M D,McDonnell M D.Deep extreme learning machines:supervised autoencoding architecture for classification[J].Neurocomputing,2015,174:42-49.

附中文參考文獻(xiàn)：

[2]袁飛云.基于自組織增量神經(jīng)網(wǎng)絡(luò)的碼書產(chǎn)生方法在圖像分類中的應(yīng)[J].計(jì)算機(jī)應(yīng)用,2013,33(7):1976-1979.

[3]曹猛,李鴻燕,趙蓉蓉.一種基于深度神經(jīng)網(wǎng)絡(luò)的基音檢測(cè)算法[J].微電子學(xué)與計(jì)算機(jī),2016,33(6):143-146.

[5]汪海波.基于深度學(xué)習(xí)的人臉識(shí)別方法研究[D].合肥:合肥工業(yè)大學(xué),2014.

[7]胡帥,袁志勇,肖玲,等.基于改進(jìn)的多層降噪自編碼算法臨床分類診斷研究[J].計(jì)算機(jī)應(yīng)用研究,2015,32(5):1417-1420.

[8]秦勝君,盧志平.稀疏自動(dòng)編碼器在文本分類中的應(yīng)用研究[J].科學(xué)技術(shù)與工程,2013,13(31):9422-9426.