流形極限學(xué)習(xí)機自編碼特征表示

陳 媛，陳曉云

福州大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院，福州 350116

1 引言

近年來，因深度學(xué)習(xí)（Deep Learning，DL）在許多困難的學(xué)習(xí)任務(wù)（例如語音識別[1-2]、目標(biāo)檢測[3-4]和圖像分類[5-6]）上都表現(xiàn)出色，因此受到各領(lǐng)域研究人員的廣泛關(guān)注。典型的深度學(xué)習(xí)架構(gòu)包括深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）[7]、堆疊式自動編碼器（Stacked Autoencoder，SAE）[8]和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[9-10]可用于特征提取任務(wù)，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)或深層網(wǎng)絡(luò)。深度網(wǎng)絡(luò)的性能優(yōu)于傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)，單層前饋神經(jīng)網(wǎng)絡(luò)和支持向量機（Support Vector Machines，SVM），但存在學(xué)習(xí)速度慢的問題。極限學(xué)習(xí)機（Extreme Learning Machine，ELM）[11]是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，同傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比，它不僅學(xué)習(xí)速度快，還能找到全局最優(yōu)解。就學(xué)習(xí)效率而言，ELM 不僅是具有最小人為干擾的網(wǎng)絡(luò)模型，還具有精度高和學(xué)習(xí)速度快等優(yōu)點。鑒于ELM 的高效率，一些研究人員致力于研究如何將ELM集成到通用深度學(xué)習(xí)框架中。Kasun 等人[12]應(yīng)用ELM進行自編碼，提出了極限學(xué)習(xí)機自動編碼器（Extreme Learning Machine Autoencoder，ELM-AE）特征表示方法，對ELM-AE 的隱層輸出進行聚類。Ding 等人[13]將ELM-AE 應(yīng)用到 US-ELM 中提出 US-EF-ELM 算法，把ELM-AE 得到的特征作為US-ELM 的隱層輸出，再利用US-ELM 進行降維。受到多層感知機（Multilayer Perceptron，MLP）理論的啟發(fā)，Tang 等人[14]通過使用ELM-AE 進行特征表示和提取，將ELM 擴展到了多層ELM（ML-ELM）。Li 等人[15]將稀疏性和鄰域理論整合到ELM-AE中逐層提取數(shù)據(jù)的深層特征，提出了一種基于稀疏和鄰域保留的深度極限學(xué)習(xí)機（SNP-DELM）。Wei 等人[16]基于深度置信網(wǎng)絡(luò)和極限學(xué)習(xí)機，提出一種新的入侵檢測方法，有效提高入侵檢測識別率和運行效率。Kong等人[17]將深度卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機組合成DCELM模型，很好地融合了DCNN更好的特征提取能力和更快的ELM訓(xùn)練速度。

為了提高現(xiàn)有機器學(xué)習(xí)模型的性能，具有局部數(shù)據(jù)一致性的學(xué)習(xí)受到了研究人員的廣泛關(guān)注。PCA[16]是最經(jīng)典的線性降維方法，以最大化投影散度為目標(biāo)，但未考慮樣本間的近鄰結(jié)構(gòu)關(guān)系。局部保持投影（Locality Preserving Projections，LPP）[18]、近鄰保持嵌入（Neighborhood Preserving Embedding，NPE）[19]、拉普拉斯特征映射（Laplacian Eigenmaps，LE）[20]是幾種常用的技術(shù)，能夠使得降維后的數(shù)據(jù)保持原數(shù)據(jù)的近鄰結(jié)構(gòu)，然而可能會導(dǎo)致信息的丟失。而ELM-AE 以全局特征為主可以避免信息丟失但未考慮數(shù)據(jù)的固有流形結(jié)構(gòu)（即在原始空間中較近的數(shù)據(jù)點在新空間中應(yīng)盡可能靠近）。為了更好地刻畫局部特征，本文在ELM-AE上增加流形正則項，并用近鄰表示來學(xué)習(xí)樣本之間相似性，提出了一種基于流形的極限學(xué)習(xí)機自動編碼器（Manifold-based Extreme Learning Machine autoencoder，M-ELM），通過這種方式保持?jǐn)?shù)據(jù)的近鄰結(jié)構(gòu)并使模型學(xué)習(xí)得到的樣本相似度更具有數(shù)據(jù)自適應(yīng)性。

2 相關(guān)工作

本文將對極限學(xué)習(xí)機自動編碼器（ELM-AE）進行擴展，為了便于理解所提出的算法，本章簡要對ELM-AE的基本思想和功能及流形正則化的思想進行介紹。

2.1 ELM-AE

極限學(xué)習(xí)機自動編碼器（ELM-AE）[12]是基于ELM的一種無監(jiān)督學(xué)習(xí)算法，且ELM-AE 的輸出等于ELMAE 的輸入，其分為兩個階段。ELM-AE 的結(jié)構(gòu)框架如圖1所示。在第一個階段，對于無標(biāo)簽的原始樣本數(shù)據(jù)集X=[x1,x2,…,xn]T∈Rn×m，隱層神經(jīng)元將X映射到nh維特征空間。根據(jù)樣本維數(shù)m和隱含層神經(jīng)元數(shù)nh的大小，ELM-AE可以使用三種不同的結(jié)構(gòu)表示提取的特征：（1）當(dāng)m ＞nh時，即輸入神經(jīng)元的數(shù)量大于隱含層中神經(jīng)元的數(shù)量，此時為壓縮結(jié)構(gòu)，在這種情況下ELMAE從比輸入數(shù)據(jù)空間維數(shù)低的隱含層特征空間中捕獲特征；（2）當(dāng)m ＜nh時，即輸入神經(jīng)元的數(shù)量小于隱含層中神經(jīng)元的數(shù)量，此時為稀疏結(jié)構(gòu)，在這種情況下ELMAE從比輸入數(shù)據(jù)空間維數(shù)高的隱含層特征空間中捕獲特征；（3）當(dāng)m=nh時，即輸入神經(jīng)元的數(shù)量等于隱含層中神經(jīng)元的數(shù)量，此時為等維結(jié)構(gòu)，輸入數(shù)據(jù)空間的維數(shù)與隱含層特征空間的維數(shù)相同。ELM-AE 隱含層的輸出即：

其中g(shù)為激勵函數(shù)，常用的激勵函數(shù)如Sigmoid 函數(shù)。則網(wǎng)絡(luò)的輸出為：

在第二階段，ELM-AE需要通過預(yù)測誤差的平方損失更新輸出權(quán)重β，ELM-AE的目標(biāo)函數(shù)為：

其中第一項是控制模型復(fù)雜度的正則項，C是誤差的懲罰系數(shù)，β∈Rnh×m為隱節(jié)點到輸出節(jié)點的權(quán)重矩陣，H(X)為以下矩陣：

目標(biāo)函數(shù)左右兩邊對β求導(dǎo)，令導(dǎo)數(shù)等于0，即得到問題的解。上述問題的解分為兩種情況，當(dāng)樣本數(shù)大于隱含層神經(jīng)元數(shù)時，解得：

當(dāng)樣本數(shù)小于隱含層神經(jīng)元數(shù)時，H的列數(shù)將多于行數(shù)，直接解式（1）～（3）不僅需要更多的內(nèi)存開銷，而且會出現(xiàn)矩陣不可逆的情況。為了解決這個問題，根據(jù)文獻[21]的方法，令β=H(X)Tα(α∈Rn×m)，解得：

β負責(zé)學(xué)習(xí)從特征空間到輸入數(shù)據(jù)的轉(zhuǎn)換。給定輸入數(shù)據(jù)X，在nh維空間中獲得Xnew=XβT的表示形式。隨后，可以使用Xnew替換聚類和嵌入任務(wù)中的原始數(shù)據(jù)，使用k-means算法對獲得的新數(shù)據(jù)Xnew進行聚類。

圖1 ELM-AE的結(jié)構(gòu)示意圖

2.2 流形正則化

流形正則化的思想是在將隱含層投影到輸出層時對原始樣本點相距較近的近鄰點施加較大的懲罰，使得投影后的樣本點保持近鄰關(guān)系。通過最小化目標(biāo)函數(shù)：

即可使數(shù)據(jù)的近鄰結(jié)構(gòu)得以保持。wij為樣本xi和xj的相似度，定義為：

其中，Nk(xi)表示xi的k近鄰。最小化目標(biāo)函數(shù)可化為矩陣形式：

其中，tr(?)表示矩陣的跡，L=D-W為拉普拉斯矩陣，D是對角陣，。

3 基于流形的極限學(xué)習(xí)機自編碼

3.1 相似度學(xué)習(xí)

流形正則化利用高斯函數(shù)計算樣本之間的相似度，高斯函數(shù)用到距離測度，難以避免地也存在高維空間中測度“集中現(xiàn)象”，可能造成樣本點間高斯相似性度量的類區(qū)分性隨著維數(shù)增加而減弱，進而影響算法性能。為了更好地刻畫樣本的相似性，使其具有數(shù)據(jù)自適應(yīng)性，根據(jù)文獻[22]，將每個數(shù)據(jù)點xi表示為其近鄰樣本的線性組合，即：

其中Z為表示系數(shù)矩陣且當(dāng)xj?Nk(xi)時Zji=0，并使用(|Zij|+|Zji|)/2 來度量樣本xi和xj之間的相似度。文獻[23]已經(jīng)證明在假設(shè)子空間是獨立的情況下，通過最小化Z的某些范數(shù)，可以保證Z具有塊對角結(jié)構(gòu)，在數(shù)學(xué)上被形式化為以下優(yōu)化問題：

為了確保相似度越高的樣本投影后距離越近，將流形正則化中的樣本相似度矩陣W用Z進行學(xué)習(xí)，將式（7）與式（11）結(jié)合得到：

其中第二項和第三項用于自適應(yīng)的學(xué)習(xí)原空間中樣本的相似度。通過上式，使得樣本之間的相似度學(xué)習(xí)具有數(shù)據(jù)自適應(yīng)性。

3.2 基于流形的極限學(xué)習(xí)機自編碼算法

ELM-AE 不僅學(xué)習(xí)速度快，還能找到全局最優(yōu)解，但未考慮數(shù)據(jù)的固有流形結(jié)構(gòu)，因此本文對ELM-AE進行改進。為了更好地刻畫樣本的局部特征且使樣本的相似度矩陣具有數(shù)據(jù)自適應(yīng)性，在ELM-AE目標(biāo)函數(shù)中增加流形正則項，并用相似度學(xué)習(xí)自適應(yīng)地學(xué)習(xí)原空間中樣本的相似度，將模型（3）與模型（12）進行結(jié)合，且為避免平凡解，引入約束(H(X)β)TH(X)β=I，得到M-ELM的目標(biāo)函數(shù)為：

其中，κ,λ,ρ和θ為參數(shù)，第一項是控制模型復(fù)雜度的正則項，第二項為誤差損失項，第三項為流形正則項，第四項和第五項用于自適應(yīng)地學(xué)習(xí)原空間中樣本的相似度。

3.3 模型求解

上述目標(biāo)函數(shù)有兩個變量β和Z，為求解模型，采用ALS 算法進行解決。首先固定β，更新Z，目標(biāo)函數(shù)為：

又每個xi相互獨立，則：

其中當(dāng)xj∈Nk(xi)時，A(xi):j=xj；否則A(xi):j=0。令上述目標(biāo)函數(shù)一階導(dǎo)數(shù)為0，得到：

其次固定Z，更新β，目標(biāo)函數(shù)為：

令W=(Z+ZT)/2，則目標(biāo)函數(shù)可化為矩陣形式：

其中，tr(?)表示矩陣的跡，L=D-W為拉普拉斯矩陣，D是對角陣，。

類似于ELM-AE，上述問題有兩種情況的解。當(dāng)樣本數(shù)大于隱含層神經(jīng)元數(shù)時，解得：

當(dāng)樣本數(shù)小于隱含層神經(jīng)元數(shù)時，令β=H(X)Tα，解得：

其中[C]ii=κ，i=1,2,…,n。

β負責(zé)從特征空間到輸入數(shù)據(jù)的轉(zhuǎn)換，給定輸入數(shù)據(jù)X，在nh維空間中獲得Xnew=XβT的表示形式。隨后，可以使用Xnew替換聚類和嵌入任務(wù)中的原始數(shù)據(jù)，最后將得到的新的樣本矩陣通過k-means 算法聚成K類。具體算法如下：

算法M-ELM Algorithm for clustering

4 實驗結(jié)果與分析

本章將研究M-ELM 的特征提取能力，并與PCA、LPP、NPE、LE 和ELM-AE 五種方法進行比較。實驗選用 6 個公開數(shù)據(jù)集：UCI 數(shù)據(jù)集 IRIS、BCI 競賽 II 數(shù)據(jù)集 IIb 中的 Session 10 和 Session 11、BCI 競賽 III 數(shù)據(jù)集II 中的Subject A 訓(xùn)練集、基因表達數(shù)據(jù)集DLBCL、Prostate0 和Colon。其中BCI 數(shù)據(jù)集需要進行預(yù)處理：研究表明，C3、Cz、C4、Fz、P3、Pz、P4、PO7、PO8 和Oz 電極對實驗中的BCI 數(shù)據(jù)集的特征提取和分類效果較好[24]，因此對 BCI 競賽 II 數(shù)據(jù)集，選取該 10 個電極通道每輪行或列刺激后600 ms的腦電數(shù)據(jù)作為實驗數(shù)據(jù)并進行0.5～30 Hz的巴特沃斯濾波；對BCI競賽III數(shù)據(jù)集，選取相同10個電極通道每輪行或列刺激后1 s的腦電數(shù)據(jù)作為實驗數(shù)據(jù)并進行0.1～20 Hz的巴特沃斯濾波。數(shù)據(jù)集的描述如表1所示。

表1 用于聚類的數(shù)據(jù)集

為了評估每種算法的特征表示能力，本文在實驗中采用聚類準(zhǔn)確率（Accuracy，ACC）作為聚類評價指標(biāo)。ACC計算公式表示為：

其中，n為樣本數(shù)，si和ri為真實標(biāo)簽和預(yù)測標(biāo)簽。δ(si,map(ri)) 表示當(dāng)si=map(ri) 時，δ=1 ，否則δ=0 。map(ri)將聚類得到的類標(biāo)簽映射成與樣本數(shù)據(jù)自帶的類標(biāo)簽等價的類標(biāo)簽。

實驗采用PCA、LPP、NPE、LE、ELM-AE五種方法與本文方法進行比較，所有方法均用MATLAB 2018b 編程實現(xiàn)。實驗中，每個數(shù)據(jù)集超參數(shù)λ、ρ、θ和κ均選自指數(shù)序列{10-3，10-1，…，103}，激勵函數(shù)均采用Sigmoid函數(shù)。LPP、NPE和LE使用相同的相似度矩陣，近鄰數(shù)均設(shè)為5。每種算法獨立選擇嵌入空間的維數(shù)，將數(shù)據(jù)分別投影到21,22,…,n維。該實驗以特征提取后樣本的k-means聚類準(zhǔn)確率作為衡量標(biāo)準(zhǔn)。為減少k-means選取初始中心的隨機性，實驗取10 次聚類準(zhǔn)確率的平均值作為各自方法的最終準(zhǔn)確率，并選取最優(yōu)結(jié)果進行展示，結(jié)果如表2所示。

表2 聚類準(zhǔn)確率 %

由表2 可以看出相較于 ELM-AE 算法，M-ELM 算法的聚類準(zhǔn)確率更高，這說明M-ELM 引入流形正則項保證了彼此接近的原始數(shù)據(jù)在輸出空間中將更接近，并利用近鄰線性表示學(xué)習(xí)相似度矩陣能更好地表示原始數(shù)據(jù)的結(jié)構(gòu)特征。M-ELM算法對比LE算法，不僅保持了樣本的局部信息，還獲得了原始樣本的主要特征，考慮了樣本的全局信息，聚類準(zhǔn)確率更高。M-ELM 算法在6 個數(shù)據(jù)集上的表現(xiàn)優(yōu)于PCA、LPP 和NPE 算法，因相較于這些線性降維方法，M-ELM 采用了非線性激活函數(shù)。對于基因表達數(shù)據(jù)集，非線性特征提取方法總體要優(yōu)于線性特征提取方法，而在非平穩(wěn)腦電數(shù)據(jù)集上，線性和非線性特征提取方法各有千秋。相較于所有對比方法，M-ELM既是非線性映射，又考慮了局部信息和原始樣本的全局信息，且在進行特征提取的同時對相似度矩陣進行了學(xué)習(xí)，具有數(shù)據(jù)自適應(yīng)性，能夠提取更合適的特征，聚類效果更優(yōu)。

UCI 數(shù)據(jù)IRIS 用于直觀地顯示M-ELM 的低維投影，將屬于同一簇的數(shù)據(jù)聚在一起。IRIS數(shù)據(jù)集由四個維度和三個類別組成，分別代表名為sentosa、versicolor和verginica的鳶尾花物種。為了展示M-ELM算法的性能，分別用PCA、LPP、NPE、LE、ELM-AE和M-ELM這6種方法將IRIS數(shù)據(jù)集投影到2維空間，不同方法投影的每個簇的分布可視化結(jié)果如圖2所示。

由圖2可以看出用PCA、LPP、NPE和ELM-AE方法能夠?qū)RIS數(shù)據(jù)第一類樣本較好地分離，少部分第二類和第三類樣本重疊。而LE方法雖能將第一類樣本較好地分離，但第二類和第三類樣本完全重疊。與這幾種方法相比，本文方法的可分性最好，其能夠使IRIS數(shù)據(jù)不同類樣本的重疊程度最低，且投影后每一簇的分布寬度要小于其他方法，使投影后同類樣本更集中，聚集程度最高。

5 結(jié)束語

目前，ELM模型主要用于有監(jiān)督分類或回歸問題，本文對ELM模型推廣到無監(jiān)督特征提取問題上進行了進一步研究，提出基于流形的極限學(xué)習(xí)機自編碼特征表示算法M-ELM。它將ELM-AE 與流形的思想相結(jié)合，同時考慮數(shù)據(jù)的局部信息和全局信息，并進行了相似度矩陣的學(xué)習(xí)提高數(shù)據(jù)自適應(yīng)性，與PCA、LPP、NPE、LE和ELM-AE 相比，M-ELM 具有更強的特征提取能力。數(shù)據(jù)可視化實驗和在6 個數(shù)據(jù)集上的聚類實驗結(jié)果表明，M-ELM具有比其他對比方法更好的性能，但如何有效地選擇參數(shù)是本文之后需要繼續(xù)探究的方向。

圖2 不同算法下IRIS數(shù)據(jù)集二維可視化