基于多層自動(dòng)編碼機(jī)的Fisher判別分析

陳振洲, 吳雙燕, 范冰冰

(華南師范大學(xué)計(jì)算機(jī)學(xué)院，廣州 510631)

基于多層自動(dòng)編碼機(jī)的Fisher判別分析

陳振洲*, 吳雙燕, 范冰冰

(華南師范大學(xué)計(jì)算機(jī)學(xué)院，廣州 510631)

在常見的特征提取方法中，F(xiàn)isher判別分析(Fisher Discriminant Analysis，F(xiàn)DA)只能提取線性特征，基于核的方法具有提取非線性特征的能力，但對(duì)核函數(shù)類型及其參數(shù)十分敏感. 文中研究如何有效提取數(shù)據(jù)特征，提出了一種基于多層自動(dòng)編碼機(jī)(Stacked AutoEncoders，SAE)和Fisher標(biāo)準(zhǔn)的特征提取算法，該算法所使用的深度學(xué)習(xí)網(wǎng)絡(luò)模型在訓(xùn)練過程中結(jié)合無監(jiān)督特征提取SAE以及有監(jiān)督的特征提取FDA. 通過與多層自動(dòng)編碼機(jī)、極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)等模型提取的特征進(jìn)行對(duì)比，在數(shù)據(jù)集Pendigits、mnist、ORL和AR上利用支持向量機(jī)對(duì)數(shù)據(jù)特征進(jìn)行分類，結(jié)果表明：基于SAE的Fisher變換(FDA-SAE)在減少分類時(shí)間的同時(shí)還提高了分類結(jié)果準(zhǔn)確率，特別是在小數(shù)據(jù)集AR上，當(dāng)樣本特征較少時(shí)效果非常明顯.

特征提??； 深度學(xué)習(xí)； 多層自動(dòng)編碼機(jī)； Fisher判別分析

有效提取數(shù)據(jù)特征是模式識(shí)別領(lǐng)域的熱點(diǎn)和難點(diǎn)問題，在現(xiàn)有的特征提取方法中，主成分分析(Principal Component Analysis，PCA)和基于Fisher準(zhǔn)則的線性判別分析(Fisher Discriminant Analysis，F(xiàn)DA)只能夠提取線性特征，基于核映射的方法通過核函數(shù)在高維特征空間進(jìn)行線性特征提取，從而實(shí)現(xiàn)在原始空間的非線性特征提取[1]，然而核方法存在模型和參數(shù)敏感性，在利用核方法時(shí)調(diào)參有較大的盲目性. 所以，如何通過靈活的學(xué)習(xí)模型自動(dòng)發(fā)現(xiàn)數(shù)據(jù)集的本征分布，進(jìn)行非線性特征提取和線性變換是特征提取中面臨的一大挑戰(zhàn).

與淺層結(jié)構(gòu)相比，由多層非線性映射層組成的深度結(jié)構(gòu)可以更加高效地提取非線性特征[2-3]，淺層結(jié)構(gòu)僅僅依靠人工經(jīng)驗(yàn)抽取沒有層次結(jié)構(gòu)的單層特征，而深層結(jié)構(gòu)則通過對(duì)原始信號(hào)進(jìn)行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動(dòng)地學(xué)習(xí)得到層次化的特征表示. 自動(dòng)編碼機(jī)(AutoEncoder)是一種簡單而又重要的特征提取結(jié)構(gòu)模型，也被稱作為自動(dòng)連接器[4]，首次提出是一種淺層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于其有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，在復(fù)雜分類問題受到一定制約. 2006年，HINTON等[5]首次將深度學(xué)習(xí)的概念運(yùn)用于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，其提出的基于深度置信網(wǎng)絡(luò)(Deep Belief Net,DBN)的非監(jiān)督貪心逐層訓(xùn)練算法為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望. 在此基礎(chǔ)上，一種無監(jiān)督情況下的機(jī)器學(xué)習(xí)模型——多層自動(dòng)編碼機(jī)的提出[6]，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮. 隨著深度學(xué)習(xí)的火熱發(fā)展，自動(dòng)編碼機(jī)，特別是受限波爾曼機(jī)[7-8]在數(shù)據(jù)特征提取方面取得了不錯(cuò)的成效[9].

多層自動(dòng)編碼機(jī)的提出解決了無監(jiān)督的反向傳播問題[10]，并且有多種非線性的深度結(jié)構(gòu)，如：對(duì)數(shù)據(jù)的降維和升維過程做了限制,用于改變數(shù)據(jù)維度的收縮自動(dòng)編碼機(jī)[11]；用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的一種卷積自動(dòng)編碼機(jī)[12]；用于求解神經(jīng)網(wǎng)絡(luò)的一種特殊的自動(dòng)編碼機(jī)——極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)[13]. 其中，EML最大的特點(diǎn)就是相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)，ELM可以隨機(jī)初始化輸入權(quán)重并且得到相應(yīng)的輸出權(quán)重，在保證精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快，因而也被廣泛應(yīng)用于特征學(xué)習(xí)、回歸和多分類等問題[14-15]. 然而，自動(dòng)編碼機(jī)本質(zhì)上是一種無監(jiān)督學(xué)習(xí)方法得到數(shù)據(jù)的另外一種特征表達(dá)，并不能確保學(xué)習(xí)到的特征具備強(qiáng)大的分類能力，如果能夠在自動(dòng)編碼機(jī)所提取的特征基礎(chǔ)上結(jié)合有監(jiān)督的特征提取方法，所提取的特征應(yīng)該具備更強(qiáng)的分類能力.

基于以上思路，本文結(jié)合無監(jiān)督和有監(jiān)督的學(xué)習(xí)方法，首先利用深度多層自動(dòng)編碼機(jī)(Stacked AutoEncoders,SAE)進(jìn)行無監(jiān)督學(xué)習(xí)，提取分布式特征，在此基礎(chǔ)上利用FDA進(jìn)行有監(jiān)督的學(xué)習(xí)，進(jìn)一步提取有效分類特征. 通過在支持向量機(jī)上的分類實(shí)驗(yàn)表明，利用該方法提取出來的特征分類在分類的效果和時(shí)間上，性能都得到了較大的提升.

1 基于多層自動(dòng)編碼機(jī)的Fisher判別分析(FDA-SAE)

傳統(tǒng)的特征提取方法中，F(xiàn)isher判別(FDA)只能進(jìn)行線性特征提取，而且只能利用有標(biāo)簽的數(shù)據(jù)；非線性特征提取可以通過核方法來實(shí)現(xiàn)，但是存在模型和參數(shù)敏感性，應(yīng)用時(shí)有很大難度. 深度學(xué)習(xí)方法中，SAE通過對(duì)原始信號(hào)(無標(biāo)簽數(shù)據(jù))進(jìn)行逐層特征變換，將樣本在原空間的特征表示變換到新的特征空間，自動(dòng)地學(xué)習(xí)得到層次化的特征表示. 但深度SAE本質(zhì)上是一種無監(jiān)督學(xué)習(xí)方法，并不能確保學(xué)習(xí)到的特征具備強(qiáng)大的分類能力. 因此，本文結(jié)合SAE和FDA，充分利用無標(biāo)簽及有標(biāo)簽的樣本集進(jìn)行非線性特征提取以取得良好的效果.

1.1 多層自動(dòng)編碼機(jī)模型

多層自動(dòng)編碼機(jī)就是在原型編碼機(jī)的基礎(chǔ)上增加編碼的層數(shù)，其學(xué)習(xí)一個(gè)編碼函數(shù)h，h將輸入向量xRd映射為特征向量h(x)Rdh. 同時(shí)還有一個(gè)解碼函數(shù)g，g將h映射回輸入空間，=g(h(x))為x的重構(gòu). 通過最小化訓(xùn)練集上的平均重構(gòu)誤差L(x,g(h(x)))，利用隨機(jī)梯度下降法[16]可以優(yōu)化求解編碼和解碼參數(shù)θ. 最小化目標(biāo)函數(shù)為：

本文將使用最常用的編碼器、解碼器以及重構(gòu)誤差：

上述自動(dòng)編碼機(jī)的參數(shù)集合為：θ={A,α,β}.

多層自動(dòng)編碼機(jī)就是將編碼器逐層連接起來用于特征學(xué)習(xí)，在最后階段運(yùn)用解碼器將特征提取出來用于具體的分類任務(wù)，其特征學(xué)習(xí)和分類過程可分為3個(gè)步驟：

(1)根據(jù)分類任務(wù)構(gòu)建多層自動(dòng)編碼機(jī)，確定所使用的SAE的個(gè)數(shù)以及設(shè)置權(quán)重的初始值；

(2)SAE訓(xùn)練：如圖1所示，給定未加工的無標(biāo)簽數(shù)據(jù)x，通過訓(xùn)練第1個(gè)SAE來學(xué)習(xí)第1層的特征h；將學(xué)習(xí)到的特征h作為第2個(gè)SAE的輸入，得到第2層的特征k(圖2). 以此類推，根據(jù)設(shè)定的SAE的個(gè)數(shù)逐層訓(xùn)練，得到最后層的特征code；

(3)有監(jiān)督微調(diào)：將訓(xùn)練的SAE與線性支持向量機(jī)(Support Vector Machine,SVM)[17]分類器結(jié)合構(gòu)造成一個(gè)多層的分類網(wǎng)絡(luò)結(jié)構(gòu)(圖3)，通過有標(biāo)簽樣本，對(duì)最后層的特征code有監(jiān)督學(xué)習(xí)地進(jìn)行微調(diào).

圖1 第1層的自動(dòng)編碼機(jī)Figure 1 The first layer of AutoEncoder

圖2 第2層的自動(dòng)編碼機(jī)Figure 2 The second layer of AutoEncoder

圖3 多層自動(dòng)編碼機(jī)Figure 3 The structure of stacked AutoEncoders

1.2 Fisher判別分析

Fisher判別分析(FDA)是一種基于Fisher準(zhǔn)則的線性特征提取方法，與PCA不一樣，F(xiàn)DA是一種有監(jiān)督的學(xué)習(xí)方法[18]，對(duì)于二分類問題，F(xiàn)DA可將數(shù)據(jù)樣本嵌入到一維空間，同時(shí)在多類(如l類)問題中，F(xiàn)DA同樣可以將數(shù)據(jù)樣本嵌入到l-1維空間.

設(shè)xiRd(i=1,2,…,n)為d維樣本，yi{1,2,…,l}為相應(yīng)的類標(biāo)簽，其中n是樣本集的大小，l是樣本類別數(shù)目. 如果將第j類的樣本數(shù)目記為nj，則

設(shè)SW和SB分別為樣本集的類內(nèi)散布矩陣和類間散布矩陣，定義如下：

1.3 FDA-SAE算法過程

本文結(jié)合多層自動(dòng)編碼機(jī)和Fisher判別分析進(jìn)行有效分類特征提取，具體過程如下：

(1)利用所有訓(xùn)練樣本學(xué)習(xí)多個(gè)單層的自動(dòng)編碼器；

(2)將多個(gè)單層自動(dòng)編碼器組成一個(gè)多層自動(dòng)編碼器;

(3)結(jié)合分類器(如softmax)，利用有標(biāo)簽的訓(xùn)練樣本對(duì)多層自動(dòng)編碼機(jī)(SAE)進(jìn)行優(yōu)化(若不需要優(yōu)化則可省略此步驟)；

(4)利用學(xué)習(xí)到的SAE對(duì)訓(xùn)練樣本x進(jìn)行特征提取，獲得xSAE；

(5)利用有標(biāo)簽的xSAE訓(xùn)練樣本進(jìn)行FDA，提取最終的分類特征，以便進(jìn)行分類.

2 實(shí)驗(yàn)結(jié)果及分析

本節(jié)將在基準(zhǔn)數(shù)據(jù)集中分別運(yùn)用FDA、SAE、FDA-SAE(用SAE專換后再用FDA進(jìn)行特征提取)、ELM、FDA-ELM (先通過ELM變換再用FDA進(jìn)行特征提取)、FDA-SAE-NN(用SAE進(jìn)行特征變換后再利用神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)進(jìn)行有監(jiān)督的微調(diào)，最后用FDA進(jìn)行特征提取)和SAE-NN(經(jīng)SAE進(jìn)行特征變換后采用NN進(jìn)行微調(diào))等7種方法對(duì)特征進(jìn)行提取，并且應(yīng)用數(shù)據(jù)可視化分析及分類算法進(jìn)行對(duì)比.

2.1 數(shù)據(jù)集和算法

本文所用數(shù)據(jù)集如下：

數(shù)據(jù)集A為“Pendigits”數(shù)據(jù)集，是一個(gè)包含0～9的手寫數(shù)字?jǐn)?shù)據(jù)庫，包含10 992個(gè)樣本，每個(gè)樣本由1個(gè)分類屬性和16個(gè)輸入特征構(gòu)成. 本文利用數(shù)據(jù)集A構(gòu)造出數(shù)據(jù)集A3、A4，分別包含3個(gè)數(shù)字(0,1,2)和4個(gè)數(shù)字(6,7,8,9). 對(duì)于數(shù)據(jù)集A、A3、A4，測試集和訓(xùn)練集的數(shù)據(jù)量比例為2∶1.

數(shù)據(jù)集B為“mnist”數(shù)據(jù)集，是一個(gè)包含0～9的手寫數(shù)字?jǐn)?shù)據(jù)庫，包含70 000個(gè)樣本，每個(gè)樣本由1個(gè)分類屬性和784(28×28的灰度圖像)個(gè)輸入特征構(gòu)成. 與數(shù)據(jù)集A一樣，構(gòu)造出數(shù)據(jù)集B3、B4，分別包含3個(gè)數(shù)字和4個(gè)數(shù)字的識(shí)別. 對(duì)于數(shù)據(jù)集B、B3、B4，訓(xùn)練集和測試集的數(shù)據(jù)量比例為5∶1.

數(shù)據(jù)集C為劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建的ORL人臉數(shù)據(jù)庫，包含40個(gè)人，每人10張照片，共400張面部圖像. 每個(gè)樣本由1個(gè)分類屬性和4 096(64×64的灰度圖像)個(gè)輸入特征構(gòu)成，在本文中訓(xùn)練集和測試集的數(shù)據(jù)量比例為7∶3.

數(shù)據(jù)集D為Purdue大學(xué)創(chuàng)建的AR人臉數(shù)據(jù)庫，本文取其中100個(gè)人，每人14張照片，共 1 400張面部圖像. 每個(gè)樣本由1個(gè)分類屬性和2 580(60×43的灰度圖像)個(gè)輸入特征構(gòu)成，訓(xùn)練集和測試集的數(shù)據(jù)量比例為1∶1.

2.2 結(jié)果與分析

從圖4和圖5可以看出在原始數(shù)據(jù)集上直接用FDA或FDA-SAE-NN提取的特征，類間分離的效果不如FDA-SAE提取的特征. FDA-SAE提取的特征能夠?qū)崿F(xiàn)類間距離大、類內(nèi)聚集度高的特點(diǎn)，為后續(xù)的分類算法提供了良好的基礎(chǔ)；還可以看出，F(xiàn)DA-SAE-NN提取的特征不如FDA-SAE提取的特征. 這說明在執(zhí)行無監(jiān)督的特征提取SAE后，后續(xù)結(jié)合有監(jiān)督的特征提取FDA，中間的有監(jiān)督微調(diào)(利用NN)并不能提高效果.

圖4 特征提取算法在數(shù)據(jù)集A3上的結(jié)果(二維特征)Figure 4 Results of feature extraction algorithms on dataset A3 (two-dimensional features)

圖5 特征提取算法在數(shù)據(jù)集A4上的結(jié)果(三維特征)Figure 5 Results of feature extraction algorithms on dataset A4 (three-dimensional features)

表1描述了不同的特征提取算法在不同的數(shù)據(jù)集上的提取特征后，在SVM上的分類準(zhǔn)確率，其中：數(shù)據(jù)集A3、A4和A的原始數(shù)據(jù)包含16個(gè)特征，SAE之后的數(shù)據(jù)包含100個(gè)特征，F(xiàn)DA之后的數(shù)據(jù)分別包含2、3、9個(gè)特征，ELM之后數(shù)據(jù)包含10個(gè)特征. 數(shù)據(jù)集B3、B4和B的原始數(shù)據(jù)包含784個(gè)特征，SAE之后的數(shù)據(jù)包含100個(gè)特征，F(xiàn)DA之后的數(shù)據(jù)分別包含2、3、9個(gè)特征，ELM變換之后特征變?yōu)?0個(gè).

從表1可以看出，在數(shù)據(jù)集A、A3、A4上，各個(gè)算法分類的準(zhǔn)確率都差不多，但FDA-SAE的準(zhǔn)確率略高；在數(shù)據(jù)集B、B3、B4上FDA-SAE分類準(zhǔn)確率比較穩(wěn)定，波動(dòng)不大，ELM算法波動(dòng)較大，F(xiàn)DA-SAE提取的特征上的分類準(zhǔn)確率比SAE、原始特征上的準(zhǔn)確率稍低，但FDA-SAE比SAE-NN的性能好，說明采用FDA做SAE后續(xù)有監(jiān)督特征提取比集成NN微調(diào)的SAE特征提取更加有意義. 在數(shù)據(jù)集C、D也是由于高維稀疏問題，F(xiàn)AD-SAE提取的特征用于分類的結(jié)果明顯好于其他算法，說明直接在原始特征上無法進(jìn)行FDA求解(奇異矩陣)， 并且FDA-SAE提取的特征上的分類性能比SAE、SAE-NN好，進(jìn)一步說明了采用FDA做SAE后續(xù)有監(jiān)督特征提取更加有意義. 與FDA-SAE-NN相比，F(xiàn)DA-SAE在運(yùn)行時(shí)間和分類性能都具備優(yōu)勢，如果SAE之后采用FDA進(jìn)行特征提取，那么SAE之后的NN微調(diào)不但不能提高性能，反而會(huì)降低性能.

表1 算法在不同數(shù)據(jù)集的分類準(zhǔn)確率Table1 The accuracy rate of classification for algorithms on different datasets %

表2展示了各個(gè)分類算法在不同的數(shù)據(jù)集上運(yùn)行的時(shí)間，運(yùn)行時(shí)間為特征提取時(shí)間和分類時(shí)間的總和. 從表中可以看出在不同的數(shù)據(jù)集上經(jīng)過Fisher變換的特征用于分類的時(shí)間比沒有經(jīng)過Fisher變換的運(yùn)行時(shí)間要短，其中FDA-SAE運(yùn)行的時(shí)間比其他的算法時(shí)間都要短，特別是在數(shù)據(jù)集B上，SAE方法提取特征的分類時(shí)間將近FDA-SAE方法的2倍. 另外，在ELM算法上加上Fisher分析運(yùn)行時(shí)間也比沒有經(jīng)過Fisher變換所需要的時(shí)間要少. 綜上所述，說明在無監(jiān)督的算法SAE后加上有監(jiān)督的算法FDA提取出來的特征不僅在分類能力上有提高，在運(yùn)行時(shí)間上也有很大的優(yōu)勢.

表2 算法在不同數(shù)據(jù)集上的運(yùn)行時(shí)間Table 2 The runtime of algorithms on different dataset s

3 結(jié)論

本文提出了FDA-SAE特征提取方法，該方法結(jié)合無監(jiān)督算法SAE和有監(jiān)督算法FDA，利用深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)強(qiáng)大的分布式表達(dá)能力以及FDA的降維能力，提取出具有更好分類能力的特征. 首先利用深度SAE進(jìn)行無監(jiān)督學(xué)習(xí)，提取分布式特征，在此基礎(chǔ)上利用FDA進(jìn)行有監(jiān)督的學(xué)習(xí)，進(jìn)一步提取有效分類特征. 實(shí)驗(yàn)結(jié)果說明，本文提出的算法具有較好的性能.

雖然FDA-SAE可以有效地提取具有判別性的樣本特征，但是在FDA-SAE算法網(wǎng)絡(luò)結(jié)構(gòu)的層次性和參數(shù)的設(shè)置上都還存在一定的隨機(jī)性，未來的工作將會(huì)集中在以下幾個(gè)方面：(1)改進(jìn)FDA:FDA提取的特征并不正交，需研究改進(jìn)FDA提取正交特征；(2)將FDA標(biāo)準(zhǔn)集成到SAE內(nèi)部:在SAE微調(diào)階段的NN改成類似FDA標(biāo)準(zhǔn)的誤差后向傳播；(3)深度模型的優(yōu)化:不同的深度、不同的激活函數(shù)、參數(shù)都會(huì)影響整個(gè)算法的性能.

[1]ZHAOC,ZHENGC,ZHAOM,etal.Multivariateautoregressivemodelsandkernellearningalgorithmsforclassi-fyingdrivingmentalfatiguebasedonelectroencephalographic[J].ExpertSystemswithApplications,2011,38(3):1859-1865.

[2]BENGIOY,DELALLEAUO.Ontheexpressivepowerofdeeparchitectures[C]∥AlgorithmicLearningTheory.Berlin:Springer,2011:18-36.

[3]BENGIOY,GUYONG,DRORV,etal.Deeplearningofrepresentationsforunsupervisedandtransferlearning[J].WorkshoponUnsupervised&TransferLearning,2012,27:17-37.

[4]BOURLARDH,KAMPY.Auto-associationbymultilayerperceptronsandsingularvaluedecomposition[J].BiologicalCybernetics,1988,59(4/5):291-294.

[5]HINTONGE,OSINDEROS,TEHYW.Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation,2006,18(7):1527-1554.

[6]VINCENTP,LAROCHELLEH,BENGIOY,etal.Extractingandcomposingrobustfeatureswithdenoisingautoenco-ders[C]∥Proceedingsofthe25thInternationalConferenceonMachineLearning.NewYork:ACM,2008:1096-1103. [7] 張春霞,姬楠楠,王冠偉. 受限波爾茲曼機(jī)簡介[J]. 工程數(shù)學(xué)學(xué)報(bào),2013(2):159-173.

[8]HINTONGE.Apracticalguidetotrainingrestrictedboltzmannmachines[M]∥NeuralNetworks:TricksoftheTrade.Berlin:Springer,2012:599-619.

[9]BALDIP,GUYONG,DRORV,etal.Autoencoders,unsupervisedlearning,anddeeparchitectureseditor:I[J].JournalofMachineLearningResearch,2012,27:37-50.

[10]RUMELHARTDE,HINTONGE,WILLIAMSRJ.Lear-ninginternalrepresentationsbyerrorpropagation[J].Rea-dingsinCognitiveScience,1988,1:399-421.

[11]RIFAIS,VINCENTP,MULLERX,etal.Contractiveauto-encoders:explicitinvarianceduringfeatureextraction[C]∥Proceedingsofthe28thInternationalConferen-ceonMachineLearning(ICML).Bellevue,WA:[s.n],2011:77-84.

[12]MASCIJ,MEIERU,CIRESAND,etal.Stackedconvolutionalauto-encodersforhierarchicalfeatureextraction[C]∥InternationalConferenceonArtificialNeuralNetworks.Berlin:Springer,2011:52-59.

[13]HUANGGB,WANGDH,LANY.Extremelearningmachines:asurvey[J].InternationalJournalofMachineLearningandCybernetics,2011,2(2):107-122.

[14]HUANGGB,BAIZ,KASUNLLC,etal.Localreceptivefieldsbasedextremelearningmachine[J].IEEEComputationalIntelligenceMagazine,2015,10(2):18-29.

[15]HUANGGB,ZHOUH,DINGX,etal.Extremelearningmachineforregressionandmulticlassclassification[J].IEEETransactionsonSystems,Man,andCybernetics:PartB,2012,42(2):513-529.

[16]LIXL.Preconditionedstochasticgradientdescent[J].Statistics,2015,27(3):27-38.

[17]ZHANGSW,PANQ,ZHANGHC,etal.Classificationofproteinquaternarystructurewithsupportvectormachine[J].Bioinformatics,2003,19(18):2390-2396.

[18]TRIERD,JAINAK,TAXTT.Featureextractionmethodsforcharacterrecognition:asurvey[J].PatternRecognition,1996,29(4):641-662.

【中文責(zé)編：莊曉瓊 英文審校：肖菁】

Fisher Discriminant Analysis Based on Stacked AutoEncoders

CHEN Zhenzhou*, WU Shuangyan, FAN Bingbing

(School of Computer Science, South China Normal University, Guangzhou 510631,China)

Among the methods of common-featured extraction, Fisher Discriminant Analysis(FDA) can only extract the linear features. Although the method based on kernel has the ability to extract nonlinear features, it is very sensitive to the type of kernel function and its parameters. The effective feature extraction of data is concerned in this paper. A feature extraction algorithm based on Stacked AutoEncoders(SAE) and FDA is proposed. The training process of the deep-learning network model in this algorithm combines unsupervised features extracted by SAE with supervised features extracted by FDA. Through the comparison of features extracted from multi-layer automatic encoding machine, Extreme Learning Machine (ELM) and other models, by using support vector machine to classify the data features in the data set Pendigits, MNIST, ORL, AR, FDA based on SAE (FDA-SAE) has good performance in the classification accuracy and runtime. Especially in small dataset AR, the effect is especially obvious under the condition of less sample features.

feature extraction; deep learning; stacked AutoEncoders; Fisher discriminant analysis

2016-05-14 《華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n

廣東省科技計(jì)劃項(xiàng)目(2013B010401022)

TP301

A

1000-5463(2017)03-0117-06

*通訊作者:陳振洲,講師,Email：chenzhenzhou@scnu.edu.cn.