代價(jià)敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)及圖像識(shí)別應(yīng)用

宋坤駿，丁建明

(西南交通大學(xué) 牽引動(dòng)力國(guó)家重點(diǎn)實(shí)驗(yàn)室，成都 610031)

如今，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域[1-3]的正確率已經(jīng)接近或超過(guò)人類,但深度學(xué)習(xí)算法的高額運(yùn)行開銷使得它在實(shí)用化方面還面臨一些困難。例如，百度自主開發(fā)的Deep Image圖像識(shí)別系統(tǒng)就需要運(yùn)行在其自行研發(fā)的Minwa超級(jí)計(jì)算機(jī)上。為了在移動(dòng)或嵌入式設(shè)備上更快更好地運(yùn)行深度學(xué)習(xí)模型，需要在降低模型的開銷上進(jìn)一步努力。降低開銷的思路是：（1）從根本上避免神經(jīng)網(wǎng)絡(luò)中用到的梯度下降等迭代步驟；（2）采用在線增量式訓(xùn)練算法代替離線批量式算法。將這兩種思路結(jié)合，本文提出代價(jià)敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)（CSR-FMML-OSELM）算法。

極限學(xué)習(xí)機(jī)（ELM）[4]是一種新型的單隱層前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法，近年來(lái)針對(duì)該算法進(jìn)行了不少研究和拓展。Yang等人[5]提出了一種雙端增量型極限學(xué)習(xí)機(jī)，這是一種通過(guò)網(wǎng)絡(luò)余差反向傳遞的方式直接計(jì)算部分隱層神經(jīng)元參數(shù)的算法，擺脫了隱層神經(jīng)元完全隨機(jī)選取的任意性對(duì)算法性能造成的不利影響。Cao等人[6]借鑒Learn++思想提出了一種基于投票機(jī)制的集成ELM算法，也屬于一種ELM隱層參數(shù)選取隨機(jī)性的解決思路。Liu等人[7]證明了有L個(gè)無(wú)限可微隱層節(jié)點(diǎn)的ELM網(wǎng)絡(luò)的VC維數(shù)等于L。Yu和Deng[8]提出了將反向傳播算法作用于網(wǎng)絡(luò)的隱層參數(shù)上以壓縮ELM網(wǎng)絡(luò)的尺寸的思想,他們的方法將網(wǎng)絡(luò)的模型尺寸壓縮到了原先的1/16。張弦等人提出的限定記憶極端學(xué)習(xí)機(jī)（FM-ELM）是一種固定樣本數(shù)量的在線序列極限學(xué)習(xí)算法，該算法每添加一個(gè)新訓(xùn)練樣本的同時(shí)會(huì)丟棄一個(gè)距當(dāng)前時(shí)刻最遠(yuǎn)的舊訓(xùn)練樣本，以消除舊訓(xùn)練樣本對(duì)于當(dāng)前模型的不利影響[9]。

本文提出的CSR-FM-ML-OSELM算法相比張弦等人提出的算法，創(chuàng)新之處如下：（1）為了體現(xiàn)類別之間的不平衡性，在算法中加入了類別的權(quán)重因子，此即代價(jià)敏感性（CS）；（2）將多隱層（ML）極限學(xué)習(xí)機(jī)[10]納入在線學(xué)習(xí)的框架中；（3）為了進(jìn)一步提升算法的性能，使用深度學(xué)習(xí)理論中常用的softplus激活函數(shù)代替ELM理論中的sigmoid激活函數(shù)；（4）為了提升穩(wěn)定性和泛化性能，采用吉洪諾夫的正則化方法(R)。

1 代價(jià)敏感正則化有限記憶單隱層在線序列極限學(xué)習(xí)機(jī)

1.1 極限學(xué)習(xí)機(jī)簡(jiǎn)介

極限學(xué)習(xí)機(jī)其實(shí)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)的特殊訓(xùn)練算法，該算法最大特點(diǎn)在于極大地減少了需要迭代計(jì)算求解的權(quán)值和偏置個(gè)數(shù)，將原兩層權(quán)值的迭代求解問(wèn)題轉(zhuǎn)換為通過(guò)最小二乘法求解最后一層的輸出權(quán)值。因而不僅大大加快了訓(xùn)練速度，而且非但沒(méi)有喪失泛化能力反而有所提升。設(shè)單隱層前饋網(wǎng)絡(luò)的輸出層和隱層神經(jīng)元數(shù)分別為 m和L，則關(guān)于輸入特征向量x∈Rd的第j維輸出表達(dá)式為：

h(x)=[h1(x), h2(x), …, hL(x)]和 βj=[βj1, βj2, …, βjL]T依次是隱層激活函數(shù)向量和連接第j個(gè)輸出層節(jié)點(diǎn)和各隱層節(jié)點(diǎn)的輸出權(quán)值向量。非線性激活函數(shù)h(x)可以是 sigmoid，tanh，sin 等函數(shù)。ai=[ai1, ai2, …, aid]和bi則分別為連接輸入層各節(jié)點(diǎn)和隱層第i個(gè)節(jié)點(diǎn)的輸入權(quán)值及第i個(gè)隱層節(jié)點(diǎn)的偏置，輸出權(quán)值矩陣βj=[β1, β2, …, βm]由式（2）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問(wèn)題求出：

式（2）中的目標(biāo)函數(shù)稱為ELM算法的損失函數(shù)，容易看出，上述最優(yōu)化問(wèn)題可以用最小二乘法求解。Bartlett曾證明[13]：?jiǎn)坞[層前饋神經(jīng)網(wǎng)絡(luò)的泛化能力與回歸系數(shù)向量的范數(shù)大小呈負(fù)相關(guān)關(guān)系，因此滿足權(quán)值最小的Moore-Penorse最小二乘解同時(shí)也是所有最小二乘解中泛化能力最好的，其回歸系數(shù)向量（即輸出層權(quán)重）的表達(dá)式為：

式（3）中，關(guān)于N個(gè)輸入樣本[x1, x2, …, xN]的隱層輸出矩陣H定義為：

其中，L是隱層神經(jīng)元數(shù)，N是輸入樣本數(shù)，而關(guān)于N個(gè)輸入樣本的訓(xùn)練數(shù)據(jù)目標(biāo)矩陣則由式（5）定義：

其中，m是輸出維數(shù)。

廣義逆矩陣H?的定義如下：當(dāng)H?H為非奇異矩陣時(shí)，H?=(HTH)–1HT，而當(dāng) HHT為非奇異矩陣時(shí)，H?=HT(HHT)–1。由以上公式可以得出ELM算法的訓(xùn)練流程如圖1所示。

圖1 極限學(xué)習(xí)機(jī)訓(xùn)練流程

1.2 代價(jià)敏感正則化有限記憶單隱層在線序列極限學(xué)習(xí)機(jī)

為了體現(xiàn)不同類別故障誤診的代價(jià)差異性，對(duì)不同類別的樣本引入不同的權(quán)重系數(shù)。假設(shè)第k類樣本誤診的代價(jià)乘數(shù)是W(k)，k=1, 2,…,Nc，這里，Nc是預(yù)先已知的類別總數(shù)，通常為了消除類別間數(shù)量上的不平衡，可以取W(k)=nk–1，即每一類樣本數(shù)的倒數(shù)。下面用加權(quán)最小二乘法體現(xiàn)代價(jià)敏感性，而用增量式學(xué)習(xí)算法應(yīng)對(duì)流式到來(lái)的故障數(shù)據(jù)。

加權(quán)最小二乘問(wèn)題的表述是：設(shè)要求一組系數(shù)βj，使損失函數(shù)(Z–Hβ)取最小值，那么令偏導(dǎo) αJ/?β=–2HTWZ+2HTWHβ=0可以得到系數(shù)的加權(quán)最小二乘估計(jì)：β*=(HTWH)–1HTWZ。這里，H矩陣第i行第j列元素為第j個(gè)基函數(shù)hj(x)在第i個(gè)采樣點(diǎn)xi的取值，W是各個(gè)權(quán)值組成的對(duì)角矩陣diag(W1, W2, …,WN)，諸Wi從諸W(k)中取值，Z是輸出目標(biāo)值向量，xi=[x1i,x2i,…,xni]T是輸入層向量(1≤i≤N) 。加權(quán)最小二乘法的損失函數(shù)為最小的充分條件是?2J/?β2=HTWH＞0，即HTWH是正定矩陣。為了提高解的穩(wěn)定性和泛化性能，通常在損失函數(shù)J中再加上一項(xiàng)正比于輸出權(quán)值模平方的項(xiàng)1/2C(||β||2)，對(duì)應(yīng)于上述解中再增加一項(xiàng)正則化項(xiàng)I/C，得到：

下面給出上述代價(jià)敏感正則化極限學(xué)習(xí)機(jī)的在線遞推形式。每步遞推可分成兩個(gè)子步驟：（1）加入N1個(gè)新樣本；（2）刪去距當(dāng)前時(shí)刻最遠(yuǎn)的N2個(gè)舊樣本。有限記憶性由（2）體現(xiàn)。

假設(shè)新增的數(shù)據(jù)對(duì)應(yīng)的矩陣塊是ΔH(1)，ΔW(1)和ΔZ(1)，刪除的數(shù)據(jù)對(duì)應(yīng)的矩陣塊是 ΔH(2)，ΔW(2)和ΔZ(2)，則由分塊矩陣的運(yùn)算知：

這里，角標(biāo)（1）和（2）分別代表新增數(shù)據(jù)后和刪除舊數(shù)據(jù)后的各個(gè)矩陣，由于

其中，K=(I/C+HTWH)。則由式（8）和式（9）以及Woodbury公式[11]經(jīng)過(guò)簡(jiǎn)單推演可得如下輸出層權(quán)值遞推公式：

其中，P=K–1, P(1)=K(1)–1, P(2)=K(2)–1。每當(dāng)有新數(shù)據(jù)到來(lái)時(shí)，據(jù)式（11）求解新增數(shù)據(jù)后的權(quán)值β(1)，再據(jù)式（13）求解刪除一定量舊數(shù)據(jù)后的權(quán)值β(2)作為反映最新數(shù)據(jù)的當(dāng)前權(quán)值。

由公式的推導(dǎo)過(guò)程可見，每次有數(shù)據(jù)到來(lái)時(shí)新增數(shù)據(jù)量N1和刪除的舊數(shù)據(jù)量N2不一定相等，兩者間可以是任意的比例關(guān)系N2/N1，但需要在合理的范圍內(nèi)以保證任何時(shí)候都有N+N1–N2＞0。

2 代價(jià)敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)

作為多隱層在線序列極限學(xué)習(xí)機(jī)的基礎(chǔ)，首先給出單隱層極限學(xué)習(xí)自編碼器的訓(xùn)練流程：?jiǎn)坞[層極限學(xué)習(xí)自編碼器采用無(wú)監(jiān)督的訓(xùn)練算法，無(wú)需給出訓(xùn)練類標(biāo)簽，其類標(biāo)簽就等于輸入向量，除此之外，其訓(xùn)練算法同極限學(xué)習(xí)機(jī)的訓(xùn)練算法是類同的，均由式（6）給出，只是在式（6）中輸出向量Z等于輸入向量X,并且輸入層的權(quán)值和偏置在隨機(jī)選取后便按照J(rèn)ohnson-Lindenstrauss引理[12]予以正交化。

本節(jié)的多隱層在線序列極限學(xué)習(xí)機(jī)同上一小節(jié)中單隱層在線序列極限學(xué)習(xí)機(jī)之間的關(guān)系正如深度學(xué)習(xí)中堆棧自編碼器同各層自動(dòng)編碼器（AE）之間的堆疊關(guān)系。多隱層的作用在于通過(guò)逐層遞進(jìn)的無(wú)監(jiān)督學(xué)習(xí)自動(dòng)提取特征。本節(jié)將沿用上節(jié)單隱層網(wǎng)絡(luò)的遞推算法給出多隱層網(wǎng)絡(luò)的遞推算法：在任何時(shí)刻t=k+1，用單隱層網(wǎng)絡(luò)的遞推公式求出第1隱層的輸出層權(quán)值而后每一隱層的隱層輸出矩陣可通過(guò)前一隱層的隱層輸出矩陣用前向傳播算法求出,其偽代碼描述如下。

（1）初始化階段

初始數(shù)據(jù)集{xi, ti}, xi∈d , ti∈m, i=1, 2,…, N0

For s=1 to p s為隱層數(shù)目

其中，由式（9）計(jì)算

End for

（2）在線學(xué)習(xí)階段

For k=0 to tmax k為時(shí)間步數(shù)

For s=1 to p

H由式（1 3）計(jì)算

End for

3 實(shí)驗(yàn)研究

為了研究本文所提出算法的效果，分別在CIFAR-10物體圖片庫(kù)，MNIST手寫數(shù)字庫(kù)和ORL人臉庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn)。計(jì)算所用操作系統(tǒng)為Windows 7 64 bit旗艦版，CPU為Intel(R) Core(TM)i7-3520M@ 2.90 GHz，內(nèi)存為8 GB，所用計(jì)算軟件為Matlab R2016a。

CIFAR-10物體圖片庫(kù)包含60 000張像素為32×32的彩色照片，分成10類，每類中含有6 000張照片，共50 000張訓(xùn)練圖片，10 000張測(cè)試圖片。

圖2給出了每類中10張示例圖片。

圖2 CIFAR-10示例圖片

MNIST手寫數(shù)字庫(kù)中0-9每個(gè)數(shù)字有6 000張訓(xùn)練圖片，1 000張測(cè)試圖片，圖片像素為28×28。

ORL人臉庫(kù)包含40個(gè)人的共400張人臉照，每個(gè)人10張照片，每張像素為64×64。實(shí)驗(yàn)時(shí)每個(gè)人選擇6張作為訓(xùn)練圖片，4張作為測(cè)試圖片。

實(shí)驗(yàn)時(shí)ELM網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)取為圖片的像素點(diǎn)數(shù)，對(duì)3類圖片庫(kù)分別為32×32，28×28和64×64；輸出節(jié)點(diǎn)數(shù)取為已知類別總數(shù)，對(duì)3類圖片庫(kù)分別為10，10和40。3類數(shù)據(jù)庫(kù)初始圖片張數(shù)分別為15 000，15 000，200；每一時(shí)間步內(nèi)進(jìn)入的圖片張數(shù)分別取為500，500，5。有限記憶性要求的每一時(shí)間步內(nèi)刪除的圖片張數(shù)取為等于每一時(shí)間步內(nèi)進(jìn)入的圖片張數(shù)。

圖3～圖5是在3組圖片數(shù)據(jù)集上三隱層CSRFM-ML-OSELM和原始OSELM的測(cè)試集分類準(zhǔn)確率隨著其隱層單元數(shù)的變化關(guān)系圖（三隱層是指中間隱層單元數(shù)），即3幅圖中橫軸是隱層神經(jīng)元數(shù)，縱軸是測(cè)試集分類準(zhǔn)確率。由圖3～圖5可見，不論是單隱層還是多隱層的極限學(xué)習(xí)機(jī)，測(cè)試集的識(shí)別準(zhǔn)確率均有隨著隱層神經(jīng)元數(shù)增多而增多并漸趨飽和的趨勢(shì)。根據(jù)這一趨勢(shì)可以選擇最優(yōu)的隱層節(jié)點(diǎn)數(shù)以兼顧計(jì)算復(fù)雜度和分類準(zhǔn)確率。由圖4和圖5可見，當(dāng)隱層節(jié)點(diǎn)數(shù)較多時(shí)，本文提出的CSR-FM-MLOSELM算法對(duì)于手寫數(shù)字辨識(shí)和人臉識(shí)別均達(dá)到了較好的準(zhǔn)確率，最高都超過(guò)了95%，表明OSELM算法加入多隱層特性分類準(zhǔn)確率有明顯的提升。多層隱藏層確實(shí)能夠?qū)W習(xí)到一些單隱層無(wú)法提取的高階特征。

圖3 CIFAR-10圖片庫(kù)2種算法分類準(zhǔn)確率隨隱層節(jié)點(diǎn)數(shù)變化

由于ELM隱層節(jié)點(diǎn)參數(shù)是隨機(jī)選取的，所以為了避免分類準(zhǔn)確率結(jié)果的不穩(wěn)定性，在每組圖片數(shù)據(jù)集上進(jìn)行了10組實(shí)驗(yàn)，取各組實(shí)驗(yàn)識(shí)別率的平均值，記錄下10組數(shù)據(jù)的標(biāo)準(zhǔn)差以跟蹤2種算法的穩(wěn)定性表現(xiàn)。2種ELM算法在3組圖片數(shù)據(jù)集上的測(cè)試集準(zhǔn)確率的標(biāo)準(zhǔn)差和平均訓(xùn)練時(shí)間如表1所示，其中，每組數(shù)據(jù)集左邊一列是原始OSELM算法的數(shù)據(jù)，而右邊一列是本文提出的CSR-FM-ML-OSELM算法的數(shù)據(jù)。

圖4 MNIST圖片庫(kù)2種算法分類準(zhǔn)確率隨隱層節(jié)點(diǎn)數(shù)變化

圖5 ORL人臉庫(kù)2種算法分類準(zhǔn)確率隨隱層節(jié)點(diǎn)數(shù)變化

由表1可見，在由測(cè)試集準(zhǔn)確率標(biāo)準(zhǔn)差體現(xiàn)的算法穩(wěn)定性方面，本文提出的CSR-FM-ML-OSELM算法勝過(guò)原始的OSELM算法。同時(shí)，本文算法的訓(xùn)練時(shí)間顯著低于現(xiàn)有的深度學(xué)習(xí)算法，且多隱層特性加入在線序列極限學(xué)習(xí)機(jī)后，相比單隱層的在線序列極限學(xué)習(xí)機(jī)而言，訓(xùn)練時(shí)間提升幅度并不大。

表1 本文算法和原始OSELM算法在3組圖片庫(kù)數(shù)據(jù)集上測(cè)試集準(zhǔn)確率標(biāo)準(zhǔn)差和平均訓(xùn)練時(shí)間

表2 所示為在不同的正則化參數(shù)C和權(quán)重W(k)取值下CSR-FM-ML-OSELM和CSR- OSELM人臉識(shí)別的平均準(zhǔn)確率。表2中，每個(gè)C值下的左右兩列分別代表權(quán)重W(k)=nk–1和W(k)=1兩種情況，其中，W(k)=1，C=1030的CSR-OSELM算法就相當(dāng)于原始的OSELM算法。從中可看出，原始OSELM算法的測(cè)試集準(zhǔn)確率91.9%要顯著低于最高的準(zhǔn)確率97.5%，帶有多隱層和有限記憶性質(zhì)的CSR-FM-MLOSELM算法的準(zhǔn)確率要高于同樣參數(shù)的不帶這些性質(zhì)的CSR-OSELM算法的準(zhǔn)確率，并且隨著參數(shù)C的增加，也即正則化項(xiàng)作用的減弱，準(zhǔn)確率有下降趨勢(shì)。同時(shí)，左列帶了加權(quán)處理情形的準(zhǔn)確率要高于右列不帶加權(quán)情形的。說(shuō)明多隱層、有限記憶性、正則化和代價(jià)敏感性這些性質(zhì)對(duì)于提升泛化性能都是有一定作用的。

4 結(jié)束語(yǔ)

本文將代價(jià)敏感性（CS）、有限記憶性（FM）和多隱層特性（ML）添加到了在線序列極限學(xué)習(xí)算法中,提出代價(jià)敏感正則化有限記憶多隱層在線序列極限學(xué)習(xí)機(jī)（CSR-FM-ML-OSELM）算法。實(shí)驗(yàn)結(jié)果表明，多隱層特性有效地模仿了深度神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，提升了圖像識(shí)別的準(zhǔn)確率，在MNIST手寫數(shù)字庫(kù)和OCL人臉庫(kù)上取得了同深度學(xué)習(xí)可比的結(jié)果，并且模型的訓(xùn)練速度大大快于深度神經(jīng)網(wǎng)絡(luò)。同時(shí)，在線多隱層極限學(xué)習(xí)算法除了在泛化性能上較在線單隱層極限學(xué)習(xí)算法有較大提升外，在泛化性能的穩(wěn)定性上也有所改善。

[1]He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]// Computer Vision and Pattern Recognition.IEEE, 2016:770-778.

表2 CSR-FM-ML-OSELM和CSR-OSELM算法的平均人臉測(cè)試集準(zhǔn)確率

[2]Panda P, Sengupta A, Roy K. Energy-Efficient and Improved Image Recognition with Conditional Deep Learning[J]. Acm Journal on Emerging Technologies in Computing Systems,2017, 13(3):1-21.

[3]Miyazono T, Saitoh T. FishSpecies Recognition Based on CNN Using Annotated Image[C]// International Conference on Information Theoretic Security. Springer, Singapore, 2017:156-163.

[4]Huang, G.B., Zhu, Q Y., Siew, C.K. Extreme learning machine:theory and Applications[J]. Neurocomputing, 2006, 70(1):489–501.

[5]Yang Y, Wang Y, Yuan X. Bidirectional Extreme Learning Machine for Regression Problem and Its Learning Effectiveness[J]. IEEE Transactions on Neural Networks &Learning Systems, 2012, 23(9):1498-1505.

[6]Cao J, Lin Z, Huang G B, et al. Voting based extreme learning machine[J]. Information Sciences, 2012, 185(1): 66-77.

[7]Liu X, Gao C, Li P. A comparative analysis of support vector machines and extreme learning machines [J]. Neural Networks,2012, 33(9): 58.

[8]Yu, D., Deng, L. Efficient and effective algorithms for training single hidden-layer neural networks [J]. Pattern Recognition Letters,2012, 33(5): 554–558

[9]張 弦，王宏力. 限定記憶極端學(xué)習(xí)機(jī)及其應(yīng)用[J]. 控制與決策，2012，27（8）：1206-1210.

[10]Tang J, Deng C, Huang G B. Extreme Learning Machine for Multilayer Perceptron[J]. IEEE Transactions on Neural Networks & Learning Systems, 2017, 27(4):809-821.

[11]Deng C Y. A generalization of the Sherman–Morrison–Woodbury formula[J]. Applied Mathematics Letters, 2011,24(9):1561-1564.

[12]Blocki J, Blum A, Datta A, et al. The Johnson-Lindenstrauss Transform Itself Preserves Differential Privacy[C]// IEEE,Symposium on Foundations of Computer Science. IEEE Computer Society, 2012:410-419.

[13]Bartlett P. The sample complexity of pattern classification with neural networks: the size of theweights is more important than the size of the network [J]. IEEE Transactions on InformationTheory. 1998, 44 (2): 525–536.