基于局部保持投影的魯棒稀疏子空間學(xué)習(xí)

胡文濤，陳秀宏

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫214122

在許多實際應(yīng)用領(lǐng)域，數(shù)據(jù)的維度往往很高，這時選擇合適的低維數(shù)據(jù)表示顯得尤為重要的[1-3]。合適的數(shù)據(jù)表示可以在有效地降低相應(yīng)算法復(fù)雜性的同時提高后續(xù)分類模型的準(zhǔn)確性。為此，許多學(xué)者提出了子空間算法[4-5]來獲得合適的數(shù)據(jù)表示。子空間學(xué)習(xí)算法的目的是把高維特征空間投影到低維子空間。

根據(jù)是否使用標(biāo)簽，子空間算法可以分為三類：有監(jiān)督子空間算法、半監(jiān)督子空間算法和無監(jiān)督子空間算法。有監(jiān)督子空間算法通過利用標(biāo)簽信息學(xué)習(xí)得到有判別性的投影矩陣，例如線性判別分析[6]（Linear Discriminant Analysis，LDA）和基于此進(jìn)行改進(jìn)的一些方法，如魯棒稀疏判別分析[7]（Robust Sparse Linear Discriminant Analysis，RSLDA）和魯棒判別分析[8]（Robust Linear Discriminant Analysis，RLDA）等。RSLDA 算法對模型施加重構(gòu)約束，使得投影矩陣保持?jǐn)?shù)據(jù)樣本的主成分信息，同時利用L2，1范數(shù)約束投影矩陣，增加算法的魯棒性，剔除冗余信息，提高投影矩陣的解釋性。半監(jiān)督子空間方法同時使用帶標(biāo)簽的樣本和不帶標(biāo)簽的樣本來提升算法性能。文獻(xiàn)[9]提出的半監(jiān)督判別回歸，利用帶標(biāo)簽樣本使類內(nèi)離散度最大，并使用無標(biāo)簽樣本保持?jǐn)?shù)據(jù)樣本的內(nèi)在幾何結(jié)構(gòu)。無監(jiān)督子空間方法通過保持?jǐn)?shù)據(jù)幾何結(jié)構(gòu)來學(xué)習(xí)投影矩陣。例如，主成分分析[10]（Principal Component Analysis，PCA）將訓(xùn)練樣本投影到低維子空間，通過最大化投影方差，達(dá)到保持主成分的目的；文獻(xiàn)[11]也給出了一些子空間方法的圖嵌入統(tǒng)一框架。然而，上述方法包含兩個過程：（1）特征學(xué)習(xí)（數(shù)據(jù)表示）；（2）使用學(xué)習(xí)得到的投影矩陣進(jìn)行分類。兩個獨立的過程不能保證得到算法的全局最優(yōu)值。文獻(xiàn)[12]提出了魯棒結(jié)構(gòu)子空間算法（Robust Structured Subspace Learning，RSSL），通過結(jié)合圖像理解（即給圖像賦予標(biāo)簽的過程）和特征學(xué)習(xí)來縮小底層特征和高層語義存在的語義間隙，但該算法沒考慮數(shù)據(jù)樣本存在的重構(gòu)誤差。于是，F(xiàn)ang等[13]提出了魯棒隱式子空間學(xué)習(xí)算法（Robust Latent Subspace Learning，RLSL），該算法聯(lián)合考慮隱式子空間問題和分類模型參數(shù)求解，但是忽略了數(shù)據(jù)的局部幾何結(jié)構(gòu)。局部幾何結(jié)構(gòu)通過構(gòu)造圖矩陣可以表示數(shù)據(jù)樣本的親和關(guān)系，從而剔除離群點的干擾。文獻(xiàn)[14]提出了基于局部保持投影（Locality Preserving Projection，LPP）的聯(lián)合特征選擇和子空間學(xué)習(xí)算法（Joint Feature Selection and Subspace Learning，F(xiàn)SSL），利用L2，1范數(shù)行稀疏性質(zhì)，聯(lián)合考慮了特征選擇和子空間學(xué)習(xí)，取得了良好的效果。

為了充分利用子空間算法的優(yōu)點，同時能揭示數(shù)據(jù)樣本的局部幾何結(jié)構(gòu)，本文提出一種基于局部保持投影的魯棒稀疏子空間學(xué)習(xí)算法（Robust Sparse Subspace Learning Based on Locality Preserving Projections，LPPRSSL）。該算法通過聯(lián)合考慮子空間學(xué)習(xí)和分類模型問題，得到更具有判別性的數(shù)據(jù)表示；通過保持?jǐn)?shù)據(jù)的局部結(jié)構(gòu)，減弱離群點的干擾，同時利用L2，1范數(shù)獲得行稀疏的投影矩陣，從而得到更有鑒別能力的低維特征。最后，設(shè)計交替迭代方法來求解以上模型。圖1是本文算法框架圖，通過投影矩陣Q 得到數(shù)據(jù)樣本的“干凈”子空間用于分類模型。在多個數(shù)據(jù)集上進(jìn)行實驗，驗證了該算法的有效性。

1 相關(guān)工作

假設(shè)給定訓(xùn)練樣本矩陣X ∈Rm×n，其中每個列向量xi( i=1,2,…,n )為一個樣本，m 為樣本的維數(shù)，n為訓(xùn)練樣本的個數(shù)。

1.1 線性回歸分類器

線性回歸模型[15]通過把數(shù)據(jù)樣本回歸到標(biāo)簽空間進(jìn)行分類，可表示為：

其中，A ∈Rc×m是回歸系數(shù)矩陣；Y=[ y1,y2,…,yn] ∈Rc×n（c ≥2 是類的數(shù)量）是標(biāo)簽矩陣，并定義為：

1.2 基于子空間學(xué)習(xí)的分類模型

為了得到新的數(shù)據(jù)樣本表示，首先可把樣本投影到子空間，即QTX ；再把新的數(shù)據(jù)樣本表示用于分類器f( x,B )的訓(xùn)練階段。通過最小化分類誤差來優(yōu)化投影矩陣Q，使得到的數(shù)據(jù)樣本表示QTX 與分類過程緊密相關(guān)。相應(yīng)的優(yōu)化模型表示為：

其中，xi∈Rm是數(shù)據(jù)樣本X 的第i 個樣本，B 是回歸矩陣，ψ 是懲罰函數(shù)。

2 基于局部保持投影的魯棒稀疏子空間學(xué)習(xí)

將特征學(xué)習(xí)和分類過程相結(jié)合，并利用數(shù)據(jù)樣本的局部結(jié)構(gòu)，使算法對離群點有較好的魯棒性，本文考慮如下基于局部保持投影的魯棒稀疏子空間學(xué)習(xí)模型：

其中，Q ∈Rm×d表示投影矩陣，B ∈Rc×d表示回歸矩陣，d(d ＜m) 是降維后特征的維數(shù)，c 是樣本的總類數(shù)。目標(biāo)函數(shù)中的第一項是通過最小化分類誤差來優(yōu)化投影矩陣Q，使得學(xué)習(xí)到的數(shù)據(jù)表示QTX 與分類過程緊密結(jié)合;第二項保持了數(shù)據(jù)在低維樣本空間的局部結(jié)構(gòu)，并使得算法對離群值具有魯棒性；第三項通過L2，1范數(shù)的行稀疏性剔除原始特征空間中的冗余特征，使得提取出來的特征更具有判別性；第四項是描述噪聲矩陣的稀疏性，使模型對噪聲具有更強(qiáng)的魯棒性；第五項防止模型過擬合，使其具有較好的泛化能力。第一個約束條件考慮數(shù)據(jù)樣本的重構(gòu)誤差，使學(xué)習(xí)得到的數(shù)據(jù)表示QTX 能減少噪聲矩陣E 的干擾。對重構(gòu)矩陣P 進(jìn)行正交約束，避免式（4）出現(xiàn)平凡解。

模型（4）中目標(biāo)函數(shù)雖然對單個變量是凸的，但對所有變量不是聯(lián)合的。下面可使用交替方向乘子法[16]來求解。首先，為了使模型（4）可分，引入輔助變量A，模型可以改寫為：

圖1 算法框架圖

則模型（5）的增廣拉格朗日函數(shù)為：

其中，C1和C2是拉格朗日乘子矩陣，μ ＞0 是懲罰參數(shù)。使用交替方向乘子法依次求解各變量。

當(dāng)Q,B,E,P 固定時求A。式（6）可以化為：

關(guān)于A 求偏導(dǎo)并令其結(jié)果等于0可得：

當(dāng)Q,B,E,A 固定時求P?？梢酝ㄟ^式（9）求解P：

令M=X-E+(C1/μ )，式（9）可以化為：

式（10）是一個典型的正交procrusters問題[17]。對矩陣MXTQ 進(jìn)行奇異值分解（SVD）可以求得矩陣P ，即SVD( MXTQ )=USVT，P=UVT。

當(dāng)P,B,E,A 時求Q。式（6）可以化為：

關(guān)于Q 求偏導(dǎo)并令結(jié)果為0可得：

其中，H=A-C2/μ 。式（12）可通過求解Sylvester 方程[18]求得Q。

當(dāng)P,Q,E,A 固定時求B。式（6）可以化為：

關(guān)于B 求偏導(dǎo)并令其等于0可得：

其中，K=A-C2/μ。

當(dāng)P,Q,B,A 固定時求E：

極小化式（15）可通過收縮算子求解：

其中，Shrinkλ2/μ=sign( t )max(| t |-λ2/μ,0 )。

最后，Langrange 乘子矩陣C1、C2和懲罰參數(shù)μ 的迭代如下：

其中，ρ 和μmax都是常數(shù)。為了提升算法速度，本文實驗首先通過PCA初始化正交矩陣P，而算法終止條件為迭代中最近兩次目標(biāo)函數(shù)值插值的絕對值小于0.000 1。綜上所述，LPPRSSL算法步驟如下：

輸入：數(shù)據(jù)集X ，維數(shù)d，懲罰參數(shù)λ1、λ2和λ3。

初始化：通過PCA 初始化正交矩陣P ，A=0；Q=0；B=0；E=0；C1=0；C2=0；μmax=105；ρ=1.01；μ=0.1。

while no convergence do

1. 通過式（8）更新矩陣A；

2. 通過式（10）更新矩陣P；

3. 通過式（12）更新矩陣Q；

4. 通過式（14）更新矩陣B；

5. 通過式（16）更新矩陣E；

6. 通過式（17）、（18）、（19）更新矩陣C1、C2和懲罰參數(shù)μ；

end while

輸出：轉(zhuǎn)換矩陣A

在得到變換矩陣A 之后，利用A 把測試樣本Xtest投影到標(biāo)簽空間得到其預(yù)測標(biāo)簽，即j*=arg maxj( AXtest),j=1,2,…,c。

以上算法的復(fù)雜度主要集中在求A、P 和Q 上，分別為O( m2c+m3)、O( m2n )和O( m3+2m2n )。因此，本文算法的復(fù)雜度為O( ω( m2c+2m3+3m2n ))，其中ω 為迭代次數(shù)。

3 實驗結(jié)果與分析

為了驗證本文算法LPPRSSL的性能，分別在AR數(shù)據(jù)集、COIL20數(shù)據(jù)集和BioID數(shù)據(jù)集進(jìn)行實驗，并將結(jié)果與RSLDA[7]、RLSL[13]、LPP[14]及線性回歸分類器（Linear Regression Classification，LRC）等算法進(jìn)行比較。實驗的硬件環(huán)境為Windows 10，Intel Core i5 3.3 GHz CPU，內(nèi)存為8 GB，編程軟件為Μatlab 2016a。

3.1 數(shù)據(jù)集

AR人臉數(shù)據(jù)集包含126人的4 000多幅人臉圖像，它們分別是在不同光照、表情和部分遮擋情況下采集的。實驗時選取20人，每人26幅圖像，每幅圖像的大小為32×32，對所有樣本分別加入大小為10×10 和15×15的遮擋。

COIL20 數(shù)據(jù)集是哥倫比亞物體圖像庫中的數(shù)據(jù)集，包括20 個個體的彩色圖像，每個個體具有72 幅圖像，每個圖像以5°的姿態(tài)間隔拍攝。實驗中選擇20 個物體每個72 幅圖像共720 幅圖像。對所有樣本加入密度為0.1和0.2的椒鹽噪聲。

BioID人臉數(shù)據(jù)集包含來自23個測試人員的1 521幅灰度圖像，這些圖像分別是在不同的光照、姿態(tài)和表情變化情況下采集的。實驗使用了其中22 個人的圖像，每人25張，共550張。對所有樣本加入密度為0.1和0.2的椒鹽噪聲。

圖2為樣本部分物體圖像及加噪圖像。

3.2 實驗結(jié)果分析

圖3展示了在AR（10×10遮擋）、COIL20（0.2密度椒鹽噪聲）和BioID（0.2密度椒鹽噪聲）這三個數(shù)據(jù)集上數(shù)據(jù)樣本之間的相關(guān)性（Z 軸為相關(guān)性，X、Y 軸為樣本數(shù)）。從圖（b）和圖（c）中可以看出，COIL20 和BioID 數(shù)據(jù)集樣本之間比較離散，在學(xué)習(xí)子空間時更可能受到離群值的干擾，本文算法通過局部結(jié)構(gòu)可以在一定程度上剔除離群點的干擾，從而提高算法的識別效率，這也在下面的實驗當(dāng)中得到驗證。

本節(jié)研究特征維數(shù)和樣本數(shù)對實驗的影響。圖4分別給出了在不同數(shù)據(jù)集上各個算法識別率與子空間維數(shù)的關(guān)系。在含噪AR 數(shù)據(jù)集上每類訓(xùn)練樣本數(shù)為10 個，含噪COIL20 數(shù)據(jù)集和含噪BioID 數(shù)據(jù)集上每類訓(xùn)練樣本數(shù)為20 個，其余圖像作為測試樣本。子空間維數(shù)分別從10 維開始，每隔10 維取值，直到200 維（在COIL20數(shù)據(jù)集上到180維）。

從圖4中可以看出，本文算法LPPRSSL平均識別率均高于其他比較算法（LRC 算法并未降維，故在圖4 中未展示其在低維的識別結(jié)果），這是因為本文算法通過最小化重構(gòu)誤差和回歸損失，提取出干凈的數(shù)據(jù)表示QTX 用于分類模型，以提取更具有判別性的特征；同時在模型中使用L2，1范數(shù)稀疏特征子空間，剔除了冗余特征。另一方面，LPPRSSL 算法在保持?jǐn)?shù)據(jù)樣本局部幾何結(jié)構(gòu)的同時降低了異常值或噪聲的干擾，保留了降維后數(shù)據(jù)樣本的內(nèi)在結(jié)構(gòu)，使算法能更加準(zhǔn)確地恢復(fù)數(shù)據(jù)的內(nèi)在流形結(jié)構(gòu)，提高了識別效果。此外圖5給出了目標(biāo)函數(shù)的收斂圖。從圖中可以看出，在三個數(shù)據(jù)集上都能快速到達(dá)收斂，這說明了算法模型具有較好的收斂性。

圖2 數(shù)據(jù)集的部分原始圖像及加噪圖像

圖3 各數(shù)據(jù)集之間的樣本相關(guān)性

圖4 各算法在不同數(shù)據(jù)集上識別率與子空間維度的關(guān)系圖

圖5 目標(biāo)函數(shù)收斂圖

表1 各個算法在不同樣本數(shù)下的平均識別率

表1 是在三個含噪數(shù)據(jù)集上不同樣本數(shù)下識別率的比較，子空間維度分別為200、180和200。從表1中可以看出隨著訓(xùn)練樣本數(shù)的增加，所有算法平均識別率都不同程度地增加，但本文算法識別率要高于其他對比算法。LPPRSSL 算法比RLSL 算法識別率高，這是因為LPPRSSL 算法保留了數(shù)據(jù)的局部關(guān)系，剔除了異常值的干擾，并且通過L2，1范數(shù)提取了主要特征；LPPRSSL算法比RSLDA算法高，是因為LPPRSSL算法考慮了標(biāo)簽信息，可以提取更具有判別性的特征。LRC 算法和LPP算法比本文算法低，是因為沒有聯(lián)合地考慮子空間問題和分類問題，導(dǎo)致得到的投影矩陣不是全局最優(yōu)值。

表2給出了在AR（10×10遮擋）、COIL20（0.1密度椒鹽噪聲）和BioID（0.1密度椒鹽噪聲）這三個數(shù)據(jù)集上不同算法的特征冗余度（RED）。特征冗余度公式如式（22）所示，F(xiàn) 表示特征子空間，XF表示由特征子空間F 表示的數(shù)據(jù)樣本，corri,j表示特征子空間F 中特征si和特征sj關(guān)聯(lián)系數(shù)，關(guān)聯(lián)系數(shù)通過XF計算。特征冗余度越小，說明算法性能越好[19]。從表2中可以看出，LPPRSSL特征冗余度是最小的，因此本文算法能取得比其他算法更好的效果。

表2 在不同數(shù)據(jù)集上的特征冗余度

3.3 參數(shù)分析

本節(jié)研究正則化參數(shù)λ1、λ2和λ3對LPPRSSL 算法識別率的影響，分別在10×10 黑色遮擋的AR 人臉數(shù)據(jù)集、椒鹽噪聲密度為0.2的JAFFE數(shù)據(jù)集和椒鹽度為0.1的COIL20數(shù)據(jù)集上進(jìn)行實驗，每個數(shù)據(jù)集分別選取10、10和20張圖片作為訓(xùn)練樣本，其余的圖像作為測試樣本。

圖6 正則化參數(shù)與平均識別率的關(guān)系圖

圖6 是在三個含噪數(shù)據(jù)集上正則參數(shù)和平均識別率的關(guān)系。 λ3控制著算法的泛化能力，本文取值為0.01。對正則化參數(shù)λ1和λ2在[0.000 01，100]取值。由圖6可知，當(dāng)λ1在[0.001，1]和λ2在[0.01，1]取值時，算法的識別效果達(dá)到最佳。另外，由該圖還能看出，正則化參數(shù)λ2（控制著噪聲的稀疏程度）在[0.01，1]的大多數(shù)值都能取得比較好的識別效果，這也說明了本文算法具有比較好的魯棒性。

4 結(jié)束語

本文提出了基于局部保持投影的魯棒稀疏子空間學(xué)習(xí)算法，并獲得了合適的數(shù)據(jù)表示。該算法通過最小化重構(gòu)誤差和回歸誤差來得到最優(yōu)投影矩陣，同時通過保持?jǐn)?shù)據(jù)的局部結(jié)構(gòu)，減少異常值的影響。在不同的數(shù)據(jù)集上實驗表明，該算法具有較好的魯棒性和識別性能。但是算法復(fù)雜度相對較高，如何降低算法在實際應(yīng)用中的復(fù)雜度有待于進(jìn)一步研究。