基于L1圖的聯(lián)合稀疏魯棒判別回歸*

牛 強， 陳秀宏

(江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122)

0 引 言

近年來，人臉識別在計算機視覺等領(lǐng)域成為學(xué)者們的研究熱點[1～3]，最小二乘回歸已在計算機視覺領(lǐng)域得到了廣泛運用?；貧w算法以及延伸算法主要分為稀疏回歸、子空間回歸和魯棒回歸等三類。稀疏回歸[4]方法是在最小二乘回歸中加入不同的正則化項，因在回歸模型中使用了標簽指示矩陣而最多只能得到c個投影(c為樣本類的個數(shù))。子空間回歸方法是將許多線性降維算法表示為最小二乘回歸模型，例如，文獻[5]給出了許多成分分析方法的最小二乘統(tǒng)一框架。子空間回歸的算法因在回歸模型中未使用標簽指示矩陣，從而可獲得更多的投影方向(數(shù)量大于c個)。然而，以上兩種回歸方法均使用L2范數(shù)或Frobenius范數(shù)作為距離度量，因此對含有異常值的數(shù)據(jù)較敏感。魯棒回歸是在回歸模型中采用L2,1范數(shù)表示損失函數(shù)，文獻[6]利用L2,1范數(shù)表示損失函數(shù)而提出了魯棒判別回歸(robust discriminant regression，RDR)方法，并取得了較好的性能。由于L2,1范數(shù)正則化項能夠聯(lián)合地獲得稀疏性，Gu Q等人[7]提出了基于局部保留投影(locality preserving projection，LPP)的聯(lián)合特征選擇和子空間學(xué)習(xí)算法(joint feature selection and subspace learning，F(xiàn)SSL)。由于L2,1范數(shù)在特征選擇和特征提取時能獲得聯(lián)合稀疏的特性，因此,被廣泛應(yīng)用于稀疏回歸和子空間學(xué)習(xí)的研究中[8]。以上回歸方法忽略了數(shù)據(jù)的局部幾何特性，通過圖矩陣來表示數(shù)據(jù)的局部幾何結(jié)構(gòu)信息，從而可得到有鑒別能力的低維特征。傳統(tǒng)的構(gòu)造圖方法通常采用k近鄰法和ε近鄰法，參數(shù)k或ε的選擇直接影響到算法的性能，另外權(quán)值對數(shù)據(jù)噪聲也非常敏感。Cheng B等人[9]提出了L1圖構(gòu)造方法，具有抗噪聲能力強、良好的稀疏性以及數(shù)據(jù)自適應(yīng)的鄰域關(guān)系等特性，通過這種方式，圖的鄰接關(guān)系和權(quán)值能夠同時自動獲得。

為了充分利用子空間回歸以及魯棒回歸方法的優(yōu)點(即在模型中不使用標簽指示矩陣同時使用L2,1模表示損失函數(shù))，這樣可獲得更多的投影方向，使得算法對含有異常值的數(shù)據(jù)具有魯棒性，同時為了能揭示數(shù)據(jù)的局部幾何結(jié)構(gòu)，本文提出一種基于L1圖的聯(lián)合稀疏魯棒判別回歸算法(joint sparse robust discriminant regression based on L1 graph，L1-JSRDR)。首先利用稀疏表示構(gòu)造L1圖，然后將圖權(quán)值矩陣融入到基于L2,1模的損失函數(shù)中，最后通過交替迭代方法求出模型的最優(yōu)解。該回歸模型增強了學(xué)習(xí)的魯棒性，并在多個人臉庫上進行實驗，驗證了新算法的有效性。

1 相關(guān)工作

設(shè)給定一組樣本X=[x1,x2,…,xN|∈RN×m，其中行向量xi∈R1×m為樣本，m為樣本的維數(shù)，N為樣本的個數(shù)。

1.1 基于稀疏表示的L1圖

在常用k近鄰法構(gòu)造圖方法中，其圖權(quán)值矩陣定義為

式中xi∈Nk(xj)為樣本xi位于xj的k鄰域Nk(xj)內(nèi)。但該方法對數(shù)據(jù)噪聲非常敏感且嚴重依賴于參數(shù)k的選擇，很難有效地反映數(shù)據(jù)分布的復(fù)雜性。

基于稀疏表示的L1圖構(gòu)造原理是：任一樣本均可以由其他樣本線性地重構(gòu)，通過求解一個L1范數(shù)優(yōu)化問題得到樣本的稀疏重構(gòu)系數(shù)；將重構(gòu)系數(shù)作為兩個樣本之間的權(quán)值，從而得到L1圖。該方法能自適應(yīng)地調(diào)整樣本之間的關(guān)系，使得表示樣本間局部關(guān)系的稀疏圖能包含更有用的結(jié)構(gòu)信息和樣本之間的相似度。構(gòu)造L1圖的過程如下：

1)輸入訓(xùn)練樣本集X，并進行歸一化處理。

2)求解重構(gòu)系數(shù)：對每一個樣本xi(1

式中Bi=[x1,…xi-1,xi+1,…,xN,I]∈Rm×(m+N-1)為一個超完備的字典，重構(gòu)系數(shù)列向量ai∈Rm+N-1為樣本xi與其余樣本之間的相似關(guān)系，I為單位陣。

上述所構(gòu)造L1圖的方法避免了傳統(tǒng)構(gòu)造圖方法中對參數(shù)的人工干預(yù)，同時該圖對噪聲具有魯棒性。求解L1范數(shù)稀疏問題有很多優(yōu)化工具包，本文采用SPAMS(http://spams-devel.gforge.inria.fr/index.html)優(yōu)化工具包來進行求解。

1.2 回歸模型

式中 loss(·)為損失函數(shù)，yi為樣本xi的標簽，R(f)為正則化項，α為正則化參數(shù)。然而，該回歸模型只能獲得c個投影，影響了回歸的性能。為此，考慮以下優(yōu)化回歸模型

式中g(shù)(·)為定義在數(shù)據(jù)集上的函數(shù)，為了進一步提高特征提取的魯棒性，將數(shù)據(jù)的局部幾何信息融入到回歸模型中，其中wi,j為圖的邊權(quán)值，表示數(shù)據(jù)的局部流形結(jié)構(gòu)。該模型放棄了標簽信息從而可獲得更多的投影，有效地提高了回歸方法的性能。

2 基于L1圖的聯(lián)合稀疏魯棒判別回歸

如將L1圖的權(quán)融入損失函數(shù)之中并對投影矩陣加上L2,1模約束，那么應(yīng)能獲得行稀疏的投影矩陣，同時還能保持數(shù)據(jù)的局部幾何結(jié)構(gòu)，從而可提取更具有判別能力的特征，進一步提高算法的性能?？紤]回歸模型(4)的以下形式，稱之為基于L1圖的聯(lián)合稀疏魯棒判別回歸模型

式中 矩陣Q∈Rm×d為投影矩陣，矩陣P∈Rd×m表示重構(gòu)矩陣，α為正則化參數(shù)。目標函數(shù)中的第一項表示在L1圖下樣本xi與樣本xj經(jīng)過投影和重構(gòu)后所得xjQP之間的誤差，這樣如果樣本xi和xj彼此接近，則xi與xj在矩陣QP的映射下的xjQP也應(yīng)該彼此接近，從而保持了數(shù)據(jù)的相似性或幾何結(jié)構(gòu)；模型的第二項使得投影矩陣Q∈Rm×d的行是稀疏的，這樣就能提取更多有用的特征。式(5)的目標函數(shù)可表示為

式中 矩陣U中的元素和對角陣G的對角元素分別為

tr(XTDX-2PTQTXTFX+PTQTXTDXQP)+αtr(QTGQ)

(8)

從而，優(yōu)化模型(5)轉(zhuǎn)化為

αtr(QTGQ),s.t.QTQ=I

(9)

采用交替迭代優(yōu)化方法求解上述模型，即先固定Q求矩陣P，再固定P求Q。因為每次迭代中由已知的矩陣Q和P計算矩陣D，所以tr(XTDX)在交替迭代計算時為一個常數(shù)，模型(9)可轉(zhuǎn)變?yōu)?/p>

s.t.QTQ=I

(10)

固定Q求矩陣P，式(10)中目標函數(shù)關(guān)于矩陣P求偏導(dǎo)并令結(jié)果為0可得

P=(QTXTDXQ)-1QTXTFX

(11)

其次，固定P求Q，對于求最優(yōu)矩陣Q通過對式(10)關(guān)于矩陣Q構(gòu)造拉格朗日函數(shù)，可得

L(Q,λ)=tr(-2PTQTXTFX+PTQTXTDXQP)+

αtr(QTFQ)-λ(QTQ-I)

(12)

式中λ為拉格朗日乘子，通過對式(12)關(guān)于矩陣Q求偏導(dǎo)并令結(jié)果為0可得

XTDXQPPT+αGQ-λQ=XTFXPT

(13)

可將式(13)表示為分塊矩陣形式可得

(14)

Q=E(HHT)-1H

(15)

由于矩陣W的秩rank(W)=c(c表示樣本的類別數(shù))，矩陣U通常為滿秩矩陣，rank(XTFXPT)=rank(F)=rank(U⊙W)，而rank(U⊙W)≥rank(W)=c，同時rank(U⊙W)≤rank(U)=N，可知本文模型可以獲得的投影至少有c個，進一步表明了算法具有較好的特征提取能力。

由以上討論，給出本文的L1G-JSRDR算法流程如下：

1)輸入樣本集X，維數(shù)d，正則化參數(shù)α，參數(shù)λ;

2)初始化G=I，U=I，隨機初始化矩陣Q∈Rm×d，P∈Rd×m;

3)通過稀疏表示構(gòu)造L1圖權(quán)重矩陣W;

4)Repeat

a.計算矩陣XTDX和XTFXPT

b.通過式(15)求解矩陣Q

c.通過式(11)求解矩陣P

d.更新矩陣U,G,F,D

Until目標函數(shù)收斂

End

5)得到投影矩陣Q

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

本文在AR和YaleB含有異常值的人臉庫進行了仿真實驗，對LIG-JSRDR、RDR[6]、FSSL[7]、LPP[7]和SAIR[8]進行比較。RDR、FSSL和LPP算法利用式(1)計算圖權(quán)值矩陣，因本文算法獲得投影至少有c個，實驗中維數(shù)d的值設(shè)置為c+20；本文算法的微調(diào)參數(shù)λ的取值范圍的[0.001，0.01，0.1，1，5，10]。所有實驗均獨立隨機進行了20次，采用最近歐氏距離最近分類器進行分類。

AR人臉庫使用了其中的120人的圖像，每人26張，共3 120張圖像。實驗在YaleB人臉庫上隨機加入5像素×5像素和10像素×10像素大小的黑色方塊遮擋，用于驗證本文算法對遮擋圖像的魯棒性。

3.2 正則化參數(shù)α對實驗的影響

為了研究正則化參數(shù)α對L1G-JSRDR算法識別率的影響，其中在AR人臉庫和5×5的黑色遮擋的YaleB人臉庫上每人選擇7幅和20幅圖像作為訓(xùn)練，其余圖像作為測試。平均識別率和正則化參數(shù)α的關(guān)系如圖1所示。

圖1 平均識別率與正則化參數(shù)的關(guān)系

由上圖可知，算法在α=0時由于未加入L2,1范數(shù)的懲罰項，識別效果較差，隨著α值的不斷增大，算法達到最佳效果，之后識別效果又開始降低，這表明了本文算法的正則化項在特征提取時可以提高判別性能和模型的泛化能力。當(dāng)α的取值在一個范圍內(nèi)算法仍保持較高識別率，為了更好的比較算法的性能，以下實驗在AR人臉庫的實驗中a的取值范圍為[0.01，0.1]；在YaleB人臉庫的實驗，α的取值范圍為[0.01，0.1，1]。

3.3 識別性能分析

3.3.1 特征維數(shù)對實驗的影響

在AR人臉庫和10×10遮擋的YaleB人臉庫上，每人隨機選取7幅和20幅像進行訓(xùn)練，其余的圖像作為測試樣本。圖3為不同人臉庫上提取的特征向量維數(shù)與平均識別率的關(guān)系。

圖2 平均識別率與特征維數(shù)的關(guān)系

由圖2可知，本文算法在2個人臉庫上在取最高維時識別性能最優(yōu)。FSSL算法在AR和YaleB人臉庫上的識別率隨著特征維數(shù)的增加達到峰值后又下降，其余算法的識別率均隨著特征維數(shù)的增加而增加。由YaleB人臉庫結(jié)果可知，L1G-JSRDR算法在較低維時并不能達到很好的識別性能，當(dāng)隨著維數(shù)增大時，算法的識別性能開始增加，可能是由于在圖像上增加噪聲和遮擋等異常數(shù)據(jù)使得本文算法在較低維時的識別性能受到影響。由AR人臉庫上可知，L1G-JSRDR算法在絕大多數(shù)維度下，算法的識別率都高于其他算法。在2個人臉庫上能夠取得較好的識別效果，這是因為本文算法采用了基于L2,1范數(shù)的表示損失函數(shù)，使得算法對含有異常值的圖像具有魯棒性，同時能夠獲得更多的投影方向，同時加入了L2,1范數(shù)的懲罰項后可以使得投影矩陣稀疏，能夠防止過擬合問題，算法能自動的選取特征，從而提高了識別性能。

3.3.2 樣本數(shù)對實驗的影響

在AR人臉庫上，每人隨機選擇5,7,9幅圖像進行訓(xùn)練，在含有5×5遮擋的YaleB人臉庫上，每人隨機選取5，10，20幅像進行訓(xùn)練，其余的圖像作為測試樣本。表1，表2列出了算法取得的最佳平均識別率、標準差及其對應(yīng)的特征維數(shù)。

表1 AR人臉庫上各算法的平均識別率、標準差和維數(shù)

表2 YaleB人臉庫上各算法的平均識別率、標準差和維數(shù)

如表1、表2所示，L1G-JSRDR算法的識別率最高且整體上相對穩(wěn)定。因為L1圖具有較強的抗噪聲能力和數(shù)據(jù)自適應(yīng)的鄰域關(guān)系的特性，實驗結(jié)果表明L1G-JSRDR算法比傳統(tǒng)手工設(shè)置近鄰參數(shù)的構(gòu)圖算法(如RDR，F(xiàn)SSL和LPP)的識別率都要高。L1G-JSRDR的識別率比RDR算法高，這是因為算法利用L1圖構(gòu)造權(quán)值矩陣，更好地保留了樣本的局部幾何結(jié)構(gòu)，且加入了L2,1范數(shù)的正則化項，使得投影矩陣行稀疏，自動拋棄了一些對分類沒用的特征，有利于特征的選取，提升了模型的泛化能力。與RDR和L1G-JSRDR等基于L2,1范數(shù)的回歸方法相比，SAIR算法的識別率并不高，原因是SAIR算法在模型中沒有利用圖矩陣保持數(shù)據(jù)的局部幾何結(jié)構(gòu)，同時回歸步驟使用了標簽矩陣，使得算法只能獲得c個投影，一定程度上限制了識別性能。

4 結(jié) 論

在含有異常值的人臉庫上進行實驗表明:本文算法具有較好的魯棒性，取得了較優(yōu)異的識別性能。相對于傳統(tǒng)近鄰構(gòu)圖，文中提出的基于稀疏構(gòu)圖方法復(fù)雜度相對較高，且計算成本相對較大，如何降低復(fù)雜度值得進一步研究。