基于核方法的相關(guān)自適應(yīng)子空間分割

洪嵐，魏萊

基于核方法的相關(guān)自適應(yīng)子空間分割

洪嵐，魏萊

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

人臉識別是模式識別研究的熱門課題，有很重要的應(yīng)用價值。針對在高維非線性人臉數(shù)據(jù)集的識別困難問題，提出一種基于核方法的相關(guān)自適應(yīng)子空間分割方法（KCASS）。將相關(guān)自適應(yīng)子空間分割（CASS）與核方法相結(jié)合，構(gòu)成Kernel CASS方法。實驗證明，該方法在效率上和識別效果上較之前的分類方法有進一步改善。

人臉識別；核方法；子空間分割

0 引言

人臉識別[1]是近年來模式識別的研究熱點，有著廣泛的應(yīng)用。但人臉圖像是非線性數(shù)據(jù)集，而且還是高維度小樣本問題，再加上光照、表情、姿態(tài)、遮擋、化妝、發(fā)型等等的變化都使識別增加了難度。人臉識別有很多方法：稀疏表示、協(xié)同表示等。這些方法取得了很好的識別效果。本文在研究它的基礎(chǔ)之上，發(fā)現(xiàn)稀疏表示的表示系數(shù)過于稀疏，協(xié)同表示的表示系數(shù)過于稠密。導(dǎo)致它們的識別率不最佳。CASS方法可以改進它們的缺點，CASS的表示系數(shù)兼具二者的特點。但是CASS只能用于數(shù)據(jù)集是線性分類的情況，不能作非線性分類。人臉圖像是高維非線性數(shù)據(jù)集，CASS無法直接處理。核方法解決了這一個難題，本文將CASS與核方法相結(jié)合，構(gòu)成Kernel CASS方法。在非線性人臉數(shù)據(jù)集的識別上取得了良好的效果。

1 相關(guān)研究

目標識別問題是給定一個訓(xùn)練樣本集和測試樣本，從給定的類別中判別測試樣本的類別。這里介紹三個經(jīng)典的算法：稀疏表示、協(xié)同表示、相關(guān)自適應(yīng)子空間分割。

1.1 稀疏表示（Sparse Representation，SR）

稀疏表示[2]是用少數(shù)的基向量線性組合表示測試樣本。稀疏表示的目標函數(shù)為：

x是測試樣本，X 是訓(xùn)練集，X=[X1,…,Xk]∈Rd×n，Xi表示第i個人臉圖像。訓(xùn)練集共有n個樣本，都是d維的。w是系數(shù)向量，我們希望w中除了與測試樣本x同類的系數(shù)外，其余系數(shù)都是0。||w||0是l0范數(shù)，但最小化l0范數(shù)是NP難的，如果系數(shù)向量w足夠稀疏，最小化l0范數(shù)和最小化l1范數(shù)是等價的。所以，目標函數(shù)改為：

加上噪聲ξ，SR的目標函數(shù)如下：

或者寫成Lasso形式：

λ是正則化參數(shù)，用來平衡上式中的兩項。

得到w后，對每一個類別的系數(shù)向量與訓(xùn)練集X線性組合重構(gòu)出測試樣本，它們的殘差用ri()x表示。令殘差最小的類別就判別為測試樣本的類別。從而得出人臉圖像的識別結(jié)果。

其中：

SR比之前的分類方法在效果上有了進一步提升，在人臉識別問題上有不錯的表現(xiàn)，但也有它的局限性。當每個類的訓(xùn)練樣本數(shù)量偏少時，SR的誤差會比較大，增加樣本數(shù)量可以解決此問題，但得到足夠的樣本是很困難的。CR更適合解決小樣本問題。

1.2 協(xié)同表示（Collaborative Representation,CR）

CR[3]用所有類的訓(xùn)練樣本來表示測試樣本。加上噪聲ξ，CR的目標函數(shù)如下：

1.3 采用跡套索的相關(guān)自適應(yīng)方法（Correlation Adaptive Subspace Segmentation by Trace Lasso,CASS）

相關(guān)自適應(yīng)方法CASS[4]使用跡套索||XDiag(ω)||*作為正則化參數(shù)，得到的相似度矩陣是稀疏的,也會有好的分組效應(yīng)。CASS和SR、CR比，不會過分稀疏或稠密，也優(yōu)于 SR、CR。

CASS目標函數(shù)為：

考慮噪聲的情況下，寫為：

數(shù)據(jù)不相關(guān)或高度相關(guān)時，跡套索分別會等價于l1范數(shù)或l2范數(shù)。

2 基于核方法[5]的分類方法

輸入空間的數(shù)據(jù)可以通過核方法映射到高維或無限維特征空間，用于處理非線性數(shù)據(jù)集分類。人臉數(shù)據(jù)集是高維度小樣本的非線性數(shù)據(jù)集，所以引入核方法和之前的方法相結(jié)合，會有更好的識別效果。

3 基于核方法的相關(guān)自適應(yīng)子空間分割KCASS

受文獻[6]的啟發(fā)，在各種光照、表情、姿態(tài)、遮擋的人臉識別問題上，將CASS與核方法相結(jié)合，通過核方法把樣本集投影到高維核特征空間，在高維核特征空間中形成新的字典，用核函數(shù)代替復(fù)雜的內(nèi)積運算，達到提高人臉識別的效果。

CASS方法有效改進了SR和CR方法的不足，得到的系數(shù)矩陣既不會過分稀疏也不會過分稠密，該方法在線性數(shù)據(jù)集上取得了很好的效果。但人臉圖像都是高維非線性的，CASS并不能對人臉圖像有很好的識別。所以引進了核方法應(yīng)用到CASS上。假設(shè)有一個人臉數(shù)據(jù)集X，已知有c個類別，共有n個訓(xùn)練樣本。目標是給定一張人臉圖像，需要判別出該圖像屬于哪一個人臉。

把測試人臉圖像和整個人臉數(shù)據(jù)集通過非線性映射Φ映射到高維特征空間F上。

F是D維的。測試樣本x可以由訓(xùn)練樣本Φ(xi)來線性表示：

式（12）中的w=[w1,w2,…,wn]T是系數(shù)向量

CASS可以寫為：

我們要通過引入核函數(shù)來解決非線性人臉識別問題，目標是解出系數(shù)向量w

設(shè)有變換矩陣P∈RD×d,可得：

式（14）改為：

投影矩陣P應(yīng)該與Φ有關(guān),P可表示為：

即：

代入（18）到（16），得：

映射Φ的具體形式不必知道，由于核函數(shù)K的計算比映射Φ容易。有如下基于核函數(shù)的降維方法：

令：

K滿足Mercer定理的條件，K可以作為核函數(shù)。

由式（20）（21）得：

上式中K和K（?,x)都是可以計算出來的，要求w得問題轉(zhuǎn)化為求B。

Φ(X)的協(xié)方差矩陣為：

其中xˉ是 Φ(xu)的均值

λ和v分別是矩陣Ck的特征值和特征向量

由再生核理論可得：

定義核函數(shù)為：

由上面幾個式子可得：

解出K的特征值和特征向量并分別按從大到小排序。對特征向量做歸一化。

將大于提取效率p的特征向量取出構(gòu)成

如果Φ(xu)開始的時候沒有中心化，那么先對Φ(xu)做中心化處理。并對核矩陣做下列處理：

求出B后，通過BTK（?,x)=BTKw可求出系數(shù)向量w。

4 實驗

本節(jié)中，通過對本文提出的KCASS方法與KSR、KCR在人臉數(shù)據(jù)庫上的實驗來證明該方法的有效性。選用常用的ORL人臉數(shù)據(jù)庫和YALE B人臉數(shù)據(jù)庫來完成。實驗環(huán)境為Win7系統(tǒng)，MATLAB R2015b，CPU：i5-5200U，內(nèi)存：4G的筆記本電腦上運行。SR、CR、核函數(shù)（高斯核函數(shù)）、KPCA等都使用了已公開的代碼。實驗的系數(shù)不是固定不變的，根據(jù)人臉庫的情況調(diào)整所得。

4.1 Yale B人臉數(shù)據(jù)庫

Yale B數(shù)據(jù)庫包含有2414幅共38名志愿者的人臉圖像。每人約64張。主要考慮到多種光照的情況來采集圖像。部分人臉圖像見圖1。在實驗降維維度進行多個參數(shù)嘗試。測試樣本和訓(xùn)練樣本各32張圖像。實驗運行10次。

圖1

表1

圖2

4.2 ORL人臉數(shù)據(jù)庫

ORL收集了40個志愿者從不同角度、姿勢共400張人臉圖像。選擇5張做測試樣本，5張是訓(xùn)練樣本。參數(shù)λ=0.001。

表2

圖3

4.3 實驗結(jié)果分析

從在兩個人臉庫的實驗可看出：KCASS由于兼顧了稀疏性和分組效應(yīng)，它的識別性能大部分略高于KSR，同時KCASS和KSR都是明顯高于KCR的。KCASS對不同光照、不同角度的識別能力較強。

5 結(jié)語

基于核方法的相關(guān)自適應(yīng)子空間分割能夠有效解決非線性空間下的判別分類問題。相關(guān)自適應(yīng)子空間分割采用了跡套索，能夠在稀疏性和分組效應(yīng)上做出平衡，更有效地做子空間分割。而核方法在解決非線性空間的問題中發(fā)揮出色。把核方法和相關(guān)自適應(yīng)子空間分割相結(jié)合，在非線性數(shù)據(jù)集中的判別分類問題上有進一步優(yōu)化的表現(xiàn)。

[1]Zhao W，Chellappa R，Phillips P，et al．Face Recognition：A Literature Survey．ACM Computing Surveys（CSUR），2003，35（4）：399-458．

[2]J.Wright,Y.I.Ma,J.Mairal,G.Sapiro,T.S.Huang,Shuicheng Yan,Sparse Representation for Computer Vision and Pattern Recognition,in:Proceedings of the IEEE，98（6），2010：1031-1104.

[3]Yang W k,Wan Z Y,Sun C Y,A Collaborative Representation Based Projections Method for Feature Extraction,Pattern Recognition 48（2015）：20-27.

[4]LU C Y,FENG J S,LIN Z C,et al.Correlation Adaptive Subspace Segmentation by Trace Lasso[C].IEEE International Conference on Computer Vision.[S.l.]:IEEE,2013:1345-1352.

[5]李航.統(tǒng)計學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2012（3）：115-123.

[6]L Zhang,W D Zhou,P C Chang,et al.Kernel Sparse Representation-Based Classifier.IEEE Transaction on Signal Processing.4-APRIL 2012.

Adaptive Subspace Segmentation Based on Kernel Method

HONG Lan,WEI Lai
（College of Information Engineering,Shanghai Maritime University,Shanghai 201306）

Face recognition is a hot topic in pattern recognition,and it has important application value.In order to solve the problem of high dimen?sional nonlinear face recognition,proposes an adaptive subspace segmentation method based on kernel method(KCASS).CASS and kernel method are combined to form the Kernel CASS method.The experimental results show that the proposed method is more efficient and effec?tive than the previous classification methods.

Face Recognition;Kernel Method;Subspace Segmentation

1007-1423（2017）24-0035-05

10.3969/j.issn.1007-1423.2017.24.008

洪嵐（1984-），女，碩士研究生，研究方向為模式識別、機器學(xué)習(xí)

魏萊（1980-），男，副教授，博士，研究方向為模式識別、機器學(xué)習(xí)等

2017-05-08

2017-08-01