基于稀疏張量判別分析的人體行為識別

盧雨彤，韓立新

(河海大學計算機與信息學院，江蘇 南京 210000)

0 引 言

基于代數特征的提取方法的基本思想是將原始樣本投影到子空間形成代數特征[1]，代表性的方法有主成分分析(PCA)[2]、線性判別分析(LDA)[3]和局部保留投影(LPP)[4]。Sugiyama[5]結合LDA和LPP算法的優(yōu)點，提出了局部Fisher判別分析(LFDA)，并在多模數據和類間交叉數據的處理中有更好的判別性能。

上述向量型數據降維方法進行目標識別時，要進行大矩陣的特征值分解，這不僅導致維數災難，更破壞了圖像原有的空間相關性。因此很多學者轉而用一個高階張量來表示對象，He等人[6]提出了判別張量子空間分析(DTSA)，用一個三階張量表示一個彩色的人臉圖像。接著,其他學者將張量框架與PCA、LDA、LPP融合，分別提出了多線性主成分分析(MPCA)[7]、多線性判別分析(MDA)[8]、張量局部保持投影(TLPP)[9]等方法。

Pennec等人[10]指出：人類的視覺系統(tǒng)具有對圖像的稀疏表示特性。近年來，基于稀疏分析與張量表示的特征提取方法越來越火熱。稀疏主成分分析(SPCA)[11]、稀疏判別分析(SDA)[12]、稀疏保局判別分析(SPDA)[13]、多線性稀疏主成分分析(MSPCA)[14]、稀疏張量判別分析(STDA)[15]、二維稀疏局部保持投影(S2DLPP)[16]相繼被提出。

由于視頻中運動目標的剪影序列易被獲得，因此許多學者對剪影序列進行降維，將目標的高維形狀信息投影到低維空間[17-18]。Wang等人[19]使用LPP方法得到人的剪影圖像的低維表示，Suter等人[20]引入KPCA對每幀中的剪影圖像進行特征提取,Jia和Yeung[21]使用流形嵌入方法對人體剪影圖像局部時空判別結構進行分析。

本文在局部Fisher判別分析(LFDA)的基礎上，結合張量表示和稀疏分析，提出一種基于稀疏張量的特征提取方法：稀疏張量局部Fisher判別分析(STLFDA)。把特征值分解問題轉化為線性回歸的問題，并用彈性網絡解決線性回歸中的特征選擇問題，以此得到稀疏的投影矩陣。該算法不但滿足了張量局部Fisher判別分析的目標，而且保證了得到的投影矩陣的稀疏性。

1 張量基礎

張量是矢量的推廣，一個張量可以看作是一個多維數組。n階張量表示為X∈RI1×I2×…×In，Ik為張量第k模維度的大小。Xl1l2…ln為一個張量元素。關于張量的簡要介紹如下。

定義1張量之間的內積。2個相同大小的張量X,Y∈RI1×I2×…×In，則X、Y的內積定義為：

定義2張量乘法。張量X∈RI1×I2×…×In和矩陣U∈Rm×Ik的k-模式積記作Y=X×kU,其中Y∈RI1×I2×…×Ik-1×m×Ik+1×…×In，計算方法如下：

基于張量更詳細的知識請參閱文獻[22]。

2 稀疏張量判別分析算法介紹

2.1 局部Fisher判別分析

令x=(x1,x2,…，xN)T為N個矢量組成的訓練樣本集，其中xi∈Rn，ci∈{1,2,…,l}是第i類樣本的標簽，l表示樣本所有種類數量。LFDA算法的目標是求解一個n×d的投影陣U,從而將樣本xi從原始空間Rn投影至低維空間Rd，即yi=UTxi∈Rd，其中d

其中SB、SW分別表示局部類內散度、局部類間散度，具體定義如下：

其中，wij是熱核函數，表示樣本間的近鄰程度，t是熱核參數，用于調整樣本間的距離值。

根據Rayleigh商可知，當且僅當U包含矩陣束(SB,SW)的最大的P個廣義特征值所對應的特征向量，目標函數能達到最大值。因此可通過求解特征值問題SBU=λSWU，得到LFDA目標函數的最優(yōu)解。

2.2 張量局部Fisher判別分析

本節(jié)將張量框架與LFDA結合，提出張量局部Fisher判別分析(TLFDA)，對樣本進行更直觀的表示。較傳統(tǒng)的LFDA算法，TLFDA算法在張量空間中直接求解每一模上的投影矩陣，能更好地保留圖像的張量空間結構特征，最大限度地保存張量在多個方向上最具判別能力的特征，并且避免了求解特征值時因向量化引起的維數災難的問題。

令{Xm,m=1,2,…,M}是一組由張量樣本組成的訓練樣本集，其中，Xm∈RI1×I2×…×IN，In表示張量樣本第n模的維度，M表示樣本集中張量樣本的個數。TLFDA算法的目的是得到一組稀疏投影矩陣{U(n)∈Rpn×In,n=1,2,…,N}，使其能夠將原始的張量樣本從高維空間RI1×I2×…×IN投影至低維張量子空間Rp1×p2×…×pN(pn

ym=xm×1U(1)×2U(2)×…×NU(N)

TLFDA的目標函數可以寫成：

J{U(n),n=1,2,…,N}=

(1)

因為TLFDA的目的是得到一組投影矩陣，因此本文選擇迭代的方法進行求解。求第n個投影矩陣U(n)時，假設其余N-1個投影矩陣U(1),…,U(n-1)，U(n+1)，…,U(N)是已知的。因此，目標函數可以改寫成：

(2)

將目標中的分子進行n模展開可得：

綜上所述，n模條件下的最優(yōu)化問題就可以轉化為如下形式：

(3)

2.3 稀疏張量局部Fisher判別分析

上述的LFDA、TLFDA算法通過奇異值分析或者特征分解得到的投影矩陣是非稀疏的，而稀疏張量局部Fisher判別分析(Sparse Tensor Local Fisher Discriminant Analysis, STLFDA)目的是實現特征選擇的同時確保得到的投影矩陣是稀疏的。主要的做法是使用回歸的方法限制特征向量中非0元素的個數，或者在目標函數中加入L1范數的懲罰項。本文提出的STLFDA算法，將TLFDA問題改寫為一個脊回歸[23]問題，然后加入Lasso懲罰項使得脊回歸問題轉化為彈性網絡[24](Elastic Net)回歸問題。由此STLFDA的目標函數可以表示成：

(4)

subject to:U(n)U(n)T=IPn

(5)

2.3.1 優(yōu)化問題的分析

(6)

subject to：U(n)U(n)T=IPn

(7)

而式(6)、式(7)又被證明與式(8)、式(9)有著相同的解。

(8)

(9)

此時已將TLFDA與回歸問題聯(lián)系起來，STLFDA的最優(yōu)化問題最終轉化為求式(8)、式(9)的最優(yōu)解。

2.3.2 優(yōu)化問題的求解

因為A是正交矩陣，A⊥為一個任意正交陣,[A;A⊥]則組成了一個n×n的標準正交陣。

因為ATA⊥=0,ATA=I

這里采用交替算法求解STLFDA的最優(yōu)化問題：

1)當An已知，利用彈性網絡求U(n)。

2)當U(n)已知時，考慮式(8)的最小值，可以忽略公式最后2個懲罰項。

3)重復上述2個步驟，直至迭代結束。

STLFDA的算法流程為：

輸入：M個張量訓練樣本Xm；

張量子空間的大小Pn,n=1,2,…,N

輸出：稀疏投影矩陣{U(n)∈Rpn×In,n=1,2,…,N}

步驟1張量樣本中心化

步驟3迭代過程

Fork=1:Mdo

初始化Ak為任意的列正交矩陣；

Forj=1:Ndo

求解如下彈性網絡問題：

步驟4歸一化U(k)*

3 實驗及結果

Weizmann人體行為庫中，9個人分別執(zhí)行了10種不同的動作，共有90個視頻。本文從視頻中提取人體的形狀特征如側影、輪廓，而非運動目標的方向、速度、光流。為了表示樣本的時空特征，把每個視頻轉化為剪影圖像序列，使用每個動作的連續(xù)10幀來提取時空特征，每個居中幀的大小歸一化為32×24像素。因此，張量樣本的大小為32×24×10像素。張量的1模表示剪影圖像的高，張量的2模表示剪影圖像的寬，張量的3模表示剪影圖像的時間序列。

在實驗中，從每類樣本中隨機選取1～6個動作張量組成訓練集，其余的張量樣本組成測試樣本。首先通過訓練樣本圖像計算得到最優(yōu)投影矩陣，接著用求得的稀疏投影矩陣組把訓練樣本和待測樣本映射到低維張量子空間，然后在張量子空間中計算待測樣本與每個訓練樣本之間的相似度，最后構造基于張量距離的最近鄰分類器對特征提取后的張量進行識別。

圖1、圖2是實驗中隨著訓練數、稀疏度的變化STLFDA、MSPCA所達到的識別率?？梢钥闯?，當使用STLFDA算法進行特征提取時，每類取6個訓練樣本，稀疏度為8時，樣本識別率達到最大值0.8351。當使用MSPCA算法進行特征提取時，每類取6個訓練樣本，稀疏度為9時，樣本識別率達到最大值0.7709。

圖1 隨著訓練數、稀疏度的變化，STLFDA所達到的識別率

圖2 隨著訓練數、稀疏度的變化MSPCA所達到的識別率

當對樣本進行特征提取時，LFDA算法用一個高維向量(32×24×10=7680)來表示一個剪影序列，這就導致當進行特征值求解時計算量大、耗時長。而TLFDA算法、STLFDA算法用一個三階張量表示剪影序列，并直接在張量空間中求解每一模上的投影矩陣，極大減小了計算復雜度。表1是不同算法的計算時間及樣本表示。

表1 不同算法的計算時間、樣本表示

算法樣本表示計算時間/sLFDA高維向量65.45TLFDA3階張量0.35STLFDA3階張量0.23

表2是各個算法對Weizmann庫中人體行為的識別率，可以看出，由于TLFDA算法能更好地保留圖像的張量空間結構特征，最大限度地保存張量在多個方向上最具判別能力的特征，因此識別率高于傳統(tǒng)的LFDA算法。而STLFDA算法將稀疏限制引入到判別子空間中，既滿足了TLFDA算法的目標，又保證了得到的投影矩陣的稀疏性，從而提高了識別的準確率。

表2 不同算法在Weizmann人體行為庫上的表現

訓練數比較內容算法LFDATLFDASTLFDA5識別率0.68270.71600.7789降維后的維數22103936識別率0.69120.75390.8351降維后的維數4010393

4 結束語

鑒于線性判別分析(LDA)和局部保留投影(LPP)在處理多模態(tài)數據和類間交叉數據時的不足，本文首先介紹了局部Fisher判別分析(LFDA)，并將其推廣到張量空間，提出了張量局部Fisher判別分析(TLFDA)。較傳統(tǒng)的LFDA算法，TLFDA算法在張量空間中直接求解每一模上的投影矩陣，極大減小了計算復雜度，避免了求解特征值時因向量化引起的維數災難的問題，同時保留了原始樣本的時空特性，提高了行為識別的準確率。

而LFDA、TLFDA算法的一個共同點就是所得到的投影矩陣是非稀疏的，而本文基于稀疏張量的特征提取方法——稀疏張量局部Fisher判別分析(STLFDA)把TLFDA算法中求特征值、特征向量的問題轉化為一系列的線性回歸問題，并用彈性網絡解決線性回歸中的特征選擇問題，以此得到稀疏的投影矩陣。STLFDA算法既滿足了TLFDA算法的目標，又保證了得到的投影矩陣的稀疏性。通過在Weizmann人體行為數據庫的實驗結果可以看出，通過與MSPCA比較，本文提出的STLFDA算法在人體行為上有較高的識別率,更具魯棒性。