圖像集閉包建模的協(xié)同表示人臉識別算法

胡正平 劉立真

(燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004)

1 引言

圖像多重描述能夠提高分類精度[1]，圖像集分類識別已經(jīng)越來越多應(yīng)用于人臉識別[2-3]和目標(biāo)分類[4]領(lǐng)域。因圖像集能更好傳達類內(nèi)相關(guān)信息，圖像集人臉識別比圖像的人臉識別有更大優(yōu)越性。

人臉識別技術(shù)中如何獲得圖像充分且互補的多重描述是一個重要問題[5]。文獻[6-7]提出由原始人臉圖像產(chǎn)生對稱人臉的應(yīng)用，有效地克服人臉圖像多重變化的問題。文獻[8]提出原始圖像和其鏡像圖像聯(lián)合實現(xiàn)人臉識別，鏡像圖像可展現(xiàn)異于原始圖像的可應(yīng)用細節(jié)[9]，增添擴展信息，故二者聯(lián)合應(yīng)用可提高人臉識別精度。

圖像集分類識別存在兩個關(guān)鍵問題：首先如何實現(xiàn)圖像集建模，其次是如何計算測試集和訓(xùn)練集的距離從而分類判別。針對此問題，研究者提出有參方法和無參方法兩種模式。有參方法是將每個圖像集建模成帶有參數(shù)的分布，然后利用交叉熵計算分布距離[10]。但參數(shù)估計較難且參數(shù)不適用實際情況，從而無參建模方法更具優(yōu)勢。文獻[11]提出混合歐氏距離和黎曼幾何度量學(xué)習(xí)圖像集分類算法，利用混合度量學(xué)習(xí)算法合并多異構(gòu)數(shù)據(jù)實現(xiàn)魯棒圖像集分類判別，采用協(xié)方差矩陣和高斯分布等形成多元數(shù)據(jù)表示每個集合實現(xiàn)互補集建模。該利用歐氏距離和黎曼幾何度量將原始空間嵌入高維的希爾伯特空間進而在滿足判別約束條件下聯(lián)合學(xué)習(xí)混合度量，從而實現(xiàn)融合來自異構(gòu)空間的數(shù)據(jù)達到圖像集分類判別效果。文獻[12]提出格拉斯曼流形最近點圖像集識別算法，利用能夠?qū)⒆涌臻g從格拉斯曼流型空間投影到適用歐氏距離的再生核希爾伯特空間的投影核完成圖像集表示，將再生核希爾伯特空間中由擴展的k-means子空間構(gòu)造的點建模為放射核，最后利用相異放射核間的歐氏距離實現(xiàn)分類判別。文獻[13]中提出成對線性回歸圖像集分類算法，定義不相關(guān)子空間且提出兩種構(gòu)建不相關(guān)子空間的方法，利用兩種基于不相關(guān)子空間構(gòu)造方法的分類器的聯(lián)合度量，增加測試集和訓(xùn)練集的最大化不同信息從而實現(xiàn)分類判別。文獻[14]提出感知流形學(xué)習(xí)圖像集分類算法，該算法基于格拉斯曼流形獨立成分分析。格拉斯曼流形是線性子空間的集合，它使每個子空間被映射到流形空間的一個點，利用可獲得空間局部信息的獨立成分分析構(gòu)建格拉斯曼子空間，在該空間利用線性判別分析或者稀疏表示分類獲得魯棒性分類性能。文獻[15]提出迭代深度學(xué)習(xí)圖像集人臉識別算法，它可以自動分層從原始圖像中學(xué)習(xí)有鑒別力的表示特征。首先由池化卷積層學(xué)習(xí)得到低層不變特征，然后利用以分層次方式迭代的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入圖像集的有鑒別力非線性特征表示。該方法減輕將圖像集表示為線性子空間或者黎曼幾何流形等因預(yù)先假設(shè)所屬類別所帶來的對分類鑒別信息丟失的限制。文獻[16]提出聯(lián)合原型和度量學(xué)習(xí)算法，利用可數(shù)樣本表示每個訓(xùn)練樣本集從而學(xué)習(xí)到原型度量進而張成正則化仿射閉包表示樣本集，測量樣本集間的距離學(xué)習(xí)到馬氏距離度量，通過交替更新原型度量和馬氏距離度量獲得集到集的距離完成分類判別。

無論是有參建模還是無參建模，分類判別都利用測試集與每個訓(xùn)練集分別比較距離。類似于最近鄰分類器和最近子空間分類器，這種分類方法并沒有考慮訓(xùn)練集間的相關(guān)性。基于分類的稀疏表示算法(SRC)[17]和基于分類的協(xié)同表示算法(CRC)[18]強調(diào)利用所有類的訓(xùn)練樣本線性表示測試樣本。研究者將SRC和CRC運用到圖像集識別，利用所有訓(xùn)練集表示測試集中的每一個樣本圖像，但是此做法并未利用測試集樣本間的相關(guān)性和區(qū)別性。

考慮到充分利用樣本集內(nèi)部相關(guān)性和差異性，本文提出圖像集閉包建模的協(xié)同表示人臉識別算法。首先，擴展字典，中等強度像素帶有鑒別信息；鏡像圖像可描述異于原始圖像的細節(jié)且增添視覺分辨效果；將原始圖像，鏡像圖像，中等像素圖像聯(lián)合構(gòu)成擴展的圖像集字典。然后，利用無參模型建模訓(xùn)練集字典閉包；同類異源域的測試圖像構(gòu)成圖像集(Image set)且構(gòu)建這些圖像集為測試閉包，擴展字典協(xié)同表示測試閉包進而利用字典更新求解閉包系數(shù)。最后，采用殘差判別函數(shù)進行模式分類。

2 圖像集閉包建模的協(xié)同表示人臉識別算法系統(tǒng)框圖

圖1是本文算法的整體框圖。首先，構(gòu)建擴展字典，將原始圖像和由其產(chǎn)生的鏡像圖像與中等像素圖像，三種源域圖像聯(lián)合構(gòu)成擴展的圖像集字典。然后，建模圖像集閉包，以無參模型建模構(gòu)建訓(xùn)練集閉包，同類異源域的測試圖像建模構(gòu)建測試集閉包。最后，訓(xùn)練集閉包協(xié)同表示測試集閉包利用字典更新求解閉包系數(shù)，進而采用殘差判別函數(shù)進行判別分類。

圖1 系統(tǒng)組成框圖

3 構(gòu)建擴展字典

圖像的多重描述能夠提供互補信息，故構(gòu)建具有多重描述的擴展字典。因圖像集能夠傳達目標(biāo)類內(nèi)變化信息，所以圖像集人臉識別明顯優(yōu)于單一圖像的人臉識別。

3.1 擴展字典

3.1.1鏡像圖像生成

人臉圖像擁有軸對稱的結(jié)構(gòu)，但是通常情況下，幾乎沒有絕對正面的人臉圖像，大多數(shù)都是不對稱圖像。由原始圖像產(chǎn)生的鏡像圖像不僅能夠克服人臉識別中人臉圖像的錯位問題，而且可以消除原始圖像姿勢和光照的邊緣影響從而反應(yīng)原始圖像在姿勢或者光照中的可能變化因素。

(1)

其中，p=1,…,P,q=1,…,Q。

圖2 GT庫原始圖像和鏡像圖像

雖然鏡像圖像是由原始圖像生成的，但鏡像圖像也是自然圖像且可以正確反映原始圖像的姿勢和光照的變化。此外，在距離度量方面鏡像圖像與原始圖像完全不同。所以利用鏡像圖像可以獲得人臉更多的可利用信息。

3.1.2中等像素圖像生成

從圖像中提取顯著特征對于圖像分類至關(guān)重要。同一類人的訓(xùn)練樣本和測試樣本相同位置有著不同的像素強度，這加大提取顯著特征的難度。根據(jù)每張圖像不同位置像素的作用不同，可用原始樣本產(chǎn)生中等強度像素圖像，此圖像加強了原始圖像中等強度像素的區(qū)域降低了其他強度像素區(qū)域[19]。

I代表一張原始圖片，Iij表示圖像I的第i行和第j列的像素強度。假設(shè)m是所有像素的最大值，對于傳統(tǒng)的灰度圖像m=255。由原始圖片I產(chǎn)生的中等強度像素圖像J方法如下：

Jij=Iij·(m-Iij)

(2)

Jij表示中等強度像素圖像J的第i行和第j列像素的強度。

圖3 GT庫原始圖像和中等強度像素圖像

研究表明圖像分類中不同像素發(fā)揮著不同作用。式(2)表明，圖像中等像素位置是描述圖像的關(guān)鍵部位。對于變化人臉圖像，中等強度像素比較穩(wěn)定。原始圖像和像素強度產(chǎn)生圖像可提供同一人臉圖像的多重特征。

融合原始圖像、鏡像圖像、中等像素圖像構(gòu)成本文的擴展字典，實現(xiàn)多重描述人臉圖像，更好地完成人臉識別。

3.2 單集到單集閉包建模

相比圖像集有參建模模型，無參建模方法不用估計參數(shù)分布故有許多有利性能。一種簡潔的無參建模方法是閉包建模方法，即將一個圖像集建模成其樣本的線性組合。

假設(shè)圖像集Y={y1,…,yi,…,yna},yi∈Rd，圖像集Y的凸閉包被定義為：H(Y)={∑aiyi}。通常，要求∑ai=1且系數(shù)ai是有界的：

H(Y)={∑aiyi|∑ai=1,0≤ai≤τ}

(3)

假設(shè)Y={y1,…,yi,…,yna}是一個圖像集，Z={z1,…,zj,…,znz}是另一個圖像集，那么將圖像集建模成凸閉包，圖像集Y到圖像集Z的距離被定義如下：

s.t. ∑ai=1,0≤ai≤τ

∑bi=1,0≤bi≤τ

(4)

若兩個圖像集沒有交集，式(4)的單一集到單一集的距離就是兩個凸閉包最近兩點距離，如圖4所示。如果將每一類看做一個圖像集，兩類間最大邊界就是集到集的距離。

圖4 單集到單集距離的凸閉包

4 閉包建模圖像集協(xié)同表示人臉識別算法

4.1 單集到多集協(xié)同表示分類

本文擴展字典圖像集由原始圖像、鏡像圖像和中等像素圖像構(gòu)成，三種源域圖像種類數(shù)量相一致。假設(shè)每種源域圖像有L類，第i類有n個訓(xùn)練樣本。圖像集人臉識別中，Y表示同類同姿態(tài)相異源域的圖像構(gòu)成的測試集，Xjk(j=1,2,3;k=1,…,L)表示訓(xùn)練字典集。研究表明，人臉識別中異類人臉圖像存在相似之處。若用2.2節(jié)求解單集到單集距離的方法，那么訓(xùn)練樣本類間的協(xié)作表示能力就被忽略。將SRC和CRC中訓(xùn)練樣本線性表示測試樣本的理論知識運用于圖像集，提出本文的閉包建模圖像集協(xié)同表示人臉識別算法。

X=[X11,X12,…,X1L,X21,…,X2L,X31,…,X3L]表示所有訓(xùn)練樣本即擴展字典。建模字典X為閉包字典，同類同姿態(tài)相異源域圖像構(gòu)成測試集，建模為測試閉包，分別用Xb和Ya表示，其中a和b是系數(shù)向量。定義單集Y到多集X的距離如下式：

mina,b‖Ya-Xb‖2s.t.∑ai=1

(5)

其中，ai是a的第i個的系數(shù)。式(5)的求解將在4.2節(jié)詳解。

(6)

求解式(5)閉包系數(shù)，本文采取正則化優(yōu)化方法，即4.2節(jié)的正則化閉包協(xié)同表示方法。

4.2 單集到多集正則化閉包協(xié)同表示

本節(jié)將詳細給出式(5)的求解方法，L1范數(shù)和L2范數(shù)都能正則化系數(shù)向量a和b，但是L1范數(shù)求解的稀疏解更稀疏，所以本文應(yīng)用L1范數(shù)正則化閉包解決問題。

4.2.1主要模型

根據(jù)3.2節(jié)，測試集Y的L1范數(shù)正則化閉包定義如下：

H(Y)={∑aiyi|‖a‖l1<δ}s.t.∑ai=1

(7)

擴展字典的L1范數(shù)正則化閉包定義如下：

H(X)={∑bixi|‖b‖l1<δ}

(8)

閉包Y和閉包X的距離定義如下:

s.t.‖a‖l1<δ1,‖b‖l1<δ2,∑ai=1

(9)

為求解式(9)最小化問題，將式(9)重新改寫為它的拉格朗日表達式：

s.t.∑ai=1

(10)

其中，λ1和λ2是平衡殘差和正則化矩陣的正常數(shù)。在式(10)中若測試集Y僅一個樣本那么a=1，則本文方法就簡化成SRC過程。

4.2.2正則化過程

交替最小化方法能非常有效解決多個變量優(yōu)化問題，故本文采用此方法優(yōu)化式(10)。該式增廣的拉格朗日函數(shù)如下：

(11)

其中，λ是拉格朗日乘數(shù)，<·,·>表示內(nèi)積，γ>0表示懲罰因子，e是一個所有元素為1的行向量。

求解a和b時，固定一個量優(yōu)化另一個量。最小化a的過程如下：

a(t+1)=arg minaL(a,b(t),λ(t))=arg minaf(a)+

(12)

當(dāng)a(t+1)被更新完畢，b(t+1)繼續(xù)L1正則化優(yōu)化。

b(t+1)=arg minbL(a(t+1),b,λt)=

(13)

求解a(t+1)和b(t+1)后，λ可據(jù)以下式進行求解：

λ(t+1)=λ(t)+γ(ea(t+1)-1)

(14)

上式參數(shù)設(shè)置如下：λ1=0.001，λ2=0.001，λ=2.5/na(na是每個測試集閉包的樣本數(shù)量)，γ=λ/ 2。

單集到多集正則化閉包協(xié)同表示算法的具體步驟如下：

1)輸入：測試集Y；λ1和λ2；擴展字典集X=[X11,X12,…,X1L,X21,…,X2L,X31,…,X3L]。

2)初始化：β(0)，λ(0)和0←t。

3)當(dāng)t

第1步：用式子(12)更新a；

第2步：用式子(13)更新b；

第3步：用式子(14)更新λ；

第4步：t←t+1。

輸出：測試集Y的標(biāo)簽：

5 實驗仿真

本文方法在ORL、CMU PIE和GT(Georgia Tech Face Database)、FERET人臉數(shù)據(jù)庫中進行一系列實驗。并且與基于分類的稀疏表示算法(SRC)、基于分類的協(xié)同表示算法(CRC)、類內(nèi)變化聯(lián)合擴展字典的稀疏表示算法(ESRC)、原始圖像和特征臉聯(lián)合的擴展字典稀疏表示算法(PCA-SRC)、原始圖像及其鏡像圖像聯(lián)合的擴展字典表示算法(Ori-Sym)進行對比實驗。

5.1 ORL數(shù)據(jù)庫

ORL數(shù)據(jù)庫共有40人，每人有10幅人臉圖像。將原始圖像用3.1節(jié)知識產(chǎn)生鏡像圖像和中等像素圖像，從而形成擴展的圖像集。圖5是ORL數(shù)據(jù)庫集部分圖像，第一行是原始圖像，第二行是鏡像圖像，第三行是中等像素圖像。

圖5 ORL三種源域圖像部分圖像

在實驗中，每種源域圖像每類選取N(=4,5,6)幅圖像構(gòu)成擴展字典，同類同姿態(tài)異源域的圖像構(gòu)成測試集，這樣測試樣本就構(gòu)成了圖像集。原始圖像尺寸為56×46，采用下采樣對圖像進行降維處理，從而給出維度變化時的識別率。

三種源域訓(xùn)練圖像聯(lián)合構(gòu)建擴展字典閉包，同類同姿態(tài)相異源域的圖像建模測試閉包。表1對比了基于分類的稀疏表示算法(SRC)、基于分類的協(xié)同表示算法(CRC)、類內(nèi)變化聯(lián)合擴展字典的稀疏表示算法(ESRC)、原始圖像和特征臉聯(lián)合的擴展字典稀疏表示算法(PCA-SRC)、原始圖像及其鏡像圖像聯(lián)合的擴展字典表示算法(Ori-Sym)和本文方法在不同訓(xùn)練樣本個數(shù)下的正確識別率。

表1 ORL數(shù)據(jù)庫不同算法的正確率對比

在圖像不同維度下進行實驗，將基于分類的稀疏表示算法(SRC)、基于分類的協(xié)同表示算法(CRC)、類內(nèi)變化聯(lián)合擴展字典稀疏表示算法(ESRC)、原始圖像和特征臉聯(lián)合的擴展字典稀疏表示算法(PCA-SRC)與本文方法在維度變化下進行對比，圖6是各種算法在圖像不同維度下的識別率曲線。通過圖6可以看出本文方法的識別率高于其他算法。

圖6 維度變化的各種算法識別率Fig.6 The recognition rate of different methods about various dimensions

5.2 GT數(shù)據(jù)庫

GT(GeorgiaTechFaceDatabase)數(shù)據(jù)庫共有50人，每個人有15幅人臉圖像。將原始圖像用3.1節(jié)知識產(chǎn)生鏡像圖像和中等像素圖像，從而形成擴展的數(shù)據(jù)集。圖7是GT數(shù)據(jù)庫部分圖像，第一行是原始圖像，第二行是鏡像圖像，第三行是中等強度像素圖像。

圖7 GT三種源域圖像部分圖像Fig.7 Three domains image of GT face database

每種源域圖像每類選取N(=7，8，9)幅圖像構(gòu)成擴展字典，同類同姿態(tài)相異源域的圖像構(gòu)成測試集，這樣測試樣本就構(gòu)成了圖像集?；叶忍幚砣繄D像，并對圖像進行降維處理，從而給出維度變化時的識別率。

三種源域訓(xùn)練圖像聯(lián)合構(gòu)建擴展字典閉包，同類同姿態(tài)相異源域的圖像建模測試閉包。表2分別比較SRC、CRC、ESRC、PCA-SRC、Ori-Sym和本文方法在不同訓(xùn)練樣本個數(shù)下的正確識別率。

表2 GT數(shù)據(jù)庫不同算法的正確率對比

針對維度變化對算法的影響進行實驗，將SRC、CRC、ESRC、PCA-SRC和本文方法在維度變化下進行對比。圖8是維度變化時各種算法的識別率曲線。

圖8 維度變化的各種算法識別率

5.3 CMU PIE數(shù)據(jù)庫

CMU PIE數(shù)據(jù)庫有五個圖像子集，每類人臉包含姿態(tài)變化、光照變化及表情變化。本實驗選取C09圖像子集，C09子集含有68人，每類人包含24張包含表情及光照變化圖像，所有圖像進行裁剪尺寸為64×64。采用下采樣對圖像進行降維處理，從而給出維度變化時的識別率。每種源域圖像每類選取N(=10，12，14)幅圖像構(gòu)成擴展字典，同類同姿態(tài)相異源域的圖像構(gòu)成測試集。

將原始圖像用3.1節(jié)知識產(chǎn)生鏡像圖像和中等像素圖像，從而形成數(shù)據(jù)集。圖9是CMU PIE數(shù)據(jù)庫集的部分圖像，第一行是原始圖像，第二行是鏡像圖像，第三行是中等像素圖像。

圖9 CMU PIE數(shù)據(jù)庫集部分圖像

表3分別比較SRC、CRC、ESRC、PCA-SRC、Ori-Sym和本文方法在不同訓(xùn)練樣本個數(shù)下的正確識別率。

表3 CMU PIE數(shù)據(jù)庫不同算法的正確率對比

為充分說明本文提出方法的有效性，在圖像維度變化的情況下將SRC、CRC、ESRC、PCA-SRC和本文方法進行對比實驗。圖10是不同算法在圖像維度變化下的識別率曲線，由圖可看出本文方法優(yōu)于其他算法。

圖10 維度變化的各種算法識別率

5.4 FERET人臉數(shù)據(jù)庫

FERET人臉數(shù)據(jù)庫包含200個人，每個人7張人臉圖像。每種源域圖像每類選取N(=3，4，5)幅圖像構(gòu)成擴展字典，同類同姿態(tài)相異源域的圖像構(gòu)成測試圖像集。數(shù)據(jù)庫原始圖像尺寸是80×80，采用下采樣對圖像進行降維處理，且給出維度變化時的識別率。

將原始圖像用3.1節(jié)知識產(chǎn)生鏡像圖像和中等像素圖像，從而形成數(shù)據(jù)集。圖11是FERET數(shù)據(jù)庫集的部分圖像，第一行是原始圖像，第二行是鏡像圖像，第三行是中等強度像素圖像。

圖11 FERET數(shù)據(jù)庫集部分圖像

表4分別比較SRC、CRC、ESRC、PCA-SRC、Ori-Sym和本文方法在不同訓(xùn)練樣本個數(shù)下的正確識別率。

表4 FERET人臉數(shù)據(jù)庫幾種方法的識別率

為進一步驗證本文算法的性能，將SRC、CRC、ESRC、PCA-SRC和本文方法在維度變化下進行對比。圖12為不同維度下各算法識別率變化曲線。

圖12 維度變化的各種算法識別率

6 結(jié)論

本文充分利用樣本集內(nèi)部相關(guān)性和差異性，提出圖像集閉包建模的協(xié)同表示人臉識別算法。首先，從擴展字典的角度出發(fā)，據(jù)鏡像圖像可以克服人臉圖像不總是軸對稱圖像的不足；據(jù)圖像分類中不同像素起著不同作用的原理產(chǎn)生中等強度像素圖像，從而整個數(shù)據(jù)集擴展成由原始圖像、鏡像圖像和中等像素圖像匯集的數(shù)據(jù)集。然后，利用無參模型建模訓(xùn)練集擴展字典閉包，同類同姿態(tài)異源域的圖像構(gòu)成測試圖像集，字典閉包協(xié)同表示測試圖像集進而利用字典更新求解閉包系數(shù)。最后，利用殘差進行分類判別。通過實驗驗證，本文方法效果優(yōu)于其他方法的效果。

[1] Zeng Shaoning, Yang Xiong, Gou Jianping. Multiplication fusion of sparse and collaborative representation for robust face recognition[J]. Multimedia Tools and Applications, 2017,76(20): 20889-20907.

[2] Faraki M, Harandi M T, Porikli F. Image set classification by symmetric positive semi-definite matrices[C]∥2016 IEEE Winter Conference on Applications of Computer Vision (WACV), Lake Placid, NY, USA: WACV, 2016: 1- 8.

[3] Li Fang, Zhang Sanyuan. Laplacian sparse coding dictionary for image set based collaborative representation[C]∥2016 2nd IEEE International Conference on Computer and Communications (ICCC),Chengdu, China: ICCC, 2016: 245-249.

[4] Hayat M, Khan S H, Bennamoun M. Empowering simple binary classifiers for image set based face recognition[J]. International Journal of Computer Vision, 2017,123(3):479- 498.

[5] 胡正平, 白帆, 王蒙, 等. 原子-分子字典結(jié)合的聯(lián)合擴展加權(quán)稀疏表示人臉識別算法[J]. 信號處理, 2016, 32(7): 801- 809.

Hu Zhengping, Bai Fan, Wang Meng, et al. Atom-molecule dictionary joint extended weighted sparse representation face recognition algorithm[J]. Journal of Signal Processing, 2016, 32(7): 801- 809.(in Chinese)

[6] Xu Yong, Zhu Xingjie, Li Zhengming, et al. Using the original and ‘symmetrical face’training samples to perform representation based two-step face recognition[J]. Pattern Recognition, 2014, 46(4): 1151-1158.

[7] Wu Shuai, Cao Jian. ‘Symmetrical face’based improved LPP method for face recognition[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(14): 3530-3533.

[8] Xu Yong, Li Xuelong, Yang Jian, et al. Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing, 2014, 131: 191-199.

[9] Xu Yong, Li Xuelong, Yang Jian, et al. Integrating conventional and inverse representation for face recognition[J]. IEEE Transactions on Cybernetics, 2014, 44(10): 1738-1746.

[10] Chen Jingwei, Feng Yong, Liu Yang, et al. Sparse non-negative matrix factorization with generalized Kullback-Leibler divergence[C]∥International Conference on Intelligent Data Engineering and Automated Learning. Springer International Publishing(IDEAL), Wroclaw, Poland:IDEAI, 2016: 353-360.

[11] Huang Zhiwu, Wang Ruiping, Shan Shiguang, et al. Hybrid Euclidean-and-Riemannian metric learning for image set classification[C]∥Asian Conference on Computer Vision. Springer International Publishing(ACCV), Singapore, Singapore:ACCV, 2014: 562-577.

[12] Tan Hengliang, Ma Zhengming, Zhang Sumin, et al. Grassmann manifold for nearest points image set classification[J]. Pattern Recognition Letters, 2015, 68: 190-196.

[13] Feng Qingxiang, Zhou Yicong, Lan Rushi. Pairwise Linear Regression Classification for Image Set Retrieval[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas, Nevada:CVPR, 2016: 4865- 4872.

[14] Kumar S, Savakis A. Learning a perceptual manifold for image set classification[C]∥2016 IEEE International Conference on Image Processing (ICIP),Phoenix, USA:ICIP, 2016: 4433- 4437.

[15] Shah S A A, Bennamoun M, Boussaid F. Iterative deep learning for image set based face and object recognition[J]. Neurocomputing, 2016, 174: 866- 874.

[16] Leng M, Moutafis P, Kakadiaris I A. Joint prototype and metric learning for image set classification: Application to video face identification[J]. Image and Vision Computing, 2017, 58: 204-213.

[17] Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[18] Zhang Lei, Yang Meng, Feng Xiangchu. Sparse representation or collaborative representation: Which helps face recognition?[C]∥2011 IEEE International Conference on Computer Vision (ICCV),Barcelona, Spain:ICCV, 2011: 471- 478.

[19] Xu Yong, Zhang Bob, Zhong Zuofeng. Multiple representations and sparse representation for image classification[J]. Pattern Recognition Letters, 2015, 68: 9-14.