基于加權(quán)協(xié)同表示的人臉識別方法

楊章靜，王鏡宇，黃 璞，張凡龍

(1.南京審計大學 信息工程學院，江蘇 南京 211815；2.南京審計大學 江蘇省審計信息工程重點實驗室，江蘇 南京 211815)

0 引 言

過去幾十年，研究者提出了諸多的人臉識別方法[1]，其中基于表示學習的分類方法被提出并廣泛應(yīng)用于人臉識別。常見的分類器有稀疏表示分類器(sparse representation based classification，SRC)、線性回歸分類器(linear regression based classification，LRC)、協(xié)同表示分類器(collaborative representation classification，CRC)。近些年，基于上述方法，研究者提出多種改進方法，并廣泛應(yīng)用于圖像分類。如KCRC[2]、TCRC[3]、CCRC[4]、WDCCR[5]、Pro-CRC[6]、Bags CRC[7]均在圖像分類時取得較好的效果。

通過研究上述基礎(chǔ)分類和改進算法后，發(fā)現(xiàn)SRC在求解最優(yōu)化問題時，需要基于L1范數(shù)，求解過程較為復(fù)雜，所耗費時間較長。LRC是假定待識別圖像可由某類樣本線性表示而成，其特征表達能力與每類樣本的數(shù)目相關(guān)。CRC在利用全體訓練圖像線性表示待識別圖像時，也沒有考慮不同類別樣本之間的差異性，導致特征表達能力較弱，識別能力同樣受到影響。

針對以上問題，本文將待識別圖像線性表示成全體訓練圖像的線性組合，同時將待識別圖像與每類樣本的距離信息作為先驗信息引入到特征表示函數(shù)中，提出了加權(quán)協(xié)同表示(weighted collaborative representation classification，WCRC)，在Yale B、CMU PIE及AR人臉庫上的實驗結(jié)果表明，WCRC較其它算法取得了更好的識別效果。

1 協(xié)同表示分類器

首先假設(shè)每幅圖像的大小為w×h， 訓練樣本來自c個圖像類，每類的樣本數(shù)量為n0， 訓練樣本表示為xi∈D， 其中D=w×h， 訓練集樣本表示為X=[x1,x2……xn]， 將待識別樣本表示為y， 其中n表示人臉圖像訓練樣本數(shù)n=n0×c。

根據(jù)協(xié)同表示分類器的思想，待識別樣本可以表示為全體樣本的線性組合

(1)

目標函數(shù)如下

(2)

式中：w=[w11,w12,…,w21,…wcn0]T∈n×1為線性重構(gòu)系數(shù)，wab表示第a類的第b個樣本的表示系數(shù)。使用最小二乘法來求解w，其中λ為正則項參數(shù)

(3)

利用拉格朗日乘子法求解并化簡目標函數(shù)如下

(4)

式中：P=(XTX+λ·I)XT， 每個樣本的重構(gòu)系數(shù)殘差為

(5)

待測試樣本歸類為第k類

γk=argminiγk

(6)

2 加權(quán)協(xié)同表示分類器

CRC使用全體訓練樣本作為字典集協(xié)同表示待識別樣本，將所有訓練樣本不加區(qū)別地利用，該算法沒有考慮到樣本間的區(qū)別性，同時算法引入了正則項系數(shù)，使得識別率不穩(wěn)定，對含有遮擋的數(shù)據(jù)缺乏魯棒性。受CRC啟發(fā)，將待測試樣本與訓練樣本間的距離作為權(quán)重引入到協(xié)同表示過程中，提出了基于加權(quán)的協(xié)同表示方法。

2.1 算法思想

通過研究協(xié)同表示的多個改進算法[3-7]和稀疏表示原理[8,9]后，發(fā)現(xiàn)對協(xié)作表示系數(shù)的約束和加權(quán)是增強模型表示能力的簡單而有效的方法，通過引入權(quán)重增強樣本間區(qū)別性[10-13]。為克服正則項參數(shù)敏感問題，使用Bootstrap抽樣生成不同的樣本集，采用多分類器投票產(chǎn)生結(jié)果[14]，文獻[6,7]從增強樣本間的競爭角度出發(fā)，利用樣本的區(qū)別性提高識別率。為了增加樣本間差異性，同時減少正則項參數(shù)對結(jié)果的影響，加強模型對各種數(shù)據(jù)的魯棒性，提出基于加權(quán)的協(xié)同表示算法。算法首先對數(shù)據(jù)進行特征提取(PCA、LDA、LPP)；然后利用最小二乘法求解表示系數(shù)，并基于L2范數(shù)求解最優(yōu)化問題，將距離作為先驗信息引入到目標函數(shù)構(gòu)造中，使得模型表征能力增強；最后根據(jù)待識別圖像與每類訓練圖像的重構(gòu)殘差大小判斷待識別圖像的類別。

考慮到類別間的區(qū)別度，通過引入距離作為權(quán)重的有效性驗證，根據(jù)樣本與類別間的距離遠近來弱化或增強對應(yīng)類別在協(xié)同表示中的權(quán)重，假設(shè)待測試樣本y∈Xi， 其它樣本Xo， 目標函數(shù)可寫成

(7)

當di增加，do減小時，Xi在回歸中所占比重增加，Xo所占比重減小，導致Wi能以更小的變化，Wo需要更大的變化對協(xié)同表示結(jié)果產(chǎn)生影響，使得最后協(xié)同表示的結(jié)果更偏向于在距離上較近的分類。以Yale B數(shù)據(jù)庫為例，對比WCRC與CRC在同一類待識別樣本隨訓練樣本數(shù)目遞增情況下的平均重構(gòu)殘差，計算公式如下

(8)

式中：y為待識別樣本，X為訓練樣本，W為重構(gòu)系數(shù)，如圖1所示。

圖1 待測試樣本在CRC和WCRC算法下的重構(gòu)殘差

由圖1可知，WCRC重構(gòu)殘差整體保持在CRC的下方，隨著訓練樣本數(shù)增加，其對圖像的表示能力逐漸接近。因此引入距離作為加權(quán)可以明顯增強模型的表示能力，使得重構(gòu)后的圖像與待測試圖像之間的殘差更小，可見將距離作為先驗信息可以增強模型的表示能力。

為了進一步驗證引入距離信息作為權(quán)重對分類結(jié)果有效，根據(jù)文獻[5]引入相似系數(shù)

Similar Corr(y,XiWi)=yTXiWi

(9)

式中：y為待識別圖像，Xi為第i類的訓練圖像，Wi為第i類的表示系數(shù)，待測試圖像與某一類線性表示結(jié)果越相似，則相似系數(shù)越大。以Yale B數(shù)據(jù)庫為例，圖2(a)、圖2(b)展示了CRC與WCRC對某類樣本的平均重構(gòu)殘差和相似系數(shù)，其中實線代表重構(gòu)殘差，虛線代表相似系數(shù)。

圖2 樣本在CRC和WCRC算法下的重構(gòu)殘差和相似系數(shù)

從圖2中可以看出相似系數(shù)和重構(gòu)殘差成反比關(guān)系，Gou等指出錯誤分類往往是由于錯誤類與正確類存在較大相關(guān)性所致[5]，對于這種問題解決辦法是增強類別間的競爭性，因此可通過引入樣本間的先驗信息，進而增強類別間的競爭性，從而使得正確類別能在協(xié)同表示中更具優(yōu)勢。圖2(c)展示了CRC與WCRC對某類樣本的重構(gòu)殘差對比情況，其中正三角代表CRC中錯誤的類別重構(gòu)殘差，倒三角代表正確類別的重構(gòu)殘差，圓形代表WCRC中錯誤類別的重構(gòu)殘差，方形代表正確類別的重構(gòu)殘差，從圖2(a)～圖2(c)可以看出WCRC算法在略微增加正確類別重構(gòu)殘差的情況下，大幅增加錯誤類別的重構(gòu)殘差，同時使正確類別的相似系數(shù)更大，增強了類別間的競爭性。圖2(d)展示了將不同類按距離從近到遠排序后，對某樣本不同類所占的重構(gòu)系數(shù)比重。星形代表CRC的重構(gòu)系數(shù)權(quán)重，圓形代表WCRC的重構(gòu)系數(shù)權(quán)重，由圖2可知，引入距離作為先驗信息可以顯著增強協(xié)同表示下不同類的差異性，使距離較近的類樣本在重構(gòu)系數(shù)中的權(quán)重增強，提高模型的協(xié)同表示能力，提高了最終識別率。

2.2 算法描述

設(shè)每幅圖像的大小為w×h， 訓練樣本來自c個圖像類，每類的樣本數(shù)量為n0，將訓練樣本表示為xi∈D， 其中D=w×h， 將訓練集樣本表示為X=[x1,x2,…,xn]， 將待識別樣本表示為y，其中n表示人臉圖像訓練樣本數(shù)n=n0×c。

(1)令di表示待識別樣本y與第i類樣本距離，則di計算式為

(10)

(2)令W=[w1,w2,…,w3]T∈Rn×1表示線性組合系數(shù)向量，其中wi表示訓練樣本xi對重構(gòu)y的表示系數(shù)。根據(jù)樣本類別，可將W表示為W=[W1,W2,…,Wc]T∈Rn×1。 結(jié)合待識別樣本與每類樣本之間的距離信息，對于待識別樣本y可由全體訓練樣本協(xié)同表示為

(11)

式中：Λ為對角矩陣，對角線上的元素Xi(i=1,2,…,c) 為第i類樣本的集合且Xi=[X1,X2,…,Xc]。

(3)根據(jù)最小二乘法，線性重構(gòu)向量W可通過求解以下目標函數(shù)獲得

(12)

式中：ε>0表示重構(gòu)殘差。

(13)

求W偏導數(shù)，并將其設(shè)置為0，進一步化簡可得

(14)

式中：I∈Rn×n為單位矩陣。

(5)構(gòu)造待識別樣本的類標判別規(guī)則，判斷待識別樣本類別，待識別樣本y與第i類樣本的重構(gòu)殘差為

(15)

γk=argminiγi(i=1,2,…,c)

(16)

則可將待識別樣本y歸為第k類。

3 實驗結(jié)果與分析

本章節(jié)通過實驗驗證WCRC算法的有效性和可靠性，主要采用識別率作為評判標準驗證算法性能，對比算法有NNC、SRC、MDC、LRC、CRC。在Yale B、CMU PIE人臉庫上分別設(shè)置5組和3組實驗，用于檢驗WCRC對于不同光照條件和表情變化的分類性能；在CMU PIE人臉庫上設(shè)置1組運行時間對照實驗；在AR人臉庫上設(shè)置4組實驗，用于檢驗WCRC對于大幅表情變化的分類性能；同時設(shè)置2組關(guān)于正則項參數(shù)的實驗來檢驗正則項對WCRC識別率的影響。所有實驗均在MATLAB(2020a)環(huán)境下運行。

3.1 Yale B數(shù)據(jù)庫實驗

Yale B人臉庫包含38人的64種不同姿態(tài)和光照條件下的2432幅圖像，其中的姿態(tài)和光照變化圖像都在嚴格控制條件下采集的，Yale B數(shù)據(jù)庫上的部分人臉圖像如圖3所示。

圖3 Yale B數(shù)據(jù)庫上的部分人臉圖像

實驗時按順序選取前l(fā)(=8,12,16,20,24) 個樣本作為訓練樣本，剩余的作為測試樣本。所有樣本歸一化處理后，統(tǒng)一經(jīng)過PCA降維處理，特征維數(shù)取值從80到150間隔為10，SRC、CRC和WCRC中的參數(shù)λ=0.01。實驗結(jié)果如圖4(a)～圖4(e)所示，表1為Yale B數(shù)據(jù)庫上幾種方法取得的最高準確率。

由表1可知，在大部分情況下，WCRC識別率都高于其它算法，且在訓練樣本較少時，相較于SRC與LRC，算法優(yōu)勢明顯，證明了協(xié)同表示的有效性；相較于CRC，識別率也有一定幅度的提升。WCRC引入距離作為先驗信息增強模型的特征表示能力，有效地提高了識別率，算法識別性能隨樣本數(shù)和維數(shù)提升穩(wěn)定，說明WCRC對于不同光照條件下的人臉具有較好的分類和表示能力。

3.2 CMU PIE數(shù)據(jù)庫實驗

CMU PIE人臉庫C29部分包含68人，每人24幅，共1632幅圖像，均為像素的灰度圖片，CMU PIE數(shù)據(jù)庫上的部分人臉圖像如圖5所示。

實驗選取前l(fā)(=4,6,8) 個樣本作為訓練集，剩余的訓練樣本作為測試集。所有樣本歸一化處理后，統(tǒng)一經(jīng)過PCA降維處理，特征維數(shù)取值從80到150間隔為10，SRC、CRC和WCRC中的參數(shù)λ=0.01。實驗結(jié)果如圖6(a)～圖6(c)所示，表2、表3分別顯示CMU PIE數(shù)據(jù)庫上各算法的最高識別率及耗時。

CMU PIE數(shù)據(jù)庫的人臉圖像有強烈的明暗對比，且有一定的偏轉(zhuǎn)角度，WCRC在以上各種情況下都取得了較高的識別率，在l=8時識別率相較于CRC算法顯著增加。由表2可知，LRC和SRC的識別率依賴于樣本數(shù)量，這進一步說明在訓練數(shù)據(jù)較少情況下協(xié)同表示的有效性，以及WCRC在不同光照條件下的魯棒性。由表3可知，由于WCRC基于L2范數(shù)求解，相較于SRC，其運行時間大幅減少，但由于增加了測試樣本與訓練樣本的距離運算，所以相較于CRC運算稍慢。

3.3 AR數(shù)據(jù)庫實驗

AR人臉庫有3276幅圖像，包含126人，包含不同表情、光照、角度、遮擋等情況，每人26張，分兩部分，前后各13張，間隔14天采集。實驗中的圖像經(jīng)過預(yù)處理采用不含遮擋的數(shù)據(jù)庫，一共120個類別，每個類別14幅圖像，一共1680個樣本，AR數(shù)據(jù)庫上的部分人臉圖像如圖7 所示。

實驗時選取前l(fā)(=3,5,7,9) 幅圖像作為訓練樣本，剩余的作為測試樣本，所有樣本經(jīng)過歸一化處理后，特征維數(shù)取值從80到150間隔為10，SRC、CRC和WCRC中的參數(shù)λ=0.01，實驗結(jié)果如圖8(a)～圖8(d)所示，表4為AR數(shù)據(jù)庫上幾種方法的實驗對比結(jié)果。

由表4可知，WCRC表現(xiàn)出較好的分類性能，在各個訓練樣本數(shù)下，均取得最高識別率；并且在維數(shù)和樣本數(shù)較低時，相較于其它分類算法優(yōu)勢明顯，且在l=5時，識別率相較于CRC算法顯著增加，可見WCRC算法對于表情變化具有較強的魯棒性。

3.4 圖像遮擋實驗

本節(jié)主要探究WCRC算法在圖像存在遮擋時的有效性以及含有遮擋數(shù)據(jù)的魯棒性。實驗以AR人臉數(shù)據(jù)庫中無遮

圖4 Yale B數(shù)據(jù)庫上各算法在不同訓練樣本數(shù)下識別率變化情況

表1 Yale B數(shù)據(jù)庫上WCRC與其它算法識別率比較/%

圖5 CMU PIE數(shù)據(jù)庫上的部分人臉圖像

圖6 CMU PIE數(shù)據(jù)庫上各算法在不同訓練樣本數(shù)下識別率變化情況

表2 CMU PIE數(shù)據(jù)庫上WCRC與其它算法 識別率比較/%

表3 CMU PIE數(shù)據(jù)庫上各算法耗時比較/s

圖7 AR數(shù)據(jù)庫上的部分人臉圖像

表4 AR數(shù)據(jù)庫上WCRC與其它算法識別率比較/%

圖8 AR數(shù)據(jù)庫上各算法在不同訓練樣本數(shù)下識別率變化情況

圖9 AR數(shù)據(jù)集上的遮擋圖像

擋的前l(fā)(=14)幅圖像作為訓練樣本，將含遮擋的圖像按遮擋類型分兩部分，作為兩組測試樣本。所有圖像均經(jīng)過歸一化后使用PCA提取特征并保留特征維數(shù)到150，數(shù)據(jù)集上的遮擋圖像如圖9所示，包含墨鏡和圍巾兩部分，實驗結(jié)果如圖10所示。

由圖10(a)可知，在墨鏡遮擋情況下所有算法均取得了相似的識別效果，且都保持在90%以上；由圖10(b)可知，在圍巾遮擋情況下體現(xiàn)了協(xié)同表示算法的有效性，SRC、LRC、NNC的識別率均在40%以下，協(xié)同表示算法的識別率均在45%以上。其中WCRC算法相較于CRC算法表現(xiàn)出更魯棒和有效的結(jié)果。究其原因，墨鏡對人臉保留了絕大部分特征，所以識別率沒有受到太大影響。對于圍巾遮擋情況，由于嘴部及臉部的灰度輪廓是重要的識別特征[15]，被遮擋后導致大部分特征丟失，無法有效辨別正確的類，所以識別率較低。WCRC引入了距離作為權(quán)重系數(shù)，增強了類別間的區(qū)別度，一定程度上強化了部分特征，所以取得了更好的分類性能，使得算法對含有存在遮擋的數(shù)據(jù)更具有魯棒性。

3.5 正則項參數(shù)實驗

本節(jié)主要探究所提算法選取不同的正則項參數(shù)對于識別率的影響，實驗以AR數(shù)據(jù)庫在訓練樣本數(shù)為9時舉例，具體設(shè)置兩組實驗，第1組按順序選取樣本，正則項參數(shù)λ從0到10之間等間距取50個值；第2組實驗隨機選取訓練樣本，剩余的樣本作為測試樣本，正則項參數(shù)λ從0到1之間等間距取20個值，實驗結(jié)果如圖11所示。

由圖11(a)可知，隨著正則項增加，識別率先升后降，在λ=0時CRC與WCRC均失效。CRC與WCRC均在λ=0.02附近取得最高識別率。相較于CRC，WCRC隨著正則項增加，識別率衰減較緩慢；由圖11(b)可知在隨機選擇訓練樣本和測試樣本情況下，λ取值在10-5到1之間時，WCRC識別率保持穩(wěn)定，且識別率在不同樣本下具有相同的變化趨勢，這表明WCRC對于不同數(shù)據(jù)的選擇具有魯棒性。

3.6 實驗結(jié)果分析

根據(jù)實驗結(jié)果，可得結(jié)論如下：

(1)在訓練數(shù)據(jù)較少時，協(xié)同表示算法利用全部訓練樣本作為字典集表示待識別樣本，算法識別率較高。WCRC引入距離信息作為權(quán)重構(gòu)造目標函數(shù)，增加了類別間的區(qū)分度，提高了正確分類的概率，使得引入距離作為先驗信息，有效提高了算法的準確率。在CMU PIE數(shù)據(jù)庫上的訓練樣本從l=6到l=8和在AR數(shù)據(jù)庫上的訓練樣本從l=3到l=5，相比CRC，WCRC識別率有了大幅提高，隨后與CRC相近，這是由于WCRC隨著訓練樣本數(shù)增加，樣本內(nèi)均值更具代表性，引入距離作為權(quán)重，使得WCRC在較少樣本數(shù)時便能取得高識別率，隨后樣本繼續(xù)增加，樣本的內(nèi)均值趨于穩(wěn)定，識別率變化相對較小。

圖10 圖像遮擋情況下識別率變化情況

圖11 識別率隨正則項參數(shù)變化情況

(2)WCRC進一步優(yōu)化SRC的L1范數(shù)求解，采用L2范數(shù)作為約束條件，所以相較于SRC，算法復(fù)雜度大幅降低，求解過程簡單，計算速度較快。由于增加了對于樣本間距離信息的處理，需要計算待識別樣本與其它測試樣本間的距離，所以相較于CRC，有一定的復(fù)雜度提升，耗時稍長。

(3)對比其它算法，WCRC對含有遮擋的數(shù)據(jù)具有更強的辨別能力。由于考慮到樣本間的距離信息，使得算法對于結(jié)果更傾向于選擇距離較近圖像的特征，從而增強了算法對含有遮擋數(shù)據(jù)集的識別率。

(4)對于算法中可調(diào)節(jié)正則項參數(shù)λ，其取值對算法識別率有一定的影響。但WCRC引入距離作為權(quán)重信息參與目標函數(shù)的構(gòu)建，使得目標函數(shù)中λ作用相對減弱，WCRC對正則項參數(shù)的取值相對不那么敏感。

(5)WCRC在CRC基礎(chǔ)上提出，由上述實驗結(jié)果可知，在3種人臉庫上，相較于CRC，WCRC取得較好的識別效果，這主要是由于WCRC考慮了樣本間的距離信息。

(6)由表1、表2、表4可知，WCRC在3種人臉庫上，相較于其它算法，均取得了較好的識別效果，這進一步驗證了所提算法的有效性。

4 結(jié)束語

針對SRC和CRC在處理人臉識別時存在的缺陷，提出基于加權(quán)協(xié)同表示的人臉識別方法(WCRC)。WCRC利用樣本間的距離作為先驗信息引入到目標函數(shù)中，突出了樣本之間的區(qū)別度，使得模型的協(xié)同表示能力和識別能力增強，同時算法采用L2范數(shù)作為稀疏解的約束條件，放寬了重構(gòu)系數(shù)的稀疏性要求，在面對人臉圖像的光照、表情、姿態(tài)等變化時，算法特征表達能力較強，在降低算法復(fù)雜度同時，均可取得較好的人臉識別效果。

在實驗時發(fā)現(xiàn)不同的預(yù)處理方法會影響最終識別的結(jié)果，究其原因是不同處理方法會導致類別間的距離發(fā)生一定程度上的改變，因此如何進一步優(yōu)化預(yù)處理，尋找一種穩(wěn)定、有效的類別間距離表示方式是接下來研究和優(yōu)化的主要工作。