基于塊對角投影表示的人臉識別

劉保龍，王勇，李丹萍，王磊

（1.西安電子科技大學(xué)青島計算技術(shù)研究院，青島266000；2.上海交通大學(xué) 海洋智能裝備與系統(tǒng)教育部重點實驗室，上海200240；3.西安電子科技大學(xué) 電子工程學(xué)院，西安710071； 4.中國電子科技集團公司第27研究所，鄭州450047；5.西安電子科技大學(xué) 通信工程學(xué)院，西安710071）

近年來，隨著計算機技術(shù)的迅速發(fā)展，人臉識別技術(shù)得到廣泛研究與應(yīng)用，人臉識別成為近30年里模式識別和圖像處理中最熱門的研究主題之一。人臉識別的目的是從人臉圖像中抽取人的個性化特征，并以此來識別人的身份。

隨著人們獲取數(shù)據(jù)能力提高的同時，數(shù)據(jù)維數(shù)的增加引起了“維數(shù)災(zāi)難”問題，限制了人臉識別的準(zhǔn)確度和識別效率，因此對數(shù)據(jù)進行降維預(yù)處理變得尤為必要。其中，主成分分析（PCA）［1］和線性判別分析（LDA）［2］是最早的降維方法，有效緩解了維數(shù)災(zāi)難問題，提高了實驗的精確度，在目標(biāo)識別、圖像分割［3］和信號處理［4］等領(lǐng)域有著廣泛的應(yīng)用。為了增強投影的判別力，He等［5］考慮樣本的局部信息，提出局部保持投影（LPP），進一步，根據(jù)重構(gòu)誤差的最小，其提出了近鄰保持嵌入（NPE）［6］，但是該算法并沒有考慮樣本的全局結(jié)構(gòu)；Sugiyama［7］將LPP算法與LDA算法結(jié)合，提出了局部費舍爾判別分析（LFDA），通過最大化類間可分性和保持類內(nèi)局部結(jié)構(gòu)來適當(dāng)?shù)亟档投嗑垲惤Y(jié)構(gòu)數(shù)據(jù)的維數(shù)；2007年，Yan等［8］提出了圖嵌入框架，定義了本征圖和懲罰圖來描述數(shù)據(jù)的特征，并提出了邊界費舍爾分析（MFA）。上述算法被廣泛應(yīng)用于維數(shù)約簡，具有良好的降維效果。

隨著進一步的研究，基于表示的分類在機器學(xué)習(xí)和模式識別等領(lǐng)域備受關(guān)注［9］，常見的有稀疏表示、協(xié)作表示、低秩表示等。稀疏表示技術(shù)起源于壓縮感知理論，最初應(yīng)用于信號處理領(lǐng)域，對信號起壓縮作用［10］。2009年，Wright等［11］首次將稀疏表示應(yīng)用于圖像分類中，提出基于稀疏表示的分類（Sparse Representation based Classification，SRC），其主要思想是：在l1范數(shù)的約束下，將測試樣本表示為訓(xùn)練樣本的一個線性組合，通過重建誤差最小對測試樣本進行分類，強調(diào)樣本表示系數(shù)的稀疏性。鑒于SRC的成功，許多基于稀疏表示的降維方法相繼出現(xiàn)。Qiao等［12］提出了一種基于SRC的稀疏保持投影（SPP）來保持數(shù)據(jù)的稀疏構(gòu)造關(guān)系。Ly等［13］提出了基于圖的稀疏判別分析（SGDA）算法，并應(yīng)用于遙感圖像的特征降維，該算法與SPP思想相近，不同的是SGDA是有監(jiān)督的算法，利用了數(shù)據(jù)的判別信息。但是解決l1范數(shù)最小化問題往往需要較大的計算量，這使得基于稀疏表示的方法（無論是原始的SRC還是降維的SPP等）均具有很高的計算復(fù)雜度。

雖然SRC強調(diào)了表示系數(shù)稀疏性的重要，但是Zhang等［14］證明了真正提高人臉識別精度的機制可能來自協(xié)作表示，而非l1范數(shù)稀疏性約束，進而提出了基于協(xié)作表示的分類（Collaborative Representation based Classification，CRC），其采用l2范數(shù)約束，不僅提高了運算效率，而且通過理論證明了CRC同樣具有稀疏分類的效果。但是嚴格來說，與SRC一樣，CRC并不算有監(jiān)督分類方法并且作用于數(shù)據(jù)的原始空間。為了充分利用樣本的標(biāo)簽信息，將CRC的思想與有監(jiān)督投影算法相結(jié)合產(chǎn)生了一系列工作。2014年，Ly等［15］提出了基于圖的協(xié)作判別分析（CGDA）方法，其通過同類樣本之間的協(xié)作表示來構(gòu)造類內(nèi)權(quán)值矩陣，使樣本映射到低維空間后能夠保持樣本之間的局部信息。2016年，Yang等［16］提出了基于判別投影的正則化最小回歸（RLSDP），首先利用所有訓(xùn)練樣本用l2范數(shù)正則化最小二乘法重構(gòu)每個訓(xùn)練樣本，通過最大化LDA的類間散射和最小化同一類的重構(gòu)殘差，尋找一個判別子空間。除上述算法外，許多學(xué)者在協(xié)作表示基礎(chǔ)上，不斷地推出了新的方法和應(yīng)用場景［17-18］。

盡管上述算法在圖像分類上取得了不錯的效果，但是它們主要從最小化重構(gòu)誤差角度出發(fā)，無法保證采用組系數(shù)約束得到相同類別樣本的編碼系數(shù)間是否相似。另一方面，上述算法均為兩階段模型，實際上分類器的更新反饋對于算法的優(yōu)化過程具有引導(dǎo)作用，將兩者整合到同一框架下，通過聯(lián)合優(yōu)化，可獲得更優(yōu)的編碼系數(shù)、判別投影矩陣以及更適合當(dāng)前任務(wù)的分類器，從而有助于模型識別性能的提升。

基于此，本文提出了一種基于塊對角投影表示（BDPR）學(xué)習(xí)方法，其主要優(yōu)勢如下：

1）充分利用了同類樣本之間的相似性，通過同類樣本間的距離構(gòu)造系數(shù)約束項，增強相同類別樣本表示系數(shù)的相似性，同時使個別受噪聲污染嚴重的樣本在數(shù)據(jù)重構(gòu)中的貢獻最小化，以加強干凈特征在聯(lián)合表示中的作用。

2）構(gòu)造編碼系數(shù)塊對角化判別逼近項來學(xué)習(xí)判別投影，實現(xiàn)數(shù)據(jù)與編碼系數(shù)相關(guān)聯(lián)，使得判別投影具有提取數(shù)據(jù)相關(guān)表示的能力，同時使近似編碼系數(shù)與標(biāo)簽信息相關(guān)聯(lián)，確保近似編碼系數(shù)盡可能具有塊對角化結(jié)構(gòu)。

3）通過提取的具有塊對角化結(jié)構(gòu)的近似編碼系數(shù)訓(xùn)練線性分類器，利用分類器的迭代反饋更新算法的優(yōu)化過程以提升模型的最終分類性能。

在多個公開人臉數(shù)據(jù)集上測試的結(jié)果表明，本文所提BDPR方法的分類性能優(yōu)于目前基于協(xié)作表示的分類方法和多個主流的子空間學(xué)習(xí)方法。

值得一提的是，上述子空間投影方法可以歸納入一種特殊的度量學(xué)習(xí)框架［19］，隨著深度學(xué)習(xí)的方興未艾，以深度度量學(xué)習(xí)為代表的系列方法在圖像分類中取得了矚目的效果［20］，構(gòu)建了一系列度量函數(shù)，驅(qū)動各類深度模型在人臉識別［21］、車輛識別［22］、故障診斷［23］等領(lǐng)域展現(xiàn)出卓越的性能。

1 基于塊對角化結(jié)構(gòu)的投影表示

1.1 方法描述

1）基于編碼系數(shù)塊對角化結(jié)構(gòu)的重構(gòu)誤差項

本文BDPR方法的首要目標(biāo)是單獨地學(xué)習(xí)每一類人臉圖像數(shù)據(jù)的編碼系數(shù)，以信息損失最少為代價重構(gòu)原始圖像數(shù)據(jù)，同時獲得判別投影矩陣P用于從每個人的圖像數(shù)據(jù)中提取具有判別性的編碼系數(shù)，從而達到區(qū)分人臉圖像的作用。因此，重構(gòu)誤差項可設(shè)計為

為避免編碼系數(shù)為負，以及樣本被自己表示的極端情況，進一步約束Zi非負，并強制其對角元素為0。同時為了避免平凡解，即一些樣本在線性表示中不被選擇，約束Zi每一行的和為1。

2）基于編碼系數(shù)塊對角化結(jié)構(gòu)的分類誤差項

為了訓(xùn)練更適合于有監(jiān)督人臉識別任務(wù)的分類器，在式（1）的基礎(chǔ)上，進一步引入人臉圖像數(shù)據(jù)的標(biāo)簽信息進行分類器學(xué)習(xí)，在最小化樣本重構(gòu)誤差的同時將分類器的分類誤差作為反饋指導(dǎo)編碼系數(shù)的優(yōu)化，提升編碼系數(shù)的表示能力。假設(shè)引入每個樣本x對應(yīng)的標(biāo)簽向量為y=［0，…，1，…，0］T∈Rc×1，1所在的位置對應(yīng)x的標(biāo)簽。假設(shè)可將近似編碼系數(shù)PX投影到標(biāo)簽矩陣上來學(xué)習(xí)一個線性分類器，那么分類誤差項可寫為

其中：lj表示xj所屬的類別。例如對于上述x1～x6構(gòu)成的數(shù)據(jù)，其B矩陣構(gòu)造為

通過結(jié)合式（1）和式（3），可以得到所提BDPR方法的最終目標(biāo)函數(shù)為

為了驗證BDPR提取的近似編碼系數(shù)PX為塊對角化結(jié)構(gòu)，在AR人臉數(shù)據(jù)集上進行測試。采用CRC作為對比方法，實驗結(jié)果如圖1所示。圖1（a）為CRC所提取編碼系數(shù)，圖1（b）為BDPR所提取近似編碼系數(shù)PX。可以看出，CRC方法提取的編碼系數(shù)塊對角結(jié)構(gòu)不明顯，且主要分量集中于對角線元素，即樣本重構(gòu)過程中存在自我表示問題；BDPR所提取的編碼系數(shù)則具有較為明顯的塊對角化結(jié)構(gòu)，表現(xiàn)出更明確的樣本關(guān)系信息。

1.2 優(yōu)化過程

首先初始化P和W 為隨機矩陣。為了便于求解，引入一個輔助變量A，式（6）可轉(zhuǎn)化為如下的等價問題：

式中：A的結(jié)構(gòu)為

可以構(gòu)建如下拉格朗日函數(shù)：

1.3 測試過程

給定測試樣本xtest，首先利用最終學(xué)習(xí)到的投影矩陣計算xtest的近似編碼系數(shù)Pxtest，然后使用學(xué)習(xí)到的線性分類器W 得到xtest的軟標(biāo)簽向量ftest，其具體形式為

最后找到ftest最大元素所處的索引值，并將其作為xtest的預(yù)測類別標(biāo)簽。

將BDPR的方流程總結(jié)如下。

算法1 BDPR方法。

輸入：訓(xùn)練集X，距離度量矩陣R，類標(biāo)簽矩陣Y，調(diào)節(jié)參數(shù)λ、α、β、τ。

輸出：編碼系數(shù)Z，投影矩陣P，線性分類器W。

初始化：Ci=0（i=1，2，…，c），μ=0.2，μmax=108，ρ=1.1，Z=I。

訓(xùn)練：

1.按照式（13）更新A。

2.按照式（19）更新Z。

3.按照式（23）更新P。

4.按照式（25）更新W。

5.按照式（29）更新H。

6.按照下式更新Ci和μ：

7.檢查式（6）函數(shù)值是否滿足收斂條件，若滿足或者方法達到最大迭代次數(shù)，迭代停止，否則跳到步驟1繼續(xù)執(zhí)行。

測試：

1.根據(jù)式（30）計算測試樣例的軟標(biāo)簽向量ftest。

2.將ftest中最大元素的位置索引作為測試樣例的預(yù)測類別標(biāo)簽。

2 實驗結(jié)果與分析

本節(jié)對所提BDPR方法在3個不同的人臉數(shù)據(jù)集（BANCA、AR、YaleB）進行實驗，BANCA為小樣本數(shù)據(jù)集，AR和YaleB為中等樣本數(shù)據(jù)集，具體數(shù)據(jù)集信息如表1所示。對比方法為標(biāo)準(zhǔn)的協(xié)作表示分類CRC［14］和經(jīng)典的子空間投影算法，包 括 PCA［1］、LPP［5］、MFA［8］、CGDA［15］、RLSDP［16］、RLSL［25］等。在預(yù)處理階段，統(tǒng)一先采用PCA方法保留樣本99%的能量對樣本進行初步降維。在訓(xùn)練階段，本文在｛10-4，10-3，…，104｝區(qū)間內(nèi)采用網(wǎng)格式搜索的方式尋找各方法最優(yōu)參數(shù)組合。所有實驗均在軟件環(huán)境為MATLAB R2019a、硬件環(huán)境為8.00 GB RAM、2.40 GHz CPU、64位Windows操作系統(tǒng)的計算機上進行。

表1 實驗采用的數(shù)據(jù)集信息Table 1 Information of dataset used in experiment

2.1 實驗結(jié)果對比

本節(jié)將詳細介紹實驗中所采用的人臉數(shù)據(jù)集（BANCA、AR、YaleB）及各方法的實驗結(jié)果。

BANCA數(shù)據(jù)集［26］：包含208人共2 496幅圖像，這些圖像包含不同圖像質(zhì)量、不同時間段、不同光照等變化條件。實驗中選取了52個人，每人包含10幅圖像，共520幅圖像組成數(shù)據(jù)集。將原始數(shù)據(jù)圖像裁剪為56×46。實驗中每類選取4、5、6幅圖像為訓(xùn)練樣本，其余樣本構(gòu)建測試集。

AR數(shù)據(jù)集：包含4 000多種人臉圖像，分別對應(yīng)126人的面部，包含不同的面部表情、照明條件和遮擋的情況。實驗中，選取50個人，每人包含26幅圖像，共1 300幅圖像組成數(shù)據(jù)集。將原始數(shù)據(jù)圖像裁剪為55×40。實驗中，每類分別選取5、10、15幅圖像作為訓(xùn)練樣本，其余樣本構(gòu)建測試集。

YaleB數(shù)據(jù)集［27］：包含38個人共2 414幅圖像、9種姿態(tài)和64種光照的變化。每幅圖像剪裁為32×32。實驗中，每類隨機選取20、30、40幅圖像作為訓(xùn)練集，其余樣本構(gòu)建測試集。

實驗中，對數(shù)據(jù)進行10次隨機劃分，表2為3個數(shù)據(jù)集上各方法在最優(yōu)參數(shù)下的平均正確率，加粗數(shù)據(jù)表示同一實驗條件下的最高分類正確率。

表2 各方法在不同數(shù)據(jù)集的最優(yōu)分類正確率Table 2 Highest classification accuracy of each method on different datasets %

從實驗結(jié)果可以得出以下結(jié)論：

1）PCA和LPP算法沒有利用樣本的標(biāo)簽信息，屬于無監(jiān)督算法，因此其分類性能明顯低于有監(jiān)督算法。

2）MFA、CGDA和RLSDP雖然都是有監(jiān)督算法，但僅考慮了樣本的類內(nèi)和類間特性，而BDPR不僅利用標(biāo)簽信息構(gòu)建了樣本間的協(xié)作表示，而且考慮了相同類樣本編碼系數(shù)的相似性構(gòu)造了編碼系數(shù)局部約束項，并且該項可降低野值點樣本對其他同類樣本的重構(gòu)貢獻，因而編碼系數(shù)具有更魯棒的數(shù)據(jù)關(guān)系表征能力。

3）上述對比方法的分類器是不參與訓(xùn)練的，BDPR則將系數(shù)學(xué)習(xí)和分類器學(xué)習(xí)整合到一個聯(lián)合框架下，利用分類過程的反饋信息引導(dǎo)算法優(yōu)化，學(xué)習(xí)到的分類器更適合當(dāng)前樣本特點且可直接用來分類，無需另外選擇分類算法，避免了兩階段方法帶來的系統(tǒng)誤差。

2.2 方法收斂性

為了考察方法的收斂性，分別在上述3個數(shù)據(jù)集上記錄了方法在整個訓(xùn)練過程中目標(biāo)函數(shù)值的變化。圖2給出BDPR在各數(shù)據(jù)集上（前述實驗各最高訓(xùn)練數(shù)目下）方法的收斂性能曲線?？芍狟DPR在各數(shù)據(jù)集上均具有良好的收斂性能，并且從第3次迭代開始，收斂曲線均趨于平緩，說明BDPR具有較快的收斂速度。

2.3 參數(shù)敏感性

圖2 不同數(shù)據(jù)集上BDPR的函數(shù)收斂曲線Fig.2 Function convergence curves of BDPR method on different datasets

為了衡量不同的參數(shù)（λ、α、β和τ）對BDPR分類性能的影響，考察其在不同的參數(shù)組合情況下、10次隨機實驗的平均分類正確率。選取AR人臉數(shù)據(jù)庫，每類隨機選取10個樣例作為訓(xùn)練樣本，其余設(shè)置和2.1節(jié)一致，參數(shù)選取范圍為｛10-3，10-2，…，103｝。鑒于BDPR中包含4個重要參數(shù)，因此采取固定2個參數(shù)調(diào)整另外2個參數(shù)的組合遍歷測試。圖3為BDPR分類正確率隨參數(shù)變化的三維柱狀圖?？芍珺DPR對參數(shù)的選擇并不敏感。

3 結(jié) 論

本文提出了一種基于塊對角結(jié)構(gòu)的投影表示（BDPR）學(xué)習(xí)方法，通過與經(jīng)典的基于協(xié)作表示分類和子空間學(xué)習(xí)方法相比，可以得到以下結(jié)論：

1）BDPR在傳統(tǒng)協(xié)作表示的基礎(chǔ)上，構(gòu)造了編碼系數(shù)約束項，在增強了編碼系數(shù)表征數(shù)據(jù)關(guān)系能力的同時，使得噪聲和異常值對數(shù)據(jù)重構(gòu)的影響最小。

2）本文方法通過構(gòu)造編碼系數(shù)判別逼近項來學(xué)習(xí)一個判別投影，利用該投影將數(shù)據(jù)與編碼系數(shù)相關(guān)聯(lián)，實現(xiàn)了子空間里的最優(yōu)判別表示。實驗結(jié)果表明，相比于經(jīng)典的CRC算法，BDPR所提取的編碼系數(shù)具有更加明顯的塊對角化結(jié)構(gòu)，有助于為后續(xù)的分類決策過程提供更加豐富的判別信息。

3）BDPR構(gòu)建了投影表示學(xué)習(xí)和分類器學(xué)習(xí)聯(lián)合優(yōu)化的算法框架，學(xué)習(xí)更適合當(dāng)前分類任務(wù)的線性分類器，避免了傳統(tǒng)的兩階段模型在分類階段的分類器抉擇困難和在現(xiàn)實應(yīng)用中其級聯(lián)性能可能會下降的問題。

在多個人臉數(shù)據(jù)集上的測試結(jié)果表明，相比于現(xiàn)有的協(xié)作表示分類和子空間學(xué)習(xí)方法，本文方法具有更優(yōu)的識別效果。

未來工作中，本文方法可以與深度網(wǎng)絡(luò)相結(jié)合，對深度模型輸出的高維特征向量進行子空間學(xué)習(xí)，不僅可以有效降低深度特征的維度，去除冗余信息，而且可以尋找更具判別力的投影表示向量，提升最終分類性能，這也是筆者未來的研究重點。