聯(lián)合多模態(tài)表示的人臉識(shí)別方法研究

張杜娟，陳 飛，丁 莉

（西安醫(yī)學(xué)院衛(wèi)生管理學(xué)院，陜西西安 710021）

人臉識(shí)別技術(shù)在日常生活中運(yùn)用廣泛，成為現(xiàn)代社會(huì)管理的有力手段[1-3]。人臉識(shí)別技術(shù)自提出以來，長(zhǎng)期成為模式識(shí)別和人工智能領(lǐng)域的熱點(diǎn)問題?；谌四槇D像的識(shí)別算法主要從特征提取和分類決策兩個(gè)角度入手。前者是從高維度圖像中抽取與人臉特性直接相關(guān)的描述方式；后者根據(jù)提取特征進(jìn)行未知樣本所屬類別的判斷。當(dāng)前，應(yīng)用于人臉識(shí)別的特征種類多樣，具有代表性的是像素分布類和圖像分析類。像素分布類主要考察人臉圖像的灰度分布規(guī)律，通過注入主成分分析（Principal Component Analysis，PCA）等手段獲得有效的低維度特征矢量[4-5]。圖像分析類則通過圖像細(xì)節(jié)的處理獲得人臉的點(diǎn)、線、面以及局部問題特征[6-8]。對(duì)比而言，前一類特征具有提取效率高、特征形式規(guī)則的優(yōu)勢(shì)；后一類特征則具有物理意義清晰、解譯性更強(qiáng)的優(yōu)勢(shì)。根據(jù)獲取的特征，分類決策階段針對(duì)性選取或設(shè)計(jì)判斷機(jī)制。人臉識(shí)別算法的決策機(jī)制見證了模式識(shí)別領(lǐng)域分類器的發(fā)展進(jìn)步。早期的分類器主要有近鄰分類器、支持向量機(jī)（Support Vector Machine，SVM）[9]、神經(jīng)網(wǎng)絡(luò)等。后續(xù)，基于壓縮感知的稀疏表示分類器（Sparse Representation-based Classification，SRC）在人臉識(shí)別中得到了驗(yàn)證[10-11]。近年來，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為代表的深度模型成為人臉識(shí)別最為常用的工具[12-13]，并取得了較好的研究成果。

文中著眼人臉識(shí)別中的特征提取和分類決策問題，提出聯(lián)合多模態(tài)表示的新方法。采用二維經(jīng)驗(yàn)?zāi)B(tài)分解（Bidimensional Empirical Mode Decomposition，BEMD）對(duì)人臉圖像進(jìn)行分解[14-15]，獲得多層次二維內(nèi)蘊(yùn)模函數(shù)（Bidimensional Intrinsic Mode Function，BIMF）。相比單一的原始圖像，多層次的BIMF 可梯次化描述人臉的全局、局部、細(xì)節(jié)等特性，因此區(qū)分不同類別的能力更強(qiáng)。對(duì)于分解得到的多層次BIMF，文中選用多任務(wù)壓縮感知模型（Multi-Task Compressive Sensing，MTCS）[15-16]對(duì)其進(jìn)行表征。MTCS 在貝葉斯理論框架下求解多任務(wù)稀疏表示問題，在考察不同任務(wù)之間關(guān)聯(lián)的條件下獲得概率意義上的最優(yōu)解。因此，通過結(jié)合BEMD 和MTCS 在特征提取和分類決策方面的優(yōu)勢(shì)，所提方法可以取得更為穩(wěn)健的人臉識(shí)別性能?；贠RL 和Yale-B 數(shù)據(jù)集開展實(shí)驗(yàn)分析，結(jié)果驗(yàn)證了方法的可靠性。

1 多模態(tài)表示

BEMD 是EMD 在二維領(lǐng)域的擴(kuò)展，可直接用于圖像分解[14-15]。對(duì)于輸入圖像I(x,y)，經(jīng)過BEMD 分解后得到如下形式：

其中，cj(x,y),j=1,2,…,L表示分解得到的多層次BIMF；rL(x,y)為分解殘差，多為圖像中的噪聲雜波分量等。

文獻(xiàn)[15]詳細(xì)論證了BEMD 的實(shí)施流程和分解結(jié)果?，F(xiàn)有研究成果表明了BEMD 在圖像分析解譯中的有效性。經(jīng)過分解得到的多模態(tài)表示，即多層次BIMF，可更為有效地反映其中被描述對(duì)象的多角度性質(zhì)。文中將BEMD 用于人臉圖像分解，將其獲得的BIMF 用于后續(xù)的分類決策過程，獲得更具鑒別力的特征描述。

2 多任務(wù)壓縮感知分類決策

多任務(wù)壓縮感知是壓縮感知理論的拓展運(yùn)用，主要用于解決多個(gè)關(guān)聯(lián)稀疏表示問題的聯(lián)合求解。其基本思想是在貝葉斯框架下通過對(duì)不同成分進(jìn)行有效統(tǒng)計(jì)建模獲得具有最大后驗(yàn)的結(jié)果。對(duì)于Y={yi}i=1,…,L共有L個(gè)不同的稀疏表示任務(wù)，它們獨(dú)立描述的情況如下：

其中，Ai∈RNi×N表示第i稀疏表示問題的字典；xi為待求解的稀疏系數(shù)矢量；ni為噪聲分量，采用均值為零、方差為ξ0的高斯分布進(jìn)行建模。

在此基礎(chǔ)上，yi的概率密度函數(shù)可表達(dá)如下：

在利用這L個(gè)稀疏表示問題存在內(nèi)在關(guān)聯(lián)的條件下，進(jìn)一步轉(zhuǎn)化為如下形式：

其中，xi,j是xi中的第j個(gè)元素；ξ=[ξj,…,ξN]T。

MTCS 通過最大化邊緣概率密度可獲得ξ的最佳估計(jì)，形式如下：

MTCS 采用迭代更新的策略不斷獲得概率意義上的近似解，求得不同稀疏表示問題的表示系數(shù)的均值和方差。最終結(jié)果在概率意義上具有最優(yōu)性，對(duì)于后續(xù)的分類決策具有重要的意義。

在MTCS 求解得到各個(gè)稀疏表示問題的系數(shù)矢量的前提下，可分別利用不同類別訓(xùn)練樣本對(duì)測(cè)試樣本進(jìn)行重構(gòu)，通過比較重構(gòu)誤差進(jìn)行類別決策：

其中，為第i個(gè)稀疏表示問題中與第k類關(guān)聯(lián)的局部字典；為對(duì)應(yīng)的系數(shù)矢量。

文中采用MTCS 對(duì)人臉圖像分解得到的多模態(tài)表示進(jìn)行表征。從MTCS 的原理可以看出，其在概率框架下獲得具有最大后驗(yàn)的最優(yōu)估計(jì)結(jié)果。因此，其可充分考察不同BIMF 的獨(dú)立性和關(guān)聯(lián)性，獲得最佳的重構(gòu)結(jié)果。圖1 給出了所提方法的具體實(shí)施流程。訓(xùn)練集在BEMD 的分解下構(gòu)建多層次的BIMF 字典，測(cè)試樣本相應(yīng)分解得到對(duì)應(yīng)層次的BIMF。在MTCS 的表征下，各個(gè)訓(xùn)練類別均會(huì)對(duì)測(cè)試樣本產(chǎn)生一個(gè)重構(gòu)誤差，最終通過比較不同類別的誤差大小即可判定測(cè)試樣本的所屬人臉類別。具體地，文中根據(jù)重復(fù)實(shí)驗(yàn)結(jié)果，選取分解結(jié)果中的前四層（即圖1 中M=4）BIMF 代入識(shí)別算法，MTCS 的最佳參數(shù)通過自尋優(yōu)獲得。

圖1 聯(lián)合多模態(tài)表示的人臉識(shí)別流程

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

ORL 和Yale-B 人臉圖像數(shù)據(jù)集是當(dāng)前開展人臉識(shí)別算法驗(yàn)證的權(quán)威數(shù)據(jù)集，具有很強(qiáng)的代表性。其中，ORL 數(shù)據(jù)集收集了40 張的人臉圖像，每人包含10 個(gè)樣本。Yale-B 數(shù)據(jù)集收集了10 張的人臉圖像，每人45 張。圖2 給出了兩個(gè)數(shù)據(jù)集的部分人臉樣本示意。具體開展實(shí)驗(yàn)時(shí)，在ORL 數(shù)據(jù)集中，隨機(jī)選取每人5 個(gè)樣本作為訓(xùn)練集，其余5 個(gè)樣本用于測(cè)試。在Yale-B 數(shù)據(jù)集中隨機(jī)選取每人20 個(gè)樣本作為訓(xùn)練集，其余25 個(gè)樣本用于測(cè)試。

圖2 人臉圖像樣本示意

實(shí)驗(yàn)過程選擇已有的一些人臉識(shí)別方法與文中方法作對(duì)比研究，主要包括文獻(xiàn)[9]中提出的基于灰狼算法優(yōu)化的SVM（記為優(yōu)化SVM）、文獻(xiàn)[3]設(shè)計(jì)的改進(jìn)SRC（記為改進(jìn)SRC）以及文獻(xiàn)[13]采用的多模態(tài)深度特征（記為DeepFace）。實(shí)驗(yàn)共分為3 個(gè)部分，分別為原始樣本、噪聲樣本和遮擋樣本，可據(jù)此全面測(cè)試所提方法的綜合識(shí)別性能。

3.2 結(jié)果與分析

3.2.1 原始樣本

該實(shí)驗(yàn)基于ORL 和Yale-B 原始樣本開展測(cè)試，按照3.1 節(jié)中的實(shí)驗(yàn)對(duì)比設(shè)置，分別測(cè)試各類方法的性能，統(tǒng)計(jì)如表1 所示。橫向?qū)Ρ萇RL 和Yale-B 兩個(gè)數(shù)據(jù)集，明顯發(fā)現(xiàn)ORL 的整體識(shí)別難度更大，所有方法的平均識(shí)別率均相對(duì)較低，主要由于圖像樣本的獲取條件相對(duì)苛刻?？v向?qū)Ρ雀黝惙椒?，所提方法在兩個(gè)數(shù)據(jù)集上均保持最佳性能，體現(xiàn)了其有效性。相比優(yōu)化SVM 和改進(jìn)SRC 方法，該文除了選用合適的分類機(jī)制，還在特征提取方面作了充分考慮。多層次BIMF 相比單純利用原始人臉圖像可提供更為充分的識(shí)別信息。和DeepFace相比，文中通過結(jié)合BEMD 和MTCS 兩者的優(yōu)勢(shì)進(jìn)一步提升了最終性能。

表1 原始樣本識(shí)別結(jié)果對(duì)比

3.2.2 噪聲樣本

上述實(shí)驗(yàn)中的原始樣本多在合作條件下獲取，總體噪聲水平較低，不能很好地檢驗(yàn)各方法在噪聲干擾條件下的性能。而實(shí)際情況下，人臉圖像獲取可能會(huì)有各種干擾存在，為此，實(shí)驗(yàn)首先通過模擬噪聲條件的方式獲得不同信噪比（SNR）下的測(cè)試集，進(jìn)而考核各類方法的噪聲穩(wěn)健性。圖3 給出了全部四類方法在不同信噪比條件下的平均識(shí)別率，從中可以看出噪聲干擾對(duì)于人臉識(shí)別性能的顯著影響。所提方法通過結(jié)合BEMD 分解的多模態(tài)表示和MTCS 的優(yōu)勢(shì)，在各個(gè)噪聲水平均保持了最佳性能。BEMD 分解過程實(shí)際也在進(jìn)行噪聲殘差的優(yōu)化剔除，MTCS 在貝葉斯框架下進(jìn)行稀疏表示問題求解，充分考慮了噪聲分布的影響。因此，兩者的有效結(jié)合可以提升識(shí)別算法對(duì)于噪聲干擾的穩(wěn)健性。

圖3 噪聲樣本識(shí)別結(jié)果對(duì)比

3.2.3 遮擋樣本

如文獻(xiàn)[17]所述，現(xiàn)實(shí)中采集得到的人臉圖像往往伴隨遮擋的情形。為此，下面開展遮擋樣本的測(cè)試。首先，按照文獻(xiàn)[17]的思路采用局部遮擋的方式構(gòu)造不同遮擋比例條件下的測(cè)試樣本。然后，分別在不同的遮擋比例下對(duì)各類方法進(jìn)行測(cè)試，統(tǒng)計(jì)識(shí)別結(jié)果如圖4 所示。遮擋情形的出現(xiàn)直接影響了所有4 類方法的性能，其中DeepFace 最為劇烈。所提方法在各個(gè)遮擋比例下均保持最佳性能，體現(xiàn)其遮擋穩(wěn)健性?；贐EMD 分解的多模態(tài)表示通過互補(bǔ)關(guān)聯(lián)描述可在遮擋情形下保持高鑒別力。MTCS則可以利用多模態(tài)表示的優(yōu)勢(shì)獲得最終的穩(wěn)健決策結(jié)果。

圖4 遮擋樣本識(shí)別結(jié)果對(duì)比

4 結(jié)論

文中將BEMD 和MTCS 聯(lián)合運(yùn)用于人臉識(shí)別問題，通過MTCS 對(duì)多模態(tài)表示的有效處理獲得更為穩(wěn)健的人臉識(shí)別結(jié)果。特征提取和分類決策有效性的提升使得文中方法具有性能優(yōu)勢(shì)。實(shí)驗(yàn)依托ORL和Yale-B 數(shù)據(jù)集在原始樣本、噪聲樣本和遮擋樣本上開展，通過與現(xiàn)有幾類方法的對(duì)比分析，可以證實(shí)所提方法的性能優(yōu)勢(shì)。