基于雙重加強特征的人臉年齡估計方法

梁曉曦， 蔡曉東， 庫浩華， 王 萌

(桂林電子科技大學(xué) 信息與通信學(xué)院,廣西 桂林 541004)

現(xiàn)如今人臉圖像的年齡估計問題變得越來越令人關(guān)注，因為有很多重要的應(yīng)用場景，比如安全控制、人機交互、社交媒體和視頻監(jiān)控等。年齡估計模型的主要問題就是如何從人臉圖片中提取有效的年齡特征，然后通過回歸或分類的方法來進(jìn)行年齡估計。年齡估計問題的關(guān)鍵就是學(xué)習(xí)人臉圖片和真實年齡之間的一種非線性映射函數(shù)。

年齡估計可以被視作一個基于標(biāo)簽分布學(xué)習(xí)問題(LDL)[1]，其注重的是年齡相關(guān)性的建模，可以發(fā)現(xiàn)相近年齡的人臉看起來比較相似?；贚DL的年齡估計方法[2]可以獲得不錯的效果，但是標(biāo)簽分布模型在適應(yīng)多樣的跨年齡的復(fù)雜人臉數(shù)據(jù)時就不太靈活。SMMR(soft-margin mixture of regressions)[3]的方法，通過將數(shù)據(jù)空間區(qū)分開來學(xué)習(xí)多個局部回歸器，在輸入輸出空間中找到同類的劃分，并對每個劃分學(xué)習(xí)一個局部回歸器，但是回歸模型不能結(jié)合深度網(wǎng)絡(luò)成為一個端到端的模型。

隨著深度網(wǎng)絡(luò)的快速發(fā)展，越來越多的端到端CNN年齡估計方法被用來解決這個非線性映射問題，并且基于CNN的方法相較于傳統(tǒng)方法在年齡估計任務(wù)上有更好的效果。首次使用CNN來進(jìn)行年齡估計[4]，并引進(jìn)了多任務(wù)學(xué)習(xí)的方法，但是提出的CNN非常淺，只有4層。DEX[5](deep expectation)的方法是基于VGG16[6]網(wǎng)絡(luò)，它在IMDB-WIKI[5]庫上訓(xùn)練了50萬張圖片，并且這個CNN模型獲得了2015年ChaLearn LAP挑戰(zhàn)賽第一名，之后DEX的改進(jìn)版[7]不再包含人臉關(guān)鍵點定位技術(shù)，且能降低平均誤差。OR-CNN[8]是用多輸出CNN把年齡估計的順序回歸問題轉(zhuǎn)化成一系列的二分類子問題，在MORPH庫上能達(dá)到3.27的平均誤差。Ranking-CNN[9]包含了一系列基礎(chǔ)CNN，每個都是由順序年齡標(biāo)簽訓(xùn)練而成，用多個二分類基礎(chǔ)子網(wǎng)絡(luò)的輸出聯(lián)合來預(yù)測年齡。但OR-CNN和Ranking-CNN所需訓(xùn)練模型數(shù)量較多，復(fù)雜度較高。

現(xiàn)在也有一些研究是采用分割人臉局部區(qū)域的方法來預(yù)測年齡。采用不同區(qū)域的人臉圖片輸入46個并聯(lián)CNN[4]，并且能在MORPH庫上能達(dá)到3.63的平均誤差。但是，它并未考慮到局部區(qū)域和全局區(qū)域的關(guān)系，并且網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜。文獻(xiàn)[10]采用了類似于文獻(xiàn)[4]的方法，但是無太大進(jìn)步，因為它忽略了子區(qū)域間的不同性導(dǎo)致增加了訓(xùn)練的復(fù)雜度。

受到使用分割子區(qū)域作為輸入的啟發(fā)，首先通過人臉關(guān)鍵點定位來裁剪人臉圖片獲得局部區(qū)域，然后結(jié)合全局區(qū)域和局部區(qū)域輸入基于壓縮激勵模塊的并聯(lián)殘差網(wǎng)絡(luò)中，并通過多網(wǎng)絡(luò)聯(lián)合判斷的方式預(yù)測年齡。本方法能夠獲得較低的平均絕對誤差，并保證較低的復(fù)雜度。

1 基于雙重加強特征的人臉年齡估計方法

1.1 基于全局與局部加強特征的多網(wǎng)絡(luò)聯(lián)合預(yù)測方法

從單張圖片上判斷一個人的年齡是個極其挑戰(zhàn)性的任務(wù)，因為在不同的年齡范圍反映年齡的臉部特征有不同的類型。比如，在兒童時期年齡的增長在臉型上的變化很明顯，而在成年時期的變化主要在于皮膚的皺紋。因此，不僅僅注意到全局區(qū)域，也注意到局部區(qū)域，因為一些重要區(qū)域的局部特征對于年齡估計很重要，比如眼睛、嘴巴、鼻子等。

為了能夠獲得人臉圖片的局部區(qū)域特征，采用了基于人臉關(guān)鍵點的局部區(qū)域裁剪方法。利用dlib庫[11]定位出人臉關(guān)鍵點，然后根據(jù)眼睛、嘴巴、鼻子的關(guān)鍵點位置，裁剪出3個子區(qū)域，分別是左眼區(qū)域、嘴巴區(qū)域、鼻子區(qū)域。

除此之外，還使用了多網(wǎng)絡(luò)聯(lián)合預(yù)測年齡的方法，每個網(wǎng)絡(luò)都是一個局部結(jié)合全局的聯(lián)合網(wǎng)絡(luò)，可以在已有的全局特征的基礎(chǔ)上有效地加強關(guān)鍵性的局部特征信息。如圖1所示，將輸入的整張人臉和3個不同的人臉局部區(qū)域都輸入到局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)，每個網(wǎng)絡(luò)以兩張人臉區(qū)域作為輸入，一張是全局臉，另一張是重要子區(qū)域。最終把3個估計的年齡結(jié)果結(jié)合起來得到聯(lián)合預(yù)測年齡。

圖1 多網(wǎng)絡(luò)聯(lián)合預(yù)測年齡

因為只有3個子區(qū)域，所以聯(lián)合預(yù)測年齡的計算公式為：

其中：F為最終的預(yù)測年齡；Ak為第k個子區(qū)域的估計年齡；wk為第k個子區(qū)域的加權(quán)權(quán)值。取wk=1/3，也就是把3個估計年齡取均值。

1.2 再次加強特征的壓縮激勵并聯(lián)殘差網(wǎng)絡(luò)

圖1中的局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)采用的是一種基于壓縮激勵[12]模塊的并聯(lián)殘差網(wǎng)絡(luò)，該模塊使用了特征重標(biāo)定的方法進(jìn)一步加強了對于年齡估計任務(wù)有用的特征。壓縮激勵殘差模塊的結(jié)構(gòu)及示意圖如圖2所示。

圖2中Conv為卷積層，Global pooling為全局平均池化層，Sigmoid為激活函數(shù)層，Scale為縮放層。示意圖中每個小長方體代表一個通道，不同的顏色代表各個通道的不同權(quán)值。

圖2 壓縮激勵殘差模塊

該模塊首先使用全局平均池化來進(jìn)行特征壓縮操作，將每個通道的二維特征變成一個實數(shù)，即W×H×C變成了1×1×C，這個實數(shù)某種程度上具有全局感受野，它代表特征通道上響應(yīng)的全局分布，通過訓(xùn)練學(xué)習(xí)后用來表征特征通道間的相關(guān)性。

緊接進(jìn)行特征激勵操作，首先通過一個卷積層將特征通道數(shù)降低到輸入的 1/16，然后經(jīng)過激活函數(shù)后，再通過一個卷積層升回到原來的維度。相比僅使用一個卷積層，這樣做可以保證更多的非線性，可以更好地擬合通道間復(fù)雜的相關(guān)性，同時也極大地減少了參數(shù)量和計算量。然后通過一個Sigmoid獲得0到1之間歸一化的權(quán)重。

最后是重標(biāo)定操作，將特征激勵輸出的權(quán)重看作經(jīng)過特征選擇后的每個特征通道的重要性，通過一個縮放層將歸一化后的權(quán)重加權(quán)到每個通道的特征上，完成在通道維度上的對原始特征的重標(biāo)定。

特征重標(biāo)定的方法可以通過學(xué)習(xí)的方式來自動獲取每個特征通道的重要程度，然后依照這個重要程度去提升有用的特征，并抑制對當(dāng)前任務(wù)用處不大的特征。

將Resnet18[13]中的殘差模塊替換成壓縮激勵殘差模塊后可以得到SE-Resnet18，如圖3所示，將2個SE-Resnet18并聯(lián)起來就可以構(gòu)建基于壓縮激勵模塊的并聯(lián)殘差網(wǎng)絡(luò)，也就是圖1中局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)。

圖3中SE-Resnet18表示經(jīng)過壓縮激勵模塊改進(jìn)后的Resnet18網(wǎng)絡(luò)，Concat為連接層；Pooling為平均池化層；Fc為全連接層；Softmax為分類層。

圖3 基于壓縮激勵模塊的并聯(lián)殘差網(wǎng)絡(luò)

2 實驗預(yù)處理、數(shù)據(jù)庫簡介與評價指標(biāo)

實驗基于Caffe[14]深度學(xué)習(xí)框架，硬件配置包括Intel i5-4460(4×3.2 GHz處理器)、8 GB內(nèi)存、GTX980Ti顯卡以及 Ubuntu14.04操作系統(tǒng)。

2.1 人臉預(yù)處理與區(qū)域裁剪

首先dlib庫對樣本圖片進(jìn)行人臉關(guān)鍵點定位，并根據(jù)兩眼中心進(jìn)行人臉對齊。繼續(xù)使用dlib庫對對齊后的人臉圖片進(jìn)行人臉檢測并裁剪。之后根據(jù)人臉關(guān)鍵點的位置裁剪3個局部區(qū)域，分別是左眼區(qū)域，嘴巴區(qū)域和鼻子區(qū)域，如圖4所示，具體裁剪方法如下：

基于dlib庫的人臉關(guān)鍵點定位一共可以得到68個人臉關(guān)鍵點，用序號0～67表示。

1)左眼睛區(qū)域分塊：以點17到點30的距離為長寬，以點30為切割方形的右下角點。

2)嘴巴區(qū)域分塊：以點48到點54的距離為長寬，點33在切割方形的上邊，點48、點54在切割方形的左右兩邊。

3)鼻子區(qū)域分塊：以點27到點33的距離為長寬，點33為切割方形的下邊中點。

圖4 人臉預(yù)處理與人臉分塊

2.2 訓(xùn)練庫與測試庫

對MORPH庫[15]的人臉圖片進(jìn)行人臉關(guān)鍵點定位和人臉檢測，舍棄無法定位關(guān)鍵點和無法檢測到人臉的圖片。從得到的51 327張圖片的MORPH庫隨機挑選80%作為訓(xùn)練集，20%作為測試集，訓(xùn)練集共41 062張，測試集共10 265張。圖片年齡分布在16～66歲，共51類。并對樣本圖片進(jìn)行分塊，并將所有圖片尺寸轉(zhuǎn)化成224×224，得到整張人臉、左眼區(qū)域、鼻子區(qū)域、嘴巴區(qū)域4部分圖片。

2.3 評價指標(biāo)

年齡估計的評價指標(biāo)通常有2個，分別是平均絕對誤差MAE(mean absolute error)和累積分CS(cumulative score)。

MAE是指測試集的平均絕對誤差，公式為

其中：MMAE為平均絕對誤差；n為測試圖片數(shù)量；pi為第i張圖片的年齡預(yù)測值；ti為第i張圖片的年齡真實值。

累積分CS的計算公式為

其中：CCS為累積分；N為測試集圖片的全部數(shù)量；Na為測試人臉圖片中滿足估計值和真實值之間的絕對誤差不大于a歲的數(shù)量，取a=5。

3 實驗結(jié)果及分析

3.1 全局特征與局部特征的對比分析

針對不同局部區(qū)域做了對比實驗，如表1所示。從表1中可發(fā)現(xiàn),使用整張人臉結(jié)合左眼區(qū)域、整張人臉結(jié)合嘴巴區(qū)域、整張人臉結(jié)合鼻子區(qū)域的方法在年齡估計問題上效果差不多，并且都好于僅使用整張人臉的結(jié)果。說明使用全局特征結(jié)合局部特征進(jìn)行年齡估計的方法好于僅使用全局特征來判斷年齡。原因就是全局結(jié)合局部的方式可以在全局特征的基礎(chǔ)上加強關(guān)鍵性的局部特征信息，有助于提升年齡估計的精度。

表1 全局特征與局部特征的效果對比

3.2 殘差網(wǎng)絡(luò)與壓縮激勵殘差網(wǎng)絡(luò)的對比分析

對圖3中的基礎(chǔ)網(wǎng)絡(luò)分別用殘差網(wǎng)絡(luò)和壓縮激勵殘差網(wǎng)絡(luò)做了年齡估計的對比實驗。結(jié)果如表2所示，可以發(fā)現(xiàn)使用壓縮激勵殘差網(wǎng)絡(luò)來進(jìn)行年齡估計的效果要好于殘差網(wǎng)絡(luò)。原因就是壓縮激勵模塊進(jìn)一步加強了有用的特征，抑制了對于年齡估計任務(wù)不太相關(guān)的特征，因此提高了準(zhǔn)確率。

表2 殘差網(wǎng)絡(luò)與壓縮激勵殘差網(wǎng)絡(luò)的對比

3.3 與其他方法的比較與分析

從表3可知，使用3個模型聯(lián)合判斷年齡結(jié)果MAE為3.02，CS為80.9%，均好于表1的結(jié)果，說明使用多種局部特征的多網(wǎng)絡(luò)聯(lián)合預(yù)測的方法要好于僅使用單個局部特征。因為多個子區(qū)域包含了更多的關(guān)鍵性局部特征，所以效果要好于僅使用單個子區(qū)域。

相對于傳統(tǒng)算法[1-3]，本方法具有較低的平均絕對誤差，因為本方法是一種端到端的深度學(xué)習(xí)方法，對于復(fù)雜函數(shù)映射有更好的擬合能力。而相較于深度學(xué)習(xí)方法OR-CNN，本方法具有更好的效果和更少的操作復(fù)雜度。目前Ranking-CNN算法擁有較好的效果，因為Ranking-CNN對于每一歲的判定都需要使用一個模型，所以精度較高，但是這樣會增加訓(xùn)練的復(fù)雜度，而本方法僅需要3個模型，并且在平均絕對誤差的效果上也接近于Ranking-CNN，同時在復(fù)雜度上具有一定優(yōu)勢。

表3 本方法與其他方法的結(jié)果對比

4 結(jié)束語

提出了一種基于雙重加強特征的人臉年齡估計方法。其中通過人臉關(guān)鍵點的局部區(qū)域裁剪方法可以有效地獲取有用的局部區(qū)域，而局部結(jié)合全局的聯(lián)合網(wǎng)絡(luò)又可以在已有的全局特征下加強關(guān)鍵性的局部特征信息。除此之外，基于壓縮激勵的并聯(lián)殘差網(wǎng)絡(luò)可以進(jìn)一步加強對年齡估計任務(wù)有用的特征并抑制用處不大的特征。年齡估計的實驗表明，本方法相較于其他方法具有較低的平均絕對誤差,且算法復(fù)雜度也較低。未來的研究可以考慮結(jié)合Ranking-CNN的方法提升年齡估計精度或者改進(jìn)預(yù)處理方法，增加更多的局部特征，以及找到多模型加權(quán)的合適權(quán)值。