基于身份-年齡共享特征的跨年齡人臉識別方法

張子康，殷松峰，曹良才，劉 成

（1.安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230601；2.清華大學(xué) 合肥公共安全研究院，安徽 合肥 230601；3.清華大學(xué) 精密儀器系 精密測試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室，北京 100084）

引言

得益于近些年來深度學(xué)習(xí)技術(shù)的快速發(fā)展和各種大規(guī)模訓(xùn)練數(shù)據(jù)的公開[1-3]，人臉識別[4-5]技術(shù)取得了令人矚目的成果。然而，在長期失蹤兒童尋找、犯罪嫌疑人監(jiān)控等領(lǐng)域，跨年齡人臉識別(age-invariant face recognition,AIFR)所面臨的人臉變異大、識別精度不足、光學(xué)圖像質(zhì)量不佳等突出問題，成為當(dāng)前人臉識別研究的重要挑戰(zhàn)。

目前，跨年齡人臉識別的策略可大致分為基于生成模型和鑒別模型兩種類別。生成模型的核心思想是對年齡變化進(jìn)行建模，如使用基于生成對抗網(wǎng)絡(luò)[6-7]的模型，利用原始人臉圖像生成特定年齡組的高質(zhì)量圖像，以實(shí)現(xiàn)跨年齡人臉識別。生成模型往往存在計(jì)算量大、模型不穩(wěn)定等缺點(diǎn)。相比之下，越來越多的研究關(guān)注于鑒別模型的改進(jìn)，利用隱藏因子分析方法可以從混合人臉特征中去除年齡因子，提取具有魯棒性的身份特征[8]。采用去相關(guān)性對抗學(xué)習(xí)算法(decorrelated adversarial learning，DAL)能夠建立成對特征的相關(guān)性，以對抗的方式降低成對特征之間的潛在聯(lián)系[9]。采用多任務(wù)學(xué)習(xí)框架(multi-task learning framework，MTLF)，基于注意機(jī)制可以在高級語義空間中分離年齡特征，保留更多的身份信息[10]。上述研究假定年齡特征和身份特征，可以使用線性分離方式完美解耦，沒有充分考慮由于年齡特征和身份特征共有而難以分割的信息，從而制約了跨年齡識別準(zhǔn)確率的進(jìn)一步提升。

本文提出一種新的深度特征解耦-耦合學(xué)習(xí)框架，用于跨年齡人臉識別任務(wù),引進(jìn)共享特征(identityage sharing features,ISF)來補(bǔ)充身份特征。通過對混合人臉特征的解耦和對身份相關(guān)特征的耦合，獲取完整的身份特征，進(jìn)一步提高跨年齡人臉識別的準(zhǔn)確率。

1 所提算法

1.1 基于身份-年齡共享特征的跨年齡人臉識別模型

解決跨年齡人臉識別問題的核心在于提取到不受年齡信息干擾的身份特征。本文提出的跨年齡人臉識別模型框架如圖1 所示，主要分為3 個模塊：混合人臉特征提取模塊、特征解耦模塊、特征耦合模塊。首先對輸入的人臉圖像進(jìn)行面部表征提取，得到混合特征；然后使用特征解耦模塊將混合特征解耦為純年齡相關(guān)特征、純身份相關(guān)特征、以及共享特征；利用特征耦合模塊，將對人臉識別有用的純身份相關(guān)特征和共享特征在多個維度上進(jìn)行耦合，得到完整的身份特征；最后通過多任務(wù)訓(xùn)練策略進(jìn)一步對模型監(jiān)督優(yōu)化。

圖1 年齡不變?nèi)四樧R別模型框架Fig.1 Model framework of age-invariant face recognition

本文混合人臉特征提取模塊采用基于Transformer架構(gòu)的CvT[11]模型。CvT 模型通過將卷積處理引入到Transformer 的操作，使其具備了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)與Transformer這兩類網(wǎng)絡(luò)架構(gòu)的優(yōu)點(diǎn)。相比于純粹的CNN 或者Transformer 架構(gòu)，CvT 模型在提取特征信息方面性能更強(qiáng)，并且參數(shù)更少。本文對基于Transformer架構(gòu)的 CvT 模型進(jìn)行改進(jìn)，移除最后的特征壓縮階段，輸出大小為7×7 像素的特征圖，以保留更多的圖像信息，避免圖像壓縮時某些特征消失，造成人臉識別信息缺失。

1.2 特征解耦模塊

以往的研究采用線性分離方式對身份特征和年齡特征進(jìn)行解耦，忽略了線性分離破壞共享特征的可能，造成某些特征缺失。為了更好地去除面部信息中冗余的年齡信息，本文提出一種新的人臉特征解耦-耦合框架，如圖2 所示。

圖2 深度特征解耦-耦合學(xué)習(xí)框架Fig.2 Deep feature decoupling-coupled learning framework

初始的混合人臉特征圖Xcrude∈RC×H×W，是由混合特征提取模塊T從輸入的圖像I中提取(Xcrude=T(I))，定義的人臉特征組成如下：

式中：Xpure_id和Xpure_age分別表示純身份特征和純年齡特征；Xshared代表年齡和身份共享的特征。更詳細(xì)地說，本文設(shè)計(jì)了一個類似文獻(xiàn)[12]中的多頭自注意卷積模塊來捕捉共享特征，稱為共享特征提取模塊(shared feature extraction module,SFE)，其結(jié)構(gòu)如圖3 所示。將其殘差部分視為可分離的身份和年齡特征，表示如下：

圖3 SFE 結(jié)構(gòu)示意圖Fig.3 Structure diagram of SFE

接下來，利用注意力機(jī)制[9]對可分離的混合特征進(jìn)一步解耦：

式中：ρ表示注意模塊；°代表元素級乘法。

1.3 特征耦合模塊

純身份特征和共享特征都含有身份相關(guān)信息，為了保證身份信息的完整性，在多個維度對這兩種特征進(jìn)行重組，得到一個完整的身份特征向量，用于最終的身份識別任務(wù)。本文設(shè)計(jì)了兩種身份特征增強(qiáng)函數(shù)φ 和 γ，對應(yīng)不同維度上的共享特征，旨在增強(qiáng)共享特征身份信息的表達(dá)，抑制不同維度下共享特征中的年齡信息表達(dá)。依據(jù)不同的作用，本文將這兩個函數(shù)分別稱為初始身份增強(qiáng)模塊(initial identity augmentation modules,IIA)和壓縮身份增強(qiáng)模塊(compressed identity augmentation modules,CIA)，表示如下：

式中：φ表示共享特征圖部分的身份增強(qiáng)；γ表示共享特征向量部分的身份增強(qiáng)。在最后的特征向量重組階段，本文在Xinitial_id上附加一層降維線性層C，用于身份分量監(jiān)督及其后的向量重組。對于所得到的兩個身份相關(guān)向量之間的重組，引入映射函數(shù) ω，稱之為向量重組模塊(vector reorganisation module,VRM)[13]，定義如下：

VRM 的結(jié)構(gòu)如圖4 所示。在最后的測試階段，提取完整的身份特征向量Eid用于身份識別。

圖4 VRM 結(jié)構(gòu)示意圖Fig.4 Structure diagram of VRM

1.4 多任務(wù)訓(xùn)練學(xué)習(xí)框架

本文引入多任務(wù)訓(xùn)練策略對人臉身份特征進(jìn)行監(jiān)督學(xué)習(xí)，加以優(yōu)化。如圖1 所示，監(jiān)督模塊存在3 種基本類型：年齡鑒別器、身份鑒別器和去相關(guān)任務(wù)鑒別器。

對于年齡特征的學(xué)習(xí)，引入兩個年齡鑒別器，用于共享特征和年齡特征的監(jiān)督學(xué)習(xí)。嚴(yán)格遵循相關(guān)文獻(xiàn)[10，14-15]中對年齡成分的做法，根據(jù)不同的年齡間隔將年齡分為8 個年齡組，在獲得的年齡特征上附加一個降維線性層F∈R1024×8，最后使用具有交叉熵?fù)p失的softmax 層進(jìn)行年齡分類。年齡分類任務(wù)的損失函數(shù)定義為

式中：gage為真實(shí)的年齡分類組標(biāo)簽；?ce為交叉熵?fù)p失。

對于身份信息的學(xué)習(xí)，引入4 個身份鑒別器，對解耦-耦合過程中的身份分量特征進(jìn)行監(jiān)督學(xué)習(xí)，以確保身份信息的正確性和完整性。除了最終用于身份識別的身份特征是由ArcFace[16]損失監(jiān)督(s=64,m=0.3)，其他的身份特征分量都是由CosFace[17]損失(s=64,m=0.35)監(jiān)督學(xué)習(xí)的。身份識別的損失函數(shù)定義如下：

式中：Xshared表示共享特征圖；Xinitial_id表示重組的特征圖；yid表示身份標(biāo)簽；C表示使用降維線性層提取特征向量。

為了鼓勵年齡和身份兩種特征的解耦，本文對純粹身份特征和純粹的年齡特征之間進(jìn)行相關(guān)性分析[9,15,18]，以對抗的方式降低兩種特征之間的潛在聯(lián)系性。在相關(guān)性降低的對抗性學(xué)習(xí)中，去相關(guān)任務(wù)鑒別器即為年齡和身份之間的最大相關(guān)性：

綜上所述，在多任務(wù)學(xué)習(xí)訓(xùn)練框架下AIFR 最終損失的公式定義為

式中：λ1、λ2、λ3、λ4、λ5和 λ6是平衡這些損失的標(biāo)量超參數(shù)，其大小依次設(shè)置為0.1、0.1、0.3、0.3、0.1、0.1。

2 算法驗(yàn)證

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文用到的數(shù)據(jù)集如表1 所示。選擇MS1MV2[3]作為訓(xùn)練數(shù)據(jù)集，它是經(jīng)過清洗后的MS-Celeb-1M數(shù)據(jù)集，包含約580 萬張圖像以及85 742 個不同的身份。測試集包括AgeDB-30[19]、CACD-VS[20]、CALFW[21]、LFW[22]，測試集實(shí)例如圖5 所示。

表1 本文所采用的數(shù)據(jù)集Table 1 Adopted data sets

圖5 測試實(shí)例Fig.5 Examples of test

2.2 詳細(xì)實(shí)施

網(wǎng)絡(luò)架構(gòu)包含：1) 主干網(wǎng)絡(luò) 使用CvT-24 網(wǎng)絡(luò)模型，輸出的特征圖數(shù)量為1 024，大小是7×7 像素；2) 共享特征提取模塊（SFE）通過“多頭自注意+卷積”從初始混合人臉特征中提取出共享特征，并將殘差部分視為可分離的年齡特征和身份特征；3) 年齡鑒別器 對年齡特征堆疊2 層“FC+ReLU6”，進(jìn)行年齡分類；4) 身份鑒別器 只有最后一個完整的身份特征向量使用ArcFace 損失監(jiān)督，其余的使用CosFace 損失進(jìn)行監(jiān)督學(xué)習(xí)；5) 初始身份增強(qiáng)模塊（IIA）增強(qiáng)共享特征圖階段的身份信息，這個模塊類似于文獻(xiàn)[23]的Inception 結(jié)構(gòu)；6) 壓縮身份增強(qiáng)模塊（CIA）對共享特征向量進(jìn)行身份特征增強(qiáng)，對壓縮后的共享特征通過1 層“FC+Mish[24]+Batchnorm”映射為增強(qiáng)的身份特征向量；7) 向量重組模塊（VRM）2 個向量通過2 層“FC+Mish”進(jìn)行重組，重組后的向量認(rèn)為是完整的身份向量；8) 去相關(guān)性任務(wù)鑒別器 將可分離的年齡特征和身份特征分別輸入到FC 層，得到它們各自的特征向量，然后進(jìn)行去相關(guān)對抗處理。訓(xùn)練細(xì)節(jié)：首先將年齡分為8 個不重疊的年齡組0～12、13～18、19～25、26～35、36～45、46～55、56～65 歲和66+，然后根據(jù)分組年齡標(biāo)簽進(jìn)行年齡估計(jì)任務(wù)；訓(xùn)練模型時，設(shè)置batch size 大小為64，訓(xùn)練迭代次數(shù)為35 輪；使用隨機(jī)梯度下降法對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)定為 0.003，在迭代次數(shù)為 5、10、15、20、25 時，學(xué)習(xí)率分別降為上一次的 0.2 倍；設(shè)置momentum 大小為0.9；使用1 塊GPU(NVIDIA V100)進(jìn)行加速訓(xùn)練。測試環(huán)境：Python3，pytorch 1.5.1，顯卡為 NVIDIA V100，CUDA 版本為 11.4。

2.3 在不同測試集上的結(jié)果

本文使用MS1MV2 數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并在3 個公開的人臉老化數(shù)據(jù)集 AgeDB-30、CACDVS、CALFW 和一個基準(zhǔn)數(shù)據(jù)集LFW 上進(jìn)行模型測試，結(jié)果如表2 所示?？梢钥闯觯疚奶岢龅姆椒ǔ^了之前關(guān)于AIFR 研究的結(jié)果，識別準(zhǔn)確率比最先進(jìn)的MTLFace 方法在AgeDB-30 數(shù)據(jù)集上高了0.84%，在CACD-VS 數(shù)據(jù)集上高了0.03%，在CALFW 數(shù)據(jù)集上高了0.11%。本文提出的方法在LFW 數(shù)據(jù)集上取得了99.73%的結(jié)果，證明了該方法具有很強(qiáng)的泛化性。不同的數(shù)據(jù)集上存在結(jié)果差異，是因?yàn)椴煌目缒挲g人臉測試集圖片來源不同，AgeDB-30 的圖像采集自實(shí)際場景下的人臉，CACD-VS 是來自2 000 位名人的照片，CALFW 是基于LFW 的跨年齡數(shù)據(jù)集。光照、遮擋、姿勢等因素也會對人臉識別造成干擾。

表2 不同的方法在4 個數(shù)據(jù)集上的準(zhǔn)確率Table 2 Accuracy of different methods on four data sets Acc/%

2.4 消融實(shí)驗(yàn)

為進(jìn)一步分析身份-年齡共享特征對跨年齡人臉識別任務(wù)的影響，在3 個人臉老化數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。1) Baseline：直接采用CvT 網(wǎng)絡(luò)提取身份特征向量進(jìn)行身份識別。2) Baseline+Age：在1) 的基礎(chǔ)上，增加年齡估計(jì)任務(wù)，并通過聯(lián)合監(jiān)督年齡和身份來訓(xùn)練模型。3) 本文提出的ISF：使用ISF 方法對3 個人臉驗(yàn)證集進(jìn)行評估。表3 顯示了消融實(shí)驗(yàn)測試的結(jié)果，在這3 個數(shù)據(jù)集上性能的提升驗(yàn)證了本文方法的有效性。

表3 消融實(shí)驗(yàn)Table 3 Ablation test Acc/%

3 結(jié)論

本文在DAL 和MTLFace 人臉識別的結(jié)構(gòu)上，引入共享特征來避免AIFR 特征分解缺陷的方法。該方法解決了使用線性分離方式解耦特征的局限，對于無法分割的特征也進(jìn)行了相應(yīng)的處理，提高了身份特征的完整度。提出的多鑒別器監(jiān)督學(xué)習(xí)策略可以規(guī)范特征的耦合，加快模型的收斂速度。在多個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明該方法能夠顯著提升跨年齡人臉識別的準(zhǔn)確率。本文方法可以改善使用線性分離方式解耦特征的局限，擴(kuò)展應(yīng)用到姿態(tài)不變性、遮擋、表情等其他特征分解實(shí)例，解決類似的解耦不充分問題。