基于自監(jiān)督深度學(xué)習(xí)的人臉表征及三維重建

劉成攀， 吳 斌， 楊 壯

(1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010； 2.特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，四川 綿陽 621010)

0 引 言

三維人臉重建能通過稠密人臉對(duì)齊獲取三維幾何特征解決二維人臉的大姿態(tài)和遮擋等挑戰(zhàn)，是計(jì)算機(jī)視覺中基礎(chǔ)且備受關(guān)注的任務(wù)。

傳統(tǒng)三維人臉重建主要基于優(yōu)化算法，如迭代最近點(diǎn)[1]獲取3DMM模型系數(shù)進(jìn)而利用單個(gè)臉部圖像渲染相應(yīng)的三維人臉。然而這些方法存在復(fù)雜度高、耗費(fèi)時(shí)間長、難以尋找局部最優(yōu)方案以及初始化效果差的問題。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，利用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)回歸3DMM系數(shù)顯著改善了三維重建的質(zhì)量和效率。文獻(xiàn)[2]提出的端到端帶有新型損失函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)(3DDFA)改善了大姿態(tài)下面部人臉對(duì)齊的性能。文獻(xiàn)[3]提出密集臉對(duì)齊(DeFA)并用多個(gè)約束和多個(gè)數(shù)據(jù)集實(shí)現(xiàn)了非常稠密的三維人臉面部對(duì)齊結(jié)果。文獻(xiàn)[4]提出基于直接體積回歸的單幅圖像大姿態(tài)三維人臉重建方法(VRN)，繞過3DMM的構(gòu)造和匹配，卻需要大量時(shí)間來預(yù)測體素信息。文獻(xiàn)[5]提出位置映射回歸網(wǎng)絡(luò)(PRN)的端到端的方法，直接從單個(gè)圖像重新獲得完整的三維面部形狀以及語義信息并預(yù)測密集對(duì)齊。盡管上述方法高效，但構(gòu)建UV映射的方法卻很復(fù)雜。最近，文獻(xiàn)[6]提出的二維輔助自我監(jiān)督學(xué)習(xí)的算法(2DASL)，有效利用二維人臉中的嘈雜地標(biāo)信息顯著改善三維人臉面部模型學(xué)習(xí)，在三維面部重建和密集面部對(duì)齊方面取得了很高的性能。

除了VRN和PRN，大部分方法都是利用卷積神經(jīng)網(wǎng)絡(luò)回歸估計(jì)3DDM參數(shù)。但它們都面臨同重建的三維模型由于人臉姿態(tài)變化不能很好表征區(qū)分個(gè)體。目前流行的基于3DMM的方法只考慮一對(duì)一重建過程，而不考慮輸入圖像的相關(guān)性或差異，這使獲得的結(jié)果對(duì)于人臉表征不可信。

為解決這一問題，本文提出一種新的基于自監(jiān)督深度學(xué)習(xí)的人臉表征及三維重建算法，基于EfficientNet—B4設(shè)計(jì)孿生(Siamese)神經(jīng)網(wǎng)絡(luò)并引入多個(gè)損失函數(shù)進(jìn)行多對(duì)一訓(xùn)練，使不同姿態(tài)下同一個(gè)體的不同幾何形狀被約束為相同身份并保留，對(duì)3DMM參數(shù)學(xué)習(xí)的過程更有魯棒性。

1 算法原理

1.1 三維形變模型

三維形變模型3DDM提供了三維人臉形狀參數(shù)S∈R3N，S儲(chǔ)存線性組合關(guān)系的N個(gè)網(wǎng)絡(luò)格點(diǎn)的三維坐標(biāo)[8]。人臉形狀滿足如下函數(shù)關(guān)系

(1)

V(g)=f×Pr×R×S+t2d

(2)

1.2 EfficientNet-B4

Google在2019年ICML會(huì)上提出一種新的簡單高效模型尺度縮放方法，使用固定的縮放系數(shù)集合，均勻地縮放每個(gè)維度[10]。模型的三個(gè)互連超參數(shù)的加權(quán)比例為—輸入的分辨率r、網(wǎng)絡(luò)的深度d和網(wǎng)絡(luò)的寬度w。借助這種新的縮放方法，選取殘差神經(jīng)網(wǎng)絡(luò)Resnet—50為基線網(wǎng)絡(luò)進(jìn)行復(fù)合縮放，d，w，r分別設(shè)置為4,2,2。

1.3 孿生神經(jīng)網(wǎng)絡(luò)

整體框架如圖1，將EfficientNet—B4作為孿生神經(jīng)網(wǎng)絡(luò)的骨干，最后兩層被替換為并行全連接層，一層輸出為62維的3DMM參數(shù)，另一層是用于面部識(shí)別的512維人臉特征向量。

圖1 整體框架

孿生神經(jīng)網(wǎng)絡(luò)如圖2，最左邊為輸入X1和X2，W為學(xué)習(xí)得到的共享參數(shù)向量，GW(X1)3d和GW(X2)3d為回歸的3DMM參數(shù)。特征空間中，GW(X1)id和GW(X2)id為輸入面部圖像的兩種表示。從GW(X1)3d和GW(X2)3d中各選50個(gè)元素作為形狀參數(shù)GW(X1)shp和GW(X2)shp。通過以下3個(gè)損失函數(shù)訓(xùn)練整個(gè)模型。

圖2 孿生神經(jīng)網(wǎng)絡(luò)

第一個(gè)是三維標(biāo)注圖像的加權(quán)系數(shù)預(yù)測損失函數(shù)，用于衡量模型預(yù)測3DDM系數(shù)時(shí)的準(zhǔn)確性，第二個(gè)是約束損失函數(shù)，用于減小臉部受姿態(tài)形變的影響，第三個(gè)是身份損失函數(shù)，用于確保同身份的人臉在特征空間中具有相似分布。因此，整體的訓(xùn)練損失函數(shù)為

(3)

1.4 損失函數(shù)

1.4.1 加權(quán)參數(shù)距離損失函數(shù)

根據(jù)3DMM參數(shù)中不同參數(shù)的重要程度引出公式

(4)

(5)

Q=diag(q1,q2,…,q62)

(6)

(7)

1.4.2 對(duì)比損失函數(shù)

參數(shù)化距離損失函數(shù)DW為GW(X1)shp和GW(X2)shp歐氏距離

DW(X1,X2)=‖GW(X1)shp-GW(X2)shp‖2

(8)

將DW(X1,X2)簡寫為DW，損失函數(shù)描述如下

(9)

(1/Y){max(0,m-DW)}2

(10)

式中 (Y,(X1,X2)j)為第j個(gè)標(biāo)記的樣本對(duì)，X1和X2為輸入圖像對(duì)，若X1和X2都屬于同一人則Y的值為1，否則Y的值為0，P為訓(xùn)練對(duì)的數(shù)量，m為邊距。

對(duì)輸出GW(X1)id和GW(X2)id采用相同損失函數(shù)，唯一區(qū)別在于DW(X1,X2)，其被如下定義

DW(X1,X2)=‖GW(X1)id-GW(X2)id‖2

(11)

2 實(shí)驗(yàn)與結(jié)果分析

2.1 訓(xùn)練和數(shù)據(jù)集

深度學(xué)習(xí)框架選擇Tensorflow，選用隨機(jī)梯度下降SGD作為優(yōu)化器，神經(jīng)網(wǎng)絡(luò)回歸的學(xué)習(xí)率呈指數(shù)衰減。初始化訓(xùn)練損失函數(shù)的學(xué)習(xí)率3d,shp,exp分別為1×10-2，1×10-3，1×10-4，批量大小設(shè)置為32。采用兩階段策略訓(xùn)練模，在第一階段采用3d損失函數(shù)訓(xùn)練，第二階段采用總損失函數(shù)訓(xùn)練。

300W—LP數(shù)據(jù)集包含超過60 000張帶3DMM系數(shù)注釋的人臉圖片，共7 674個(gè)人，每個(gè)人有90張不同姿態(tài)的照片[11]。將數(shù)據(jù)集分為兩部分，選取7 036人共計(jì)630 694張圖片作為訓(xùn)練集，638人共57 160張圖片作為驗(yàn)證集。輸入圖像尺寸為112像素×112像素。在訓(xùn)練期間，以相同概率生成成對(duì)真實(shí)和假冒人臉圖片。

測試數(shù)據(jù)集包括兩部分，一部分來自驗(yàn)證集(TEST1)，用于評(píng)估三維重建和識(shí)別的魯棒性，另一部分為AFLW2000—3D(TEST2)，用于評(píng)估三維重建的準(zhǔn)確性。

2.2 三維人臉重建效果分析

首先用標(biāo)準(zhǔn)嚴(yán)格迭代最近點(diǎn)(ICP)的算法[12]重建三維人臉并全局對(duì)準(zhǔn)真實(shí)值。接著計(jì)算歸一化的參考長度的坐標(biāo)偏差衡量指標(biāo)NME。最后，分析在不同姿態(tài)下NME分配情況并畫出箱線圖見圖3(a)(深色表示文中的方法，淺色表示3DDFA算法)。該方法箱形圖寬度比3DDFA窄，表示在姿態(tài)變化下重建模型受形變影響小。圖3(b)顯示在TEST2上兩種算法的比較結(jié)果，本文算法實(shí)現(xiàn)了36.13 %的NME，略低于3DDFA的NME(36.16 %)，表明在人臉重建上比3DDFA略好一些。

圖3 TEST1箱線與TEST2誤差分布曲線

2.3 在有限條件下的人臉重建效果分析

選取有表情干擾圖片進(jìn)行實(shí)驗(yàn)，效果如圖4(從左至右依次為原圖、3DDFA效果圖、本文算法效果圖)，相比3DDFA算法，本文算法構(gòu)建的三維模型受到表情干擾更少。

圖4 實(shí)驗(yàn)效果圖對(duì)比

從TEST1中隨機(jī)取6 000對(duì)圖像，其中，包含3 000真實(shí)對(duì)和3 000假冒對(duì)，隨機(jī)拆分?jǐn)?shù)據(jù)集進(jìn)行10次交叉驗(yàn)證。如圖5所示，該算法達(dá)到了97.92 %的識(shí)別率。

圖5 TEST1上的ROC曲線

3 結(jié) 論

本文采用一種新穎的算法用于增強(qiáng)三維人臉重構(gòu)精確性。將EfficientNet—B4作為主體框架提取3DDM參數(shù)和人臉特征向量。除此之外，引入3個(gè)損失函數(shù)增強(qiáng)面部重建的魯棒性，保留面部重建輸入圖像的身份信息。實(shí)驗(yàn)表明：該算法在三維人臉重建和二維人臉識(shí)別上比3DDFA表現(xiàn)更為出色。