遮擋與幾何感知模型下的頭部姿態(tài)估計(jì)方法

付 齊，謝 凱，文 暢，賀建飚

（1.長(zhǎng)江大學(xué) 電子信息學(xué)院，湖北 荊州 434023；2.長(zhǎng)江大學(xué) 電工電子國(guó)家級(jí)實(shí)驗(yàn)教學(xué)示范中心，湖北 荊州 434023；3.長(zhǎng)江大學(xué) 西部研究院，新疆 克拉瑪依 834000；4.長(zhǎng)江大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，湖北 荊州 434023；5.中南大學(xué) 計(jì)算機(jī)學(xué)院，長(zhǎng)沙 410083）

0 概述

頭部姿態(tài)估計(jì)指的是根據(jù)給定的圖像推斷出人的頭部方向，包括俯仰角（pitch）、偏航角（yaw）、滾轉(zhuǎn)角（roll）的三維向量［1］。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)和人工智能的發(fā)展，頭部姿態(tài)估計(jì)在人機(jī)交互［2］、輔助駕駛［3］、智慧課堂［4］、活體檢測(cè)［5］等領(lǐng)域得到了廣泛應(yīng)用。國(guó)內(nèi)外不少研究人員對(duì)頭部姿態(tài)估計(jì)算法進(jìn)行了深入研究，提出多種頭部姿態(tài)估計(jì)算法。根據(jù)有無(wú)面部關(guān)鍵點(diǎn)，一般可將其分為基于模型的方法和基于外觀的方法兩類(lèi)［6］。

基于模型的方法通過(guò)檢測(cè)面部關(guān)鍵點(diǎn)，建立三維空間到二維圖像間的映射關(guān)系來(lái)估計(jì)頭部姿態(tài)［7］。例如，文獻(xiàn)［8］提出基于眼睛定位的頭部姿態(tài)估計(jì)方法，利用眼睛的位置進(jìn)行不同頭部姿態(tài)的估計(jì)。文獻(xiàn)［9］結(jié)合特征點(diǎn)的深度信息構(gòu)建三維頭部坐標(biāo)系，然后將頭部坐標(biāo)系粗配準(zhǔn)計(jì)算與點(diǎn)云配準(zhǔn)算法相結(jié)合，最終得到精準(zhǔn)的頭部姿態(tài)參數(shù)。該方法的準(zhǔn)確率和穩(wěn)定性表現(xiàn)比較好，但是獲取圖像的深度信息要使用特殊的設(shè)備，成本較高。文獻(xiàn)［10］先結(jié)合局部二值模式（Local Binary Pattern，LBP）特征進(jìn)行面部關(guān)鍵點(diǎn)檢測(cè)，然后采用支持向量機(jī)對(duì)頭部姿態(tài)進(jìn)行分類(lèi)。

基于外觀的方法通過(guò)大量已標(biāo)記的數(shù)據(jù)，訓(xùn)練出樣本到頭部姿態(tài)角的映射模型。例如，文獻(xiàn)［11］利用殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)提取特征，有效提高了真實(shí)場(chǎng)景下的預(yù)測(cè)精度。文獻(xiàn)［12］通過(guò)改變卷積深度、卷積核大小等手段優(yōu)化LeNet-5 網(wǎng)絡(luò)，使其能夠更好地捕捉到豐富的特征，進(jìn)而提高預(yù)測(cè)精度。文獻(xiàn)［13］提出一種輕量級(jí)的特征聚合結(jié)構(gòu)，使用多階段回歸估計(jì)頭部姿態(tài)參數(shù)。

在真實(shí)環(huán)境下進(jìn)行頭部姿態(tài)估計(jì)是一個(gè)具有挑戰(zhàn)性的難題。文獻(xiàn)［14］為得到部分遮擋中面部特征的有效表示，從非遮擋人臉子區(qū)域中提取金字塔HoG 特征來(lái)估計(jì)頭部姿態(tài)。文獻(xiàn)［15］通過(guò)合成頭部姿態(tài)圖像，增加不同照明和遮擋條件下的樣本圖像，進(jìn)而改善模型的性能。文獻(xiàn)［16］利用Gabor 二進(jìn)制模式對(duì)人臉進(jìn)行處理，以解決部分遮擋和光照變化。文獻(xiàn)［17］將遮擋字典引入到面部外觀字典中，以從部分遮擋的面部外觀中恢復(fù)面部形狀，并對(duì)各種部分面部遮擋進(jìn)行建模。

本文提出聯(lián)合遮擋和幾何感知模型下的頭部姿態(tài)估計(jì)方法，采用人臉檢測(cè)和圖像增強(qiáng)技術(shù)，減小背景和光照變化的影響。通過(guò)面部遮擋感知網(wǎng)絡(luò)和幾何感知網(wǎng)絡(luò)，在減小部分遮擋影響的基礎(chǔ)上加入人臉的幾何信息。在此基礎(chǔ)上，采用設(shè)計(jì)的多損失混合模型精準(zhǔn)地估計(jì)出頭部姿態(tài)參數(shù)。

1 本文方法

本文提出一種新的頭部姿態(tài)估計(jì)方法，在聯(lián)合遮擋感知和幾何感知的模型下進(jìn)行頭部姿態(tài)估計(jì)。如圖1所示，本文方法分為4 個(gè)部分：（1）為圖像預(yù)處理模塊，目的是進(jìn)行人臉檢測(cè)和圖像增強(qiáng)；（2）為面部遮擋感知模塊，作用是通過(guò)遮擋感知網(wǎng)絡(luò)減少面部遮擋的干擾；（3）為面部幾何感知模塊，應(yīng)用堆疊膠囊自編碼器［22］感知人臉幾何信息；（4）為頭部姿態(tài)估計(jì)模塊，通過(guò)使用多損失混合模型輸出頭部姿態(tài)角。

圖1 本文方法框架Fig.1 Framework of the method in this paper

1.1 圖像預(yù)處理

1.1.1 人臉檢測(cè)

本文的頭部姿態(tài)估計(jì)方法是從單張圖像中推理出頭部姿態(tài)角，建立圖像中頭部的空間特征信息到頭部姿態(tài)角向量的映射關(guān)系。為減小背景環(huán)境的影響，先對(duì)輸入圖像進(jìn)行人臉檢測(cè)。在深度學(xué)習(xí)中，多任務(wù)卷積神經(jīng)網(wǎng) 絡(luò)（Multi-Task Convolutional Neural Networks，MTCNN）是一個(gè)較實(shí)用的、性能較好的人臉檢測(cè)方法［18］，由P-Net、R-Net、O-Net 3層網(wǎng)絡(luò)組成，其核心思想是通過(guò)多任務(wù)的形式訓(xùn)練網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)多個(gè)任務(wù)共同完成的目標(biāo)，使人臉檢測(cè)的過(guò)程由簡(jiǎn)到精。在實(shí)際運(yùn)用中，MTCNN 可以很好地應(yīng)對(duì)頭部的大幅度偏轉(zhuǎn)，同時(shí)對(duì)光照變化和部分遮擋具有一定的魯棒性。

1.1.2 圖像增強(qiáng)

考慮到低曝光、光照不均勻等復(fù)雜的光照情況對(duì)頭部姿態(tài)估計(jì)的影響，在提取特征之前，本文對(duì)檢測(cè)到的人臉進(jìn)行圖像增強(qiáng)處理，以減小光照變化帶來(lái)的影響。受文獻(xiàn)［19-20］啟發(fā)，本文先采用自適應(yīng)亮度均衡對(duì)亮度圖進(jìn)行處理，然后采用色調(diào)映射技術(shù)對(duì)圖像的整體亮度進(jìn)一步調(diào)節(jié)，以解決低曝光問(wèn)題。

首先，本文將輸入圖像從RGB 通道變換到HSV 通道，單獨(dú)處理V 通道而不改變圖像色彩。為達(dá)到保持邊緣、降噪平滑的效果，本文對(duì)亮度圖像進(jìn)行濾波，得到圖像的底層Ib和細(xì)節(jié)層Id，表達(dá)式如式（1）所示：

其中：I為輸入圖像；BF為雙邊濾波器，濾波過(guò)程可表示如下：

其中c(.)和s(.)分別表示像素位置間的相似度和像素值之間的相似度，定義如下：

提取到亮度圖像后，本文采用自適應(yīng)的方法對(duì)亮度進(jìn)行平滑處理，具體處理流程如下：

其中：z(x，y)表示像素點(diǎn)(x，y)在一定范圍內(nèi)的亮度平均值；I′(x，y)代表處理后的圖像。本文將某一點(diǎn)的亮度值與其鄰域內(nèi)的亮度平均值作比，得到參數(shù)α，假如α>1，則對(duì)圖像進(jìn)行亮度抑制，反之則對(duì)圖像進(jìn)行亮度增強(qiáng)，最終達(dá)到亮度均衡的效果。

為進(jìn)一步調(diào)節(jié)圖像亮度，本文對(duì)均衡后的底層圖像進(jìn)行自適應(yīng)色調(diào)映射，因?yàn)槿祟?lèi)視覺(jué)系統(tǒng)感知亮度近似為對(duì)數(shù)函數(shù)［21］，所以可將映射函數(shù)定義如下：

其中：Im為I′的最大值；代表對(duì)數(shù)平均亮度，其表達(dá)式如式（9）所示。

通過(guò)式（9），本文可以對(duì)圖像的整體亮度進(jìn)行調(diào)整，為保留細(xì)節(jié)，本文將濾波后的細(xì)節(jié)層融入映射后的圖像，該過(guò)程的表達(dá)式如下：

最后，將處理后的亮度分量與原有的色調(diào)和飽和度分量進(jìn)行合成，并轉(zhuǎn)化到RGB 空間得到最終的圖像。

1.2 面部遮擋感知模型

如圖1 中（2）所示，本文的面部遮擋感知模型先對(duì)處理后的圖像進(jìn)行卷積操作以減少參數(shù)量，得到特征圖后將其劃分成n個(gè)子區(qū)域。接著將這些子區(qū)域分別送入遮擋感知單元得到對(duì)應(yīng)的遮擋感知因子，該參數(shù)反映了子區(qū)域的遮擋程度。最后將感知因子與對(duì)應(yīng)子區(qū)域相乘并恢復(fù)成原特征圖的形狀，得到新的帶有遮擋信息的特征圖。

每個(gè)遮擋感知單元包含1 個(gè)遮擋感知網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以感知遮擋的子區(qū)域，對(duì)于未遮擋的、信息豐富的子區(qū)域，網(wǎng)絡(luò)輸出較大的遮擋因子參數(shù)。詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 遮擋感知網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of occlusion sensing network structure

由圖2 可知，該網(wǎng)絡(luò)包含4 個(gè)卷積層、2 個(gè)全連接層。網(wǎng)絡(luò)的輸入為劃分好的子區(qū)域，通過(guò)遮擋感知網(wǎng)絡(luò)后經(jīng)Softmax 函數(shù)輸出1 個(gè)遮擋因子，表示該區(qū)域的遮擋程度。在實(shí)際應(yīng)用中，為充分細(xì)化遮擋程度，對(duì)于完全遮擋的、沒(méi)有面部信息的子區(qū)域，網(wǎng)絡(luò)輸出遮擋因子數(shù)值為無(wú)窮小，依此類(lèi)推，遮擋程度越小、信息越豐富的子區(qū)域，網(wǎng)絡(luò)輸出遮擋因子的數(shù)值越大。

本文定義第i塊子區(qū)域?yàn)閜i，則遮擋感知網(wǎng)絡(luò)可表示如下：

其中：y表示從區(qū)域特征到輸出的映射；αi表示該區(qū)域的遮擋因子。最后本文將每塊子區(qū)域乘以對(duì)應(yīng)的遮擋因子并拼接在一起，得到帶有遮擋信息的新的特征圖F，表達(dá)式如下：

1.3 基于SCAE 的面部幾何感知

堆疊膠囊自編碼器（Stacked Capsule Autoencoders，SCAE）［22］通過(guò)無(wú)監(jiān)督方式描述幾何關(guān)系，利用部件之間的幾何關(guān)系重建原始圖像。受到這一特點(diǎn)的啟發(fā)，本文使用SCAE 對(duì)面部圖像的組成部分和組成部分的姿態(tài)進(jìn)行編碼，深度感知面部各部分的幾何關(guān)系，獲取面部的幾何表征，提高頭部姿態(tài)估計(jì)準(zhǔn)確率。如圖1 中（3）所示，SCAE 由部件膠囊自編碼器和對(duì)象膠囊自編碼器堆疊而成。

1.3.1 部件膠囊自編碼器

部件膠囊自編碼器將輸入的面部特征圖編碼成M個(gè)部件膠囊，每個(gè)膠囊包含1 個(gè)姿態(tài)向量xm，1 個(gè)存在概率dm和1 個(gè)特殊的特征zm參數(shù)，姿態(tài)向量里包含了面部各部分之間的相對(duì)位置，特殊的特征參與下一部分對(duì)象膠囊自編碼器的編碼。為了能更好地優(yōu)化部件膠囊的參數(shù)，本文將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）當(dāng)作編碼器，編碼過(guò)程可以表示如下：

在解碼過(guò)程中，本文首先為每個(gè)部件膠囊定義1 個(gè)模板Tm∈[0，1]h×w×1，為了獲得帶有模板的實(shí)際圖像部分，本文使用獲取到的姿態(tài)向量xm對(duì)模板進(jìn)行仿射變換：

然后，本文用空間高斯混合模型（Gaussian Mixture Model，GMM）重建輸入。圖像似然值可表示如下：

元素及其化合物是中學(xué)化學(xué)基礎(chǔ)知識(shí)之一,是解決化學(xué)反應(yīng)過(guò)程中思維活動(dòng)的基礎(chǔ),沒(méi)有扎實(shí)的基礎(chǔ)知識(shí),就如同漏水的水桶,在解決問(wèn)題時(shí)就會(huì)千瘡百孔,漏洞百出。

這一階段訓(xùn)練的目標(biāo)是提取代表面部各部分的部件膠囊、姿態(tài)等參數(shù)，并得到部件的模板，用于第2 個(gè)階段的對(duì)象膠囊自編碼器。訓(xùn)練的目標(biāo)函數(shù)是最大化圖像似然函數(shù)。

1.3.2 對(duì)象膠囊自編碼器

在第2 個(gè)階段，對(duì)象膠囊自編碼器對(duì)部件膠囊自編碼器的輸出進(jìn)行編碼，以獲取各個(gè)部件膠囊之間的內(nèi)部關(guān)系，并重建部分膠囊的姿態(tài)。

在對(duì)象膠囊自編碼器階段，本文將上一階段得到的姿態(tài)向量、特殊的特征和模板作為輸入，使用set-transform［23］作為編碼器，將輸入編碼成K個(gè)對(duì)象膠囊，每個(gè)膠囊包含1 個(gè)特征向量ck、存在概率βk和1 個(gè)3×3 的對(duì)象，即視角關(guān)系矩陣Vk。編碼過(guò)程可以表示如下：

其中：hcaps函數(shù)表示編碼器。在解碼過(guò)程中，對(duì)于每個(gè)對(duì)象膠囊，本文使用1 個(gè)多層感知器預(yù)測(cè)出N個(gè)候選區(qū)域，每個(gè)候選區(qū)域包含1 個(gè)條件概率βk，n、1 個(gè)聯(lián)合的標(biāo)量標(biāo)準(zhǔn)差λk，n和1 個(gè)3×3 的對(duì)象—部件關(guān)系矩陣Pk，n。解碼過(guò)程如式（18）所示：

其中：μk，m和λk，m分別代表各向同性高斯分量的中心和標(biāo)準(zhǔn)差，μk，m=Vk×Pk，m，目標(biāo)函數(shù)是最大化部件似然函數(shù)。

1.4 基于多損失的頭部姿態(tài)估計(jì)混合模型

輸入圖像經(jīng)過(guò)以上遮擋感知模塊和幾何感知模塊后，本文得到了面部圖像的遮擋表征和幾何表征，然后本文利用這些特征建立映射模型，得到最終的頭部姿態(tài)參數(shù)。在之前預(yù)測(cè)頭部姿態(tài)的工作中，大多直接使用回歸的方法建立映射模型，然而這種方法難以處理頭部姿態(tài)的細(xì)微變化，預(yù)測(cè)精度不高。

圖3 多損失混合模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of multi-loss hybrid model

其中：CEL 和MSE 分別代表交叉熵?fù)p失和均方損失；yi和分別代表真實(shí)值和預(yù)測(cè)值；α代表權(quán)值因子，該因子的評(píng)估將在2.2.2 節(jié)進(jìn)行。本文將不同維度的3 個(gè)損失反向傳播到網(wǎng)絡(luò)，以加強(qiáng)模型學(xué)習(xí)，最終獲得細(xì)粒度較高的預(yù)測(cè)結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)估指標(biāo)

在3個(gè)公開(kāi)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以評(píng)估本文提出的頭部姿態(tài)估計(jì)模型。圖4所示為數(shù)據(jù)集圖像示例，第1行為300W_LP［24］數(shù)據(jù)集樣本，第2行為AFLW2000［24］數(shù)據(jù)集樣本，第3行為BIWI［25］數(shù)據(jù)集樣本。

圖4 數(shù)據(jù)集圖像示例Fig.4 Sample image of dataset

300W-LP 數(shù)據(jù)集由300W［26］數(shù)據(jù)集擴(kuò)展而來(lái)，它標(biāo)準(zhǔn)化了多個(gè)用于面部對(duì)齊的數(shù)據(jù)集，使用帶有3D圖像網(wǎng)格的面部輪廓人工合成了61 225 個(gè)不同姿態(tài)的樣本。AFLW2000 數(shù)據(jù)集是一個(gè)野外數(shù)據(jù)集，共有2 000 張受各種姿態(tài)、部分遮擋、光照、種族等因素影響的人臉圖片，每張圖像都標(biāo)注了對(duì)應(yīng)的姿態(tài)。BIWI 數(shù)據(jù)集是一個(gè)實(shí)驗(yàn)室數(shù)據(jù)集，記錄了20 個(gè)志愿者（包括6 名女性和14 名男性）坐在Kinect 前（約1 m的距離）自由轉(zhuǎn)動(dòng)頭部的視頻序列，該數(shù)據(jù)集擁有超過(guò)15 000 張圖像數(shù)據(jù)，其中頭部姿態(tài)偏轉(zhuǎn)角度變化范圍在［-75°，75°］之間，俯仰角度在［-60°，60°］之間。

為訓(xùn)練遮擋感知網(wǎng)絡(luò)，本文從上述數(shù)據(jù)集中隨機(jī)選取200 張樣本圖像合成遮擋的樣本，用作網(wǎng)絡(luò)訓(xùn)練。本文的遮擋物選取了日常生活中常用的物品，將遮擋物隨機(jī)疊加到人臉圖像上生成遮擋數(shù)據(jù)集。圖5 為遮擋數(shù)據(jù)集部分圖像示例。

圖5 遮擋數(shù)據(jù)集圖像示例Fig.5 Sample images of occlusion dataset

本文將平均絕對(duì)誤差（Mean Absolute Error，MAE）作為評(píng)估指標(biāo)。假設(shè)給定一系列訓(xùn)練的人臉圖像X=｛xn|n=1，2，…，N｝和對(duì)應(yīng)的頭部姿態(tài)標(biāo)簽yn，將通過(guò)本文網(wǎng)絡(luò)預(yù)測(cè)出的頭部姿態(tài)設(shè)為，則MAE 定義如下：

2.2 實(shí)驗(yàn)設(shè)置和參數(shù)評(píng)估

2.2.1 實(shí)驗(yàn)設(shè)置

本文通過(guò)Pytorch 框架實(shí)現(xiàn)本文方法，實(shí)驗(yàn)平臺(tái)為搭載Intel?CoreTMi710875 CPU、NVIDA RTX2070 GPU的計(jì)算機(jī)。實(shí)驗(yàn)以300W_LP 為訓(xùn)練集，將AFLW2000和BIWI 分別作為測(cè)試集。模型訓(xùn)練結(jié)合了無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。本文將預(yù)處理后的圖像通過(guò)已經(jīng)訓(xùn)練好的遮擋感知網(wǎng)絡(luò)提取出帶有遮擋信息的面部特征，然后將特征送入幾何感知網(wǎng)絡(luò)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，在幾何感知網(wǎng)絡(luò)模型訓(xùn)練階段，使用RMAProp 優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，部件膠囊和對(duì)象膠囊的個(gè)數(shù)都設(shè)置為32，學(xué)習(xí)率設(shè)為0.000 1，迭代次數(shù)為500 次。在多損失預(yù)測(cè)頭部姿態(tài)模型階段，使用Adam 優(yōu)化器進(jìn)行訓(xùn)練，將初始學(xué)習(xí)率設(shè)為0.000 1，每迭代50 次學(xué)習(xí)率衰減0.000 001，最大迭代次數(shù)為400 次。

2.2.2 參數(shù)評(píng)估

針對(duì)多損失混合模型中交叉熵?fù)p失和均方損失間權(quán)重因子的評(píng)估，本文分別在AFLW2000數(shù)據(jù)集和BIWI數(shù)據(jù)集上評(píng)估不同權(quán)重因子下本文模型的性能，將權(quán)重因子分別設(shè)置為0、0.25、0.5、1、2、3，測(cè)試結(jié)果如圖6所示?？梢钥吹?，當(dāng)權(quán)重因子為2 時(shí)，模型在兩個(gè)數(shù)據(jù)集上的MAE 均最小，模型預(yù)測(cè)準(zhǔn)確率最高。

圖6 不同權(quán)重因子下的測(cè)試結(jié)果Fig.6 Test results under different weight factors

2.3 圖像預(yù)處理

本文在預(yù)處理階段進(jìn)行了人臉檢測(cè)和亮度均衡操作，目的是減小背景和光照變化的干擾。圖7 為部分預(yù)處理實(shí)驗(yàn)結(jié)果，圖7 中第1 列圖像代表輸入的原圖，第2 列圖像為進(jìn)行人臉檢測(cè)后按一定比例裁剪的圖像，第3 列為進(jìn)行亮度均衡處理后的圖像。

圖7 預(yù)處理結(jié)果示例Fig.7 Example of preprocessing results

2.4 消融實(shí)驗(yàn)

為評(píng)估本文方法中遮擋感知模塊和幾何感知模塊的影響，本文對(duì)比了模型在有無(wú)嵌入遮擋感知和幾何感知情況下的性能，實(shí)驗(yàn)以300W_LP 為訓(xùn)練集，將AFLW2000 和BIWI 分別作為測(cè)試集，結(jié)果如圖8 所示。

圖8 不同模型的消融實(shí)驗(yàn)結(jié)果Fig.8 Results of ablation experiments of different models

在圖8 中，A 組代表模型中既無(wú)遮擋感知塊也無(wú)幾何感知塊，B 組表示只有遮擋感知塊，C 組表示只有幾何感知塊，D 組表示兩者都有。A、B 組對(duì)比結(jié)果顯示，嵌入遮擋感知模塊的模型在野外數(shù)據(jù)集AFLW2000 上測(cè)試性能明顯提升，在BIWI 數(shù)據(jù)集上測(cè)試性能相近。A、C 組對(duì)比結(jié)果顯示，嵌入幾何感知模塊后的模型在BIWI 數(shù)據(jù)集上測(cè)試性能明顯提升，而因未考慮遮擋，所以在AFLW2000 數(shù)據(jù)集上測(cè)試結(jié)果沒(méi)有B 組好。D 組在嵌入遮擋和幾何感知塊后，在兩個(gè)數(shù)據(jù)集上的測(cè)試性能都明顯提升，平均絕對(duì)誤差均低于B 組和C 組。消融實(shí)驗(yàn)的結(jié)果表明，本文方法中的遮擋感知模塊和幾何感知模塊有效提高了模型的估計(jì)性能，具有一定的實(shí)際應(yīng)用價(jià)值。

2.5 對(duì)比實(shí)驗(yàn)與分析

本文對(duì)比了目前較好的姿態(tài)估計(jì)方法。前3 組方法是基于面部關(guān)鍵點(diǎn)的，后幾組為無(wú)面部關(guān)鍵點(diǎn)的方法。其中，Dlib［27］是一個(gè)標(biāo)準(zhǔn)的人臉庫(kù)，使用回歸樹(shù)集合估計(jì)人臉的關(guān)鍵點(diǎn)位置。FAN［28］是一種非常先進(jìn)的面部關(guān)鍵點(diǎn)檢測(cè)方法。該方法通過(guò)跨層多次合并特征獲取多尺度信息。3DDFA［24］通過(guò)CNN將三維空間人臉的模型擬合到彩色圖像上，在AFLW 數(shù)據(jù)集上取得了很好的效果。Hopenet［29］提出結(jié)合分類(lèi)與回歸計(jì)算三維頭部姿態(tài)。FSA-Net［13］設(shè)計(jì)了一個(gè)細(xì)粒度回歸學(xué)習(xí)映射模型。文獻(xiàn)［30］提出一種新的三分支網(wǎng)絡(luò)架構(gòu)來(lái)學(xué)習(xí)每個(gè)姿態(tài)角的區(qū)別特征，再通過(guò)引入跨類(lèi)別中心損失來(lái)約束潛在變量子空間的分布，得到更緊湊、更清晰的子空間。文獻(xiàn)［31-32］探索了最近比較流行的VIT 在頭部姿態(tài)估計(jì)的應(yīng)用，取得了比較好的估計(jì)結(jié)果。

表1 和表2 分別為本文方法在2 個(gè)基準(zhǔn)數(shù)據(jù)集上與最新方法（包括基于面部關(guān)鍵點(diǎn)的方法和無(wú)面部關(guān)鍵點(diǎn)的方法）的對(duì)比結(jié)果，其中“—”表示無(wú)此數(shù)據(jù)。本文是基于無(wú)面部關(guān)鍵點(diǎn)的方法，與基于面部關(guān)鍵點(diǎn)的方法（文獻(xiàn)［24］、文獻(xiàn)［27］和文獻(xiàn)［28］方法）相比，本文方法準(zhǔn)確率更高，這是因?yàn)榛诿娌筷P(guān)鍵點(diǎn)的方法受關(guān)鍵點(diǎn)檢測(cè)過(guò)程的影響，依賴(lài)面部關(guān)鍵點(diǎn)，而對(duì)關(guān)鍵點(diǎn)外的面部特征學(xué)習(xí)能力較差，難以適應(yīng)訓(xùn)練和測(cè)試之間的差異。

表1 AFLW2000 數(shù)據(jù)集上不同方法的對(duì)比結(jié)果Table 1 Results comparison of different methods under AFLW2000 dataset

表2 BIWI 數(shù)據(jù)集上不同方法的對(duì)比結(jié)果Table 2 Results comparison of different methods under BIWI dataset

由表1 和表2 還可以發(fā)現(xiàn)，在無(wú)面部關(guān)鍵點(diǎn)的方法中，本文方法的測(cè)試結(jié)果均優(yōu)于其他方法，在AFLW2000數(shù)據(jù)集和BIWI 數(shù)據(jù)集上的平均絕對(duì)誤差分別為3.91和3.55，比對(duì)比方法中表現(xiàn)最好的方法分別降低了11.53%和7.31%。BIWI 數(shù)據(jù)集為實(shí)驗(yàn)室數(shù)據(jù)集，本文方法通過(guò)幾何感知網(wǎng)絡(luò)提取了其他方法忽略的面部幾何信息，使測(cè)試準(zhǔn)確率有一定程度的提升。此外，本文方法在具有挑戰(zhàn)性的AFLW2000 數(shù)據(jù)集上的測(cè)試結(jié)果與其他方法相比有所提升，這顯示了本文方法的優(yōu)越性，進(jìn)一步證實(shí)了本文方法中遮擋感知模型和幾何感知模型的有效性。

為評(píng)估本文方法的效率，本文采用模型參數(shù)量和運(yùn)行的視頻幀率（Frames Per Second，F(xiàn)PS）作為評(píng)定指標(biāo)。由表1和表2可知，與FSA-Net［13］和LwPosr［31］相比，本文方法的模型參數(shù)量較多，這是因?yàn)镕SA-Net［13］設(shè)計(jì)了輕量級(jí)的特征聚合結(jié)構(gòu)，LwPosr［31］使用深度可分離卷積替換了普通卷積，能夠減少模型參數(shù)量。而本文從解決復(fù)雜環(huán)境下的頭部姿態(tài)估計(jì)問(wèn)題出發(fā)，設(shè)計(jì)了遮擋感知模型和幾何感知模型，導(dǎo)致模型參數(shù)量增加。另外，與其他方法相比，本文方法的幀率較低，這是因?yàn)楸疚姆椒ㄟM(jìn)行了圖像預(yù)處理，在該過(guò)程中會(huì)消耗較多的時(shí)間成本。但本文方法可以很好地適應(yīng)復(fù)雜的現(xiàn)實(shí)場(chǎng)景，提高現(xiàn)實(shí)場(chǎng)景下頭部姿態(tài)估計(jì)的準(zhǔn)確率。

2.6 復(fù)雜環(huán)境下的性能測(cè)試

在得到訓(xùn)練好的網(wǎng)絡(luò)模型后，本文選取光照變化差異大、有部分面部遮擋的樣本圖像進(jìn)行測(cè)試，以直觀地驗(yàn)證本文方法在復(fù)雜環(huán)境下的性能，測(cè)試結(jié)果如圖9 所示。

圖9 本文方法在復(fù)雜環(huán)境下的測(cè)試結(jié)果示例Fig.9 Example of test results of method in this paper under complex environment

在圖9中，第1行是光照條件較差時(shí)的結(jié)果，第2行是面部有部分遮擋時(shí)的結(jié)果?？梢钥闯?，本文方法在光照不均、低曝光、部分遮擋等復(fù)雜環(huán)境下表現(xiàn)良好，達(dá)到在復(fù)雜條件下進(jìn)行頭部姿態(tài)估計(jì)的目標(biāo)。

2.7 局限性分析

本文提出的頭部姿態(tài)估計(jì)方法在一定程度上提高了在復(fù)雜環(huán)境下的預(yù)測(cè)準(zhǔn)確率。然而，本文方法也存在一些局限性，本文可以很好地應(yīng)對(duì)小部分面部遮擋情況，但當(dāng)面部區(qū)域遮擋過(guò)大時(shí)，本文方法可能無(wú)法產(chǎn)生令人滿(mǎn)意的結(jié)果，因?yàn)楫?dāng)面部區(qū)域遮擋過(guò)大時(shí)，本文提取的有效面部特征就會(huì)變少，進(jìn)而影響模型預(yù)測(cè)頭部姿態(tài)。另外，本文方法可能在移動(dòng)嵌入式設(shè)備表現(xiàn)不佳，因?yàn)楸疚姆椒ǖ哪Ｐ蛥?shù)較大。

3 結(jié)束語(yǔ)

本文提出一種基于遮擋感知模型和幾何感知模型的頭部姿態(tài)估計(jì)方法，通過(guò)圖像預(yù)處理操作與使用遮擋感知網(wǎng)絡(luò)，減少背景、光照變化、遮擋等環(huán)境因素的干擾，提高預(yù)測(cè)準(zhǔn)確率。采用幾何感知網(wǎng)絡(luò)提取特征，為獲取幾何感知的人臉圖像提供了一種無(wú)監(jiān)督學(xué)習(xí)的解決方案。實(shí)驗(yàn)結(jié)果表明，本文方法能有效應(yīng)對(duì)光照不均、部分遮擋、面部外觀差異大等問(wèn)題，在不同數(shù)據(jù)集上的表現(xiàn)較好。下一步將進(jìn)行遮擋部分的復(fù)原工作［33］，以豐富面部特征，提高頭部姿態(tài)估計(jì)準(zhǔn)確率。同時(shí)通過(guò)減少模型參數(shù)，使其適用于移動(dòng)嵌入式設(shè)備。