基于紋理特征融合的人臉圖像質(zhì)量評估算法

陳正浩，吳云東，蔡國榕，陳水利

(集美大學(xué)理學(xué)院，福建 廈門 361021)

0 引言

人臉識別[1]是計算機(jī)視覺與圖像處理的研究熱點，在安防有著廣泛的市場應(yīng)用前景。目前的人臉識別系統(tǒng)的研究大多集中在如何提取高效的人臉特征，對人臉圖像質(zhì)量的關(guān)注相對較少。在基于視頻的人臉識別系統(tǒng)中，如果將受光照、遮擋、姿勢、表情等方面因素影響的低質(zhì)量人臉圖像輸入識別模塊，不僅增加識別算法負(fù)荷還會降低識別精度[2]。因此，通過人臉質(zhì)量評估算法從序列圖像中選擇高質(zhì)量的人臉圖像，可以提高系統(tǒng)的識別準(zhǔn)確率，同時被剔除的低質(zhì)量圖像無需再做復(fù)雜的面部特征提取，既減少了系統(tǒng)的計算負(fù)荷，又提高了系統(tǒng)的工作效率。

建立人臉質(zhì)量評估系統(tǒng)的目的是對人臉質(zhì)量進(jìn)行恰當(dāng)評分。通過設(shè)置偏好閾值選擇高質(zhì)量的人臉圖像進(jìn)入識別系統(tǒng)，現(xiàn)有方法大多是基于特定人臉特征的分析，主要分為兩類：第一類是建立統(tǒng)計模型方法除去離群值，如A.Hadid等[3]提出用k-means聚類分析方法對人臉進(jìn)行質(zhì)量評估，S.A.Berrani等[4]使用穩(wěn)健的統(tǒng)計數(shù)據(jù)除去離群子集增強(qiáng)視頻序列的人臉識別；第二類是通過姿態(tài)估計對人臉圖像退化程度進(jìn)行量化，如Z.Yang等[5]采用樹形結(jié)構(gòu)構(gòu)成姿態(tài)估計，并使用其結(jié)果對人臉圖像進(jìn)行質(zhì)量評估，X.Gao[6]等提出使用面部不對稱的程度、對光照不均及姿態(tài)引起人臉質(zhì)量的退化程度進(jìn)行量化，H.Sellahewa等[7]依據(jù)照明失真對比特定的人臉參考圖像，通過使用一般標(biāo)準(zhǔn)衡量人臉圖像質(zhì)量[8-9]。

2009年，高修峰等[10]提出人臉對稱性差異的人臉質(zhì)量評估算法：對由姿態(tài)變化和光照引起左右半臉的差異，用左右半臉的局部直方圖距離作為度量人臉對稱性的方式，將獲取直方圖距離差的倒數(shù)作為人臉質(zhì)量評估的分?jǐn)?shù)。2013年，Wong等[11]提出一種基于分塊的概率人臉質(zhì)量評估算法：首先在模型訓(xùn)練過程中對一系列的標(biāo)準(zhǔn)圖像做分塊，接著對每個分塊提取DCT特征，從而建立起局部的概率模型，將測試的人臉圖像各分塊概率的對數(shù)乘積作為人臉質(zhì)量評估的分?jǐn)?shù)。2015年，朱利偉等[12]提出基于視覺觀察模型的人臉質(zhì)量評估算法：首先通過人臉檢測獲取人臉區(qū)域，接著對人臉區(qū)域進(jìn)行顯著性檢測和人眼檢測，然后根據(jù)獲取的人眼區(qū)域和人臉顯著圖計算左、右眼的顯著性，最后將雙眼顯著性的乘積作為人臉質(zhì)量評估的分?jǐn)?shù)。

然而，這些方法的有效性存在兩種局限：1)使用單一人臉特征容易存在明確缺陷，如Hog特征[13]難于處理遮擋問題且對噪點敏感，LBP特征[14]不具有旋轉(zhuǎn)不變性，GIST特征[15]是宏觀的場景描述而忽略了圖像的局部特征，GABOR變換[16]在數(shù)值計算時采用非正交冗余基因而增加了計算和存儲開銷。2)使用經(jīng)驗選擇的參考人臉圖像，由于存在主觀差異性，導(dǎo)致系統(tǒng)的可移植性較差。

針對上述問題，本文提出了一種基于紋理特征融合的人臉質(zhì)量評估方案，算法選擇HOG、LBP、GIST、GABOR等4種具有代表性的紋理特征進(jìn)行組合測試，以選擇最優(yōu)的紋理特征組合方案。在訓(xùn)練過程中，采用了雙層評估架構(gòu)，分別使用非線性支持向量機(jī)(support vector machines，SVMs)[17]訓(xùn)練特征權(quán)重，以回歸質(zhì)量得分。

1 紋理特征融合的人臉質(zhì)量評估算法

本文算法整體流程如圖1所示。首先，選擇MtCNN[18](multi-task cascaded convolutional networks)進(jìn)行人臉檢測與特征點標(biāo)定；其次，針對特征點對人臉圖像進(jìn)行規(guī)范化校正；第三，針對人臉圖像提取多種紋理特征；第四，針對標(biāo)注數(shù)據(jù)訓(xùn)練分類器實現(xiàn)單特征得分評估，多特征得分值融合成特征向量FN；第五，通過多項式核函數(shù)升維得到新的特征向量FK；最后，根據(jù)FK訓(xùn)練SVMs分類器Wk，回歸人臉圖像質(zhì)量得分。

1.1 基于單紋理特征的人臉質(zhì)量評估方法

1.1.1 特征向量Fi的提取

HOG特征是通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。在人臉圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣方向的密度分布很好地描述。首先將圖像分成小的連通區(qū)域，然后采集細(xì)胞單元中各像素點的梯度或邊緣的方向直方圖，最后把這些直方圖組合起來構(gòu)成特征描述器。

GIST特征是用一個五維的感知維度來代表場景主要內(nèi)容的。其包括：1)自然度，若場景包含高度的水平線和垂直線，這表明該場景有明顯的人工痕跡，而通常自然景象具有紋理區(qū)域和起伏的輪廓；2)開放度，取決于空間包絡(luò)是否是封閉的；3)粗糙度，展示主要構(gòu)成成分的顆粒大小；4)膨脹度，若平行線收斂，則給出了空間梯度的深度特點；5)險峻度，通過相對于水平線的偏移多少來判斷。

LBP局部二進(jìn)制模式構(gòu)造了一個3×3的模板，以中心像素的灰度值為閾值，進(jìn)行二值化。當(dāng)模板內(nèi)的鄰域像素大于中心像素，則將鄰域處記為1，否則記為0，然后按照順時針或者逆時針的順序?qū)λ玫?,1序列進(jìn)行編碼。

GABOR函數(shù)是一個用于邊緣提取的線性濾波器，分為實部和虛部，用實部進(jìn)行濾波后圖像會平滑，用虛部濾波后可檢測邊緣。不同紋理一般具有不同的中心頻率及帶寬，根據(jù)這些頻率和帶寬可以設(shè)計一組濾波器對紋理圖像進(jìn)行濾波(每個濾波器只允許與其頻率相對應(yīng)的紋理通過)，再對各濾波器的輸出結(jié)果進(jìn)行分析和提取紋理特征。

1.1.2 特征權(quán)重Wi的訓(xùn)練

通過非線性支持向量機(jī)的牛頓優(yōu)化方法(Newton optimization)訓(xùn)練獲得特征權(quán)重Wi{1,2,…，N}，將人臉圖像的特征向量作為訓(xùn)練集{(xi,yi)}i{1,2,…，N}，其中xi為某特征對應(yīng)的特征向量，yi只能取+1、-1(分別代表正、負(fù)樣本)。設(shè)C為代價系數(shù)，則Non-linear SVMs最優(yōu)化問題可寫為：

,Wxi+b),

(1)

其中：f(xi)=Wxi+b，損失函數(shù)L(yi,f(xi))=max(0,1-yif(xi))2。

(2)

再通過隨機(jī)梯度下降方法來優(yōu)化式(2)。

目標(biāo)函數(shù)式(1)的第2項為分類造成的錯誤代價，最小化式(1)就是尋找最大分類間隔與最小化訓(xùn)練錯誤之間的權(quán)衡。即通過調(diào)整代價系數(shù)C值可以實現(xiàn)兩者之間的權(quán)衡，找到一個最佳C值，使得分類超平面兼顧訓(xùn)練錯誤和推廣能力。在訓(xùn)練Wi{1,2,…，N}、Wk過程中，將牽扯出代價系數(shù)C值的確定，本文通過Libsvm的tools運行g(shù)rid.py得到其值。

1.1.3 特征分值Ei的獲取

單個特征的人臉質(zhì)量評估算法是通過特征向量與特征權(quán)重的乘積獲得特征分值，將分值規(guī)格化后作為圖像的評估分?jǐn)?shù)，即Ei=Fi×Wi。

1.2 基于多項式核函數(shù)的特征融合方法

本文提出紋理特征融合的算法，對人臉圖像做N種紋理特征的提取，獲得不同紋理的特征向量Fi{1,2,…，N}，通過與特征權(quán)重Wi{1,2,…，N}相乘得到不同紋理的特征分值Ei{1,2,…，N}。將多個單特征分值組成向量FN=(E1,E2,…，EN)，通過多項式核函數(shù)(polynomial kernel function)升維得到新的特征向量Fk，再與對應(yīng)的特征權(quán)重Wk相乘獲得特征融合分值，最后將特征融合分值規(guī)范為0～100分的分值Ek，作為人臉圖像的最終得分。

選擇融合的特征個數(shù)為特征分值組成向量FN的維度，由于選擇融合的特征有限，通過使用SVMs的方法，利用非線性映射函數(shù)將低維度的特征向量映射到更高維的空間，使得特征向量盡可能線性可分。這樣的函數(shù)存在很多，這里選用一個簡單的且展開不超過2次的多項式核函數(shù)：

1.3 算法流程紋理特征融合的人臉質(zhì)量評估算法流程

輸入：Fi：各特征對應(yīng)的特征向量

輸出：Ei：各特征對應(yīng)的特征分值

Fk：紋理特征融合的特征向量

Wk：紋理特征融合的特征權(quán)重

Ek：人臉圖像得分

3)Ej=Fj·Wj,j= 1,2,…，N，其對應(yīng)的特征分值,通過特征向量與特征權(quán)重的乘積獲得各個特征對應(yīng)的特征分值；

7)Ek=Fk·Wk數(shù)據(jù)規(guī)格化為0～100的分值。

2 實驗與結(jié)果

2.1 實驗設(shè)置

訓(xùn)練集：20 000張人臉圖像，包含LFW[19]數(shù)據(jù)庫12 000張人臉圖像和8 000張卡口視頻監(jiān)控的人臉圖像。本文挑選均勻光照、自然表情、無遮擋面部特征、相對正臉的人臉圖像作為正樣本，共計9 760張，其余為負(fù)樣本。

測試集1：視頻攝像頭抓拍志愿者的815張人臉圖像。對這些人臉圖像進(jìn)行5次0～100分評分，將評分?jǐn)?shù)據(jù)規(guī)格化：

vi=(v-μi)/σi,

(3)

其中，μi和σi分別為第i個評分的均值和均方差。

根據(jù)第i個評分的均值和偏差對其規(guī)格化，可將測試集中的樣本均值統(tǒng)一變換為0。接著求評分均值：

(4)

最后將評分均值規(guī)格化為0～100分，作為人臉圖像的最終得分：

v″=100×(v-mini)/(maxi-mini)。

(5)

由此可得815張人臉圖像的參考均值55.557 1。

測試集2：卡口視頻監(jiān)控1000張人臉圖像及50張手機(jī)拍照人臉圖像。

2.2 紋理特征融合組合測試

2.2.1 兩特征融合的對比測試

選擇HOG、GIST、LBP、GABOR四種特征進(jìn)行兩兩融合，利用測試集1畫ROC圖，用H、Gi、L、Ga分別代表HOG、GIST、LBP、GABOR特征。如圖2所示，兩兩特征組合的準(zhǔn)確率由高到低排序如下：H-Gi>H-L>Gi-Ga>Gi-L>H-Ga>Ga-L。Ga-L特征準(zhǔn)確率只比隨機(jī)概率略高，說明在特征組合中所起作用較小。準(zhǔn)確率較高的組合都含有HOG特征。由于HOG是在圖像的局部方格單元上操作，所以它對圖像幾何的和光學(xué)的形變都能保持很好的不變性。GIST特征是對圖像的宏觀描述，忽略圖像的紋理細(xì)節(jié)，融合的H-Gi特征具有較強(qiáng)的泛化能力。同為邊緣檢測的HOG特征與GABOR特征，經(jīng)對比可知H-Gi的特征組合優(yōu)于Gi-Ga的特征組合。

使用以上6種特征組合對測試集1的815張人臉圖像進(jìn)行評分(如表1所示)。本文將獲得的評分均值與參考分?jǐn)?shù)對比，在組合內(nèi)比較所獲得的方差，發(fā)現(xiàn)HOG-GIST特征組合均值最接近參考分?jǐn)?shù)且方差最小。所以在兩兩特征組合中，融合HOG-GIST特征的人臉質(zhì)量評估算法最佳。

表1 兩特征融合在測試集1中的均值方差對比表

2.2.2 三特征融合的對比測試

選擇HOG、GIST、LBP、GABOR四種特征進(jìn)行三特征融合。選擇測試集1畫ROC圖(見圖3)，三特征組合的確定率由高到低排序如下：H-Gi-L>H-Gi-Ga>H-Ga-L>Gi-Ga-L。Gi-Ga-L是特征組合中唯一不含HOG特征且效果最差的，印證了2.2.1中提到含HOG特征的組合準(zhǔn)確率較高。組合中含有HOT-GIST特征的準(zhǔn)確率較高。

使用以上四種特征組合對測試集1的815張人臉圖像進(jìn)行評分。將獲得的評分均值與參考分?jǐn)?shù)對比，在組合內(nèi)比較所獲得的方差，發(fā)現(xiàn)H-Gi-Ga特征均值最接近參考分?jǐn)?shù)，而H-Gi-L特征均值次接近參考分?jǐn)?shù)且方差最小(見表2)。

表2 三特征融合在測試集1中的均值方差對比表

2.2.3 綜合測試

如圖4所示，為了選擇多特征融合的最佳組合，綜合對比H-GI、H-GI-GA、H-GI-L的ROC圖。ROC圖顯示這三種特征組合的準(zhǔn)確率幾乎相同，由2.2.1可知，Ga-L特征在組合中所起作用較小，說明GABOR特征和LBP特征在特征融合訓(xùn)練后的權(quán)重值較小。綜上所述，由于本文選擇的特征要盡可能的少，同時又要保證均值接近標(biāo)準(zhǔn)答案且方差不大，因而最終選擇了HOG-GIST特征融合的人臉質(zhì)量評估算法。

2.3 對比基于視覺觀察模型的人臉質(zhì)量評估算法

從LFW數(shù)據(jù)集中選擇多張具有針對的人臉圖像，目標(biāo)人臉佩戴眼鏡、左右側(cè)臉、仰視臉、俯視臉，分別用視覺觀察模型和本文提出的算法進(jìn)行對比實驗。

圖5中橫向第一組圖為人眼檢測結(jié)果，第二組圖為人臉顯著圖，第三組圖為本文提出的人臉質(zhì)量評估圖?？梢园l(fā)現(xiàn)第一張人臉圖像未檢測出人眼，若通過視覺顯著性算法將導(dǎo)致人臉質(zhì)量評估得分為0。左右側(cè)臉的情況，通過視覺顯著性算法的得分分別為0.415和0.634。仰視俯視臉的情況，通過視覺顯著性算法的得分分別為0.524和0.554。因而得出以下結(jié)論：當(dāng)無法檢測人眼時，用視覺顯著性算法不能給出評估得分。由于視覺顯著性算法是對稱性算法，對仰視俯視人臉的情況評分不敏感,而本文提出的算法可視性好，可以一目了然地看到給出的評分，同時也做出了合理的評分。

2.4 多姿勢的人臉圖像質(zhì)量評估

2.4.1 視頻監(jiān)控下人臉圖像存在遮擋情況測試

實驗給出目標(biāo)對象不同程度遮擋情況下的人臉圖像，共四組圖(見圖6)。第一組目標(biāo)對象戴帽子，評估系統(tǒng)選擇面部朝正前方，同時未遮擋住眼睛的第三張(自左向右數(shù)，下同)圖作為最高質(zhì)量人臉圖像，并給出50分的評分；第二組目標(biāo)對象被障礙物遮擋，評估系統(tǒng)選擇未被遮擋的，但有些低頭的第四張圖作為最高質(zhì)量人臉圖像，并給出56分的評分；第三組目標(biāo)對象被穿梭的人流遮擋住人臉，評估系統(tǒng)選擇輕微被遮擋且相對正臉的第一張人臉圖像作為最高質(zhì)量人臉圖像，并給出了57分的評分；第四組目標(biāo)對象被隨同的家長遮擋，評估系統(tǒng)選擇未被遮擋的第一張人臉圖像作為最高質(zhì)量人臉圖像，并給出59分的評分。通過實驗可以看出，本文提出的人臉質(zhì)量評估系統(tǒng)能恰當(dāng)處理人臉被遮擋的情況。

2.4.2 視頻監(jiān)控下人臉圖像不同姿勢表情測試

實驗給出目標(biāo)對象不同姿勢及表情的人臉圖像，共四組圖(見圖7)。第一組目標(biāo)對象戴眼鏡，且有回頭張望、低頭等姿勢，評估系統(tǒng)選擇面部朝正前方的第三張圖作為最高質(zhì)量人臉圖像，并給出67分的評分；第二組目標(biāo)對象未戴眼鏡，但有低頭、側(cè)臉等姿勢，評估系統(tǒng)選擇相對正臉的第二張圖作為最高質(zhì)量人臉圖像，并給出77分的評分；第三組目標(biāo)對象有回頭、側(cè)臉、低頭等姿勢且有不同表情，評估系統(tǒng)選擇相對正臉、正常表情的第四張人臉圖像作為最高質(zhì)量人臉圖像，并給出了75分的評分；第四組目標(biāo)對象相對正臉但有不同表情，評估系統(tǒng)選擇正常表情的第二張人臉圖像作為最高質(zhì)量人臉圖像，并給出64分的評分。由實驗可以看出，本文提出的人臉質(zhì)量評估系統(tǒng)能恰當(dāng)處理不同姿勢及表情的情況。

2.4.3 不同目標(biāo)對象的人臉圖像測試

圖8為志愿者的證件照和生活照各一張。評估系統(tǒng)對第一張證件照給出95分的評分；對第二張中，戴眼鏡且輕微側(cè)臉的給出54分的評分，相對正臉且微笑的給出71分的評分，相對正臉且正常表情的給出89分的評分。由實驗可以看出，本文提出的人臉質(zhì)量評估系統(tǒng)對同一圖像中不同目標(biāo)對象的人臉圖像能給出恰當(dāng)評分。

3 結(jié)論

本文提出的HOG-GIST特征融合的人臉質(zhì)量評估系統(tǒng)，通過多特征融合的ROC圖、對參考分?jǐn)?shù)平均及方差對比測試擇優(yōu)選出高質(zhì)量人臉圖像。實驗表明，HOG-GIST特征融合的人臉質(zhì)量評估系統(tǒng)對同一目標(biāo)對象不同姿勢及遮擋情況能恰當(dāng)給出評分，對同一圖像中不同目標(biāo)對象的人臉圖像也有不錯評分表現(xiàn)，即，評估系統(tǒng)具有較好的魯棒性。