基于特征偏移的人臉圖像質(zhì)量評(píng)價(jià)及影響因素研究

彭 悅， 楊紅雨， 劉艷麗

(四川大學(xué)計(jì)算機(jī)學(xué)院， 成都 610065)

1 引 言

人臉圖像識(shí)別是最廣泛使用的生物特征識(shí)別方法之一[1]，這是因?yàn)樗哂泻芨叩墓娊邮芏?，且在非配合狀態(tài)下仍可進(jìn)行采集匹配[2]，不僅在門禁、交通、考勤、支付和社交媒體等日常社會(huì)生活場(chǎng)景廣泛使用，在安防、流控、刑偵等公共安全領(lǐng)域也具有重要地位.

近年來，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用，其在人臉相關(guān)任務(wù)上已取得卓越性能.得益于網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)等方面的調(diào)整創(chuàng)新，最新的深度學(xué)習(xí)方法在主流人臉數(shù)據(jù)集上可取得99%以上的精度[3].人臉識(shí)別領(lǐng)域的研究重心逐漸由識(shí)別模型轉(zhuǎn)移到對(duì)人臉數(shù)據(jù)本身的分析上來.

人臉圖像是對(duì)人臉的采樣，其采樣質(zhì)量是影響人臉識(shí)別系統(tǒng)性能的重要因素，在采樣條件受控情況下，當(dāng)前的人臉識(shí)別系統(tǒng)能夠?qū)崿F(xiàn)高精度性能.然而在非配合、不受限、采集環(huán)境差和圖像采集人員技術(shù)水平差等情況下，人臉在多個(gè)維度上呈現(xiàn)出豐富、劇烈的變化，這會(huì)導(dǎo)致識(shí)別精度的顯著降低.這些變化因素包括圖像獲取條件(例如照明，背景，模糊和低分辨率)，以及人臉因素(例如姿勢(shì)，遮擋，化妝，配飾和表情)，這些變化因素會(huì)導(dǎo)致識(shí)別性能顯著下降.不同圖像退化方式對(duì)人臉識(shí)別的影響程度不同，研究其差異，對(duì)指導(dǎo)提高人臉識(shí)別系統(tǒng)性能和相關(guān)領(lǐng)域研究具有積極意義.

2 相關(guān)研究

隨著人臉圖像相關(guān)領(lǐng)域的蓬勃發(fā)展，關(guān)于人臉質(zhì)量和識(shí)別置信度的研究逐漸成為新的熱門領(lǐng)域，論文數(shù)量展現(xiàn)出逐年增多的趨勢(shì)[4]，同時(shí)可以觀察到，深度學(xué)習(xí)技術(shù)正逐步取代傳統(tǒng)手工算法，成為本領(lǐng)域的主流方法，在各分支均取得了不錯(cuò)進(jìn)展.

最新的國(guó)內(nèi)外研究成果包括，文獻(xiàn)[5]利用隨機(jī)輟學(xué)技術(shù)獲得人臉隨機(jī)嵌入，根據(jù)圖像隨機(jī)嵌入魯棒性評(píng)價(jià)人臉質(zhì)量；文獻(xiàn)[6]結(jié)合人類視覺特性，設(shè)計(jì)4種梯度卷積模板，結(jié)合人臉特征點(diǎn)，提取特征點(diǎn)附近的人臉梯度信息，使用回歸方法預(yù)測(cè)質(zhì)量分?jǐn)?shù)；文獻(xiàn)[7，8]根據(jù)ICAO標(biāo)準(zhǔn)選擇標(biāo)準(zhǔn)人臉圖像，通過計(jì)算與標(biāo)準(zhǔn)人臉圖像的距離，預(yù)測(cè)人臉圖像質(zhì)量，批量生成帶有質(zhì)量標(biāo)簽的人臉數(shù)據(jù)集，在預(yù)訓(xùn)練人臉識(shí)別模型上進(jìn)行遷移學(xué)習(xí)計(jì)算質(zhì)量得分；文獻(xiàn)[9]提出了一種基于排名的學(xué)習(xí)方法，他們使用基于排名損失的多項(xiàng)式核和訓(xùn)練權(quán)重定義了一個(gè)線性質(zhì)量評(píng)估方程；文獻(xiàn)[10]創(chuàng)建了 FIIQD，一個(gè)“人臉圖像照明質(zhì)量數(shù)據(jù)庫”，具有 224 個(gè)人，733 張圖像，200 種不同的照明模式及其質(zhì)量分?jǐn)?shù)，然后使用該數(shù)據(jù)訓(xùn)練基于 ResNet-50[11]的模型以估計(jì)照明質(zhì)量；文獻(xiàn)[12]將圖像灰度、色彩、構(gòu)圖等全局特征與剪裁后的人臉特征進(jìn)行融合，預(yù)測(cè)帶有人臉圖像的美學(xué)得分；文獻(xiàn)[13]對(duì)人臉圖像損失類型進(jìn)行識(shí)別并利用回歸獲得質(zhì)量分?jǐn)?shù).

3 本文模型

本文提出一種新的人臉圖像質(zhì)量評(píng)價(jià)算法，通過網(wǎng)絡(luò)模型模擬人臉圖像退化過程中出現(xiàn)的特征偏移，根據(jù)特征偏移量和圖像信息量之間的相關(guān)性，完成人臉質(zhì)量分?jǐn)?shù)自動(dòng)評(píng)價(jià).使用遺傳算法對(duì)構(gòu)成模型的網(wǎng)絡(luò)單元進(jìn)行篩選，用更小網(wǎng)絡(luò)規(guī)模實(shí)現(xiàn)同等性能.

本文貢獻(xiàn)可概括如下：將特征偏移概念引入人臉圖像質(zhì)量評(píng)價(jià)，通過微調(diào)人臉識(shí)別網(wǎng)絡(luò)權(quán)重，模擬圖像退化形成的特征偏移，利用其與人臉質(zhì)量的相關(guān)性，提出基于特征偏移的人臉質(zhì)量評(píng)價(jià)算法框架.

采用遺傳算法自動(dòng)篩選關(guān)鍵特征，實(shí)現(xiàn)網(wǎng)絡(luò)規(guī)模壓縮和計(jì)算復(fù)雜度簡(jiǎn)化.使用本文提出的質(zhì)量評(píng)價(jià)算法研究高斯模糊、運(yùn)動(dòng)模糊、高斯噪聲、椒鹽噪聲等多種常見類型圖像退化對(duì)人臉識(shí)別的影響差異.

3.1 主要思想

在當(dāng)前主流人臉識(shí)別方法中，通常使用二維或三維人臉進(jìn)行特征提取，通過特征比對(duì)和閾值設(shè)置完成識(shí)別或驗(yàn)證任務(wù).人臉圖像，是對(duì)原始人臉的采樣，采樣過程必然伴隨一定誤差和特征損失，誤差和特征損失來源包括且不限于：維度損失，離散化損失，光照不均，光照不足，表情造成的面部扭曲，化妝，佩戴裝飾品，面部遮擋，圖像采集設(shè)備造成的模糊和噪聲等.

如圖1所示，假設(shè)每張人臉映射到特征空間里的唯一一點(diǎn)，代表其獨(dú)一無二的身份特征，那么上述原因造成的誤差和特征損失反映到特征空間里，即為不同程度的特征點(diǎn)偏移[14].類似地，如果對(duì)人臉圖像重采樣，將導(dǎo)致信息進(jìn)一步丟失，特征點(diǎn)發(fā)生二次偏移.為方便讀者理解特征偏移概念，對(duì)其做出如下定義：

S(I)=d(F(I′),F(I))

(1)

其中，I為人臉圖像;I′為重采樣(退化)人臉圖像;F為特征提取函數(shù)(此處即為用于人臉特征提取的神經(jīng)網(wǎng)絡(luò))，特征偏移即為退化人臉特征與原人臉特征之間的距離.

圖1 人臉采樣與特征偏移示意圖Fig.1 Face sampling and feature variation

文獻(xiàn)[15]從“數(shù)據(jù)不確定性”角度出發(fā)，認(rèn)為單張人臉圖像提取的特征服從高斯分布，均值代表最接近特征真值的點(diǎn)，方差代表人臉圖像質(zhì)量，方差越小，類內(nèi)緊湊型和類間可分性越好.同理，在本文語境中，特征點(diǎn)偏移類似上述方差的概念，圖像質(zhì)量越高，包含信息量越大，偏移幅度越??；圖像質(zhì)量越差，包含信息量越小，偏移幅度越大.受此思想啟發(fā)，對(duì)特征提取網(wǎng)絡(luò)進(jìn)行權(quán)重微調(diào)，可模仿采樣過程中圖像退化造成的誤差和特征丟失，從而導(dǎo)致特征點(diǎn)偏移.為敘述簡(jiǎn)潔，后文我們將微調(diào)后的網(wǎng)絡(luò)稱作“特征偏移網(wǎng)絡(luò)”.

如果人臉圖像質(zhì)量差，即特征信息損失多，那么輸入特征偏移網(wǎng)絡(luò)后，造成的特征偏移大(因?yàn)閳D像包含有價(jià)值的人臉信息少)，即稱之具有低質(zhì)量；反之，如果圖像采樣質(zhì)量高，特征信息損失少，那么輸入特征偏移網(wǎng)絡(luò)后，造成的特征偏移小(因?yàn)閳D像包含有價(jià)值的人臉信息多)，即稱之具有高質(zhì)量.

對(duì)特征提取網(wǎng)絡(luò)隨機(jī)進(jìn)行多次權(quán)重微調(diào)，可形成特征偏移網(wǎng)絡(luò)集群.利用特征偏移網(wǎng)絡(luò)集群(包含m個(gè)特征偏移網(wǎng)絡(luò))，可得到m個(gè)偏移特征.使用統(tǒng)計(jì)學(xué)度量方法計(jì)算集群網(wǎng)絡(luò)造成的平均特征偏移，即可代表圖像質(zhì)量，并與人臉識(shí)別表現(xiàn)高度相關(guān).

3.2 模型結(jié)構(gòu)

特征偏移網(wǎng)絡(luò)及網(wǎng)絡(luò)集群.將預(yù)訓(xùn)練的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)去掉分類層，作為無偏移的特征提取網(wǎng)絡(luò)，本文使用預(yù)訓(xùn)練的ResNet-18[11]模型作為無偏移特征網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示.然后隨機(jī)生成N個(gè)特征選取模板，使用模板屏蔽最后一個(gè)全連接層部分權(quán)重，即可生成N個(gè)特征偏移網(wǎng)絡(luò)，從而模擬人臉圖像退化過程中部分特征信息的丟失，N個(gè)特征偏移網(wǎng)絡(luò)共同構(gòu)成集群卷積網(wǎng)絡(luò)，集群卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

圖2 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 ResNet-18 network structure

圖3 集群卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of cluster convolutional

3.3 特征偏移計(jì)量

(2)

將特征偏移進(jìn)行歸一化操作，得到取值區(qū)間為0～1的人臉圖像質(zhì)量分?jǐn)?shù).計(jì)算公式如下：

(3)

其中，P(I)代表圖像I的質(zhì)量分?jǐn)?shù); σ為sigmoid函數(shù);fi為集群網(wǎng)絡(luò)中第i個(gè)特征偏移網(wǎng)絡(luò)提取的特征向量.負(fù)號(hào)體現(xiàn)特征偏移與人臉質(zhì)量的負(fù)相關(guān)關(guān)系.

3.4 特征選取

最終提取的特征向量中，不同特征對(duì)完成識(shí)別任務(wù)的貢獻(xiàn)率不同.舉例說明，臉型、瞳距等特征比皮膚紋理對(duì)于身份識(shí)別有更大貢獻(xiàn).因此應(yīng)篩選對(duì)識(shí)別任務(wù)影響更大的關(guān)鍵特征，通過影響這些關(guān)鍵特征，可提升采樣質(zhì)量評(píng)估效率.

本文使用遺傳算法對(duì)特征偏移網(wǎng)絡(luò)進(jìn)行篩選.選取偏移量盡可能大的子網(wǎng)，使質(zhì)量評(píng)估更為高效.每個(gè)特征偏移子網(wǎng)，均由一個(gè)獨(dú)特的特征偏移模板生成，子網(wǎng)與模板是一一對(duì)應(yīng)的(圖3)，因此對(duì)特征偏移模板的篩選，即為對(duì)特征偏移網(wǎng)絡(luò)的篩選，我們使用特征偏移模板作為染色體編碼對(duì)象.每個(gè)模板都是由一系列0和1的布爾值變量組成的m*n矩陣(m為倒數(shù)第二層維度，n為最后一層維度)，可將其展開為m*n維向量，作為遺傳算法的染色體單元，如圖4.初代染色體為滿足二項(xiàng)分布的隨機(jī)值，二項(xiàng)分布的概率取值為0.5，通過遺傳算法篩選迭代，最終得到目標(biāo)個(gè)體.

圖4 遺傳算法染色體編碼Fig.4 Genetic algorithm chromosome coding

從VGGFace2數(shù)據(jù)集中隨機(jī)選取100張人臉形成迷你子集，用于遺傳算法篩選特征.為篩選關(guān)鍵特征的優(yōu)化目標(biāo)為：

(4)

式中Fx(Ii)為特征偏移網(wǎng)絡(luò)輸出的特征；F(Ii)為無偏移特征，優(yōu)化目標(biāo)為找到特征偏移量最大的Fx函數(shù)，即特征偏移網(wǎng)絡(luò)，這里為全面體現(xiàn)正負(fù)偏移量，求差后取2范數(shù).

適應(yīng)度函數(shù)設(shè)計(jì)為

(5)

分子為待計(jì)算個(gè)體(網(wǎng)絡(luò))形成的特征偏移量，求和號(hào)的100代表迷你集的100個(gè)人臉樣本.分母為當(dāng)前代次表現(xiàn)最好的網(wǎng)絡(luò)，即特征偏移最大的網(wǎng)絡(luò)的偏移量，因此取max.x取值范圍0～100，代表當(dāng)前代次100個(gè)個(gè)體(網(wǎng)絡(luò))，每個(gè)個(gè)體(這里指特征偏移網(wǎng)絡(luò))的適應(yīng)度，就是它的特征偏移量與當(dāng)前代次最大特征偏移量的比值，取值范圍是0%～100%，以此作為個(gè)體(特征偏移網(wǎng)絡(luò))的生存適應(yīng)度.然后按照適應(yīng)度執(zhí)行遺傳算法，淘汰不良個(gè)體.

3.5 圖像退化

本文選取了幾種常見圖像退化方式進(jìn)行模擬，以研究圖像退化對(duì)人臉識(shí)別的影響.主要研究對(duì)象分為高斯模糊、運(yùn)動(dòng)模糊、高斯噪聲、椒鹽噪聲四種單獨(dú)類型退化方式和高斯模糊加高斯噪聲、高斯模糊加椒鹽噪聲、運(yùn)動(dòng)模糊加高斯噪聲、運(yùn)動(dòng)模糊加椒鹽噪聲四種疊加退化方式.每種退化方式分為20個(gè)層級(jí)，退化程度由輕到重逐步加深.例如將高斯模糊的高斯核尺寸逐級(jí)加大，逐級(jí)提高高斯噪聲的噪聲添加比例，具體設(shè)置將在第4.4節(jié)介紹.將上述8種退化方式各20個(gè)層級(jí)分別應(yīng)用于LFW數(shù)據(jù)處理，生成160個(gè)模擬圖像退化的實(shí)驗(yàn)數(shù)據(jù)集.

4 實(shí)驗(yàn)及分析

本節(jié)介紹了實(shí)驗(yàn)設(shè)置和結(jié)果，在主流數(shù)據(jù)集上，與最新的方法進(jìn)行了對(duì)比實(shí)驗(yàn)，對(duì)結(jié)果進(jìn)行了定性和定量分析，并補(bǔ)充了對(duì)算法一致性的說明.

4.1 數(shù)據(jù)集

LFW數(shù)據(jù)集主要測(cè)試人臉識(shí)別的準(zhǔn)確率，該數(shù)據(jù)庫從中隨機(jī)選擇了6000對(duì)人臉組成了人臉辨識(shí)圖片對(duì)，其中3000對(duì)屬于同一個(gè)人2張人臉照片，3000對(duì)屬于不同的人每人1張人臉照片.測(cè)試過程LFW給出一對(duì)照片，詢問測(cè)試中的系統(tǒng)兩張照片是不是同一個(gè)人，系統(tǒng)給出“是”或“否”的答案.通過6000對(duì)人臉測(cè)試結(jié)果的系統(tǒng)答案與真實(shí)答案的比值可以得到人臉識(shí)別準(zhǔn)確率. 這個(gè)集合被廣泛應(yīng)用于評(píng)價(jià) face verification算法的性能.

VGGFace2[16]是一個(gè)大規(guī)模人臉識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集是從谷歌中下載的，包含不同姿態(tài)、年齡、光照和背景的人臉圖片，其中約有59.7%的男性.除了身份信息之外，數(shù)據(jù)集還包括人臉框，5個(gè)關(guān)鍵點(diǎn)、以及估計(jì)的年齡和姿態(tài).共包含331萬圖片，9131個(gè)ID，平均每個(gè)ID圖片個(gè)數(shù)為362.6.這個(gè)數(shù)據(jù)集有以下幾個(gè)特點(diǎn)：(1) 人物ID數(shù)量大，且每個(gè)ID包含的圖片個(gè)數(shù)也較多; (2) 覆蓋大范圍的姿態(tài)、年齡和種族; (3) 噪聲數(shù)據(jù)少.實(shí)驗(yàn)圖像均使用Retinaface[17]進(jìn)行預(yù)處理.

為研究不同圖像損失類型對(duì)人臉識(shí)別的影響，我們使用高斯模糊、運(yùn)動(dòng)模糊、高斯噪聲、椒鹽噪聲4種常見圖像損失方式和“高斯模糊加高斯噪聲”、“運(yùn)動(dòng)模糊加高斯噪聲”、“高斯模糊加椒鹽噪聲”、“運(yùn)動(dòng)模糊加椒鹽噪聲”4種交叉損失方式，每種方式從弱到強(qiáng)分為20個(gè)層級(jí)，對(duì)LFW數(shù)據(jù)集進(jìn)行模擬退化處理，作為數(shù)據(jù)擴(kuò)充輔助研究.因?yàn)槊糠N圖像退化方式對(duì)圖像質(zhì)量的影響曲線不同，為使曲線上各點(diǎn)分布均勻，退化參數(shù)為手動(dòng)設(shè)置并經(jīng)過反復(fù)測(cè)試調(diào)整，具體數(shù)值如下：

高斯模糊： 高斯核尺寸第一級(jí)設(shè)置為3*3，之后邊長(zhǎng)逐級(jí)加4.

運(yùn)動(dòng)模糊： 運(yùn)動(dòng)方向?yàn)殡S機(jī)方向，模糊卷積核為正方形，尺寸設(shè)置為[2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32].

高斯噪聲： 高斯噪聲是符合高斯分布的加性噪聲，為不影響圖像整體亮度，噪聲均值設(shè)置為0，方差為未做歸一化處理的像素值方差，取值區(qū)間為[0～2552]，本實(shí)驗(yàn)第一級(jí)設(shè)置為3，之后每級(jí)加3.

椒鹽噪聲： 噪聲添加比例為[0.0005, 0.0010, 0.0020, 0.0040, 0.0080, 0.012, 0.016, 0.020, 0.028, 0.036, 0.044, 0.052, 0.060, 0.068, 0.078, 0.088, 0.098, 0.108, 0.118, 0.128].

4.2 實(shí)驗(yàn)設(shè)置

模型使用無監(jiān)督算法，不需要進(jìn)行單獨(dú)訓(xùn)練，構(gòu)成集群卷積網(wǎng)絡(luò)的每個(gè)單元網(wǎng)絡(luò)只需加載預(yù)訓(xùn)練的模型參數(shù)，并使用特征偏移模板對(duì)網(wǎng)絡(luò)進(jìn)行參數(shù)重構(gòu).對(duì)于集群網(wǎng)絡(luò)中的單元網(wǎng)絡(luò)個(gè)數(shù)N，根據(jù)我們的經(jīng)驗(yàn)取N=10可以較好平衡精度和性能.具有類似網(wǎng)絡(luò)結(jié)構(gòu)的方法[5]推薦子網(wǎng)個(gè)數(shù)為100，相比之下，本文通過遺傳算法篩選特征后N取10即可較好地平衡精度和性能，進(jìn)一步精簡(jiǎn)了網(wǎng)絡(luò)結(jié)構(gòu).

在特征篩選部分，遺傳算法篩選出10個(gè)個(gè)體，即10個(gè)特征偏移網(wǎng)絡(luò)，最終形成目標(biāo)集群網(wǎng)絡(luò).這些個(gè)體使用布爾值，按照p=50%的篩選率隨機(jī)初始化100個(gè)個(gè)體，持續(xù)300個(gè)代次，交叉組合率80%，變異率2%，代次篩選率10%.

為了橫向比較本文方法，實(shí)驗(yàn)引入來自計(jì)算機(jī)視覺社區(qū)的三個(gè)基線方法：Brisque[18],Niqe[19]Piqe[20]，均為無參考圖像質(zhì)量評(píng)價(jià).另外引入兩個(gè)學(xué)術(shù)界最新的人臉質(zhì)量評(píng)價(jià)方法FaceQnet[7]，Best-Rowden[21,22]，均采用預(yù)訓(xùn)練模型參與實(shí)驗(yàn).

4.3 圖像退化

本文選取了幾種常見圖像退化方式進(jìn)行模擬，以研究圖像退化對(duì)人臉識(shí)別的影響.主要研究對(duì)象分為高斯模糊、運(yùn)動(dòng)模糊、高斯噪聲、椒鹽噪聲四種單獨(dú)類型退化方式和高斯模糊加高斯噪聲、高斯模糊加椒鹽噪聲、運(yùn)動(dòng)模糊加高斯噪聲、運(yùn)動(dòng)模糊加椒鹽噪聲四種疊加退化方式.每種退化方式分為20個(gè)層級(jí)，退化程度由輕到重逐步加深.例如將高斯模糊的高斯核尺寸逐級(jí)加大，逐級(jí)提高高斯噪聲的噪聲添加比例，具體設(shè)置將在第4.4節(jié)介紹.將上述8種退化方式各20個(gè)層級(jí)分別應(yīng)用于LFW數(shù)據(jù)處理，生成160個(gè)模擬圖像退化的實(shí)驗(yàn)數(shù)據(jù)集.

4.4 度量方法

為了評(píng)估算法性能，我們遵循[23]的方法，使用錯(cuò)誤率與拒絕曲線.曲線橫軸為拒絕掉低質(zhì)量人臉圖像的比率，縱軸為剩余人臉圖像的錯(cuò)誤識(shí)別率.理想的情況是，當(dāng)拒絕一部分質(zhì)量最低的人臉圖像后，人臉識(shí)別系統(tǒng)在剩余圖像上的錯(cuò)誤識(shí)別率應(yīng)降低，并且隨著拒絕率的不斷提升，剩余圖像的錯(cuò)誤識(shí)別率不斷降低.具體的，我們使用FNMR錯(cuò)誤非匹配率，EER等錯(cuò)誤率兩項(xiàng)指標(biāo)評(píng)價(jià)算法性能，因?yàn)檫@些錯(cuò)誤率在國(guó)際標(biāo)準(zhǔn)中被指定用于生物特征驗(yàn)證評(píng)估[24].

在研究圖像退化對(duì)人臉識(shí)別影響的問題上，我們使用等質(zhì)量分?jǐn)?shù)識(shí)別率曲線和識(shí)別率直方圖進(jìn)行分析.對(duì)經(jīng)過圖像退化處理的數(shù)據(jù)集，使用本文中的人臉圖像質(zhì)量算法逐張人臉圖像計(jì)算質(zhì)量分?jǐn)?shù)，并求得數(shù)據(jù)集平均得分，同時(shí)使用resnet18預(yù)訓(xùn)練模型加arcface損失函數(shù)，測(cè)試每個(gè)數(shù)據(jù)集的驗(yàn)證精確率.

4.5 實(shí)驗(yàn)結(jié)果及分析

為直觀展示算法有效性，我們?cè)贚FW和VGGFace2兩個(gè)當(dāng)前主流人臉圖像數(shù)據(jù)集上進(jìn)行了質(zhì)量分?jǐn)?shù)預(yù)測(cè).繪制總體分?jǐn)?shù)分布圖(圖5)，并列出最壞和最好的人臉(圖6).在兩個(gè)數(shù)據(jù)集上都可以觀察到，得分最高的人臉幾乎都具有“無遮擋，光照均勻，五官清晰，姿態(tài)端正”等共同特征；得分最低的人臉均具有“佩戴物遮擋，頭發(fā)、手部遮擋，表情夸張，姿態(tài)不端”其中一個(gè)或多個(gè)影響身份識(shí)別的問題.

圖5 LFW數(shù)據(jù)集質(zhì)量分?jǐn)?shù)分布(a)； VGGFace2數(shù)據(jù)集質(zhì)量分?jǐn)?shù)分布(b)

圖6 LFW數(shù)據(jù)集得分最高的20張(a)、最低的20張(b)人臉;

圖7 LFW數(shù)據(jù)集錯(cuò)誤率與拒絕曲線(a，b)；VGGFace2數(shù)據(jù)集錯(cuò)誤率與拒絕曲線(c,d)

LFW數(shù)據(jù)集分?jǐn)?shù)分布普遍高于VGGAFace2數(shù)據(jù)集，且分布范圍更廣，這是合乎預(yù)期的，因?yàn)閂GGFace2數(shù)據(jù)包含更多無約束照片，人物呈現(xiàn)大量年齡、表情、姿態(tài)、光照變化，且背景更加復(fù)雜，對(duì)身份識(shí)別具有更大挑戰(zhàn).

對(duì)三個(gè)基線方法和兩個(gè)學(xué)術(shù)界最新方法進(jìn)行了定量實(shí)驗(yàn)，為公平比較算法性能，采用4.4節(jié)介紹的錯(cuò)誤率拒絕曲線，如圖7.使用所有參與實(shí)驗(yàn)的方法，對(duì)數(shù)據(jù)集全部人臉預(yù)測(cè)質(zhì)量得分，然后按照一定比率拒絕得分最低的部分人臉，計(jì)算剩余人臉的識(shí)別錯(cuò)誤率，逐漸提高拒絕率，重復(fù)此過程，最終繪制完整曲線.

圖8 4種圖像退化-質(zhì)量分?jǐn)?shù)曲線

可以觀察到，本文方法在兩個(gè)數(shù)據(jù)集上均表現(xiàn)出了較好性能.通過拒絕低質(zhì)量人臉圖像，實(shí)現(xiàn)了識(shí)別精度的提升，錯(cuò)誤率進(jìn)一步下降，F(xiàn)NMR、EER兩個(gè)指標(biāo)均證明了算法有效性.且隨著拒絕率逐步提升，錯(cuò)誤率可以穩(wěn)步下降，體現(xiàn)了算法具有良好穩(wěn)定性.絕大多數(shù)情況下，本文方法的曲線位于對(duì)比方法的曲線下方.

為進(jìn)一步驗(yàn)證算法穩(wěn)定性，我們通過手工圖像退化進(jìn)行補(bǔ)充驗(yàn)證，如圖8.使用高斯模糊，運(yùn)動(dòng)模糊，椒鹽噪聲三種常見圖像退化方式，對(duì)人臉圖像進(jìn)行手工退化操作，并使用我們的方法計(jì)算人臉圖像質(zhì)量.可以觀察到，隨著退化程度加深，同幅圖像四種退化方式的分?jǐn)?shù)均表現(xiàn)出連續(xù)下降，同樣證明了圖像質(zhì)量分?jǐn)?shù)與可識(shí)別率之間的高度相關(guān)性.

從識(shí)別率質(zhì)量分?jǐn)?shù)曲線(如圖9)觀察到，隨著圖像退化程度逐漸加深，數(shù)據(jù)集平均質(zhì)量分?jǐn)?shù)下降，且在平均質(zhì)量分?jǐn)?shù)相同情況下，不同圖像退化類型的識(shí)別率體現(xiàn)出差異性，具體地，在單一退化方式中，對(duì)識(shí)別率影響程度由小到大依次為：高斯噪聲，高斯模糊，運(yùn)動(dòng)模糊，椒鹽噪聲.注意到橙綠兩條曲線在后半段出現(xiàn)交替，但考慮到此時(shí)圖像質(zhì)量已經(jīng)嚴(yán)重破壞，沒有考察價(jià)值，并不影響上述結(jié)論.在椒鹽噪聲最后幾個(gè)退化級(jí)別上出現(xiàn)了質(zhì)量分?jǐn)?shù)異常(綠色曲線)，具體表現(xiàn)為：隨著圖像退化級(jí)別加深，質(zhì)量分?jǐn)?shù)不再降低，反而有小幅提高.這可

圖9 驗(yàn)證率-質(zhì)量分?jǐn)?shù)曲線Fig.9 Verification rate-quality score curve

能是因?yàn)榻符}噪聲具有較大隨機(jī)性，本文算法正是利用隨機(jī)特征偏移工作的.當(dāng)隨機(jī)噪聲增大到一定成程度時(shí)，算法誤把部分噪聲當(dāng)作有效信息處理，造成了算法波動(dòng).雖不影響總體結(jié)論，但有待進(jìn)一步研究改進(jìn).

圖9中，每條曲線代表一種圖像退化方式，包含20個(gè)退化級(jí)別的驗(yàn)證率-平均質(zhì)量分?jǐn)?shù)構(gòu)成的20個(gè)數(shù)據(jù)點(diǎn).可以觀察到不同退化方式對(duì)圖像質(zhì)量的影響是不同的.

質(zhì)量分?jǐn)?shù)直方圖如圖10所示,橫坐標(biāo)為20個(gè)圖像退化級(jí)別，1級(jí)退化程度最輕，20級(jí)退化程度最重.從圖10可知，“模糊+噪聲”兩種退化類型疊加的方式比單一模糊或單一噪聲的退化類型對(duì)識(shí)別率影響更大.在2種模糊類型和2種噪聲類型形成的4個(gè)交叉組合實(shí)驗(yàn)中，均證明了這一規(guī)律.雖然4種退化類型對(duì)識(shí)別率的影響程度不一，但疊加方式強(qiáng)于單一方式的規(guī)律始終沒變，這在圖像退化程度較淺的前幾個(gè)層級(jí)數(shù)據(jù)中尤其明顯.這是因?yàn)?，此時(shí)人臉圖像質(zhì)量和識(shí)別率較高，圖像退化對(duì)于人臉身份信息的損失收益大.在退化等級(jí)大于10以后，由于圖像質(zhì)量嚴(yán)重受損，驗(yàn)證率已接近50%的極限，圖像退化對(duì)圖像質(zhì)量的影響已非常有限，上述規(guī)律變得不明顯，甚至出現(xiàn)反常，此類現(xiàn)象屬于極端情況，沒有考察價(jià)值，不影響整體結(jié)論.

圖10 驗(yàn)證率直方圖

5 結(jié) 論

針對(duì)低質(zhì)量人臉圖像阻礙識(shí)別系統(tǒng)性能提升的問題，本文提出了一種無參考的人臉圖像質(zhì)量評(píng)價(jià)方法.分析闡述了利用特征偏移與圖像信息量的相關(guān)性進(jìn)行質(zhì)量分?jǐn)?shù)計(jì)算的思想.提出了一種集群卷積網(wǎng)絡(luò)模型，用于人臉圖像質(zhì)量分?jǐn)?shù)自動(dòng)預(yù)測(cè).使用遺傳算法對(duì)網(wǎng)絡(luò)模型進(jìn)一步優(yōu)化，在保持同等性能前提下大幅壓縮了模型復(fù)雜度.通過在主流人臉數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)，定性和定量分析證明了算法具有優(yōu)越性，通過篩選數(shù)據(jù)庫中低質(zhì)量得分的人臉圖像，可以進(jìn)一步提升現(xiàn)有人臉識(shí)別系統(tǒng)的性能，且識(shí)別率提升表現(xiàn)出良好穩(wěn)定性.模擬了幾類常見圖像退化方式，對(duì)原始人臉數(shù)據(jù)庫進(jìn)行數(shù)據(jù)擴(kuò)充，并使用本文提出的質(zhì)量評(píng)價(jià)算法為工具進(jìn)行實(shí)驗(yàn)，研究評(píng)估了不同類型圖像損失對(duì)人臉識(shí)別的影響，為指導(dǎo)今后人臉質(zhì)量相關(guān)研究得出了有益結(jié)論.