基于CNN的人臉圖像亮度和清晰度質(zhì)量評價

黃法秀，高 翔，吳志紅，陳 虎

(1.四川大學(xué) 視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，四川 成都 610065；2.四川大學(xué) 計算機學(xué)院，四川 成都 610065；3.四川川大智勝軟件股份有限公司，四川 成都 610045)

0 引 言

自動人臉識別系統(tǒng)的性能很大程度上取決于獲取人臉圖像的質(zhì)量。在具有均勻光照、正面姿態(tài)、中性表情和標(biāo)準(zhǔn)圖像分辨率的受控圖像采集條件下，人臉識別系統(tǒng)可以達到極高的識別精度。生物特征圖像質(zhì)量應(yīng)該是識別性能的一個指標(biāo)，與識別性能相關(guān)的識別誤差率如FNMR(false non-match rate)或FMR(false match rate)相關(guān),是一種理想的度量屬性。從本質(zhì)上講，低質(zhì)量的生物特征樣本會影響識別精度[1]，所以將質(zhì)量度量作為識別性能的指標(biāo)對人臉識別具有重要的意義。人臉圖像質(zhì)量評價是圖像質(zhì)量評價(image quality assessment，IQA)的類別及其擴展，圖像質(zhì)量評價可以分為主觀評價和客觀評價，主觀評價不穩(wěn)定且耗時長，難以滿足自動化的要求，因此在實際應(yīng)用中，客觀評價更適用。客觀評價方法根據(jù)原始參考圖像提供的信息量又可以分為3類：全參考IQA(full reference IQA，F(xiàn)R-IQA)[2]、部分參考IQA(reduced reference IQA，RR-IQA)[3]和無參考IQA(no reference IQA，NR-IQA)[4]?？陀^評價方法中的無參考圖像質(zhì)量評價IQA(no reference IQA，NR-IQA)，不需要任何額外信息，大大提高它的適用性和實用價值，因此本文采用無參考質(zhì)量評價方法來評價人臉圖像質(zhì)量。

CNN可以通過局部操作對表征進行分層抽象，適合計算機視覺應(yīng)用、對象檢測等[5]，并表現(xiàn)出了優(yōu)越的性能。它的優(yōu)勢之一是它可以將原始圖像作為輸入，并將學(xué)習(xí)的特征融入到訓(xùn)練過程中，可以有效地學(xué)習(xí)復(fù)雜的映射。因此本文提出了基于CNN人臉圖像質(zhì)量評價方法。

1 相關(guān)工作及本文流程

影響人臉圖像質(zhì)量的因素多種多樣，主要包括光照、清晰度、姿態(tài)、表情、拍照位置、遮擋[1]。在圖像質(zhì)量評價中存在的很大挑戰(zhàn)是，圖像失真往往是復(fù)合型的，并且失真程度是不確定的，雖然已經(jīng)有很多算法可以用來評價單獨某一種失真圖像，但對混合型失真類型圖像的判斷算法更實際，本文對圖像模糊和清晰度因素進行了復(fù)合評價。目前已有一些有關(guān)人臉圖像質(zhì)量評價的研究，尹渺源[6]研究并提出了基于人臉對稱性并融合全局光照強度的光照因素NR-IQA，和基于人類視覺系統(tǒng)特性和邊緣檢測的清晰度因素NR-IQA；這種評價方法確實與主觀評價結(jié)果有一致性，但由于主觀評價與識別并不是完全一致，所以這種方法不能滿足在人臉識別意義下的人臉圖像質(zhì)量評估；S. Vignesh等[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的模擬給定人臉識別(FR)算法識別能力的人臉質(zhì)量評價(FQA)算法，通過所提出的方法能選擇與FR算法相關(guān)的高質(zhì)量人臉圖像，并且該方法可與任何FR算法結(jié)合使用；Chen等[8]提出了對人臉圖像質(zhì)量進行學(xué)習(xí)分級的方法，該方法先將圖像分成3種不同的質(zhì)量類別，然后將不同類別圖像所提取的特征作為學(xué)習(xí)分級的依據(jù)，最終利用多項式映射的方法得到人臉圖像的質(zhì)量分?jǐn)?shù)；文獻[1]使用自動人臉識別匹配器的比較分?jǐn)?shù)，手動選擇了LFW數(shù)據(jù)庫中1680個被試對象，每個至少有兩幅人臉圖像的最佳質(zhì)量圖像，而其余的7484幅這些對象的圖像被用作測試集。在簡化假設(shè)下，可以將質(zhì)量分?jǐn)?shù)分配給測試圖像，即注冊圖像的質(zhì)量至少與測試圖像的質(zhì)量一樣好。對于每個人臉匹配器的7484幅測試圖像，作為基于分?jǐn)?shù)的目標(biāo)人臉質(zhì)量值，用于學(xué)習(xí)人臉質(zhì)量預(yù)測器。由于特定匹配者和成對質(zhì)量因素的細(xì)微差別(即比較分?jǐn)?shù)是兩個人臉圖像的函數(shù)，但使用分?jǐn)?shù)來標(biāo)記單個人臉圖像的質(zhì)量)，很難預(yù)測基于分?jǐn)?shù)的質(zhì)量。因此，本文將某一范圍目標(biāo)人臉質(zhì)量值作為一類，即使是對不同的人臉識別算法也有較好的廣泛性。

生物特征樣本質(zhì)量是根據(jù)自動識別性能來定義的，因此人類對圖像質(zhì)量的視覺感知可能與識別性能沒有很好的相關(guān)性[9]。但也有研究：發(fā)現(xiàn)人類感知和識別之間有一定一致性，并證明了人類質(zhì)量分級與識別性能相關(guān)[1]，本文在此研究的基礎(chǔ)上采用根據(jù)相似性分?jǐn)?shù)(識別相關(guān))計算的質(zhì)量值和人臉圖像質(zhì)量的人工評估結(jié)合的方法對人臉圖像進行分類并訓(xùn)練。具體實驗流程如圖1所示。

圖1 實驗流程

2 建立數(shù)據(jù)標(biāo)簽

最大化圖像質(zhì)量與系統(tǒng)性能即匹配算法輸出之間的聯(lián)系是生物圖像質(zhì)量評估的最終目的；圖像質(zhì)量評價算法性能優(yōu)劣是：在包含不同失真種類及不同失真程度的數(shù)據(jù)集上觀察者的主觀評分和算法評分的相關(guān)程度[10]。本文建立人臉圖像目標(biāo)質(zhì)量標(biāo)簽方法同時兼顧了這兩個方面，利用人臉識別匹配器相似性分?jǐn)?shù)并結(jié)合人類視覺系統(tǒng)清晰度等級的分類方法以及傳統(tǒng)亮度分級方法，區(qū)別于只利用相似性分?jǐn)?shù)(與人類主觀評價不一致)或只利用人類主觀評價(與人臉識別準(zhǔn)確率不一致)的分類方法，使評價結(jié)果在人類主觀評價和對人臉識別準(zhǔn)確率有重要意義的客觀評價有良好的一致性。

以相似分?jǐn)?shù)對人臉圖像分類，每類在生物特征樣本質(zhì)量范疇中有對應(yīng)的存在意義。其中低于閾值1(FAR=1%時的閾值)代表該樣本可能產(chǎn)生較差的認(rèn)證結(jié)果，如有可能盡量使用新樣本替代它或該樣本不能用于認(rèn)證識別；高于閾值2(FAR=0.1%)低于閾值3(FAR=0.01%)，在大多數(shù)環(huán)境中該樣本可能產(chǎn)生好的認(rèn)證結(jié)果，但在需求應(yīng)用中，有必要包含一個高質(zhì)量的樣本；高于閾值3(FAR=0.01%)，在任何環(huán)境下，該樣本可產(chǎn)生好的認(rèn)證結(jié)果。

本文采用了利用監(jiān)控設(shè)備在實際無約束條件下某火車站認(rèn)證現(xiàn)場采集的圖像數(shù)據(jù)，而非公開的一些單一失真圖像數(shù)據(jù)集，因為在實際使用場景中，圖像失真往往是復(fù)合的，并且失真程度不確定，所以本文數(shù)據(jù)集對用于識別認(rèn)證的圖像研究更有實際意義。人臉質(zhì)量可能需要區(qū)分為3種場景[1]：①確定人臉和非人臉(標(biāo)記人臉檢測失敗)；②評估人臉對齊的準(zhǔn)確性；③給定對齊的人臉圖像，現(xiàn)在的質(zhì)量是什么？本文對第3個方向進行研究，對所有的人臉圖像都進行灰度化和人臉對齊歸一化，這些數(shù)據(jù)同樣作為人臉識別的訓(xùn)練集，對識別的圖像進行質(zhì)量評價，評價結(jié)果作為識別數(shù)據(jù)的分類輔助，對人臉識別性能而言更準(zhǔn)確。由于本文著重研究人臉圖像質(zhì)量中光照和清晰度的影響，所以在確保圖像尺寸和分辨率一致的前提下盡可能排除如姿態(tài)、遮擋、表情等其它因素的干擾，人類的視覺系統(tǒng)在識別這些因素方面是直接且有效的方式，因此人工對圖像數(shù)據(jù)進行篩選，剔除掉包含這些因素的人臉圖像，如圖2所示。

圖2 姿態(tài)、遮擋、表情圖像示例

由于人臉圖像質(zhì)量需要在人臉識別性能的背景下進行分類評估，所以需要找出每個對象的人臉標(biāo)準(zhǔn)圖片(清晰度高，亮度適宜，姿態(tài)正面)(如果存在)，標(biāo)準(zhǔn)圖片會組成一個類別，用這張標(biāo)準(zhǔn)質(zhì)量圖像與同一個人的不同人臉圖像形成正樣本，使用匹配器得到識別率。為了排除同一個匹配器在相同F(xiàn)AR時，由于負(fù)樣本不同導(dǎo)致閾值不同的情況和不同匹配器因負(fù)樣本不同帶來的干擾因素，所以采用的負(fù)樣本是固定的。

篩選標(biāo)準(zhǔn)圖像：首先清晰度因素，根據(jù)人類視覺感知與識別之間存在的一致性，人工篩選出3blur類(清晰度高)；具體篩選原則為主觀評價法絕對性尺度的一種示例——損害尺度見表1。亮度因素，利用傳統(tǒng)方法根據(jù)灰度值的分布來判斷人臉圖像中人臉部分的亮度，偏暗(灰度值為小于等于v)的像素個數(shù)為m，像素的總數(shù)為n，p為較暗像素占比(m/n)，v和p的值即判斷亮度參數(shù)。根據(jù)識別率的變化調(diào)整v或p選擇出2bri(亮度適宜)的圖像，篩選出的圖像為同一對象的人臉數(shù)據(jù)組成正樣本。通過人臉識別算法進行測試，識別率有明顯變化則選擇v和p為亮度適宜的閾值。最后將這些圖像中為同一個對象的數(shù)據(jù)，形成正樣本去測試，選擇FAR在萬分之一時閾值(根據(jù)不同的識別算法確定閾值，多個識別算法的情況則融合為一個閾值)相似度較高的圖像為3blur_2bri類別(標(biāo)準(zhǔn)圖片)，如圖3所示。用類似的方式確定亮度偏暗和亮度偏亮的閾值，不同的是將調(diào)整v和p后的圖像與標(biāo)準(zhǔn)圖像形成正樣本，通過識別算法測試得到識別率調(diào)整v和p。

表1 清晰度描述

圖3 標(biāo)準(zhǔn)圖片

將除去標(biāo)準(zhǔn)圖像的人臉圖像按相似分?jǐn)?shù)分成3類，利用兩個人臉識別算法將人臉圖像質(zhì)量按FAR(false accept rate)分別為百分之一、千分之一、萬分之一時的閾值將人臉圖像分成3類，分別是：低于閾值1(FAR=1%)；高于閾值2(FAR=0.1%)低于閾值3(FAR=0.01%)；高于閾值3(FAR=0.01%)。并對每類進行人工精細(xì)化，利用人類視覺系統(tǒng)的智能性將低于閾值1的類中選出1blur(非常模糊)，高于閾值2的類低于閾值3的挑選出2blur(較清晰)，高于閾值3的類中挑選出3blur(清晰度高)。這3類識別率很明了，如表2每類左側(cè)值。

最后將上述每一類利用上述確定v和p把亮度分成3類，在選擇出1bri(亮度偏亮)和3bri(亮度偏暗)這兩類剩下的圖像中，選擇與1bri類和3bri類有一定亮度差的圖像為2bri類(亮度適宜)，這類與上述選擇標(biāo)準(zhǔn)圖片亮度級別一致。因此共將人臉圖像分成9類。如圖4所示。

為了再確認(rèn)數(shù)據(jù)分類的有效性，將這9類數(shù)據(jù)，用另外一個匹配器(COTS-C)測試識別率，測試結(jié)果如表2每類右側(cè)值。

表2 各類識別率

圖4 9類圖像

3 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

本文采用了一種基于卷積神經(jīng)網(wǎng)絡(luò)的人臉圖像質(zhì)量評價模型。為了有效地提取圖像質(zhì)量特征，準(zhǔn)確評價圖像質(zhì)量，我們首先將圖像質(zhì)量預(yù)測問題作為一個分類問題。我們不是試圖為預(yù)測人臉圖像質(zhì)量的任務(wù)而手工提取一組圖像特征，而是通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖像質(zhì)量的判別特征來訓(xùn)練模型，為了減少除了人臉之外的圖像部分影響評價，在所有人臉圖像均進行了人臉對齊歸一化操作的基礎(chǔ)上，確保輸入盡可能是面部，所以截取圖像中心部分作為輸入，將全部數(shù)據(jù)用80/20比例分成訓(xùn)練集和測試集。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文通過對AlexNet模型進行改進，首先是卷積層，也就是特征提取層，對輸入進行濾波，卷積層輸出的特征映射作為下面池化層的輸入，其中池化過程有助于保留有效信息并且降低特征維數(shù)，提高計算效率，在池化層之后，是4個卷積層，再之后是對最后一個卷積層的輸出進行最大池化和平均池化，將兩個池化層的輸出進行連接送入3個全連接層，最后在輸出層，采用softmax層對圖像進行分類。網(wǎng)絡(luò)模型如圖5所示，具體參數(shù)見表3。

圖5 網(wǎng)絡(luò)模型

表3 網(wǎng)絡(luò)模型的參數(shù)配置

3.2 網(wǎng)絡(luò)微調(diào)

本文將AlexNet中ReLU激活函數(shù)修改為PReLU(parametric rectified linear unit)，兩者的區(qū)別[11]如圖6所示。

圖6 ReLU和PReLU區(qū)別

具體ReLU與PReLU激活函數(shù)如下

反向傳播更新ai時，采用的是帶動量的更新方式，如下

上式的兩個系數(shù)分別是動量與學(xué)習(xí)率。PReLU增加了極少量的參數(shù)，PReLU在幾乎無額外計算成本的情況下改進了模型擬合，且擬合風(fēng)險小。本文選取PRelu作為激活函數(shù)，訓(xùn)練結(jié)果表明是有效的，使準(zhǔn)確率提高了4個百分點。

4 實驗結(jié)果與分析

本文采用了簡潔、高效、快速、易用的深度學(xué)習(xí)框架pytorch， 運行環(huán)境是 Ubuntu16.04，在GPU型號為GeForce GTX 1080 Ti/PCIe/SSE2的硬件平臺上進行加速，表4展示了模型的部分訓(xùn)練參數(shù)。

表4 訓(xùn)練模型的部分參數(shù)

在進行超參數(shù)調(diào)整之后，迭代次數(shù)超過20 000，使準(zhǔn)確率穩(wěn)定在90%左右。

圖7為訓(xùn)練損失值與迭代次數(shù)的關(guān)系，圖8為測試集準(zhǔn)確率變化。

圖7 訓(xùn)練損失值變化

圖8 測試準(zhǔn)確率變化

從圖7、圖8可以看出，在迭代前5000次，損失值整體下降較快，與之對應(yīng)準(zhǔn)確率也上升較快，在之后損失值和準(zhǔn)確率變化緩慢，當(dāng)?shù)螖?shù)超過20 000次左右訓(xùn)練損失值和準(zhǔn)確率保持穩(wěn)定。

除了用準(zhǔn)確率衡量模型性能之外，同時還參考了召回率(Recall)，公式如下

表5展示了每個本文網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練結(jié)果每個類別的召回率。

表5 每類召回率及整體召回率

選取了文獻[12]中網(wǎng)絡(luò)結(jié)構(gòu)和AlexNet基本網(wǎng)絡(luò)結(jié)構(gòu)，對前面數(shù)據(jù)進行分類，不同算法對測試集詳細(xì)結(jié)果見表6。

表6 不同算法實驗結(jié)果

該模型整體來說人臉的圖像評價較為準(zhǔn)確，在給出評價后，對現(xiàn)場環(huán)境和采集設(shè)備的調(diào)整具有重要的實際指導(dǎo)意義。

文獻[13]將數(shù)據(jù)分為了高質(zhì)量人臉圖像和低質(zhì)量人臉圖像進行了二分類訓(xùn)練，但更精確的分類可以更有效定位到人臉圖像存在的問題，在實際應(yīng)用中可根據(jù)評價結(jié)果給出相應(yīng)亮度和清晰度調(diào)整提示，評價結(jié)果為：3blur_2bri(清晰度高/亮度適宜)這類圖片可以作為人臉(清晰度/亮度)標(biāo)準(zhǔn)圖片存入庫中；3blur_1bri(清晰度高/亮度偏亮)這類圖片進行亮度調(diào)暗至3blur_2bri數(shù)據(jù)亮度標(biāo)準(zhǔn)；3blur_3bri(清晰度高/亮度偏暗)這類進行亮度調(diào)亮至3blur_2bri數(shù)據(jù)亮度標(biāo)準(zhǔn)后，也可作為標(biāo)準(zhǔn)圖片存入庫中,作為比對標(biāo)準(zhǔn)；評價結(jié)果為模糊因素的，可以根據(jù)具體情況調(diào)整光圈、配置高清攝像頭、調(diào)節(jié)球機最小聚焦限制的距離、確保攝像機外罩干凈等手段以提高清晰度；可以根據(jù)評價結(jié)果剔除對多數(shù)人臉識別算法無效的低質(zhì)量人臉圖像(低于閾值1)；或者對這些類人臉圖像進行亮度或者清晰度調(diào)整，提高相似分?jǐn)?shù)進而提高識別率。

文獻[13]利用傳統(tǒng)方法將光照、清晰度、姿態(tài)3個因素的得分歸一化后加權(quán)計算總得分，再加上人工精細(xì)分類，雖然對人臉圖像的評分結(jié)果與人類視覺系統(tǒng)具有一致性，但對于人臉識別意義而言并不具有很好的一致性。本文提出的方法在人臉識別方面有很好的一致性。按照文獻[1]中的方法，我們使用誤差與拒絕(EVR)曲線評估人臉質(zhì)量度量，該曲線評估了以降低錯誤率的拒絕低質(zhì)量樣本的效率。EVR曲線繪制了一個使用固定閾值(例如，整體FMR=0.01%)，當(dāng)刪除或拒絕部分圖像后重新計算錯誤率(FNMR或FMR)。圖9繪制了9類人臉圖像的EVR曲線，對兩個不同的人臉匹配器(COTS-A、COTS-B)進行了評估，將不帶標(biāo)簽的測試集(probe images set)用訓(xùn)練好的模型分類，將分類結(jié)果按順序去除得到匹配器的FNMR，由于匹配器具有不同識別性能，并且數(shù)據(jù)分類結(jié)果相似分?jǐn)?shù)有一定間隔，因此選擇了一種通用的初始FNMR分別為0.20、0.50、0.80來進行評價。

圖9 去除每類圖像后的FNMR

圖9表明：模型具有很好的分類效果，在FNMR為0.20時(圖9(a))，去除特別模糊(1blur)不同亮度3類圖像可以看出，都有效降低了兩個匹配器的FNMR，這3類圖像可以作為低質(zhì)量圖像拒絕識別或認(rèn)證來提高準(zhǔn)確率；同樣在FNMR為0.50和0.80時，對特別模糊(1blur)的去除更有效降低FNMR，F(xiàn)NMR為0.50時(圖9(b))可以清晰看出去除中等模糊(2blur)類圖像，降低FNMR的程度；FNMR為0.80時(圖9(c))，去除特別清晰(3blur)，3blur_1bri和3blur_3bri這兩類對降低FNMR是有效的，沒有影響的；這也驗證了,3blur_2bri這類圖片屬于相對高質(zhì)量圖像，可以在清晰度和亮度兩方面作為人臉標(biāo)準(zhǔn)圖像。

5 結(jié)束語

人臉圖像質(zhì)量評價是一個具有重要實用價值的問題。本文提出了一個對正面人臉圖像清晰度和光照強度綜合評價方法，根據(jù)相似度分?jǐn)?shù)(匹配相關(guān))將某一范圍目標(biāo)人臉質(zhì)量值，與人臉圖像質(zhì)量的人工評估方法結(jié)合對人臉圖像進行分類，每一類都有其意義，將評價結(jié)果利用不同的人臉識別算法驗證，結(jié)果表明對不同的識別算法具有較好的廣泛性。將此問題轉(zhuǎn)化成為一個分類問題，對數(shù)據(jù)進行了分類，經(jīng)過訓(xùn)練，分類準(zhǔn)確率達到了一個較好的結(jié)果，并對每類的降低FNMR效果進行了驗證。針對本類課題的研究，仍然需要加入其它影響因素形成全面綜合的評價，這有待于未來進一步研究。