基于深度學(xué)習(xí)的低質(zhì)量圖像模糊人臉識別方法

何佑明，馬榮榮

（安徽文達(dá)信息工程學(xué)院 通識教育學(xué)院，安徽 合肥 231201）

張晉婧等［1］采用融合注意力機(jī)制對人臉圖像進(jìn)行尺度不變特征變換，結(jié)合分類遷移學(xué)習(xí)模型，對圖像進(jìn)行卡爾曼濾波以提高圖像質(zhì)量，進(jìn)而實(shí)現(xiàn)人臉識別.該方法雖然能夠提高識別的健壯性，但未考慮圖片的動態(tài)情況，使識別結(jié)果的融合性差.姚錦江等［2］采用特征匹配方法對人臉進(jìn)行識別，該方法通過特征值提取與判別，并嵌入空間匹配模塊對圖像像素點(diǎn)進(jìn)行加權(quán)處理，從而完成人臉識別.但此方法需要采用數(shù)據(jù)增強(qiáng)手段擴(kuò)充測試樣本以訓(xùn)練識別模型，需要的樣本數(shù)量規(guī)模較大.趙漢理等［3］設(shè)計了一種感知去模糊的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)，在粗略提取人臉結(jié)構(gòu)的基礎(chǔ)上，通過面部紋理細(xì)節(jié)恢復(fù)實(shí)現(xiàn)人臉識別，但是該方法受圖像質(zhì)量影響較高.ZHANG等［4］提出一種用于面部表情識別的模糊優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)－遞歸神經(jīng)網(wǎng)絡(luò)（CNN－RNN）方法.該方法雖然能夠解決沒有圖像增強(qiáng)的直接圖像卷積和簡單卷積堆棧，但是它忽略了特征逐層卷積導(dǎo)致信息丟失的問題，易受圖像清晰度影響.BANERJEE等［5］提出一種基于布朗運(yùn)動的自適應(yīng)神經(jīng)模糊推理系統(tǒng)Crow 搜索算法來進(jìn)行人體圖像的面部表情識別.但是該方法主要集中于識別單個圖像的個人面部表情，有一定的局限性.WENYAN［6］對傳統(tǒng)的自適應(yīng)遺傳算法進(jìn)行改進(jìn)，引入方向擾動算子對自適應(yīng)調(diào)整概率進(jìn)行非線性化，進(jìn)而實(shí)現(xiàn)教學(xué)場景中的人臉識別，但是該方法局限于某一領(lǐng)域，需進(jìn)一步分析復(fù)雜環(huán)境中的應(yīng)用性能.

本文綜合已有的研究成果，結(jié)合深度學(xué)習(xí)算法，針對低質(zhì)量圖像模糊人臉的識別方法進(jìn)行研究與設(shè)計，以拓展生物識別技術(shù)的應(yīng)用范圍.

1 低質(zhì)量圖像模糊人臉識別方法設(shè)計

1.1 人臉輪廓線關(guān)鍵點(diǎn)檢測

面部圖像的鼻子、眉毛和眼睛是關(guān)鍵點(diǎn)聚集區(qū)域，不同面部圖像的輪廓線差異也集中在該區(qū)域［7］.因此，可以通過識別圖像中面部輪廓線的關(guān)鍵點(diǎn)，并構(gòu)建空間信息表征人臉的面部特征.

由于低質(zhì)量的模糊人臉圖像是一個離散信號，為了提高人臉輪廓關(guān)鍵點(diǎn)的檢測效果，需要對圖像進(jìn)行連續(xù)離散化處理.利用小波變換算子對圖像中的模糊像素進(jìn)行傅立葉逆變換，變換系數(shù)的定義如下

其中，C0表示離散變換系數(shù)，f（t）表示像素重構(gòu)函數(shù)，ψ0（t）表示結(jié)構(gòu)函數(shù)，t表示采樣時間.

對于模糊的面部圖像，可以通過一次包絡(luò)分解獲得低頻，然后通過二次包絡(luò)分解得到低頻圖像.二次包絡(luò)包括水平、垂直和對角線方向的面部信息［8］，分別用LL、LH、HL和HH4個小波算子進(jìn)行描述，如圖1所示.

圖1 圖像像素包絡(luò)分解示意圖

在面部圖像中，紋理特征可以反映面部部位的灰度變化，這與像素灰度值pf和相鄰像素的灰度值直接相關(guān)，可以表示為

其中，L0表示像素?zé)o偏置項(xiàng)的參量，e表示輸出矩陣的通道數(shù)，xi表示第i個表征人臉信息的小波算子.

由于中心像素和相鄰像素之間灰度值的差異，因此，使用中心區(qū)域和相鄰區(qū)域之間的灰度差來描述面部紋理特征之間的差異［9］，灰度差的表達(dá)式u0為：

其中，pj表示第j個像素點(diǎn)的灰度值，由于面部紋理特征式中存在，因此pj與pf始終不相等，即pj≠pf。引入高斯濾波構(gòu)建面部輪廓線的差異尺度空間Hs，即：

引入高斯濾波構(gòu)建面部輪廓線的差異尺度空間，即

其中，H表示人臉三維尺度空間，Gs表示像素通道維數(shù)，取值為1～M，表示疊加運(yùn)算符，σs表示特征疊加向量，其計算公式為

其中，σ1和σ2表示不同的兩個面部輪廓特征原始向量，即圖像特征向量和形狀描述符向量，k1表示調(diào)節(jié)參數(shù)。

使用較小的模糊數(shù)學(xué)分布確定圖像的隸屬度函數(shù)［10］，并且模糊規(guī)則對于模糊圖像的灰度值的隸屬度函數(shù)建立如下

其中，z表示圖像輸出的最大灰度值，b表示隸屬度函數(shù)中心所對應(yīng)的灰度值，c表示隸屬度函數(shù)曲線的擴(kuò)大展程度，d表示隸屬度函數(shù)曲線的陡峭程度.

其中，n表示特征值數(shù)量，（x，y）表示降噪?yún)^(qū)域坐標(biāo).

將含噪?yún)^(qū)域?qū)?yīng)的最大灰度值賦予圖像的中心像素點(diǎn)，使該區(qū)域中的噪聲最小化［12］.因此，面部目標(biāo)區(qū)域的灰度共生矩陣可表示為

其中，Gx表示圖像灰度共生矩陣，（i，j）表示識別框與真實(shí)框的重合區(qū)域中心點(diǎn)的坐標(biāo)，g和s分別表示特征尺度融合因子與提取因子.

使用形狀變化指數(shù)對圖像進(jìn)行均勻采樣，并通過面部瞬時數(shù)據(jù)設(shè)置采樣點(diǎn)集的參數(shù)值，由此得到人臉輪廓線關(guān)鍵點(diǎn)的檢測結(jié)果為

其中，F(xiàn)表示人臉輪廓線關(guān)鍵點(diǎn)采樣集，psk表示自適應(yīng)選取尺度.

利用以上公式檢測低質(zhì)量模糊圖像人臉的輪廓線關(guān)鍵點(diǎn)，并將此作為識別依據(jù)，便于后續(xù)人臉關(guān)鍵點(diǎn)匹配.

1.2 人臉關(guān)鍵點(diǎn)匹配

收集面部輪廓線關(guān)鍵點(diǎn)對應(yīng)的不同面部特征，選擇不同角度匹配關(guān)鍵點(diǎn)，將待識別的人臉和數(shù)據(jù)庫中的人臉變換到同一空間［13］，求輸入圖像與原有圖像之間的差異程度，即協(xié)方差矩陣，公式如下

其中，F(xiàn)表示人臉輪廓線關(guān)鍵點(diǎn)集合，Sij表示人臉庫中人臉曲面上的關(guān)鍵點(diǎn)i的特征j，p0和p1分別表示圖像切平面與法平面的參量.

將特征向量進(jìn)行單位正交化，以挑選出大于閾值的特征值與特征向量［14］，計算公式為

其中，ex表示特征值閾值，λi表示像素最近鄰系數(shù)，λk表示噪聲標(biāo)簽轉(zhuǎn)移概率，p′表示像素梯度下降系數(shù).

計算各個特征向量與樣本之間的關(guān)聯(lián)程度，公式如下

其中，λj表示圖像噪聲標(biāo)簽，αij表示交叉熵?fù)p失函數(shù).

將輸入的人臉圖像樣本映射到低維空間，并最小化像素的損失函數(shù)［15］，公式如下

其中，N表示編碼向量數(shù)目，yi表示像素元參數(shù)的移動平均值，xi′表示像素散度因子，θ表示運(yùn)算誤差，f（.）表示粗糙度函數(shù).

將人臉輪廓線關(guān)鍵點(diǎn)輸出歸一化到0～1，獲得一個系數(shù)向量β0，則得到的關(guān)鍵點(diǎn)軟閾值為

其中，xc表示特征通道，αc表示收縮閾值.

由于目標(biāo)面部圖像質(zhì)量較低且模糊，兩張面部圖像在關(guān)鍵點(diǎn)匹配過程中容易出現(xiàn)特征值差異［16］.因此設(shè)置比較損失Lc以補(bǔ)償由模糊引起的特征差異，表達(dá)式為

其中，K表示人臉圖像的訓(xùn)練集總樣本數(shù)，μ1（.）表示通道注意力權(quán)重，f0（.）表示平衡函數(shù).

將鄰域中的所有關(guān)鍵點(diǎn)轉(zhuǎn)換到以圖像的中心像素為圓心的參考坐標(biāo)系中［17］，以構(gòu)建局部最優(yōu)特征的空間結(jié)構(gòu)，表達(dá)式如下

其中，d（p2）表示像素單位向量，n（p2）表示像素模長.

則可利用下式完成人臉關(guān)鍵點(diǎn)的匹配，即

其中，νx，y表示人臉關(guān)鍵點(diǎn)匹配結(jié)果，大于0表明匹配成功，小于0表明匹配失敗，則應(yīng)重新計算關(guān)鍵點(diǎn)軟閾值；fx和fy分別表示測試集人臉曲面與人臉庫中的人臉曲面.

通過將人臉輪廓線關(guān)鍵點(diǎn)進(jìn)行低維空間轉(zhuǎn)換，挑選出大于設(shè)定變換閾值的特征值與特征向量，結(jié)合損失函數(shù)與模糊補(bǔ)償函數(shù)，對關(guān)鍵點(diǎn)進(jìn)行多角度匹配，為接下來實(shí)現(xiàn)人臉識別提供有利條件.

1.3 基于深度學(xué)習(xí)的人臉識別

根據(jù)人臉關(guān)鍵點(diǎn)匹配結(jié)果，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)算法對人臉進(jìn)行識別，其識別流程如圖2所示.

圖2 基于深度學(xué)習(xí)的人臉識別流程

將原始輸入圖像調(diào)整為25×25×60大小，并根據(jù)每個面部圖像的比例刪除超過面部候選的預(yù)選框［18］.將識別框中心點(diǎn)的坐標(biāo)設(shè)置為（n，m），且其到達(dá)真實(shí)框上邊緣與下邊緣的距離分別為s和z，卷積神經(jīng)網(wǎng)絡(luò)算法的置信度值可以使用以下公式計算

其中，νx，y表示人臉關(guān)鍵點(diǎn)匹配結(jié)果，y表示識別元損失平均值，即確信值，表示敏感參數(shù)，θ0表示像素交叉熵.

將提取到的人臉關(guān)鍵點(diǎn)特征與匹配結(jié)果輸入卷積神經(jīng)網(wǎng)絡(luò)的輸入單元中，利用網(wǎng)絡(luò)的第二層卷積層對源數(shù)據(jù)進(jìn)行映射處理［19］，即

其中，Q（i，j）表示圖像數(shù)據(jù)Q的特征仿射，a1表示人臉冗余特征信息，v1表示卷積核.

利用卷積神經(jīng)網(wǎng)絡(luò)的全連接層對輸入圖像進(jìn)行池化處理，得到

其中，ξ表示人臉特征數(shù)據(jù)的池化最大值，I表示原始輸入圖像，a′和b′分別表示特征數(shù)據(jù)到預(yù)選框的水平距離與垂直距離.

基于人臉數(shù)據(jù)的池化結(jié)果，利用網(wǎng)絡(luò)的記憶模塊對人臉進(jìn)行分類識別，其公式為

其中，σ表示人臉圖像對比庫中的源數(shù)據(jù).將輸入圖像的池化結(jié)果與對比庫的源數(shù)據(jù)進(jìn)行比較，計算M的值.當(dāng)M＝1時，表明待識別圖像與網(wǎng)絡(luò)輸出人臉圖像為同一張人臉；當(dāng)M≠1時，表明待識別圖像與網(wǎng)絡(luò)輸出人臉圖像不為同一張人臉.

通過卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行身份檢定，以此實(shí)現(xiàn)基于深度學(xué)習(xí)的低質(zhì)量圖像模糊人臉識別方法的設(shè)計.

2 實(shí)驗(yàn)論證

為驗(yàn)證本文方法有效性，選取專用于研究低質(zhì)量模糊人臉圖像識別的FERET、ORL 和YALE 3種數(shù)據(jù)庫，以測試本文方法的識別效果.

2.1 實(shí)驗(yàn)準(zhǔn)備

面部識別方法測試實(shí)驗(yàn)使用Matla－bR2019b平臺進(jìn)行，CPU 為3.40GH，內(nèi)存為16GB，選擇Windows 11操作系統(tǒng)和i7處理器.FERET數(shù)據(jù)庫包含326個目標(biāo)對象和14123個3D面部圖像；ORL數(shù)據(jù)庫包含185個目標(biāo)對象和7875個3D面部圖像；YALE數(shù)據(jù)庫包含89個目標(biāo)對象和2395張3D面部圖像.3個數(shù)據(jù)庫中包含大量豐富的表情、姿態(tài)與角度不一的低質(zhì)量模糊人臉圖像，部分?jǐn)?shù)據(jù)集如圖3所示.

圖3 部分?jǐn)?shù)據(jù)集圖像

對原始實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行平移、旋轉(zhuǎn)、縮放以及不透明度調(diào)整等處理，以增強(qiáng)數(shù)據(jù)集，然后使用專業(yè)圖像處理軟件對圖像進(jìn)行預(yù)處理操作.根據(jù)光照變化條件，可以將所有圖像劃分為5個子集.第一個子集的照明方向?yàn)?°～10°，第二個子集的光照方向?yàn)?1°～20°，第三個子集的光照方向?yàn)?1°～35°，第四個子集的光照方向?yàn)?6°～77°，第五個子集的光照方向?yàn)椋?8°.

在實(shí)驗(yàn)過程中，選擇每個數(shù)據(jù)子集的20%作為實(shí)驗(yàn)樣本，采用設(shè)計方法和比較方法對其進(jìn)行人臉識別.

由于關(guān)鍵點(diǎn)檢測時，選擇的閾值會直接影響人臉識別結(jié)果，采用三類數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，獲取最優(yōu)閾值，得到穩(wěn)定性最高的關(guān)鍵點(diǎn).因此，在三個數(shù)據(jù)庫中分別對各表情類型進(jìn)行關(guān)鍵點(diǎn)檢測，設(shè)置相同對象中相同位置的點(diǎn)為存在差異點(diǎn)云中歐式距離＜3.9mm 的關(guān)鍵點(diǎn).

2.2 實(shí)驗(yàn)說明

實(shí)驗(yàn)時，隨機(jī)選取數(shù)據(jù)集中前500張人臉圖像對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與擬合，并按照表1所示的網(wǎng)絡(luò)運(yùn)行參數(shù)對卷積神經(jīng)網(wǎng)絡(luò)層次進(jìn)行設(shè)計.

表1 卷積神經(jīng)網(wǎng)絡(luò)算法運(yùn)行參數(shù)表

采用softmax函數(shù)作為激活函數(shù)來監(jiān)督訓(xùn)練網(wǎng)絡(luò)，軟閾值設(shè)為0.50，學(xué)習(xí)率設(shè)為0.0065，迭代輪數(shù)設(shè)為200；訓(xùn)練人臉分類識別模型時使用SGD 優(yōu)化算法，其中次梯度系數(shù)為0.1，偏差度因子為0.5.

2.3 人臉識別準(zhǔn)確率實(shí)驗(yàn)對比分析

從每個數(shù)據(jù)集中選擇前50幅圖像作為訓(xùn)練集.為避免原始圖像大小變化影響實(shí)驗(yàn)結(jié)果的問題，對所有數(shù)據(jù)集進(jìn)行無失真縮放，使每個圖像都包含不同角度的人臉，使算法更容易識別人臉判別特征.人臉識別過程如圖4所示.

圖4 人臉識別流程

人臉的1∶1驗(yàn)證是評估人臉識別算法的常用指標(biāo)，為測試本文方法的有效性，采用文獻(xiàn)［1］融合注意力機(jī)制（方法1）、文獻(xiàn)［2］特征匹配（方法2）作為本文方法的對比方法，利用平均準(zhǔn)確度P作為不同識別算法的評價指標(biāo)，其計算公式為

其中，q1識別正確的人臉圖像數(shù)量，qN表示輸入的總?cè)四槇D像數(shù)量.

分別采用以上3種方法對輸入網(wǎng)絡(luò)的容量圖像進(jìn)行識別分類，并利用上式計算不同方法的識別平均準(zhǔn)確度，以定性評估3種方法的識別性能.對比結(jié)果如圖5所示.

圖5 不同方法的人臉識別準(zhǔn)確度結(jié)果對比

圖5可以看出，在不同模糊比例較低的人臉圖像識別中，利用本文方法得到的識別準(zhǔn)確度均遠(yuǎn)高于對比方法.方法1建立的人臉識別分類模型沒有較好地平衡模型總控制參數(shù)量與模型學(xué)習(xí)率之間的關(guān)系，故影響了識別效果；方法2對模糊比例較低的人臉圖像識別準(zhǔn)確度相對較高，但對于模糊程度較高的低質(zhì)量人臉圖像，該方法無法準(zhǔn)確提取圖像邊角局部細(xì)節(jié)特征，所以方法2并不適用于較高模糊比例的人臉識別.由此可以說明，本文設(shè)計的方法能夠較準(zhǔn)確地識別低質(zhì)量圖像模糊人臉識別準(zhǔn)確度.

3 結(jié)束語

本文在人臉檢測與識別算法上，基于深度學(xué)習(xí)算法提出低質(zhì)量圖像模糊人臉識別方法，通過檢測人臉輪廓線關(guān)鍵點(diǎn)與匹配關(guān)鍵特征點(diǎn)，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)人臉識別.對比實(shí)驗(yàn)結(jié)果表明，提出的方法具有較高的識別準(zhǔn)確度.