基于LTP和局部PCA的低分辨率人臉識別算法

卞加祁, 姚志均, 胡學(xué)龍*, 陳舒涵

(揚州大學(xué) a. 信息工程學(xué)院; b. 人工智能學(xué)院, 江蘇 揚州 225127)

近年來, 監(jiān)控攝像頭的應(yīng)用頗為廣泛, 故人臉識別系統(tǒng)備受重視．由于攝像頭常處于非可控狀態(tài), 光照變化和遠距離等場景下拍攝得到的人臉圖像一般分辨率較低．如何提高此類低分辨率人臉的識別準確率具有重要的現(xiàn)實意義．目前,低分辨率人臉識別方法主要有超分辨率重建[1-4]和穩(wěn)健特征提取[5-8]等．Shi等[1]基于正則化模型構(gòu)建“幻想人臉”; Zangeneh等[2]提出新的耦合映射方法, 采用深度卷積神經(jīng)網(wǎng)絡(luò)進行低分辨率人臉重建, 此類算法通過構(gòu)建高低樣本間的學(xué)習(xí)模型來預(yù)測高分辨率人臉圖像, 僅側(cè)重于人臉圖像重建的質(zhì)量,卻未考慮識別性能. Pong等[3]基于局部線性回歸算法預(yù)測高分辨率人臉Gabor特征; Shakeel等[4]通過基于稀疏編碼的算法學(xué)習(xí)投影矩陣構(gòu)建高分辨率人臉特征,該類算法側(cè)重于特征重建, 以提高識別性能．超分辨率重建算法雖能較好地重建人臉圖像質(zhì)量或提高識別性能, 但其計算量大, 不利于實時應(yīng)用．分辨率穩(wěn)健特征提取則是在傳統(tǒng)特征方法的基礎(chǔ)上加以改進,以適應(yīng)低分辨率下人臉識別的環(huán)境．李嘉頔等[5]將中心對稱局部二值模式(center symmetric local binary pattern, CS-LBP)運用于低分辨率人臉識別, 有效解決了局部二值模式(local binary pattern, LBP)在低分辨率下識別率較低的問題; Yang等[6]采用更穩(wěn)定的中心對稱局部三值模式(center symmetric local ternary pattern, CS-LTP)進行低分辨率人臉識別, 進一步提高了識別準確率．然而, 當(dāng)環(huán)境略受干擾時, 單一特征提取算法的識別率便會大幅下降, 其應(yīng)用范圍受到相應(yīng)的限制, 故多特征融合人臉識別算法成為研究熱點．Sun等[7]提出一種多尺度融合方法, 克服了單一特征人臉識別算法魯棒性差的缺陷; 張一凡[8]提出完備局部二值模式(complete local binary pattern, CLBP)和局部三值模式(local ternary pattern, LTP)特征提取方式相融合的方法,增強了低分辨率人臉識別的魯棒性．但當(dāng)面對復(fù)雜的環(huán)境變化或人臉圖像模糊時, 上述多特征融合人臉識別算法的準確率仍須提高．LTP繼承了LBP紋理特征的主要優(yōu)點且加強了對局部區(qū)域噪聲的抗干擾性[9]．局部主成分分析(principal component analysis, PCA)能夠有效提取邊緣主方向的分布信息,得到的輪廓結(jié)構(gòu)穩(wěn)定,有利于圖像的特征提取[10]．本文擬融合LTP和局部PCA算法進行低分辨率人臉識別,以期提高識別率和增強魯棒性．

1 本文算法

1.1 LTP算子

設(shè)中心像素為pc, 自定義一個閾值t, 若鄰域像素值m≥pc+t, 則可將原像素點量化為1, 并將LTP算子局部鄰域關(guān)系記為S(m,pc,t),

(1)

LTP對人臉圖像中每個像素的編碼表示為

(2)

式中i為鄰域像素個數(shù)．圖1給出了閾值t=4時LTP算子的示意圖．根據(jù)式(2), LTP的編碼有3n種模式, 此時編碼的復(fù)雜度大幅提升且灰度值超限．故為了簡便, 現(xiàn)將LTP分為如圖2所示的正負LBP通道．

1.2 局部PCA

利用鄰域模板(如q×q的方形區(qū)域) 對人臉圖像(x,y)處的像素Ix,y進行局部PCA構(gòu)建．局部PCA的協(xié)方差矩陣

(3)

其中

(4)

(5)

(6)

計算協(xié)方差矩陣的特征值以構(gòu)建特征值矩陣, 然后進一步提取人臉輪廓特征．求解協(xié)方差矩陣的特征值λ1,λ2:

(7)

(8)

由于環(huán)境干擾導(dǎo)致圖像的邊緣像素位置不確定,λ2將成為一個不穩(wěn)定的數(shù)值, 一般舍棄λ2,僅保留λ1．為了方便統(tǒng)計人臉輪廓特征, 采用鄰域模板質(zhì)心像素的灰度值歸一化[11]求特征值λ1, 歸一化后的特征值所構(gòu)成的人臉特征如圖4所示．

本文算法流程如圖5所示, 具體步驟如下:

1) 對低分辨率圖像進行上采樣,使其與訓(xùn)練圖像的大小相同;

2) 分別提取經(jīng)上采樣處理后的人臉圖像的LTP和局部PCA特征;

3) 將經(jīng)上采樣處理的人臉圖像分割成8×8塊的子區(qū)域, 統(tǒng)計各子區(qū)域中的正通道、負通道LTP和局部PCA的特征直方圖, 分別記作FP_LTP,FN_LTP,FPCA;

4) 在各子區(qū)域內(nèi), 以形如[FP_LTP,FN_LTP,FPCA]的線性方式融合LTP和局部PCA的直方圖特征;

5) 將融合后各子塊的人臉特征首尾相連, 形成一個向量, 并將其作為最終的人臉特征;

6) 采用卡方距離[12]度量測試集和訓(xùn)練集的直方圖相似度;

7) 利用最近鄰分類器尋找最優(yōu)的訓(xùn)練集進行人臉識別．

2 仿真實驗

為了驗證本文算法的有效性, 現(xiàn)與CS-LBP+WPCA[5]、CS-LTP[12]以及LTP+CLBP[8]算法進行低分辨率人臉識別對比分析．實驗環(huán)境為Intel Core i7 CPU(2.2 GHz)、8 GB內(nèi)存, Windows10操作系統(tǒng), 編程平臺為MATLAB 2017b．

對ORL和FERET兩個公共數(shù)據(jù)集進行平滑下采樣, 使之作為低分辨率人臉數(shù)據(jù)集．

ORL數(shù)據(jù)集上有40位志愿者,每位有10幅圖像, 共400幅圖像,因各圖像拍攝時間不同, 故面部表情及光照條件存在差異．原始人臉的分辨率為112×92像素, 灰度級為256．隨機抽取每位采集者6幅面部圖像作為訓(xùn)練集, 其余圖像作為測試集, 對訓(xùn)練集和測試集作6次平滑下采樣,分辨率分別為8×7, 14×11, 20×15, 26×19, 32×23, 38×27像素.

FERET數(shù)據(jù)集上有200位志愿者,每位有7幅圖像,共1 400幅圖像,各圖像的光照、表情及姿態(tài)變化明顯差異．原始圖像分辨率為80×80像素, 灰度級為256．隨機抽取每位采集者6幅面部圖像作為訓(xùn)練集, 其余作為測試集, 并對訓(xùn)練集和測試集作6次平滑下采樣, 分辨率分別為11×11, 13×13, 15×15, 17×17, 19×19, 21×21像素.

為了計算方便, 將各自低分辨率人臉上采樣到原數(shù)據(jù)集的分辨率．本文算法中LTP的閾值t設(shè)定為3．局部PCA中, 每個像素的鄰域設(shè)定為3×3像素．在ORL和FERET數(shù)據(jù)集上的仿真結(jié)果如圖6～7所示．由圖6～7可知,本文算法在ORL數(shù)據(jù)集上不同分辨率下的識別率均高于其他3種算法,尤其在超低分辨率(8×7像素)下本文算法的識別率依然高達95%; 在FERET數(shù)據(jù)集上本文算法的識別率低于在ORL數(shù)據(jù)集上的結(jié)果,但仍高于其他幾種算法的識別率,表明本文算法對環(huán)境具有更強的魯棒性．