基于全局和局部特征集成的低分辨率人臉識別方法

摘要：低分辨率圖像中人臉特征模糊不清，導致人臉識別結果準確率較低，因此，文章提出基于全局和局部特征集成的低分辨率人臉識別方法。該方法采用主成分分析法提取低分辨率人臉圖像的全局特征，通過LBP算法提取低分辨率人臉圖像的局部特征，構建一個包含特征集成模塊與分類識別模塊的卷積神經(jīng)網(wǎng)絡，輸入提取的全局和局部特征，經(jīng)過學習輸出低分辨率人臉識別結果。實驗結果表明，該方法使低分辨率人臉識別結果的正確率高達94%，是有效且優(yōu)越的。

關鍵詞：全局特征；局部特征；特征集成；低分辨率；人臉識別

中圖分類號：TP391.4""文獻標志碼：A

0"引言

人臉識別技術憑借其獨特的非接觸性、高效率和強安全性，在我國公共安全、金融支付、智能安防等領域展現(xiàn)出廣闊的應用前景。然而，在實際應用中，由于采集設備、環(huán)境條件、人臉姿態(tài)等多種因素的影響，采集的人臉圖像往往存在分辨率較低的問題，為人臉識別帶來了一定的阻礙。賀懷清等^［1］簡化深度殘差網(wǎng)絡結構，得到一個輕量級殘差網(wǎng)絡，進行人臉識別，可以在保證識別精度的基礎上，提高識別效率，但是這種方法對人臉圖像光線環(huán)境要求嚴格，在實際應用中遇到低分辨率圖像會影響人臉識別的準確性。王宸等^［2］采用一種改進的洞察面孔算法進行人臉識別，可以顯著提升人臉識別的準確率，但是該技術的成本較高且存在一定漏洞與攻擊風險，實際應用中如果使用不當容易出現(xiàn)誤識別。盡管現(xiàn)有的人臉識別方法在高分辨率條件下取得了顯著的效果，但在低分辨率條件下仍存在特征提取困難、識別準確率較低等局限。因此，本文提出一種基于全局和局部特征集成的識別方法。

1"提取低分辨率人臉圖像的全局特征

人臉圖像中的特征主要包括全局和局部這2種。低分辨率人臉圖像的特征信息模糊不清，因此，本文為保障人臉識別效果，分別提取了低分辨率人臉圖像的全局和局部特征^［3］。其中，全局特征主要指低分辨率人臉圖像中包含全部信息的特征向量，可以反映圖像中人臉的整體屬性。根據(jù)低分辨率人臉圖像的全局特征實際提取需求，本文引入主成分分析法（Principal Component Analysis，PCA）進行全局特征提取。PCA是一種無監(jiān)督學習算法，旨在通過正交變換將原始數(shù)據(jù)轉換為一系列線性不相關的主成分，且將這些主成分按方差從大到小排列，能夠反映數(shù)據(jù)中的主要變化方向。在低分辨率人臉圖像中，PCA能夠有效提取圖像的全局特征，降低數(shù)據(jù)維度，同時保留關鍵信息。利用PCA提取低分辨率人臉圖像的全局特征的主要步驟如下^［4］：

將原始低分辨率人臉圖像轉換為二維矩陣形式I_m×n，其中矩陣的行和列m×n分別代表低分辨率人臉圖像的高度和寬度，而矩陣內(nèi)元素則對應圖像的像素點灰度值。為描述低分辨率人臉圖像中各個像素之間的相關性，計算其協(xié)方差矩陣Z，表達式如下：

Z=1m-1（I-I）^T（I-I）（1）

式中，I表示低分辨率人臉圖像二維矩陣的均值；T表示轉置。

對式（1）所分解的低分辨率人臉圖像的協(xié)方差矩陣的特征值按依次遞減的順序進行排列，取前N個特征值所對應的特征向量進行組合，即可構成低分辨率人臉圖像的全局特征矩陣X=［X1，X2，…，XN］。將低分辨率人臉圖像二維矩陣I投影到全局特征矩陣X上，得到全局特征向量，表達式如下：

x1=X^T（I-I）（2）

式中，x1表示低分辨率人臉圖像的全局特征向量。

2"提取低分辨率人臉圖像的局部特征

在根據(jù)文中上述內(nèi)容完成了低分辨率人臉圖像的全局特征的提取后，還須要提取局部特征。局部特征主要指低分辨率人臉圖像中某一個有限局部區(qū)域內(nèi)的特征向量，可以反映圖像中人臉的局部細節(jié)信息。本文采用局部二元模式（Local Binary Pattern，LBP）算法提取低分辨率人臉圖像局部特征的具體流程如下：

定義一個LBP算子，即以低分辨率人臉圖像的某一個像素點為中心，設定一個鄰域范圍，假設本文以像素點（i，j）為中心，其鄰域范圍為M個像素點，則本文定義的LBP算子表達式如下：

S（i，j）=∑M-1M=02^MF（h1-h2）（3）

式中，S（i，j）表示低分辨率人臉圖像的LBP算子；F（h1-h2）表示符號函數(shù)，其中h1、h2分別為低分辨率人臉圖像上中心和鄰域內(nèi)像素點的灰度值。

對于低分辨率圖像上中心像素點（i，j）的鄰域內(nèi)的各個像素點，將h2和h1進行對比。如果h2≤h1，即h1-h2≥0，將符號函數(shù)標記為1；否則，將符號函數(shù)標記為0。這樣通過對比鄰域內(nèi)各個像素點和中心像素點之間的灰度值，就可以得到一個僅由0和1組成的二進制序列。按照上述步驟遍歷低分辨率人臉圖像中的每個像素點，分別獲取各像素點LBP值，即可得到一個與原圖像大小相同的LBP特征圖。

3"集成特征的卷積神經(jīng)網(wǎng)絡人臉識別

完成低分辨率人臉圖像的全局特征和局部特征的提取之后，即可根據(jù)這些特征進行人臉識別。為充分發(fā)揮全局和局部特征的優(yōu)勢，本文引入卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）構建人臉識別模型。本文構建的CNN模型主要包括特征集成和分類識別2個模塊。其中，特征集成模塊主要負責將全局特征和局部特征進行融合計算，以形成更具鑒別力的集成特征。

已知本文提取的低分辨率人臉圖像全局特征為x1，假設低分辨率人臉圖像局部特征為x2，本文采用加權融合的方式進行全局和局部特征集成處理，具體集成公式如下：

x3=ω1×x1+ω2×x2（4）

式中，x3表示低分辨率人臉圖像的集成特征；ω1、ω2分別表示全局和局部特征的加權系數(shù)，滿足下式所示條件：

ω1+ω2=1（5）

在根據(jù)上述內(nèi)容完成低分辨率人臉圖像的全局和局部特征集成后，將該集成特征傳輸至CNN的分類識別模型，進行特征分類。在分類識別模塊中，本文主要采用Softmax函數(shù)作為激活函數(shù)，以此實現(xiàn)集成特征的分類識別，表達式如下：

Pi=exp（yi）∑Jj=1exp（yj）（6）

式中，Pi表示低分辨率人臉圖像集成特征所屬類別的預測概率；yi、yj分別表示Softmax函數(shù)輸入的集成特征向量所對應的第i個類別和第j個類別的元素值；J表示低分辨率人臉圖像集成特征所屬類別的總數(shù)。將提取的低分辨率圖像全局和局部特征輸入CNN模型后，經(jīng)過模型的學習即可輸出人臉識別結果。

4"仿真實驗

仿真對比實驗在AI Studio平臺的高級版GPU環(huán)境中進行，使用Tesla V100 GPU，配備16 GB顯存。在本次仿真實驗中，收集大笑、悲傷、憤怒、吃驚、微笑、嚴肅這6種不同表情的低分辨率人臉圖像各50張，共計300張人臉圖像作為實驗數(shù)據(jù)。所有人臉圖像均經(jīng)過尺寸歸一化等預處理，以確保輸入數(shù)據(jù)的一致性和準確性。本次人臉識別實驗中的一些具有代表性的示例圖像如圖1所示。

分別采用本文設計方法、賀懷清等^［1］方法、王宸等^［2］方法，對300張不同表情的低分辨率人臉圖像進行人臉識別，根據(jù)識別結果評價設計方法的實際應用性能。在本次人臉識別仿真對比實驗中，由于實驗數(shù)據(jù)較多，本章僅展示部分具有代表性的人臉圖像識別結果，如圖2所示。

由圖2可知，在30張示例低分辨率人臉圖像識別中，本文方法的識別準確率明顯高于賀懷清等^［1］方法和王宸等^［2］方法。在賀懷清等^［1］方法和王宸等^［2］方法中，“大笑”和“微笑”2種表情、“吃驚”和“憤怒”2種表情，因為其眼睛、嘴巴等局部特征的變化不是很明顯，所以人臉識別結果容易出現(xiàn)誤差。本文方法由于分別提取了全局和局部特征，能夠更全面地捕捉人臉表情信息，最終人臉識別結果的準確性更高。

計算3種方法在低分辨率人臉識別中的實際識別率，分別統(tǒng)計并整理本文方法、賀懷清等^［1］方法、王宸等^［2］方法下所有不同表情的低分辨率人臉圖像的正確識別圖像數(shù)量，如表1所示。

從表1可知，在不同表情的低分辨率人臉圖像識別中，本文方法下識別結果的正確率高達94%，對比賀懷清等^［1］方法和王宸等^［2］方法分別提升了12.3%、9%。因此，本文方法是可行且可靠的，在實際應用中具有顯著優(yōu)勢。

5"結語

本文提出了一種基于全局和局部特征集成的低分辨率人臉識別方法，通過卷積神經(jīng)網(wǎng)絡對主成分分析法與局部二值模式算法提取的特征進行集成處理并進行人臉識別，能夠達到在低分辨率條件下準確識別人臉的目標。然而，本研究仍存在一定的局限性，如對于極端低分辨率和復雜環(huán)境下的識別效果有待提升。

參考文獻

［1］賀懷清，閆建青，惠康華.基于深度殘差網(wǎng)絡的輕量級人臉識別方法［J］.計算機應用，2022（7）：2030-2036.

［2］王宸，劉劍飛，郝祿國，等.一種基于InsightFace算法的課堂人臉識別方法研究［J］.南開大學學報（自然科學版），2022（2）：59-68.

［3］許向陽，袁杉杉，王軍，等.基于全局和局部特征的圖像拼接方法［J］.北京理工大學學報，2022（5）：502-510.

［4］朱寬堂，張建勛，譚暑秋.基于全局特征和多種局部特征的行人重識別［J］.微電子學與計算機，2022（2）：43-50.

（編輯"王雪芬）

Low-resolution face recognition methods based on global and local feature integration

SUN "Liqiang， LIU "Xiaoxia， LIU "Wenxue

（Qingdao Vocational and Technical College of Hotel Management， Qingdao 266100， China）

Abstract： "Due to the blurred face features in low resolution images， the accuracy of face recognition results is low， and the low resolution face recognition method based on global and local feature integration is proposed. Principal component analysis method to extract the global features of low resolution face image， through the LBP algorithm of local features， build a convolution neural network containing feature integration module and classification recognition module， input extraction of global and local features， after learning output low resolution face recognition results. The experimental results show that the accuracy of the low-resolution face recognition results under the design method is up to 94%， and the proposed method is effective and superior.

Key words： global features; local features; feature integration; low resolution; face recognition