基于人臉分塊近似對稱性預(yù)處理的人臉識別算法

朱 葉，李 琳，張佳鵬

（上海理工大學(xué)光電信息與計算機(jī)工程學(xué)院，上海 200082）

0 引言

人臉識別技術(shù)是當(dāng)前人工智能領(lǐng)域研究熱點(diǎn)之一。隨著電子科技的發(fā)展，人臉識別技術(shù)在生活中應(yīng)用日趨廣泛，人臉圖像的唯一性、易于采樣等優(yōu)點(diǎn)，使得人臉識別技術(shù)發(fā)展迅速，如手機(jī)面部識別、視頻監(jiān)控、電子門禁等都應(yīng)用了人臉識別技術(shù)。隨著人臉識別技術(shù)的不斷發(fā)展，其準(zhǔn)確率和穩(wěn)定性也在不斷提升，人臉識別技術(shù)日趨完善。

人臉識別是一個典型的圖像模式分析、理解與分類計算問題，涉及多個交叉學(xué)科。傳統(tǒng)的人臉識別方法有主成分分析法（Principal Components Analysis，PCA）［1］、拉普拉斯特征圖法［2］、局部保值映射［3］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［4］以及Wright 等［5］提出的稀疏表示（Sparse Recognition based Classification，SRC）方法等。近幾年，人臉識別技術(shù)在不同場景下應(yīng)用越來越廣，人們對其要求也不斷提升。隨著傳統(tǒng)人臉識別方法的不斷改進(jìn)，人臉識別在可控場景下已經(jīng)有了極高的準(zhǔn)確率。但是人臉識別應(yīng)用往往是處于非限制場景下［6］的，在真實(shí)場景下［7］進(jìn)行人臉識別時，獲取的人臉圖像往往受到光照、姿勢、表情和遮擋等因素影響［8］，如果使用傳統(tǒng)的人臉識別方法，識別準(zhǔn)確率會大大降低。如何提高在非限制場景下的人臉識別準(zhǔn)確率問題成為研究熱點(diǎn)。研究人員已經(jīng)提出一些減少照明對面部識別的影響方法［9］，如Xie 等［10］提出整合人臉圖像的大小特征將人臉圖像標(biāo)準(zhǔn)化；Zhang 等［11］提出一種基于非局部均值的歸一化方法作為用于魯棒人臉識別的圖像預(yù)處理技術(shù)等。

針對非限制場景下有遮擋的人臉識別問題，2016 年Xu 等［12］提出一種人臉近似對稱性預(yù)處理的人臉識別方法。該方法根據(jù)人臉左右近似對稱，采用梯度下降迭代算法，將被遮擋的半張人臉進(jìn)行對稱恢復(fù)，從原始面部圖像生成對稱的虛擬面部圖像，減少姿勢和光照變化對人臉識別的影響，該算法大大提高了遮擋條件下人臉識別的準(zhǔn)確率。但在真實(shí)情況下被遮擋部分可能為人臉較小區(qū)塊，并且人的左右臉不可能完全一致，存在一定差異。如果進(jìn)行整個左右臉恢復(fù)，其恢復(fù)的人臉圖像與原始人臉圖像會有一定差別，其對識別準(zhǔn)確率有一定影響。

針對上述問題，本文在人臉近似對稱性預(yù)處理算法上作相應(yīng)改進(jìn)。首先將人臉部分采用特征點(diǎn)定位算法［14］進(jìn)行分塊，將分塊后的人臉進(jìn)行遮擋判斷，對于有小部分遮擋的人臉塊利用人臉近似對稱性預(yù)處理，將遮擋部分的人臉塊進(jìn)行恢復(fù)，恢復(fù)后的人臉面部圖像與真實(shí)人臉面部圖像的幾何形狀更加一致。恢復(fù)后的人臉用SRC 算法進(jìn)行人臉識別，得到的結(jié)果魯棒性較好，識別速度較快，識別率有所提高。

1 基于人臉分塊的識別算法

1.1 MTCNN 算法

MTCNN 算法［13］采用三級聯(lián)的網(wǎng)絡(luò)P-Net（Proposal Network）、R-Net（Refine Network）和O-Net（Output Network），由粗到細(xì)，通過減少濾波器數(shù)量、設(shè)置小的卷積核和增加網(wǎng)絡(luò)結(jié)構(gòu)深度，在較短時間內(nèi)獲得很好性能［14］。

第一級網(wǎng)絡(luò)模型稱為推薦網(wǎng)絡(luò)P-Net，主要功能是獲得臉部區(qū)域的窗口與邊界Box 回歸，對獲得的臉部區(qū)域窗口與邊界Box 回歸的結(jié)果進(jìn)行校正，然后使用非最大壓制（Non-Maximum Suppression，NMS）合并重疊窗口。

第二級網(wǎng)絡(luò)模型稱為優(yōu)化網(wǎng)絡(luò)R-Net，通過一個能力更強(qiáng)的CNN 網(wǎng)絡(luò)過濾掉絕大部分非人臉候選窗口，然后繼續(xù)校正Bounding Box 回歸結(jié)果，使用NMS 合并重疊窗口。

第三級網(wǎng)絡(luò)模型稱為輸出網(wǎng)絡(luò)O-Net，對輸入第二階段數(shù)據(jù)進(jìn)一步提取，通過一個能力更強(qiáng)的網(wǎng)絡(luò)找到人臉上面的5 個標(biāo)記點(diǎn)。

MTCNN 算法能檢測出人臉的5 個關(guān)鍵點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，網(wǎng)絡(luò)訓(xùn)練流程如圖2 所示。

Fig.1 MTCNN network structure圖1 MTCNN 網(wǎng)絡(luò)結(jié)構(gòu)

Fig.2 MTCNN training process圖2 MTCNN 訓(xùn)練流程

1.2 人臉分塊

MTCNN 算法進(jìn)行人臉特征點(diǎn)定位，定位結(jié)果包括左眼中心、右眼中心、鼻尖、左側(cè)嘴角、右側(cè)嘴角，如圖3 所示。

Fig.3 Location of feature points圖3 特征點(diǎn)定位

左眼中心坐標(biāo)為(xleye,yleye)，右眼中心坐標(biāo)為(xreye,yreye)，鼻尖中心坐標(biāo)為(xnose,ynose)，左側(cè)嘴角坐標(biāo)為(xlmouse,ylmouse)，右側(cè)嘴角坐標(biāo)為(xrmouse,yrmouse)。

根據(jù)這5 個定位點(diǎn)從人臉圖像裁切出6 個人臉區(qū)塊［15］，包括左眼區(qū)塊、右眼區(qū)塊、左鼻區(qū)塊、右鼻區(qū)塊、左嘴區(qū)塊、右嘴區(qū)塊6 個部分［16］，具體裁切方法如下：

（1）將圖像調(diào)整為256×256 大小。

（2）根據(jù)左右眼坐標(biāo)裁剪出64×64 大小的左眼區(qū)塊和右眼區(qū)塊，裁剪區(qū)域?yàn)椋?/p>

左眼區(qū)塊：

右眼區(qū)塊：

（3）根據(jù)鼻尖坐標(biāo)裁剪出64×64 大小的左鼻區(qū)塊和右鼻區(qū)塊，裁剪區(qū)域?yàn)椋?/p>

左鼻區(qū)塊：

右鼻區(qū)塊：

（4）根據(jù)左右側(cè)嘴角坐標(biāo)裁剪出64×64 大小的左嘴區(qū)塊和右嘴區(qū)塊，裁剪區(qū)域?yàn)椋鹤笞靺^(qū)塊：

右嘴區(qū)塊：

區(qū)塊裁剪樣例如圖4 所示，對裁剪的6 個人臉區(qū)塊進(jìn)行遮擋判斷。

Fig.4 Example of face block results圖4 人臉分塊結(jié)果示例

1.3 遮擋判斷

將剪裁出的6 個人臉塊分為Vleye、Vreye、Vlnose、Vrnose、Vlmouse、Vrmouse。其中，Vleye表示左眼區(qū)塊特征，Vreye表示右眼區(qū)塊特征，Vlnose表示左鼻區(qū)塊特征，Vrnose表示右鼻區(qū)塊特征，Vlmouse表示左嘴區(qū)塊特征，Vrmouse表示右嘴區(qū)塊特征。分別對6 個區(qū)塊進(jìn)行特征提取。為了處理遮擋問題，本文基于InceptionV3［17］網(wǎng)絡(luò)進(jìn)行fine-tune，訓(xùn)練一個用于判別人臉區(qū)塊是否被遮擋的網(wǎng)絡(luò)。因?yàn)樽笥已?、左右鼻、左右嘴的區(qū)別較小，所以在分類訓(xùn)練集構(gòu)造時，將左右眼合并為眼睛，左右鼻合并為鼻子，左右嘴合并為嘴巴，即構(gòu)造出的訓(xùn)練集分為4 類：眼睛類、鼻子類、嘴巴類和背景類。測試集經(jīng)過運(yùn)算后輸出每個類的“得分”，最終選取得分最高的類別作為人臉塊類別。若最終測試結(jié)果為背景類得分最高，則該人臉塊為有遮擋的人臉。遮擋判別示例如圖5、圖6 所示。

Fig.5 Occlusion discrimination example 1圖5 遮擋判別示例1

Fig.6 Occlusion discrimination example 2圖6 遮擋判別示例2

1.4 人臉近似對稱性預(yù)處理

用V1、V2、V3、V4、V5、V6向量表示原始面部圖像各個區(qū)塊的矢量，V1、V2、V3、V4、V5、V6都為列向量。

Vleye區(qū)塊為V1向量，Vreye區(qū)塊為V2向量，Vlnose區(qū)塊為V3向量，Vrnose區(qū)塊為V4向量，Vlmouse區(qū)塊為V5向量，Vrmouse區(qū)塊為V6向量。

V1、V2、V3、V4、V5、V6向量定義如下：

V1、V3、V5通過第1 列到第64 列逐一連接，V2、V4、V6通過第64 列到第1 列逐一連接。

上述程序的簡單例子如圖7、圖8 所示。

Fig.7 Example of converting an image into V1，V3，V5vectors圖7 將圖像轉(zhuǎn)化為V1、V3、V5矢量的示例

使用梯度下降算法迭代更新［12］。函數(shù)f(x) 為梯度下降函數(shù)：

其中，η為學(xué)習(xí)比率，xt、xt+1分別為時間t 和t+1 的x值。通過梯度下降算法可以快速得到f(x) 的最小值和對應(yīng)的x最佳值。定義L(V1,V2)=表示為L(V1,V2)的最小值。

迭代更新V1、V2得：

為了使解值穩(wěn)定，將η設(shè)置為η=為迭代次數(shù)，因此η隨著t 增加而減小，得到了最優(yōu)的后連接它們，新合成的近似軸對稱人臉圖像就生成了。同理，V3、V4、V5和V6都可以照此進(jìn)行操作。

Fig.8 Example of converting an image into V2，V4，V6vectors圖8 將圖像轉(zhuǎn)化為V2、V4、V6矢量的示例

具體步驟為：

（1）得到人臉分塊的特征向量V1、V2、V3、V4、V5、V6，其初始值為

（2）通過迭代梯度下降算法更新V1、V2、V3、V4、V5、V6，直至滿足下面條件中的任何一個才終止迭代更新。①迭代次數(shù)大于預(yù)設(shè)最大值；②‖V1-V2‖＜ε，表示時間t 處的V1值，ε表示盡可能小的正數(shù)。

原始人臉圖像和恢復(fù)的人臉圖像示例如圖9、圖10、圖11 所示。

Fig.9 Image after the original image is restored to the right eye block圖9 原始圖像與恢復(fù)右眼區(qū)塊后的圖像

Fig.10 Original image and image after restoration of right nose block圖10 原始圖像與恢復(fù)右鼻區(qū)塊后的圖像

Fig.11 Original image and image after restoration of left eye and left nose block圖11 原始圖像與恢復(fù)左眼和左鼻區(qū)塊后的圖像

1.5 SRC 算法

將所有類別的訓(xùn)練樣本組合成一個矩陣X=[X1,X2…Xc]，其中Xi∈是第i類的數(shù)據(jù)矩陣，每列Xi表示第i類的訓(xùn)練樣本。給定測試樣本y∈Rm，將其表示為y≈Xβ，其中β=[β1;…,βi;…,βC]。βi是與第i類相關(guān)聯(lián)的系數(shù)向量。通常，如果y 來自第i類，則y≈Xi βi，表明βj,j≠i中的大多數(shù)系數(shù)幾乎為零。

2 實(shí)驗(yàn)結(jié)果

2.1 六部分人臉區(qū)塊遮擋判斷實(shí)驗(yàn)

實(shí)驗(yàn)選取AR 數(shù)據(jù)庫，從中隨機(jī)抽1 000 張人臉，將人臉分成6 部分人臉區(qū)塊，共6 000 張，將各個人臉區(qū)塊圖作為數(shù)據(jù)集。背景類數(shù)據(jù)集的采集包括真實(shí)被遮擋的人臉區(qū)塊圖，因?yàn)樽笥已?、左右鼻和左右嘴的區(qū)別較小，因此在做分類訓(xùn)練構(gòu)造時，將左眼和右眼的類別合并為眼睛類，左鼻和右鼻的類別合并為鼻子類，左嘴和右嘴的類別合并為嘴巴類。真實(shí)背景圖和人工加入遮擋的人臉區(qū)塊圖共1 000 張，隨機(jī)選取每個人臉區(qū)塊4 800 張和背景800 張圖作為訓(xùn)練集，剩下的每個人臉區(qū)塊1 200 張和剩余背景圖200 張作為測試集。

使用fine-tune 方法和Hard Negative Mining 的負(fù)類選擇方法，二分類器在較短的訓(xùn)練后取得不錯的效果。在人臉區(qū)塊分辨率足夠的情況下，訓(xùn)練的局部人臉區(qū)塊遮擋判別模型都可以進(jìn)行準(zhǔn)確預(yù)測。判別結(jié)果見表1。

Table 1 Occlusion discrimination results of local face blocks表1 局部人臉區(qū)塊遮擋判別結(jié)果

2.2 單區(qū)塊有遮擋的人臉識別實(shí)驗(yàn)

根據(jù)人臉分塊和遮擋判斷可以實(shí)現(xiàn)局部有遮擋的人臉識別算法。

實(shí)驗(yàn)選取Yale B 數(shù)據(jù)庫，包含38 個人的2 432 張人臉圖像，含人臉的不同表情、不同光照條件和不同遮擋情況。選取30 張人臉，從每人36 張無人臉圖像中隨機(jī)選取20張作為訓(xùn)練集，其他每人兩張遮擋左眼、兩張遮擋右眼、兩張遮擋左鼻、兩張遮擋右鼻、兩張遮擋左嘴、兩張遮擋右嘴，作為測試集。首先將原始圖像標(biāo)準(zhǔn)化，使得兩只眼睛在同位置對準(zhǔn)，并將面部區(qū)域剪裁成256×256 像素圖像。將圖像標(biāo)準(zhǔn)化后進(jìn)行人臉圖像分塊，分塊后的人臉訓(xùn)練按人臉區(qū)塊遮擋判別模型進(jìn)行，如果輸入的人臉區(qū)塊被二分類器判別為遮擋，則該局部特征用近似對稱預(yù)處理進(jìn)行恢復(fù)?；謴?fù)后的人臉用SRC 算法進(jìn)行分類實(shí)驗(yàn)。本文對比實(shí)驗(yàn)采用經(jīng)典的RSC［19］、SRC［5］、近似對稱預(yù)處理［12］算法，實(shí)驗(yàn)結(jié)果如表2 所示。

Table 2 Comparison of recognition rate of one block occlusion with eye，mouth and nose表2 眼睛、嘴巴、鼻子遮擋一類區(qū)塊中的識別率對比 （%）

由表2 可知，在遮擋眼睛區(qū)塊時，本文算法識別率為95.4%，遮擋嘴巴區(qū)塊時，本文算法的識別率為96.6%，遮擋鼻子區(qū)塊時，本文算法識別率為97.6%。與RSC 算法、SRC算法和近似對稱性預(yù)處理算法相比，本文算法取得了非常好的識別效果，這是因?yàn)镾RC 算法和RSC 算法識別時其遮擋的部分會影響其識別率，而近似對稱性預(yù)處理算法直接恢復(fù)半張人臉，恢復(fù)后的人臉雖然沒有遮擋，但人臉會略微失真，影響識別率。本文算法對人臉小區(qū)塊進(jìn)行恢復(fù)，恢復(fù)的人臉完整性較強(qiáng)，其識別率高于其它算法，本文算法在小區(qū)塊遮擋情況下取得了很好的效果［20］。

2.3 多區(qū)塊有遮擋人臉識別實(shí)驗(yàn)

多區(qū)塊有遮擋人臉識別實(shí)驗(yàn)仍然選擇Yale B 數(shù)據(jù)庫，從每人36 張人臉圖像中隨機(jī)選取8 張作為訓(xùn)練集，其余分別選取每人的人臉圖片遮擋兩類區(qū)塊中的各兩張作為訓(xùn)練集，具體情況如表3 所示。由于本文算法依賴于MTCNN 算法結(jié)果，在多區(qū)塊遮擋情況下，本文加入了一定的人工進(jìn)行輔助定位工作。實(shí)驗(yàn)結(jié)果與RSC 算法、SRC 算法、近似對稱預(yù)處理算法進(jìn)行對比，結(jié)果如表3 所示。

Table 3 Comparison of recognition rate of one eye，one mouth and one nose block表3 眼睛、嘴巴、鼻子遮擋兩類區(qū)塊各一個的識別率對比 （%）

本實(shí)驗(yàn)延續(xù)上一個實(shí)驗(yàn)中所用的訓(xùn)練集，將每人兩張人臉圖片遮擋三類區(qū)塊各一個作為測試集。與RSC、SRC、近似對稱預(yù)處理算法進(jìn)行對比，實(shí)驗(yàn)結(jié)果見表4。

Table 4 Comparison of recognition rates of one eye，one mouth and one nose block表4 眼睛、嘴巴、鼻子遮擋三類區(qū)塊各一個的識別率對比 （%）

由表3、表4 可知，遮擋眼睛和嘴巴各一個區(qū)塊時，本文算法的識別率為93.4%，遮擋嘴巴和鼻子各一個區(qū)塊時，本文算法的識別率為90.9%，遮擋鼻子和眼睛各一個區(qū)塊時，本文算法的識別率為92.9%。在大面積人臉區(qū)塊被遮擋的情況下，本文算法的識別率仍優(yōu)于其它算法的識別率。隨著遮擋區(qū)塊的增加，當(dāng)遮擋部分為半張人臉時，SRC和RSC 算法的識別準(zhǔn)確率都下降得很快，近似對稱性預(yù)處理本身就是恢復(fù)半張人臉，所以其識別的準(zhǔn)確率沒有太大變化，而本文算法識別率為81.3%，雖然隨著遮擋區(qū)塊的增加識別準(zhǔn)確率有所下降，但較其它算法仍舊有較高的識別率。當(dāng)遮擋3 個區(qū)塊時，情況類似于近似對稱性預(yù)處理，所以識別的準(zhǔn)確率也與之相似。綜上，本文所提出的算法在一個或兩個人臉區(qū)塊遮擋的情況下，識別準(zhǔn)確率較其它算法有所提高。

3 結(jié)語

本文提出一種基于人臉分塊的近似對稱預(yù)處理算法，用特征點(diǎn)定位進(jìn)行人臉分塊，分塊后的人臉進(jìn)行遮擋判斷后用區(qū)塊近似對稱預(yù)處理進(jìn)行恢復(fù)。本文算法在單個區(qū)塊遮擋情況下有較高的識別準(zhǔn)確率。在多區(qū)塊遮擋情況下，本文算法仍能保持較高的識別準(zhǔn)確率。通過對人臉分塊的近似對稱預(yù)處理算法研究，對有遮擋的人臉識別技術(shù)有一定提高。但是本文算法只適用于有遮擋條件下的人臉圖像，且人臉圖像為正面單樣本圖像，對其它條件下的人臉識別還需繼續(xù)研究。同時，本文實(shí)驗(yàn)中所用數(shù)據(jù)庫的人臉圖像已對齊，對于真實(shí)場景中的非對齊樣本還需作進(jìn)一步的處理與分析。