基于HOG與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別研究

顧江鵬 袁和金

摘 要：為了獲取更加全面的整體與局部人臉特征，得到更高的人臉識別率，提出一種基于方向梯度直方圖（HOG）特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別新方法。該方法首先提取人臉圖像的HOG特征，然后將HOG特征圖像作為卷積網(wǎng)絡(luò)的輸入數(shù)據(jù)進行訓(xùn)練，改進網(wǎng)絡(luò)結(jié)構(gòu)，在全連接層之后采用Softmax loss和center loss兩個損失函數(shù)進行監(jiān)督，最后在訓(xùn)練得到的網(wǎng)絡(luò)模型上對人臉圖像進行識別操作。實驗結(jié)果表明，該方法在ORL人臉集上的識別率達到97.5%，相比于其它人臉識別算法具有一定優(yōu)越性。

關(guān)鍵詞：HOG;卷積神經(jīng)網(wǎng)絡(luò);人臉識別;特征提取

DOI：10. 11907/rjdk. 181859

中圖分類號：TP301文獻標(biāo)識碼：A文章編號：1672-7800（2019）003-0020-05

0 引言

人臉識別屬于生物識別領(lǐng)域的研究內(nèi)容之一，與傳統(tǒng)生物識別手段相比，人臉識別具有無接觸、交互性強、更友好直觀，且更方便安全等優(yōu)勢[1]。國外手機廠商蘋果公司首次將人臉識別應(yīng)用于手機解鎖，國內(nèi)支付平臺支付寶首次實現(xiàn)刷臉支付，公安部門的天眼系統(tǒng)可根據(jù)人臉檢測實現(xiàn)實時安全監(jiān)測及疑犯追蹤，這些都是人臉識別的典型應(yīng)用，人臉識別同樣在門禁系統(tǒng)、檔案管理等領(lǐng)域應(yīng)用廣泛。目前，人臉識別技術(shù)已經(jīng)成為計算機視覺與人工智能領(lǐng)域的研究熱點[2]。

如何提高人臉識別率一直是研究人員的研究重點，而影響人臉識別準確率的主要因素在于特征提取。定向梯度直方圖特征最初主要用于在計算機視覺與圖像處理中檢測物體的特征描述子，近年來HOG描述符也被應(yīng)用于人臉檢測。Zheng等[3]提出一種基于密集網(wǎng)格直方圖的人臉識別方法，將人臉圖像均分為很多密集網(wǎng)格，從中提取HOG特征，然后構(gòu)造HOG網(wǎng)格特征向量，實現(xiàn)整個人臉的特征表達，最后利用最近鄰算法進行分類識別，該方法可有效表示復(fù)雜環(huán)境下的人臉特征;Cuan[4]提出改進的面向梯度直方圖與稀疏表示的混合識別方法，可以保持光照與幾何不變性，對表情、姿勢和角度變化不敏感，從而消除了許多不必要的干擾信息，提高了面部識別準確性;Xie & Sujata等[5-7]從不同角度采用LBP與HOG融合算法進行人臉識別，在有遮擋、姿態(tài)變化及光照變化等條件下取得了較好效果。然而這些方法在特征提取過程中介入了太多主觀因素，過度依賴于人工選擇，對識別準確性造成一定負面影響。

近年來，深度學(xué)習(xí)在計算機視覺與物體識別領(lǐng)域取得了突出進展，卷積神經(jīng)網(wǎng)絡(luò)算法逐漸被引入到人臉識別相關(guān)研究中。LeCun[8]首次提出LeNet-5，其傾向于將CNN稱為卷積網(wǎng)絡(luò)，將網(wǎng)絡(luò)中的節(jié)點稱為單元，自此開啟了現(xiàn)代卷積網(wǎng)絡(luò)研究;Facebook團隊[9]與香港中文大學(xué)團隊[10]分別在LFW數(shù)據(jù)集上報告了97.35%和97.45%的平均分類精度，其在人臉識別技術(shù)路線上，由基于DCNN的端到端自主學(xué)習(xí)特征替代了傳統(tǒng)的人工設(shè)計特征與分類識別;Google團隊提出的FaceNet[11]框架在LFW數(shù)據(jù)集上的平均分類精度達到99.63%。雖然上文提到的各種深度卷積神經(jīng)網(wǎng)絡(luò)算法及其改進算法能夠獲得很高的識別準確率，但其均采取了更深的網(wǎng)絡(luò)結(jié)構(gòu)，在獲得更好特征抽象能力的同時，也意味著訓(xùn)練難度的增大、訓(xùn)練參數(shù)的增多以及更大的計算量，而傳統(tǒng)的CNN網(wǎng)絡(luò)對圖像局部結(jié)構(gòu)特征不敏感，難以學(xué)習(xí)到人臉局部特征，同時網(wǎng)絡(luò)還會因光照等因素學(xué)習(xí)到不利特征?；谝陨戏治?，本文提出一種基于HOG特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別新方法，在網(wǎng)絡(luò)輸入原始人臉圖像基礎(chǔ)上，加入人臉的HOG特征，使卷積神經(jīng)網(wǎng)絡(luò)在自動學(xué)習(xí)原始圖像信息的同時，也可以學(xué)習(xí)到HOG人臉局部特征。實驗結(jié)果表明，在卷積神經(jīng)網(wǎng)絡(luò)中加入HOG特征可一定程度上提高人臉識別準確率。

1 HOG特征提取

HOG特征最早被應(yīng)用于行人檢測，是一種由SIFT算子發(fā)展演變而來的特征描述子，用于描述圖像局部差分信息，因其具有對圖像幾何和光學(xué)變化保持不變性的特點，并且受噪聲影響小，對人臉表情變化、場景變化具有很好的魯棒性，因而被廣泛應(yīng)用于人臉識別領(lǐng)域。HOG 特征由HOG算子通過計算圖像局部區(qū)域梯度，統(tǒng)計分布在不同方向的梯度幅值得到的梯度方向直方圖構(gòu)成，具體特征提取過程如下：

（1）Gamma校正。對輸入圖像作顏色歸一化處理，從而提高圖像整體亮度，減弱圖像局部陰影與光照變化帶來的影響，也可以抑制噪聲干擾。

Gamma壓縮公式為：

（2）圖像梯度值計算。分別計算圖像橫縱坐標(biāo)梯度，具體為：采用中心對稱梯度算子[-1，0，1]對圖像作卷積操作，可得到[x]方向梯度分量;采用算子[1，0，-1T]對圖像作卷積操作，可得到[y]方向梯度分量，據(jù)此可計算每個像素點的梯度方向值。該操作可捕捉人影、輪廓與一些紋理信息，并進一步減弱光照影響。

像素點[（x，y）]梯度為：

（3）構(gòu)建局部方向梯度直方圖。將圖像分成若干單元格，稱為細胞單元（cell），對每個cell的梯度方向進行統(tǒng)計。將[0，π]之間分為9個區(qū)間，平均每個區(qū)間占[20°]，由此可得每個單元的一個9維梯度方向直方圖。

（4）將block中的局部梯度直方圖歸一化。將相鄰不重疊的k個cell組合成一個block，然后將該block塊內(nèi)所有cell的直方圖進行拼接，采用[L2]范數(shù)對block中的直方圖進行歸一化處理，得到該block塊對應(yīng)的梯度直方圖。

（5）HOG特征形成。收集圖像中全部block的HOG特征，依次級聯(lián)全部block的直方圖特征，從而得到圖像的整體HOG特征。HOG特征提取過程如圖1所示。

針對同一張圖像，采用不同cell_size得到的HOG特征如圖2所示（圖像經(jīng)過反相處理）。

由圖2對比可以看出，適當(dāng)增大cell大小得到的特征圖更加注重圖像基本輪廓與邊緣，而忽略了圖像中的一些細節(jié)，從而在一定程度上降低了噪聲。

本實驗中HOG特征提取參數(shù)設(shè)置為：2*2細胞/區(qū)間，8*8像素/細胞，8個直方圖通道，步長為1。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[12-13]最早是由日本學(xué)者Fukushima基于Hubel&Wiesel感受野概念提出的神經(jīng)認知機，其本質(zhì)上是一種為處理二維輸入數(shù)據(jù)設(shè)計的多層神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)的每一層有許多二維平面，而每個二維平面都由多個獨立神經(jīng)元組成，其中相鄰兩層神經(jīng)元間互相連接，處于同一層的神經(jīng)元間沒有連接。權(quán)值共享的結(jié)構(gòu)特征使卷積神經(jīng)網(wǎng)絡(luò)更加類似于生物神經(jīng)網(wǎng)絡(luò)，同時網(wǎng)絡(luò)模型容量可通過網(wǎng)絡(luò)廣度與深度加以調(diào)整[14]。因而與全連接網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)具有更少的網(wǎng)絡(luò)連接數(shù)與權(quán)值參數(shù)，從而有效簡化了網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度。

（1）卷積層。卷積層主要對輸入層或上一采樣層輸出的特征圖像進行卷積操作，然后通過激勵函數(shù)的作用得到相應(yīng)特征圖。經(jīng)過卷積層的一系列操作后可以提取圖像局部區(qū)域特征，相應(yīng)每一個卷積核即是特征提取器。例如第l層卷積層中第j個特征圖計算公式[15]為：

（2）池化層。池化層設(shè)置在兩個卷積層之間，主要對上一層卷積層得到的特征圖進行降采樣操作，通過該步驟可以有效縮小矩陣尺寸、降低卷積特征維數(shù)，并大幅減少訓(xùn)練參數(shù)數(shù)量，以減輕分類器負擔(dān)，從而在一定程度上加快了計算速度，防止數(shù)據(jù)出現(xiàn)過擬合問題。設(shè)第[l]層為池化層，該層某個特征圖的計算公式為：

（3）全連接層。圖像在經(jīng)過上述兩步操作后，將上一層所有神經(jīng)元與全連接層的神經(jīng)元相連。該層依據(jù)具體任務(wù)情況對高層特征進行映射，主要是將卷積輸出的二維特征圖轉(zhuǎn)化成一維特征向量，計算公式[15]為：

（4）輸出層。卷積網(wǎng)絡(luò)中的輸出層通常作為分類器存在，常用分類器主要有sigmoid函數(shù)與softmax函數(shù)。以分類能力較強的softmax[16]函數(shù)為例，該函數(shù)可對多個類別進行分類。softmax回歸中將[x]劃分為類別[j]的概率為：

3 本文算法

目前在大部分卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)常使用softmax loss作為損失函數(shù)進行模型訓(xùn)練，因為softmax loss能夠使特征可分。然而在人臉識別中，深度學(xué)習(xí)特征不僅具有可分性，還應(yīng)具有可判別性。Wen等[17]提出一種新的損失函數(shù)center loss，其能夠在最小化類內(nèi)距離的同時保證特征的可判別性。center loss公式定義如下：

故本研究在傳統(tǒng)卷積網(wǎng)絡(luò)基礎(chǔ)上，結(jié)合softmax loss與center loss兩種損失函數(shù)進行類別監(jiān)測，取參數(shù)[λ]為1進行實驗。同時對于網(wǎng)絡(luò)輸入，首先對人臉圖像提取HOG特征，可降低人臉表情、光照與噪聲的影響。

本實驗的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖4所示。

其中，輸入圖片大小為57[×]47，包含2個卷積層、2個池化層和1個全連接層，最后用softmax loss與center loss聯(lián)合監(jiān)測分類。卷積層C1有5個3[×]3的卷積核，padding為same，步長為2，得到輸出為57[×]47[×]5;池化層S1對C1每個2[×]2的區(qū)域采樣，步長為2，輸出為28[×]23[×]5;卷積層C2采用10個3[×]3的卷積核，padding為same，步長為2，得到輸出為28[×]23[×]10;池化層S2對C2每個2[×]2的區(qū)域采樣，步長同樣為2，輸出為14[×]11[×]10;全連接層FC的輸入來自S2，將多維輸入一維化，最后利用分類器進行分類。

4 仿真實驗及分析

為了驗證本文算法的可行性與優(yōu)越性，采用ORL人臉庫作為實驗數(shù)據(jù)集。實驗運行環(huán)境為：Ubuntu16.04操作系統(tǒng)、Theano開發(fā)工具與NVIDIA GTX950M顯卡。

4.1 實驗數(shù)據(jù)集

ORL人臉庫共包含40個不同年齡、性別與種族的對象，每個對象有10幅圖像，總計400張灰度圖，圖像尺寸為[92×112px]，圖像背景全為單一黑色，人臉部分的表情和細節(jié)都有變化，如笑與不笑、睜眼與閉眼、戴或不戴眼鏡等，人臉姿態(tài)同樣有變化，人臉深度與平面旋轉(zhuǎn)可達到將近20°，尺寸也有近10%的變化。該人臉庫的部分人臉圖像如圖5所示。

4.2 實驗方法及參數(shù)設(shè)置

實驗過程中對數(shù)據(jù)集作以下處理：首先提取圖像的HOG特征，得到處理后的HOG特征圖集，將處理后的數(shù)據(jù)集作為輸入;依次選取同一個人的前6張圖像作為訓(xùn)練集，第7～8張圖像作為驗證集，第9～10張圖像作為測試集，從而分別得到訓(xùn)練集、驗證集、測試集的320張、40張、40張圖像。實驗中主要參數(shù)設(shè)定為：學(xué)習(xí)率為0.05，批次大小為40，訓(xùn)練步數(shù)為40，卷積核個數(shù)依次是5、10，池化大小為（2，2）。使用訓(xùn)練數(shù)據(jù)訓(xùn)練得到網(wǎng)絡(luò)模型，然后加載模型對測試數(shù)據(jù)進行測試，從而得到相應(yīng)的人臉識別率。

對于實驗?zāi)Ｐ蛥?shù)的討論如下：

（1）調(diào)節(jié)batch_size。本實驗采用minibatch SGD算法進行優(yōu)化，即batch連續(xù)將數(shù)據(jù)輸入CNN模型中，然后計算該batch所有樣本的平均損失，即代價函數(shù)是所有樣本平均值，batch_size是一個batch包含的樣本數(shù)。

本實驗訓(xùn)練集數(shù)據(jù)為320，驗證集和測試集都為40，所以最好設(shè)置batch_size能被40整除，否則會浪費一些樣本。當(dāng)batch_size設(shè)置為1、2、5、10、20時，驗證錯誤率一直是97.5%，沒有下降。由于實驗中每個類別的10個樣本連續(xù)排列在一起，故若batch_size過小，則類別覆蓋率偏低，最終將其設(shè)置為40。

（2）調(diào)節(jié)learning_rate。學(xué)習(xí)率learning_rate是運用SGD算法時梯度之前的系數(shù)，若該系數(shù)設(shè)置過大，算法可能無法進行優(yōu)化;若設(shè)置過小，則算法優(yōu)化太慢，而且可能陷入局部最優(yōu)。

分別設(shè)置learn_rate為0.1、0.01、0.05，對應(yīng)的驗證錯誤率分別為97.5%、5%、2.5%，故本實驗選取學(xué)習(xí)率為0.05進行實驗。

（3）調(diào)節(jié)pool_size。本實驗中pool_size大小為（2，2），即在4個像素中保留1個像素，由于實驗樣本圖像大小為57*47，對于小圖像而言，大小為（2，2）時比較合適。

4.3 實驗結(jié)果與分析

隨著實驗步數(shù)的增加，驗證集錯誤率與分類的對數(shù)損失變化如圖6所示。

采用本文算法與其它算法獲得的人臉識別率對比如表1所示[18]。

由表1可以看出，采用HOG特征與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法相比于主成分分析法及BP神經(jīng)網(wǎng)絡(luò)，識別率得到明顯提高，同時相對于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，本文算法在識別率上也具有一定優(yōu)勢。

5 結(jié)語

本文提出一種基于HOG特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法。HOG算子可以很好地描述圖像局部信息，同時也具有對圖像幾何與光學(xué)變化的不變性，受噪聲影響較小。通過在卷積網(wǎng)絡(luò)中加入HOG圖像信息，使卷積神經(jīng)網(wǎng)絡(luò)能夠提取到區(qū)分性更強的人臉特征信息。根據(jù)ORL人臉庫的實驗結(jié)果表明，本文方法能夠有效提高人臉識別率。

然而，本文提出的方法雖然能夠有效提高人臉識別率，但是人臉數(shù)據(jù)集背景較為簡單，在更復(fù)雜的人臉圖像環(huán)境中，相比于限制環(huán)境下的數(shù)據(jù)集，算法識別率有所下降。因此，如何在更復(fù)雜的非限制環(huán)境中進一步提高人臉識別率是將來的主要研究方向。

參考文獻：

[1] 景晨凱，宋濤，莊雷，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別技術(shù)綜述[J]. 計算機應(yīng)用與軟件，2018，35（1）：223-231.

[2] 何春. 人臉識別技術(shù)綜述[J]. 智能計算機與應(yīng)用，2016，6（5）：112-114.

[3] XIANG Z，TAN H，YE W. The excellent properties of a dense grid- based hog feature on face recognition compared to Gabor and LBP[J]. IEEE Access， 2018，6： 29306-29319.

[4] YING C，SHI Y. Face recognition of the rhinopithecus roxellana qinlingensis based on improved HOG and sparse representation[C]. International Conference on Computer Network， Electronic and Automation， 2017：499-503.

[5] XIE Z， JIANG P， ZHANG S. Fusion of LBP and HOG using multiple kernel learning for infrared face recognition[C]. IEEE/ACIS International Conference on Computer and Information Science，2017：81-84.

[6] BHELE S G，MANKAR V H. Recognition of faces using discriminative features of LBP and HOG descriptor in varying environment[C]. International Conference on Computational Intelligence and Communication Networks， 2016：426-432.

[7] GHORBANI M， TARGHI A T， DEHSHIBI M M. HOG and LBP： towards a robust face recognition system[C]. Tenth International Conference on Digital Information Management， 2016：138-141.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J].? Proceedings of the IEEE，1998， 86（11）：2278-2324.

[9] TAIGMAN Y，YANG M，RANZATO M，et al. Deepface： closing the gap to human-level performance in face verification[C]. IEEE Conference on Computer Vision and Pattern Recognition，2014：1701-1708.

[10] SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10000 classes[C]. Computer Vision and Pattern Recognition， 2014：1891-1898.

[11] SCHROFF F，KALENICHENKO D，PHILBIN J. FaceNet： a unified embedding for face recognition and clustering[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015：815-823.

[12] 鄒國鋒，傅桂霞，李海濤，等. 多姿態(tài)人臉識別綜述[J]. 模式識別與人工智能，2015，28（7）：613-625.

[13] 吳堯，邱衛(wèi)根. 基于改進的深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別[J]. 計算機工程與設(shè)計，2017，38（8）：2246-2250.

[14] 周飛燕，金林鵬，董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機學(xué)報，2017，40（6）：1229-1251.

[15] SYAFEEZA A R， KHALIL-HANI M， S S， et al. Convolutional neural network for face recognition with pose and illumination variation[J]. International Journal of Computational Intelligerce & Applications，2015，14（3）：1-18.

[16] 汪海波，陳雁翔，李艷秋. 基于主成分分析和Softmax回歸模型的人臉識別方法[J]. 合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2015，38（6）：759-763.

[17] WEN Y， ZHANG K， LI Z， et al. A discriminative feature learning approach for deep face recognition[C]. European Conference on Computer Vision， 2016：499-515.

[18] 張國云，向燦群，羅百通，等. 一種改進的人臉識別CNN結(jié)構(gòu)研究[J]. 計算機工程與應(yīng)用，2017，53（17）：180-185，191.

（責(zé)任編輯：黃 健）