基于輕量級卷積神經(jīng)網(wǎng)絡人臉識別算法的研究與應用*

胡佳玲， 施一萍， 謝思雅， 陳 藩， 劉 瑾

(上海工程技術大學 電子電氣工程學院，上海 201620)

0 引 言

近年來，人臉識別[1]一直是很多學者們研究的熱點問題。人臉識別算法目前主要分為兩種：一種是機器學習算法，本質(zhì)主要是通過設定人臉特征再結(jié)合Adaboost等分類算法加以實現(xiàn)；第二種是近年來比較流行的結(jié)合深度學習[2]的人臉識別算法?；谏疃葘W習的人臉識別算法一般采用卷積神經(jīng)網(wǎng)絡(convolution neural network,CNN)來實現(xiàn)。發(fā)展至今，基于CNN[3]的人臉識別算法在準確率上已經(jīng)趨于100 %，并且有越來越多效果很好的網(wǎng)絡相續(xù)出現(xiàn)。2014年，香港中文大學的團隊利用深度學習人臉識別算法取得了準確率為97.45 %的好成績；準確率的提升往往伴隨著CNN深度和復雜度的增加，在提高精度的同時，意味著網(wǎng)絡深度、參數(shù)和計算量的大幅增加，訓練時間也相對延長。例如Google Inception Net有22層，且ResNet達到了152層。其次，隨著小型設備的應用不斷廣泛，越來越多的研究不僅僅局限于靠強大的服務器去訓練網(wǎng)絡。

針對上述問題，本文選用了一種輕量級MobileNet[4]模型，將改進的MoblieNet網(wǎng)絡和區(qū)域生成網(wǎng)絡(region proposal network,RPN)[5]融合構(gòu)成一個用于人臉識別的專用網(wǎng)絡，并對其進行了改進，有效地提高了網(wǎng)絡的運行速度，降低了網(wǎng)絡的參數(shù)量。最后用Jetson Nano嵌入式開發(fā)板作為訓練的載體，測試網(wǎng)絡的具體性能，并應用到實際場景中。

1 人臉識別系統(tǒng)

如圖1所示，為本文設計構(gòu)建的人臉識別模型，系統(tǒng)的硬件采用嵌入式開發(fā)板Jetson Nano，將搭建好的改進型輕量級人臉識別網(wǎng)絡在開發(fā)板上訓練好，并投入使用。

圖1 人臉識別系統(tǒng)模型

2 改進型MobileNet網(wǎng)絡

本文設計的模型具體從兩個方面進行改進：首先，將MobileNet網(wǎng)絡中SoftMax[6]層改用L-SoftMax[7]層替換；其次，網(wǎng)絡融合入RPN，提高網(wǎng)絡的識別效率。

2.1 MobileNet網(wǎng)絡

2017年，Google提出MobileNet深度學習網(wǎng)絡，與傳統(tǒng)卷積神經(jīng)網(wǎng)絡不同在于，MobileNet網(wǎng)絡采用深度可分離卷積[8](depthwise separable convolution)，即把傳統(tǒng)卷積分為深度卷積(depthwise convolution)和逐點卷積(pointwise convolution)。深度可分離卷積可以在保證網(wǎng)絡不損失大量精確度的情況下大大降低網(wǎng)絡參數(shù)和計算量。卷積的具體分解過程如圖2所示。

圖2 傳統(tǒng)卷積、深度卷積和逐點卷積

如圖2(a)傳統(tǒng)卷積所示：卷積核channel=輸入特征矩陣channel；輸出特征矩陣channel=卷積核個數(shù)。而圖2(b)中的深度卷積：卷積核channel=1；輸入特征矩陣channel=卷積核個數(shù)=輸出特征矩陣channel。

1×1的卷積核在深度可分離卷積中被稱為逐點卷積。特征映射F的大小為(DF,DF,M)，K為(DK,DK,M,N)，如圖2(a)傳統(tǒng)卷積所示。其輸出的特征映射G大小為(DG,DG,N)。傳統(tǒng)卷積的計算公式如下

(1)

傳統(tǒng)卷積的計算量為DK·DK·M·N·DF·DF。現(xiàn)將傳統(tǒng)卷積(DK,DK,M,N)進行拆分，拆分為深度卷積和逐點卷積：

1)濾波由深度卷積負責，尺寸為(DK,DK,1,M)，如圖2(b)的深度卷積所示，輸出的特征為(DG,DG,M)。

2)轉(zhuǎn)換通道由逐點卷積負責，尺寸為(1,1,M,N)，如圖2(c)的逐點卷積所示，得到最終的輸出為(DG,DG,M)。深度卷積的卷積公式為

(2)

DK·DK·M·DF·DF+M·N·DF·DF

(3)

因此，深度可分離卷積與傳統(tǒng)卷積比值為

(4)

一般情況下，N的取值較大。假設用的卷積核為3×3大小，則這里計算量大約會減少9倍左右，訓練網(wǎng)絡的時間也大大縮短。

2.2 網(wǎng)絡層優(yōu)化

雖然，MobileNet的計算量比傳統(tǒng)卷積神經(jīng)網(wǎng)絡高許多倍，但其檢測準確率低于層數(shù)較多的卷積神經(jīng)網(wǎng)絡。MobileNet在訓練時使用SoftMax分類器。但研究發(fā)現(xiàn)采用L-SoftMax的分類效果比SoftMax更好。最初，人臉識別采用SoftMax Loss方法，但實驗發(fā)現(xiàn)，這種方式只能確保讓其組與組間具有區(qū)分性，而對組內(nèi)的約束是很小的。所以，鑒于此，L-SoftMax增加了一個代表分類間隔的超參數(shù)m，它決定了接近地面真值類的強度，產(chǎn)生一個角邊距，使得學習特征變得更加緊湊和良好分離。

SoftMax Loss函數(shù)公式如式(5)所示

(5)

式中sj為SoftMax函數(shù),代表屬于各個類別的概率。

而L-SoftMax Loss的公式如下

(6)

式中D(θ)要求是單調(diào)遞減函數(shù)，D(π/m)應等于cos(π/m)。m是一個與分類裕度密切相關的整數(shù)，隨著m的增大，分類裕度變大，學習目標也變難。而這種方式，會迫使模型學習到類間距離更大，而類內(nèi)距離更小的特征。因此，會使得分類效果更清晰。這一點在迭代次數(shù)多的情況下效果會更明顯。表1為改進后的網(wǎng)絡結(jié)構(gòu)。

表1 改進型MobileNet網(wǎng)絡結(jié)構(gòu)

3 改進型MobileNet+RPN識別算法

3.1 RPN

為了縮小與深層卷積神經(jīng)網(wǎng)絡在識別率上的差距，本文還加入了RPN，用來確定人臉檢測窗口。

RPN原理上是在卷積神經(jīng)網(wǎng)絡的卷積層后生成的特征圖上產(chǎn)生建議選區(qū)。因其巧妙地采用了Anchor機制，所以，可以產(chǎn)生多尺度長寬比的建議選區(qū)。RPN網(wǎng)絡的具體實現(xiàn)過程如下：首先，用一個小網(wǎng)絡在特征圖上進行滑動，一般的滑動窗口設置為3×3大小。這個滑動窗口會做全卷積操作，并根據(jù)最后卷積層的通道數(shù)，生成一個對應數(shù)目的向量。其次，將向量連向分類層，分類層將判斷該區(qū)域是場景中的哪部分，并給出具體的分數(shù)。原Fast R-CNN[9]一共設置了9種Anchor。由于人臉的特殊性，一般人臉的比例是固定的。本文對LFW(labeled faces in the wild)中人臉比例情況做了粗略統(tǒng)計，結(jié)果表明，人臉的長寬比基本都是1︰1和2︰1，大部分在1.5左右。所以,本文的Anchor比例設置為1︰1和2︰1，尺寸和原RPN—樣，都采用3種尺寸，所以,一個3×3的區(qū)域只需要產(chǎn)生6個Anchor，達到了減少計算量的目的，同時，加入的RPN也提升了本文算法的識別率。

3.2 改進后的模型

如圖3，第一部分為MobileNet的卷積層，第二部分為加入的RPN，第三部分為全卷積層后對原SoftMax改進為L-SoftMax。改進后的算法為MobileNet-L+RPN算法。

圖3 整體網(wǎng)絡結(jié)構(gòu)

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)集

本次實驗采用的人臉數(shù)據(jù)庫為LFW，其中的圖片均來自網(wǎng)絡，共包含13 233張人臉圖片，5 749位名人，每位名人有一張或多張人臉圖片且都被標注了姓名和編號。

4.1.1 數(shù)據(jù)集分類情況

針對LFW數(shù)據(jù)集，選取10 000張用于訓練集，3 000張用于驗證集。除此外，本文還準備了1 000張測試集，測試集來源于網(wǎng)絡人臉和現(xiàn)實拍照，包括身邊的同學、朋友等。

4.1.2 圖像預處理

1)灰度化[10]：為使后續(xù)的圖像計算量變少，本文預先對數(shù)據(jù)庫進行統(tǒng)一的灰度化處理，采用的是傳統(tǒng)的灰度化處理方法。

2)直方圖均衡化[11]：增強灰度圖像的對比度，減少不相關因素的影響。

4.2 實驗結(jié)果及數(shù)據(jù)分析

Jetson Nano支持的系統(tǒng)為Ubuntu系統(tǒng)，本次安裝的版本為較新的Ubuntu 18.04.2 LTS。軟件部分采用Python 3.6版本下的Anaconda，采用Pytorch框架。網(wǎng)絡訓練參數(shù)的設置如下：初始學習率為0.001，學習策略采用按需調(diào)整學習率，權(quán)重衰減為0.000 4。

本文比較了3種網(wǎng)絡模型：CNN，MobileNet，MobileNet-L+RPN。首先在帶有GPU服務器的電腦設備上進行模型的評價，實驗數(shù)據(jù)如圖4所示：三種模型迭代15 000次的準確率折線圖，從圖中可以看出：采用CNN在迭代4 000～5 000次時，準確率趨于收斂，準確率最終穩(wěn)定在98 %左右。MobileNet在迭代10 000左右趨于收斂，準確率穩(wěn)定在95 %左右。采用MobileNet(L-SoftMax)+RPN模型在迭代8 000次左右趨于收斂，準確率最終穩(wěn)定在97 %左右。對比傳統(tǒng)的CNN，準確率還是有所下降。但比原MobileNet網(wǎng)絡，準確率提高了2個百分點。因此，本文提出的改進MobileNet網(wǎng)絡切實可行，且在準確率上較原MobileNet網(wǎng)絡有提升。雖然沒有達到和傳統(tǒng)CNN一樣或者更高的精確度，但這對于大大提升計算速度和大大降低網(wǎng)絡參數(shù)而言，在性能上有了很大的提升。

圖4 三種模型準確率比較折線圖

三個模型試驗結(jié)果對比如表2所示，由表2可以看出，本文提出的模型在降低網(wǎng)絡參數(shù)和訓練時間的同時，識別的準確率較原MobileNet網(wǎng)絡也有提升。

表2 三種模型參數(shù)量及識別準確率比較

其次，本文又將原MobileNet模型和改進后的輕量級模型分別在Jetson Nano嵌入式平臺上進行測試，最終得到的數(shù)據(jù)如表3所示。由表3可以看出，本文提出的模型在運行速度上比原MobileNet快了21.3 %左右。

表3 模型在Jetson Nano上運行速度對比 ms

5 結(jié)束語

本文提出了一種輕量級人臉識別算法，對MobileNet網(wǎng)絡進行網(wǎng)絡層的改進，并融合RPN，在提升網(wǎng)絡識別速度的同時，網(wǎng)絡的準確率也得到提升，使得網(wǎng)絡能夠在小型計算平臺上得以應用(本文以Jetson Nano為例)。實驗結(jié)果表明：在LFW數(shù)據(jù)庫和自建的數(shù)據(jù)庫上訓練的人臉識別準確率達到了97.54 %。同時，本文將改進的MobileNet人臉識別運用到具體的Jetson Nano設備上，可構(gòu)成完整的識別系統(tǒng)，運用于多個現(xiàn)實場景。如室外安防、打卡系統(tǒng)、查寢系統(tǒng)等。