基于改進殘差網(wǎng)絡(luò)的人臉識別算法*

曹 川, 張紅英

(1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010；2.特殊環(huán)境機器人技術(shù)四川省重點實驗室，四川 綿陽 621010)

0 引 言

隨著深度學(xué)習(xí)的快速發(fā)展，人臉識別技術(shù)也在日益提高，如文獻[1～5]提出的方法。但各文獻中的方法采用的數(shù)據(jù)集并沒有太大姿態(tài)差異，不適于實際應(yīng)用。為此，有研究創(chuàng)建了包括極端姿態(tài)變化的數(shù)據(jù)集(如CASIA-WebFace數(shù)據(jù)庫)。2016年，楊瑞等人[6]提出了一種基于Gabor特征和深度信念網(wǎng)絡(luò)(deep belief network,DBN)的人臉識別方法，通過學(xué)習(xí)高層特征降低特征維數(shù)提高了分類器的分類精度，最終改善了人臉識別率。同年，張軍等人[7]提出了由多個卷積層和次采樣層構(gòu)成的改進卷積神經(jīng)網(wǎng)絡(luò)提高了對復(fù)雜特征的提取能力。同年，Masi I等人[8]通過提出姿態(tài)感知卷積神經(jīng)網(wǎng)絡(luò)模型的方法，改進了包括大姿態(tài)變化的數(shù)據(jù)集的識別結(jié)果。實際中，需要對自然條件下含有較大姿態(tài)差異等復(fù)雜因素的人臉進行人臉特征提取。2015年，He K M等人[9]提出的新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中包含的殘差單元有效的解決了網(wǎng)絡(luò)由于過深而出現(xiàn)的退化問題。該網(wǎng)絡(luò)結(jié)構(gòu)在ILSVRC(ImageNet large scale visual recognition challenge)—2015[10]中獲得了第一名，具有非常高的特征提取能力，在人臉識別方面顯得更具潛力。

在已有的殘差神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合Zagoruyko S等人[11]提出的寬的神經(jīng)網(wǎng)絡(luò)也可以有好的網(wǎng)絡(luò)模型性能的思想，本文提出了一種改進的殘差神經(jīng)網(wǎng)絡(luò)模型，該模型共14層含有6個殘差單元，最大的特點是網(wǎng)絡(luò)比較寬而且相對較淺。 通過實驗，改進的網(wǎng)絡(luò)模型具有更加優(yōu)異的網(wǎng)絡(luò)性能，對含有姿態(tài)等復(fù)雜因素的人臉圖像具有更強的特征提取能力。

1 改進的殘差網(wǎng)絡(luò)結(jié)構(gòu)

受Zagoruyko S等人[11]提出的寬殘差神經(jīng)網(wǎng)絡(luò)的啟發(fā)，發(fā)現(xiàn)隨著模型深度不斷加深，梯度在反向傳播過程中，并不能保證可以流經(jīng)每一個殘差單元的權(quán)重，以致學(xué)習(xí)效果較差，在整個訓(xùn)練過程中，只有比較少的幾個殘差單元可以學(xué)到有用的特征表達，因此，本文采用一種較淺的，但寬度更寬的模型，使得殘差單元更多的起到作用以更加有效地提升模型性能。該結(jié)構(gòu)主要通過減少殘差單元的數(shù)量和增加殘差單元中卷積層的特征圖數(shù)量來實現(xiàn)，經(jīng)過實驗證明了增加模型的寬度可以提升模型的性能，但不能完全認(rèn)為寬度比深度更好。因此，采用基于ResNet-32的網(wǎng)絡(luò)模型，結(jié)合寬殘差神經(jīng)網(wǎng)絡(luò)的思路，進行改進得到14層的寬殘差神經(jīng)網(wǎng)絡(luò)模型(稱為W-ResNet-14)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 W-ResNet-14

首先第一層卷積使用5×5大小的卷積核，步長為1，Padding大小為1，使得卷積輸入與輸出具有相同的特征圖，然后再經(jīng)過平均池化，濾波器的大小為2×2，步長為2，以減小特征圖大小，簡化網(wǎng)絡(luò)計算復(fù)雜度，然后輸入第一個殘差單元。

提出的網(wǎng)絡(luò)模型包括6個殘差單元，每個殘差單元使用如圖2所示的結(jié)構(gòu)。其中每一個殘差單元的輸入Hi-1與輸出Hi的尺寸大小并不改變。首先使用批標(biāo)準(zhǔn)化(batch normalization，BN)[12]算法對每一次的輸出數(shù)據(jù)進行標(biāo)準(zhǔn)化，以達到以下效果：以有效參數(shù)穩(wěn)定網(wǎng)絡(luò)收斂；適當(dāng)設(shè)置較大的初始學(xué)習(xí)率以加快網(wǎng)絡(luò)收斂；有效防止網(wǎng)絡(luò)出現(xiàn)過擬合現(xiàn)象。將BN算法處理過的數(shù)據(jù)通過Relu激活函數(shù)激活，以增加神經(jīng)網(wǎng)絡(luò)各層之間的非線性關(guān)系，完成需要神經(jīng)網(wǎng)絡(luò)完成的提取復(fù)雜特征的任務(wù)；另外還可以保證網(wǎng)絡(luò)的稀疏性，較少參數(shù)間的相互依存關(guān)系，減少過擬合情況的發(fā)生。將激活后的數(shù)據(jù)輸入一個卷積層,本文選用大小為3×3的卷積核，步長為1，Padding設(shè)置為1，以保證輸入Hi-1與輸出Hi具有相同尺寸。通過BN算法和Relu激活函數(shù)輸入第二個卷積層，相關(guān)參數(shù)與第一個卷積層相同。最后將第二個卷積的輸出與殘差單元的輸入通過矩陣相加運算作為下一個殘差單元的輸入，最終實現(xiàn)了殘差思想中的將需要學(xué)習(xí)的特征映射轉(zhuǎn)換為F(x)+x。其中第一個殘差單元中在卷積層前不使用BN算法和Relu激活函數(shù)。

圖2 殘差單元結(jié)構(gòu)

通過6個殘差單元后，連接一個均值下采樣層，最后網(wǎng)絡(luò)連接一個與人臉身份類別數(shù)相同的全連接層。相關(guān)層數(shù)的參數(shù)如表1所示，其中，Basis Block為He K M等人[9]提出用于cifar-10實驗的網(wǎng)絡(luò)， Improve Block為本文改進的網(wǎng)絡(luò)模型相關(guān)參數(shù)。因此使網(wǎng)絡(luò)最底層可以從原始像素學(xué)習(xí)濾波器，刻畫局部的邊緣和紋理特征；然后通過各種邊緣濾波器的組合，中層濾波器可以描述不同類型的人臉器官；最高層描述的是整個人臉的全局特征。以此完成對輸入人臉圖像的特征學(xué)習(xí)。

表1 網(wǎng)絡(luò)層參數(shù)

在人臉識別任務(wù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，對32層的殘差網(wǎng)絡(luò)模型進行改進，主要利用Zagoruyko S等人[11]提出的寬殘差神經(jīng)網(wǎng)絡(luò)的思想，通過增加原殘差模型中某些卷積輸出通道數(shù)，以加寬網(wǎng)絡(luò)模型，同時通過減少殘差單元數(shù)量使原來較深的殘差模型變得更淺，以此將網(wǎng)絡(luò)層數(shù)從32層減少到14層，即為本文提出的W-ResNet-14模型。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

為了說明所設(shè)計的殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力，選取了具挑戰(zhàn)性的CASIA-WebFace數(shù)據(jù)庫和自建數(shù)據(jù)庫OurFace作為實驗對象。

在實驗過程中于CASIA-WebFace數(shù)據(jù)庫上的數(shù)據(jù)集中隨機選取同種身份至少包含200張圖片的部分?jǐn)?shù)據(jù)集組成訓(xùn)練和測試的數(shù)據(jù)集。為了減少計算量，加速網(wǎng)絡(luò)訓(xùn)練，將所有圖像的分辨率降低到了64×64大小，同時為了使每個身份的圖像數(shù)量相等和豐富數(shù)據(jù)集，使用了數(shù)據(jù)增強技術(shù)，包含了如旋轉(zhuǎn)、平移等方式。如圖3所示對圖像進行了翻轉(zhuǎn)和平移，最終得到了可以用于進行訓(xùn)練和測試的數(shù)據(jù)集，然后將每個身份下的數(shù)據(jù)集隨機獨立的分為2個子集:訓(xùn)練集和測試集，其中80 %作為訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)參數(shù)，20 %用于評估網(wǎng)絡(luò)性能。

圖3 對圖像進行翻轉(zhuǎn)、平移等變換

同樣將OurFace數(shù)據(jù)庫中采集到圖像數(shù)據(jù)通過預(yù)處理后劃分為相同比例的訓(xùn)練集和測試集。

2.2 實驗分析

實驗使用Google的開源深度學(xué)習(xí)框架TensorFlow，因其高度的靈活性和真正的可移植性等優(yōu)點成為當(dāng)下應(yīng)用最廣的深度學(xué)習(xí)框架之一。首先通過批量處理將已經(jīng)收集到的數(shù)據(jù)集調(diào)整為大小為64×64的人臉圖像，然后轉(zhuǎn)換為TensorFlow支持的用于神經(jīng)網(wǎng)絡(luò)高效輸入的二進制數(shù)據(jù)格式TFRecord；再通過隨機讀取一定批次大小圖像數(shù)據(jù)。實驗平臺相關(guān)主要配置為：處理器為Intel Xeon E5—2680，運行內(nèi)存為64 GB，顯卡為NVIDIA GeForce GTX 1080 8 GB。

使用該平臺用于加速訓(xùn)練所提出的改進模型，采用梯度下降算法優(yōu)化網(wǎng)絡(luò)。實驗中參數(shù)如表2所示。

表2 網(wǎng)絡(luò)超參數(shù)

訓(xùn)練過程中為了在現(xiàn)有硬件設(shè)備上得到盡量好的實驗結(jié)果，選取的訓(xùn)練批次大小為128，同時使用隨步數(shù)衰減的學(xué)習(xí)率訓(xùn)練網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率為0.1，在40 000步和60 000步分別衰減當(dāng)前步數(shù)的0.1 倍，以盡可能地逼近最優(yōu)解，提高準(zhǔn)確率。在CASIA-WebFace數(shù)據(jù)OurFace數(shù)據(jù)集上分別進行訓(xùn)練和測試，實驗中，沒有對原始數(shù)據(jù)集中的人臉進行對齊、裁剪等操作，最終得到的top—1準(zhǔn)確率如表3所示。

表3 2種網(wǎng)絡(luò)結(jié)構(gòu)下top—1 的準(zhǔn)確率 %

可以看出，相較于原來的殘差神經(jīng)網(wǎng)絡(luò)模型改進的殘差神經(jīng)網(wǎng)絡(luò)W-ResNet-14在CASIA-WebFace和OurFace數(shù)據(jù)集上具有更好的性能。主要是因為改進的殘差模型可以提高模型中殘差單元的利用率，從而使得網(wǎng)絡(luò)性能高于原網(wǎng)絡(luò)模型，繼而提高對人臉特征的提取能力。

3 結(jié) 論

提出的W-ResNet-14神經(jīng)網(wǎng)絡(luò)模型，在CASIA-WebFace和OurFace數(shù)據(jù)集上較原網(wǎng)絡(luò)在準(zhǔn)確性上有2 %以上的提高，特別是在CASIA-WebFace數(shù)據(jù)上具有更好的性能，說明所提出的改進殘差神經(jīng)網(wǎng)絡(luò)對于復(fù)雜特征的提取能力更強。但由于未對數(shù)據(jù)集進行更加優(yōu)異的預(yù)處理，比如人臉對齊，裁去過多的背景信息等，或者可能提出的模型并不是網(wǎng)絡(luò)深度和寬度的最佳平衡點。因此本文模型通過優(yōu)異數(shù)據(jù)集預(yù)處理和找到寬度和深度最好的平衡點，可能會發(fā)揮殘差神經(jīng)網(wǎng)絡(luò)模型在人臉識別上更好的網(wǎng)絡(luò)性能，這是下一步研究的工作。