基于樹莓派和OpenCV 的深度學(xué)習(xí)人臉檢測(cè)和性別年齡預(yù)測(cè)方法的研究

查宏超 王 琪 高進(jìn)可 張 鑫

（江蘇科技大學(xué)蘇州理工學(xué)院機(jī)電與動(dòng)力工程學(xué)院，江蘇 張家港215600）

隨著計(jì)算機(jī)視覺技術(shù)在人工智能領(lǐng)域的不斷創(chuàng)新發(fā)展，越來越多的應(yīng)用領(lǐng)域中都離不開人工智能。而圖像處理和計(jì)算機(jī)視覺技術(shù)作為人工智能的眼睛更是研究中的一個(gè)熱點(diǎn)。涉及到深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)建模等多個(gè)方面。在人工智能時(shí)代，“刷臉”正在應(yīng)用到各個(gè)領(lǐng)域。人臉檢測(cè)最初在20 世紀(jì)60 年代已經(jīng)有研究人員開始研究，真正進(jìn)入初級(jí)的應(yīng)用階段是在90年代后期，發(fā)展至今其技術(shù)成熟度已經(jīng)達(dá)到較高的程度。很多地方都會(huì)用到圖像處理和計(jì)算機(jī)視覺技術(shù)。而人臉檢測(cè)則是圖像處理和計(jì)算機(jī)視覺技術(shù)的典型應(yīng)用。隨著神經(jīng)網(wǎng)絡(luò)算法的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中有著不錯(cuò)的發(fā)展和廣泛的應(yīng)用。

早在1998 年，Yann LeCun 等人在多次研究后提出了早期的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)LeNet-5，作為經(jīng)典的手寫數(shù)字識(shí)別模型，LeNet-5 的網(wǎng)絡(luò)層次達(dá)到了5 層。在2012 的ImageNet 競(jìng)賽中，Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計(jì)了AlexNet 網(wǎng)絡(luò)模型使網(wǎng)絡(luò)層次達(dá)到了8 層，同時(shí)在LeNet-5 的基礎(chǔ)上用到了更新的技術(shù)點(diǎn)使網(wǎng)絡(luò)模型訓(xùn)練的速度快數(shù)倍以上。在2014 年，牛津大學(xué)研究的VGG 網(wǎng)絡(luò)模型和Google 團(tuán)隊(duì)研究的GoogLeNet 模型相繼問世并分別將網(wǎng)絡(luò)層數(shù)提高到了19 層和22 層。隨著網(wǎng)絡(luò)層數(shù)的增加，神經(jīng)網(wǎng)絡(luò)模型深度加深所帶來的梯度消失的問題開始使神經(jīng)網(wǎng)絡(luò)變得難以訓(xùn)練。為解決梯度消失的問題，MSRA的何凱明團(tuán)隊(duì)在經(jīng)過研究后，在其發(fā)表的經(jīng)典論文Deep Residual Learning for Image Recognition 中 提 出 Residual Networks，即殘差網(wǎng)絡(luò)[1]。何凱明團(tuán)隊(duì)提出的殘差網(wǎng)絡(luò)很好的解決了在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中網(wǎng)絡(luò)深度達(dá)到飽和后出現(xiàn)的“模型退化”的現(xiàn)象[2]。ResNet 在ILSVRC2015 競(jìng)賽中將網(wǎng)絡(luò)深度提升到152 層，將數(shù)據(jù)集訓(xùn)練錯(cuò)誤率降低至3.57%，在圖像識(shí)別準(zhǔn)確率和網(wǎng)絡(luò)深度方面，比往屆比賽有了非常大的提升。由此可見深度殘差網(wǎng)絡(luò)(Deep Residual Network)在圖像識(shí)別訓(xùn)練上有著很強(qiáng)大的效果和應(yīng)用空間。

本文將OpenCV 人臉檢測(cè)環(huán)境搭建到便攜移動(dòng)設(shè)備樹莓派上，從ORL 人臉數(shù)據(jù)庫中采集人臉樣本信息組成人臉圖像訓(xùn)練數(shù)據(jù)集[3]。采用基于計(jì)算機(jī)視覺庫OpenCV 的DRN 人臉檢測(cè)算法構(gòu)建人臉檢測(cè)的神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行數(shù)據(jù)集訓(xùn)練。同時(shí)以基于Caffe 框架的卷積神經(jīng)網(wǎng)絡(luò)CNN 預(yù)訓(xùn)練模型進(jìn)行性別年齡的預(yù)測(cè)。以樹莓派作為OpenCV 的圖像處理平臺(tái)，集成度高、開發(fā)性好、方便且快捷[4]。將樹莓派作為平臺(tái)，OpenCV 作為處理核心，研究一種簡(jiǎn)潔高效、性能優(yōu)良的人臉檢測(cè)和性別年齡預(yù)測(cè)方法。

1 人臉檢測(cè)的原理及方法

1.1 人臉圖像數(shù)據(jù)的收集和預(yù)處理

在構(gòu)建DRN 人臉檢測(cè)算法模型之前，要進(jìn)行大量的人臉數(shù)據(jù)訓(xùn)練。首先對(duì)人臉特征進(jìn)行提取，人臉特征包括眉毛、睫毛、眼睛、鼻子、耳朵、嘴巴等顯著特征。只要能將人臉圖像中的這些特征點(diǎn)提取出來就可以分辨出人臉與非人臉。之后構(gòu)建人臉數(shù)據(jù)模型進(jìn)行訓(xùn)練，這樣在人臉的識(shí)別檢測(cè)上就可以達(dá)到相當(dāng)高精度的準(zhǔn)確識(shí)別。在前期準(zhǔn)備上主要分為人臉數(shù)據(jù)收集、訓(xùn)練模型，人臉檢測(cè)性別年齡預(yù)測(cè)三部分。本文采用的人臉圖像數(shù)據(jù)集是OpenCV 教程里的ORL 人臉數(shù)據(jù)庫，以人臉圖像數(shù)據(jù)集作為訓(xùn)練對(duì)象，同時(shí)可以將預(yù)檢測(cè)的人臉圖片加到數(shù)據(jù)集中作為訓(xùn)練對(duì)象，此時(shí)要對(duì)預(yù)測(cè)的人臉圖片做預(yù)處理，將圖片進(jìn)行裁剪大小使拍攝的人臉圖片和數(shù)據(jù)庫中的大小一致。方便后面使用DRN 算法模型對(duì)采集好的人臉數(shù)據(jù)進(jìn)行人臉結(jié)構(gòu)分析、訓(xùn)練生成模型用于之后準(zhǔn)確的人臉檢測(cè)和性別年齡預(yù)測(cè)。

1.2 基于OpenCV 的深度殘差網(wǎng)絡(luò)DRN 的人臉訓(xùn)練模型

在使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉圖像識(shí)別訓(xùn)練時(shí)，在反向傳播過程中會(huì)發(fā)生梯度消失的現(xiàn)象[7]。在不斷疊加神經(jīng)網(wǎng)絡(luò)的深度以提高模型精度的訓(xùn)練過程中，模型的準(zhǔn)確率會(huì)先上升達(dá)到飽和，再持續(xù)增加深度時(shí)則會(huì)出現(xiàn)梯度消失導(dǎo)致模型準(zhǔn)確率下降。為了加深網(wǎng)絡(luò)層數(shù)提高模型訓(xùn)練精度，同時(shí)提升人臉檢測(cè)的準(zhǔn)確率，避免梯度消失模型退化，本文在相關(guān)研究的基礎(chǔ)上使用基于OpenCV 的機(jī)器學(xué)習(xí)模塊中的深度殘差網(wǎng)絡(luò)（Deep Residual Network）[8]的算法模型。深度殘差網(wǎng)絡(luò)的結(jié)構(gòu)是通過跨層跳躍連接的方式，通過恒等映射H(x)=x 將前面若干層的數(shù)據(jù)輸出跳過n 層傳到x+n 數(shù)據(jù)層作為初始結(jié)果輸入。通過殘差網(wǎng)絡(luò)的核心結(jié)構(gòu)殘差塊跳躍式的跨層捷徑連接，將神經(jīng)網(wǎng)絡(luò)某一層的輸出x 作為初始結(jié)果跳過多層引入到后面數(shù)據(jù)層作為輸入初始結(jié)果，輸出結(jié)果為H(x)=F(x)+x，當(dāng)F(x)=0 時(shí)，此時(shí)H(x)=x 就是一個(gè)恒等映射，這樣深度殘差網(wǎng)絡(luò)的輸出值就是殘差F(x)=H(x)-x 的值。也就是說只要在訓(xùn)練模型時(shí)將殘差的值維持在零，隨著構(gòu)建的網(wǎng)絡(luò)層數(shù)的增加，模型訓(xùn)練的效果會(huì)越來越理想化，誤差也不會(huì)增大。MSRA 的何凱明團(tuán)隊(duì)在研究中對(duì)普通網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)進(jìn)行不同深度的訓(xùn)練后，在訓(xùn)練集的誤差比較中發(fā)現(xiàn)殘差網(wǎng)絡(luò)有著更好的訓(xùn)練精度。深度殘差網(wǎng)絡(luò)的算法模型強(qiáng)大且好用同時(shí)在圖像訓(xùn)練中會(huì)有著很高的準(zhǔn)確度。在全連接的DNN 模型基礎(chǔ)上，DRN 不再是將第x 層的輸出作為第x+1 層的輸入，而是將相鄰層的輸入輸出關(guān)系擴(kuò)大到跨越n 層的輸入輸出上，通過跨層的方式將第x 層的輸出跨過n 層作為x+n 層的輸入初始結(jié)果。此時(shí)神經(jīng)網(wǎng)絡(luò)的層數(shù)可以達(dá)到上百層、上千層，同時(shí)殘差網(wǎng)絡(luò)的反向傳播比較好。使用深度殘差網(wǎng)絡(luò)不僅克服了梯度消失模型退化，而且在人臉圖像訓(xùn)練上會(huì)有著很好的效果，會(huì)使人臉檢測(cè)達(dá)到一個(gè)理想化的狀態(tài)。在人臉檢測(cè)的基礎(chǔ)上進(jìn)行性別年齡的預(yù)測(cè)，本文選擇用于特征抽取的開源卷積框架Caffe 來預(yù)訓(xùn)練CNN 模型[9]。根據(jù)人臉檢測(cè)后的特征，將這個(gè)人的年齡和性別進(jìn)行分類處理。和人臉檢測(cè)一樣，性別年齡的預(yù)測(cè)也要經(jīng)過大量人臉圖像的訓(xùn)練。性別預(yù)測(cè)是一個(gè)二分類問題(包括Male 和Female)。在年齡預(yù)測(cè)上使用多分類的方法將年齡段劃分八段(包括0-2,4-6,8-12,15-20,25-32,38-43,48-53,6 0-100)。本文研究使用在圖像輸入層之后添加一個(gè)7*7 的卷積層，采用最大重疊池化，在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)際的圖像訓(xùn)練過程中使用3 個(gè)卷積層，卷積核大小分別為96、256 和384，2個(gè)擁有512 個(gè)神經(jīng)元的全連接層，池化采用最大重疊池化，池化規(guī)模大小為3*3 步幅為2 和一個(gè)輸出層來分類輸出年齡和性別的預(yù)測(cè)[10]。在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中采用Dropout 方法限制數(shù)據(jù)訓(xùn)練過擬合，增強(qiáng)數(shù)據(jù)效果，訓(xùn)練算法采用隨機(jī)梯度下降法，激活函數(shù)選用ReLU 函數(shù)，ReLU 是最好的非線性激活函數(shù)，具有計(jì)算簡(jiǎn)便，運(yùn)行速度快，同時(shí)可以防止過擬合和梯度消失。

2 樹莓派平臺(tái)搭建OpenCV 人臉檢測(cè)和性別年齡預(yù)測(cè)環(huán)境的實(shí)現(xiàn)

本文采用樹莓派4 代作為搭建OpenCV 視覺環(huán)境的硬件設(shè)備。樹莓派具有能耗低、移動(dòng)便捷性高、集成性高等特點(diǎn)。樹莓派4 代更是在前幾代的基礎(chǔ)上，在性能上有了更大的提升，處理器由之前3 代的Cortex-A53 升級(jí)為四核心Cortex-A72，主頻更是達(dá)到了1.5GHz，運(yùn)行速度更快，有相應(yīng)的Linux 操作系統(tǒng)可以完成復(fù)雜的應(yīng)用與開發(fā)。另外樹莓派還帶有Raspberry Pi Camera Module v2 專用定制攝像頭，擁有定焦鏡頭，高質(zhì)量800萬像素。配合樹莓派4B 開發(fā)板，運(yùn)行速度快，流暢度較高。相比于單片機(jī)，樹莓派無疑是更好的開發(fā)應(yīng)用平臺(tái)，在計(jì)算機(jī)編程和其他的Linux 開發(fā)上有廣闊的應(yīng)用空間。用來作為跑圖像處理的平臺(tái)，開發(fā)性高、性能較好、方便且快捷。

3 結(jié)論

本文研究在樹莓派的Linux 開發(fā)環(huán)境之下搭載OpenCV 機(jī)器視覺庫進(jìn)行人臉檢測(cè)和性別年齡預(yù)測(cè)的一種方法。利用深度殘差網(wǎng)絡(luò)提取人臉圖像中的明顯特征，實(shí)現(xiàn)人臉檢測(cè)。使用卷積神經(jīng)網(wǎng)絡(luò)從人臉圖像中預(yù)測(cè)性別和年齡，用大量的人臉數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)以達(dá)到理想的訓(xùn)練效果。通過樹莓派平臺(tái)搭建計(jì)算機(jī)視覺庫來使用DRN 人臉檢測(cè)算法預(yù)訓(xùn)練模型對(duì)人臉進(jìn)行準(zhǔn)確檢測(cè)捕捉，使人臉檢測(cè)更加便捷準(zhǔn)確。在使用卷積神經(jīng)網(wǎng)絡(luò)在年齡預(yù)測(cè)上則有一定的偏差。我們知道要想從一幅人臉圖像中靠一些人臉特征來判斷預(yù)測(cè)年齡是一件很難預(yù)測(cè)的事情。在年齡的預(yù)測(cè)上有很多影響因素，同齡的兩個(gè)人在不同的情況下看起來年齡也是不一樣的，在化妝的情況下也無法準(zhǔn)確的看出一個(gè)人的年齡。本文在預(yù)測(cè)年齡時(shí)是將年齡預(yù)測(cè)作為一個(gè)分類問題來看待，為了避免在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的過擬合，選擇使用層數(shù)較少的CNN 網(wǎng)絡(luò)模型并且以8 個(gè)年齡組來構(gòu)造8 分類模型分類預(yù)測(cè)年齡，在神經(jīng)網(wǎng)絡(luò)的輸出層設(shè)置8 個(gè)節(jié)點(diǎn)分別表示8 個(gè)年齡段范圍來進(jìn)行預(yù)測(cè)分類。但在相關(guān)研究上發(fā)現(xiàn)在理想情況下將年齡預(yù)測(cè)作為一個(gè)回歸問題來處理會(huì)更好。在下一步的研究中將通過回歸算法建立神經(jīng)網(wǎng)絡(luò)模型來準(zhǔn)確預(yù)測(cè)年齡使年齡預(yù)測(cè)達(dá)到更好的效果。