基于神經(jīng)網(wǎng)絡(luò)的移動端人臉特征點檢測

陳科宇　賈玉祥

摘 要： 將人臉特征點檢測技術(shù)融合到移動端，通過攝像頭獲取圖像信息并實時地檢測人臉特征點是一個很有前景的研究課題。本文使用ARM開發(fā)板作為技術(shù)實現(xiàn)平臺，通過USB攝像頭收集圖像信息，使用基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測算法結(jié)合基于回歸樹的人臉對齊算法進行人臉特征點檢測。實驗表明，該方法切實可行，人臉特征點檢測更準(zhǔn)確、高效，移動端平臺使得人臉檢測程序更加實用方便。

關(guān)鍵詞： 人臉特征點檢測； 神經(jīng)網(wǎng)絡(luò)； ARM平臺； USB攝像頭

中圖分類號：TP391 文獻標(biāo)志碼：A 文章編號：1006-8228（2018）08-05-04

Facial feature point detection on mobile terminal based on neural network

Chen Keyu， Jia Yuxiang

（School of Information Engineering， Zhengzhou University， Zhengzhou， Henan 450001， China）

Abstract： It is a promising research topic to integrate facial feature point detection technology into mobile terminal， obtain information by camera and detect facial feature point in real time. This paper uses the ARM development board as the technology platform， combining a face detection algorithm based on multi-task cascaded neural network with the face alignment algorithm based on regression tree， and collects image information via USB camera to detect facial feature point. The experiments show that the proposed algorithm is feasible， making the facial feature point detection more accurate and efficient， and the mobile terminal platform makes the face detection procedure more practical and convenient.

Key words： facial feature point detection； neural network； ARM platform； USB camera

0 引言

近年來，在人工智能與深度學(xué)習(xí)領(lǐng)域中，人臉識別成為了一個研究熱點，準(zhǔn)確地識別人臉的基礎(chǔ)是正確地獲取合適的人臉特征，其基本特征有：眼睛、鼻子、嘴巴等，對基本特征進行定位是人臉識別中必不可少的步驟。

人臉識別大致分為三種方法。第一種是在特征空間中，根據(jù)圖片信息在變換域空間中不同的能量分布進行識別，代表算法有奇異值分解、因子分析、獨立成分分析等降維算法。第二種是通過判斷人臉幾何信息特征的相似程度進行人臉檢測。第三種是基于多層神經(jīng)網(wǎng)絡(luò)，在圖片信息空間投射到的子空間中進行識別，雖然該方法與第一種方法類似，但針對不同的需要，可以根據(jù)其降維、分維、非正交等特性來構(gòu)造不同的網(wǎng)絡(luò)結(jié)構(gòu)。本文提出使用基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測算法[1]結(jié)合基于回歸樹的人臉對齊算法[2]在移動設(shè)備中實時地進行人臉特征點檢測。

1 人臉檢測與人臉對齊算法

人臉識別大致分為四個步驟，按先后順序為人臉檢測、人臉對齊、人臉校驗、人臉識別。人臉檢測就是在圖片信息中尋找人臉的位置，而人臉對齊則在尋找到的人臉位置中自動找到具有標(biāo)志性的特征位置并最終定位其準(zhǔn)確的形狀。

人臉檢測算法很早就比較成熟了，Viola-Jones（簡稱VJ）算法是非常經(jīng)典的人臉檢測算法，因其高效快速的檢測效率，至今仍然被廣泛使用。VJ算法[9]使用haar特征與Adaboost算法對分類器進行訓(xùn)練以建立級聯(lián)分類器，并提出了積分圖，能夠?qū)aar特征進行更快速的運算，在實時中表現(xiàn)出色，但大量研究表明，該算法在現(xiàn)實世界中檢測效率會顯著降低。在各種計算機視覺任務(wù)中，例如人臉識別、面部分類等，卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)出顯著優(yōu)勢，結(jié)合多任務(wù)級聯(lián)的思想，在人臉檢測中將會取得更加優(yōu)秀的效果。

人臉對齊算法有兩種，分別為模板擬合的方法與基于回歸的方法，常用的較為傳統(tǒng)的算法有基于點分布模型的主動形狀模型算法ASM，在主動形狀模型的基礎(chǔ)上進一步處理紋理以將紋理和形狀融合為外觀模型的主動外觀模型算法AAM，以及結(jié)合了主動形狀模型與主動外觀模型優(yōu)點的約束局部模型算法CLM。比較流行的人臉對齊算法有對牛頓法進行改進的算法SDM、基于回歸的算法ESR、調(diào)試參數(shù)比較困難的算法LBF以及基于回歸樹的算法等。

2 算法的設(shè)計與實現(xiàn)

本節(jié)介紹軟硬件開發(fā)平臺的選擇、算法的設(shè)計原理以及算法的實現(xiàn)與移植。

2.1 開發(fā)平臺

經(jīng)過考量，硬件方面最終選擇使用HiKey960開發(fā)板。它是華為目前發(fā)布的性能最高的移動SoC平臺，開發(fā)板本身適配AOSP硬件開源系統(tǒng)，可以基于安卓系統(tǒng)進行目標(biāo)實用性很強的APP應(yīng)用開發(fā)。

軟件方面選擇了安卓8.0系統(tǒng)，原因是其在流暢且穩(wěn)定的基礎(chǔ)上加強了人工智能方面的性能，更利于人臉識別程序的運行，可以提高效率。更重要的一點是安卓系統(tǒng)是完全開源的，具有很好的開放性，開發(fā)所需的資料也非常充足。

2.2 算法的設(shè)計

對人臉檢測算法的選擇，本文使用了基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的算法[1]。該算法結(jié)合有效的人臉檢測與人臉對齊兩種任務(wù)之間內(nèi)在的聯(lián)系，使用多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架進行整合。

算法一開始將圖片調(diào)整比例大小并構(gòu)造出圖像金字塔[1，4，5]，以對不同比例的人臉進行檢測。算法本身使用了由粗到精的三階級聯(lián)子網(wǎng)絡(luò)框架，第一個子網(wǎng)絡(luò)簡稱提案網(wǎng)絡(luò)，是全卷積，即：沒有全連接層的卷積神經(jīng)網(wǎng)絡(luò)，其特點是可以輸入不同大小的圖片，可進行端到端的訓(xùn)練并更好地學(xué)習(xí)上下文信息，是非常適合輸出為圖像的一種神經(jīng)網(wǎng)絡(luò)框架。提案網(wǎng)絡(luò)的主要作用是生成候選框，在訓(xùn)練的過程中網(wǎng)絡(luò)有三條支路，分別用來進行人臉分類、對人臉框進行回歸以及人臉關(guān)鍵點的定位，而在測試中只輸出了候選框及其四個坐標(biāo)信息的分?jǐn)?shù)，該網(wǎng)絡(luò)使用邊界框回歸以校正候選框，并使用非極大值抑制的方法對候選框的重疊進行合并。第二個子網(wǎng)絡(luò)簡稱提取網(wǎng)絡(luò)，其輸入為提案網(wǎng)絡(luò)獲取的候選框，由于該網(wǎng)絡(luò)添加了一個全連接層，所以會起到更好的抑制作用，照比提案網(wǎng)絡(luò)會獲取更加精確的候選框信息。第三個網(wǎng)絡(luò)簡稱為輸出網(wǎng)絡(luò)，該網(wǎng)絡(luò)類似于提取網(wǎng)絡(luò)，其調(diào)整了輸入大小并增加了對地標(biāo)位置的回歸和一層卷積層，在更進一步地對候選框篩選的基礎(chǔ)上，還會輸出五個人臉特征點位置信息。該算法與[3]比較，在獲取良好的人臉檢測效果的情況下，運行時間也比較短。

在人臉對齊算法的選擇中，本文使用了基于回歸樹的算法[2，11]，該算法通過建立級聯(lián)回歸樹將人臉真實形狀還原，整體流程如圖1所示。

其中每個回歸樹的每一個葉子節(jié)點都存儲一個殘差，當(dāng)算法執(zhí)行到葉子節(jié)點時會將殘差與輸入量相加以起到回歸的作用，最終通過疊加所有殘差以獲取人臉對齊的位置信息。

算法使用了GBDT（Gradient Boosting Decision Tree） 梯度提升決策樹，與隨機森林類似，都是許多棵決策樹聯(lián)合在一起的，不同點是每棵GBDT樹之間都不是并行的而是串行的，即一棵樹的構(gòu)造是建立在其他樹之上的[6，7，8，10]?；貧w器級聯(lián)回歸樹的流程如圖2所示。

GBDT的建立以將人臉的初始形狀回歸為真實形狀為目標(biāo)，使用像素差作為特征，對于每一幅圖片在合格的特征池中隨機挑選兩個點，計算圖片在該兩點處的像素差值，并將差值與隨機生成的分裂閾值相比較，如果像素差小于該閾值則向左分裂，否則向右分裂，重復(fù)執(zhí)行直到葉子節(jié)點。對落入葉子節(jié)點所有圖片的差值作平均，即可獲取該葉子節(jié)點所對應(yīng)的殘差值，在構(gòu)造下一棵樹之前，需要對圖像進行更新，以初始形狀與殘差的和來表示圖像，使得其更接近真實形狀。最終當(dāng)可以用當(dāng)前形狀表示真實形狀時，即成功建立了一棵GBDT樹，如圖3所示為回歸樹的建立過程。

該算法具有良好的實時性，但是依賴于光照，即在明亮且均衡的光照下可以獲得相對更好的檢測效果。

2.3 算法的移植與實現(xiàn)

算法的移植分為三個步驟，依次為USB攝像頭視頻輸入驅(qū)動的編寫、人臉檢測算法的實現(xiàn)并編譯成動態(tài)鏈接庫以及對人臉對齊算法的實現(xiàn)。最終實現(xiàn)對人臉特征點的檢測并在安卓平臺運行。

2.3.1 USB攝像頭的視頻輸入驅(qū)動

由于在開發(fā)板Hikey960中并沒有配備MIPI接口的攝像頭而是外置了USB接口，所以我們選擇使用USB攝像頭來作為視頻輸入設(shè)備，為此需要編寫驅(qū)動來對設(shè)備進行調(diào)用。

通過獲取通用串行總線攝像頭視頻輸入驅(qū)動相關(guān)資料，選擇使用開源庫來驅(qū)動設(shè)備。首先獲取libusb庫，它是一套以簡單的方式訪問USB設(shè)備的應(yīng)用程序編程接口且無需特殊權(quán)限。然后獲取libuvc庫，它是在libusb庫之上建立的，可以對USB視頻設(shè)備進行調(diào)用，同時支持對設(shè)備進行細(xì)粒度的控制，可以獲取視頻流。最后，獲取安卓圖片壓縮庫libjpeg-turbo以對視頻流信息進行處理，該庫是圖像編解碼器，可使用單指令多數(shù)據(jù)流對JPEG圖像進行編碼與解碼。最終使用Native Development Kit（NDK）將這些開源庫編譯為動態(tài)鏈接庫，經(jīng)測試，可以成功訪問目標(biāo)設(shè)備、獲取視頻輸入流，并正確地處理以獲取圖像信息。具體流程如圖4所示。

2.3.2 人臉檢測算法移植

人臉檢測算法[1]源代碼是使用Matlab結(jié)合卷積神經(jīng)網(wǎng)絡(luò)框架caffe所編寫的。移植工作分為兩部分，第一部分是將算法使用計算機視覺庫OpenCV、卷積神經(jīng)網(wǎng)絡(luò)框架caffe和編程語言C++實現(xiàn)并且可以成功地檢測出人臉與五個特征點的位置信息，本文結(jié)合以上開源庫成功實現(xiàn)人臉檢測算法，經(jīng)測試表明，實現(xiàn)的人臉檢測算法精確度和速度與原論文[1]基本一致。第二部分是使用NDK將實現(xiàn)的人臉檢測程序結(jié)合卷積神經(jīng)網(wǎng)絡(luò)框編譯成安卓所使用動態(tài)鏈接庫?；静襟E為首先使用命令將源代碼編譯生成.class文件和頭文件，創(chuàng)建對應(yīng)的源文件并添加人臉檢測代碼，編寫配置文件Android.mk與Application.mk以引入標(biāo)準(zhǔn)模板庫，包括頭文件目錄與靜態(tài)庫目錄，最后使用NDK指令將其編譯為動態(tài)鏈接庫。

最終結(jié)合安卓項目，調(diào)用相應(yīng)的動態(tài)鏈接庫，使用人臉檢測算法，對USB視頻輸入設(shè)備獲取的圖像信息進行處理，經(jīng)測試可以正確、快速地檢測出人臉以及五個人臉特征點的位置信息。

2.3.3 人臉對齊算法移植

結(jié)合上文對人臉檢測算法的移植，將獲取的人臉圖像傳送給人臉對齊算法以進行人臉特征點檢測。具體過程如圖5所示。

首先獲取Dlib庫，它是一個包含機器學(xué)習(xí)算法的開源庫，以在多平臺運行人臉識別程序為目的，并且對人臉特征點檢測算法[2]進行了實現(xiàn)。對該庫的移植總共分為四個步驟。

第一步編寫代碼以實現(xiàn)對圖像和文件的操作，例如將位圖文件轉(zhuǎn)換為矩陣、圖像格式轉(zhuǎn)換、文件的創(chuàng)建刪除加載等，并布置到項目中進行調(diào)用。

第二步將上文實現(xiàn)人臉檢測算法運算后所獲取的人臉圖像信息傳給算法以實現(xiàn)人臉對齊功能，結(jié)合計算機視覺庫使用NDK命令將其編譯成動態(tài)鏈接庫。

第三步實現(xiàn)對動態(tài)鏈接庫調(diào)用、加載訓(xùn)練好的模型等函數(shù)，并且在主工程中實現(xiàn)對這些函數(shù)進行調(diào)用。

最后改寫build.gradle、setting.gradle等配置文件，使用gradlew命令集實現(xiàn)對整體項目的構(gòu)建，生成安卓安裝包并使用adb命令集將其安裝到開發(fā)板中，經(jīng)測試，可以快速、準(zhǔn)確地獲取人臉和68個人臉特征點的位置信息，并將檢測結(jié)果展示到顯示器中。

3 實驗結(jié)果與分析

本文使用基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測算法結(jié)合基于回歸樹的人臉對齊算法進行人臉特征點檢測，成功在Hikey960開發(fā)板（安卓系統(tǒng)8.0）中運行，并通過對USB視頻輸入設(shè)備獲取圖像信息，獲得了較高的檢測速度與效率。圖6為檢測效果圖，可見人臉特征點檢測數(shù)目基本維持在68個左右。

4 結(jié)束語

本文將基于神經(jīng)網(wǎng)絡(luò)的人臉檢測算法結(jié)合人臉對齊算法實現(xiàn)了對人臉特征點的檢測，并通過手機攝像頭或者USB攝像頭獲取視頻圖像信息。初步實驗顯示，與經(jīng)典的人臉特征點檢測程序相比，本文方法運行速度更快、檢測效率更高。

參考文獻（References）：

[1] Zhang K， Zhang Z， Li Z， et al. Joint Face Detection and

Alignment Using Multitask Cascaded Convolutional Networks[J]. IEEE Signal Processing Letters，2016.23（10）：1499-1503

[2] Kazemi V， Sullivan J. One millisecond face alignment with

an ensemble of regression trees[C]// Computer Vision and Pattern Recognition（CVPR），IEEE，2014：1867-1874

[3] Li H， Lin Z， Shen X， et al. A convolutional neural network

cascade for face detection[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE，2015：5325-5334

[4] A. Krizhevsky， I. Sutskever， G. E. Hinton， Imagenet

classification with deep convolutional neural networks[C]//Advances in neural information processing systems （NIPS），2012：1097-1105

[5] X. Zhu， D. Ramanan， Face detection， pose estimation， and

landmark localization in the wild[C]//Computer Vision and Pattern Recognition（CVPR）， IEEE，2012：2879-2886

[6] P.N.Belhumeur， J.P.Hespanha， and D.J.Kriegman. Eigen

faces vs. Fisherfaces：recognition using class specific linear projection [J].IEEE transactions on pattern analysis and machine intelligence，1997.19（7）：711-720

[7] D.Chen， X.Cao，F(xiàn).Wen， and J.Sun. Blessing of

dimensionality：High-dimensional feature and its efficient compression for face verification[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2013：3025-3032

[8] Taigman Y， Yang M， Ranzato MA， et al. Deepface：

Closing the gap to human-level performance in face verification[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2014：1701-1708

[9] Huang G B， Lee H， Learned-Miller E. Learning

hierarchical representations for face verification with convolutional deep belief networks[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2012： 2518-2525

[10] Wen D，Han H， Jain A K. Face spoof detection with

image distortion analysis[J].IEEE Transactions on Information Forensics and Security，2015.10（4）：746-761

[11] Schroff F， Kalenichenko D， Philbin J.FaceNet： a

unified embedding for face recognition and clustering[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2015：815-823