多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)人臉檢測

（五邑大學(xué)信息工程學(xué)院，廣東江門529020）

人臉檢測是人臉識別的重要步驟之一.在復(fù)雜環(huán)境下，人臉檢測會因?yàn)楹芏嗤獠恳蛩赜绊憴z測的準(zhǔn)確性，如人臉姿態(tài)變化、光照改變和遮擋等.將人臉檢測應(yīng)用于實(shí)際中，需要解決人臉拍攝角度、光照變化以及低分辨率圖像的問題.

近年來，深度學(xué)習(xí)方法，特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在計(jì)算機(jī)視覺中取得了顯著的成功.與常規(guī)機(jī)器視覺方法相比，CNN具有良好的特征提取和表達(dá)能力，并在很多領(lǐng)域取得了卓越的成果.常規(guī)人臉檢測方法大多采用模板匹配或基于膚色的方法，這些方法相對而言速度較快，但準(zhǔn)確性較低同時(shí)適用范圍窄，不能較好地應(yīng)用于復(fù)雜環(huán)境[1-2].一種平面旋轉(zhuǎn)人臉檢測方法，速度比較快，但主要用于解決頭部姿態(tài)因轉(zhuǎn)動導(dǎo)致檢測不理想的問題[3].Viola和Jones[4]提出 Haar-Like與AdaBoost級聯(lián)方法，與此前提出的其他AdaBoost人臉檢測方法相比，該算法的人臉檢測速度有較大提升，但在復(fù)雜環(huán)境下人臉檢測能力不足.很多研究者提出了不同的卷積神經(jīng)網(wǎng)絡(luò)級聯(lián)模型，它們的優(yōu)點(diǎn)在于能提取更多有利的特征，使模型的二分類（人臉/非人臉）獲得更精確的結(jié)果.文獻(xiàn)[5]提出基于概率受限玻爾茲曼機(jī)的級聯(lián)神經(jīng)結(jié)構(gòu)，采用層次學(xué)習(xí)方式提取更深層次特征來提高人臉檢測的準(zhǔn)確性，該方法在人臉出現(xiàn)較小偏轉(zhuǎn)時(shí)檢測效果較好，但在低分辨率圖像下人臉檢測結(jié)果欠佳.Li等[6]提出的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，由6個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，其中3個(gè)用于提取特征并進(jìn)行二分類，判別是否是人臉，另外3個(gè)網(wǎng)絡(luò)則用于校準(zhǔn)和選擇最終候選窗，用多個(gè)網(wǎng)絡(luò)處理多任務(wù)在時(shí)間消耗上有所減少，但網(wǎng)絡(luò)結(jié)構(gòu)簡單提取有效特征少，所以人臉檢測的準(zhǔn)確率偏低.文獻(xiàn)[7]提出多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測與對齊（Multi-task Cascaded Convolutional Networks，MTCNN）方法，在 Li等人提出的方法上予以改進(jìn)，改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)的檢測速度有較大提升，該網(wǎng)絡(luò)層數(shù)淺，所以人臉檢測速率較快但準(zhǔn)確率略顯不足.Jiang等[8]提出的faster R-CNN與Xudong等[9]提出的改進(jìn)型faster R-CNN，均使用大型單個(gè)卷積神經(jīng)網(wǎng)絡(luò)，在準(zhǔn)確率上都有所提升但計(jì)算消耗卻非常大.Chen Y等[10]提出使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行高光譜圖像分類的正則化提取方法，通過增加網(wǎng)絡(luò)的深度從光譜圖像中提取深度特征，適用于圖像分類和檢測.該方法采用深度網(wǎng)絡(luò)，同時(shí)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，所以人臉檢測耗時(shí)較長.

本文采用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的人臉檢測方法，該方法從人臉檢測的準(zhǔn)確性以及檢測速度兩個(gè)方向進(jìn)行研究.

1 多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測模型

多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)由3組簡單的卷積神經(jīng)網(wǎng)絡(luò)組成，其優(yōu)勢在于能逐層篩選候選窗口，較大程度上提高人臉候選窗口的準(zhǔn)確性.多個(gè)網(wǎng)絡(luò)對人臉區(qū)域進(jìn)行預(yù)測，對多個(gè)預(yù)測結(jié)果求平均值，使人臉檢測結(jié)果更具有說服力.

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN由一個(gè)輸入層、一個(gè)輸出層和多個(gè)隱藏層組成.隱藏層通常由卷積層、池化層以及全連接層組成[11]，簡單的CNN結(jié)構(gòu)如圖1所示.CNN中，層與層之間不是全連接形式，利用層間局部空間相關(guān)性將相鄰每一層的神經(jīng)元節(jié)點(diǎn)只與他相近的上層神經(jīng)元節(jié)點(diǎn)連接，即局部連接.池化層采用一種非線性采樣法，將卷積層提取的特征使用最大（或平均）池化采樣對特征向量降維.池化層可以有效降低特征向量維度，從而簡化計(jì)算減少計(jì)算量.

圖1 卷積神經(jīng)網(wǎng)絡(luò)簡單結(jié)構(gòu)

經(jīng)CNN網(wǎng)絡(luò)提取特征之后需要使用分類器，然后得到最終結(jié)果.softmax[12]是深度學(xué)習(xí)中最常用的分類器之一，它將大大減小運(yùn)算量，其公式為

其中，數(shù)組V表示特征向量，Vi為數(shù)組V中第i個(gè)元素.該算法只需要計(jì)算第i個(gè)元素的指數(shù)次方與所有元素和的指數(shù)次方的比值就可以出分類結(jié)果.這種計(jì)算簡單的分類方法，非常適用于深度學(xué)習(xí).

1.2 多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架

多卷積神經(jīng)網(wǎng)優(yōu)點(diǎn)在于，可以對提取的候選窗口逐層篩選，能更準(zhǔn)確定位人臉候選窗口.多個(gè)網(wǎng)絡(luò)對人臉區(qū)域進(jìn)行預(yù)測，這將有效提取人臉檢測的準(zhǔn)確性.本文提出的多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)由 3組CNN網(wǎng)絡(luò)組成，采用深度網(wǎng)絡(luò)提高更多有效特征，以提高人臉檢測的準(zhǔn)確性.

1.2.1 圖像預(yù)處理

在訓(xùn)練網(wǎng)絡(luò)之前需要對圖像進(jìn)行預(yù)處理，根據(jù)每一個(gè) CNN對輸入圖像大小的要求，將圖像處理成所需要的尺寸，如圖2所示.網(wǎng)絡(luò)訓(xùn)練所需要的數(shù)據(jù)來自WIDER FACE數(shù)據(jù)庫[13].

圖2 原圖與重構(gòu)之后圖像金字塔

1.2.2 級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

本文提出級聯(lián)結(jié)構(gòu)如圖3所示.在訓(xùn)練過程中，首先將訓(xùn)練樣本輸入到 12-卷積神經(jīng)網(wǎng)絡(luò)中，提取大量候選窗口.因?yàn)楹蜻x窗口中存在著大量非人臉窗口，此時(shí)使用NMS方法刪除大量非人臉窗口.然后使用邊框回歸方法，對剩余候選窗口進(jìn)行校準(zhǔn)，使預(yù)測窗口更接近真實(shí)窗口.然后將未刪除的窗口輸入 24-卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行上一步操作輸出人臉預(yù)測結(jié)果與未刪除的人臉候選框圖.將剩余的候選窗口輸入到48-卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)一步篩選候選窗口與優(yōu)化網(wǎng)絡(luò)，使人臉預(yù)測更準(zhǔn)確.經(jīng)過多數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)使人臉預(yù)測結(jié)果更準(zhǔn)確，同時(shí)提高人臉區(qū)域候選窗口的準(zhǔn)確性.圖3為多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)框圖，可以根據(jù)3個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行劃分.

圖3 多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)框圖

本文提出的級聯(lián)CNN模型由3組CNN組成，其結(jié)構(gòu)如圖4所示.每組CNN輸入訓(xùn)練數(shù)據(jù)大小不同，圖像大小分別是1212×、2424×和4848×.圖4-a中網(wǎng)絡(luò)共6層用于特征提取，然后將提取到的特征進(jìn)行二分類（人臉/非人臉）和邊框回歸校準(zhǔn)候選人臉窗口.圖4-b的結(jié)構(gòu)功能與圖4-a相似，輸入圖片為2424×，網(wǎng)絡(luò)深度明顯深于圖4-a的網(wǎng)絡(luò).圖4-c網(wǎng)絡(luò)功能與前兩個(gè)網(wǎng)絡(luò)類似，但是在最后加上特征點(diǎn)定位，進(jìn)一步加強(qiáng)人臉候選框的準(zhǔn)確性.

圖4 多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)總框架

在訓(xùn)練網(wǎng)絡(luò)之前需要對數(shù)據(jù)進(jìn)行處理，本文3個(gè)網(wǎng)絡(luò)所需要訓(xùn)練數(shù)據(jù)來自WIDER FACE數(shù)據(jù)庫.圖4-a，4-b卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)由人臉區(qū)域、部分人臉區(qū)域和非人臉區(qū)域組成，圖4-c網(wǎng)絡(luò)的訓(xùn)練集除了以上3部分還加上標(biāo)有人臉特征點(diǎn)的數(shù)據(jù)集，該部分?jǐn)?shù)據(jù)在CelebA[14]數(shù)據(jù)集上采集.

第1步：訓(xùn)練圖4-a網(wǎng)絡(luò)，將處理好的數(shù)據(jù)輸入12-卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)主要用于獲取人臉區(qū)域的候選窗口和邊框回歸向量.先使用非極大值抑制[6]（NMS）方法刪除大量候選窗口，然后使用邊框回歸算法，對剩余候選窗口進(jìn)行校準(zhǔn).

第2步：在第1步訓(xùn)練網(wǎng)絡(luò)之后的數(shù)據(jù)中，還存在著大量的候選窗口，所以將第一步未刪除的候選窗口與圖4-b需要訓(xùn)練的數(shù)據(jù)一起作為訓(xùn)練數(shù)據(jù).第 1步提取到候選窗口中包含有大量非人臉區(qū)域以及人臉區(qū)域中高度重疊部分，此網(wǎng)絡(luò)將會進(jìn)一步篩選候選窗口，使用 NMS刪除大部分非人臉區(qū)域窗口，使用邊框回歸校準(zhǔn)候選窗口，以及合并第一階段未完全合并的重疊區(qū)域.

第3步：圖4-c為最后一層卷積神經(jīng)網(wǎng)絡(luò)，最后一個(gè)網(wǎng)絡(luò)使用的訓(xùn)練數(shù)據(jù)不僅有正負(fù)樣本，還有特征點(diǎn)定位的人臉數(shù)據(jù)集，訓(xùn)練時(shí)還包括第2步中處理之后的數(shù)據(jù).48-卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程與第二網(wǎng)絡(luò)大致相同，也用于訓(xùn)練候選窗口的篩選，使用邊框回歸方法使最終的人臉窗口更接近真實(shí)值，最終的候選窗口包含5個(gè)人臉特征點(diǎn)定位后的人臉區(qū)域.

多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型主要訓(xùn)練人臉分類和邊框回歸兩個(gè)任務(wù)，下面具體分析這兩個(gè)任務(wù)：

1）人臉分類：輸入的每一個(gè)樣本都存在著人臉和非人臉區(qū)域，人臉區(qū)域的劃分可以作為二分類問題，對每一個(gè)訓(xùn)練樣本xi使用交叉熵函數(shù)計(jì)算，即

其中，Li表示預(yù)測人臉與真實(shí)人臉之間的相似度，用于優(yōu)化網(wǎng)絡(luò)，提高人臉區(qū)域預(yù)測的準(zhǔn)確度，Pi表示樣本xi為人臉的概率，取值從CNN網(wǎng)絡(luò)獲得；yi表示標(biāo)簽的人臉數(shù)據(jù)取值為0或1，0表示非人臉，1表示人臉.

2）邊框回歸：在進(jìn)行邊框回歸訓(xùn)練之前，使用 NMS方法刪除大量非人臉區(qū)域的候選窗口.然后使用邊框回歸方法，計(jì)算剩余窗口與標(biāo)記窗口之間的偏移量，對剩余侯選窗口進(jìn)行校準(zhǔn)，讓待定的窗口更接近真實(shí)窗口（標(biāo)簽），對每一個(gè)候選窗口都采用四維向量 (x1,y1,x2,y2)表示，分別表示窗口的左上角坐標(biāo)，以及矩形寬和高，計(jì)算樣本xi中每一個(gè)候選窗口與有標(biāo)簽窗口之間偏移時(shí)，采用歐幾里德?lián)p失函數(shù)，即

在提取的大量候選窗口中，采用NMS方法刪除大量非人臉窗口.對于輸入樣本，如何準(zhǔn)確定位到人臉區(qū)域是人臉檢測中一個(gè)重要部分.可使用的方法有滑動窗口和選擇性搜索，無論是以上哪種方法都將會產(chǎn)生大量重疊部分，由這兩種方法得到的結(jié)果并非最終想要得到的結(jié)果.針對該問題有多種解決方法，但本文采用的是非極大值抑制，最先選擇得分最高的人臉候選窗口，其結(jié)果由網(wǎng)絡(luò)提供，然后計(jì)算其他窗口與該窗口重疊度（Intersection over Union，IoU），計(jì)算公式為

其中，IoU表示兩個(gè)邊框的重疊度，SA∩B表示得分最高窗口與測試窗口重疊部分的面積（交集），SA∪B表示兩個(gè)窗口面積的并集，假設(shè)真實(shí)窗口坐標(biāo) (x1,y1,x2,y2)，測試窗口坐標(biāo)，當(dāng)測試窗口左上角坐標(biāo)位于真實(shí)窗口中的時(shí)候，SA∩B計(jì)算公式為

其中，SA表示真實(shí)人臉區(qū)域候選框的面積，SB表示測試窗口面積.由此計(jì)算出邊框重疊度.如果IoU計(jì)算值大于0.65，將判斷該人臉候選區(qū)域?yàn)檎龢颖?；大?.4小于0.65，判斷該人臉候選區(qū)域?yàn)椴糠謽颖?；小?.4，判斷該人臉候選區(qū)域?yàn)樨?fù)樣本.如果判定為負(fù)樣本將會刪除該窗口，剩余候選窗口將會傳入下一網(wǎng)絡(luò)進(jìn)一步篩選.

1.3 人臉檢測過程

人臉檢測過程見圖3.首先將測試樣本輸入到 12-卷積神經(jīng)網(wǎng)絡(luò)中，提取大量候選窗口.因?yàn)楹蜻x窗口中存在著大量非人臉窗口，此時(shí)使用NMS方法刪除大量非人臉窗口，當(dāng)計(jì)算IoU值小于0.4，則刪除該候選窗口，如果計(jì)算結(jié)果大于0.4，則將該窗口保留.將未刪除的人臉窗口使用邊框回歸方法，使預(yù)測窗口更接近真實(shí)窗口.經(jīng)交叉熵函數(shù)優(yōu)化后的網(wǎng)絡(luò)，得到的人臉預(yù)測結(jié)果更準(zhǔn)確.將未刪除的窗口輸入24-卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行上一步操作.因?yàn)?4-卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)路層數(shù)更深，所以人臉預(yù)測值更準(zhǔn)確，同時(shí)進(jìn)一步篩選人臉候選窗口.48-卷積神經(jīng)網(wǎng)絡(luò)對人臉候選窗口進(jìn)行最后一次篩選，輸出最終的人臉候選窗口，以及人臉區(qū)域預(yù)測結(jié)果.對 3組網(wǎng)絡(luò)人臉預(yù)測結(jié)果進(jìn)行累加求平均值，作為最終的人臉檢測結(jié)果.

2 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練級聯(lián)網(wǎng)絡(luò)模型所需的數(shù)據(jù)在WIDER FACE數(shù)據(jù)集[13]和Celeba數(shù)據(jù)集[14]上采集，得到的模型在Face Detection Data Set and Benchmark（FDDB）[15]公開人臉檢測數(shù)據(jù)庫上測試.WDER FACE數(shù)據(jù)集包含有32203幅，其中人臉有393703張，在該數(shù)據(jù)庫中還標(biāo)記了所有人臉的框圖.FDDB數(shù)據(jù)集中的2845幅圖像中包含有5171張人臉.

2.1 訓(xùn)練數(shù)據(jù)集的處理

訓(xùn)練網(wǎng)絡(luò)模型時(shí)，由于不同的網(wǎng)絡(luò)輸入圖像尺寸不同，所以需要將圖像進(jìn)行預(yù)處理.每一組網(wǎng)絡(luò)輸入的數(shù)據(jù)集包含有正負(fù)樣本和部分人臉樣本，同時(shí)也輸入有人臉特征點(diǎn)標(biāo)簽的正樣本.整個(gè)級聯(lián)網(wǎng)絡(luò)分階段訓(xùn)練，首先從WIDER FACE數(shù)據(jù)集中采集12×12大小的人臉、部分人臉圖像和非人臉圖像，然后將采集到的所有圖片都傳入到第一組網(wǎng)絡(luò)進(jìn)行訓(xùn)練.然后以同樣的方式采集24×24的圖像，但是圖像中每一類圖像中正臉、部分人臉、非人臉比率為 1 :1:3，最后一組訓(xùn)練數(shù)據(jù)除了正負(fù)樣本之外還有人臉特征點(diǎn)標(biāo)簽的人臉圖，然后將提取到的圖像分別作為第2組和第3組網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù).

2.2 不同方法的比較

為更直觀體現(xiàn)出本文方法的優(yōu)勢，對比了 CMS-RCNN[16]、CascadCNN[17]、Joint Cascade[6]、MTCNN[7]和 DP2MFD[19]五種人臉檢測方法.實(shí)驗(yàn)結(jié)果都基于 FDDB數(shù)據(jù)集取得，從圖5的實(shí)驗(yàn)結(jié)果可以看出，本文方法在數(shù)據(jù)集上的測試結(jié)果為96.30%，明顯高于CMS-RCNN與Joint Cascade等其他方法，與 MTCNN方法相比也具有一定優(yōu)勢.本文方法與其他幾種人臉檢測方法的測試結(jié)果對比如表1所示.

圖5 基于FDDB數(shù)據(jù)集的測試結(jié)果

表1 多種方法測試結(jié)果對比

表1列舉當(dāng)下一些人臉檢測準(zhǔn)確率較高的方法，其中本文提出的方法準(zhǔn)確率最高達(dá)到 96.30%.文獻(xiàn)[6]采用 6組卷積神經(jīng)網(wǎng)絡(luò)，其中 3組神經(jīng)網(wǎng)絡(luò)是淺層卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行簡單二分類（人臉/非人臉），另外 3組用于校準(zhǔn)候選邊框，該方法神經(jīng)網(wǎng)絡(luò)層較淺，提取特征少、分布處理任務(wù)多，所以準(zhǔn)確率低于本文提出的方法.文獻(xiàn)[7]采用分步執(zhí)行不同的任務(wù)，該方法在時(shí)間消耗和準(zhǔn)確上較文獻(xiàn)[6]都有很大提升.本文方法比文獻(xiàn)[7]的網(wǎng)絡(luò)更深，能提取更多有利特征，所以在準(zhǔn)確性上優(yōu)于該方法.文獻(xiàn)[16]采用大型單一神經(jīng)網(wǎng)絡(luò)，該方法的優(yōu)勢在于低分辨率下人臉檢測準(zhǔn)確高，然而該網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、計(jì)算消耗大.本文方法優(yōu)勢在于能提取更多的有效特征，候選窗口定位準(zhǔn)確.實(shí)驗(yàn)結(jié)果表明本文提出的方法，無論是人臉檢測的準(zhǔn)確性，還是候選窗口的快速定位都有不錯(cuò)的效果.

2.3 實(shí)際檢驗(yàn)效果

本節(jié)主要探討實(shí)際環(huán)境下的檢測效果，如圖6所示.在測試的四張樣本中，圖6-a顯示正臉和側(cè)臉的檢測效果，圖6-b顯示極端光照和低分辨率下人臉的檢測效果，圖6-c當(dāng)人臉偏轉(zhuǎn)角度較大情況下人臉檢測效果，圖6-d顯示部分遮擋和強(qiáng)光照下人臉檢測效果.以上結(jié)論表明，本文提出方法在無約束環(huán)境下具有良好的魯棒性.

圖6 數(shù)據(jù)集FDDB中單樣本檢測結(jié)果顯示圖

2.4 運(yùn)行效率

本文方法不僅準(zhǔn)確率高，而且可以快速檢測和校準(zhǔn).在提取特征時(shí)所使用的網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，以減少時(shí)間消耗，提取特征使用 3*3的卷積核盡可能減少參數(shù)量.提取特征后并行處理執(zhí)行特征點(diǎn)定位、人臉分類以及邊框回歸操作，用于提高整體的效率.本實(shí)驗(yàn)測試使用的設(shè)備為英偉達(dá)GTX980，在處理視頻時(shí)速度為45 fps，同等情況下 MTCNN[7]方法處理視頻的速度為63 fps，該 CNN網(wǎng)絡(luò)因?yàn)閷訑?shù)淺，所以在處理速度上有較大優(yōu)勢.

3 結(jié)論

在復(fù)雜環(huán)境下提高人臉檢測的準(zhǔn)確性，是人臉檢測面臨的主要挑戰(zhàn).為解決該問題，本文提出一種多級聯(lián)CNN模型的人臉檢測方法，在復(fù)雜環(huán)境下具有良好的魯棒性.通過CNN網(wǎng)絡(luò)提取更多有效特征，提高了人臉分類的準(zhǔn)確率.采用級聯(lián)結(jié)構(gòu)定位人臉區(qū)域候選窗口，多網(wǎng)絡(luò)層層篩選可以有效提高候選窗口定位的準(zhǔn)確性.如何降低低分辨率成像以及極端拍攝角度下人臉檢測的漏檢現(xiàn)象，是下一階段的研究方向.