基于深度學(xué)習(xí)的重疊人臉檢測(cè)

陳立陽，趙逢禹

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

0 引 言

人臉檢測(cè)[1-2]主要檢測(cè)視頻和數(shù)字圖像中的人臉，在人機(jī)交互界面、安防系統(tǒng)、監(jiān)控系統(tǒng)、基于內(nèi)容的圖像檢索等方面有廣泛的應(yīng)用。一般來說，人臉檢測(cè)系統(tǒng)的目標(biāo)是獲取圖像并準(zhǔn)確檢測(cè)出面部，并且不受人物姿勢(shì)、圖像尺寸或面部表情等因素的影響。

文中主要針對(duì)圖像中重疊的人臉檢測(cè)問題進(jìn)行研究。當(dāng)兩個(gè)或多個(gè)人臉重疊時(shí)，單獨(dú)地使用傳統(tǒng)的人臉檢測(cè)方法來檢測(cè)面部是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。文獻(xiàn)[3]提出了基于膚色方法的面部檢測(cè)模型，該模型能夠迅速地檢測(cè)出有效的人臉區(qū)域。但是當(dāng)圖像中存在重疊的多個(gè)人臉時(shí)，該模型傾向于將它們檢測(cè)為一個(gè)人臉。在基于面部特征的方法中，Hear-Like特征[4]將人臉以一種量化的方式表示，但是如果重疊區(qū)域大于另一個(gè)區(qū)域，則丟棄區(qū)域可能性低的區(qū)域，這種做法可能導(dǎo)致丟失人臉中其他的重要信息。同時(shí)，在基于模板匹配[5]的人臉檢測(cè)方法中，使用特征臉(Eigenfaces)來匹配圖像中的人臉，但是重疊的人臉的低匹配系數(shù)會(huì)導(dǎo)致整體的匹配度下降，雖然使用邊緣檢測(cè)方法可以改善這一現(xiàn)象，但是增加了算法的復(fù)雜性。最近，文獻(xiàn)[6-8]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的多任務(wù)CNN人臉檢測(cè)方法，該方法通過多個(gè)特征分類器來檢測(cè)人臉，但是文獻(xiàn)[6]的算法需要額外的人臉邊框校準(zhǔn)開銷，文獻(xiàn)[7]的算法雖然大大減少了這種開銷，但是算法中的檢測(cè)召回依然受到弱人臉檢測(cè)器產(chǎn)生的初始人臉檢測(cè)窗口的限制。為了解決這種限制，文獻(xiàn)[8]犧牲了部分的檢測(cè)時(shí)效性以使得檢測(cè)結(jié)果更加準(zhǔn)確。因此，對(duì)于重疊人臉的檢測(cè)，這種方法的檢測(cè)時(shí)效性和準(zhǔn)確性依然有待改善。

盡管人臉檢測(cè)的方法比較多，但是在檢測(cè)時(shí)效性和準(zhǔn)確性上依然存在不足。MTCNN在重疊人臉檢測(cè)時(shí)，雖然檢測(cè)準(zhǔn)確性和時(shí)效性有待提高，但仍是一個(gè)比較有效的框架。因此，針對(duì)重疊人臉檢測(cè)問題，文中以MTCNN作為基本框架，通過合適的特征提取算法收集大量的重疊與非重疊人臉特征數(shù)據(jù)集，將這些數(shù)據(jù)集用于訓(xùn)練多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)模型，然后優(yōu)化人臉框與人臉特征點(diǎn)的標(biāo)記算法，使檢測(cè)出的人臉更加準(zhǔn)確，最終使整個(gè)框架能夠成為在重疊人臉檢測(cè)場(chǎng)景下的一個(gè)高效的解決方案。

1 重疊人臉檢測(cè)框架

將改進(jìn)后的MTCNN稱之為多特征多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)MF-MTCNN(mixed feature MTCNN)。在檢測(cè)重疊人臉時(shí)，先區(qū)分人臉和非人臉部分，然后得到大量的人臉候選框，并給這些人臉候選框一個(gè)初始得分。然后使用人臉膚色檢測(cè)法二次檢測(cè)來過濾掉無效的人臉候選框，并重新調(diào)整人臉候選框的得分，接著使用非極大值抑制法[9](non-maximum suppression，NMS)比較候選窗口之間的重疊度[9](intersection over union，IoU)，刪除重疊度大于閾值的候選窗口獲得最終的人臉檢測(cè)窗口。重疊人臉檢測(cè)框流程如圖1所示。

1.1 人臉分類的學(xué)習(xí)

人臉分類學(xué)習(xí)的目的是區(qū)分人臉和非人臉部分，因此框架的第一步是訓(xùn)練出一個(gè)人臉分類器[10]來摒除非人臉部分。文中通過人臉特征提取來構(gòu)建多個(gè)人臉特征分類器，根據(jù)這些人臉特征分類器的分類結(jié)果來區(qū)分人臉和非人臉。主要是研究重疊人臉的檢測(cè)問題，但是最終還是需要檢測(cè)出單個(gè)人臉，因此既要考慮單個(gè)人臉具有的特征也要考慮重疊人臉具有的特征。結(jié)合人臉的多種特征可以更為準(zhǔn)確地區(qū)分出人臉，最終通過人臉分類器分類后會(huì)輸出包含人臉的圖像和對(duì)應(yīng)的圖像得分，人臉候選框集合為B={B1,…,Bi,…,BN}，人臉候選框得分列表為S={S1,…,Si,…,SN}。文中選擇了人臉的五個(gè)特征來構(gòu)建人臉特征分類器，分別為左眼、右眼，鼻子，左嘴唇、右嘴唇。每個(gè)特征的得分權(quán)重都為0.2，通過這五個(gè)特征分類器的分類結(jié)果可以確定最終的人臉候選框集合和候選框得分集合。

圖1 重疊人臉檢測(cè)流程

1.2 人臉候選框過濾

由于主要研究的是重疊人臉的檢測(cè)問題，人臉的重疊數(shù)量越多，人臉候選框的數(shù)量也會(huì)越多，因此在第一步中會(huì)產(chǎn)生大量的人臉候選框。為了快速地篩選出有效的人臉候選框，文中采用了人臉膚色檢測(cè)[11]方法。第一步中主要依靠人臉的特征來辨別人臉，檢測(cè)結(jié)果可能不夠準(zhǔn)確，因此根據(jù)第一步得到的候選框在原圖中截取對(duì)應(yīng)的區(qū)域，然后結(jié)合人臉膚色來進(jìn)行二次檢測(cè)，重新確定這些候選框的得分。調(diào)整得分的規(guī)則為新的得分等于舊的得分乘膚色區(qū)域在圖像中的比例，然后去除得分低于得分閾值St的人臉候選框。

1.3 人臉候選框去重

經(jīng)過上述兩個(gè)步驟之后，可以得到有效的人臉候選框，但是同一張人臉依然可能得到多個(gè)有效的人臉候選框，因此去掉冗余的人臉候選框之后才能得到最終的結(jié)果。在這一步中，主要利用NMS算法來比較人臉候選框之間的重疊度，然后去除重疊度高的人臉候選框來獲得最終的人臉檢測(cè)窗口。

人臉候選框的去重過程主要涉及到候選框重疊度的計(jì)算，文中的人臉候選框重疊度計(jì)算過程為：

(1)從人臉候選框集合B={B1,…,Bi,…,BN}中選擇一個(gè)候選框得分最大的人臉候選框M；

(2)對(duì)于任意一個(gè)人臉候選框Mi，當(dāng)Mi不屬于B時(shí)，計(jì)算M與Mi的重疊度I(M,Mi)；

(3)I(M,Mi)的計(jì)算采用基于人臉特征向量的相似性度量算法。

輸入：

M與Mi的人臉特征向量，人臉特征向量為X={X1,X2,…,X9}，Xi分別表示為人臉寬度(cm)，人臉高度(cm)，人臉平均膚色的RGB值，左眼長度(cm)，右眼長度(cm)，鼻子長度(cm)，嘴唇寬度(cm)。

輸出：

兩組向量的相關(guān)系數(shù)，即人臉重疊度I(M,Mi)。

處理過程：

先計(jì)算兩個(gè)向量的協(xié)方差，協(xié)方差計(jì)算如下：

(1)

然后計(jì)算兩個(gè)向量各自的方差，方差計(jì)算如下：

(2)

最后計(jì)算人臉重疊度，人臉重疊度計(jì)算如下：

(3)

2 相關(guān)算法設(shè)計(jì)

2.1 人臉特征提取

在MF-MTCNN模型中，用于訓(xùn)練的數(shù)據(jù)集需要有人臉特征，良好的特征提取算法可以快速提取出人臉特征，在輸出人臉候選框時(shí)起到關(guān)鍵性的作用。為了獲取人臉的特征，收集了100個(gè)人的單獨(dú)人臉圖像、重疊人臉圖像、人工合成的重疊人臉圖像。最終目的是輸出準(zhǔn)確的人臉候選框。因此，選擇的實(shí)驗(yàn)素材一般都具有明顯的人臉特征。但是當(dāng)人臉互相遮擋時(shí)，對(duì)于同一張臉的特征，單人臉圖像和重疊人臉圖像有很大的區(qū)別，所以在特征提取的時(shí)候，選用不同的特征提取算法對(duì)同一人臉進(jìn)行處理，特征分類器構(gòu)建流程如圖2所示。在圖2中對(duì)單一人臉圖像采用HOG特征[12]算法提取特征，對(duì)重疊人臉圖像采用LBP特征[12]算法提取特征。提取出人臉特征后，對(duì)這些特征做歸一化處理[13]，將特征值縮放到相同區(qū)間可以獲取性能更好的人臉檢測(cè)模型。

圖2 特征分類器構(gòu)建流程

2.2 人臉候選框過濾

為了提高算法的迭代效率，需要盡可能地減少在每層網(wǎng)絡(luò)中生成的大量人臉候選框，圖3給出了人臉候選框篩選處理流程。

圖3 人臉候選框篩選流程

在某一層網(wǎng)絡(luò)中獲取到大量的人臉候選框之后，根據(jù)候選框的區(qū)域截取對(duì)應(yīng)的圖像。然后文中決定采用通過從NTSC色彩空間[14]獲得的Chrominance通道減去從HSV色彩空間[14]獲得的Hue通道形成的混合色彩空間進(jìn)行人臉膚色檢測(cè)，通過通道相減可以對(duì)人臉膚色進(jìn)行定性定量的分析，主要用于得到人臉膚色由哪些顏色構(gòu)成和不同顏色像素的數(shù)量，這種方法相對(duì)于傳統(tǒng)的人臉膚色RGB[15]值判別法更加準(zhǔn)確。

2.3 冗余窗口篩選

在每一層網(wǎng)絡(luò)中會(huì)生成大量的人臉候選框，雖然對(duì)人臉候選框進(jìn)行有效的過濾后，會(huì)減少一些無關(guān)的人臉候選框，但是依然會(huì)有大量的人臉候選框存在，而最終的輸出結(jié)果要保證每一個(gè)獨(dú)立的人臉只有一個(gè)人臉框。因此，MF-MTCNN模型中主要使用NMS算法對(duì)這些冗余的窗口進(jìn)行篩選和刪除。

MF-MTCNN的NMS算法：

輸入：

NMS算法的輸入為人臉候選框集合B={B1,…,Bi,…,BN}和人臉候選窗口的得分列表S={S1,…,Si,…,SN}。

輸出：

NMS算法最終的輸出結(jié)果為每一個(gè)人臉只保留一張人臉候選框及其對(duì)應(yīng)的得分。

處理過程：

(1)最終檢測(cè)結(jié)果集D設(shè)置為空。

(2)當(dāng)人臉候選框集B為空時(shí)，轉(zhuǎn)步驟6。

(3)從集合B中選擇一個(gè)得分最大的人臉候選框記為M，從集合B中移除M，并將M加入到D中。

(4)for eachMi∈B，計(jì)算M與Mi的重疊度I(M,Mi)。將得分S改為重疊度的函數(shù)，如下：

Si=Si(1-I3(M,Mi))

(4)

其中，當(dāng)Si≤St，則把Mi從B中刪除。

(5)轉(zhuǎn)步驟2。

(6)輸出集合D。

(7)結(jié)束。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證文中提出的算法在重疊人臉檢測(cè)上有更好的時(shí)效性和準(zhǔn)確性，將該算法與其他主流算法在FDDB數(shù)據(jù)集和WIDER FACE數(shù)據(jù)集上進(jìn)行人臉檢測(cè)性能比較。參與對(duì)比的算法包括V-J、Cascade CNN和MTCNN。驗(yàn)證的標(biāo)準(zhǔn)主要包括兩個(gè)方面：檢測(cè)正確率和檢測(cè)時(shí)間。

3.2 實(shí)驗(yàn)驗(yàn)證

3.2.1 人臉檢測(cè)正確率驗(yàn)證

人臉檢測(cè)正確率曲線如圖4所示。

圖4 人臉檢測(cè)正確率曲線

計(jì)算公式為：

檢測(cè)率=(已檢測(cè)人臉數(shù)-誤檢測(cè)人臉數(shù)-重復(fù)的人臉數(shù))/總?cè)四様?shù)

式中，已檢測(cè)人臉數(shù)表示根據(jù)算法檢測(cè)出來的人臉框，誤檢測(cè)人臉數(shù)表示假陽性人臉框，重復(fù)的人臉數(shù)表示同一張人臉重復(fù)檢測(cè)的次數(shù)。對(duì)圖4分析可知，當(dāng)人臉個(gè)數(shù)比較少的時(shí)候(小于10個(gè))，四種模型的檢測(cè)正確率相差不大(0.1以內(nèi))；當(dāng)人臉個(gè)數(shù)繼續(xù)增大時(shí)，幾種模型的檢測(cè)正確率的差距就顯現(xiàn)出來了，觀察圖4可知，隨機(jī)選擇十個(gè)樣本進(jìn)行檢測(cè)，MF-MTCNN模型的平均人臉檢測(cè)正確率約為92.3%。

3.2.2 人臉檢測(cè)時(shí)效性驗(yàn)證

圖5展示的是四種模型的人臉檢測(cè)算法耗費(fèi)的時(shí)間。從整體上來看，四種算法的耗時(shí)都隨著樣本數(shù)的增加而增加，但是很明顯地可以看到，MF-MTCNN模型的增長速率和增長量幾乎都是最小的，即MF-MTCNN模型相對(duì)其他模型能夠快速地檢測(cè)出人臉。具體到數(shù)據(jù)來看，MF-MTCNN模型最終檢測(cè)時(shí)間為35 s，平均處理每張圖片的時(shí)間為0.035 s,其他三種算法的平均處理時(shí)間分別為0.042 s，0.045 s，0.05 s，相比之下，MF-MTCNN模型在檢測(cè)效率上有所提升。

圖5 人臉檢測(cè)時(shí)效性曲線

3.3 隨機(jī)樣本檢測(cè)結(jié)果對(duì)比

從測(cè)試樣本中隨機(jī)選取三張圖片，分別使用V-J、Cascade CNN、MTCNN、MF-MTCNN來檢測(cè)圖片中的人臉并標(biāo)記特征，檢測(cè)結(jié)果如圖6所示。分析圖6可知，MF-MTCNN相較于其他算法，檢測(cè)的人臉數(shù)和特征數(shù)都更多。

圖6 四種算法的檢測(cè)結(jié)果

4 結(jié)束語

提出了一種重疊人臉檢測(cè)方法，主要是對(duì)MTCNN模型的改進(jìn)。在研究過程中，遇到的第一個(gè)問題就是重疊人臉實(shí)驗(yàn)數(shù)據(jù)的匱乏，利用現(xiàn)有的成熟的人臉數(shù)據(jù)集，對(duì)這些數(shù)據(jù)進(jìn)行篩選并進(jìn)行一些人工圖片合成來完成實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)備工作；接著分析了MTCNN模型存在的一些缺陷，主要有兩點(diǎn)，一是在網(wǎng)絡(luò)中生成的人臉候選框數(shù)量太多，導(dǎo)致每一層網(wǎng)絡(luò)中篩選次數(shù)太多，進(jìn)而影響整個(gè)算法的性能，二是NMS算法的重疊人臉漏檢問題。對(duì)此，提出在原有的MTCNN模型中加入一個(gè)過濾層和改進(jìn)的NMS算法來提高性能；最后與現(xiàn)有的一些重疊人臉檢測(cè)算法進(jìn)行對(duì)比，發(fā)現(xiàn)該算法在正確率和性能上都有所提升，驗(yàn)證了算法的可行性和可靠性。