遮擋人臉檢測(cè)方法研究進(jìn)展

劉淇緣，盧樹華，蘭凌強(qiáng)

中國(guó)人民公安大學(xué) 警務(wù)信息工程與網(wǎng)絡(luò)安全學(xué)院，北京 102600

1 引言

人臉檢測(cè)作為人像比對(duì)[1]、人臉屬性識(shí)別[2]、面部行為分析[3]、視頻人像追蹤[4]等計(jì)算機(jī)視覺任務(wù)的基本步驟，在過去50余年的時(shí)間里，取得了長(zhǎng)足發(fā)展。20世紀(jì)70 年代中期，人臉檢測(cè)逐漸從目標(biāo)檢測(cè)中獨(dú)立發(fā)展起來[5-6]，但由于當(dāng)時(shí)存在硬件設(shè)備發(fā)展滯后，特征提取算法不成熟，訓(xùn)練數(shù)據(jù)集不完備等技術(shù)瓶頸，檢測(cè)算法在精度、速度方面表現(xiàn)不足。20世紀(jì)90年代開始，科學(xué)界對(duì)這一領(lǐng)域的關(guān)注度明顯升高，諸多優(yōu)質(zhì)算法，如V-J人臉檢測(cè)器（Viola-Jones Face Detector，V-J FD）[7]、混合因子分析（Mixture of Factor Analyzers，MFA）[8]、多視覺人臉檢測(cè)器（Multi-View Face Detection，MVFD）[9]和特征描述符，如哈爾特征（Haar-like Features）[10-12]、局部二值特征（Local Binary Pattern，LBP）[13]、尺度不變特征變換（Scale-invariant Feature Transform，SIFT）[14]、方向梯度直方圖（Histogram of Oriented Gradient，HOG）[15]等在這一時(shí)期設(shè)計(jì)提出，支持向量機(jī)（Support Vector Machine，SVM）[16]、提升算法（Boosting）[17]等經(jīng)典機(jī)器學(xué)習(xí)方法也在這一時(shí)期發(fā)展并趨于完善。近十幾年，新的面部特征描述子如加速穩(wěn)健特征（Speeded Up Robust Features，SURF）[18]、積分通道特征（Integral Channel Features，ICF）[19]和優(yōu)質(zhì)模型如樹結(jié)構(gòu)模型（Mixture of Trees Model，MTM）[20]等用于人臉檢測(cè)，取得了顯著的進(jìn)展，特別是深度學(xué)習(xí)技術(shù)[21-24]廣泛應(yīng)用于人臉檢測(cè)領(lǐng)域，促使人檢測(cè)準(zhǔn)確率和速度不斷提高，如Li 等人[25]提出的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Cascade Convolutional Neural Network，C-CNN）在自然標(biāo)注人臉數(shù)據(jù)集（Annotated Faces in the Wild，AFW）[20]上達(dá)到了98%的平均精度。但是，上述人臉檢測(cè)算法大多是以受限條件下的圖片為檢測(cè)對(duì)象進(jìn)行的，在面向現(xiàn)實(shí)場(chǎng)景的應(yīng)用時(shí)，人臉檢測(cè)仍然面臨諸多挑戰(zhàn)[26-28]：如光照變化、人群高密度、圖像低分辨率、小人臉、姿態(tài)變化以及遮擋問題等，其檢測(cè)準(zhǔn)確率和實(shí)時(shí)性仍有待進(jìn)一步提高。

人臉遮擋問題在現(xiàn)實(shí)生活中普遍存在，包括佩戴飾品或面具引起的實(shí)物遮擋，身體姿態(tài)變化引起的自遮擋，外界光照引起的光遮擋，以及幾種遮擋類型同時(shí)出現(xiàn)的混合遮擋等。上述遮擋可由自然（光照、角度等）或人為（裝飾、偽裝等）原因引起，值得一提的是，有些不法（暴恐）分子通過各種手段遮擋或偽裝人臉，給相關(guān)人員搜集線索、固定證據(jù)帶來較大困難。遮擋人臉檢測(cè)的難點(diǎn)在于由遮擋造成的特征缺失和噪聲混疊等，不同遮擋情況對(duì)人臉檢測(cè)算法造成不同程度的影響，導(dǎo)致誤檢甚至漏檢，嚴(yán)重影響基于人臉檢測(cè)相關(guān)應(yīng)用的進(jìn)行。近年來，隨著受限條件下人臉檢測(cè)算法趨于成熟，研究人員逐漸向遮擋條件下的人臉檢測(cè)發(fā)起了挑戰(zhàn)[29-30]，并取得了顯著的進(jìn)展，為人臉檢測(cè)和識(shí)別在現(xiàn)實(shí)場(chǎng)景下的應(yīng)用奠定了良好的基礎(chǔ)。本文聚焦于遮擋條件下的人臉檢測(cè)方法研究進(jìn)展，借鑒文獻(xiàn)[31]的思想，將遮擋人臉檢測(cè)算法根據(jù)特征設(shè)計(jì)與提取的方式不同分為基于手工設(shè)計(jì)特征的經(jīng)典方法和基于深度學(xué)習(xí)的現(xiàn)代方法，具體方法體系如圖1 所示。文章對(duì)比分析了不同算法的基本原理、性能評(píng)價(jià)以及存在的問題，探討了未來可能的研究方向，期望能為遮擋人臉檢測(cè)相關(guān)研究提供一定的參考。

2 基于手工設(shè)計(jì)特征的經(jīng)典方法

特征提取是計(jì)算機(jī)視覺任務(wù)中的重要一環(huán)，特征可辨性對(duì)模型性能有直接影響。手工設(shè)計(jì)特征是特征提取的經(jīng)典方法，設(shè)計(jì)者根據(jù)先驗(yàn)知識(shí)，參考人眼視覺特點(diǎn)來設(shè)計(jì)特征?；谑止ぴO(shè)計(jì)特征的模型應(yīng)用廣泛，在人臉檢測(cè)方面成果較多。近年來，隨著人臉檢測(cè)面向?qū)嵕皯?yīng)用發(fā)展，有遮擋人臉檢測(cè)逐漸成為活躍的研究課題[32-34]。本章僅就基于手工設(shè)計(jì)特征的遮擋人臉檢測(cè)算法的研究進(jìn)展進(jìn)行論述，依據(jù)方法原理可將其分為兩類：一類是基于Adaboost 的級(jí)聯(lián)結(jié)構(gòu)算法體系；另一類是基于DPM的模板匹配算法體系。以下主要從不同算法體系的實(shí)現(xiàn)原理、模型性能及存在的問題等方面進(jìn)行總結(jié)分析（下文中表1為算法性能匯總）。

圖1 遮擋人臉檢測(cè)方法簡(jiǎn)圖

2.1 基于Adaboost的級(jí)聯(lián)結(jié)構(gòu)算法

Adaboost[35]是一種通過自適應(yīng)模式調(diào)整樣本權(quán)重，將訓(xùn)練得到的弱分類器組合為強(qiáng)分類器的提升算法。Viola-Jones（VJ）[7]作為基于Adaboost級(jí)聯(lián)結(jié)構(gòu)的經(jīng)典算法，在人臉檢測(cè)的發(fā)展歷程中具有里程碑意義，VJ在保證精度的同時(shí)將速率提升了兩個(gè)數(shù)量級(jí)，實(shí)時(shí)性方面的突破性進(jìn)展使得人臉檢測(cè)技術(shù)得以投入現(xiàn)實(shí)應(yīng)用。VJ檢測(cè)器采用類Haar 描述子描述人臉特征，為降低計(jì)算成本，提高效率，引入了積分圖的方法，即取用一張與原圖像等大的圖片，其中每一點(diǎn)的像素值用原圖中該點(diǎn)左上角的所有像素和表示，這樣即可方便算出一個(gè)區(qū)域的像素值。隨后采用Adaboost算法，先訓(xùn)練只能分辨一個(gè)特征的弱分類器，再根據(jù)訓(xùn)練結(jié)果增加錯(cuò)誤分類樣本的權(quán)重和分類正確的分類器的權(quán)重進(jìn)行迭代，將訓(xùn)練好的分類器按權(quán)重線性相加達(dá)到提升分類性能的目的，最后將幾個(gè)強(qiáng)分類器按復(fù)雜程度排序構(gòu)成級(jí)聯(lián)結(jié)構(gòu)。由于Haar 特征的固有局限性，VJ 算法難以用于任意角度變化、遮擋等復(fù)雜場(chǎng)景的檢測(cè)[36]，但其在檢測(cè)速率方面的大幅提升和在受限條件檢測(cè)方面的突出表現(xiàn)，為后來基于Adaboost 的級(jí)聯(lián)結(jié)構(gòu)面向包含遮擋在內(nèi)的現(xiàn)實(shí)場(chǎng)景檢測(cè)發(fā)展奠定了基礎(chǔ)。

此后一段時(shí)間，基于Adaboost的級(jí)聯(lián)結(jié)構(gòu)集中于正面人臉的遮擋問題上[37-39]。以改進(jìn)Adaboost 檢測(cè)器為例，Chen等[40]統(tǒng)計(jì)特征數(shù)據(jù)后發(fā)現(xiàn)，利用Haar特征訓(xùn)練的基于Adaboost 的人臉檢測(cè)器學(xué)習(xí)到的特征集中在人眼周圍，當(dāng)眼部信息被遮擋時(shí)，級(jí)聯(lián)檢測(cè)器將無法作出正確判斷，為解決部分遮擋人臉的檢測(cè)問題，其在Ada-boost 的人臉檢測(cè)器上作出改進(jìn)：首先將樣本切割成不重疊的圖像補(bǔ)丁；為增強(qiáng)檢測(cè)器對(duì)圖像補(bǔ)丁的敏感度，通過計(jì)算補(bǔ)丁與眼部特征重合部分的占比，手工設(shè)置閾值，將弱分類器學(xué)到的特征映射到具體的圖像補(bǔ)丁；再計(jì)算圖像補(bǔ)丁權(quán)重，公式（1）為1 時(shí)即判定圖像補(bǔ)丁與弱分類器的關(guān)系為高度相關(guān)，并通過公式（2）計(jì)算補(bǔ)丁權(quán)重，繼而判斷輸入窗中是否包含人臉。

改進(jìn)后的級(jí)聯(lián)檢測(cè)器在網(wǎng)上收集的包含各種遮擋人臉的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，改進(jìn)后的人臉檢測(cè)器較原檢測(cè)器在遮擋檢測(cè)方面性能大幅提升，也印證了圖像補(bǔ)丁與弱分類器的映射可以很大程度上克服Haar特征對(duì)區(qū)域依賴性強(qiáng)的問題，不足之處在于這種檢測(cè)器限定待測(cè)人臉角度并且由于當(dāng)時(shí)缺乏專門的遮擋數(shù)據(jù)集和評(píng)測(cè)標(biāo)準(zhǔn)，模型沒能在通用遮擋數(shù)據(jù)集上進(jìn)行測(cè)試。

隨著新的特征描述子和包含遮擋數(shù)據(jù)集的提出，基于Adaboost的檢測(cè)算法在遮擋問題上取得了一些進(jìn)展。Liao 等[41]根據(jù)韋伯分?jǐn)?shù)提出標(biāo)準(zhǔn)像素差（Normalized Pixel Difference，NPD）圖像特征，NPD通過計(jì)算像素相對(duì)差值得到，具有縮放不變性、特征有界性及原圖重構(gòu)性，該算法利用深度二叉樹對(duì)模型進(jìn)行訓(xùn)練，并用Adaboost篩選最具可辨性的特征級(jí)聯(lián)成強(qiáng)分類器用于人臉檢測(cè)，在FDDB上的檢測(cè)結(jié)果優(yōu)于同期相關(guān)的人臉檢測(cè)器。該模型對(duì)遮擋人臉檢測(cè)問題的有效性來源于NPD對(duì)全局像素的無差別關(guān)注，即通過加強(qiáng)面部信息可辨性處理遮擋問題，模型的高效性及NPD 特征的先進(jìn)性對(duì)遮擋人臉檢測(cè)的研究發(fā)揮了積極作用。高樹靜等[42]對(duì)Adaboost算法進(jìn)一步優(yōu)化，將浮點(diǎn)數(shù)轉(zhuǎn)為定點(diǎn)數(shù)以減少運(yùn)算成本，優(yōu)化后的Adaboost算法在ZYNQ平臺(tái)實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，結(jié)合感知哈希算法實(shí)現(xiàn)并行人像檢測(cè)及跟蹤。實(shí)驗(yàn)表明，這種改進(jìn)方法極大地降低了實(shí)現(xiàn)成本。

在應(yīng)用方面，手工設(shè)計(jì)特征結(jié)合Adaboost算法的優(yōu)勢(shì)在于檢測(cè)高效性和正臉遮擋有效性，這些特點(diǎn)都與ATM 的現(xiàn)實(shí)環(huán)境相契合[43]，Zhang 等[44]提出 Adaboost 結(jié)合皮膚顏色特征形成強(qiáng)分類器的方法處理ATM環(huán)境中的遮擋人臉檢測(cè)，研究人員面向ATM犯罪問題，用高斯函數(shù)擬合頭部輪廓構(gòu)建勢(shì)能函數(shù)用于頭部檢測(cè)，為進(jìn)一步鑒定人臉是否被遮擋，用Adaboost算法級(jí)聯(lián)膚色分類器和輪廓分類器，形成精度更高的強(qiáng)分類器。實(shí)驗(yàn)證明，級(jí)聯(lián)后的強(qiáng)分類器遮擋檢測(cè)性能更優(yōu)，然而其受檢測(cè)場(chǎng)景制約較大，應(yīng)用于現(xiàn)實(shí)場(chǎng)景的實(shí)時(shí)檢測(cè)仍有較大局限。

2.2 基于DPM的模板匹配算法

形變部件模型（DPM）[45]是基于手工設(shè)計(jì)特征的經(jīng)典人臉方法中又一具有里程碑式意義的算法模型，該模型連續(xù)3年在PASCAL VOC挑戰(zhàn)賽數(shù)據(jù)集上取得綜合表現(xiàn)最優(yōu)的結(jié)果[46-48]。在DPM的組成中，局部模型[49]概念極為重要，其獨(dú)創(chuàng)性的將物體描述為一組部件，并用彈簧模擬各個(gè)部件之間的聯(lián)系，如圖2（a）所示，這就是著名的彈簧形變模型。2005 年，F(xiàn)elzenszwalb 等[50]將這一模型概念運(yùn)用到圖形結(jié)構(gòu)算法（PS）中用于物體描述，PS算法找到最優(yōu)匹配過程即為最小化L的過程：

式（3）中，L表示模型，I表示圖像，通過一個(gè)無向圖G=(V,E) 來描述面部圖形結(jié)構(gòu)，如圖2（b）所示，V={v1,v2,…,vn}代表模型的個(gè)組件，E表示組件的連接，即當(dāng)vi,vj相連時(shí)，有(vi,vj)∈E，li表示vi在圖像中的對(duì)應(yīng)位置，mi(li)則表示vi與li的不匹配程度，dij(li,lj)用來度量vi,vj與li,lj的形變程度。L最小時(shí)對(duì)應(yīng)的I即為最優(yōu)匹配。

圖2 面部模型圖

PS 模型采用樹形彈簧結(jié)構(gòu)模型解決形變問題，通過動(dòng)態(tài)編碼提高效率，是目標(biāo)檢測(cè)中的優(yōu)質(zhì)模型。不足之處在于在較難數(shù)據(jù)集上的性能易被特征袋、剛性模板等簡(jiǎn)單模型超越且檢測(cè)速度較慢。問題是由于復(fù)雜模型通常含有大量隱藏信息，訓(xùn)練難度更大，為此，F(xiàn)elzenszwalb 在PS 模型框架中融合隱藏變量支持向量機(jī)（Latent Support Vector Machines，LSVM），采用一種難例挖掘方法，并用式（4）對(duì)樣本x進(jìn)行評(píng)分：

其中，β是模型參數(shù)向量，z是隱藏變量，是特征向量。針對(duì)PS算法檢測(cè)速度慢的問題，文獻(xiàn)[49]引入特征金字塔，將模型擴(kuò)展成星型結(jié)構(gòu)，并通過主成分分析在不產(chǎn)生明顯信息丟失的情況下進(jìn)行特征降維，以提高檢測(cè)速度。經(jīng)過這兩方面改進(jìn)，PS 模型演進(jìn)成混合多尺度可變形部件模型（Mixture Multi-Scale DPM，MMS-DPM），檢測(cè)精度和速度均有較大提升。但由于星型結(jié)構(gòu)的引入，計(jì)算量仍很大，F(xiàn)elzenszwalb等人對(duì)星型結(jié)構(gòu)進(jìn)行級(jí)聯(lián)判斷，快速剔除無用配置，檢測(cè)效率躍升20倍[51]。至此，基于DPM的目標(biāo)檢測(cè)框架基本完成，為后續(xù)基于形變模板的遮擋人臉檢測(cè)奠定了基礎(chǔ)。

2012 年，Zhu 和 Ramanan[20]針對(duì)現(xiàn)實(shí)環(huán)境中人臉因角度變化引起的自遮擋問題，提出可以同時(shí)用于人臉檢測(cè)、姿勢(shì)估計(jì)、標(biāo)記估計(jì)的混合樹模型MTM。該模型傳承了PS 算法中樹形結(jié)構(gòu)和動(dòng)態(tài)編碼的思想，提出帶有部件共享池V 的MTM，樹形結(jié)構(gòu)在獲取全局彈性形變方面有突出優(yōu)勢(shì)，全局混合可捕獲由于視點(diǎn)引起的拓?fù)渥兓?，如圖3所示。該模型尋找最佳匹配的過程可描述為式（5）中計(jì)算部件L的組態(tài)得分S(I,L,m)最大值的過程。

式（5）中，面部樹形結(jié)構(gòu)仍用無向圖(V,E)表示，m表示增加的混合，即Tm=(Vm,Em)，I表示圖片，li=(xi,yi)是部件i的像素位置。式（6）表示在部件的像素位置上放置模板微調(diào)參數(shù)m后的外觀表現(xiàn)總和，?(I,li)表示在圖片的li處提取的特征向量，式（7）表示部件L特定混合下的空間排列，dx=xi-xj，dy=yi-yj表示第部分對(duì)第j部分的位移，式中每一項(xiàng)都可表示一對(duì)部件間引入的空間約束的彈簧，(a,b,c,d)表示彈簧的靜止位置和剛度，最后一項(xiàng)?m是與視點(diǎn)混合m相關(guān)的標(biāo)量偏置，S的最大取值即對(duì)應(yīng)最佳匹配。實(shí)驗(yàn)結(jié)果表明，MTM的性能優(yōu)于數(shù)10億數(shù)據(jù)訓(xùn)練出的商用算法Google Picasa and face.com。遮擋人臉檢測(cè)是從對(duì)自然環(huán)境下人臉檢測(cè)的關(guān)注中發(fā)展起來的，MTM模型將DPM用于現(xiàn)實(shí)場(chǎng)景檢測(cè)并關(guān)注到了自遮擋問題，為基于模板匹配的遮擋人臉檢測(cè)算法的發(fā)展奠定了基礎(chǔ)。

基于部件的模型處理遮擋的通用方法是用部件特征得分與固定閾值比較[52]，然而設(shè)置閾值的標(biāo)準(zhǔn)難以確定。針對(duì)這一問題，Ghiasi 等[53]提出一種可以明確模擬部件遮擋的級(jí)聯(lián)形變部件模型（Hierarchical deformable Part Model，HPM）。HPM 的結(jié)構(gòu)如圖 4 所示，與DPM和MTM 模型不同的地方在于其添加了不包含“根過濾器”的部件節(jié)點(diǎn)以及使用混合模型模擬遮擋模式，即每個(gè)部件采用一組形狀狀態(tài)和遮擋狀態(tài)來表示。

HPM的樹形結(jié)構(gòu)得分函數(shù)為：

式（8）中，l、s、o分別表示面部部件和關(guān)鍵點(diǎn)的假設(shè)位置，形狀和遮擋，Φ表示在位置li處編碼的局部外觀得分，Ψ是二次變形罰分，成對(duì)參數(shù)bij編碼共現(xiàn)的特定遮擋模式和形狀偏差。外觀得分計(jì)算過程為：

由于外觀模型僅與模型中的葉節(jié)點(diǎn)有關(guān)，所以式（9）僅對(duì)葉節(jié)點(diǎn)進(jìn)行相加。其中，是使式（9）線性參數(shù)化的權(quán)重，如果第i個(gè)關(guān)鍵點(diǎn)未被遮擋，則外觀特征Φ由在位li處提取的HOG 特征給出，否則該特征被設(shè)置為0。Ψ可線性參數(shù)化的表示為：

式（10）實(shí)際上是根據(jù)關(guān)鍵點(diǎn)j相對(duì)于其父部件i的位移對(duì)關(guān)鍵點(diǎn)的得分，ωij為標(biāo)準(zhǔn)的二次彈簧。實(shí)驗(yàn)結(jié)果表明，HPM 在定位遮擋人臉關(guān)鍵點(diǎn)方面性能優(yōu)越。如圖5所示，圖（a）是用Zhu等的MTM模型定位遮擋人臉，不僅模型扭曲，未被遮擋的部分也因遮擋而定位不準(zhǔn)；圖（b）則是用HPM 定位相同圖片的表現(xiàn)結(jié)果，可見HPM對(duì)遮擋進(jìn)行顯式建模的方式能明顯改善扭曲定位并準(zhǔn)確預(yù)測(cè)遮擋部位的關(guān)鍵點(diǎn)，然而部件節(jié)點(diǎn)的加入和動(dòng)態(tài)建模的方法也大大增加了模型的計(jì)算量，嚴(yán)重影響實(shí)時(shí)性。

圖3 視點(diǎn)變化引起的拓?fù)渥兓?/p>

圖4 HPM結(jié)構(gòu)模型圖

圖5 HPM與MTM檢測(cè)結(jié)果對(duì)比圖

Ghiasi等[54]為應(yīng)對(duì)數(shù)據(jù)集中經(jīng)常出現(xiàn)的圖片低分辨率問題，在HPM 的基礎(chǔ)上做了進(jìn)一步的模型拓展和實(shí)驗(yàn)擴(kuò)展，在HPM 基礎(chǔ)上提出一個(gè)多分辨率變體模型（M-R HPM）。高分辨率模型僅在原模型基礎(chǔ)上改變胞元大小為（3，3），低分辨率模型則將面部分為7個(gè)部件，并選用（7，7）的胞元大小。實(shí)驗(yàn)拓展方面，在HPM基礎(chǔ)上改進(jìn)參數(shù)，將原本的每個(gè)訓(xùn)練樣例生成的4個(gè)合成遮擋樣例擴(kuò)充為8個(gè)，為驗(yàn)證M-R HPM模型的性能，分別在FDDB和自制含遮擋面部數(shù)據(jù)集UCI-OFD上與其他優(yōu)質(zhì)算法進(jìn)行多方面比較，結(jié)果顯示，M-R HPM 在遮擋子集里有明顯的性能優(yōu)勢(shì)。

為進(jìn)一步提升檢測(cè)速度，Yan等[55]在級(jí)聯(lián)DPM的基礎(chǔ)上進(jìn)行了三步改進(jìn)，引入判別低秩根濾波器降低根分?jǐn)?shù)計(jì)算成本，引入鄰閾感知級(jí)聯(lián)降低部件的計(jì)算成本，引入矩陣索引降低HOG特征生成的計(jì)算成本。實(shí)驗(yàn)表明，該算法保證精度的同時(shí)，速度較MTM提升了2個(gè)數(shù)量級(jí)。

DPM 融合了彈簧形變模型，對(duì)人臉角度、姿態(tài)變化較為魯棒，HOG 特征本身具有的光照不變性使基于DPM 的算法體系對(duì)光照變化不敏感，而DPM 在通過滑窗檢測(cè)時(shí)構(gòu)建尺度金字塔，解決尺度變化問題，故該算法體系具備一定的處理人臉角度、姿態(tài)、光照及尺度變化等復(fù)雜場(chǎng)景的能力。此外，基于DPM 的算法體系還關(guān)注到了自然場(chǎng)景下的人臉檢測(cè)問題，對(duì)檢測(cè)環(huán)境的限制要求較低，且表現(xiàn)出在遮擋定位方面的優(yōu)越性能，然而復(fù)雜的計(jì)算使其檢測(cè)速度仍然較慢，難以實(shí)時(shí)應(yīng)用。

表1 展現(xiàn)了基于Adaboost 和基于DPM 兩種遮擋人臉檢測(cè)算法體系的性能：

在檢測(cè)速度方面，基于Adaboost的算法體系更具優(yōu)勢(shì)，在檢測(cè)一張F(tuán)DDB 圖片時(shí)，基于ZYNQ 平臺(tái)的Adaboost算法的檢測(cè)速度較MTM提升了2個(gè)數(shù)量級(jí)，即使是最快的DPM 算法，速度仍稍遜于基于Adaboost 的算法體系。

在應(yīng)對(duì)復(fù)雜場(chǎng)景方面，相較基于Adaboost的算法體系，形變部件模型的優(yōu)勢(shì)得以體現(xiàn)，基于DPM的算法體系針對(duì)遮擋人臉檢測(cè)問題提出優(yōu)化模型并在專門的遮擋人臉數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，給出更為直觀的量化結(jié)果。在適用環(huán)境方面，基于Adaboost的算法體系優(yōu)勢(shì)在場(chǎng)景相對(duì)簡(jiǎn)單的單個(gè)正面遮擋人臉檢測(cè)方面，如ATM環(huán)境、海關(guān)出入境卡口等，基于DPM 的算法體系適合于人流較為密集、人臉角度姿態(tài)變化更為豐富且實(shí)時(shí)性需求不高的環(huán)境。

表1 基于手工設(shè)計(jì)特征的經(jīng)典算法性能匯總

3 基于深度學(xué)習(xí)的遮擋人臉檢測(cè)方法

深度神經(jīng)網(wǎng)路的發(fā)展[56-57]促使深度學(xué)習(xí)成為實(shí)現(xiàn)人工智能的重要技術(shù)方法，現(xiàn)已成功地應(yīng)用于諸多領(lǐng)域，如自然語(yǔ)言處理、自動(dòng)駕駛和生物特征識(shí)別等[58-59]，其在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)十分突出[60-64]，在處理遮擋人臉檢測(cè)這一難點(diǎn)問題上也取得了較好結(jié)果，相關(guān)方法匯總?cè)绫? 所示?；谏疃葘W(xué)習(xí)檢測(cè)遮擋人臉的研究可歸為三方面的工作：（1）加強(qiáng)未被遮擋的面部信息可辨性；（2）模仿人眼視覺機(jī)制，結(jié)合面部以外信息進(jìn)行輔助檢測(cè)；（3）完善人臉數(shù)據(jù)庫(kù)，提高模型性能，這里著重從上述方面進(jìn)行總結(jié)分析。

4 基于深度學(xué)習(xí)的遮擋人臉檢測(cè)方法

4.1 充分挖掘未遮擋面部信息檢測(cè)遮擋人臉

Faceness-Net[65]是較早按屬性提取面部特征用于遮擋人臉檢測(cè)的代表，該模型從人臉屬性的角度解決遮擋人臉檢測(cè)的問題，先用屬性感知網(wǎng)絡(luò)提取面部屬性特征，各屬性特征圖聯(lián)合形成面部特征用于候選區(qū)域的提??；隨后利用面部空間結(jié)構(gòu)唯一性為候選區(qū)域評(píng)分并排序，大量誤報(bào)窗在此步驟被剔除；最后訓(xùn)練一個(gè)多任務(wù)的CNN 來同時(shí)完成人臉二分類和邊界框回顧。Faceness-Net對(duì)遮擋的魯棒得益于面部屬性特征分類提取，從而實(shí)現(xiàn)當(dāng)某部分被遮擋時(shí)，其他部分仍可被精確定位。大量實(shí)驗(yàn)表明，F(xiàn)aceness-Net性能優(yōu)越，既保證了運(yùn)行速率，又在提出人臉候選窗、召回率、平均精度等方面優(yōu)于參與比較的其他先進(jìn)算法，這印證了面部屬性分析對(duì)遮擋人臉的檢測(cè)具正向加成作用，然而這種方法也存在一定的局限性，實(shí)際應(yīng)用中，許多遮擋人臉圖像本身也屬于低分辨率圖像，遮擋面積較大或圖片質(zhì)量不高時(shí)會(huì)對(duì)面部評(píng)分帶來困難。

Wang 等[66]通過整合 one-shot RetinaNet[67]和 anchorlevel attention 提出的人臉注意力網(wǎng)絡(luò)（Face Attention Network，F(xiàn)AN）也是通過加強(qiáng)未遮擋部分的面部特征來實(shí)現(xiàn)遮擋人臉檢測(cè)的。Retina Net由特征金字塔網(wǎng)絡(luò)[68]和ResNet 結(jié)合而成，具有豐富的語(yǔ)義信息，F(xiàn)AN 在其5個(gè)檢測(cè)層的每一層中的像素范圍里參照標(biāo)準(zhǔn)人臉為anchor配有1∶1.5的寬高比。FAN的創(chuàng)新性在于設(shè)計(jì)了錨級(jí)注意力網(wǎng)絡(luò)，并使傳統(tǒng)的特征圖與錨點(diǎn)圖的乘法操作變更為指數(shù)操作，從而增強(qiáng)面部特征可辨性同時(shí)抑制面部以外的信息。注意力機(jī)制多用于語(yǔ)意分析，圖像描述等領(lǐng)域，F(xiàn)AN的成功使注意力機(jī)制作用于困難人臉檢測(cè)成為可能。

Zhu等[69]提出一種遮擋自適應(yīng)深層網(wǎng)絡(luò)（Occlusionadaptive Deep Networks，ODN）來實(shí)現(xiàn)遮擋人臉檢測(cè)。ODN由三個(gè)模塊組成：幾何感知模塊、蒸餾模塊和低秩學(xué)習(xí)模塊。圖片經(jīng)過殘差模塊生成的特征圖同時(shí)輸入到幾何感知模塊和蒸餾模塊，分別獲得幾何信息和清晰的特征表示，蒸餾模塊可以在估計(jì)面部外觀和形狀之間關(guān)系的過程中自動(dòng)學(xué)習(xí)并推斷出高級(jí)特征中每個(gè)位置的遮擋概率，遮擋概率充當(dāng)高級(jí)特征的自適應(yīng)權(quán)重，以減少遮擋的影響并獲得清晰的特征表示。由于清晰的特征表示缺乏語(yǔ)義特征，無法表示整體面孔，為了獲得詳盡而完整的特征表示，這兩部分信息又作為低秩學(xué)習(xí)模塊的輸入，通過人臉特征間關(guān)系恢復(fù)丟失的特征。經(jīng)過實(shí)驗(yàn)驗(yàn)證，ODN性能優(yōu)越，并對(duì)遮擋和極端姿勢(shì)魯棒。

人臉檢測(cè)器對(duì)具有強(qiáng)分辨性的特征子塊具有強(qiáng)依賴性，當(dāng)這些部分被遮擋時(shí)，人臉常會(huì)被漏檢，而另外一些不具有區(qū)分性的子部甚至?xí)谡?xùn)練集上產(chǎn)生負(fù)中值響應(yīng)。Opitz 等[70]針對(duì)這一現(xiàn)象為CNNs 提出一個(gè)可強(qiáng)化弱分辨力特征的損失層Grid loss，不同于以往的損失函數(shù)直接對(duì)整張圖片計(jì)算損失的做法，Grid loss將人臉特征圖分成若干網(wǎng)格，將每一格的損失與整張圖的損失加和作為最終損失，強(qiáng)化了每一格的特征可辨性，進(jìn)而訓(xùn)練CNNs 檢測(cè)遮擋人臉。損失函數(shù)強(qiáng)化了特征圖中每一個(gè)小網(wǎng)格的識(shí)別特性，即使遮擋住的部位是傳統(tǒng)檢測(cè)器所依托的強(qiáng)可辨性部位，仍能通過檢測(cè)其他部位解決。實(shí)驗(yàn)驗(yàn)證運(yùn)用Grid loss 構(gòu)建的檢測(cè)器可以大幅度提升對(duì)遮擋人臉的檢測(cè)效果，并且Grid loss能起到正則化作用，在小樣本訓(xùn)練時(shí)有更好的表現(xiàn)，可用于實(shí)時(shí)檢測(cè)。值得注意的是Grid loss專為檢測(cè)遮擋人臉設(shè)計(jì)，且不產(chǎn)生額外的時(shí)間代價(jià)，可與多種優(yōu)秀的遮擋人臉檢測(cè)框架結(jié)合，訓(xùn)練出更優(yōu)質(zhì)的模型，但其也存在難以應(yīng)對(duì)大的姿態(tài)變化的缺陷。

4.2 利用復(fù)合信息檢測(cè)遮擋人臉

由于大面積遮擋會(huì)使面部信息丟失較多，有限的特征會(huì)給檢測(cè)帶來困難，研究人員指出面部以外的信息用于輔助檢測(cè)對(duì)提高模型性能非常重要。Zhu等人[71]指出只根據(jù)面部特征信息檢測(cè)遮擋人臉的方法難以處理大面積遮擋問題，為此提出參考人眼視覺機(jī)制的基于語(yǔ)境的多尺度區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Contextual Multi-Scale Region-based CNN，CMS-RCNN），即面部和身體同時(shí)被檢測(cè)到并符合特定的空間關(guān)系時(shí)才判定人臉存在。此方法的關(guān)鍵步驟在于如何融合好提取到的身體信息和面部信息，身體信息和面部信息的融合采用后期融合策略融合成一個(gè)長(zhǎng)特征向量，使得網(wǎng)絡(luò)能參考更多的語(yǔ)義信息。對(duì)比實(shí)驗(yàn)驗(yàn)證了融合身體信息后可以更好地應(yīng)對(duì)遮擋這一類困難情況，CMS-RCNN 與包含F(xiàn)aceness-Net在內(nèi)的其他4種先進(jìn)算法進(jìn)行了實(shí)驗(yàn)比較。實(shí)驗(yàn)結(jié)果表明，CMS-RCNN 無論在簡(jiǎn)單情況還是困難情況，都較其他算法有極為突出的優(yōu)勢(shì)，且測(cè)試數(shù)據(jù)集難度越高，系統(tǒng)表現(xiàn)越好，因此CMS-RCNN是R-CNN家族中更接近人眼檢測(cè)的網(wǎng)絡(luò)架構(gòu)。PyramidBox 引入了一個(gè)語(yǔ)境敏感結(jié)構(gòu)（Context-sensitive Prediction Module，CPM）[72]將語(yǔ)境信息整合到目標(biāo)人臉周圍，并增加預(yù)測(cè)網(wǎng)絡(luò)容量從而提高對(duì)遮擋人臉的檢測(cè)準(zhǔn)確性。雙射人臉檢測(cè)器（Dual Shot Face Detection，DSFD）[73]在PyramidBox的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）中結(jié)合感受野模塊（Receptive Field Block，RFB）[74]提出性能更魯棒的特征增強(qiáng)模塊（Feature Enhance Module，F(xiàn)EM），同時(shí)改進(jìn)了錨框設(shè)計(jì)和損失函數(shù)。這種多角度的改進(jìn)很大程度上消除了遮擋和尺寸帶來的檢測(cè)障礙，并使DSFD 成為當(dāng)時(shí)的最優(yōu)算法，在Wider-Face和FDDB評(píng)測(cè)標(biāo)準(zhǔn)上都取得最優(yōu)結(jié)果，多角度融合的改進(jìn)策略可以有針對(duì)性地讓經(jīng)過驗(yàn)證的有效模塊發(fā)揮作用，提升模型性能，然而這種多角度優(yōu)化也可能在一定程度上增加計(jì)算時(shí)間。

表2 基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法匯總表

Ge 等[75]提出的局部線性嵌入式卷積神經(jīng)網(wǎng)絡(luò)（Locally Liner Embedding CNN，LLE-CNN）也是從探索面部以外區(qū)域的信息來實(shí)現(xiàn)遮擋人臉檢測(cè)的。檢測(cè)流程如圖6所示，輸入的圖片先經(jīng)Proposal Module提取面部候選框，并用噪聲描述符表示；隨后在Embedding module中，經(jīng)由大量圖片構(gòu)成的人臉字典和非人臉字典訓(xùn)練出的最近鄰來細(xì)化描述符，由遮擋造成的遮擋面部信息在這一步得以補(bǔ)全；最后，Verification Module同時(shí)給出分類和回歸的結(jié)果。經(jīng)過大量的實(shí)驗(yàn)，LLE-CNN在遮擋數(shù)據(jù)集上MAFA上的表現(xiàn)中比次優(yōu)算法AP值提高了15.6%，并在12種遮擋程度、類型，面部朝向下均優(yōu)于其他6種方法。

2018 年，Chen 等[76]提出對(duì)抗性遮擋感知人臉檢測(cè)器（Adversarial Occlusion-aware Face Detector，AOFD），利用深層對(duì)抗網(wǎng)絡(luò)來模擬現(xiàn)實(shí)場(chǎng)景中的遮擋面部特征，并用生成的面部樣本訓(xùn)練檢測(cè)器，同時(shí)利用上下文信息在實(shí)現(xiàn)遮擋人臉檢測(cè)的同時(shí)完成遮擋區(qū)域分割，為后續(xù)基于面部特征的相關(guān)任務(wù)提供幫助；AOFD在MAFA上結(jié)果與 FA-Net 和 LLE-CNN 進(jìn)行比較，AP 分別提高了3.6%和31.3%，顯示出AOFD在遮擋人臉檢測(cè)方面的優(yōu)越性能。Zhang等[77]提出一種基于上下文信息的生成對(duì)抗網(wǎng)絡(luò)（Contextual based Generative Adversarial Network，C-GAN），充分利用面部周圍信息訓(xùn)練GAN，以提高檢測(cè)器性能，進(jìn)而完成人臉檢測(cè)。GAN 包含一個(gè)生成模型G和一個(gè)鑒別模型D，生成器生成樣本供鑒別器鑒別，鑒別結(jié)果再反饋給生成器用于性能優(yōu)化，G 和D在博弈的過程中交替優(yōu)化。生成網(wǎng)絡(luò)包含上采樣子網(wǎng)和優(yōu)化子網(wǎng)，低分辨率圖像通過上采樣子網(wǎng)輸出高分辨率圖像，優(yōu)化子網(wǎng)完善高分辨率圖像；鑒別網(wǎng)絡(luò)的分類子網(wǎng)完成人臉-非人臉，真實(shí)圖像-虛假圖像的鑒別，回歸子網(wǎng)用于完善較難人臉的邊框檢測(cè)，通過多種類別的實(shí)驗(yàn)，消融驗(yàn)證了C-GAN對(duì)遮擋人臉，小人臉這類難點(diǎn)問題的有效性。GAN在應(yīng)對(duì)姿態(tài)變化方面上有突出優(yōu)勢(shì)，結(jié)合語(yǔ)境信息對(duì)抗生成更適宜復(fù)雜場(chǎng)景的人臉檢測(cè)模型，但同時(shí)GAN也存在訓(xùn)練難度大、模型設(shè)計(jì)困難的問題。

需要特別指出的是，目前，諸多算法在遮擋人臉檢測(cè)方面的表現(xiàn)被用作評(píng)價(jià)其應(yīng)對(duì)困難場(chǎng)景能力的指標(biāo)之一，這些算法并不專門針對(duì)遮擋情況提出，但經(jīng)WiderFace復(fù)雜數(shù)據(jù)集測(cè)試，具有檢測(cè)遮擋人臉的能力，從這些算法中可以提取對(duì)遮擋人臉檢測(cè)有益的參考。SSH[78]在每個(gè)預(yù)測(cè)模塊上通過濾波器對(duì)上下文信息建模，并消融驗(yàn)證明了上下文模塊的加入使其在Wider-Face數(shù)據(jù)集上的測(cè)試精度平均提高了0.5%。選擇性細(xì)化網(wǎng)絡(luò)（Selective Refinement Network，SRN）[79]在淺層特征映射上通過選擇性兩部分類器（Selective Twostep Classification，STC）進(jìn)行錨框分類，在深層特征上通過選擇性兩步回歸器（Selective Two-step Regression，STR）進(jìn)行錨框調(diào)整，加入感受野增強(qiáng)模塊（Receptive Field Enhancement，RFE），使用1×k，k×1 的卷積層提供多種矩形感受野來融合上下文信息以達(dá)到優(yōu)化檢測(cè)性能的目的，SRN 在WiderFace 上的性能超越了PyramidBox。

圖6 LLE-CNN框架圖

值得一提的是在SRN算法上進(jìn)一步優(yōu)化得到的改進(jìn)選擇性細(xì)化網(wǎng)絡(luò)（Improved Selective Refinement Network，ISRN）[80]和在PyramidBox 上通過對(duì)既有模塊改進(jìn)提出的平衡數(shù)據(jù)錨采樣（Balanced Data Anchor Sampling），密集上下文模塊（Dense Context Module）和多任務(wù)訓(xùn)練（Multi-task Training）得到PyramidBox++[81]。這兩個(gè)算法都是當(dāng)前最頂尖的檢測(cè)算法，ISRN 在世界最大合照上檢測(cè)到900張人臉，PyramidBox++的檢測(cè)結(jié)果是916 張，這兩個(gè)算法都充分利用了既有優(yōu)質(zhì)算法，發(fā)揮模塊最佳效能，針對(duì)算法中的薄弱環(huán)節(jié)逐個(gè)有針對(duì)性的優(yōu)化，進(jìn)行整體檢測(cè)性能的提升，如PyramidBox++中的BDAS 數(shù)據(jù)增強(qiáng)模塊是SSD[82]采樣模塊與數(shù)據(jù)錨采樣（Data-Anchor-Sampling，DAS）的結(jié)合，ISRN 在數(shù)據(jù)增強(qiáng)方面則是在SRN的基礎(chǔ)上融合了DAS模塊。這種薄弱環(huán)節(jié)的融合改進(jìn)使算法在不損失速度的情況下提高了應(yīng)對(duì)復(fù)雜人臉的檢測(cè)精度。

基于深度學(xué)習(xí)的人臉檢測(cè)方法通過設(shè)計(jì)網(wǎng)絡(luò)框架自動(dòng)學(xué)習(xí)圖片特征，在充分挖掘未遮擋部分檢測(cè)遮擋人臉的算法中，專注于面部特征，對(duì)姿態(tài)變化和局部遮擋有較好的處理能力，然而也因?qū)γ娌繀^(qū)域的依賴性，性能受圖像分辨率影響較大；在利用復(fù)合信息檢測(cè)遮擋人臉的算法中，神經(jīng)網(wǎng)絡(luò)模擬人眼視覺機(jī)制，身體特征的加入使其對(duì)姿態(tài)、角度、尺寸、遮擋的檢測(cè)性能更優(yōu)。

表2 綜合比對(duì)了基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法的性能：

在檢測(cè)速度方面，基于深度學(xué)習(xí)的算法體系雖仍較基于Adaboost的算法體系存在一些差距，但深度神經(jīng)網(wǎng)絡(luò)和GPU的運(yùn)用已使該部分算法的檢測(cè)速度整體得到較大提升。

在應(yīng)對(duì)復(fù)雜場(chǎng)景的處理方面，基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法在WiderFace Val_hard 子集和MAFA 上的AP突破90%，在FDDB上突破99%，說明了基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法在處理背景復(fù)雜、姿態(tài)多變的自然場(chǎng)景人臉檢測(cè)問題方面具有卓越性能。

在適用環(huán)境方面，基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法因檢測(cè)準(zhǔn)確率高和抗干擾能力強(qiáng)的綜合優(yōu)勢(shì)，適用于人流密集、姿態(tài)不受限的現(xiàn)場(chǎng)場(chǎng)景人流檢測(cè)。

4.3 遮擋人臉檢測(cè)數(shù)據(jù)集

數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)對(duì)模型性能的提升和量化評(píng)估具有極為重要的作用，就遮擋面部的檢測(cè)問題而言，一個(gè)數(shù)據(jù)完備，標(biāo)注清楚的遮擋面部數(shù)據(jù)集是提升模型性能的有效方法。網(wǎng)絡(luò)上開源的通用人臉數(shù)據(jù)集較多[83-85]，然而針對(duì)遮擋人臉問題設(shè)計(jì)的數(shù)據(jù)集較為缺乏，目前可較好地用于訓(xùn)練和測(cè)評(píng)遮擋人臉檢測(cè)器的開源數(shù)據(jù)集有 FDDB[86]、AFW、AFLW、300W、Wider Face[87]、MAFA[75]和COFW（Caltech Occluded Faces in the Wild）[88]，匯總結(jié)果如表3所示。

其中，F(xiàn)DDB、AFW、AFLW 和300W 是自然場(chǎng)景下的人臉數(shù)據(jù)集，由于數(shù)據(jù)成像場(chǎng)景豐富，適用于遮擋人臉檢測(cè)問題，WiderFace、MAFA、COFW 則專門標(biāo)注了人臉的遮擋屬性。

FDDB 數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)自2010 年公布以來被廣泛使用。數(shù)據(jù)是由雅虎新聞網(wǎng)站上收集到的2 845張圖片組成，包含了大量遮擋、低分辨率、異常姿態(tài)等情況。FDDB 與大部分?jǐn)?shù)據(jù)集不同之處在于其采用的是更貼合面部輪廓的橢圓形標(biāo)注，根據(jù)橢圓中心位置、長(zhǎng)軸短軸長(zhǎng)度以及人臉方向確定橢圓框具體位置，并提供單獨(dú)評(píng)分（Discrete Score，DS）和連續(xù)評(píng)分（Continuous Score，CS）兩種評(píng)分方式，不同算法的分值通過ROC曲線直觀比較。

表3 遮擋人臉數(shù)據(jù)集匯總表

AFW是早期為測(cè)評(píng)模型在自然場(chǎng)景下檢測(cè)能力而提出的數(shù)據(jù)集，標(biāo)注了矩形邊界框，6個(gè)關(guān)鍵點(diǎn)及3種姿態(tài)變化，由于數(shù)據(jù)量較小，僅有205張圖片，故多被直接用作測(cè)試集。

AFLW 同時(shí)標(biāo)注了橢圓框、矩形框和21 個(gè)特征點(diǎn)，其中橢圓框的標(biāo)注方法與FDDB相同，AFLW數(shù)據(jù)集包含21 997張圖片，其中男女比例3∶2，人像外表和成像環(huán)境變化較大，數(shù)據(jù)豐富，標(biāo)注清晰，對(duì)人臉屬性分析、人臉檢測(cè)和識(shí)別等領(lǐng)域的研究具有推進(jìn)作用。

300W則是用半監(jiān)督的方式統(tǒng)一標(biāo)注AFW、Helen、IBUG 等多個(gè)數(shù)據(jù)集的圖像，特征點(diǎn)為68 個(gè)，由于數(shù)據(jù)來源多樣，故而對(duì)受檢模型的泛化能力具有較好的評(píng)估性。

WiderFace 數(shù)據(jù)集包含 32 203 張圖片和 393 703 個(gè)標(biāo)注人臉，10倍于當(dāng)時(shí)最大的人臉檢測(cè)數(shù)據(jù)集，大量變化的標(biāo)簽?zāi)樤谕庥^、比例、姿勢(shì)和遮擋等方面具有較高的復(fù)雜度和豐富度，使其成為目前開源數(shù)據(jù)集中檢測(cè)難度最大，數(shù)據(jù)豐富度最高的數(shù)據(jù)集之一。WiderFace 中158 989被選為訓(xùn)練子集，39 496為驗(yàn)證子集，其余為測(cè)試子集，其中驗(yàn)證集和測(cè)試集又根據(jù)檢測(cè)的難易程度分為簡(jiǎn)單、中等、困難3個(gè)等級(jí)以供分類測(cè)試。

COFW 是較早設(shè)計(jì)的遮擋檢測(cè)數(shù)據(jù)集，規(guī)模較小，設(shè)計(jì)初衷是為了檢測(cè)遮擋下的面部標(biāo)志點(diǎn)定位，包含1 852 張含遮擋的注釋人臉。其中訓(xùn)練集包含1 345 張不包含遮擋的圖片，測(cè)試集包含507 張包含遮擋的圖片，平均遮擋率約23%，經(jīng)過Grid loss[68]中的二次統(tǒng)計(jì)，其中329 張圖片被遮擋的點(diǎn)位超過30%，屬重度遮擋，剩余的178張則是輕微遮擋。

MAFA是專門針對(duì)遮擋（蒙面）人臉構(gòu)建的數(shù)據(jù)集，包含從網(wǎng)上搜集來的30 811張圖片，每張圖片至少包含一張遮擋面，這一點(diǎn)是通用人臉數(shù)據(jù)集所不具備的。數(shù)據(jù)集手動(dòng)標(biāo)注6種屬性，分別是人臉位置、眼鏡位置、遮擋位置、面孔朝向（左，中，右，左前，右前）、遮擋程度（強(qiáng)，中，弱）和遮擋類型（簡(jiǎn)單面具：純色人造遮擋物，復(fù)雜面具：復(fù)雜紋路的人造遮擋物，人體遮擋及混合遮擋），該數(shù)據(jù)集對(duì)更為復(fù)雜的遮擋人臉檢測(cè)數(shù)據(jù)集構(gòu)建以及深度學(xué)習(xí)模型訓(xùn)練和優(yōu)化具有較好的參考意義。

5 總結(jié)與展望

5.1 總結(jié)

遮擋人臉檢測(cè)是人臉識(shí)別、面部屬性分析、視頻人像追蹤等計(jì)算機(jī)視覺任務(wù)面向現(xiàn)實(shí)場(chǎng)景應(yīng)用難以回避的問題，受到較多關(guān)注，研究人員利用基于手工設(shè)計(jì)特征和深度學(xué)習(xí)的方法對(duì)遮擋人臉檢測(cè)開展了深入的探索，并取得了顯著進(jìn)展。但是相比于一般人臉檢測(cè)方法在通用數(shù)據(jù)集上的優(yōu)異表現(xiàn)，有遮擋人臉檢測(cè)算法在專門數(shù)據(jù)集上的準(zhǔn)確率和效率尚存在一定不足。

表4綜合比對(duì)了文中的三類算法體系的性能，可以看出，基于手工設(shè)計(jì)特征的兩類經(jīng)典算法在性能上尚存一定缺陷，基于Adaboost的算法級(jí)聯(lián)弱分類器形成檢測(cè)性能更優(yōu)的強(qiáng)分類器，優(yōu)點(diǎn)在于檢測(cè)速度較快，實(shí)時(shí)性強(qiáng)，對(duì)硬件設(shè)備要求低，然而受手工設(shè)計(jì)特征靈活性不高和可靠性差的影響，對(duì)檢測(cè)場(chǎng)景和待檢人臉角度有較高要求?；贒PM的算法體系在發(fā)展過程中依次提出了克服模型訓(xùn)練難度大，檢測(cè)速度慢，計(jì)算復(fù)雜度高，閾值標(biāo)準(zhǔn)難以確定，圖像分辨率低等一系列問題的方案，逐步提高檢測(cè)效率、精度及對(duì)遮擋的魯棒性能，不足之處則在于基于局部模型的算法體系提取的均是圖片的HOG特征，HOG特征本身存在抗噪聲能力差，描述子生成時(shí)間冗長(zhǎng)等局限，優(yōu)化后的模型算法計(jì)算復(fù)雜度仍然較高，算法模型難以用于實(shí)時(shí)檢測(cè)。

基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法近年來被大量提出并取得較大進(jìn)展，深度卷積神經(jīng)網(wǎng)絡(luò)框架用于提取目標(biāo)圖像深層次特征和語(yǔ)義信息，實(shí)現(xiàn)特征的非線性表達(dá)和描述，結(jié)合數(shù)據(jù)增強(qiáng)、錨框設(shè)計(jì)和損失函數(shù)設(shè)計(jì)等模塊，實(shí)現(xiàn)充分挖掘未被遮擋的面部信息和結(jié)合上下文信息加強(qiáng)感受野輔助檢測(cè)，提高算法的抗干擾能力，在復(fù)雜場(chǎng)景檢測(cè)和檢測(cè)實(shí)時(shí)性方面都有較好的表現(xiàn)。其不足之處在于訓(xùn)練難度較大，算力要求較高。

數(shù)據(jù)集對(duì)于模型訓(xùn)練和優(yōu)化非常重要，特別是對(duì)深度學(xué)習(xí)模型的應(yīng)用和泛化，起著必要的基礎(chǔ)作用。相對(duì)于常規(guī)的人臉檢測(cè)數(shù)據(jù)集，專門用于遮擋人臉檢測(cè)的大規(guī)模數(shù)據(jù)集仍然較少，可能是因?yàn)閿?shù)據(jù)收集困難，標(biāo)注費(fèi)時(shí)費(fèi)力，導(dǎo)致用于遮擋人臉檢測(cè)的數(shù)據(jù)集還很不完備，數(shù)據(jù)量少。而現(xiàn)實(shí)環(huán)境下，人臉面臨遮擋、偽裝甚至混合遮擋的情況并不少見，干擾背景也更為復(fù)雜，故構(gòu)建數(shù)據(jù)量大，姿勢(shì)、光照、遮擋、尺寸等復(fù)雜變化的標(biāo)注和屬性準(zhǔn)確描述的數(shù)據(jù)集尚需進(jìn)一步研究。

表4 各算法體系性能匯總

5.2 展望

遮擋人臉檢測(cè)在面向現(xiàn)實(shí)場(chǎng)景的實(shí)時(shí)應(yīng)用時(shí)，對(duì)模型魯棒性及檢測(cè)速度、精度都有較高要求，基于手工設(shè)計(jì)特征的經(jīng)典方法應(yīng)注重提升算法的抗干擾能力，提高模型應(yīng)對(duì)維度變化時(shí)的穩(wěn)定性和檢測(cè)時(shí)效性問題。

基于Adaboost 的算法重在提高特征靈活性及穩(wěn)健型，在手工設(shè)計(jì)特征時(shí)可參考3D 人臉特點(diǎn)設(shè)計(jì)[89]更貼合面部的特征以應(yīng)對(duì)維度變化，基于DPM 的算法模型應(yīng)注重降低模型計(jì)算復(fù)雜度應(yīng)對(duì)實(shí)時(shí)性問題，可通過結(jié)合深度神經(jīng)網(wǎng)絡(luò)和應(yīng)用GPU 來降低時(shí)間成本。此外，開發(fā)設(shè)計(jì)新型算法應(yīng)對(duì)各種遮擋及復(fù)雜場(chǎng)景等特征損失或噪聲干擾的魯棒性問題也值得關(guān)注。

基于深度學(xué)習(xí)的遮擋人臉檢測(cè)算法中，深度卷積神經(jīng)網(wǎng)絡(luò)框架用于圖像特征提取和噪聲抑制，準(zhǔn)確率和魯棒性較好，但是目前基礎(chǔ)框架訓(xùn)練難度大，對(duì)硬件設(shè)備性能依賴性較強(qiáng)的問題仍然存在，故應(yīng)加強(qiáng)對(duì)基礎(chǔ)框架的創(chuàng)新及優(yōu)化，包括設(shè)計(jì)輕量型網(wǎng)路架構(gòu)。在這一點(diǎn)上，羅明柱等[90]微調(diào)AlexNet 使其突破圖片尺寸限制和張等[91]設(shè)計(jì)輕量級(jí)網(wǎng)絡(luò)的做法值得借鑒。加強(qiáng)對(duì)GAN、注意力機(jī)制和信息融合等方面的探索，在保證檢測(cè)精度的同時(shí)降低模型訓(xùn)練難度，如GAN 在應(yīng)對(duì)姿態(tài)變化和雜亂背景方面有突出優(yōu)勢(shì)，然而其設(shè)計(jì)還不成熟，易在訓(xùn)練時(shí)出現(xiàn)學(xué)習(xí)崩潰和模型不可控的問題，應(yīng)加強(qiáng)對(duì)網(wǎng)絡(luò)性能的探索，使其更易量化地判斷模型的優(yōu)劣，注意力機(jī)制則具有參數(shù)少，模型簡(jiǎn)單，容易訓(xùn)練的特點(diǎn)，易與其他網(wǎng)絡(luò)層融合提高局部特征可辨性和抑制噪聲[94]；充分利用圖像信息，注重面部屬性信息的同時(shí)參考人眼視覺機(jī)制，融合語(yǔ)境信息進(jìn)行檢測(cè)，以提高檢測(cè)準(zhǔn)確率。

眾所周知，數(shù)據(jù)集對(duì)模型訓(xùn)練意義重大，構(gòu)建用于遮擋人臉檢測(cè)的專門數(shù)據(jù)集和評(píng)測(cè)標(biāo)準(zhǔn)以優(yōu)化深度模型的訓(xùn)練，提高模型的精確度、魯棒性和實(shí)時(shí)性也是未來的重要工作之一。但是包含遮擋等復(fù)雜場(chǎng)景的數(shù)據(jù)集不可能包含所有場(chǎng)景，數(shù)據(jù)量也不可能過大，故未來半監(jiān)督、無監(jiān)督或遷移學(xué)習(xí)方法在遮擋人臉檢測(cè)領(lǐng)域值得重點(diǎn)研究。

綜上所述，相信隨著人工智能的快速發(fā)展，面向現(xiàn)實(shí)場(chǎng)景的遮擋人臉檢測(cè)一定可以實(shí)現(xiàn)高精度實(shí)時(shí)應(yīng)用。