基于人臉超分的網(wǎng)絡(luò)視頻人臉檢測(cè)

李紅艷，曾 浩，魏藝杉

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

視頻人臉檢測(cè)是視頻人臉識(shí)別的基礎(chǔ)，只有在很好的人臉檢測(cè)效果的前提下，視頻人臉識(shí)別才會(huì)對(duì)有較好的識(shí)別效果。視頻人臉檢測(cè)一般更貼近于日常生活，這些要檢測(cè)人臉的視頻大多數(shù)都是在室外場(chǎng)景拍攝的，相比較于一般的人臉檢測(cè)難度更大。因?yàn)橐曨l人臉檢測(cè)不僅面臨著和圖像人臉檢測(cè)同樣的光照、遮擋、姿態(tài)等問題，實(shí)際應(yīng)用中視頻的圖像質(zhì)量通常不佳，人臉五官不清晰，這些因素都進(jìn)一步加大了人臉特征提取與檢測(cè)的難度。

本文提出了一種基于人臉超分辨率重建的網(wǎng)絡(luò)視頻人臉檢測(cè)模型，主要工作有以下幾點(diǎn)：①提出了一種將人臉檢測(cè)器與人臉超分辨率重建網(wǎng)絡(luò)相結(jié)合的SR Face Detection模型，該模型以RetinaFace算法[1]為人臉檢測(cè)器進(jìn)行人臉粗提取，提取的人臉經(jīng)過人臉超分辨率重建網(wǎng)絡(luò)人臉超分后進(jìn)行人臉的精細(xì)篩選。②根據(jù)所提出的SR Face Detection模型需求，在前人基于面部注意力標(biāo)志的漸進(jìn)式人臉超分算法[2]的基礎(chǔ)之上，設(shè)計(jì)了一個(gè)適合于人臉檢測(cè)的人臉超分辨率網(wǎng)絡(luò)。③為了滿足新模型的實(shí)時(shí)性的需求，提升檢測(cè)速度并降低模型訓(xùn)練難度，對(duì)RetinaFace人臉檢測(cè)器進(jìn)行優(yōu)化。

1 相關(guān)工作

人臉檢測(cè)算法通常將圖像中的所有人臉以邊界框的形式輸出，可分為早期算法時(shí)代、AdaBoost框架時(shí)代和深度學(xué)習(xí)時(shí)代3個(gè)階段。早期的人臉檢測(cè)算法使用了模板匹配技術(shù)，將圖像中某個(gè)區(qū)域進(jìn)行人臉-非人臉二分類的判別，如H.Rowley等提出的方法。之后是AdaBoost時(shí)代使用人工設(shè)計(jì)的算子進(jìn)行人臉檢測(cè)。

卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)后很快被應(yīng)用于人臉檢測(cè)，檢測(cè)精度大幅度超越之前的AdaBoost算法。Cascade CNN[3]是傳統(tǒng)技術(shù)和深度網(wǎng)絡(luò)相結(jié)合的一個(gè)代表。Faceness-Net[4]算法設(shè)計(jì)了一個(gè)更有效的CNN，提高了速度和精度。文獻(xiàn)[5]提出的MTCNN大幅提高了目標(biāo)檢測(cè)效率,尤其針對(duì)小目標(biāo)檢測(cè)精度有很大的提升。文獻(xiàn)[6]提出的SSH實(shí)現(xiàn)了多尺度的人臉檢測(cè)。RetinaFace可以利用聯(lián)合超監(jiān)督和自監(jiān)督多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)，在各種規(guī)模的人臉上執(zhí)行像素級(jí)人臉定位。

本文主要針對(duì)網(wǎng)絡(luò)視頻中的人臉進(jìn)行檢測(cè)，針對(duì)視頻幀圖片低質(zhì)量的問題引入了圖片超分辨率重建技術(shù)(super-resolution reconstruction，SR)[7]。因此，在人臉檢測(cè)研究基礎(chǔ)之外又對(duì)SR進(jìn)行研究。早期的超分辨率算法是基于學(xué)習(xí)的方式來研究的。

深度學(xué)習(xí)出現(xiàn)并在計(jì)算機(jī)視覺各個(gè)領(lǐng)域廣泛使用后，也應(yīng)用于圖像超分辨率重建。W.Shi等[8]提出了高效的ESPCN網(wǎng)絡(luò)。該網(wǎng)絡(luò)直接在低分辨率特征圖上提取特征，重新進(jìn)行像素排列得到高分辨率圖像。J.Kim等[9]提出了VDSR超分辯率網(wǎng)絡(luò)，該網(wǎng)絡(luò)架構(gòu)在全卷積層的情況下加深了整體網(wǎng)絡(luò)。同時(shí)作者使用ResNet網(wǎng)絡(luò)來驅(qū)使整個(gè)網(wǎng)絡(luò)來學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的殘差，并取得了很好的效果。C.Ledig等[10]提出了SRGAN，作者初次利用生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)處理超分辨率的問題。其利用感知損失與對(duì)抗損失來提升恢復(fù)圖片的真實(shí)感。EDSR[11]是NTIRE2017超分辨率挑戰(zhàn)賽上獲得冠軍的方案，其去掉了圖像超分辨率網(wǎng)絡(luò)中ResNet多余的模塊，通過擴(kuò)大模型的尺寸來提升圖片質(zhì)量。文獻(xiàn)[12]主要是一種端到端的人臉超分辨率重建技術(shù)，其通過人臉圖像的特殊性，從人臉圖像中提取幾何先驗(yàn)信息來提高超分辨率的效果。文獻(xiàn)[13]提出了一種人臉圖像重建的方法，即使用殘差密集網(wǎng)絡(luò)作為基本單元，并在低層中組合了Inception體系結(jié)構(gòu)。同時(shí)該方法主體結(jié)構(gòu)使用了GAN，并且加入了激活前功能定義的改進(jìn)的感知損失來提升重建人臉圖像的質(zhì)量。

2 SR Face Detection人臉檢測(cè)模型

2.1 人臉檢測(cè)模型的整體網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)低質(zhì)量視頻人臉的特點(diǎn)，本文基于優(yōu)化的RetinaFace算法與漸近人臉超分辨率重建網(wǎng)絡(luò)提出一種SR Face Detection模型。該模型主要是針對(duì)網(wǎng)絡(luò)視頻由于低質(zhì)量問題導(dǎo)致人臉檢測(cè)準(zhǔn)確率低、人臉識(shí)別準(zhǔn)確率低的問題進(jìn)行改良的。

總體來說，該人臉檢測(cè)模型整體網(wǎng)絡(luò)結(jié)構(gòu)主要包括人臉檢測(cè)器和人臉超分辨率重建網(wǎng)絡(luò)兩部分，其中人臉檢測(cè)器負(fù)責(zé)粗篩選視頻幀圖片中的人臉，而人臉超分辨率重建網(wǎng)絡(luò)負(fù)責(zé)對(duì)篩選出的人臉進(jìn)行超分辨率重建，然后再進(jìn)行二次的精細(xì)篩選，將一些模糊的誤檢人臉剔除。具體的模型結(jié)構(gòu)如圖1所示。整體框架實(shí)施步驟如下：首先，將預(yù)處理后的視頻幀圖片使用人臉檢測(cè)器進(jìn)行檢測(cè)，其中在實(shí)際檢測(cè)時(shí)會(huì)根據(jù)實(shí)際情況設(shè)置合適的人臉檢測(cè)置信度閾值，輸出視頻幀圖片中所有可能為人臉的區(qū)域。其次，將檢測(cè)出來的所有可能為人臉的區(qū)域進(jìn)行人臉的模糊度判別。若判別為高質(zhì)量人臉直接放入檢測(cè)結(jié)果。如果判別為低質(zhì)量人臉，則送入人臉超高分辯率重建網(wǎng)絡(luò)的生成對(duì)抗網(wǎng)絡(luò)的生成器中，進(jìn)行人臉超分辨率重建，最后，使用人臉超高分辨率重建網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)的判別器進(jìn)行判別。人臉超分辨率重建網(wǎng)絡(luò)的判別器會(huì)將超分后的低分辨率人臉與高分辨率人臉進(jìn)行判別區(qū)分，同時(shí)會(huì)對(duì)超分后的人臉與非人臉進(jìn)行判別，以將一些非人臉剔除，降低人臉檢測(cè)的誤檢率。

2.2 人臉超分辨率網(wǎng)絡(luò)的設(shè)計(jì)

由圖1可知，本文提出的SR Face Detection模型是在人臉檢測(cè)器后增加了一個(gè)人臉超分辨率重建網(wǎng)絡(luò)以達(dá)到對(duì)人臉檢測(cè)器檢測(cè)的人臉進(jìn)行超分處理，進(jìn)而進(jìn)行人臉二次篩選的目的。本文參考基于注意力面部坐標(biāo)的漸近式人臉超分算法的結(jié)構(gòu)，結(jié)合實(shí)際提出的人臉檢測(cè)模型的需求，給出了一種人臉超分辨率重建網(wǎng)絡(luò)(簡稱，人臉SR網(wǎng)絡(luò))。該網(wǎng)絡(luò)的主體是GAN網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)采用漸進(jìn)式訓(xùn)練的方式。同時(shí)在每一步的超分訓(xùn)練中加入面部注意力損失與感知損失來集中注意力到人臉，減少超分辨率重建任務(wù)的復(fù)雜度。在步驟2與步驟3中通過增加像素差和熱圖值來更詳細(xì)地恢復(fù)面部屬性[14]。具體來講，采用一個(gè)人臉對(duì)齊網(wǎng)絡(luò)(FAN)[15]在步驟1生成網(wǎng)絡(luò)的輸出效果圖中提取出適合的人臉熱圖用于步驟2的人臉超分。隨后從步驟2的生成網(wǎng)絡(luò)的輸出結(jié)果中提取合適的人臉熱圖，并將兩次提取的熱圖進(jìn)行比較，選擇最合適的熱圖在步驟3中進(jìn)行面部屬性恢復(fù)，減少整體訓(xùn)練時(shí)間。

圖1 基于超分辨率重建的人臉檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)低質(zhì)量人臉特征提取困難的問題，本文中人臉SR網(wǎng)絡(luò)的生成網(wǎng)絡(luò)以殘差密集網(wǎng)絡(luò)(RDB)[16](如圖2所示)作為該網(wǎng)絡(luò)特征提取的基礎(chǔ)網(wǎng)絡(luò)。由于RDB中密集連接和局部特征融合的特性，有利于提取更加深層次的網(wǎng)絡(luò)特征。同時(shí)密集連接可以大大減少參數(shù)，局部特征融合可以更有效傳播特征。生成網(wǎng)絡(luò)每部分的超分網(wǎng)絡(luò)塊均由3個(gè)密集殘差塊提取并傳播特征后經(jīng)過一個(gè)Concat層將其特征圖進(jìn)行拼接，然后經(jīng)過一個(gè)1×1的卷積層降低訓(xùn)練難度，其后連接批處理歸一化層(BatchNorm)，轉(zhuǎn)置卷積層(ConvTrans)和整流器線性單元(ReLU)用于人臉超分辨重建。實(shí)際訓(xùn)練時(shí)，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)交替訓(xùn)練，先訓(xùn)練判別網(wǎng)絡(luò)，然后訓(xùn)練生成網(wǎng)絡(luò)，不斷往復(fù)。人臉SR網(wǎng)絡(luò)的判別網(wǎng)絡(luò)具有與生成器網(wǎng)絡(luò)相對(duì)應(yīng)的體系結(jié)構(gòu)，用于判別生成器網(wǎng)絡(luò)生成的人臉與目標(biāo)人臉的差距。該判別體系結(jié)構(gòu)由卷積層(Conv)、平均池化層(AvgPool)和Leaky ReLU組成。為了達(dá)到人臉檢測(cè)的效果，本文將判別網(wǎng)絡(luò)模塊末端的全連接層設(shè)計(jì)為兩個(gè)并行的串聯(lián)全連接層，從而實(shí)現(xiàn)區(qū)分是否為高清人臉和區(qū)分人臉/背景的目的。同時(shí)在圖中可以看到在每個(gè)步驟中的生成器到判別器之間都增加了一個(gè)額外的卷積層，以便將中間特征圖轉(zhuǎn)換為RGB圖像。

圖2 殘差密集塊

針對(duì)人臉SR網(wǎng)絡(luò)的漸進(jìn)式訓(xùn)練，在步驟1中，每個(gè)網(wǎng)絡(luò)使用一個(gè)塊進(jìn)行訓(xùn)練，并學(xué)習(xí)特征進(jìn)行超分將圖像放大2倍。并將放大的圖像輸出再通過判別器的相應(yīng)部分，然后將輸出與目標(biāo)圖像進(jìn)行比較。在步驟2中，將步驟1的放大2倍的人臉超分效果圖作為步驟2的輸入圖像，進(jìn)行二次的人臉超分辨率重建。該步驟采用雙線性插值將步驟1中的2倍放大輸出的圖像再次放大2倍，然后將插值后的輸出與步驟2中的4倍放大輸出的圖像相加。該過程表示如下

(1-α)*f(GN-1(I))+α*GH(I)

(1)

其中，G是人臉SR網(wǎng)絡(luò)，f是雙線性插值，I表示輸入圖像，N{2,3} 表示步數(shù)，權(quán)重比例從0線性增加到1。步驟2中同樣將放大圖像輸入到判別器相應(yīng)的部分，通過判別器將放大的輸出與相應(yīng)的目標(biāo)圖像進(jìn)行比較。在步驟3中執(zhí)行與上述相同的過程。漸進(jìn)式訓(xùn)練方法使網(wǎng)絡(luò)能夠有效、穩(wěn)定地學(xué)習(xí)每一步具有不同損失的超分辨人臉圖像。

2.3 人臉檢測(cè)RetinaFace算法框架的改良優(yōu)化

本文所提出的SR Face Detection 模型，在提高其準(zhǔn)確率的同時(shí)，以犧牲檢測(cè)速率為代價(jià)，因此對(duì)人臉檢測(cè)器進(jìn)行優(yōu)化改良。

RetinaFace是一個(gè)利用自監(jiān)督與聯(lián)合監(jiān)督的多任務(wù)學(xué)習(xí)的單階段人臉檢測(cè)器，在各種人臉尺度上執(zhí)行像素級(jí)的人臉定位，整個(gè)模型包含了人臉檢測(cè)、人臉對(duì)齊、像素級(jí)的人臉分析和3D密集通信回歸。本次通過對(duì)論文的詳細(xì)分析發(fā)現(xiàn)在RetinaFace中引入用來預(yù)測(cè)3D人臉信息的分支的self-supervised自監(jiān)督網(wǎng)格解碼器分支，對(duì)低質(zhì)量視頻人臉檢測(cè)效果提升不大，且提高訓(xùn)練難度。本文根據(jù)該模型的需求，需要盡可能多地檢測(cè)人臉，同時(shí)為了降低模型復(fù)雜度，提高模型檢測(cè)速率，對(duì)人臉檢測(cè)器進(jìn)行改良簡化，將用來預(yù)測(cè)3D密集通信回歸的分支去掉。

為了進(jìn)一步彌補(bǔ)由于增加了人臉SR網(wǎng)絡(luò)所造成的檢測(cè)速率慢的問題，本文進(jìn)一步對(duì)基礎(chǔ)網(wǎng)絡(luò)的選取進(jìn)行優(yōu)化。在原始的RetinaFace算法中基于算法檢測(cè)精度與檢測(cè)速度考慮，基礎(chǔ)網(wǎng)絡(luò)分別使用Resnet152或輕量級(jí)的mobilenet網(wǎng)絡(luò)。本文由于優(yōu)化時(shí)去掉用于預(yù)測(cè)3D人臉信息的自監(jiān)督網(wǎng)格解碼器分支，同時(shí)基于實(shí)際模型檢測(cè)速率與檢測(cè)準(zhǔn)確率的需求，選用訓(xùn)練好的Resnet50作為基礎(chǔ)網(wǎng)絡(luò)。最終簡化后的算法框架如圖3所示。

圖3 優(yōu)化改良后的RetinaFace算法框架

2.4 損失函數(shù)

本文的人臉檢測(cè)模型的損失主要包含了人臉檢測(cè)器的損失與人臉超分辨率重建的損失兩大模塊。其中人臉檢測(cè)器的損失采用改良優(yōu)化的RetinaFace算法損失函數(shù)，人臉超分辨率重建的損失采用漸進(jìn)式人臉超分辨率重建算法的損失函數(shù)。

(1)改良后的RetinaFace算法損失

本次研究根據(jù)實(shí)際情況對(duì)人臉檢測(cè)模型中的人臉檢測(cè)器進(jìn)行改良，相應(yīng)的對(duì)其算法的損失函數(shù)進(jìn)行改良，去掉了3D密集通信回歸損失Lpixel，只保留了相關(guān)的分類損失、檢測(cè)框回歸損失和面部標(biāo)志回歸損失，以提高算法的訓(xùn)練速度與檢測(cè)效率?？倱p失函數(shù)表示如下

(2)

(2)人臉超分辨率重建算法的損失

由之前介紹的網(wǎng)絡(luò)結(jié)構(gòu)可以發(fā)現(xiàn)人臉超分部分是采用漸進(jìn)式訓(xùn)練方式，一共包括3個(gè)步驟，并且在訓(xùn)練過程中加入感知機(jī)制、注意力機(jī)制、熱圖。因此該人臉SR網(wǎng)絡(luò)模塊的損失如下：

步驟1

Ls1=αLMES+βLfeat/i+γLWGAN

步驟2 & 步驟3

Ls2=αLMES+βLfeat/i+γLWGAN+λLheatmap+ηLattention

(3)

其中，α，β，γ，λ，η均為權(quán)重系數(shù)；LMES為圖像重構(gòu)誤差；Lfeat/i為感知損失；LWGAN為對(duì)抗損失；Lheatmap為熱圖損失；Lattention為面部注意力損失。

由于本文的人臉超分辨率重建網(wǎng)絡(luò)的損失包括3個(gè)步驟的損失。因此本文的SR Face Detection模型的損失也分為3個(gè)步驟，以下分別給出各步總的損失：

步驟1

Ls=Lface+Ls1=Lface+αLMES+βLfeat/i+γLWGAN

步驟2 & 步驟3

Ls=Lface+Ls2=Lface+αLMES+βLfeat/i+
γLWGAN+λLheatmap+ηLattention

(4)

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集

WIDER FACE數(shù)據(jù)集是人臉檢測(cè)的基準(zhǔn)數(shù)據(jù)集，該數(shù)據(jù)集標(biāo)注效果好、準(zhǔn)確率高。本文在訓(xùn)練優(yōu)化RetinaFace檢測(cè)器時(shí)使用了該數(shù)據(jù)集。

在人臉SR網(wǎng)絡(luò)訓(xùn)練過程中使用了兩個(gè)不同的數(shù)據(jù)集：對(duì)齊的數(shù)據(jù)集和未對(duì)齊的數(shù)據(jù)集。對(duì)齊后的CelebA數(shù)據(jù)集用于測(cè)試面部細(xì)節(jié)的恢復(fù)精度。未對(duì)齊的CelebA和AFLW數(shù)據(jù)集用于驗(yàn)證本文中人臉SR網(wǎng)絡(luò)在現(xiàn)實(shí)世界中的泛化性。對(duì)齊的面部圖像被裁剪為正方形，未對(duì)齊的面部圖像數(shù)據(jù)集根據(jù)邊界框區(qū)域裁剪。將裁剪后的圖像調(diào)整為128×128像素以用作步驟3的目標(biāo)，并雙線性下采樣為64×64像素作為步驟2的目標(biāo)，將32×32像素作為步驟1的目標(biāo)，將16×16像素作為低分辨率圖像輸入。本文使用CelebA數(shù)據(jù)集對(duì)齊的162 770張圖像作為訓(xùn)練集，19 867張圖像作為測(cè)試集。同時(shí)使用CelebA未對(duì)齊的80 000張裁剪圖像和AFLW未對(duì)齊的20 000張裁剪圖像進(jìn)行實(shí)際適用性訓(xùn)練。最后使用CelebA的5000張圖像和AFLW的4384張圖像作為測(cè)試集。此外由于目前沒有公開的視頻幀圖片數(shù)據(jù)集，故而本文手動(dòng)標(biāo)注了1萬張視頻幀圖片作為測(cè)試的一個(gè)數(shù)據(jù)集。

3.2 訓(xùn)練細(xì)節(jié)

本次人臉檢測(cè)模塊包含兩部分的訓(xùn)練：人臉檢測(cè)器的優(yōu)化訓(xùn)練與人臉SR網(wǎng)絡(luò)的訓(xùn)練。兩者的編程語言均采用Python 3.6，均是在Ubuntu 18.04操作系統(tǒng)中編程實(shí)現(xiàn)，使用兩臺(tái)GTX1080在PC端進(jìn)行實(shí)驗(yàn)。其中改良優(yōu)化的RetinaFace是在MXnet深度學(xué)習(xí)框架進(jìn)行訓(xùn)練的，初始的學(xué)習(xí)率設(shè)為10-3，最小批量大小設(shè)置為16。人臉SR網(wǎng)絡(luò)訓(xùn)練采用的是PyTorch深度學(xué)習(xí)框架，初始學(xué)習(xí)率設(shè)置10-3，最小批量大小設(shè)置為16。每個(gè)步驟的訓(xùn)練迭代由超參數(shù)設(shè)置，訓(xùn)練模型時(shí)的迭代次數(shù)分別為5萬、5萬、10萬次。

3.3 評(píng)估驗(yàn)證

本文采取評(píng)估參數(shù)主要是以下5個(gè)：準(zhǔn)確率(P)、召回率(R)、F-measure(F)、平均精度均值mAP(mean averge precision)和每秒幀率FPS(frame per second)。其中mAP反應(yīng)目標(biāo)檢測(cè)的總體效果，其公式如下

(5)

其中，n表示類別個(gè)數(shù)，i表示某個(gè)類別，APi表示平均精度。準(zhǔn)確率(P)、召回率(R)與F-measure的計(jì)算公式前人已經(jīng)給出，本文不再贅述。

3.4 實(shí)驗(yàn)結(jié)果分析

本文的模型是基于人臉超分辨率重建的人臉檢測(cè)模型，主要由人臉檢測(cè)器對(duì)圖片的人臉進(jìn)行粗篩選，將人臉超分后再進(jìn)行一次精細(xì)的篩選，以提高模型檢測(cè)的準(zhǔn)確率。為了進(jìn)一步驗(yàn)證本文提出的人臉檢測(cè)模型的性能，將本文提出的SR Face Detection模型和原始的RetinaFace算法，以及MTCNN算法進(jìn)行對(duì)比。本文首先在手動(dòng)標(biāo)注的1萬張幀圖片上進(jìn)行人臉檢測(cè)模型測(cè)試，評(píng)估該模型的性能。設(shè)置同等的實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)結(jié)果見表1，本文的模型相比于MTCNN算法準(zhǔn)確率提高了0.136，召回率提高了0.082，mAP提高了0.134。相比于RetinaFace算法，雖然召回率降低了0.03，但準(zhǔn)確率提高了0.015，mAP提高了0.015。但是總體來講由于本文在人臉檢測(cè)器后增加了人臉超分辨率重建網(wǎng)絡(luò)故而其檢測(cè)效率低于RetinaFace算法。

表1 視頻人臉檢測(cè)實(shí)驗(yàn)對(duì)比數(shù)據(jù)

其次，本文在WIDER FACE數(shù)據(jù)集上對(duì)3個(gè)算法進(jìn)行對(duì)比，設(shè)置相同的實(shí)驗(yàn)環(huán)境，實(shí)驗(yàn)結(jié)果見表2，本文提出的人臉檢測(cè)模型性能要優(yōu)于所對(duì)比MTCNN算法與RetinaFace算法。其中，本文提出的模型與MTCNN相比準(zhǔn)確率提高了0.153，召回率提高了0.115，mAP提高了0.155。相對(duì)比于RetinaFace算法，本文提出的模型準(zhǔn)確率提高了0.017，mAP提高了0.019，但是召回率降低了0.004，但本文提出的模型檢測(cè)效率要低于RetinaFace算法。經(jīng)過以上兩個(gè)數(shù)據(jù)集的測(cè)試，進(jìn)一步說明了本文提出的SR Face Detection模型雖然檢測(cè)的召回率與檢測(cè)效率低于RetinaFace算法，但是其人臉檢測(cè)的準(zhǔn)確率與總體目標(biāo)檢測(cè)效果有不錯(cuò)的提升。

表2 WIDER FACE數(shù)據(jù)集人臉檢測(cè)實(shí)驗(yàn)對(duì)比數(shù)據(jù)

同時(shí)，由表1與表2可知，在相同數(shù)據(jù)集的情況下，文中所提出的SR Face Detection模型是以犧牲人臉檢測(cè)的檢測(cè)效率為代價(jià)來提高模型檢測(cè)的準(zhǔn)確率。相比于MTCNN模型，本文的模型在人臉檢測(cè)部分使用了特征金字塔技術(shù)，因此FPS要略高于MTCNN模型的。但相比于RetinaFace算法，本文所提出的模型由于增加了人臉SR網(wǎng)絡(luò)，因此FPS要略低。

為了進(jìn)一步對(duì)比MTCNN模型、RetinaFace模型和SR Face Detection模型的人臉檢測(cè)效率，本文對(duì)WIDER FACE數(shù)據(jù)集上的部分測(cè)試圖片做了2種模糊度的處理，形成“原圖”、“20%模糊度”、“50%模糊度”3個(gè)子集，在3個(gè)模型上進(jìn)行FPS驗(yàn)證對(duì)比。實(shí)驗(yàn)結(jié)果見表3，在“原圖”子集上，SR Face Detection模型與RetinaFace模型的FPS相差3.4，與MTCNN模型相比要高12.9。當(dāng)子集為“20%模糊度”時(shí)，SR Face Detection模型與RetinaFace模型相比FPS降低6.2，與MTCNN相比FPS高10.5。“50%模糊度”子集上，SR Face Detection模型所測(cè)試數(shù)據(jù)的FPS為21.4。與RetinaFace模型相比低9.5，與MTCNN相比FPS僅僅高4.7。由上述可知，SR Face Detection模型在處理清晰圖片與模糊圖片時(shí)的人臉檢測(cè)效率相差較大。人臉清晰度高時(shí)該模型人臉檢測(cè)效率與原始的RetinaFace算法相差較小，但是在模糊度較高時(shí)本模型的檢測(cè)效率則會(huì)因?yàn)樘幚砟：四樀膯栴}有一定幅度的降低，但最終總是高于MTCNN的檢測(cè)效率。

表3 模糊度不同數(shù)據(jù)的FPS實(shí)驗(yàn)對(duì)比

此外，本文還在WIDER FACE數(shù)據(jù)集上進(jìn)行了廣泛的消融實(shí)驗(yàn)，以檢測(cè)本文所優(yōu)化改良的部分對(duì)人臉檢測(cè)性能的定性影響。設(shè)置IOU=0.5，驗(yàn)證Easy，Medium和Hard幾種不同設(shè)定的子集的AP。如表4所示，“FPN+Context+DCN+Lpts”為簡化后的RetinaFace人臉檢測(cè)器，與原來未簡化的“FPN+Context+DCN+Lpts+Lpixel”相比較，在“Easy”子集上改良的人臉檢測(cè)的AP降低了0.474%，但是當(dāng)子集為“Medium”時(shí)僅降低了0.1%，“Hard”子集上提升最大，降低了0.163%。表明去掉用來預(yù)測(cè)3D信息的分支對(duì)檢測(cè)結(jié)果影響不大。此外，本文提出的模型與RetinaFace算法相比較，在“Easy”子集上本文的模型對(duì)人臉檢測(cè)的AP提升效果不明顯，但是當(dāng)子集為“Medium”時(shí)提升了0.112%，在“Hard”子集上提升最大，提升了0.756%。這表明本文給出的SR Face Detection模型具有良好的泛化性，在3種不同檢測(cè)難度的數(shù)據(jù)集上表現(xiàn)出更加優(yōu)異的結(jié)果，并且人臉檢測(cè)場(chǎng)景越復(fù)雜，本文的算法準(zhǔn)確率提升越明顯。

表4 人臉消融實(shí)驗(yàn)對(duì)比數(shù)據(jù)

本文還將MTCNN算法、原始的RetinaFace算法與本文提出的SR Face Detection模型的檢測(cè)結(jié)果分別送入人臉識(shí)別模型ArcFace，進(jìn)行對(duì)比測(cè)試。如表5所示，通過在3個(gè)測(cè)試集上進(jìn)行測(cè)試對(duì)比，可以發(fā)現(xiàn)本文提出的模型檢測(cè)出的人臉在進(jìn)行人臉識(shí)別時(shí)，其人臉識(shí)別的準(zhǔn)確率相比于MTCNN算法和RetinaFace算法檢測(cè)出的人臉進(jìn)行人臉識(shí)別的準(zhǔn)確率要高。由此可知本文提出的模型對(duì)人臉識(shí)別性能有明顯的提高。

表5 人臉識(shí)別效果比對(duì)

本文中提出的SR Face Detection人臉檢測(cè)模型測(cè)試效果如圖4所，可以看出本文對(duì)測(cè)試集的測(cè)試效果良好。

圖4 人臉檢測(cè)結(jié)果

本文還給出了人臉超分辨率重建效果圖。如圖5所示，第一行為模糊人臉圖片，第二行為本文的超分辨率人臉圖片，最后一行為相對(duì)應(yīng)的原圖。由三者的對(duì)比可知本文給出的人臉超分辨率重建網(wǎng)絡(luò)對(duì)人臉的細(xì)節(jié)還原較好，有利于人臉檢測(cè)的精細(xì)篩選，進(jìn)而提高人臉檢測(cè)的準(zhǔn)確率，也有利于后期的人臉識(shí)別。

圖5 人臉超分辨率重建效果

最后本文給出了實(shí)際網(wǎng)絡(luò)視頻人臉檢測(cè)的效果圖。如圖6所示，圖6(a)為視頻幀中具體檢測(cè)的某區(qū)域中的某個(gè)人臉，可以看出本文提出的人臉檢測(cè)模型對(duì)復(fù)雜場(chǎng)景的人臉檢測(cè)有良好的效果，在人臉殘缺的情況下依然可以檢測(cè)出來。圖6(b)為某個(gè)視頻中許多幀圖片中各自檢測(cè)的人臉，可以看出無論是正臉、扭曲人臉、模糊人臉、光線強(qiáng)或者光線暗的情況的人臉，本文提出的SR Face Detection模型均可以檢測(cè)出，進(jìn)一步說明了本文所提出模型在實(shí)際應(yīng)用中的有效性。

圖6 視頻人臉檢測(cè)效果

雖然本文提出的模型對(duì)視頻中人臉檢測(cè)有不錯(cuò)的檢測(cè)效果，但是在實(shí)際的視頻人臉檢測(cè)中一般要檢測(cè)的為活體人臉，其它非活體人臉均為干擾項(xiàng)。而本文提出的模型將如圖6(b)中視頻中的照片也進(jìn)行了檢測(cè)，不能區(qū)分活體與非活體。下一步的研究工作，針對(duì)視頻中的活體人臉與非活體人臉進(jìn)行區(qū)分，檢測(cè)時(shí)只檢測(cè)活體人臉，不檢測(cè)非活體人臉。

4 結(jié)束語

由于網(wǎng)絡(luò)視頻本身的質(zhì)量比較低的特點(diǎn)，對(duì)網(wǎng)絡(luò)視頻進(jìn)行人臉檢測(cè)難度會(huì)加大，準(zhǔn)確率會(huì)降低，最后還會(huì)影響人臉識(shí)別的效果。本文提出一種基于人臉超分辨率重建的人臉檢測(cè)模型，該模型主要結(jié)構(gòu)包括人臉檢測(cè)器和人臉超分辨率重建網(wǎng)絡(luò)這兩部分。以改良優(yōu)化的RetinaFace算法作為人臉檢測(cè)器，將檢測(cè)出的人臉?biāo)腿肴四槼直媛手亟ňW(wǎng)絡(luò)進(jìn)行人臉超分辨率處理，同時(shí)進(jìn)行人臉的二次判別，將檢測(cè)器誤檢的非人臉剔除提高檢測(cè)的準(zhǔn)確率。由實(shí)驗(yàn)結(jié)果可知，本文所提出的模型具有很好的準(zhǔn)確率，進(jìn)一步提高了低質(zhì)量人臉的檢測(cè)性能，尤其是檢測(cè)場(chǎng)景越復(fù)雜時(shí)，模型的提升效果越好。同時(shí)本文提出的模型由于對(duì)模糊人臉進(jìn)行了超分辨率處理，實(shí)驗(yàn)結(jié)果表明，也有利于后期低質(zhì)量人臉識(shí)別準(zhǔn)確率的提高。