基于輕量化SSD的人臉檢測(cè)模型設(shè)計(jì)

遲萬(wàn)達(dá) 王士奇 張瀟 董爽 商方斌 范迪

摘要：針對(duì)傳統(tǒng)深度學(xué)習(xí)檢測(cè)模型精度高、結(jié)構(gòu)復(fù)雜、參數(shù)量大，檢測(cè)速度慢，以及輕量級(jí)模型結(jié)構(gòu)簡(jiǎn)單參數(shù)量小，精度損失明顯的問(wèn)題，提出了一種輕量化基于單步候選區(qū)回歸的目標(biāo)檢測(cè)算法（SSD）的人臉檢測(cè)模型，兼顧檢測(cè)精度和檢測(cè)速度的需求?；趥鹘y(tǒng)模型特征圖所存在的冗余現(xiàn)象，設(shè)計(jì)了一種輕量化卷積，以線性變換代替部分卷積操作，既能保持特征圖的數(shù)量，又減少了模型參數(shù)和運(yùn)算量。同時(shí)，采用性能更好的Hard_Swish激活函數(shù)，以加快收斂速度并提高模型精度。通過(guò)FDDB人臉數(shù)據(jù)集的測(cè)試結(jié)果可以看出，綜合考慮精度、參數(shù)量、速度等指標(biāo)，輕量化模型在保持了人臉檢測(cè)精度的前提下，大大壓縮了模型體積、提高了模型的檢測(cè)速度，達(dá)到了影視實(shí)時(shí)性檢測(cè)要求。

關(guān)鍵詞：SSD模型;輕量化卷積;Hard_Swish函數(shù);線性變換;人臉檢測(cè)

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2021）05-69-5

0引言

人臉檢測(cè)是基于人臉信息處理的人機(jī)交互、表情分析、人證對(duì)比等研究的重要基礎(chǔ)，其結(jié)果對(duì)后續(xù)人臉跟蹤[1]、人臉面部特征點(diǎn)提取[2]、表情識(shí)別[3]及人臉識(shí)別[4]等研究和應(yīng)用有重要作用和影響。

目前，主流的人臉檢測(cè)算法可分成基于人工設(shè)計(jì)的特征統(tǒng)計(jì)檢測(cè)方法[5-6]和自動(dòng)提取特征的深度學(xué)習(xí)檢測(cè)方法[7-10]2類?；谌斯ぴO(shè)計(jì)特征的人臉檢測(cè)算法，特征表達(dá)能力有限，容易受外界環(huán)境（如光照、遮擋、尺度等）變化的影響，在復(fù)雜場(chǎng)景下檢測(cè)性能難有提升。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，眾多基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)算法被提出。算法大多基于目標(biāo)檢測(cè)框架，主要有Two-Stage和One-Stage的方法，如Ren S等[7]提出基于多步候選區(qū)回歸的目標(biāo)檢測(cè)算法Faster R-CNN是Two-Stage的代表;Liu Wei[8]提出的SSD是One-Stage的代表，特點(diǎn)是速度較快、精度較高。近幾年，以SSD為基礎(chǔ)的檢測(cè)模型也得到了不斷改進(jìn)[9-10];方帥等[9]對(duì)SSD進(jìn)行了改進(jìn)并用于多尺度人臉檢測(cè)，提高了小尺度人臉檢測(cè)的準(zhǔn)確性;范迪等[10]提出的基于SSD的多尺度行人檢測(cè)算法，在模型的附加特征層中引入壓縮激勵(lì)模塊，提高了小尺寸目標(biāo)的檢測(cè)能力。

傳統(tǒng)深度學(xué)習(xí)檢測(cè)技術(shù)對(duì)存儲(chǔ)和計(jì)算能力要求較高，是算法推廣應(yīng)用的障礙，因此輕量型神經(jīng)網(wǎng)絡(luò)架構(gòu)得到了廣泛關(guān)注。典型方法主要分為三大類[11-14]：人工設(shè)計(jì)輕量化神經(jīng)網(wǎng)絡(luò)模型、神經(jīng)網(wǎng)絡(luò)搜索自動(dòng)化設(shè)計(jì)和模型壓縮。谷歌[11]通過(guò)深度可分離卷積代替標(biāo)準(zhǔn)卷積提出了輕量級(jí)網(wǎng)絡(luò)架構(gòu)MobileNet V1;Face++[12]通過(guò)逐點(diǎn)群卷積核通道混洗技術(shù)提出了ShuffleNet V1;NasNet[13]設(shè)計(jì)了基于塊的搜索空間，大大加快搜索速度;AMC[14]利用強(qiáng)化學(xué)習(xí)方法自動(dòng)學(xué)習(xí)模型壓縮策略，可以更好地保持神經(jīng)網(wǎng)絡(luò)的性能。人工設(shè)計(jì)輕量化模型通過(guò)設(shè)計(jì)高效的卷積方式，減少網(wǎng)絡(luò)參數(shù)的同時(shí)網(wǎng)絡(luò)精度損失小，是目前主流的模型輕量化方法。

輕量化的人臉檢測(cè)模型旨在保持檢測(cè)精度的基礎(chǔ)上，大幅減少參數(shù)量和計(jì)算量，達(dá)到實(shí)時(shí)性應(yīng)用的要求。本文兼顧檢測(cè)精度和檢測(cè)速度，基于傳統(tǒng)SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)，設(shè)計(jì)了一種輕量級(jí)卷積操作代替原始卷積，通過(guò)使用輕量線性變換特征圖代替原卷積特征圖，輕量化設(shè)計(jì)所生成的特征圖數(shù)量與普通卷積網(wǎng)絡(luò)的相同，但參數(shù)少且運(yùn)算簡(jiǎn)單，減小了計(jì)算量;同時(shí)，將更加高效的Hard_Swish激活函數(shù)引入模型，提高模型性能，加快模型訓(xùn)練的收斂速度。

1 SSD模型的輕量化

SSD網(wǎng)絡(luò)模型是One-Stage目標(biāo)檢測(cè)網(wǎng)絡(luò)，設(shè)計(jì)思想主要是多尺度多長(zhǎng)寬比的密集錨點(diǎn)設(shè)計(jì)和特征金字塔。該模型以VGG16的卷積層為基礎(chǔ)網(wǎng)絡(luò)，將VGG16最后的2個(gè)全連接層修改為卷積層，并在后面添加多個(gè)不同尺度的卷積層，實(shí)現(xiàn)不同尺度物體的檢測(cè)。SSD目標(biāo)檢測(cè)模型采用不同尺度長(zhǎng)寬比的預(yù)測(cè)框，均勻地在圖像的不同位置進(jìn)行密集抽樣，特征提取、分類與回歸只需要一步，速度比Two-Stage快。

利用SSD目標(biāo)檢測(cè)的優(yōu)良性能，加入輕量化設(shè)計(jì)后，可在檢測(cè)精度和速度上得到較好的性能。設(shè)計(jì)的輕量化SSD的人臉檢測(cè)模型如圖1所示。模型前端是輕量化的VGG16，后端Conv6～Conv11是多個(gè)不同尺度的卷積層。輕量化的VGG16中，采用線性變換對(duì)原VGG中卷積層進(jìn)行了輕量化改造，產(chǎn)生與原卷積層相同數(shù)量的特征圖。另外，在模型的多尺度卷積層選用Hard_Swish非線性激活函數(shù)取代ReLU激活函數(shù)，進(jìn)一步提高網(wǎng)絡(luò)的檢測(cè)精度。

1.1輕量化卷積的設(shè)計(jì)

通常情況下，為了保證模型對(duì)輸入數(shù)據(jù)有全面的掌握，訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)的特征圖有不少冗余，以達(dá)到較好的檢測(cè)識(shí)別等性能，但這需要更多的計(jì)算資源。有文獻(xiàn)研究表明，冗余的特征圖可由一部分特征圖通過(guò)相對(duì)簡(jiǎn)單的線性操作變換獲得[15]。

本文以傳統(tǒng)卷積操作產(chǎn)生的特征圖冗余現(xiàn)象為出發(fā)點(diǎn)，設(shè)計(jì)了一種輕量級(jí)的線性變換代替原卷積，如圖2所示。首先對(duì)上一級(jí)特征圖進(jìn)行卷積操作產(chǎn)生一部分特征圖，再對(duì)這部分特征圖一一進(jìn)行線性變換生成新特征圖，卷積操作產(chǎn)生的特征圖和線性操作產(chǎn)生的特征圖一起用于后續(xù)人臉檢測(cè)任務(wù)。該操作以線性運(yùn)算代替卷積，生成的特征圖數(shù)量與普通卷積層輸出相同，但參數(shù)量變少，需要的算力資源也比普通卷積層要低，能夠有效降低計(jì)算成本。

1.2 Hard_Swish非線性激活函數(shù)的引入

原SSD模型采用的是ReLU非線性激活函數(shù)，本文則采用Hard_Swish非線性激活函數(shù)。Hard_Swish激活函數(shù)的波形與ReLU相似，保持了ReLU的優(yōu)點(diǎn)，而且Hard_Swish函數(shù)波形在0處可導(dǎo)，使得訓(xùn)練更容易收斂，總體性能更好。

相較于Swish函數(shù)，Hard_Swish函數(shù)具有數(shù)值穩(wěn)定性好、計(jì)算速度快等優(yōu)點(diǎn)，二者圖形上很相似，如圖3（b）所示。實(shí)驗(yàn)表明[17]，對(duì)于分類任務(wù)，Hard_Swish函數(shù)可以顯著提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。

2實(shí)驗(yàn)及結(jié)果分析

2.1實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)基于Debian 9.13操作系統(tǒng)和NVIDIA Tesla V100（16 GB）獨(dú)立顯卡搭建實(shí)驗(yàn)平臺(tái)，訓(xùn)練時(shí)使用GPU加速，利用Pytorch開(kāi)源框架和Python語(yǔ)言編程實(shí)現(xiàn)。

實(shí)驗(yàn)時(shí)所用訓(xùn)練集為Wider Face數(shù)據(jù)集，該數(shù)據(jù)集中有32 203張不同場(chǎng)景的圖片，標(biāo)定了393 703幅人臉，所標(biāo)人臉尺度不一、姿態(tài)各異，并存在不同程度的物體遮擋和光照差異，是目前人臉檢測(cè)領(lǐng)域廣為認(rèn)可的基準(zhǔn)數(shù)據(jù)集。實(shí)驗(yàn)所用測(cè)試集為FDDB人臉數(shù)據(jù)集。FDDB人臉數(shù)據(jù)集共有2 845幅圖像和5 171幅人臉，受環(huán)境因素以及人臉姿態(tài)的影響，人臉的難度較大，有面部表情、雙下巴、光照變化、穿戴、夸張、發(fā)型、遮擋等難點(diǎn)，圖像分辨率較小，包括彩色和灰度2類圖像，是人臉檢測(cè)最常用的數(shù)據(jù)庫(kù)之一。

實(shí)驗(yàn)過(guò)程中，利用Adam優(yōu)化器進(jìn)行梯度下降，由于無(wú)法使用預(yù)訓(xùn)練模型，因此初始學(xué)習(xí)率設(shè)為1×10-3，權(quán)重衰減系數(shù)為1×10-8，動(dòng)量參數(shù)為0.9;當(dāng)進(jìn)行50 000次迭代訓(xùn)練后，學(xué)習(xí)率調(diào)整為1×10-4;80 000次迭代后，學(xué)習(xí)率調(diào)整為1×10-5，100 000次迭代后終止訓(xùn)練。

2.2評(píng)價(jià)標(biāo)準(zhǔn)

搭建基于輕量化SSD的人臉檢測(cè)模型，主要思想是在保證檢測(cè)精度的前提下，減小模型參數(shù)量，提高模型檢測(cè)速度。因此，選取平均精度（Average Precision，AP）、參數(shù)量、檢測(cè)速度，以及設(shè)計(jì)的綜合指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)。

①AP指的是檢測(cè)出的目標(biāo)中正確的目標(biāo)所占比率，是以召回率（Recall，R）為橫坐標(biāo)，準(zhǔn)確率（Precision，P）為縱坐標(biāo)作圖得到精度-召回率曲線與坐標(biāo)軸圍成的面積，AP是不同置信度水平下檢測(cè)精度的平均值。

②參數(shù)量：參數(shù)量指的是模型所含參數(shù)的數(shù)量，直接決定模型文件的大小，也影響模型推斷時(shí)對(duì)內(nèi)存的占用量。因此模型體積越小，也就意味著更少的參數(shù)量和更低的資源消耗。

③檢測(cè)速度：目前多數(shù)人臉應(yīng)用中，都對(duì)檢測(cè)速度做出了要求，以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。檢測(cè)速度用幀率來(lái)表示。

式中，為平均精度值;為模型參數(shù)量;為歸一化幀率;按照電視電影幀率24幀/秒進(jìn)行的歸一化;，，為歸一化權(quán)重因子。在模型能達(dá)到實(shí)時(shí)檢測(cè)的情況下，重點(diǎn)考慮模型檢測(cè)精度，因此檢測(cè)精度的權(quán)重因子設(shè)置為0.6，檢測(cè)速度的權(quán)重因子設(shè)置為0.2。同時(shí)，考慮到目前智能設(shè)備存儲(chǔ)能力較強(qiáng)，對(duì)百兆左右體積的模型存儲(chǔ)較為容易，因此模型參數(shù)量的權(quán)重設(shè)置為0.2。

2.3實(shí)驗(yàn)結(jié)果對(duì)比及分析

實(shí)驗(yàn)采用上述3個(gè)評(píng)價(jià)指標(biāo)對(duì)模型性能進(jìn)行評(píng)價(jià)，對(duì)比模型有Faster-RCNN模型、原始SSD模型和SSD-lite模型。圖4為輕量化模型和3種對(duì)比模型的精度P-召回率R曲線，由曲線可知4種模型的平均精度，具體結(jié)果如表1所示。

實(shí)驗(yàn)結(jié)果表明，輕量化人臉檢測(cè)模型綜合評(píng)價(jià)指標(biāo)是最優(yōu)的，也就是從綜合精度、參數(shù)量及速度幾個(gè)方面看，模型性能有較大的優(yōu)勢(shì)。就單項(xiàng)指標(biāo)而言，模型的平均精度幾乎與Faster-RCNN差不多，但是參數(shù)量和檢測(cè)速度的提升非常顯著;與純輕量級(jí)檢測(cè)網(wǎng)絡(luò)SSD-lite模型相比，參數(shù)量和檢測(cè)速度與其差不多，但本文模型的平均精度比其高出近14%;與原SSD相比，本文模型的平均精度與之有4%的差距，但是在參數(shù)量和速度上有較強(qiáng)優(yōu)勢(shì)。另外，實(shí)時(shí)視頻檢測(cè)要求幀率達(dá)到14幀/秒以上，電視電影要求幀率達(dá)到24幀/秒以上，本文模型滿足視頻檢測(cè)的要求，也滿足電視電影的播放要求。

本文選擇幾種不同場(chǎng)景、多尺度的人臉圖像進(jìn)行對(duì)比實(shí)驗(yàn)，效果如圖5所示。測(cè)試圖中，圖像光照不均且姿態(tài)各異如圖5（a）和圖5（b），存在遮擋如圖5（c）和圖5（d），場(chǎng)景復(fù)雜且人臉尺度不一如圖5（e）和圖5（f），與實(shí)際情景下的人臉檢測(cè)相似。其中，圖5（a）、圖5（c）和圖5（e）為原始SSD模型測(cè)試效果;圖5（b）、圖5（d）和圖5（f）為本文輕量化模型測(cè)試效果。由大量測(cè)試效果圖知，本文提出的輕量化模型能正確檢測(cè)出人臉，只在復(fù)雜場(chǎng)景下小尺度和遮擋人臉情況下出現(xiàn)了輕微的漏檢或誤檢現(xiàn)象，因此可以滿足自然場(chǎng)景下的人臉檢測(cè)要求。

3結(jié)束語(yǔ)

傳統(tǒng)深度學(xué)習(xí)檢測(cè)模型本身結(jié)構(gòu)復(fù)雜、參數(shù)量大，雖然精度高但是檢測(cè)速度慢;輕量級(jí)的深度學(xué)習(xí)檢測(cè)網(wǎng)絡(luò)模型通過(guò)輕量級(jí)卷積方式極大地減小了參數(shù)量和計(jì)算量，但檢測(cè)精度也隨之下降。如何利用有限的計(jì)算資源進(jìn)行模型訓(xùn)練和實(shí)時(shí)檢測(cè)成為一個(gè)難點(diǎn)。本文兼顧檢測(cè)精度和檢測(cè)速度，將傳統(tǒng)深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)與輕量級(jí)卷積方式相結(jié)合，搭建輕量化人臉檢測(cè)模型。選取經(jīng)典深度學(xué)習(xí)目標(biāo)檢測(cè)架構(gòu)SSD模型作為基礎(chǔ)，并將輕量級(jí)卷積操作移植到SSD檢測(cè)模型中，搭建輕量化SSD人臉檢測(cè)架構(gòu)。實(shí)驗(yàn)表明，算法在保持了人臉檢測(cè)精度的前提下，大大壓縮了模型體積，同時(shí)提高了模型的檢測(cè)速度。

盡管本文模型可達(dá)到實(shí)時(shí)檢測(cè)的要求，檢測(cè)精度也保持在較高水平，但也存在一定的問(wèn)題。模型測(cè)試過(guò)程中出現(xiàn)了輕微的對(duì)復(fù)雜場(chǎng)景下小尺度人臉、遮擋人臉的漏檢問(wèn)題，主要原因是輕量級(jí)卷積操作的設(shè)計(jì)過(guò)程中，特征圖空間信息有所損失。未來(lái)可在模型結(jié)構(gòu)設(shè)計(jì)和特征表達(dá)以及上下文信息利用等方面繼續(xù)研究，以提高模型的特征利用能力。

參考文獻(xiàn)

[1] YILIHAMU D， TUERXUN P， DAWUT A，et al. A Real-time Face Tracking and Recognition System Based on SeetaFace[J]. Journal of Physics： Conference Series，2020，1673（1）：12-43.

[2]伍凱，朱恒亮，郝陽(yáng)陽(yáng)，等.級(jí)聯(lián)回歸的多姿態(tài)人臉配準(zhǔn)[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（2）：257-264.

[3] CHEN A， XING H， WANG F. A Facial Expression Recognition Method Using Deep Convolutional Neural Networks Based on Edge Computing[J]. IEEE Access， 2020（8）：49741-49751.

[4] GAO yuan，MA Jiayi，YUILLE A L. Semi-Supervised Sparse Representation Based Classification for Face Recognition with Insufficient Labeled Samples[J]. IEEE Transactions on Image Processing， 2017， 26（5）：2545-2560.

[5]張彩珍，張?jiān)葡迹愑绖?，?基于五幀差分和模板匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)識(shí)別[J].激光與紅外，2018，48（12）：1554-1560.

[6]劉禹欣，朱勇，孫結(jié)冰，等.Haar-like特征雙閾值A(chǔ)daboost人臉檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2020，25（8）：1618-1626.

[7] REN Shaoqing，HE Kaiming，Girshick R，et al.Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[8] LIU W， ANGUELOV D， ERHAN D， et al. Single Shot Multibox Detector[C]// European Conference On Computer Vision.Amsterdam： Springer， Cham， 2016： 21-37.

[9]方帥，李永毅，劉曉欣，等.一種改進(jìn)的基于SSD模型的多尺度人臉檢測(cè)算法[J].信息技術(shù)與信息化，2019（2）：39-42.

[10] FAN Di，LIU Dawei， CHI Wanda，et al. Improved SSD-Based Multi-scale Pedestrian Detection Algorithm[M].Singapore： Springer，2020.

[11] HOWARD A G， ZHU M， CHEN B， et al.MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[J].Computer Science，2017： 432-445.

[12] ZHANG X， ZHOU X， LIN M， et al. ShuffleNet： An Extremely Efficient Convolutional Neural Network for Mobile Devices[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2018：6848-6856.

[13] ZOPH B， VASUDEVAN V， SHLENS J V. Le Q. Learning Transferable Architectures for Scalable Image Recognition[C]IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018： 8697-8710.

[14] HE Y，LIN J，LIU Z， et al.Amc： Automl for Model Compression and Acceleration on Mobile Devices[J].arXiv preprint arXiv：1802.03494，2018.

[15] ZHANG Q， JIANG Z， LU Q，et al. Split to Be Slim： An Overlooked Redundancy in Vanilla Convolution[J]. arXiv preprint arXiv： 2006.12085， 2020.

[16] RAMACHANDRAN P， ZOPH B， LE Q V. Swish： A Self-gated Activation Function[J]. arXiv preprint arXiv： 1710.05941v2， 2018.

[17] HOWARD A， SANDLER M， CHU G，et al. Searching for MobileNetV3[C]//International Conference on Computer Vision，Seoul： IEEE，2019：1314-1324.

[18] FAN Di，F(xiàn)ANG Shuai，WANG Guangcai，et al.The Visual Human Face Super-resolution Reconstruction Algorithm based on Improved Deep Residual Network[J].Journal on Advances in Signal Processing，2019（1）：1-10.