基于Retina-Face的人眼關(guān)鍵點(diǎn)檢測算法研究

陳 亮,鄭 偉

(1. 北京交通大學(xué)電子信息工程學(xué)院,北京 100044;2. 北京交通大學(xué)國家軌道交通安全評估研究中心,北京 100044;3. 北京交通大學(xué)軌道交通安全協(xié)同創(chuàng)新中心,北京 100044)

1 引言

近年,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)正日漸成為人工智能領(lǐng)域的研究熱點(diǎn)和主流發(fā)展方向,得益于此,計(jì)算機(jī)視覺技術(shù)取得了巨大進(jìn)展,廣泛應(yīng)用于生產(chǎn)生活的各個(gè)場景,利用計(jì)算機(jī)視覺技術(shù)檢測人體疲勞就是其中重要應(yīng)用。

檢測人體疲勞可采用公認(rèn)較為準(zhǔn)確的方法之一:PERCLOS P80[1]。PERCLOS指的是眼睛閉合時(shí)間占某一特定時(shí)間的百分率,它可以實(shí)現(xiàn)非接觸式檢測,對被監(jiān)測人員不產(chǎn)生影響,通常采用在單位時(shí)間(1min)內(nèi)測量眼睛閉合程度超過80%的時(shí)間所占的比例(用P80表示)。因此,應(yīng)用PERCLOS P80方法時(shí),需要對人臉部,尤其是眼部的關(guān)鍵點(diǎn)進(jìn)行準(zhǔn)確而快速的定位[2,3]。因此,如何準(zhǔn)確、實(shí)時(shí)、低運(yùn)算成本地檢測人眼關(guān)鍵點(diǎn),是疲勞檢測的基礎(chǔ)之一。

在實(shí)際生產(chǎn)工作中,疲勞檢測系統(tǒng)往往需要運(yùn)行在功耗、計(jì)算能力有限的小型系統(tǒng)中,對人眼關(guān)鍵點(diǎn)檢測算法要求更高效、更輕量化。目前常用的檢測算法主要有:單階段(Single-stage)目標(biāo)檢測算法,以YOLO算法[4]和SSD算法[5]為代表,將圖像分成多個(gè)小區(qū)域,通過引入特征圖金字塔(FPN,Feature Pyramid Networks)的方式,在不同尺寸的特征圖上面設(shè)置規(guī)格不同的錨點(diǎn)框,從而完成各種尺寸目標(biāo)的檢測任務(wù),單階段算法的特點(diǎn)是直接完成從特征到分類、回歸的預(yù)測,檢測速度非常快,也正是因?yàn)閺耐蝗B接層或卷積層實(shí)現(xiàn)目標(biāo)檢測,其網(wǎng)絡(luò)精度方面相較于兩階段算法稍低一些;兩階段(Two-stage)目標(biāo)檢測算法,以R-CNN系列算法為代表,先提取檢測物體的區(qū)域,再對物體的區(qū)域進(jìn)行分類和回歸,兩階段算法精度高但網(wǎng)絡(luò)推理時(shí)由于分為兩個(gè)階段進(jìn)行,因此推理速度較慢。

Retina-Face模型是專門為檢測人臉而設(shè)計(jì)的單階段多任務(wù)(Single-Stage Multitask)深度學(xué)習(xí)模型,其特點(diǎn)是輕量化、速度快、準(zhǔn)確性較高[6],對各層級、多尺寸特征圖信息利用較好。本文基于Retina-Face算法,設(shè)計(jì)了一種對眼部關(guān)鍵點(diǎn)進(jìn)行回歸的檢測算法,采用輕量化主干網(wǎng)絡(luò)提取特征,在保證算法精度的前提下,網(wǎng)絡(luò)體量較小、推理速度較快,適合在低算力小型計(jì)算機(jī)上完成人眼關(guān)鍵點(diǎn)檢測任務(wù)。

2 基于Retina-Face的人眼關(guān)鍵點(diǎn)檢測算法設(shè)計(jì)

2.1 Retina-Face原理概述

Retina-Face[7]是Insight Face在2019年提出的人臉檢測模型,其網(wǎng)絡(luò)模型特點(diǎn)包括:單階段目標(biāo)檢測、采用特征圖金字塔[8,9]、上下文特征模塊(SSH,Single Stage Headless Face Detector)[10]、多任務(wù)[11]、錨點(diǎn)框機(jī)制[12](Anchors)以及采用輕量級主干網(wǎng)絡(luò)等等。

圖1 Retina-Face網(wǎng)絡(luò)結(jié)構(gòu)圖[4]

Retina-Face為了解決多尺寸人臉檢測問題引入了FPN結(jié)構(gòu)、SSH特征模塊、錨點(diǎn)機(jī)制,在不增加網(wǎng)絡(luò)運(yùn)算參數(shù)前提下,提高了小尺寸人臉的檢測能力。

Retina-Face采用多任務(wù)損失函數(shù),包括:人臉分類、人臉框回歸、人臉關(guān)鍵點(diǎn)回歸、人臉密集點(diǎn)回歸等4個(gè)損失函數(shù),如式(1)所示。

(1)

圖2 人臉5個(gè)關(guān)鍵點(diǎn)[4]

2.2 基于Retina-Face的人眼關(guān)鍵點(diǎn)檢測算法設(shè)計(jì)

1)臉部關(guān)鍵點(diǎn)設(shè)計(jì)

Retina-Face原網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)是5個(gè),分別是左右雙眼、左右嘴角,以及鼻尖,因此需要重新設(shè)計(jì)臉部關(guān)鍵點(diǎn)。

通用的人臉關(guān)鍵點(diǎn)檢測有包含Retina-Face的5個(gè)關(guān)鍵點(diǎn),還有如OpenCVDlib庫中的68個(gè)關(guān)鍵點(diǎn)[13]、WFLW[14]標(biāo)注98個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)集等,如圖3所示。在計(jì)算PERCLOS P80數(shù)據(jù)時(shí),需要用到的是眼部關(guān)鍵點(diǎn)數(shù)據(jù),因此為了盡可能減少計(jì)算資源消耗,采用雙眼周圍的12個(gè)關(guān)鍵點(diǎn)。人臉關(guān)鍵點(diǎn)及眼部關(guān)鍵點(diǎn)示意圖如圖3所示。

圖3 人臉關(guān)鍵點(diǎn)及眼部關(guān)鍵點(diǎn)示意圖

2)損失函數(shù)設(shè)計(jì)

針對人眼關(guān)鍵點(diǎn)檢測,由于不需要對人臉密集點(diǎn)回歸,并且密集點(diǎn)回歸的計(jì)算量相對較大,因此損失函數(shù)中移除密集點(diǎn)回歸損失函數(shù)。

3)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

在原Retina-Face設(shè)計(jì)中,FPN特征圖金字塔結(jié)構(gòu)是為了可以對小尺寸人臉有更好地檢測效果。但是通常情況下,工作場景中的疲勞檢測,例如:在司機(jī)駕駛、調(diào)度員指揮、值班員盯控站場計(jì)劃等場景中,采集圖像中的人臉面積在原圖中所占比例適中,因此,可以去除掉Retina-Face模型原有特征金字塔網(wǎng)絡(luò)的P2和P6層結(jié)構(gòu),有針對性地保證中尺寸人臉檢測結(jié)果的同時(shí),減少不必要的網(wǎng)絡(luò)推理計(jì)算過程。

簡化后的特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 重新設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)

4)圖像數(shù)據(jù)Gabor預(yù)處理設(shè)計(jì)

在實(shí)際疲勞檢測場景下,臉部易受復(fù)雜光照環(huán)境影響,從而影響算法檢測效果。在傳統(tǒng)圖像數(shù)據(jù)處理方法中,Gabor濾波器在頻域不同尺度、不同方向上提取相關(guān)的特征,經(jīng)常用作紋理識別上,并取得了較好的效果,在一定程度可以突出眼部特征[15],另一方面,Gabor濾波器處理數(shù)據(jù)量少、速度快,因此本文采用Gabor濾波器對數(shù)據(jù)進(jìn)行預(yù)處理,以達(dá)到提高算法準(zhǔn)確率的目的。

3 基于Retina-Face的人眼關(guān)鍵點(diǎn)檢測算法實(shí)現(xiàn)

3.1 人臉關(guān)鍵點(diǎn)損失函數(shù)設(shè)計(jì)

優(yōu)化后的人臉關(guān)鍵點(diǎn)損失函數(shù)包含人臉分類、人臉框位置回歸以及人臉關(guān)鍵點(diǎn)回歸損失函數(shù)

(2)

3.2 預(yù)訓(xùn)練模型遷移學(xué)習(xí)

在傳統(tǒng)機(jī)器學(xué)習(xí)框架中,一個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行特定任務(wù)的訓(xùn)練時(shí),需要充分的訓(xùn)練數(shù)據(jù),獲取足夠的數(shù)據(jù)并對其標(biāo)注也是一個(gè)相對耗時(shí)的過程。遷移學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域中是一種通用的方法,因?yàn)樗粌H可以建立完成具體任務(wù)的精確模型,其訓(xùn)練耗時(shí)更短[16,17]。利用遷移學(xué)習(xí),可以不用從零開始訓(xùn)練網(wǎng)絡(luò)模型,而是從之前解決各種問題時(shí)學(xué)習(xí)到的模式開始,因?yàn)閿?shù)據(jù)雖然不同,但是圖像特征是通用的。

Retina-Face包含三個(gè)任務(wù):人臉分類、人臉框檢測、人臉關(guān)鍵點(diǎn)檢測,當(dāng)使用預(yù)訓(xùn)練網(wǎng)絡(luò)權(quán)重文件進(jìn)行預(yù)測時(shí),對于人臉分類、人臉框檢測無需再次進(jìn)行訓(xùn)練,本文通過對前兩者相關(guān)權(quán)重進(jìn)行凍結(jié),對眼部關(guān)鍵點(diǎn)檢測權(quán)重進(jìn)行單獨(dú)訓(xùn)練,不僅可以大幅提高訓(xùn)練效率,由于預(yù)訓(xùn)練權(quán)重對人臉檢測效果較好,還可以對關(guān)鍵點(diǎn)檢測的準(zhǔn)確性起到積極作用。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

1)采用MobileNet V1作為骨干網(wǎng)絡(luò)

輕量化的卷積神經(jīng)網(wǎng)絡(luò)的研究目的和意義在于,參數(shù)計(jì)算較小的模型,其檢測準(zhǔn)確率仍保持較高水平。MobileNet V1作為輕量化網(wǎng)絡(luò)的經(jīng)典模型[18],其使用了深度可分離卷積(Depth-wise Separable Convolutions)來代替?zhèn)鹘y(tǒng)的卷積,在訓(xùn)練時(shí)參數(shù)的計(jì)算量和計(jì)算時(shí)間都得到很大程度的降低,較為適用于計(jì)算資源有限設(shè)備的深度學(xué)習(xí)網(wǎng)絡(luò)[19]。

3.3 圖像數(shù)據(jù)Gabor預(yù)處理

對原圖的Gabor預(yù)處理過程為,分別提取三個(gè)方向的特征圖[20]:0°、45°、90°,在每個(gè)方向上得到一張?zhí)卣鲌D,并以每張?zhí)卣鲌D為一個(gè)通道合成新圖片,最后進(jìn)行灰度化處理。如圖5所示。

圖5 Gabor特征圖

人眼的Gabor特征與原圖有一定的相似性,Gabor濾波器能夠保留圖像紋理變化特征的同時(shí),用來提取圖像的邊緣信息,突出了眼部特征,降低了特征冗余。通過對圖像數(shù)據(jù)進(jìn)行Gabor預(yù)處理,進(jìn)一步保證了模型對眼部特征點(diǎn)回歸的準(zhǔn)確率。

4 試驗(yàn)驗(yàn)證與結(jié)果分析

4.1 試驗(yàn)環(huán)境及實(shí)驗(yàn)數(shù)據(jù)集

本文算法實(shí)驗(yàn)環(huán)境是:操作系統(tǒng)windows10,CPU為:IntelXeon 6230,內(nèi)存32G,顯卡型號為NVIDIA Geforce GTX 2080Ti,顯存11G。編程環(huán)境和深度學(xué)習(xí)框架分別是python3.6和Pytorch。

目前,常用的人臉檢測質(zhì)量評估的公開數(shù)據(jù)集有:Wider-Face[21]、300W、300VW、WFLW等數(shù)據(jù)集,由于公開數(shù)據(jù)集中包含許多不清晰的人臉圖片,且多為睜眼圖片,與應(yīng)用PERCLOS方法檢測疲勞的實(shí)際使用場景較為不同,因此本文除在公開數(shù)據(jù)集中選取大小適中、清晰的人臉圖片以外,還采集戴眼鏡、不戴眼鏡、正面、側(cè)面和光照不均勻等多種情況,的數(shù)據(jù),并從Eyelink8[22](眨眼數(shù)據(jù)集)中眨眼圖片進(jìn)行標(biāo)注,共計(jì)10000張圖片,共同作為本文的數(shù)據(jù)集。

4.2 試驗(yàn)過程

采用帶動(dòng)量的隨機(jī)梯度下降法(stochastic gradientdes-cent,SGD)優(yōu)化器進(jìn)行訓(xùn)練,動(dòng)量大小采取經(jīng)驗(yàn)數(shù)值0.9,采用交叉驗(yàn)證方法,訓(xùn)練集與驗(yàn)證集比例為8∶2。

訓(xùn)練時(shí),設(shè)置真實(shí)人臉框和錨框的交并比(IoU,Intersection over Union)的正例樣本閾值為0.5(經(jīng)驗(yàn)值)、負(fù)例樣本閾值為0.3,但此時(shí)絕大部分樣本會(huì)被認(rèn)為是負(fù)樣本,造成樣本不均衡,為了避免該問題,正負(fù)例樣本數(shù)量的比例控制為3:1。

數(shù)據(jù)增強(qiáng)可以有效提升模型魯棒性[23],本文按照隨機(jī)選擇0.3、0.45、0.6、0.8、1.0尺寸對原圖進(jìn)行剪裁,并將圖像縮放到640×640,并以0.5概率進(jìn)行隨機(jī)鏡像和顏色擾動(dòng),以達(dá)到增加更多人臉數(shù)據(jù),提高模型表現(xiàn)能力的目的。

4.3 試驗(yàn)結(jié)果分析

在公共數(shù)據(jù)集、自制數(shù)據(jù)集上劃分的測試集進(jìn)行測試,通過歸一化平均誤差(NME,Normalized Mean Error)進(jìn)行對比。NME是人臉關(guān)鍵點(diǎn)檢測常用的評價(jià)指標(biāo)

x代表關(guān)鍵點(diǎn)真實(shí)位置,y代表網(wǎng)絡(luò)預(yù)測值,d代表兩個(gè)外部眼角的歐式距離。NME越小,代表模型預(yù)測的結(jié)果越好。

表1 與其算法在300W數(shù)據(jù)集的NME對比

表2 不同算法的模型大小和自制數(shù)據(jù)集預(yù)測速度

表3 在自制數(shù)據(jù)集上不同睜眼程度NME對比

5 結(jié)論

本文通過修改網(wǎng)絡(luò)結(jié)構(gòu)、增加傳統(tǒng)圖像處理方法,提出了一種基于Retina-Face模型的人眼關(guān)鍵點(diǎn)檢測算法,在300W數(shù)據(jù)集和自采數(shù)據(jù)上,推理的速度是100ms、NME是3.58,同時(shí),采用Gabor預(yù)處理方法相較于未采用Gabor語出方法,NME提高0.15%;在自制數(shù)據(jù)集的不同睜眼程度的推理方面,NME分別是3.20/3.25/3.21,模型參數(shù)量僅有1.8M。在保證時(shí)效性和關(guān)鍵點(diǎn)檢測準(zhǔn)確率的同時(shí),進(jìn)一步減少了模型參數(shù)量,為基于計(jì)算機(jī)視覺的實(shí)時(shí)疲勞檢測打下了基礎(chǔ)。在下一步研究中,可以對數(shù)據(jù)集進(jìn)一步擴(kuò)充,采集覆蓋多個(gè)年齡段人群的人臉數(shù)據(jù),提升算法的魯棒性和準(zhǔn)確性。