復(fù)雜光照場景下基于MTCNN的人臉檢測

薛 晨, 寧志剛

(南華大學(xué) 電氣工程學(xué)院,湖南 衡陽 421001)

0 引 言

隨著信息化技術(shù)的飛速發(fā)展，人臉識別技術(shù)在當(dāng)前應(yīng)用越來越廣泛，尤其是在國家級公共安全信息和金融安全等領(lǐng)域有廣泛的應(yīng)用。隨著人臉識別應(yīng)用的推廣，人臉識別的研究面臨巨大的挑戰(zhàn)。在影響人臉識別技術(shù)中，光照條件變化就是人臉識別面臨的重要挑戰(zhàn)之一。因?yàn)樵趶?fù)雜的光照條件下，人臉部分將會產(chǎn)生明顯的明暗差異。由于人臉的3D形狀，在側(cè)光條件下，投射陰影尤為明顯。光照帶來的人臉特征急劇變化對人臉檢測及其后續(xù)的識別工作帶來了巨大的挑戰(zhàn)。

人臉檢測是目標(biāo)檢測的一個分支。傳統(tǒng)的目標(biāo)檢測算法是基于手工設(shè)計(jì)的特征，其識別效果的好壞完全取決于手工提取特征的表達(dá)能力，其應(yīng)用于人臉檢測的代表為基于Haar特征的Viola-Jones級聯(lián)檢測器[1]，以及基于方向梯度直方圖(histogram of oriented gradient，HOG)特征的可變形模型(deformable part model，DPM)[2]。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，目前基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法已成為主流，根據(jù)是否生成備選框又分為Two-stage和One-stage方法，各自代表性的模型為Faster R-CNN[3]和YOLOv3[4]。通用模型可以直接進(jìn)行人臉檢測，當(dāng)然也有專為人臉檢測設(shè)計(jì)的模型。專用的人臉檢測模型如MTCNN[5]、Faceness-Net[6]和RetinaFace[7]等。MTCNN在進(jìn)行實(shí)時人臉區(qū)域檢測的基礎(chǔ)上，給出了5個人臉關(guān)鍵點(diǎn)，更有利于進(jìn)一步的人臉對齊和分類任務(wù)，但在復(fù)雜光照場景下，會出現(xiàn)檢測精度下降，誤檢率上升等現(xiàn)象。

本文采用一種基于Retinex的光照預(yù)處理方案，能有效增強(qiáng)人臉區(qū)域，在不增加特定訓(xùn)練樣本以及不改動模型結(jié)構(gòu)的基礎(chǔ)上，有效提升MTCNN在復(fù)雜光照條件下，尤其是低光照下人臉檢測的精度。

1 基于Retinex的人臉圖像增強(qiáng)算法

在模擬光照影響的人臉圖像時，常使用基于全局的輻照度模型[8]：

I(x,y)=R(x,y)·L(x,y)

(1)

其在對數(shù)域的表現(xiàn)形式為：

i(x,y)=r(x,y)+l(x,y)

(2)

其中，I(x,y)為圖像在點(diǎn)(x,y)處的亮度，R(x,y)為該點(diǎn)處的反射系數(shù)，L(x,y)為該點(diǎn)處的光照系數(shù)，i(x,y)=log(I(x,y))，r(x,y)=log(R(x,y))，l(x,y)=log(L(x,y))。

1.1 單尺度Retinex算法

單尺度Retinex(single scale Retinex，SSR)是D.J.Jobson[9]在基于全局的輻照度模型下根據(jù)中心/環(huán)繞Retinex理論提出的，相應(yīng)的表達(dá)式如下：

(3)

其中，i為波段號，i=1,2,…,N，如灰度圖N=1，RGB彩色圖像N=3。Ii(x,y)為第i個波段的原圖像，F(xiàn)(x,y)為高斯型環(huán)繞函數(shù)，用來估計(jì)光照分量，Ri(x,y)為第i個波段增強(qiáng)的圖像。

1.2 基于Retinex算法的人臉圖像增強(qiáng)算法

傳統(tǒng)的SSR算法僅保留反射系數(shù)，增強(qiáng)后的圖像顏色失真嚴(yán)重，且伴隨著圖像灰度化。文獻(xiàn)[10]提出的視覺增強(qiáng)算法在保留反射系數(shù)的基礎(chǔ)上，對光照分量進(jìn)行動態(tài)范圍壓縮，降低了光照的影響，有效地保留了光照分量中的有效信息。

本文首先將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，僅對V通道進(jìn)行處理，并在處理前對V通道進(jìn)行白平衡，將該通道的動態(tài)范圍拉伸到[0,255]，增強(qiáng)其對比度。

光照分量的估計(jì)采用引導(dǎo)濾波器代替高斯濾波器，能夠有效抑制光暈現(xiàn)象，即L(x,y)=G×Fr,ε(I(x,y))，將其轉(zhuǎn)換到對數(shù)域中：l(x,y)=log(L(x,y))，r和ε分別為引導(dǎo)濾波器的濾波核大小和邊緣保留程度。根據(jù)輻照度模型可得反射分量：r(x,y)=log(I(x,y))-l(x,y)。

保留反射分量r(x,y)不變，對光照分量進(jìn)行一個尺度為β的壓縮，并增加一項(xiàng)γ來提高整體的對比度，得到增強(qiáng)后的圖像：

u(x,y)=r(x,y)+β·l(x,y)+γ

(4)

(5)

γ=(1-β)max(l)

(6)

其中,T為目標(biāo)對比度。然后將對數(shù)域的圖像轉(zhuǎn)換為實(shí)數(shù)域：U=exp(u)。最后將增強(qiáng)的V通道的HSV顏色空間的圖像轉(zhuǎn)換到RGB顏色空間。

2 人臉檢測與對齊

2.1 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)MTCNN是一個典型的多任務(wù)級聯(lián)的人臉檢測框架，它將人臉檢測與人臉關(guān)鍵點(diǎn)檢測融合在一個模型中，通過三個級聯(lián)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)——P-Net(proposal network)、R-Net(refine network)和O-Net(output network)，由粗到細(xì)地快速精確定位人臉框和關(guān)鍵點(diǎn)的位置。

基于MTCNN人臉檢測流程：首先對原始輸入圖片進(jìn)行縮放，構(gòu)造圖像金字塔。

第一階段，將不同尺度的圖像輸入P-Net獲取建議的人臉區(qū)域。P-Net為一個全卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出臉部區(qū)域候選窗口和邊界框回歸向量，利用非極大值抑制(non-maximum suppression, NMS)合并多余窗口。圖1所示為P-Net的網(wǎng)絡(luò)架構(gòu)。

圖1 MTCNN P-Net網(wǎng)絡(luò)架構(gòu)

第二階段，將P-Net輸出的候選框裁剪縮放后輸入到優(yōu)化網(wǎng)絡(luò)R-Net，進(jìn)一步過濾掉非人臉候選框，同樣使用NMS對候選框進(jìn)行合并處理。圖2所示為R-Net的網(wǎng)絡(luò)架構(gòu)。

圖2 MTCNN R-Net網(wǎng)絡(luò)架構(gòu)

第三階段，將第二階段得到的候選框輸入O-Net，其工作原理與R-Net相似，通過一個層次更深的網(wǎng)絡(luò)對候選框進(jìn)行篩選，并給出5個人臉關(guān)鍵點(diǎn)定位。圖3所示為O-Net的網(wǎng)絡(luò)架構(gòu)。

圖3 MTCNN O-Net網(wǎng)絡(luò)架構(gòu)

2.2 基于仿射變換的人臉對齊

仿射變換是能夠保持圖像平直性與平行性的二維坐標(biāo)到二維坐標(biāo)之間的線性變換。仿射變換的公式為：

(7)

其中，s為尺度參數(shù)，θ為旋轉(zhuǎn)角度，T=(t1,t2)′為平移參數(shù)。

檢測到的人臉圖像大多不是正臉，由MTCNN得到的5個特征點(diǎn)，通過普氏分析歸一化到標(biāo)準(zhǔn)參考點(diǎn)。求解如下最小值問題：

(8)

其中，p和q分別為待對齊的人臉特征點(diǎn)矩陣和標(biāo)準(zhǔn)參考點(diǎn)矩陣，矩陣的每一行為一個特征點(diǎn)坐標(biāo)。標(biāo)準(zhǔn)參考點(diǎn)由統(tǒng)計(jì)所得，人臉的長寬比為112∶96，因此，本文剪切對齊的人臉圖片均歸一化到112×96。5個特征點(diǎn)分別對應(yīng)左、右眼中心，鼻尖以及左、右嘴角，其對應(yīng)的參考點(diǎn)為：(30.294 6,51.396 3)、(65.531 8,51.501 4)、(48.025 2,71.736 6)、(33.549 3,92.365 5)和(62.729 9,92.204 1)。圖4(a)為MTCNN人臉檢測得到的人臉框及五個關(guān)鍵點(diǎn)坐標(biāo)，圖4(b)為對齊后的人臉圖像。

圖4 基于5點(diǎn)的人臉對齊

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文方法的有效性，實(shí)驗(yàn)結(jié)果均在Matlab2016a環(huán)境下仿真得到。

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

基于Retinex的人臉圖像增強(qiáng)算法中，引導(dǎo)濾波器的濾波核r=[0.04max(w,h)]，w和h為輸入圖像的寬度和高度，ε設(shè)置為0.01；目標(biāo)對比度參數(shù)T設(shè)置為4。SSR的標(biāo)準(zhǔn)差σ設(shè)為80。

圖5(a)為原始圖像，人臉處于暗環(huán)境中，外部光照僅集中在右下側(cè)臉，人臉特征急劇變化，嚴(yán)重影響人臉檢測的精度。圖5(b)為SSR方法增強(qiáng)的圖像，人臉細(xì)節(jié)清晰可見，但圖像灰度化嚴(yán)重，顏色嚴(yán)重失真。圖5(c)為本文增強(qiáng)結(jié)果，暗部區(qū)域細(xì)節(jié)明顯增強(qiáng)，且顏色正常，與訓(xùn)練集所使用的人臉圖像更加接近，有利于后續(xù)的檢測與關(guān)鍵點(diǎn)的精確回歸。

圖5 不同算法增強(qiáng)的圖像

3.2 人臉檢測效果對比

MTCNN采用caffee框架，人臉框回歸的訓(xùn)練集圖片來自WIDER FACE人臉數(shù)據(jù)庫，關(guān)鍵點(diǎn)的訓(xùn)練使用CelebA人臉數(shù)據(jù)庫已標(biāo)注好的人臉，模型及參數(shù)配置均使用文獻(xiàn)作者提供的最優(yōu)參數(shù)。其在FDDB(face detection data set and benchmark)數(shù)據(jù)集上的準(zhǔn)確率能夠達(dá)到95%左右，在2.6 GHz的CPU上檢測速度可達(dá)到16幀/s，但在復(fù)雜光照的影響下，人臉框的標(biāo)定和關(guān)鍵點(diǎn)的定位會出現(xiàn)明顯偏差。

圖6第一行為原始圖片的檢測效果，第二行為本文方法的檢測效果。圖片中的人臉圖像的光照水平從整體過暗、半臉過暗、局部過暗到光照漸變。在復(fù)雜光照條件下，原始MTCNN的檢測精度明顯下降，關(guān)鍵點(diǎn)的位置出現(xiàn)明顯偏移，甚至出現(xiàn)誤檢現(xiàn)象。

圖6 人臉檢測結(jié)果

現(xiàn)實(shí)生活中，低光照及不均勻光照使人臉特征發(fā)生變化，與訓(xùn)練集中的樣本形成巨大差異，導(dǎo)致在測試階段取得很好性能的檢測器在實(shí)際運(yùn)用階段精度下降。在采用本文方法增強(qiáng)后的人臉圖片，人臉區(qū)域得到明顯增強(qiáng)，人臉的五官細(xì)節(jié)清晰可見，表現(xiàn)出很好的視覺可視性，與WIDER FACE人臉數(shù)據(jù)集中用來訓(xùn)練的人臉圖像具有高度的一致性。在人臉檢測方面，本文方法增強(qiáng)的人臉圖像能夠在復(fù)雜的光照條件下，使MTCNN人臉檢測器較精確地回歸出關(guān)鍵點(diǎn)的位置，且能夠在一定程度上減少由于光照影響所引起的人臉誤檢現(xiàn)象。此外，本文增強(qiáng)算法時間復(fù)雜度低，對于200×200的單張彩色圖片在2.6 GHz的CPU下，平均運(yùn)行時間為71 ms，結(jié)合MTCNN網(wǎng)絡(luò)可以達(dá)到近實(shí)時檢測的效果。

4 結(jié) 論

本文采用基于Retinex的人臉圖像增強(qiáng)算法，該方法在HSV顏色空間中對V通道進(jìn)行增強(qiáng)，利用引導(dǎo)濾波器有效地保留了人臉細(xì)節(jié)，對光照分量進(jìn)行壓縮，該方法算法復(fù)雜度低，能有效增強(qiáng)復(fù)雜光照下的人臉區(qū)域，保留良好的視覺可視性。在人臉檢測方面，能夠有效解決復(fù)雜光照條件下MTCNN人臉檢測及關(guān)鍵點(diǎn)回歸的精度，在一定程度上降低誤檢率，實(shí)現(xiàn)近實(shí)時人臉檢測。