融合DCNN的面部特征檢測(cè)在駕駛員危險(xiǎn)駕駛中的應(yīng)用研究

王容霞，賀 芬，楊偉煌，趙林玲

(廣州南洋理工職業(yè)學(xué)院 信息工程學(xué)院，廣東 廣州 510925)

近幾年，人工智能技術(shù)在諸多領(lǐng)域得到了較為廣泛的應(yīng)用.針對(duì)視頻等動(dòng)態(tài)圖片的處理，相關(guān)專(zhuān)家和學(xué)者也進(jìn)行了許多研究，在跟蹤識(shí)別、動(dòng)作識(shí)別、視頻分類(lèi)等方面具有突出的貢獻(xiàn)[1-3].深度卷積神經(jīng)網(wǎng)絡(luò)(Dynamic Convolutional Neural Network，DCNN)作為一種經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)，能夠很好實(shí)現(xiàn)視頻特征的有效提取[4-6].本研究提出一種融合DCNN的面部特征定位模型，并利用駕駛員危險(xiǎn)駕駛狀態(tài)檢測(cè)算法實(shí)現(xiàn)危險(xiǎn)狀態(tài)的識(shí)別，旨在為駕駛員的疲勞檢測(cè)系統(tǒng)開(kāi)發(fā)奠定基礎(chǔ).

1 融合DCNN的面部特征檢測(cè)在駕駛員危險(xiǎn)駕駛中的應(yīng)用

1.1 融合DCNN的面部特征定位模型

人臉關(guān)鍵點(diǎn)檢測(cè)方法主要包括活動(dòng)外觀(guān)模型(Active Appearance Models，AAM)、主動(dòng)形狀模型(Active Shape Models ，ASM)、級(jí)聯(lián)回歸、深度學(xué)習(xí)4種.ASM檢測(cè)方法對(duì)環(huán)境的適應(yīng)能力弱，運(yùn)行效率非常低.AAM模型在構(gòu)建模型階段會(huì)引入紋理模型，運(yùn)行效率和適應(yīng)性均有明顯的提升.級(jí)聯(lián)回歸檢測(cè)方法能完成對(duì)預(yù)測(cè)結(jié)果的細(xì)化分類(lèi).深度學(xué)習(xí)檢測(cè)方法擁有較好的精確度和速度.人眼定位算法能很好地實(shí)現(xiàn)駕駛員的疲勞檢測(cè)，包括人臉區(qū)域分割法、模板匹配法、Hough變換法、灰度投影法[7-8].人臉區(qū)域分割法能較好地獲取眼睛位置，但在駕駛員戴眼鏡或光照強(qiáng)度較低的情況下，定位效果欠佳.模板匹配法非常簡(jiǎn)單，但實(shí)時(shí)性非常差且會(huì)受到人臉表情的影響.Hough變換法在駕駛員正常睜眼的情況下的定位效果較好，但當(dāng)駕駛員眼睛睜開(kāi)程度較小或戴眼鏡情況下的精確度很低.

DCNN人臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)主要由23個(gè)CNN子網(wǎng)絡(luò)級(jí)聯(lián)組成，DCNN包括S0、S1、S2這3種不同的網(wǎng)絡(luò)結(jié)構(gòu)，第1階段F1網(wǎng)絡(luò)采用S0，EM1、EN1使用S1；第2階段和第3階段20個(gè)CNN均采用S2.盡管該網(wǎng)絡(luò)能精確檢測(cè)人臉關(guān)鍵點(diǎn)，但對(duì)嘴巴和眼睛定位存在以下不足：DCNN僅能完成5個(gè)人臉關(guān)鍵點(diǎn)檢測(cè)，可定位嘴巴和眼睛的大概位置，但沒(méi)法準(zhǔn)確知道嘴巴和眼睛的大小.DCNN網(wǎng)絡(luò)通過(guò)級(jí)聯(lián)CNN能保證檢測(cè)精度，但因結(jié)構(gòu)復(fù)雜導(dǎo)致檢測(cè)速度慢[9-11].BL-DCNN能夠完成20個(gè)人臉關(guān)鍵點(diǎn)的檢測(cè)，其中下巴和鼻子各1個(gè)，嘴巴、眼睛、眉毛分別4個(gè)、8個(gè)、6個(gè).BL-DCNN定位模型包括精確定位和粗定位，粗定位階段利用1個(gè)CNN網(wǎng)絡(luò)獲取20個(gè)人臉關(guān)鍵點(diǎn)，精確定位階段使用1個(gè)CNN網(wǎng)絡(luò)精確定位1個(gè)器官單元.BL-DCNN中人臉關(guān)鍵點(diǎn)粗定位網(wǎng)絡(luò)參數(shù)如表1所示.粗定位網(wǎng)絡(luò)結(jié)構(gòu)采用輕量級(jí)網(wǎng)絡(luò)MobileNetV2中的bottleneck層替代卷積層，輸入圖像大小為96*96*3，相鄰bottleneck層增加add層整合特征，bottleneck層卷積核移動(dòng)步長(zhǎng)為2，最后利用dropout層連接兩個(gè)全連接層防止過(guò)擬合.

表1 BL-DCNN中人臉關(guān)鍵點(diǎn)粗定位網(wǎng)絡(luò)參數(shù)

BL-DCNN中人臉關(guān)鍵精確定位網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.精確定位網(wǎng)絡(luò)結(jié)構(gòu)輸入圖像的大小為40*40*3，且在傳輸過(guò)程中圖像大小依次減小，不同部位的關(guān)鍵點(diǎn)精確定位使用的輸出層神經(jīng)元數(shù)量不同，取值為6或8.利用均方誤差計(jì)算模型的損失值，損失函數(shù)的計(jì)算公式為式(1).

圖1 BL-DCNN中人臉關(guān)鍵精確定位網(wǎng)絡(luò)結(jié)構(gòu)

(1)

通過(guò)人臉關(guān)鍵點(diǎn)預(yù)測(cè)值和真實(shí)值的歐式距離與人臉大小的比值R確定檢測(cè)誤差，計(jì)算公式為式(2).

(2)

(3)

lex和ley分別表示坐標(biāo)空間內(nèi)眼睛邊框矩形頂角對(duì)應(yīng)的位置信息，第i個(gè)和第j個(gè)關(guān)鍵點(diǎn)的橫坐標(biāo)分別用xi和yj指代，第m個(gè)和第n個(gè)關(guān)鍵點(diǎn)的縱坐標(biāo)分別用yn和ym指代.嘴巴定位需借助下巴和鼻子的位置，計(jì)算公式為式(4).

(4)

嘴巴邊框矩形頂點(diǎn)對(duì)應(yīng)的橫縱坐標(biāo)用mouthx和mouthy指代，第k個(gè)關(guān)鍵點(diǎn)的橫坐標(biāo)用xk指代，第i個(gè)和第j個(gè)關(guān)鍵點(diǎn)的縱坐標(biāo)分別用yi和yj指代.

1.2 駕駛員危險(xiǎn)駕駛狀態(tài)檢測(cè)算法

現(xiàn)階段常用的眼睛狀態(tài)識(shí)別方法有灰度投影法和Hough找圓法.Hough找圓法在駕駛員眼睛瞳孔近乎為圓形或戴眼鏡的情況下的檢測(cè)效果很差，而灰度投影法在眼睛被光源直射或光照不均勻的情況下的檢測(cè)效果不理想.本研究提出一種基于CNN眼睛狀態(tài)識(shí)別方法，該方法能檢測(cè)駕駛員打哈欠動(dòng)作、閉眼時(shí)間、眼睛眨眼頻率.該識(shí)別網(wǎng)絡(luò)包括8層，輸入圖像的尺寸為30*60.首先通過(guò)最大池化層和兩個(gè)卷積完成對(duì)局部特征的提取，接著采用兩個(gè)全連接層會(huì)整合獲取到的局部特征，最后根據(jù)輸出層最終的結(jié)果確定眼睛的狀態(tài)[12-15].輸出層神經(jīng)元的數(shù)量為1，激活函數(shù)為sigmoid函數(shù)，激活值的取值范圍為[0，1]，正樣本用睜眼標(biāo)簽值1表示，負(fù)樣本用閉眼標(biāo)簽值0表示.預(yù)測(cè)階段，當(dāng)預(yù)測(cè)值超過(guò)0.5，則斷定眼睛為睜眼；當(dāng)預(yù)測(cè)值低于0.5，則斷定眼睛為閉眼.損失函數(shù)計(jì)算公式為式(5).

(5)

圖2 融合多特征的疲勞駕駛檢測(cè)

2 融合DCNN的面部特征在駕駛員危險(xiǎn)駕駛狀態(tài)檢測(cè)效果分析

2.1 融合DCNN的面部特征定位效果的分析

實(shí)驗(yàn)的訓(xùn)練樣本為CeleA人臉數(shù)據(jù)集，數(shù)量為60 000張，測(cè)試集和訓(xùn)練集的比例為1∶11.依據(jù)人臉關(guān)鍵點(diǎn)完成20個(gè)人臉關(guān)鍵點(diǎn)的圖像標(biāo)注，數(shù)據(jù)格式為.txt，文件總共60 000行，每行41列.人臉圖像路徑為第1列，其余為人臉關(guān)鍵點(diǎn)的坐標(biāo)位置.網(wǎng)絡(luò)模型需要ton過(guò)歸一化完成數(shù)據(jù)模型訓(xùn)練，訓(xùn)練過(guò)程中粗定位的網(wǎng)絡(luò)損失值如圖3(a)，眉毛、眼睛、嘴巴精確定位的網(wǎng)絡(luò)損失值分別如圖3(b)、圖3(c)、圖3(d)所示.人臉關(guān)鍵點(diǎn)粗定位的網(wǎng)絡(luò)損失值隨著迭代次數(shù)的增加而不斷下降，損失值變化范圍為0.0032—0.3405.而在精確定位網(wǎng)絡(luò)中，嘴巴、眼睛、眉毛位置關(guān)鍵點(diǎn)的損失值隨著迭代次數(shù)的增加而不斷下降，最終分別穩(wěn)定在0.0038、0.0036、0.0041. BL-DCNN模型中粗定位的人臉關(guān)鍵點(diǎn)的平均誤差值為0.07，而精確定位后嘴巴、眼睛、眉毛的誤差值分別為0.034、0.032、0.037.

圖3 BL-DCNN訓(xùn)練過(guò)程中粗定位和精確定位的網(wǎng)絡(luò)損失值

BL-DCNN與常見(jiàn)的人臉關(guān)鍵點(diǎn)檢測(cè)方法效果對(duì)比如表2所示.BL-DCNN人臉關(guān)鍵檢測(cè)方法在運(yùn)行時(shí)間和平均誤差方面均具有明顯的優(yōu)勢(shì).BL-DCNN檢測(cè)方法在運(yùn)行時(shí)間和人臉關(guān)鍵點(diǎn)平均誤差兩個(gè)方面均優(yōu)于DCNN檢測(cè)方法.該研究對(duì)比人臉關(guān)鍵點(diǎn)的眼睛定位方法的性能提出的BL-DCNN檢測(cè)方法、模板匹配法、Hough變換法、灰度投影法的準(zhǔn)確率分別為94.2%、84.7% 、80.5%、90.2%.因此，眼睛定位方法的檢測(cè)效果最佳.與此同時(shí)，嘴巴和眼睛定位方法無(wú)論在任何情況下均能準(zhǔn)確獲取位置.

表2 BL-DCNN與常見(jiàn)的人臉關(guān)鍵點(diǎn)檢測(cè)方法效果

2.2 駕駛員危險(xiǎn)駕駛狀態(tài)檢測(cè)分析

駕駛員閉眼和睜眼數(shù)據(jù)樣本分別來(lái)源CEW數(shù)據(jù)集和CeleA數(shù)據(jù)集與sider face數(shù)據(jù)集，數(shù)量分別為15 000張和20 000張，打哈欠數(shù)據(jù)集來(lái)源于YawDD.訓(xùn)練集和測(cè)試集的比例為4∶1.數(shù)據(jù)集通過(guò)2600次迭代訓(xùn)練，眼睛狀態(tài)識(shí)別網(wǎng)絡(luò)的損失值從1.08下降至0.07，而眼睛狀態(tài)識(shí)別的準(zhǔn)確率從60%增加至94%.本研究提出的CNN+張角眼睛狀態(tài)識(shí)別方法對(duì)駕駛員睜眼和閉眼的準(zhǔn)確率分別為95.2%和94.5%，而CNN、灰度水平投影、Hough投圓3種眼睛狀態(tài)識(shí)別的準(zhǔn)確率均低于CNN+張角眼睛狀態(tài)識(shí)別方法，CNN眼睛狀態(tài)識(shí)別駕駛員睜眼和閉眼準(zhǔn)確率分別為95.1%和91.4%.本研究選取4名不戴眼鏡、4名戴眼鏡共8名駕駛員來(lái)分析疲勞駕駛狀態(tài)，疲勞駕駛檢測(cè)方法結(jié)果如圖4所示.無(wú)特征、閉眼時(shí)間、閉眼時(shí)間+眨眼頻率、融合多特征的4種檢測(cè)方法分別用檢測(cè)A-D表示. 疲勞總數(shù)量為50個(gè)，通過(guò)融合多特征的疲勞特征檢測(cè)方法能成功檢測(cè)的數(shù)量為47個(gè)，準(zhǔn)確率高達(dá)94%.

圖4 疲勞駕駛檢測(cè)方法的結(jié)果

3 結(jié)論

針對(duì)現(xiàn)階段駕駛員疲勞檢測(cè)存在效率慢、精度低等問(wèn)題，提出一種BL-DCNN人臉關(guān)鍵點(diǎn)檢測(cè)模型.通過(guò)粗定位和精確定位實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)和嘴巴、眼睛、眉毛等特征位置的定位，并依據(jù)定位結(jié)果構(gòu)建融合多特征的疲勞駕駛檢測(cè)方法.人臉關(guān)鍵點(diǎn)粗定位網(wǎng)絡(luò)損失值的變化范圍為0.0032—0.3405.而精確定位駕駛員嘴巴、眼睛、眉毛位置關(guān)鍵點(diǎn)分別穩(wěn)定在0.0038、0.0036、0.0041. 粗定位的人臉關(guān)鍵點(diǎn)的平均誤差值為0.07，而精確定位后嘴巴、眼睛、眉毛的誤差值分別為0.034、0.032、0.037.BL-DCNN人臉關(guān)鍵檢測(cè)方法在運(yùn)行時(shí)間和平均誤差方面均優(yōu)于其他檢測(cè)方法.本研究提出的眼睛定位方法、模板匹配法、Hough變換法、灰度投影法的準(zhǔn)確率分別為94.2%、84.7% 、80.5%、90.2%.眼睛狀態(tài)識(shí)別網(wǎng)絡(luò)的損失值從1.08下降至0.07，而眼睛狀態(tài)識(shí)別的準(zhǔn)確率從60%增加至94%.