融合人眼特征與深度學(xué)習(xí)的疲勞駕駛檢測(cè)模型

樊 星，劉占文，林 杉，竇瑞娟

（1.長(zhǎng)安大學(xué) 電子與控制工程學(xué)院，西安 710064；2.長(zhǎng)安大學(xué) 信息工程學(xué)院，西安 710064）

0 概述

疲勞駕駛是導(dǎo)致交通事故的重要因素之一，會(huì)給國(guó)家和個(gè)人的生命財(cái)產(chǎn)安全造成嚴(yán)重?fù)p失。疲勞是一種隨著時(shí)間的推移而積累的生理狀態(tài)，在事故發(fā)生前的一段時(shí)間內(nèi)駕駛員就會(huì)出現(xiàn)相應(yīng)的征兆［1］。若能提前發(fā)現(xiàn)疲勞狀態(tài)，使駕駛?cè)朔艞墝?duì)車(chē)輛的控制，則能有效減少疲勞駕駛造成的交通事故。

現(xiàn)有疲勞駕駛檢測(cè)方法主要分為基于車(chē)輛行駛模式檢測(cè)、基于駕駛員生理特征檢測(cè)、基于駕駛員行為檢測(cè)3 類(lèi)。車(chē)輛行駛模式包括轉(zhuǎn)向模式、制動(dòng)模式和車(chē)輛在車(chē)道上的位置［2-3］，對(duì)其檢測(cè)對(duì)路況和駕駛技能有很強(qiáng)的依賴(lài)性。駕駛員生理特征主要包括通過(guò)生物電信號(hào)獲得的腦電圖（EEG）、心電圖（ECG）和眼電圖（EOG）［4-5］。文獻(xiàn)［6］提出一種自適應(yīng)多尺度熵特征提取算法，基于腦電數(shù)據(jù)檢測(cè)疲勞狀態(tài)。文獻(xiàn)［7］提取駕駛員心率變異性數(shù)據(jù)以實(shí)現(xiàn)疲勞駕駛的檢測(cè)。文獻(xiàn)［8］利用表頸腰部肌電信號(hào)EMG和頭部腦電信號(hào)EEG 判別駕駛員的疲勞狀態(tài)。文獻(xiàn)［9］通過(guò)采集眼瞼周?chē)つw上的肌電信號(hào)檢測(cè)眼瞼的閉合情況，從而達(dá)到疲勞檢測(cè)的目的。然而，生理信號(hào)采集需要駕駛員佩戴各種信號(hào)測(cè)量工具，這降低了駕駛員的駕駛舒適性，易對(duì)駕駛行為造成影響，不能大范圍推廣。

駕駛員行為監(jiān)測(cè)隨著機(jī)器視覺(jué)技術(shù)的廣泛應(yīng)用而成為研究的熱點(diǎn)，主要包括面部特征，如閉眼、頭部運(yùn)動(dòng)、打哈欠時(shí)間、凝視或面部表情。文獻(xiàn)［10］提出用Viola-Jones 算法檢測(cè)人臉表情和眼部位置，再利用眼跟蹤技術(shù)采集眨眼持續(xù)時(shí)間和眨眼頻率的特征來(lái)完成疲勞檢測(cè)。文獻(xiàn)［11］設(shè)計(jì)哈欠熱成像模型來(lái)檢測(cè)哈欠，以反映駕駛員的疲勞程度。文獻(xiàn)［12］通過(guò)結(jié)合駕駛員的面部幾何特征與手部運(yùn)動(dòng)特征來(lái)確定駕駛員的疲勞狀態(tài)。

近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）［13］在圖像分類(lèi)、目標(biāo)檢測(cè)、情感識(shí)別、場(chǎng)景分割等計(jì)算機(jī)視覺(jué)任務(wù)中取得了突破性成就。將人臉視覺(jué)特征與深度學(xué)習(xí)相結(jié)合，這種非接觸式的方法不會(huì)干擾駕駛員的正常駕駛，適用于實(shí)際駕駛環(huán)境下的疲勞駕駛檢測(cè)。文獻(xiàn)［14］提出三網(wǎng)絡(luò)并聯(lián)架構(gòu)，使用AlexnNet［15］學(xué)習(xí)圖像特征，采用VGG FaceNet［16］提取人臉特征，再用FlowImageNet［17］提取行為特征。文獻(xiàn)［18］根據(jù)PFLD 深度學(xué)習(xí)模型進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)并通過(guò)多特征融合策略獲取駕駛?cè)藛T疲勞狀態(tài)。Reddy 利用多任務(wù)級(jí)聯(lián)卷積網(wǎng)絡(luò)（Multitask Cascade CNN，MTCNN）［19］對(duì)人臉進(jìn)行檢測(cè)和對(duì)齊，然后利用駕駛員嗜睡檢測(cè)網(wǎng)絡(luò)（Driver Drowsiness Detection Network，DDDN）［20］檢測(cè)駕駛員疲勞。

車(chē)載傳感器的廣泛應(yīng)用使得人臉特征與深度學(xué)習(xí)相互融合，為疲勞駕駛檢測(cè)提供了一種有效方法。然而，駕駛員的面部特征易受角度、方向變化的影響。同時(shí)，深度學(xué)習(xí)架構(gòu)的規(guī)模較大，且存在較多參數(shù)冗余，這增加了計(jì)算復(fù)雜度與時(shí)間復(fù)雜度。因此，如何提高檢測(cè)方法的準(zhǔn)確性和實(shí)時(shí)性是疲勞檢測(cè)研究的重點(diǎn)。

針對(duì)上述問(wèn)題，本文提出一種融合人眼特征與深度學(xué)習(xí)的疲勞駕駛檢測(cè)模型。采用端到端的學(xué)習(xí)架構(gòu)進(jìn)行人臉對(duì)齊，通過(guò)直接形狀回歸消除算法對(duì)人臉檢測(cè)的依賴(lài)性，減少關(guān)鍵點(diǎn)提取的時(shí)間消耗。在此基礎(chǔ)上，設(shè)計(jì)一個(gè)融合Ghost模塊和先驗(yàn)約束的疲勞檢測(cè)網(wǎng)絡(luò)，將駕駛員疲勞狀態(tài)定量地標(biāo)記為9 個(gè)等級(jí)，實(shí)現(xiàn)對(duì)疲勞狀態(tài)的細(xì)粒度檢測(cè)與識(shí)別。此外，通過(guò)少樣本學(xué)習(xí)來(lái)解決收集數(shù)據(jù)標(biāo)注成本高、難度大的問(wèn)題，從而以最小的代價(jià)對(duì)收集到的訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記。

1 疲勞駕駛檢測(cè)模型

1.1 眼部區(qū)域提取

駕駛員處于疲勞狀態(tài)時(shí)，眼部張角會(huì)發(fā)生變化，眨眼頻率也會(huì)降低，在所有面部特征中，眼部參數(shù)能夠更全面地揭示反映疲勞程度的信息。然而，眼部在典型人臉圖像中所占的區(qū)域很小，導(dǎo)致人眼檢測(cè)的高難度、低精度以及低實(shí)時(shí)性。基于人臉標(biāo)志點(diǎn)的眼部區(qū)域提取是一種有效解決上述問(wèn)題的方法。人臉圖像和相關(guān)面部形狀之間的高度非線(xiàn)性關(guān)系是人臉關(guān)鍵點(diǎn)檢測(cè)的主要難點(diǎn)，為了減少對(duì)級(jí)聯(lián)回歸的依賴(lài)性，本文在端到端學(xué)習(xí)框架中通過(guò)直接形狀回歸網(wǎng)絡(luò)（Direct Shape Regression Network，DSRN）［21］實(shí)現(xiàn)人臉關(guān)鍵點(diǎn)提取。DSRN 利用雙卷積層和傅里葉特征聚合層有效地解決了圖像與形狀之間高度非線(xiàn)性關(guān)系，再結(jié)合低階學(xué)習(xí)的線(xiàn)性層有效地處理了關(guān)鍵點(diǎn)之間的相關(guān)性，提高了性能。由DSRN 獲得的面部標(biāo)志點(diǎn)包括面部邊界、眉毛、眼部、鼻子和嘴唇，如圖1 所示。

圖1 用于人臉對(duì)齊的DSRN 體系結(jié)構(gòu)Fig.1 DSRN framework for face alignment

在所有標(biāo)記點(diǎn)中，共有12 個(gè)點(diǎn)與眼部特征相關(guān)，其中左眼和右眼分別為6 個(gè)。研究表明，局部人臉圖像可以提供與全局人臉圖像相似的特征［22］，因此，本文只提取左眼相關(guān)特征進(jìn)行疲勞檢測(cè)，標(biāo)志點(diǎn)分布如圖2 所示。其中，A 和B 分別是上下眼瞼的內(nèi)交點(diǎn)和外交點(diǎn)，C、E 為AB 線(xiàn)三等分點(diǎn)近內(nèi)交點(diǎn)處與上下眼瞼的交點(diǎn)，D、F 為AB 線(xiàn)三等分點(diǎn)近外交點(diǎn)處與上下眼瞼的交點(diǎn)。則眼部的長(zhǎng)度和寬度為：

圖2 基于左眼標(biāo)志點(diǎn)的眼部區(qū)域提取Fig.2 Eye region extraction based on left eye landmarks

基于面部標(biāo)志點(diǎn)提取的眼部區(qū)域?yàn)椋?/p>

1.2 模型構(gòu)建

1.2.1 G-VGG16

基于眼部區(qū)域建立疲勞駕駛檢測(cè)模型，提取疲勞相關(guān)特征，并根據(jù)眼部狀態(tài)在一段時(shí)間內(nèi)的變化來(lái)估計(jì)駕駛員的狀態(tài)。疲勞是一種隨著時(shí)間的推移而積累的生理狀態(tài)。當(dāng)長(zhǎng)時(shí)間無(wú)中斷駕駛時(shí)，駕駛員需要不斷地感知和識(shí)別其余交通參與者的行為狀態(tài)，導(dǎo)致精神長(zhǎng)期高度緊張，產(chǎn)生疲勞，造成事故瞬間發(fā)生。疲勞檢測(cè)的實(shí)時(shí)性對(duì)其產(chǎn)生預(yù)警作用至關(guān)重要。

眼部結(jié)構(gòu)簡(jiǎn)單，淺層網(wǎng)絡(luò)即可對(duì)眼部特征提取分類(lèi)。然而，駕駛員疲勞產(chǎn)生過(guò)程中存在過(guò)渡狀態(tài)，不能簡(jiǎn)單地將其劃分為疲勞和清醒狀態(tài)。細(xì)化疲勞分類(lèi)需要提取細(xì)粒度的眼部特征，選擇VGG16［23］作為基礎(chǔ)特征提取網(wǎng)絡(luò)。為了輕量化網(wǎng)絡(luò)以提高其實(shí)時(shí)性與移植性，受文獻(xiàn)［24］啟發(fā)，本文在VGG16 中引入Ghost 模塊，得到G-VGG16。傳統(tǒng)CNN 通過(guò)不同卷積核參數(shù)計(jì)算得到的特征圖具有高度相似性，導(dǎo)致特征圖冗余。Ghost 模塊在減少輸出通道的情況下，通過(guò)常規(guī)卷積運(yùn)算生成固有特征圖，再基于固有特征圖，通過(guò)簡(jiǎn)單的線(xiàn)性變換生成更多的相似特征圖，稱(chēng)為Ghost 特征圖，最后得到與普通卷積方法生成特征圖數(shù)量相同的特征圖，如圖3 所示。

圖3 Ghost 模型架構(gòu)Fig.3 Ghost model architecture

假設(shè)普通卷積的通道數(shù)為n，當(dāng)前通道數(shù)為m，固有特征圖表示為Y′，則得到式（5）。

G-VGG16 在原有卷積運(yùn)算的基礎(chǔ)上，采用線(xiàn)性變換生成合適的Ghost 特征圖，充分揭示了特征的內(nèi)在關(guān)聯(lián)性。通過(guò)這種低成本的代換，有效地簡(jiǎn)化了模型的參數(shù)量和運(yùn)算量，可以在較短的響應(yīng)時(shí)間內(nèi)得到眼部的特征表示，從而降低模型的運(yùn)行成本，提高其實(shí)時(shí)性和可移植性。

1.2.2 GP-VGG16 網(wǎng)絡(luò)

通過(guò)投影變換可以將特征從高維映射到低維，從而更緊湊。對(duì)眼部區(qū)域圖像進(jìn)行二值化處理，并對(duì)二值化圖像進(jìn)行垂直積分投影，獲得垂直積分投影曲線(xiàn)。觀(guān)察發(fā)現(xiàn)，眼部狀態(tài)的不同會(huì)導(dǎo)致其整體投影特征有所差異，如圖4 所示。由于受眼球灰度的影響，睜眼的積分投影特征圖具有主峰波形。相反，閉眼的積分投影特征圖是平坦的波形，而當(dāng)眼部張度不同時(shí)，主峰的高度也會(huì)隨之變化。眼部積分投影波形變化的特征可以對(duì)眼部張開(kāi)狀態(tài)進(jìn)行有效預(yù)判。

圖4 不同眼部狀態(tài)的積分投影特征圖Fig.4 Integral projection feature maps of different eye states

本文將積分投影得到的投影矢量調(diào)制作為先驗(yàn)知識(shí)引入到疲勞狀態(tài)分類(lèi)網(wǎng)絡(luò)中。將先驗(yàn)信息看作一種特征映射直接附加到G-VGG16 卷積層的輸出中，在G-VGG16的輸出端增加concat層，將網(wǎng)絡(luò)特征提取結(jié)果與先驗(yàn)知識(shí)相融合，如圖5所示，輸出前的最后一個(gè)卷積層可以有效提取包含先驗(yàn)信息的眼部特征，這種增加離線(xiàn)計(jì)算，對(duì)輸入的眼部區(qū)域進(jìn)行投影處理作為預(yù)處理的方法，可以提高眼部狀態(tài)識(shí)別的準(zhǔn)確性和有效性。

圖5 本文疲勞駕駛檢測(cè)網(wǎng)絡(luò)整體框架Fig5 Overall framework of the proposed fatigue driving detection network

本文選用GP-VGG16 作為特征提取模型，并基于提取的眼部特征，建立眼部特征-疲勞等級(jí)模型。先將疲勞狀態(tài)劃分為9 個(gè)等級(jí)，再根據(jù)時(shí)間段內(nèi)疲勞等級(jí)的變化來(lái)定量地估計(jì)駕駛員狀態(tài)。

1.3 少樣本學(xué)習(xí)

現(xiàn)有公測(cè)數(shù)據(jù)集并不適用于本文模型，需要自己收集數(shù)據(jù)集進(jìn)行訓(xùn)練與測(cè)試。然而深度學(xué)習(xí)模型需要大量的標(biāo)記數(shù)據(jù)和多次迭代來(lái)訓(xùn)練參數(shù)，若訓(xùn)練數(shù)據(jù)過(guò)少，在測(cè)試集上易出現(xiàn)過(guò)擬合現(xiàn)象，嚴(yán)重影響測(cè)試精度。因此，需要以最小的代價(jià)標(biāo)記收集到的訓(xùn)練數(shù)據(jù)。少樣本學(xué)習(xí)就是在訓(xùn)練數(shù)據(jù)非常有限的情況下有效識(shí)別出新目標(biāo)?，F(xiàn)有方法通常采用數(shù)據(jù)增強(qiáng)和正則化以及元學(xué)習(xí)來(lái)緩解數(shù)據(jù)缺乏問(wèn)題，本文通過(guò)端到端的少樣本學(xué)習(xí)框架實(shí)現(xiàn)從有限的樣本實(shí)例中對(duì)新類(lèi)識(shí)別的自學(xué)習(xí)。

從訓(xùn)練數(shù)據(jù)集的每一類(lèi)中選取M個(gè)樣本，并根據(jù)KSS 表［25］手動(dòng)標(biāo)記。然后從這M個(gè)樣本中選擇K個(gè)樣本作為支持集S，剩余樣本作為查詢(xún)集Q，用于模擬在數(shù)據(jù)標(biāo)注中將遇到的未標(biāo)記集?；谥С旨筒樵?xún)集訓(xùn)練關(guān)系網(wǎng)絡(luò)（Relationship Network，RN）［26］，再將所有的支持集和未標(biāo)記數(shù)據(jù)集映射到RN 中，計(jì)算來(lái)自不同集合的2 幅圖像之間的相似度，對(duì)采集到的疲勞數(shù)據(jù)進(jìn)行自適應(yīng)標(biāo)記。

RN 由2 個(gè)部分組成，一部分是用于提取圖像特征的嵌入模塊fφ，另一部分是用于計(jì)算2 個(gè)圖像相似性的關(guān)系模塊gφ，總體結(jié)構(gòu)如圖6 所示。

圖6 RN 的整體架構(gòu)Fig.6 Overall architecture of RN

首先通過(guò)嵌入模塊fφ分別得到支持集S 中樣本xi的特征圖fφ（xi）和查詢(xún)集Q 中樣本xj的特征圖fφ（xj）；然后將fφ（xi）和fφ（xj）在深度維度中連接得到特征圖C(fφ（xi），fφ（xj）)，連接特征圖通過(guò)關(guān)系模塊gφ輸出關(guān)系得分，以表示xi和xj之間的相似性，如式（6）所示。

其中：ri，j表示關(guān)系得分，C 表示分類(lèi)類(lèi)別數(shù)，本文中C為9。輸出關(guān)系得分為0～1，0 表示非常不同，1 表示完全相似。最后，根據(jù)關(guān)系得分判斷未標(biāo)注樣本的類(lèi)別。

2 實(shí)驗(yàn)

2.1 疲勞檢測(cè)數(shù)據(jù)集

目前用于疲勞檢測(cè)的公測(cè)數(shù)據(jù)集主要包括Drazy 數(shù)據(jù)集［27］、NTHU 駕駛員疲勞檢測(cè)數(shù)據(jù)集［28］、Closed Eyes in the Wild（CEW）數(shù)據(jù)集［29］和ZJU 眨眼數(shù)據(jù)集［30］。Drazy 數(shù)據(jù)集包含多種用于疲勞檢測(cè)的數(shù)據(jù)，但其只包含11 個(gè)受試者的數(shù)據(jù)，不適用于CNN 訓(xùn)練的模型。NTHU 數(shù)據(jù)集、CEW 數(shù)據(jù)集和ZJU 數(shù)據(jù)集包含各種場(chǎng)景下的RGB 圖像和視頻，然而其疲勞程度分類(lèi)標(biāo)簽主要為疲勞、不疲勞兩類(lèi)，與本文的實(shí)驗(yàn)環(huán)境不同，這些局限性使得上述數(shù)據(jù)集很難應(yīng)用于本文提出的模型。因此，本文在自己收集的自定義數(shù)據(jù)集上進(jìn)行相應(yīng)實(shí)驗(yàn)。

實(shí)驗(yàn)招募12 名年齡在25～35 歲的受試者（4 名女性和8 名男性），要求至少有2 年駕駛經(jīng)驗(yàn)，無(wú)視力矯正，健康狀況良好，無(wú)睡眠障礙，且在實(shí)驗(yàn)前24 h 時(shí)內(nèi)禁食咖啡和酒精。本文使用駕駛模擬器和攝像機(jī)記錄駕駛員的轉(zhuǎn)向數(shù)據(jù)和面部圖像。將人臉圖像作為疲勞狀態(tài)識(shí)別網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，轉(zhuǎn)向數(shù)據(jù)作為數(shù)據(jù)標(biāo)注的輔助。

實(shí)驗(yàn)采用天氣正常、交通參與者行為正常的全封閉標(biāo)準(zhǔn)公路作為測(cè)試駕駛環(huán)境。不同睡眠時(shí)間的參與者進(jìn)入疲勞狀態(tài)的時(shí)間和最終的疲勞程度是不同的，為了收集到更全面的數(shù)據(jù)，將受試者按照要求的睡眠時(shí)間分為2 組，一組睡眠時(shí)間為8 h（允許0.5 h 的誤差），另一組睡眠時(shí)間為4 h（允許0.5 h 的誤差）。實(shí)驗(yàn)時(shí)間為上午8 點(diǎn)至11 點(diǎn)，每位駕駛員在最高車(chē)速為80 km/h 的要求下模擬駕駛4 h，直到疲勞過(guò)度無(wú)法繼續(xù)駕駛時(shí)實(shí)驗(yàn)停止。實(shí)驗(yàn)共獲得48 h的測(cè)試視頻數(shù)據(jù)，將其劃分為2 880 個(gè)視頻片段，每個(gè)視頻片段包括1 500 張圖像。隨機(jī)抽取1 920 個(gè)視頻片段作為訓(xùn)練數(shù)據(jù)集，其余數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集。

2.2 數(shù)據(jù)標(biāo)注

為全面反映疲勞產(chǎn)生過(guò)程中的過(guò)渡狀態(tài)，本文根據(jù)KSS 將疲勞狀態(tài)分為9 個(gè)等級(jí)，如表1 所示，每個(gè)等級(jí)都有唯一的KSS 得分標(biāo)簽ki，ki∈1，2，…，9。研究表明，受試者的KSS 得分ki在駕駛期間呈線(xiàn)性增加，當(dāng)ki∈1，2，3，4，5，6，駕駛員處于正常狀態(tài)，當(dāng)ki∈7 時(shí)，駕駛員處于過(guò)渡狀態(tài)，當(dāng)ki∈8，9 時(shí)，駕駛員處于疲勞駕駛狀態(tài)［4］。假定狀態(tài)的閾值為0.4，即當(dāng)駕駛員在測(cè)試區(qū)間保持某個(gè)狀態(tài)的時(shí)間超過(guò)40%時(shí)，視為駕駛員處于該狀態(tài)。根據(jù)文獻(xiàn)［31］，駕駛員處于喚醒狀態(tài)和過(guò)渡狀態(tài)時(shí)可以正常控制車(chē)輛。因此，當(dāng)疲勞駕駛檢測(cè)模型輸出的KSS 評(píng)分滿(mǎn)足ki∈1，2，…，7 時(shí)，判定駕駛員處于正常狀態(tài)，反之，駕駛員處于疲勞狀態(tài)。

表1 Karolinska 困倦量化表Table 1 Karolinska sleepiness scale

本文將駕駛員主觀(guān)評(píng)價(jià)與基于駕駛模擬器轉(zhuǎn)向數(shù)據(jù)的客觀(guān)評(píng)價(jià)方法相結(jié)合，實(shí)現(xiàn)駕駛員狀態(tài)的標(biāo)注。首先要求駕駛員根據(jù)KSS 表在固定的時(shí)間間隔（5 min）報(bào)告其駕駛狀態(tài)。同時(shí)考慮到在從清醒到疲勞的整個(gè)駕駛狀態(tài)下，方向盤(pán)轉(zhuǎn)角的變化（CSWA）和方向盤(pán)轉(zhuǎn)角變化的速度（SSWAC）存在變化，選擇CSWA 和SSWAC 作為疲勞相關(guān)指標(biāo)，對(duì)駕駛員報(bào)告的KSS 評(píng)分進(jìn)行修正，得到最終的KSS 得分，作為疲勞駕駛檢測(cè)數(shù)據(jù)集中訓(xùn)練集的標(biāo)簽。

2.3 評(píng)價(jià)指標(biāo)

根據(jù)精確率、召回率、PRC、F1 值、準(zhǔn)確度和運(yùn)行速度對(duì)所提出的疲勞駕駛檢測(cè)模型的性能進(jìn)行評(píng)估。

精確率P和召回率R表示為：

PRC 是由準(zhǔn)確率和召回率組成的折線(xiàn)圖，F(xiàn)1是綜合識(shí)別率的評(píng)價(jià)指標(biāo)，定義如下：

2.4 實(shí)驗(yàn)設(shè)計(jì)與分析

2.4.1 疲勞駕駛檢測(cè)框架有效性驗(yàn)證

本文所有的訓(xùn)練和評(píng)估任務(wù)都基于配置NVIDIA GeForce GTX TITAN X GPU、12 GB 內(nèi)存的實(shí)驗(yàn)平臺(tái)完成。采用隨機(jī)梯度下降（SGD）算法優(yōu)化訓(xùn)練疲勞駕駛檢測(cè)網(wǎng)絡(luò)，動(dòng)量和權(quán)重衰減分別設(shè)置為0.9和0.000 1。比較VGG16、G-VGG16、GP-VGG16這3 種網(wǎng)絡(luò)結(jié)構(gòu)的性能，以評(píng)估GP-VGG16 中該組成部分的有效性，實(shí)驗(yàn)結(jié)果如表2 所示?？梢钥闯觯珿host 模塊的引入使得VGG16 緊湊化、輕量化，同時(shí)保持了較高的檢測(cè)性能。而先驗(yàn)信息補(bǔ)充了相似開(kāi)合度的眼部區(qū)域在特征提取過(guò)程中丟失的細(xì)節(jié)信息，提高了檢測(cè)識(shí)別精度。在運(yùn)行速度方面，G-VGG16 算法將計(jì)算時(shí)間縮短了約40%，雖然增加積分投影特征圖對(duì)時(shí)間消耗帶來(lái)了輕微影響，但GP-VGG16 較好地平衡了檢測(cè)精度和時(shí)間成本，對(duì)疲勞狀態(tài)的高精度實(shí)時(shí)檢測(cè)具有重要意義。

表2 不同檢測(cè)模型的性能比較Table 2 Performance comparison of different detection models

選取4名不同測(cè)試階段的參與者的部分測(cè)試樣本，結(jié)果如圖7 所示。其中：參與者1 為25 歲男性，睡眠時(shí)間8 h；參與者2 為32 歲女性，睡眠時(shí)間8 h；參與者3 為28 歲男性，睡眠時(shí)間4 h；參與者4 為35 歲男性，睡眠時(shí)間8 h。可以看出，不同的人經(jīng)過(guò)同一段時(shí)間，或者同一個(gè)人在不同的時(shí)間段，其疲勞狀態(tài)存在差異。在睡眠充足的條件下，在駕駛3 h 后，處于過(guò)渡狀態(tài)的概率大于疲勞狀態(tài)的概率。而當(dāng)睡眠不充足時(shí)，在駕駛2 h后，即出現(xiàn)疲勞。4 h 睡眠對(duì)照組的建立有效地?cái)U(kuò)展了疲勞狀態(tài)的數(shù)據(jù)樣本。圖7 中測(cè)試樣本的檢測(cè)指標(biāo)如圖8 所示。實(shí)驗(yàn)結(jié)果表明，本文提出模型具有較高的檢測(cè)精度，且對(duì)年齡和性別差異魯棒性較好。

圖7 不同參與者在不同駕駛階段的部分測(cè)試結(jié)果Fig.7 Some results of different participants at different driving stages

圖8 部分測(cè)試樣本檢測(cè)結(jié)果Fig.8 Results of some test samples

由于在對(duì)駕駛狀態(tài)進(jìn)行分類(lèi)時(shí)考慮了時(shí)間延續(xù)中出現(xiàn)的過(guò)渡狀態(tài)，分別對(duì)9 種不同狀態(tài)下的檢測(cè)效果進(jìn)行驗(yàn)證。如圖9 所示，可以看出：當(dāng)ki∈8，9，即駕駛員處于疲勞駕駛狀態(tài)時(shí)，眼部狀態(tài)與清醒時(shí)有很大不同，檢測(cè)精度較高；同樣，當(dāng)ki∈1，2 時(shí)，檢測(cè)精度較高；當(dāng)ki∈5，6，7 時(shí)，在KSS 評(píng)分的分類(lèi)中，屬于正常狀態(tài)和過(guò)渡狀態(tài)，但眼動(dòng)狀態(tài)的差異相對(duì)較小，疲勞檢測(cè)的準(zhǔn)確性降低。從總體上看，本文模型具有較高的檢測(cè)精度，能夠有效地檢測(cè)出駕駛員從清醒到疲勞的各個(gè)階段的狀態(tài)。

圖9 9 種不同狀態(tài)的檢測(cè)效果Fig.9 Detection effects of nine different states

2.4.2 與現(xiàn)有檢測(cè)網(wǎng)絡(luò)的對(duì)比

將本文提出檢測(cè)模型與Faster R-CNN［32］架構(gòu)和DDDN 架構(gòu)進(jìn)行對(duì)比。在數(shù)據(jù)集和硬件配置都相同的情況下，不斷調(diào)整參數(shù)以使3 種網(wǎng)絡(luò)都達(dá)到最佳性能。圖10 是平均精度和平均召回率的統(tǒng)計(jì)結(jié)果。實(shí)驗(yàn)結(jié)果表明，GP-VGG16 通過(guò)在傳統(tǒng)的卷積結(jié)構(gòu)中引入Ghost 模型和先驗(yàn)積分投影特征，對(duì)目前廣泛使用的疲勞檢測(cè)網(wǎng)絡(luò)進(jìn)行了改進(jìn)優(yōu)化，平均精度比采用Faster R-CNN 和DDDN 的方法提高了2%左右，在疲勞檢測(cè)方面取得了較好的性能表現(xiàn)。

圖10 3 種對(duì)比度模型的P-R 曲線(xiàn)Fig.10 P-R curves of three contrast models

由于在測(cè)試過(guò)程中引入積分投影會(huì)帶來(lái)額外的處理時(shí)間損失，因此對(duì)測(cè)試時(shí)間和模型的大小進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表3，表中最后一列顯示了整個(gè)系統(tǒng)的運(yùn)行時(shí)間，包括眼部特征提取和疲勞檢測(cè)?？梢钥闯觯?yàn)橥队疤卣鲌D的特征易于提取，在網(wǎng)絡(luò)中加入積分投影的計(jì)算時(shí)間可以近似忽略。

表3 運(yùn)行速度和模型尺寸對(duì)比Table3 Comparison of running speed and model size

2.4.3 與現(xiàn)有模型的比較

將本文提出的疲勞駕駛檢測(cè)方法與基于車(chē)輛行駛模式監(jiān)測(cè)、基于駕駛員生理特征監(jiān)測(cè)以及基于駕駛員行為監(jiān)測(cè)中的典型方法進(jìn)行測(cè)試對(duì)比，如表4 所示?？梢钥闯觯何墨I(xiàn)［2］中基于行駛模式的疲勞駕駛檢測(cè)方法對(duì)駕駛員的駕駛風(fēng)格和駕駛環(huán)境的差異非常敏感；文獻(xiàn)［7］的方法具有較高的實(shí)時(shí)性和穩(wěn)定性，然而這種接觸式的檢測(cè)方法會(huì)影響駕駛員的駕駛舒適度，影響駕駛行為；文獻(xiàn)［11］中基于眨眼監(jiān)測(cè)的方法受真實(shí)環(huán)境中的光照變化的影響而不穩(wěn)定。對(duì)比發(fā)現(xiàn)，本文提出模型在準(zhǔn)確性和實(shí)時(shí)性方面都是最好的，同時(shí)，利用少樣本學(xué)習(xí)方法減少了樣本標(biāo)記過(guò)程中的時(shí)間和人力成本。

表4 本文模型與現(xiàn)有檢測(cè)模型的比較Table 4 Comparison of the porposed model with exsisted detection models

3 結(jié)束語(yǔ)

根據(jù)駕駛員疲勞狀態(tài)對(duì)其進(jìn)行提前預(yù)警，可以有效減少交通事故的發(fā)生。本文提出一種融合人眼特征與深度學(xué)習(xí)的疲勞駕駛檢測(cè)模型。通過(guò)DSRN提取人眼特征點(diǎn)，融合Ghost 模塊和先驗(yàn)約束設(shè)計(jì)GP-VGG16 網(wǎng)絡(luò)，基于眼部特征建立疲勞等級(jí)模型，對(duì)疲勞狀態(tài)進(jìn)行定量分類(lèi)。少樣本學(xué)習(xí)可以解決疲勞駕駛檢測(cè)模型建立過(guò)程中缺少標(biāo)記數(shù)據(jù)的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文模型能夠有效提高復(fù)雜駕駛環(huán)境中人臉特征提取的魯棒性，緩解特征提取過(guò)程中參數(shù)冗余的問(wèn)題，減少模型訓(xùn)練過(guò)程中圖像數(shù)據(jù)標(biāo)注的成本，實(shí)現(xiàn)對(duì)駕駛員疲勞狀態(tài)高效、精準(zhǔn)的檢測(cè)識(shí)別。下一步將研究如何降低檢測(cè)網(wǎng)絡(luò)對(duì)硬件設(shè)備的依賴(lài)性，使其得到更廣泛的應(yīng)用。