多特征因素的疲勞駕駛檢測(cè)方法

田 垚，李建良，郭秋蕊，劉曉靜

(天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津 300222)

近幾年來，隨著人民生活水平的不斷提升以及交通運(yùn)輸行業(yè)的持續(xù)發(fā)展，機(jī)動(dòng)車總量逐漸增加．與此同時(shí)，我國交通事故的發(fā)生率隨著機(jī)動(dòng)車數(shù)量的增加也不斷上升，交通事故已經(jīng)嚴(yán)重威脅到人們的生命財(cái)產(chǎn)安全[1]．導(dǎo)致交通事故發(fā)生的主要原因之一就是駕駛員的疲勞駕駛，因此需要高效精確的疲勞駕駛預(yù)警系統(tǒng)，以減少交通事故的發(fā)生．

疲勞駕駛的檢測(cè)方法大致可分為兩類：接觸式疲勞檢測(cè)、非接觸式疲勞檢測(cè)．接觸式疲勞檢測(cè)主要是通過駕駛員穿戴物理設(shè)備檢測(cè)駕駛員的心率、腦電波、呼吸頻率等生理狀態(tài)，判斷駕駛員是否處于疲勞狀態(tài)．這種方法非常有效并且準(zhǔn)確率高，但是駕駛員需要長時(shí)間穿戴檢測(cè)裝置，會(huì)影響駕駛員的正常駕駛[2-3]．非接觸式疲勞檢測(cè)則是利用非接觸式傳感器檢測(cè)出駕駛員的肌電信號(hào)和心電信號(hào)的特征參數(shù)判定駕駛員的疲勞狀態(tài)，但是由于駕駛員的情緒波動(dòng)和駕駛艙內(nèi)溫度的變化會(huì)導(dǎo)致特征參數(shù)不穩(wěn)定，影響檢測(cè)的準(zhǔn)確性．計(jì)算機(jī)視覺技術(shù)在人臉識(shí)別領(lǐng)域有廣泛的應(yīng)用，如人臉支付、人臉考勤等．而利用計(jì)算機(jī)視覺技術(shù)進(jìn)行人臉識(shí)別疲勞檢測(cè)可以避免外界因素的影響，在駕駛員長時(shí)間駕駛汽車過程中，駕駛員注意力不集中會(huì)眨眼，困倦會(huì)導(dǎo)致駕駛員打哈欠，長時(shí)間久坐導(dǎo)致頸部疲勞會(huì)出現(xiàn)瞌睡點(diǎn)頭的狀態(tài)．因此，可以通過眨眼、哈欠、點(diǎn)頭等疲勞特征綜合判斷駕駛員的疲勞狀態(tài)[4-5]．

1 疲勞檢測(cè)系統(tǒng)的流程與算法

疲勞檢測(cè)系統(tǒng)的人臉檢測(cè)采用分層梯度方向直方圖(pyramid histogram of oriented gradients，PHOG)算法，在梯度方向直方圖(histogram of oriented gradients，HOG)算法的基礎(chǔ)上進(jìn)行改進(jìn)，加入分層金字塔結(jié)構(gòu)，比局部二值模式(local binary pattern，LBP)、HOG算法更加穩(wěn)定，具有更強(qiáng)的抗干擾能力，能適應(yīng)強(qiáng)光、弱光等極端環(huán)境．系統(tǒng)主要采集面部眼、嘴以及頭部的疲勞特征，綜合判斷駕駛員是否為疲勞狀態(tài).

1.1 疲勞檢測(cè)系統(tǒng)的流程

本文采用PHOG算法結(jié)合OpenCV進(jìn)行人臉識(shí)別檢測(cè)．OpenCV是一個(gè)開源的計(jì)算機(jī)視覺庫[6]．使用OpenCV從攝像頭或本地視頻中提取視頻幀，降噪及灰度處理后進(jìn)行人臉檢測(cè)和人臉68個(gè)關(guān)鍵點(diǎn)定位．根據(jù)眼、嘴以及頭部等關(guān)鍵點(diǎn)坐標(biāo)設(shè)定疲勞閾值，判斷駕駛員面部及頭部的疲勞狀態(tài)[7-8]．綜合以上疲勞駕駛因素判斷駕駛員的疲勞狀態(tài)，疲勞檢測(cè)系統(tǒng)的流程圖如圖1所示．

圖1 疲勞檢測(cè)流程圖Fig. 1 Flow chart of fatigue detection

1.2 改進(jìn)的PHOG算法

PHOG算法是由HOG算法改進(jìn)而來，HOG算法廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，常常用來描述圖像局部紋理特征．HOG算法是通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖構(gòu)成特征．首先將輸入的圖像分成小的連通區(qū)域，然后采集區(qū)域內(nèi)各像素點(diǎn)的梯度方向直方圖，最后把這些直方圖組合，構(gòu)成了這一區(qū)域的特征描述器，輸入到分類器中進(jìn)行識(shí)別分類[9].HOG算法步驟如下：

(1)采用伽馬(gamma)校正法對(duì)輸入圖像進(jìn)行顏色空間的歸一化，有效減小陰影和光照強(qiáng)度的影響，抑制噪聲的影響，通過調(diào)整gamma值處理圖像.gamma壓縮公式為

(2)根據(jù)圖像中(x,y)處像素點(diǎn)的像素值H(x,y)計(jì)算圖像梯度．水平方向梯度和垂直方向梯度的計(jì)算公式分別為

像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為

(3)將圖像劃分成若干個(gè)小區(qū)域細(xì)胞單元(例如每個(gè)細(xì)胞單元的像素為6×6)，統(tǒng)計(jì)每個(gè)區(qū)域的梯度直方圖即可形成每個(gè)區(qū)域的描述器．

(4)將每幾個(gè)細(xì)胞單元組成一個(gè)大區(qū)域塊block，將block內(nèi)所有細(xì)胞單元的HOG特征串聯(lián)，得到該block的HOG特征描述器．

(5)將HOG與Pyramid相結(jié)合即PHOG，將輸入的一張圖片進(jìn)行不同尺度的分割，例如將圖片分割成3×3、6×6不同尺度．計(jì)算出每個(gè)尺度的HOG值，將這些HOG值相加得到一維向量，歸一化處理后，將一維向量特征描述器送入分類器中完成圖像識(shí)別分類等功能[10-11]．

人臉的68個(gè)關(guān)鍵點(diǎn)坐標(biāo)如圖2所示．

圖2 人臉的68個(gè)關(guān)鍵點(diǎn)坐標(biāo)Fig. 2 68 key point coordinates of human face

本文采用PHOG算法，其優(yōu)點(diǎn)是表達(dá)能力強(qiáng)，具有較強(qiáng)的穩(wěn)定性和抗干擾能力，而且在各種復(fù)雜情況下能準(zhǔn)確檢測(cè)出人臉，并檢測(cè)出人臉的68個(gè)關(guān)鍵點(diǎn)(圖3)．

圖3 檢測(cè)出人臉和68個(gè)關(guān)鍵點(diǎn)Fig. 3 Detected face and 68 key points

2 人眼檢測(cè)及疲勞判定

眼睛的行為特征是疲勞檢測(cè)的主要因素之一，當(dāng)駕駛員長時(shí)間駕駛時(shí)，由于疲勞導(dǎo)致注意力下降，就會(huì)產(chǎn)生眨眼生理行為．

眼睛疲勞判別原理：基于PHOG算法已經(jīng)檢測(cè)出了人臉，并且標(biāo)記出人臉68個(gè)關(guān)鍵點(diǎn)坐標(biāo)，提取出人的左右眼坐標(biāo)．眼睛坐標(biāo)示意圖如圖4所示．圖4中36～41數(shù)字代表左眼坐標(biāo)．通過眼睛坐標(biāo)設(shè)定眼睛長寬比的眨眼閾值EAR，眼睛睜開時(shí)閾值會(huì)隨著眼睛的抖動(dòng)而上下波動(dòng)變化不明顯，當(dāng)閾值急劇下降時(shí)，將認(rèn)為其是眨眼或閉眼行為．根據(jù)PERCLOS準(zhǔn)則，通過統(tǒng)計(jì)單位時(shí)間內(nèi)眨眼次數(shù)設(shè)定眼睛疲勞閾值[12-13]，為

圖4 眼睛坐標(biāo)示意圖Fig. 4 Schematic diagram eye coordinate

眼睛部位檢測(cè)示意圖如圖5所示，在獲得人臉68個(gè)關(guān)鍵點(diǎn)坐標(biāo)的前提下，圖像中也檢測(cè)出了人眼的特征點(diǎn)坐標(biāo)，為了更明顯表現(xiàn)出人眼部位，將人的左右眼坐標(biāo)用綠色曲線連接．

圖5 眼睛部位檢測(cè)示意圖Fig. 5 Schematic diagram of eye detection

3 人的嘴部檢測(cè)及疲勞判定

嘴部行為特征是疲勞檢測(cè)的第二個(gè)重要因素，駕駛員在疲勞的情況下會(huì)因?yàn)槿毖醍a(chǎn)生打哈欠的動(dòng)作．基于PHOG算法識(shí)別人臉并標(biāo)注出人臉的68個(gè)關(guān)鍵點(diǎn)，進(jìn)而獲取嘴部的坐標(biāo)索引．嘴部坐標(biāo)示意圖如圖6所示．圖6中嘴部內(nèi)輪廓坐標(biāo)點(diǎn)為60～67，嘴部外輪廓坐標(biāo)點(diǎn)為48～59．根據(jù)嘴部的開度設(shè)定閾值判定是否處于打哈欠狀態(tài)，人說話或哼歌時(shí)也處于張開狀態(tài)，閾值會(huì)在一定范圍內(nèi)上下波動(dòng)．當(dāng)打哈欠時(shí)嘴部閾值會(huì)持續(xù)下降，并會(huì)持續(xù)一定的時(shí)間．采取內(nèi)輪廓疲勞閾值K1與外輪廓疲勞閾值K2的均值MAR判別哈欠狀態(tài)，通過統(tǒng)計(jì)單位時(shí)間內(nèi)哈欠的次數(shù)設(shè)定嘴部疲勞閾值公式：

圖6 嘴部坐標(biāo)示意圖Fig. 6 Schematic diagram of mouth coordinate

嘴部檢測(cè)效果圖如圖7所示，為了更加方便地觀察嘴部效果，將嘴部的坐標(biāo)點(diǎn)用綠色曲線連接．

圖7 嘴部檢測(cè)效果圖Fig. 7 Effect picture of mouth detection

4 人的頭部檢測(cè)及疲勞判定

頭部行為特征是疲勞檢測(cè)的第三個(gè)重要因素，當(dāng)人處于疲勞狀態(tài)時(shí)，頸部肌肉會(huì)出現(xiàn)間歇性放松，產(chǎn)生瞌睡點(diǎn)頭的生理狀態(tài)．檢測(cè)人的頭部狀態(tài)需要將2D轉(zhuǎn)換到3D模型狀態(tài)，在3D模型狀態(tài)下能更加容易計(jì)算頭部的運(yùn)動(dòng)角度[14]．如圖8所示，人的頭部會(huì)出現(xiàn)Pitch、Roll、Yaw這3個(gè)運(yùn)動(dòng)方向．當(dāng)人處于疲勞狀態(tài)時(shí)會(huì)出現(xiàn)Pitch和Roll的兩個(gè)運(yùn)動(dòng)方向，不會(huì)出現(xiàn)Yaw的運(yùn)動(dòng)方向，根據(jù)頭部運(yùn)動(dòng)的歐拉角設(shè)定瞌睡閾值．

圖8 頭部經(jīng)常運(yùn)動(dòng)的角度Fig. 8 Angle of human head movement

人的頭部檢測(cè)效果圖如圖9所示，用紅色立方體框住人的頭部范圍，用x，y，z空間坐標(biāo)系定位頭部位置，獲得Roll和Pitch兩個(gè)方向的活動(dòng)角度．

圖9 人的頭部檢測(cè)效果圖Fig. 9 Effect picture of human head detection

5 樸素貝葉斯算法

通過眼、嘴、頭部這些單一因素不能準(zhǔn)確地判斷駕駛員的疲勞狀態(tài)，為了提高疲勞檢測(cè)的準(zhǔn)確率，綜合3種疲勞特征因素進(jìn)行疲勞檢測(cè)[15-16]．因?yàn)檎Ｑ?、哈欠和點(diǎn)頭都屬于獨(dú)立條件屬性，本文采用樸素貝葉斯算法進(jìn)行疲勞分類判別，樸素貝葉斯算法以貝葉斯理論為基礎(chǔ)[17-18]．給定的條件特征集為，x1為眨眼的樣本屬性，x2為哈欠的樣本屬性，3x為瞌睡點(diǎn)頭的樣本屬性．Y為類別集，c1代表正常駕駛狀態(tài)，c2代表疲勞駕駛狀態(tài)．由貝葉斯定理得

由于疲勞因素的條件相互獨(dú)立，所以

由式(12)和式(13)得

根據(jù)式(14)建立樸素貝葉斯分類器

由貝葉斯分類器可知，輸入疲勞駕駛的疲勞因素，得出概率最大的類別就是預(yù)測(cè)出的結(jié)果[19-20]．根據(jù)這個(gè)原理，通過多個(gè)疲勞因素判別駕駛員的疲勞狀態(tài)．

6 實(shí)驗(yàn)測(cè)試與分析

本次實(shí)驗(yàn)使用惠普筆記本自帶攝像頭完成視頻數(shù)據(jù)采集，使用Python 3.7編程語言和Tensorflow 2.4框架，在Pycharm編程環(huán)境下使用OpenCV進(jìn)行人臉檢測(cè)和面部關(guān)鍵點(diǎn)定位以及頭部三維空間的確定．為了證明算法的穩(wěn)定性，分別在理想狀態(tài)、戴眼鏡狀態(tài)、戴帽子狀態(tài)、強(qiáng)光狀態(tài)、弱光狀態(tài)下進(jìn)行多組實(shí)驗(yàn)測(cè)試．經(jīng)過多次實(shí)驗(yàn)得出眨眼、哈欠、瞌睡點(diǎn)頭不同疲勞特征的準(zhǔn)確率，見表1．

表1 不同環(huán)境下疲勞特征測(cè)試準(zhǔn)確率Tab. 1 Accuracy of fatigue characteristic test indifferent environments

在理想環(huán)境中且無穿戴狀態(tài)下眼、嘴、頭部疲勞因素測(cè)試平均準(zhǔn)確率均很高，分別為96.83%、96.80%、97.50%．在理想實(shí)驗(yàn)條件下，疲勞檢測(cè)系統(tǒng)具有良好的檢測(cè)效果．

在駕駛員戴眼鏡的狀態(tài)下，雖然眨眼的準(zhǔn)確率相較于理想狀態(tài)下的準(zhǔn)確率有所波動(dòng)，但是準(zhǔn)確率仍然處于95%以上．由此得出結(jié)論：駕駛員在戴眼鏡時(shí)，疲勞檢測(cè)系統(tǒng)仍然具有較高的穩(wěn)定性．

在駕駛員戴帽子的狀態(tài)下，雖然瞌睡測(cè)試的準(zhǔn)確率有所波動(dòng)，但是其準(zhǔn)確率仍處于95%以上．由此可以得出結(jié)論：駕駛員在戴帽子時(shí)，疲勞檢測(cè)系統(tǒng)仍然具有較高穩(wěn)定性和抗干擾能力．

當(dāng)駕駛汽車面向太陽或背對(duì)著太陽時(shí)，會(huì)出現(xiàn)強(qiáng)光或弱光的環(huán)境，疲勞檢測(cè)系統(tǒng)處于強(qiáng)光和弱光的環(huán)境下檢測(cè)到的眨眼、哈欠、瞌睡點(diǎn)頭的準(zhǔn)確率雖然有所波動(dòng)，但均在95%以上．由此可以得出結(jié)論：駕駛汽車處于強(qiáng)光或弱光的環(huán)境下，疲勞檢測(cè)系統(tǒng)仍然具有較高的穩(wěn)定性和抗干擾能力．

綜上所述，無論駕駛員在穿戴配飾還是在強(qiáng)光或弱光的情況下，疲勞因素測(cè)試實(shí)驗(yàn)的準(zhǔn)確率雖有波動(dòng)但都在95%以上，由此說明PHOG算法具有很好的穩(wěn)定性和抗干擾能力．

當(dāng)駕駛員在戴眼鏡狀態(tài)下，系統(tǒng)可以檢測(cè)出人臉，標(biāo)定出人臉的68個(gè)關(guān)鍵點(diǎn)，檢測(cè)出眨眼閾值EAR、眨眼次數(shù)Blinks和哈欠閾值MAR、哈欠次數(shù)Yawns及頭部的空間坐標(biāo)，并檢測(cè)出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(a)所示．

當(dāng)駕駛員在戴帽子狀態(tài)下，系統(tǒng)依然可以檢測(cè)出人臉，標(biāo)定出人臉的68個(gè)關(guān)鍵點(diǎn)，檢測(cè)出眨眼閾值EAR、眨眼次數(shù)Blinks和哈欠閾值EAR、哈欠次數(shù)Yawns及頭部的空間坐標(biāo)，并檢測(cè)出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(b)所示．

當(dāng)駕駛員處于強(qiáng)光環(huán)境下，系統(tǒng)具有較強(qiáng)的穩(wěn)定性和抗干擾能力，仍然可以檢測(cè)出駕駛員的各項(xiàng)疲勞特征參數(shù)并檢測(cè)出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(c)所示．

當(dāng)駕駛員處于弱光環(huán)境下，檢測(cè)系統(tǒng)并不受影響，可以準(zhǔn)確地檢測(cè)出眼、嘴及頭部的疲勞特征參數(shù)并檢測(cè)出駕駛員的疲勞狀態(tài)，運(yùn)行效果如圖10(d)所示．

圖10 不同環(huán)境下駕駛員疲勞狀態(tài)檢測(cè)結(jié)果Fig. 10 Test results of driver fatigue in different environments

本文又收集了多人人臉數(shù)據(jù)，對(duì)不同人臉進(jìn)行疲勞檢測(cè)，測(cè)試結(jié)果如圖11所示．

圖11 疲勞檢測(cè)結(jié)果Fig. 11 Fatigue test results

實(shí)驗(yàn)中采集了不同人臉進(jìn)行測(cè)試，系統(tǒng)依然能檢測(cè)出面部眼、嘴和頭部的空間位置，而且可以統(tǒng)計(jì)視頻中眨眼次數(shù)、哈欠次數(shù)、瞌睡點(diǎn)頭的次數(shù)，由此可以證明系統(tǒng)的有效性．

為了證明系統(tǒng)的持續(xù)穩(wěn)定性，在圖11(b)中增多測(cè)試者眨眼次數(shù)、哈欠次數(shù)、瞌睡點(diǎn)頭次數(shù)，系統(tǒng)依然可以實(shí)時(shí)檢測(cè)出疲勞狀態(tài)．在圖11(c)中減少嘴部疲勞特征哈欠的次數(shù)，可以看出在其中一種疲勞特征不足的情況下也依然可以檢測(cè)出人臉的疲勞狀態(tài)，由此可以證明系統(tǒng)的穩(wěn)定性．

綜上所述，經(jīng)過不同的人臉疲勞檢測(cè)結(jié)果可知，疲勞檢測(cè)系統(tǒng)可以準(zhǔn)確地檢測(cè)和識(shí)別出圖像中的人臉，并檢測(cè)出人臉的68個(gè)關(guān)鍵點(diǎn)和頭部的空間坐標(biāo)，最終檢測(cè)出疲勞狀態(tài)，表明算法具有較高的有效性和穩(wěn)定性．

7 結(jié) 語

本文采用PHOG算法，結(jié)合OpenCV進(jìn)行人臉檢測(cè)和關(guān)鍵點(diǎn)定位，標(biāo)注出人臉68個(gè)關(guān)鍵點(diǎn)，再通過關(guān)鍵點(diǎn)坐標(biāo)計(jì)算出嘴、眼、頭部的開合度閾值．根據(jù)PERCLOS準(zhǔn)則，結(jié)合單位時(shí)間內(nèi)眼、嘴以及頭部視頻幀的變化，確定駕駛員疲勞的閾值．通過實(shí)驗(yàn)數(shù)據(jù)表明，在上述復(fù)雜環(huán)境下對(duì)眨眼、哈欠、瞌睡點(diǎn)頭的識(shí)別準(zhǔn)確率均達(dá)到了95%以上．由此可以得出結(jié)論，PHOG算法在疲勞檢測(cè)方面效果良好，且檢測(cè)駕駛員人臉具有較強(qiáng)的穩(wěn)定性和抗干擾能力．