面部多特征融合的列車司機疲勞檢測方法研究

陳小強，熊 燁，王 英，陳思彤

(1.蘭州交通大學(xué) 自動化與電氣工程學(xué)院，甘肅 蘭州 730070；2.光電技術(shù)與智能控制教育部重點實驗室，甘肅 蘭州 730070)

隨著我國鐵路的發(fā)展，列車司機作業(yè)由傳統(tǒng)的列車操控，轉(zhuǎn)變?yōu)榱熊噷崟r運行信息的長時間監(jiān)控[1]。由于列車運行時間長且路況復(fù)雜的特點，列車司機的工作量日益加大，疲勞駕駛的可能性也日益增大。因此，實時檢測出列車司機疲勞程度并預(yù)警，對保證列車的安全運營有重大意義。但我國鐵路現(xiàn)有線路上機車車載行車安全裝置主要是依靠司機一段時間后重復(fù)按無人警惕鍵來確定列車處于正常駕駛狀態(tài)，大部分機車所配備的能夠反映司機駕駛疲勞的車載裝置也僅用于事后分析機車狀態(tài)數(shù)據(jù)和司機操作數(shù)據(jù)的機車運行監(jiān)控記錄儀，基本不具備駕駛過程中的在線監(jiān)測功能。

目前國內(nèi)外對疲勞檢測的研究多是從面部表現(xiàn)、人體生理指標、駕駛行為出發(fā)[2]。面部表現(xiàn)以其操作簡單、成本低、無需穿戴特殊設(shè)備的優(yōu)點成為近年來的研究熱點。

面部表現(xiàn)可大致分為基于眼睛、嘴巴、多面部特征融合三種。

在眼睛特征中，文獻[3]利用眼睛開合度計算單位時間內(nèi)閉眼百分比判斷司機是否疲勞。文獻[4]構(gòu)建雙流雙向卷積神經(jīng)網(wǎng)絡(luò)(BCNN)利用雙目一致性進行信息交互以檢測眼睛凝視方式，并提出基于瞳孔距離的人眼遮擋機制(ESM)，以消除側(cè)臉檢測時遮擋人眼帶來的疲勞檢測誤差。文獻[5]分析疲勞前后人眼瞳孔直徑大小隨時間的波動的情況，司機清醒狀態(tài)時以低波幅、快頻率為主；相反，疲勞狀態(tài)時，波形的變化幅度很大，振動頻率中存在明顯的低頻慢波。文獻[6]通過頭部姿態(tài)估計，建立眼睛逆投影開合度和真實開合度的變換關(guān)系，修正了凝視方向?qū)ρ劬﹂_合度檢測的影響。文獻[7]通過人眼在臉部的位置來跟蹤人眼區(qū)域，定位虹膜中心計算眼動速率實時檢測疲勞。文獻[8]提出一種基于PCA/ICA的迭代補償算法摘除眼鏡以檢測疲勞。文獻[9]提出一種動態(tài)滑動窗口算法以睜閉眼的最佳閾值來檢測疲勞。文獻[10]利用眨眼頻率、PERCLOS、注視方向和注視時間等眼睛特征分析了各自的最優(yōu)時窗，針對不同眼睛特征最優(yōu)時窗差異，提出了滑移時窗的數(shù)據(jù)融合方法以檢測司機疲勞。文獻[11]設(shè)計一種基于模糊綜合評價算法，通過眼部高寬比，瞳孔黑色素占比，眼部擬合的橢圓面積三個評價因素判斷眼睛開閉狀態(tài)來檢測疲勞。文獻[12]提出一種利用深度殘差卷積神經(jīng)網(wǎng)絡(luò)對不同光照條件下的睜眼和閉眼圖像進行分類的方法，以消除光照變化對疲勞檢測的影響。文獻[13] 通過級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)得到人眼的6個特征點識別人眼狀態(tài)并檢測疲勞。

在嘴巴特征中，文獻[14]通過Hough變換定位駕駛員嘴部的特征實現(xiàn)疲勞預(yù)警。文獻[15]使用Fisher分類器提取嘴巴的形狀，將其幾何特征作為特征值構(gòu)成特征向量輸入BP網(wǎng)絡(luò)中，以區(qū)別司機在正常、說話、瞌睡時的嘴巴狀態(tài)。

在多面部特征融合中，對特征信息的融合算法多是模糊邏輯融合方法和貝葉斯分類，文獻[16]將PERCLOS、閉眼時間、眨眼頻率、點頭頻率等輸入模糊推理系統(tǒng)進行疲勞檢測。文獻[17]通過自適應(yīng)神經(jīng)模糊推理系統(tǒng)判斷駕駛員的疲勞程度。文獻[18-19]通過貝葉斯算法對多個面部特征進行融合判斷司機是否疲勞。文獻[20]分別將眼睛嘴巴圖像構(gòu)建識別網(wǎng)絡(luò)，對采集到的眼睛嘴巴狀態(tài)進行融合并建立疲勞特征判斷模型，提高了因司機頭部傾斜、偏轉(zhuǎn)時疲勞檢測的準確率。此外，文獻[21]利用LBP、Gabor、HOG 三種特征測度矩陣，采用多模態(tài)特征的距離測度學(xué)習算法從司機面部表情判斷是否疲勞。文獻[22]從疲勞表情機理和經(jīng)驗獲取司機疲勞時的表情特征，將特征量化得到疲勞表情指標作為判據(jù)。文獻[23]利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習到的面部特征替代傳統(tǒng)預(yù)先定義的面部特征，使用softmax層將特征分為疲勞與非疲勞兩類，判斷司機疲勞狀態(tài)。文獻[24]通過采集到的司機面部圖像建立其特征空間，與疲勞訓(xùn)練樣本進行比較，判斷司機是否疲勞。

本文提出一種面部多特征融合方法，根據(jù)K-means++算法得出不同司機人眼自適應(yīng)閾值，利用相鄰兩幀瞳孔和內(nèi)眼角的特征點位置的差值實現(xiàn)眼動跟蹤，計算出眼動速率，通過模糊推理系統(tǒng)將眼睛開合度、嘴巴開合度、眼動速率三個判斷指標相結(jié)合進行疲勞檢測。該方法不僅能在一定程度上解決因個體面部特征差異導(dǎo)致固定閾值無法適用于每位司機以及面部特征判斷指標單一的情況，還考慮前后幀圖像的相關(guān)性，提高了駕駛員疲勞檢測的可靠性。

1 疲勞檢測方法流程

疲勞檢測方法流程見圖1，輸入采集到的司機人臉圖像進行特征點定位，提取和計算疲勞檢測相關(guān)面部特征，并定位到瞳孔和內(nèi)眼角計算得到眼動速率。通過眼睛開合度判斷眼睛開閉，用嘴巴開合度判斷駕駛員是否打哈欠，用眼動速率判斷眼球運動是否變得遲緩。將眼睛開合度、嘴巴開合度、眼動速率作為模糊控制系統(tǒng)的輸入，根據(jù)設(shè)計的規(guī)則庫進行推理，得到的模糊量為疲勞狀態(tài)，將輸出的疲勞程度值輸入到疲勞判定模塊，輸出值即為列車駕駛員的疲勞狀態(tài)從而實現(xiàn)疲勞檢測。

圖1 疲勞檢測方法流程

2 人臉檢測與特征點定位

為了提高疲勞檢測方法對光照條件變化的適應(yīng)能力，使用基于HOG特征檢測人臉區(qū)域，在人臉區(qū)域運用ERT算法定位人臉特征點，從而計算出用于檢測疲勞的各個判斷指標。

2.1 基于HOG特征的人臉檢測

HOG特征的基本思想是利用梯度信息很好地反映圖像目標的邊緣信息，并通過局部梯度的大小將圖像局部的外觀和形狀特征化[25]。具體流程見圖2。

圖2 人臉檢測流程

2.2 基于ERT法的特征點定位

ERT(Ensemble of Regression Trees)法是2014年由Vahid Kazemi 和Josephine Sullivan提出的人臉對齊算法[26]。此算法通過建立一個級聯(lián)的殘差回歸樹GBDT(Gradient Boosting Decision Tree)來使人臉形狀從當前形狀一步一步回歸到真實形狀，即每級回歸器學(xué)習的都是當前初始形狀與真實形狀的殘差。當輸入落到一個節(jié)點上時，就將殘差加到該輸入上，起到回歸的目的，最終將所有殘差疊加在一起，完成人臉對齊的目的。具體步驟如下：

Step1給定訓(xùn)練樣本。有訓(xùn)練數(shù)據(jù)集(I1,S1)，…，(In,Sn)，其中Ii為圖像，Si為人臉特征點的位置，數(shù)據(jù)組織形式可以表示為

( 1 )

式中：N=nR，n為圖片數(shù)，R為初始化倍數(shù)；i=1,…，N；πi∈{1,…，n}，π為滿映射，πi(i=1，2，…，n)為第1到第n張圖片的滿映射，即圖像中所有的人臉信息。

Step2初始化：

( 2 )

式中：ρ為面部特征的坐標位置的個數(shù)；γ為標準人臉信息。

( 3 )

Step4更新回歸器：學(xué)習率0<υ<1

( 4 )

( 5 )

Step5更新位置：

( 6 )

( 7 )

圖3 人臉識別與特征點定位效果

3 疲勞檢測相關(guān)特征參數(shù)提取

3.1 瞳孔定位及眼動速率的計算

常用的瞳孔定位方法有灰度投影法、模板匹配法、Hough變換法、統(tǒng)計學(xué)習法等。考慮疲勞檢測的實時性以及駕駛員與攝像頭存在一定距離，所提供的像素信息較少，使用灰度投影法實現(xiàn)瞳孔定位，但該方法不適用于整張臉中檢測人眼，由此利用ERT算法定位得到的人眼特征點外接的一個最小矩形框中使用積分投影函數(shù)對人眼進行定位，即

( 8 )

( 9 )

式中：I(x,y)表示圖像在(x,y)處的灰度值，[xn,xm]和[yn,ym]分別表示圖像在水平和垂直的邊界。

在不同區(qū)域的邊界，即當圖像的某一列與其前一列或某一行與其前一行相比，發(fā)生了較大變化，通過積分得到極大或極小值是人眼的邊界位置,在得到的人眼區(qū)域?qū)⒒叶热搜蹐D分別進行水平和垂直方向上的疊加，取疊加后數(shù)值最小的部分即為瞳孔的位置。人臉在不同狀態(tài)下的瞳孔定位效果見圖4。

圖4 不同情況下的瞳孔定位效果

當人處于疲勞狀態(tài)時，眼球運動速率會大幅降低。通過瞳孔定位，采用幀差分法計算相鄰兩幀圖像瞳孔與內(nèi)眼角的距離差值L除以處理這兩幀圖像所用時間t從而得到眼動速率v[25]，見圖5。

圖5 相鄰兩幀的眼睛狀態(tài)

(10)

(11)

L=|L1-L2|

(12)

(13)

3.2 眼睛特征參數(shù)提取

PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)是目前國際上公認的最有效的疲勞檢測算法，它表示一定時間內(nèi)人眼閉合時間占總時間的比例，有EM、P70、P80三種判斷標準，其中P80效果最好，因此采用眼睛閉合80%代表眼睛處于閉合狀態(tài)。眼睛的開閉狀態(tài)通常情況下是采用眼部高寬比r來判斷的，圖6為眼部高寬比，即

圖6 眼部高寬比

(14)

式中：h和w分別為眼睛的高度和寬度。

3.3 嘴巴特征參數(shù)提取

當人處于疲勞狀態(tài)時會打哈欠，判斷嘴巴開閉狀態(tài)也是疲勞的評價因素之一。將嘴巴高寬比k作為判斷嘴巴開閉的依據(jù)(圖7)，即

圖7 嘴巴高寬比

(15)

式中：m和n分別表示為嘴巴的高度和寬度。

4 疲勞檢測相關(guān)判斷指標閾值選取

4.1 基于K-means++法的人眼自適應(yīng)閾值法

眼睛是判斷是否疲勞最明顯的特征，但司機的眼睛大小及形態(tài)個體差異明顯，固定閾值可能并不適用于判斷每位列車司機眼睛開閉狀態(tài)，針對這個現(xiàn)象，本文提出基于K-means++法的人眼自適應(yīng)閾值法，相較于傳統(tǒng)的K-means法，K-means++法優(yōu)化了初始中心的選擇，使聚類結(jié)果更可靠，收斂速度更快，更滿足實時檢測要求[27]。使用當值列車司機眼睛開合度r的數(shù)據(jù)制定其自適應(yīng)閾值。通過K-means++法將疲勞周期內(nèi)的眼睛開合度聚類為兩類，得到兩個聚類中心r1、r2，先判斷r1與r2的距離，若距離小于0.03，說明聚類效果不明顯，這個周期內(nèi)眼睛都屬于同一狀態(tài)，這時用絕對閾值0.2判斷眼睛開閉狀態(tài)，若小于絕對閾值，則為閉眼，反之為睜眼，下一個周期繼續(xù)進行聚類直到成功聚類為兩類。若距離較遠，將眼睛開合度分為兩類，較小的一類為閉眼狀態(tài)，較大的一類為睜眼狀態(tài)，得到人眼自適應(yīng)閾值。計算每個眼睛開合度到兩個聚類中心r1和r2的距離，距離哪個聚類中心更近，眼睛就屬于哪個狀態(tài)，人眼自適應(yīng)閾值法具體流程見圖8。

圖8 人眼自適應(yīng)閾值法具體流程

為證明本算法的可行性，選用5名眼睛大小形態(tài)不同的志愿者分別在正常和疲勞狀態(tài)下的眼睛開合度用K-means++法進行聚類，得到的聚類中心如表1所示，可以看出在正常狀態(tài)下，眼睛開合度聚類效果不明顯，在疲勞狀態(tài)下，眼睛開合度聚類效果良好，滿足實際要求。同時，每名志愿者的眼睛開合度聚類中心不盡相同，說明閾值的選取具有自適應(yīng)能力。

表1 眼睛開合度在不同狀態(tài)下的聚類中心

4.2 基于K-means的嘴巴開合度閾值選取

為進一步區(qū)別列車司機打哈欠與其他張嘴行為，使用YawDD公用數(shù)據(jù)集自行檢測了32名志愿者在嘴巴自然狀態(tài)、說話以及打哈欠狀態(tài)下的48 557個嘴巴開合度數(shù)據(jù)，通過K-means聚類將其分3類，聚類結(jié)果見圖9，相同顏色的點為同一類，三類邊界分別為[0,0.109]，[0.11,0.324]，[0.325,0.875]，分別對應(yīng)嘴巴在自然狀態(tài)、說話以及打哈欠狀態(tài)下的嘴巴開合度區(qū)間，由此將判斷打哈欠的閾值設(shè)為0.325用以區(qū)分其他張嘴方式。

圖9 嘴巴開合度聚類結(jié)果

5 疲勞檢測

在提取到眼睛、嘴巴特征以及計算出眼動速率的基礎(chǔ)上，將眼睛開合度、嘴巴開合度、眼動速率三個判斷指標作為輸入變量經(jīng)過設(shè)計的模糊控制系統(tǒng)來確定駕駛員的疲勞程度，其中眼動速率還沒有統(tǒng)一標準，采用室內(nèi)環(huán)境下均勻光照拍攝人清醒狀態(tài)下的視頻求取其1 800幀眼動速率平均值作為眼動速率標準值。根據(jù)司機產(chǎn)生疲勞駕駛現(xiàn)象和形成機制的先驗知識制定規(guī)則，疲勞等級分為不疲勞、輕度疲勞、中度疲勞、重度疲勞。斯坦福睡意表表明，疲勞的產(chǎn)生是一個隨時間漸變的過程，司機從亢奮到沉睡之間存在著注意力處于高水平但不在峰值以及雖反應(yīng)時間較之前慢但可以對外界做出反應(yīng)等能安全駕駛的狀態(tài)，采用疲勞分級不僅能反映出這些狀態(tài)，還能提醒司機潛在的駕駛風險，使檢測更加靈敏，提高駕駛安全性，模糊控制過程見圖10。

圖10 模糊控制過程

根據(jù)第4節(jié)疲勞特征相關(guān)閾值的選取，眼睛狀態(tài)的模糊集為{睜開，閉合}，論域為[0,1]，值得注意的是判斷眼睛狀態(tài)采用自適應(yīng)閾值，不同閾值情況下，隸屬度函數(shù)也會不同，此處取表1中志愿2的眼睛開合度數(shù)據(jù)，其隸屬度函數(shù)為

(15)

嘴巴狀態(tài)的模糊集為{張開，閉合}，論域為[0,1]，其隸屬度函數(shù)為

(16)

眼動速率快慢的模糊集為{快，慢}，論域為[0,4]，其隸屬度函數(shù)為

(17)

由模糊推理得到的模糊輸出值為疲勞程度，其模糊集為{不疲勞，輕度疲勞，中度疲勞，重度疲勞}，論域為[0,1]，根據(jù)疲勞區(qū)間的劃分，輸出隸屬度函數(shù)為

(18)

制定的模糊控制規(guī)則如表2所示。

表2 模糊控制規(guī)則

考慮檢測的準確性和靈活性，選用的檢測周期太短容易捕捉不到疲勞特征的變化過程，選用的檢測周期太長會導(dǎo)致檢測系統(tǒng)不夠靈敏，取每50幀為一個檢測周期，單位周期內(nèi)占比最高的疲勞等級為當前周期的疲勞等級。

由于列車司機疲勞駕駛?cè)鄙俟驳臄?shù)據(jù)集，采用在室內(nèi)環(huán)境下均勻光照自行拍攝視頻。實驗分四部分進行，第一部分分別檢測司機正常狀態(tài)和逐漸進入疲勞狀態(tài)下的疲勞等級；第二部分是司機逐漸進入疲勞狀態(tài)下對比本文方法與單一判斷指標眼睛開合度以及眼動速率的疲勞等級；第三部分是司機逐漸進入疲勞狀態(tài)下對比本文方法與PERCLOS法的檢測結(jié)果；第四部分檢測本文方法的準確性。

圖11給出了駕駛員在正常狀態(tài)下的檢測結(jié)果，疲勞等級大多穩(wěn)定分布在0.166～0.5之間，檢測到的疲勞等級大多都是不疲勞或輕度疲勞，但由于駕駛員眨眼，導(dǎo)致在58～66幀、114～126幀、154～168幀以及203～215幀疲勞等級曲線出現(xiàn)峰值，275幀以后是因為駕駛員說話或大笑導(dǎo)致疲勞等級曲線出現(xiàn)波動，實驗結(jié)果符合駕駛員實際狀態(tài)，且能捕捉到駕駛員眨眼以及說話的行為。

圖11 正常狀態(tài)下檢測結(jié)果

圖12給出了駕駛員逐漸進入疲勞狀態(tài)的檢測結(jié)果，疲勞等級曲線在1～25幀時大多處在0.16～0.5之間，檢測到的疲勞等級都為不疲勞或輕度疲勞，26～36幀疲勞等級曲線出現(xiàn)突變是由于眨眼所致，47～160幀疲勞等級的值在0.52～0.8之間波動，檢測到的疲勞等級大多為中度疲勞或重度疲勞，表明駕駛員處于打瞌睡狀態(tài)，168～204幀疲勞等級的值穩(wěn)定在0.85左右，表明駕駛員處于重度疲勞狀態(tài)，210～234幀眼睛短暫睜開后，疲勞曲線出現(xiàn)波動，之后駕駛員逐漸入睡，疲勞等級的值又穩(wěn)定在0.85左右，表明駕駛員進入睡眠狀態(tài)。實驗結(jié)果符合駕駛員實際狀態(tài)，且能正確實現(xiàn)不疲勞、輕度疲勞、中度疲勞以及重度疲勞這四個疲勞分級。

圖12 逐漸進入疲勞狀態(tài)的檢測結(jié)果

圖13中，考慮駕駛過程中駕駛員可能出現(xiàn)睜眼但可能很快又陷入疲勞的情況，如139～160幀時眼睛開合度的疲勞等級曲線降低到0.24左右，但實際上并未真正清醒，僅僅使用眼睛開合度來判斷容易造成誤判。而這段時間內(nèi)眼動速率疲勞等級曲線在0.5～0.82之間，本文方法融合了眼動跟蹤，結(jié)合眼動速率與眼睛開合度協(xié)同判斷眼睛狀態(tài)，本文方法的疲勞曲線的值在兩者中間，起到了修正的作用。

圖13 單一參數(shù)檢測方法與本文方法檢測結(jié)果對比

此外，可以看出本文方法與單一參數(shù)眼睛開合度以及眼動速率的疲勞等級曲線存在一定差異，這是由于駕駛員逐漸進入疲勞的狀態(tài)變化過程中，嘴巴特征變化明顯，僅僅用眼睛特征來檢測疲勞不夠準確。如0～24幀時駕駛員清醒狀態(tài)嘴巴完全閉合，本文方法疲勞曲線的值較低，更能反映駕駛員不疲勞的狀態(tài)。65～124幀是嘴巴開合度較大，本文方法疲勞曲線的值較高，判斷出駕駛員處于中或重度疲勞狀態(tài)，而用單一特征眼睛開合度與眼動跟蹤方法僅考慮眼睛特征，在眼睛還未完全閉合時疲勞等級曲線較本文方法更低，顯然不夠準確。本文方法將多個判斷指標相融合，使準確率得到提高。

兩種方法的對比結(jié)果如表3所示，PERCLOS法由于本身限制只能識別疲勞與不疲勞，且兩者的檢測結(jié)果也有一定差異，本文方法將PERCLOS法、眼動跟蹤的判斷指標相融合，不僅僅實現(xiàn)了疲勞分級，在檢測能力上也更強。

表3 逐漸進入疲勞狀態(tài)檢測結(jié)果對比

如表4所示，采集5名測試人員從清醒到疲勞反復(fù)的視頻進行測試，分別統(tǒng)計出被測視頻的準確率，漏檢主要是由于頭部偏轉(zhuǎn)角度過大未識別出人臉，誤檢則主要是由疲勞特征變化較大時，人臉特征點定位不準確造成的，得到的平均準確率為95.04%。

表4 本文方法性能測試

實時性是疲勞檢測的一個重要指標，根據(jù)人的視覺暫態(tài)理論分析，檢測系統(tǒng)的處理速度在每秒20幀以上時能達到視頻流效果，即50 ms/f及以上的處理速度可達到實時檢測要求。

對采集的5段視頻中每幀各個模塊耗時進行統(tǒng)計，其中特征點定位還包括人眼及瞳孔定位，如表5所示，總耗時平均為36.6 ms。此外，基于K-means++法的人眼自適應(yīng)閾值法是以疲勞周期進行聚類的，而何時找到自適應(yīng)閾值也是根據(jù)人眼開合度聚類情況而定，并未統(tǒng)計在每幀耗時的模塊里。但K-means++法本身運算速度極快，一個疲勞周期內(nèi)的聚類時間只需不到1 ms，所以并不影響實時性。綜上兩部分，滿足要求。

表5 各模塊耗時測試結(jié)果

如表6所示，本文方法準確率較文獻[17]和文獻[19]更高，具有良好的性能。

表6 疲勞檢測準確率對比

綜上所述，通過模糊推理系統(tǒng)融合了眼動速率、眼睛開合度以及嘴巴開合度這三個判斷指標，不僅修正了駕駛員短暫轉(zhuǎn)醒但很快又陷入疲勞導(dǎo)致誤判的情況，還解決了單一判斷指標導(dǎo)致疲勞檢測靈敏度不高的情況，準確率可達到95%。

6 結(jié)論

本文引入眼動速率將其通過模糊推理系統(tǒng)與眼睛和嘴巴疲勞檢測相關(guān)面部特征相融合，不僅在一定程度上修正了駕駛員短暫睜眼而非真正清醒造成誤判的情況，還考慮了圖像前后幀的相關(guān)性代替了傳統(tǒng)方法僅使用單幅圖像面部特征檢測疲勞，提出了基于K-means++的人眼自適應(yīng)閾值法，得到自適應(yīng)閾值，解決了因不同司機面部特征差異而導(dǎo)致固定閾值無法適用于每位司機的問題。實驗結(jié)果表明，本文方法檢測準確率達到95%。

由于本文在室內(nèi)均勻光照下進行檢測的，下一步考慮減少光照條件對檢測的影響以提高疲勞檢測系統(tǒng)的魯棒性。