基于頭部姿態(tài)特征的列車司機疲勞駕駛檢測系統(tǒng)研究

李勇達 張 超 孟令君

（北京交通大學交通運輸學院 北京 100044）

0 引言

目前，我國鐵路運輸進入快速發(fā)展時期，但是現(xiàn)有機車交路較長，排班過密等現(xiàn)象日益突出，并且駕駛室的噪聲、振動、高溫等因素容易導致列車司機疲勞駕駛。根據(jù)1項調(diào)查結(jié)果顯示，機車乘務員在列車運行4～7h，出現(xiàn)了視覺疲勞或者精神疲勞的征象［1］，并出現(xiàn)打哈欠、眼睛閉合、頭部不能正視前方的情形。國內(nèi)研究人員曾專門做過1項研究，結(jié)果顯示駕駛員合理連續(xù)駕駛時間閾值為235 min［2］。我國鐵路系統(tǒng)事故表明，列車事故的人為因素中有相當一部分是由于司乘人員的疲勞引起的［3－4］。為此，各路局想了很多應對辦法，包括在司機室布設視頻監(jiān)控裝置，以及在司機腳下布置提醒裝置，但這些方法增加了鐵路局的人員負擔。且容易分散司機的注意力。

目前，疲勞駕駛檢測方法主要可以分為3類，分別是基于駕駛?cè)松碇笜说钠隈{駛檢測方法［5］、基于計算機視覺的疲勞駕駛檢測方法［6］、基于多信息融合的疲勞駕駛檢測方法［7］。在這些方法中，基于計算機視覺的疲勞駕駛檢測方法以其非侵入式、準確、高效的特點正成為目前該領(lǐng)域的研究熱點?；谟嬎銠C視覺的疲勞駕駛檢測方法主要針對于人的面部表情、眼睛的閉合程度、眨眼頻率、嘴巴張開程度進行檢測，其中以人眼檢測的方法［8］最為流行，但在實際應用過程中，駕駛?cè)藭霈F(xiàn)低頭或者眼部受遮擋的情形，導致無法捕捉到人眼，更無法判斷駕駛?cè)耸欠衿隈{駛，因此，在駕駛?cè)颂幱诘皖^或者眼部受遮擋等無法捕捉人眼的情況下，需要有輔助的疲勞判斷方法。研究表明，頭部姿態(tài)與疲勞程度有很好的相關(guān)性，ASCI公司研制出頭部位移傳感器，實時記錄各個時間段頭部位置的變化，判斷駕駛?cè)说钠诔潭龋?］。該方法采用電子傳感設備，雖然檢測精度較高，但是開發(fā)成本也高。受這一思路啟發(fā)，筆者采用計算機視覺技術(shù)，充分發(fā)揮其低成本、檢測精確度高的特點，提出基于頭部姿態(tài)特征的疲勞駕駛判別方法。

1 算法介紹

1.1 人臉檢測算法

人臉檢測是人臉跟蹤，以及后續(xù)頭部姿態(tài)分析的關(guān)鍵一步，因此，選擇合適的檢測算法至關(guān)重要。基于AdaBoost的檢測方法其實是1種樣本學習的方法，是人臉檢測的常用方法。它需要事先進行樣本學習以及訓練，訓練前先從原始樣本圖像中提取出具有代表性的特征，然后把這些特征作為訓練過程的輸入變量，利用事先設計的算法挑選出某些分類能力強的特征分別構(gòu)成各自對應的弱分類器，最后利用AdaBoost方法按目標驅(qū)動的方法將多個弱分類器組合成1 個強分類器。該方法的優(yōu)點為檢測正確率較高、能夠檢測單幀圖像的特定目標，缺點為需要大量的樣本、檢測算法運行時間較長。近年來，很多學者對Ada－Boost的算法進行改進，并取得了較好的效果。張君昌等［10］提出了基于自適應權(quán)重更新和遺傳算法的人臉檢測算法，有效改進了訓練樣本出現(xiàn)的過擬合現(xiàn)象和特征冗余問題。邱炯等［11］提出了1種結(jié)合圖像增強和膚色分割的AdaBoost算法檢測人臉，較好地解決錯檢和漏檢的問題，并提高了檢測速度。

由于訓練分類器需要大量的樣本，為方便起見，筆者直接采用Opencv提供的基于類Haar特征的Adaboost算法。圖1為該算法的人臉檢測結(jié)果，圓圈標記的范圍即為檢測到的人臉區(qū)域。

圖1 基于AdaBoost的人臉檢測結(jié)果Fig.1 The results of face detection based on AdaBoost

1.2 人臉跟蹤算法

基于AdaBoost分類器的人臉檢測算法容易受到光線以及目標運動的影響，并且?guī)c幀之間沒有相關(guān)性，因此，需要在人臉檢測之后加上人臉跟蹤，保證對特定目標跟蹤的連續(xù)性和惟一性。

2002 年，Dorin Comaniciu［12］將mean－shift算法引入到目標跟蹤領(lǐng)域，極大減少了跟蹤算法的計算量。mean－shift算法是1種基于無參數(shù)估計目標跟蹤方法，已經(jīng)廣泛應用于目標實時跟蹤領(lǐng)域，但其容易收斂于局部極值點，所以在出現(xiàn)某些遮擋及背景干擾的情況下不能保證跟蹤的實時性?；陬伾櫟腃amshift算法，它是meanshift的修改算法，克服了mean－shift不適合實時跟蹤的缺點。Camshift算法的計算量小，并且能夠自動調(diào)節(jié)窗口的大小，在簡單背景環(huán)境中能夠取得較好的跟蹤效果，本系統(tǒng)的目標跟蹤部分正是采用此方法。

由于RGB顏色空間對光照、亮度的變化比較敏感，而HSV空間不但更接近人類的色覺反映，而且H分量（色調(diào)）與V分量（亮度）相互獨立，這樣可以排除周圍環(huán)境亮度變化對跟蹤效果的影響，所以首先將圖像從RGB 空間轉(zhuǎn)換到HSV空間，然后建立H分量的顏色直方圖，接著反投影建立膚色概率分布圖像，再用Camshift算法計算跟蹤窗口的大小和位置。

本文選取的V分量（亮度）和S分量（飽和度）分別為Vmin＝10，Vmax＝255，Smin＝61，Smax＝255，實驗結(jié)果如圖2 所示。圖2（c）柱狀條的顏色代表RGB空間的實際顏色，柱狀條的高度代表該顏色的統(tǒng)計概率。

圖2 原圖、膚色概率分布圖、歸一化的H 分量顏色直方圖Fig.2 The raw image，skin color probability distribution image and the normalized skin color histogram of the H channel

采用Camshift算法實現(xiàn)目標跟蹤的具體步驟為：

步驟1 設置搜索窗口的初始大小和位置。

步驟2 對搜索窗口稍大的區(qū)域進行反向投影。

步驟3 運用mean－shift算法，計算并保存目標區(qū)域的質(zhì)心位置及大小。

步驟4 將保存的上一幀目標的質(zhì)心作為下一幀mean－shift運算時搜索窗口的中心，重復步驟（2）和（3），直至收斂。

Camshift算法流程見圖3。

圖3 Camshift算法流程圖Fig.3 The flow chart of Camshift algorithm

早在1986年Horn［13］就通過尋找1 個與目標區(qū)域分布有著相同矩的長方形區(qū)域來準確定位出被跟蹤目標區(qū)域的大小和旋轉(zhuǎn)角度θ，從而可以自適應的改變和調(diào)整搜索區(qū)域的大小和位置。下1幀圖像中搜索窗口的大小和旋轉(zhuǎn)角度可以通過式（1）～（4）計算得到。

x軸，y軸方向二階矩

目標的長軸和短軸的長度分別為

式中：a，b，c為中間變量，由以下公式計算得到，

Camshift算法的跟蹤效果見圖4。

圖4 Camshift濾波算法跟蹤效果圖Fig.4 Effect drawings of tracking with Camshift algorithm

圖4依次顯示第127幀、第720幀、第1 362幀、第1 718幀、第3 096幀、第3 378幀的跟蹤結(jié)果。其中，第3 096幀為引入膚色干擾后的跟蹤效果圖，從圖中可以看出跟蹤的矩形框明顯變大，表明手臂對跟蹤的目標形成了干擾，但是依然正確鎖定跟蹤的目標區(qū)域，在移開手臂后，如第3 378幀所示，依然能夠保持很好的跟蹤效果。

盡管手臂干擾后依然能夠正常跟蹤，但在被干擾的過程中目標連通區(qū)域的形狀發(fā)生了變化，。這使得在計算目標區(qū)域的外接矩形旋轉(zhuǎn)角度時遇到了困難，所以實際應用時應避免這種干擾情況的發(fā)生，使誤報幾率降到最低。

1.3 頭部傾斜角度及頭部運動速度計算方法

本文的前提假設條件是人的頭部為剛體，而且假設頭部是以兩肩中心位置做旋轉(zhuǎn)運動。人體在處于疲勞姿態(tài)時，頭部不能正視前方，頭部的中軸線與頭部重心線存在一定的夾角，而且部分人進入疲勞狀態(tài)時，頭部會突然向1 個方向傾斜。因此，通過測定頭部傾斜角度以及頭部旋轉(zhuǎn)角速度就可以判斷司機的疲勞狀態(tài)。

從人體解剖學的正面觀來看，面部占據(jù)頭部的絕大部分比例（剩余一小部分為頭發(fā)遮擋區(qū)域），因此，面部姿態(tài)大體可以反映頭部姿態(tài)。通過實現(xiàn)頭部跟蹤得到頭部連通區(qū)域，然后求取連通區(qū)域的最小外接矩形頂點坐標，進而計算出頭部的傾斜角度，并通過幀間傾斜角度的變化計算出頭部旋轉(zhuǎn)的角速度（注：這里指的是平均旋轉(zhuǎn)角速度）。如圖5為頭部處于不同姿態(tài)下目標區(qū)域的外接矩形。

圖5 頭部處于直立和傾斜姿態(tài)時目標區(qū)域的外接矩形Fig.5 The object region of contour－rectangle when the head is vertical and tilting

旋轉(zhuǎn)角度β的計算公式為

這里定義ω為頭部旋轉(zhuǎn)平均角速度，其計算公式為：

式中：β1 為前1幀的頭部傾 斜角度；β2 為后1 幀的頭部傾斜角度；t為相鄰兩幀時間差。

為了確定頭部旋轉(zhuǎn)過程中的角速度以及角加速度參數(shù)范圍，建立頭部旋轉(zhuǎn)模型。假設頭部為剛體，且在重力作用下發(fā)生定點轉(zhuǎn)動，本文將頭部等效為各處密度均勻的細桿，見圖6。

圖6 頭部旋轉(zhuǎn)過程的等效模型圖Fig.6 The equivalent model graph when the head is rotating

細桿繞支點O的轉(zhuǎn)動慣量為，根據(jù)轉(zhuǎn)動定律M＝Jα，從圖6 可知，支撐力的力矩為O，則可以得到如下關(guān)系式

假如被測試人員的臉部長度為0.23m，角速度、角加速度的變化曲線如圖7所示。根據(jù)計算公式，其角速度由0°時對應的0rad／s增加到90°對應的11.32rad／s。

圖7 角速度、角加速度隨旋轉(zhuǎn)角度的變化曲線Fig.7 The change curve of angular velocity and angular acceleration along with the rotating angle

2 實驗結(jié)果及算法性能分析

針對頭部姿態(tài)做了3組對照實驗，如圖8所示，其中圖8（a）為頭部直立時的效果圖，圖8（b）為頭部右傾（以人體軀干為參照物）時的效果圖，圖（c）為頭部左傾（以人體軀干為參照物）時的效果圖。從圖中可以看出，當頭部發(fā)生傾斜時，對應的十字軸也發(fā)生旋轉(zhuǎn)，十字軸旋轉(zhuǎn)角度與頭部傾斜角度基本一致。圖8中也顯示出了頭部偏轉(zhuǎn)的具體角度。由圖8可見，計算的偏轉(zhuǎn)角度與實際的頭部偏轉(zhuǎn)角度相比偏小，導致疲勞檢測結(jié)果存在漏報的可能，因此，偏轉(zhuǎn)角度閾值的選取對于及時準確判斷疲勞狀態(tài)至關(guān)重要。

圖8 3種不同姿態(tài)的頭部傾斜角度對比Fig.8 The contrast among the rotating angle of three different postures

對頭部緩慢向左旋轉(zhuǎn)、緩慢向右旋轉(zhuǎn)、突然向左旋轉(zhuǎn)、突然向右旋轉(zhuǎn)情形，各做20組對照實驗，可以發(fā)現(xiàn)，緩慢左旋疲勞檢測成功率為85%，緩慢右旋成功率為90%，突然左旋和右旋成功率皆為95%，綜合以上情形，成功率為87.5%。實驗中，緩慢左旋、右旋時判定疲勞姿態(tài)的指標為旋轉(zhuǎn)角度，閾值大小為45°；突然左旋、右旋時判定疲勞姿態(tài)的指標為旋轉(zhuǎn)角速度，閾值大小為10rad／s。

本文對采用的算法進行了測試，實驗所用計算機內(nèi)存2G，主頻為2.27GHz，圖像的尺寸為320×240。實驗結(jié)果見表1。

表1 算法運行時間Tab.1 Running time of the algorithm

雖然基于類Haar特征的Adaboost算法的運行時間較長，但是其只負責對人臉的檢測部分，人臉檢測完成后可由Camshift算法完成跟蹤任務，因此，本方法仍能滿足實時監(jiān)控的目標。

3 實驗平臺及疲勞駕駛檢測系統(tǒng)功能介紹

3.1 疲勞駕駛檢測系統(tǒng)介紹及軟硬件系統(tǒng)構(gòu)成

筆者設計的疲勞駕駛檢測系統(tǒng)主要包括以下4個模塊，分別為數(shù)據(jù)采集模塊、人臉檢測模塊、人臉跟蹤模塊、頭部傾斜角度及頭部旋轉(zhuǎn)角速度計算模塊，其程序流程見圖9。

圖9 系統(tǒng)各個模塊Fig.9 All modules of system

硬件平臺。攝像頭的最大分辨率為320×240，內(nèi)存為2G，主頻為2.27GHz。開發(fā)平臺：采用Opencv計算機視覺開發(fā)庫，軟件開發(fā)平臺為VC＋＋6.0，操作系統(tǒng)為Windows 7。

3.2 系統(tǒng)功能介紹

實驗時，人坐在攝像頭的前面，攝像頭首先會捕捉人臉，然后將人臉區(qū)域作為Camshift跟蹤算法的初始搜索窗口，接著計算出頭部旋轉(zhuǎn)角度以及旋轉(zhuǎn)角速度，最后根據(jù)設定的閾值判斷人體是否疲勞。本系統(tǒng)選定的閾值：旋轉(zhuǎn)角度為45°，旋轉(zhuǎn)角速度為10rad／s。

當人臉捕捉成功后，狀態(tài)指示燈（圖10中的①）由紅色轉(zhuǎn)換為綠色，此時表明進入正常工作狀態(tài)；軟件視頻顯示區(qū)域的人臉跟蹤窗口上部實時顯示頭部的旋轉(zhuǎn)角度，圖10中十字軸始終與人臉中心線保持一致。圖11中頭部傾斜角度為59°，超過了設定的閾值45°，此時低級警報燈（圖10中的②）頻繁閃爍，提醒司機注意駕駛，并且當該姿態(tài)（頭部旋轉(zhuǎn)角度大于45°的姿態(tài)）保持5s以上時，頭部姿態(tài)顯示區(qū)的狀態(tài)由正常姿態(tài)轉(zhuǎn)換為疲勞姿態(tài)。該系統(tǒng)還考慮列車司機瞌睡時頭部突然偏轉(zhuǎn)的情形，此時若頭部旋轉(zhuǎn)角速度超過10rad／s，系統(tǒng)直接觸發(fā)最高等級警報，最高級警報燈（圖10中的③）由綠色直接變?yōu)榧t色。另外，系統(tǒng)也提供了復位功能，當出現(xiàn)誤報時，由司機手動取消安全警報。

圖10 正常姿態(tài)的界面顯示Fig.10 Interface display of normal posture

圖11 疲勞姿態(tài)的界面顯示Fig.11 Interface display of fatigue posture

4 結(jié)束語

本文主要采用基于AdaBoost的人臉檢測算法以及基于Camshift的目標跟蹤算法。經(jīng)過實驗驗證，在簡單的場景下，該方法彌補了人眼檢測方法在眼部遮擋情況下的不足，可將其與人眼檢測方法結(jié)合使用，提高疲勞檢測的正確率。筆者提出的方法對頭部大角度偏轉(zhuǎn)以及突然偏轉(zhuǎn)能夠及時判斷，同時對計算機軟硬件平臺的要求不是很高，開發(fā)和使用成本低。由于時間和水平的限制，該方法對復雜場景下頭部多種姿態(tài)的識別度較差，且要求人臉檢測時面部能夠正視攝像頭，因此，單獨使用該種檢測方法具有一定的局限性。采用本方法對目標進行跟蹤容易受到手臂等類膚色干擾物的影響。尋找1種魯棒且實時性能好的人臉檢測和跟蹤算法是下一步的目標。本方法與疲勞相關(guān)的頭部旋轉(zhuǎn)角度以及旋轉(zhuǎn)角速度閾值設置有待進一步研究，從而減少疲勞檢測的誤報率。

［1］儲鋼，徐曉梅，李新海，等.鐵路機車乘務員的駕駛疲勞調(diào)查［J］.環(huán)境與健康雜志，2009，25（12）：1098－1100.Chu Gang，Xu Xiaomei，Li Xinhai，et al.Driving fatigue investigation of railway locomotive attendants［J］.Journal of environment and health，2009，25（12）：1098－1100.（in Chinese）.

［2］滕 靖，宋興昊，姬利娟，等.連續(xù)駕駛條件下公交駕駛員疲勞特征實驗研究［J］.交通信息與安全，2013，31（3）：87－92，97.Teng Jing，Song Xinghao，Ji Lijuan，et al.Experimental Study of Fatigue Characteristics of Bus Drivers Under the Condition of Continuous Driving［J］.Journal of Transport Information and Safety，2013，31（3）：87－92，97.（in Chinese）

［3］宋志雄.機車司機行車安全監(jiān)控系統(tǒng)應用研究［J］.中國安全科學學報，2005，15（10）：110－112.Song Zhixiong.Application of monitored control system for safe driving of locomotive engineer［J］.China Safety Science Journal，2005，15（10）：110－112.（in Chinese）.

［4］王國來，柳甲賢.機車乘務員值乘中疲倦瞌睡問題探討［J］.鐵道勞動安全衛(wèi)生與環(huán)保，2004，31（2）：73－74.Wang Guolai，Liu Jiaxian.Discussion of fatigue sleepy problem for locomotive attendants［J］.Railway Occupational Safety，Health ＆ Environmental Protection，2004，31（2）：73－74.（in Chinese）.

［5］宋志雄.機車司機行車安全監(jiān)控系統(tǒng)應用研究［J］.中國安全科學學報，2005，15（10）：110－112.Song Zhixiong.Application of monitored control system for safe driving of locomotive engineer［J］.China Safety Science Journal，2005，15（10）：110－112.（in Chinese）.

［6］李洪研，趙學敏.基于人眼PERCLOS特征的列車駕駛員疲勞檢測系統(tǒng)［J］.中國鐵路，2011（12）：32－34.Li Hongyan，Zhao Xueming.Fatigue detection system for train driver based on the characteristics of human eye PERCLOS［J］.China railway，2011，12：32－34.（in Chinese）.

［7］劉佳興，王 煒.基于多參數(shù)融合的疲勞駕駛監(jiān)測及預警系統(tǒng)［J］.計算機仿真，2013，30（5）：171－175.Liu Jiaxing，Wang Wei.Fatigue monitoring and warning system based on multi－parameter fusion［J］.Computer Simulation，2013，30（5）：171－175.（in Chinese）.

［8］胡 卓.基于人眼檢測的疲勞駕駛監(jiān)測技術(shù)研究［D］.北京：北京交通大學，2009.Hu Zhuo.Fatigue monitoring research based on the human eye detection［D］.Beijing jiaotong university，2009.（in Chinese）.

［9］Popieul J C，Simon P，Loslever P.Using driver＇s head movements evolution as a drowsiness indicator［C］∥Intelligent Vehicles Symposium，2003 Proceedings.IEEE，2003：616－621.

［10］張君昌.基于自適應權(quán)重更新和遺傳算法的人臉檢測［J］.西北工業(yè) 大學學 報，2011，29（2）：290－294.Zhang Junchang.Face detection based on adaptive weight update and genetic algorithm［J］.Journal of Northwestern Polytechnical University，2011，29（2）：290－294.（in Chinese）.

［11］邱 炯，李偉生.結(jié)合圖像增強和膚色分割的人臉檢測新方法［J］.計算機工程與應用，2011，47（26）：189－192.Qiu Jiong，Li Weisheng.A new method of face detection based on image enhancement and skin color segmentation［J］，Computer Engineering and Applications，2011，47（26）：189－192.（in Chinese）.

［12］Comaniciu D，Ramesh V，Meer P.Real－time tracking of non－rigid objects using mean shift［C］∥Conference on.Computer Vision and Pattern Recognition，Hilton Head Island SC：IEEE 2000：142－149.

［13］Horn B.Robot Vision［M］.Cambridge，Massachusetts，Unitedstates：MIT Press，1986.