基于視頻的駕駛疲勞檢測技術的研究

鄧正宏，黃一杰，李翔，張?zhí)旆?/p>

（1.西北工業(yè)大學自動化學院，陜西西安 710072；2.西安特種設備檢驗檢測院，陜西西安 710068）

基于視頻的駕駛疲勞檢測技術的研究

鄧正宏1，黃一杰1，李翔2，張?zhí)旆?

（1.西北工業(yè)大學自動化學院，陜西西安 710072；2.西安特種設備檢驗檢測院，陜西西安 710068）

疲勞駕駛已經成為交通事故的重要因素，若能及時監(jiān)測駕駛員疲勞程度并且對其進行警告，則可降低此類交通事故的發(fā)生率。在圖像處理的基礎上從駕駛員實際狀況出發(fā)，從背景中分離駕駛員面部區(qū)域，分別采用優(yōu)化等照度線法和優(yōu)化mouthmap法提取眼睛和嘴巴特征參數(shù)，先在模糊神經網(wǎng)絡的基礎上建立疲勞分類器識別駕駛員疲勞程度，再在DSP系統(tǒng)上去實現(xiàn)疲勞駕駛檢測系統(tǒng)。實驗結果表明，該系統(tǒng)滿足了一般疲勞的動態(tài)識別要求，具有較強的實用性。

疲勞駕駛；面部特征；面部識別；眼睛監(jiān)測

據(jù)統(tǒng)計［1］全國范圍內一次性死亡10人以上的交通事故，大概有一半發(fā)生在易困時間段內。疲勞駕駛成為除超載、超速外的三大重大交通事故成因之一。疲勞時人常會出現(xiàn)多種不同的狀態(tài)如打哈欠、點頭、頻繁眨眼等，如能通過觀察、識別這些狀態(tài)就能提醒駕駛員，從而有效減少因疲勞駕駛所造成的事故率。Driving Research Centeryan成功研究了PERCLOS系統(tǒng)［2］，該算法是目前最有效的實時車載疲勞測評方法；Seeing Machines公司［3］開發(fā)了駕駛員狀態(tài)檢測系統(tǒng)DSS，通過將其安裝在儀表盤，小型傳感器能夠實現(xiàn)測量眼瞼閉合次數(shù)，以及駕駛員頭部的偏轉信息。本文在圖像處理的基礎上從駕駛員實際狀況出發(fā)，從背景中分離駕駛員面部區(qū)域，分別采用優(yōu)化等照度線法和優(yōu)化mouthmap法提取眼睛和嘴巴特征參數(shù)，在模糊神經網(wǎng)絡的基礎上，建立疲勞分類器去識別駕駛員疲勞程度，并且在DSP系統(tǒng)上來實現(xiàn)疲勞駕駛檢測系統(tǒng)。文章分別從硬件系統(tǒng)結構、算法實現(xiàn)和系統(tǒng)測試3個方面出發(fā)，闡述了基于疲勞駕駛檢測系統(tǒng)的研究與實現(xiàn)過程。

1　系統(tǒng)硬件結構

系統(tǒng)以DM640為核心構建了硬件系統(tǒng)，分別完成視頻采集、處理、顯示及報警等功能，通過紅外攝像頭可24 h連續(xù)采集視頻圖像，采集的視頻通過TVP515解碼器轉化為YCbCr 4∶2∶2格式的數(shù)字圖像，存入SDRAM中以備后續(xù)處理。系統(tǒng)硬件結構框圖如圖1所示：

圖1　系統(tǒng)硬件結構框圖

系統(tǒng)核心處理器采用TI公司TMS320DM640，VLIW體系結構，內部時鐘可達600 MHz，處理速度480 MIPS；CE0空間外接64MB SDRAM及CE1的4M Flash。在微BIOS系統(tǒng)上進行算法實現(xiàn)。

2　系統(tǒng)算法的實現(xiàn)

檢測系統(tǒng)按處理過程分為視頻圖像采集、視頻分析處理、特征參數(shù)提取及狀態(tài)分析、警告提示系統(tǒng)。其中視頻采集由DSP（200）經IIC總線控制TVP515視頻解碼模塊來實現(xiàn)模擬圖像到數(shù)字圖像轉化及存儲。

2.1面部識別算法

面部檢測算法主要是基于幾何特征的方法、基于統(tǒng)計學習的檢測方法、基于膚色模型的檢測方法。

基于幾何特征的檢測方法是利用面部的幾何特征［4-8］，如面部的輪廓特征等來識別面部的檢測方法。人臉外形的不穩(wěn)定性會產生很多面部表情，光照等也會給檢測帶來影響。通過利用統(tǒng)計分析和機器學習，基于統(tǒng)計理論的方法［9-10］進行尋求人臉樣本和非人臉樣本各自的特征，進而構造分類器來完成面部檢測。基于膚色模型的檢測方法是利用膚色在某個色度空間的聚類特性建立的膚色模型分離面部的方法。當然也可采用運動目標追蹤匹配以多攝像頭進行圖像融合以進一步改善識別率［11-12］，但這無疑會增加系統(tǒng)成本運算量。

分析駕駛狀態(tài)，視頻序列為單一特性圖像，即使有與膚色相近的噪聲，可以通過跟蹤等方法來消除，所以采用基于膚色模型的面部檢測算法。

實驗表明［13-14］：不同人的膚色在YCbCr顏色空間中的色度信息Cb、Cr滿足二維高斯模型N（μ，C），向量x=（Cb，Cr）T均值μ=E（x），協(xié)方差矩陣C =E｛（x-μ）·（x-μ）T｝，擬合二維高斯模型，圖像中任何一點像素的概率密度值可由（1）式計算：

根據(jù)膚色在YCbCr色度空間中的Cb、Cr分量分布規(guī)律圖，由實驗可得（1）式中均值及協(xié)方差參數(shù)取值為：

相似度的計算

根據(jù)人臉膚色信息Cb、Cr的高斯模型，（1）式中的基本為固定值，本文去除該固定值得到（2）式計算人臉膚色的相似度值。

閾值分割法

初始閾值T，通過這個閾值把圖像分為兩部分S1和S2，并計算2個區(qū)域像素的灰度值的概率η1和η2，再計算2個區(qū)域的概率平均值μ1和μ2，2個區(qū)域的類間方差采用（3）式計算實現(xiàn)閾值分割：

然而，人的活動對相鄰幀圖像來說是一個緩慢過程，PAL制式視頻為24幀/秒，2幀圖像有較大的差別，因此閥值處理流程如圖2所示：

圖2　閾值處理流程圖

形態(tài)學運算及實現(xiàn)

系統(tǒng)采用形態(tài)學中的開運算實現(xiàn)噪聲的消除，在DSP中實現(xiàn)Open運算是通過先腐蝕再膨脹來進行。

連通標記及其改進

采用基于線段的連通標記法，首先對每一行的線段根據(jù)線段起始位置判斷方法掃描并記錄起始坐標及終止坐標，再根據(jù)線段起始位置信息來判斷是否為統(tǒng)一區(qū)域的標記方法。

2.2眼睛檢測算法

眼睛的結構模型圖顯示，虹膜與瞳孔的形狀類似圓形，且具有明顯的邊緣特征和明顯的亮度變化，系統(tǒng)采用等照度檢測眼睛算法。等照度曲線［15］不僅包含圖像的灰度信息，而且還包含如邊緣、表面的光滑性等形狀信息。

假設灰度圖像函數(shù)I（x，y），等照度線則被定義為I（v，h（v））=cosα，α為定值，曲率h″定義為切線是矢量h′的變化，對等照度線的隱函數(shù)求v方向微分，則：

從規(guī)范條件可知：Iv=0，可知h=0。再對v方向微分，得到

則曲率：

將（6）式倒置得到曲線的曲率圓半徑，給半徑加上梯度方向，則該矢量即指向中心：

｛Dx，Dy｝表示估計中心的矢量，不同的曲線有多個估計中心，把這些估計中心映射到累加器，并把這些累加器與高斯核卷積，得到這些曲線的估計中心。

在考慮硬件條件及實際使用時，部分運算是冗余了，系統(tǒng)采用梯度模值信息來實現(xiàn)篩選機制的建立，并且用Yale人臉數(shù)據(jù)庫來驗證算法準確性。

2.3唇部的檢測算法

唇部檢測算法主要通過唇色和膚色的色度差異來實現(xiàn)，截取CAS-PEAL中國人臉數(shù)據(jù)庫中表情子庫的膚色和唇色在色度空間的分布圖如圖3、圖4所示：

圖3　唇部的RGB分布圖

圖4　面部膚色的RGB分布圖

文獻［16］利用色度空間的Cr、Cb分量的不同建立唇部強化圖像的構造方法（8）所示來識別面部的局部特征：

文獻［16］實現(xiàn)的（8）式判別式中的是通過（9）式實現(xiàn)，而這給硬件實現(xiàn)帶來了巨大計算量及復雜度，系統(tǒng)采用取η固定值法方法：

具體實現(xiàn)過程效果圖如圖5所示：

圖5　mouthmap計算效果圖

最終的定位效果如圖6所示，從圖可知，眼睛與唇部檢測算法達到了較為理想的效果。

圖6　眼睛與唇部的定位效果圖

2.4疲勞分類器的建立

人清醒時每分鐘眨眼次數(shù)約為10～15次，眨眼頻率約為3～4 s，眼睛閉合時間約為0.12～0.13 s等。當人出現(xiàn)疲勞時，這些參數(shù)會隨之發(fā)生變化。因此，可通過檢測這些參數(shù)的變化以判斷駕駛員是否疲勞。系統(tǒng)將Perclos值［17］和眨眼頻率作為檢測疲勞主要參數(shù)，將嘴部打呵欠的特征作為輔助參數(shù)，結合模糊神經網(wǎng)絡實現(xiàn)疲勞檢測。采用MATLAB中的模糊神經網(wǎng)絡工具建立5層模糊神經網(wǎng)絡結構如圖7所示：

圖7　模糊神經網(wǎng)絡的模型結構

第1層：輸入層，該層中的n個節(jié)點和輸入分量xi建立對應關系，通過該對應關系可以將輸入向量x=（x1，x2，…，xn）T傳遞給下一層；系統(tǒng)選擇的3個輸入?yún)?shù)分別為Perclos值x1、眨眼頻率x2，打呵欠x3，則輸入向量x=（x1，…，x3）T。

第2層：模糊化層，該層主要是為每個輸入分量建立隸屬度關系。系統(tǒng)采用了高斯函數(shù)作為其隸屬度函數(shù)。則網(wǎng)絡中輸入的第i個分量所對應的模糊規(guī)則中的第j個規(guī)則的隸屬度計算公式（10）所示：

式中，i=1，2為輸入變量的位數(shù)，j=1，2，…，m模糊的規(guī)則；μij即為輸入變量的均值，隸屬度函數(shù)的中心，隸屬度函數(shù)的寬度。

第3層：規(guī)則層，該層主要是完成節(jié)點構成的先決條件，計算每一條規(guī)則的強度。

式中，“?”為S-范數(shù)。

第4層：歸一化層，計算每條規(guī)則的強度幾率：

第5層：輸出層，該層的節(jié)點只有一個，對上層各節(jié)點間連接及強度的增強預算

式中，wj表示輸出狀態(tài)與隸屬度建立連接的權值。

If-then規(guī)則如下：

表1　模糊規(guī)則

根據(jù)前文分析，輸入變量采用PERCLOS值、眨眼頻率BF及呵欠次數(shù)，參數(shù)模糊化如表2所示：

表2　疲勞的模糊化

最后將學習分類器移植到DSP系統(tǒng)，只能實現(xiàn)靜態(tài)識別人的疲勞狀態(tài)，不能實現(xiàn)動態(tài)在線學習功能。

3　實驗結果及分析

最終實驗中，將檢測系統(tǒng)部署到車輛上進行實際運行環(huán)境測試，主要提取了Perclos、打哈欠次數(shù)等測試值，測試結果如表3所示：

表3　車載對比實驗結果

表3中異常駕駛主要是指在駕駛過程中出現(xiàn)頭部大幅度的擺動等。由實驗結果可知在異常情況下3種檢測算法的檢測效果幾乎無差別，而在正常駕駛狀態(tài)下，模糊神經網(wǎng)絡識別疲勞的檢測較其他2種方法的正確率高，能滿足系統(tǒng)的要求。

4　結 語

本文首先從背景中分理駕駛員面部區(qū)域，然后再分別采用優(yōu)化等照度線法和mouthmap法提取眼睛和嘴巴特征參數(shù)，并且在模糊神經網(wǎng)絡的基礎上建立疲勞分類器進而識別駕駛員疲勞程度，最后在DSP系統(tǒng)上實現(xiàn)疲勞駕駛檢測系統(tǒng)。通過將檢測系統(tǒng)部署到車輛上進行實際運行環(huán)境測試，表明該系統(tǒng)滿足了一般疲勞的動態(tài)識別要求，具有較強的實用性。

［1］ 王正國.全球道路安全現(xiàn)狀［J］.中華創(chuàng)傷雜志，2010（5）：385-387

Wang Zhengguo.Global Road Safety Situation［J］.Chinese Journal of Traumatology，2010（5）：385-387（in Chinese）

［2］ Grace R，Byrne V E，Legrand J M，et al.A Machine Vision Based Drowsy Driver Detection System for Heavy Vehicles［C］∥Proceedings of The Ocular Measures of Driver Alertness Conference，1999

［3］ 邸巍.基于視覺的全天候駕駛員疲勞與精神分散狀態(tài)檢測方法研究［D］.長春：吉林大學，2010

Wei Di.Study on All-Day Monitoring Driver Fatigue and Distraction State Based on Visual［D］.Changchun，Jilin University，2010（in Chinese）

［4］ Miao J，Yin B，Wang K，et al.A Hierarchical Multiscale and Multiangle System for Human Face Detection in a Complex Background Using Gravity-Center Template［J］.Pattern Recognition，1999，32（7）：1237-1248

［5］ Yang G，Huang T S.Human Face Detection in a Complex Background［J］.Pattern Recognition，1994，27（1）：53-63

［6］ 梁路宏，艾海舟，何克忠，等.基于多關聯(lián)模板匹配的人臉檢測［J］.軟件學報，2001，12（1）：94-102

Liang Luhong，Ai Haizhou，He Kezhong，et al.Face Detection Based on the Matching of Multiple Related Templates［J］.Journal of Software，2001，12（1）：94-102（in Chinese）

［7］ 盧春雨，張長水.基于區(qū)域特征的快速人臉檢測法［J］.清華大學學報，1999，39（1）：101-105

Lu Chunyu，Zhang Changshui.Regional Feature Based Fast Human Face Detection［J］.Journal of Tsinghua University，1999，39（1）：101-105（in Chinese）

［8］ 王延江，袁保宗.一種快速彩色圖像中復雜背景下人臉檢測方法［J］.電子學報，2002，30（10）：1566-1569

Wang Yanjiang，Yuan Baozong.A Fast Human Face Detection Method from Color Images under Complex Background［J］.Acta Electronica Sinica，2002，30（10）：1565-1569（in Chinese）

［9］ Hsu R，Abdel-Mottaleb M，Jain A K.Face Detection in Color Images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706

［10］艾海舟，梁路宏.基于膚色和模板的人臉檢測［J］.軟件學報，2001，12（12）：1784-1792

Ai Haizhou，Liang Luhong.Face Detection Based on Skin Color and Template［J］.Journal of Software，2001，12（12）：1784-1792（in Chinese）

［11］Deng Zhenghong，Li Tingting，Zhang Tingting.An Adaptive Tracking Algorithm Based on Mean Shift［C］∥2nd International Conference on Advanced Engineering Materials and Technology，2012：2607-2613

［12］Deng Zhenghong，Wang Meijing，Bai Xiaoping.A New Multi-Focus Image Fusion Algorithm Based on Contrast Ratio and Discrete Wavelet Frame Transform［C］∥2nd International Conference on Advanced Engineering Materials and Technology，2012：1011-1018

［13］王航宇.基于YCbCr高斯膚色模型的人臉檢測技術研究［J］.現(xiàn)代電子技術，2008，31（22）：102-105

Wang Hangyu.Research on the Face Detection Based on YCbCrSkin Gaussian Model［J］.Modern Electronics Technique，2008，31（22）：102-105（in Chinese）

［14］Yang J，Lu W，Waibel A.Skin-Color Modeling and Adaptation［M］.Springer，1997

［15］Lichtenauer J，Hendriks E，Reinders M.Isophote Properties as Features for Object Detection：Computer Vision and Pattern Recognition［C］∥IEEE Computer Society Conference on CVPR，2005

［16］Hsu R，Abdel-Mottaleb M，Jain A K.Face Detection in Color Images［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706

［17］魏小輝.基于人臉面部特征的駕駛員疲勞檢測技術研究［D］.秦皇島：燕山大學，2010 Wei Xiaohui.Driver Fatigue Detection System Based on Facial Features［D］.Qin Huangdao，Yanshan University，2010（in Chinese）

Researching Driver Fatigue Detection Using Video Technology

Deng Zhenghong1，Huang Yijie1，Li Xiang2，Zhang Tianfan1
1.Department of Automatic Control，Northwestern Polytechnical University，Xi′an 710072，China 2.Xi′an Special Equipment Inspection Institute，Xi′an 710068，China

Fatigue driving has become an important factor in traffic accidents；warning through timely monitoring of driver fatigue may reduce the incidence of traffic accidents.Using the image processing and the driver′s actual situation，we separate driver′s face in the background region，use optimized equal illumination method and optimized mouthmap method respectively to extract characteristic parameters of the eyes and h，firstly establish fatigue classifier to identify driver fatigue based on fuzzy neural network classifier，and ment the driver fatigue detection system in DSP system.Experimental results and their analysis show preliminarily that the system with strong practicability can meet the requirements of dynamic recognition of general fatigue.

accident prevention，automobile drivers，calculations，CCD cameras，conformal mapping，covariance matrix，digital signal processors，experiments，feature extraction，functions，fuzzy neural networks，image processing，membership functions，monitoring，neural networks，optimization，pixels，safety engineering；eyes monitoring，facial features，facial recognition，fatigue driving

TP391

A

1000-2758（2015）06-1001-06

2015-03-15

國家自然科學基金（F011102）資助

鄧正宏（1975—），西北工業(yè)大學教授，主要從事飛行器自主運行、系統(tǒng)工程及圖像智能分析等研究。