基于Kinect的疲勞駕駛綜合監(jiān)測(cè)系統(tǒng)研究＊

蔡 菁，程 雷，王紅霞

（武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢430063）

1 引言

交通安全問(wèn)題是當(dāng)今社會(huì)亟待解決的一大難題。近年來(lái)隨著車輛數(shù)目的快速增長(zhǎng)，道路交通安全狀況日益惡化，如何保障安全駕駛已成為影響社會(huì)經(jīng)濟(jì)發(fā)展的重要研究課題。調(diào)查研究發(fā)現(xiàn)，疲勞駕駛是引發(fā)交通事故的重要原因之一［1］。針對(duì)這種情況，以駕駛員行為特征、駕駛員生理參數(shù)、車輛行為特征等為基礎(chǔ)的疲勞駕駛預(yù)警方法的研究受到廣泛關(guān)注，而進(jìn)一步融合多種信息，提高疲勞駕駛監(jiān)測(cè)系統(tǒng)的適應(yīng)性與可靠性，是今后的重點(diǎn)研究方向之一［2］。

有關(guān)疲勞狀態(tài)監(jiān)測(cè)及特征提取與融合的研究已經(jīng)有了一些探索。胡鴻志［3］設(shè)計(jì)了一種基于駕駛操作行為及車輛行駛狀態(tài)信息的駕駛疲勞識(shí)別系統(tǒng)，采集指標(biāo)并用神經(jīng)網(wǎng)絡(luò)方法判斷駕駛員駕駛狀態(tài)。呂健?。?］研究了基于貝葉斯網(wǎng)絡(luò)的駕駛員疲勞評(píng)估方法，利用因果關(guān)系構(gòu)建出駕駛員疲勞評(píng)估模型拓?fù)浣Y(jié)構(gòu)?？旅骶?］在駕駛員疲勞視頻監(jiān)測(cè)系統(tǒng)中歸納并提出了多項(xiàng)的疲勞程度評(píng)價(jià)指標(biāo)并基于此構(gòu)建駕駛員疲勞狀態(tài)評(píng)價(jià)模型。然而這些研究存在難以被駕駛員接受、投入成本較高、受光照等環(huán)境影響較大、或監(jiān)測(cè)準(zhǔn)確率不夠高等問(wèn)題。

微軟2010 年發(fā)布的Kinect傳感器集成了彩色攝像頭、紅外投影機(jī)和紅外攝像頭，它能快速進(jìn)行骨骼監(jiān)測(cè)，并提供了高效的人臉識(shí)別算法，由于具有紅外攝像功能，減少了光照等環(huán)境因素的影響，而且物美價(jià)廉，應(yīng)用于駕駛員安全駕駛狀態(tài)的監(jiān)測(cè)便于實(shí)際的應(yīng)用和推廣。目前主流的用機(jī)器視覺(jué)對(duì)駕駛員進(jìn)行疲勞檢測(cè)主要是基于行為特征的檢測(cè)，比如眼部、頭部、嘴部的檢測(cè)等［6］，利用Kinect可以很方便地實(shí)現(xiàn)眼部、頭部及嘴部的檢測(cè)，進(jìn)而綜合判斷疲勞狀態(tài)。

華南理工大學(xué)的胡習(xí)之建立了一種基于Kinect的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)，對(duì)汽車駕駛過(guò)程中容易出現(xiàn)的駕駛疲勞、注意力分散等狀況進(jìn)行監(jiān)測(cè)，通過(guò)實(shí)車測(cè)試，驗(yàn)證了將Kinect用于保障駕駛員安全駕駛的可行性［7］。但是，該監(jiān)測(cè)系統(tǒng)沒(méi)有很好地解決夜晚監(jiān)測(cè)效率下降的問(wèn)題，只是簡(jiǎn)單地利用Kinect獲取了駕駛員頭部、臉部、眼部等的特征信息，也沒(méi)有對(duì)各種特征信息進(jìn)行有效融合。

疲勞駕駛在夜晚的發(fā)生率很高［8］，而夜晚行車時(shí)車內(nèi)照明不足，由于Kinect本身提供了紅外數(shù)據(jù)，且紅外數(shù)據(jù)受光照等環(huán)境因素的影響較少，于是在光線不足時(shí)，將紅外數(shù)據(jù)代替彩色數(shù)據(jù)作為人臉識(shí)別的源數(shù)據(jù)，可在一定程度上解決夜晚太黑導(dǎo)致彩色攝像頭效率低的問(wèn)題。本文基于Kinect傳感器研究設(shè)計(jì)一種駕駛員疲勞狀態(tài)綜合監(jiān)測(cè)系統(tǒng)，利用Kinect提供的紅外圖像及人臉識(shí)別模塊獲取駕駛員嘴部、頭部、眼部等與駕駛員疲勞狀態(tài)監(jiān)測(cè)相關(guān)部位的特征信息，通過(guò)對(duì)Kinect獲取的紅外圖像數(shù)據(jù)的預(yù)處理，并通過(guò)融合各種特征信息，綜合判斷駕駛員的疲勞狀態(tài)，提高白天尤其是夜晚的駕駛員疲勞狀態(tài)監(jiān)測(cè)準(zhǔn)確率。

2 總體設(shè)計(jì)

本 系 統(tǒng) 利 用 Microsoft 提 供 的Kinect for Windows SDK （K4WSDK）和Face Tracking SDK（FTSDK）工具進(jìn)行相應(yīng)開(kāi)發(fā)。K4WSDK 提供了Kinect的驅(qū)動(dòng)及開(kāi)發(fā)接口，而FTSDK 通過(guò)人體骨架模型和深度數(shù)據(jù)結(jié)合彩色圖像數(shù)據(jù)實(shí)現(xiàn)人臉識(shí)別功能，相對(duì)于單獨(dú)基于彩色圖像數(shù)據(jù)的人臉識(shí)別方法，提高了效率和魯棒性。FTSDK 提供了IFTResult類以存儲(chǔ)人臉跟蹤結(jié)果。從IFTResult：：Get2DShapePoints方 法 可 獲 取 臉 部 輪廓數(shù)據(jù)。Kinect可跟蹤100 個(gè)臉部輪廓特征點(diǎn)。從IFTResult：：Get3DPose方法可獲得頭部姿態(tài)角度。FTSDK 也提供了IFTModel類以存放3D人臉模型識(shí)別結(jié)果。這個(gè)3D 人臉模型是根據(jù)Candide3模型定義的，有6個(gè)動(dòng)態(tài)單元和11個(gè)形狀單元，形狀單元估計(jì)了人臉的形狀，而動(dòng)態(tài)單元跟蹤了張嘴、皺眉等動(dòng)作。系統(tǒng)處理流程如圖1所示。

Figure 1 System flowchart圖1 系統(tǒng)流程圖

本系統(tǒng)利用Kinect獲取彩色圖像、紅外圖像、深度圖像和骨骼模型等數(shù)據(jù)，并對(duì)紅外圖像進(jìn)行預(yù)處理。光照強(qiáng)時(shí)，使用彩色圖像；光照弱甚至沒(méi)有光照時(shí)，使用紅外圖像（通過(guò)檢測(cè)當(dāng)前圖像平均灰度的大小實(shí)現(xiàn)切換）。再結(jié)合其他兩種數(shù)據(jù)，通過(guò)FTSDK 進(jìn)行臉部識(shí)別獲得眼睛的位置和人臉模型。從人臉模型中獲取嘴部狀態(tài)和頭部朝向并分別計(jì)算其疲勞參數(shù)。通過(guò)眼睛的位置獲取眼部的圖片，然后對(duì)眼部的狀態(tài)進(jìn)行識(shí)別，計(jì)算眼部的疲勞參數(shù)。進(jìn)而通過(guò)RBF神經(jīng)網(wǎng)絡(luò)對(duì)疲勞參數(shù)進(jìn)行融合，并使用滑動(dòng)平均法完成疲勞值的計(jì)算。最后通過(guò)疲勞值分級(jí)判斷疲勞狀態(tài)并報(bào)警。為便于積累監(jiān)測(cè)數(shù)據(jù)和經(jīng)驗(yàn)進(jìn)一步提高駕駛員疲勞狀態(tài)監(jiān)測(cè)效果，將疲勞參數(shù)、監(jiān)測(cè)數(shù)據(jù)和結(jié)果均保存到數(shù)據(jù)庫(kù)中。

3 疲勞駕駛監(jiān)測(cè)方法研究

3.1 紅外圖像預(yù)處理

Kinect 1.0設(shè)備提供了680＊480的16 位紅外圖像數(shù)據(jù)，每秒15幀。受激光投射的光斑的影響，不夠清晰。為進(jìn)行人臉識(shí)別，首先對(duì)紅外數(shù)據(jù)圖像進(jìn)行格式轉(zhuǎn)化，將紅外數(shù)據(jù)圖像格式和人臉識(shí)別模塊的接口統(tǒng)一起來(lái)，然后調(diào)節(jié)圖像對(duì)比度，最后進(jìn)行高斯濾波、腐蝕等處理。

（1）格式轉(zhuǎn)化。

FTSDK 接收32位rgba圖像數(shù)據(jù)，而提供的紅外圖像是16位的。首先將16位紅外圖像數(shù)據(jù)壓縮為8位灰度圖像數(shù)據(jù)，并直接對(duì)8位灰度圖像進(jìn)行對(duì)比度調(diào)節(jié)和濾波等處理，然后再轉(zhuǎn)化為32位的rgba圖像數(shù)據(jù)用于人臉識(shí)別。

（2）對(duì)比度調(diào)節(jié)。

為更多地保留圖像信息，避免常用的直方圖均衡化圖像處理方法會(huì)損失一部分圖像信息的問(wèn)題，本文采用自適應(yīng)的直接對(duì)比度增強(qiáng)方法。即：當(dāng)檢測(cè)到人臉時(shí)，計(jì)算人臉矩形框的平均灰度a1，并增強(qiáng)整個(gè)圖像對(duì)比度，使a1達(dá)到一個(gè)定值A(chǔ)1；當(dāng)沒(méi)有檢測(cè)到人臉時(shí)，計(jì)算整個(gè)圖像的平均灰度a2并增強(qiáng)，使a2達(dá)到一個(gè)定值A(chǔ)2。

（3）濾波等處理。

對(duì)于得到的灰度圖像，先采用高斯濾波減弱噪聲，再采用腐蝕突出輪廓。由于人眼像素低，可以在高斯濾波后直接識(shí)別人眼狀態(tài)，以免因腐蝕操作擴(kuò)大輪廓而增加誤差。

圖2a和圖2b給出了白天的原紅外圖像及預(yù)處理后的紅外圖像，本文方法明顯增強(qiáng)了圖像的可辨識(shí)度。夜晚無(wú)光時(shí)，Kinect也能獲取到紅外圖像，但由于只靠Kinect發(fā)射的紅外線而缺少太陽(yáng)光提供的紅外線，圖像的效果會(huì)相對(duì)變差，識(shí)別效率會(huì)一定程度地降低。使用本文提出的紅外圖像預(yù)處理方法，夜晚Kinect也能比較正常地進(jìn)行監(jiān)測(cè)，效果如圖2c所示。

3.2 頭部低頭監(jiān)測(cè)

本系統(tǒng)通過(guò)監(jiān)測(cè)駕駛員的低頭情況獲取兩個(gè)頭部疲勞參數(shù)：駕駛員的低頭頻率（保存到整型變量headPara中），及單位時(shí)間（例如1 分鐘）內(nèi)是否出現(xiàn)長(zhǎng)時(shí)間低頭情況（保存到布爾變量isHead－Low中）。

Figure 2 Infrared image before and after pretreatment圖2 預(yù)處理前后的紅外圖像

從IFTResult：：Get3DPose方法可以獲取頭部的pitch俯仰角rotationX。角度在－90°到90°之間，頭上仰為正。通過(guò)監(jiān)測(cè)頭部俯仰角rotationX，首先檢測(cè)是否一直低頭。當(dāng)rotationX小于λ1（例如－10°）且持續(xù)超過(guò)一定時(shí)間β1（例如3s）時(shí)，則判定是長(zhǎng)時(shí)間低頭。同時(shí)，對(duì)低頭動(dòng)作進(jìn)行檢測(cè)，每當(dāng)rotationX小于0 且持續(xù)下降超過(guò)λ2（例如10°）時(shí)，認(rèn)為低頭一次，headPara＋＋。變量isHeadLow和headPara每隔單位時(shí)間進(jìn)行更新。

3.3 打哈欠監(jiān)測(cè)

本系統(tǒng)通過(guò)監(jiān)測(cè)駕駛員打哈欠的情況獲取一個(gè)嘴部疲勞參數(shù)：打哈欠的頻率（保存到整型變量mouthPara中）。

從IFTResult：：GetAUCoefficients方法中獲取動(dòng)態(tài)單元的參數(shù)pAUs，其中pAUs［1］表示了嘴部張合狀態(tài)。pAUs［1］＝1 時(shí)嘴部完全張開(kāi)；pAUs［1］＝0時(shí)嘴部閉合。當(dāng)pAUs［1］大于一定值α（例如0.4）時(shí)，認(rèn)為嘴部張大到了打哈欠的程度。持續(xù)超過(guò)一定時(shí)間β2（例如3s），則判定打了一個(gè)哈欠。每打一個(gè)哈欠，打哈欠頻率加1，mouthPara＋＋。mouthPara每隔單位時(shí)間更新。

3.4 眼部狀態(tài)監(jiān)測(cè)

由文獻(xiàn)［6］可知，PERCLOS值（單位時(shí)間內(nèi)眼睛閉合的時(shí)間占總時(shí)間的百分比值）與駕駛員是否疲勞有很大的關(guān)聯(lián)。本系統(tǒng)通過(guò)監(jiān)測(cè)眼睛睜閉情況獲取兩個(gè)眼部疲勞參數(shù)：?jiǎn)挝粫r(shí)間內(nèi)的眼部狀態(tài)監(jiān)測(cè)結(jié)果是否有效（保存到布爾變量isValid中），及單位時(shí)間的PERCLOS值（保存到浮點(diǎn)型變量eyePara中）。

（1）眼部圖像獲取。

從IFTResult：：Get2DShapePoints方法中獲取臉部輪廓特征點(diǎn)，其中87號(hào)特征點(diǎn)為左眼中心，88號(hào)特征點(diǎn)為右眼中心。以左右眼中心為中心截取左右眼16＊12像素的矩形圖片，水平方向?yàn)?6像素，從左到右像素位置標(biāo)記為X；垂直方向?yàn)?2像素，從上到下像素位置標(biāo)記為Y。

（2）眼部狀態(tài)識(shí)別。

眼部狀態(tài)有很多識(shí)別方法，如模板匹配法、橢圓擬合法、灰度投影法、支持向量機(jī)識(shí)別法等等。由于Kinect獲取的眼部圖像比較模糊且像素低，而另一方面，Kinect可以不受睜閉眼影響固定跟蹤人眼中心，故而采用灰度投影法。在監(jiān)測(cè)過(guò)程中，駕駛員頭部到Kinect設(shè)備的距離保持在0.8m左右。

在灰度投影法中，有兩個(gè)變量可以作為眼部狀態(tài)識(shí)別的標(biāo)準(zhǔn)：一個(gè)是使水平投影最小的Y值，水平投影是每一行像素的灰度值的和，如圖3a所示；另一個(gè)是水平投影積分比值，即當(dāng)前水平投影積分與總積分的比值，如圖3b所示。相對(duì)而言，最小值的變化顯著，積分比值的變化不明顯，但積分比值能反映總體的情況。所以，用最小值來(lái)識(shí)別眼部的睜閉狀態(tài)，同時(shí)，用積分比值來(lái)校驗(yàn)眼部狀態(tài)識(shí)別的有效性。

Figure 3 Eye image analysis圖3 眼部圖像分析

首先計(jì)算眼部圖像的灰度水平投影，找到最小處，即波谷，記對(duì)應(yīng)的Y值為K。睜眼和閉眼的波谷是完全不同的。睜閉眼時(shí)，K的變化情況如圖3c，K處于波峰時(shí)眼睛完全閉合。當(dāng)K≥8時(shí)判定眼部閉合狀態(tài)的效果最好。當(dāng)左右眼同時(shí)閉合時(shí)，判定眼睛完全閉合。

在眼部狀態(tài)識(shí)別中會(huì)存在一些誤判，必須采取一些措施減少誤判。本系統(tǒng)采用兩個(gè)方法識(shí)別誤判。

方法1 根據(jù)頭部偏離角度進(jìn)行判斷。因?yàn)轳{駛員的頭部一般都應(yīng)該朝向正前方，當(dāng)頭部朝向偏離正前方一定位置時(shí)，眼部監(jiān)測(cè)的準(zhǔn)確率將大大降低，此時(shí)需定義眼部狀態(tài)識(shí)別結(jié)果無(wú)效。IFTResult：：Get3DPose方法可以獲取頭部朝向的三個(gè)角度，當(dāng)這三個(gè)角度中任一個(gè)角度偏離一定角度（例如10°）以上時(shí)，認(rèn)定識(shí)別結(jié)果為無(wú)效。

方法2 有時(shí)候臉部移動(dòng)過(guò)快，導(dǎo)致眼部不能正確跟蹤，這時(shí)可以根據(jù)水平投影積分進(jìn)行篩選。計(jì)算7個(gè)像素（從第1個(gè)到第7個(gè)像素）的水平投影積分比值m。不管睜眼還是閉眼，明顯m≥0.5，若m＜0.5，則判定結(jié)果為無(wú)效。

（3）PERCLOS值及有效性。

統(tǒng)計(jì)單位時(shí)間（例如1min）內(nèi)彩色/紅外圖像的總幀數(shù)n0（大約為900幀），對(duì)每一幀進(jìn)行分析，統(tǒng)計(jì)有效的幀數(shù)n1，統(tǒng)計(jì)閉眼的幀數(shù)n2。那么PERCLOS值為eyePara＝n2/n1。眼部狀態(tài)監(jiān)測(cè)結(jié)果的有效性為v，則v＝n1/n0。當(dāng)v小于一定值（例如0.8）時(shí)，判定眼部狀態(tài)監(jiān)測(cè)結(jié)果無(wú)效。

4 信息融合與利用

4.1 RBF神經(jīng)網(wǎng)絡(luò)

本系統(tǒng)采用徑向基RBF（Radical Basis Function）神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合。RBF 是一種前向型神經(jīng)網(wǎng)絡(luò)［9］，能夠以任意精度逼近任意連續(xù)函數(shù)，特別適合于解決分類問(wèn)題。RBF 有較強(qiáng)的輸入輸出映射功能，是前向網(wǎng)絡(luò)中完成映射功能的最優(yōu)網(wǎng)絡(luò)，有較好的分類能力和極快的學(xué)習(xí)收斂速度。

RBF方法可用來(lái)對(duì)一組多維空間中的數(shù)據(jù)點(diǎn)進(jìn)行插值，插值的目的是尋找一個(gè)函數(shù)F（X）將每個(gè)矢量X映射到相應(yīng)的目標(biāo)值Y。首先要選擇P個(gè)基函數(shù)，每個(gè)基函數(shù)對(duì)應(yīng)一個(gè)訓(xùn)練數(shù)據(jù)，各基函數(shù)形式為φ（‖X－Xp‖ ），由于距離是徑向同性的，因此稱為徑向基函數(shù)?！琗－Xp‖表示差向量的模，或者叫2 范數(shù)?；趶较蚧瘮?shù)的插值函數(shù)為：

輸入X是個(gè)m維的向量，m＜P；wp為權(quán)值。RBF的作用是把向量從低維m映射到高維P，使得低維線性不可分的情況到高維能夠變?yōu)榫€性可分的。

本系統(tǒng)采用Matlab工具箱設(shè)計(jì)和訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)。RBF 網(wǎng)絡(luò)是由輸入層、隱含層和輸出層構(gòu)成的三層前向型網(wǎng)絡(luò)。設(shè)輸入為矩陣P，輸出為矩陣T，則RBF 網(wǎng)絡(luò)的設(shè)計(jì)格式為net＝netrb（P，T，GOAL，SPREAD）。其中，GOAL為均方誤差要求，默認(rèn)為0；SPREAD為徑向基函數(shù)的擴(kuò)展常數(shù)，默認(rèn)值為1，其值越大，函數(shù)逼近曲線越光滑。

用Matlab得到RBF 神經(jīng)網(wǎng)絡(luò)net，將其轉(zhuǎn)換為表達(dá)式，用于C＋＋編程。RBF 網(wǎng)絡(luò)的訓(xùn)練過(guò)程分為兩步，第一步為無(wú)導(dǎo)師式學(xué)習(xí)，確定訓(xùn)練輸入層與隱含層之間的權(quán)值iw；第二步為有導(dǎo)師式學(xué)習(xí)，確定訓(xùn)練隱含層與輸出層之間的權(quán)值lw［10］。訓(xùn)練的目標(biāo)是求取兩層的最終權(quán)值iw、lw和閾值b1、b2。

設(shè)定網(wǎng)絡(luò)輸入為向量x，隱含層采用徑向基函數(shù)作為激勵(lì)函數(shù)，該徑向基函數(shù)為高斯函數(shù)。則隱含層第i個(gè)神經(jīng)元的輸出為：

ri ＝exp（－（‖iwi－x‖×b1））

輸出層采用純線性函數(shù)作為激勵(lì)函數(shù)，其輸入為各隱含層神經(jīng)元輸出的加權(quán)求和。輸出層的輸出為：

4.2 融合方法

文獻(xiàn)［11］劃分了四種疲勞程度：不疲勞、輕度疲勞、中度疲勞、嚴(yán)重疲勞，其疲勞程度對(duì)應(yīng)著不同的疲勞值P（0≤P≤1）。疲勞程度與疲勞值P的劃分如表1所示。

Table 1 Correspondence between fatigue degree and the value of fatigue表1 疲勞程度與疲勞值的對(duì)應(yīng)關(guān)系

對(duì)于疲勞參數(shù)isHeadLow和isValid，當(dāng)出現(xiàn)長(zhǎng)時(shí)間低頭或眼部識(shí)別無(wú)效時(shí)，表明駕駛員出現(xiàn)非常明顯的疲勞狀態(tài)，可直接判定為嚴(yán)重疲勞，P＝0.8。

進(jìn)而根據(jù)文獻(xiàn)［11］中得出的PERCLOS值、打哈欠頻率、低頭頻率與疲勞值的對(duì)應(yīng)關(guān)系，進(jìn)行歸一化處理。由于PERCLOS值已處于0～1，不需要?dú)w一化。對(duì)于打哈欠頻率和低頭頻率，由于是離散的，故采用分段歸一化方法，如表2所示。

Table 2 Normalized yawning frequency and normalized bow frequency表2 打哈欠頻率和低頭頻率的歸一化

對(duì)于駕駛員疲勞信息融合，已有一些研究。最簡(jiǎn)單的一種是權(quán)值分配法［5］。權(quán)值分配法簡(jiǎn)單直接，但靈活性不好，抗干擾能力弱。還有抗干擾能力強(qiáng)的貝葉斯網(wǎng)絡(luò)方法［4］，但貝葉斯網(wǎng)絡(luò)方法適用于離散變量，需要將連續(xù)的PERCLOS值離散化，因而誤差變大。有的采用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行融合［3］，從而識(shí)別疲勞狀態(tài)。但是，由于對(duì)于結(jié)果過(guò)于離散化，只有0和1兩個(gè)狀態(tài)，造成誤差較大。

本系統(tǒng)采用RBF 神經(jīng)網(wǎng)絡(luò)方法，對(duì)于結(jié)果疲勞值采用連續(xù)化方法。根據(jù)文獻(xiàn)［11］得到14組數(shù)據(jù)，用newrb（）創(chuàng)建網(wǎng)絡(luò)net。經(jīng)過(guò)實(shí)驗(yàn)，網(wǎng)絡(luò)參數(shù)保持默認(rèn)值效果較好。神經(jīng)網(wǎng)絡(luò)訓(xùn)練好之后，對(duì)先前預(yù)留的10組驗(yàn)證數(shù)據(jù)進(jìn)行疲勞識(shí)別，從而檢驗(yàn)RBF神經(jīng)網(wǎng)絡(luò)識(shí)別駕駛疲勞狀態(tài)的準(zhǔn)確性。將結(jié)果與估計(jì)的疲勞值進(jìn)行比較，可以看出RBF 神經(jīng)網(wǎng)絡(luò)既保留了單一變量與結(jié)果之間的映射關(guān)系，也保留了多個(gè)變量與結(jié)果之間的映射關(guān)系。模擬實(shí)驗(yàn)表明，只要用較準(zhǔn)確的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)net，實(shí)驗(yàn)結(jié)果就能達(dá)到精度要求。

4.3 利用滑動(dòng)平均法計(jì)算最終疲勞值

通過(guò)疲勞信息融合可以得到單位時(shí)間（例如1min）內(nèi)的疲勞值，但這種結(jié)果容易受到非疲勞行為（例如偶爾低頭看儀表顯示）等的影響，可靠性不高。對(duì)此，本系統(tǒng)采用滑動(dòng)平均法，對(duì)相對(duì)較長(zhǎng)的一段時(shí)間（例如5min）的狀態(tài)進(jìn)行綜合評(píng)價(jià)，從而提高疲勞監(jiān)測(cè)的穩(wěn)定性和可靠性。

每一單位時(shí)間可以獲得一個(gè)臨時(shí)疲勞值，對(duì)最近的N個(gè)單位時(shí)間進(jìn)行綜合判斷，把臨時(shí)疲勞值放到長(zhǎng)度為N的隊(duì)列中。首先進(jìn)行差錯(cuò)處理，由于疲勞時(shí)不會(huì)檢測(cè)成非疲勞狀態(tài)，而非疲勞時(shí)可能檢測(cè)成疲勞狀態(tài)。所以，只要有一個(gè)臨時(shí)疲勞值小于0.2，則判定駕駛員不疲勞。然后進(jìn)行誤差處理，在保證無(wú)差錯(cuò)的情況下，對(duì)這個(gè)隊(duì)列的所有臨時(shí)疲勞值求均值，這樣就可以得到誤差較小的可靠結(jié)果。每當(dāng)過(guò)了單位時(shí)間，就讓當(dāng)前的臨時(shí)疲勞值入隊(duì)列，讓最遠(yuǎn)的臨時(shí)疲勞值出隊(duì)列，將隊(duì)列長(zhǎng)度保持為N。

4.4 保存記錄至數(shù)據(jù)庫(kù)

一般監(jiān)測(cè)系統(tǒng)只是單純地識(shí)別狀態(tài)并發(fā)出警報(bào)，而忽略了對(duì)監(jiān)測(cè)到的歷史數(shù)據(jù)的利用。監(jiān)測(cè)到的歷史數(shù)據(jù)有諸多用途。首先，根據(jù)歷史數(shù)據(jù)能對(duì)駕駛員的全程狀態(tài)有一個(gè)較全面的判斷，使得當(dāng)前駕駛員狀態(tài)的判斷更加準(zhǔn)確。其次，根據(jù)對(duì)歷史數(shù)據(jù)的分析，可以歸納出駕駛員疲勞駕駛的習(xí)慣和規(guī)律，事先給駕駛員以警示。此外，歷史數(shù)據(jù)的記錄有助于深化疲勞駕駛的科學(xué)研究。目前疲勞駕駛還沒(méi)有明確的定義，一部分原因是實(shí)驗(yàn)數(shù)據(jù)的不足?？傊?，將疲勞駕駛的大量監(jiān)測(cè)數(shù)據(jù)綜合利用起來(lái)，從中可以得到更精準(zhǔn)的疲勞狀態(tài)分析和預(yù)警。

本系統(tǒng)將前面所設(shè)定的疲勞參數(shù)和監(jiān)測(cè)到的相關(guān)疲勞值保存到數(shù)據(jù)庫(kù)中，方便查詢、利用和進(jìn)一步的研究。

5 實(shí)驗(yàn)與結(jié)果

系統(tǒng)模擬實(shí)驗(yàn)使用Windows 7 系統(tǒng)的臺(tái)式機(jī)，速龍2.9GHz雙核CPU，采用Microsoft Visual Studio 2010作為開(kāi)發(fā)平臺(tái)，Kinect for Windows SDK v 1.8作為開(kāi)發(fā)工具，OpenCV 2.4.10作為圖像處理工具，Microsoft SQL Server 2008作為數(shù)據(jù)庫(kù)工具，Matlab 作為數(shù)據(jù)處理工具，另有Kinect for XBox 360設(shè)備。

Kinect 1.0設(shè)備能提供彩色圖像和紅外圖像，但兩種圖像不能同時(shí)獲取。先在彩色圖像條件下進(jìn)行測(cè)試。對(duì)彩色圖像進(jìn)行識(shí)別，可直接跟蹤人臉；將彩色圖像轉(zhuǎn)化為灰度圖像，可用以上方法識(shí)別眼部狀態(tài)。然后，在紅外圖像條件下進(jìn)行測(cè)試，最后對(duì)結(jié)果進(jìn)行綜合分析。選兩名志愿者做模擬測(cè)試，與Kinect保持適當(dāng)距離并直視前方。每種條件情況下對(duì)閉眼、點(diǎn)頭和打哈欠等識(shí)別測(cè)試10組，每組10次，共100次。

先用彩色圖像在不同光照條件下進(jìn)行測(cè)試；光線充足選取的條件是晴朗天氣時(shí)室內(nèi)下午14：00～15：00，人臉顯得很清晰；光照不足選取的條件是晴朗天氣時(shí)太陽(yáng)剛落山后，室內(nèi)光線較暗，人臉顯得模糊。完全入夜后，如果沒(méi)有額外光源，彩色圖像完全看不清，人臉識(shí)別無(wú)法進(jìn)行。

Table 3 Fatigue recognition accuracy on color images表3 彩色圖像的疲勞狀態(tài)識(shí)別準(zhǔn)確率

再用紅外圖像在不同光照條件下進(jìn)行測(cè)試，將經(jīng)過(guò)預(yù)處理和未經(jīng)過(guò)預(yù)處理的測(cè)試結(jié)果進(jìn)行對(duì)比。白天選取的條件是晴朗天氣下室內(nèi)下午14：00～15：00，這時(shí)有太陽(yáng)光輻射的紅外線，紅外圖像效果較好；夜晚選取的條件是夜晚室內(nèi)21：00～22：00，這時(shí)室內(nèi)基本完全黑暗。

Table 4 Fatigue recognition accuracy on infrared images表4 紅外圖像的疲勞狀態(tài)識(shí)別準(zhǔn)確率

測(cè)試結(jié)果表明，光照充足時(shí)采用彩色圖像識(shí)別效果最好，隨著光照的減弱，識(shí)別準(zhǔn)確率逐漸下降，而光照減弱到一定程度時(shí)，完全無(wú)法識(shí)別。用紅外圖像進(jìn)行測(cè)試時(shí)，在太陽(yáng)光提供足夠紅外線條件下識(shí)別效果較好，但不及光照充足的彩色圖像。隨著太陽(yáng)光紅外線的減弱，識(shí)別效果變差。然而，Kinect設(shè)備自身提供一定的紅外線，所以即使沒(méi)有太陽(yáng)光也有一定的識(shí)別成功率。紅外圖像經(jīng)過(guò)本文提出的預(yù)處理之后，識(shí)別準(zhǔn)確率都有一定的提升，其中夜晚打哈欠的識(shí)別準(zhǔn)確率提升最大，超過(guò)20%。預(yù)處理能增強(qiáng)圖像對(duì)比度，突出面部輪廓，進(jìn)而增加人臉識(shí)別的成功率。

實(shí)驗(yàn)驗(yàn)證了本文提出的將彩色圖像和紅外圖像綜合利用進(jìn)行疲勞狀態(tài)監(jiān)測(cè)的效果最好，光照強(qiáng)時(shí)利用彩色圖像，光照弱或夜晚時(shí)利用紅外圖像；并且采用本文提出的預(yù)處理方法之后，疲勞狀態(tài)識(shí)別準(zhǔn)確率都有進(jìn)一步的提升。實(shí)驗(yàn)表明本系統(tǒng)能有效地識(shí)別疲勞狀態(tài)，且無(wú)論白天還是夜晚都能夠有較高的識(shí)別準(zhǔn)確率。

6 結(jié)束語(yǔ)

本文基于Kinect研究設(shè)計(jì)駕駛員疲勞狀態(tài)綜合監(jiān)測(cè)系統(tǒng)，通過(guò)Kinect人臉識(shí)別獲取駕駛員嘴部、頭部、眼部等與疲勞狀態(tài)監(jiān)測(cè)相關(guān)部位的特征信息，閉眼識(shí)別主要靠眼部位置灰度的變化，點(diǎn)頭識(shí)別主要靠五官的位置，而打哈欠識(shí)別主要靠嘴部的輪廓。通過(guò)對(duì)Kinect提供的紅外圖像進(jìn)行預(yù)處理，減弱了光照不足的影響；采用自適應(yīng)的直接對(duì)比度增強(qiáng)方法，將圖像的灰度平均值適量增大，能明顯改善圖像質(zhì)量；采用灰度投影法進(jìn)行人眼狀態(tài)識(shí)別和監(jiān)測(cè)，實(shí)現(xiàn)了基于模糊和低像素圖片的人眼狀態(tài)識(shí)別；利用RBF 神經(jīng)網(wǎng)絡(luò)對(duì)駕駛員頭部、嘴部、眼部等的特征信息進(jìn)行融合，并利用滑動(dòng)平均法及數(shù)據(jù)庫(kù)技術(shù)，使得疲勞狀態(tài)監(jiān)測(cè)更加準(zhǔn)確可靠。模擬實(shí)驗(yàn)表明，本系統(tǒng)在白天夜晚都能較有效地監(jiān)測(cè)駕駛員疲勞狀態(tài)。下一步將拓展對(duì)疲勞狀態(tài)的監(jiān)測(cè)，對(duì)駕駛員的注意力分散狀態(tài)進(jìn)行監(jiān)測(cè)，并努力創(chuàng)造條件開(kāi)展實(shí)車實(shí)驗(yàn)。

［1］ Li Hai－qin，Li Li.Analysis of unsafe driving behavior based on questionnaire［J］.Automobile Technology，2015（2）：145－148.（in Chinese）

［2］ Sun Wei，Zhang Wei－gong，Zhang Xiao－rui，et al.Research progress of fatigue driving early warning system ［J］.Automotive Electrical Appliances，2009（1）：4－8.（in Chinese）

［3］ Hu Hong－zhi.Research of vehicle driving fatigue recognition system［D］.Wuhan：Wuhan University of Technology，2010.（in Chinese）

［4］ Lv Jian－jian.Study on driver fatigue alertness based on Bayesian network［D］.Dalian：Dalian University of Technology，2013.（in Chinese）

［5］ Ke Ming－jun.The key technics and architectural design of video－based drowsy driving detecting system［D］.Changsha：National University of Defense Technology，2008.（in Chinese）

［6］ Wu Ya－xuan，Li Wen－shu，Shi Guo－sheng，et al.Survey on fatigue driving detection method research［J］.Industrial Control Computer，2011，24（8）：44－46.（in Chinese）

［7］ Hu Xi－zhi，Taha Mansour Jmour.The driver condition monitoring system based on Kinect sensor［J］.Value Engineering，2014（20）：193－194.（in Chinese）

［8］ Li Du－h(huán)ou，Liu Qun，Yuan Wei，et al.Relationship between fatigue driving and traffic accident［J］.Journal of Traffic and Transportation Engineering，2010，10（2）：104－109.（in Chinese）

［9］ Chai Jie，Jiang Qing－yin，Cao Zhi－kai.RBF neural network function approximation ability and algorithm ［J］.Pattern Recognition and Aitificial Intelligence，2002，15（3）：310－316.（in Chinese）

［10］ Zhang De－feng.Matlab neural network application design［M］.Beijing：China Machine Press，2012.（in Chinese）

［11］ Wang Lei，Sun Rui－shan.Study on face feature recognitionbased fatigue monitoring method for air traffic controller［J］.China Safety Science Journal，2012，22（7）：66－71.（in Chinese）

附中文參考文獻(xiàn)：

［1］ 李海琴，黎莉.基于調(diào)查問(wèn)卷的不安全駕駛行為分析［J］.汽車實(shí)用技術(shù)，2015（2）：145－148.

［2］ 孫偉，張為公，張小瑞，等.疲勞駕駛預(yù)警系統(tǒng)的研究進(jìn)展［J］.汽車電器，2009（1）：4－8.

［3］ 胡鴻志.機(jī)動(dòng)車駕駛疲勞識(shí)別系統(tǒng)研究［D］.武漢：武漢理工大學(xué)，2010.

［4］ 呂健健.基于貝葉斯網(wǎng)絡(luò)的駕駛員疲勞評(píng)估方法研究［D］.大連：大連理工大學(xué)，2013.

［5］ 柯明君.駕駛員疲勞視頻監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與關(guān)鍵技術(shù)研究［D］.長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2008.

［6］ 吳雅萱，李文書(shū)，施國(guó)生，等.疲勞駕駛檢測(cè)技術(shù)研究綜述［J］.工業(yè)控制計(jì)算機(jī)，2011，24（8）：44－46.

［7］ 胡習(xí)之，Taha Mansour Jmour.基于Kinect傳感器的駕駛員狀態(tài)監(jiān)測(cè)系統(tǒng)［J］.價(jià)值工程，2014（20）：193－194.

［8］ 李都厚，劉群，袁偉，等.疲勞駕駛與交通事故關(guān)系［J］.交通運(yùn)輸工程學(xué)報(bào)，2010，10（2）：104－109.

［9］ 柴杰，江青茵，曹志凱.RBF 神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力及其算法［J］.模式識(shí)別與人工智能，2002，15（3）：310－316.

［10］ 張德豐.Matlab神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)［M］.北京：機(jī)械工業(yè)出版社，2012.

［11］ 汪磊，孫瑞山.基于面部特征識(shí)別的管制員疲勞監(jiān)測(cè)方法研究［J］.中國(guó)安全科學(xué)學(xué)報(bào)，2012，22（7）：66－71.