基于模糊識(shí)別的駕駛員疲勞檢測(cè)

張 露 張 靜 楊薛濤 陳忠強(qiáng) 游斌相 王銀玲

(西南科技大學(xué)智能機(jī)器人創(chuàng)新實(shí)踐班 四川綿陽 621010)

疲勞駕駛是誘發(fā)嚴(yán)重交通事故的重要原因之一，據(jù)統(tǒng)計(jì)，60%以上的交通事故與疲勞駕駛有關(guān)，防范疲勞駕駛刻不容緩。

在人眼狀態(tài)判別方面，眾多學(xué)者提出了不同的檢測(cè)方法。Tian等提出用Canny邊緣和半虹膜掩膜的方法檢測(cè)眼睛開、閉兩種狀態(tài)［1］;李英等綜合5種方法來檢測(cè)開眼和閉眼狀態(tài)［2］;胡濤等利用形狀特征判斷人眼狀態(tài)［3］;Khan等提出實(shí)時(shí)眼睛跟蹤和分類駕駛員疲勞檢測(cè)［4］;苑瑋琦等提出基于PERCLOS的眼睛張開程度檢測(cè)算法［5］;Fei Yang等通過網(wǎng)絡(luò)攝像頭跟蹤眼瞼狀態(tài)判別疲勞［6］;FAN Xiao等提出首先利用模板匹配方法獲得初始幀的準(zhǔn)確眼睛位置，然后利用動(dòng)態(tài)模板匹配方法跟蹤下一幀的位置，最后通過相似度檢測(cè)眼睛狀態(tài)［7］;袁翔等人綜述了當(dāng)前疲勞檢測(cè)研究進(jìn)展，提出基于人眼視線的檢測(cè)方法，通過對(duì)眼球建模，把視線是否偏離正常范圍作為判別是否疲勞的特征之一［8］。

目前判別人眼開、閉狀態(tài)均依據(jù)單一指標(biāo)進(jìn)行判別，而且公認(rèn)的疲勞判別標(biāo)準(zhǔn)PERCLOS能有效判別是否疲勞，經(jīng)檢測(cè)PERCLOS方法檢測(cè)一般是在事故前10 s出現(xiàn)，留給司機(jī)的反映時(shí)間太短。在駕駛疲勞檢測(cè)過程中，人眼狀態(tài)并非只有睜眼和閉眼兩種狀態(tài)，而是有大量中間狀態(tài)，中間狀態(tài)包含了臨界疲勞的狀態(tài)，有效利用PERCLOS方法就須在臨界疲勞時(shí)發(fā)出預(yù)警。

本文在現(xiàn)有的疲勞駕駛檢測(cè)方法的基礎(chǔ)上繼續(xù)研究如何判別疲勞以及臨界疲勞，將PERCLOS檢測(cè)結(jié)果、眼瞼在單位時(shí)間的平均張開程度、單位時(shí)間眨眼次數(shù)、眼睛縱橫比4種檢測(cè)結(jié)果綜合分析，提出用模糊識(shí)別的方法，融合以上4種測(cè)量結(jié)果，加以權(quán)重分析，進(jìn)而判別眼睛所屬的狀態(tài)。

1 人眼狀態(tài)檢測(cè)與判別方法

1.1 PERCLOS 測(cè)量原理

PERCLOS［9］是指在一定時(shí)間內(nèi)眼睛閉合時(shí)所占的時(shí)間比例，在具體實(shí)驗(yàn)中有P70，P80，EM 3種測(cè)量方式，其中P80被認(rèn)為最能反映人的疲勞程度。圖1為PERCLOS值的測(cè)量原理圖，圖中曲線為一次眼睛閉合與睜開過程中睜開程度隨時(shí)間的變化曲線，可根據(jù)此曲線得到所需測(cè)量的眼睛某個(gè)程度的閉合或睜開持續(xù)的時(shí)間，從而計(jì)算出PERCLOS值。圖中t1為眼睛完全睜開到閉合20%的時(shí)間;t2為眼睛完全睜開到閉合80%的時(shí)間;t3為眼睛完全睜開到下一次睜開20%的時(shí)間;t4為眼睛完全睜開到下一次睜開80%的時(shí)間。通過測(cè)量出t1到t4的值算出PERCLOS的值f。

其中f為眼睛閉合時(shí)間所占某一特定時(shí)間的百分率，對(duì)于P80測(cè)量方式來說，我們認(rèn)為當(dāng)PERCLOS值f＞0.15時(shí)，認(rèn)為駕駛員處于疲勞狀態(tài)。

圖1 PERCLOS值的測(cè)量原理圖Fig.1 The measuring schematics of PERCLOS value

1.2 人眼運(yùn)動(dòng)模型建立

由于人眼上下眼皮的兩條邊界線是約束在眼球球面上的兩段弧線段，正面拍攝時(shí)，在xOy平面的投影近似為兩段對(duì)稱的拋物線，這里只考慮上眼皮的運(yùn)動(dòng)，如圖2，用參數(shù)方程表示為:

圖2 人眼運(yùn)動(dòng)模型Fig.2 The movement model of human eyes

其中T為瞳孔切面方程，保證眼皮拋物線被約束在圓面內(nèi)，r為瞳孔半徑，c(t)描述上眼皮張閉的控制函數(shù)，由眼睛大小及幾何特征可解方程中的參數(shù)。上眼皮張閉過程描述，t時(shí)刻:yt(x)，經(jīng) △t后APB弧下移:

C(x1，y1)，D(x2，y2)為拋物線下移時(shí)與圓的交點(diǎn)，S0為圓面積，即:

其中，S(t)為未閉合瞳孔面積。

眼睛平均張開程度:

1.3 眨眼檢測(cè)

攝像頭采集到的眼睛在橫向和縱向上所占像素值 Contour_X，Contour_Y，計(jì)算 Lenpr［i］=Contour_Y/Contour_X，即眼睛的縱橫比，這個(gè)比值對(duì)同一個(gè)人的睜眼或閉眼狀態(tài)來說是相對(duì)固定的。眨眼檢測(cè)流程如圖3。

圖3 眨眼檢測(cè)流程圖Fig.3 The flowchart of blink detection

1.4 眨眼次數(shù)統(tǒng)計(jì)

瞌睡和眨眼檢測(cè)結(jié)果可統(tǒng)計(jì)眨眼次數(shù)［4］，如圖4，當(dāng)最大相關(guān)值在0.75～1之間，說明人眼處于覺醒狀態(tài)，當(dāng)最大相關(guān)值在0.5～0.75之間時(shí)，說明是在眨眼或是瞌睡，此時(shí)若持續(xù)時(shí)間較長(zhǎng)，則是瞌睡，若是瞬間情況則是眨眼，據(jù)此統(tǒng)計(jì)眨眼次數(shù)。

圖4 瞌睡和眨眼檢測(cè)結(jié)果Fig.4 The results of drowsiness and blink detection

2 模糊識(shí)別

2.1 模糊識(shí)別原理

模糊不確定性是指事物本身所固有的不精確狀況，擺脫了非此即彼的精確性，反映了事物間由于差異的中間過渡性所引起的不確定，而導(dǎo)致了概念的外延不分明性，也就是“亦此亦彼”的模糊性，人眼狀態(tài)并非只有睜眼和閉眼兩種狀態(tài)，而是有大量中間狀態(tài)，即在排中律上存在破缺，屬模糊不確定性一類。

一般的模糊識(shí)別過程可分為三步來實(shí)現(xiàn):(1)信息獲取;(2)特征提取;(3)選擇、匹配分類。一般地，設(shè)所分類的事物有n個(gè)可提取特征，對(duì)某個(gè)具體的對(duì)象(模糊集)對(duì)應(yīng)于這n個(gè)特征的n個(gè)隸屬度為:μ1，μ2，…μn。對(duì)于具體問題，這 n 個(gè)特征在模糊識(shí)別中的作用是不同的，所以對(duì)這些隸屬度分別賦予適當(dāng)?shù)臋?quán)系數(shù):a1，a2，…，an。求得:

2.2 人眼狀態(tài)判別方法設(shè)計(jì)

通常在觀察一個(gè)人一段時(shí)間后，可根據(jù)其面部表情狀態(tài)，能判斷被觀察者目前是否處于疲勞狀態(tài)，這是經(jīng)驗(yàn)所得，而機(jī)器就不能辦到，甚至出現(xiàn)誤判，用模糊識(shí)別［10］可以更深入地模擬人腦思維的過程。

設(shè)論域 U={x1，x2，…，xn}，用聚類方法按經(jīng)驗(yàn)以及大量試驗(yàn)將人眼狀態(tài)行為分為3種類型，在U上表現(xiàn)為3個(gè)模糊子集 Ai∈ F(U)(i=1，2，3)，其含義為:A1為正常狀態(tài);A2為臨界狀態(tài);A3為疲勞狀態(tài)，這就構(gòu)成了論域U上的標(biāo)準(zhǔn)模型庫(kù){A1，A2，A3}，每個(gè)標(biāo)準(zhǔn)人眼狀態(tài):(i=1，2，3，4)由4 個(gè)主要指標(biāo)來描述，即:

η1:由PERCLOS方法檢測(cè)得到η1=總閉眼時(shí)間/總時(shí)間;η2:眼皮平均張開程度;η3:單位時(shí)間的眨眼次數(shù)統(tǒng)計(jì);η4:眼睛縱向長(zhǎng)度與橫向長(zhǎng)度的比例。

表1 特征檢測(cè)指標(biāo)Table 1 Index of feature detection

眼睛在人體不同生理?xiàng)l件下張合狀態(tài)是一個(gè)較復(fù)雜的模糊集合體，而所用到的4個(gè)指標(biāo)在測(cè)量時(shí)也會(huì)有各種因素的影響，都是模糊概念，因此，對(duì)每個(gè)標(biāo)準(zhǔn)人眼狀態(tài)而言，以上4個(gè)指標(biāo)也是模糊集=((i=1，2，3)，這可以看作是一個(gè)廣義模糊向量集合族。

各種標(biāo)準(zhǔn)人眼狀態(tài)通過大量的試驗(yàn)，η1()，η2()，η3()，η4()均為正態(tài)模糊集，相應(yīng)的隸屬函數(shù)為:

4個(gè)指標(biāo)對(duì)判別3種眼睛狀態(tài)的影響程度不相同，即4個(gè)指標(biāo)的權(quán)重不同，令權(quán)重為wj(j=1，2，3，4)，即:

2.3 最大隸屬度原則

3 試驗(yàn)流程及結(jié)果

3.1 實(shí)驗(yàn)流程

攝像頭采集到的模擬圖像通過預(yù)處理，手工分割人眼圖像。統(tǒng)計(jì)不同狀態(tài)眼睛張開程度、單位時(shí)間眨眼次數(shù)、眼睛縱橫比例。試驗(yàn)流程如圖5所示。

圖5 試驗(yàn)流程圖Fig.5 The flowchart of testing

運(yùn)用Matlab 2012軟件進(jìn)行程序設(shè)計(jì)，軟件界面如圖6。

圖6 軟件界面Fig.6 The interface of the software

對(duì)眨眼進(jìn)行檢測(cè)，將眼睛在縱向和橫向上的實(shí)際所占像素值，即眼睛的縱橫比作為眼睛的閉合度，圖7為眼睛在3種狀態(tài)下的縱橫比值。

圖7 3種狀態(tài)下眼睛的縱橫比Fig.7 The aspect ratio of the three states of the eyes

采用模擬拍攝的圖像，根據(jù)以上方法統(tǒng)計(jì)各特征值，在3種狀態(tài)下4個(gè)特征檢測(cè)的結(jié)果(平均值+方差)見表2，通過多次試驗(yàn)，權(quán)重系數(shù)w={0.4，0.2，0.2，0.2}時(shí)準(zhǔn)確率較高。

表2 特征檢測(cè)指標(biāo)參考值Table 2 Index reference value of feature detection

3.2 實(shí)驗(yàn)結(jié)果

該模糊識(shí)別系統(tǒng)的輸出值顯示為正常、臨界或疲勞。在一段時(shí)間內(nèi)，攝像頭拍攝的測(cè)試者的眼部狀態(tài)，檢測(cè)出4個(gè)特征值，由模糊識(shí)別系統(tǒng)判別眼睛當(dāng)前所屬的狀態(tài)，及時(shí)顯示結(jié)果及相應(yīng)的預(yù)警和報(bào)警。表3為4位測(cè)試者的疲勞檢測(cè)結(jié)果，報(bào)警平均正確率達(dá)到94%。

表3 疲勞檢測(cè)結(jié)果Table 3 The results of fatigue detection

模糊綜合評(píng)價(jià)結(jié)果是被評(píng)價(jià)對(duì)象對(duì)各等級(jí)模糊子集的隸屬度構(gòu)成的綜合評(píng)價(jià)向量，本文中對(duì)綜合評(píng)價(jià)向量的處理遵循常規(guī)的最大隸屬度原則，但是最大隸屬度原則在某些情況下存在失效問題。對(duì)同一個(gè)測(cè)試者來說，2指標(biāo)和4指標(biāo)在判斷是否疲勞時(shí)若差異較小，會(huì)出現(xiàn)誤報(bào)。針對(duì)這一問題，在進(jìn)一步的研究中要結(jié)合實(shí)際情況改進(jìn)最大隸屬度原則的算法。

4 結(jié)論

本文結(jié)合已有的檢測(cè)方法，采用模糊識(shí)別對(duì)眼睛狀態(tài)的綜合判斷作了理論分析，并通過模擬的正常、臨界、疲勞狀態(tài)拍攝的圖像，檢測(cè)其特征值，最后由模糊識(shí)別綜合判斷眼睛所屬的狀態(tài)，作相應(yīng)的預(yù)警或報(bào)警提示，模擬測(cè)試結(jié)果平均準(zhǔn)確率達(dá)到94%。由于在本文中所采用的的權(quán)重系數(shù)只適用于本模擬實(shí)驗(yàn)，為了確保該識(shí)別方法能適合不同環(huán)境，應(yīng)該使用實(shí)時(shí)的駕駛拍攝的圖像，所以權(quán)重系數(shù)有待進(jìn)一步完善，其次對(duì)最大隸屬度原則的算法應(yīng)結(jié)合實(shí)際作相應(yīng)的改進(jìn)。

［1］TIAN Y L，KANADE T，COHN J F.Dual－ state Parametric Eye Tracking［C］.Proceeding of the 4th IEEE International Conference on Automatic Face and Gesture Recognition(FG＇00)，Grenoble，F(xiàn)rance，2000.110 －115.

［2］李英，賴劍煌，阮邦志.眼睛狀態(tài)檢測(cè)的組合方法［J］.中國(guó)圖象圖形學(xué)報(bào)，2003，8A(10):1140－1145.

［3］胡濤，張兵.基于形狀特征的人眼狀態(tài)判斷［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45(5):203－206.

［4］KHAN M I，MANSOOR A B.Real Time Eyes Tracking and Classification forDriverFatigueDetection［C］.ICIAR，2008，LNCS5112，2008.729 －738.

［5］苑瑋琦，袁英.基于PERCLOS的眼睛張開程度檢測(cè)算法研究［J］.微計(jì)算機(jī)信息(控制自動(dòng)化)，26(9－1):46－48.

［6］YANG Fei，YU Xiang，HUANG Jun－zhou，et al.Robust Eyelid Tracking for Fatigue Detection［D］.978－1－4673－2533－2/12/2012IEEE.

［7］FAN Xiao，SUN Yan－feng，YIN Bao－cai，et al.Gabor－based dynamic representation for human fatigue monitoring in facialimage sequences［J］.Patter Recognition Letters，2010，31(3):234－243.

［8］袁翔，孫香梅.疲勞駕駛檢測(cè)方法研究進(jìn)展［J］.汽車工程學(xué)報(bào)，2012，2(3):157－164.

［9］郭永彩，李文濤，高潮.基于PERCLOS的駕駛員疲勞檢測(cè)算法［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2009，(8):54－57.

［10］梁保松，曹殿立.模糊數(shù)學(xué)及其應(yīng)用［M］.北京:科學(xué)出版社，2007.

［11］胡越，郭延齊，程文華.基于Matlab的人眼疲勞度檢測(cè)［J］.信息技術(shù)，2009，(8):64－67.