基于眼動(dòng)特征的駕駛員疲勞預(yù)警系統(tǒng)設(shè)計(jì)

陳瑜 李錦濤 徐軍莉

摘 要：疲勞駕駛是導(dǎo)致交通事故的重要原因之一。為檢測識(shí)別駕駛員疲勞狀態(tài)，根據(jù)人的眼動(dòng)行為存在隨機(jī)性及模糊性特點(diǎn)，采用不確定性的云模型對(duì)眼動(dòng)特征進(jìn)行數(shù)據(jù)處理，構(gòu)建二維多規(guī)則推理生成器檢測駕駛員疲勞狀況，以此疲勞檢測模型為基礎(chǔ)構(gòu)建基于安卓的疲勞預(yù)警系統(tǒng)。系統(tǒng)通過手機(jī)攝像頭實(shí)時(shí)采集駕駛員面部數(shù)據(jù)，通過人臉人眼定位后，計(jì)算出per-clos和眨眼時(shí)間均值。將數(shù)據(jù)輸入疲勞檢測模塊，一旦檢測到駕駛員疲勞，系統(tǒng)即進(jìn)行文字和語音提醒。該系統(tǒng)成本較低，實(shí)時(shí)性較好，在模擬駕駛環(huán)境下檢測率可達(dá)到73.98%。

關(guān)鍵詞：眼動(dòng)特征;疲勞駕駛;預(yù)警系統(tǒng);定性推理器;云模型

DOI：10. 11907/rjdk. 191848 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0116-04

0 引言

2017年底，我國民用汽車保有量達(dá)到21 473萬輛，比上年增長了11.8%，全國高速公路通車?yán)锍踢_(dá)到13.6萬km。隨著公路建設(shè)和車輛的增加，交通事故也呈現(xiàn)不斷上升趨勢[1]。據(jù)統(tǒng)計(jì)，在高速公路發(fā)生的重特大交通事故中，因疲勞駕駛造成的事故所占比例達(dá)40%以上[2]。由于疲勞駕駛引發(fā)的交通事故往往是在駕駛?cè)撕翢o預(yù)見、且未采取主動(dòng)避險(xiǎn)措施的情況下發(fā)生的，經(jīng)常導(dǎo)致車毀人亡，后果十分慘重。因此，實(shí)時(shí)檢測駕駛員是否處于疲勞駕駛狀態(tài)，并在出現(xiàn)疲勞狀態(tài)時(shí)給出有效預(yù)警有著十分重要的現(xiàn)實(shí)意義。

目前，疲勞檢測預(yù)警系統(tǒng)研究較多[3-9]：張志文等基于perclos人眼疲勞判定算法設(shè)計(jì)一個(gè)嵌入式疲勞預(yù)警系統(tǒng);李建平等以駕駛員人眼圖像為處理對(duì)象，建立了離散單位時(shí)間內(nèi)非正常狀態(tài)時(shí)間所占百分比的疲勞判斷模型，實(shí)現(xiàn)對(duì)駕駛員疲勞狀態(tài)預(yù)警;李超等基于ADS1299腦波芯片，結(jié)合應(yīng)用層對(duì)數(shù)據(jù)進(jìn)行處理得到頻域數(shù)據(jù)，得出人腦疲勞程度特征的腦電波信號(hào)能量級(jí)，從而進(jìn)行疲勞駕駛預(yù)警。疲勞檢測方法有基于駕駛行為的疲勞檢測和基于人體生理信號(hào)的疲勞檢測。其中基于駕駛?cè)搜蹌?dòng)特征的非接觸式檢測方法[10-14]逐漸被廣泛采用，如劉志強(qiáng)等以perclos眼睛焦點(diǎn)的位置等眼部特征為參數(shù)，采用支持向量機(jī)的疲勞檢測模型;曠文騰等采用眼白面積和perclos作為疲勞特征指標(biāo)。但由于人的眼動(dòng)行為本質(zhì)上存在隨機(jī)性和模糊性，導(dǎo)致無法對(duì)眼部行為指標(biāo)數(shù)據(jù)進(jìn)行準(zhǔn)確描述。因此，本文在將眼部行為作為疲勞檢測指標(biāo)時(shí)，采用不確定性的云模型對(duì)眼動(dòng)特征進(jìn)行數(shù)據(jù)處理，構(gòu)建二維多規(guī)則推理生成器對(duì)駕駛員進(jìn)行疲勞檢測。該推理生成器在模擬駕駛器上進(jìn)行檢測，平均識(shí)別率可以達(dá)到73.98%[15]。本文以此推理生成器為基礎(chǔ)構(gòu)建包括數(shù)據(jù)采集模塊、特征提取模塊、疲勞檢測模塊和疲勞預(yù)警模塊的基于安卓的疲勞預(yù)警系統(tǒng)。

1 基于眼動(dòng)特征的駕駛員疲勞預(yù)警系統(tǒng)

1.1 疲勞預(yù)警系統(tǒng)模塊設(shè)計(jì)

基于眼動(dòng)特征的駕駛員疲勞預(yù)警系統(tǒng)模塊結(jié)構(gòu)如圖1所示。

系統(tǒng)首先通過手機(jī)攝像頭拍攝駕駛員的面部圖像，然后采用AdaBoost算法進(jìn)行人臉檢測，對(duì)人眼進(jìn)行粗率和精確定位，隨后計(jì)算眼瞼閉合時(shí)間百分比 （percentage of eyelid closure time，per-clos）和眨眼時(shí)間均值兩個(gè)眼動(dòng)特征參數(shù)，將計(jì)算出的眼動(dòng)特征數(shù)據(jù)輸入到疲勞檢測模塊進(jìn)行疲勞分類識(shí)別。如果檢測結(jié)果為疲勞，則通過疲勞報(bào)警模塊進(jìn)行文字和語音報(bào)警，如圖1所示。

1.1.1 特征提取模塊

在該模塊中主要進(jìn)行人臉檢測、人眼定位和眼動(dòng)參數(shù)計(jì)算。

（1）人臉檢測。本文采用AdaBoost算法[16]進(jìn)行人臉檢測。目前常用的AdaBoost算法有Discrete Adaboost算法、Real Adaboost算法和Gentel Adaboost算法，它們的原理是相同的，都是基于弱分類器融合思想，主要對(duì)同一個(gè)訓(xùn)練數(shù)據(jù)集先訓(xùn)練出不同的弱分類器。在訓(xùn)練樣本時(shí)，每次在進(jìn)入下一輪分類器訓(xùn)練之前權(quán)值都會(huì)自動(dòng)調(diào)整。在訓(xùn)練中，若樣本被準(zhǔn)確分類，那么它在下一次訓(xùn)練過程中就會(huì)被降低權(quán)值。而未被正確分類的樣本在下次選取訓(xùn)練樣本時(shí)，此樣本的權(quán)值將被加重。有研究表明[17]，在人臉檢測上，Gentel Adaboost算法的效果優(yōu)于其它兩類算法。因此，本文采用Gentel Adaboost算法進(jìn)行人臉檢測。

（2）人眼定位。人臉檢測完成后需要進(jìn)行人眼定位。人眼定位分為粗定位和精確定位。粗定位主要是根據(jù)人臉的“三庭五眼”特征定位。按垂直方向?qū)⑷四槃澐譃椤吧贤ァ?、“中庭”和“下庭?個(gè)部分;按水平方向?qū)⑷四槃澐譃?個(gè)部分，稱為“五眼”。本系統(tǒng)只對(duì)左眼處理。為了更精確獲取人眼區(qū)域，在“三庭五眼”特征上將人臉進(jìn)一步劃分，在垂直方向上將“中庭”再等分為3部分，如圖2所示。

這樣可以粗略定位到人眼，但定位的人眼中還有眉毛或眼框，因此需要對(duì)人眼再次進(jìn)行精確定位，此處仍采用 Adaboost 算法。

（3）眼動(dòng)特征計(jì)算。 在精確定位到人眼后，就可計(jì)算眼動(dòng)疲勞特征參數(shù)。本文采用per-clos和眨眼時(shí)間作為眼動(dòng)特征參數(shù)。per-clos是眼睛在單位時(shí)間內(nèi)閉合的百分比[18]。常用的per-clos 標(biāo)準(zhǔn)有EM、P70 和 P80。EM 指當(dāng)瞳孔面積的 50%被眼瞼遮擋就認(rèn)定眼睛是閉合狀態(tài);P70 指當(dāng)瞳孔面積的 70%被眼瞼遮擋就認(rèn)定眼睛是閉合狀態(tài);P80 指當(dāng)瞳孔面積的 80%被眼瞼遮擋就認(rèn)定眼睛是閉合狀態(tài)。相關(guān)研究表明[19]，在這3種 per-clos 標(biāo)準(zhǔn)中，P80 標(biāo)準(zhǔn)能更好地體現(xiàn)疲勞狀態(tài)，因此本文采用P80。計(jì)算公式為[20]：

1.1.2 疲勞檢測模塊

該模塊的主要任務(wù)是建立疲勞分類模型。在虛擬實(shí)驗(yàn)環(huán)境下采集駕駛員疲勞和清醒狀態(tài)下的相關(guān)眼動(dòng)數(shù)據(jù)，然后計(jì)算出對(duì)應(yīng)的眼睛閉合時(shí)間比per-clos和眨眼時(shí)間均值，構(gòu)建基于Per-clos 和眨眼時(shí)間均值的二維多規(guī)則定性推理生成器，然后以該生成器作為疲勞分類模型。定性推理生成器如圖3所示。

如圖3所示，將一組輸入值（per-clos， 眨眼時(shí)間均值）輸入生成器，生成器輸出期望值的平均值Ex，如果Ex值大于1.5，則判斷這組輸入值為疲勞狀態(tài)，否則為清醒狀態(tài)。該定性推理生成器在模擬駕駛環(huán)境下的平均識(shí)別率可達(dá)到73.98%。

1.1.3 疲勞報(bào)警模塊

當(dāng)疲勞檢測模塊輸出結(jié)果為疲勞狀態(tài)時(shí)，系統(tǒng)將調(diào)用疲勞報(bào)警模塊，該模塊同時(shí)向系統(tǒng)使用者顯示文字提醒和語音提醒。

1.2 疲勞預(yù)警系統(tǒng)界面設(shè)計(jì)

疲勞預(yù)警系統(tǒng)界面如圖4所示，主要包括人臉檢測區(qū)、操作按鈕區(qū)、實(shí)時(shí)顯示眼動(dòng)特征數(shù)據(jù)區(qū)和檢測結(jié)果區(qū)。用戶單擊“開始檢測”按鈕，攝像頭就開始進(jìn)行拍攝，并進(jìn)行人臉人眼實(shí)時(shí)定位，同時(shí)在界面右上角顯示計(jì)算的perclos和眨眼時(shí)間均值數(shù)據(jù)。每隔5分鐘就在右下角更新檢測結(jié)果。

2 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)以Android 為開發(fā)平臺(tái)，使用 Android Studio 開發(fā)工具，以 Java＼C＼C++作為開發(fā)語言，利用開源的計(jì)算機(jī)視覺函數(shù)庫 OpenCV 進(jìn)行開發(fā)。各模塊功能如下：

（1）圖像采集模塊實(shí)現(xiàn)。OpenCV 提供了一個(gè)抽象類 CameraBridgeViewBase與 Android 的Camera連接，其中 JavaCameraView 類對(duì) CameraBridgeViewBase 抽象類進(jìn)行實(shí)現(xiàn)，此處通過 JavaCameraView 類設(shè)置和修改攝像頭默認(rèn)參數(shù)。Opencv 上有兩個(gè)監(jiān)聽器CvCameraViewListener2 和 CvCameraViewListener，在攝像頭輸入流啟動(dòng)、每幀圖像采集和停止時(shí)，這兩個(gè)監(jiān)聽器都提供相應(yīng)的回調(diào)方法。本文在 Android 應(yīng)用程序中繼承CvCameraViewListener監(jiān)聽器，并將相應(yīng)的回調(diào)方法重寫，對(duì)圖像進(jìn)行處理。

（2）人臉檢測模塊實(shí)現(xiàn)。把攝像頭獲取到的圖像用 JNI的方法傳給底層 C/C++處理。底層通過使用 OpenCV 的分類器 CascadeClassifier 對(duì)人臉進(jìn)行檢測，然后在Java層創(chuàng)建DetectionBasedTracker類，通過該類的nativeDetect（）方法將圖像地址傳給 C/C++層。在進(jìn)行人臉檢測前，先把訓(xùn)練好的分類器haarcascade_frontalface_alt_tree 文件和人臉最小值傳給 C/C++層。

（3）人眼定位模塊實(shí)現(xiàn)。人眼定位包括粗定位和精確定位，粗定位主要是排除人臉外部干擾信息，只處理人眼區(qū)域，根據(jù)人臉”三庭五眼”這一特征獲取人眼粗略的區(qū)域。眼睛的精確定位與人臉檢測一樣使用Adaboost 算法，具體過程為：獲取人眼粗略的左眼區(qū)域;讀取人眼檢測分類器文件 haarcascade_eye_tree_eyeglasses;創(chuàng)建一個(gè)人眼檢測分類器 CascadeClassifier 類和存儲(chǔ)人眼信息eyes;調(diào)用detectMuiliScale（）方法進(jìn)行人眼檢測。

（4）疲勞判定模塊。建立基于per-clos和眨眼時(shí)間均值的二維云模型，根據(jù)這2個(gè)眼動(dòng)參數(shù)的云模型特征構(gòu)建定性規(guī)則。依據(jù)二維單規(guī)則生成器，構(gòu)造二維多規(guī)則定性推理生成器。

（5）疲勞報(bào)警模塊。疲勞報(bào)警模塊將文字顯示在系統(tǒng)界面右下角并給出語音提醒。在Android 開發(fā)中MediaPlayer 類和 SoundPool 類都可以實(shí)現(xiàn)音頻播放，但由于MediaPlayer 播放音頻文件時(shí)會(huì)出現(xiàn)延遲時(shí)間長、不支持實(shí)時(shí)播放多個(gè)音頻和資源占用量相對(duì)較高等缺點(diǎn)，因此本文采用 SoundPool類實(shí)現(xiàn)語音播放。文字信息的提醒通過 OpenCV 圖像處理庫中 Core 類實(shí)現(xiàn)。系統(tǒng)通過圖像處理庫 OpenCV的Core類中的putText（）方法實(shí)現(xiàn)文字顯示。

3 結(jié)語

在我國機(jī)動(dòng)車保有量不斷提高的情況下，每年因疲勞發(fā)生的事故越來越多。因此，在行車過程中加強(qiáng)疲勞預(yù)警有著非常重要的現(xiàn)實(shí)意義。目前，疲勞駕駛預(yù)警領(lǐng)域取得了一定的研究成果，但基于車載的低成本疲勞駕駛檢測系統(tǒng)還不是很多，為此本文提出一款基于眼動(dòng)特征的疲勞檢測系統(tǒng)APP。該系統(tǒng)鑒于人的眼動(dòng)行為存在隨機(jī)性及模糊性特點(diǎn)，采用云模型理論生成定性推理生成器作為疲勞分類模型，在一定程度上提高了疲勞檢測的準(zhǔn)確性。本系統(tǒng)采集數(shù)據(jù)方便，成本較低，實(shí)時(shí)性較好。但由于在疲勞檢測模型中采用的訓(xùn)練樣本數(shù)目較少，疲勞檢測模型的檢測率還有待提高，后續(xù)研究將增加訓(xùn)練樣本數(shù)，提高疲勞檢測準(zhǔn)確率。

參考文獻(xiàn)：

[1] 張琪，劉玉麒. ?我國民用汽車保有量突破二千萬輛[J]. ?中國統(tǒng)計(jì)，2003（8）：1-2.

[2] 蔣新明，邢貴. ?疲勞駕駛與行車安全[J]. ?現(xiàn)代農(nóng)機(jī)，2007（3）：39-39.

[3] 張志文，張沛晨. ?基于人眼運(yùn)動(dòng)檢測的疲勞預(yù)警系統(tǒng)研究[J]. ?電子設(shè)計(jì)工程， 2015（6）：172-175.

[4] 郭慧利，王恁， 郭浩. ?基于面部多特征的疲勞駕駛預(yù)警系統(tǒng)的研究[J]. ?通信學(xué)報(bào)， 2018， 39（S1）：28-35.

[5] 李建平， 牛燕雄， 楊露，等. ?基于人眼狀態(tài)信息的非接觸式疲勞駕駛監(jiān)測與預(yù)警系統(tǒng)[J]. ?激光與光電子學(xué)進(jìn)展， 2015， 52（4）：83-88.

[6] 蔡馥鴻， 張正華， 劉金龍，等. ?基于TGAM腦波模塊的疲勞駕駛預(yù)警系統(tǒng)設(shè)計(jì)[J]. ?信息化研究， 2016（4）：76-78.

[7] 李照， 舒志兵. ?基于DSP的駕駛員疲勞實(shí)時(shí)預(yù)警系統(tǒng)設(shè)計(jì)[J]. ?控制工程， 2019， 26（1）：94-100.

[8] 李超， 石向榮， 黃劍華. ?基于腦電信號(hào)處理的疲勞駕駛預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. ?科學(xué)技術(shù)創(chuàng)新， 2018（2）：75-76.

[9] FORSMAN P M， VILA B J， SHORT R A， et al. Efficient driver drowsiness detection at moderate levels of drowsiness[J]. ?Accid Anal Prev， 2013， 50（1）：341-350.

[10] 劉志強(qiáng)，宋雪松，汪彭，等. 基于眼部特征的疲勞駕駛辨識(shí)方法研究[J]. 重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)）， 2016， 30（10）：11-15.

[11] 曠文騰，毛寬誠，黃家才，等. ?基于高斯眼白模型的疲勞駕駛檢測[J]. 中國圖象圖形學(xué)報(bào)，2018， 21（11）：1515-1522.

[12] 蔣建國，王雷，齊美彬，等. ?基于眼睛狀態(tài)檢測的駕駛員疲勞駕駛分析[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2015（2）：175-180.

[13] MANDAL B，LI L，WANG G S，et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state[J]. ?IEEE Transactions on Intelligent Transportation Systems， 2016（6）：1-13.

[14] ZHANG F， SU J， GENG L， et al. Driver fatigue detection based on eye state recognition[C]. 2017 International Conference on Machine Vision and Information Technology （CMVIT）. ?IEEE， 2017.

[15] 徐軍莉， 閔建亮， 胡劍鋒，等. ?定性推理生成器在駕駛疲勞檢測中的應(yīng)用[J]. ?汽車安全與節(jié)能學(xué)報(bào)， 2018，9（1）：32-40.

[16] 王琳琳， 聶財(cái)香. ?基于AdaBoost算法和Cascade算法的人臉檢測系統(tǒng)的實(shí)現(xiàn)[J]. 電子制作， 2013（11）：66-67.

[17] 蔡燦輝， 朱建清. ?采用Gentle AdaBoost和嵌套級(jí)聯(lián)結(jié)構(gòu)的實(shí)時(shí)人臉檢測[J]. ?信號(hào)處理， 2013， 29（8）：123-128.

[18] 鞏曉倩， 蒲亦非， 楊智勇，等. ?基于有限狀態(tài)自動(dòng)機(jī)的人眼開度PERCLOS實(shí)現(xiàn)算法[J]. 計(jì)算機(jī)應(yīng)用研究，2014，31（1）：307-310.

[19] 董占勛， 孫守遷， 吳群. 心率變異性與駕駛疲勞相關(guān)性研究[J]. ?浙江大學(xué)學(xué)報(bào)：工學(xué)版，2010，44（1）：46-50.

（責(zé)任編輯：杜能鋼）