基于眨眼檢測的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)

王子純 方嬌 邱敏霞 李鑫 楊雪

摘? ?要：隨著我國經(jīng)濟的快速發(fā)展，汽車持有量逐年增加，與之相關(guān)的交通安全問題也日益突出，而疲勞駕駛是造成交通事故的主要因素之一。因此，關(guān)于疲勞駕駛的檢測和預(yù)防成為現(xiàn)主要階段研究的內(nèi)容，包括對人臉進行檢測定位、識別并判斷眼睛狀態(tài)從而判斷駕駛?cè)耸欠衿凇Ｄ康脑谟谟梅墙佑|式的設(shè)備實時監(jiān)測駕駛?cè)说纳頎顟B(tài)并分析，有效檢測出駕駛員的疲勞狀態(tài)，以大大降低事故發(fā)生的概率，對解決當(dāng)下交通安全問題有十分重要的現(xiàn)實意義。

關(guān)鍵詞：疲勞駕駛;人臉檢測;眼睛狀態(tài);模板匹配;眨眼頻率

1? ? 國內(nèi)外研究現(xiàn)狀

隨著社會經(jīng)濟的發(fā)展，汽車已成為人們?nèi)粘Ｉ钪胁豢苫蛉钡慕煌üぞ?，由汽車引起的交通事故也逐漸增多。根據(jù)世界衛(wèi)生組織（WTO）2014年發(fā)布的《世界預(yù)防道路交通安全傷害報告》相關(guān)數(shù)據(jù)顯示，疲勞駕駛在十大“影響交通事故發(fā)生的危險因素”中高居第3位。在我國，依據(jù)公安部交通管理局提供的數(shù)據(jù)，每年約有9 000人死于疲勞駕駛。疲勞駕駛被列為繼超速行駛、酒后駕車之后引發(fā)道路交通事故的又一主要原因[1]。

駕駛員處于疲勞狀態(tài)的主要表現(xiàn)為反應(yīng)遲鈍、思考能力與判斷能力下降、視線模糊、注意力下降、眨眼頻率加快等。疲勞時駕駛員動作失調(diào)，容易造成車輛失控，影響其他車輛駕駛、阻礙交通運輸，大大增加了意外發(fā)生的可能性。因此，駕駛員疲勞狀態(tài)的實時監(jiān)測對降低事故發(fā)生的概率和解決交通安全問題都有十分重要的現(xiàn)實意義。

1.1? 國外研究現(xiàn)狀

（1）三菱的高級安全車通過測量方向盤及車輛運行過程中的相關(guān)參數(shù)，判斷駕駛員的疲勞情況[2]。（2）日本東風(fēng)日產(chǎn)汽車研究實驗室設(shè)計出了駕駛員瞌睡檢測裝置[3]。該裝置通過判斷駕駛員眼睛的開閉狀態(tài)，計算統(tǒng)計一定時間內(nèi)的眨眼次數(shù)從而判斷駕駛員的疲勞水平。

1.2? 國內(nèi)研究現(xiàn)狀

（1）浙江大學(xué)研究的駕駛員防瞌睡裝置[4]，基于灰度投影的人眼定位，用邊緣檢測的方法對眼睛開閉狀態(tài)進行判斷，分析駕駛員當(dāng)前的生理狀態(tài)。

（2）鄭州的工程師董世衍研制了一種防止駕駛員打瞌睡的報警系統(tǒng)[5]。裝置主體是眼睛框架，通過紅外線技術(shù)測試人眼的運動變化，由傳感器將采集到的變化信息傳送到主機，使其分析并報警或進行剎車操作。

2? ? 人臉檢測與眼睛定位

在疲勞駕駛檢測技術(shù)中，要對圖像中駕駛員的面部進行定位，以便進行下一步的眼睛定位。人臉的檢測與眼睛定位過程如圖1所示。

2.1? 人臉檢測與定位方法

人臉檢測算法的本質(zhì)就是確定一幅圖像中是否有人臉存在，進而確定人臉在整幅圖像中的位置。本文主要采用基于特征的人臉檢測法，通過從處理后的圖像中提取出某些特征與人臉特征進行對比，從而判斷某一區(qū)域是否為人臉?；具^程為建立樣本庫，提取特征，訓(xùn)練分類器，獲取視頻，檢測人臉，人臉跟蹤。

人臉定位與跟蹤使用KTL（Kanade Lucas Tomasi Tracking）算法[6]，算法假設(shè)檢測目標在視頻中只產(chǎn)生小位移，并且目標的灰度變化不大[7]。基于KLT跟蹤算法的過程如圖2所示。

支持向量機（Support Vector Machine，SVM）是一種應(yīng)用統(tǒng)計理論開發(fā)的新的學(xué)習(xí)機器[8]，被廣泛應(yīng)用于數(shù)字識別、人臉檢測識別等領(lǐng)域，是一個具有稀疏性和穩(wěn)健性的分類器，可以進行非線性分類，其核心思想是：首先，將原始數(shù)據(jù)通過某個非線性映射嵌入到合適的高維特征空間中;其次，利用普通線性學(xué)習(xí)器對新空間中的模式進行分析和處理。訓(xùn)練好SVM后就可以根據(jù)相關(guān)特性進行人臉定位。

2.2? 人眼定位方法

KLT算法和支持向量機可得到人臉的相關(guān)特征，面部位置確定后，開始定位眼睛。在眼睛定位時，本文使用Matlab工具箱中的vision包檢測，檢測器使用提琴瓊斯檢測算法和檢測訓(xùn)練分類模型。采用SVM方法采集眼睛樣本和非眼睛樣本，其中，x表示眼睛向量，通過多次訓(xùn)練得到分類向量W和常數(shù)b。對眼睛進行檢測的公式[9]為：

若f（x）的值大于0，則表示此模塊為眼睛模塊。

眼睛跟蹤同樣使用KLT算法，但是當(dāng)相鄰兩幀的圖像中眼睛位移偏大或特征點被遮擋時，眼睛可能會跟蹤失敗。對此，將在下一步的研究學(xué)習(xí)中進行相關(guān)算法的改進。

3? ? 眼睛狀態(tài)識別與疲勞判斷

為了檢測駕駛員的疲勞程度，先要識別駕駛員的眼睛狀態(tài)，即判斷眼睛的睜閉情況。本文主要采用模板匹配法進行眼睛狀態(tài)的識別，并與眨眼頻率相結(jié)合的方法對駕駛員疲勞狀態(tài)進行檢測。

3.1? 眼睛狀態(tài)識別方法

模板匹配法給出了眼睛的3個狀態(tài)模板，分別是“睜”“閉”“半睜半閉”模板，還包括定義好的固定狀態(tài)模板。處理視頻流后，系統(tǒng)會把采集到的眼睛模塊與固定模板進行比較，以模板相似度的最大值來決定眼睛的狀態(tài)。此外，還有一種更靈活的可變模板，可以根據(jù)不同圖像生成不同的狀態(tài)模板，識別更準確，但是過程比較復(fù)雜，可進行更深入的研究。模板匹配計算相關(guān)系數(shù)[10]的公式如下：

其中，T為模板，S為待搜索圖像。式中第二項反映了模板與圖像的相關(guān)性，當(dāng)模板與圖像匹配時，該項有最大值。將其歸一化，得到的相關(guān)系數(shù)如下。

當(dāng)模板與圖像匹配時，找出R的最大值，其對應(yīng)的S（i，j）為匹配目標。

眼睛的閉合程度可以通過邊緣復(fù)雜度法來計算，先要進行邊緣提取。本文采用Sobel 算子[11]，本質(zhì)是反映相鄰或相距一定距離的像素點的灰度差異特征，可得到邊緣的梯度方向信息，具有較強抑制噪聲的能力，計算簡單，易于實現(xiàn)。計算眼睛邊緣復(fù)雜度公式如下：

其中，含左右眼睛的圖像大小為 m×n，b（i， j）為二值圖中的 0或1，a，b為調(diào)整權(quán)重。如果眼睛區(qū)域復(fù)雜度較大，說明眼睛為開眼，否則為閉眼。

3.2? 判定疲勞算法

眨眼是眼睛從睜開到閉合再睜開的過程。正常情況下，人的眼睛每分鐘10～15次，平均眨眼間隔4～5 s，眨眼持續(xù)時間在大多數(shù)情況下都可以有效判斷疲勞[12]。基于眼睛狀態(tài)識別，可以判斷出每幀圖像眼睛的睜閉狀態(tài)。當(dāng)前后兩幀圖像左右眼的狀態(tài)相同，且分別為睜眼和閉眼時，可以定義為進行了一次眨眼。在1 min的時間內(nèi)統(tǒng)計眨眼次數(shù)n，計算頻率m，與定義好的閾值T進行比較。

4? ? 研究結(jié)果

4.1? 特征提取與睜閉眼的識別結(jié)果

基于相關(guān)人臉檢測與跟蹤算法，運行后的仿真結(jié)果如圖3所示。在實際使用過程中，劉海和眼鏡邊框等相關(guān)因素會對眼部特征的提取產(chǎn)生影響，可能還會出現(xiàn)使用者面部側(cè)偏等情況。

4.2? 疲勞狀態(tài)判斷

本課題在PC機上進行了仿真模擬，利用攝像頭采集實驗者圖像，進行人臉以及眼睛的識別定位，通過相關(guān)算法判別眼睛的狀態(tài)并計算眨眼頻率，從而判斷使用者是否處于疲勞狀態(tài)。圖4為實現(xiàn)仿真分析的程序界面。

5? ? 結(jié)語

為了完成基于眨眼檢測的駕駛員疲勞檢測技術(shù)的實現(xiàn)，本文做了大量的調(diào)查研究工作，學(xué)了各種相關(guān)知識與算法。利用攝像頭采集實驗者圖像，之后進行人臉以及眼睛的識別定位，通過相關(guān)算法判別眼睛的狀態(tài)并計算眨眼頻率，從而判斷使用者是否處于疲勞狀態(tài)。

[參考文獻]

[1]郝王蕾.基于人眼特征的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽：東北大學(xué)，2011.

[2]黃雄.基于人眼檢測的疲勞駕駛預(yù)警研究[D].蕪湖：安徽工程大學(xué)，2015.

[3]PHILIPPA H G，NATHANIEL S M，IAN J，et al.Investigating driver fatigue in truck crashes：trial of a systematic methodology[J].Transportation Research Part F：Psychology and Behaviour，2005（1）：112-114.

[4]李峰，曾超，徐向東.駕駛防瞌睡裝置中人眼快速定位方法研究[J].光學(xué)儀器，2002（4）：70-72.

[5]王華容.道路交通心理學(xué)中的眼動研究[C].北京：第八次全國心理衛(wèi)生學(xué)術(shù)大會論文匯編，2015.

[6]陳瑜，李錦濤，徐軍莉，等.基于眼動特征的駕駛員疲勞預(yù)警系統(tǒng)設(shè)計[J].軟件導(dǎo)刊，2020（3）：1-4.

[7]趙團.基于計算機視覺的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽：東北大學(xué)，2010.

[8]宋普云.虹膜識別系統(tǒng)與支持向量機算法研究[D].天津：河北工業(yè)大學(xué)，2003.

[9]謝秀珍.基于機器視覺的駕駛員疲勞檢測研究[D].長沙：中南大學(xué)，2010.

[10]郝王蕾.基于人眼特征的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽：東北大學(xué)，2011.

[11]ZHICHAO T，HUABIAO Q.Real-Time Drivers Eye State Detection[J].IEEE，2005（4）：285-289