駕駛員疲勞檢測(cè)技術(shù)的算法設(shè)計(jì)與硬件實(shí)現(xiàn)

姜思羽，吳 斌，邱少健，羊梅君

(華南理工大學(xué)廣州學(xué)院，510800廣州)

隨著汽車數(shù)量的不斷增加，一方面給人們的生活帶來了便利，同時(shí)也引發(fā)了許多問題，汽車駕駛安全成為世界性的問題.疲勞駕駛已經(jīng)成為交通事故的嚴(yán)重隱患，在這樣嚴(yán)峻的交通事故形勢(shì)下，人們?cè)絹碓蕉嗟仃P(guān)注汽車的安全問題.2000年，美國(guó)Ellison Research Labs實(shí)驗(yàn)室利用檢測(cè)車道標(biāo)志線的方式來判定駕駛員是否疲勞［1］.2002年日本電腦便民公司通過安裝在方向盤上的探測(cè)裝置來獲取手握方向盤時(shí)的脈搏跳動(dòng)信息，再利用軟件進(jìn)行實(shí)時(shí)分析判斷駕駛員是否疲勞［2］.美國(guó)研制的駕駛員疲勞檢測(cè)系統(tǒng)通過獲取駕駛員煩躁不安的情緒活動(dòng)、眨眼的頻率和眼睛閉合的持續(xù)時(shí)間等疲勞數(shù)據(jù)，來判斷駕駛員是否在打瞌睡或已睡著［3］.在國(guó)內(nèi)，2000年，上海交通大學(xué)通過傳感器檢測(cè)駕駛員駕駛時(shí)方向盤、踏板等運(yùn)動(dòng)參數(shù)來提高駕駛員的行車安全，發(fā)現(xiàn)方向盤的操縱情況與駕駛員的疲勞程度之間具有一定的關(guān)聯(lián)性［4］.2003年，吉林大學(xué)交通學(xué)院的王榮本等［5］研究用眼睛和嘴部狀態(tài)來檢測(cè)駕駛疲勞.2006年，同濟(jì)大學(xué)道路與交通工程教育部重點(diǎn)試驗(yàn)室通過記錄瞳孔直徑變化來進(jìn)行疲勞駕駛檢測(cè).

上述研究主要存在接觸式檢測(cè)方式對(duì)駕駛員產(chǎn)生一定的影響，檢測(cè)準(zhǔn)確率不高等問題.針對(duì)當(dāng)前研究存在的問題，本文提出了一種非接觸式的駕駛員疲勞駕駛檢測(cè)方法，通過對(duì)駕駛員面部圖像的檢測(cè)可以判斷駕駛員是否處于疲勞狀態(tài)，若系統(tǒng)認(rèn)定駕駛員已經(jīng)疲勞則會(huì)以語(yǔ)音的方式提醒駕駛員，有效地減少交通事故，提高交通的安全性［1］.

駕駛員疲勞駕駛檢測(cè)技術(shù)軟件算法的基本思路是:監(jiān)測(cè)駕駛員眼睛的活動(dòng)狀態(tài)，如果駕駛員的眼睛連續(xù)閉合時(shí)間超過2 s以上，則根據(jù)PROCELS方法，可以判定駕駛員已經(jīng)出現(xiàn)疲勞癥狀，此時(shí)必須對(duì)駕駛員做出提醒.PERCLOS方法是1994年卡內(nèi)基梅隆研究所提出的，指的是根據(jù)單位時(shí)間眼睛閉合時(shí)間所占的比例來判斷是否出現(xiàn)疲勞，在駕駛員疲勞檢測(cè)領(lǐng)域具有良好的應(yīng)用基礎(chǔ)［6］.

軟件算法的設(shè)計(jì)流程如圖1所示［7］.

圖1 軟件的設(shè)計(jì)流程

1 訓(xùn)練樣本和圖像采集

1.1 樣本訓(xùn)練學(xué)習(xí)

1)采集訓(xùn)練樣本圖像，將人眼閉合的圖像作為訓(xùn)練正樣本，而將非疲勞時(shí)的人臉圖像作為訓(xùn)練負(fù)樣本，構(gòu)成圖像訓(xùn)練樣本集，每幅圖像均有256個(gè)灰度級(jí)，系統(tǒng)訓(xùn)練的正樣本數(shù)為12 500個(gè)，負(fù)樣本數(shù)為21 500個(gè)，神經(jīng)網(wǎng)絡(luò)的層數(shù)為3層.

2)將圖像轉(zhuǎn)化為一維向量，并定義“瞌睡狀”為1類眼部特征，“非瞌睡狀”為-1類眼部特征.因此第i個(gè)樣本圖像的一維向量xi可以表達(dá)為

式中:xij表示1類第i個(gè)樣本第j個(gè)像素灰度值;i= 1，2，…，n為1類眼部樣本;m為每個(gè)樣本圖像所取像素，m=u×v，u和v分別為樣本圖像的列和行像素?cái)?shù).

3)訓(xùn)練樣本特征值及特征向量計(jì)算.計(jì)算疲勞時(shí)樣本的均值，稱為疲勞眼部平均圖，計(jì)算方法如式(1)所示:

對(duì)上述訓(xùn)練樣本進(jìn)行規(guī)范化后可以表達(dá)為

由訓(xùn)練樣本組成的疲勞眼部規(guī)范化向量

疲勞眼部協(xié)方差矩陣為

利用式(2)求取Q的特征值λ1及其特征向量，并將其從大到小重新排列后生成特征向量

式中λ1≥λ2≥λ3≥….

4)對(duì)訓(xùn)練樣本進(jìn)行線性變換后投影到特征空間.由于較大的特征值對(duì)應(yīng)的特征向量包含了較多的人臉眼部特征信息，因此可以選取前s個(gè)較大的特征值所對(duì)應(yīng)的特征向量構(gòu)成的向量空間，就可以近似地表示人臉眼部圖像的主要信息［8］.

對(duì)于圖像庫(kù)中的n個(gè)圖像

都可以向此特征空間投影，得到投影向量

因此，可以直接用ˉv來代表1類人臉眼部特征.在建立了人臉眼部特征規(guī)范化向量后，就可以依次作為識(shí)別駕駛員是否疲勞而呈現(xiàn)瞌睡狀的依據(jù).

1.2 在線實(shí)時(shí)識(shí)別方法

1.2.1 圖像增強(qiáng)

利用脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network，PCNN)法對(duì)攝像頭采集到的圖像進(jìn)行增強(qiáng)，PCNN與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有著根本的不同，其能從復(fù)雜背景下提取有效信息，具有同步脈沖發(fā)放和全局耦合等特性，更符合人類視覺神經(jīng)系統(tǒng)的特征.由于硬限幅函數(shù)的作用，標(biāo)準(zhǔn)的PCNN模型輸出是一個(gè)二值圖像幀.為了使所建立的PCNN輸出映射函數(shù)能更有效地進(jìn)行圖像整體對(duì)比度增強(qiáng)的處理，在人眼視覺特征的基礎(chǔ)上，采用類對(duì)數(shù)映射函數(shù)，將圖像的亮度強(qiáng)度映射到一個(gè)合適的視覺范圍［9］.PCNN輸出映射函數(shù)為

式中:Imax是原圖像中最亮像素點(diǎn)的強(qiáng)度值;Δt為采樣時(shí)間周期，亦即迭代時(shí)間步長(zhǎng)，τθ為時(shí)間常數(shù)，Δt(n-1)/τθ表示PCNN中動(dòng)態(tài)閾值函數(shù)在(n-1)點(diǎn)火時(shí)刻的衰減步長(zhǎng);Yij(n)是神經(jīng)元Nij在n點(diǎn)火時(shí)刻的感知輸出，即為增強(qiáng)圖像的亮度強(qiáng)度［10］.

1.2.2 彩色空間轉(zhuǎn)換

將增強(qiáng)后的圖像進(jìn)行彩色空間轉(zhuǎn)換，即將增強(qiáng)后的數(shù)字圖像從RGB彩色空間轉(zhuǎn)換至HSV彩色空間，轉(zhuǎn)換后的亮度V、飽和度S和色調(diào)H分別表示為

在計(jì)算過程中，如果出現(xiàn)H＜0，則取H'≤H+ 360°，H'為H的實(shí)際取值.

1.2.3 監(jiān)測(cè)駕駛員眼部區(qū)域

首先要確定人臉區(qū)域，在采集到的人臉圖像中，按照像素坐標(biāo)從左到右、從上到下掃描檢測(cè)像素的景物色調(diào)，將人臉區(qū)域與背景區(qū)分開來.在人臉膚色調(diào)集合中，以最接近人臉膚色的色調(diào)值所對(duì)應(yīng)的像素點(diǎn)作為人臉中心點(diǎn)，經(jīng)過人臉區(qū)域搜索結(jié)果，可以確定(ik，jk)為人臉中心位置坐標(biāo)，i表示像素的列坐標(biāo)，j表示像素的行坐標(biāo)，腳標(biāo)表示列數(shù)和行數(shù).以人臉中心點(diǎn)為基點(diǎn)向上擴(kuò)張u行像素和向兩側(cè)各擴(kuò)張v/2列像素，即可獲取u×v的眼部跟蹤區(qū)域［11］.

采用一階預(yù)測(cè)算法作為人臉眼部區(qū)域跟蹤的方法.根據(jù)系統(tǒng)跟蹤到的人臉中心坐標(biāo)(ik，jk)，依次向上擴(kuò)張u行像素和向兩側(cè)各擴(kuò)張v/2列像素，截取u×v的眼部區(qū)域圖像作為帶入測(cè)試樣本.按照訓(xùn)練樣本同樣的方法對(duì)測(cè)試樣本進(jìn)行圖像特征值及其特征向量的計(jì)算.將測(cè)試樣本投影到特征子空間，當(dāng)前u×v的眼部區(qū)域圖像就對(duì)應(yīng)于特征子空間中的一個(gè)點(diǎn)［12］.

把投影到特征子空間中的u×v的眼部區(qū)域測(cè)試圖像與訓(xùn)練圖像逐一進(jìn)行比較，確定待識(shí)別的樣本所屬類別.采用距離分類函數(shù)進(jìn)行分類，判斷駕駛員的狀態(tài)是否疲勞，如果判定駕駛員已經(jīng)疲勞，則通過語(yǔ)音報(bào)警裝置發(fā)出報(bào)警.在軟件測(cè)試過程中，圖2為第19幀圖像，人眼處于正常睜開狀態(tài)，可以看到軟件很好地識(shí)別出人臉和人眼區(qū)域.圖3為測(cè)試的第27幀圖像，被測(cè)試者眼睛閉合，此時(shí)軟件能夠檢測(cè)到人臉區(qū)域，但檢測(cè)不到人眼區(qū)域，判定駕駛員處于疲勞狀態(tài).

圖2 正常狀態(tài)檢測(cè)效果

圖3 疲勞狀態(tài)檢測(cè)效果

2 疲勞駕駛監(jiān)測(cè)裝置的硬件實(shí)現(xiàn)

2.1 疲勞駕駛監(jiān)測(cè)裝置硬件框架

疲勞駕駛裝置的硬件主要由攝像頭、中央處理器以及語(yǔ)音報(bào)警裝置組成.由攝像頭采集駕駛員的面部頭像，輸入至中央處理器進(jìn)行處理，若判斷駕駛員已經(jīng)出現(xiàn)疲勞，則由報(bào)警裝置發(fā)出報(bào)警，提醒駕駛員注意行車安全.圖4為駕駛員疲勞檢測(cè)裝置硬件框架圖，其中CCS為DSP系列芯片的編譯開發(fā)環(huán)境，JTAG仿真器主要作用是將程序燒入至DSP電路板中.

圖4 疲勞駕駛檢測(cè)裝置硬件框架圖

駕駛員疲勞駕駛檢測(cè)裝置的處理流程是:首先由攝像頭采集駕駛員的面部圖像，攝像頭輸出的數(shù)據(jù)流格式為PAL制式，數(shù)據(jù)流經(jīng)過視頻解碼芯片SAA7113H的解碼，得到標(biāo)準(zhǔn)的BT.656并行數(shù)據(jù).再將數(shù)據(jù)輸送到DSP芯片當(dāng)中，提取其中的YCbCr數(shù)據(jù)并存儲(chǔ)在內(nèi)部的緩沖器中，然后將數(shù)據(jù)傳輸?shù)酵饨拥腟DRAM中，在DSP處理數(shù)據(jù)之前，SDRAM中的數(shù)據(jù)會(huì)被調(diào)入到 DSP的RAM中［13］.

1)圖像采集裝置——攝像頭.要求攝像頭能夠清晰、準(zhǔn)確地采集駕駛員的面部圖像，并且外部對(duì)光照條件的適應(yīng)性很好，不出現(xiàn)曝光等現(xiàn)象.另外，國(guó)家規(guī)定紅外線不能一直對(duì)著人眼照射，所以攝像頭應(yīng)該是不帶紅外，但是要在夜間也能夠采集到清晰的人臉圖像，攝像頭采用12 V供電.

為了連接牢固、可靠，攝像頭與DSP主機(jī)之間采用4端口的工業(yè)端子相連，分別是電源、接地、視頻信號(hào)、接地.

2)中央處理器:本次采用的中央處理器芯片為DSP系列的TMS320DM642，其顯著特點(diǎn)是運(yùn)算效率高、處理速度快.

3)語(yǔ)音報(bào)警裝置:當(dāng)檢測(cè)到駕駛員疲勞時(shí)通過語(yǔ)音報(bào)警的方式提醒駕駛員注意行車安全.

2.2 電源管理系統(tǒng)設(shè)計(jì)

疲勞駕駛監(jiān)測(cè)裝置由汽車點(diǎn)煙器提供12 V電壓.攝像頭工作電壓為12 V，而TMS320DM642芯片的工作電壓需要5 V、3.3 V以及1.4 V等，控制語(yǔ)音報(bào)警芯片的單片機(jī)STC12LE5A60S2工作電壓也為3.3 V，所以控制器需要電源管理系統(tǒng).圖5為12 V到5 V電壓轉(zhuǎn)換電路，圖6和圖7分別為5 V、3.3 V和1.4 V的電壓轉(zhuǎn)換電路［14］.

圖5 汽車點(diǎn)煙器12 V到5 V電壓轉(zhuǎn)換電路

圖6 5 V到3.3 V電壓轉(zhuǎn)換電路

圖7 5 V到1.4 V電壓轉(zhuǎn)換電路

2.3 圖像存儲(chǔ)與結(jié)果輸出

2.3.1 外部存儲(chǔ)器SDRAM

因?yàn)橄到y(tǒng)需要不斷地實(shí)時(shí)處理大量的圖片，而DSP的片內(nèi)存儲(chǔ)容量往往不夠，本次采用兩片MT48LC4M32B2-7作為 DSP芯片的外部SDRAM，TMS320DM642通過 EMIF(external memory interface)接口來訪問和管理外部SDRAM，并且選擇合適的讀寫策略來降低SDRAM的功耗，MT48LC4M32B2-7的工作電壓亦為3.3 V［15］.

2.3.2 判定結(jié)果的輸出

TMS320DM642通過 GPIO口與單片機(jī)STC12LE5A60S2連接，當(dāng)DSP判定駕駛員已經(jīng)出現(xiàn)疲勞時(shí)，則通過GPIO口給STC12LE5A60S2單片機(jī)的INT0和INT1外部中斷，告知駕駛員已經(jīng)疲勞，再由STC12LE5A60S2單片機(jī)控制語(yǔ)音芯片發(fā)出報(bào)警，本次選用的報(bào)警芯片是TH040，其工作原理是向芯片發(fā)送不同的脈沖數(shù)，語(yǔ)音芯片會(huì)播報(bào)不同的聲音片段，工作電壓為3.3 V，其電路如圖8所示.

圖8 語(yǔ)音芯片TH040外部電路

為了使系統(tǒng)能夠適合不同的人群，在電路上設(shè)計(jì)了一個(gè)旋轉(zhuǎn)電位器，可以旋轉(zhuǎn)至8個(gè)檔位，代表8個(gè)不同的靈敏度，檢測(cè)駕駛員疲勞狀態(tài)的靈敏度依次從低到高［10］.

2.3.3 電路板的PCB布線

由于電路板上要走高頻信號(hào)線，所以抗干擾設(shè)計(jì)是電路板設(shè)計(jì)的一個(gè)重點(diǎn)，注意信號(hào)線之間的最小間隙和信號(hào)線的走向，本次設(shè)計(jì)布線分為6層.

3 測(cè) 試

3.1 攝像頭測(cè)試

由于訓(xùn)練樣本采用的是一定規(guī)格大小的正負(fù)樣本，因此要求攝像頭采集的人臉大小與訓(xùn)練樣本基本一致，攝像頭鏡頭的焦距決定了人臉與攝像頭之間的距離，根據(jù)駕駛員實(shí)際的座位情況以及疲勞駕駛監(jiān)測(cè)裝置攝像頭的安裝位置，合理選擇攝像頭鏡頭的焦距，本次系統(tǒng)選擇焦距為8 mm的鏡頭，經(jīng)測(cè)試其有效距離為30～150 cm，可以很好地滿足實(shí)際使用情況.并且為了避免紅外線對(duì)人眼的直接照射，選擇不帶紅外但是具有夜視效果的攝像頭［16］.

3.2 主機(jī)效果測(cè)試

經(jīng)過加工、測(cè)試將電路板制作出來之后，分別向TMS320DM642和STC12LE5A60S2芯片中燒入程序，置于實(shí)車上，由汽車點(diǎn)煙器提供12 V電源，將攝像頭安裝在汽車的太陽(yáng)擋板上，進(jìn)行測(cè)試.實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的系統(tǒng)可以很好地滿足實(shí)際使用條件，在白天以及夜間均能對(duì)駕駛員的疲勞狀態(tài)做出正確的反應(yīng)，誤報(bào)率低于1%.圖9為樣機(jī)實(shí)車測(cè)試圖.

圖9 樣機(jī)實(shí)車測(cè)試

4 結(jié)論

1)對(duì)大量正負(fù)樣本進(jìn)行訓(xùn)練，提取特征，可以很好地表達(dá)人臉和人眼，通過得到的向量空間判定測(cè)試圖像準(zhǔn)確率高.

2)脈沖耦合神經(jīng)網(wǎng)絡(luò)符合人類視覺特征，通過圖像增強(qiáng)、彩色空間轉(zhuǎn)換以及眼部區(qū)域跟蹤等措施，有利于圖像的處理與識(shí)別.

3)TMS320DM642硬件平臺(tái)的運(yùn)算和處理能力滿足系統(tǒng)的要求，攝像頭的安裝位置和焦距的選擇對(duì)測(cè)試效果影響顯著，本系統(tǒng)當(dāng)鏡頭焦距為8 mm時(shí)效果最好.

［1］LEE J D，MCGEEHEE D V，BROWN T L，et al. Collision warning timing，driver distraction，and driver response to immient rear-end collision in a high-fidelity driving simulator［J］.Human Factors，2002，44(2): 314-334.

［2］YANG M H，KRIEGMAN D，AHUJA N.Detecting faces in images:A survey［J］.Transactions on Pattern Analysis and Machine Intelligence，2002，24(1):34-58.

［3］WANG Qiong，YANG Jingyu，REN Mingwu，et al. Driver fatigue detection［C］//A Survey Proceedings of the 6th World Congress on Intelligent Control and Automation.Dalian，China:［s.n.］，2006:8587-8591.

［4］石堅(jiān)，吳遠(yuǎn)鵬，卓斌，等.汽車駕駛員主動(dòng)安全性因素的辨識(shí)與分析［J］.上海交通大學(xué)學(xué)報(bào)，2000(4): 381-385.

［5］王榮本，郭克友.適用駕駛員疲勞狀態(tài)監(jiān)測(cè)的人眼定位方法研究［J］.公路交通科技，2003，20(5):111.

［6］ Socity of Automotive Engineers.Intelligent vehicle initiative technology and navigation systems［M］. Virginia:SocietyofAutomotiveEngineers，2001: 101-107.

［7］FREUND Y，SCHAPIRE R.A Short Introduction to Boosting［J］.Journal of Japanese Society for Artificial Intelligence，1999，14(5):771-780.

［8］張秀彬，應(yīng)俊豪.汽車智能化技術(shù)原理［M］.上海:上海交通大學(xué)出版社，2011:112-120.

［9］張志.全景視覺大圖像的分割及圖像增強(qiáng)［D］.哈爾濱:哈爾濱工程大學(xué)，2009.

［10］石美紅，李永剛，張軍英，等.一種新的彩色圖像增強(qiáng)方法［J］.計(jì)算機(jī)應(yīng)用，2004，24(10):69-74.

［11］LIENHART R，KURANOV A，PISAREVSKY V. Empirical analysis of detection cascades of boosted classifiers for rapid object detection［C］//Proceedings of the 25th German pattern recognition Symposium. Heideburg:Springer，2003:297-304.

［12］JIANG Libiao，WANG Huirong，GAO Shengying，et al. Research of the automotive driver fatigue driving early warning system［C］//2010 3rd International Conference on Computational Intelligence and Industrial Application.Hefei:Intelligent Information Technology Application Association，2010:200-203.

［13］王鵬程.汽車駕駛員疲勞駕駛預(yù)警裝置設(shè)計(jì)及實(shí)驗(yàn)研究［D］.威海:哈爾濱工業(yè)大學(xué)(威海)，2011.

［14］Texas Instrument.TMS320DM642 Evaluation Module Technical Reference［S］.Dallas:Texas Instrument，2003:27-31.

［15］Texas Instrument.TMS320DM642 Video/Imaging Fixed-Point DigitalSignalProcessor［S］.Dallas:Texas Instrument Inc，2002:78-84.

［16］MAY J F，BALDWIN C L.Driver fatigue:the importance of identifying causal factors of fatigue when considering detection and countermeasure technologies［J］. Transportation Research，2009(12):218-224.