基于外周生理信號(hào)的疲勞駕駛監(jiān)測(cè)研究＊

莫澤坤，徐逸峰，蔣麒憬，張晨曦，陳蘭嵐

（華東理工大學(xué)信息科學(xué)與工程學(xué)院自動(dòng)化系，上海 200237）

前言

隨著汽車產(chǎn)量的上升以及在日常生活中的普及，交通事故也越發(fā)頻繁。2016年，全國(guó)民用汽車保有量為19440萬(wàn)輛，而道路交通事故萬(wàn)車死亡人數(shù)為2.1人。換言之，近4萬(wàn)人在2016年因交通事故而死亡[1]。作為交通事故重要原因之一的駕駛疲勞，也成為了人們關(guān)注的主題。然而由于疲勞的起因復(fù)雜、疲勞特征個(gè)體差異大[2]等緣故，至今沒(méi)有一些成熟的疲勞狀態(tài)監(jiān)測(cè)方法，為交通事故埋下了嚴(yán)重的隱患。

近年來(lái)，計(jì)算機(jī)技術(shù)、傳感器技術(shù)、人工智能技術(shù)的飛速發(fā)展讓駕駛環(huán)境實(shí)時(shí)監(jiān)控不再遙不可及，越來(lái)越多的科研工作者和機(jī)構(gòu)開(kāi)始致力于研究能夠?qū)崟r(shí)監(jiān)測(cè)駕駛員生理信號(hào)并判斷精神狀態(tài)的方法，以作為安全駕駛的輔助系統(tǒng)。

現(xiàn)有的研究成果主要分為對(duì)駕駛員監(jiān)測(cè)與對(duì)車輛監(jiān)測(cè)。對(duì)駕駛員監(jiān)測(cè)的研究，主要有眼部圖像識(shí)別[3]及面部表情識(shí)別[4]。對(duì)車輛監(jiān)測(cè)的研究則主要針對(duì)方向盤的轉(zhuǎn)角情況進(jìn)行[5]。此外，研究表明[6]，利用接觸式傳感器檢測(cè)人體外周生理信號(hào)對(duì)疲勞機(jī)理和表征的研究也是可行的。

本文對(duì)外周生理信號(hào)進(jìn)行采集、預(yù)處理、提取特征之后；第一步，依據(jù)實(shí)驗(yàn)記錄選取了典型清醒疲勞樣本，結(jié)合支持向量機(jī)（SVM）研究多特征組合下對(duì)清醒疲勞樣本的區(qū)分效果，并使用準(zhǔn)確度、靈敏度、特異性、受試者工作曲線等指標(biāo)對(duì)分類效果做出評(píng)價(jià)；第二步，本文以典型清醒疲勞樣本作為訓(xùn)練樣本，利用 SVM 對(duì)駕駛狀態(tài)建模，再對(duì)連續(xù)的模擬駕駛過(guò)程進(jìn)行狀態(tài)的判斷。

1 實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)提取

1.1 實(shí)驗(yàn)設(shè)計(jì)

1.1.1 實(shí)驗(yàn)設(shè)備與人員

本次實(shí)驗(yàn)使用了以下生理信號(hào)的傳感器：肌電（EMG）傳感器（貼于實(shí)驗(yàn)者后頸），皮電（GSR）傳感器（固定于右手食指及小指），皮溫（Temp）傳感器（固定于左手食指），血容脈搏（BVP）傳感器（夾于左手小拇指）和呼吸（Resp）傳感器（綁于胸口），各個(gè)信號(hào)的采樣頻率皆為256Hz。此外，本實(shí)驗(yàn)使用了模擬駕駛方向盤與踏板套裝及駕駛模擬軟件進(jìn)行模擬駕駛（圖1）。

圖1 實(shí)驗(yàn)設(shè)備Fig.1 Experimental Equipment

實(shí)驗(yàn)中使用了“ProComp Infiniti”生物反饋編碼器，配合軟件“BioNeuro Infiniti”測(cè)量被試的外周生理信號(hào)。

實(shí)驗(yàn)的被試者為4名在校學(xué)生，平均年齡為22.9±1.2歲，所有被試均為男性，身體健康。實(shí)驗(yàn)旁有1名觀測(cè)者記錄被試情況。

1.1.2 實(shí)驗(yàn)流程

被試者在經(jīng)過(guò)適當(dāng)?shù)男菹⒑箝_(kāi)始模擬駕駛實(shí)驗(yàn)。在實(shí)驗(yàn)開(kāi)始前，被試者將填寫第一張卡羅林斯卡嗜睡表用以主觀判斷被試者的精神狀態(tài)，卡羅林斯卡嗜睡表是一種嗜睡程度自評(píng)量表，用以被試主觀評(píng)價(jià)當(dāng)前疲勞程度。之后，被試者進(jìn)行約2小時(shí)的模擬駕駛，休息15分鐘并填寫第二張卡羅林斯卡嗜睡表，再繼續(xù) 0.5小時(shí)的駕駛作為對(duì)照實(shí)驗(yàn)。在總計(jì)長(zhǎng)達(dá)3小時(shí)左右的實(shí)驗(yàn)后，被試者結(jié)束駕駛并填寫第三張卡羅林斯卡嗜睡表。

在實(shí)驗(yàn)進(jìn)行時(shí)，觀測(cè)者會(huì)在旁邊觀察被試者，記錄被試者各種疲勞狀態(tài)（車輛事故、呼吸沉重、眨閉眼變多等）的時(shí)間點(diǎn)，及時(shí)將被試者的狀態(tài)記錄于被試狀態(tài)記錄表。同時(shí)，生物反饋傳感器將被試者皮電、血容、皮溫、呼吸和肌電的原始數(shù)據(jù)記錄于計(jì)算機(jī)（圖3）。

1.1.3 樣本選取

結(jié)合被試狀態(tài)記錄表與卡羅林斯卡嗜睡表，實(shí)驗(yàn)相對(duì)準(zhǔn)確、合理地判斷出駕駛者的疲勞時(shí)間段和清醒時(shí)間段，并考慮駕駛初始階段被試調(diào)整動(dòng)作較大對(duì)信號(hào)造成的干擾、等待被試狀態(tài)鎮(zhèn)靜等因素最終選取了每名被試在開(kāi)始駕駛后10-20分鐘、以及行駛至100-110分鐘數(shù)據(jù)分別作為清醒和疲勞狀態(tài)的典型樣本。即圖3中虛線框所示。

圖3 原始數(shù)據(jù)Fig.3 Raw Data

此樣本將作為短時(shí)駕駛樣本進(jìn)行分類，研究特征指標(biāo)對(duì)清醒疲勞狀態(tài)的區(qū)分效果，并在對(duì)連續(xù)駕駛過(guò)程進(jìn)行狀態(tài)識(shí)別中作為SVM訓(xùn)練集，研究經(jīng)訓(xùn)練后的SVM對(duì)駕駛?cè)痰谋辉嚑顟B(tài)識(shí)別效果。

1.2 數(shù)據(jù)預(yù)處理

原始信號(hào)通常帶有較多噪音，因而，在進(jìn)一步處理前，首先需要進(jìn)行濾波處理。

實(shí)驗(yàn)所采用的濾波器是巴特沃斯數(shù)字低通濾波器。濾波器的截止頻率應(yīng)保證所用的頻段范圍內(nèi)信號(hào)能無(wú)失真通過(guò)，對(duì)于之外的噪音信號(hào)則盡可能濾除。因而，考慮到一定裕度，GSR信號(hào)截止頻率為5Hz；EMG信號(hào)截止頻率為 127Hz；Resp信號(hào)截止頻率為 10Hz；BVP信號(hào)截止頻率為 10Hz；Temp信號(hào)變化較為緩慢，無(wú)需濾波。圖4為EMG信號(hào)濾波前后波形圖，虛線波形較為紊亂，為EMG的原始波形圖，而波形較為光滑的實(shí)線圖為濾波后的波形圖。由圖4可以看出，濾波后的效果顯著，易于之后的特征提取與分析。

圖4 信號(hào)濾波處理Fig.4 The Processing of Signal Filtering

2 特征提取與狀態(tài)識(shí)別方法

2.1 特征提取

實(shí)驗(yàn)主要提取了 BVP信號(hào)的頻域、時(shí)域及心率變異性（Heart Rate Variability, HRV）指標(biāo)；對(duì)EMG、GSR、Resp信號(hào)進(jìn)行了頻域與時(shí)域上的特征指標(biāo)提??；對(duì)Temp則提取了時(shí)域指標(biāo)。時(shí)域參數(shù)主要包括均值、標(biāo)準(zhǔn)差、均方根、最大最小值。頻域參數(shù)主要包括各個(gè)頻段的功率譜密度和以及它們之間的比值關(guān)系。BVP信號(hào)還計(jì)算了四個(gè)和HRV相關(guān)的特征。HRV是指竇性心律在一定時(shí)間內(nèi)周期性改變的現(xiàn)象。HRV能夠有效反映腦力和體力的疲勞狀況，能夠作為檢測(cè)疲勞駕駛的指標(biāo)[7]。實(shí)驗(yàn)提取的指標(biāo)具體如表 1所示。通過(guò)對(duì)原始數(shù)據(jù)點(diǎn)進(jìn)行運(yùn)算，可以獲得信號(hào)時(shí)域上的特征，而獲取頻域上的特征則需首先將信號(hào)變換至頻域信號(hào)。為此，實(shí)驗(yàn)對(duì)原始信號(hào)進(jìn)行了快速傅里葉變換（FFT）處理。FFT是一種對(duì)離散數(shù)據(jù)快速變換至頻域的算法，能夠極大減少離散傅里葉變換的運(yùn)算量[8]。

計(jì)算 HRV相關(guān)參數(shù)的關(guān)鍵是獲取心跳的RR間期。而BVP可反映心跳情況（其波形如圖5所示），通過(guò)提取BVP波形的RR間期數(shù)據(jù)，即可計(jì)算HRV相關(guān)參數(shù)。

圖5 BVP波形圖Fig.5 The Waveform of BVP

數(shù)據(jù)處理后，將進(jìn)一步驗(yàn)證通過(guò)分析外周生理電信號(hào)能否區(qū)分被試的清醒疲勞狀態(tài)，并尋找區(qū)分效果較好的特征指標(biāo)。

表1 不同信號(hào)提取的參量Table1 The Features of the Signal

2.2 特征樣本處理

實(shí)驗(yàn)將每名被試的10分鐘清醒和10分鐘疲勞原始數(shù)據(jù)片段進(jìn)行提取，以100秒為一個(gè)窗口長(zhǎng)度，10秒為步長(zhǎng)計(jì)算特征，產(chǎn)生共120個(gè)特征樣本點(diǎn)。4名被試構(gòu)建的數(shù)據(jù)集共有清醒特征樣本、疲勞特征樣本各240個(gè)。

實(shí)驗(yàn)接著對(duì)特征樣本進(jìn)行線性歸一化處理以縮小個(gè)體差異帶來(lái)的誤差，然后在特征空間中尋找清醒疲勞數(shù)據(jù)值差異明顯的特征，即該特征能夠較為明顯地區(qū)分清醒疲勞狀態(tài)。

歸一化是一種無(wú)量綱處理手段，使實(shí)際的絕對(duì)數(shù)值轉(zhuǎn)換為相對(duì)值進(jìn)行比較，歸一化后的所有數(shù)據(jù)取值范圍均在[0,1]。實(shí)驗(yàn)使用線性函數(shù)進(jìn)行歸一化轉(zhuǎn)換，公式如下：

式中：X，Y分別是歸一化前后的數(shù)據(jù)值，Xmax、Xmin分別是歸一化前每個(gè)特征的樣本最大值和最小值。

2.3 使用SVM進(jìn)行分類

支持向量機(jī)（Support Vector Machine，SVM）是一種可以訓(xùn)練的機(jī)器學(xué)習(xí)方法。分類的過(guò)程是將樣本空間映射到一個(gè)高維的特征空間中，并在特征空間中構(gòu)造最優(yōu)分割超平面，此超平面不但能將兩類特征分開(kāi)，且使分類間隔最大，使得學(xué)習(xí)機(jī)得到全局最優(yōu)化[9]。

分類首先將樣本點(diǎn)混合后隨機(jī)分成8組，再使用留一法進(jìn)行8次交叉驗(yàn)證。留一法實(shí)驗(yàn)方式是將樣本數(shù)據(jù)分成訓(xùn)練集和測(cè)試集，每次驗(yàn)證將7組作為訓(xùn)練集，1組作為測(cè)試集，使用SVM對(duì)測(cè)試集進(jìn)行分類。最后用8次分類結(jié)果的平均值衡量分類效果。

2.4 評(píng)價(jià)SVM分類效果

對(duì) SVM 分類效果的評(píng)判主要通過(guò)以下指標(biāo)判斷：準(zhǔn)確度、靈敏度、特異性、AUC。

準(zhǔn)確度、靈敏度、特異性的計(jì)算主要依靠真陽(yáng)率、真陰率、假陽(yáng)率、假陰率。

真陽(yáng)率（tp）為SVM正確判斷清醒狀態(tài)的概率；假陽(yáng)率（fp）為SVM將實(shí)際疲勞狀態(tài)誤判為清醒的概率；真陰率（tn）為SVM正確判斷疲勞狀態(tài)的概率；假陰率（fn）為SVM將實(shí)際清醒狀態(tài)誤判為疲勞的概率。

準(zhǔn)確度計(jì)算：

靈敏度計(jì)算：

特異性計(jì)算：

受試者工作特征曲線(ReceiverOperating Characteristic curve, ROC)可以評(píng)估兩類分類算法的性能。ROC曲線描繪的是診斷中敏感性和特異性之間的制約關(guān)系，能夠更全面客觀的對(duì)分類系統(tǒng)進(jìn)行評(píng)估[10]。AUC為ROC曲線所圍成的面積大小，AUC越大，則表明分類機(jī)分類效果越好。

實(shí)驗(yàn)繪制了 ROC曲線并計(jì)算了相應(yīng)的 AUC值來(lái)評(píng)判SVM通過(guò)特征對(duì)駕駛者狀態(tài)分類的效果。

3 實(shí)驗(yàn)結(jié)果

3.1 多特征區(qū)分結(jié)果

為了觀測(cè)多維特征對(duì)駕駛狀態(tài)的區(qū)分效果，特在三維特征空間里對(duì)清醒、疲勞樣本進(jìn)行區(qū)分，如圖6所示，該圖中選擇了如下三個(gè)特征：Resp均值(fea.1)、GSR 0-1.2Hz功率密度和(fea.2)、Temp最小值(fea.3)并進(jìn)行繪制。圖6表明使用這三個(gè)特征能夠非常明顯地區(qū)分清醒與疲勞狀態(tài)樣本點(diǎn)，而來(lái)自外周生理信號(hào)的其他特征組合也能夠在一定程度上對(duì)被試的清醒與疲勞狀態(tài)加以區(qū)分。

圖6 在三維特征空間中的狀態(tài)區(qū)分效果Fig.6 The Effect of Classificationin Three-dimensional Feature Space

3.2 SVM分類結(jié)果

SVM分類的性能評(píng)價(jià)如表2所示?？梢?jiàn)，對(duì)于單獨(dú)某種信號(hào)特征，SVM能大致區(qū)分出駕駛者的狀態(tài)，但錯(cuò)誤率較高，而使用來(lái)自五類信號(hào)的所有特征(All)進(jìn)行分類，則可以近乎完全準(zhǔn)確地區(qū)分出駕駛者的狀態(tài)。

表2 分類的性能評(píng)價(jià)Table2 The PerformanceEvaluation of Classification

3.3 使用ROC評(píng)價(jià)SVM分類效果

圖7為利用SVM分類機(jī)分別根據(jù)五種信號(hào)單獨(dú)分類及根據(jù)五種信號(hào)組合分類的ROC曲線。根據(jù)這五種特征的ROC曲線及計(jì)算出的AUC，可以發(fā)現(xiàn)ROC評(píng)判結(jié)果與使用正確率對(duì) SVM 分類機(jī)進(jìn)行評(píng)判的結(jié)果相類似，進(jìn)一步證明了使用SVM能夠?qū)π盘?hào)特征進(jìn)行分類進(jìn)而可靠判斷駕駛者狀態(tài)。

圖7 ROC曲線Fig.7 Receiver Operating Characteristic Curve

3.4 使用SVM對(duì)連續(xù)駕駛過(guò)程分類效果

實(shí)驗(yàn)選取一名被試的典型清醒疲勞樣本作為樣本集，使用SVM分類器對(duì)其170分鐘連續(xù)駕駛的信號(hào)特征進(jìn)行分類，研究經(jīng)過(guò)典型樣本訓(xùn)練后的 SVM 能否對(duì)連續(xù)駕駛過(guò)程中的駕駛者狀態(tài)變化做出準(zhǔn)確的判斷。

如圖 8所示，前六條曲線分別為 SVM 根據(jù)相應(yīng)信號(hào)（BVP、EMG、GSR、Resp、Temp及五個(gè)信號(hào)指標(biāo)共同作用（ALL））對(duì)駕駛過(guò)程做出的被試清醒疲勞狀態(tài)區(qū)分情況，1代表被試處于疲勞狀態(tài)，0代表處于清醒狀態(tài)。第七條曲線則為結(jié)合被試狀態(tài)記錄表和卡羅林斯卡嗜睡表所得到的真實(shí)狀態(tài)曲線（Real）。

圖8 基于SVM的駕駛?cè)谭诸愋Ч鸉ig.8 The Classification of Whole Journey via SVM

通過(guò)比較可知，單一特征的分類曲線與真實(shí)狀態(tài)曲線之間有較多的不吻合之處，而總特征分類結(jié)果與實(shí)際狀態(tài)基本一致。

此結(jié)果證實(shí)了通過(guò)生理電信號(hào)的數(shù)據(jù)采集、特征提取與分析，合理使用分類手段，可以準(zhǔn)確評(píng)價(jià)駕駛員的疲勞狀態(tài)。

4 總結(jié)

本文通過(guò)長(zhǎng)時(shí)間模擬駕駛實(shí)驗(yàn)，獲取到被試清醒與疲勞時(shí)的外周生理信號(hào)數(shù)據(jù)，經(jīng)過(guò)后續(xù)的數(shù)據(jù)處理與分析，驗(yàn)證了通過(guò)外周生理信號(hào)特征的某些指標(biāo)或指標(biāo)的組合能夠有效區(qū)分駕駛員在模擬駕駛過(guò)程中清醒與疲勞的狀態(tài)。

實(shí)驗(yàn)通過(guò) SVM 對(duì)典型特征樣本進(jìn)行了分類，并通過(guò)正確率計(jì)算和 ROC曲線對(duì)分類結(jié)果進(jìn)行了評(píng)價(jià)。其證明了SVM分類機(jī)可以較好區(qū)分出清醒疲勞特征樣本，并使用分類機(jī)對(duì)連續(xù)駕駛過(guò)程中駕駛者的狀態(tài)進(jìn)行識(shí)別。其結(jié)果與實(shí)際情況基本相符，證明了本文所提方法在實(shí)際駕駛過(guò)程中具有較好的應(yīng)用價(jià)值。

本文使用的指標(biāo)是常見(jiàn)的時(shí)域及頻域上的指標(biāo)，后續(xù)可以研究特殊或非線性等指標(biāo)對(duì)狀態(tài)的區(qū)分效果。此外，本文并未使用腦電信號(hào)，此后的研究可以引入評(píng)判效果較好的腦電信號(hào)。

參考文獻(xiàn)

[1] 國(guó)家統(tǒng)計(jì)局.中華人民共和國(guó)2016年國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)[R].2017.

[2] 于曉東,基于駕駛?cè)松碇笜?biāo)的駕駛疲勞量化方法研究[D],吉林大學(xué),2015.

[3] 黃春雨,蘇李.基于圖像識(shí)別的疲勞駕駛監(jiān)測(cè)方式研究[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版）,2016,(06)∶102-104+114.

[4] 馬添翼,成波.基于面部表情特征的駕駛員疲勞狀態(tài)識(shí)別[J].汽車安全與節(jié)能學(xué)報(bào),2010,1(3)∶200-204.

[5] 張希波,成波,馮睿嘉.基于方向盤操作的駕駛?cè)似跔顟B(tài)實(shí)時(shí)檢測(cè)方法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版）,2010,50(7)∶1072-1076 +1081.

[6] 楊星星.基于生理信號(hào)的疲勞駕駛風(fēng)險(xiǎn)檢測(cè)方法的研究進(jìn)展[J].中國(guó)醫(yī)學(xué)裝備,2013,10（7）∶ 57-59.

[7] 李增勇,焦昆,陳銘等.汽車駕駛員駕駛過(guò)程中的心率變異性功率譜分析[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2003,(06)∶ 574-576.

[8] 胡麗瑩,肖蓬.快速傅里葉變換在頻譜分析中的應(yīng)用[J].福建師范大學(xué)學(xué)報(bào)（自然科學(xué)版）,2011,27(4)∶27-30.

[9] 劉華煜.基于支持向量機(jī)的機(jī)器學(xué)習(xí)研究[D].大慶石油學(xué)院,2005.

[10] 韋修喜,周永權(quán).基于ROC曲線的兩類分類問(wèn)題性能評(píng)估方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2010,20（11）∶47-50.