基于無線腦電信號分析的實時疲勞駕駛檢測與預(yù)警研究

王 恁，周子敬，趙云芃，郭 浩，陳俊杰

(太原理工大學(xué) a.信息與計算機學(xué)院，b.軟件學(xué)院，c.藝術(shù)學(xué)院，山西 晉中 030600)

隨著汽車數(shù)量的不斷增多，越來越多的交通事故已成為人們?nèi)粘Ｉ钪械囊粋€值得重視的安全問題，并已經(jīng)引起了社會各界和政府的強烈關(guān)注。近期有關(guān)疲勞駕駛的研究表明，駕駛員因疲勞駕駛狀態(tài)下引起交通事故的概率是清醒駕駛狀態(tài)下的4～6倍[1]。當駕駛員處于疲勞駕駛狀態(tài)時，個人專注于駕駛的能力下降，反應(yīng)時間的增加，錯誤操作的增加，可能引發(fā)嚴重交通事故[2]。因此，如能夠及時有效地檢測出駕駛員的駕駛狀態(tài)并使用某種方式預(yù)警，對那些因疲勞駕駛危及生命的機動車駕駛員是一項刻不容緩的工作，對預(yù)防交通事故亦是一個理論價值與現(xiàn)實意義并存的研究課題。

目前，多數(shù)研究利用生理信號來評價疲勞駕駛狀態(tài)具有客觀準確、采集方便等優(yōu)點，其中腦電信號作為檢測疲勞的“金標準”，被認為是最準確、客觀的分析方法之一[3]。各類精神狀態(tài)可以用不同頻率的腦電信號來區(qū)分，如表1所示，低頻波和高頻波對應(yīng)的精神狀態(tài)差別比較大。

表1 腦電信號頻率范圍及精神狀態(tài)Table 1 EEG frequency range and mental state

JAP et al[4]找到了4種算法(θ+α)/β，α/β，(θ+α)/(α+β)，θ/β可用于檢測疲勞的發(fā)生。王海玉等[5]使用各腦電波均幅值和相應(yīng)比值共8項合成指標集成為腦電特征參數(shù)，平均正確率達到89.47%.WANG et al[6]使用(θ+α)/β和θ/β兩個參數(shù)的功率譜密度評價疲勞程度。劉天嬌等[7]使用腦電功率譜的比值R=(θ+α)/β作為檢測疲勞駕駛的指標。裴玉龍等[8]驗證了采用(θ+α)/β作為疲勞駕駛表征指標的有效性。但目前基于腦電信號的疲勞駕駛檢測這一領(lǐng)域還存在很多缺陷與問題，比如無法實現(xiàn)腦電波的實時傳輸，疲勞狀態(tài)的實時檢測與預(yù)警。

本文為解決基于腦電信號的疲勞檢測過程中存在的實時性、預(yù)測性以及駕駛員個體疲勞多樣性的問題，將使用美國NeuroSky公司腦電傳感技術(shù)的TGAM腦電采集模塊，搭配藍牙傳輸模塊實現(xiàn)實時無線傳輸功能。綜合各個腦電信號對人精神狀態(tài)的影響，使用FP1電極專注度與放松度的比值，(α+θ)/β的功率譜密度并結(jié)合眨眼頻率3項特征作為檢測疲勞指數(shù)的參數(shù)，得出3種特征值的疲勞指數(shù)閾值，并使用D-S證據(jù)理論合成算法得出一個綜合疲勞指數(shù)m(θ).整體設(shè)計如圖1所示。

圖1 疲勞檢測整體設(shè)計Fig.1 Overall design of fatigue detection

1 實驗設(shè)計

1.1 實驗方案

30名來自太原理工大學(xué)的本科生及研究生(男22名，女8名)作為本次模擬實驗的被試，年齡在22～28歲之間，均為右利手，身體狀況良好，自愿參加實驗。被試在實驗前48 h內(nèi)保證充足睡眠，禁止食用酒水、咖啡等以及對意識有影響的藥物，并填寫“實驗情況表”，了解本次實驗流程以及科學(xué)可行性。實驗時間確定在15：00-16：30間，在模擬駕駛器內(nèi)進行，要求被試佩戴裝有TGAM模塊和藍牙模塊的腦電耳機，前方設(shè)置高清攝像頭記錄整個實驗過程，連續(xù)駕駛90 min，另有一名記錄人員負責記錄被試的面部特征變化，如打哈欠、點頭、長時間閉眼等。場景選擇為景觀單一的高速公路，長時間直線行駛搭配少量彎道，極易產(chǎn)生疲勞[9]。

1.2 實驗設(shè)備及數(shù)據(jù)采集

主要實驗設(shè)備有：美國NeuroSky公司TGAM腦電信號采集模塊，采樣頻率512 Hz，50～60 Hz的AC交流噪音濾波器，能夠?qū)Σ杉男盘栠M行相應(yīng)的濾波、放大、A/D轉(zhuǎn)換并輸出。具有通過ThinkGear傳感技術(shù)，通過放置在前額的一個傳感器以及放置在耳部的參考電極觸點進行腦電波信號測量，并通過集成芯片對這些信號進行處理。“eSense”是NeuroSky用于以數(shù)字化指數(shù)方式對人的當前精神狀態(tài)進行度量的專利算法?？刹杉凇癳Sense”專利下的專注度指數(shù)和放松度指數(shù)，眨眼次數(shù)，原始腦電信號raw(16位)以及δ波、θ波、αLow波、αHigh波、βLow波、βHigh波的功率譜。各個腦電信號的頻率范圍以及對應(yīng)的精神狀態(tài)如表1所示。模塊配套開發(fā)工具包MindSet Development Tools，連接工具ThinkGear Connector，基于以上兩種工具使用JAVA語言開發(fā)出TGAM模塊通過藍牙模塊連接到數(shù)據(jù)的工具(LinkToMindWave，基于JAVA語言開發(fā)，能夠?qū)崟r分析并存儲數(shù)據(jù)到數(shù)據(jù)庫中)。與傳統(tǒng)的腦電信號采集器相比，具有功耗低、操作方便、便于攜帶等優(yōu)點。還有漳州惠智科技有限公司的汽車駕駛模擬器(智能學(xué)車型，產(chǎn)品型號：CLT-330).

2 專注度與放松度分析

首先，“eSense”專利算法綜合δ波、θ波、α波、β波4種腦電信號，通過加權(quán)算法處理得到專注度(Attention)和放松度(Meditation)兩個指標，均為整數(shù)數(shù)值。周金治等[10]為了提高小樣本腦電信號的分類性能和準確率，采用一種基于相關(guān)系數(shù)分析的特征選擇方法，實驗結(jié)果表明，相關(guān)系數(shù)分析方法能提高分類識別準確率，并在參數(shù)選擇上優(yōu)于傳統(tǒng)分類方法。

專注度和放松度兩者在同一時間段內(nèi)存在著相關(guān)性，所以引用相關(guān)系數(shù)分析方法，公式如下：

(1)

將實驗采集到的90 min的腦電數(shù)據(jù)去掉前后5 min的實驗適應(yīng)和實驗結(jié)束時間，將剩余的80 min腦電數(shù)據(jù)分成480個片段，每個片段為10 s，記為t1～t480.

“eSense”專利算法處理過后的專注度和放松度數(shù)值都在0～100之間(0是一個特殊值，表示由于過度的噪聲而造成的)，默認情況下一秒鐘輸出一次有效數(shù)值，通過對模擬實驗中的數(shù)據(jù)分析，在經(jīng)過簡單的預(yù)處理(如剔除波動較大的數(shù)值和連續(xù)采集為0的數(shù)值等)之后得到如圖2所示的變化曲線，專注度與放松度的區(qū)別還是比較明顯的。圖中，在t120～t150之間，專注度數(shù)值明顯高于放松度，說明在25 min左右，被試集中注意力駕駛，無疲勞駕駛情況；在t330～t390之間專注度數(shù)值明顯小于放松度，說明在55 min左右，被試注意力開始放松，出現(xiàn)疲勞駕駛狀態(tài)，觀察人員也發(fā)現(xiàn)被試出現(xiàn)多余的動作。那么根據(jù)專注度和放松度隨時間的不同變化情況，就可以利用兩參數(shù)的比值變化來評價疲勞程度。

圖2 某被試專注度與放松度變化曲線Fig.2 Curve of concentration relaxation of a subject

本文將專注度與放松度的比值記為aA/M，那么就可以使用比值的大小來評價被試的疲勞程度。如圖3所示，55 min左右之前，aA/M值波動雖然很大，但是該比值還是保持在一個相對平穩(wěn)的區(qū)間內(nèi)；之后，aA/M值下降到0.8以下，同時記錄人員也記錄到被試開始出現(xiàn)打哈欠、點頭等多余動作，即開始出現(xiàn)疲勞駕駛情況；aA/M值最低為0.56，被試已處于疲勞駕駛狀態(tài)，經(jīng)常性出現(xiàn)多余動作來保持清醒。

圖3 專注度與放松度比值的變化曲線Fig.3 Ratio of attention and meditation change curve

3 功率譜密度分析

本文采用功率譜密度分析被試整個模擬駕駛實驗中的功率譜密度變化，并采用3種波的功率譜密度比值作為評價疲勞的指標。

由于采集到的腦電信號θ波(3.5～6.75 Hz)，αLow波(7.5～9.25 Hz),αHigh波(10～11.75 Hz),βLow波(13～16.75 Hz),βHigh波(18～29.75 Hz)是以小字節(jié)序格式輸出為8個3字節(jié)無符號整數(shù)的序列，經(jīng)過TGAM模塊的預(yù)處理，可直接輸出到線性自回歸(AR)模型中，再計算出相應(yīng)的功率譜密度，就可得到(α+θ)/β的變化曲線。

本文使用基于Burg法的AR模型估計法計算腦電信號的功率譜密度(PSD).該方法可由下式表示：

(2)

式中：θ(k)是模型系數(shù)，模型階數(shù)p選擇為10階，w(n)為方差的白噪聲序列，根據(jù)AR參數(shù)[11]的估計，可以計算序列x(n)的功率譜密度：

(3)

根據(jù)FP1電極θ波、αLow波、αHigh波、βLow波、βHigh波的具體數(shù)值，通過式(3)的計算過程處理得到某被試的功率譜密度曲線，如圖4所示，α波，β波和θ波3種波形的功率譜變化趨勢趨于一致，高頻波θ波的功率譜密度要高于另兩個低頻波的功率譜密度，其中各個時間段的α=(αLow+αHigh)/2，β=(βLow+βHigh)/2.根據(jù)3種波的功率譜密度不同的變化情況，進而可以計算出(θ+α)/β的功率譜密度比值cPSD隨時間的變化曲線，如圖5所示。由圖可以看出隨著時間的增加，cPSD的比值也不斷增加，從1.95左右增長到4.5左右。由此可以發(fā)現(xiàn)，在連續(xù)駕駛45 min左右，疲勞指數(shù)即cPSD開始迅速增加；在55～75 min左右，疲勞指數(shù)即cPSD達到最大值區(qū)間(3.32～4.64).這個疲勞時間段也符合前文通過專注度與放松度得出的aA/M指數(shù)判斷疲勞的時間段。因而，基于功率譜密度比值的疲勞指數(shù)cPSD也可以作為評價疲勞的一種指標。

圖4 某被試功率譜密度曲線Fig.4 Power spectrum density curve of a subject

圖5 (α+θ)/β的功率譜密度比值變化曲線Fig.5 (α+θ)/β power spectral density ratio change curve

4 眨眼頻率分析

眨眼頻率可以反映一個人的疲勞程度，是面部特征中最容易檢測到的特征之一，這種方法被普遍應(yīng)用于基于人臉識別的疲勞檢測。“eSense”專利算法中有基于腦電信號的眨眼檢測算法，實時處理眨眼產(chǎn)生的干擾眼電，使腦電信號能夠連續(xù)穩(wěn)定。被試的每次眨眼情況會在系統(tǒng)中記錄眨眼信號，并反應(yīng)在數(shù)據(jù)庫當中，即：眨眼頻率指數(shù)為1，否則為0.眨眼次數(shù)的增加被認為是被試在疲勞狀態(tài)下為了保持清醒所出現(xiàn)的一種狀態(tài)。通過統(tǒng)計TGAM模塊采集到每分鐘的眨眼次數(shù)，圖6為眨眼頻率變化趨勢大致相同(在相同時點段內(nèi)存在眨眼次數(shù)相同情況)的4名被試。綜合所有被試的眨眼次數(shù)計算出模擬駕駛實驗中的平均眨眼次數(shù)，結(jié)果如圖7所示。

圖6 不同被試眨眼頻率變化趨勢Fig.6 Blink frequency curve for different subjects

圖7 眨眼次數(shù)變化曲線Fig.7 Blink frequency curve

從眨眼頻率來看，隨著駕駛時間的增加，眨眼次數(shù)也相應(yīng)增加，這和觀察人員所觀察到的情況保持一致。前50 min左右的眨眼次數(shù)總體變化呈相對平穩(wěn)上升趨勢，這表示在疲勞駕駛出現(xiàn)前，眨眼頻率相對較低；在模擬駕駛實驗50 min以后，被試每分鐘眨眼次數(shù)超過22次左右，便認定為開始出現(xiàn)疲勞駕駛情況。從總體看來，眨眼頻率隨著疲勞駕駛程度的加深而增大。

綜合以上3個評價疲勞的指標，可以總結(jié)為：被試各種參數(shù)中，當aA/M指數(shù)≥1，cPSD指數(shù)≤3.86且bBlink指數(shù)≤0.28時，被試處于正常駕駛狀態(tài)；當aA/M指數(shù)處于0.8～1區(qū)間內(nèi)，cPSD指數(shù)處于3.32～4.64區(qū)間內(nèi)且bBlink指數(shù)處于0.28～0.42區(qū)間內(nèi)時，被試開始出現(xiàn)疲勞駕駛跡象；當aA/M指數(shù)≤0.8，cPSD指數(shù)≥4.23且bBlink指數(shù)≥0.42時，被試已處于疲勞駕駛狀態(tài)，應(yīng)及時采取措施，結(jié)果如表2所示。

表2 疲勞指數(shù)對應(yīng)疲勞程度的被試狀態(tài)描述Table 2 Description of the state of subjects with fatigue index corresponding to fatigue degree

5 k-最近鄰算法

為了解決疲勞駕駛檢測的實時性和預(yù)測性問題，本文涉及到的疲勞狀態(tài)的檢測更多是針對單個被試的多次模擬駕駛實驗，總計獲得實驗數(shù)據(jù)242組，樣本空間不大。在數(shù)據(jù)處理過程中發(fā)現(xiàn)，雖然每個被試的疲勞指數(shù)變化趨勢基本相同，但數(shù)值各不相同。因此分類算法的選擇需要在保證準確率的同時會優(yōu)先選擇需要時間、空間較小的算法。通過對比支持向量機(support vector machine,SVM)、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN )和k-最近鄰(k-nearest neighbor，KNN)3種算法發(fā)現(xiàn)，在相同設(shè)備條件下(CPU：i7-6700 2.60 GHz)，以及在保證準確率相當?shù)那闆r下，對比實驗中KNN所花費的時間要少于其他兩種算法，結(jié)果如圖8所示。

圖8 分類算法對比Fig.8 Classification algorithm comparison

k-最近鄰(k-nearest neighbor，KNN)是一個理論上比較成熟的方法，它通過測量不同特征值之間的距離進行分類。其基本思路是：如果一個樣本在特征空間中的k個最近鄰的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別，所選擇的鄰居都是已經(jīng)正確分類的對象[12]。該算法時間復(fù)雜度低，準確度高[13]。距離計算方法使用歐氏距離：

(4)

根據(jù)對樣本數(shù)據(jù)的處理，在k值的選取上參考了相關(guān)研究的結(jié)論。由于實時的疲勞檢測存在時間點選取的問題，每個片段為10 s，則需要選擇的時間點應(yīng)該為10的倍數(shù)。此外，算法的結(jié)果很大程度取決于唯一參數(shù)k的選擇，k值一般不大于20，k值較小則算法近似誤差較小、復(fù)雜度較高，同時結(jié)果對近鄰點的依賴性較大，容易發(fā)生過擬合問題；k值較大則近似誤差較大，同時較遠點也會對結(jié)果產(chǎn)生影響，容易發(fā)生欠擬合問題。因此，在k值和窗口大小的選擇上，優(yōu)先考慮了在整數(shù)窗口大小上保證準確率最高。綜合考慮后，選擇k值為5，7，9，11，13，窗口大小為10～80，結(jié)果如下圖9所示。

圖9 KNN算法準確率隨窗口大小變化曲線Fig.9 Curve of accuracy of KNN algorithms with the change of window size

最后綜合確定k值大小設(shè)定為5，窗口大小設(shè)置為60，構(gòu)建訓(xùn)練樣本，然后對實驗數(shù)據(jù)分類統(tǒng)計，結(jié)果如表3所示。

表3 KNN分類結(jié)果Table 3 KNN classification results

6 基于改進的D-S證據(jù)理論合成算法

D-S證據(jù)理論起源于20世紀60年代的哈佛大學(xué)數(shù)學(xué)家DEMPSTER A P，后由其學(xué)生 SHAFER G對算法做了進一步研究，加入了信任函數(shù)的概念，形成了一套基于“證據(jù)”和“組合”的數(shù)學(xué)方法來處理不確定性的推理問題[14]。在先驗概率未知的情況下，該方法使用簡單的證據(jù)合成準則，將多個信息進行合成，得出較好的綜合結(jié)果，但隨著信息的增加該算法的計算復(fù)雜度成指數(shù)增長[15]。因此，本文采用一種基于加權(quán)和矩陣運算的改進的D-S證據(jù)理論合成算法，與傳統(tǒng)的基于D-S證據(jù)理論的多傳感器數(shù)據(jù)融合方法相比，該方法不但能提高證據(jù)合成的可靠性和準確性，而且具有較小的計算量[14-15]。

基于加權(quán)和矩陣運算改進的D-S證據(jù)理論合成算法的具體算法如下[14-16]：

1) 定義集合R={A1,A2,…,An}，Z=2R為R的冪集，對于任意一個屬于的Z子集A，令它對應(yīng)數(shù)m，m(A)∈[0,1]，且m滿足：

(5)

則稱m為2R上定義基本概率賦值函數(shù)BPA(basic probability assignment function)，稱為A的基本可信數(shù)，反映了支持命題A發(fā)生的程度。將m(A)>0的命題定義為證據(jù)的焦元或焦點元素。

2) 計算各證據(jù)的平均值：

(6)

然后，計算各證據(jù)到平均證據(jù)的距離：

(7)

最后，計算各證據(jù)的可信度：

(8)

Mn=c1m1+c2m2+…+cnmn.

(9)

3) 構(gòu)建基于基本概率分配的置信度矩陣M(n×m)維矩陣：

(10)

其中：

mi1+…+nim=1(i=1,2,…,n) .

(11)

將矩陣M中的某一行i進行轉(zhuǎn)置，然后與矩陣的另一行j相乘，即:

(12)

展開得到一個新的m×m維矩陣：

(13)

從式(13)可以看出，根據(jù)公式的分子部分，主對角線的元素即為傳感器i與傳感器j對目標基本概率分布的乘積，而矩陣中的其他所有元素的和構(gòu)成證據(jù)的不確定因子，即：

(14)

令zj=ajj，則可得對應(yīng)焦元的融合指標，即：

(15)

綜合KNN分類后3種特征對不同階段疲勞判定的準確率，構(gòu)造出D-S證據(jù)理論中的基本概率賦值函數(shù)，利用改進的D-S證據(jù)理論合成規(guī)則對3種特征進行合成。這里設(shè)θ為aA/M，cPSD，bBlink的集合，按照改進的D-S證據(jù)理論算法進行合成，得到綜合疲勞指數(shù)m(θ)，結(jié)果如表4所示。

表4 D-S合成結(jié)果Table 4 D-S synthesis results

結(jié)果顯示，通過改進D-S證據(jù)理論合成規(guī)則后，對不同疲勞程度的判斷準確率都略高于單個特征判斷疲勞的準確率。由此可見，通過該合成算法可以達到提高準確率的效果，本文所使用的不同疲勞程度的準確率對比單個特征最高判斷準確率分別提升約6%，6.3%，1.4%.

本文還對比了改進D-S與傳統(tǒng)D-S證據(jù)理論合成算法，結(jié)果如表5所示。通過驗證相同數(shù)據(jù)量的合成結(jié)果，改進D-S算法在判斷不同疲勞程度的準確率都有所提升(約提升5.6%，4.8%，7.3%)，并且運行速率也有小幅度提升。由此可知，在輸入數(shù)據(jù)量相同情況下，本文所使用的判斷駕駛員疲勞駕駛的檢測方法輸入多種信號特征融合后的結(jié)果要略優(yōu)于單特征檢測和傳統(tǒng)D-S證據(jù)理論方法。

表5 傳統(tǒng)D-S與改進D-S比較結(jié)果Table 5 Comparison of traditional D-S and improved D-S

7 結(jié)論

通過設(shè)計模擬駕駛實驗，實時采集基于TGAM模塊“eSense”專利下的專注度(Attention)指數(shù)和放松度(Meditation)指數(shù)、眨眼次數(shù)以及原始腦電信號θ波、αLow波、αHigh波、βLow波、βHigh波并使用數(shù)據(jù)庫實時存儲原始數(shù)據(jù)和分析結(jié)果。

首先，使用被試專注度和放松度作為疲勞檢測的特征，隨著駕駛時間的增加，專注度逐漸下降，放松度逐漸上升，使用專注度和放松度的比值可以明顯看出疲勞程度的變化，得到疲勞指數(shù)aA/M的閾值為：0.8～1.其次，通過計算θ波、α波和β波的功率譜密度，并得到3種波功率譜密度以及疲勞指數(shù)(α+θ)/β的功率譜密度比值變化曲線，θ波、α波的功率譜密度隨著駕駛時間的增加而增加，而β波的功率譜密度則減小，得到疲勞指數(shù)cPSD的閾值為3.32～4.64. 然后，通過統(tǒng)計單位時間內(nèi)的眨眼次數(shù)，得到眨眼次數(shù)變化曲線。隨著駕駛時間的增加，眨眼次數(shù)也相應(yīng)增加，得到疲勞指數(shù)bBlink的閾值為0.28～0.42.接著，針對3個疲勞指數(shù)的3種疲勞程度，使用KNN算法進行分類。最后，通過改進的D-S證據(jù)理論合成算法得到綜合疲勞判斷指數(shù)的準確率，對不同疲勞程度的判斷都略高于單個疲勞指數(shù)的準確率。并與傳統(tǒng)D-S合成算法進行比較，準確率也略有提升。

本文工作是基于無線腦電信號分析的實時疲勞檢測與預(yù)警的初步探索，采用模擬駕駛實驗得到的實驗數(shù)據(jù)量不夠全面，數(shù)據(jù)模式也比較單一。實驗結(jié)果得到的疲勞指數(shù)閾值也僅僅針對本組被試起作用。今后，為了提高準確率，后續(xù)實驗研究會繼續(xù)增加實驗樣本，以年齡和性別等對被試分類，這樣可以使疲勞閾值更加精確，更能體現(xiàn)出疲勞檢測的個性化設(shè)置；并增加更多針對性測試以及真實駕駛測試，使得出的疲勞指數(shù)閾值更全面；同時，為了降低預(yù)警延時，也將進一步優(yōu)化算法處理精度和速度，也將對疲勞指數(shù)閾值進一步優(yōu)化；還會考慮綜合其他疲勞指數(shù)，如眼動信號和肌電信號等，采用基于多源信息融合的方法來優(yōu)化疲勞檢測準確率；并對疲勞預(yù)測過程中的各類問題進行更深入的研究。