呂釗,吳小培,張超,衛(wèi)兵
(1. 安徽大學信息保障技術協(xié)同創(chuàng)新中心,安徽 合肥 230601;2. 安徽大學計算機科學與技術學院,安徽 合肥 230601)
基于EOG的安全輔助駕駛系統(tǒng)算法設計與實現(xiàn)
呂釗1,2,吳小培1,2,張超1,2,衛(wèi)兵1,2
(1. 安徽大學信息保障技術協(xié)同創(chuàng)新中心,安徽 合肥 230601;2. 安徽大學計算機科學與技術學院,安徽 合肥 230601)
為保證駕駛安全,提高車輛控制系統(tǒng)的智能化水平,實現(xiàn)“手不離盤”操作,設計并實現(xiàn)了一種基于眼電圖(EOG)的安全輔助駕駛系統(tǒng)。該系統(tǒng)利用安裝在駕駛員眼睛周圍的生物電極采集其在觀測抬頭顯示器(HUD,head up display)上提示符時所產(chǎn)生的掃視信號,生成多種車載設備控制命令;對原始多導聯(lián)EOG信號進行端點檢測后,使用了獨立分量分析(ICA, independent component analysis)方法進行空域濾波后提取眼動信號特征參數(shù),并結合支持向量機實現(xiàn)了上、左與右掃視動作的識別。實驗室環(huán)境下對所提算法進行了測試,15位受試者在疲勞與非疲勞狀態(tài)下的在線平均正確率達到了98.43%與96.0%。實驗結果表明,基于ICA多類掃視信號識別算法的安全輔助駕駛系統(tǒng)在眼動信號分析中呈現(xiàn)出了良好的分類性能。
眼電圖;掃視信號;獨立分量分析;空域濾波;支持向量機
安全輔助駕駛系統(tǒng)(SDAS, safe driver assistant system)是利用安裝在車輛上的傳感器,即時收集車輛內外的環(huán)境參數(shù),進行靜、動態(tài)物體的辨識、偵測與追蹤處理,在最短的時間內提示駕駛者可能發(fā)生的危險,并協(xié)助采取相應的規(guī)避措施,以有效降低事故發(fā)生頻率,減輕事故傷害,提高駕駛安全性[1]。現(xiàn)階段,SDAS的發(fā)展逐漸呈現(xiàn)出了多樣化、實用化趨勢,一些新的安全輔助駕駛系統(tǒng)相繼問世并取得了廣泛應用,如緊急制動輔助 (EBA, emergency brake assist)系統(tǒng)、車身電子穩(wěn)定 (ESP, electronic stability program)系統(tǒng)、上坡輔助控制 (HAC, hill-start assist control)系統(tǒng)及轉彎制動控制 (CBC, curve brake control)系統(tǒng)等[2]。
上述SDAS作為一種被動的安全駕駛輔助方式,主要依靠攝像頭、雷達、激光、超聲波、重力—加速度及陀螺儀等傳感器,通過監(jiān)測車輛的光、熱、壓力、速度、傾斜角度及其他狀態(tài)信息,在車輛遇到緊急情況時(如行人檢測、自動緊急制動、前方防撞預警等)及時預警,并對車輛做出相應的處理措施[3]。駕駛的核心在于“人”,即駕駛者本身,建立一種基于駕駛者自身生理狀態(tài)信息的安全駕駛輔助系統(tǒng),變被動預警為主動控制,對于進一步提升駕駛安全性、增強車輛系統(tǒng)的智能化水平將會起到十分重要的作用。基于這一思路,本文設計了一種結合抬頭顯示系統(tǒng)(HUD, head up display)與眼動識別(EMR, eye movement recognition)技術的安全輔助駕駛系統(tǒng),駕駛者通過觀察 HUD上相應的提示符生成不同的眼動信號,通過 EMR技術實現(xiàn)對不同眼動信號的識別并生成多個車載設備的控制命令,如打開收音機、調節(jié)音量、接聽/掛掉電話等,真正實現(xiàn)駕駛員在開車時“手不離盤”,以提高駕駛安全性能,增強駕駛樂趣。
在HUD&EMT-SDAS系統(tǒng)中,EMR算法設計是系統(tǒng)實現(xiàn)的關鍵步驟。通常,對眼動信息的捕獲是通過視頻分析的方法獲得,然而,基于視頻的EMR系統(tǒng),尤其是可穿戴式EMR系統(tǒng)價格昂貴、體積較大且笨重,同時在系統(tǒng)功耗與結果的實時分析上也不盡如人意[4,5]。所幸的是,眼電圖(EOG,electro-oculogram)作為一種低成本的眼動信號測量技術,相比較傳統(tǒng)視頻手段,不僅測量更為精確,同時其采集設備也具有重量輕、便于長時間記錄、更易實現(xiàn)可穿戴式設計等優(yōu)點[6]。使用EOG替代傳統(tǒng)的視頻方法進行眼動信息的捕獲并在此基礎上所設計的SDAS將更具實用性。基于此,本文將重點研究駕駛情景下基于EOG的在線EMR算法,主要包括:1)EOG信號的采集;2)信號的預處理與端點檢測;3)基于獨立分量分析(ICA, independent component analysis)的眼動信號空域濾波及識別算法。希望通過本文的研究,能夠為SDAS的發(fā)展提供一個新的研究點,促進更自然的人—車交互技術發(fā)展,為車聯(lián)網(wǎng)的高級階段——無人駕駛技術的發(fā)展打下更堅實的基礎。
所謂眼電信號是指人由于眼睛的運動而引發(fā)的眼睛角膜與視網(wǎng)膜之間的電勢差引起的[7,8]。該電勢由視網(wǎng)膜色素上皮和光感受器細胞發(fā)起,其正極位于光感受器端,負極位于視網(wǎng)膜色素上皮端,所產(chǎn)生的電流從視網(wǎng)膜端流向了角膜端,從而形成一個角膜為正極,視網(wǎng)膜為負極的電勢,本文稱這種電勢為眼電信號。當人眼球運動時,眼電信號的幅值會隨著眼球的運動而不斷發(fā)生變化,本文將這種變化的電勢繪制到時間軸上則可以構成一條曲線,這條曲線就稱之為眼電圖。圖1顯示了向上掃視時在眼睛正下方3 cm處所采集到的EOG信號波形。
圖1 向上掃視時所對應的EOG信號波形
通常,一段連續(xù)的 EOG信號主要包括以下 3種基本眼動類型。
1) 掃視(saccade):當受試者觀看一個視覺場景時,其眼球不會始終固定于一點,而是通過在其感興趣的區(qū)域內不斷地移動以構建一個“認知地圖”,圖1中“向上轉動”與“回掃”2個階段為掃視的開始與即將結束階段。
2) 凝視(fixation):相對于掃視來說,凝視是一種相對穩(wěn)定狀態(tài),即在視覺場景中,受試者的目光始終注視于某一特定位置。
3) 眨眼(blink):眨眼是一種自然的眼部運動,通常眨眼的頻率大約為每分鐘12~19次。
在上述3種類型中,掃視由于具有出現(xiàn)頻率較高、幅度相對較大且包含信息最為豐富的等特點,因此,本文將之應用到SDAS系統(tǒng)的設計中。
EMR技術是基于EOG的安全輔助駕駛系統(tǒng)的核心,對于掃視信號的識別,研究者們做出了大量的研究。其中,Clement[9]提出利用原始EOG信號的可視角度進行眼動信號的端點檢測與識別;Aungsakun和Soltani等[10,11]利用眼球轉動時所對應的 EOG信號變化較快的特點提取眼動信號的特征參數(shù);另外,Vidal和 Bulling[12,13]也都提到了使用眼動信號的統(tǒng)計和時域特征進行識別的思路。上述EMR技術雖然取得了一定的成功,然而,這類算法主要關注的是單個導聯(lián)眼動信號的分析,其分析過程僅考慮了單導聯(lián)信號的變化而忽視了導聯(lián)間的關聯(lián)信息,因此難以保證掃視信號的識別正確率。為了解決這一問題,提高識別正確率,本文提出了一種基于ICA空域濾波的EOG掃視信號識別算法,該算法通過建立3個對應于不同掃視方向(上、左與右)的 ICA空域濾波器,然后使用該空域濾波器對原始多導聯(lián) EOG信號進行線性投影,將投影結果作為眼動信號的特征參數(shù),并使用支持向量機(SVM)[14]作為分類器對掃視信號進行識別。算法基本流程如圖2所示。
系統(tǒng)共使用了9個生物電極,其中,電極V1(第5導聯(lián))與V2(第6導聯(lián))分別安放于受試者左側(或右側)眼球上、下3 cm處,用以采集垂直眼動信號;電極H1(第2導聯(lián))與H2(第1導聯(lián))分別安放于受試者左眼左側3 cm與右眼右側3 cm處,用以采集水平眼動信號;電極A1(第3導聯(lián))與A2(第4導聯(lián))安放于前額位置,以獲取更豐富的眼動信息;參考電極C1和C2分別放置于左右兩側乳凸處,接地電極G位于頭頂中心位置。
訓練與測試中所有受試者均是視力正?;虺C正后正常。HUD顯示內容(在前擋上的投影)中心點(O)位于受試者正前方約1 m處,對應于上(U)、左(L)與右(R)方向的3個觀測點分別位于HUD上、左、右側中心位置。
3.2.1 分幀加窗
為了保證幀與幀之間平滑性,首先對原始多導聯(lián) EOG信號進行分幀處理。假定s( n)為原始多導聯(lián)EOG信號,w( n)為窗函數(shù),那么加窗后EOG信號可表示為
為了保證較高的頻率分辨率,本文使用了漢明窗,其定義如下[15]
其中,N表示窗長。這里需要說明的是,為了便于結果分析,算法中幀移,本文采用了逐點移動的方法實現(xiàn)。
3.2.2 噪聲抑制
由于所采集到的原始EOG信號包含了其他生物電干擾、工頻干擾、受試者身體輕微移動或儀器設備本身所帶來的干擾信號[8,13],因此,為了掃視信號的識別準確率,使用了截止頻率從0.01~10 Hz的8階帶通濾波器對原始多導 EOG信號進行預處理,以降低噪聲干擾。
圖2 掃視信號識別算法基本流程
為實現(xiàn)對掃視信號的實時檢測,即在線分析,本文對預處理后的多導 EOG信號進行了端點檢測(SAD, saccade activity detection),其目的是從包含掃視信號的連續(xù) EOG中確定出掃視信號的起始點與終止點,以刪除不含掃視信號的背景噪聲和非掃視信號,從而降低特征提取的計算量與處理時間,有效提高識別正確率。根據(jù)掃視信號的特點,算法使用了峭度與能量相結合的方法實現(xiàn)SAD,其基本流程如圖3所示。
圖3 SAD基本流程
其中,峭度與能量初值門限的設置主要依靠經(jīng)驗來獲取。另外,從圖3中可以看出,SAD算法主要針對的是單一通道的 EOG數(shù)據(jù),而系統(tǒng)所采集的數(shù)據(jù)包含了6個導聯(lián),因此,在進行不同掃視背景任務下如何有效選擇檢測通道以提高檢測正確率是 SAD算法中一個關鍵問題。由于眼動具有較強的時序性,不同眼部動作在時間軸上的可區(qū)分性為本文提供了一種解決方案。圖4給出了上、下、左與右4路掃視時的EOG信號波形及其能量。從圖4中可以看出,進行不同掃視時,與之關聯(lián)最為密切的那個導聯(lián)的信號能量最強,如:左掃視時,H2導聯(lián)能量相比較其他5個導聯(lián)明顯較大,同樣,上掃視時,V1導聯(lián)能量最大。基于上述現(xiàn)象,本文通過自動計算每個導聯(lián)的能量并選取最大值所在的導聯(lián)作為SAD檢測通道,以提高SAD算法性能。
圖4 不同掃視任務下EOG信號及其能量波形
在進一步的研究中發(fā)現(xiàn),使用本文所提SAD算法不僅可以對掃視信號進行有效檢出,同時對眨眼信號的檢測也獲取了較高的檢出率。然而,眨眼信號作為掃視檢測時的一種干擾信號,必然會影響到掃視信號的識別正確率,而眨眼作為正常的生理反應又不可避免,因此,在進行掃視信號識別前需要有效抑制眨眼信號。觀察發(fā)現(xiàn),眨眼信號相比較掃視信號存在以下不同:1)眨眼信號持續(xù)時間較短,一般眨眼一次大約需要0.3~0.5 s,而掃視一次需要1 s以上;2)SAD后有效數(shù)據(jù)段內信號平均能量往往小于掃視信號。因此,算法在原有基礎上增加了信號持續(xù)時間與平均能量2個指標對端點檢測后的結果進行判別,以盡可能地剔除眨眼,降低其對系統(tǒng)的干擾。
為實現(xiàn)對多導掃視信號的有效識別,本文提出了基于 ICA的空域濾波多類掃視信號的特征提取方法。在 HUD&EMT-SDAS系統(tǒng)中,若x(t)=[x( t),… ,x ( t) ]T為多導聯(lián)原始EOG觀測信號,則該
1
n信號可以看成是由多個相互獨立的隱含“源”s( t) =[s( t) ,… ,s( t )]T線性瞬時混合而成,即
1
n
其中,A表示混合矩陣。與式(3)混合模型對應的是分解模型
ICA的最終目的就是尋找一個分離矩陣W,使輸出信號s?(t)中的各分量盡可能地相互獨立并逼近真實的“源”信號s(t)[16]。
需要說明的是,本文所使用的ICA分離算法代碼為實驗室自編代碼,信息極大準則(Infomax, information maximization)原理和自然梯度法[17]為本文ICA算法中獨立性度量準則和優(yōu)化算法。分離矩陣的學習算法為
其中,I為單位矩陣,E[?]為均值運算,K表示概率模型切換矩陣,其對角線上元素的取值來自于對s?(t)峭度符號的動態(tài)估計,通常為 1 或-1, s?(t)為所估計的源信號。對s?(t)進行方差歸一化處理后,根據(jù)式(3)對混合矩陣A與分離矩陣W系數(shù)進行調整,具體為
其中,std(?)為標準差運算,diag(?)表示將運算轉化為對角矩陣。
基于上述分析,基于ICA空域濾波的眼動信號訓練/識別步驟描述如下。
1) 訓練階段
步驟 1 對已有 EOG數(shù)據(jù)庫中所有數(shù)據(jù)預處理后進行SAD操作,手工標注SAD結果(上掃視、左掃視、右掃視及單次眨眼),在此基礎上,建立訓練數(shù)據(jù)庫。
步驟 2 從上述數(shù)據(jù)庫中任意選擇一組單次眼動數(shù)據(jù) xi,i = 1,… , N(6×n數(shù)據(jù)矩陣,n表示數(shù)據(jù)長度,N表示該數(shù)據(jù)庫中訓練樣本的數(shù)量)進行 ICA分析,可得6×6的混合矩陣A和分離矩陣 WT。
步驟 3 根據(jù)獨立成分在采集電極的映射模式(混合矩陣A的列向量),選擇眼動相關成分和對應的ICA濾波器(分離矩陣 WT的列向量),可得 ICA濾波器組{Wli、Wri、Wui},分別用于檢測左、右及上掃視EOG成分。
步驟4 使用ICA濾波器組{Wli、Wri、Wui}對該數(shù)據(jù)庫中所有 EOG數(shù)據(jù) xj, j=1,…,N進行線性投影,以提取3類眼動相關成分,即
其中,slj、srj、suj分別表示該單次EOG數(shù)據(jù)(xj)空域濾波后的結果。
步驟 5 將上述濾波后信號作為眼動信號的特征參數(shù),結合步驟1中所標注的眼動數(shù)據(jù)標簽,訓練SVM模型,使用該模型對訓練數(shù)據(jù)庫中所有標注好的數(shù)據(jù)進行 10×5的交叉測試后記錄識別正確率;重復步驟1~步驟4,完成對訓練數(shù)據(jù)庫中全部樣本的 ICA濾波器設計與測試,計算并記錄每個ICA濾波器在該組數(shù)據(jù)上的識別正確率;選擇識別率最高值所對應的那一組ICA濾波器{Wl、Wr、Wu}作為最終結果。
2) 識別階段
步驟 1 將在線所采集到的 EOG數(shù)據(jù)預處理后進行SAD操作。
步驟2 對步驟1所得到的結果使用濾波器組{Wl、Wr、Wu}按照式(7)方法進行空域濾波。
步驟3 將濾波結果送入SVM模型進行識別,以實時獲取受試者當前掃視類型。
控制命令主要通過上、左與右3類掃視動作組合而成,結合對駕駛人開車時最常用動作的統(tǒng)計與分析,設計了以下4種控制命令。
1) 接聽電話:向左掃視并在觀測點保持約 2 s后返回。
2) 掛掉電話:向右掃視并在觀測點保持約 2 s后返回。
3) 打開收音機:向上掃視并在觀測點保持約2 s后返回。
4) 調整音量:在檢測到打開收音機動作后,向左掃視后立即返回音量減小5 dB;反之,向右掃視后立即返回音量增加5 dB。
可以看出,在設計接聽電話的掃視動作時,本文安排加入了在觀測點處的 2 s凝視狀態(tài),而在音量調整時則沒有停留。這一做法的目的是為了增強2種掃視的可區(qū)分度,提高接聽/掛掉電話這2個動作的識別準確率,減少因干擾或其他生理信號導致的誤操作。為了區(qū)分接聽/掛掉電話與音量調整相同方向的掃視動作,系統(tǒng)再次利用了 SAD的結果,即對端點檢測后的有效 EOG數(shù)據(jù)長度進行統(tǒng)計,當其持續(xù)時間為2 s左右時,該動作判斷為接聽/掛掉電話操作,反之,為音量調整操作。
眼動信號采集設備為實驗室自主研發(fā)的EOG采集設備,系統(tǒng)采樣率為250 Hz。實驗共采集了15名受試者(9男6女,11名雙眼視力正常,4名近視,近視度數(shù)平均180,所有受試者年齡平均為29.3歲,方差8.6) 分多次所采集的上、左及右數(shù)據(jù),SAD 后每個動作(對應的數(shù)據(jù)標簽分別為1、2、3)各得到180個眼動數(shù)據(jù),累計8 100個單次眼動數(shù)據(jù)。
實驗中,峭度與能量初始經(jīng)驗門限分別設置為5.5與9.7,窗長設為150個樣本點,逐點滑動。圖5(a)顯示了一段連續(xù)右掃視EOG信號波形,其中,實豎線與虛豎線分別表示手工標注的信號起始點與終止點,圖5(b)為該段信號的峭度波形,圖5(c)為能量波形,圖5(d)為SAD算法的檢測結果,與圖5(a)類似,實豎線與虛豎線分別表示SAD檢測到的起始點與終止點??梢钥闯?,本文所提SAD算法的檢測結果十分接近于圖5(a)中手工標注的端點位置。
為進一步驗證 SAD算法的有效性,定義如下性能指標。
1) 點正確率(Pc-point, probability of correct point detection):SAD法檢測出的正確端點數(shù)與手工標注的正確端點數(shù)的比率。
2) 點虛警率(Pf-point, probability of false point detection):SAD法檢測出的錯誤端點數(shù)與手工標注的錯誤端點數(shù)的比率。
對所有受試者所采集的 EOG數(shù)據(jù)進行端點檢測,實驗結果如圖6所示。
對圖6的實驗結果進行統(tǒng)計后可以得到,所有受試者的平均Pc-point和Pf-point值分別是96.17%和5.43%,實驗結果說明本文所提SAD算法能夠對眼動數(shù)據(jù)的起始點與終止點進行有效檢測。
圖5 一段連續(xù)EOG進行SAD后的結果
圖6 端點檢測結果
按照3.4節(jié)所述訓練步驟,對15位受試者分別進行最優(yōu)濾波器設計。其中,在ICA分析時迭代次數(shù)設置為10,學習率為0.02,SVM模型采用了線性核函數(shù),懲罰因子設定為 1,訓練數(shù)據(jù)為訓練樣本集及相應的手工標定的分類標簽。為了統(tǒng)計分類正確率,本文將識別結果與測試樣本集的標簽進行比較,相同則認為分類正確,不同則分類錯誤。隨機抽取一位受試者所得到的最優(yōu)空域濾波器{Wl,Wr, Wu},其對應的混合矩陣A和分離矩陣W系數(shù)如圖7所示。
從圖7中可以看出,當該位受試者進行左掃視時,眼球運動對第1導聯(lián)(H2位置)影響最大,因此其對應位置的混合矩陣系數(shù)最大;同理,右掃視時,第2導聯(lián)(H1位置)系數(shù)最大;上掃視時,第5導聯(lián)(V1位置)系數(shù)最大。這一結果說明所求得的空域濾波器可以使本文所要識別的3類眼動信號區(qū)別達到最大化。
在此基礎上,本文分別對每位受試者按照 3.4節(jié)所述識別步驟進行眼動在線檢測,由于在實時檢測過程中無法獲取眼動數(shù)據(jù)標簽,因此,為了統(tǒng)計識別正確率,本文使用視頻方法對全部受試者眼部動作進行記錄,在實驗結束后,人工識別、比對算法的識別結果與視頻中所記錄眼動情況是否一致,以獲取識別正確率。這里需要說明的是,為了保證統(tǒng)計結果的可靠性,本文專門開發(fā)了一款同步軟件,用以實現(xiàn)視頻的起始記錄時間與眼動信號的開始采集時間精確同步。實驗針對受試者的精神狀態(tài),進行了以下2種實驗。
4.2.1 受試者在精力充沛的狀態(tài)下
在此實驗條件下,受試者精力充沛,無疲倦感,反應迅速。表1給出了15名受試者分別進行15次實驗(每次實驗時間約為20 min)的統(tǒng)計結果。
表1 受試者在精力充沛狀態(tài)下在線檢測眼動信號識別結果
圖7 最優(yōu)ICA空域濾波器中的A和W系數(shù)
從表1中可以看出,不同受試者識別結果存在差異,這是由于每位受試者對實驗環(huán)境和實驗設備的熟悉程度不同,對掃視時眼球的運動速度與凝視時間的控制存在個體差異。受試者1與受試者7的整體識別率偏低,這與SAD檢測結果基本一致。通過對其時域波形的分析發(fā)現(xiàn),這2位受試者在實驗過程中,經(jīng)常會無意識地進行身體晃動而導致電極位置發(fā)生輕微移動,從而帶來了額外的噪聲干擾(如圖 8所示),而這些干擾將會導致SAD檢測正確率的下降,從而會使端點檢測后所得到的有效 EOG片段可能并非是受試者掃視時所產(chǎn)生的信號,這種檢測錯誤最終導致算法無法識別或誤識,因此其整體識別率相比較其他受試者有所降低。另外,編號為3、12、14與15的4名受試者在實驗時通過佩戴眼鏡進行視力矯正,其中,3號受試者的識別正確率為98.06%,低于平均識別正確率,其可能的原因為:該受試者近視度數(shù)較高(500度)而導致無法準確看到HUD上的觀測點。而另外3位受試者近視度數(shù)較低,矯正后視力正常,因此其識別正確率與平均識別正確率基本持平,這一結果說明本文所提算法對于矯正后視力正常的受試者是適用的??偟膩碚f,對所有受試者正確率統(tǒng)計后發(fā)現(xiàn),在線情況下所提眼動檢測算法的總體平均識別率達到了98.43%,能夠滿足安全駕駛輔助系統(tǒng)的設計需求。
圖8 眼動信號受身體運動影響示意
4.2.2 受試者在輕度疲勞狀態(tài)下
實驗從上述15位受試者中挑選出6位有午休習慣的受試者,為保證實驗效果,本文適當壓縮了受試者實驗前一天的晚間睡眠時間,且實驗當天不進行午休,實驗安排在下午兩點進行。實驗條件與4.2.1節(jié)實驗相同,實驗結果如表2所示。
表2 受試者在輕度疲勞狀態(tài)下的在線檢測眼動信號識別結果
在該實驗條件下的平均識別正確率為96.0%,相比較精力充沛狀態(tài)下的實驗結果下降了2.43%。通過時域波形的對比分析發(fā)現(xiàn),相比較精力充沛狀態(tài),受試者在疲勞時其掃視信號波形發(fā)生了以下4點變化:1)由于信息加工速度變慢,使掃視的平均速度相應增加,這種增加使掃視階段EOG信號的斜率減小;2)在掃視過程中會出現(xiàn)注意力不集中現(xiàn)象,這種現(xiàn)象導致眼球在掃視過程中運動方向會發(fā)生不確定變化,從而使掃視階段EOG信號會產(chǎn)生一定幅度的波動;3)由于對時間的敏感度變差,使對觀測點的凝視時間產(chǎn)生了較大的隨意性,即使對同一受試者也會出現(xiàn)有時在觀測點停留時間較長,而有時則較短的情況,這就使凝視階段EOG信號的寬度存在了較明顯的隨機性;4)在上掃視的回掃過程中,由于疲勞,少數(shù)受試者會出現(xiàn)短時閉眼打瞌睡的情況,這種情況使向下掃視時波形發(fā)生畸變,從而影響識別正確率。通過上述分析可以看出,受試者在疲勞狀態(tài)下所采集到的眼動數(shù)據(jù)與訓練數(shù)據(jù)產(chǎn)生了一定程度的失配,這種失配將會導致識別正確率的下降,尤其是在上掃視的回掃過程中這種情況更為突出,因此,從表2中可以看出,上掃視的平均識別正確率低于另外2種掃視。
為促進智能駕駛技術的發(fā)展,提高駕駛安全性能,本文設計了一種基于眼電圖的安全輔助駕駛系統(tǒng),該系統(tǒng)通過駕駛員觀察HUD上的提示符生成不同掃視信號,并據(jù)此生成不同的控制命令,系統(tǒng)的核心在于不同類型掃視信號的識別。為此,提出了一種基于ICA的眼動信號空域濾波算法,該算法通過對端點檢測后單個掃視信號的ICA分析,根據(jù)獨立分量在采集電極的映射模式,建立了相應的ICA濾波器。在實驗室環(huán)境下進行了在線測試,疲勞與非疲勞狀態(tài)總體識別正確率分別達到了98.43%與96.0%,實驗結果有效驗證了所提算法的有效性。
為提升系統(tǒng)實用化水平,下一步的研究工作將從以下3個方面展開。1) 進一步提升SAD算法的頑健性。在實驗中發(fā)現(xiàn),當檢測信號的信噪比較低時,所得到的檢測結果往往會出現(xiàn)錯誤,這種錯誤將會導致后端無法識別,因此本文考慮在進行SAD時能否加入如譜熵等檢測指標以提高低信噪比環(huán)境下的正確率。2) 提高算法運行效率。算法中滑動窗是采用逐幀滑動的方式,這種做法的目的是為了更好地觀察、分析算法的運行結果,而其弊端是運算量增大。初步的研究發(fā)現(xiàn),增加幀移量會引起識別率的少量下降,這可能與幀移量增加后 SAD檢測到起始點與終止點產(chǎn)生的誤差有關,因此,如何在運算效率與系統(tǒng)識別率上找到一個平衡點是一個需要認真研究的問題。3) 針對受試者疲勞狀態(tài)時識別正確率下降的問題,下一步擬增加受試者數(shù)量與數(shù)據(jù)采集時間,采用增量訓練方式進行模型訓練,提高算法頑健性。
[1] BENGLER K, DIETMAYER K, FARBER B, et al. Three decades of driver assistance systems: review and future perspectives[J]. Intelligent Transportation Systems Magazine, IEEE, 2014, 6(4): 6-22.
[2] MENCHER B, GOLLIN W, REITER F, et al. Overview of electrical and electronic systems in the vehicle[M]//Fundamentals of Automotive and Engine Technology. Springer Fachmedien Wiesbaden, 2014: 158-160.
[3] PLANING P. Innovation acceptance: the case of advanced driver-assistance systems[M]. Springer Science & Business Media,2014.
[4] 程時偉, 孫志強. 用于移動設備人機交互的眼動跟蹤方法[J]. 計算機輔助設計與圖形學學報, 2014, 26(8): 1354-1361.CHENG S W, SUN Z Q. An approach to eye tracking for mobile device based interaction[J] .Journal of Computer-Aided Design & Computer Graphics, 2014, 26(8): 1354-1361.
[5] LARA O D, LABRADOR M A. A survey on human activity recognition using wearable sensors[J]. Communications Surveys & Tutorials,IEEE, 2013, 15(3): 1192-1209.
[6] MAJARANTA P, BULLING A. Eye tracking and eye-based human-computer interaction[M]. Advances in Physiological Computing.Springer London, 2014: 39-65.
[7] BEDELL H E, STEVENSON S B. Eye movement testing in clinical examination[J]. Vision Research, 2013, 90(39): 32-37.
[8] LV Z, WU X, LI M, et al. A novel eye movement detection algorithm for EOG driven human computer interface[J]. Pattern Recognition Letters, 2010, 31(9): 1041-1047.
[9] CLEMENT R A. Natural coordinates for specification of eye movements[J]. Vision Research, 1991, 31(11): 2029-2032.
[10] AUNGSAKUN S, PHINYOMARK A, PHUKPATTARANONT P, et al.Robust eye movement recognition using EOG signal for human-computer interface[M]//Software Engineering and Computer Systems. Springer Berlin Heidelberg, 2011: 714-723.
[11] SOLTANI S, MAHNAM A. Design of a novel wearable human computer interface based on electrooculograghy[C]//Electrical Engineering(ICEE), 2013 21st Iranian Conference. IEEE, c2013: 1-5.
[12] VIDAL M, BULLING A, GELLERSEN H. Analysing EOG signal features for the discrimination of eye movements with wearable devices[C]//The 1st International Workshop on Pervasive Eye Tracking& Mobile Eye-Based Interaction. ACM, c2011: 15-20.
[13] BULLING A, WEICHEL C, GELLERSEN H. Eyecontext: recognition of high-level contextual cues from human visual behaviour[C]//The SIGCHI Conference on Human Factors in Computing Systems. ACM,c2013: 305-308.
[14] FUKUNAGA K. Introduction to statistical pattern recognition[M].Access Online via Elsevier, 1990.
[15] RABINER L, JUANG B H. Fundamentals of speech recognition[C]//Pearson Education, First Indian Reprint, 1993.
[16] 吳小培, 周蚌艷, 張磊, 等. 運動想象腦-機接口中的 ICA 濾波器設計[J]. 生物物理學報, 2014, 7: 006.WU X P, ZHOU B Y, ZHANG L, et al, ICA filter design in braincomputer interface of motor imagery[J]. Acta Biophysica Sinica,2014, 7: 006.
[17] LEE T W, GIROLAMI M, SEJNOWSKI T J. Independent component analysis using an extended-infomax algorithm for mixed sub-gaussian and super-gaussian sources[J]. Neural Computation, 1999, 11(1):417-441.
Design and implementation algorithm of safe driver assistant system based on EOG
LYU Zhao1,2, WU Xiao-pei1,2, ZHANG Chao1,2, WEI Bing1,2
(1. Co-Innovation Center for Information Supply & Assurance Technology, Anhui University, Hefei 230601, China;2. College of Computer Science and Technology, Anhui University, Hefei 230601, China)
In order to ensure driving safety, improve the intelligent level of the vehicle control system and realize“keeping hands on the wheel”, a safe driver assistant system (SDAS) based on EOG was proposed. The proposed system utilized saccade signals which come from bio-electrodes installed around driver’s eyes, to generate some control commands when the driver observes different signs located on the head up display (HUD). Furthermore, independent component analysis (ICA) algorithm was used to extract spatial feature parameters of activity-detected EOG signals, and combined with support vector machine (SVM) method to recognize the type of saccade signals, such as up-rolling,left-rolling and right-rolling. Experiments have been carried out in lab environment, and the average correct ratio on 15 subjects is 98.43% and 96.0% corresponding to fatigue condition and non-fatigue condition respectively. Experiential results reveal that the SDAS based on the multi-class saccade signals recognition algorithm presents an excellent classification performance.
EOG, saccade signal, independent component analysis, spatial filtering, support vector machine
s: The National Natural Science Foundation of China (No.61401002, No.61271352), The Natural Science Foundation of Anhui Province (No.1408085QF125), Anhui Provincial Natural Science Research Project of Colleges and Universities (No.KJ2014A011)
R318
A
10.11959/j.issn.1000-436x.2016111
2015-08-25;
2015-11-27
吳小培,iiphci_ahu@163.com
國家自然科學基金資助項目(No.61401002,No.61271352);安徽省自然科學基金資助項目(No.1408085QF125);安徽高校省級自然科學研究重點基金資助項目(No.KJ2014A011)
呂釗(1979-),男,安徽宿州人,博士,安徽大學副教授、碩士生導師,主要研究方向為智能信息處理與人機交互技術。
吳小培(1966-),男,安徽池州人,博士,安徽大學教授、博士生導師,主要研究方向為智能信息處理與人機交互技術。
張超(1983-),男,江蘇邳州人,博士,安徽大學講師,主要研究方向為智能信息處理、視頻/圖像處理。
衛(wèi)兵(1984-),男,安徽六安人,安徽大學博士生,主要研究方向為智能信息處理、嵌入式技術等。