褚凱軒,常天慶,郭理彬,馬 也
陸軍裝甲兵學(xué)院 兵器與控制系,北京 100072
P300電位是腦-機接口中常用的信號,是指在接受靶刺激后約300 ms出現(xiàn)的正向電位偏移。P300是一種經(jīng)典的事件相關(guān)電位(ERP)成分,是大腦對信息加工最好的反映,其潛伏期與刺激具有嚴格的鎖時關(guān)系。針對P300電位,Polich和Donchin[1]提出的Oddball范式沿用至今,Oddball范式中要求參與者對一系列刺激進行分類,這些刺激可分為兩類,靶刺激和非靶刺激,靶刺激出現(xiàn)的概率遠遠小于非靶刺激出現(xiàn)的概率。學(xué)術(shù)界以O(shè)ddball范式為基礎(chǔ),將P300-RSVP目標檢測系統(tǒng)應(yīng)用于多種目標的分類和檢測[2-4]:用RSVP技術(shù)將一系列待檢圖片快速播放,小概率出現(xiàn)的含有目標的圖片會刺激被試者產(chǎn)生P300電位,通過研究腦電波中是否含有P300即可鎖定目標圖片。P300-RSVP目標檢測系統(tǒng)需要與之配套的圖像最優(yōu)呈現(xiàn)技術(shù),以刺激被試者產(chǎn)生更強烈的P300,提取更顯著的腦電特征,進而提高目標檢測的正確率[5]。圖片中的目標所占視場角是一個重要的因素,目標視場角是指目標的外緣與人眼視線形成的角度,目標視場角直接影響誘發(fā)的P300信號的強度。
當前對“視角”問題進行了較多的研究。文獻[6]的研究顯示,當目標位于中心視野4°以內(nèi)時,被試者主觀發(fā)現(xiàn)目標概率達到90%,而當目標遠離視角4°時,被試者的識別率下降到50%,當目標遠離視角8°時,識別率進一步下降。雖然被試者的周邊視野仍然可以發(fā)現(xiàn)目標刺激,但目標在視野的外緣處必須特征更顯著才能被發(fā)現(xiàn)。文獻[7]在4 Hz播放幀率下采用6°×4°視角的圖片刺激被試者,圖片中的目標包括動物、汽車、飛機、人等,最后對P300的分類正確率達到90%以上。文獻[8]在10 Hz播放幀率下采用約26°視角的圖片刺激被試者,要求被試者從汽車圖片中篩選出人臉圖片,對3名被試者的P300的分類正確率分別為84.5%±0.63%、85.0%±0.61%、84.7%±0.63%。
文獻[6]對目標中心偏離中心視線(屏幕中心)的角度進行了研究,而在實際應(yīng)用中,目標的位置是未知的,目標偏離視野的角度不可控,文獻中得到的結(jié)論難以直接用于實踐。文獻[7-8]對圖片所占視場角進行了研究,而在刺激實驗中,被試者更多的是關(guān)注圖片中的目標而非圖片本身。當前對于圖片中的目標所占視場角的問題研究較少。目標視場角是對刺激強度和最佳視域的權(quán)衡:因為相對較大的目標有利于刺激被試者產(chǎn)生更強的P300信號,但當目標視場角超過人眼的最佳視域范圍時,會造成被試者難以在短時間內(nèi)觀察目標全貌而錯過目標。因此研究目標的最佳視場角具有重要意義。
前期實驗中已知,人能夠在短時間(0.1 s)內(nèi)識別坦克目標的最少像素點個數(shù)為30個左右,分辨率為960×720的圖片中0.5°的視場角內(nèi)大約有30個像素點,故選擇0.5°的目標視場角進行第一組實驗;文獻[6]中實驗表明目標位于中心視野4°以內(nèi)時,被試者發(fā)現(xiàn)目標的概率最大,因此本實驗中也用4°目標視場角進行一組實驗;水平方向8°范圍內(nèi)的物體,映像將落在視網(wǎng)膜最敏感的部分——黃斑上[9],故選擇8°目標視場角進行一組實驗;人眼的分辨視域約為15°,該范圍內(nèi)人眼能較快地捕捉圖像特征,識別簡單的數(shù)字和字母[10],故選擇15°的目標視場角為最后一組實驗。
采用0.5°、4°、8°和15°共4種不同視場角的目標對5名被試者進行刺激實驗。比較不同視場角的目標刺激下P300的疊加平均信號的強度;采用結(jié)構(gòu)化判別成分分析(HDCA)對不同目標視場角下的單試次信號進行分類,比較目標探測率。
P300-RSVP目標檢測系統(tǒng)主要由腦電信號刺激模塊、腦電信號采集模塊、腦電信號處理模塊三個部分組成。腦電信號刺激模塊的功能是將圖片序列通過RSVP技術(shù)快速呈現(xiàn)給被試者,刺激被試者大腦產(chǎn)生相應(yīng)的腦電信號。腦電信號采集模塊的主要功能是對刺激產(chǎn)生的腦電信號進行采集和儲存,同時產(chǎn)生標簽,使圖片序列和腦電波在時間上一一對應(yīng)。腦電信號處理模塊主要是對腦電信號進行預(yù)處理、特征提取和分類,其中預(yù)處理包括對腦電波進行降采樣、濾波、分段和去噪聲等操作。
P300-RSVP目標檢測系統(tǒng)工作原理如圖1所示。將待檢測圖片通過RSVP技術(shù)快速播放,刺激被試者產(chǎn)生腦電信號,同時將圖片和對應(yīng)的腦電波打上標簽,二者在時間上一一對應(yīng)。根據(jù)腦電波中是否存在P300對腦電信號進行分類。通過圖片和腦電波之間的標簽,鎖定目標圖片,達到目標檢測的目的[11]?;赑300腦-機接口的目標檢測系統(tǒng)利用腦-機接口技術(shù),實現(xiàn)機器智能與生物智能的有機融合,實時提供反饋信息幫助被試者完成高速、流水線式的目標檢測任務(wù)。
圖1 RSVP-BCI目標檢測系統(tǒng)工作原理圖
腦電波具有低信噪比的特點,P300信號的背景噪聲主要是自發(fā)腦電信號、眼電信號、肌電信號和工頻干擾組成。P300信號的幅值一般都在0.5~20μV,而自發(fā)EEG信號的幅值有時會達到100μV以上[12],遠大于P300信號的幅值,造成P300信號經(jīng)常淹沒在噪聲之中。在單試次腦電波分類任務(wù)中,無法采取疊加平均的方法提高信噪比,腦電波分類難度較大。為了提高目標檢測系統(tǒng)的性能,除了改進信號處理的算法外,研究圖片最優(yōu)呈現(xiàn)技術(shù)從而提高刺激產(chǎn)生的P300強度也是一條重要途徑。因此,本文的研究主要是針對刺激——圖片,以期產(chǎn)生更強烈的P300電位,從而降低分類的難度,提高目標檢測的正確率。
共有5名被試者參加該實驗,受試者年齡在23~30,被試者身體健康,視力正常,進行實驗時精神狀態(tài)良好。實驗中對被試者提出以下要求:
(1)被試者需要了解實驗的基本原理和流程,實驗之前瀏覽一遍圖片。
(2)實驗過程中被試者保持面部肌肉放松,減少四肢和頭部的動作,保持呼吸平穩(wěn),情緒鎮(zhèn)定。一旦出現(xiàn)咳嗽、瞌睡或注意力不集中等情況,需要及時報告,剔除相應(yīng)的腦電波數(shù)據(jù)。
(3)由于兩張目標圖片間隔至少1.5 s,鼓勵被試者在發(fā)現(xiàn)目標圖片后0.8~1.5 s時間內(nèi)眨眼,該段腦電不作為分析使用。
實地航拍獲取圖片素材、對圖片素材進行篩選、裁剪等預(yù)處理操作,建立圖庫。圖庫中包含目標圖片與非目標圖片,目標圖片中含有坦克目標,非目標圖片中無坦克目標。兩類圖片大小一致,分辨率均為960×720。目標圖片樣本和非目標圖片樣本如圖2所示。
圖2 目標圖片樣本和非目標圖片樣本
每100張圖片組成一組圖片序列,其中有非目標圖片96張,目標圖片4張,目標圖片位于圖片序列中的5~25、30~50、55~75、80~100,且任意兩張目標圖片至少間隔15張非目標圖片。每種目標視場角下進行100組實驗刺激實驗,共計可以產(chǎn)生400個正樣本腦電波和9 600個負樣本腦電波。
目標視場角的示意圖如圖3所示。
其中,α為目標邊緣偏離視線的角度,γ即為目標所占視場角,b為圖片邊緣距離目標中心的距離,L為被試者與屏幕間的距離,本實驗要求被試者距離屏幕0.6 m,即L=0.6 m。
圖3 視角示意圖
從近距離拍攝的源圖片中割取目標視場角較大的圖片樣本,從遠距離拍攝的源圖片中割取目標視場角較小的圖片樣本,再對割取的圖片進行適當縮放從而使目標視場角達到實驗要求。最后對所有的樣本圖片進行分辨率歸一化處理,輸出圖片的分辨率均為960×720,清晰度相同。由公式(1)計算不同大小的目標所占視場角,見表1。
表1 目標大小與目標所占視角對應(yīng)關(guān)系
對腦電波進行降采樣、0~30 Hz濾波、去眼點、分段和截取等操作,隨機選取每名被試者的各組目標視場角實驗中50段正樣本腦電波數(shù)據(jù),進行疊加平均。目標視場角影響因素下P300波形如圖4所示。
圖4 目標視場角影響因素下P300波形
目標視場角影響因素下P300波峰值見表2。
表2 目標視場角影響因素下P300波峰值μV
五位被試者中,有四位在目標視場角為8°左右時產(chǎn)生了最強的P300,有一位在目標視場角為4°時產(chǎn)生了最強P300,但是比8°目標視場角時的P300峰值僅高0.06μV。而當目標視角小于0.5°和大于15°的情況下,四位被試者的P300強度均出現(xiàn)了一定程度的衰減。
雖然P300的峰值是評價P300信號強弱的重要指標,但這并不是決定分類的唯一因素。例如,N200與刺激也有嚴格的鎖時關(guān)系,從圖4中可以看出N200和P300的強度不是嚴格的正相關(guān)。當前對于P300腦電信號的分類算法不是只依據(jù)潛伏期附近的正向偏移,而是將整個波段的信息都列入分析[13-17]。因此,最終判定最佳目標視場角,還需要對腦電波進行分類。
采用結(jié)構(gòu)化判別成分分析(HDCA)對單試次腦電波進行分類。算法的核心是對權(quán)重系數(shù)進行訓(xùn)練,使得目標圖像的得分盡可能地高于非目標類圖像的得分[18]。HDCA分類器的訓(xùn)練過程如圖5所示。P300信號最晚不會超過400 ms,且根據(jù)實驗要求,每當被試者發(fā)現(xiàn)目標后500~1 000 ms之間允許眨眼。因此選取0~400 ms內(nèi)的腦電數(shù)據(jù)作為樣本。分類方案中用到FLD和Logistic Regression方法。FLD對多維樣本進行降維,使來自不同類別的樣本在該低維空間中具有可分性。LR通過一個多項式函數(shù)將樣本向量映射為一個(-∞,+∞)范圍內(nèi)的值,然后通過該值在Logistic曲線對應(yīng)的值給出樣本向量屬于某類別的概率。
圖5 HDCA分類器訓(xùn)練過程
HDCA訓(xùn)練分類器的步驟如下:
第一步:將0~400 ms腦電數(shù)據(jù)以50 ms為間隔分為8個時間窗口。
第二步:將各導(dǎo)聯(lián)第i(i=1,2,…,8)個時間窗內(nèi)腦電信號取平均值。
第三步:FLD降維,得到該時間窗內(nèi)腦電的判決值yi,使得目標刺激對應(yīng)的yi值大于非目標刺激對應(yīng)的yi值。記第i個時間窗內(nèi)第k個導(dǎo)聯(lián)xik特征降維所對應(yīng)的投影系數(shù)為ωik。對應(yīng)公式為:
第四步:通過LR找出第i個時間窗的加權(quán)系數(shù)ci,使得通過ci加權(quán)后的yi值之和成為圖像評分值IS,并且目標刺激的IS值大于非目標刺激的IS值。記第k個導(dǎo)聯(lián)xk特征降維所對應(yīng)的投影系數(shù)為ωik。對應(yīng)的公式為:
第五步:控制誤檢率為15%的前提下,設(shè)置分類閾值ω,進行分類。當IS≥ω時,判斷腦電波中含有P300,當IS<ω時,判斷腦電波中不含P300。
從每位被試者的各不同目標視場角刺激下的腦電數(shù)據(jù)中隨機選取正樣本腦電波和負樣本腦電波各100段,采用“留一法”對HDCA分類器進行訓(xùn)練和分類,統(tǒng)計正樣本的分類正確率(即目標探測率)。目標視場角影響因素下目標探測率見表3。
表3 目標視場角影響因素下目標探測率%
表中數(shù)據(jù)顯示,每位被試者都在目標視場角為8°時,達到了最高的目標的探測率,5位被試者平均目標探測率達到82%以上。
針對目標所占視場角對P300-RSVP目標檢測系統(tǒng)的影響,設(shè)計對照實驗,研究被試者在不同視場角的目標刺激下P300的強度以及分類效果。采用HDCA分類算法,經(jīng)過FLD的空間加權(quán)平均和LR的時間加權(quán)平均,訓(xùn)練權(quán)值,計算圖像的評分值,以誤檢率為標準設(shè)置分類閾值,實現(xiàn)分類。實驗結(jié)果顯示,目標所占視角為8°左右時,刺激被試者產(chǎn)生的P300強度最強,峰值最高,相應(yīng)的目標探測率最高,5位被試者的平均目標探測率達到82%以上。