一種基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)

王 寧，孫廣金，劉學(xué)文

（中國電子科技集團(tuán)公司第二十七研究所，河南 鄭州450047）

一種基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)

王 寧，孫廣金，劉學(xué)文

（中國電子科技集團(tuán)公司第二十七研究所，河南 鄭州450047）

傳統(tǒng)的頭盔顯示/瞄準(zhǔn)系統(tǒng)通過頭盔瞄準(zhǔn)具將傳感器耦合到頭盔瞄準(zhǔn)線，由傳感器產(chǎn)生的圖像通過頭盔顯示器顯示給觀察者，從而形成閉環(huán)系統(tǒng)。提出了一種基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)，并給出了系統(tǒng)的工作流程與算法設(shè)計(jì)。仿真表明，該系統(tǒng)具有較高的目標(biāo)識別準(zhǔn)確率、較快的系統(tǒng)響應(yīng)速度以及良好的人機(jī)交互體驗(yàn)，具備深入研究的價值。

腦機(jī)接口；頭盔顯示/瞄準(zhǔn)系統(tǒng)；穩(wěn)態(tài)視覺誘發(fā)電位；運(yùn)動準(zhǔn)備視覺誘發(fā)電位

0 引言

傳統(tǒng)的頭盔顯示/瞄準(zhǔn)系統(tǒng)（Helmet Mounted Display and Sight System，HMDASS）是指頭盔顯示器和頭盔瞄準(zhǔn)具組合起來的系統(tǒng)，它既具有頭盔顯示器的功能，可以顯示筆劃字符和光柵圖像，也具有頭盔瞄準(zhǔn)具的功能，可以測量和計(jì)算頭盔瞄準(zhǔn)線的位置[1]。頭盔瞄準(zhǔn)具確定頭盔瞄準(zhǔn)線，用頭盔瞄準(zhǔn)具產(chǎn)生的信號驅(qū)動在系統(tǒng)中使用的傳感器，以使它指向頭盔同一方向。來自傳感器的圖像顯示在頭盔顯示器上。這樣，通過頭盔瞄準(zhǔn)具將傳感器藕合到頭盔瞄準(zhǔn)線，由傳感器產(chǎn)生的圖像通過頭盔顯示器顯示給觀察者，從而形成閉環(huán)系統(tǒng)。

然而在現(xiàn)代戰(zhàn)爭中，軍事武器的機(jī)動性越來越強(qiáng)，單純靠目視來鎖定目標(biāo)越來越困難，并且需要大量的計(jì)算機(jī)運(yùn)算來提供精度的保證，而事實(shí)上，使用者本身的誤差使得系統(tǒng)精度很難高于5 mrad（RMS）。

頭盔顯示/瞄準(zhǔn)系統(tǒng)究其根本是一個人-機(jī)交互的系統(tǒng)，當(dāng)前的頭盔顯示/瞄準(zhǔn)系統(tǒng)已經(jīng)發(fā)展到“所見即所得”的程度，為了更進(jìn)一步提高系統(tǒng)性能，實(shí)現(xiàn)人機(jī)同感、人機(jī)合一、人在回路中，“所思即所得”的人-機(jī)智能交互系統(tǒng)，本文設(shè)計(jì)了一種基于腦機(jī)接口（Brain-Computer Interface，BCI）[2]的頭盔顯示/瞄準(zhǔn)系統(tǒng)。

在這個BCI系統(tǒng)中采集了多種EEG信號，使用穩(wěn)態(tài)視覺誘發(fā)電位（Steady State Visual Evoked Potential，SSVEP）來快速選擇打擊目標(biāo)，使用運(yùn)動準(zhǔn)備視覺誘發(fā)電位（Motion Onset Visual Evoked Potential，MOVEP）進(jìn)行任務(wù)分類，使用異步運(yùn)動想象（Motion Image，MI）[3]作為開關(guān)，實(shí)現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換。實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)具有較好的效果。

1 一種基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)

針對腦電信息獲取與解析的腦機(jī)接口技術(shù)研究是人機(jī)協(xié)同控制的發(fā)展趨勢，基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)的目標(biāo)旨在初步實(shí)現(xiàn)人機(jī)同感、人機(jī)合一、人在回路中，“所思即所得”的人-機(jī)智能交互系統(tǒng)[4]。

其中多模態(tài)BCI在線控制系統(tǒng)以單人多模態(tài)人機(jī)

融合技術(shù)為基礎(chǔ)，以識別結(jié)果和時序?yàn)閮?yōu)化條件，設(shè)計(jì)具有自主更新的任務(wù)分配范式，通過構(gòu)建具有高效的自適應(yīng)腦電信號處理算法以及實(shí)現(xiàn)快速有效的意識指令編碼及通信，實(shí)現(xiàn)人機(jī)智能融合[5]。該系統(tǒng)工作流程為：通過腦電放大器采集及記錄多模態(tài)腦電信號；將原始腦電信號進(jìn)行信號預(yù)處理；使用異步MI腦電信號來識別任務(wù)狀態(tài)；根據(jù)任務(wù)識別結(jié)果判斷信號類型屬于指令編碼還是目標(biāo)編碼；針對目標(biāo)編碼和指令編碼，使用SSVEP及MOVEP腦電信號對應(yīng)的特征提取及分類識別算法；將分類識別結(jié)果轉(zhuǎn)化為指令編碼或者目標(biāo)編碼，指令編碼可以對應(yīng)飛機(jī)各操作指令，目標(biāo)編碼對應(yīng)雷達(dá)鎖定目標(biāo)選擇。系統(tǒng)工作流程如圖1所示。

圖1 系統(tǒng)工作流程圖

（1）多模態(tài)腦電信號采集及記錄

實(shí)驗(yàn)采用美國 Neuroscan公司生產(chǎn)的 64導(dǎo) EEG采集分析系統(tǒng)進(jìn)行實(shí)驗(yàn)設(shè)計(jì)和EEG信號采集。該系統(tǒng)包括用于采集EEG信號的 Quik-cap電極帽、SynAmps2專用EEG信號放大器，該采集系統(tǒng)的精度較高。

（2）信號預(yù)處理

由于腦電信號具有非線性、非平穩(wěn)性且易受干擾的特點(diǎn)，單純采用ICA分解得到的IC在排序上具有不確定性、運(yùn)算速度較低等因素，故采取偽跡識別與ICA相結(jié)合的預(yù)處理算法。

算法的基本思想：記錄各被試主動眼動的信號，選取有代表性的眼動信號的空間分布作為先驗(yàn)知識；求ICA分解出的各個獨(dú)立成分的空間分布與先驗(yàn)知識中眼動的空間分布的相關(guān)系數(shù)，把相關(guān)系數(shù)大于一定閾值的認(rèn)定為眼電偽跡；再將這些眼電偽跡成分予以去除，將得到?jīng)]有偽跡的數(shù)據(jù)。

（3）使用異步MI腦電信號識別任務(wù)狀態(tài)

μ、β節(jié)律的ERD現(xiàn)象是目前運(yùn)動想象分類算法設(shè)計(jì)中最主要的特征之一，其基本原理是人在進(jìn)行運(yùn)動或者想像運(yùn)動時，會導(dǎo)致相應(yīng)運(yùn)動皮層功能區(qū)EEG信號中μ（8～14Hz）、β（18～30Hz）頻段能量的下降。當(dāng)停止運(yùn)動或者想象運(yùn)動時，上述頻段能量則會恢復(fù)。這種頻域能量的變化一般稱為事件相關(guān)同步與去同步現(xiàn)象（Event-Related Desynchronization/Synchronization，ERD/ERS）。根據(jù)這一原理，通過設(shè)計(jì)合理的空域?yàn)V波器進(jìn)行μ、β節(jié)律的ERD特征提取與分類，以及通過在線頻譜能量估計(jì)進(jìn)行μ和β節(jié)律頻段優(yōu)化選擇，實(shí)現(xiàn)兩類運(yùn)動想像任務(wù)的在線異步檢測，可以識別兩種任務(wù)狀態(tài)。

被試執(zhí)行運(yùn)動任務(wù)時的大腦活動分布如圖2所示。

圖2 被試執(zhí)行運(yùn)動任務(wù)時的大腦活動分布圖

圖2中A為右手實(shí)際運(yùn)動，B為右手運(yùn)動想像，C為被試休息（實(shí)線）與想象（虛線）條件下的電壓頻譜，D為對應(yīng)的 r2頻譜。

（4）使用SSVEP來快速選擇打擊目標(biāo)，使用MOVEP進(jìn)行任務(wù)分類

SSVEP具有明顯的周期性特征，給受試者提供一個特定頻率的視覺刺激時，將在視皮層誘發(fā)出頻率跟隨特性的SSVEP信號，因此在枕區(qū)記錄到的腦電信號的功率譜將在刺激頻率處出現(xiàn)明顯的譜峰。試驗(yàn)研究發(fā)現(xiàn)，SSVEP頻譜包含有一系列與刺激頻率成整數(shù)倍關(guān)系的頻率成分，其中以基頻和二倍頻成分最為顯著，并可由此設(shè)計(jì)基于SSVEP的目標(biāo)選擇原型范式。系統(tǒng)提供給受試代表不同意義的以不同頻率閃爍的多個方塊圖形，并通過腦電信號頻率的檢測來確定注視目標(biāo)的選擇。

典型的Motion-onset VEP信號包含3個主要的信號特征：P1、N2、P2。N2主要出現(xiàn)在60 ms～200 ms，是很顯著的信號特征，產(chǎn)生于顳枕區(qū)并與頂葉皮層區(qū)域相關(guān)。P2主要出現(xiàn)在240 ms左右，其強(qiáng)度隨著視覺運(yùn)動刺激的復(fù)雜程度的上升而上升。

當(dāng)被操控人員注視著目標(biāo)模塊時，模塊內(nèi)的可視目標(biāo)的短暫運(yùn)動會誘發(fā)出MOVEP信號，其是與該動作的開始相鎖定關(guān)聯(lián)的，其信號幅值遠(yuǎn)大于周圍其他模塊信號。因此，EEG數(shù)據(jù)段里包含有與所選目標(biāo)的動作起始時刻鎖定的MOVEP信號，其具有顯著的動作相關(guān)VEP特征。通過VEP特征能夠找到操控者在當(dāng)前狀態(tài)下所注視的任務(wù)模塊，從而確定目標(biāo)，給出結(jié)果。

2 系統(tǒng)實(shí)驗(yàn)與結(jié)果

2.1 系統(tǒng)實(shí)驗(yàn)

2.1.1 SSVEP

實(shí)驗(yàn)流程如下：操控者坐于監(jiān)視器前 1.2 m處，頭戴實(shí)時EEG電極帽進(jìn)行EEG數(shù)據(jù)采集。監(jiān)視器顯示一組頻率刺激圖像，實(shí)驗(yàn)開始后，各頻率塊以不同的頻率閃爍，同時要求操控者在一個實(shí)驗(yàn)中集中注意力觀察自己選擇的目標(biāo)框。

由于個體的差異，在進(jìn)行基于SSVEP-BCI系統(tǒng)設(shè)計(jì)之前，需要對操控者進(jìn)行刺激頻率的選擇。由于在頻率域上每個操控者可用的頻率并不是太多，為了實(shí)現(xiàn)多任務(wù)的操控目的，在實(shí)驗(yàn)中采用多頻序列編碼范式，其利用頻率在時間尺度上的置換完成對SSVEP-BCI系統(tǒng)刺激模塊的編碼，是一種周期性的直接編碼方案[6]。

多頻序列編碼原理如圖3所示。

圖3 多頻序列編碼原理

2.1.2 MOVEP

MOVEP的刺激形式如圖4所示，4號位的一條線從方框右邊向左邊快速移動，在本系統(tǒng)中，線從右到左的移動時間是250 ms。若被試注意線起始出現(xiàn)的時刻，那么在后頂部位的電極處便可記錄到MOVEP特征信號。

圖4 MOVEP刺激

由于被試間的N200和P200的潛伏期存在差異，為了優(yōu)化系統(tǒng)的性能，根據(jù)雙樣本t檢驗(yàn)和ANOVA方法為每個被試選取最優(yōu)的時間窗。在優(yōu)化后的時間窗內(nèi)，按一定的降采樣率提取特征點(diǎn)。

MOVEP時域信號特征如圖5所示。

圖5 MOVEP時域信號特征示意圖

圖5是從P3電極處采集的EEG信號經(jīng)過疊加平均后的信號特征圖，其中實(shí)線代表目標(biāo)刺激的EEG信號，虛線代表非目標(biāo)刺激的EEG信號。

2.2 實(shí)驗(yàn)結(jié)果

通過實(shí)驗(yàn)驗(yàn)證SSVEP-BCI系統(tǒng)目前達(dá)到的技術(shù)指標(biāo)為：（1）能實(shí)現(xiàn)對屏幕上同時出現(xiàn)的6種目標(biāo)進(jìn)行區(qū)分選擇；（2）控制精確度大于80%；（3）鎖定時間約500 ms。

MOVEP-BCI系統(tǒng)目前達(dá)到的技術(shù)指標(biāo)為：（1）能實(shí)現(xiàn)對屏幕上同時出現(xiàn)的 6種任務(wù)進(jìn)行區(qū)分選擇；（2）控制精確度大于80%；（3）任務(wù)選擇時間約500 ms。

3 小結(jié)

本文使用SSVEP來快速選擇打擊目標(biāo)，使用MOVEP進(jìn)行任務(wù)分類，使用異步MI作為開關(guān)，實(shí)現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換，取代單純靠目視來鎖定目標(biāo)的傳統(tǒng)頭盔。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)通過和機(jī)載火控雷達(dá)及專業(yè)任務(wù)系統(tǒng)的緊密配合，在對超高速、小型目標(biāo)的快速鎖定及腦控任務(wù)選擇上具有較好的效果。

[1]王永年.頭盔顯示/瞄準(zhǔn)系統(tǒng)[M].北京：國防工業(yè)出版社，1994.

[2]VIDAL J.Toward direct brain-computer communication[J]. Annual Review of Biophysics and Bioengineering，1973，2（1）：157-180.

[3]WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al. Brain-computer interfaces for communication and control[J]. Clin Neurophysiol，2002，113（6）：767-791.

[4]堯德中.腦功能探測的電學(xué)理論與方法[M].北京：科學(xué)出版社，2003.

[5]堯德中，劉鐵軍，雷旭，等.基于腦電的腦-機(jī)接口：關(guān)鍵技術(shù)和應(yīng)用前景[J].電子科技大學(xué)學(xué)報(bào)，2009，38（5）：550-554.

[6]吳正華.穩(wěn)態(tài)視覺誘發(fā)電位在腦機(jī)接口及認(rèn)知過程中的應(yīng)用研究[D].成都：電子科技大學(xué)，2008.

Design of an HMDASS based on BCI

Wang Ning，Sun Guangjin，Liu Xuewen
（The 27thResearch Institute of China Electronics Technology Group Corporation，Zhengzhou 450047，China）

The traditional helmet mounted display and sight system（HMDASS）uses targeting tool coupling sensors to line of sight.Images from the sensors are showed to observers with monitor of the helmet.Accordingly a closed-loop system comes into being.This paper puts forward the design of an HMDASS based on brain-computer interface（BCI）.Meanwhile the workflow and algorithm design of the system are given.The simulation indicates that the system has high target recognition accuracy，fast system response speed and good interactive experience.Thus the system has the value of in-depth study.

BCI；HMDASS；SSVEP；MOVEP

TP391

A

0258-7998（2015）05-0149-03

10.16157/j.issn.0258-7998.2015.05.037

2015-01-15）

王寧（1982-），男，工程師，主要研究方向：數(shù)字信號處理。