果琳麗張志賢張澤旭( 中國(guó)空間技術(shù)研究院載人航天總體部 哈爾濱工業(yè)大學(xué))
?
腦-機(jī)接口技術(shù)在載人航天任務(wù)中的應(yīng)用研究
果琳麗1張志賢1張澤旭2(1 中國(guó)空間技術(shù)研究院載人航天總體部 2 哈爾濱工業(yè)大學(xué))
腦-機(jī)接口技術(shù)概念
腦-機(jī)接口(BCI)是以腦電信號(hào)或其他相關(guān)技術(shù)為基礎(chǔ),將大腦活動(dòng)特征轉(zhuǎn)化為預(yù)定義的命令,從而實(shí)現(xiàn)與外界交流或者控制其他外部設(shè)備的先進(jìn)技術(shù),是一種不依賴身體肌肉組織系統(tǒng)和控制神經(jīng)系統(tǒng)的新型智能接口技術(shù)。因此,我們可以把BCI定義為一個(gè)非肌肉通信系統(tǒng),它可以使人體的大腦意圖和外界環(huán)境進(jìn)行直接的溝通交流,在計(jì)算機(jī)和大腦之間建立一個(gè)新的通信通道。
BCI和普通人機(jī)接口的一個(gè)主要差別是,BCI只需要檢測(cè)大腦的響應(yīng)性或目的性活動(dòng)信號(hào),而不需要人體語言或身體動(dòng)作的參與?;谀X電信號(hào)(EEG)的BCI并非試圖解釋大腦自發(fā)腦電,而是使大腦產(chǎn)生容易被解釋分析的腦電,BCI檢測(cè)分析出這種特異性腦電后,就可以發(fā)出相對(duì)應(yīng)的控制信息。
BCl系統(tǒng)組成
BCl系統(tǒng)組成
BCI系統(tǒng)和任何通信系統(tǒng)一樣,有輸入(即來自使用者的大腦信號(hào))、輸出(即設(shè)備指令)、將前者轉(zhuǎn)化為后者的組件,以及決定運(yùn)行開始、偏移及定時(shí)的操作協(xié)議。因此,任何BCI系統(tǒng)都可以說是由四大部分組成:
1)信號(hào)采集,即采集大腦信號(hào);
2)信號(hào)處理,即提取大腦信號(hào)特征并將其轉(zhuǎn)化為設(shè)備指令;
3)輸出設(shè)備,根據(jù)設(shè)備指令執(zhí)行動(dòng)作來實(shí)現(xiàn)用戶的意圖;
4)操作協(xié)議,即引導(dǎo)操作流程。
對(duì)于部分BCI系統(tǒng)還會(huì)加入反饋環(huán)節(jié),用戶不僅知道自己思維控制得到的結(jié)果,對(duì)于出現(xiàn)的誤操作,用戶也可以進(jìn)行自主調(diào)節(jié)腦電信號(hào)以達(dá)到更好的控制目標(biāo)。反饋可以提高系統(tǒng)的準(zhǔn)確性、實(shí)時(shí)性,但是同時(shí)也會(huì)影響用戶體驗(yàn),對(duì)系統(tǒng)也帶來一定的資源負(fù)擔(dān)。
BCl技術(shù)的分類
根據(jù)傳輸形式,BCI技術(shù)可以分為單向BCI技術(shù)和雙向BCI技術(shù),單向BCI技術(shù)不能同時(shí)發(fā)送和接收信號(hào),而雙向BCI技術(shù)允許腦和外部設(shè)備間的雙向信息交換。
腦皮層電位(ECoG)信號(hào)是通過信號(hào)采集系統(tǒng),經(jīng)過信號(hào)采集、放大、濾波、A/D轉(zhuǎn)換等輸出的預(yù)處理信號(hào),即還原之后較為純凈的腦電信號(hào);然后,ECoG信號(hào)處理系統(tǒng)經(jīng)過特征提取、模式識(shí)別、模式分類進(jìn)行信號(hào)處理,將分類結(jié)果輸出;再經(jīng)過指令編碼,將信號(hào)變?yōu)榭刂浦噶顐鬏斀o控制機(jī)構(gòu),控制外界環(huán)境及設(shè)備;同時(shí),將反饋信息經(jīng)過多通道反饋系統(tǒng)傳輸給計(jì)算機(jī)及人腦,進(jìn)行人機(jī)交互,對(duì)控制指令進(jìn)行進(jìn)一步調(diào)整和確認(rèn)。
交互環(huán)節(jié)是BCI系統(tǒng)的重要組成部分,應(yīng)用于載人航天領(lǐng)域的雙向BCI系統(tǒng)是基于人機(jī)交互模式的。BCI系統(tǒng)的輸出通過視覺、聽覺、觸覺等方式反饋給使用者,使用者將結(jié)果與自己的期望進(jìn)行比較,調(diào)整自身生理狀態(tài),對(duì)后續(xù)輸入進(jìn)行保持或者調(diào)解,以使系統(tǒng)輸出達(dá)到更好的效果。
雙向BCl人機(jī)交互技術(shù)結(jié)構(gòu)圖
載人航天任務(wù)中,航天員的生命安全是最重要的,航天員在環(huán)境惡劣的太空?qǐng)?zhí)行任務(wù),由于微重力、高輻射等空間環(huán)境的影響,會(huì)使一些原本簡(jiǎn)單的任務(wù)變得復(fù)雜不可控。因此,將雙向BCI技術(shù)應(yīng)用于載人航天領(lǐng)域可以確保航天員的安全,增加任務(wù)的靈活性和可靠性,提升空間操作的安全性和效率。
控制機(jī)器人進(jìn)行空間站維修作業(yè)
空間站等航天器大多數(shù)安裝有高精度電子元器件,其中有很多微型元器件安裝在儀器中。航天器質(zhì)量越小、體積越小,需要攜帶的燃料越少,有效載荷比就越高。因此,很多航天器的設(shè)備都盡可能節(jié)省空間,緊密安裝在狹小的空間內(nèi)。這些電子元器件發(fā)生故障時(shí),航天員很難對(duì)其進(jìn)行修復(fù),而且在任務(wù)執(zhí)行中,有些元器件不能拆卸。如果能將BCI技術(shù)和微型維修機(jī)器人結(jié)合,就能夠解決這類問題。
微型維修機(jī)器人由于體積小,能夠進(jìn)入航天員到達(dá)不了的狹小空間,航天員可以通過微型維修機(jī)器人的拍攝裝置,在計(jì)算機(jī)上顯示出故障發(fā)生的位置,通過BCI控制微型維修機(jī)器人,將損壞的元器件換下,或者直接進(jìn)行修復(fù)。
航天服內(nèi)部環(huán)境控制
航天員在執(zhí)行艙外任務(wù)時(shí),需要對(duì)航天服的內(nèi)部環(huán)境進(jìn)行監(jiān)測(cè)和調(diào)節(jié),維持航天服內(nèi)部環(huán)境的相對(duì)穩(wěn)定。由于外界環(huán)境的差異性、工作環(huán)境的復(fù)雜性,要根據(jù)外界的環(huán)境變化對(duì)航天服內(nèi)部環(huán)境進(jìn)行控制。可以將BCI技術(shù)應(yīng)用于航天服內(nèi)部環(huán)境控制系統(tǒng)中,通過實(shí)時(shí)性控制,確保環(huán)境控制的及時(shí)性。
在艙外作業(yè)中,如果航天員感覺到身體不適或遇到緊急事件時(shí),可以通過BCI系統(tǒng)迅速向飛行器和航天服發(fā)送信號(hào),無需手動(dòng)操作,使航天服內(nèi)部環(huán)境控制系統(tǒng)接收到指令信息可以做出快速反應(yīng),比如增加航天服內(nèi)氧氣含量,提高航天服內(nèi)溫度等,確保航天員生命安全。
BCl與肌電圖結(jié)合的人體機(jī)械外骨骼
基于BCI與肌電圖(EMG)結(jié)合的人體機(jī)械外骨骼,在載人航天領(lǐng)域有非常好的發(fā)展前景。航天員進(jìn)行星表勘探時(shí),星表探測(cè)器不能隨著航天員的運(yùn)動(dòng)范圍任意運(yùn)動(dòng),航天員在進(jìn)行人工鉆取、挖孔、采集星表土壤時(shí),外骨骼裝備可以根據(jù)腦信號(hào)和肌肉信號(hào)的控制指令進(jìn)行相應(yīng)動(dòng)作,為航天員節(jié)省了體能,并且能夠提供超出航天員自身的力量。在外骨骼裝備的幫助下,航天員可以在星表更為輕松、省力地行走?;贐CI與EMG的人體外骨骼裝備,同時(shí)接收ECoG信號(hào)和EMG信號(hào),可以更好地為航天事業(yè)服務(wù)。
人體外骨骼示意圖
BCl與EMG結(jié)合的人體外骨骼控制系統(tǒng)示意圖
人體外骨骼裝備幫助脊椎受損的航天員恢復(fù)行走
對(duì)于長(zhǎng)期生活在空間站或者經(jīng)受長(zhǎng)期太空旅行的航天員來說,長(zhǎng)期的微重力環(huán)境會(huì)對(duì)航天員的肌肉組織和骨骼組織造成傷害,導(dǎo)致骨質(zhì)流失和肌肉萎縮等癥狀??梢允褂没贐CI和EMG結(jié)合的人體外骨骼裝置,幫助航天員進(jìn)行恢復(fù)訓(xùn)練。比如,通過ECoG信號(hào)對(duì)腿部外骨骼進(jìn)行控制,協(xié)助、強(qiáng)迫進(jìn)行腿部訓(xùn)練,給腿部肌肉持續(xù)受力,進(jìn)行腿部機(jī)能恢復(fù)訓(xùn)練。
對(duì)于在執(zhí)行任務(wù)中受傷、致殘的航天員,基于BCI和EMG結(jié)合的人體外骨骼技術(shù),可以最大程度地幫助他們進(jìn)行正常的生活。對(duì)于一名脊椎受損的航天員,通過無線數(shù)據(jù)通信建立閉環(huán)通信回路,可以繞過受損的脊椎部分,進(jìn)行信息傳遞和反饋。
BCl與虛擬現(xiàn)實(shí)結(jié)合的載人車輛導(dǎo)航技術(shù)
在載人深空探測(cè)任務(wù)中,根據(jù)探測(cè)任務(wù)的需要,探測(cè)器到達(dá)探測(cè)目標(biāo)后,要釋放星表探測(cè)器對(duì)探測(cè)目標(biāo)進(jìn)行表面作業(yè),例如,月球車、火星車、小行星星表探測(cè)器等。這些星表探測(cè)器工作時(shí)需要進(jìn)行導(dǎo)航,將BCI與虛擬現(xiàn)實(shí)(VR)技術(shù)相結(jié)合,可以對(duì)火星車等進(jìn)行遠(yuǎn)程大范圍導(dǎo)航。在探測(cè)器著陸之前的探測(cè)目標(biāo)繞飛階段,對(duì)目標(biāo)星進(jìn)行拍攝和地形重構(gòu),將星表的三維圖像傳輸給可視化頭盔,航天員根據(jù)還原的視景呈現(xiàn)發(fā)出ECoG信號(hào),通過BCI系統(tǒng)對(duì)ECoG信號(hào)進(jìn)行處理、分析,轉(zhuǎn)化為導(dǎo)航信號(hào)分別傳輸給VR系統(tǒng)和火星車等導(dǎo)航目標(biāo)。在VR系統(tǒng)的還原場(chǎng)景中,虛擬火星車執(zhí)行導(dǎo)航指令,航天員可以根據(jù)VR系統(tǒng)的圖像進(jìn)行大范圍路徑規(guī)劃。同時(shí),火星車接收導(dǎo)航命令進(jìn)行工作,并將實(shí)時(shí)導(dǎo)航結(jié)果反饋給航天員,判斷是否繼續(xù)下一步導(dǎo)航指令。
BCl與VR結(jié)合的導(dǎo)航過程示意圖
機(jī)械臂操控技術(shù)
在執(zhí)行太空碎片回收、廢棄衛(wèi)星回收、小衛(wèi)星捕獲等航天任務(wù)時(shí),需要對(duì)航天器的機(jī)械臂、機(jī)械手進(jìn)行控制,對(duì)目標(biāo)進(jìn)行抓取、捕獲??梢詫CI技術(shù)與航天器機(jī)械臂的控制相結(jié)合,通過BCI對(duì)航天器機(jī)械臂進(jìn)行直接控制。
雖然使用傳統(tǒng)的操縱桿和顯示屏等接口的機(jī)械手或者機(jī)器人,可以從航天器內(nèi)部或者地面手動(dòng)控制,系統(tǒng)地完成一些任務(wù),也能夠降低對(duì)艙外活動(dòng)的需求,但是傳統(tǒng)機(jī)械手或者機(jī)器人的靈活性、適應(yīng)性不足以代替所有的艙外活動(dòng),尤其是執(zhí)行特殊任務(wù)的高精度靈巧機(jī)械臂。
理想的航天器機(jī)械臂系統(tǒng)是操作者能夠通過運(yùn)動(dòng)想象,十分精確、即時(shí)地控制機(jī)械臂的移動(dòng),像控制自己的手臂一樣。為了能夠代替航天員的一些艙外活動(dòng),進(jìn)行科學(xué)任務(wù),基于BCI的機(jī)械臂系統(tǒng)必須能夠在速度、精度、安全性、靈活性上同已經(jīng)實(shí)現(xiàn)的方法處于同一水平上。
“國(guó)際空間站”桁架上的加拿大機(jī)械臂-2
控制機(jī)器人代替航天員出艙作業(yè)
載人航天任務(wù)中,最重要的就是保證航天員的生命安全。然而,太空環(huán)境極其惡劣,航天員在執(zhí)行艙外任務(wù)時(shí),要承受多種宇宙射線和微重力環(huán)境的影響,身體健康和生命安全都受到一定程度的威脅。
針對(duì)這種情況,可以使用智能機(jī)器人代替航天員進(jìn)行艙外活動(dòng),航天員在艙內(nèi)通過BCI控制智能機(jī)器人工作,可以更安全、有效地完成科學(xué)任務(wù),而且智能機(jī)器人可以到達(dá)航天員不能到達(dá)的區(qū)域和環(huán)境工作,還能完成一些航天員無法完成的科學(xué)探測(cè)任務(wù)。
航天員應(yīng)急系統(tǒng)
載人深空探測(cè)已經(jīng)成為各國(guó)航天領(lǐng)域重點(diǎn)研究的領(lǐng)域,美國(guó)航空航天局(NASA)的小行星登陸計(jì)劃和火星登陸計(jì)劃都在按部就班地進(jìn)行著。絕大多數(shù)的載人深空探測(cè)的任務(wù)周期都超過1年,航天員長(zhǎng)期處于惡劣的太空環(huán)境,對(duì)身體健康和生命安全都有一定的威脅。因此,在載人探測(cè)任務(wù)計(jì)劃中會(huì)設(shè)計(jì)航天員應(yīng)急系統(tǒng)的環(huán)節(jié),保證航天員在航天器緊急故障或突發(fā)狀況下,能夠啟動(dòng)應(yīng)急系統(tǒng),保證航天員生命安全。
如果可以采用BCI技術(shù)啟動(dòng)應(yīng)急系統(tǒng),可以在突發(fā)狀況下節(jié)省寶貴的時(shí)間,迅速啟動(dòng)應(yīng)急系統(tǒng)。而且突發(fā)狀況時(shí),航天員由于各種原因,很難馬上接觸到應(yīng)急裝置,用BCI進(jìn)行啟動(dòng),會(huì)在第一時(shí)間為航天員提供幫助。
基于BCl的遙操作技術(shù)
隨著航天事業(yè)的發(fā)展,在軌服務(wù)技術(shù)越來越受到重視,相應(yīng)遙操作技術(shù)也得到大力發(fā)展。對(duì)于廢棄衛(wèi)星回收、衛(wèi)星天線等制定器件回收、空間碎片清理、超近距離導(dǎo)航、對(duì)接等任務(wù),可以采用基于BCI的遙操作技術(shù),可以保證任務(wù)的高效性和可靠性。
例如,對(duì)于廢棄衛(wèi)星的高頻天線回收,可以通過BCI控制飛行器的機(jī)械臂、機(jī)械手等對(duì)天線進(jìn)行拆除和回收,再通過視頻傳輸信號(hào)進(jìn)行任務(wù)反饋,根據(jù)機(jī)械臂、機(jī)械手的位置測(cè)量信息等反饋信息,再發(fā)出接下來的指令,通過遙操作完成對(duì)廢棄衛(wèi)星高頻天線的回收。
信息傳輸問題
從機(jī)器人角度看BCI問題,主要是如何實(shí)時(shí)、精確、巧妙地實(shí)現(xiàn)對(duì)機(jī)械臂的控制,以及將非植入式BCI應(yīng)用在機(jī)器人控制領(lǐng)域。通常對(duì)機(jī)器人的靈活控制需要每秒至少20個(gè)控制指令,遠(yuǎn)高于目前基于EEG的非植入式BCI的0.5bit/s的傳輸率和植入式BCI的6.5bit/s的傳輸率。為了說明目前BCI技術(shù)的現(xiàn)狀,以柏林BCI系統(tǒng)為例,在該系統(tǒng)中,6個(gè)被試者進(jìn)行了3個(gè)簡(jiǎn)單的基于運(yùn)動(dòng)想象的光標(biāo)控制訓(xùn)練任務(wù),3個(gè)任務(wù)的平均數(shù)據(jù)傳輸率是0.3bit/s,而要實(shí)現(xiàn)對(duì)一個(gè)機(jī)械臂的靈活控制(包括控制方向、速度、抓握力量以及復(fù)雜的關(guān)節(jié)結(jié)構(gòu)),顯然需要比這個(gè)大得多的信息傳輸率。
盡管在現(xiàn)在的技術(shù)條件下還無法實(shí)現(xiàn)對(duì)基于BCI技術(shù)的機(jī)器人實(shí)時(shí)、靈活的控制,但是可以實(shí)現(xiàn)一些現(xiàn)階段技術(shù)條件下可以完成的應(yīng)用,比如不用手就實(shí)現(xiàn)對(duì)艙外航天服內(nèi)部的環(huán)境控制等。另外,BCI技術(shù)還可以解碼高層次的指令,該指令將半自動(dòng)地被機(jī)器人或者其他系統(tǒng)實(shí)現(xiàn),此過程中可能伴隨著監(jiān)控,或者由更高層次的指令適當(dāng)干預(yù)。
精度問題
決定BCI系統(tǒng)精度的因素包括個(gè)體的生物學(xué)差異、任務(wù)的種類、使用的硬件和軟件(包括預(yù)測(cè)機(jī)制的類型和錯(cuò)誤信號(hào)的糾正)、信號(hào)質(zhì)量以及一個(gè)特定使用者執(zhí)行一個(gè)思維任務(wù)的能力。在基于分類器的BCI系統(tǒng)中,精度必須用信息傳輸率和指令延時(shí)來衡量。若要對(duì)BCI系統(tǒng)的精度做出有意義的比較,這兩方面是必須參照的。但粗略來看,以柏林BCI為例,它區(qū)分兩種狀況的正確率大約為90%,個(gè)體正確率在78.1%~98%。對(duì)于很多更高維度的任務(wù)來說,系統(tǒng)的精度還會(huì)下降。另外,由于使用者的移動(dòng)或者來自其他任務(wù)的干擾而導(dǎo)致信號(hào)噪聲增加,也會(huì)使得精度下降。
保證太空操作的精度并不單純?yōu)榱私档筒僮魇÷屎吞岣呷蝿?wù)的性能表現(xiàn),在大部分的應(yīng)用中,不足的精度還會(huì)造成安全問題、設(shè)備損壞或者阻礙操作的執(zhí)行。精度問題是目前BCI技術(shù)應(yīng)用于載人航天領(lǐng)域的一個(gè)主要障礙。
反饋問題
快速、多維的反饋以實(shí)現(xiàn)類似于機(jī)械手臂這樣的裝置進(jìn)行精確、平穩(wěn)的控制,以及避免設(shè)備的損壞是至關(guān)重要的。因此,機(jī)器人系統(tǒng)必須能夠察覺到差錯(cuò)和力度的大小,還必須能自動(dòng)改變這些參數(shù)或者實(shí)時(shí)地將這些信息反饋給使用者,以供其相應(yīng)地改變自己的輸出。Kim等人稱,目前的機(jī)器人傳感器不足以很好地完成這些操作,即使完成了,反饋給使用者的信息質(zhì)量和信息內(nèi)容也會(huì)受到傳感方式的制約。
要在復(fù)雜的動(dòng)態(tài)系統(tǒng)中實(shí)現(xiàn)精確的常速移動(dòng),常用的可視化方法將會(huì)引入過長(zhǎng)的時(shí)延,盡管在基于植入式BCI的動(dòng)物實(shí)驗(yàn)中,實(shí)時(shí)的視覺反饋已經(jīng)被成功地應(yīng)用于基本的機(jī)器人控制,但若要達(dá)到高實(shí)時(shí)性的精確控制,還需要進(jìn)一步深入探索,通過融合其他方法,有效地增加反饋回來的信息量,在一定程度上減少反饋時(shí)延。目前,反饋問題仍然是將BCI技術(shù)應(yīng)用于載人航天領(lǐng)域的瓶頸。
如果能將雙向BCI技術(shù)廣泛應(yīng)用于未來的載人航天任務(wù)中,將大大減少對(duì)航天員出艙活動(dòng)及維修、維護(hù)等任務(wù)的需求,有利于減輕航天員的工作負(fù)荷,提高工作效率,這是未來載人航天任務(wù)中實(shí)現(xiàn)人機(jī)聯(lián)合探測(cè)及操作的重要途徑。
Research on Application of Brain-computer Interface in Human Spaceflight Mission