基于ERP信號(hào)的目標(biāo)檢測(cè)研究綜述

李子杏，蘭 珍，唐鄧清，閆 超，相曉嘉，周 晗

國防科技大學(xué) 智能科學(xué)學(xué)院，長(zhǎng)沙 410073

近年來，隨著機(jī)器學(xué)習(xí)方法的迅速發(fā)展，計(jì)算機(jī)視覺技術(shù)在人臉識(shí)別、圖像檢索、人體動(dòng)作捕捉等應(yīng)用領(lǐng)域都取得了突破性進(jìn)展。盡管目前計(jì)算機(jī)視覺目標(biāo)檢測(cè)的效率和速率較過去已有明顯提高，但完全依賴計(jì)算機(jī)目標(biāo)檢測(cè)算法依舊難以適應(yīng)復(fù)雜場(chǎng)景的需求。例如，在自動(dòng)駕駛、戰(zhàn)場(chǎng)作戰(zhàn)和視頻監(jiān)控等領(lǐng)域，需要準(zhǔn)確快速地識(shí)別當(dāng)前接收到的圖像，并抵抗天氣以及復(fù)雜環(huán)境的影響。

相較于計(jì)算機(jī)，人腦具有處理復(fù)雜情況的特殊能力，能夠在幾百毫秒內(nèi)對(duì)一幅圖片或者一個(gè)場(chǎng)景的重點(diǎn)敏感信息產(chǎn)生神經(jīng)響應(yīng)。其優(yōu)勢(shì)可分為兩個(gè)方面：

（1）高級(jí)的認(rèn)知能力。即人腦對(duì)包括情感處理、語義理解和時(shí)間相關(guān)等非結(jié)構(gòu)化的復(fù)雜信息具有卓越的認(rèn)知能力。

（2）快速的感知能力。人類總是可以自動(dòng)、快速地從感知覺信息中提取統(tǒng)計(jì)結(jié)果或相應(yīng)規(guī)律，且該過程通常是無意識(shí)的，不需要任務(wù)相關(guān)。

因此，結(jié)合計(jì)算機(jī)視覺強(qiáng)大的信息處理能力以及人腦的復(fù)雜場(chǎng)景和敏感信息認(rèn)知和感知能力，開展多模態(tài)融合方法研究，逐漸成為現(xiàn)今目標(biāo)檢測(cè)領(lǐng)域的研究熱點(diǎn)。

腦機(jī)接口（Brain Computer Interface，BCI）系統(tǒng)能夠?qū)Υ竽X活動(dòng)進(jìn)行在線解碼以響應(yīng)特定的事件。目前該技術(shù)在醫(yī)療保健、娛樂文化、軍事作戰(zhàn)等領(lǐng)域得到了初步的應(yīng)用。在各種監(jiān)測(cè)大腦活動(dòng)的方法中，腦電圖（Electroencephalogram，EEG）憑借無創(chuàng)、相對(duì)便攜、價(jià)格低和高時(shí)間分辨率等優(yōu)點(diǎn)成為研究BCI的主要手段?；贓EG的事件相關(guān)電位（Event-Related Potentials，ERP）是一種特殊的腦誘發(fā)電位，能夠根據(jù)人所產(chǎn)生的認(rèn)知行為反映大腦中的神經(jīng)電生理變化，從而較好地反應(yīng)人腦對(duì)敏感信息的處理過程。作為BCI系統(tǒng)的重要分支之一，基于事件相關(guān)電位的BCI系統(tǒng)與特定的事件相關(guān)，是獨(dú)立于自發(fā)腦電的高級(jí)認(rèn)知活動(dòng)。國內(nèi)外諸多機(jī)構(gòu)和團(tuán)隊(duì)正在從事相關(guān)研究工作，并取得了豐碩的研究成果。

在ERP信號(hào)中，存在許多ERP成分與目標(biāo)檢測(cè)相關(guān)，例如N200、P300等[1-4]。由于ERP信號(hào)具有特定的波形和電位分布，且潛伏期與刺激之間存在嚴(yán)格的鎖時(shí)關(guān)系，因此可以通過以RSVP為主的實(shí)驗(yàn)范式高效率地提取大腦在觀看目標(biāo)時(shí)產(chǎn)生的ERP信號(hào)，在計(jì)算機(jī)處理后即可完成目標(biāo)檢測(cè)。

基于ERP信號(hào)的目標(biāo)檢測(cè)系統(tǒng)流程如圖1所示，主要包括實(shí)驗(yàn)范式設(shè)計(jì)、腦電信號(hào)數(shù)據(jù)采集、腦電信號(hào)分析等步驟。

圖1 基于ERP信號(hào)的目標(biāo)檢測(cè)流程Fig.1 Target detection process based on ERP signal

本文將對(duì)基于ERP信號(hào)的目標(biāo)檢測(cè)技術(shù)進(jìn)行詳細(xì)的闡述和總結(jié)。首先將介紹以快速串行視覺呈現(xiàn)（Rapid Serial Visual Presentation task，RSVP）為主的實(shí)驗(yàn)范式以及呈現(xiàn)模式、目標(biāo)視場(chǎng)角、目標(biāo)復(fù)雜度、目標(biāo)刺激頻率與持續(xù)時(shí)間等實(shí)驗(yàn)影響因素。隨后對(duì)目前腦電信號(hào)分析中的預(yù)處理、特征提取、特征分類算法進(jìn)行分類總結(jié)。最后介紹人臉識(shí)別、軍事作戰(zhàn)、醫(yī)學(xué)分析等應(yīng)用場(chǎng)景及研究現(xiàn)狀，指出目前存在的問題和挑戰(zhàn)并展望未來研究。

1 實(shí)驗(yàn)范式

由Polich和Donchin于1988提出的Oddball范式[2]可以誘發(fā)P300等與刺激概率相關(guān)的ERP成分?；贠ddball范式衍生出了RSVP實(shí)驗(yàn)范式，其通過一系列小概率出現(xiàn)的目標(biāo)圖像和大概率出現(xiàn)的非目標(biāo)圖像快速播放刺激被試，誘發(fā)ERP信號(hào)。通過檢測(cè)ERP信號(hào)中受刺激概率影響的P300等電位，可以鎖定目標(biāo)圖像出現(xiàn)的時(shí)間，實(shí)現(xiàn)目標(biāo)檢測(cè)。

如何設(shè)計(jì)實(shí)驗(yàn)范式誘發(fā)更明顯的ERP信號(hào)，提高目標(biāo)檢測(cè)效率，一直是相關(guān)領(lǐng)域的研究熱點(diǎn)。下文主要針對(duì)RSVP實(shí)驗(yàn)范式中的呈現(xiàn)模式、目標(biāo)視場(chǎng)角、目標(biāo)復(fù)雜度、目標(biāo)刺激頻率與持續(xù)時(shí)間等方面進(jìn)行總結(jié)。

1.1 呈現(xiàn)模式

RSVP實(shí)驗(yàn)范式的呈現(xiàn)模式可分為靜態(tài)模式和動(dòng)態(tài)模式[5-7]，分別指根據(jù)特定頻率顯示的靜態(tài)目標(biāo)圖像和運(yùn)動(dòng)目標(biāo)動(dòng)圖或視頻。

1.1.1 靜態(tài)模式

靜態(tài)模式常用于醫(yī)學(xué)、分類器等應(yīng)用領(lǐng)域。在靜態(tài)模式下圖像在屏幕的持續(xù)時(shí)間自行設(shè)定，通常設(shè)置在50～500 ms，其對(duì)P300電位的影響將在1.4節(jié)中具體描述。為達(dá)到實(shí)驗(yàn)效果，研究人員會(huì)向被試提出各種實(shí)驗(yàn)要求，例如：

（1）被試看到目標(biāo)圖像后，需要在連續(xù)顯示的圖像序列中識(shí)別目標(biāo)圖像。在該過程中被試正確識(shí)別目標(biāo)和非目標(biāo)圖像的效率最多可以達(dá)到10張/s[7]。

（2）要求被試識(shí)別一種目標(biāo)類型，比如一組圖像中的動(dòng)物、植物等。在該模式下，圖像呈現(xiàn)速度相較于第一種情況有所放慢，大約為4張/s[8]。

（3）在向被試展示一系列圖像之后，提供被試一幅目標(biāo)圖像，詢問被試該圖像是否出現(xiàn)在被展示的序列中。

1.1.2 動(dòng)態(tài)模式

動(dòng)態(tài)模式常用于視頻監(jiān)控領(lǐng)域。在動(dòng)態(tài)模式下，被試需要觀看一系列較短的視頻片段或動(dòng)圖并在該過程中識(shí)別一個(gè)或多個(gè)目標(biāo)。為得到較高的P300電位的幅度，目標(biāo)在視頻中出現(xiàn)的時(shí)刻通常較為分散，以保證目標(biāo)出現(xiàn)的突然性。

在實(shí)驗(yàn)過程中，被試需要識(shí)別出如具體類別的目標(biāo)，例如書籍、人等，又或是具體的事件，例如一個(gè)人將可疑的包裹留在火車站[9]。

1.2 目標(biāo)視場(chǎng)角

目標(biāo)視場(chǎng)角表示目標(biāo)外緣與人眼視線形成的角度，結(jié)合了視覺角、被試與屏幕距離、圖像大小等方面的物理因素。

人眼最敏銳的視力范圍在1°～15°[10]，當(dāng)目標(biāo)視場(chǎng)角在8°以內(nèi)時(shí)，目標(biāo)將映射在視網(wǎng)膜的黃斑[11]上，人眼聚焦效果更佳。早在2011年Dias等[12]便對(duì)目標(biāo)視場(chǎng)角進(jìn)行了研究。其他因素不變，當(dāng)目標(biāo)圖像處于被試視場(chǎng)中心時(shí)所有被試的目標(biāo)檢測(cè)準(zhǔn)確率均高于90%，目標(biāo)偏離視場(chǎng)中心約4°時(shí)檢測(cè)準(zhǔn)確率下降到50%，偏離8°時(shí)準(zhǔn)確率繼續(xù)降低。但如果目標(biāo)特征較為顯著，即使偏離視場(chǎng)中心較遠(yuǎn)，被試也能夠一定程度地檢測(cè)目標(biāo)。

褚凱軒等人[13]對(duì)此進(jìn)一步分析目標(biāo)視場(chǎng)角對(duì)RSVP目標(biāo)檢測(cè)系統(tǒng)的影響。研究結(jié)果表明，當(dāng)目標(biāo)視場(chǎng)角在8°左右時(shí)被試的平均目標(biāo)檢測(cè)率最高，達(dá)到82%以上，當(dāng)目標(biāo)視場(chǎng)角小于0.5°或大于15°時(shí)平均目標(biāo)檢測(cè)率均出現(xiàn)了一定程度的衰減。

此外，文獻(xiàn)[14-15]還分別在4 Hz和10 Hz的播放幀率下采用6°×4°和26°的圖片視場(chǎng)角刺激被試。但由于圖片視場(chǎng)角無法表征實(shí)際目標(biāo)的大小，無法體現(xiàn)出目標(biāo)視場(chǎng)角對(duì)目標(biāo)檢測(cè)準(zhǔn)確率的影響。

1.3 目標(biāo)復(fù)雜度

目標(biāo)復(fù)雜度體現(xiàn)了目標(biāo)與非目標(biāo)之間的差異化程度，目標(biāo)與非目標(biāo)之間的區(qū)別越大目標(biāo)復(fù)雜度越小。在實(shí)際應(yīng)用中，目標(biāo)復(fù)雜度較大，目標(biāo)與非目標(biāo)之間往往無法完全區(qū)分，兩者可能共享一些相同特征[16]。例如外形類似的摩托車與自行車，這種情形在視頻監(jiān)控領(lǐng)域尤為廣泛。

Marathe等[16]針對(duì)不同的目標(biāo)復(fù)雜度開展目標(biāo)檢測(cè)實(shí)驗(yàn)，發(fā)現(xiàn)非目標(biāo)圖像序列較復(fù)雜時(shí)相對(duì)于簡(jiǎn)單的非目標(biāo)圖像序列P300電位幅度明顯減小，復(fù)雜的非目標(biāo)圖像序列明顯增長(zhǎng)了被試的反應(yīng)時(shí)間。Huang等[17]的實(shí)驗(yàn)范式中目標(biāo)和非目標(biāo)圖像共享局部紋理等低級(jí)特征，目標(biāo)復(fù)雜度較大，一定程度降低了檢測(cè)效果。

在不同應(yīng)用中的目標(biāo)復(fù)雜度也有所不同，視頻監(jiān)控領(lǐng)域的目標(biāo)刺激較為復(fù)雜，而數(shù)據(jù)分類領(lǐng)域呈現(xiàn)給被試的目標(biāo)刺激與非目標(biāo)刺激之間的區(qū)別更大，被試者更易識(shí)別[18]。在目標(biāo)復(fù)雜度較大的實(shí)驗(yàn)中，被試之間的差異會(huì)更加明顯，進(jìn)而影響目標(biāo)檢測(cè)準(zhǔn)確率。經(jīng)過訓(xùn)練的被試能夠更快地從圖像序列中分辨目標(biāo)刺激，而未經(jīng)訓(xùn)練的被試往往反應(yīng)較慢。

1.4 刺激頻率與持續(xù)時(shí)間

調(diào)查表明，目前61%的研究中目標(biāo)刺激占所有刺激的1%～10%，超過20%的研究占11%～20%[19]。其中Cecotti等[20]在分類人臉和汽車圖像時(shí)比較目標(biāo)刺激概率的不同對(duì)分類效果的影響。實(shí)驗(yàn)中共有8名被試，目標(biāo)刺激概率分別為5%、10%、25%和50%，實(shí)驗(yàn)結(jié)果表明當(dāng)目標(biāo)概率為10%時(shí)平均受試者工作特征曲線（Receiver Operating Characteristic curve，ROC）下方面積（Area Under the Curve of ROC，AUC）最佳。相對(duì)于5%，頻率為10%的目標(biāo)刺激之間的較大間隔減少了峰值潛伏期，P300電位幅度增大[21]。

目標(biāo)刺激出現(xiàn)的持續(xù)時(shí)間也是實(shí)驗(yàn)范式的重要組成部分。大部分實(shí)驗(yàn)?zāi)繕?biāo)刺激的持續(xù)時(shí)間通常在50～500 ms之間，隨著任務(wù)的不同而改變。為了防止出現(xiàn)掃視盲點(diǎn)[22]，即一個(gè)人在兩個(gè)位置之間掃視前后50 ms發(fā)生的目標(biāo)丟失，目標(biāo)刺激的持續(xù)時(shí)間需要大于50 ms。部分研究者針對(duì)目標(biāo)刺激持續(xù)時(shí)間的不同開展實(shí)驗(yàn)，發(fā)現(xiàn)大多數(shù)實(shí)驗(yàn)的目標(biāo)刺激持續(xù)時(shí)間為100～200 ms時(shí)能較好平衡目標(biāo)檢測(cè)正確率和實(shí)驗(yàn)效率。Lees等[19]對(duì)目標(biāo)刺激持續(xù)時(shí)間的相關(guān)實(shí)驗(yàn)進(jìn)行歸納，結(jié)果如表1所示。

表1 不同目標(biāo)持續(xù)時(shí)間的RSVP相關(guān)實(shí)驗(yàn)歸納Table 1 Induction of RSVP related experiments with different target durations

1.5 實(shí)驗(yàn)范式設(shè)計(jì)因素小結(jié)

本章對(duì)RSVP實(shí)驗(yàn)范式中的設(shè)計(jì)因素進(jìn)行了詳細(xì)闡述，主要包括呈現(xiàn)模式、目標(biāo)視場(chǎng)角、目標(biāo)復(fù)雜度和目標(biāo)刺激頻率與持續(xù)時(shí)間這四個(gè)方面。

任務(wù)復(fù)雜性、刺激復(fù)雜性、刺激值以及刺激傳遞在RSVP實(shí)驗(yàn)范式中與P300電位的幅度有較為直接的關(guān)系[23]。因此，本章所選取的設(shè)計(jì)因素均包含一項(xiàng)或多項(xiàng)上述影響。

靜態(tài)和動(dòng)態(tài)模式實(shí)驗(yàn)的任務(wù)復(fù)雜度以及在其他條件一致時(shí)傳遞給被試的刺激均有所不同。靜態(tài)目標(biāo)圖像的刺激傳達(dá)通常更加直接，刺激明顯，動(dòng)態(tài)模式下的任務(wù)則較為復(fù)雜，刺激幅度?。荒繕?biāo)視場(chǎng)角主要與刺激值和信息傳遞相關(guān)，最舒適的視覺效果在相同情況下信息傳遞更完整，可以給予被試更大的刺激值；目標(biāo)復(fù)雜度直接影響了實(shí)驗(yàn)范式的任務(wù)復(fù)雜性和刺激復(fù)雜性，呈正相關(guān)；目標(biāo)刺激頻率與持續(xù)時(shí)間的設(shè)置與刺激值和信息傳遞有關(guān)，例如5%～20%的刺激頻率在其他條件一致時(shí)通?？梢赃_(dá)到更好的刺激效果。

此外，在RSVP實(shí)驗(yàn)范式中，不同應(yīng)用的設(shè)計(jì)因素和側(cè)重點(diǎn)均有所差別。例如，在人臉識(shí)別領(lǐng)域中通常目標(biāo)刺激的持續(xù)時(shí)間為500 ms[20，24-25]，在傳統(tǒng)分類領(lǐng)域中刺激持續(xù)時(shí)間往往在100～200 ms之間[26-28]。由于任務(wù)復(fù)雜性較大，人臉識(shí)別實(shí)驗(yàn)中被試需要花費(fèi)更多時(shí)間對(duì)目標(biāo)進(jìn)行識(shí)別，以保證較高準(zhǔn)確率。

2 腦電信號(hào)分析

腦電信號(hào)分析主要包括預(yù)處理、特征提取和特征分類三個(gè)部分。其中預(yù)處理方法包括定位通道數(shù)據(jù)、濾波、分段、基線校正、重參考等；特征提取算法包括獨(dú)立成分分析算法[3]（Independent Component Analysis，ICA），CSP算法逐步回歸分析[29]等；特征分類算法包括支持向量機(jī)算法[1]（Support Vector Machine，SVM）、LDA算法[29]、逐步線性判別分析算法[30]、邏輯回歸分析[31]等。此外，深度學(xué)習(xí)等端對(duì)端方法可以基于原始數(shù)據(jù)直接獲得分類結(jié)果，是目前BCI領(lǐng)域的研究熱點(diǎn)。

2.1 預(yù)處理方法

由于腦電信號(hào)具有低信噪比、個(gè)體差異性大、非平穩(wěn)性等特點(diǎn)，對(duì)腦電信號(hào)進(jìn)行預(yù)處理去除外界干擾噪聲和偽跡成分，對(duì)提高腦電信號(hào)的信噪比，減少信號(hào)的均方誤差具有重要意義。預(yù)處理的過程主要包括電極定位、剔除無用電極、重參考、濾波、重采樣、數(shù)據(jù)分段、基線校正、偽跡去除八個(gè)部分，具體流程如圖2所示。

圖2 預(yù)處理流程Fig.2 Pretreatment process

在采集到原始的腦電信號(hào)后將得到單個(gè)或多個(gè)通道的數(shù)據(jù)，每個(gè)通道的數(shù)據(jù)都代表頭皮下方具體位置上的電位。因此在導(dǎo)入數(shù)據(jù)后需要定位電極通道，匹配記錄數(shù)據(jù)時(shí)的位置。根據(jù)先驗(yàn)知識(shí)可以預(yù)先刪除無用電極通道的數(shù)據(jù)，例如眼電通道的數(shù)據(jù)或是大腦后側(cè)等不敏感通道的數(shù)據(jù)。

為了防止數(shù)據(jù)受到單個(gè)位置較大影響，重參考對(duì)所有通道的數(shù)據(jù)進(jìn)行全面參考。重參考后，利用低通濾波、高通濾波、帶通濾波或凹陷濾波可以衰減過濾明顯不具備目標(biāo)特征的頻率信號(hào)。隨后，根據(jù)需要對(duì)信號(hào)進(jìn)行重采樣，通常使用降采樣減小數(shù)據(jù)量，提高計(jì)算速度，在濾波后進(jìn)行該操作可以防止高頻信息丟失。

為減少冗余數(shù)據(jù)，常通過數(shù)據(jù)分段選取出被試受到刺激前后的時(shí)間段，具體時(shí)間根據(jù)應(yīng)用而定。數(shù)據(jù)分段后，通過基線校正將事件中的腦電電位減去發(fā)生事件前平靜狀態(tài)下的平均電位，可以去除數(shù)據(jù)漂移所帶來的影響，分辨目標(biāo)時(shí)間對(duì)被試的實(shí)際影響。

目前常用的偽跡處理方法包括ICA和主成分分析法（Principal Component Analysis，PCA）[32]，前者將每個(gè)記錄點(diǎn)的數(shù)據(jù)分解為獨(dú)立的組成成分，得到更加純凈的數(shù)據(jù)，后者將多通道數(shù)據(jù)降維，便于后續(xù)分析處理。此外，偽跡處理方法還包括小波變換、偽跡減法等。

2.2 特征提取算法

常規(guī)用于描述腦電信號(hào)的特征包括時(shí)域波形、頻帶能量、空間分布特異性等，需要在空間濾波后進(jìn)行提取，本節(jié)主要基于空間濾波器展開介紹。

獲得空間濾波器的方法可分為非數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)驅(qū)動(dòng)下的監(jiān)督學(xué)習(xí)和數(shù)據(jù)驅(qū)動(dòng)下的非監(jiān)督學(xué)習(xí)，具體分類情況如圖3所示。與提取單一特征相比，將各種類型特征組合通?？梢垣@得更高的分類精度，但也會(huì)增加維數(shù)，需要選取最相關(guān)的特征，避免維數(shù)災(zāi)難。

2.2.1 基于非數(shù)據(jù)驅(qū)動(dòng)方法

空間濾波方法可以是數(shù)據(jù)無關(guān)的，例如為了放大頭皮下腦電信號(hào)而提出的共平均參考空間濾波、拉普拉斯濾波器算法[33]和基于逆解的空間濾波[34]等空間濾波器方法。

McFarland等[33]在提出共平均參考空間濾波和拉普拉斯濾波方法的同時(shí)還證明了其性能明顯優(yōu)于雙耳參考方法。Alhaddad將十二種參考技術(shù)應(yīng)用于P300分類器中，證明了共平均參考空間濾波最適合作為參考技術(shù)[35]。Cohen等[36]從電極連通性的角度分析了共平均參考與拉普拉斯方法等空間濾波方法的性能。2021年，Tsuchimoto等[37]確定共平均參考空間濾波和大拉普拉斯濾波是提取感覺運(yùn)動(dòng)節(jié)律特征的有效方法。

2.2.2 基于數(shù)據(jù)驅(qū)動(dòng)下的非監(jiān)督學(xué)習(xí)方法

空間濾波器也可以通過ICA、PCA和xDAWN[38]等方法以數(shù)據(jù)驅(qū)動(dòng)和無監(jiān)督學(xué)習(xí)的方式獲得[39]。ICA方法是Comon[40]在1994年為解決盲源分離問題而提出的，其基本思想是從一組混合的觀測(cè)信號(hào)中分離出獨(dú)立的源信號(hào)。此后又逐漸衍生出最大熵獨(dú)立成分分析算法[41]、基于牛頓下降法的快速獨(dú)立成分分析算法[42]、自動(dòng)小波獨(dú)立成分分析算法[43]等。

圖3 特征提取算法Fig.3 Feature extraction algorithm

PCA方法通過去除數(shù)據(jù)冗雜，對(duì)數(shù)據(jù)進(jìn)行降維，得到低維向量用于分類。Subasi等[32]提出了一個(gè)通用的EEG信號(hào)處理框架，并采用PCA、ICA等方法進(jìn)行數(shù)據(jù)降維與特征提取，最后通過SVM進(jìn)行分類，取得了較好的分類結(jié)果。Costa等[44]探究了PCA在處理小樣本數(shù)據(jù)時(shí)的穩(wěn)定性，提出了一種驗(yàn)證方法，并把此方法應(yīng)用于EEG數(shù)據(jù)處理。xDAWN算法是由Rivet等[38]提出的一種非監(jiān)督算法，其通過構(gòu)建空間濾波器特異性提高ERP的信噪比。

2.2.3 基于數(shù)據(jù)驅(qū)動(dòng)下的監(jiān)督學(xué)習(xí)方法

在監(jiān)督學(xué)習(xí)下以數(shù)據(jù)驅(qū)動(dòng)的方式獲得空間濾波器是當(dāng)前最受歡迎的方法之一。基于該類方法的空間濾波器包括專用于頻帶功率特征和振蕩活動(dòng)BCI的公共空間模式（CSP）[45]、基于時(shí)間點(diǎn)特征用于ERP分類的典型相關(guān)分析[46]和線性判別分析方法[32]。

典型相關(guān)分析方法是由Hotelling等[47]提出來的一種多元統(tǒng)計(jì)方法，在基于事件相關(guān)電位和穩(wěn)態(tài)視覺誘發(fā)電位的BCI中均有應(yīng)用，且相對(duì)于一些傳統(tǒng)方法具有顯著優(yōu)勢(shì)。2020年，Díaz等[48]將典型相關(guān)分析方法與正則化邏輯回歸方法對(duì)P300信號(hào)進(jìn)行分類，在小樣本數(shù)據(jù)情況下實(shí)現(xiàn)較高分類精度。線性判別分析方法將高維樣本數(shù)據(jù)投影至低維空間，保證樣本數(shù)據(jù)在該空間中有最大類間距離和最小類內(nèi)距離，具有計(jì)算量低、分類效果良好等優(yōu)點(diǎn)，但存在過擬合問題。此外研究者還提出了矩陣線性判別分析[49]、逐步線性判別分析[50]等方法。

2.2.4 特征提取算法小結(jié)

基于不同方式構(gòu)建空間濾波器的特征提取算法各有側(cè)重點(diǎn)，每類方法的策略特點(diǎn)有所不同。本文舉例基于腦電信號(hào)的特征提取算法，具體方法和策略特點(diǎn)對(duì)比分析如表2所示。

在三類方法當(dāng)中，基于非數(shù)據(jù)驅(qū)動(dòng)的方法具有較強(qiáng)泛化能力，不受數(shù)據(jù)影響，但也因此對(duì)于腦電信號(hào)的分類精度較低，缺乏特異性。相對(duì)而言，數(shù)據(jù)驅(qū)動(dòng)方法能夠更加貼近具體應(yīng)用，分類精度與數(shù)據(jù)的類型數(shù)量和準(zhǔn)確度息息相關(guān)。針對(duì)ERP分類提出的xDAWN算法[38]在精確度和計(jì)算復(fù)雜度上均有較好的表現(xiàn)?；跀?shù)據(jù)驅(qū)動(dòng)的非監(jiān)督學(xué)習(xí)方法可用于未知數(shù)據(jù)預(yù)測(cè)，計(jì)算速率往往較低。監(jiān)督學(xué)習(xí)方法可針對(duì)特定輸出的輸入數(shù)據(jù)進(jìn)行訓(xùn)練，并在訓(xùn)練過程中對(duì)系統(tǒng)進(jìn)行微調(diào)以接近目標(biāo)精度，計(jì)算成本可根據(jù)具體進(jìn)行調(diào)整。

目前基于數(shù)據(jù)驅(qū)動(dòng)下的監(jiān)督學(xué)習(xí)方法受到較多相關(guān)研究的青睞[48，51-53]，利用標(biāo)定的樣本數(shù)據(jù)在較低計(jì)算成本情況下實(shí)現(xiàn)較高分類精度。三類方法側(cè)重不同，可根據(jù)具體應(yīng)用進(jìn)行選取。

表2 特征提取算法對(duì)比Table 2 Comparison of feature extraction algorithms

2.3 特征分類算法

在完成腦電信號(hào)的特征提取后，亟需選擇合適的分類方法對(duì)腦電信號(hào)特征進(jìn)行有效分類和識(shí)別。隨著機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的不斷發(fā)展，目前的特征分類算法主要分為空間濾波、傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)四類方法，具體如圖4所示。

2.3.1 空間濾波

基于空間濾波的信號(hào)分類方法將多通道信號(hào)組合成一個(gè)新的時(shí)間序列，對(duì)其提取特征并選取后再進(jìn)行分類?，F(xiàn)有方法包括公共空間模式及其衍生的公共空間-頻譜模式[54]、公共稀疏空間-頻譜模式[55]、公共空間-時(shí)間模式[56]、雙線性公共空間[57]等算法。

此外，Sajda等[58]采用結(jié)構(gòu)化判決成分分析方法（Hierarchical Discriminant Component Analysis，HDCA），對(duì)記錄的64通道腦電信號(hào)進(jìn)行先空間再時(shí)間的線性加權(quán)，實(shí)現(xiàn)圖像集的實(shí)時(shí)分類評(píng)分。Marathe等[59]基于HDCA提出改進(jìn)的滑動(dòng)HDCA算法克服神經(jīng)反應(yīng)的時(shí)間變異性。

2.3.2 傳統(tǒng)機(jī)器學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)方法經(jīng)過長(zhǎng)時(shí)間的發(fā)展衍生出了K近鄰方法、支持向量機(jī)、決策樹、邏輯回歸等方法。相對(duì)于現(xiàn)今火熱的深度學(xué)習(xí)方法而言，傳統(tǒng)機(jī)器學(xué)習(xí)方法可以較好地解決小數(shù)據(jù)問題，對(duì)硬件的要求較低。

在腦電信號(hào)領(lǐng)域，傳統(tǒng)機(jī)器學(xué)習(xí)方法也有著大量運(yùn)用。Mathan等[60]采用支持向量機(jī)（SVM）方法將某被試訓(xùn)練得出的分類器應(yīng)用于其他被試，證明RSVP系統(tǒng)具有在不同被試之間的泛化能力。Xiao等[61]提出了判別典型模式匹配的特征分類方法，證明了該方法識(shí)別ERP各個(gè)區(qū)域的泛化能力。

圖4 特征分類算法Fig.4 Feature classification algorithm

2.3.3 深度學(xué)習(xí)

深度學(xué)習(xí)作為近年來發(fā)展最為迅猛的一種機(jī)器學(xué)習(xí)方法，已經(jīng)廣泛應(yīng)用于自動(dòng)語音識(shí)別、圖像識(shí)別、自然語言處理、醫(yī)療開發(fā)等諸多領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）和深層信念網(wǎng)絡(luò)（Deep Belief Network，DBN）等架構(gòu)也越來越多地應(yīng)用于腦電信號(hào)解碼。P300檢測(cè)方面的研究主要基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）[62]、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）[63]等。此外，還衍生出了EEGNet[64]、BN3[65]、MACRO[66]等網(wǎng)絡(luò)模型，這些方法通過特定的網(wǎng)絡(luò)結(jié)構(gòu)，利用大量的訓(xùn)練參數(shù)和訓(xùn)練數(shù)據(jù)集提取時(shí)空信息。

為解決對(duì)于大量訓(xùn)練樣本的需求，Ma等[67]提出基于膠囊網(wǎng)絡(luò)的深度學(xué)習(xí)方法，在增加可解釋性的同時(shí)提高了檢測(cè)精度，但由于維度的增加計(jì)算較為復(fù)雜。

2.3.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)通過利用在已有問題或者案例上獲得廣泛可行的先驗(yàn)知識(shí)，遷移到其他領(lǐng)域幫助進(jìn)行預(yù)訓(xùn)練，使得實(shí)驗(yàn)程序能夠更快地識(shí)別新的數(shù)據(jù)，排除大部分錯(cuò)誤。遷移學(xué)習(xí)在源和目標(biāo)域的作用過程如圖5所示。

圖5 遷移學(xué)習(xí)在源域和目標(biāo)域的作用過程Fig.5 Process of transfer learning in source domain and target domain

Wang等[68]于2011年通過遷移學(xué)習(xí)將來自給定域的EEG數(shù)據(jù)或分類器進(jìn)行轉(zhuǎn)換，從而將數(shù)據(jù)或分類器從源域轉(zhuǎn)移到目標(biāo)域，但這增加了目標(biāo)域的數(shù)據(jù)量。Sangineto等[69]采用直推式參數(shù)遷移方法通過對(duì)一組源對(duì)象學(xué)習(xí)特定的分類器來計(jì)算沒有標(biāo)記目標(biāo)數(shù)據(jù)的個(gè)性化模型。Waytowich等[70]利用基于信息幾何的頻譜遷移方法將訓(xùn)練好的分類器與其他個(gè)體數(shù)據(jù)結(jié)合，實(shí)現(xiàn)了無監(jiān)督的BCI遷移學(xué)習(xí)。

在BCI系統(tǒng)中，利用遷移學(xué)習(xí)方法可以使用其他實(shí)驗(yàn)中的大規(guī)模數(shù)據(jù)，消除針對(duì)特定被試數(shù)據(jù)校準(zhǔn)的需要[71]，填補(bǔ)深度學(xué)習(xí)方法樣本量較小的短板。

2.3.5 特征分類算法小結(jié)

針對(duì)不同類型的特征分類算法，本文列舉了相關(guān)研究文獻(xiàn)并進(jìn)行對(duì)比分析，具體如表3所示。

表3 特征分類算法對(duì)比Table 3 Comparison of feature classification algorithms

空間濾波方法需要在特征提取后人工選取重要特征再進(jìn)行分類，其對(duì)特定因素的針對(duì)性強(qiáng)，但算法往往較為復(fù)雜，且精度受到特征選取的影響。傳統(tǒng)機(jī)器學(xué)習(xí)算法相對(duì)來說復(fù)雜度有所降低，可適用于各種特征數(shù)據(jù)的分類且所需數(shù)據(jù)集較小，算法的可解釋性強(qiáng)。

深度學(xué)習(xí)屬于端到端學(xué)習(xí)，其結(jié)構(gòu)簡(jiǎn)單并且可移植到各類任務(wù)，分類精度高，但對(duì)樣本數(shù)據(jù)量需求較高。遷移學(xué)習(xí)方法通過將大量先驗(yàn)知識(shí)遷移到特定任務(wù)，可與深度學(xué)習(xí)相結(jié)合解決樣本數(shù)據(jù)量需求大的問題，但其在線應(yīng)用能力較弱。

2.4 目標(biāo)檢測(cè)技術(shù)研究小結(jié)

本節(jié)搜集了近兩年基于ERP信號(hào)的目標(biāo)檢測(cè)相關(guān)研究文獻(xiàn)，歸納了這些研究的機(jī)制、局限性、優(yōu)勢(shì)和適用場(chǎng)景，具體如表4所示。

表4 基于ERP信號(hào)的目標(biāo)檢測(cè)技術(shù)相關(guān)研究Table 4 Research on target detection technology based on ERP signal

現(xiàn)今深度學(xué)習(xí)方法在腦電領(lǐng)域的目標(biāo)檢測(cè)技術(shù)中取得了較大進(jìn)展，其主要優(yōu)勢(shì)體現(xiàn)在可同時(shí)自動(dòng)提取特征和分類，跨主題泛化能力強(qiáng)，在大量樣本數(shù)據(jù)支撐下的分類精度高。但其樣本數(shù)據(jù)需求大、解釋能力差等缺陷也十分突出。因此，研究學(xué)者們也相應(yīng)提出了膠囊網(wǎng)絡(luò)[67]、腦電數(shù)據(jù)合成[83]、遷移學(xué)習(xí)[78]等各類方法，實(shí)現(xiàn)在小樣本數(shù)據(jù)下的高精度分類?；诳臻g濾波和傳統(tǒng)機(jī)器學(xué)習(xí)等方法雖然往往計(jì)算復(fù)雜度較高，但其可解釋性強(qiáng)的特點(diǎn)可以幫助研究者更有針對(duì)性地提升實(shí)際應(yīng)用中的效能[61，75，80]。

此外，從更深層次研究被試的注意力機(jī)制，設(shè)計(jì)更好的實(shí)驗(yàn)范式依舊是該領(lǐng)域的研究熱點(diǎn)[74，79，82，84]。

綜上，設(shè)計(jì)更有效的實(shí)驗(yàn)范式，開發(fā)泛化能力和魯棒性強(qiáng)的在線算法處理小訓(xùn)練樣本、低信噪比信號(hào)、高維和非平穩(wěn)數(shù)據(jù)實(shí)現(xiàn)高分類精度仍是目前需要研究的課題。

3 相關(guān)應(yīng)用

基于ERP信號(hào)的目標(biāo)檢測(cè)系統(tǒng)可以應(yīng)用在現(xiàn)實(shí)世界中的各個(gè)領(lǐng)域。該技術(shù)充分利用人腦在視覺等復(fù)雜信息處理方面具有的高效、魯棒、抗噪以及能夠及時(shí)抽象出主體特征的優(yōu)點(diǎn)來檢測(cè)人眼聚焦范圍內(nèi)的目標(biāo)，具有廣泛的應(yīng)用前景。下面將介紹該技術(shù)在人臉識(shí)別、軍事作戰(zhàn)和醫(yī)學(xué)領(lǐng)域的研究應(yīng)用。

3.1 人臉識(shí)別系統(tǒng)

在計(jì)算機(jī)視覺領(lǐng)域中人臉識(shí)別算法發(fā)展迅速，但人臉識(shí)別的魯棒性還有待提高，當(dāng)人臉受到照明、遮擋等方面的影響或者頭部姿勢(shì)不對(duì)時(shí)識(shí)別效果仍然不佳。因此研究學(xué)者們逐漸將目光放到了將人腦和計(jì)算機(jī)結(jié)合的領(lǐng)域，嘗試?yán)萌四X識(shí)別目標(biāo)的魯棒性和計(jì)算機(jī)的高速計(jì)算和存儲(chǔ)容量，實(shí)現(xiàn)更加精確的人臉檢索。

2008年，Kapoor等[86]采用核校準(zhǔn)方法融合EEG和圖像特征，實(shí)現(xiàn)對(duì)人臉/動(dòng)物/非動(dòng)物三類圖像的分類。Touryan等[87]于2011年利用RSVP實(shí)驗(yàn)范式研究人們觀察不同熟悉人臉產(chǎn)生的ERP波形時(shí)發(fā)現(xiàn)N400和FP600電位信號(hào)與人臉熟悉程度相關(guān)，人臉越熟悉幅值越大，并實(shí)現(xiàn)了較高效率的在線分類。2014年，Cecotti等[15]通過實(shí)驗(yàn)將目標(biāo)人臉和非目標(biāo)汽車區(qū)分開來，其中人臉圖片來自馬克斯·普朗克生物控制論研究所的人臉數(shù)據(jù)庫。2019年，Zeng等[88]提出了一種基于人臉的RSVP實(shí)驗(yàn)范式，通過結(jié)合人臉特征和EEG特征設(shè)計(jì)了一種穩(wěn)定的身份驗(yàn)證框架，該方法可實(shí)現(xiàn)6 s以內(nèi)94.26%的平均認(rèn)證精度，該人臉RSVP范式如圖6所示[88]。2020年，Rollins等[89]研究社會(huì)分類對(duì)面孔識(shí)別的影響，發(fā)現(xiàn)P1和N170的ERP成分不受面孔的社會(huì)分類影響，P2和N250受到年齡分類的影響。2021年，Guillaume等[90]在研究精神分裂癥患者的記憶缺陷時(shí)通過比對(duì)陌生人臉的識(shí)別中的事件相關(guān)電位成分，發(fā)現(xiàn)精神分裂癥患者將他們的記憶建立在一種異常的提取模式。

圖6 人臉RSVP實(shí)驗(yàn)范式Fig.6 RSVP experimental paradigm for human face

3.2 軍事作戰(zhàn)系統(tǒng)

在軍事領(lǐng)域當(dāng)中，美國國防部于2008年啟動(dòng)了“認(rèn)知技術(shù)威脅告警系統(tǒng)”（Cognitive Technology Threat Warning System，CT2WS）[91]項(xiàng)目。該項(xiàng)目鏈接人類腦電波、改進(jìn)的傳感器和認(rèn)知算法，提升戰(zhàn)場(chǎng)上戰(zhàn)士們的目標(biāo)探測(cè)能力，降低戰(zhàn)場(chǎng)防區(qū)外危險(xiǎn)探測(cè)工作的傷亡。2015年美國陸軍實(shí)驗(yàn)室披露了他們正在進(jìn)行的兩項(xiàng)研究：一是利用有經(jīng)驗(yàn)士兵大腦中的EEG信號(hào)對(duì)美軍搜集的大量圖像進(jìn)行自動(dòng)標(biāo)記，判斷是否包含危險(xiǎn)情景；二是研制帶有EEG測(cè)量裝置的頭盔，檢測(cè)士兵對(duì)戰(zhàn)場(chǎng)環(huán)境的實(shí)時(shí)感知，利用經(jīng)驗(yàn)豐富士兵的危險(xiǎn)感知能力為其他士兵提供預(yù)警，從而提升整個(gè)部隊(duì)的作戰(zhàn)能力。這種技術(shù)被稱為“Brain As A Sensor”。

Huang等[17]將基于單次ERP的腦機(jī)接口系統(tǒng)應(yīng)用到軍事領(lǐng)域的衛(wèi)星圖像檢測(cè)。2016年，Barngrover等[92]開發(fā)特定的BCI系統(tǒng)將圖像和EEG信號(hào)特征融合后解決了側(cè)掃聲吶圖像目標(biāo)水雷的檢測(cè)問題。Lan等[66]提出基于多注意力機(jī)制的遞歸卷積模型，提取潛在主體不變腦電特征，實(shí)現(xiàn)高精度的遙感目標(biāo)檢測(cè)。Matran-Fernandez等[93]利用N2pc事件相關(guān)電位出現(xiàn)在感興趣對(duì)象所在的視覺半球相對(duì)側(cè)的特點(diǎn)，成功檢測(cè)出圖像中的目標(biāo)并對(duì)目標(biāo)的空間位置進(jìn)行了定位，該系統(tǒng)的實(shí)驗(yàn)范式如圖7所示[93]。2020年，Levin等[94]具體描述了基于RSVP實(shí)驗(yàn)范式的衛(wèi)星圖像檢測(cè)系統(tǒng)，工程上說明了其具體應(yīng)用流程。

3.3 醫(yī)學(xué)分析系統(tǒng)

基于事件相關(guān)電位的研究有助于增進(jìn)對(duì)神經(jīng)功能的了解，例如認(rèn)知、情感、和精神分裂癥等臨床癥狀[95]。同時(shí)該研究還有助于識(shí)別睡眠障礙、行為變化、診斷和檢測(cè)癲癇發(fā)作障礙，甚至用于評(píng)估嚴(yán)重腦損傷后或心臟或肝臟移植手術(shù)前的大腦活動(dòng)[96]。2018年，Wang等[97]對(duì)oddball實(shí)驗(yàn)中所產(chǎn)生的事件相關(guān)電位評(píng)估綜合心理得分，跟蹤患者的心理健康。2021年，Zokaei等[98]測(cè)試帕金森患者在RSVP實(shí)驗(yàn)范式中的時(shí)間定向缺陷，發(fā)現(xiàn)當(dāng)患者在服用多巴胺能藥物時(shí)可以消除該缺陷，在不分散注意力的任務(wù)中可受益于暫時(shí)的定向線索。

圖7 遙感目標(biāo)檢測(cè)RSVP實(shí)驗(yàn)范式Fig.7 RSVP experimental paradigm for remote sensing target detection

醫(yī)學(xué)圖像的判斷單純依靠醫(yī)生通常效率較低，Hope等[99]基于RSVP范式將腦電信號(hào)分析與計(jì)算機(jī)視覺結(jié)合，大大提高圖像分類效率，并成功應(yīng)用于乳腺癌篩查，達(dá)到了較好的效果。Shalbaf等[100]采用連續(xù)小波變換方法將腦電信號(hào)轉(zhuǎn)換為圖像，通過基于遷移學(xué)習(xí)的自動(dòng)方法和深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)精神分裂癥患者的分類，幫助臨床醫(yī)生進(jìn)行早期診斷和治療。

4 結(jié)語

隨著社會(huì)智能化需求的不斷增長(zhǎng)，腦機(jī)接口技術(shù)與計(jì)算機(jī)視覺的結(jié)合已成為新的研究熱點(diǎn)。由于人類個(gè)體之間存在認(rèn)知的多樣性和復(fù)雜性，基于ERP的目標(biāo)檢測(cè)技術(shù)仍存在許多問題和挑戰(zhàn)，主要表現(xiàn)如下：

（1）個(gè)體之間的差異性廣泛存在，相關(guān)算法的泛化能力和魯棒性仍然較弱，缺乏耗時(shí)短、精度高、泛化能力強(qiáng)的統(tǒng)一模型。

（2）以深度學(xué)習(xí)為主的大部分模型結(jié)構(gòu)簡(jiǎn)單，可實(shí)現(xiàn)端到端分類，但需要大量訓(xùn)練樣本才能達(dá)到較好的檢測(cè)效果。而腦電領(lǐng)域進(jìn)行實(shí)驗(yàn)的成本較高，對(duì)于特定任務(wù)難以獲得大量數(shù)據(jù)支撐。

（3）目前大部分算法的應(yīng)用通常是離線訓(xùn)練后提取最優(yōu)模型進(jìn)行在線識(shí)別，缺乏實(shí)時(shí)交互。未來可考慮結(jié)合強(qiáng)化學(xué)習(xí)進(jìn)行在線訓(xùn)練，通過用戶與具體應(yīng)用的交互獲得最大化在線分類效果。

盡管存在以上挑戰(zhàn)，研究者們也逐漸提出了相應(yīng)的解決方法，例如遷移學(xué)習(xí)、膠囊網(wǎng)絡(luò)等。通過組合模型代替單一模型、多模態(tài)特征代替單一特征、基于實(shí)驗(yàn)范式的創(chuàng)新等各類該領(lǐng)域的研究方法也在不斷深入。

現(xiàn)今的研究算法正有條不紊地向前發(fā)展，通過與VR、AR、眼動(dòng)、計(jì)算機(jī)等技術(shù)和系統(tǒng)結(jié)合，該目標(biāo)檢測(cè)技術(shù)具有廣泛的應(yīng)用：

（1）通過與VR設(shè)備的結(jié)合，既可以提供用戶完美的視覺效果提高目標(biāo)檢測(cè)性能，還可以在VR場(chǎng)景中仿真各種環(huán)境，實(shí)現(xiàn)目標(biāo)偵測(cè)以及為后續(xù)的指令下達(dá)、動(dòng)作執(zhí)行等功能奠定基礎(chǔ)實(shí)現(xiàn)交互。

（2）利用腦控與眼動(dòng)技術(shù)的結(jié)合，在目標(biāo)檢測(cè)的基礎(chǔ)上可實(shí)現(xiàn)目標(biāo)定位等功能，對(duì)計(jì)算機(jī)無法識(shí)別的圖像進(jìn)行識(shí)別和標(biāo)定。此外，在VR和AR的場(chǎng)景下還可進(jìn)一步完成目標(biāo)鎖定、跟蹤等任務(wù)。

（3）在5G信號(hào)通信技術(shù)發(fā)展的背景下，利用該技術(shù)有望實(shí)現(xiàn)無人機(jī)、無人車甚至衛(wèi)星等遠(yuǎn)程遙感檢測(cè)、實(shí)時(shí)目標(biāo)鎖定等功能。

（4）在醫(yī)療健康方面，利用實(shí)時(shí)在線的目標(biāo)檢測(cè)技術(shù)可以幫助帕金森患者、殘障人士等僅使用人腦向機(jī)械下達(dá)各項(xiàng)指令，實(shí)現(xiàn)正常生活。

基于腦電信號(hào)的目標(biāo)檢測(cè)將在軍事探索、游戲視覺、輔助駕駛、智能家居等場(chǎng)景完成各種復(fù)雜識(shí)別任務(wù)，具有廣闊的發(fā)展和應(yīng)用前景。