基于OVR-SVM及fMRI的詞語識(shí)別認(rèn)知狀態(tài)分類研究?

何 享 張笑非

（1.江蘇科技大學(xué)外國語學(xué)院 鎮(zhèn)江 212003）（2.南京大學(xué)外國語學(xué)院 南京 210023）

（3.北京工業(yè)大學(xué)信息學(xué)部 北京 100124）（4.江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

詞語識(shí)別是人腦認(rèn)知功能諸多研究問題中的一個(gè)方向，它在文學(xué)信息和溝通系統(tǒng)（Literary Infor?mation and Communication System，LINCS）中被定義為“讀者能夠正確地，無誤地識(shí)別書面文字的能力”，它也被稱為“孤立詞識(shí)別”，因?yàn)楸辉嚹軌驈牧斜碇袉为?dú)識(shí)別單詞而不需要用于上下文幫助的相似單詞。文獻(xiàn)［1］對(duì)詞語鑒別（Word Identification）和詞語識(shí)別兩種認(rèn)知狀態(tài)下的大腦活動(dòng)作了比較，前者被認(rèn)為是詞語閱讀任務(wù)，后者被認(rèn)為是詞語記憶任務(wù)。文獻(xiàn)［2～3］分別研究了下顳葉和前腹側(cè)顳葉在詞語識(shí)別過程中的反應(yīng)。經(jīng)典神經(jīng)學(xué)模型的研究發(fā)現(xiàn)人腦語言處理的神經(jīng)網(wǎng)絡(luò)只涉及左下額葉、左下顳、角回等少數(shù)腦區(qū)［4～6］。本文試圖基于包含詞語識(shí)別實(shí)驗(yàn)條件的fMRI數(shù)據(jù)，根據(jù)權(quán)威腦圖定義的大腦皮質(zhì)功能區(qū)域提取特征，利用OVR-SVM構(gòu)建分類器對(duì)詞語識(shí)別認(rèn)知狀態(tài)進(jìn)行識(shí)別，從而獲得詞語識(shí)別分類的計(jì)算模型并對(duì)被試的認(rèn)知狀態(tài)進(jìn)行預(yù)測。

2 研究方法

2.1 特征選擇

基于fMRI數(shù)據(jù)對(duì)閱讀認(rèn)知狀態(tài)進(jìn)行預(yù)測屬于思維解碼Decoding［7］范疇，即根據(jù)大腦血氧水平依賴（Blood Oxygen Level Dependent，BOLD）信號(hào)的活動(dòng)來預(yù)測認(rèn)知實(shí)驗(yàn)刺激材料誘發(fā)的人腦認(rèn)知狀態(tài)?；跈C(jī)器學(xué)習(xí)理論的多體素模式分析（Multi-voxel pattern analysis，MVPA）作為fMRI數(shù)據(jù)分析的新方法在過去幾年中獲得了極大的普及。通過訓(xùn)練分類器，MVPA對(duì)由不同認(rèn)知狀態(tài)調(diào)整的多體素模式進(jìn)行分類［8］。因此，MVPA被認(rèn)為是監(jiān)督分類問題，其中分類器試圖捕獲fMRI活動(dòng)和認(rèn)知狀態(tài)的空間模式之間的關(guān)系［9］。如果將fM?RI數(shù)據(jù)的所有體素都作為特征，那么特征空間的緯度將會(huì)非常高［10］?？紤]到將有意義的體素作為特征進(jìn)行MVPA分析，本文采用了經(jīng)典的腦圖Dosenbach［11］中定義的160個(gè)腦區(qū)作為特征。

圖1 Dosenbach腦圖及其功能網(wǎng)絡(luò)

如圖1所示，腦圖Dosenbach是一個(gè)人腦功能分區(qū)模板，包含了160個(gè)fROI腦區(qū)和6個(gè)功能網(wǎng)絡(luò)，每個(gè)腦區(qū)屬于且僅屬于其中一個(gè)功能網(wǎng)絡(luò)。其中，默認(rèn)網(wǎng)絡(luò)在人沒有專注于外部世界且大腦處于清醒休息狀態(tài)時(shí)是活躍的，例如在做白日夢和思維游蕩期間；前額葉-頂葉網(wǎng)絡(luò)通過啟動(dòng)和調(diào)節(jié)認(rèn)知控制能力參與各種認(rèn)知任務(wù)；扣帶回-島蓋網(wǎng)絡(luò)在認(rèn)知控制中起著更下游的作用，可能與記憶的輸出門控有關(guān)；感知-運(yùn)動(dòng)網(wǎng)絡(luò)在諸如手指敲擊之類的運(yùn)動(dòng)任務(wù)期間被激活，表明這些區(qū)域可能涉及在執(zhí)行和協(xié)調(diào)運(yùn)動(dòng)任務(wù)時(shí)為大腦做好準(zhǔn)備的預(yù)介導(dǎo)（pre-mediated）狀態(tài)；枕葉網(wǎng)絡(luò)是哺乳動(dòng)物大腦的視覺處理中心，包含視覺皮質(zhì)的大部分解剖區(qū)域；小腦網(wǎng)絡(luò)接收適量的輸入，通過其嚴(yán)格結(jié)構(gòu)的內(nèi)部網(wǎng)絡(luò)對(duì)其進(jìn)行具有擴(kuò)展性的處理，并通過非常有限的輸出單元發(fā)送結(jié)果［12］。

2.2 模型選擇

由于復(fù)雜的高級(jí)認(rèn)知實(shí)驗(yàn)中往往存在多個(gè)實(shí)驗(yàn)條件，而每種實(shí)驗(yàn)條件在監(jiān)督學(xué)習(xí)中可以看作是一種類別（class），因此本文采用的是多類別分類（Multiclass Classification）模型。此外，本研究重點(diǎn)是構(gòu)建識(shí)別詞語識(shí)別認(rèn)知狀態(tài)的計(jì)算模型，因此其它實(shí)驗(yàn)條件下的認(rèn)知狀態(tài)可以統(tǒng)一作為對(duì)比類別，本文繼而采用的多類別分類策略是OVR（One Vs the Rest）。SVM對(duì)于非線性數(shù)據(jù)時(shí)，需要通過核函數(shù)將數(shù)據(jù)映射到高維空間，并在高維空間中構(gòu)造出最優(yōu)分離超平面，從而解決數(shù)據(jù)在原始空間中線性不可分的情況。

表1 SVM核函數(shù)類型

表1給出了SVM常用的核函數(shù)，xi、xj分別是數(shù)據(jù)集（包含m個(gè)樣本）中第ith、jth樣本，其中線性核函數(shù)如式（1）所示：

多項(xiàng)式核函數(shù)如式（2）所示：

其中γ＞0，一般設(shè)置為分類類別數(shù)的倒數(shù)，r是核函數(shù)的獨(dú)立項(xiàng)，默認(rèn)值是0，d是多項(xiàng)式的次數(shù)。RBF核函數(shù)如式（3）所示：

其中γ與式（2）定義中相同。Sigmoid核函數(shù)如式（4）所示：

其中γ、r與式（2）定義中相同。

核函數(shù)對(duì)應(yīng)的核矩陣如式（5）所示：

2.3 交叉驗(yàn)證

交叉驗(yàn)證，又稱旋轉(zhuǎn)評(píng)估，是一種模型驗(yàn)證技術(shù)，用于評(píng)估統(tǒng)計(jì)分析結(jié)果能否泛化到獨(dú)立于訓(xùn)練數(shù)據(jù)的其他數(shù)據(jù)集。它主要用于面向預(yù)測的場景，評(píng)估預(yù)測模型在實(shí)際場景中的準(zhǔn)確度。交叉驗(yàn)證用于評(píng)價(jià)基于獨(dú)立同分布（Independent and Identi?cally Distributed，IID）數(shù)據(jù)集訓(xùn)練所得分類器的性能。如圖2所示，交叉驗(yàn)證方法通常包括K折、重復(fù)K折、留1法、留P法、拖拽分割法（Shuffle&Split）。為了防止訓(xùn)練數(shù)據(jù)集的分類類別與驗(yàn)證數(shù)據(jù)集的分類類別在空間分布上不平衡，交叉驗(yàn)證還衍生出分層K折法、分層拖拽分割法（Stratified Shuffle&Split）。此外，面向時(shí)序數(shù)據(jù)的建模還專門產(chǎn)生了時(shí)序分割法交叉驗(yàn)證方法。

表2 交叉驗(yàn)證方法

由于個(gè)體fMRI數(shù)據(jù)的差異性，本文并不力圖基于部分被試fMRI數(shù)據(jù)集訓(xùn)練的結(jié)果能夠去預(yù)測剩余被試fMRI數(shù)據(jù)集所對(duì)應(yīng)的認(rèn)知狀態(tài)，因此不采用組交叉驗(yàn)證（Group Cross Validation，GCV），而是為每個(gè)被試單獨(dú)訓(xùn)練分類器，然后將所有被試思維狀態(tài)分類器的平均性能作為結(jié)果進(jìn)行研究。

2.4 性能評(píng)估

本文采用接收者操作特征（Receiver Operating Characteristic，ROC）曲線的曲線下面積（Area Un?der the Curve，AUC）作為分類模型性能的評(píng)估指標(biāo)。ROC曲線是分類器性能的二維度量，ROC曲線的AUC是衡量分類器性能的一個(gè)側(cè)面的標(biāo)量指標(biāo)［13］。為了對(duì)基于OVR-SVM的詞語識(shí)別認(rèn)知狀態(tài)進(jìn)行預(yù)測質(zhì)量評(píng)估，預(yù)測結(jié)果是應(yīng)該是詞語識(shí)別認(rèn)知狀態(tài)的概率值，其值域?yàn)椋?，1］。本文處理的單個(gè)被試fMRI數(shù)據(jù)集在每次的交叉驗(yàn)證中會(huì)被分割成訓(xùn)練集D和測試集T，其中訓(xùn)練集的樣本數(shù)據(jù)用于訓(xùn)練得到基于OVR-SVM的“詞語識(shí)別認(rèn)知狀態(tài)”分類器，測試集T中的每個(gè)樣本ti作為分類器的輸入得到被試是否處于詞語識(shí)別認(rèn)知狀態(tài)的概率si。測試集所有樣本對(duì)應(yīng)的預(yù)測概率構(gòu)成集合S，測試集中所有樣本被標(biāo)注為“詞語識(shí)別認(rèn)知狀態(tài)”的樣本數(shù)量為a，被標(biāo)注為“非詞語識(shí)別認(rèn)知狀態(tài)”的樣本數(shù)量為b，a+b= |S|= |T|。

在計(jì)算ROC曲線前，先對(duì)集合S進(jìn)行降序排序，排序的過程中將測試集T中樣本的位置也作相應(yīng)的調(diào)整，從而得到有序集合S′和T′。S′越靠近前部的元素si'預(yù)測概率越高，表示訓(xùn)練得到的OVR-SVM分類器對(duì)排序后測試集T′樣本ti'的預(yù)測結(jié)果越有把握，反之則越?jīng)]有把握。ROC曲線的橫坐標(biāo)是假陽性率，縱坐標(biāo)是真陽性率，計(jì)算ROC曲線的流程：初始化，ROC起點(diǎn)為（0，0），水平步長為1/a，垂直步長為1/b；步驟一，若S′和T′不為空，取出S′最前部元素s和T′最前部樣本t，若t的原始標(biāo)注為“詞語識(shí)別認(rèn)知狀態(tài)”，則ROC下一個(gè)節(jié)點(diǎn)位置為(x，y+1/a)，反之若t的原始標(biāo)注為“非詞語識(shí)別認(rèn)知狀態(tài)”，則ROC下一個(gè)節(jié)點(diǎn)位置為(x+1/b，y)，繪制ROC曲線當(dāng)前節(jié)點(diǎn)(x，y)與下一個(gè)節(jié)點(diǎn)之間的直線；步驟三，取ROC曲線下一個(gè)節(jié)點(diǎn)坐標(biāo)作為當(dāng)前節(jié)點(diǎn)坐標(biāo)，轉(zhuǎn)至步驟一進(jìn)行重復(fù)操作。當(dāng)整個(gè)流程運(yùn)行結(jié)束后，ROC曲線的最終節(jié)點(diǎn)坐標(biāo)為(1，1)，ROC曲線與橫軸之間的面積即為ROC曲線的AUC值，OVR-SVM分類器的性能越好，AUC值越接近于1，反之則越接近于0。

3 實(shí)驗(yàn)及結(jié)果

3.1 數(shù)據(jù)集及預(yù)處理

本實(shí)驗(yàn)用的數(shù)據(jù)來自開源fMRI數(shù)據(jù)集項(xiàng)目OpenfMRI（https：//openfmri.org/dataset/）中的“詞語與對(duì)象處理”［14］實(shí)驗(yàn)，該實(shí)驗(yàn)采集了49名被試在詞語理解、物體識(shí)別等幾種實(shí)驗(yàn)條件下大腦的fMRI神經(jīng)影像數(shù)據(jù)，實(shí)驗(yàn)刺激通道為視覺。由于其中4名被試的數(shù)據(jù)存在瑕疵或解壓錯(cuò)誤，實(shí)際分析使用了其余45名被試的fMRI數(shù)據(jù)。每個(gè)被試進(jìn)行了兩輪實(shí)驗(yàn)，每輪實(shí)驗(yàn)進(jìn)行了164次fMRI掃描，實(shí)驗(yàn)過程中每種實(shí)驗(yàn)條件出現(xiàn)的次數(shù)均等，次序采用偽隨機(jī)策略，以保證被試認(rèn)知狀態(tài)的有效性。此外，為了提高數(shù)據(jù)分析質(zhì)量，每位被試的每輪實(shí)驗(yàn)數(shù)據(jù)進(jìn)行獨(dú)立的歸一化處理后再進(jìn)行拼接，作為后續(xù)SVM分類訓(xùn)練的數(shù)據(jù)集。每次fMRI掃描采集的三維神經(jīng)影像數(shù)據(jù)基于Dosenbach腦圖模板進(jìn)行特征抽取，具體方法為以Dosenbach腦圖的每個(gè)腦區(qū)MNI坐標(biāo)為中心，取5mm為半徑，將包含的所有fMRI影像體素的信號(hào)值進(jìn)行平均，160個(gè)腦區(qū)各自得到的平均值組成的160維向量構(gòu)成一個(gè)樣本。

圖2 某被試的fMRI數(shù)據(jù)特征及思維狀態(tài)標(biāo)注

圖2給出了某被試fMRI數(shù)據(jù)基于Dosenbach腦圖進(jìn)行特征抽取及歸一化后的結(jié)果。其中圖2（a）顯示的是該被試實(shí)驗(yàn)條件在時(shí)間上的分布，每次fMRI掃描都會(huì)對(duì)應(yīng)相應(yīng)的實(shí)驗(yàn)條件類型，即每位被試的328次fMRI掃描分別對(duì)應(yīng)時(shí)間上328次實(shí)驗(yàn)材料刺激，其中黑色表示當(dāng)前fMRI對(duì)應(yīng)實(shí)驗(yàn)條件是‘詞語識(shí)別’，白色表示‘非詞語識(shí)別’。因此，圖2（a）相當(dāng)于給出了OVR-SVM分類學(xué)習(xí)中數(shù)據(jù)集的標(biāo)簽。圖2（b）顯示的是該被試數(shù)據(jù)集特征，其中橫軸從左向右是fMRI掃描的時(shí)間次序，縱坐標(biāo)是Dosenbach腦圖的160個(gè)腦區(qū)。因此，圖2（b）的每一列是一個(gè)樣本，每一行是一個(gè)特征。

3.2 模型參數(shù)

OVR-SVM模型的構(gòu)建和訓(xùn)練基于LIBSVM［15］，線性核函數(shù)、多項(xiàng)式核函數(shù)、RBF核函數(shù)、Sigmoid核函數(shù)的各項(xiàng)參數(shù)設(shè)置如表3所示。

表3 OVR-SVM模型參數(shù)

3.3 性能評(píng)估

圖3給出了45名被試中某位被試的fMRI預(yù)處理后數(shù)據(jù)，通過基于線性核函數(shù)訓(xùn)練得到的OVR-SVM分類器進(jìn)行層次K折交叉驗(yàn)證產(chǎn)生的AUC指標(biāo)。其中的藍(lán)色曲線是10次交叉驗(yàn)證ROC曲線進(jìn)行平均得到的平均ROC曲線，紅色虛線是機(jī)會(huì)水平（chance level）下的ROC曲線。基于層次K折交叉驗(yàn)證得到的10個(gè)ROC曲線AUC值，計(jì)算得到的AUC平均值和標(biāo)準(zhǔn)差為0.69±0.12。

圖3 某被試的語言認(rèn)知狀態(tài)分類模型ROC曲線

其余被試基于線性核OVR-SVM的AUC平均值，以及所有被試基于其它類型核函數(shù)OVR-SVM的AUC平均值依次計(jì)算得出，用于后續(xù)的統(tǒng)計(jì)檢驗(yàn)計(jì)算。

3.4 結(jié)果統(tǒng)計(jì)

圖4給出了線性核函數(shù)、多項(xiàng)式核函數(shù)、RBF核函數(shù)、Sigmoid核函數(shù)下45名被試在層次K折交叉驗(yàn)證下的OVR-SVM分類器AUC平均值和標(biāo)準(zhǔn)差，分別為0.6554±0.0824、0.6673±0.0757、0.7078±0.0790、0.6377±0.0800。通過對(duì)不同核函數(shù)下45名被試OVR-SVM的AUC值進(jìn)行兩兩間的統(tǒng)計(jì)T檢驗(yàn)，取顯著性水平α值為0.05，其中存在顯著性差異的對(duì)比包括RBF核函數(shù)AUC均值大于線性核函數(shù)AUC均值（P值=0.003）、RBF核函數(shù)AUC均值大于多項(xiàng)式核函數(shù)AUC均值（P值=0.016）、RBF核函數(shù)AUC均值大于Sigmoid核函數(shù)（P值=8.15e-5）。其他核函數(shù)對(duì)之間的統(tǒng)計(jì)對(duì)比間均不存在顯著性差異，因此可以看出，在本次實(shí)驗(yàn)中采用RBF核函數(shù)的OVR-SVM在數(shù)據(jù)集上表現(xiàn)出的分類性能最優(yōu)。

圖4 各SVM核函數(shù)下模型的性能及統(tǒng)計(jì)對(duì)比

4 結(jié)語

本文利用OVR-SVM構(gòu)建分類模型，對(duì)包含詞語識(shí)別實(shí)驗(yàn)條件的fMRI數(shù)據(jù)進(jìn)行了認(rèn)知狀態(tài)分類研究。研究的過程中首先通過權(quán)威腦圖Dosenbach對(duì)fMRI數(shù)據(jù)進(jìn)行了特征提取和預(yù)處理，在時(shí)間上根據(jù)實(shí)驗(yàn)刺激條件信息對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，然后基于線性核、多項(xiàng)式核、RBF核、Sigmoid核構(gòu)建了詞語識(shí)別認(rèn)識(shí)狀態(tài)的分類器，并通過層次10折交叉驗(yàn)證和ROC線下面積對(duì)分類器的性能進(jìn)行了評(píng)估，最后通過統(tǒng)計(jì)T檢驗(yàn)對(duì)比了不同核函數(shù)的OVR-SVM性能對(duì)比。實(shí)驗(yàn)結(jié)果顯示，基于RBF核的OVR-SVM性能在統(tǒng)計(jì)上顯著高于其他三者，能夠較好地識(shí)別被試的詞語識(shí)別認(rèn)知狀態(tài)。為了進(jìn)一步提高分類器的性能，后期的研究可以采用更多的腦圖進(jìn)行實(shí)驗(yàn)對(duì)比，同時(shí)分類器的超參數(shù)優(yōu)化也是提高分類效果的一個(gè)途徑。