fMRI 揭示日中雙語者的語義和讀音加工腦機(jī)制

李修軍，劉小迪，楊菁菁

（長春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長春 130022）

雙語者是指掌握兩種語言的人，在語言處理的過程中，雙語者通常先對詞匯進(jìn)行處理，然后再對整體句子進(jìn)行判斷。整個(gè)過程涉及正字法（文字符號(hào)的使用規(guī)則）的使用，以及對讀音（聲音）和語義（意思）的加工處理［1］。每種語言都具有其獨(dú)特的正字法，研究發(fā)現(xiàn)正字法距離（兩種語言之間的正字法相似性）會(huì)影響大腦神經(jīng)表征的激活模式［2-3］。具有不同正字法距離的雙語受試者在進(jìn)行相同的語義判斷時(shí)，可能導(dǎo)致不同的大腦激活表征［4］。而且在實(shí)驗(yàn)過程中即使對于同一種第二外語（L2），兩組雙語者不同的母語（L1）正字法，也會(huì)使其表現(xiàn)出不同的激活模式［5］。雙語者在進(jìn)行不同的語言加工處理時(shí)，呈現(xiàn)出的激活表征會(huì)有所不同，特別是在讀音和語義兩種加工任務(wù)上［6-9］。對于雙語者語言產(chǎn)生過程中的語義或讀音的共同神經(jīng)表征，之前的一些神經(jīng)影像學(xué)研究表明，讀音加工相關(guān)的大腦區(qū)域主要涉及梭狀回（Fusiform Gyrus，F(xiàn)FG）、顳頂葉和額下回等，語義加工相關(guān)的大腦區(qū)域主要分布在FFG、顳中回（Superior Temporal Gyrus，STG）、顳上回（Middle Temporal Gyrus，MTG）等［10-11］。漢語和日語盡管在日常書寫中存在相似的正字法（字形相似），但在讀音和語義上卻不盡相同，這就可能導(dǎo)致大腦的不同區(qū)域被激活。

功能磁共振成像（functional Magnetic Resonance Imaging，fMRI）技術(shù)因其具有高空間分辨率和無創(chuàng)性等優(yōu)點(diǎn)被廣泛應(yīng)用于認(rèn)知科學(xué)領(lǐng)域的研究當(dāng)中，為研究者能夠更直接地分析大腦語言區(qū)域提供了有力途徑［12-13］。通過對fMRI 數(shù)據(jù)的統(tǒng)計(jì)分析能夠得到大腦表征的相關(guān)信息，進(jìn)而解碼大腦的語言機(jī)制。多體素模式分析（Multi-Voxel Pattern Analysis，MVPA）作為一種大腦解碼分析方法，可以精確地定位在每個(gè)體素上，在單變量分析的基礎(chǔ)上，能夠更準(zhǔn)確地分析出不同任務(wù)條件下的大腦活動(dòng)模式［14-15］。然而，目前使用MVPA 方法的研究大多將句子任務(wù)作為實(shí)驗(yàn)刺激［16］，并且很少有人使用MVPA 研究讀音的相關(guān)大腦區(qū)域。對于使用MVPA 在詞匯任務(wù)條件下分析以及對讀音加工的相關(guān)研究都還需要更多的理論支撐，所以需要研究者在這兩個(gè)方面進(jìn)行更深層次的探討。

雙語者大腦加工機(jī)制的實(shí)驗(yàn)研究通常是將句子或詞匯作為實(shí)驗(yàn)刺激，想要更好地從源頭分析雙語者的大腦表征，詞匯任務(wù)更為合適。決策任務(wù)比簡單的公開命名任務(wù)涉及更多的認(rèn)知［17］。所以為了更好地探索大腦認(rèn)知區(qū)域，本研究對15 名以日語為L1，漢語為L2 的日中雙語受試者進(jìn)行視覺詞匯的語義和讀音判斷任務(wù)。使用基于一般線性模型（General Linear Model，GLM）的單變量分析簡要?jiǎng)澐执竽X不同任務(wù)的不同激活區(qū)域，然后再采用MVPA 方法進(jìn)行更深層次的分析，以解碼在兩種任務(wù)條件（語義和讀音）下，日語和漢語在實(shí)驗(yàn)過程中產(chǎn)生的不同大腦神經(jīng)激活模式。這種對于具有特殊正字法的雙語者大腦加工機(jī)制的研究，不僅能夠?yàn)槿罩须p語者的大腦加工機(jī)制帶來新的證據(jù)，還為雙語教學(xué)、失語癥患者的治療以及新型人工智能的研發(fā)帶來新的幫助與啟示。

1 材料與方法

1.1 數(shù)據(jù)收集

（1）受試者

本實(shí)驗(yàn)在沈陽醫(yī)科大學(xué)附屬盛京醫(yī)院進(jìn)行，招募了15 名（7 名女性，8 名男性）沈陽中國醫(yī)科大學(xué)的日本籍留學(xué)生，他們的平均年齡是22.9歲。所有受試者均以日語為L1，漢語為L2，且均為身體健康的右利手。受試者的具體情況如表1 所示，其中L2 熟練程度反映了第二語言熟練程度測試的正確率。他們在詳細(xì)了解知情同意書的情況下簽字。該研究經(jīng)中國醫(yī)科大學(xué)盛京醫(yī)院倫理委員會(huì)批準(zhǔn)。

表1 受試者個(gè)體特征

（2）數(shù)據(jù)掃描

（3）實(shí)驗(yàn)刺激

每個(gè)受試者都需要進(jìn)行日語和漢語的視覺詞匯語義判斷任務(wù)、讀音判斷任務(wù)和字號(hào)判斷任務(wù)。實(shí)驗(yàn)刺激包括日文漢字和中文漢字各96個(gè)詞，具體以日語為例，將日語的96 個(gè)詞打亂，每兩個(gè)詞組成一個(gè)視覺圖片刺激。每個(gè)任務(wù)（語義判斷、讀音判斷和字號(hào)判斷）都由這96 個(gè)詞組成且各生成一個(gè)刺激集（S、P和O），每個(gè)刺激集包含48 張圖片（24 張正向判斷，24 張反向判斷）。

不同的詞匯刺激代表著不同的實(shí)驗(yàn)任務(wù)，以漢語任務(wù)為例，如圖1 所示。對于語義詞匯判斷任務(wù)，圖片包括兩個(gè)相同含義的詞（包庇和偏袒），以及兩個(gè)相反意義的詞（精華和糟粕）；對于讀音詞匯判斷任務(wù)，例如，成功和進(jìn)攻為讀音押韻詞匯，立刻和油膩為非讀音押韻詞匯；對于字號(hào)判斷任務(wù)，判斷無意義詞匯的字符大小是否相同。

圖1 實(shí)驗(yàn)刺激

（4）實(shí)驗(yàn)過程

受試者進(jìn)行任務(wù)態(tài)（詞匯決策任務(wù)）的fMRI掃描。他們需要分別進(jìn)行漢語和日語詞匯任務(wù)，每種語言的任務(wù)分為三個(gè)會(huì)話，每個(gè)會(huì)話都包含刺激集S、P和O的16 張圖片刺激，共48 次實(shí)驗(yàn)。實(shí)驗(yàn)任務(wù)是偽隨機(jī)的，以保證每個(gè)會(huì)話中的實(shí)驗(yàn)任務(wù)的個(gè)數(shù)是相同且平衡的。

在實(shí)驗(yàn)過程中，首先會(huì)提示受試者下一個(gè)是什么判斷任務(wù)，顯示4 s。每個(gè)實(shí)驗(yàn)包括兩部分，均以黑底白字的方式呈現(xiàn)，第一部分是呈現(xiàn)2.5 s的詞匯刺激，兩個(gè)詞匯通過白色十字加號(hào)固視點(diǎn)并排連接；第二部分是顯示1.5 s 的固視點(diǎn)，要求受試者在這個(gè)時(shí)間內(nèi)盡快按下按鈕進(jìn)行詞匯決策（圖2）。連續(xù)進(jìn)行8 次實(shí)驗(yàn)后，會(huì)有24 s 的休息時(shí)間，期間顯示固視點(diǎn)。每個(gè)會(huì)話有6 個(gè)塊大約需要6 min，每個(gè)受試者需要進(jìn)行約40 min的實(shí)驗(yàn)。

圖2 詞匯決策實(shí)驗(yàn)過程

1.2 數(shù)據(jù)分析

（1）fMRI 數(shù)據(jù)預(yù)處理

佛經(jīng)翻譯、《圣經(jīng)》翻譯、西學(xué)翻譯合作模式譯者構(gòu)成的歷時(shí)變遷為當(dāng)前中國文化經(jīng)典英譯合作模式譯者構(gòu)成建構(gòu)提供了諸多啟示。

在進(jìn)行預(yù)處理之前需要對采集到的Dicom 圖像進(jìn)行格式轉(zhuǎn)換，使用MRIconvert 軟件將其轉(zhuǎn)換成NIFTI 格式。圖像的預(yù)處理使用Matlab 軟件下的SPM12 工具箱（www.fil.ion.ucl.ac.uk）。首先，對轉(zhuǎn)換完成的圖像進(jìn)行時(shí)間切片校正和頭部運(yùn)動(dòng)校正。然后使用工具箱中提供的由蒙特利爾神經(jīng)研究所研制的標(biāo)準(zhǔn)模板（MNI）對圖像進(jìn)行空間標(biāo)準(zhǔn)化。最后，采用8 mm×8 mm×8 mm 的全寬各向同性高斯核進(jìn)行空間平滑。在執(zhí)行MVPA 時(shí)使用未平滑的數(shù)據(jù)，以防止單個(gè)體素的激活不明顯。

（2）單變量分析

為了探討日中雙語者在進(jìn)行詞匯語義判斷任務(wù)、詞匯讀音判斷任務(wù)和字號(hào)判斷任務(wù)時(shí)有關(guān)語義和讀音的神經(jīng)表征區(qū)域，采用基于GLM的單變量分析方法對其進(jìn)行分析。三種不同的任務(wù)模式被建模為三個(gè)獨(dú)立的回歸模型，并與每個(gè)受試者的標(biāo)準(zhǔn)血流動(dòng)力學(xué)響應(yīng)函數(shù)進(jìn)行卷積。以往的經(jīng)驗(yàn)將視覺刺激通過字符特定表征轉(zhuǎn)換為整體的語義或讀音表征，所以這里的字號(hào)判斷是一種基線。語義和讀音任務(wù)與基線進(jìn)行比較，使用隨機(jī)效應(yīng)模型對受試者進(jìn)行組分析，并采用單樣本T檢驗(yàn)進(jìn)行分析。閾值設(shè)定為P＜0.05（Uncorrected）和P＜0.001（Uncorrected）。

（3）多體素模式分析

使用PRoNTo 工具箱（www.mlnl.cs.ucl.ac.uk）進(jìn)行多體素模式分析，研究兩種語言分別在語義和讀音上的大腦激活差異。首先，使用未平滑的fMRI 數(shù)據(jù)，以單個(gè)塊為獨(dú)立事件定義GLM的設(shè)計(jì)矩陣以計(jì)算大腦活動(dòng)的激活情況。然后，基于前人的研究和單變量分析得到的結(jié)果繪制感興趣區(qū)域（Region Of Interest，ROI），使用WFUpickatlas 工具箱構(gòu)建掩碼，并在固定區(qū)域的體素中分析大腦的激活模式。再使用線性支持向量機(jī)（Linear Support Vector Machine，LSVM）分類器對語義和讀音任務(wù)條件下的兩種語言（日語和漢語）進(jìn)行分類，并使用留一法（Leave one block out）訓(xùn)練模型。最后，通過置換檢驗(yàn)來檢驗(yàn)?zāi)Ｐ偷挠行院涂煽啃浴?/p>

2 實(shí)驗(yàn)結(jié)果

2.1 行為學(xué)結(jié)果

fMRI 掃描所有受試者在執(zhí)行詞匯決策任務(wù)時(shí)的大腦，行為學(xué)分析結(jié)果如圖3 所示。

圖3 兩種語言的行為學(xué)分析結(jié)果

圖3中CS 為漢語語義任務(wù)；JS 為日語語義任務(wù)；CP 為漢語讀音任務(wù)；JP 為日語讀音任務(wù)；**P＜0.01；***P＜0.001。圖3（a）、圖3（b）分別表示語義和讀音任務(wù)的平均反應(yīng)時(shí)間，圖3（c）、圖3（d）分別表示語義和讀音任務(wù)的平均正確率。在平均反應(yīng)時(shí)間上，日語和漢語在語義和讀音的任務(wù)條件下均無顯著差異；而在平均正確率上，日語和漢語在語義和讀音任務(wù)條件下均存在顯著差異。

2.2 單變量分析結(jié)果

日語和漢語在語義和讀音判斷任務(wù)中激活的大腦區(qū)域如圖4 所示，其中圖4（a）、圖4（b）顯示漢語和日語在語義任務(wù)下的激活腦區(qū)（P＜0.05，Uncorrected），選取大于5 的所有體素；圖4（c）、圖4（d）顯示漢語和日語在讀音任務(wù)下的激活腦區(qū)（P＜0.001，Uncorrected），選取大于5 的所有體素。CS 為漢語語義任務(wù)；CP 為漢語讀音任務(wù)；CO 為漢語字號(hào)任務(wù)；JS 為日語語義任務(wù)；JP 為日語讀音任務(wù)；JO 為日語字號(hào)任務(wù)；R 為右腦。

圖4 兩種語言在語義和讀音判斷任務(wù)下的大腦激活圖

漢語詞匯語義判斷任務(wù)的大腦激活涉及大量的左半球區(qū)域。包括舌回、FFG、STG、MTG、角回（Angular Gyrus，AG）、緣上回（Supramarginal Gyrus，SMG）以及部分額葉區(qū)域。右腦也有少量的激活區(qū)域。漢語詞匯讀音判斷任務(wù)激活的腦區(qū)包括枕葉的視覺皮層、頂葉的SMG 和中央前回，顳葉的MTG、STG 和部分區(qū)域，還有額葉的額下回三角部（Pars Triangularis，PT）和額下回島蓋部（Pars Opercularis，PO），以及扣帶皮層、輔助運(yùn)動(dòng)區(qū)等。

日語在語義和讀音任務(wù)下的激活腦區(qū)相對較少。語義任務(wù)的主要激活區(qū)域包括雙側(cè)顳葉部分區(qū)域、STG、扣帶回皮層和中央后回。讀音任務(wù)主要激活腦島、PO、PT、頂下緣角回、輔助運(yùn)動(dòng)區(qū)及視覺相關(guān)區(qū)域等。

圖5（a）代表漢語與日語在語義任務(wù)條件下的差異腦區(qū)（P＜0.001，Uncorrected），圖5（b）代表漢語與日語在讀音任務(wù)條件下的差異腦區(qū)（P＜0.001，Uncorrected），選取大于5 的所有體素。對于語義任務(wù)，兩種語言的差異腦區(qū)包括額葉部分區(qū)域、中央前回和輔助運(yùn)動(dòng)區(qū)、頂葉的楔前葉、SMG、AG 和中央后回、顳葉的海馬區(qū)和MTG、枕葉部分區(qū)域、扣帶皮層；對于讀音任務(wù)，兩者存在激活差異的區(qū)域在中央旁小葉、中央前回、枕葉的枕上回和舌回、額葉的額中回和額上回、楔前葉、頂上回、扣帶回皮層、MTG。

圖5 兩種語言在語義和讀音判斷任務(wù)下的差異腦區(qū)

2.3 多體素模式分析結(jié)果

結(jié)合前人對語義和讀音任務(wù)的討論以及單變量分析的結(jié)果，最終選取了14 個(gè)大腦經(jīng)典語言加工區(qū)域的ROI，包括雙側(cè)AG、SMG、FFG、PO、PT、STG 和MTG，探討14 個(gè)腦區(qū)在兩種不同任務(wù)（語義和讀音）條件下日語和漢語的分類準(zhǔn)確率。通過使用單樣本T 檢驗(yàn)將每個(gè)ROI 的平均分類準(zhǔn)確率與偶然準(zhǔn)確率（50%）進(jìn)行對比，以此判定是否成功分類。如圖6 所示，其分別表示語義和讀音判斷任務(wù)的分類準(zhǔn)確率。AG 為角回；SMG 為緣上回；FFG 為梭狀回；PO 為額下回島蓋部；PT 為額下回三角部；STG 為顳上回；MTG為顳中回；L 為左腦；R 為右腦；*P＜0.05；**P＜0.01；***P＜0.001。

圖6 14 個(gè)ROI 在兩種任務(wù)下日語和漢語的分類準(zhǔn)確率

在詞匯語義任務(wù)中，雙側(cè)AG、MTG，左側(cè)FFG、PT，右側(cè)SMG、PO 和STG 具有較高的分類準(zhǔn)確率，這說明兩種語言在右半球的激活差異更明顯。對于詞匯讀音任務(wù)，在雙側(cè)AG、SMG、FFG、PO、PT、MTG 和左側(cè)STG 具有顯著的分類準(zhǔn)確率，這表明兩種語言在大部分經(jīng)典語言區(qū)域，特別是左側(cè)SMG，具有較大的激活表征差異；而在右側(cè)STG 可能存在兩種語言的相似激活模式。

3 討論

本研究采用單變量分析和MVPA 兩種方法探究雙語者在詞匯語義加工和讀音加工過程中的雙語腦機(jī)制。

單變量分析結(jié)果發(fā)現(xiàn)，日中雙語者在執(zhí)行兩種詞匯決策任務(wù)時(shí)，表現(xiàn)出同一個(gè)激活特點(diǎn)，即漢語加工過程中產(chǎn)生的大腦神經(jīng)激活表征區(qū)域相比日語加工更為廣泛，而這些區(qū)域主要集中在大腦的認(rèn)知控制區(qū)域，這一發(fā)現(xiàn)與Liu 等人［11］的研究一致。對于漢語讀音和語義任務(wù)以及日語讀音任務(wù)，其腦區(qū)激活情況與Price［18］的研究結(jié)果一致。而日語語義任務(wù)的激活區(qū)域較少且涉及到多個(gè)右腦區(qū)域，這可能與受試者對日文漢字［19］的語義進(jìn)行識(shí)別有關(guān)。

受試者在觀察呈現(xiàn)出的視覺詞匯時(shí)，首先通過舌回、距狀裂周圍皮層等視覺皮層進(jìn)行初步的加工，接著會(huì)在FFG 對詞匯進(jìn)行識(shí)別。如果是語義加工可能會(huì)在左側(cè)AG、左側(cè)MTG 等區(qū)域進(jìn)行語言信息的整合；如果是讀音加工，則可能在SMG、STG 等區(qū)域進(jìn)行詞匯的記憶提取和聽覺轉(zhuǎn)換。接下來如果將詞匯復(fù)述，不斷地默讀詞匯，則可能激活PO、PT 等區(qū)域。

在本研究中，使用MVPA 方法對14 個(gè)腦區(qū)在兩種加工任務(wù)下漢語和日語的大腦活動(dòng)模式進(jìn)行分類，發(fā)現(xiàn)雙側(cè)AG、右側(cè)PO、右側(cè)STG 和右側(cè)MTG 在詞匯語義加工中具有顯著的分類準(zhǔn)確率。這些區(qū)域在詞匯語義任務(wù)下表現(xiàn)出兩種語言不同的大腦神經(jīng)激活模式。

AG 具有分析視覺信息并將分析后的信息傳輸?shù)街袠猩窠?jīng)系統(tǒng)的能力。單變量分析結(jié)果顯示，在漢語語義任務(wù)中，左側(cè)AG 激活明顯。兩種語言在左側(cè)AG 的激活差異或許與雙語者對L1 更熟悉有關(guān)［20］。雙側(cè)AG 均參與一般視覺的語義加工［21］，而在右側(cè)AG 體現(xiàn)出的兩種語言的激活差異可能與兩種語言表達(dá)能力的強(qiáng)弱有關(guān)。

PO 在復(fù)述或閱讀信息時(shí)非常重要。右側(cè)PO的分類準(zhǔn)確率較高，這可能與受試者進(jìn)行不同的詞匯語義決策有關(guān)，涉及個(gè)體的大腦變化［22］。右側(cè)STG 在記憶關(guān)聯(lián)中起著重要作用，其在語義判斷過程中產(chǎn)生的激活差異可能與雙語者兩種語言的不同記憶連接［23］有關(guān)。右側(cè)MTG 是命名語言中心，與語言網(wǎng)絡(luò)密切相關(guān)，但這兩種語言之間的具體差異是難以區(qū)分的。

在詞匯讀音加工過程中，除右側(cè)STG 外，其余13 個(gè)區(qū)域均表現(xiàn)出顯著的分類準(zhǔn)確率。特別是在左側(cè)SMG 區(qū)域，分類精度很高。SMG 是經(jīng)典的聽覺中樞，兩種語言之間發(fā)音的差異可能是分類準(zhǔn)確率較高的原因之一。在右側(cè)STG，有研究者發(fā)現(xiàn)其是處理漢字聲調(diào)的特異性區(qū)域［24］，但在這里沒有發(fā)現(xiàn)兩種語言激活差異的可能原因是日中雙語者對中文漢字的聲調(diào)存在一定的基礎(chǔ)。

盡管本研究得到了日中雙語者在語義和讀音任務(wù)條件下兩種語言的大腦神經(jīng)激活表征差異，并探討了產(chǎn)生這種差異的原因，但仍然存在一些不足之處。首先，在受試者的數(shù)量方面。本文選取了15 名受試者參與了本次實(shí)驗(yàn)，受試者的數(shù)量較少可能會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果受到個(gè)體差異的影響較大；其次，實(shí)驗(yàn)中使用以單個(gè)塊為獨(dú)立事件定義GLM 的設(shè)計(jì)矩陣，這可能導(dǎo)致單個(gè)刺激間的體素值過于接近，進(jìn)而造成分類誤差。所以在未來的研究當(dāng)中，需要對實(shí)驗(yàn)進(jìn)行改進(jìn)，選取更多的受試者參與實(shí)驗(yàn)，并以單個(gè)刺激為獨(dú)立事件定義GLM 設(shè)計(jì)矩陣，完成兩種語言大腦活動(dòng)模式的分類。

4 結(jié)論

綜上所述，本研究利用單變量分析和MVPA方法探索日中雙語者的大腦機(jī)制，發(fā)現(xiàn)兩種語言在共同語言處理區(qū)域的激活存在明顯差異以及共同點(diǎn)。結(jié)果表明，無論是在詞匯語義還是讀音加工任務(wù)條件下，相比于L1、L2 的激活表征更廣泛，涉及大腦的認(rèn)知控制區(qū)域。日語和漢語的詞匯語義加工在雙側(cè)AG、右側(cè)PO、MTG 和STG 的激活上存在較大差異，且右腦的激活差異更為明顯。在詞匯讀音加工中，兩種語言在13個(gè)ROI 中的分類準(zhǔn)確率均相對較高，其中左側(cè)SMG 的差異更明顯，而在右側(cè)STG 可能存在兩種語言共同的神經(jīng)表征區(qū)域。這些結(jié)果為進(jìn)一步理解雙語者的大腦機(jī)制提供了證據(jù)，并為雙語教學(xué)、失語癥患者的治療以及新型人工智能技術(shù)的發(fā)展帶來了新的啟示。