第二外語讀音處理時腦活動差異的功能性磁共振成像研究

李修軍，郭啟勇，吳景龍

（1.長春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長春 130022；2.中國醫(yī)科大學(xué)附屬盛京醫(yī)院 放射科，沈陽 110004；3.日本岡山大學(xué) 自然科學(xué)研究生院，岡山 700-8530）

語言是人腦所特有的一種高級功能，是人類社會信息傳遞的主要形式。如何讓計(jì)算機(jī)的中文處理達(dá)到人腦的水平，開發(fā)更接近人類的智能機(jī)器，是人工智能領(lǐng)域的熱門課題。研究人腦的語音加工處理機(jī)制是實(shí)現(xiàn)人工智能的重要理論基礎(chǔ)和前沿研究。在語音加工處理研究中，語音控制與語音模式識別是其中重要的一部分，本研究將對中文和日文的讀音處理進(jìn)行深入研究。

目前，應(yīng)用功能性磁共振成像技術(shù)研究語言加工腦機(jī)制是應(yīng)用語言學(xué)和認(rèn)知神經(jīng)科學(xué)的熱點(diǎn)問題和前沿研究。尤其像是對漢語-英語第二外語的研究已經(jīng)取得了部分科研成果［1-5］，但關(guān)于漢語-日語第二外語的研究才剛剛起步。功能磁共振成像技術(shù)能對大腦的結(jié)構(gòu)和活動狀態(tài)進(jìn)行成像，進(jìn)而輔助醫(yī)療診斷的設(shè)備，和其他手段相比（比如腦電（ERP，Event-Related Potentials）等）具有高空間解像度的優(yōu)勢，能達(dá)到毫米級。本實(shí)驗(yàn)采用功能磁共振成像技術(shù)探討中日雙語被試第二外語讀音加工的腦機(jī)制。

第二外語教學(xué)中，常常發(fā)現(xiàn)這樣一個問題，有些學(xué)生認(rèn)為英語入門難，學(xué)起來會越來越簡單，而有些學(xué)生認(rèn)為日語卻是入門簡單越學(xué)越難。原因是什么呢？原因之一是與語系有關(guān)。日語和漢語屬于同一語系，具有相似的特點(diǎn)。而英語對于中國人來說則是完全陌生的語言。本研究被試為中日雙語者，即學(xué)過日語的中國人。近年來國內(nèi)外眾多語言研究者圍繞著這一科研課題進(jìn)行了大量的行為學(xué)實(shí)驗(yàn)和腦神經(jīng)影像學(xué)的研究［6-9］，并且得到了一些科研成果，這些成果對語言課堂教學(xué)提供了基礎(chǔ)數(shù)據(jù)和理論依據(jù)。

有關(guān)中-英雙語研究中，具有代表性的是Tan等人［3］用第二外語是英語的大學(xué)生和母語為英語的被試，研究了母語和第二外語腦功能的差異，并確定了部分中-英第二外語的特有腦區(qū)。但是英語為字符語言，漢字為象形文字，二者之間無論從形態(tài)上還是發(fā)音上都存在很大的差異。本實(shí)驗(yàn)將利用中日雙語被試，使用中文讀音判斷任務(wù)和日文讀音判斷任務(wù)對此內(nèi)容做深入的研究。

1 實(shí)驗(yàn)

1.1 被試

實(shí)驗(yàn)使用中-日雙語被試共計(jì)15人，其中男8人，女7人，平均年齡23.08歲，均為沈陽中國醫(yī)科大學(xué)七年制本碩連讀學(xué)生，所有被試均符合身體健康，無精神類疾病，右利手，視力聽力正常的條件。所有被試在實(shí)驗(yàn)前均進(jìn)行了日語水平1級測試并簽署了由中國醫(yī)科大學(xué)倫理委員會制定的《知情同意書》。

1.2 實(shí)驗(yàn)刺激

本實(shí)驗(yàn)刺激分為中文讀音相關(guān)刺激和日文讀音相關(guān)刺激（表1中只給出了中文刺激，日文刺激和其類似）兩種。被試將對兩種刺激分別進(jìn)行判斷。兩種刺激分別根據(jù)讀音配對成相同組和不同組，各24對，如成功（cheng gong）-進(jìn)攻（jin gong）為相同組，緊張（jin zhang）-放棄（fang-qi）為不同組。共組成48張圖片，作為控制刺激使用字號大小判斷刺激，使用字號為127和107的兩種非詞語刺激，圖片像素為245×245，顯示器分辨率采用1024×768，實(shí)驗(yàn)中使用的視角為8度。兩個刺激之間用一個“+”作為固視點(diǎn)，所有刺激均以黑底白字的形式呈現(xiàn)給被試。

表1 實(shí)驗(yàn)刺激圖

1.3 實(shí)驗(yàn)任務(wù)

在功能性核磁共振實(shí)驗(yàn)掃描時，所有的實(shí)驗(yàn)刺激通過反光鏡折射至被試眼部。在進(jìn)行序列掃描時要求被試頭不動（頭動超過1.5mm的被試將被剔除），根據(jù)提示語對屏幕中同時出現(xiàn)的兩個漢語單詞或日語單詞的讀音是否相同或者字號是否相同進(jìn)行辨別，相同時用左手拇指按鍵，不同時用右手拇指按鍵。四種實(shí)驗(yàn)刺激均隨機(jī)出現(xiàn)。刺激呈現(xiàn)時間均為2500ms，間隔時間為1500ms，一個組塊為24s。間隔的時候只提示注視點(diǎn)“+”。一共48個刺激，一個序列的時間就是大約6分鐘。然后為了制作個人的標(biāo)準(zhǔn)腦圖像和圖像對齊我們加掃了3D和T1圖像。

1.4 數(shù)據(jù)采集與分析

數(shù)據(jù)采集：本實(shí)驗(yàn)采用中國醫(yī)科大學(xué)附屬盛京醫(yī)院的Philips Intera Achieva 3.0T超導(dǎo)型MR掃描系統(tǒng)，刺激儀為深圳美德公司的SA9900視聽覺刺激提示系統(tǒng)，應(yīng)用8通道SENSE頭線圈，層厚為3.5mm，TR為2s，TE為30ms。

數(shù)據(jù)分析：首先把所有文件統(tǒng)一放在一個文件夾里以便后面的數(shù)據(jù)處理，然后將原始數(shù)據(jù)的Dicom文件使用MRIcro軟件進(jìn)行數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換為Matlab7.5能夠識別的文件格式（即.hdr和.img格式）。接下來使用基于Matlab7.5的SPM5軟件（www.fil.ion.ucl.ac.uk）進(jìn)行圖像后期處理。后處理包括：一、前處理：（1）頭動校正和圖像的配準(zhǔn)（Realign），（2）空間標(biāo)準(zhǔn)化（Normalize），（3）平滑化（Smoothing）；二、統(tǒng)計(jì)分析處理。在個人結(jié)果處理時，采用一般線性模型（General Linear Model，Y＝βX+E），得出對比圖像（具體結(jié)果后面有詳細(xì)說明）。在平均結(jié)果處理時，采用隨機(jī)效應(yīng)模型（Random Effects Models），對數(shù)據(jù)分別進(jìn)行單樣本和雙樣本t檢驗(yàn)分析，閾值采用 p＜0.001（uncorrected）。將漢字讀音判斷任務(wù)與日語讀音判斷任務(wù)相減做比較得到二者的對比圖像。

1.5 實(shí)驗(yàn)結(jié)果

所有被試的fMRI腦成像平均結(jié)果如圖1所示，中日雙語被試在進(jìn)行日文讀音加工任務(wù)時激活了一個由多個腦區(qū)參與構(gòu)成的漢字讀音加工處理的腦神經(jīng)網(wǎng)絡(luò)，主要包括：視覺區(qū)（BA17/18/19/37），其主要功能是負(fù)責(zé)視覺信息的處理；顳葉（BA21/22/38），是多感覺處理區(qū)，比如聽覺，觸覺等；頂葉（BA7/40），其主要負(fù)責(zé)時間及空間位置判斷；額葉（BA9/44/45/46），其主要負(fù)責(zé)讀音詞匯等信息的處理和認(rèn)知機(jī)能的處理（P＜0.001）。而在進(jìn)行中文讀音加工任務(wù)時，則激活了很少的腦區(qū)，主要集中在頂葉（BA7/40），這部分的功能主要負(fù)責(zé)時間及空間位置判斷（P＜0.001）。

圖1 中日雙語被試日文讀音和中文讀音判斷時各自的腦激活情況

圖2 中日雙語被試進(jìn)行日文與中文讀音判斷時差異性腦區(qū)的腦激活情況

如圖2所示，對于中日雙語被試，日文讀音判斷任務(wù)和中文讀音判斷任務(wù)相減，得到了二者差異性腦區(qū)，即日文讀音處理腦區(qū)。其中主要包括：右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）（P＜0.001，如表2所示）。

2 討論

本研究主要是利用中文與日文雙語被試，使用中文讀音判斷和日文讀音判斷兩種實(shí)驗(yàn)任務(wù)與字號大小判斷任務(wù)，通過功能性磁共振成像技術(shù)比較被試在判斷日文讀音和中文讀音任務(wù)中不同的腦激活情況，結(jié)果得到了中-日雙語被試在進(jìn)行日語讀音處理和中文讀音處理時的差異性腦區(qū)，然后根據(jù)這些特殊腦區(qū)探討中文與日文第二外語腦神經(jīng)機(jī)制。本實(shí)驗(yàn)中在進(jìn)行讀音加工任務(wù)時，激活了由多個腦區(qū)構(gòu)成的神經(jīng)網(wǎng)絡(luò)（見圖1），與以往對第二外語（中英文以及中日文）的研究結(jié)果均相近［3，6，10-13］。

中日雙語被試在第二外語讀音判斷時的腦神經(jīng)網(wǎng)絡(luò)如下：主要激活腦區(qū)為右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）。其中右側(cè)額葉下回（BA44/45）是布洛卡區(qū)，是公認(rèn)的語言處理腦區(qū)，本實(shí)驗(yàn)中此腦區(qū)的激活主要是語言的詞匯和音韻的處理機(jī)能，這和被試辨別語言的讀音處理相關(guān)。右側(cè)顳葉（BA7/40）是空間位置判斷腦區(qū)，本實(shí)驗(yàn)中主要可能是被試判斷漢語和日語在屏幕中的位置關(guān)系導(dǎo)致的激活。左側(cè)BA37是紡錘狀回，這個腦區(qū)的主要功能是物體的形狀處理，本實(shí)驗(yàn)中此腦區(qū)的激活可能和漢字或日文形態(tài)處理相關(guān)，即被試雖然是進(jìn)行讀音判斷，由于是視覺刺激的形式提示，所以此腦區(qū)也會有相應(yīng)的激活。

以上結(jié)果顯示，中日雙語被試組進(jìn)行日文讀音判斷和中文讀音判斷時腦功能存在差異，本文認(rèn)為這些差異性腦區(qū)為中-日第二外語讀音處理腦區(qū)，尤其是進(jìn)行中文讀音判斷時激活區(qū)域非常小，這可能是對于被試來說任務(wù)過于簡單，很容易就能判斷出來。有眾多研究者對母語和第二外語進(jìn)行了研究發(fā)現(xiàn)母語與第二外語存在巨大的差異，比如中國人雖然熟練的學(xué)習(xí)了英語（經(jīng)過測試分值較高者），但是和美國人相比其在英語加工時，并沒有激活美國人加工英語時的某些特定的腦區(qū)。但是日語和漢語屬于同一語系，均為象形文字，那么作為第二外語它們之間是否有相同的特定腦區(qū)呢？本實(shí)驗(yàn)給出了強(qiáng)有力的證據(jù)，驗(yàn)證了即使是同一語系的漢語和日語在進(jìn)行讀音判斷任務(wù)時也是有不同的激活腦區(qū)。這樣的結(jié)果告訴我們在進(jìn)行第二外語課題教學(xué)的時候就要根據(jù)不同的外語采取不同的教學(xué)方法，比如日語和英語，只有這樣才能更加有效提高教學(xué)質(zhì)量。

3 結(jié)論

實(shí)驗(yàn)結(jié)果表明，中日雙語被試在進(jìn)行中文讀音處理和日文讀音處理時腦活動之間存在差異，主要集中在以下腦區(qū)：右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）。

［1］何文廣，陳寶國.語言對認(rèn)知的影響——基于雙語認(rèn)知“優(yōu)勢效應(yīng)”的分析［J］.心理科學(xué)進(jìn)展，2011，19（11）：1615-1624.

［2］王瑞明，鄧漢深，李俊杰，等.中-英雙語者語言理解中非加工語言的自動激活［J］.心理學(xué)報(bào)，2011，43（7）：771-783.

［3］Tan L，Spinks J，F(xiàn)eng C，et al.Neural systems of second language reading are shaped by native language［J］.Hum Brain Mapp，2003，18：158-166.

［4］董奇，薛貴.雙語腦機(jī)制的幾個重要問題及其當(dāng)前研究進(jìn)展［J］.北京師范大學(xué)學(xué)報(bào)：人文社會科學(xué)版，2001，4（166）：91-98.

［5］陳瑩.第二語言語音感知研究的理論基礎(chǔ)和教學(xué)意義［J］.外國語，2013，36（3）：68-76.

［6］Yokoyama S，Kim J，Uchida S，et al.Left middle temporal deactivation caused by insufficient second language word comprehension by Chinese–Japanese bilinguals［J］.Journal of Neurolinguistics，2009，22：467-485.

［7］許貴芳，呂勇，宋娟.第二語言語音獲得的影響因素及其腦機(jī)制［J］.現(xiàn)代生物醫(yī)學(xué)進(jìn)展，2008，8（9）：1725-1728.

［8］翟洪昌，任靜，肖勝勇，等.讀寫分離的腦機(jī)制：來自fMRI的證據(jù)［J］.心理學(xué)報(bào)，2011，43（2）：132-142.

［9］Siok W T，Niu Z D，Jin Z，et al.A structural-functional basis for dyslexia in the cortex of Chinese readers［J］.Proceedings of the National Academy of Sciences，2008，105（14）：5561-5566.

［10］Pu Y，Liu H L，Spinks J A，et al.Cerebral hemodynamicresponse in Chinese（first）and English（second）language processing revealed by event-related functional MRI［J］.Magnetic Resonance Imaging，2001，19（5）：643-647.

［11］Perani D，Dehaene S，Grassi F，et al.Brain processing of native and foreign languages［J］.NeuroReport，1996，7：2439-2444.

［12］Li G，Cheung T，Gao F R，et al.Cognitive processing in Chinese literate and illiterate subjects：An fMRI study［J］.Human Brain Mapping，2006，27：144-152.

［13］Petersson KM，Reis A，Castro Caldas A，et al.Effective auditory-verbal encoding activates the left prefrontal and the medial temporal lobes：a generalization to illiterate subjects［J］.Neuroimage，1999，10：45-54.