語音加工的功能性近紅外腦成像研究進展

楊海波　張雪健　周菘　劉穎　白學軍

摘要 功能性近紅外光譜技術（fNIRS）是近十多年興起的一種用于研究腦功能成像的新手段。與其他研究手段相比，它具有便于移動、造價低、對運動偽跡不敏感等優(yōu)勢。本文首先簡要介紹fNIRS技術的原理、算法類型、應用與特點，然后總結了fNIRS在語音加工領域的研究進展，其中包括音長、音位序列、音節(jié)結構、重音、語調等內容，最后基于已有成果與研究現(xiàn)狀，對fNIRS在中文語音加工方面的應用提出了展望。

關鍵詞 語音加工，腦機制，功能性近紅外光譜技術。

分類號 B84

1.引言

功能性近紅外光譜技術（functional near-infraredspectroscopy，fNIRS），也稱為近紅外腦功能成像技術，初現(xiàn)于20世紀70年代末（Jobsis，1977）。近20年來，該技術同腦電圖、功能性核磁共振腦成像等技術一樣，成為人類探索腦機制發(fā)生發(fā)展的有效工具。fNIRS是一種非侵入式的腦功能成像技術，它利用近紅外光，穿過頭皮及腦組織，直接監(jiān)測神經活動引發(fā)的腦區(qū)血液動力學的變化狀況。通過氧合血紅蛋白濃度（HbO）、脫氧血紅蛋白濃度（HbR）、總含氧量（HbT）等指標反映出來腦各區(qū)域的活躍情況（Rossi，Telkemeyer，Wartenburger，& Obrig，2012）。

目前，fNIRS在認知心理學、教育心理學、臨床心理學等領域得到廣泛應用（Gallagher，2013；Kahla-oui，et al.，2012；Yu，Pan，Ang，Guan，& Leamy，2012）。在國內的研究中也涉及到語義編碼、腦機接口、閱讀障礙兒童詞加工、孤獨癥兒童抑制功能、神經痛調控等領域的研究（胡漢彬，祝曄，蔣田仔，2010；李鵬程等人，2000；蘇艷麗等人，2010；吳漢榮，姚彬，2004；辛佳煒，王巖，敖強，左煥琮，2012）。

在語音加工研究方面，fNIRS有自己獨特的優(yōu)勢。一方面，fNIRS可提供一個安靜的實驗環(huán)境，這樣既能避免噪聲對實驗結果的污染，也能提高實驗的生態(tài)效度；另一方面，fNIRS實現(xiàn)了相對較高的時間分辨率和空間分辨率，更有利于語音加工腦功能的定位研究。此外，fNIRS具有非侵入性和對頭動的相對高容忍度特點，從而可以實現(xiàn)嬰兒與兒童在覺醒狀態(tài)下的實驗；而且，fNIRS還適用于一些特殊的被試群體，如多動癥患者兒童，精神分裂癥等被試，這些被試通常在其他成像技術上很難進行實驗，近紅外技術可以幫助研究者更加全面地揭示語音加工的相關機制（Bortfeld，Wruck和Boas，2007；Diel-er，Tupak，& Fallgatter，2012；Lloyd-Fox，Blasi，& El-well，2010）。

2.語音加工腦機制的fNIRS研究

目前，fNIRS在語音加工方面的很多領域都取得了不錯的進展，主要內容包括對音長、音位序列、音節(jié)結構、重音和語調的研究。

2.1 音長

音長就是聲音的長短。在很多語言中，音長決定著單詞的意義，也就是說音長不同，詞匯的含義就不一樣，尤其是元音的音長，如英語中的bark與buck，一個是長元音/a/，一個是短元音/∧/，盡管只是音長不同，單詞的含義卻大相徑庭。因此音長識別的準確性對言語知覺起著非常重要的作用。有人（Minagawa-Kawai，Mori，F(xiàn)uruya，Hayashi，& Sato，2002）使用fNIRS研究了日語的長元音和短元音在聽覺皮層區(qū)的表征情況。實驗材料為4種不同條件的非詞，刺激以從/mamo/到/mama：/連續(xù)音體上最后一個元音的不同延時作為區(qū)別，時長分別為151ms（刺激A）、184ms（刺激B）、217ms（刺激C）、250ms（刺激D）。實驗程序是由Rokubunken軟件（Imagawa & Kiritani，1989）寫成的程序，所有非詞都做了合成，保證第二個元音具有穩(wěn)定的音高線和共振峰結構，并且第一個音節(jié)的音長為110ms，而中間的/m/音素為90ms。由于前人研究發(fā)現(xiàn)當日語長短元音的音素邊界在B和C條件之間，所以實驗選用四種刺激間毗鄰的兩個刺激作為一個周期進行分析，共三個周期，在AB周期中，刺激A在20s中，以1.25s出現(xiàn)一次的頻率呈現(xiàn)，之后以偽隨機的方式交替呈現(xiàn)刺激A和刺激B，時間為20s，出現(xiàn)頻率同上，實驗把前20s作為基線水平，而后20s作為目標分析，如此至少重復5次。BC與CD周期與AB周期一樣。三個周期隨機呈現(xiàn)給每個被試。刺激通過耳機以70dBSPL的水平依次呈現(xiàn)給被試。結果發(fā)現(xiàn)，當評估刺激間音位邊界時，也就是BC周期中，對比的刺激可以引起左腦聽覺區(qū)更大的變化。而對于那些相等時長且屬于相同音位類別的刺激而言，也就是AB和CD周期中，聽覺區(qū)卻沒有表現(xiàn)出顯著變化。

同時，音素加工的大腦左側化效應也得到證實。相關的MEG和ERP研究已發(fā)現(xiàn)，人們對母語的音素變體相比非母語的音素變體的腦功能反應不同（Alho，et al.，1998；Dehaene-Lambertz，1997；Koya-ma，et al.，2000），而且第二語言學習者在識別新語言的某些不同音素時出現(xiàn)了困難（如日本被試識別英語中的/r/和/l/時）（Miyawaki，et al.，1975），所以Minagawa-Kawai等人又研究了學習日語的韓國被試在日語的音位對比方面的血氧反應和行為表現(xiàn)（Mi-nagawa-Kawai，Mori，& Sato，2005；Minagawa-Kawai，Mori，Sato，& Koizumi，2004），研究中被試為7名日語熟練的韓國人，測試區(qū)域為雙側顳葉的聽覺區(qū)，刺激材料同上述研究（Minagawa-Kawai，et al.，2002），程序也相同，不過該研究加了一個控制條件，即一對日語的合成詞/itta/與/itte/，前者為基線，兩者同時出現(xiàn)為目標。結果發(fā)現(xiàn)，日本被試的左腦聽覺區(qū)存在音位特異性反應效應，而韓國被試則沒有表現(xiàn)出對母語中相同時長的類別特異性反應，這說明他們的腦區(qū)加工模式同日語被試不同。但實驗的行為數(shù)據(jù)表明在類別知覺方面韓語被試同日語被試沒有差別。這說明第二語言的音位類別知覺僅僅通過行為數(shù)據(jù)來確定是還不夠充分。也證明了近紅外腦成像技術的使用價值。

隨后，有人（Minagawa-Kawai，Mori，Naoi，& K0-jima，2007）把日語音位對比研究擴展到嬰兒人群，相對嬰兒還不太成熟的視覺系統(tǒng)，聽覺系統(tǒng)已經表現(xiàn)的更好，他們已經可以識別出聲音對比中一些非常細微的差異（Alho，Sainio，Sajaniemi，Reinikainen，& Nāātānen，1990；Huotilainen，et al.，2003），而且對很多語言的一些韻律特征的識別非常敏感，包括他們從未聽過的語言（Jusczyk，2000）。但隨著年齡的增長，約在1歲左右，他們逐漸對母語的識別能力提高，而對其它語言的識別變得不敏感（Werker &Tees，1984），這就是語言特異性變化。所以實驗人員想通過長短元音對比任務，了解日語音素習得時語言特異性的神經機制變化，研究測量了5個年齡組的日本嬰兒對不同時長元音的血氧變化，年齡組分別為3-4月組，6-7月組，10-11月組，13-14月組，25-28月組，使用跟成人研究同樣的刺激（Minagawa-Kawai，et al.，2002）。結果發(fā)現(xiàn)，嬰兒的血氧指標在長短元音間的轉換方面比長元音或短元音內的轉換反應更強。它最早出現(xiàn)在6-7月組，12月以上組就穩(wěn)定出現(xiàn)。但是聽覺區(qū)的音位特異反應的左腦偏側化效應僅在13個月及其以上組中發(fā)現(xiàn)。因此，音位時長對比很可能首先被6-7個月時的一般聽覺通路加工，在12月后轉化才會轉變?yōu)橐粋€與成人類似的更加偏向語言的通路，這時，語言加工的左腦偏側化效應也變得更加穩(wěn)定。

2.2 音位序列

具體語言中，劃分詞的最小語音單位是音位。隨意排列的音位不能組成有效詞匯，它會受到音位序列的制約（Fromkin，Rodman，& Hyams，2009）。這就涉及到音位組合法。音位組合法是在給定語言中，音節(jié)或詞匯中的音素的各種可能組合方式。大量研究表明，音位組合法是人們切分語音流的有效線索之一（McQueen，2007），它可以幫助聽者加速完成詞匯的識別，其余線索還包括如重音、音位變體規(guī)則等。有人（Rossi，et al.，2011）通過ERP和fNIRS結合，研究音位組合法的神經機制。ERP有很高的時間分辨率，fNIRS可以提供相對高的空間定位，更重要的是兩種儀器之間的信號互不干擾，兩種儀器的結合可以更好的完成研究目標。實驗中，fNIRS測量區(qū)域覆蓋了左右腦的額顳區(qū)名顳頂區(qū)和顳葉。實驗有25、德國被試參加，刺激包含了216個單音節(jié)的非詞，一種為符合德語的音位組合法規(guī)則非詞，一種為不符合其規(guī)則的非詞。非詞均以兩種不同的語音模式呈現(xiàn)，一種為成人導向語，一種為嬰兒導向語，嬰兒導向語音也就是我們所說的“媽媽語”，它通常帶有更加夸張的音高，更長的音長，更高的清晰度等特征（Soderstrom，2007），這樣就包含了更多的韻律特征，從而可產生不同于成人導向語的腦反應模式，加入這兩種模式對比的目的是為了檢驗兩種模式的語音是否會影響音位組合法的加工機制，從而影響腦的偏側化效應。fNIRS的結果發(fā)現(xiàn)，無論在成人導向語還是在嬰兒導向語的模式下，符合規(guī)則的非詞比不符合音位組合法的非詞對包括額顳區(qū)在內的左半球腦區(qū)有更強的激活。而兩種模式間的激活量并不存在顯著的差異。

有人（Abla & Okanoya，2008）通過變換序列順序的方式使用近紅外技術研究語音流詞切分問題。很多研究發(fā)現(xiàn)不管是成人、兒童還是新生兒都會利用相鄰音節(jié)間的過渡概率來切分語音流（Aslin，Saf-fran，& Newport，1998；Saffran，Newport，& Aslin，1996），研究人員通過變化刺激序列的出現(xiàn)概率來測量正常成人被試加工序列時的腦激活情況，測量位置為左右腦的顳葉區(qū)，刺激序列以隨機順序呈現(xiàn)。其中，控制出現(xiàn)概率的刺激序列包含6個語調音素，而隨機組合排列的刺激序列包含11個語調音素，兩種不同的序列會交替呈現(xiàn)。最終發(fā)現(xiàn)，在前者序列條件下左腦額下回血氧濃度大幅提高，而后者序列條件沒有出現(xiàn)。這說明左腦額下回在基于概率切分的音調序列加工處理中扮演著重要角色。

2.3 音節(jié)結構

排列規(guī)則不僅約束著詞中的音位序列，還約束著音節(jié)中和音節(jié)間的音位序列（Fromkin，et al.，2009），后者稱之為音節(jié)結構。有人（Gervain，Mac-agno，Cogoi，Pena，& Mehler，2008）研究了新生兒對音節(jié)簡單重復結構的知覺和學習能力。他們一共進行了兩個實驗。在第一個實驗中，22名嬰兒需要聆聽一組包含重復音節(jié)序列的音素（如：‘mubaba，‘penana），而其中會間雜一些包含隨機序列的音素（如：‘mubage‘penaku）。結果發(fā)現(xiàn)，在對重復序列的音素反應時，新生兒的雙側顳上回和左腦額下回的氧合血紅蛋白濃度上升，說明新生兒大腦已可以分辨出兩種不同的語音。而且在較靠前的幾個試次中，重復序列組比隨機序列組引發(fā)了更強的反應，說明被試嬰兒的大腦中已存在識別重復序列音素的知覺機制。另外，在隨后的試次里，重復序列激活量繼續(xù)增加，但隨機序列卻不存在這種效應。在第二個實驗中，實驗人員對非臨近重復組（如：‘bamuba，‘napena）和相同的隨機控制組進行比較，結果沒有發(fā)現(xiàn)差異。這些結果說明嬰兒在聽覺方面僅對某些輸入?yún)?shù)敏感，這種知覺能力也許能促進隨后的語言發(fā)展。JuditGervain等人（2012）的實驗驗證了該結論。并發(fā)現(xiàn)新生兒大腦可以有效地編碼關系和序列信息，并可將其整合到一個共同的結構模型中。

2.4 重音

同漢語中的聲調和英語中的重音不同，日語屬于兩者之間的語言，有自己獨特的模式，日語在特定音節(jié)會出現(xiàn)重讀，但日語的重音通常被看作是高調，所以日語被稱為音高-重音語言。有人（Sato，Soga-be和Mazuka，2007）通過語音刺激任務研究了日語詞的音調重音的加工機制。20名聽覺功能正常、母語為日語、右利手被試參與了實驗。研究人員測量了非音節(jié)詞和純音的音調變化模式下的血氧反應。測量位置為左右側顳葉，刺激分為包括純音與語音在內的四種類型。結果發(fā)現(xiàn)，左腦顳頂區(qū)對詞內音調模式變化的反應比純音的反應更強烈，同時詞內音調模式變化知覺時激活了左腦額區(qū)，這說明左腦語言區(qū)加工了被試的詞匯音調重音。Yutaka Sato等人（Sato，Sogabe，& Mazuka，2010）延續(xù)了之前的研究（Sato，et al.，2007），把人群擴展到嬰兒，研究日語詞匯音高重音模式變化，在第一個實驗中，20名4個月大和20名10個月大的嬰兒參與了實驗，刺激為14個音高重音有所不同的雙音節(jié)日語詞對，再根據(jù)音高模式的不同從詞庫中隨機選出4個詞表，每個詞表包含14個詞，每個詞呈現(xiàn)1s，共14s。實驗范式為修訂后的視覺適應范式（Stager & Werker，1997），結果發(fā)現(xiàn)4-10月大的嬰兒對詞匯嵌入非音節(jié)詞的音高重音模式變化有敏感性。第二個實驗中使用近紅外光譜儀對左右半球的血氧變化進行監(jiān)測，刺激是同樣的詞匯音調重音模式變化和相應的純音。結果發(fā)現(xiàn)，在功能性單側化效應方面，4月大與10月大的嬰兒反應不同：對詞中音調變化的左半球優(yōu)勢效應僅出現(xiàn)在10月大的嬰兒上。這說明對日語詞匯音調重音的知覺變化可能與功能單側化優(yōu)勢轉換（從雙側優(yōu)勢轉向單側優(yōu)勢）有關。

2.5 語調

句子中各個音節(jié)的高低、強弱、長短的變化叫做語調。包括節(jié)奏、聲調等。有人（Kovelman，et al.，2012）使用近紅外成像技術對初級閱讀者（6-9歲）語言節(jié)奏的腦機制進行探究。15名兒童參與了實驗，所以被試都要完成一系列語言任務，包括語音知覺節(jié)奏任務和言語短時記憶詞匯搭配任務。fNIRS結果發(fā)現(xiàn)，右腦對慢節(jié)奏刺激有更強的反應，左腦相對其他較快或較慢頻率的刺激有更大的激活。說明右腦可能對叫加工節(jié)奏有更好的敏感性，左右半球對特殊的慢節(jié)奏調制具有選擇性。

有人（Wartenburger，et al.，2007）研究了4歲兒童對句子的韻律加工和知覺加工的腦機制。刺激分為兩種，一種是包含語音、語義、句法和韻律信息的正常語句，一種是僅有韻律信息的語句。結果發(fā)現(xiàn)，無語境的韻律加工條件激活了右腦額顳區(qū)，但在全語境情況下，左腦腦區(qū)激活更大。這符合雙路徑模型假設（Friederici和Alter，2004），兒童語言特異性加工依賴于半腦內特異性，左腦加工音段，右腦主要加工超音段。

有人（Homae，Watanabe，Nakano，Asakawa，&Taga，2006）研究了3月大的嬰兒句子語調加工的腦機制。他們測量了嬰兒在睡眠狀態(tài)下的反應。刺激分為正常和平調語音條件。通過對比發(fā)現(xiàn)，右腦顳頂區(qū)在正常語音條件下比平調條件下有更強烈的激活。說明3月大嬰兒右腦參與了音高曲線的加工。隨后的研究又測量10月大的嬰兒（Homae，Watan-abe，Nakano，& Taga，2007），發(fā)現(xiàn)在兩種語音條件下，右腦顳葉和顳頂區(qū)，雙側前額區(qū)對平調語音的反應比對正常語音的反應有更明顯的激活。說明被試已經有至少一部分母語韻律結構的加工機制。綜合3月大嬰兒的研究結果，作者認為，嬰兒大腦的言語加工從分析音高信息本身向整合輸入語音信息發(fā)展，從而習得韻律結構。有人（Saito，et al.，2007）使用同樣任務研究了新生兒的腦反應，結果發(fā)現(xiàn)正常語音在額區(qū)比平調語音激活了更大的血氧量。說明他們可以分辨語音中韻律模式的不同。

3.未來研究展望

近紅外腦成像技術在語音加工方面的研究，未來可以從以下幾個角度去開展研究工作。

從語音的特異性加工角度來看，漢語是典型的聲調語言，在語音加工的韻律方面有不同于其它拼音文字的獨特加工模式，此外漢語還是典型的表意文字，從文字加工的腦機制來看，這些語言間是存在差異，例如正字法的差異，語音結構的差異等（Lee& Pooh，2014），這可能也會映射到對語音的加工上，已有研究證明語音對詞匯通達的作用等（彭聃齡，2005）。近年來還有學者對漢語加工特異性提出了自己的理論，如拼義理論（張學新，2011）?？傊Z言加工存在共性，也同時存在特異性，目前很多其它語言的結論不一定適用于自己的母語（Dan，et al.，2013），因此可以從中文特有的加工模式以及語言間差異人手探討腦機制的差異。

從語音的一般性加工角度來看，在目前的語音加工領域中，利用近紅外光學腦成像優(yōu)于其它儀器的優(yōu)勢，還可以繼續(xù)深入探究（Quaresima，Bisconti，& Ferrari，2012）。從微觀層面看，有關語音加工的研究包括語音學和音系學。從音系學角度看，包括的領域有音位、元音輔音音長、音位序列、聲調、語調、詞重音、短語重音、句重音、音韻規(guī)則等。目前的研究僅涉及其中一二，且多為被動接受語音刺激的任務。利用近紅外腦成像的高生態(tài)效度特點（Pollo-nini，et al.，2014），可以更多研究與語音生成有關的內容。從宏觀的層面看，語音加工涉及到語言學研究的各個方面。尤其在言語習得領域，fNIRS具有天然的優(yōu)勢。由于語音自身的特點，成為人類語言最先獲得發(fā)展的方式。因此在研究語音習得的腦機制方面，對嬰兒群體的研究必不可少，但傳統(tǒng)的腦成像技術對嬰兒來說是很難接受的，近紅外技術的相對友好性可以有效的解決該問題，近年來，有人（Benavides-Varela，et al.，2011）就使用fNIRS研究了112個1-5天大的嬰兒語音發(fā)展，結果發(fā)現(xiàn)新生兒對新奇雙音節(jié)詞的反應比對熟悉的雙音節(jié)詞的反應更強。因此，利用好近紅外腦成像的優(yōu)勢是相關語音研究發(fā)展的關鍵。