音樂(lè)對(duì)語(yǔ)言加工的影響
——來(lái)自ERP 的證據(jù)*

王 星 李德高** 李 藝 宋丹貴

（1.曲阜師范大學(xué)文學(xué)院，曲阜 273165；2.曲阜師范大學(xué)音樂(lè)學(xué)院，日照 276827；3.浙江大學(xué)外國(guó)語(yǔ)言文化與國(guó)際交流學(xué)院，杭州 310030）

1 引 言

語(yǔ)言和音樂(lè)相似，較小的語(yǔ)言結(jié)構(gòu)單位借助句法規(guī)則可以組合構(gòu)成較大的語(yǔ)言結(jié)構(gòu)單位，同樣，較小的音樂(lè)結(jié)構(gòu)單位通過(guò)音樂(lè)句法規(guī)則也可以組合構(gòu)成較大的音樂(lè)結(jié)構(gòu)單位（Asano&Boeckx，2015）。音樂(lè)句法最重要的特征之一是建立在調(diào)性和聲基礎(chǔ)上的音高組織規(guī)則（張晶晶等，2020）。譬如，在和弦序列中，像“主和弦（tonic）-屬和弦（dominant）-主和弦”的結(jié)構(gòu)構(gòu)成完美終止（perfect cadence）。相反，如果不以主和弦結(jié)尾，就構(gòu)成和弦句法違反。

研究表明，有形態(tài)變化語(yǔ)言的句子和和弦序列在句法加工上有神經(jīng)資源共享性（Patel，2010）。漢語(yǔ)缺乏形態(tài)變化，那么，漢語(yǔ)句子和和弦序列加工之間是否也有神經(jīng)資源共享呢？對(duì)這一問(wèn)題做出回答，將有助于加深對(duì)音樂(lè)和語(yǔ)言句法加工關(guān)系的普遍性認(rèn)識(shí)。

根據(jù)共享句法整合資源假說(shuō)（shared syntactic integration resource hypothesis，SSIRH）（Patel，2003），音樂(lè)和語(yǔ)言共享用于句法整合加工的神經(jīng)資源。如Hoch 等（2011）同步呈現(xiàn)有無(wú)句法違反的句子和有無(wú)和弦句法違反的和弦序列，結(jié)果發(fā)現(xiàn)，被試對(duì)句末有句法違反詞進(jìn)行詞匯判斷作業(yè)時(shí)，如果匹配的不是主和弦，其反應(yīng)時(shí)就顯著變長(zhǎng)。同樣，李恒和曹宇（2020）以帶有主語(yǔ)或賓語(yǔ)關(guān)系從句的漢語(yǔ)句子和中國(guó)民樂(lè)片段為材料研究發(fā)現(xiàn)，音樂(lè)句法違反對(duì)句子加工有顯著干擾作用。Kunert 等（2016）發(fā)現(xiàn)，和僅句子是非花園路徑句條件相比，當(dāng)和弦序列和句子同時(shí)出現(xiàn)花園路徑結(jié)構(gòu)（見(jiàn)圖1）時(shí)，被試的和弦序列感知完整性評(píng)分顯著降低。

圖1 Kunert et al.（2016）中和弦序列舉例

除行為實(shí)驗(yàn)研究證據(jù)外，采用ERP（event-related potential，事件相關(guān)電位）技術(shù)所取得的研究證據(jù)也支持SSIRH。譬如，和弦序列加工中，調(diào)外和弦會(huì)誘發(fā)反映音樂(lè)句法自動(dòng)化加工的早期右前負(fù)波（early right anterior negativity，ERAN）（Koelsch et al.，2013）。Carrus 等（2013）同步呈現(xiàn)句子和音樂(lè)旋律，要求被試只關(guān)注語(yǔ)言刺激，結(jié)果表明，由于低預(yù)期音誘發(fā)的ERAN 占用了部分加工資源，句子句法違反誘發(fā)的左前負(fù)波（left anterior negativity，LAN）顯著減弱。不論給被試呈現(xiàn)有句法違反的和弦序列還是句子，都會(huì)觀察到P600，而且在兩種刺激條件下，P600 的潛伏期或頭皮分布都沒(méi)有顯著差異（Patel et al.，1998）。

同時(shí)，認(rèn)知控制能力不同，音樂(lè)和語(yǔ)言共享的加工機(jī)制也會(huì)有所差異（Slevc &Okada，2015）。譬如，音樂(lè)訓(xùn)練可以增強(qiáng)大腦額下回灰質(zhì)的密度（James et al.，2014），有助于增加左右兩側(cè)弓狀束之間的聯(lián)系，進(jìn)而增強(qiáng)言語(yǔ)的感知能力（Li et al.，2021）。因此，對(duì)同步呈現(xiàn)的語(yǔ)言和音樂(lè)刺激，受過(guò)音樂(lè)訓(xùn)練的音樂(lè)人，其句法加工會(huì)在更大程度上受到音樂(lè)加工的影響。

為考察漢語(yǔ)和音樂(lè)句法加工資源共享性，本研究擬仿效Yang 等（2021），采用詞類范疇違反（syntactic category violation，SCV）的方法構(gòu)造漢語(yǔ)句法違反句，并參考Koelsch 等（2005）的范式，分別向音樂(lè)人和非音樂(lè)人被試同步呈現(xiàn)音樂(lè)和語(yǔ)言刺激。音樂(lè)加工會(huì)影響SCV 誘發(fā)的P600，且音樂(lè)人會(huì)比非音樂(lè)人受到更大影響；語(yǔ)義違反所誘發(fā)的N400 不會(huì)受音樂(lè)加工影響。

2 方 法

2.1 被試

音樂(lè)人是有鋼琴等樂(lè)器訓(xùn)練背景的26 名大學(xué)生（男生11 人），非音樂(lè)人是未曾接受音樂(lè)訓(xùn)練的26 名大學(xué)生（男生7人）。非音樂(lè)人還接受了《蒙特利爾失歌癥成套測(cè)驗(yàn)》（Montreal Battery of Evaluation of Amusia，MBEA，Peretz et al.，2003）。MBEA是一套包含旋律輪廓、音程和音階等6 方面的標(biāo)準(zhǔn)化測(cè)驗(yàn)，是失歌癥篩查中廣泛應(yīng)用的工具。如表1 所示，兩組被試在年齡（t(50)=0.86，p=0.395）和受教育年限（t(50)=0.73，p=0.470）上無(wú)顯著差異，在音樂(lè)訓(xùn)練年限（t(50)=37.60，p＜0.001，Cohen's d=-13.37，BF10＞100）和每天平均聽歌時(shí)長(zhǎng)（t(50)= 2.11，p=0.040，Cohen's d=0.59，BF10=1.69）上有顯著差異。

表1 被試信息表

被試均為右利手，視力正?；虺C正視力正常，聽力正常，無(wú)腦外傷或遺傳病史。被試簽署實(shí)驗(yàn)知情同意書并獲得適當(dāng)報(bào)酬。實(shí)驗(yàn)獲得曲阜師范大學(xué)生物醫(yī)學(xué)倫理委員會(huì)批準(zhǔn)。

2.2 材料

首先確定60 個(gè)數(shù)量名結(jié)構(gòu)（如，“一部手機(jī)”），請(qǐng)25 位大學(xué)生用7 點(diǎn)量表評(píng)定其熟悉度（1=非常不熟悉，7=非常熟悉），獲得熟悉度評(píng)分為6.84（SD=0.37）的30 個(gè)數(shù)量名結(jié)構(gòu)。然后以這些數(shù)量名結(jié)構(gòu)為句尾構(gòu)建30 個(gè)正確句（如，“警察撿到了一部手機(jī)”）。再確定60 個(gè)動(dòng)作含義動(dòng)詞（如，“奔跑”），請(qǐng)25 名大學(xué)生用7 點(diǎn)量表評(píng)定動(dòng)詞含義的動(dòng)作性強(qiáng)度（1=動(dòng)作性最弱，7=動(dòng)作性最強(qiáng)），獲得評(píng)分最高的30 個(gè)動(dòng)詞。這30 個(gè)動(dòng)詞（M=4.41，SD=11.30；M=18.97，SD=4.02） 與正確句的句末名詞（M=6.89，SD=7.71；M=16.93，SD=4.10）在詞頻（t(58)=0.99，p=0.325） 和筆畫數(shù)（t(58)=-1.82，p=0.073）上無(wú)明顯差異。用這些動(dòng)詞分別替換正確句的句末名詞構(gòu)建30 個(gè)SCV 句（如，“警察撿到了一部奔跑”）。25 位大學(xué)生用7 點(diǎn)量表評(píng)定句子的可讀性（1= 非常難以讀懂，7=非常容易讀懂）。結(jié)果表明，正確句（M=1.16，SD=0.37）和SCV 句（M=6.60，SD=0.65）的可讀性評(píng)分之間差異顯著（t(58)=56.23，p＜0.001，Cohen's d=-10.29，BF10＞100）。為避免被試對(duì)同一句式的策略性加工，增加了60 個(gè)有違反和60 個(gè)無(wú)違反的填充句。填充句中也含有數(shù)量名結(jié)構(gòu)，但它們?cè)诰渲械奈恢貌还潭?。填充句在句長(zhǎng)和可讀性上與關(guān)鍵句相當(dāng)（ps＞0.05）。

音樂(lè)表演專業(yè)具有副高職稱的在編教師編寫了30 個(gè)有和弦句法違反和30 個(gè)無(wú)和弦句法違反的和弦序列。如圖2 所示，前4 個(gè)和弦調(diào)相同，無(wú)句法違反和弦序列的結(jié)尾和弦是該調(diào)的主和弦；有句法違反和弦序列的結(jié)尾和弦是五度圈中距離至少三步以外調(diào)的主和弦。和弦序列選用了C 大調(diào)、G 大調(diào)和F 大調(diào)，每個(gè)調(diào)各有10 個(gè)有無(wú)句法違反的和弦序列。

圖2 和弦序列示意圖

和弦序列使用Sibelius 2019 打譜制作，以.mid 格式導(dǎo)出，并使用Cubase 10.5調(diào)至每分鐘108 拍的速度，再用Kontact 6加載音源，將和弦序列的音色設(shè)為大鋼琴，導(dǎo)出為.wav 格式文件。輸出音頻的采樣率為44100Hz，采樣位數(shù)為16bit，比特率為11411kbps。所有和弦序列都使用Adobe Audition CS6 將音量標(biāo)準(zhǔn)化為-3dB。

2.3 設(shè)計(jì)

采用2（被試類型：音樂(lè)人或非音樂(lè)人）×2（句子類型：SCV 句或正確句）×2（和弦序列類型：有無(wú)句法違反的和弦序列）三因素混合測(cè)量設(shè)計(jì)，后兩個(gè)變量為重復(fù)測(cè)量因素，因變量為被試在對(duì)句末詞加工上的ERP 成分（ERAN、N400 和P600）的振幅。

2.4 程序

被試佩戴耳機(jī)端坐顯示器前，眼睛直視屏幕中央，瞳孔距顯示器中央約80cm，水平視角為4°。顯示器中央先出現(xiàn)一個(gè)紅色注視點(diǎn)“+”，500ms 后逐詞呈現(xiàn)句子，前4 個(gè)詞的呈現(xiàn)時(shí)間為600ms，句末詞的呈現(xiàn)時(shí)間為1200ms。從第1 個(gè)詞開始，同步播放和弦序列：第1 至第5 個(gè)和弦的播放時(shí)間分別和句子第1 至第5 個(gè)詞的呈現(xiàn)時(shí)間相等。要求被試關(guān)注句子和忽略音樂(lè)刺激，就剛剛消失句子的含義正確與否在鍵盤上做出按鍵應(yīng)答。問(wèn)題應(yīng)答結(jié)束，程序自動(dòng)進(jìn)入下一個(gè)試次。所有刺激偽隨機(jī)排序，相同類型刺激連續(xù)呈現(xiàn)的次數(shù)不超過(guò)2 次，相鄰的兩個(gè)句子不同。實(shí)驗(yàn)分兩個(gè)組塊，每個(gè)組塊有120 個(gè)試次。兩個(gè)組塊之間被試短暫休息。要求被試在實(shí)驗(yàn)過(guò)程中盡量保持頭部和身體不動(dòng)，盡量減少眨眼。

2.5 數(shù)據(jù)采集與分析

EEG 數(shù)據(jù)通過(guò)NeuroScan 公司ESI-256 系統(tǒng)記錄，使用國(guó)際標(biāo)準(zhǔn)的10～20系統(tǒng)64 導(dǎo)銀/ 氯化銀（Ag/AgCl）電極帽在DC 模式下進(jìn)行數(shù)據(jù)采集。所有電極點(diǎn)頭皮電阻小于5kΩ，采樣率為1000Hz。在線參考為鼻尖，離線分析轉(zhuǎn)為雙側(cè)乳突。使用EEGLAB 2020 和ERPLAB 7.0 在MATLAB 2020a 上對(duì)數(shù)據(jù)進(jìn)行離線分析。在手動(dòng)剔除壞段之后進(jìn)行0.1～30Hz 的帶通濾波，去除50Hz 工頻干擾（Zhou et al.，2019）。采用Evoked ERP_ERO_v1.1（Zhang et al.，2020）工具箱進(jìn)行ICA 分析，去除眼電。數(shù)據(jù)分段-200ms 至1000ms，即刺激前200ms 作為基線進(jìn)行校正。最終對(duì)兩組被試的數(shù)據(jù)分別進(jìn)行疊加處理。

根據(jù)對(duì)疊加總平均后波形圖的觀察分析和參考前人研究（Carrus et al.，2013），選取24 個(gè)電極點(diǎn)并分為4 個(gè)區(qū)：前部左側(cè)（F1，F(xiàn)3，F(xiàn)5，F(xiàn)C1，F(xiàn)C3，F(xiàn)C5）、前部右側(cè)（F2，F(xiàn)4，F(xiàn)6，F(xiàn)C2，F(xiàn)C4，F(xiàn)C6）、后部左側(cè)（CP1，CP3，CP5，P1，P3，P5） 和后部右側(cè)（CP2，CP4，CP6，P2，P4，P6）。

采用SPSS 22.0 對(duì)在句末詞上觀察到的ERAN（150 ～250ms）、N400（300 ～450ms）和P600（500～700ms）的平均振幅進(jìn)行2（被試類型）×2（句子類型）×2（和弦序列類型）×2（部位：前部或后部）×2（半球：左半球或右半球）五因素混合測(cè)量方差分析。出現(xiàn)球形檢驗(yàn)結(jié)果顯著時(shí)，對(duì)p 值進(jìn)行Greenhouse-Geisser 校正，采用Bonferroni校正法進(jìn)行多重比較，并用JASP 軟件進(jìn)行貝葉斯因子分析（吳凡等，2018）。

3 結(jié) 果

音樂(lè)人和非音樂(lè)人對(duì)閱讀理解問(wèn)題的應(yīng)答準(zhǔn)確率分別為0.94（SD=0.07）和0.95（SD=0.06）。如圖3 和4 所示，ERAN、N400和P600 都體現(xiàn)了來(lái)自操縱變量的顯著影響。

圖3 音樂(lè)人句法條件下總平均ERP 波形圖和腦地形圖

圖4 非音樂(lè)人句法條件下總平均ERP 波形圖和腦地形圖

對(duì)ERAN 分析表明，在大腦前部區(qū)域，半球主效應(yīng)顯著（F(1，50)=21.51，p＜0.001，η2p=0.30，BF10=80.84），右半球（M=4.14μV，SE=0.40）比左半球（M=4.65μV，SE=0.44）的振幅更大。被試類型主效應(yīng)顯著（F(1，50)=3.89，p=0.044，η2p=0.07，BF10=2.02），音樂(lè)人的ERAN 振幅（M=3.57μV，SE= 0.59）顯著大于非音樂(lè)人的ERAN 振幅（M=5.22μV，SE=0.59）。

對(duì)N400 分析表明，在大腦后部區(qū)域，句子類型主效應(yīng)顯著（F(1，50)=17.52，p＜0.001，η2p=0.26，BF10＞100），SCV 句（M= 1.41μV，SE=0.41）比正確句（M=2.85μV，SE=0.51）誘發(fā)了振幅更大的N400。半球和被試類型交互作用顯著（F(1，50)=6.56，p=0.014，η2p=0.12，BF10＞100），簡(jiǎn)單效應(yīng)分析表明，音樂(lè)人在右半球（M=1.82μV，SE= 0.59） 比在左半球（M=2.54μV，SE=0.66）的振幅更大（F(1，50)=6.33，p=0.015，η2p=0.11，BF10=3.12）。

對(duì)P600 分析表明，在大腦后部區(qū)域，句子類型和和弦序列類型交互效應(yīng)顯著（F(1，50)=5.49，p=0.023，η2p=0.10，BF10=41.21），SCV 句條件下，有句法違反（M=5.05μV，SE=0.0.52） 比無(wú)句法違反的和弦（M=4.31μV，SE=0.49）誘發(fā)了振幅更大的P600（F(1，50)=8.25，p=0.006，η2p=0.14，BF10=3.12）；在有（F(1，50)=93.96，p＜0.001，η2p=0.64，BF10=16.64）無(wú)（F(1，50)=79.84，p＜0.001，η2p= 0.61，BF10=35.67）音樂(lè)句法違反條件下，SCV 句（M=5.05μV，SE=0.52；M=4.31μV，SE=0.49）比正確句（M=2.52μV，SE=0.42；M=2.36μV，SE=0.48）誘發(fā)了振幅更大的P600。句子類型、半球和被試類型交互效應(yīng)顯著（F(1，50)=7.58，p=0.008，η2p=0.13，BF10＞100），在正確句條件下，非音樂(lè)人（M=4.00μV，SE=0.82）比音樂(lè)人（M=1.50μV，SE=0.79）在大腦左半球的振幅更大（F(1，50)=4.82，p=0.033，η2p=0.09，BF10=4.01）。

4 討 論

與前人研究（Yang et al.，2021）一致，SCV 在晚期階段誘發(fā)了振幅更大的N400和P600；音樂(lè)對(duì)語(yǔ)言加工的影響僅發(fā)生在P600 上。

相比于正確句，被試在SCV 句上有振幅更大的N400，體現(xiàn)了他們對(duì)量詞和動(dòng)詞間語(yǔ)義不匹配的加工（Huang & Schiller，2021）。N400 反映詞匯語(yǔ)義表征與呈現(xiàn)詞詞義的匹配程度（Lau et al.，2008）。如，在“警察撿到一部手機(jī)/奔跑”的閱讀中，被試看到“一部”時(shí)會(huì)根據(jù)現(xiàn)有語(yǔ)義信息已經(jīng)激活“手機(jī)”的表征，“手機(jī)”的出現(xiàn)符合語(yǔ)義預(yù)期；“奔跑”的出現(xiàn)違反語(yǔ)義預(yù)期，導(dǎo)致N400 的振幅增大。與研究預(yù)期一致，N400并沒(méi)有受到來(lái)自音樂(lè)句法加工的影響。

在句法上，量詞要求后面出現(xiàn)一個(gè)名詞。SCV 誘發(fā)P600 的結(jié)果反映了量詞和動(dòng)詞在句法層面上的加工（Levelt et al.，1999）。而且和只有SCV 條件相比，當(dāng)SCV與和弦句法違反同現(xiàn)時(shí)，P600 的振幅顯著增大。這說(shuō)明，P600 的振幅似乎受到了音樂(lè)句法加工的影響。即，與SSIRH 一致，在晚期加工階段，漢語(yǔ)數(shù)量名結(jié)構(gòu)和和弦序列可能共享了用于句法整合加工的資源。但是，它們使用的是兩套性質(zhì)相同而又相互影響的加工機(jī)制：當(dāng)兩個(gè)領(lǐng)域同時(shí)出現(xiàn)句法違反時(shí)，相應(yīng)的兩種句法整合加工就會(huì)相互促進(jìn)（Roncaglia-Denissen et al.，2018）。

相比于非音樂(lè)人，音樂(lè)人在調(diào)外和弦上誘發(fā)了更大的ERAN，表明音樂(lè)訓(xùn)練確實(shí)增強(qiáng)了其音樂(lè)句法意識(shí)，致使其音樂(lè)句法早期加工的自動(dòng)化程度更高（Koelsch et al.，2002）。同樣，音樂(lè)人誘發(fā)了比非音樂(lè)人更小的P600，表明音樂(lè)人有更強(qiáng)的音樂(lè)句法意識(shí)，能分配更多的加工資源用于和弦序列句法分析（Patel，2003）。而非音樂(lè)人由于對(duì)音樂(lè)句法規(guī)則欠熟練，更傾向于采用整體感知的方式進(jìn)行加工（Featherstone et al.，2013）。

從腦地形圖分布結(jié)果看，與非音樂(lè)人相比，音樂(lè)人的N400 和P600 成分都偏向于左半球。這是因?yàn)橐魳?lè)加工更多地激活了大腦皮層左半球區(qū)域（Murayama et al.，2004）。音樂(lè)訓(xùn)練使音樂(lè)人的語(yǔ)言信息編碼和整合能力加強(qiáng)（Li et al.，2021），對(duì)音樂(lè)句法有著更加清晰且敏感的表征（Koelsch et al.，2007），因而不自覺(jué)地對(duì)音樂(lè)句法加工投入更多的資源。

對(duì)音樂(lè)人比非音樂(lè)人誘發(fā)了更小P600 結(jié)果的另一種更為簡(jiǎn)單的解釋是，音樂(lè)和語(yǔ)言刺激同時(shí)呈現(xiàn)，受實(shí)驗(yàn)任務(wù)影響，非音樂(lè)人不注意音樂(lè)，所以語(yǔ)言響應(yīng)更強(qiáng)，音樂(lè)響應(yīng)更弱；相反，音樂(lè)人自發(fā)地更關(guān)注音樂(lè)，所以響應(yīng)不同。不過(guò)，這種理解也許可以排除。首先，同語(yǔ)言技能發(fā)展一樣，人在日常音樂(lè)接觸中能發(fā)展關(guān)于音階關(guān)系的感知技能（Koelsch et al.，2000）。無(wú)論接受音樂(lè)訓(xùn)練程度如何，成年人都能按照組成元素之間的等級(jí)關(guān)系來(lái)理解音樂(lè)（Bharucha&Krumhansl，1983）。其次，不論是句子句法違反還是和弦序列句法違反，加工都會(huì)誘發(fā)P600（Patel et al.，1998）。

毫無(wú)疑問(wèn)，本研究在語(yǔ)言和音樂(lè)句法整合加工有神經(jīng)資源共享性方面，提供了新的證據(jù)。但是，由于漢語(yǔ)中不存在有句法違反而語(yǔ)義正確的句子，因此，本研究考察句法加工時(shí)不能完全排除來(lái)自語(yǔ)義加工的影響。此外，本研究采用的音樂(lè)為西方調(diào)性音樂(lè)，研究發(fā)現(xiàn)，是否可以推廣到中國(guó)傳統(tǒng)音樂(lè)加工上，還有待進(jìn)一步驗(yàn)證。

5 結(jié) 論

漢語(yǔ)句子與和弦序列的句法整合加工之間似乎有神經(jīng)資源共享，兩者使用了性質(zhì)相同且相互促進(jìn)的加工機(jī)制。同時(shí)，音樂(lè)訓(xùn)練對(duì)語(yǔ)言和音樂(lè)句法整合加工資源共享性有調(diào)節(jié)作用，音樂(lè)人對(duì)音樂(lè)句法加工會(huì)比非音樂(lè)人投入更多的加工資源。