人工耳蝸使用者漢語聲調(diào)感知與音樂感知相關(guān)性研究

楊麗萍 盧嶺 劉莉 梁耕田 金輝 陶朵朵

1武漢大學(xué)附屬同仁醫(yī)院（武漢市第三醫(yī)院）耳鼻咽喉科2蘇州大學(xué)附屬第一醫(yī)院耳鼻咽喉科

人工耳蝸（Cochlear Implantation，CI）使用者在安靜環(huán)境下的言語識別表現(xiàn)總體較為理想[1-3]，但由于CI 較差的頻率解析及低頻有效通道的不足，使得使用者在聲調(diào)及音樂感知方面一直不理想[4]。聲調(diào)與音樂在聲學(xué)線索方面主要為基礎(chǔ)頻率（F0）的變化輪廓[5]。已有研究表明CI 使用者漢語聲調(diào)識別水平與其音樂欣賞能力、音高辨識能力及音樂旋律辨識能力等顯著相關(guān)[6，7]。而Tao 等的研究發(fā)現(xiàn)不論語前聾還是語后聾CI使用者聲調(diào)識別與音樂識別未見顯著相關(guān)[8]。故本研究對雙模式CI 使用者的聲調(diào)及音樂感知能力進(jìn)行了評估，并且對二者進(jìn)行了相關(guān)性研究。

1 資料與方法

1.1 研究對象

篩選講漢語普通話的對側(cè)佩戴助聽器的CI使用者12 例作為受試對象，年齡范圍12-28 歲，平均年齡18.2 歲。男性4 名，女性8 名。CI 耳在聽力計最大輸出時無反應(yīng)。受試者基本信息詳見表1。本研究所有受試者在測試之前均由本人或監(jiān)護(hù)人簽訂知情同意書，并通過了蘇州大學(xué)附屬第一醫(yī)院機構(gòu)倫理審查委員會的批準(zhǔn)。

1.2 測試方法

分別讓受試者在HA、CI、CI+HA 三種助聽模式下進(jìn)行漢語普通話四聲調(diào)（一聲、二聲、三聲、四聲）及音樂音符輪廓識別(Melodic contour identification,MCI)測試。CI 模式時，受試者摘下助聽器，并佩戴David Clark M-7A(David Clark, MA)耳罩掩蔽。所有受試者助聽設(shè)備均使用日常設(shè)置。測試前進(jìn)行聲場校準(zhǔn)，讓受試者以0°入射角面向單個揚聲器，距離1 米，揚聲器與受試者頭部水平高度一致。測試材料通過揚聲器給聲，聲壓級控制在70～75 dB SPL。

表1 受試者基本信息（n=12）Table 1 Subject demographic information（n=12）

1.3 測試材料

聲調(diào)識別測試[9]：聲調(diào)識別材料分別由一名男性和一名女性專業(yè)播音員錄制，女聲F0 變化范圍在150-350 Hz之間，男聲在80-250 Hz之間。分別以44100Hz 采樣率和16 比特的數(shù)字化分辨率，用四種聲調(diào)：一聲（F0不變），二聲（F0上升），三聲（F0先下降再上升），四聲（F0下降），錄制以下音節(jié)/wa/,/ya/,/ji/,/shi/,/fu/,/zhu/,/ge/,/ke/,/mo/,/po/,/qu/,/xu/。以元音結(jié)尾的開音節(jié)可以將鼻尾音對聲調(diào)刺激的幅值輪廓的影響降至最小[10]。利用Adobe Audition software(Adobe Systems Inc.,San Jose,CA)產(chǎn)生每個聲調(diào)時長均為400ms的標(biāo)準(zhǔn)化聲調(diào)，同時不改變每個刺激聲的基礎(chǔ)頻率（F0)。共產(chǎn)生384 個聲調(diào)刺激聲（2 個講者×12 個音節(jié)×4 個聲調(diào)×2 種聲調(diào)時長）。電腦給聲后受試者在測試界面顯示的1、2、3、4 四個按鈕中選擇認(rèn)為正確的一個。刺激聲由電腦隨機選擇，測試得分=正確識別次數(shù)/384×100%。每個受試共進(jìn)行2 輪測試。最終測試結(jié)果取兩次測試得分的平均值。

MCI 測試：應(yīng)用的刺激聲和測試方法借鑒了Galvin等[11]的研究方法。測試材料包括5 個音樂音符組成的9 種音符輪廓，包括單一音高輪廓（如“升”，“平”,“降”）及音高變化輪廓（如“平-升”，“降-升”，“升-平”，“降-平”，“升-降”，“平-降”）(見圖1)。選擇A3(220Hz)為目標(biāo)音符的基頻，旋律輪廓中相鄰音符的音程（interval）在1 到3 個半音（semitone）之間變化，每個輪廓中5 個音符間的音程相同。比如“升”這個輪廓來講，如果相鄰音符音程為3 個半音，則該輪廓音程共12 個半音，即1 個八度，如果相鄰音符音程為1 個半音，則該輪廓音程為4個半音。最終可獲得27個旋律輪廓（9 種旋律模式×1種根音×3種音程），每個測試音符均采用數(shù)字模擬鋼琴聲信號進(jìn)行測試。每個音符時長均為300ms，每個輪廓時長均為1500ms。在測試過程中，電腦從27個音樂旋律中隨機選擇，每個輪廓被隨機選擇2 次。受試者通過點擊測試界面所示9種輪廓進(jìn)行選擇，每輪完成54次選擇。測試得分=正確識別次數(shù)/54×100%。每個受試共進(jìn)行2 輪測試。最終測試結(jié)果取兩次測試得分的平均值。

圖1 音樂音符輪廓識別測試界面。Fig.1 Melodic contour identification interface

1.4 統(tǒng)計學(xué)方法

采用Sigmaplot14.0統(tǒng)計學(xué)軟件進(jìn)行數(shù)據(jù)分析。對聲調(diào)識別表現(xiàn)及MCI 表現(xiàn)根據(jù)數(shù)據(jù)特征應(yīng)用One-way RM ANOVA 或Two-way RM ANOVA 進(jìn)行方差分析。應(yīng)用Tukey Test或Bonferroni t-test進(jìn)行多組均數(shù)間的兩兩比較。應(yīng)用Pearson Correlation進(jìn)行相關(guān)分析。P ＜0.05為差異具有統(tǒng)計學(xué)意義。

2 結(jié)果

2.1 聲調(diào)識別表現(xiàn)

自然時長聲調(diào)識別在HA、CI、CI+HA模式下的平均正確識別率分別為62.2%（SEM=7.6%）、70.9%（SEM=3.2%）、73.1%（SEM=3.3%）。相同時長聲調(diào)平均正確識別率在HA、CI、CI+HA 模式下分別為55.2%（SEM=7.3%）、63.7%（SEM=3.5%）、68.2%（SEM=4.1%）（見圖2）。將聲調(diào)時長類型（自然時長和相同時長）和助聽模式（HA，CI，CI+HA）應(yīng)用Two-way RM ANOVA 作雙因素方差分析發(fā)現(xiàn)聲調(diào)時長對聲調(diào)識別表現(xiàn)具有顯著影響[F (11,1)=43.051,P ＜0.001]，即不論何種助聽模式，自然聲調(diào)識別均顯著優(yōu)于相同時長聲調(diào)表現(xiàn)。Bonferroni t-test 進(jìn)行多組間兩兩比較分析發(fā)現(xiàn)，自然時長聲調(diào)三種助聽類型未見顯著差異。相同時長聲調(diào)在CI+HA 模式下的識別表現(xiàn)顯著優(yōu)于HA 模式（t=2.592，P=0.047）。CI+HA 較CI，或CI 較HA 模式的表現(xiàn)均無統(tǒng)計學(xué)差異。

2.2 音樂音符輪廓識別表現(xiàn)

MCI平均正確識別率在HA、CI、CI+HA模式下分別為29.5%（SEM=8.0%）、37.5%（SEM=6.1%）、34.0%（SEM=7.2%）。Friedman Repeated Measures Analysis of Variance on Ranks 分析顯示，MCI 表現(xiàn)在不同助聽模式下具有統(tǒng)計學(xué)差異（χ2=6.783，P=0.034)。Tukey Test多組間兩兩比較發(fā)現(xiàn)CI下的表現(xiàn)顯著優(yōu)于HA（q=3.464，P=0.038）。CI+HA 模式下的表現(xiàn)與CI（q=2.598，P=0.158）或HA（q=0.866，P=0.813)均無統(tǒng)計學(xué)差異。

圖2 自然時長聲調(diào)、相同時長聲調(diào)及音樂音符輪廓（MCI）識別表現(xiàn)。Fig. 2 Bar plot showed mean recognition performance(across subjects) for naturally-spoken tone, equal-duration tone, and melodic contour identification (MCI) with HA, CI or CI+HA condition.The error bars show the standard error.

2.3 聲調(diào)識別與音樂識別的相關(guān)性

Pearson相關(guān)分析顯示MCI表現(xiàn)與自然時長聲調(diào)在CI和CI+HA模式下均顯著相關(guān)（見圖3），與相同時長聲調(diào)在三種助聽類型下均相關(guān)（見圖4）。

圖3 音樂音符輪廓（MCI）表現(xiàn)與自然時長聲調(diào)識別表現(xiàn)在助聽器（左圖）、人工耳蝸（中圖）、人工耳蝸+助聽器（右圖）助聽模式下的相關(guān)性。Fig. 3 MCI performance for individual subjects as a function of naturally-spoken tone recognition performance, for HA(left panel), CI (middle panel), and CI+HA condition (right panel).The dashed lines show linear regressions fit to the data；r and p values are shown near the regression lines.

圖4 音樂音符輪廓（MCI）表現(xiàn)與相同時長聲調(diào)識別表現(xiàn)在助聽器（左圖）、人工耳蝸（中圖）、人工耳蝸+助聽器（右圖）助聽模式下的相關(guān)性。Fig. 4 MCI performance for individual subjects as a function of equal-duration tone recognition performance, for HA (left panel),CI(middle panel),and CI+HA condition(right panel).The dashed lines show linear regressions fit to the data； r and p values are shown near the regression lines.

3 討論

本研究中自然聲調(diào)識別表現(xiàn)個體差異大（52.1%-92.7%正確率），平均水平與以往研究基本一致[9，12]。Li等[12]在2014年對12例講漢語普通話的雙模式使用者的言語感知評估研究發(fā)現(xiàn)，在CI 模式下的四聲調(diào)識別率為66.8%，在CI+HA的雙模式下提高為74.1%。本研究中12例受試者在CI模式下的識別率為70.9%，在CI+HA的雙模式下提高為73.3%?？紤]到F0對聲調(diào)識別的重要性，我們期待使用助聽器會對CI使用者的聲調(diào)識別起到積極影響。但本研究中雙模式獲益（提高2.4%）很少，我們推測可能與助聽器耳的殘余聽力水平有關(guān)[12]。本研究中CI 使用者助聽器耳的殘余聽力非常有限，PTA≤500 Hz 平均閾值為82.2dB HL, PTA≤750 Hz 為86.4dB HL，明顯低于Li 等[12]的受試者的殘余聽力水平。

值得注意的是，漢語普通話聲調(diào)的聲學(xué)線索除主要的基頻(FO)變化輪廓外，還包括時程和時域包絡(luò)。人工耳蝸提供相對較少的頻域信息，研究表明當(dāng)頻域信息有限時，CI 使用者則更多的依靠時域信息來辨識[13]。考慮到這些輔助關(guān)聯(lián)信息可能會削弱F0 對聲調(diào)識別的貢獻(xiàn)，從而掩蓋了助聽器耳的聲學(xué)信息對音高感知的貢獻(xiàn)，我們對自然聲調(diào)的時長線索進(jìn)行了標(biāo)準(zhǔn)化，使得每個聲調(diào)的時長相同（均為400ms）。去掉時長線索后，受試者的聲調(diào)識別能力顯著下降。同時，通過對比自然聲調(diào)與相同時長聲調(diào)的識別表現(xiàn)，可以間接的反映出聲調(diào)時長線索對聲調(diào)整體識別的貢獻(xiàn)。本研究中可以看出，聲調(diào)時長線索對雙模式使用者而言，不論是在聲信號（HA：7%）或是電信號（CI：7.2%）下的貢獻(xiàn)基本一致。且在聲電信號聯(lián)合的情況下，其貢獻(xiàn)減少（CI+HA：4.8%）?？紤]到本研究中受試者數(shù)目（n=12）的局限及助聽器耳較少的殘余聽力，此結(jié)論尚需進(jìn)一步研究來佐證。

本研究中CI 受試者的音樂識別表現(xiàn)較差，且與以往研究結(jié)果基本一致[8，14-16]。既往對CI使用者音樂感知研究中應(yīng)用到了多種測試方法,包括音高分辨、音高排序、熟悉旋律或曲調(diào)識別、歌曲賞析等[17，18]。曲調(diào)或旋律分辨能力取決于很多方面，諸如對曲調(diào)的熟悉程度，是否可以在聽到它的時候就說出其名字。這種能力受很多因素影響，如音樂素養(yǎng)、音樂訓(xùn)練，所處的社會文化環(huán)境，對曲調(diào)和其名字的對應(yīng)記憶能力等[19]。音樂感知除主要感知音高變化外，還包含節(jié)奏、響度、音色等共同因素的感知[20]。CI 使用者基本可依賴節(jié)奏信息順利完成音調(diào)豐富的音樂感知任務(wù)[21]。本文中應(yīng)用了音樂音符輪廓識別（MCI）進(jìn)行音樂音高變化感知評估[22]。雖然MCI與旋律或曲調(diào)分辨相關(guān)，但因測試材料的聽覺線索減少，減少了很多干擾因素。在一個典型的MCI識別測試中，聽者需要判別兩個音高序列變化是否相同。構(gòu)成每組音高序列的音符都有相同的節(jié)奏（兩個相鄰音符間隔均為300ms），相同的音色（鋼琴音），且沒有歌詞提示。MCI同時也不受受試者對旋律的熟悉程度的影響，這種分辨主要依賴于聽者對音高變化模式的感知能力，并不需要聽者對其絕對或相對的音高進(jìn)行精確的分辨。

本研究采用MCI測試，旨在探究音樂音高感知與聲調(diào)感知間的內(nèi)在聯(lián)系。研究發(fā)現(xiàn)不論在CI模式下還是CI+HA 模式下，聲調(diào)識別與音樂識別均顯著正相關(guān)，當(dāng)去掉聲調(diào)的時長線索時，聲調(diào)識別能力與音樂感知能力的相關(guān)性更強。此結(jié)果也進(jìn)一步驗證了聲調(diào)識別和音樂識別在電聽覺中可能源于相同的機制[6,7,23]。Xu 等[23]應(yīng)用聲嵌合技術(shù)的研究同樣表明聲調(diào)識別與音樂感知機制相似，主要由聲信號中細(xì)微結(jié)構(gòu)決定。Wang 等[6]研究發(fā)現(xiàn)聲調(diào)識別表現(xiàn)與語音音高（voice pitch）范圍內(nèi)的音高分辨能力相關(guān)，并推測可能在具體頻率范圍內(nèi)（比如≤300 Hz）聲調(diào)與音樂音高感知均依賴于提取時域包絡(luò)調(diào)制中的周期性線索。本研究中女聲聲調(diào)的F0 變化范圍在150-350 Hz 之間，男聲在80-250 Hz之間。而MCI的根音為220Hz，兩個音符間最大音程為3 個半音，故所有音樂輪廓的F0 變化在220-440Hz 間。這與Wang 等[6]所用音高分辨測試中測試音所在頻率范圍一致。Fu 等[15]及Chen 等[16]發(fā)現(xiàn)音樂訓(xùn)練可提高音樂感知能力的同時，也可提高聲調(diào)及言語識別表現(xiàn)。如何改善人工耳蝸使用者的聲調(diào)和音樂感知仍是我們科研和臨床面臨的重大挑戰(zhàn)之一，明確聲調(diào)識別和音樂識別在電信號的感知機制及內(nèi)在聯(lián)系具有重要意義。