成年人工耳蝸植入者對音樂音色感知的特點與分析△

古鑫 劉博 劉子夜 亓貝爾 董瑞娟 王碩

?

·聽力康復(fù)·

成年人工耳蝸植入者對音樂音色感知的特點與分析△

古鑫1劉博1劉子夜2亓貝爾1董瑞娟1王碩1

目的 評價語后聾成年人工耳蝸植入者對音樂音色的識別能力，探討人工耳蝸植入者與聽力正常者在音樂音色感知中的差異及可能的機制。 方法 實驗組為人工耳蝸植入時間≥0.5年的成年語后聾患者30例，對照組為30例聽力正常成人。使用人工耳蝸音樂評估軟件(Mu.S.I.C)對兩組受試者進行不同音色(包括來自不同樂器家族且具有代表性的六種樂器以及男高音、女高音)識別能力的測試，記錄并比較兩組的識別正確率。結(jié)果 ①實驗組音色識別正確率49.23%±18.93%，對照組90.23%±12.28%，后者高于前者(P<0.001)；實驗組識別正確率：男高音(76.7%)最高、鋼琴(73.3%)次之，吉他(23.3%)最低。②實驗組對每種音色的錯選率均高于對照組，且選擇更為分散，其中將吉他誤選為鋼琴的錯選率最高(66.7%)；其次為長笛錯選為小號(33.3%)。結(jié)論 人工耳蝸植入者對音樂音色的識別能力低于聽力正常者，并且容易造成弦樂器之間、管樂器之間的混淆。

人工耳蝸植入； 音樂； 音色感知

人工耳蝸植入(cochlear implant, CI)已幫助眾多重度、極重度聽力損失患者重回有聲世界[1]，并獲得了令人滿意的言語交流效果，尤其表現(xiàn)為在安靜環(huán)境下良好的言語識別；然而由于音樂具有比言語聲更復(fù)雜和豐富的特征，其感知能力與欣賞水平仍與理想水平有一定差距[2～4]。音樂是文化和情感的外延，具有明顯的生理和心理學(xué)以及社會適應(yīng)等多方面的作用，因此，對音樂的感知是評估CI患者術(shù)后康復(fù)效果的一個指標(biāo)，也是評價生活質(zhì)量的一個重要方面。研究證明[2～4]，音樂中的音調(diào)、節(jié)奏、旋律和音色是理解和欣賞音樂至關(guān)重要的基本要素，音色是其中內(nèi)涵最為豐富的元素，所謂音色，就是令聆聽者能夠在音調(diào)、節(jié)奏、響度和時長相同的情況下分辨出兩個相似聲音的聽覺感知屬性[5]。既往研究發(fā)現(xiàn)[6]講話者言語的韻律感、語氣和情感等可以通過語調(diào)、響度、節(jié)律成分等表達，言語的音色用于區(qū)分不同個體的發(fā)聲特征而不影響言語交流的本質(zhì)；而音樂音色則不同，該屬性的存在對音樂的理解和欣賞起到至關(guān)重要的作用。音色是最難掌握和研究的，在此領(lǐng)域，評價音色感知能力的方法較多，本研究選用Fitzgerald等[7]開發(fā)的人工耳蝸音樂評估軟件(Musical sounds in cochlear implant,Mu.S.I.C)中的樂器識別測試(Instrument Identification)評價受試者的音色感知能力，重點探討人工耳蝸植入者對音樂音色的感知特征。

1 資料與方法

1.1 研究對象及分組 實驗組：30例語后聾成年人工耳蝸植入者(表1)，男15例，女15例，年齡20～68歲，平均34.2±13.3歲，均為單耳植入人工耳蝸，實驗過程中對側(cè)未佩戴助聽器，人工耳蝸使用時間均≥0.5年，平均使用時間為2.14±2.78年，無特殊的人工耳蝸品牌要求，無其他醫(yī)學(xué)及心理禁忌癥，并且可以配合完成實驗過程和問卷填寫。

對照組：聽力正常者30例，男15例，女15例，年齡18～57歲，平均33.6±11.1歲，250～8 000 Hz每倍頻程頻率聽閾值均≤20 dB HL，無耳科疾病病史。

兩組受試者均無專業(yè)音樂培訓(xùn)經(jīng)驗，均自愿參加本研究。本課題已獲得北京市耳鼻咽喉科研究所與首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院的倫理審批。

1.2 音樂音色感知評估方法

1.2.1 慕尼黑音樂問卷(Munich music questionnaire，MUMU)評估音樂經(jīng)驗 該問卷用于了解成年人工耳蝸植入者在人工耳蝸術(shù)前及術(shù)后聆聽音樂的行為和經(jīng)驗[6]。問卷共包括25個問題，其中針對人工耳蝸植入者音樂經(jīng)驗的問題主要包括“是否經(jīng)常聽音樂？”，“是否經(jīng)常唱歌？”和“是否演奏樂器？”，選用此3個問題從3個方面評價人工耳蝸植入者音樂經(jīng)驗。為使實驗組與對照組的音樂經(jīng)驗相匹配，針對聽力正常受試者，將MUMU問卷中與人工耳蝸和聽力損失相關(guān)的問題與選項刪除，保留21個問題，含上述3個關(guān)于音樂經(jīng)驗的問題，選取此3個問題評估其音樂經(jīng)驗。每個問題得分標(biāo)準(zhǔn)分為1(很少)至10(經(jīng)常)10個得分等級。

MUMU問卷中針對受試者音色感知能力方面的問題主要包括“您對哪些樂器的感知較好？”和“您喜歡聽哪些樂器演奏的聲音？”兩個問題，本研究選用此2個問題用于統(tǒng)計實驗組與對照組對不同樂器音色的主觀感受，由于答案選項中僅有小提琴、長笛、鋼琴、小號、大提琴、吉他六種樂器的音色是本研究選取的樂器識別測試音色，其他選項在樂器識別測試中未選用，因此，本研究僅選擇問卷選項中這六種樂器音色進行統(tǒng)計和比較。

1.2.2 人工耳蝸音樂評估軟件(Mu.S.I.C)[7]評估音色感知能力 應(yīng)用Mu.S.I.C軟件中的樂器識別測試評價受試者的音色感知能力。樂器識別測試(instrument identification)：選取男高音、女高音和不同樂器家族的6種樂器(鍵盤樂器鋼琴，弦樂器吉他、小提琴、大提琴，管樂器小號、長笛)分別表演兩條音樂曲目(“Baa Baa Black Sheep”和自然音階“Scale”)，測試共16個條目。測試在經(jīng)校準(zhǔn)的、本底噪聲<20 dB A的標(biāo)準(zhǔn)隔聲室內(nèi)進行，揚聲器置于受試者前方1 m處，其中心位置與受試者坐姿時耳部高度保持一致，以零度角正面給聲，在最適聆聽強度下進行測試。受試者在聲場中聆聽由Mu.S.I.C音樂測試系統(tǒng)及GSI-61純音聽力計控制并由揚聲器播放的測試內(nèi)容，受試者在每個條目播放結(jié)束后選擇自己認為正確的樂器圖片，每段旋律只可播放一次，不重復(fù)聆聽，以減少學(xué)習(xí)效應(yīng)帶來的誤差；測試結(jié)束后獲得識別正確率，正常率=(正確識別條目數(shù)/16)×100%。

1.3 統(tǒng)計學(xué)方法 使用SPSS 16.0軟件，用2-samplet檢驗分析兩組受試者的年齡和音樂經(jīng)驗是否匹配，用One-sample Kolmogorov-Smirnov檢驗分析兩組受試者的樂器識別正確率是否為正態(tài)分布，采用Mann-Whitney U方法對兩組間樂器識別正確率進行比較。

2 結(jié)果

2.1 兩組受試者年齡與音樂經(jīng)驗比較 MUMU問卷結(jié)果顯示，兩組受試者的年齡與音樂經(jīng)驗的差異無統(tǒng)計學(xué)意義(P>0.05)(表2)，即本研究中的對照組與實驗組的年齡與音樂經(jīng)驗相匹配。

表1 30例人工耳蝸植入者基本信息

表2 實驗組與對照組年齡與音樂經(jīng)驗比較(分，

2.2 音色識別測試結(jié)果 實驗組的樂器識別正確率(49.23%±18.93%)低于對照組(90.23%±12.28%)，差異有統(tǒng)計學(xué)意義(P<0.001)。

對于測試中的8種音色，對照組的平均識別正確率均顯著高于實驗組。實驗組音色識別率由高到低為：男高音(76.67%)、鋼琴(73.33%)、吉他(23.33%)；對照組音色識別率的結(jié)果：女高音和男高音均為100.0%為最高，鋼琴96.67%次之，吉他58.33%為最低。

兩組受試者音色識別的混淆矩陣顯示：兩組受試者對吉他和鋼琴的混淆率均最高，并且實驗組比對照組更易混淆：實驗組將吉他誤選為鋼琴的錯選率為66.67%，對照組將吉他誤選為鋼琴的錯選率為38.33%；其次部分受試者易對長笛和小號混淆，實驗組將長笛錯選為小號的錯選率為33.33%，對照組為8.33%(表3)。

2.3 兩組受試者對不同音色的主觀感受 MUMU音樂問卷結(jié)果顯示：30例人工耳蝸植入者中有60.00%選擇對鋼琴“感知較好”，有63.33%選擇“喜歡聽鋼琴演奏”，而其他樂器選項的得分均較低；對照組中，分別有86.67%和70.00%選擇對鋼琴“感知較好”和“喜歡聽鋼琴演奏”，對其他樂器選項的得分均高于實驗組(表4)。

3 討論

音色是一種令聆聽者能夠在音調(diào)、節(jié)奏、響度和時長完全相同的情況下分辨出兩個相似聲音的聽覺感知屬性[5]，如同聲音的“顏色”；就像光譜中不同頻率的光波所占的比例決定了光的顏色，聲信號中各種頻率(基頻和諧波)信號的能量配比構(gòu)成了音色。聽力正常者由于具有足夠好的頻率分辨力，可以根據(jù)諧波間的頻寬來判斷基頻，而對于人工耳蝸植入者來說，音色的感知并不完全取決于頻譜形態(tài)，聲信號的時域特性也有很大影響[8]?？傊?，音色的感知取決于聲音中復(fù)雜的時域和頻域信息的獲取和處理。

表3 8種樂器音色在實驗組和對照組的識別混淆矩陣(%)

表4 兩組受試者對不同樂器音色的主觀感受(例，%)

由于目前人工耳蝸裝置提供的有效電極通道數(shù)有限，從聲信號中獲取的頻域信息不充足，這直接導(dǎo)致了人工耳蝸植入者的音色識別能力較差。2011年Kong等[9]重建了音色多維標(biāo)度模型，發(fā)現(xiàn)時域包絡(luò)對人工耳蝸植入者辨別音色起著決定性的作用。Heng等[5]利用“樂器嵌合(instrumental chimeras)”的研究方法觀察了時域包絡(luò)信息和精細結(jié)構(gòu)信息對音色識別的作用，發(fā)現(xiàn)人工耳蝸植入者主要依賴時域包絡(luò)信息識別音色，而忽略了精細結(jié)構(gòu)信息，當(dāng)時域包絡(luò)信息減少時，精細結(jié)構(gòu)信息就起到了一定的補償作用。人工耳蝸在信號處理過程中，是否增加精細結(jié)構(gòu)信息以補償頻域信息的缺乏以及精細結(jié)構(gòu)信息的多少，決定了其對音色感知能力的優(yōu)劣。此外，就人工耳蝸植入者本身而言，又存在諸多因素影響其音色感知能力，如：耳聾時間、術(shù)前佩戴助聽器時間和人工耳蝸植入時間、年齡、音樂聆聽經(jīng)驗和文化教育背景都會對其音色感知能力起到一定的影響[10]。

對音色的認知除了利用其物理特征，即不同聲音的振動屬性——包括波的幅值、相位、泛音的數(shù)量成分和比例分布及共振峰的位置等以外，還可以利用不同音色特定的工藝特征[11]，即演奏者或歌唱家對樂器或人聲音色的控制能力，這種特征主要由聲波振動中的泛音多少來決定，若聲波振動充分，產(chǎn)生的泛音多，則音色質(zhì)地好，演奏或歌唱技術(shù)高；除此之外，辨別和欣賞音色還可以通過感受不同音色表現(xiàn)出的不同的情感或情緒[11]，如：常用明亮的、高昂的樂器音色表現(xiàn)歡快的心情(如嗩吶)，而經(jīng)常用暗淡的、低沉的樂器音色表現(xiàn)悲傷的心情(如大管)等。

Gfeller等[8]測試28例人工耳蝸植入者(CI)及41例聽力正常受試者(NH)對小號、單簧管、小提琴及鋼琴等四種樂器的分辨能力，結(jié)果表明聽力正常受試者對樂器的分辨能力較CI受試者強；Nimmons等[12]曾報道8例人工耳蝸植入者樂器識別測試正確率在21%～54%之間，平均為49%±11%；Brockmeier等[13]對31例人工耳蝸植入者進行測試，結(jié)果顯示其樂器辨別正確率平均為47.1%±14.2%，且人工耳蝸植入者對于鋼琴比管樂器和弦樂器更容易識別。本研究結(jié)果顯示，語后聾人工耳蝸植入者的音色感知能力明顯落后于聽力正常者，與以往研究結(jié)果[8，10，12～15]一致。

本研究中，兩組受試者的音色識別混淆矩陣顯示：實驗組對于每種音色的錯選率均高于對照組，且選擇更為分散，實驗組對吉他和鋼琴以及長笛和小號的混淆率較高；音色識別測試結(jié)果提示：人工耳蝸植入者對男高音和鋼琴的平均正確識別率最高，對吉他的平均識別率最低，主要的錯誤為將吉他選為鋼琴，而對照組中，也有38.5%的受試者將吉他選為鋼琴；說明這并不單單是聽力損失或人工耳蝸植入造成的結(jié)果。這可能與國人的音樂文化背景和聆聽經(jīng)驗有關(guān)，因為鋼琴這種樂器更為普遍和常見，從MUMU問卷結(jié)果也說明人工耳蝸植入者對鋼琴的主觀聆聽經(jīng)驗最豐富，所以容易將其他樂器誤認為是鋼琴。實際上，不同樂器的音色不同，與他們的構(gòu)造、發(fā)音原理、演奏方式有關(guān)[11]，但最主要的一點是由樂器本身的基音(基頻)和泛音(諧波)決定的，也就是其頻譜特性決定的。

吉他和鋼琴雖然構(gòu)造不同，但都是以弦做發(fā)音源的弦鳴樂器，他們在發(fā)音機制上有共通點，都是通過弦的振動發(fā)出樂音[11]。其他樂器的音色，如：管樂器(小號和長笛)是通過空氣振動發(fā)音，男高音和女高音是由演唱者的聲帶振動發(fā)音。大提琴和小提琴也屬于弦鳴樂器，而且也是日常較為熟悉的樂器，吉他與小提琴或大提琴的混淆率不高的原因是這幾種樂器的演奏方式，即弦的振動方式不同；鋼琴是擊弦樂器，當(dāng)彈動琴鍵時，弦槌敲擊弦引起弦的振動；吉他是撥弦樂器，通過手指或撥弦工具彈撥琴弦引起振動；提琴屬于弓弦樂器，通過拉弓摩擦琴弦引起振動。鋼琴和吉他的聲音一旦發(fā)出，就只能靠余振延續(xù)，聲音很快減弱，只能通過觸鍵或撥弦使樂音延長；而對于提琴只要弓不離弦，樂音即可繼續(xù)，這使得提琴的泛音更加豐富，音符之間沒有間斷，音色比較飽滿、圓潤；所以，小提琴和大提琴的音色特征更加明顯從而容易被辨別，吉他的音色特征相對來說不夠顯著，而且與鋼琴有較多的共同點，所以，吉他的識別率很低，且和鋼琴的混淆率高、與提琴的混淆率低。

小號和長笛均屬于管樂器家族，本研究結(jié)果發(fā)現(xiàn)受試者對小號和長笛出現(xiàn)了一定的混淆，且實驗組錯選率較高。這是因為小號和長笛同屬于管樂器，其外觀、發(fā)音原理與頻譜特性有相似之處[11]，再加上中國人群對這兩種西洋樂器不夠熟悉，所以容易混淆。

綜上所述，人工耳蝸植入者對音樂音色的感知能力明顯落后于聽力正常者，且與聽力正常者相比，更容易造成不同音色之間的混淆，尤其表現(xiàn)在弦樂器之間以及管樂器之間。不同樂器的不同頻譜特性和文化差異對音色識別測試結(jié)果造成一定的影響[16]，本研究結(jié)果也為設(shè)計開發(fā)適合我國人工耳蝸植入者的音樂評估軟件提供了一定的參考。

1 韓德民. 人工耳蝸[M]. 北京:人民衛(wèi)生出版社, 2003.1～5.

2 劉子夜, 劉博, 王碩, 等. 人工耳蝸植入者音樂感知能力的研究[J]. 臨床耳鼻咽喉頭頸外科雜志, 2012, 26:1053.

3 Mao YT, Xu L. Music and cochlear implants[J]. Journal of Otology, 2013, 8: 32.

4 馮海泓, 原猛, 陳友元. 人工耳蝸植入者音樂感知研究[J]. 聲學(xué)技術(shù), 2012, 31: 53.

5 Heng J, Cantarero G, Elhilali M, et al. Impaired perception of temporal fine structure and musical timbre in cochlear implant users[J]. Hearing Research, 2011, 280: 192.

6 Veekmans K, Resell L, Mueller J, et al. Comparison of music perception in bilateral and unilateral cochlear implant users and normal-hearing subjects[J]. Audiol Neurootol,2009, 14: 315.

7 Fitzgerald D, Fitzgerald H, Brockmeier SJ, et al. Musical sounds in cochlear implants (Mu.S.I.C)test [CP/CD]. Innsbruck: MED-EL GmbH, 2006.

8 Gfeller K, Knutson JF, Woodworth G, et al. Timbral recognition and appraisal by adult cochlear implant users and normal-hearing adults[J]. J Am Acad Audiol, 1998, 9:1.

9 Kong YY, Mullangi A, Marozeau J, et al. Temporal and spectral cues for musical timbre perception in electric hearing[J]. J Speech Lang Hear Res, 2011, 54: 981.

10 Gfeller K, Lansing CR. Melodic, rhythmic, and timbral perception of adult cochlear implant users[J]. J Speech Hear Res, 1991, 34:916.

11 Meister H, Landwehr M, Lang-Roth R, et al. Examination of spectral timbre cues and musical instrument identification in cochlear implant recipients[J]. Cochlear Implants International, 2014, 15: 78.

12 Nimmons GL, Kang RS, Drennan WR, et al. Clinical assessment of music perception in cochlear implant listeners[J]. Otol Neurotol, 2008, 29:149.

13 Brockmeier SJ, Fitzgerald D, Searle O, et al. The MuSIC perception test: a novel battery for testing music perception of cochlear implant users[J]. Cochlear Implants International, 2011, 12:10.

14 Gfeller K, Witt S, Woodworth G, et al. Effects of frequency, instrumental family, and cochlear implant type on timbre recognition and appraisal[J]. Ann Otol Rhinol Laryngol, 2002, 111:349.

15 劉子夜, 章昊, 劉博, 等. 成人人工耳蝸植入者音樂旋律和音色感知研究[J]. 中國聽力語言康復(fù)科學(xué)雜志, 2013, 11:434.

16 Hailstone JC, Omar R, Henley SMD, et al. It's not what you play, it's how you play it: timbre affects perception of emotion in music[J]. The Quarterly Journal of Experimental Psychology, 2009, 62: 2141.

(2016-02-15收稿)

(本文編輯 周濤)

The Musical Timbral Perception in Adult Cochlear Implant Users

Gu Xin*, Liu Bo, Liu Ziye, Qi Beier, Dong Ruijuan, Wang Shuo

[*Beijing Tongren Hospital, Capital Medical University; Beijing Institute of Otolaryngology; Key Laboratory of Otolaryngology Head and Neck Surgery(Capital Medical University), Ministry of Education, Beijing, 100005, China]

Objective To evaluate the timbral recognition ability of postlingually-deafened adult cochlear implant users and to analyze the differences between cochlear implant users and normal hearing subjects and the possible mechanisms.Methods The experimental group (30 postlingually-deafened adult recipients with a cochlear implant over 6 months) and the control group (30 normal hearing subjects) participated in this study. We used the timbre recognition test in Musical Sounds in Cochlear Implant (Mu.S.I.C) test battery consisting of tenor, soprano and 6 representative musical instruments from different instrument families, to obtain the correct rate of recognition.Results The correct rate of timbre recognition of experimental group was 49.23±18.93%, while it was 90.23±12.28% in the control group(P<0.001). The rank of correct rate from the highest to the lowest in experimental group was tenor (76.7%), the piano (73.3%) and the guitar (23.3%). The error rates of experimental group were higher than those of control group for each timbre. There were 66.7% of cochlear implant users mistook the guitar for the piano, and 33.3% flute for the trumpet.Conclusion The postlingually-deafened adult cochlear implant users perform significantly poorly in timbre perception than normal-hearing subjects. The cochlear implant users are more likely to make confusions among the string instruments, and among the wind instruments.

Cochlear implant; Timbre; Music perception

△ 國家自然科學(xué)基金項目(81371103)、國家自然科學(xué)基金青年項目(81200753)、北京市科技新星項目(Z151110000315064)聯(lián)合資助

古鑫，女，回族，河北人，碩士研究生，主要研究方向為臨床聽力學(xué)。

劉博(Email：trliubo@139.com)

10.3969/j.issn.1006-7299.2016.06.016

時間：2016-10-27 15:07

R764.5

A

1006-7299(2016)06-0597-05

1 首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院耳鼻咽喉頭頸外科研究中心，北京市耳鼻咽喉科研究所，耳鼻咽喉頭頸科學(xué)教育部重點實驗室(首都醫(yī)科大學(xué))(北京 100005)； 2 民航總醫(yī)院，民用航空醫(yī)學(xué)中心

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/42.1391.R.20161027.1507.006.html