計算機輔助聽覺言語評估及康復(fù)系統(tǒng)的研究與進展*

歐熊綜述　陳兵審校

計算機輔助聽覺言語評估及康復(fù)系統(tǒng)的研究與進展*

歐熊1綜述陳兵1審校

1復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院(上海200031)

網(wǎng)絡(luò)出版時間:2015-10-27 11: 28

網(wǎng)絡(luò)出版地址: http://www.cnki.net/kcms/detail/42.1391.R.20151027.1128.008.html

*衛(wèi)生行業(yè)科研專項基金項目資助(201202005)

據(jù)第二次全國殘疾人抽樣調(diào)查，全國聽力言語殘疾人口達(dá)2 780萬人，占全部殘疾人的27%［1］。耳聾嚴(yán)重影響人的認(rèn)知發(fā)育、言語交流、教育、就業(yè)及心理狀態(tài)。人工耳蝸植入(cochlear implant，CI)能將環(huán)境中的聲信號轉(zhuǎn)換為電信號直接刺激聽神經(jīng)產(chǎn)生聽覺，是目前唯一有效幫助重度或極重度聾患者恢復(fù)聽力及言語能力的方法;但CI使用者通過人工耳蝸裝置獲得的聽覺信息是有限的模擬信號，要學(xué)習(xí)和掌握這種新的言語刺激模式對于CI使用者是很難的，而且存在著很大的個體差異。CI使用者的聽力重塑效果受多重因素的影響，如耳聾的持續(xù)時間、CI植入的時間、術(shù)前的言語水平、電極插入數(shù)量及位置、人工耳蝸的言語編碼策略等，也與術(shù)后的聽力康復(fù)訓(xùn)練密切相關(guān);既往不少研究證實聽力康復(fù)訓(xùn)練能有效提高CI使用者術(shù)后的聽力與言語交流能力［2～4］。聽力康復(fù)的發(fā)展由來已久，在第二次世界大戰(zhàn)之后，聽力康復(fù)訓(xùn)練需求增大，使其得到快速發(fā)展。最初，聽力學(xué)家以助聽器為基礎(chǔ)，充分運用各種聽力和言語訓(xùn)練方法，比如通過系統(tǒng)的言語學(xué)習(xí)、提高唇讀能力、練習(xí)視覺輔助技巧等，起到了一定效果，也正是在這個階段，為聽力康復(fù)的理論研究和實際運用奠定了基礎(chǔ)。從20世紀(jì)90年代起，隨著電子技術(shù)快速發(fā)展，數(shù)字助聽器、人工耳蝸技術(shù)的成熟，聽力康復(fù)正式進入了第二個階段;由于數(shù)字化助聽器、人工耳蝸技術(shù)的改進，如:壓縮線路、降噪技術(shù)、方向性麥克風(fēng)、聲反饋處理等技術(shù)的應(yīng)用，使CI或使用助聽器的重度或極重度聾患者聽力康復(fù)的效果顯著提高［5］;進入21世紀(jì)后，隨著計算機多媒體技術(shù)的發(fā)展，聽力康復(fù)又有了進一步的發(fā)展，在繼承以往的聽力康復(fù)的理論研究和技術(shù)基礎(chǔ)的同時，越來越多的研究將計算機軟件程序與言語感知訓(xùn)練相結(jié)合，使聽覺言語評估及康復(fù)訓(xùn)練更為便捷實用［6］。近年來，計算機輔助聽覺言語評估及康復(fù)系統(tǒng)被廣泛應(yīng)用于臨床及科研，現(xiàn)對國內(nèi)外計算機輔助聽覺言語評估及康復(fù)系統(tǒng)的研究發(fā)展綜述如下。

1　國外計算機輔助聽覺言語評估及康復(fù)系統(tǒng)研發(fā)簡介

自20世紀(jì)90年代起，國外計算機輔助聽覺言語評估及康復(fù)系統(tǒng)的研究及應(yīng)用逐步發(fā)展，目前針對人工耳蝸、助聽器等人工輔助聽覺設(shè)備應(yīng)用設(shè)計的言語聽覺評估訓(xùn)練軟件有:計算機言語感知測試和訓(xùn)練(computer-assisted speech-perception testing and training，CASPERsent)［7］、計算機跟蹤模擬培訓(xùn)軟件(computer-assisted tracking simulation，CATS)［8］、聆聽交流強化軟件(listening and communication enhancement，neurotone，LACE)［9］、計算機輔助言語訓(xùn)練(computer assisted speech training，CAST)［10］等。這些軟件的設(shè)計主要考慮以下幾個原則:①交互性，要求患者或者訓(xùn)練者能主動參與學(xué)習(xí)過程;②實用性和便捷性，采用家庭式自主學(xué)習(xí)，不僅使得CI患者減少了反復(fù)到醫(yī)院就診的時間和金錢，而且使CI患者能在熟悉和輕松的環(huán)境中學(xué)習(xí);③訓(xùn)練材料難易度適中，種類多樣，訓(xùn)練方案結(jié)合分析策略和綜合策略(即bottom-up與top-down策略)，訓(xùn)練結(jié)果需要及時反饋等［6］。

CASPERsent軟件基于言語感知模式的四個主要部分設(shè)置，可用于言語訓(xùn)練、言語研究、教學(xué)。測試材料由60套紐約城市大學(xué)句表組成，代表了12種場景和3種句式(陳述句、疑問句和祈使句)，可通過唇讀、聆聽和兩者相結(jié)合的方式測試;句子長度在3～14個字之間，系統(tǒng)自動記錄12個句子的正確分?jǐn)?shù)，用于之后的數(shù)據(jù)分析，并控制測試的形式、播放聲音、視角、反饋形式和主題知識。

CATS是一種受試者與測試者面對面的言語跟蹤訓(xùn)練軟件。軟件對跟蹤模擬訓(xùn)練過程作了嚴(yán)格的規(guī)定，如限制和預(yù)先設(shè)定了糾正策略，控制訓(xùn)練材料的難易度，電腦監(jiān)控和分析訓(xùn)練者的表現(xiàn)等。此方法的關(guān)鍵之處是保持交流過程中的互動性，受試者與測試者之間有真實的交流，適用于成人人工耳蝸植入術(shù)后的訓(xùn)練。

LACE軟件是一款個體化的計算機聽力訓(xùn)練軟件，可供患者在家使用，同樣也可應(yīng)用于臨床機構(gòu)。該軟件的言語訓(xùn)練內(nèi)容可劃分為三個主要類別:受損言語和競爭性言語的識別、認(rèn)知技巧和交流策略。在受損言語和競爭性言語訓(xùn)練中，背景噪聲包括多人言語噪聲、單一競爭性言語噪聲和時域壓縮，訓(xùn)練時，測試的難度根據(jù)前一次回答的正確與否調(diào)節(jié)，若上次播放的句子回答正確，下一個測試項的難度將增加，反之，則減小。此外，該軟件還可提供認(rèn)知技巧訓(xùn)練和交流策略訓(xùn)練，其中認(rèn)知技巧包括聽覺工作記憶訓(xùn)練和言語處理。

CAST是針對人工耳蝸植入者研發(fā)設(shè)計的一款軟件，其中訓(xùn)練的材料包括純音、環(huán)境音、輔音、單音節(jié)、字詞、句子和音樂輪廓(五個音符的旋律序列)和音樂旋律等。該軟件開發(fā)有適用于漢語普通話的中文版本，具有漢語聲調(diào)、字詞、短句識別訓(xùn)練等功能;訓(xùn)練方案中要求訓(xùn)練者每周訓(xùn)練5天，每次30～60分鐘，至少持續(xù)一個月;訓(xùn)練時可根據(jù)患者的表現(xiàn)自動調(diào)節(jié)訓(xùn)練難度，如:增加選擇項、減小選擇項之間的聲學(xué)差異。CAST也設(shè)置有復(fù)雜環(huán)境下的言語訓(xùn)練，如:加入噪聲、多人言語噪聲等。

以上幾款軟件功能大致相同卻又各有特點，首先，訓(xùn)練材料不同，CATS軟件中可使用句子或更長的短語，LACE和CASPERSent中使用的是短句; CAST軟件中訓(xùn)練材料則包括純音、無意義音節(jié)、字詞、短句和音樂旋律。其次訓(xùn)練方式也有差異，有的軟件更多使用從下往上的訓(xùn)練方式，所選測試內(nèi)容為音節(jié)和單個字;而有的軟件傾向于結(jié)合從上往下(top-down)和從下往上(bottom-up)兩種方式，訓(xùn)練內(nèi)容包括句子、感知技巧和交流策略。此外，有的軟件可以用于訓(xùn)練和測試，有的軟件僅用于訓(xùn)練。

2　國內(nèi)計算機輔助聽覺言語評估及康復(fù)系統(tǒng)簡介

近年來，在我國聽力學(xué)家、臨床醫(yī)師的共同努力下，國內(nèi)聽力康復(fù)事業(yè)得到了快速發(fā)展，計算機輔助言語測聽及聽力康復(fù)的相關(guān)研究逐漸增多。

孫喜斌等［11］于2003年開發(fā)了計算機導(dǎo)航-聾兒聽覺言語評估學(xué)習(xí)系統(tǒng)，是一種兒童專用的聽力測試、助聽器驗配、聽覺康復(fù)評估及聽覺言語學(xué)習(xí)系統(tǒng)，其具有聽覺數(shù)量評估(指使用頻率及強度明確的測試音進行測聽)、聽覺功能評估(測試音為言語聲、自然環(huán)境聲、濾波復(fù)合音)及聽覺言語學(xué)習(xí)三大功能。聽覺數(shù)量評估的測試音設(shè)有純音、囀音、窄帶噪音及濾波復(fù)合音多種選擇;聽覺功能評估的測試音為言語聲，內(nèi)容包括自然環(huán)境聲響識別及聲母識別、韻母識別、聲調(diào)識別及單音節(jié)、雙音節(jié)、三音節(jié)、短句識別等15個兒童言語測聽詞表［12］;聽覺言語學(xué)習(xí)是以聾幼兒為主體，通過自身的游戲、活動達(dá)到聽覺言語學(xué)習(xí)的目的。該軟件針對兒童設(shè)計，配合動畫、游戲的表現(xiàn)形式.符合幼兒的心理特點，引發(fā)兒童興趣，增加其訓(xùn)練配合度。

2007年陳雪清等開發(fā)的兒童聽力言語訓(xùn)練及評估康復(fù)漢語視聽系統(tǒng)［13］可實現(xiàn)練習(xí)、測試、訓(xùn)練等項目，測試者可根據(jù)患兒的現(xiàn)有聽覺能力水平為其選擇相應(yīng)難度的康復(fù)訓(xùn)練模式。該軟件的篩選、測試和訓(xùn)練模塊分別提供了字詞長短、聲調(diào)辨別、元音辨別和輔音辨別四個選項，根據(jù)患者聽力水平和訓(xùn)練程度的不同，訓(xùn)練者可以選擇不同的訓(xùn)練條件，如聽覺、聽覺結(jié)合視覺和視覺條件。陳雪清等［14］在2001年也曾開發(fā)一套成人聽力康復(fù)漢語計算機化訓(xùn)練及評價系統(tǒng)，這套系統(tǒng)包括五個訓(xùn)練項:字詞長短、整句辨別、聲調(diào)辨別、元音辨別、輔音辨別，每項訓(xùn)練內(nèi)容包括練習(xí)、篩選測試及單項訓(xùn)練三部分。各訓(xùn)練內(nèi)容按由易到難的順序設(shè)計了不同的篩選測試及單項訓(xùn)練。

2003年，段家德［15］開發(fā)了漢語言語聽力測試系統(tǒng)，其測試言語材料由兩組兒童單音節(jié)詞、兩組成人單音節(jié)詞、兩組雙音節(jié)詞和一組簡單句組成。測試時調(diào)節(jié)臨床聽力計的聲強輸出為某一測試聽力級，輸出所選測試詞匯組的每一個詞匯，評估受試者復(fù)誦正確與否;最后，以聲強級為橫坐標(biāo)、各聲強級詞匯組總得分為縱坐標(biāo)繪出言語聽力曲線圖。此軟件能夠有效評估受試者的言語接受和理解能力。

2010年解放軍總醫(yī)院郗昕聯(lián)合清華大學(xué)黃高揚等開發(fā)了計算機輔助中文言語測聽平臺［16］，用于漢語普通話的言語測聽。該系統(tǒng)可進行單音節(jié)識別率、揚揚格詞識別率及識別閾、安靜下語句識別率及識別閾、噪聲下的語句識別率及識別閾等測試，測試材料為其課題組編制并驗證的普通話言語測聽材料，包括單音節(jié)詞表22張，揚揚格詞表9張，噪聲下句表18張，安靜下句表12張和若干張練習(xí)用表［17，18］。

2013年，張華等［19］開發(fā)了普通話言語測聽系統(tǒng)(MSTMs)，該系統(tǒng)包括言語識別率測試、言語識別閾和可接受噪聲級測試，其中言語識別率測試又包含單音節(jié)詞、雙音節(jié)詞和語句測試，言語識別閾測試又包含聽力計測試和系統(tǒng)音量測試兩種方法，分別適用于連接聽力計與不連接聽力計的兩種使用方式。測試詞表包括其課題組開發(fā)的普通話言語測聽材料單音節(jié)詞表7張，雙音節(jié)詞表9張，句表15張［20，21］。

上述幾款軟件各具特點:首先是軟件功能設(shè)置的差別，如計算機導(dǎo)航-聾兒聽覺言語評估學(xué)習(xí)系統(tǒng)、兒童聽力言語訓(xùn)練及評估康復(fù)漢語視聽系統(tǒng)、成人聽力康復(fù)漢語計算機化及評價系統(tǒng)三款軟件側(cè)重于人工耳蝸植入后、助聽器佩戴者的聽力康復(fù)訓(xùn)練，而計算機輔助中文言語測聽平臺和普通話言語測聽系統(tǒng)(MSTMs)主要用于普通話的言語測聽，不適用于人工耳蝸植入術(shù)后、助聽器佩戴后患者的聽覺言語康復(fù)訓(xùn)練。其次，適用人群有差別，孫喜斌及陳雪清開發(fā)的軟件針對兒童設(shè)計，段家德開發(fā)的系統(tǒng)可用于成人和兒童，而張華和郗昕則主要針對成人設(shè)計軟件，此外陳雪清也開發(fā)了針對成人的聽力康復(fù)漢語計算機化及評價系統(tǒng)。在測試材料方面，有的采用經(jīng)過等價性驗證的漢語普通話材料，如:張華和郗昕所開發(fā)的測試軟件，也有結(jié)合文字、圖片、動畫等的測試材料(孫喜斌、陳雪清開發(fā)的軟件)。在使用方法上，有的軟件需連接聽力計在聲場內(nèi)使用(郗昕開發(fā)的中文言語測聽平臺)，而有的在個人電腦上即可使用，如孫喜斌及陳雪清開發(fā)的軟件;而張華的普通話言語測聽系統(tǒng)(MSTMs)可選擇連接聽力計和不連接聽力計兩種不同測試方式。

3　問題及展望

目前國內(nèi)計算機輔助言語測聽技術(shù)雖然已在科研及臨床中使用，但都未能得到很好的普及和推廣應(yīng)用。究其原因是多方面的，從言語識別評估系統(tǒng)來看，國內(nèi)言語評估及康復(fù)軟件大多注重于軟件系統(tǒng)的開發(fā)與功能檢測，主要適應(yīng)于聽力康復(fù)機構(gòu)及聽力師使用，較少考慮聽障者的依從性、互動性及時間、經(jīng)濟成本;同時也有言語識別評估系統(tǒng)數(shù)據(jù)庫單一、言語測聽材料未標(biāo)準(zhǔn)化、使用操作不方便實用、行業(yè)內(nèi)不能相互認(rèn)可、方言的存在等因素影響。從CI患者角度來分析，絕大部分CI患者的術(shù)后康復(fù)依賴于從生活環(huán)境中被動的接受而不是主動學(xué)習(xí)，聽力康復(fù)訓(xùn)練的主動性和依從性低; Sweetow發(fā)現(xiàn)在使用LACE軟件的3 000名聽力康復(fù)訓(xùn)練者中，其依從性低于30%［22］;在國內(nèi)，人工耳蝸植入術(shù)后患者聽力康復(fù)的效果與家庭教育及經(jīng)濟條件具有很大的相關(guān)性，經(jīng)濟條件與家庭康復(fù)教育越好的CI患者聽力和言語康復(fù)效果越好［23，24］;因此，開發(fā)便捷實用、經(jīng)濟的聽覺言語康復(fù)系統(tǒng)可使更多的CI患者真正受益。此外，有研究指出，在美國少于10%的臨床醫(yī)生和聽力師會給聽損患者推薦和提供綜合性的聽力訓(xùn)練方案［25］，提示聽力師和耳科醫(yī)生的重視及推薦使用也很重要。

傳統(tǒng)聽力康復(fù)理念通過現(xiàn)代科技技術(shù)來實現(xiàn)，極大提升了聽力康復(fù)的效果和效率;但計算機輔助的聽覺及言語康復(fù)訓(xùn)練發(fā)展仍有許多問題需要進一步的研究和解決，如:聽力康復(fù)策略如何制定(訓(xùn)練材料的選擇、訓(xùn)練時間和頻率等)，最佳的訓(xùn)練效果如何評定等問題仍不清楚;這些問題的研究和解決將使CI及助聽器佩戴者從人工聽覺技術(shù)中獲取最大益處，更好的回歸和融入主流社會。

4參考文獻

1第二次殘疾人抽樣調(diào)查辦公室.全國第二次殘疾人抽樣調(diào)查主要數(shù)據(jù)手冊［M］.北京:華夏出版社，2007.2～38.

2Russo NM，Nicol TG，Zecker SG，et al.Auditory training improves neural timing in the human brainstem［J］.Behav Brain Res，2005，156: 95.

3 Fu QJ，Galvin J，Wang X，et al.Effects of auditory training on adult cochlear implant patients: a preliminary report［J］.Cochlear Implants Int，2004，5(Suppl 1) : 84.

4Murphy CF，Schochat E.Effects of different types of auditory temporal training on language skills: a systematic review［J］.Clinics (Sao Paulo)，2013，68: 1364.

5蔣濤.國外聽力康復(fù)現(xiàn)狀和新進展［J］.聽力學(xué)及言語疾病雜志，2009，17: : 389.

6 Sweetow RW，Sabes JH.Technologic advances in aural rehabilitation: applications and innovative methods of service delivery［J］.Trends in Amplification，2007，11: 101.

7Boothroyd A.CasperSent: a program for computer-assisted speech perception testing and training at the sentence level［J］.Journal of The Academy of Rehabilitative Audiology，2008，41: 31.

8Dempsey JJ，Levitt H，Josephson J，et al.Computer-assisted tracking simulation (CATS)［J］.J Acoust Soc Am，1992，92(2 Pt 1) : 701.

9 Sweetow RW，Sabes JH.The need for and development of an adaptive Listening and Communication Enhancement (LACE) Program［J］.J Am Acad Audiol，2006，17: 538.

10 Fu Q，Galvin J.Computer-assisted speech training for cochlear implant patients: feasibility，outcomes，and future directions［J］.Seminars in Hearing，2007，28: 142.

11孫喜斌，梁巍，晁欣，等.計算機導(dǎo)航-聾兒聽覺評估學(xué)習(xí)系統(tǒng)應(yīng)用［J］.中國臨床康復(fù)，2002，6: 3180.

12孫喜斌，張蕾，劉巧云，等.計算機導(dǎo)航-聽覺言語評估系統(tǒng)中兒童漢語言語識別詞表［J］.中國耳鼻咽喉頭頸外科，2007，14: 244.

13劉海紅，陳雪清，陳安宇，等.兒童聽力言語康復(fù)分類訓(xùn)練及評估的漢語視聽系統(tǒng)軟件開發(fā)［J］.聽力學(xué)及言語疾病雜志，2007，15: 223.

14陳雪清，王樹峰，孔穎，等.成人聽力康復(fù)漢語計算機化訓(xùn)練及評價系統(tǒng)［J］.聽力學(xué)及言語疾病雜志，2001，9: 106.

15段家德.一種實用的漢語言語聽力測試系統(tǒng)及臨床應(yīng)用［J］.北京生物醫(yī)學(xué)工程，2005，24: 42.

16郗昕，黃高揚，冀飛，等.計算機輔助的中文言語測聽平臺的建立［J］.中國聽力語言康復(fù)科學(xué)雜志，2010(4) : 31.

17 Ji F，Xi X，Chen AT，et al.Development of a Mandarin monosyllable test material with homogenous items (I) : homogeneity selection［J］.Acta Otolaryngol，2011，131: 962.

18 Xi X，Ching TY，Ji F，et al.Development of a corpus of Mandarin sentences in babble with homogeneity optimized via psychometric evaluation［J］.Int J Audiol，2012，51: 399.

19 Wu W，Zhang H，Chen J，et al.Development and evaluation of a computerized Mandarin speech test system in China［J］.Comput Biol Med，2011，41: 131.

20 Wang S，Mannell R，Newall P，et al.Development and evaluation of Mandarin disyllabic materials for speech audiometry in China［J］.Int J Audiol，2007，46: 719.

21張華，王靚，王碩，等.普通話言語測聽單音節(jié)詞表的編輯與初步等價性評估［J］.中華耳鼻咽喉頭頸外科雜志，2006，42: 341.

22 Sweetow RW，Henderson Sabes J.Auditory training and challenges associated with participation and compliance［J］.Journal of the American Academy of Audiology，2010，21: 586.

23陳益青，龍墨，韓睿.人工耳蝸植入后聽力康復(fù)效果相關(guān)因素的研究［J］.中國康復(fù)理論與實踐，2006，7: 593.

24李東梅，許安廷，程想，等.人工耳蝸植入術(shù)后聽力及言語康復(fù)效果相關(guān)因素的初步研究［J］.山東大學(xué)耳鼻喉眼學(xué)報，2010，24: 16.

25 Bloom S.Technologic advances raise prospects for a resurgence in use of auditory training［J］.The Hearing Journal，2004，57: 19.

(2015-06-11收稿)

(本文編輯周濤)

·病例報告·

【中圖分類號】R764.04

【文獻標(biāo)識碼】A

【文章編號】1006-7299(2015) 06-0665-04

DOI:10.3969/j.issn.1006-7299.2015.06.025