我國聽障學生唇讀認知實驗研究進展

雷江華 鮑博

1 前言

唇讀是指聽障人群利用視覺信息，感知言語的一種特殊方式和技能?？丛捜送ㄟ^觀察說話人的口唇發(fā)音動作、肌肉活動及面部表情，形成連續(xù)的視知覺，并與頭腦中儲存的詞語表象相比較和聯(lián)系，進而理解說話的內(nèi)容[1]。聽障學生因聽覺損傷導致視覺語言（唇讀和手語）成為語言信息輸入的基本方式[2]。為了促進聽障學生語言的發(fā)展，康復教師會或多或少地對其進行唇讀訓練，研究人員會通過實驗研究探討唇讀的認知機制，為有效開展唇讀訓練提供理論依據(jù)。本文通過總結(jié)國內(nèi)聽障學生唇讀的認知實驗研究，梳理其研究成果，以為實踐工作者提供參考。

2 方法

本研究采用主題詞索引方式進行文獻檢索。采用主題詞的不同組合在中國期刊網(wǎng)（CSSCI）來源期刊庫進行檢索，以唇讀、實驗、聽障（聽力障礙/聽覺障礙/聾）、認知等主題詞組合共檢索到16篇論文。依據(jù)以下標準對文獻進行再次篩選：①有實驗設計；②有數(shù)據(jù)分析；③研究對象為聽障學生。由此選出11篇文獻。對11篇文獻從被試特征、實驗設計、實驗材料、發(fā)表期刊等方面進行梳理。

3 結(jié)果與分析

所有實驗共有426人參與，除去性別未提及的12人，其中男性172人（40.37%），女性242人（56.80%），被試平均年齡在20歲以下。實驗設計上，有9篇（81.82%）采用真實驗設計，1篇（9.09%）采用非隨機分派控制組前后測的準實驗設計，1篇（9.09%）采用block實驗設計的功能性核磁共振研究。實驗設計中有1篇（11.11%）采用單因素重復測量實驗設計，8篇（88.89%）采用多因素實驗設計，其中包括兩因素被試內(nèi)實驗設計4篇（50%）、兩因素混合實驗設計3篇（37.5%）、三因素混合實驗設計1篇（12.5%），在4篇兩因素被試內(nèi)實驗設計中，根據(jù)不同的因素的水平不同劃分為2×3、3×3、3×6三種，其中文獻數(shù)量比為2：1：1。實驗材料上，10篇（90.9%）為漢語，1篇（9.09%）為漢語英語雙語相結(jié)合，見表1。

3.1 音素作用明顯

音素是根據(jù)語音的自然屬性劃分出來的最小語音單位。從聲學性質(zhì)看，音素是從音質(zhì)角度劃分出的最小語音單位，從生理性質(zhì)看，一個發(fā)音動作形成一個音素[14]。漢語的音素由單韻母、復韻母、聲母組成[15]。11篇漢語唇讀認知實驗研究中，有7篇（63.64%）探討音素可見性的作用發(fā)現(xiàn)正確率差異顯著，在反應時上4個實驗差異顯著（見表2）。首先，單韻母與聲母之間在正確率上7個實驗均表現(xiàn)出顯著性差異，且單韻母高于聲母，在反應時上實驗③、④、⑤、⑧中表現(xiàn)出顯著性差異，且單韻母快于聲母，由于聲母在唇讀漢字語音識別過程中經(jīng)歷的加工過程較復雜，加工時間較久，所以單韻母在正確率上高于聲母，在反應時上快于聲母。其次，單韻母與復韻母之間，在反應時上盡管實驗③、④中差異不顯著，但識別反應時速度依然是單韻母快于復韻母；在正確率顯著的情況下，單韻母的正確率明顯高于復韻母，這說明復韻母因其發(fā)音的延長在一定程度上增加了唇讀語音加工的難度，因此，單韻母在正確率上高于復韻母，在反應時上快于復韻母。最后，復韻母和聲母之間，除了只涉及單韻母和聲母的實驗⑤、⑧和實驗②陌生條件外，其他實驗在正

確率上均表現(xiàn)出顯著性差異，且復韻母高于聲母；在反應時上，實驗③、④表現(xiàn)出顯著性差異，且復韻母快于聲母。

表1 文獻編碼分析主要信息概要[3～13]

3.2 視素作用明顯

費舍[16]用視素表示語音的視覺特征，視素是根據(jù)音素的發(fā)音位置和口形劃分的。視素分為元音視素和輔音視素，元音的視素可見性高，其構(gòu)音編碼優(yōu)于輔音的構(gòu)音編碼系統(tǒng)，因此元音視素比輔音視素清晰[17]。國外對于唇讀的定義是從“l(fā)ip-reading”演變?yōu)椤皊peechreading”，后者取代前者說明了唇讀的過程不僅依賴口形，而且牙齒與舌頭的可視性在唇讀中也很重要[18]。視素可見性的作用表現(xiàn)在唇形和開口度兩個方面，由于通過開口度可直接或間接地觀察到舌位，因此，元音的視素可見性作用主要體現(xiàn)在唇形、開口度和舌位上。

根據(jù)發(fā)音時唇形的圓展，唇形又分為不圓唇音和圓唇音[14]。開口度指發(fā)元音時口腔開閉的程度，根據(jù)開口度，元音可以分為閉元音、半閉元音、半開元音、開元音4個基本類型[19]。如普通話的/i／，口腔開口度很小，稱作閉元音，／a／的口腔開口度最大，稱作開元音。開口度不同時發(fā)音位置發(fā)生變化，所以在聽辨時要注意發(fā)現(xiàn)舌位的不同[20]。根據(jù)發(fā)音時舌的緊張部位，舌位分為舌面音和舌尖音[14]。舌面音又分為舌面前音和舌面后音，多數(shù)元音都是舌面后音，如國際音標的/a/、/e/、/o/、/u/。

11篇文獻中有3篇（27.27%）文獻涉及視素可見性在聽障學生唇讀元音識別中的作用。其中2篇（18.18%）以漢語元音中的6個單韻母作為實驗材料，分別探索視素可見性和編碼方式在聽障學生唇讀漢語元音識別中的不同影響，均在正確率和反應時上有所體現(xiàn)（見表3），1篇以漢語和英語的元音作為對比實驗材料，分析鏡前口形模仿策略在聽障學生雙語唇讀元音識別中的作用（見表4）。

首先，不圓唇音／a、i、e／與圓唇音／o、u、ü／之間，在正確率和反應時上兩個實驗均表現(xiàn)出顯著性差異，a/o/、a/u、e/u三對差異極其顯著；在實驗⑦中聽障學生唇讀漢語語音識別的正確率由高到低依次為／a/i/e/u/o/ü／，反應時由高到低依次為／o/u/e/a/ü/i／；在實驗⑨中，正確率由高到低依次為／i/e/a/u/o/ü／，反應時由高到低依次為／ü/o/u/i/a/e／，這說明在聽障學生唇讀漢語語音識別中，不圓唇音的識別正確率明顯高于圓唇音，圓唇音的反應速度相對快于不圓唇音（見表3）。

其次，不圓唇音／a、i、e／之間，在正確率和反應時上實驗⑦中都未表現(xiàn)出顯著差異，說明這3個不圓唇音在聽障學生唇讀識別中的識別效果相當；在實驗⑨中不圓唇音a/i之間、a/e之間只有口形運動編碼方式下正確率表現(xiàn)出顯著差異，說明聽障學生在識別不圓唇音時，更容易獲得/e/和/i/的獨特動覺反饋，三者之間在反應時上未表現(xiàn)出顯著差異，說明三者都屬于不圓唇音，都有獨特的視素特征，較容易識別（見表5）。

最后，圓唇音／o、u、ü／之間，在正確率和反應時上均表現(xiàn)出不同的顯著性差異，識別效果表現(xiàn)出較大的差異性，這可能與三者開口度和舌位的差異存在一定關系。由于圓唇音／o、u、ü／分別屬于開口呼、合口呼和撮口呼，三者的開口度均不同，發(fā)音位置發(fā)生變化，因此在聽辨時要注意發(fā)現(xiàn)舌位的不同。由表5可知，在實驗⑦中，o/u正確率差異不顯著的原因之一是二者均屬于舌面后音，o/ü和u/ü的正確率差異顯著是因為/ü/屬于舌面前音；在實驗⑨中，由于／o、u、ü／均為圓唇音，其視素特征相似，故在口形運動編碼上三者之間均為顯著性差異，而在語音編碼方式下識別正確率的差異主要來源于o/u和u/ü，主要原因是這兩組元音的開口度不一致以及舌位的差異顯著。

由表3、5可知，實驗⑦、⑨均以在漢語中既是韻母也是元音的6個單韻母／a、o、e、i、u、ü/為實驗材料。由表4可知，實驗?的測試材料是英語和漢語雙語，且不限于元音中的6個單韻母，而是分別在漢語中，選擇漢語拼音中的元音/a、i、ai、e、u、o／，相比6個單韻母缺少/ü/，增加了復韻母／ai／；在英語中，選擇5個元音字母／a、e、i、o、u／中與漢語拼音中的元音／a、i、ai、e、u、o／讀音相似的6個音標聽障學生元音識別正確率在漢語上總體表現(xiàn)顯著，尤其是／u、i、a／3個元音，在英語上總體表現(xiàn)不顯著，僅元音顯著，有待進一步探討。

表2 三種音素水平在7個實驗中的差異匯總

表3 元音識別正確率和反應時的差異顯著性匯總

表4 聽障兒童在前后測唇讀漢語與英語元音識別正確率的差異顯著性匯總

表5 唇形在聽障學生漢語語音識別中的作用

3.3 其他效應

11篇文獻中有8篇（81.81%）表明了自變量其他6種影響效應的存在：詞長效應、熟悉效應、視聽通道效應、教學條件效應各1（9.09%）篇，助聽器效應2（18.18%）篇，編碼效應3（27.27%）篇，其中有1篇是同時具有編碼效應和助聽器效應（實驗⑧）。首先，詞長效應說明聽障學生單字條件的唇讀語音識別效果優(yōu)于詞語條件；第二，熟悉效應說明師生之間的熟悉程度越強對聽障學生唇讀語音的單韻母識別越好；第三，助聽器效應，說明配戴助聽器的聽障學生唇讀語音單韻母和復韻母的識別效果優(yōu)于未配戴助聽器的聽障學生，其中實驗⑧說明助聽器對聽障學生唇讀語音識別作用主要體現(xiàn)在語音編碼上；第四，教學條件效應，口語教學方式對聽障學生唇讀語音識別的效果體現(xiàn)在韻母上；第五，視聽通道效應，聽障學生唇讀語音識別效果在視聽條件下優(yōu)于視覺條件，視覺條件優(yōu)于聽覺條件；第六，編碼效應，實驗⑤說明唇讀語音識別加工速度的差異性體現(xiàn)在手指語編碼和口形運動編碼上，實驗⑧說明口形運動編碼在唇讀語音識別中表現(xiàn)出的優(yōu)勢在于未佩戴助聽器的聽障學生中，而手指語運動編碼表現(xiàn)出的優(yōu)勢體現(xiàn)在較難的聲母識別中，實驗⑨進一步說明三種編碼方式中的語音編碼在唇讀漢字語音識別中的調(diào)節(jié)器作用。

4 結(jié)論與建議

4.1 結(jié)論

①音素與視素在聽障學生漢語唇讀語音識別中作用明顯：單韻母優(yōu)于復韻母優(yōu)于聲母，不圓唇音優(yōu)于圓唇音；②漢語唇讀語音識別受到各種因素影響：存在詞長效應、熟悉效應、助聽器效應、教學條件效應、視聽通道效應、編碼效應等。

4.2 建議

4.2.1 利用音素作用，加強唇讀訓練 由于音素可見性作用明顯，唇讀訓練要循序漸進、從易到難地進行，即從單韻母到復韻母到聲母；從單字到詞語，再到語句，最后到語篇。聽障學生唇讀漢語語音識別的難點在聲母，因此可考慮建立唇讀聲母訓練的輔助支持策略，如助聽器輔助、手指語輔助、觸覺輔助等。

4.2.2 利用視素作用，加強鏡前練習 由于視素可見性作用明顯，應加強聽障學生鏡前自我練習，促進其漢語唇讀語音識別策略的習得。通過鏡前自我練習策略而獲得的視覺刺激對于聽障學生漢語唇讀語音識別被證明是有效的。教師可通過教室里配置的玻璃鏡或計算機等語言交流裝置，在教學中指導學生規(guī)范自己的發(fā)音口形運動，通過該裝置給聽障學生提供自己唇動的視覺反饋，一方面檢查其唇形的標準程度，另一方面提高其學習說話的積極性與主動性。

4.2.3 利用教學條件效應，重視口語教學 根據(jù)教學條件效應，口語教學在聽障學生唇讀語音識別中作用明顯，應重視課堂中的口語教學。聽障學生掌握口語主要是為了幫助自己，即通過長期口語訓練，使外部口頭言語逐步轉(zhuǎn)化為內(nèi)部言語，然后用內(nèi)部言語進行思維，因此為了改造聽障學生的直觀形象思維，就要對其進行口語訓練[21]。學校營造良好的口語交流環(huán)境，不僅限于師生之間的口語交往，還要重視同學之間的口語交流。

4.2.4 利用助聽器效應，強調(diào)聽語訓練 根據(jù)助聽器效應應強化聽語教學與訓練，即利用殘余聽力和配戴助聽設備加強聽能訓練。政府給每個聽障學生配備良好的聽覺輔助設備，學校和機構(gòu)為其培訓專門的言語語言康復訓練師，并建立起設備齊全、儀器先進的語言康復訓練室，并把“訓練聽障學生的聽話能力”作為教學任務之一貫穿教學過程始終。

4.2.5 利用視聽通道效應，強調(diào)聽能訓練和唇讀訓練結(jié)合 根據(jù)視聽通道效應，聽障學生唇讀語音識別效果在視聽條件下優(yōu)于視覺條件優(yōu)于聽覺條件，可利用語音視聽信息整合形成綜合表征來提高聽障學生的唇讀技能，讓聽障學生能協(xié)調(diào)聽覺和視覺來進行語言認知。

4.2.6 利用編碼效應，強調(diào)發(fā)展語音意識 根據(jù)編碼效應可知，語音編碼在聽障學生唇讀語音識別中起著調(diào)節(jié)作用。因此，教師與訓練人員應抓住聽障兒童語言發(fā)展的關鍵期，通過包括唇讀訓練在內(nèi)的各種語言訓練，促進聽障兒童語音意識的發(fā)展，提高其語音編碼能力與語言理解能力，實現(xiàn)在日常生活中進行有效的溝通與交往。

[1]樸永馨.特殊教育詞典[M].北京：華夏出版社，1996.188.

[2]雷江華.聽覺障礙學生唇讀的認知研究[M].北京：中國社會科學出版社，2009.57.

[3]雷江華，張鳳琴，方俊明.字詞條件下聾生唇讀漢字語音識別的實驗研究[J].中國特殊教育，2004，53(11)：39-41.

[4]雷江華，王庭照，方俊明.聾生唇讀語音識別中熟悉效應的實驗研究[J].心理科學，2005，28(05)：1120-1121.

[5]雷江華，甘琳琳，方俊明.助聽器對聽障學生唇讀漢字語音識別的作用[J].心理科學，2006，29(06)：1442-1443.

[6]雷江華，方俊明.口語教學對聽覺障礙學生唇讀語音識別技能發(fā)展的作用研究[J].教育研究與實驗，2007，116(03)：70-72.

[7]雷江華，熊琪，張軍華,等.聽障學生唇讀語音識別編碼方式的實驗研究[J].中國特殊教育，2007，85(07)：28-31.

[8]雷江華，方俊明，王偉忠,等.聽障學生唇讀語音識別視聽通道效應的實驗研究[J].心理科學，2008，31(02)：312-314.

[9]雷江華，劉愛民，張軍華.視素可見性在聽障學生唇讀漢語元音識別中的作用[J].中國特殊教育，2008，93(03)：17-20.

[10]雷江華，孫燈勇，劉昌,等.語音編碼在聾生唇讀漢字語音識別中的作用[J].心理科學，2010，33(02)：15-17.

[11]雷江華，汪斯斯，劉昌,等.編碼方式在聽障學生唇讀漢語元音識別中的作用研究[J].心理科學，2010，33(04)：946-948.

[12]雷江華，劉昌，方俊明,等.聽覺障礙學生唇讀的fMRI研究[J].教育研究與實驗，2014，158(03)：69-72.

[13]雷江華，崔婷，張晶,等.鏡前自我模仿策略在聽障兒童雙語唇讀元音識別中的作用[J].中國特殊教育，2014，166(04)：36-40.

[14]崔希亮.語言學概論[M].北京：商務印書館，2009.92,95,107.

[15]徐誠.唇讀研究回顧：從聾人到正常人[J].華東師范大學學報(教育科學版)，2013，31(01)：56-61.

[16]Williams JJ,Janet CR,Aggelos KK,et al.Frame Rate and Viseme Analysis for Multimedia Applications to Assist Speechreading[J].Journal of VLSI Signal Processing Systems，1998，20(1-2)：7-23.

[17]雷江華.聽覺障礙學生唇讀的認知研究[M].北京：中國社會科學出版社，2009.245.

[18]Kevin G.Munhall&Eric Vatikiotis-Bateson.The moving face during speech communication.In Ruth Campbell，Barbara Dodd，Denis Burnham.Hearing by eyeⅡ：Advances in the Psychology of Speechreading and Auditory-visual Speech[M].East Sussex：Psychological Press，1998.123-141.

[19]岑麒祥.語音學概論[M].北京：商務印書館，2013.97.

[20]金陽天，王虹，歐陽國亮.語音開口度對共振峰頻率的影響[J].中國刑警學院學報，2014，22(03)：48-51.

[21]簡棟梁.以口語為主導的全溝通教學[J].中國聽力語言康復科學雜志，2004，5(04)：30-31.