賈琳,王建勤
(1.北京華文學(xué)院培訓(xùn)部,北京100037;2.北京語言大學(xué)對外漢語研究中心,北京 100083)
視覺加工對英語母語者漢語聲調(diào)產(chǎn)出的影響
賈琳1,王建勤2
(1.北京華文學(xué)院培訓(xùn)部,北京100037;2.北京語言大學(xué)對外漢語研究中心,北京 100083)
視覺加工;聲調(diào)產(chǎn)出;多模態(tài)學(xué)習(xí)
本文考察了視覺加工對英語母語者漢語聲調(diào)產(chǎn)出的影響,并引入多模態(tài)學(xué)習(xí)理論通過不同的實驗任務(wù)考察了視覺加工影響學(xué)習(xí)者聲調(diào)產(chǎn)出的內(nèi)在機制,研究表明:(1)在延時測試中,對零起點漢語學(xué)習(xí)者來說,三周的視聽知覺訓(xùn)練沒有顯著改善學(xué)習(xí)者的聲調(diào)產(chǎn)出;(2)對于低水平漢語學(xué)習(xí)者來說,即時呈現(xiàn)教師的手勢可以引導(dǎo)學(xué)習(xí)者發(fā)音器官的運動,可用于課堂上的即時糾音。對于高水平學(xué)習(xí)者來說,由于四個聲調(diào)的發(fā)音模式已經(jīng)建立并固定下來,不易受教師手勢的干擾。
漢語是聲調(diào)語言。漢語聲調(diào)難學(xué)是對外漢語教學(xué)界討論較多,但一直沒有得到很好解決的問題。在對2010年哈佛北京書院二年級學(xué)生的調(diào)查中,我們發(fā)現(xiàn),有學(xué)生認為手勢可以幫助自己更準(zhǔn)確地產(chǎn)出聲調(diào)。然而,在對他們的課堂觀察中,我們發(fā)現(xiàn)學(xué)習(xí)者產(chǎn)出的聲調(diào)常常和自己所打的手勢不一致。已有研究從教學(xué)經(jīng)驗出發(fā),鼓勵教師和學(xué)生采用打手勢這一學(xué)習(xí)策略(張拱貴,1988;喻江,2007)。由于缺乏實證性研究,結(jié)論缺乏可靠性。同時,已有研究沒有對打手勢這一學(xué)習(xí)策略背后的學(xué)習(xí)者內(nèi)在習(xí)得機制進行探討。本研究希望通過實證性研究來考察打手勢這一學(xué)習(xí)策略的有效性,以及這一學(xué)習(xí)策略背后學(xué)習(xí)者的內(nèi)在習(xí)得機制。打手勢這一學(xué)習(xí)策略的本質(zhì)是學(xué)習(xí)者對表示四聲的動態(tài)手勢即聲調(diào)的動態(tài)調(diào)形進行視覺加工,因此,本文研究的問題是:(1)視覺加工對聲調(diào)產(chǎn)出是否有促進作用;(2)如果有促進作用,視覺加工促進聲調(diào)產(chǎn)出的內(nèi)在機制是什么。
生命科學(xué)的研究成果告訴我們,生命體在演化過程中逐步獲得視覺、聽覺、嗅覺、味覺、觸覺等五種不同的感知通道(sensory channel),這些通道是生命體與周圍環(huán)境進行信息交換的界面和路徑。這些感知通道的獲得分別導(dǎo)致以下五種交際模態(tài)的產(chǎn)生:視覺模態(tài)(visual modality)、聽覺模態(tài)(auditive modality)、嗅覺模態(tài)(olfactory modality)、味覺模態(tài)(gustatory modality)和觸覺模態(tài)(tactile modality)(朱永生,2007)。在上述模態(tài)中,與本研究關(guān)系最緊密的是視覺模態(tài)和聽覺模態(tài)。顧曰國(2007)將模態(tài)定義為人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機器、物件、動物等)之間的互動方式。正常人之間的互動都是多模態(tài)的??捉剑?010)對漢語普通話語音進行了多模態(tài)研究,主要涉及光動態(tài)發(fā)音動作研究、核磁共振聲道研究、電子腭位發(fā)音動作研究、嗓音發(fā)聲類型研究、唇形唇讀研究、動態(tài)聲門研究及呼吸帶語音韻律研究。上述研究使我們對于音段音位的研究更加深入,但由于四個聲調(diào)間的差異在喉頭等發(fā)聲器官上的表現(xiàn)不易被察覺,上述研究并未在聲調(diào)研究方面取得大的進展。Chen和Massaro(2008)模仿音段音位的視聽知覺訓(xùn)練,為被試提供發(fā)音人的面部信息(包括脖子、頭和口發(fā)音時的動作),訓(xùn)練被試對漢語聲調(diào)的感知。結(jié)果發(fā)現(xiàn)這種訓(xùn)練方法并沒有顯著提高被試的感知能力。這是由超音段音位的特點決定的,音段音位的視覺線索可以表現(xiàn)在唇形上,而超音段音位的差異可能在于喉頭運動的變化,而這種變化很難被察覺。既然喉頭運動上的變化難以外化,我們是否可以采用動態(tài)手勢這種外化的方法來引導(dǎo)學(xué)習(xí)者內(nèi)部發(fā)聲器官的運動呢?本研究嘗試引入多模態(tài)學(xué)習(xí)理論來解釋這一方法對學(xué)習(xí)者聲調(diào)產(chǎn)出的作用,以期深化對學(xué)習(xí)者內(nèi)在習(xí)得機制的認識。
1.1 實驗?zāi)康?/p>
考察母語為英語的漢語學(xué)習(xí)者在聲調(diào)產(chǎn)出過程中,視覺和聽覺雙通道的加工方式的習(xí)得效果是否好于只有聽覺的加工方式。
1.2 實驗方法
1.2.1 實驗設(shè)計
本實驗采用單因素被試間實驗設(shè)計。
自變量:加工方式,為被試間變量,分為2個水平:
(1)實驗組:采用視覺和聽覺雙通道的加工方式。
(2)控制組:只采用聽覺的加工方式。
因變量:被試在產(chǎn)出測驗中的前后測得分的差異,即后測與前測得分之差。
1.2.2 被試
英語為母語的零起點學(xué)習(xí)者(學(xué)習(xí)漢語時間為1個星期)28人,其中實驗組15人,控制組13人。他們沒有其他有聲調(diào)語言學(xué)習(xí)經(jīng)歷,也沒有接受過長期的聲樂訓(xùn)練。
1.2.3 實驗材料
實驗材料分為產(chǎn)出測試音節(jié)表(見附錄一)和訓(xùn)練音節(jié)表(見附錄二)兩部分。
產(chǎn)出前測音節(jié)表和產(chǎn)出后測音節(jié)表是一個隨機音節(jié)表,包括相同的80個單音節(jié),全部來自產(chǎn)出測試音節(jié)表。為避免音段信息對被試聲調(diào)感知的影響,實驗全部采用自然的單音節(jié)形式,詞的選取為單元音的結(jié)構(gòu),都有聲母。發(fā)音人是一名普通話水平為一級乙等的中國女性。錄音在安靜的語音實驗室,用Praat語音軟件進行錄音,語音樣本都為16位單聲道的錄音,語音采樣率為4 4100 HZ。音節(jié)之間的時間間隔(inter-trial-interval)為3 000 ms。
訓(xùn)練音節(jié)表,包括120個不同音節(jié),每類聲調(diào)30個音節(jié)。
1.2.4 實驗程序
兩組被試采用不同的學(xué)習(xí)方法,實驗組采用視覺和聽覺雙通道的加工方式,控制組采用只有聽覺的加工方式。
(1)前測:請被試讀產(chǎn)出前測音節(jié)表,用Praat進行錄音,之后請母語者對被試的產(chǎn)出進行判斷,正確的記一分,錯誤的記零分,最后計算被試的得分。
(2)訓(xùn)練:前測結(jié)束后,被試開始為期三周的訓(xùn)練,每周五次,每次訓(xùn)練時間為10分鐘,前測與第一次訓(xùn)練為同一天,最后一次訓(xùn)練結(jié)束后進行后測。實驗組:教師領(lǐng)讀訓(xùn)練音節(jié)表,領(lǐng)讀的同時用左手在空中劃出相應(yīng)的調(diào)號,請被試跟讀??刂平M:教師領(lǐng)讀訓(xùn)練音節(jié)表,請被試跟讀。
(3)后測:請被試讀產(chǎn)出后測音節(jié)表,用Praat進行錄音。之后請母語者對被試的產(chǎn)出進行判斷,正確的記一分,錯誤的記零分,最后計算被試的得分。
1.3 實驗結(jié)果
運用SPSS 16.0統(tǒng)計軟件對實驗一的數(shù)據(jù)進行獨立樣本t檢驗,結(jié)果顯示:
(1)實驗組和控制組產(chǎn)出前測得分差異不顯著,t=-0.402,df=26,p>0.05。
(2)在后測與前測得分之差這個指標(biāo)上,實驗組和控制組差異不顯著,t=-1.270,df=26,p>0.05。
表1:聲調(diào)產(chǎn)出測試中被試的平均得分
1.4 討論
實驗結(jié)果表明,實驗組和控制組產(chǎn)出前測得分差異不顯著,在后測與前測得分之差這個指標(biāo)上,實驗組和控制組差異不顯著,說明對于聲調(diào)產(chǎn)出來說,視覺和聽覺雙通道的加工方式與只有聽覺的加工方式?jīng)]有統(tǒng)計學(xué)意義上的差別。那么,視覺加工對聲調(diào)產(chǎn)出是否真的沒有促進作用?抑或是這種作用由于訓(xùn)練時間短、訓(xùn)練頻次少、實驗任務(wù)難而被掩蓋?實驗二將通過區(qū)分漢語水平、改變實驗任務(wù)進一步探討視覺加工對學(xué)習(xí)者聲調(diào)產(chǎn)出的作用。
2.1 實驗?zāi)康?/p>
通過不同的實驗任務(wù)考察視覺加工是否影響學(xué)習(xí)者聲調(diào)產(chǎn)出,如有影響,其內(nèi)在機制是什么。
2.2 實驗方法
2.2.1 實驗設(shè)計
本實驗采用2×3兩因素混合實驗設(shè)計。
因素一,學(xué)習(xí)者漢語水平,為被試間變量,分為2個水平:低、高水平。
因素二,刺激呈現(xiàn)方式,為被試內(nèi)變量,分為3個水平:手勢與聲調(diào)一致、手勢與聲調(diào)不一致、只有聲音。
因變量:被試聲調(diào)產(chǎn)出的得分。
2.2.2 被試
歐美低水平學(xué)習(xí)者(學(xué)習(xí)漢語時間為1個月左右)22人、歐美高水平學(xué)習(xí)者(學(xué)習(xí)漢語時間為1年左右)21人。被試均沒有其他聲調(diào)語言的學(xué)習(xí)經(jīng)歷,也沒有接受過長期的聲樂訓(xùn)練。被試男女各半,年齡均在18至35歲之間。
2.2.3 實驗材料
請北京語言大學(xué)漢語速成學(xué)院的一位男教師邊打手勢邊發(fā)出相應(yīng)的音節(jié),不呈現(xiàn)他的面部信息。音節(jié)為bā、bá、bǎ、bà。共錄制16種組合,其中,
(1)手勢與聲音一致的條件下有4種:
手1口1,手2口2,手3口3,手4口4;
(2)手勢與聲音不一致的條件下有12種:
手1口2,手1口3,手1口4,
手2口1,手2口3,手3口4,
手3口1,手3口2,手3口4,
手4口1,手4口2,手4口3。
將以上錄像材料制作成以下兩種實驗材料:
語音材料:包括24個刺激,手勢與聲音一致的4種組合,每種重復(fù)6次。兩個刺激之間的時間間隔為1 400 ms。24個刺激排列順序隨機。
視頻材料:包括48個刺激,其中手勢與聲音一致的4種組合,每種重復(fù)6次,共24個刺激;手勢與聲音不一致的12種組合,每種組合重復(fù)2次,共24個刺激。兩個刺激之間的時間間隔為1 400 ms。48個刺激排列順序隨機。
2.2.4 實驗程序
播放語音材料時,請被試不看電腦屏幕,只聽聲音。在1 400 ms的間隔中重復(fù)所聽到的音節(jié),主試對其進行錄音。播放視頻材料時,請被試看電腦屏幕,在1 400 ms的間隔中重復(fù)聽到的音節(jié),主試對其進行錄音。每個組合之間間隔為1 400 ms,請被試在這段時間內(nèi)發(fā)音。錄音材料和視頻材料播放順序隨機。
請漢語母語者對被試的錄音進行判斷,被試發(fā)音與所聽到的音節(jié)調(diào)型一致的記一分,不一致的記零分,最后統(tǒng)計被試的得分。
2.3 實驗結(jié)果
運用SPSS 16.0統(tǒng)計軟件對實驗二的數(shù)據(jù)進行方差分析,結(jié)果顯示:
漢語水平的主效應(yīng)顯著(F(1,41)=70.750,p<0.01),表現(xiàn)為高水平學(xué)習(xí)者的得分高于低水平學(xué)習(xí)者。刺激呈現(xiàn)方式的主效應(yīng)顯著(F(2,82)=72.740,p<0.01)。二者交互作用顯著(F(2,82)=66.596,p<0.01),簡單效應(yīng)檢驗表明,在手勢與聲調(diào)一致條件下,低水平與高水平學(xué)習(xí)者的得分差異不顯著(p>0.05);在手勢與聲調(diào)不一致條件下,低水平與高水平學(xué)習(xí)者的得分差異顯著(p<0.01),表現(xiàn)為低水平學(xué)習(xí)者的得分低于高水平學(xué)習(xí)者;在只聽聲音條件下,低水平與高水平學(xué)習(xí)者的得分差異不顯著(p>0.05)。
2.4 討論
實驗結(jié)果表明,學(xué)習(xí)者漢語水平與刺激呈現(xiàn)方式交互作用顯著。
(1)在手勢與聲調(diào)一致和只有聲音這兩種條件下,低水平與高水平學(xué)習(xí)者的得分差異不顯著。這是因為實驗任務(wù)為即時重復(fù)所聽到的音節(jié),實驗任務(wù)較簡單,高水平學(xué)習(xí)者漢語水平上的優(yōu)勢并沒有表現(xiàn)出來。
(2)在手勢與聲調(diào)不一致條件下,低水平學(xué)習(xí)者的得分顯著低于高水平學(xué)習(xí)者。這是因為低水平學(xué)習(xí)者四個聲調(diào)的語音范疇尚未建立或還不牢固,易受教師手勢的干擾。在即時重復(fù)的實驗任務(wù)中,低水平學(xué)習(xí)者的發(fā)音器官受到教師手勢的調(diào)動,不由自主地按照手勢的指導(dǎo)來發(fā)音,而不能按照主試的要求重復(fù)聽到的音節(jié)。這與Chen和Massaro(2008)的結(jié)論不一致,原因在于后者為被試呈現(xiàn)的是發(fā)音人的面部動作,發(fā)音人喉頭等發(fā)音器官上的變化難以被人察覺,而手勢使聲調(diào)間的差異外化,易于被試模仿。高水平學(xué)習(xí)者在實驗后向主試報告時表示自己發(fā)現(xiàn)了手勢與聽到的音節(jié)聲調(diào)不一致的情況,但能夠排除手勢的干擾,這是因為高水平學(xué)習(xí)者四個聲調(diào)的范疇已經(jīng)建立。
McGurk和MacDonald(1976)的研究發(fā)現(xiàn),當(dāng)視覺信息和聽覺信息相沖突時,感知者會同時使用這兩方面的信息源以獲得穩(wěn)定的感知。例如,當(dāng)為母語者在聽覺上呈現(xiàn)雙唇音/ba/,同時視覺上呈現(xiàn)軟腭音/ga/時,聽者報告自己聽到的音是/da/。但該研究并未對這一現(xiàn)象產(chǎn)生的原因進行實證性探索。在隨后的研究中,MacDonald和McGurk(1978)用實驗證明,發(fā)音位置(尤其是唇部)主要通過眼睛提供線索,而發(fā)音方式更多的是通過耳朵提供線索。我們由此推論,低水平學(xué)習(xí)者對聲調(diào)的視覺信息依賴較大,而高水平學(xué)習(xí)者對視覺信息的依賴較小,更多地依賴聽覺信息。
2.5 綜合討論
實驗二的結(jié)果顯示,對于低水平學(xué)習(xí)者來說,教師的手勢可以有效調(diào)動學(xué)習(xí)者發(fā)音器官的運動。實驗一的結(jié)果認為,對于零起點學(xué)習(xí)者來說,視覺和聽覺雙通道的加工方式與只有聽覺的加工方式?jīng)]有統(tǒng)計學(xué)意義上的差別,也就是說,打手勢的教學(xué)策略并沒有促進零起點學(xué)習(xí)者的聲調(diào)產(chǎn)出。這一矛盾是由以上兩個實驗的實驗任務(wù)不同造成的,實驗一后測的實驗任務(wù)是請被試讀音節(jié)表上的音節(jié),雖然經(jīng)過了三周打手勢策略的訓(xùn)練,但是后測時不呈現(xiàn)教師的手勢,完全由被試自主產(chǎn)出。實驗二的實驗任務(wù)是呈現(xiàn)教師的手勢,請被試即時重復(fù),這樣的實驗任務(wù)一方面使被試更容易受到手勢的干擾;另一方面,并不能保證在延時測試中被試會有相同的表現(xiàn)。Liberman和Mattingly(1985)認為說話者產(chǎn)出言語時會做出有意的語音姿勢,包括將嘴唇張成圓形等肌肉活動。這些“有意的語音姿勢”是大腦對聲道結(jié)構(gòu)發(fā)出的恒定的動作指令,但這些神經(jīng)中樞的命令不會導(dǎo)致聲道形狀的恒常性。當(dāng)呈現(xiàn)教師的手勢,請被試即時重復(fù)時,被試會受“有意的語音姿勢”的影響;而當(dāng)不呈現(xiàn)教師的手勢,請被試念字表進行產(chǎn)出時,由于缺乏發(fā)音器官的恒常性和穩(wěn)定性,被試并未能延續(xù)“有意的語音姿勢”的影響。從以上分析可以得出,教師的手勢可以有效調(diào)動學(xué)習(xí)者發(fā)音器官的運動,使初學(xué)者在產(chǎn)出聲調(diào)時有跡可循。但是三周的訓(xùn)練并未明顯改善學(xué)習(xí)者的產(chǎn)出,這也許是訓(xùn)練時間短、學(xué)習(xí)頻次少造成的。
在延時條件下,對零起點漢語學(xué)習(xí)者進行訓(xùn)練,從他們的聲調(diào)產(chǎn)出來說,視覺和聽覺雙通道的加工方式與只有聽覺的加工方式?jīng)]有統(tǒng)計學(xué)意義上的差別。為期三周的視聽覺訓(xùn)練并沒有顯著促進學(xué)習(xí)者的聲調(diào)產(chǎn)出。在即時條件下,手勢的視覺加工主要在學(xué)習(xí)的初期階段產(chǎn)生作用。對于低水平漢語學(xué)習(xí)者來說,即時呈現(xiàn)教師的手勢可以有效引導(dǎo)學(xué)習(xí)者發(fā)音器官的運動。而對于高水平學(xué)習(xí)者來說,由于四個聲調(diào)的發(fā)音模式已經(jīng)建立并固定下來,不易受教師手勢的干擾。
在零起點及初級漢語水平學(xué)生的課堂上,教師在領(lǐng)讀、帶讀、糾音時配合手勢可以外化四個聲調(diào)間的差異,引導(dǎo)學(xué)習(xí)者發(fā)音器官的運動,幫助學(xué)習(xí)者建立并穩(wěn)固四個聲調(diào)的范疇,從而促進學(xué)習(xí)者的聲調(diào)產(chǎn)出。
顧曰國2007多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)(2):3-12.
孔江平2010普通話語音多模態(tài)研究與多媒體教學(xué)[A].第四屆全國普通話培訓(xùn)測試學(xué)術(shù)研討會論文集[C].北京:語文出版社:196-201.
喻江2007聲調(diào)教學(xué)新教案[J].語言教學(xué)與研究(1):77-81.
張拱貴1988聲調(diào)教學(xué)和表聲讀[J].世界漢語教學(xué)(1):25-29.
朱永生2007多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊(5):82-86.
Chen,T.H.&D.W.Massaro2008Seeing pitch:visual information for lexical tones of Mandarin-Chinese[J].The Journal of the Acoustical Society of America123.
Liberman,A.M.&I.G.Mattingly1985The motor theory of speech perception revised[J].Cognition21.McGurk,H.&J.MacDonald 1976 Hearing lips and seeing voices[J].Nature264.
MacDonald,J.&H.McGurk1978Visual influences on speech perception processes[J].Perception&Psy chophysics24.
On the Effects of Visual Processing on Tone Production by English-speaking Learners of Chinese
Jia Lin1,Wang Jianqin2
(1.Training Department,Beijing Chinese Language and Culture College,Beijing 100037,China;2.CSCSL,Beijing Language and Culture University,Beijing 100083,China)
visual processing;tone production;multimodal learning
This study investigates the effectiveness of visual processing on tone production by native English-speaking learners of Chinese.Experiment 1 compares the effects of the two training methods on tone production.The result shows no significant difference between the two methods.In order to explore the mechanism of visual processing on tone production,Experiment 2 introduces multimodal learning theory.The study shows that,for elementary level learners of Chinese,teachers’gestures can be used to instantly correct students’mistakes by providing articulation instructions.However,as the pronunciation model of four tones has been established and fixed,high level learners of Chinese are not easily influenced by those gestures.
附錄一:實驗一產(chǎn)出測試音節(jié)表
附錄二 實驗一訓(xùn)練音節(jié)表
H014;H116;H195
A
1674-8174(2013)04-0030-05
【責(zé)任編輯 師玉梅】
2013-03-22
賈琳(1987-),女,北京華文學(xué)院教師,碩士,研究方向為第二語言習(xí)得;王建勤(1955-),男,北京語言大學(xué)教授,博士,博士生導(dǎo)師,對外漢語研究中心副主任,主要研究方向為第二語言習(xí)得。
國家社科基金一般項目“第二語言學(xué)習(xí)者漢語聲調(diào)范疇習(xí)得模擬研究”(08BYY023)