基于視覺(jué)情境范式的口語(yǔ)詞匯理解研究進(jìn)展

林桐 王娟

摘要視覺(jué)情境范式是主要用于研究口語(yǔ)理解的眼動(dòng)范式，它將視覺(jué)情境與聽(tīng)覺(jué)刺激跨通道結(jié)合，使實(shí)驗(yàn)環(huán)境更為自然。研究發(fā)現(xiàn)，在口語(yǔ)詞匯理解中，詞匯的音、義、形信息能得到激活；兒童對(duì)語(yǔ)音的激活水平已接近成人，對(duì)語(yǔ)義的激活水平仍與成人存在差距；雙語(yǔ)者能否激活跨語(yǔ)言競(jìng)爭(zhēng)詞仍存在爭(zhēng)議；視覺(jué)材料、聽(tīng)覺(jué)環(huán)境和預(yù)示時(shí)長(zhǎng)會(huì)影響該范式下的口語(yǔ)詞匯理解過(guò)程。未來(lái)應(yīng)加大對(duì)漢語(yǔ)被試和特殊被試的研究，并豐富該范式的視覺(jué)情境與聽(tīng)覺(jué)環(huán)境。

關(guān)鍵詞視覺(jué)情境范式；口語(yǔ)理解；詞匯識(shí)別

分類(lèi)號(hào)B842.5

DOI： 10.16842/j.cnki.issn2095-5588.2018.09.007視覺(jué)情境范式（visual world paradigm）是用于研究口語(yǔ)理解的一種眼動(dòng)范式，由Cooper （1974）最早提出，在其研究中，要求被試在加工聽(tīng)覺(jué)短故事的同時(shí)注視一些物體，其中部分物體會(huì)被短故事提及。結(jié)果發(fā)現(xiàn)，被試的部分眼動(dòng)指標(biāo)與聽(tīng)覺(jué)內(nèi)容在時(shí)間上緊密相聯(lián)。單詞出現(xiàn)后，被試會(huì)在200ms內(nèi)將超過(guò)90%的注視投向單詞所指物體。Tanenhaus等進(jìn)一步發(fā)展了該范式，將其用于研究口語(yǔ)理解中的視覺(jué)情境與語(yǔ)言信息的整合過(guò)程（Tanenhaus， Spivey-Knowlton， Eberhard， & Sedivy， 1995）。目前，視覺(jué)情境范式被廣泛用于口語(yǔ)理解的研究，包括詞匯理解和句法理解。該范式為口語(yǔ)理解的研究提供了視聽(tīng)結(jié)合的途徑，具有重要價(jià)值。聽(tīng)覺(jué)詞匯識(shí)別是聽(tīng)覺(jué)言語(yǔ)交流的前提和基礎(chǔ)，只有正確通達(dá)了詞匯語(yǔ)義，才能進(jìn)一步完成聽(tīng)覺(jué)句子和篇章的理解（鄒麗娟， 2015）。因此，本文主要圍繞該范式在口語(yǔ)詞匯理解領(lǐng)域的研究展開(kāi)討論。

1視覺(jué)情境范式的研究機(jī)制

對(duì)該范式的每個(gè)試次，被試在注視視覺(jué)情境的同時(shí)，需要加工一段聽(tīng)覺(jué)語(yǔ)句，相應(yīng)的，他們的眼動(dòng)數(shù)據(jù)被記錄。這一范式假設(shè)，眼動(dòng)能很好地反映語(yǔ)言理解狀態(tài)，被試對(duì)所呈現(xiàn)物體的眼睛注視和聽(tīng)覺(jué)刺激中目標(biāo)詞的激活狀態(tài)在注視時(shí)間上相對(duì)應(yīng)。若某一詞語(yǔ)被激活，則被試對(duì)所呈現(xiàn)的、與該詞語(yǔ)相對(duì)應(yīng)的物體的注視要多于對(duì)其他物體的注視（邱麗景， 王穗蘋(píng)， 關(guān)心， 2009）。

在口語(yǔ)句法理解領(lǐng)域，該范式多使用半現(xiàn)實(shí)場(chǎng)景的圖片作為視覺(jué)材料，采用描述該場(chǎng)景的語(yǔ)句作為聽(tīng)覺(jué)材料（Altmann & Kamidez， 1999）。也有類(lèi)似研究以真實(shí)物體作為視覺(jué)材料，這些物體被放置于格子狀的工作架上，通過(guò)聽(tīng)覺(jué)語(yǔ)句要求被試對(duì)物體進(jìn)行操作（Thothathiri & Snedeker， 2008）。對(duì)于口語(yǔ)詞匯理解，一些研究則以顯示器呈現(xiàn)的四幅圖片（通常包含聽(tīng)覺(jué)目標(biāo)詞、競(jìng)爭(zhēng)詞和無(wú)關(guān)詞三類(lèi)備選圖片）作為視覺(jué)情境，通過(guò)耳機(jī)播放聽(tīng)覺(jué)刺激，要求被試注視圖片或?qū)D片進(jìn)行選擇（Huettig & Altmann， 2011； Wang， Wang， & Malins， 2017）。近些年，使用文字作為視覺(jué)材料的研究也逐漸增多（Shen， Qu， & Li， 2016； Shen， Qu， & Tong， 2018），其優(yōu)點(diǎn)在于文字版本的視覺(jué)刺激可以是任何詞（如抽象名詞），而不僅限于指代具體形象的名詞。少量研究在視覺(jué)情境中未呈現(xiàn)聽(tīng)覺(jué)目標(biāo)詞，進(jìn)而增強(qiáng)競(jìng)爭(zhēng)詞的競(jìng)爭(zhēng)效應(yīng)（Huettig & Altmann， 2005）。

2視覺(jué)情境范式在不同被試口語(yǔ)詞匯理解中的應(yīng)用以往，研究者通過(guò)視覺(jué)情境范式對(duì)口語(yǔ)詞匯理解的研究，大多聚焦于正常成人加工口語(yǔ)詞匯時(shí)，能否激活其中的語(yǔ)音信息、語(yǔ)義信息和視覺(jué)信息。近些年，雙語(yǔ)者和兒童的口語(yǔ)詞匯理解持續(xù)受到關(guān)注。

心理技術(shù)與應(yīng)用6卷

9期林桐王娟： 基于視覺(jué)情境范式的口語(yǔ)詞匯理解研究進(jìn)展

21視覺(jué)情境范式在正常成人口語(yǔ)詞匯理解中的應(yīng)用早期視覺(jué)情境范式的研究，大多以正常成人為被試，探討口語(yǔ)詞匯理解過(guò)程中音、義、形信息的激活情況。研究顯示，人們?cè)谕ㄟ_(dá)聽(tīng)覺(jué)詞匯時(shí)，能激活其中的語(yǔ)音信息，包括詞首和詞尾的語(yǔ)音信息，且詞首語(yǔ)音信息獲得激活的時(shí)間更早、程度更強(qiáng)（Allopenna， Magnuson， & Tanenhaus， 1998； McQueen & Viebahn， 2007）。此外，語(yǔ)義信息也會(huì)被激活。例如，被試在加工聽(tīng)覺(jué)目標(biāo)詞（如“鋼琴”）時(shí)，其表征被快速激活。與此同時(shí)，與目標(biāo)詞語(yǔ)義相關(guān)的表征（如“小號(hào)”）也得到了激活（Huettig & Altmann， 2005）。類(lèi)似研究還發(fā)現(xiàn)，被試能在識(shí)別聽(tīng)覺(jué)詞匯時(shí)，激活該詞所指代的具體形象的形狀（Dahan & Tanenhaus， 2004； Rommers， Meyer， Praamstra， & Huettig， 2013）與顏色（Huettig & Altmann， 2011）。

綜上可知，人們?cè)诶斫饪谡Z(yǔ)詞匯時(shí)能自動(dòng)激活相關(guān)的語(yǔ)音、語(yǔ)義和視覺(jué)信息，但仍存在尚未解決的問(wèn)題。例如，這些信息是被平行地激活，還是存在先后順序？另一方面，視覺(jué)情境是否會(huì)對(duì)口語(yǔ)詞匯造成預(yù)激活？若是，影響程度有多大？

22視覺(jué)情境范式在雙語(yǔ)者口語(yǔ)詞匯理解中的應(yīng)用雙語(yǔ)者口語(yǔ)詞匯理解研究領(lǐng)域的重點(diǎn)在于，單一語(yǔ)言目標(biāo)詞呈現(xiàn)時(shí)，其跨語(yǔ)言語(yǔ)音競(jìng)爭(zhēng)詞是否同時(shí)獲得了激活。研究者通過(guò)在視覺(jué)情境中直接呈現(xiàn)跨語(yǔ)言語(yǔ)音競(jìng)爭(zhēng)詞，或呈現(xiàn)跨語(yǔ)言競(jìng)爭(zhēng)詞的翻譯對(duì)等詞來(lái)考察被試的語(yǔ)言激活情況。例如，通過(guò)呈現(xiàn)“mustache”（對(duì)應(yīng)西班牙文為“bigote”）來(lái)考察被試在加工英語(yǔ)聽(tīng)覺(jué)詞“beans”時(shí)，能否激活西班牙語(yǔ)詞“bigote”（Canseco-Gonzalez，Brehm， Brick， Brown-Schmidt， Fisher， & Wagner， 2010）。對(duì)俄-英雙語(yǔ)被試（Spivey & Marian， 1999）、英語(yǔ)-西班牙語(yǔ)被試（Canseco-Gonzalez， Brehm， Brick， Brown-Schmidt， Fisher， & Wagner，2010）以及荷蘭語(yǔ)-英語(yǔ)被試（Lagrou， Hartsuiker， & Duyck， 2013）的研究發(fā)現(xiàn)，雙語(yǔ)者無(wú)法在單一語(yǔ)言環(huán)境下抑制另一種語(yǔ)言的激活。此外，雙語(yǔ)者對(duì)跨語(yǔ)言競(jìng)爭(zhēng)詞的激活能力并不局限于非聲調(diào)語(yǔ)言和發(fā)聲語(yǔ)言。漢-英雙語(yǔ)者能同時(shí)激活相應(yīng)漢語(yǔ)詞匯的音段信息和聲調(diào)信息（Wang，Wang， & Malins， 2017）；英語(yǔ)-手語(yǔ)雙語(yǔ)者能激活與聽(tīng)覺(jué)目標(biāo)詞手語(yǔ)相似的詞（Giezen， Blumenfeld， Shook， Marian， & Emmorey， 2015）。

然而，有少量研究者持相反觀點(diǎn)。他們發(fā)現(xiàn)，聽(tīng)荷蘭語(yǔ)語(yǔ)句時(shí)，荷蘭語(yǔ)-英語(yǔ)雙語(yǔ)者無(wú)法激活與荷蘭語(yǔ)目標(biāo)詞語(yǔ)音相似的英語(yǔ)單詞（Weber & Cutler， 2004）；類(lèi)似地，日-英雙語(yǔ)者在加工高預(yù)測(cè)性英語(yǔ)口語(yǔ)語(yǔ)句時(shí)（即被試能根據(jù)句子信息在目標(biāo)詞出現(xiàn)前成功預(yù)測(cè)），也無(wú)法根據(jù)句子信息激活目標(biāo)詞的語(yǔ)音細(xì)節(jié)和對(duì)應(yīng)日語(yǔ)詞匯的語(yǔ)音（Ito， Pickering， & Corley， 2018）。

上述研究關(guān)于雙語(yǔ)者能否激活跨語(yǔ)言競(jìng)爭(zhēng)詞的結(jié)論存在差異，這可能與被試選取和實(shí)驗(yàn)安排有關(guān)。不同實(shí)驗(yàn)采用的被試對(duì)非母語(yǔ)語(yǔ)言的熟悉程度可能存在差異。另外，實(shí)驗(yàn)的語(yǔ)言環(huán)境也可能影響語(yǔ)言激活。Ito等人（2018）在實(shí)驗(yàn)中給被試呈現(xiàn)英語(yǔ)語(yǔ)句，實(shí)驗(yàn)前對(duì)圖片名字的學(xué)習(xí)也是通過(guò)英語(yǔ)來(lái)完成。這樣的環(huán)境下，被試可能難以激活母語(yǔ)。但也有研究發(fā)現(xiàn)，相比于先接受英語(yǔ)語(yǔ)境，英-法雙語(yǔ)者先接受法語(yǔ)語(yǔ)境再進(jìn)行英語(yǔ)的視覺(jué)情境范式任務(wù)時(shí)，被試對(duì)法語(yǔ)競(jìng)爭(zhēng)詞的激活程度更小（Mercier， Pivneva， & Titone， 2016）。再者，語(yǔ)言習(xí)得年齡、目標(biāo)詞與競(jìng)爭(zhēng)詞語(yǔ)音相似的程度以及不同語(yǔ)言間的差異也會(huì)影響實(shí)驗(yàn)結(jié)果。因此，推廣該領(lǐng)域的研究結(jié)果時(shí)要保持謹(jǐn)慎。

23視覺(jué)情境范式對(duì)兒童口語(yǔ)詞匯理解的研究以往的實(shí)驗(yàn)大多針對(duì)正常成人展開(kāi)，近幾年一些研究者開(kāi)始關(guān)注兒童的口語(yǔ)詞匯理解。一些研究證明，兒童對(duì)聽(tīng)覺(jué)詞匯語(yǔ)音信息的激活能力已接近成人。24個(gè)月、30個(gè)月的幼兒能迅速激活聽(tīng)覺(jué)目標(biāo)詞的語(yǔ)音，且快于對(duì)語(yǔ)義的激活（Chow， Davies， & Plunkett， 2017）；在漢語(yǔ)中，4歲幼兒可以激活目標(biāo)詞的音段信息和超音段信息，包括聲母、韻母和聲調(diào)（李爽， 2016； 王丹丹， 2016）。但對(duì)于聽(tīng)覺(jué)詞匯語(yǔ)義的理解，兒童還與成人存在一定差距，主要表現(xiàn)在部分深層次的語(yǔ)義上。例如，6歲兒童在通達(dá)聽(tīng)覺(jué)詞匯“鋸子”時(shí)，能夠理解“斧子”和“木頭”與之語(yǔ)義相關(guān)，而無(wú)法意識(shí)到“小刀”也與“鋸子”存在語(yǔ)義的關(guān)聯(lián)（Pluciennicka， Coello， & Kalénine， 2016）。

該范式對(duì)兒童被試的研究初步揭示了兒童的口語(yǔ)詞匯加工過(guò)程。在語(yǔ)音方面，兒童能運(yùn)用音段與超音段信息來(lái)識(shí)別聽(tīng)覺(jué)詞匯，與成人無(wú)顯著差異；在語(yǔ)義方面，兒童能理解聽(tīng)覺(jué)目標(biāo)詞的基本語(yǔ)義，而對(duì)某些深層詞義和抽象意義的理解，仍與成人存在差距。學(xué)前兒童獲得詞義的過(guò)程比獲得語(yǔ)音、語(yǔ)法的過(guò)程緩慢（趙寄石， 樓必生， 2003），并且他們思維能力的發(fā)展還不夠完善，其對(duì)不同類(lèi)型詞義的口語(yǔ)理解還需繼續(xù)探討。

3視覺(jué)情境范式的實(shí)驗(yàn)材料對(duì)口語(yǔ)詞匯理解的影響31視覺(jué)材料呈現(xiàn)類(lèi)型的影響

研究表明，視覺(jué)情境范式中視覺(jué)材料的呈現(xiàn)類(lèi)型不同，則其結(jié)果也將存在差異。呈現(xiàn)文字時(shí)，被試對(duì)語(yǔ)音競(jìng)爭(zhēng)詞的注視較多；而呈現(xiàn)圖片時(shí)，被試對(duì)語(yǔ)義競(jìng)爭(zhēng)詞和形狀競(jìng)爭(zhēng)詞的注視較多（Huettig & McQueen， 2007）。此外，文字材料還適于考察語(yǔ)音細(xì)節(jié)（Reinisch， Jesse， & McQueen， 2010）和字形（Salverda & Tanenhaus， 2010）的激活情況。這些研究初步揭示了呈現(xiàn)兩種材料的差異：圖片版本對(duì)語(yǔ)義、視覺(jué)信息更敏感，而文字版本更適合研究語(yǔ)音與字形。

然而，上述結(jié)論基于對(duì)西方拼音文字的研究。Shen，Qu和Li （2016）對(duì)漢語(yǔ)被試的研究發(fā)現(xiàn)，文字材料能同時(shí)引起語(yǔ)義和語(yǔ)音的激活，且對(duì)語(yǔ)義的激活程度強(qiáng)于語(yǔ)音。另外，該研究沒(méi)有發(fā)現(xiàn)字形被激活的證據(jù)。與Shen等人（2016）發(fā)現(xiàn)的微弱語(yǔ)音競(jìng)爭(zhēng)效應(yīng)不同，有研究表明漢語(yǔ)語(yǔ)音競(jìng)爭(zhēng)效應(yīng)在文字版本的視覺(jué)情境范式中是穩(wěn)固的（Shen， Qu， & Tong， 2018），且文字材料對(duì)漢語(yǔ)的語(yǔ)音細(xì)節(jié)極為敏感（Shen， Deutsch， & Rayner， 2013）。

綜上所述，呈現(xiàn)圖片或文字在西方拼音文字和漢語(yǔ)中造成的研究差異是不同的。拼音文字中，文字與語(yǔ)音的聯(lián)系較強(qiáng)；而漢語(yǔ)中，文字與語(yǔ)音及語(yǔ)義都存在關(guān)聯(lián)。因此，文字材料能夠考察漢語(yǔ)語(yǔ)義的激活情況。值得一提的是，在拼音文字中，單詞的語(yǔ)音與字形無(wú)法完全分離，只能借助字形的相似程度來(lái)探討其激活情況。例如，Salverda和Tanenhaus （2010）通過(guò)操控兩個(gè)競(jìng)爭(zhēng)詞 （如“bear”和“bare”）的語(yǔ)音與目標(biāo)詞（如“bean”）相似程度一致，而字形相似程度不同，從而展開(kāi)研究。漢語(yǔ)中存在大量同音字和多音字，能夠做到形和音完全分離。故而，可以采用漢字對(duì)口語(yǔ)詞匯理解中的字形激活情況進(jìn)行后續(xù)研究。

32聽(tīng)覺(jué)環(huán)境的影響

現(xiàn)實(shí)生活中，人們面臨著各式各樣的聽(tīng)覺(jué)環(huán)境，而不僅是實(shí)驗(yàn)條件下的安靜環(huán)境。一些研究顯示，聽(tīng)覺(jué)環(huán)境的改變會(huì)影響被試的口語(yǔ)詞匯理解。當(dāng)聽(tīng)覺(jué)語(yǔ)句的部分音素被替換為噪音時(shí)，被試對(duì)首音相似詞的注視減少了，而對(duì)尾音相似詞的注視更早、更多了，但對(duì)前者的注視時(shí)長(zhǎng)仍多于后者（McQueen & Huettig， 2012）。這與植入人工耳蝸的語(yǔ)前聾被試的口語(yǔ)詞匯識(shí)別模式類(lèi)似（McMurray， Farris-Trimble， & Rigler， 2017）。該模式可能是一種加工策略，當(dāng)我們無(wú)法確定聽(tīng)覺(jué)詞匯時(shí)，傾向于降低識(shí)別速度從而做出正確選擇。因此，尾音信息此時(shí)顯得更為重要。此外，實(shí)際生活中有時(shí)存在不止一種聲音來(lái)源。當(dāng)目標(biāo)聲源和無(wú)關(guān)聲源并存時(shí)，被試無(wú)法完全忽略無(wú)關(guān)聽(tīng)覺(jué)內(nèi)容，而會(huì)同時(shí)加工目標(biāo)內(nèi)容與無(wú)關(guān)內(nèi)容（Brouwer & Bradlow， 2016）。

上述研究探討了人們?cè)谠胍舡h(huán)境和雙聲源環(huán)境下的聽(tīng)覺(jué)詞匯識(shí)別模式，有利于揭示更接近于現(xiàn)實(shí)情境的口語(yǔ)理解過(guò)程。

33預(yù)示時(shí)長(zhǎng)的影響

在不少研究中，視覺(jué)情境范式的視覺(jué)情境與聽(tīng)覺(jué)刺激中的目標(biāo)詞同時(shí)呈現(xiàn)；或者，視覺(jué)情境在聽(tīng)覺(jué)目標(biāo)詞之前呈現(xiàn)，這讓被試有短暫的時(shí)間來(lái)熟悉圖片或文字。視覺(jué)材料的預(yù)示時(shí)長(zhǎng)會(huì)影響被試的口語(yǔ)加工進(jìn)程?；谄匆粑淖值难芯匡@示，當(dāng)視覺(jué)情境與目標(biāo)詞同時(shí)呈現(xiàn)時(shí)，聽(tīng)覺(jué)目標(biāo)詞的語(yǔ)音信息獲得了激活，并且比語(yǔ)義、形狀信息被激活得更早；但當(dāng)預(yù)示時(shí)長(zhǎng)為200ms時(shí)，語(yǔ)音信息不再被激活（Huettig & McQueen， 2007）。在漢語(yǔ)中，長(zhǎng)預(yù)示條件下，被試對(duì)聽(tīng)覺(jué)目標(biāo)詞的語(yǔ)義和語(yǔ)音信息激活水平較高；而短預(yù)示條件下，被試只激活了目標(biāo)詞的語(yǔ)義信息（Shen，Qu， & Li， 2016）。

由此可見(jiàn)，視覺(jué)情境的預(yù)示時(shí)長(zhǎng)會(huì)影響被試的聽(tīng)覺(jué)詞匯理解，且在漢語(yǔ)與拼音文字中影響不同。目前對(duì)此展開(kāi)的實(shí)驗(yàn)較少，尚無(wú)統(tǒng)一的結(jié)論。

4視覺(jué)情境范式的優(yōu)勢(shì)與局限

41優(yōu)勢(shì)

由于獨(dú)特的實(shí)驗(yàn)設(shè)置，視覺(jué)情境范式成為研究口語(yǔ)理解的有效工具。首先，該范式將視覺(jué)刺激與聽(tīng)覺(jué)刺激相結(jié)合，使被試面對(duì)的實(shí)驗(yàn)環(huán)境生態(tài)程度較高。其次，該范式對(duì)被試的知識(shí)背景、理解能力、操作能力要求較低，因而適合一些特殊被試。再次，視覺(jué)情境范式運(yùn)用眼動(dòng)追蹤技術(shù)，實(shí)時(shí)測(cè)量被試對(duì)口語(yǔ)的理解進(jìn)程，為我們了解口語(yǔ)理解的時(shí)間進(jìn)程和加工機(jī)制提供了依據(jù)。最后，語(yǔ)言、視覺(jué)信息、記憶和注意等認(rèn)知加工過(guò)程通常被獨(dú)立地研究，但一般來(lái)說(shuō)，它們需要協(xié)同工作。視覺(jué)情境范式可以將這些認(rèn)知加工過(guò)程整合起來(lái)考慮。

42局限

雖然視覺(jué)情境范式被越來(lái)越多的研究者所青睞，但仍存在不足之處。該范式最明顯的局限性在于實(shí)驗(yàn)的視覺(jué)情境是有限的。實(shí)驗(yàn)中，有限的備選圖片會(huì)影響被試的詞匯加工。被試聽(tīng)到相應(yīng)口語(yǔ)時(shí)，激活的信息可能不止是視覺(jué)情境所呈現(xiàn)的。由于實(shí)驗(yàn)情境與現(xiàn)實(shí)情境的差異，我們不能確定實(shí)驗(yàn)中的理解過(guò)程與實(shí)際情況是否完全一致。

另外，由于視覺(jué)情境與聽(tīng)覺(jué)刺激的結(jié)合，實(shí)驗(yàn)結(jié)果可能不只是口語(yǔ)理解的結(jié)果，而同時(shí)還受到視覺(jué)情境的影響。有證據(jù)表明，預(yù)先呈現(xiàn)的視覺(jué)情境可能會(huì)使被試的口語(yǔ)識(shí)別速度偏快（Henderson & Ferreira， 2004； Huettig & McQueen， 2007）。

5研究展望

51加強(qiáng)對(duì)漢語(yǔ)口語(yǔ)詞匯理解的研究

拼音文字音-形結(jié)合緊密的特點(diǎn)決定了其無(wú)法純粹地分離語(yǔ)音和字形因素（鄒麗娟， 2015），因此無(wú)法將其音和形完全分離開(kāi)進(jìn)行探究。而漢字是與意義匹配，而非與聲音匹配，不存在一致的字形-語(yǔ)音的對(duì)應(yīng)關(guān)系。但是，漢字的亞詞匯單元卻既可以表音，也可以表義（張積家， 王娟， 印叢， 2014），通過(guò)同音字和多音字做到音和形的完全分離。同時(shí)，不同讀音的漢字之間也可能享有相同的部件。這些特點(diǎn)為研究漢字字形在口語(yǔ)詞匯理解中的激活情況提供了道路。未來(lái)需加強(qiáng)對(duì)漢語(yǔ)口語(yǔ)詞匯理解的研究。例如，Shen等人（2016）通過(guò)視覺(jué)情境范式并未發(fā)現(xiàn)字形被激活的證據(jù)。這與已有研究結(jié)果（陳栩茜， 李昀恒， 張積家， 2014； 鄒麗娟， 2015）不一致，未來(lái)還需進(jìn)一步驗(yàn)證。

52加強(qiáng)對(duì)特殊被試口語(yǔ)詞匯理解的研究

近幾年，已有不少研究者關(guān)注到特殊被試的口語(yǔ)詞匯理解，如兒童、聽(tīng)力障礙者和手語(yǔ)者。也有研究將視覺(jué)情境范式用于孤獨(dú)癥兒童和特定言語(yǔ)功能損傷兒童的句法理解（Andreu， Sanz-Torrent， & Rodríguez-Ferreiro， 2016； Brady， Anderson， Hahn， Obermeier， & Kapa， 2014）。未來(lái)應(yīng)運(yùn)用該范式更深層次地揭露特殊群體的口語(yǔ)詞匯理解過(guò)程，并擴(kuò)大研究對(duì)象，如閱讀障礙兒童和言語(yǔ)功能腦區(qū)受損的病人等。

53繼續(xù)改進(jìn)視覺(jué)情境范式的實(shí)驗(yàn)材料

邱麗景等人（2009）認(rèn)為，若能參考場(chǎng)景知覺(jué)、視覺(jué)注意等相關(guān)領(lǐng)域研究的新進(jìn)展，使視覺(jué)情境的設(shè)置更接近真實(shí)情境，該范式將獲得更大的生命力，口語(yǔ)理解的研究將取得更大的突破。已有研究者對(duì)視覺(jué)情境的背景進(jìn)行考察（Yu & Tsai， 2016），但目前絕大部分研究中的視覺(jué)情境仍停留在早期階段，與現(xiàn)實(shí)情境存在較大差異。未來(lái)在該范式的視覺(jué)情境和聽(tīng)覺(jué)環(huán)境上應(yīng)有所改進(jìn)，進(jìn)一步提高生態(tài)程度。例如，提高視覺(jué)背景和圖片的復(fù)雜性，在聽(tīng)覺(jué)刺激中加入情緒信息等。最后，預(yù)示時(shí)長(zhǎng)如何影響口語(yǔ)理解也需進(jìn)一步探討。

54小結(jié)

視覺(jué)情境范式將視覺(jué)情境和相關(guān)的聽(tīng)覺(jué)刺激進(jìn)行跨通道結(jié)合，讓被試在相對(duì)自然的實(shí)驗(yàn)環(huán)境下進(jìn)行反應(yīng)。它有著操作簡(jiǎn)易、對(duì)被試要求較低和對(duì)時(shí)間敏感等諸多優(yōu)點(diǎn)，近些年受到研究者的廣泛認(rèn)可和使用。同時(shí)，該范式有多個(gè)版本，可用于研究口語(yǔ)詞匯理解、句法加工以及口語(yǔ)產(chǎn)生等心理過(guò)程?？偠灾?，視覺(jué)情境范式是研究口語(yǔ)行之有效的工具。今后需要繼續(xù)關(guān)注特殊被試的口語(yǔ)理解過(guò)程，并對(duì)不同實(shí)驗(yàn)環(huán)境展開(kāi)研究。

參考文獻(xiàn)

陳栩茜， 李昀恒， 張積家 （2014）. 漢語(yǔ)雙字聽(tīng)覺(jué)詞高頻首字通達(dá)中的字形激活. 華南師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版） ，（3） 74-83.

李爽 （2016）. 音段和超音段信息對(duì)4歲幼兒漢語(yǔ)口語(yǔ)詞匯識(shí)別的影響. 碩士學(xué)位論文. 遼寧師范大學(xué).

邱麗景， 王穗蘋(píng)， 關(guān)心 （2009）. 口語(yǔ)理解的視覺(jué)—情境范式研究. 華南師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），（1）， 130-136.

王丹丹 （2016）. 4歲幼兒漢語(yǔ)口語(yǔ)識(shí)別中音段信息和超音段信息作用的眼動(dòng)研究. 碩士學(xué)位論文. 遼寧師范大學(xué).

趙寄石， 樓必生 （2003）. 學(xué)前兒童語(yǔ)言教育. 北京： 人民教育出版社.

張積家， 王娟， 印叢 （2014）. 聲符和義符在形聲字語(yǔ)音、語(yǔ)義提取中的作用——來(lái)自部件知覺(jué)眼動(dòng)研究的證據(jù). 心理學(xué)報(bào)， 46（7）， 885-900.

鄒麗娟 （2015）. 聽(tīng)覺(jué)詞匯識(shí)別中字形激活的認(rèn)知及神經(jīng)機(jī)制. 心理科學(xué)， 38（6）， 1353-1358.

Allopenna， P. D.， Magnuson， J. S.， & Tanenhaus， M. K. （1998）. Tracking the time course of spoken word recognition using eye movement： Evidence for continuous mapping models. Journal of Memory and Language， 38（4）， 419-439.

Altmann， G. T.， & Kamide， Y. （1999）. Incremental interpretation at verbs： restricting the domain of subsequent reference. Cognition， 73（3）， 247-264.

Andreu， L.， Sanz-Torrent， M.， & RodrGuez-Ferreiro， J. （2016）. Do children with SLI use verbs to predict arguments and adjuncts： evidence from eye movements during listening. Frontiers in Psychology， 6（1917）， 1917.

Brady， N. C.， Anderson， C. J.， Hahn， L. J.， Obermeier， S. M.， & Kapa， L. L. （2014）. Eye tracking as a measure of receptive vocabulary in children with autism spectrum disorders. Augmentative and Alternative Communication， 30（2）， 147-159.

Brouwer， S.， & Bradlow， A. R. （2016）. The temporal dynamics of spoken word recognition in adverse listening conditions. Journal of Psycholinguistic Research， 45（5）， 1151-1160.

Canseco-Gonzalez， E.， Brehm， L.， Brick， C.， Brown-Schmidt， S.， Fisher， K.， & Wagner， K. （2010）. Carpet or Cárcel： The effect of age of acquisition and language mode on bilingual lexical access. Language and Cognitive Processes， 25（5）， 669-705.

Chow， J.， Davies， A. A.， & Plunkett， K. （2017）. Spoken-word recognition in 2-year-olds： the tug of war between phonological and semantic activation. Journal of Memory and Language， 93， 104-134.

Cooper， R. M. （1974）. The control of eye fixation by the meaning of spoken language： a new methodology for the real-time investigation of speech perception， memory， and language processing. Cognitive Psychology， 6（1）， 84-107.

Dahan， D.， & Tanenhaus， M. K. （2004）. Continuous mapping from sound to meaning in spoken-language comprehension： immediate effects of verb-based thematic constraints. Journal of Experimental Psychology： Learning， Memory， and Cognition， 30（2）， 498-513.

Giezen， M. R.， Blumenfeld， H. K.， Shook， A.， Marian， V.， & Emmorey， K. （2015）. Parallel language activation and inhibitory control in bimodal bilinguals. Cognition， 141， 9-25.

Henderson， J. M.， & Ferreira， F. （2004）. Scene perception for psycholinguists. In J. M. Henderson & F. Ferreira （Eds.）， The Interface of Language， Vision， and Action （pp. 1-58）. Hove： Psychology Press.

Huettig， F.， & Altmann， G. T. M. （2005）. Word meaning and the control of eye fixation： semantic competitor effects and the visual world paradigm. Cognition， 96（1）， B23-B32.

Huettig， F.， & Altmann， G. T. M. （2011）. Looking at anything that is green when hearing ‘frog -How object surface colour and stored object colour knowledge influence language-mediated overt attention， Quarterly Journal of Experimental Psychology， 64（1）， 122-145.

Huettig， F.， & McQueen， J. M. （2007）. The tug of war between phonological， semantic， and shape information in language-mediated visual search. Journal of Memory and Language， 57（4）， 460-482.

Ito， A.， Pickering， M.， & Corley， M. （2018）. Investigating the time-course of phonological prediction in native and non-native speakers of English： A visual world eye-tracking study. Journal of Memory and Language， 98， 1-11.

Lagrou， E.， Hartsuiker， R. J.， & Duyck， W. （2013）. Interlingual lexical competition in a spoken sentence context： evidence from the visual world paradigm. Psychonomic Bulletin and Review， 20（5）， 963-972.

Mcmurray， B.， Farris-Trimble， A.， & Rigler， H. （2017）. Waiting for lexical access： cochlear implants or severely degraded input lead listeners to process speech less incrementally. Cognition， 169， 147-164.

McQueen， J. M.， & Huettig， F. （2012）. Changing only the probability that spoken words will be distorted changes how they are recognized. Journal of the Acoustical Society of America， 131（1）， 509-517.

McQueen， J. M.， & Viebahn， M. C. （2007）. Tracking recognition of spoken words by tracking looks to printed words. Quarterly Journal of Experimental Psychology， 60（5）， 661-671.

Mercier， J.， Pivneva， I.， & Titone， D. （2016）. The role of prior language context on bilingual spoken word processing： evidence from the visual world task. Bilingualism： Language and Cognition， 19（2）， 376-399.

Pluciennicka， E.， Coello， Y.， & Kalénine， S. （2016）. Development of implicit processing of thematic and functional similarity relations during manipulable artifact object identification： evidence from eye-tracking in the visual world paradigm. Cognitive Development， 38， 75-88.

Reinisch， E.， Jesse， A.， & Mcqueen， J. M. （2010）. Early use of phonetic information in spoken word recognition： lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology， 63（4）， 772-783.

Rommers， J.， Meyer， A. S.， Praamstra， P.， & Huettig， F. （2013）. The contents of predictions in sentence comprehension： activation of the shape of objects before they are referred to. Neuropsychologia， 51（3）， 437-447.

Salverda， A. P.， & Tanenhaus， M. K. （2010）. Tracking the time course of orthographic information in spoken-word recognition. Journal of Experimental Psychology Learning Memory and Cognition， 36（5）， 1108-1117.

Shen， J.， Deutsch， D.， & Rayner， K. （2013）. On-line perception of mandarin tones 2 and 3： evidence from eye movements. Journal of the Acoustical Society of America， 133（5）， 3016-3029.

Shen， W.， Qu， Q.， & Li， X. （2016）. Semantic information mediates visual attention during spoken word recognition in Chinese： evidence from the printed-word version of the visual-world paradigm. Attention Perception and Psychophysics， 78（5）， 1-18.

Shen， W.， Qu， Q.， & Tong， X. （2018）. Visual attention shift to printed words during spoken word recognition in Chinese： the role of phonological information. Memory & Cognition， 46（4）， 642-654.

Spivey， M. J.， & Marian， V. （1999）. Cross talk between native and second languages： partial activation of an irrelevant lexicon. Psychological Science， 10（3）， 281-284.

Tanenhaus， M. K.， Spivey-Knowlton， M. J.， Eberhard， K. M.， & Sedivy， J. C. （1995）. Integration of visual and linguistic information in spoken language comprehension. Science， 268（5217）， 1632-1634.

Thothathiri， M. & Snedeker， J. （2008）. Give and take： syntactic priming during spoken language comprehension. Cognition， 108（1）， 51-68.

Wang， X.， Wang， J.， & Malins， J. G. （2017）. Do you hear ‘feather when listening to ‘rain？ Lexical tone activation during unconscious translation： evidence from Mandarin-English Bilinguals. Cognition， 169（12）， 15-24.

Weber， A.， & Cutler， A. （2004）. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language， 50（1）， 1-25.

Yu， W. Y.， & Tsai， J. L. （2016）. Modulation of scene consistency and task demand on language-driven eye movements for audio-visual integration. Acta Psychologica， 171， 1-16.