情景間語義關(guān)系對語義關(guān)聯(lián)判斷的影響 *

康廷虎 吳晨靜

(1 西北師范大學(xué)心理學(xué)院視覺認知實驗室，蘭州 730070) (2 甘肅省行為與心理健康重點實驗室，蘭州 730070)

1 引言

情景（scene）是由真實世界中各個分散的刺激物及其背景構(gòu)成的、具有語義一致性的視覺圖景（Henderson, 2005; Henderson & Hollingworth,1999; 康廷虎, 王麗, 2016）。Henderson 和Hollingworth（1999）將人類的視覺研究分為三個水平：低水平的視覺（low-level vision），中級水平的視覺（intermediate-level vision）和高水平的視覺（high-level vision）。其中高水平的視覺是從視覺表征到意義的綜合映像，以及認知與知覺交互作用的過程，包括信息的有效獲得、視覺信息的短時記憶等。那么，高水平視覺加工所獲得的情景語義是否會影響人們對情景間關(guān)系的識別呢？

Muehlhaus等人（2014）認為，通過對客體與客體之間關(guān)系的理解而獲得的語義關(guān)系，可以促進對單獨客體的理解，而語義關(guān)系的基本組織原則是分類。分類可以使個體快速識別刺激物并將其與熟悉的其他物體相關(guān)聯(lián)；分類還可以幫助個體學(xué)習(xí)如何將新異的刺激物與已有的知識結(jié)構(gòu)進行整合（Sachs, Weis, Zellagui et al., 2008）。有研究者指出，對客體或者實物的分類一般是依據(jù)客體之間的語義關(guān)系而進行，而語義關(guān)系可以分為類別關(guān)系和主題關(guān)系（Caramazza & Mahon, 2003;Mirman, Landrigan, & Britt, 2017; Patterson, Nestor, &Rogers, 2007; Thompson-Schill, 2003）。其中類別關(guān)系是指一系列客體或?qū)嵨镌谥X、生理學(xué)或者功能屬性上具有一定的相似性（Chen et al., 2014;Jones & Golonka, 2012; Medin & Ortony, 1989），比如餐桌和書桌；而主題關(guān)系存在于客體、事件、人物以及其他實體之間，具有主題關(guān)系就表示在時間以及空間上可以共現(xiàn)或相互作用（Markman,1991）。其主要包括空間關(guān)系（窗戶和墻）和生產(chǎn)關(guān)系（牛奶和奶牛）（Estes, Golonka, & Jones,2011; Lin & Murphy, 2001; Wamain, Pluciennicka, &Kal?Nine, 2015）。

在對語義關(guān)系研究中，研究者主要以詞對和客體圖片作為研究材料（Chee et al., 2000; Maintenant,Blaye, & Paour, 2011; Muehlhaus et al., 2014），而且發(fā)現(xiàn)人們對不同語義關(guān)系的歸類加工存在差異（Chen et al., 2013; de Zubicaray, Hansen, & Mcmahon,2013; Kalénine et al., 2009; Lewis, Poeppel, & Murphy,2015; Sachs, Weis, Krings, Huber, & Kircher, 2008; Yi et al., 2011），比如，東方被試傾向于做主題判斷，而西方人傾向于做類別判斷。研究者認為這可能與人們在語義關(guān)系判斷任務(wù)中所采用的策略及其所擁有的文化經(jīng)驗有關(guān)。處于個人主義文化背景中的被試，其與個體相關(guān)經(jīng)驗的啟動會抑制對物體共性的知覺，但是處于集體主義文化背景中的被試，其相關(guān)經(jīng)驗的啟動會促進對物體共性的知覺（Nisbett, Peng, Choi, & Norenzayan, 2001; Ji,Zhang, & Nisbett, 2004; Pennequin, Fontaine, Bonthoux,Scheuner, & Blaye, 2006）。Gutchess等（2006）的研究也發(fā)現(xiàn)，與美國被試相比，亞洲被試進行主題判斷的正確率高于類別判斷，并認為亞洲文化中的被試更偏向于使用功能性關(guān)系（主題關(guān)系）判斷，而非類別關(guān)系的判斷。

Ziaeefard和Bergevin（2015）認為，在人類的視覺加工過程中，語義具有重要的影響。對于真實情景而言，情景語義是指觀察者對情景中全部屬性進行提取加工得到的（如情景語義梗概），它以語言的形式進行加工，可以引導(dǎo)被試的注意以及眼動過程（Hwang, Wang, & Pomplun, 2011;Torralba, Oliva, Castelhano, & Henderson, 2006）。人們對情景之間語義關(guān)系的識別與判斷是高級語義的加工，也屬于情景的高層次加工，因此，可以通過情景梗概所激活的語義概念判斷不同情景之間是否存在語義關(guān)系。在本研究中，擬應(yīng)用情景圖片對作為實驗材料，探索人們在情景知覺過程中，情景間語義關(guān)系的影響及其視覺加工特征。在以詞對為實驗材料的研究中，研究者發(fā)現(xiàn)人們在對詞對進行分類的過程中往往會依據(jù)詞對之間的語義關(guān)系，使用主題分類策略和類別分類策略（Patterson et al., 2007）。那么，對于具有語義特征的情景圖片材料，被試是否會依賴情景間語義關(guān)系進行分類呢？此外，如果情景之間的語義關(guān)系對情景分類產(chǎn)生影響，那么，人們在情景瀏覽過程中，其視覺信息加工具有什么特點呢？本研究將通過兩個實驗，分別考察情景分類過程中情景間語義關(guān)系的影響，以及情景間語義關(guān)系分類過程中的眼動特征。

2 實驗1

2.1 實驗?zāi)康?/h3>

實驗1探討情景之間的語義關(guān)系是否對情景語義關(guān)聯(lián)判斷具有顯著的影響。

2.2 研究方法

2.2.1 被試

隨機選取32名某大學(xué)在校大學(xué)生，其中女生13名，男生19名，年齡在18歲到23歲之間，平均年齡20.35±2.18。所有被試都是右利手，視力正?；蛘叱C正視力在1.0以上，實驗持續(xù)20-30分鐘。在實驗結(jié)束之后，給被試贈送小禮品。被試簽署實驗知情同意書。

2.2.2 實驗材料

根據(jù)實驗?zāi)康?，先選取一定的語義關(guān)聯(lián)詞語，然后在百度圖庫中搜索可以用詞語描述的情景圖片，然后根據(jù)相關(guān)屬性以及無關(guān)屬性對圖片進行配對（兩張情景圖片組成一張材料刺激，如圖1-a，小麥和饅頭存在語義關(guān)聯(lián)），其中相關(guān)屬性材料中包括主題語義關(guān)系和類別語義關(guān)系圖片對。對選擇的圖片材料使用Photoshop7.0圖片處理工具進行編輯處理。所有真實情景圖片均為1024×768像素。材料編輯完成后選取11名被試對其語義關(guān)系進行評定（這些被試不參與正式實驗），選取反應(yīng)正確率（被試對圖片對的正確反應(yīng)人數(shù)/總評定人數(shù)）在65%以上的材料作為正式實驗材料。最終形成312張（156對）實驗材料。其中104對情景圖片之間具有關(guān)聯(lián)語義關(guān)系（情景之間可以通過類別或者主題關(guān)系進行聯(lián)結(jié)），其余52對情景圖片不具有關(guān)聯(lián)語義關(guān)系（不能用某種語義關(guān)系聯(lián)結(jié)）。

2.2.3 實驗設(shè)計及程序

單因素被試內(nèi)實驗設(shè)計，語義關(guān)系（語義關(guān)聯(lián)，無語言關(guān)聯(lián)）為自變量，因變量為自由判斷條件下被試進行判斷的時間以及每組相關(guān)屬性材料的語義關(guān)系選擇的正確率。不同語義屬性的材料隨機呈現(xiàn)。

實驗中，首先呈現(xiàn)指導(dǎo)語，并引導(dǎo)進入練習(xí)實驗（5個試次）。在練習(xí)結(jié)束，被試正確理解指導(dǎo)語并熟悉實驗流程之后進入正式實驗。正式實驗時，首先呈現(xiàn)“注視點”500ms，然后隨機呈現(xiàn)實驗材料，要求被試判斷兩個真實情景圖片之間有無語義關(guān)聯(lián)，“有語義關(guān)聯(lián)”按“F”鍵，“無語義關(guān)聯(lián)”則按“J”鍵。如果被試選擇“F”鍵，呈現(xiàn)第二個判斷界面，要求被試選擇之前判斷相關(guān)性依據(jù)的是哪種關(guān)系（主題、類別以及其他關(guān)系）。整個實驗約30分鐘（實驗流程如圖2所示）。

2.2.4 數(shù)據(jù)分析

實驗應(yīng)用E-prime2.0編程并收集數(shù)據(jù)，運用SPSS20.0（試用版）做數(shù)據(jù)整理與分析。

2.3 結(jié)果與分析

對每一組相關(guān)屬性實驗材料在關(guān)聯(lián)判斷過程中語義關(guān)系應(yīng)用的頻率進行統(tǒng)計，結(jié)果發(fā)現(xiàn)對于主題關(guān)系以及類別關(guān)系的正確選擇比率在65%以上，這表明情景之間的確存在語義關(guān)系。表1顯示的是不同語義屬性下被試的判斷時間描述統(tǒng)計。

表 1 有無語義關(guān)系情景圖片對的語義關(guān)聯(lián)判斷反應(yīng)時（ms）

對語義關(guān)聯(lián)判斷反應(yīng)時進行單因素方差分析，結(jié)果顯示語義關(guān)系的主效應(yīng)顯著F（1, 21）=17.20，p＜0.01，η2=0.003，無語義關(guān)聯(lián)材料的反應(yīng)時顯著長于語義關(guān)聯(lián)材料的反應(yīng)時。相關(guān)屬性材料包含了主題語義關(guān)系和類別語義關(guān)系，情景圖片之間的語義關(guān)系可能促進了被試對語義關(guān)聯(lián)材料的判斷。

3 實驗2

3.1 實驗?zāi)康?/h3>

實驗2應(yīng)用眼動研究范式（eye movement paradigm, Henderson & Hollingworth, 1999），考察情景間語義關(guān)聯(lián)判斷過程中的眼動特征及信息加工特點。

3.2 實驗方法

3.2.1 被試

隨機選取27名某大學(xué)的在校學(xué)生，男性11名，女性16名，年齡在18-24之間，平均年齡21.55±1.91。所有被試都是右利手，視力正?；蛘叱C正視力在1.0以上。實驗持續(xù)大概20分鐘，每個被試在實驗結(jié)束之后，贈送小禮品。實驗前均簽署實驗知情同意書。

3.2.2 實驗儀器

該實驗應(yīng)用SR EyeLink 1000 Plus塔座式眼動儀記錄眼動指標(biāo)，實驗中僅追蹤右眼，采樣率為2000 HZ。固定被試的下巴與額頭，采用9點校準。刺激圖片在32位1024×768像素的計算機屏幕以三角形的方式呈現(xiàn)在固定區(qū)域（如圖3所示）。被試坐在他眼睛平視距離為65 cm的地方。

3.2.3 實驗材料

實驗1中的語義關(guān)聯(lián)材料（包括主題語義關(guān)系圖片對和類別語義關(guān)系圖片對）和無語義關(guān)聯(lián)材料按“三詞組”范式（Gutchess, Hedden, Ketay,Aron, & Gabrieli, 2010）對情景圖片進行組合，最終形成實驗2的實驗材料55張，每張實驗材料包含3張情景圖片，其中兩兩具有主題語義關(guān)系、類別語義關(guān)系以及無關(guān)關(guān)系（Sachs et al., 2008）。

3.2.4 實驗設(shè)計和程序

自變量為語義關(guān)系類型（主題語義關(guān)系、類別語義關(guān)系、無關(guān)關(guān)系）的被試內(nèi)實驗設(shè)計，因變量為自由判斷條件下被試進行語義關(guān)系類型判斷的反應(yīng)時間、頻數(shù)百分數(shù)和正確率，以及不同興趣區(qū)的注視點個數(shù)、注視時間、回視路徑時間、瞳孔直徑和回視出個數(shù)。

采用EB編輯實驗程序。首先呈現(xiàn)指導(dǎo)語，并引導(dǎo)進入練習(xí)實驗（5個試次），被試學(xué)習(xí)判斷標(biāo)準并對呈現(xiàn)的圖片進行判斷。在練習(xí)結(jié)束，被試正確理解指導(dǎo)語并熟悉實驗流程之后進入正式實驗。在實驗過程中，先進行9點校準，校準后呈現(xiàn)“＋”字注視點500 ms，然后隨機呈現(xiàn)實驗材料（5000 ms），要求被試對于三角形三頂點處的三張情景圖片進行語義關(guān)聯(lián)判斷，并按“F”、“J”以及空格鍵進行反應(yīng)，以“F”鍵代表三角形的左邊，“J”鍵代表三角形的右邊，“空格鍵”代表三角形的底邊。以圖3為例，如果被試認為1號邊兩端的情景圖片有語義關(guān)系，就按“F”鍵；如果被試認為2號邊兩端的情景圖片有語義關(guān)系，就按“J”鍵；如果認為3號邊兩端的情景圖片有語義關(guān)系，就按“空格鍵”。

3.2.5 數(shù)據(jù)整理與分析

對被試情景語義關(guān)系判斷頻數(shù)做卡方分析，結(jié)果顯示，被試對主題關(guān)系和類別關(guān)系判斷的頻數(shù)存在顯著差異（χ2=9.00，df=1，p＜0.05）。被試做主題關(guān)系判斷的頻數(shù)顯著高于類別關(guān)系判斷。為了考查被試語義關(guān)系判斷過程中的信息加工特點。興趣區(qū)的界定以三角形的三條不同的邊定義為不同興趣區(qū)，區(qū)域的編碼與三邊上情景語義關(guān)系相一致，按其語義關(guān)系分別編碼為主題興趣區(qū)、類別興趣區(qū)、無關(guān)興趣區(qū)。在本實驗中主要分析主題興趣區(qū)和類別興趣區(qū)的眼動數(shù)據(jù)。對圖片反應(yīng)的正確率為97.2%，錯誤率為2.8%。實驗材料有效，實驗數(shù)據(jù)有效。運用SPSS20.0（試用版）做數(shù)據(jù)分析。

4 結(jié)果

4.1 語義關(guān)聯(lián)判斷過程中的瞳孔直徑與凝視時間變化

對不同語義關(guān)聯(lián)判斷條件下瞳孔直徑、凝視時間變化的描述統(tǒng)計分析結(jié)果如表2所示。

表 2 語義關(guān)聯(lián)判斷條件下各興趣區(qū)的瞳孔直徑、凝視時間變化（M±SD）

方差分析結(jié)果顯示，不同語義關(guān)聯(lián)判斷條件下的瞳孔直徑大小存在顯著性差異，F(xiàn)（1, 50）=3.98，p＜0.05，η2=0.002。其中主題關(guān)系判斷條件下的瞳孔直徑顯著小于類別關(guān)系判斷條件下。對凝視時間的分析發(fā)現(xiàn)，主題關(guān)系判斷條件下被試對主題興趣區(qū)的凝視時間顯著長于類別關(guān)系興趣區(qū)F（1, 25）=4.15，p＜0.05，η2=0.005。相反，在類別關(guān)系判斷條件下被試對類別興趣區(qū)的凝視時間顯著長于主題興趣區(qū)F（1, 25）=9.88，p＜0.05，η2=0.01。

4.2 語義關(guān)聯(lián)判斷過程中的首次注視時間、回視次數(shù)、回視路徑時間比較

對不同語義關(guān)聯(lián)判斷條件下首次注視時間、回視次數(shù)、回視路徑時間的描述統(tǒng)計分析結(jié)果如表3所示。

表 3 語義關(guān)聯(lián)判斷條件下的首次注視時間、回視次數(shù)、回視路徑時間比較（M±SD）

對不同語義關(guān)系條件下情景語義關(guān)聯(lián)判斷過程中首次注視時間、回視次數(shù)、回視路徑時間做方差分析，結(jié)果顯示，主題興趣區(qū)與類別興趣區(qū)的首次注視時間不存在顯著性差異，F(xiàn)（1, 100）=1.03，p＞0.05，η2=0.001；但是，不同興趣區(qū)的回視次數(shù)（F（1, 100）=1596.41，p＜0.05，η2=0.46）和回視路徑時間（F（1, 100）=439.84，p＜0.05，η2=0.19）均存在顯著性差異，而且變化的方向并不一致。主題關(guān)系興趣區(qū)的回視次數(shù)顯著高于類別關(guān)系，相反，主題關(guān)系興趣區(qū)的回視路徑時間卻顯著小于類別關(guān)系興趣區(qū)。

5 討論

真實情景具有語義屬性，而且在情景知覺過程中，人們會基于情景信息獲得情景語義梗概。那么，在不同情景之間，是否會受到情景語義的影響，而存在語義關(guān)系呢？如果存在語義關(guān)系，人們又是如何加工或組織情景語義關(guān)系的呢？在前人研究的基礎(chǔ)上（Patterson et al., 2007），本研究根據(jù)詞對之間語義關(guān)系，匹配情景圖片材料，以考察情景之間的語義關(guān)系及其影響。實驗1結(jié)果表明，在反應(yīng)時間上，語義關(guān)系的主效應(yīng)顯著，被試對無語義關(guān)系情景圖片對的判斷反應(yīng)時顯著長于對有語義關(guān)系的情景圖片對判斷。這可能是因為情景圖片之間存在語義關(guān)系，而這種語義關(guān)系促進了人們對有語義關(guān)系情景圖片對的反應(yīng)。那么，對情景之間的語義關(guān)系，人們又是如何組織加工的呢？

Muehlhaus等人（2014）認為，語義關(guān)系的基本組織原則是分類，而語義關(guān)系的分類主要包括類別關(guān)系和主題關(guān)系（Caramazza & Mahon, 2003）。實驗2應(yīng)用三詞范式，考查人們在依據(jù)語義關(guān)系對情景進行分類的過程中，其信息加工的特點。研究結(jié)果發(fā)現(xiàn)，被試更傾向于做主題關(guān)系判斷。這與Ji等人（2004）的研究基本一致。他們在以詞對為材料的語義關(guān)聯(lián)判斷研究中發(fā)現(xiàn)，東方被試傾向于做主題關(guān)系判斷，而西方被試傾向于做類別關(guān)系判斷。在本研究中，以高校在讀的大學(xué)生為被試，他們均生活在東方文化背景下，因此，主題關(guān)系判斷的傾向性可能具有文化的特征。此外，在本研究中應(yīng)用的實驗材料并不是具有抽象語義的詞對，而是具有形象特征的情景?？梢酝普撊藗儗η榫暗臍w類可能會依據(jù)情景的大小、形狀等形象特征，也可能會依賴于情景的語義特征。但是本研究發(fā)現(xiàn)，在情景間語義關(guān)系的判斷任務(wù)中，被試更傾向于做主題關(guān)系判斷，這可能是因為情景語義的獲得對大小、形狀、顏色等的形象特征加工產(chǎn)生了抑制作用，Pennequi等人（2006）也認為主題反應(yīng)多于類別反應(yīng)，與個體相關(guān)知識經(jīng)驗啟動對物體共性特征知覺的抑制有關(guān)。

對以三詞范式呈現(xiàn)的情景圖片材料眼動數(shù)據(jù)的分析中發(fā)現(xiàn)，不同語義關(guān)聯(lián)判斷條件下的瞳孔直徑大小存在著顯著性差異，其中主題關(guān)系判斷條件下的瞳孔直徑顯著小于類別關(guān)系判斷條件下的瞳孔直徑。在對凝視時間的分析中則發(fā)現(xiàn)主題關(guān)系判斷條件下被試對主題興趣區(qū)的凝視時間顯著長于類別關(guān)系興趣區(qū)；相反，在類別關(guān)系判斷條件下被試對類別興趣區(qū)的凝視時間顯著長于主題興趣區(qū)。這表明，在以三詞范式呈現(xiàn)情景圖片材料時，被試無論是做出類別關(guān)系判斷，還是主題關(guān)系判斷，凝視時間的變化均與語義關(guān)聯(lián)判斷反應(yīng)相一致。換言之，對主題關(guān)系判斷和類別關(guān)系判斷，都需要被試通過增加凝視時間獲得情景的語義信息，然而，瞳孔直徑數(shù)據(jù)的變化表明，與主題關(guān)系判斷相比，類別關(guān)系判斷需要被試付出更多的努力和認知資源（閆國利等, 2013），這可能是因為在類別關(guān)系判斷過程中，被試對情景語義的歸類，可能會受到低水平視覺加工的影響?？低⒒⒑桶讓W(xué)軍（2013）的研究也發(fā)現(xiàn)，在對與情景具有語義一致性的靶刺激信息的識別過程中，靶刺激的注意優(yōu)先性會受到知覺信息啟動的干擾。

對情景語義關(guān)系的組織加工，不僅體現(xiàn)在信息的獲得與認知資源的利用，而且可能在時間進程上也會有不同。在有關(guān)閱讀的研究中，閆國利和白學(xué)軍（2013）認為首次注視可以作為反映詞匯通達早期階段特征的指標(biāo)，而回視路徑時間可以反映后期句子整合的加工過程，回視次數(shù)反映了對之前瀏覽信息的再加工過程。在實驗2中，對不同語義關(guān)系條件下情景語義關(guān)聯(lián)判斷過程中首次注視時間、回視次數(shù)、回視路徑時間的分析發(fā)現(xiàn)，不同語義關(guān)系興趣區(qū)的首次注視時間并不存在顯著性差異，但是主題關(guān)系興趣區(qū)和類別關(guān)系興趣區(qū)的回視次數(shù)和回視路徑時間均存在顯著性差異，而且變化的方向并不一致。主題關(guān)系興趣區(qū)的回視次數(shù)顯著高于類別關(guān)系；相反，主題關(guān)系興趣區(qū)的回視路徑時間卻顯著小于類別關(guān)系興趣區(qū)，這可能是因為在情景間語義關(guān)系判斷的早期加工階段，無論是主題關(guān)系判斷，還是類別關(guān)系判斷，首次注視主要獲得的是深度、顏色、紋理結(jié)構(gòu)等低水平的視覺物理信息（Henderson &Hollingworth, 1999），以及物體外形、輪廓和空間關(guān)系信息（Ullman, 1996）。在這一階段，被試對情景信息的視覺加工并不存在差別。

隨著對情景圖片瀏覽時間的增加，可能會增加對單一情景語義以及不同情景間語義關(guān)系的激活。換言之，對情景間語義關(guān)系判斷的后期加工，被試需要從視覺表征轉(zhuǎn)換到意義的綜合映像、以及認知與知覺交互作用的過程（Henderson& Hollingworth, 1999），因此，與類別關(guān)系判斷相比，主題關(guān)系判斷主要依賴于情景之間的語義聯(lián)系（Barsalou, 1999）。Renninger和 Malik （2004）的研究發(fā)現(xiàn)，即使是在小于70ms的條件下，人們對情景的識別也高于概率水平，因此在情景語義快速識別的條件下，主題關(guān)系判斷受低水平視覺加工的影響較??；相反，類別關(guān)系判斷既需要獲得情景語義，又需要獲得刺激物知覺、生理學(xué)或者功能屬性上的相似性（Medin & Ortony, 1989），被試可能更傾向于通過回視路徑時間進行系列掃描，而此更易受低水平視覺加工的干擾。

與單一情景知覺的研究不同，在本研究中應(yīng)用情景圖片對作為實驗材料，試圖探索人們在情景知覺過程中，情景間語義關(guān)系的視覺加工特征。研究結(jié)果發(fā)現(xiàn)，情景間語義關(guān)系對情景語義關(guān)聯(lián)判斷具有促進作用，并且發(fā)現(xiàn)在情景間語義關(guān)系的判斷中，人們更傾向于做主題關(guān)系判斷，而且在情景視覺加工的不同階段，眼動特征存在著差別。但是，對情景間語義關(guān)系的獲得與單一情景語義獲得之間存在怎樣的關(guān)系，情景物理特征對情景間語義關(guān)系的獲得有怎樣的影響等問題仍然無法予以回答，對此尚需要作更深入的探索。

6 結(jié)論

在本研究條件下，可以得出如下結(jié)論：

（1）語義關(guān)聯(lián)材料的判斷反應(yīng)時顯著短于無語義關(guān)聯(lián)材料，情景之間的語義關(guān)系可能會促進被試對語義關(guān)聯(lián)材料的判斷。

（2）主題關(guān)系判斷條件下的瞳孔直徑顯著小于類別關(guān)系判斷，凝視時間的變化與語義關(guān)聯(lián)判斷反應(yīng)相一致。

（3）主題興趣區(qū)與類別興趣區(qū)的首次注視時間不存在顯著性差異，但是不同興趣區(qū)的回視次數(shù)和回視路徑時間均存在顯著性差異。