視頻材料中雙眼注視視差的情緒面孔相關(guān)性：雙眼協(xié)調(diào)

陳飛虎, 趙廣平

1.前言

人有兩只眼睛卻感知到單一的、整體的世界。為了保持這種整體性，雙眼需要得到精確的、系統(tǒng)的控制和協(xié)調(diào)，使中央凹可以大致對準同一個目標，這個過程就是雙眼協(xié)調(diào)（Binocular Coordination）。它強調(diào)在形成主觀的“單眼視覺”（Single vision）之前雙眼之間存在的相互協(xié)作和調(diào)和（Blythe et al., 2006; Kirkby et al., 2008; King, 2011;Yang & Kapoula, 2003）。部分研究使用兩眼注視點之間的距離，即雙眼注視點視差（binocular fixation disparity），作為衡量雙眼接收到視像差異的大小的指標（陳飛虎, 陳順森, 趙廣平, 2016; 高世歡,陳順森, 林彩云, 2017; 李龍珠, 2017）。

然而現(xiàn)有的眼動研究或者視知覺研究多建立在“單眼視覺”之上。“單眼視覺”把雙眼當作一個整體的器官來研究，認為雙眼步調(diào)是完全一致，整齊劃一的，雙眼視線集中于一個點。視覺的研究方式也受到“單眼視覺”概念的限制，例如視覺知覺研究中經(jīng)常使用“中央眼”（Cyclopean Eye），即左右眼坐標的平均值，甚至某一單眼的數(shù)據(jù)。同時，EyeLink，Tobii，IView等被普遍運用的眼動儀及其配套軟件的設(shè)計，也只考慮和提供了“單眼”相關(guān)的指標和數(shù)據(jù)處理程序（具體參見相關(guān)說明書）。

2.雙眼協(xié)調(diào)

2.1 國內(nèi)外相關(guān)研究

在國內(nèi)外研究的內(nèi)容上，對“單眼視覺”的強調(diào)體現(xiàn)在：視覺的心理認知功能都集中在雙眼視覺信息融合以后的高級加工過程，例如深度知覺、雙眼競爭等。部分研究者甚至潛在的認為雙眼視差是個體固有的、不變的生理屬性。例如，王玲和王淮慶（2007）就強調(diào)雙眼在頭部分布的間距大小對雙眼協(xié)調(diào)起決定作用。

然而，部分研究在很早之前就注意到并明確表明在視覺加工過程中雙眼并非注視同一個點，即便是單個的字符或者點（Kirkby et al., 2008; Kirkby et al., 2010; Paterson et al., 2009）。其次，這些研究發(fā)現(xiàn)在眼動中雙眼之間相互協(xié)調(diào)的模式：注視點即將開始轉(zhuǎn)換時（即掃視開始），一只眼睛作為探索眼（abducting eye）用中央凹加工原注視點結(jié)束后，會先行跳離去搜尋下一個潛在的注視點；另一只眼睛作為追隨眼（adducting eye）在一個小的時間間隔之后才會離開原注視點跟進（Collewijn et al., 1988; Vernet& Kapoula, 2009）。所以兩只眼睛開始眼跳至到達下一個注視點的過程中，雙眼視差會經(jīng)歷一個先增加而后減小的過程（Collewijn et al., 1988; Vernet & Kapoula,2009; Yang & Kapoula, 2003）。當收集到足夠的信息之后，兩只眼睛的行為模式又進入到下一個循環(huán)。

2.2 “單眼視覺”及相應(yīng)研究方式的根源：赫林法則和赫爾姆霍茲假設(shè)

雙眼之間的關(guān)系存在兩大假設(shè)——赫林假設(shè)（Hering’s hypothesis）與赫爾姆霍茲假設(shè)（Helmholtz’s hypothesis）。二者之間的爭論從19世紀開始，馮·赫爾姆霍茲提出假設(shè)：兩眼之間的聯(lián)系不是一種強制性的解剖機制，而是僅僅通過意志就能影響和改變的，是可學(xué)和訓(xùn)練的（Helmholtz, 1962）。后來該假設(shè)受到赫林假設(shè)的挑戰(zhàn)，后者認為：“當考慮眼動對視覺的影響時，雙眼可以被當作一個統(tǒng)一的器官（接受神經(jīng)系統(tǒng)的）操作”，“就像一個人就可以牽動馬兩邊的韁繩”（Hering, 1977）。但是由于早期的研究儀器并不是那么精細，大多數(shù)研究支持赫林假設(shè)（King, 2011）。所以假設(shè)（hypothesis）變成了定律（law）——赫林的平等神經(jīng)支配定律（Hering’s law of Equal Innervation）（Howard, Rogers, 1995）。所以研究中常常將雙眼假定為同一個器官、步調(diào)一致，即“單眼視覺”但是局限于實驗室研究，缺乏生態(tài)效度（Ecological Validity）。

2.3 （半）自然情境下的連續(xù)分析

“單眼視覺”研究模式的流行，自然影響到了雙眼視覺，也限制了雙眼視覺的研究模式。首先，部分研究通過對雙眼分別呈現(xiàn)的兩張圖片的差異大小進行人為控制，來控制雙眼注視視差進行相關(guān)研究。這種模式存在生硬、被動，生態(tài)效度較低等問題。其次，雙眼協(xié)調(diào)的研究只能局限在實驗室中，它們只是在很小的時間尺度（通常是以ms為單位，總時長不超過1000ms）上抽取個別眼動特征進行微觀眼動的研究。這種模式無法適應(yīng)實驗室外大時間尺度上、前后影響的自然情境（或半自然情境）。

面對上述困境，眼動儀的自然性、雙向性、動態(tài)和大時間尺度、持續(xù)、連貫特征便凸顯出來。

2.4 自閉癥（孤獨癥）兒童在情緒面孔加工中的雙眼注視視差

在尋找自閉癥患者的特異性特征過程中，國內(nèi)的研究發(fā)現(xiàn)在動漫社交視頻觀賞中（不涉及深度知覺）自閉癥譜系障礙（Autism Spectrum Disorder，ASD）的雙眼注視點間距與正常兒童相比存在顯著差異（陳飛虎, 陳順森, 趙廣平, 2016），該結(jié)論也一再被證實（高世歡, 陳順森, 林彩云, 2017; 李龍珠, 2017）。但是國內(nèi)外現(xiàn)有的研究模式并不能推進進一步的研究工作，因為它們無法回答一下問題：個體在自然狀態(tài)下閱讀、瀏覽或觀看書籍、圖片、影視作品等平面材料（不涉及深度知覺）時雙眼注視視差是怎么存在的？如果雙眼注視視差在持續(xù)的視知覺加工過程中均勻存在，那么雙眼注視視差是相對不變的，即雙眼注視視差只是固定的生理特征；否則，雙眼注視視差是可變的。如果是可變的，是完全隨機的變化，還是根據(jù)特定原因發(fā)生相應(yīng)的變化？如果是前者，那么雙眼注視視差仍然具有生理意義特性，只是相對穩(wěn)定，不是絕對不變。如果雙眼注視視差根據(jù)特定原因發(fā)生相應(yīng)變化，那么通過對這種關(guān)系的明確，雙眼注視視差的心理意義也將被確定。

理論上，部分研究者集中于“單眼視覺”研究而忽略雙眼視覺、雙眼協(xié)調(diào)等，這個問題的根源需要被厘清。實際研究中，ASD兒童雙眼注視視差特異問題需要得到進一步澄清。同時，為了解決低生態(tài)效度的實驗室研究帶來的問題，我們需要發(fā)展出以眼動數(shù)據(jù)為基礎(chǔ)的長時程、持續(xù)的、可視化分析模式。

3.研究方法

3.1 數(shù)據(jù)收集

實驗對象：本研究數(shù)據(jù)來自陳飛虎等人（2016）的研究。被試分別為從福建省漳州市某特殊教育學(xué)校選擇的28名ASD兒童和從某幼兒園選擇的28名正常兒童（typically developing，TD）。

實驗材料：從用于促進ASD兒童情緒識別的彩色動漫《運輸汽車》截取3段包含完整故事情節(jié)的視頻。每段視頻約1分鐘，分別為以高興（happy）、恐懼（fear）、難過（sad）為主要情緒，每段視頻中包含的“無情緒”面孔部分作為對比的基線。

實驗設(shè)計：采用2（被試類別：ASD兒童、TD兒童）×3（任務(wù)種類：不同情緒面孔“happy、sad和fear”）的實驗設(shè)計。各段視頻以隨機順序呈現(xiàn)給被試，以平衡位置差異。

數(shù)據(jù)產(chǎn)生：通過Tobii眼動儀分別記錄ASD和TD兒童在觀看動漫片段時的兩眼坐標，求出兩眼注視點之間的像素點距離，即雙眼注視視差。

數(shù)據(jù)處理：應(yīng)用Matlab R2014a和SPSS 20.0軟件對數(shù)據(jù)進行分析。

3.2 原始眼動數(shù)據(jù)的濾波分析

在完全體現(xiàn)出眼動儀在雙眼注視視差研究中的優(yōu)勢之前，還有一個需要解決的問題——眼動數(shù)據(jù)中的噪音。由于眼動具有高精度，所以很容易受到影響。環(huán)境噪音、儀器狀況、眨眼、頭部扭動等都會導(dǎo)致數(shù)據(jù)中噪音。這些噪音具有幅度大、突發(fā)性脈沖等特點。針對數(shù)據(jù)趨勢中的異常值，選擇限幅濾波予以剔除；然后用相鄰數(shù)據(jù)點的中位數(shù)替代剔除之后的缺失值。圖1所示，是兩類被試限幅中值濾波前后的整體趨勢圖，可以發(fā)現(xiàn)：剔除噪音后，數(shù)據(jù)趨勢更加清晰明顯，同時數(shù)據(jù)范圍明顯減小，從0～200左右降低到10～60左右。由于存在極其密集的細節(jié)性波動，故趨勢不太明顯。

上述密集的細節(jié)性波動來自于眼動本身：微顫、漂移和震動。這些只有生理適應(yīng)作用的眼動特征對于認知加工來說并不是必須的（M?ller et al., 2006），具有隨機性、波幅小、頻率高等特點。如圖2、圖3所示，采用線性濾波中的均值濾波，濾波之后的數(shù)據(jù)趨勢更加突出和清晰，并保留了趨勢，使得時間序列上差異的具體信息十分清晰。

圖1 中值濾波前后ASD和TD兩類被試的雙眼注視視差趨勢的對比

圖2 均值濾波前后ASD和TD兩類被試雙眼注視視差局部趨勢的對比

圖3 兩次濾波后ASD和TD兩類被試雙眼注視視差整體趨勢的對比

4 結(jié)果

4.1 濾波效果分析

陳飛虎等人（2016）發(fā)現(xiàn)ASD和TD兒童的雙眼注視視差在多維尺度（Multidimensional Scaling，MDS）空間中存在顯著的差異。所以本文中為了驗證濾波的效果，分別將兩次濾波之后的數(shù)據(jù)與原始數(shù)據(jù)在MDS空間上進行對比。為了清晰的在二維平面展現(xiàn)濾波前后效果，同時滿足MDS的各項指標，我們隨機選取三段視頻中的一段做比較。如圖4所示，濾波前后各個階段的兩組被試數(shù)據(jù)的MDS二維分布合理（三個MDS分析的指標均合適：Stress＜0.25，DAF＞0.9）。從a到c兩類被試的分界線越來越整齊、清晰。同時，分別提取三種情況下每個被試的MDS空間坐標，計算每個被試雙眼注視視差的多維尺度歐式間距，并對每種情況下的雙眼注視視差的歐式距離的區(qū)分能力做ROC曲線。結(jié)果顯示，AUCa=0.69，AUCb=0.75，AUCc=0.78。即隨著濾波的進行，兩類被試區(qū)分越來約明顯。提示該方法對ASD與TD具有優(yōu)良的鑒別能力。

4.2 兩類被試與三種情緒面孔的時序分析

經(jīng)過兩次濾波，雙眼注視視差的整體趨勢與差異細節(jié)顯露了出來。如圖3、5所示，總體上雙眼注視視差隨著時間和材料的變化而不斷發(fā)生變化。首先，雙眼注視視差是變化的，其次，這種變化并不均勻。具體發(fā)現(xiàn)如下：

1）屏幕呈現(xiàn)內(nèi)容為場景時，ASD與TD兒童雙眼注視視差趨勢不相上下。甚至，ASD的雙眼注視視差在某些部分比TD兒童??；

2）不同情緒面孔上，ASD的雙眼注視視差都明顯大于TD兒童的雙眼注視視差。同一個情緒面孔持續(xù)出現(xiàn)的過程中，ASD兒童的雙眼注視視差趨勢波動更大。

3）隨著情緒由積極情緒向消極情緒轉(zhuǎn)變（happysad-fear），TD兒童的雙眼注視視差存在增加，而ASD兒童的雙眼注視視差先增加，后在fear時降低。

然而，時序分析只能顯現(xiàn)出視覺上的差異，很難解釋這種差異時是否顯著。所以為了進一步驗證雙眼注視視差在時間序列上的描述性分析結(jié)論，從三段視頻中抽出兩類被試（TD， ASD）在對應(yīng)的情緒面孔（無情緒、happy、sad、fear）出現(xiàn)時段中雙眼注視視差的數(shù)據(jù)進行量化分析。

結(jié)果表明：被試類型的主效應(yīng)顯著，F(xiàn)（1，6661）=47388.12，p＜0.001，ηp2=0.49；情緒面孔種類的主效應(yīng) 顯 著，F(xiàn)（3，6661）=367.65，p＜0.001，ηp2=0.17；二者的交互作用也顯著，F(xiàn)（3，6661）=738.87，p＜0.001，ηp2=0.33。簡單效應(yīng)的分析表明，在無情緒、以及happy、sad和fear三種情緒面孔上，ASD兒童的雙眼注視視差均顯著大于TD兒童的雙眼注視視差（p＜0.01）（如圖7所示）。ASD兒童在三種情緒面孔的觀看中雙眼注視視差之間存在顯著差異，p＜0.01。同時研究發(fā)現(xiàn)隨著情緒由積極情緒向消極情緒轉(zhuǎn)變（happy-sad-fear），TD兒童的雙眼注視視差存在顯著的增加，而ASD兒童的雙眼注視視差先顯著增加后顯著降低。

方差分析的結(jié)果驗證了兩組被試在三種情緒面孔下雙眼注視視差時序趨勢的分析結(jié)果。

5.討論

5.1 赫爾姆霍茲假設(shè)與雙眼協(xié)調(diào)

圖4 ASD和TD兩類被試的雙眼注視視差在MDS二維空間的分布對比

圖5 時間序列上兩類被試的雙眼注視視差與情緒面孔的對應(yīng)

圖6 被試種類與情緒面孔種類的交互作用

雙眼注視視差在時間序列上趨勢的變化能體現(xiàn)出雙眼在視覺加工的運動過程中的協(xié)調(diào)性能，即突出雙眼協(xié)調(diào)概念中的“協(xié)調(diào)”。同時，這種時序分析模式允許多樣性的實驗材料，極大的提高了生態(tài)效度，拓展了未來的研究方向。赫爾姆霍茲假設(shè)已經(jīng)被一些雙眼協(xié)調(diào)的發(fā)展性和康復(fù)訓(xùn)練研究間接的支持。這些研究表明，雙眼協(xié)調(diào)似乎是由視覺經(jīng)驗驅(qū)動的，并且基于神經(jīng)可塑性（ Coubard, 2015; King, 2011）。本文通過雙眼注視視差在時序上的呈現(xiàn)，清楚的展現(xiàn)了兩眼之間的不完全一致性，同時隨時間和情緒面孔的變化而發(fā)生有規(guī)律的變化。該結(jié)論反對了雙眼是“統(tǒng)一器官”的赫林法則，以及關(guān)于雙眼極端“解剖機制”的看法。與之相反的赫爾姆霍茲假設(shè) （Helmholtz, 1962）認為，兩眼之間的聯(lián)系不是一種強制性的解剖機制，而是僅僅通過意志就能影響和改變的，是可學(xué)的、可訓(xùn)練的。所以，本文結(jié)果間接支持了赫爾姆霍茲假設(shè)的。另外，本文對動漫視頻材料進行連貫的分析正是這種模式的優(yōu)勢之處。最后，時序分析可以引導(dǎo)研究者發(fā)現(xiàn)變化，定位時段，找到激發(fā)事件，進而可能尋找到變化中蘊含的心理意義。Kirkby等人（2008）就在綜述中強調(diào)，雙眼協(xié)調(diào)的心理意義是未來需要加以確認和進行具體研究的內(nèi)容。

5.2 情緒面孔對雙眼注視視差的調(diào)節(jié)

面孔被認為是社交中傳遞信息最為重要的方式。而情緒面孔又是比較復(fù)雜、微妙的。同時，自閉癥患者對于情緒面孔的加工存在的特殊性。所以本文選取情緒面孔作為實驗材料，以期發(fā)現(xiàn)雙眼之間的關(guān)系。實驗結(jié)果表明該材料滿足了研究目的。

同時，我們還有新的發(fā)現(xiàn)：情緒面孔對雙眼注視視差存在調(diào)節(jié)作用，并且不同的情緒面孔對不同類型的被試有不同的調(diào)節(jié)作用。首先，是調(diào)節(jié)量的不同，例如正常兒童的雙眼注視視差在不同的情緒上存在顯著差異（如圖5、6所示）。其次，是調(diào)節(jié)方向的不同，積極情緒使得正常兒童的雙眼注視視差有微弱的減小（如圖5），而消極情緒使得其顯著增加（如圖5、6）。

研究發(fā)現(xiàn)隨著情緒由積極情緒向消極情緒轉(zhuǎn)變（happy-sad-fear）時，TD兒童的雙眼注視視差存在顯著的增加，這與已有研究似乎相呼應(yīng)。Gross等人（1991）在回顧文獻曾表明：4～5歲的兒童可以識別高興（happy）、難過（sad）和恐懼（fear）三種不同的面部表情，但是三者之間的準確率呈下降趨勢。郭文斌等（2012）人的研究表明相比于高興、難過面孔，小學(xué)生在觀看恐懼面孔時具有最大的瞳孔距離和最長的注視時間。

5.3 ASD雙眼協(xié)調(diào)在情緒面孔加工中的特異性

吳冉和徐光興 （2012）曾介紹了ASD知覺特異性，本文在原有研究（陳飛虎, 陳順森, 趙廣平, 2016; 高世歡, 陳順森, 林彩云, 2017; 李龍珠, 2017）的基礎(chǔ)上進一步探究了ASD兒童視知覺特異性的更多特征，即在情緒面孔的加工中雙眼協(xié)調(diào)具有更加顯著的特異性：

首先，在三種情緒面孔上，ASD兒童的雙眼注視視差均顯著大于TD兒童，同時ASD的變異性更大。這與自閉癥兒童對于面孔與情緒的加工存在困難的觀點一致。其次，隨著情緒由積極情緒向消極情緒轉(zhuǎn)變（happy-sad-fear），TD和ASD兒童的雙眼注視視差都顯著的增加，然而ASD兒童卻在fear情緒上發(fā)生轉(zhuǎn)折，有了顯著下降。這也印證了其他研究的發(fā)現(xiàn)：ASD兒童對于恐懼等負面情緒具有異常的加工困難（Pelphrey et al., 2002; 嚴淑瓊, 2008）。

6 結(jié)論

（1）限幅中值濾波和均值濾波可以較好的消除基于眼動原始數(shù)據(jù)的雙眼注視視差中的噪音，讓時間序列上的雙眼注視視差趨勢更加直觀。

（2）在視覺加工過程中，雙眼注視視差會在時間序列上對情緒面孔和時間產(chǎn)生影響。首先，直接反對了赫林法則，同時間接支持了赫爾姆霍茲假說。其次，表明情緒面孔對雙眼注視視差具有調(diào)節(jié)作用。

（3）在情緒面孔的加工過程中，ASD兒童的雙眼注視視差表現(xiàn)出特異性：在所有情緒面孔上，ASD兒童的雙眼注視視差均顯著高于TD兒童；同時研究發(fā)現(xiàn)隨著情緒由積極情緒向消極情緒轉(zhuǎn)變，TD兒童的雙眼注視視差存在顯著的增加，而ASD兒童的雙眼注視視差先顯著增加后在消極情緒面孔上顯著降低。

Tobii眼動儀無需佩戴裝備，可以在自然情況下收集數(shù)據(jù)，所以有研究（徐靜儉, 2009; 徐娟, 2012）認為它具有更高生態(tài)效度，適合兒童和特殊人群。但是使得被試與屏幕間距離的不確定性增加，導(dǎo)致雙眼注視視差的單位不能由像素點轉(zhuǎn)化為度，進而導(dǎo)致本研究不能與其他研究進行比較。希望給其他以成人或者正常人為被試的研究提供借鑒。