六級、雅思和托福閱讀考試認知過程對比研究
——基于眼動和訪談的證據(jù)

許皖棟 香港理工大學(xué)

辜向東 重慶大學(xué)

【提 要】本文結(jié)合眼動追蹤和回顧式訪談數(shù)據(jù)對受試完成六級、雅思和托福閱讀考試的認知過程進行對比分析，進而評估三項閱讀考試的認知效度。研究結(jié)果表明：三項閱讀考試成功地誘發(fā)了受試在多個信息層次上的認知加工，其中使用頻率最高的認知加工為句子命題建立。整體而言，三項閱讀考試較為全面地考查了受試在真實閱讀實踐中相似的認知過程，均具備良好的認知效度。此外，本研究在一定程度上揭示了受試特征、考試任務(wù)和施考環(huán)境對受試的答題認知過程的影響。研究結(jié)果旨在為試題開發(fā)者設(shè)計閱讀試題、為英語教師了解考試情境下的閱讀行為、為學(xué)習(xí)者備考和語言測試學(xué)者探究考試表現(xiàn)下的動態(tài)認知加工過程提供了有益參考。

1.引言

大學(xué)英語六級（以下簡稱六級）、雅思和托福是全球范圍內(nèi)具有代表性的英語作為外語/二語的語言考試。雖然三項考試在考試目的、考試題型、分數(shù)解釋和使用等方面存在差異，但都具備大規(guī)模、高風險的特性，考試對象大多正在或即將接受高等教育，考查內(nèi)容主要反映學(xué)術(shù)英語的特征，因此，三項考試具有較強的可比性。

閱讀是一項非常重要的語言技能，也是大規(guī)模、高風險語言測試中不可或缺的部分。閱讀理解本質(zhì)上是一個復(fù)雜的認知過程。然而，現(xiàn)有研究較多通過考試分數(shù)的統(tǒng)計分析對語言測試閱讀部分進行多方面的效度驗證，也有學(xué)者從考生認知過程角度為閱讀考試效度提供證據(jù)，但不多見（Cohen 2006）。本文基于Khalifa&Weir（2009）提出的閱讀模型，結(jié)合眼動追蹤和回顧式訪談，識別和探討考生完成三項閱讀考試的動態(tài)認知加工過程，進而評估三項閱讀考試的認知效度，即考試任務(wù)在多大程度上誘發(fā)了考生在真實閱讀中相似的認知過程。

2.文獻綜述

2.1 閱讀認知加工模型

六級、雅思和托福閱讀部分側(cè)重考查考生的學(xué)術(shù)閱讀能力，因此合理的考試設(shè)計應(yīng)使考生經(jīng)歷真實學(xué)術(shù)閱讀中一系列相似的認知過程，從而論證考試分數(shù)的解釋和使用。Khalifa&Weir（2009）所提出的閱讀認知模型較好地涵蓋了被試在文本閱讀和任務(wù)加工中可能經(jīng)歷的思維加工，為研究者識別和分類考生的認知過程提供了有益參考。該模型分為三個部分：元認知、核心認知加工和知識基礎(chǔ)。元認知活動對閱讀核心認知加工進行全程調(diào)節(jié)和監(jiān)控；知識基礎(chǔ)提供核心認知加工所需的語言知識和背景知識；核心認知加工包含多個層次上的信息加工，是最重要的組成部分，包含閱讀者在單詞、句子、段落和篇章等多個信息水平上的認知加工，共分為八個層次：詞匯識別、詞匯提取、句法解析、句子命題建立、推理、篇章心理模型構(gòu)建、篇章表征生成和跨文本表征生成。

Khalifa&Weir（2009）的閱讀認知模型具有三方面優(yōu)勢：首先，模型建立在很多認知心理學(xué)家和閱讀研究者的研究基礎(chǔ)之上，具備堅實的理論和實證支撐；其次，模型被設(shè)計為一個層級系統(tǒng)，包含一系列較低層次和較高層次的認知加工，使該模型適合用作定性數(shù)據(jù)的編碼框架。并且隨著信息水平的提高，較高層次的認知加工要求更多的認知資源，因此便于研究者分析和比較不同考試任務(wù)給考生帶來的認知負荷。最后，該模型已經(jīng)在多項考試的效度驗證中成功應(yīng)用（Brunfaut&McCray 2015；Weir,Green&Devi 2012；金艷、張曉藝2013）。因此，本研究根據(jù)這一模型對被試完成三項考試的閱讀認知過程，尤其是核心認知加工進行了詳細分析。

2.2 效度和效度驗證

效度，作為一項評價語言測試質(zhì)量的重要標準，一直受到學(xué)界的關(guān)注。早期的效度觀認為，效度的問題在于一項考試是否測量了它想要測量的東西（Lado 1960）。這一定義雖簡單明了，但缺乏實際可操作性，因為確定考試所要測量的東西并非易事。后來Messick（1989）提出了具有突破意義的整體效度觀，認為效度是經(jīng)驗證據(jù)和理論證據(jù)在多大程度上支持考試分數(shù)的解釋以及使用的全面評價。Messick的整體效度觀豐富并深化了效度的內(nèi)容，推動了效度理論的發(fā)展，為語言測試領(lǐng)域相關(guān)理論和實證研究帶來了重大變革（McNamara 2006）。然而Messick的整體效度觀抽象復(fù)雜，并未提出具體實施步驟指導(dǎo)研究者收集效度驗證各方面的證據(jù)。

為解決這一實際問題，語言測試學(xué)者不斷探索效度驗證方法，提出具體可實施的框架，組織各方面的證據(jù)（Bachman 2003;Bachman&Palmer 1996；Kane 1992,2001,2002；Messick 1995；Mislevy,Steinberg&Armond 2003；Weir 2005）。近來討論較多的主要為“基于論證的效度驗證模式”（an argument-based approach）（Bachman 2003，2004；Kane,2006）和“基于證據(jù)的效度驗證模式”（an evidence-based approach）（Weir 2005）。其中 Weir（2005）從社會認知視角出發(fā)，主張效度證據(jù)包含五個方面：基于理論的效度（后稱為認知效度）、環(huán)境效度、評分效度、效標關(guān)聯(lián)效度以及后果效度。其中認知效度作為社會認知效驗框架的重要方面，指導(dǎo)研究者基于具體技能認知模型，界定和驗證一項考試測了什么，即測試構(gòu)念是什么，在測試中的實現(xiàn)情況如何。本研究從這一重要效度方面出發(fā)，通過收集考生完成六級、雅思和托福閱讀考試任務(wù)的認知過程證據(jù)，探討大規(guī)模、高風險考試情境下考生的閱讀行為。

為了驗證考試效度，研究者已經(jīng)進行了大量研究。傳統(tǒng)的語言測試效度驗證研究主要圍繞考試分數(shù)展開。研究者廣泛采用包括相關(guān)分析、因子分析、多維尺度分析、建模等量化統(tǒng)計方法，探討考試內(nèi)部結(jié)構(gòu)、試題質(zhì)量（包括試題難度和區(qū)分度）和信度等議題，反映考試分數(shù)與考試構(gòu)念之間的關(guān)系，逆向驗證考試所考查的語言能力構(gòu)念，從而收集效度證據(jù)（Alderson 2000；Cohen 2006;Davies et al.1999；孔菊芳 2016；鄒申、張艷莉、周越美2002）。如Kunnan（1995）采用結(jié)構(gòu)方程模型探究了英國劍橋外語考試部和美國教育考試服務(wù)中心開發(fā)的八項測試所考查的語言能力因子結(jié)構(gòu)，Yoo&Manna（2017）利用驗證性因子分析探究了托?？荚嚶犃烷喿x部分的因子結(jié)構(gòu)及其結(jié)構(gòu)的不變性。圍繞考試分數(shù)的效度驗證研究不僅局限于某一考試內(nèi)部，還可以通過比較一項考試與其他測量相同構(gòu)念的考試或標準之間的相關(guān)程度，收集考試以外的效度證據(jù)，即效標關(guān)聯(lián)效度。如Ginther&Yan（2018）的研究發(fā)現(xiàn)考生托?？荚嚨目偝煽兒头猪棾煽兣c考生三個學(xué)年GPA之間未呈現(xiàn)一致的正相關(guān)關(guān)系，因此建議相關(guān)院校和機構(gòu)在進行生源選拔時綜合考慮多種語言能力標準和考試結(jié)果。

雖然基于考試分數(shù)的效度驗證研究取得了較為豐碩的成果，但存在兩點不足：首先，考試分數(shù)在一定程度上受考試形式、內(nèi)容及其他因素的影響，并不僅僅是語言能力預(yù)設(shè)構(gòu)念的結(jié)果，因此從考試分數(shù)倒推考試實際考查的構(gòu)念在邏輯上存在一定問題（Field 2013；Phakiti 2003）。其次，定量統(tǒng)計分析結(jié)果在一定程度上取決于研究中所選取的變量和模型，只可反映某種關(guān)系的概率，難以說明關(guān)系本身并定義具體考試情境下的認知構(gòu)念（孔菊芳2017）。除非更好地了解考生完成具體考試任務(wù)的過程，否則不能正確地厘清語言測試情境下認知構(gòu)念的內(nèi)在關(guān)系（Vollmer 1981）。Alderson（2000：97）認為，測試的效度與測試題目正確回答的解釋相關(guān)，所以重要的是確定正確回答以及考生做出正確回答的過程，而不是考試開發(fā)者對題項考查內(nèi)容的預(yù)設(shè)?？梢?，收集考生自身的認知過程證據(jù)是效度驗證過程中必不可少的環(huán)節(jié)。

20世紀末，語言測試研究者開始意識到收集過程證據(jù)的重要性，認為過程證據(jù)與結(jié)果證據(jù)具有同等地位（Bachman 1990；Messick 1989）。Weir（2005）將過程證據(jù)獨立出來，提出認知效度概念，并劃分出認知過程的組成成分以及各個層次，強調(diào)動態(tài)認知加工過程在語言測試效度驗證研究中的重要地位?；谕陚涞睦碚摶A(chǔ)和概念構(gòu)建，語言測試認知效度驗證圍繞聽（Geranpayeh&Taylor 2013）、說（Taylor 2011）、讀（Khalifa&Weir 2009）、寫（Shaw&Weir 2007）四項技能全面展開，極大地豐富了該領(lǐng)域的研究，也為后來的研究積累了寶貴經(jīng)驗。然而，在以往語言測試效度驗證研究中，過程證據(jù)的收集主要依賴于有聲思維、答題后的回顧、問卷和訪談（Conklin&Pellicer-Sánchez 2016；Latif 2019）。這些研究方法雖然提供了豐富的過程證據(jù)，但也因其自身的局限性受到質(zhì)疑。有聲思維要求考生在答題的同時口頭報告思維過程（Green 1998），給考生增加了額外的認知負荷（郭純潔2015）。答題后回顧提供的報告具有延遲性，可能摻雜了考生對答題過程的失真和過度描述。問卷和訪談提供的是間接、二手的數(shù)據(jù)，無法直接反映考生真實的認知過程（孔菊芳2017）。與以往過程記錄的方法相比，眼動記錄有其特有的優(yōu)勢，記錄過程真實自然，不要求被試做額外任務(wù)，同時數(shù)據(jù)豐富客觀，因此在研究領(lǐng)域的使用日益增多。

2.2 眼球運動與認知過程

外部世界80%-90%的信息是通過眼睛感知獲取的（韓玉昌2000）。心理學(xué)家很早就開始通過直接觀察眼球運動對人類心理過程進行研究，認為眼球運動是視覺過程的直接反映，對揭示深層次的認知加工活動具有重要意義。Just&Carpenter（1980）最早提出眼-腦一致假說，認為眼球注視和大腦加工之間沒有延遲。Rayner（1998，2009）也指出，在大多數(shù)任務(wù)加工中，眼睛所處位置和注意力所在位置重合，因此眼動數(shù)據(jù)可以被用來對大腦的即時認知過程做出合理推測。Pickering等人（2004）在此基礎(chǔ)上提出了兩個擴展假設(shè)：被注視的內(nèi)容即為被加工的內(nèi)容；注視時長表明加工刺激材料所需的認知努力強度。眼動可以反映視覺信息的選擇模式，使不易直接觀察的認知加工行為外顯化，為解釋大腦認知加工過程提供了精確而豐富的信息（Liversedge,Gilchrist&Everling 2011）。

眼動跟蹤指通過眼動儀器測量和記錄被試在觀看特定刺激材料時眼球的注視和運動。眼動儀可以提供被試眼球在時間和空間維度上的注視和運動指標，同時對被試任務(wù)加工沒有干擾，確保數(shù)據(jù)真實自然。通過眼動儀，研究者還可以決定被試看何種刺激材料，所看時長和呈現(xiàn)順序（Holmqvist Nystrom,Anderson&Dewhurst 2011；van Gog&Jarodzka 2013），對刺激材料本身展開探究。目前眼動分析技術(shù)已經(jīng)廣泛應(yīng)用于心理學(xué)研究，但與語言測試研究的結(jié)合仍處于起步階段，相關(guān)文獻數(shù)量不多，如Winke&Lim（2015）通過眼動分析探究了評分員使用評分量表進行評分決策的認知過程。就閱讀考試而言，Bax&Weir（2012）結(jié)合眼動技術(shù)和問卷調(diào)查識別和比較被試在每道題上的作答行為，包括對文本、題干、選項的視覺加工情況。Bax（2013）結(jié)合眼動技術(shù)和訪談，分析比較得分考生和失分考生完成雅思閱讀考試的認知過程，發(fā)現(xiàn)兩類考生在快速閱讀能力以及對文本和題項的關(guān)注等多個維度上存在顯著差異。McCray&Brunfaut（2018）通過眼動分析研究考生完形填空試題的作答認知過程，發(fā)現(xiàn)相較于得分高的考生，得分低的考生更偏向于局部閱讀與低層次認知加工，一定程度上為揭示該題型考查的語言能力構(gòu)念提供了有價值的信息。以上研究為眼動技術(shù)與語言測試重要議題的結(jié)合做了創(chuàng)新性嘗試，不僅證實眼動技術(shù)應(yīng)用在相關(guān)研究中的可行性，更為今后的研究提供了寶貴借鑒。然而，這些研究大多基于一項閱讀考試，未能比較分析被試在不同測試情境下的閱讀行為。

綜上所述，語言測試效度驗證研究不僅要關(guān)注考生的考試結(jié)果，也應(yīng)該重視考生在考試中所經(jīng)歷的認知過程（AERA et al.2014）。現(xiàn)有的過程導(dǎo)向效度驗證研究較少，且過于依賴有聲思維和訪談等質(zhì)性研究方法。眼動技術(shù)為語言測試研究者揭示考試環(huán)境下的認知過程提供了新視窗。因此，本文基于Khalifa&Weir（2009）所提出的閱讀模型，結(jié)合眼動數(shù)據(jù)和訪談數(shù)據(jù)，對考生完成六級、雅思和托福閱讀任務(wù)的認知過程做出有效推測，旨在回答以下三個研究問題：

（1）六級、雅思和托福閱讀考試誘發(fā)了考生什么樣的認知過程？

（2）考生在三項閱讀考試中的認知過程是否存在相似性和差異？如果有，有什么樣的相似性和差異？

（3）三項閱讀考試在多大程度上誘發(fā)了真實閱讀中相似的認知過程，即認知效度如何？

3.研究設(shè)計

3.1 被試

國內(nèi)某綜合大學(xué)10名英語專業(yè)碩士研究生自愿參加此次眼動實驗和回顧式訪談，其中8名女生，2名男生。被試平均年齡為23歲，母語為漢語，英語為第二語言。所有被試均通過了英語專業(yè)八級，語言水平較高。

3.2 實驗材料和工具

選用六級2014年6月施考的第1套閱讀試題，劍橋英語雅思真題9中的第4套閱讀試題和托福網(wǎng)考在線練習(xí)第30套閱讀試題。三套閱讀試題的篇章主題和題型如表1所示。

表1 三套閱讀試題的篇章主題和題型分布表

三套試題均由在線考試網(wǎng)頁呈現(xiàn)于電腦屏幕。在線考試網(wǎng)頁左側(cè)三分之二處顯示閱讀篇章，右側(cè)三分之一處顯示相應(yīng)的試題，被試可以自由拉動滾軸反復(fù)瀏覽篇章和試題并作答。研究者在正式實驗時采用Screen Recorder軟件進行錄屏，記錄被試的眼動軌跡和完整作答過程。錄屏的視頻在回顧式訪談中用作刺激材料回放，幫助被試更好地報告思維過程。

3.3 實驗步驟

（1）實驗培訓(xùn)和信息收集：對10名被試進行眼動實驗和回顧式訪談培訓(xùn)，并以一篇閱讀理解任務(wù)作為演示。被試完成培訓(xùn)后需填寫個人信息表，同意書和計算機熟悉度問卷。

（2）校準：本研究采用Eyelink 1000plus桌面遙測式眼動儀對被試進行嚴格校準，記錄被試各自的眼動模式，確保數(shù)據(jù)的準確性。

（3）眼動數(shù)據(jù)收集：被試在規(guī)定時間內(nèi)分三次于在線考試網(wǎng)頁上完成閱讀試題，眼動儀在考試過程中記錄被試的眼球運動；同時，采用Screen Recorder錄屏，完整記錄被試的作答過程。

（4）訪談數(shù)據(jù)收集：被試每完成一套閱讀考試后，研究者會播放Screen Recorder記錄的視頻，被試結(jié)合視頻并根據(jù)每個題項的作答報告當時的思維過程。訪談全程錄音錄像以供后續(xù)深入分析。

（5）數(shù)據(jù)導(dǎo)出和轉(zhuǎn)錄編碼：研究者通過Data Viewer劃分興趣區(qū)，并導(dǎo)出相應(yīng)的注視、回視和眼跳指標。研究者聘請某高校語言測試團隊的五名成員對訪談數(shù)據(jù)進行初期轉(zhuǎn)錄和編碼，然后根據(jù)眼動軌跡視頻和訪談視頻對轉(zhuǎn)錄文本進行核對，確保轉(zhuǎn)錄的真實性和完整性。對于題項編碼出現(xiàn)分歧的地方，研究者會和五名成員進行討論并確定該題項作答的最終編碼。

4.結(jié)果與討論

4.1 被試閱讀考試表現(xiàn)

本研究采用答題正確率以比較被試的三項閱讀考試表現(xiàn)。從答題正確率看，被試在三項閱讀考試中均表現(xiàn)良好。其中被試的六級閱讀考試平均正確率達到84%，雅思閱讀考試平均正確率達到83%，托福閱讀考試平均正確率達到81.5%。

4.2 眼動追蹤數(shù)據(jù)

本研究根據(jù)在線考試網(wǎng)頁劃分了三個興趣區(qū)：整體加工興趣區(qū)（單獨的考試任務(wù)整體區(qū)域）、文本加工興趣區(qū)（篇章文本區(qū)域）和任務(wù)加工興趣區(qū)（題項作答區(qū)域），并借鑒 Brunfaut&McCray（2015）的研究，綜合選取了13個眼動指標（見表2）。

Friedman檢驗結(jié)果顯示，除文本加工興趣區(qū)上的單詞平均注視時間和平均回視距離外，被試在加工三項閱讀考試時的11個眼動指標上存在顯著性差異，說明三項閱讀考試在整體、文本篇章和題項上施加給被試的認知負荷不同。具體結(jié)果如下：

（1）從表3可以看出，整體加工興趣區(qū)上，被試完成三項閱讀考試的過程中在總注視次數(shù)（X2=15.200,df=2,p=0.001）和總注視時間/s（X2=18.200,df=2,p＜0.001）指標上存在顯著差異。

（2）從表4可以看出，文本加工興趣區(qū)上，被試完成三項閱讀考試的過程中在向前眼跳次數(shù)（X2=15.200,df=2,p=0.001）、平均向前眼跳距離（X2=16.800,df=2,p＜0.001）、回視次數(shù)（X2=18.200,df=2,p＜0.001）、回視比率（X2=15.800,df=2,p＜0.001）、總注視時間/s（X2=15.800,df=2,p＜0.001）、總注視時間占比（X2=15.200,df=2,p=0.001）指標上存在顯著差異。

（3）從表5可以看出，任務(wù)加工興趣區(qū)上，被試完成三項閱讀考試的過程中在文本加工和任務(wù)加工興趣區(qū)之間的轉(zhuǎn)換次數(shù)（X2=9.600,df=2,p=0.008）、總注視時間/s（X2=18.200,df=2,p＜0.001）和總注視時間占比（X2=15.800,df=2,p＜0.001）指標上存在顯著差異。

回視比率總注視時間總注視時間占比單詞平均注視時間0.35 1365 0.64 0.69 0.06 239 0.04 0.15 0.35 1892 0.66 0.69 0.06 191 0.03 0.07 0.41 1509 0.50 0.75 0.04 190 0.04 0.09 15.800 15.800 15.200 1.400 2 2 2 2.000.000.001.497

表5 三項閱讀考試任務(wù)加工興趣區(qū)上眼動指標差異

根據(jù)事后兩兩比較結(jié)果，本研究發(fā)現(xiàn)并非三項考試兩兩之間在上述三個興趣區(qū)的眼動指標上都存在差異。整體加工上，六級閱讀考試和雅思閱讀考試、六級閱讀考試和托福閱讀考試在總注視次數(shù)和總注視時間上均存在統(tǒng)計學(xué)意義上的顯著差異（p＜0.001，p=0.002；p=0.014，p＜0.001），而雅思閱讀考試和托福閱讀考試無顯著差異（總注視次數(shù)：p=0.655；總注視時間：p=0.074）。整體上，被試完成雅思和托福閱讀考試的總注視次數(shù)（MD=2880，MD=2641） 和總注視時間 （MD=734，MD=888）指標顯著高于六級閱讀考試。這意味著被試完成雅思和托福閱讀考試需要分配更多的視覺注意，即這兩項閱讀考試對考生的認知要求更高。

文本加工上，眼動分析指標呈現(xiàn)的結(jié)果更為復(fù)雜。在完成三項閱讀考試過程中，被試在篇章加工的單詞平均注視時間指標上無顯著差異，意味著被試在單詞層面上的加工差異不大。三項閱讀考試所選擇的篇章文本都未涉及過多專業(yè)知識，因此詞匯難度對被試而言差異并不明顯。此外，訪談數(shù)據(jù)顯示被試考慮到時間限制，不會過分糾結(jié)個別單詞，較多采用快速閱讀方式。被試加工雅思閱讀篇章的總注視時間、向前眼跳次數(shù)、回視次數(shù)指標顯著高于六級（p＜0.001，MD=527,1277,713）和托福閱讀篇章（p=0.004,0.002，0.014；MD=383,1056,505）?？梢钥闯鲅潘奸喿x篇章對于被試而言更為復(fù)雜，被試需仔細閱讀甚至是重復(fù)閱讀相應(yīng)的文本。雖然被試加工托福閱讀篇章的回視比率顯著高于六級（p=0.004，MD=0.06）和雅思閱讀篇章（p＜0.001，MD=0.06）,但加工托福閱讀篇章的總注視時間占比顯著低于六級（p=0.002，p=-0.14）和雅思閱讀篇章（p＜0.001，MD=-0.16）。說明被試在加工托福閱讀篇章時進行了反復(fù)閱讀，但在考試過程中，被試對托福閱讀篇章的關(guān)注還是低于對六級和雅思閱讀篇章的關(guān)注。

任務(wù)加工上，被試在六級閱讀考試和雅思閱讀考試、六級閱讀考試和托福閱讀考試文本加工和任務(wù)加工興趣區(qū)之間的轉(zhuǎn)換次數(shù)指標呈顯著差異（p=0.007,0.007）。被試完成雅思和托福閱讀題項時需要更多地在文本加工興趣區(qū)和任務(wù)加工興趣區(qū)之間轉(zhuǎn)換，說明在這兩項閱讀考試中被試整合題項信息和文本信息難度更高。在總注視時間和總注視時間占比指標上，托福閱讀考試和六級閱讀考試（p＜0.001；p=0.004），托福閱讀考試和雅思閱讀考試（p=0.014；p＜0.001）呈顯著差異。被試在托福閱讀試題上的總注視時間和相應(yīng)占比顯著高于六級（MD=744，MD=0.14）和雅思閱讀試題（MD=537，MD=0.16）?？梢姡辉囋谕懈ｉ喿x考試中分配了更多的認知資源加工題項信息，一定程度上揭示了托福閱讀試題的難度較高。這一點在訪談數(shù)據(jù)中也有體現(xiàn)，被試一致認為托福閱讀試題難度較高，尤其是應(yīng)用題，要求對文章的主要觀點進行總結(jié)歸納，這對于他們的作答是一個不小的挑戰(zhàn)。此外，托福閱讀試題以選擇題為主，選項具有一定的干擾性，被試需要更多的時間理解題干和選項所蘊含的信息。

總體而言，被試在三項閱讀考試的大部分眼動指標結(jié)果存在顯著差異，雅思和托福閱讀考試給被試施加了更高的認知加工負荷，尤其是雅思閱讀考試的篇章和托福閱讀考試的題項，對于被試而言難度較大。

4.3 回顧式訪談

通過被試的眼動軌跡和訪談發(fā)現(xiàn)，被試完成三項考試的過程中綜合使用了快速閱讀和仔細閱讀兩種閱讀方式，并主要遵循了三種作答模式：（1）預(yù)覽部分文本，讀題項，找尋答案；（2）預(yù)覽全部文本，讀題項，找尋答案；（3）預(yù)覽題項，讀部分文本，找尋答案。大多數(shù)被試會遵循第三種模式，先預(yù)覽題項，再根據(jù)題項考點閱讀部分文本，找尋答案，可見被試的閱讀行為主要受到考試情境的影響。

訪談轉(zhuǎn)錄文本編碼（見表6）表明，除了跨文本表征生成以外，三項閱讀考試均成功誘發(fā)了被試在多個信息層次上的認知加工：詞匯識別、詞匯提取、句法解析、句子命題建立、推理、構(gòu)建篇章心理模型、篇章表征生成（雅思閱讀考試除外），說明三項閱讀考試均具備較好的認知效度。三項閱讀考試誘發(fā)的認知加工存在共同點，即句子命題建立的使用頻率最高，說明三項閱讀考試主要考查了句子層面的認知加工，要求被試理解句意。

表6 訪談轉(zhuǎn)錄文本編碼統(tǒng)計

然而，在三項閱讀考試中，被試其他層次認知加工的使用頻率反映不同考試任務(wù)對被試的認知加工過程的影響不同。被試在完成六級閱讀考試過程中較多使用了句法解析，這一層次認知加工的使用主要集中于選詞填空任務(wù)的作答。選詞填空任務(wù)要求被試從所給詞庫中選擇一個單詞填入文中的空白處，被試可以結(jié)合空白處前后的詞匯確定所填單詞的詞性繼而快速作答。

例1 因為It turns out that husbands and wives may have__37__different ideas about the subject是一個完整的句子，所以從結(jié)構(gòu)上看這里應(yīng)該填副詞或者ed形式的，但是所給詞庫里沒有ed形式的，只能找副詞。我就去找副詞，副詞有3個，從意思上說，mysteriously“神秘地”，不對，separately“分開地”，也不對，所以選了K，radically雖然我不知道這個單詞是什么意思，但是只能填它了，主要還是根據(jù)句子結(jié)構(gòu)做出來的。（被試1，六級閱讀第37題思維過程）

在托福閱讀考試作答過程中，被試則較多使用了詞匯提取，主要集中于詞匯題的作答。托福詞匯題要求考生根據(jù)單詞所在句子語境推測其意思，但由于本研究中的被試都是英語專業(yè)的學(xué)生，語言水平相對較高，可以直接從記憶中提取詞義成功作答，無須根據(jù)句子語境進行推理。因此托福詞匯題僅考查了考生的詞匯提取，并未考查考生對詞義的推理。

例2題目中問comparative的意思，comparative“相對的”，對應(yīng)選項中relative的意思，不需要看文章就能夠看出兩個單詞意思相近。（被試3，托福閱讀第8題思維過程）

雅思閱讀考試則較多考查了被試句子層面上的推理，被試需要綜合多個句子意思，對隱含的信息或觀點進行正確推理。

例3 看到G段，第14題問哪一段里包含an account of method的信息，也就是對研究方法的解釋。G段中最后一句話說研究者在孩子們的鼻子上抹了一些紅色粉末，然后讓他們在鏡子前面玩耍，觀察他們觸摸鼻子的頻率?？梢酝茰y出這里就是在介紹一種具體的研究方法。（被試9，雅思閱讀第14題思維過程）

此外，從訪談轉(zhuǎn)錄文本編碼頻率來看，雅思和托福閱讀考試引發(fā)了更多較高層次的認知加工（與眼動分析指標結(jié)果一致），但三項閱讀考試對較高層次認知加工的考查頻率仍較低，且均未能考查被試生成跨文本表征的能力。這一發(fā)現(xiàn)與之前其他學(xué)者的研究結(jié)果一致（Bax&Chan 2019；Owen 2016）。整合歸納多個文本信息是真實閱讀中不可或缺的部分，因此考試設(shè)計者和開發(fā)者應(yīng)對此技能給予足夠重視。此外，訪談數(shù)據(jù)分析結(jié)果顯示被試在三項考試過程中并不只是使用了閱讀模型中所描述的認知加工，在少數(shù)題項中，通過利用主題相關(guān)知識和其它題項的線索、分析題干和選項、猜測等策略也可正確作答。雖然這些策略的使用頻數(shù)較低，但仍對考試效度和公平性造成了一定威脅。

總體而言，被試在絕大部分的題項作答時采用Khalifa&Weir（2009）閱讀模型中的核心認知加工，說明三項閱讀考試都能使考生經(jīng)歷真實閱讀中大部分相似的認知加工過程，具有良好的認知效度。被試在少數(shù)題項作答時采用與構(gòu)念無關(guān)的應(yīng)試策略。為了確?？荚嚪謹?shù)準確而有效地反映所要測量的語言能力，考試開發(fā)者應(yīng)在任務(wù)設(shè)計時盡可能排除這些無關(guān)因素對考生表現(xiàn)的影響，提高題項的質(zhì)量。

6.結(jié)論

本文結(jié)合眼動追蹤和回顧式訪談，研究了考生完成六級、雅思和托福閱讀部分的認知過程。研究結(jié)果表明，三項閱讀考試引發(fā)考生在多個層次上的信息加工，較為全面地涵蓋Khalifa&Weir（2009）閱讀模型中的核心認知過程，具有較好的認知效度。但三項閱讀考試未充分實現(xiàn)對較高層次認知加工的考查，尤其未能考查被試生成跨文本表征的能力。

本研究結(jié)果可為語言測試學(xué)者探究考試過程和收集效度證據(jù)提供理論和方法上的借鑒；為語言教師了解考試環(huán)境下的閱讀行為，開展針對性的英語閱讀教學(xué)提供有效反饋；為學(xué)習(xí)者了解自身閱讀考試作答過程，知曉優(yōu)勢與不足，并積極備考提供有價值的信息；為考試開發(fā)者設(shè)計閱讀任務(wù)和具體題項提供有益參考。

不過，本研究發(fā)現(xiàn)被試三項閱讀考試的答題認知過程會受到被試特征（語言水平）、考試任務(wù)（閱讀文本選取和題項設(shè)計）和施考環(huán)境（時間限制）的影響。本研究被試樣本量較小，為了更為深入地了解這些因素對考生認知過程的影響，未來研究需采用更大樣本進行分析與驗證。