大學英語成就測驗中思辨能力評估的效度
——以山東某高校英語專業(yè)二年級精讀課程期末測試為例

楊 亮

(東南大學外國語學院，江蘇 南京 211100)

一、引言

思辨能力是語言學習能力中的重要部分，也是衡量學生綜合素質水平的重要指標。外語成就測驗的目的是評估學生對于目的知識與技能的掌握程度，發(fā)現(xiàn)存在的問題，并為下一步的學習與教學提供針對性的反饋。

當前，思辨能力的培養(yǎng)愈發(fā)受到關注。在教育改革的背景下，精讀課程在培養(yǎng)學生的思辨能力方面承擔著重要作用。因此，作為精讀課程的成就測驗，精讀課程期末測試除了應考查學生的基本語言能力，還應考查學生的思辨能力。

為了解一項測試在檢測某能力或技能方面的表現(xiàn)如何，應對其構念效度進行研究。但目前，國內(nèi)有關大學英語閱讀成就測驗的實證研究并不多，探究思辨能力評估效度的更是寥寥無幾。本研究以2020年6月山東某高校英語專業(yè)二年級精讀課程期末測試為例，采用Bachman和Palmer的測試使用論證框架(AUA)作為效度驗證的理論依據(jù)，并以訪談法收集定性數(shù)據(jù)，借此探究大學英語精讀課程成就測驗中思辨能力的評估效度，并期望給測試開發(fā)及后續(xù)教學帶來一定啟發(fā)。

二、理論框架

(一)語言能力與構念

在語言測試中，“構念”指語言測試所要衡量的潛在特征或能力。傳統(tǒng)觀念認為，英語語言測試的構念僅包含語言能力，其重點在于正確使用詞匯和語法。然而，這種對語言測試構念的界定忽視了交際的重要作用。隨著語言測試實踐的不斷發(fā)展，語言能力的概念得到了進一步的闡述，語言測試中的構念也經(jīng)歷了從基本的語言技能到認知能力的發(fā)展階段。

本研究所關注的測試是一門語言技能課程的成就測驗，因而測試的構念應包括語言能力。既然該課程的培養(yǎng)目標中包含思辨能力，這種技能也應該在測試中有所體現(xiàn)。孫有中指出，以往的語言能力模型局限于人際交往的基本語言技能，對學術語境中語言和思辨能力的關系不夠重視，因而提出了新的模型。與先前的語言能力模型相比較，孫有中的模型更加強調(diào)思辨性技能，并且他本人也倡導以批判性思維為中心的語言教學法。此外，有中的模型是針對大學生的語言能力所構建的，而非一般意義上的語言能力。因此，這一模型更加適合本研究的數(shù)據(jù)收集和分析。此外，文秋芳等在回顧了批判性思維的相關模型后，提出了一個評估中國大學生思辨性技能的概念框架?；趦晌恢袊鴮W者的模型，針對英語專業(yè)二年級精讀課程期末測試中的思辨能力評估效度檢測，文章認為思辨性語言能力包括兩個組成部分，一是基本人際交流能力(包括語法能力、語篇能力、社會語言能力)，二是認知語言能力(包括分析、推理、評估的思辨性技能和跨文化能力)。該模型為后續(xù)的訪談與分析提供了指導。

(二)測試使用論證框架

測試“效度”的概念與其驗證方法歷經(jīng)了幾個發(fā)展階段。2010年，基于前人的觀點，Bachman和Palmer提出了測試使用論證框架(AUA)，為測試開發(fā)提供了一個新視角和可操作的理論模型。根據(jù)AUA框架，測試由五個部分組成:效果、決策、解釋、測評記錄和測評表現(xiàn)。每個部分都有主張、理據(jù)和反駁，其中理據(jù)是指對于一個特定的測試，詳細說明一項主張的一個或多個品質的明確陳述。

例如，為了證實一個評估結果的有效性，必須從以下幾個方面提供證據(jù)支持:1.評估中某項構念的定義是基于一門課程、教學大綱、需求分析或一項當前研究和理論的參考框架，并將該構念與其他相關的構念明確區(qū)分開來。2.評估中的任務應該清楚說明在何種條件下觀察受試的表現(xiàn)，以此來對打算評估的構念做出推斷。3.評估的管理程序允許受試能夠在被評估能力方面達到最高水平。4.生成測評記錄的程序集中于打算評估的構念。5.評估使用的任務對構念體現(xiàn)的能力做出一定要求。6.測評記錄可以解釋為被測能力的指標。

AUA框架是一種較為新型的測試驗證法，涵蓋了傳統(tǒng)意義上信度和效度的概念，也為測試開發(fā)、評估和解釋提供了一個完整詳細的模型。文章擬采用AUA框架探究一項成就測驗中思辨能力評估的效度。在解釋的主張的理據(jù)中，與之對應的構念即為思辨能力，測評記錄為該測試的成績。

三、研究問題與設計

(一)研究問題

本研究旨在探討山東某高校英語專業(yè)二年級精讀課程期末測試中思辨能力的評估效度。研究問題為:在該測試中，思辨能力是否得到了有效的評估?為了更好地回答這一問題，文章以AUA框架中，“解釋的意義”主張下的理據(jù)為指導，延伸出六個子問題:1.測試中思辨能力的定義是否基于當前的理論和模型?2.測試項目是否明確規(guī)定了任務的特點，以便引出和觀察考生的思辨能力表現(xiàn)?3.測試的條件是否允許考生在思辨能力方面發(fā)揮出了自己的最高水平?4.測試的評分過程是否集中于思辨能力相關的表現(xiàn)?5.測試中的任務是否包含思辨能力的運用?6.測試成績是否能視為考生思辨能力的指標?

(二)研究設計與方法

文章主要采用定性分析法來支持或否決以上的理據(jù)。數(shù)據(jù)來源于對考生和教師的訪談，并采取文本分析來分析數(shù)據(jù)，使用NVivo11對數(shù)據(jù)進行分段和編碼。

依據(jù)考試結果，抽取了2個低水平(低于65分)、2個中水平(65～85分)和2個高水平(高于85分)的考生參與訪談。對于考生的訪談問題是基于AUA理據(jù)所設計的，涉及他們對于思辨能力的理解、他們認為測試應如何設計來評估思辨能力、教師是如何介紹本測試的、在每個測試項目中評估了哪些能力或技能、這次測試對他們的影響、測試與課堂學習的關系以及他們認為如何改進這次測試。另外，選取了兩名教師參與此次訪談，他們均參與了本學期精讀課程的教學以及期末測試的開發(fā)與評分。訪談問題涉及本課程的教學目標和教學方法、課程期末測試中需要考核的知識和技能、試卷是否明確說明了如何完成任務、教師如何向學生介紹考試的、測試的設計思路、測試設計和評分時對于思辨能力的考慮、考生成績與課堂表現(xiàn)的一致性、測試與課堂教學的關系以及如何改進測試。

四、結果與討論

(一)問題1:測試中思辨能力的定義是否基于當前的理論和模型?

在訪談中，教師A給出了相對應的回答。她說:“在課堂上，我會向學生介紹一些思辨能力相關的理論框架，然后運用這些理論框架來分析文本。例如，在教授議論文的閱讀時，我會提到Paul和Elder的三維框架，它涉及思維要素、智力標準和智力美德。我會尤其強調(diào)思維的要素，然后與文本聯(lián)系起來，試著讓他們理解我們是如何分析文本中這些要素的?！彼幕卮痫@示，精讀課堂中的思辨活動，尤其是文本分析中涉及的思辨活動，是基于Paul和Elder的理論模型。另外，她本人也參與了該測試的開發(fā)。因此有理由認為思辨能力的定義也適用于該課程的期末測試，因為學生在課堂上習得與使用的思辨能力是可以轉移的?；谶@一證據(jù)，可以證明測試對于思辨能力的定義是基于當前的理論模型的。

(二)問題2:測試項目是否明確規(guī)定了任務的特點，以便引出和觀察考生的思辨能力表現(xiàn)?

在對考生的采訪中，問題涉及他們是否清楚測試項目要求他們做什么來完成任務?？梢哉J為，如果學生清楚完成任務需要做什么，他們就能理解任務的特點，以便采取相應的能力和技能來完成任務。由于思辨能力是學生用來完成任務的能力和技能的一部分，所以這個問題的答案可以作為問題2的依據(jù)。

在回答這個問題時，被采訪的學生給出了不同程度上的肯定回答。學生3說教師在考試前已經(jīng)給他們講過了任務的類型，這極大地幫助了她對于如何完成任務的理解。學生6認為每個任務都很清晰，因為在每個任務前都有詳細的指令。訪談表明，測試項目的清晰度是良好的，這體現(xiàn)在任務前存在詳細的指令。另外，教師在考前對于測試的介紹也具有重要作用。

(三)問題3:測試的條件是否允許考生在思辨能力這方面發(fā)揮出了自己的最高水平?

針對此問題，學生6明確提出自己的時間不夠用，不能完成所有的題目，尤其是寫作任務。她說:“首先，我需要用到思辨能力去思考；其次，我要在短時間內(nèi)運用語言組織能力迅速寫好一篇文章。當時在考試的時候，我只有二三十分鐘的時間來寫一篇較長的文章?！边@表明，由于時間的限制，學生6使用組織語言的能力遠超了思辨能力，導致她的思辨能力無法發(fā)揮出最高水平。在談到這次測試給她帶來的影響時，她也指出了時間的不足會限制思辨能力的發(fā)揮?！拔也环裾J這次考試在一定程度上提高了自己的思辨能力。但由于題量大、時間緊，所以測試前和測試時我都有很大的壓力。”在談到測試的負面影響時，她認為時間不夠、測試項目太多給她帶來了很大的壓力，在這樣的壓力下，她是很難達到自己思辨能力的最高水平的。當談到如何改進測試這一話題時，學生1也提到了時間上的不足?！拔以趯懽魑臅r，由于時間太短，所以只能保證不出現(xiàn)語法錯誤，不能保證句子的邏輯和文采。”在學生1看來，時間的不足可能會影響她對問題的理解，她的語言輸出也會趨于簡單。

來自教師的觀點也說明了類似的結果。當提及學生在考試中思辨能力的表現(xiàn)與課堂表現(xiàn)的一致性時，教師B更加直接地指出了時間不足對學生思辨能力表現(xiàn)的影響:“我認為這個測試很難反映他們的思辨水平。因為時間緊、題量大，所以他們沒有更多的時間去思考。特別是在寫作部分，成績普遍不夠理想?！?/p>

因此，這表明了該測試條件限制了學生思辨能力的發(fā)揮。

(四)問題4:測試的評分過程是否集中于思辨能力相關的表現(xiàn)?

針對問題4，兩位教師均持否定態(tài)度，但觀點略有不同。

教師A認為評分過程未聚焦思辨能力是因為任務類型不同。在一些任務中，思辨能力是可以區(qū)分的。例如，寫作的評分依據(jù)主要為語言和內(nèi)容，而內(nèi)容考查學生思辨能力，如邏輯是否清晰、例子是否恰當、解釋是否充分。而另一些任務中的思辨技能是隱性的。例如，任務3為翻譯，原句中暗含因果關系。有些學生的譯句中并未顯現(xiàn)這一點，則間接說明了他們思辨能力的不足。因此，她認為不同的任務對能力或技能的側重點不同，考試的打分過程無法聚焦學生的思辨能力。

教師B認為思辨能力無法從測試中分離開來單獨評分?！拔覀円廊皇褂脗鹘y(tǒng)的方式進行評分。如果單獨地對于思辨能力評分，那就太機械了。思辨能力本就應該是發(fā)散的……”另外，他還強調(diào)了思辨能力在測試構念中的整合。

因此，可以得出測試評分并不集中關注思辨能力的結論。

(五)問題5:測試中的任務是否包含思辨能力的運用?

通過整理6位考生的訪談，可以總結出他們認為的測試每一部分所對應的技能考查，如下表所示。

表1 本測試題型安排及技能考查

根據(jù)文秋芳等的思辨模型，分析、推理、評估屬于思辨的認知技能，解釋屬于分析的子技能，邏輯也是思辨能力的體現(xiàn)。因此，教師列出了考生眼中測試各部分所考察的能力與技能，其中屬于思辨能力的部分用黑體加粗。分析可知，文本理解、閱讀理解和寫作涉及思辨能力最多。經(jīng)計算后，思辨能力約占全部考查技能的41%。對于思辨能力各子技能而言，占比為分析>推理>評估。因此，來自學生的觀點證實，測試的任務考察了思辨能力的運用。

(六)問題6:測試成績是否能視為考生思辨能力的指標?

在對教師的訪談中涉及了這次考試所反映的學生的思辨能力與他們印象中學生的思辨能力的一致性。對此，兩位教師給出了不同的答案。教師A認為，兩者之間存在一致性。平時參與思辨活動較為活躍的學生，在這次考試中得到而定分數(shù)也會越高。但另一方面，她也認為本次測試不能完全反映他們的思辨水平。因為題量較大，所以學生沒有足夠的時間去思考，他們思辨能力的發(fā)揮也因此受到了限制。教師B認為極少數(shù)學生具有批判性思維，大多數(shù)學生非常被動，在課堂討論中難以得出深刻的東西。有些同學會努力準備考試，但課堂中的思辨性活動參與度不高。所以，很難說測試的結果是學生思辨能力的反映。

根據(jù)兩位教師的觀點，考試成績不能視為學生思辨能力的指標。

五、結語

分析表明，思辨能力在該精讀課程的期末測試中得到了評估，并且該測試在評估思辨能力部分這一方面具有一定有效性。經(jīng)過分析，該測試對于思辨能力的定義基于現(xiàn)有的思辨能力的理論模型；測試明確了各任務的特點，以便引出和觀察考生的思辨能力表現(xiàn)；測試的任務中包含思辨能力的運用。但測試的條件限制了考生發(fā)揮出思辨能力的最高水平，包括測試時間長、題量大。測試的評分過程并不集中聚焦思辨能力的運用，也無法完全視為考生思辨能力的指標。

根據(jù)研究結果，也可以得出一些對于精讀課程教學與測試的啟示和建議。首先，應該減少測試中項目的數(shù)量，這對他們更好發(fā)揮思辨能力、減輕測試前中期的焦慮水平都是有益的；其次，思辨能力的評估需要得到更好的重視，因為其在評估中所占比例處于中下水平。這也為后續(xù)精讀課程期末測試的設計提供了參考。