大學英語期末考試效度的實證研究
——以合肥工業(yè)大學為例

唐瑩瑩

（合肥工業(yè)大學 外語學院大外部，安徽合肥230009）

“校本”是教育領域常用的詞匯，意思是以學校為本，鄭金洲認為它包含三個層次的含義：一是為了學校；二是在學校中；三是基于學校[1]。校本大學英語期末測試是一項標準參照的課程學業(yè)成績測試，由本校教師自主命題，考察學生英語語言能力，檢測學生是否掌握課程目標規(guī)定的知識與技能，檢測教師教學是否達到教學目標。校本考試是外語教學中必不可少的環(huán)節(jié)，是評價教師教學效果的有效手段。合肥工業(yè)大學大學英語課程設置時長為兩年，學生共參加四次校本考試，每次參與人數近5 000人，在此數據基礎上進行采樣分析，開展課程測試效度研究，真實呈現課程教與學的薄弱環(huán)節(jié)，為校本教學改革提供數據支撐及理論依據。

語言測試的效度指的是“證據和理論支持考分解釋的程度”[2]，雖然效度有多種分類，“但它首先意味著語言測試的效度可以從不同的方面去說明，去驗證”[3]，驗證的過程就是尋找和收集各類效度證據的過程，如內容效度、結構效度、預測效度和表面效度，甚至信度都是效度證據的一部分。而測試內容效度的分析、測試內部結構效度的因子分析和相關性分析、測試與其它測試之間外部關聯分析以及不同被試群體之間成績差異分析等都是收集效度證據的方法。

一、研究設計

（一）研究的問題和工具

本研究采用定量分析的方法，運用IBM SPSS 21.0統(tǒng)計分析工具，收集合肥工業(yè)大學2019年7月二級大學英語期末考試的數據，分析考試信度、難度、考試各部分成績的相關性及不同被試群體成績差異，以此為基礎，研究驗證本次考試的效度。

（二）考試的內容與形式

本次測試對象為2018級大學英語二級學生，他們在入學分級考試后被編入一級班，現已進行了一年的大學英語學習。測試時長為120分鐘，滿分100分，試卷命題由大外部和任課老師分工完成，聽力理解試題由大學外語教學部（簡稱“大外部”）確定，其他試題由任課老師擬定，均交由教研室主任審核后確定試卷內容。客觀題由計算機批改，主觀題由兩位老師評閱，一人評分一人復核，對有異議的成績，由兩位老師審議核定最終分數，以確保成績的準確性。測試試卷內容構成情況如表1所示。

本次測試客觀題占總分的65%，內容主要包括五個方面：一是聽力理解，均為多項選擇題，未設置聽寫和回答等語言產出性題目。二是篇章匹配，將篇章文末的句子與篇章段落相匹配，考查學生的篇章理解能力。三是閱讀理解，這是傳統(tǒng)題型，測試內容與社會生活密切相關，考察學生閱讀信息的獲取能力。四是翻譯，題型為五個獨立互不相關的單句，考查學生掌握所學詞匯和句子結構情況。五是寫作，寫作范式為提綱式三段文章，考查學生掌握英語寫作基本規(guī)則情況及主題句寫作能力。

二、研究結果

（一）數據統(tǒng)計分析結果

參加本次考試的學生總數為3 611名，獲得有效數據考生數為3 024名。信度是效度驗證的重要證據，首先對3 024名考生的成績進行信度計算，得出Cronbachα值為0.752，顯示本次考試信度較理想。單樣本Kolmogorov‐Smirnor正態(tài)檢驗結果顯示本次考試各部分成績及總分為正態(tài)分布，各部分K‐S的檢驗Z值分別為：聽力3.01，篇章匹配17.28，閱讀理解3.65，翻譯7.91，寫作8.27，總分3.45，P=0.000。為研究本次考試學生成績的分布情況，對考試數據進行描述統(tǒng)計，計算各部分的均值、標準差、峰態(tài)系數、偏態(tài)系數，得到總分均值M=64.15，標準差SD=11.61，難度系數為0.67，顯示考試總體難度適中且稍偏易?？荚嚦煽兎治鼋Y果如表2所示。

表1 2018級大學英語二級考試的內容與形式

表2 考試成績描述性統(tǒng)計結果及難度分布（n=3 024）

從各部分成績的描述性統(tǒng)計結果來看，學生得分最高的為篇章匹配M=9.19，SD=1.37，難度系數0.92表明該題幾乎沒有難度，考生平均得分已超過該題總分90%以上，顯示這項測試未能有效測量學生的閱讀技能。學生得分最低的為閱讀理解M=15.18，SD=4.57，難度系數為0.50，平均得分為該題總分的50%。學生的聽力成績M=13.68，SD=4.13，平均得分為該題總分的55%，高于閱讀理解成績，這超出了我們的預期。一般情況下，我國學生英文閱讀理解能力強于聽力理解能力，出現這種情況應該和題目難度有關，但也說明現在學生很重視聽力技能的練習，“聾子”英語的情況有所改善。翻譯和寫作的難度系數達到了0.71和0.77，說明題目略偏易，教師判分標準可能較寬，也可能學生對寫作話題比較熟悉，表達比較充分，而翻譯題部分來自課文內容，學生對所學詞匯和結構記憶清晰，也易得分。本次試卷五部分中，篇章匹配難度系數超過0.9，翻譯和寫作難度系數超過0.7，這兩部分著重考查學生語言運用能力，偏易試題不能準確有效地考查出學生能力。一份高質量的試卷，難度系數高于0.7或低于0.3的試題不宜過多，否則難以考查學生實際語言能力。

（二）考試的結構效度

“結構效度是測試對所假定的語言能力理論模型的體現程度”[4]，即考試的原則理論效度，是各種效度的根本，其核心是顯示分數意義及能夠被解釋為語言能力的標志。常用的實證方法是，通過計算組成測試各部分之間的相互關聯性檢驗測試結構效度的高低。楊惠中和Weir通過研究得出，在語言測試中試題各部分之間的相關系數在0.3和0.7之間是合適的，如果兩個部分之間的相關系數太低，則說明兩者考查的是完全不同的能力，而太高則說明這兩部分考查的是相同的能力[5]。

本次結構效度的分析采用定量方法，即分析試卷各部分與總分及各部分相互之間的相關系數。分析結果顯示，考試各部分之間以及各部分和總分之間的相關都在0.01水平上顯著，其相關系數Pearson’sr計算結果如表3所示。

表3 各組成部分的相關矩陣（n=3 024）

從表3的相關系數可以看到考試各部分與總分的相關系數在0.47～0.78之間，根據經典測試理論，“各部分和總分的相關系數可能被期望達到0.7或更高，因為總分是對語言能力的綜合測量”[6]。在各部分與總分的相關中，閱讀理解與總分的相關系數最大r=0.78，相關性最高。其次為聽力r=0.71，相關性顯著，但是篇章匹配、翻譯和寫作與總分的相關性雖然也在0.01的水平上顯著，但相關系數都低于0.7，表明這些測試部分對總分的解釋有貢獻，但沒有達到經典測試理論所期望的指標。這表明，閱讀理解和聽力對總分的解釋力最強，而篇章匹配的解釋力最弱。

Alderson等人認為，不同題型所考核的語言能力不同，各部分的相關系數不應太高，也不應太低，在0.3～0.7之間是合適的，這與楊惠中和Weir的研究結論相一致。本次考試各部分之間的相關系數沒有超出r=+0.7，表明本次考試未出現相同能力測試，其中聽力和閱讀理解、閱讀理解和翻譯及寫作的相關系數達到+0.3，翻譯和寫作的相關性最高r=0.50，都在合適的范圍之內。但是聽力與各部分以及篇章匹配與各部分之間的相關系數較低r=+0.2（只有聽力和閱讀理解的相關系數r=0.37），這種較低的相關性說明它們和其它各部分考查的語言能力有較大差異，而篇章匹配與所有各部分的相關系數都較低，與總分的相關性只有0.47，表明這部分試題的測試內容沒有達到課程教學目標的要求，有待修訂和提高。

（三）不同群體之間的考試成績差異

為了解不同性別、不同專業(yè)背景的學生在考試分數上是否存在顯著差異，我們采用SPSS中的方差分析。方差分析是用于檢驗兩組或者兩組以上樣本的均值是否具備顯著性差異的一種數理統(tǒng)計方法。在進行分析之前，先將考生按性別分成兩組，合肥工業(yè)大學是以工科見長的學校，3 024名考生中女生為475人。Levene’s Test對性別方差齊性檢驗結果為P=0.141，表明方差為齊性，對男女生成績進行單因素方差分析，結果顯示，男女生的總分差異顯著F（1，3023）=15.445，P=0.000，如圖1所示。

圖1 男女生總分差異圖

各部分得分上，男女生在聽力F（1，3023）=10.96，P=0.001、閱讀理解 F（1，3023）=6.774，P=0.009、篇章匹配F（1，3023）=5.571，P=0.018、翻譯F（1，3023）=5.900，P=0.015 和寫作 F（1，3023）=5.112，P=0.024的考試成績上存在顯著差異，通過對各部分成績均值的計算，女生成績每項皆高于男生成績。這一結果表明，傳統(tǒng)語言教學觀所認為的女性具有語言學習的先天優(yōu)勢是不爭的事實。那么經過兩年英語學習，男生會有怎樣的提升值得我們做進一步的跟蹤研究。

另外，抽選了儀器、機械、電子、管理和思政五個不同專業(yè)1 128名（男女生混合）考生成績，通過對數據的單因素方差分析，探討此變量是否造成不同專業(yè)考生成績顯著差異。選擇這五個專業(yè)是考慮到思政專業(yè)代表文科，管理專業(yè)包括工商管理、會計學、電子商務等，可以將其看作商科，在以工科為主的學校，這兩個專業(yè)比較有特點，可使樣本具有多樣性。Levene’s Test檢驗結果P=0.103，方差分析結果顯示五個不同專業(yè)的考生在總分F（4，1127）=4.808，P=0.001上成績差異顯著，如圖2所示。

圖2 不同專業(yè)方差分析圖

方差分析結果表明，五個不同專業(yè)的考生在聽力F（4，1127）=1.346，P=0.251、篇章匹配F（4，1127）=2.881，P=0.022、閱 讀 理解 F（4，1127）=1.946，P=0.101三個部分的考試成績上不存在顯著差異，但是翻譯F（4，1127）=15.227，P=0.000和寫作F（4，1127）=4.518，P=0.001這兩部分成績差異顯著。數據分析結果表明，不同專業(yè)學生在綜合語言運用能力上差異較大。

從圖2的總分均值圖可看出，思政專業(yè)學生成績顯著高于其它四個專業(yè)學生，但商科（管理專業(yè)）學生成績在五個專業(yè)中最低，這是沒有預料到的。在合肥工業(yè)大學英語教學中，管理專業(yè)學生外語學習表現一直良好，而機械專業(yè)學生英語基礎相對薄弱，成績不理想，但此次測試成績大幅提高，僅次于文科的思政專業(yè)，測試結果與教師的一般認識存在巨大反差。因而，堅持收集全校規(guī)模的期末考試結果數據并加以分析，對不同專業(yè)學生英語學習狀態(tài)和變化情況形成全面認知，有助于教師發(fā)現問題，有針對性地調整教學安排，提高教學質量，從而更好地完成教學任務。

三、結論及建議

根據對合肥工業(yè)大學2018級大學英語二級期末考試學生成績的分析研究，筆者對校本英語教學及測試提出以下幾點思考及建議：

第一，測試試題難易程度應適中。學業(yè)成績測試不是確定學生的水平層級，而是了解學生語言知識與技能的掌握情況，檢查教學效果是否達到預期目標。因而試題的難度應適中，標準差值應小一些，不能太大。本次測試試題整體標準差值是11.61，說明考生分數分布范圍較廣，水平差異較大。這給予我們如下啟示：首先，校本考試設計要契合學生語言能力實際狀況。依照課程內容或教學大綱制定考試命題細則，確保試題難易適中，不偏離考生實際語言能力，使考試更好地為教學提供積極正面的反撥作用，以改進教學，提高教學質量。其次，日常教學中閱讀理解與聽力訓練需待加強。本次考試閱讀理解部分學生得分不理想，在以后教學中應加強學生閱讀技能訓練和批判性思維的培養(yǎng)，同時多關注學生的聽力學習情況，掌握學生的實際聽力理解水平，觀察學生成績的變化情況，對教學作出進一步調整。最后，命題教師理論素養(yǎng)有待提升。命題人（這里特指大學英語教師）是考試質量控制環(huán)節(jié)中最重要的一環(huán)，他們除了符合專業(yè)能力要求外，還應具備測試科學知識，學?；蛟合祽獙處熯M行專門培訓和考核，使命題人在測試理論的指導下，有組織地進行考題的統(tǒng)一設計和生產，使學業(yè)成績測試具有規(guī)范性和科學性。

第二，加強校本測試體系的建設。語言測試是科學研究的對象，我們應重視校本測試體系的建設，充分發(fā)揮測試指揮棒的作用，讓學生在考試中真正學會運用各項語言技能，把考試設計成有積極反撥效度的考試，以外部因素激發(fā)學生內在學習動機，培養(yǎng)學生英語自主學習和終身學習能力。作為教師應該學習必要的語言測試知識，掌握基本的測試研究方法，應意識到每次考試不僅僅只是將分數提交給學生，而應該將考試的各類數據收集起來，對數據進行整理、計算、分析和解釋，通過對考試的相關研究獲得新的發(fā)現，獲取有價值的信息，不斷完善下一階段的教學與學業(yè)考試。

第三，根據方差分析結果開展分層教學。男女生和不同專業(yè)學生之間考試成績的差異不容忽視，本次參加測試的是分級后被編在同一級別的考生，且經過一年大學英語課程學習，但是他們各項語言能力差異仍然較大，成績離散度較高，這使得課堂教學難以很好地照顧到不同水平的學生。筆者建議在經過一年的學習后，根據考試分數將成績差異較大的學生重新劃分再組合，對基礎薄弱的學生著重補缺補差，加強語言知識的教學。對成績較好的學生，教學重點則應調整為進一步提高他們的語言水平，重視學生產出性語言能力的培養(yǎng)，提高學生語言的綜合運用能力。

本次針對合肥工業(yè)大學的一次期末測試數據進行統(tǒng)計和分析，在一定程度上對考試的效度進行了研究，大學英語測試和大學英語教學相互聯系、相互影響，對教學產生積極的反撥作用，是檢測教學質量的一種有效手段。因此對校本英語測試進行多角度多層次的全面研究是很有必要的。