大學英語分級考試內在效度研究
——以HFUT 2018級英語分級考試為例

（合肥工業(yè)大學 外語學院大外部，安徽 合肥 230009）

引言

目前大學英語教學面臨的一大難題是考進同一所學校甚至同一個專業(yè)的學生英語水平參差不齊，個體差異很大。大部分高校為了了解學生的英語學習水平和學習能力，以便根據教育部頒發(fā)的《大學英語教學大綱（1985）》的要求更有效地組織教學都實施了校本分級考試。根據學生的分級考試成績將他們分到不同班級進行分級教學，能更好地因材施教，最大限度地優(yōu)化學生英語學習效果。分級考試是大學英語分級教學的第一步，也是關鍵的環(huán)節(jié)，將會對隨后的英語教學產生較大影響。分級考試是否公正可靠，能不能有效區(qū)分學生不同的英語學習水平和學習能力，依據分級考試分數劃分的分級標準在多大程度上具備合理性，效度檢驗便是一項重要的驗證方法。因此對分級考試的效度進行研究就很有必要，只有對考試的每一步進行充分的研究，才能找到考試的不足和問題所在，從而知道考試是否達到它所要考的目的，反過來更好地促進教學。HFUT英語分級考試已實施了十多年，但未曾對其進行過驗證和研究。鑒于分級考試在大學英語分級教學中的關鍵性作用，本文擬對HFUT 2018級的分級考試效度進行探索性研究。語言測試的效度理論經過了不同時期代系的發(fā)展，共有5到8種效度，李筱菊將其分為4大類，即內在效度、外在效度、使用效度和超考試效度。其中，構念效度和內容效度是內在效度，指的是測試本身的效度，本文主要分析內在效度。

1 研究方法

1.1 研究對象

本文選取HFUT 2018級大學英語分級考試試卷作為研究對象(隨機抽取了123名來自全校5個不同專業(yè)的2018級大一新生的分級考試試卷)，該試卷的設計目的主要是考查學生的語言知識及其應用能力，具體包括：詞匯語法知識、閱讀理解能力和獲取口頭信息的能力。此次測試的試卷包括三大測試任務：聽力理解、詞匯與結構和閱讀理解。各項所占分值分別為40%、20%、40%，滿分100分。全卷共60道題，各項平均20道題，除詞匯與結構項每道題1分外，聽力和閱讀理解兩項每道題2分。所有試題都是客觀題，采用多項選擇題型，每份試卷都配有專用答題紙，機器閱卷。

1.2 研究工具

研究工具為社會統計軟件包SPSS21、Microsoft Word 2007和Flesch易讀度美國參考量表。

2 結果與分析

首先對123名新生的分級考試分數進行正態(tài)分布檢驗。

圖1 123人在HFUT 2018級分級測試中的成績分布圖

圖1.是對123名學生在HFUT2018級分級測試中分數的正態(tài)分布檢驗圖。從圖中可看出，此次考試的分數基本呈正態(tài)分布，分布在50-60分左右的人數最多。

表1 HFUT 2018級123人分級考試的描述性參數

表1是123人考試分數的描述性統計結果。從表1可看到總分均值為60.92，標準差為12.46，顯示學生的分數分布較為合理，離散程度較高，可以將不同水平的學生區(qū)分出來。通過計算得出分布圖的峰值和傾斜度分別為-0.308和0.107(正常范圍為 -2～2），表明本次分級考試成績呈正態(tài)分布，有較好的信度，因此可對其進行效度驗證。

2.1 構念效度 （construct validity）

構念效度是效度中最重要的，其核心是顯示分數意義及其解釋的可靠性。一項測試構念效度的高低可通過計算出組成測試各部分之間的相互關聯性來檢驗，就語言測試而言,組成試卷的試題各部分之間的相關系數,楊惠中和weir通過研究得出在0.3-0.7之間是合適的，他們認為如果兩部分試題之間的相關系數太高，則說明這兩部分考的是相同的能力，將其中的一個部分留下即可，以避免考試內容的重復；如果太低，則表明兩者考的是完全不同的能力[1]61。HFUT 2018級分級考試各部分之間及與總分之間的相關矩陣如表2所示。

表2 相關矩陣

從表2可看出聽力、詞匯與結構、閱讀各部分與總分之間的相關系數分別為0.188、0.207和0.424，且只在0.05水平上顯著。根據經典測試理論，各項目與總分的相關系數可能被期望達到0.7±或更高，因為總分是對語言能力的綜合測量[2]184。但是本次測試的各部分與總分的相關系數都與0.7相差較遠，沒有達到經典測試理論所期望的指標，從而缺乏對總分的解釋力。

各部分之間的相關系數只有詞匯與結構和閱讀為0.367，處在合適的范圍內，在0.01水平上顯著；而聽力和其它兩部分之間的相關系數都非常低，與閱讀之間的相關系數最低，僅為0.100，這說明聽力考查的語言能力與詞匯與結構、閱讀兩者考的是完全不同的能力。只有閱讀和詞匯結構之間的相關關系在0.01的水平上顯著，其余各部分之間的相關關系都沒有達到0.01的顯著性水平。由此可見，本次分級考試聽力部分的考題設計存在較大問題，試卷的內部結構一致性不理想。

2.2 內容效度 （content validity）

內容效度指的是考試是否考了要考的規(guī)定內容，考試的內容越是與考試大綱相關，符合考試大綱的規(guī)定和要求，越是能代表它所要求的測量任務和目標，就越能夠獲得較高的內容效度。李筱菊認為因為有白紙黑字的大綱作依據，內容效度是可檢驗的。

此次考試的第一項是聽力理解，它的內容效度具體體現在材料的選取、語篇的長度、語速的快慢等聽力技能方面。此部分由新聞報道、長對話和短文各兩篇組成，共20道考題，每道考題后留有10秒的答題時間，相較于《全國大學英語四級考試大綱（2006修訂版》（以下簡稱《考試大綱》）規(guī)定的答題時間15秒[3]，少了5秒；各部分的語速分別為每分鐘120詞、160詞和122詞，根據《大學英語課程教學要求（2007）》（以下簡稱《教學要求》）中的一般要求，大學生的聽力能力是能聽懂語速為每分鐘130-150詞的聽力材料[4]，《考試大綱》規(guī)定，聽力部分的語速為每分鐘130詞，據此可看出，第二部分語速較快，其它兩部分語速在正常范圍之內。在新聞報道中，第一條新聞是關于索馬里及非洲另外三個國家遭受饑荒和疾病急需國際社會援助的糟糕現狀（共184詞）；第二條新聞是報道中國小米手機在印度市場的占有情況（共178詞），這兩類話題對學生來說都比較熟悉，理解起來難度不大。兩篇長對話分別是有關周末生活安排（共277詞）和是否要去現場觀看足球比賽的討論（共281詞），有6-7輪對話，符合《考試大綱》的5-8輪對話的規(guī)定，但語速較快。短文的第一篇是說研究者發(fā)現嬰兒發(fā)笑的原因（共233詞），第二篇是關于古埃及的社會生活（共252詞），根據《考試大綱》的規(guī)定每篇短文的長度為200-250詞，這兩篇聽力短文長度符合大綱的要求。此次考試的聽力材料語篇總長度達到了1205詞，而高考(全國卷)聽力材料的語篇總長度多年穩(wěn)定在800詞左右[5]46，由此可見，較長的語篇對剛參加完高考還沒開始大學英語學習的考生們來說，會對他們的聽力理解產生不利的影響。在語速方面，長對話的語速為每分鐘160詞，遠遠高出高中課程標準中的語速為每分鐘110詞的規(guī)定，對他們來說難度較大。不同于閱讀，在英語學習中聽力歷來就是中國學生最大的難點和薄弱部分，過快的語速瞬間使考生緊張起來并且容易使他們產生焦慮情緒，從而影響答題正確率，影響考試的效度，這與構念效度分析是一致的。

閱讀理解部分的測試目的是考查考生通過閱讀獲取書面信息的能力，HFUT2018級分級考試的閱讀理解部分為仔細閱讀，由4篇短文組成，分值40%，與《考試大綱》規(guī)定的分值占35%基本一致，每篇長度分別為248詞、320詞、391詞和348詞，基本符合《考試大綱》每篇300-350詞的規(guī)定，但在題型上沒有簡答題和選詞填空題。4篇短文的體裁皆為敘述文，但《考試大綱》對體裁的規(guī)定則要求多樣，包括敘述文、說明文、議論文等。因每一種文章的體裁都有其特定的寫作結構和不同的圖解，針對不同體裁的閱讀材料考生會用其對應的圖解來進行詮釋和理解，文章的體裁不同會對閱讀理解產生很大的影響，一般來說，像議論文和說明文相比記敘文讀起來就更難理解。4篇短文的話題皆有關社會生活和文化，缺乏廣泛性，而諸如人文科學、社會科學、自然科學等領域都是大綱規(guī)定的考試題材，應盡可能涉及。不同的話題對考生能產生顯著的影響，碰上熟悉話題考生答起題來就會得心應手，其答題的準確率也會高于對話題不熟悉的考生，這就要求閱讀部分所選文章的題材應該盡可能廣泛，盡可能多地涉及規(guī)定的領域，覆蓋多個方面。

測試與能力密不可分，每項測試都考查考生特定的能力，在閱讀技能考查方面，大綱要求考查考生是否具備在不同層面上的英語閱讀理解能力，包括理解文章的主旨大意及其重要細節(jié)、文章中沒有明說而隱含的意義、根據上下文推測詞義、通過作者的用詞和語氣來判斷其觀點和態(tài)度等，楊惠中和Weir把詞匯或句子層面的技能劃定為低層次技能，即理解文章中事實及某個細節(jié)、單詞和句子、概念等，而高層次技能則是如大綱中規(guī)定的理解主旨大意、隱含意義等技能，不局限于表面的理解而是涉及到語篇水平上深層次的閱讀理解。本次閱讀測試的20道考題中考查事實細節(jié)類題有10題，主旨大意類題有3題，隱含意義類的有3題，有關作者態(tài)度的有2題，推測判斷類的有1題，根據上下文推測詞義的有1題，高低閱讀技能都得到了考查，符合大綱要求。但是仔細觀察不難發(fā)現，考查事實細節(jié)類的低層次技能題就占了50%，各項技能的考查比例不均衡。此外，為測定語篇的易讀度，本文參考了Flesch易讀度（Flesch Reading Ease）公式和易讀度美國參考量表，使用了Microsoft Office Word的拼寫和語法功能進行計算，4篇短文的易讀度分別為62.1、76.0、64.9和61.8。Flesh易讀度以100—0百分制來評定閱讀材料的難易度，分值越高難度越低越易理解，而分值越低則難度越高越難讀。根據Flesch易讀度參考量表[6]211-233，分值為60-70的是“標準”的閱讀材料，具有此等閱讀技能的人群在全美成年人中占比75%，相當于美國7-8年級的學生；70-80的是“相當簡單”的閱讀材料，具有此等閱讀技能的人群在全美成年人中占比80%，相當于美國6年級的學生，由此可見，此次測試的語篇易讀度對于已學習英語至少八年的學生來說偏容易了。

最后一部分的詞匯與結構由20道多項選擇題組成，其中一道題考的是詞組搭配，另有兩道題考的是介詞的運用，其它考的都是詞匯題。這20道題的出題范圍是5000多詞匯的大學英語詞匯表，對剛入學的大學新生來說，詞匯量的要求較高，答對較難。

2.3 問題分析與討論

總體來看，此次考試試卷的內在效度不高，尤其是構念效度較低，如何提高分級考試的效度亟待研究。目前國內學者的研究主要是對分級考試的某個效度或多個效度進行驗證和分析，并沒有從分級考試的特點和目的出發(fā)進行有針對性的研究。作者認為以下幾方面需要我們認真思考：首先，要明確分級考試的性質，分級考試不同于高考那樣的選拔性考試，也不同于四、六級考試那樣具有明確的水平標準的水平考試，分級考試的目的是把受試者的不同水平和特點區(qū)分開，測定受試者當前的英語水平和英語學習能力適合今后什么層次的英語學習和什么特點的英語學習，以決定教學起點，因材施教，并不要求受試者必須達到劃定的分數線，這樣的考試特點決定了分級考試試題的重點在甄別，也就是試題的區(qū)分度要高、題型要多樣、題量不能少、難度要適中。

分析HFUT 2018級大學英語分級考試試卷，其題量較少，一套全面的外語考試如以客觀題為主，總題量不應少于80至100[7]92；其次，題型少、體裁單一，閱讀理解部分的文章總體偏容易，沒有考查到受試者的多方面語言能力；聽力題的語速、篇幅、答題時間都存在一定的問題，答題難度大，難以答對。一般來說，太難或太容易的試題都不便于區(qū)分出受試者的水平高低?！霸囶}要適宜于要考它的受試者，受試群要適宜于他們要考的試題?！盵7]47所以試題設計的原則應深入了解受試者的語言能力需求，即參加分級考試的考生們，他們是剛剛參加完高考，剛入學還沒有開始大學英語學習的新生，那么什么樣的試題難度對他們是合適的，這是在試題設計時必須要考慮的。因全國各高校的學生情況不一樣，分級考試試卷的難易度應參考本校考生高考的英語成績，結合本校一直以來新生入學時的英語水平背景，合理設計。就HFUT新生入學時英語水平的狀況，試題的難度應稍高于高考試題的難度，接近大學英語一級的程度較為合適。另外，本次考試試題全為多項選擇客觀題，雖然選擇題適用機器閱卷，具有避免人為因素影響的優(yōu)勢，但是考試中考生容易作弊，帶有出題者的主觀性等缺陷也不容忽視，而選擇題很難測試出考生對英語語言的應用能力，在將來的分級考試試卷設計中應增加一些主觀回答的題型，進一步完善分級考試試卷。有鑒于分級考試是在大學課堂學習開始之前舉行的，所以在試卷設計時也要考慮中學到大學的過渡和銜接，尤其是聽力。

分級考試是每年進行的反復性考試，每次考試結束后應將數據收集起來，對考試進行分析評估，以逐步提高試題質量、提升考試的效度。各校可根據自己學校學生的實際情況確定考試構念并制定詳細的分級考試要求和命題細則，起到考試大綱的作用，保持考試所考核的內容、語言技能要求及試題結構的穩(wěn)定性，以保證考試題目不會偏離受試者的需求太遠，從而使受試者能按考試的要求，公平地考出實際水平，使分級考試更好地為教學和學習服務。

結論

本研究從構念效度和內容效度的角度對HFUT2018級的英語分級考試進行了效度研究，得出了一些有益的結論：

(1)大學英語分級考試有其特殊性，對校本英語分級考試的特點和效度進行研究可幫助評估考試質量、查找存在問題、尋求改進措施。

(2)構念效度分析可為內容效度分析做出有益提示，內容效度分析可具體反映測試試卷存在的效度問題。本次分級考試的總體效度偏低，閱讀理解部分偏容易，其它兩部分難度較大，試卷的內部結構不一致。

(3)分級考試試卷的難易度應參考本校考生高考的英語成績，結合本校長期以來新生入學時的英語水平背景，合理設計。就HFUT新生入學時英語水平的狀況，試題的難度應稍高于高考試題的難度，接近大學英語一級的程度較為合適。