證據(jù)權重法在大學英語成績評價中的引入及應用

劉 藝

(廣西師范大學 外國語學院，廣西 桂林 541004)

證據(jù)權重法在大學英語成績評價中的引入及應用

劉 藝

(廣西師范大學 外國語學院，廣西 桂林 541004)

針對目前傳統(tǒng)大學英語課程考試評價體系的剛性評價方法難以定量反映學生的真實水平和能力問題，在大學英語綜合成績評估過程中，嘗試引入地質學中的非線性統(tǒng)計學方法——“證據(jù)權重法“，選取大學英語綜合成績評定中的聽、說、讀、寫、譯等12個證據(jù)因子，通過證據(jù)權重模型調整因子的關聯(lián)與消長趨勢控制，借助本模型對2520個學生的成績進行了綜合評估與剖析。在12個證據(jù)因子中，傳統(tǒng)命題寫作、報刊網(wǎng)絡閱讀、英漢互譯機譯輔助、閱讀理解客觀題、在線聽力測試這5項，最能體現(xiàn)學生的英語水平；師生交流和場景對話辨析難以測試出學生的真實英文水平；報刊網(wǎng)絡閱讀、英漢互譯機譯輔助、在線聽力測試的權重在提升。實證結果表明：在后期的英語教學過程中，最需要提升的是學生英語錄像聽析和微型演講能力。

英語水平考試；證據(jù)權重法；教學評估

隨著高校素質教育的逐步深入，大學英語教學改革也在逐步推進，改革的目的在于提高測試對大學英語教與學的正面反撥效應，減少負面效應，使測試達到最優(yōu)的反撥效應[1]。近年來，我國在構建教學評價體系的進程中，在一定程度上，實現(xiàn)了課程教學目標的完善與優(yōu)化，推進了教學方式的革新，但教學評價體系仍存在一些缺陷[2]。針對大學英語教學過程中學生成績的正確評定問題，本文將地質學領域的證據(jù)權重非線性數(shù)學方法引入大學英語成績評估過程，提出了大學英語成績評定的方法前提、操作流程、質量監(jiān)控、結果評價等措施，通過實例對學生的成績進行客觀評估，取得較好效果。

1 證據(jù)權重法的原理與方法

證據(jù)權重法(Weights of Evidence Method，簡稱WEM)是加拿大著名數(shù)學地質學家F P Agterberg (1993)提出的基于二值圖像的一種地質學統(tǒng)計方法[3]，是一種在假設條件獨立的前提下綜合證據(jù)因子的定量預測方法。證據(jù)權重法是用于地質礦產(chǎn)預測方面的一種有效的非線性方法，它解決了成礦預測中由于信息來源復雜難以人為評估最終的優(yōu)勢區(qū)段，轉而由計算機來根據(jù)其關聯(lián)性及權重大小進行分析的一種定量評估預測方法[4]。利用該方法將語言測試的要素細分為多種測試因子，以多種因子的相互作用對綜合成績進行測評，這種方法對大學英語成績評價有指導意義。證據(jù)權重法的基本原理，是將所有的學生作為一個整體區(qū)間，如果不存在任何證據(jù)，這時研究區(qū)的成礦概率用先驗概率來表示；當有一種證據(jù)出現(xiàn)時，整體區(qū)間被分割成4個部分，然后根據(jù)證據(jù)的權重系數(shù)，計算出每個學生(網(wǎng)格單元)的后驗概率比，再換算成后驗概率，根據(jù)后驗概率的大小，使用最優(yōu)密度分割得到學生的評價等級。

2 基于WEM的大學英語成績新評價方法

2.1 統(tǒng)計單元劃分

在大學英語成績的定量評價程序中，單元劃分是一項基礎性工作。一切統(tǒng)計結果均建立在一定單元劃分的基礎上，單元劃分的正確與否直接關系到預測結果的精確度。單元不僅作為統(tǒng)計樣品而存在，而且是將數(shù)學模型與綜合信息概念模型進行有機關聯(lián)和轉換的重要環(huán)節(jié)。定義學生個體的編號方式為：XXYY(XX為班級、YY為學生編號)，這是為了教師掌握不同尺度的評價反饋而設計的統(tǒng)計單元格。如果評價學生個體，就以學生個體為一個單元格；如果評價一個班級，就以班級為單元格。編號方式可以任意擴大，以取得不同尺度下的評估結果。

2.2 英語能力評估證據(jù)因子的設計

證據(jù)因子是證據(jù)權重法進行半定量評估的基本要素，本文根據(jù)大學英語能力綜合判別模型，每個證據(jù)因子以100分為最大值，選取了聽、說、讀、寫、譯5種能力因子。第一，英文聽力證據(jù)因子。①在線聽力測試證據(jù)因子：用QuizCreator制作100道在線測試題，主要為客觀題型(判斷、單選、多選、配對、順序、熱點)。②英語錄像聽析證據(jù)因子：選取10套英語錄像資料，將其中的場景內容摘錄出進行測試。③場景對話辨析證據(jù)因子：選取10個國際交流過程中的場景錄音，對人物、數(shù)字、地點、結論等語言節(jié)點進行辨析。第二，表達交流證據(jù)因子。①微型演講證據(jù)因子：開展班級小型演講，設計10個題目，任選其一，以脫口演講和正式演講作為成績評判標準。②師生交流證據(jù)因子：選取10道題任選其一，師生之間進行英語交流，時間為5分鐘，場所隨機，分數(shù)記錄在EXCEL中。第三，理解因子。①閱讀理解客觀題證據(jù)因子：選取5套試題，任選其一，每套試題包含50道傳統(tǒng)閱讀理解題，在規(guī)定的時間內完成試題并評分。②報刊網(wǎng)絡閱讀證據(jù)因子：快速閱讀來自于互聯(lián)網(wǎng)上的國外報刊文章30篇并測試分數(shù)。第四，寫作能力證據(jù)因子。①傳統(tǒng)命題寫作證據(jù)因子：從四、六級考試的作文題中選取10道題，學生從中選其一進行測試；②電腦應用文寫作證據(jù)因子：以常用應用文命題讓學生在電腦上進行寫作。第五，英漢互譯證據(jù)因子。①英譯漢證據(jù)因子：完成10道英譯漢題目；②漢譯英證據(jù)因子：完成10道漢譯英題；③英漢互譯機譯輔助證據(jù)因子：利用電腦輔助軟件完成相應的中英文翻譯，關鍵在于句法的修改，充分使用personal translator軟件進行Word的寫作翻譯。

2.3 成績評價證據(jù)權重的計算過程

①計算證據(jù)的權重系數(shù)：假設滿足條件獨立性的證據(jù)圖層有P層，則網(wǎng)格單元屬性表對應的有P + 2列，統(tǒng)計每一種證據(jù)與成績等級之間的聯(lián)合分布頻數(shù)，n(zj+y+)、n(zj-y+)、n(zj+y-)、n(zj-y-)、n(y+)和n(y-)，根據(jù)上述6個數(shù)值計算證據(jù)的權重系數(shù)Wj+ 和Wj-(j=1,2,…,P)。重復這一步驟，直到將P個證據(jù)的權重系數(shù)全部計算完為止。②根據(jù)后驗概率比的計算公式，計算每一個網(wǎng)格單元的成績級別后驗概率(odds)轉化成后驗概率值。③將網(wǎng)格單元后驗概率計算結果存放在網(wǎng)格單元屬性表中。④將后驗概率數(shù)據(jù)離散化生成分級數(shù)據(jù)并存放在屬性表中。⑤借助于MapInfo的專題圖生成功能，生成各級成績分布圖。

3 實例操作流程與結果評估

3.1 英語綜合評估成績的后驗概率計算

證據(jù)權重法的預測評價結果是成礦后驗概率圖，其值在0～1之間，后驗概率值的大小對應成績評價概率的大小。為了圈定不同的綜合成績預測等級，首先需要確定整個預測評價范圍內的臨界值，后驗概率值大于臨界值的地區(qū)，即為預測成績優(yōu)異的個體。根據(jù)區(qū)間內不同單元后驗概率值的大小，結合證據(jù)權重值單元頻數(shù)曲線求拐點的方法，確定該區(qū)間預測證據(jù)權的臨界值。確定整個預測評價范圍內的臨界值后，圖中后驗概率大于臨界值的個體即為預測的優(yōu)異個體，為成績達標者。根據(jù)不同的級別得到其他不同級的英語成績評估結果。以桂林某高校大學英語教學試驗的數(shù)據(jù)為例，該校共72個班，每個班級35人，共2520人。根據(jù)前面基于MapInfo10.0平臺所建立的有利證據(jù)層的單項成績分布圖件，分別計算各證據(jù)層與評估層的相關程度和預測評價證據(jù)權值，其權重值計算、后驗概率值及其方差如表1所示。

證據(jù)權重法要求各證據(jù)因子相對于成績分布要條件獨立，在證據(jù)進行統(tǒng)計之前，對于上述12個證據(jù)因子，需要檢驗證據(jù)是否滿足條件獨立性。為此，在設定顯著性水平為0.05的條件下，利用公式對各證據(jù)因子進行條件獨立性檢驗并分析檢驗結果。從前述證據(jù)權重法的原理可知，證據(jù)權重劃分的單元格足夠小(為學生個體)時，證據(jù)基本相對獨立，但以班級為單元格時則不然。根據(jù)研究結果，12個考試證據(jù)因子基本上滿足條件獨立性，本次研究的評估判別比較理想。

表1 大學英語綜合成績評價證據(jù)因子權重值參數(shù)表

3.2 英語綜合成績證據(jù)權重級別預測

綜合上述研究，篩選出條件獨立且證據(jù)權值存在的因子，以個體為網(wǎng)格單元，計算對2520名學生進行綜合評估后的后驗概率。根據(jù)拐點位置，選取了后驗概率值0.534作為異常(達標)的下限，將后驗概率值大于0.771的拐點作為一級指標區(qū)(優(yōu)秀)，后驗概率值介于0.623與0.771之間的作為二級指標區(qū)(良好)，介于0.623與0.534之間的作為三級指標區(qū)(通過)，0.534至0.335之間是需要努力的學生，低于0.335的屬于綜合能力測試不達標；另外，12個因子中即使只有一個因子處于較高的指標區(qū)，而其他因子不達標，那么整體測評結果也不會低于0.335的級別，但是在傳統(tǒng)的英語綜合成績測試方法中，如果只有一個評測因子非常優(yōu)秀，而其他因子不達標，整體也會不及格。因此，與傳統(tǒng)平均的綜合評測方法相比，證據(jù)權重法中因子之間是相互影響的，評測的結果還可以告訴學生需要加強哪些因子，教師也能根據(jù)情況進行教學改革。通過統(tǒng)計發(fā)現(xiàn)：后驗概率值(良好率)在0.623以上的可以看到一、二級異常區(qū)域(優(yōu)秀及優(yōu)良)的面積占據(jù)整個學校個體預測范圍的46.58%，而該校的國家四級通過率只有39.61%。選取了26名四級未通過的學生的測評結果，24名學生的綜合評測結果是在二級異常區(qū)，也就是說，這部分學生的大學英語綜合能力的評價值比四級通過率要高。英語綜合評價體系的評價因子不僅包括了四級考試的所有評價因子，而且包括了對課內、課外一些活動表現(xiàn)能力的評測，因此，筆者認為，英語綜合評價體系的評價結果比四級通過率更能說明問題，也能激發(fā)學生全面學習英語的熱情，糾正學生學習偏向。

4 結論與建議

從整個評價新體系來看，綜合評價體系更能完整地評測一個學生全面運用英語知識的能力。進一步分析因子評價結果，可以得出以下幾點認識。①傳統(tǒng)命題寫作、報刊網(wǎng)絡閱讀、英漢互譯機譯輔助、閱讀理解客觀題、在線聽力測試這五項測試最能體現(xiàn)學生的英語水平，其權重超過了1.1。②師生交流和場景對話辨析難以測試出學生的真實英文水平，權重低于0.5，尤其師生交流，由于老師難以把握學生的掌握程度造成測評難以反映學生真實英文水平。③報刊網(wǎng)絡閱讀、英漢互譯機譯輔助、在線聽力測試的權重較高，說明學生利用互聯(lián)網(wǎng)認知英語的能力在增強，而且取得了主要的水平測試地位。這也從側面說明了傳統(tǒng)以紙質測試學生水平的考試難以表現(xiàn)學生真實實力，沒有借助互聯(lián)網(wǎng)進行的全面測試正是目前傳統(tǒng)英語測試的短板。④從統(tǒng)計方差數(shù)據(jù)來看，在后期的英語教學中需要提升學生英語錄像聽析和微型演講能力，這兩個能力不僅僅是練習聽和說的能力，更重要的是練習快速語言組織能力和膽識力。證據(jù)權重法能根據(jù)學生成績的分布自動調整因子的權重，避免了人為評判造成學生成績評判的不公正。大學英語綜合評價體系正在建設和探索之中，因此，需要更多的學校參與完善，它不僅能指導教師的教學，而且能指導學生提升其某方面的能力因子，指導學生學習，提升大學生的英語綜合素質。

[1] 鄧玉華，李大軍. 淺談CET改革后測試對英語教與學的反撥效應[J].甘肅農(nóng)業(yè)，2006(9): 244-245.

[2] 楊楠楠.對構建大學英語評價體系的研究[J].黑龍江教育學院學報.2014(2):169-170.

[3] AGTERBERG F P,BONHAM-CARTER G F,CHENG Q M,et al.Weights of evidence modeling and weighted logistic regression for mineral poential?mapping[C]//DAVIS J C,HERZFELD U C.Computers in geology:25 years of progress.New York:Oxford Univ.Press,1993.

[4] AGTERBERG F P, CHENG Q, WRIGHT D F. Fractal modeling of mineral deposits[C]// ELBROND J, TANG X. Application of computers and operations research in the mineral industry: Proc. 24th APCOM symposium (Vol 1). Montreal: Can. Inst. Mining, Metallurgy and Petroleum Eng,1993.

THE INTRODUCTION AND APPLICATION OF EVIDENCE WEIGHT METHOD IN COLLEGE ENGLISH ACHIEVEMENT EVALUATION

LIU YI

(SchoolofForeignLanguages,GuangxiNormalUniversity,Guilin541004,China)

At present, it is difficult to give a quantitative reflection of the true level and ability of students by using the rigid test evaluating method of the traditional college English curriculum evaluation system. The nonlinear statistical method in Geo-science is introduced in the process of college English achievement evaluation, and 12 evidence factors are refined in the comprehensive performance assessment of college English such as listening, speaking, reading, writing and translating and so on, and the growth and decline trend of the factors are controlled by using an Evidence Weight Model and a comprehensive evaluation and analysis of 2520 students' academic achievements are conducted with the aid of this model. The results show that in the 12 evidence factors, traditional writing, online reading of newspapers and periodicals, computer-aided translation, objective reading comprehension, and online listening test can best reflect the students' English level; whereas, interaction between teachers and students, scene dialogue analysis fail to test the true English level of the students; the weight of online reading of newspapers and periodicals, computer-aided translation and online listening test is on the rise; in the later period of English teaching, what the students need most is to improve their English hearing and speaking ability.

English proficiency test；evidence weight method；teaching evaluation

2017-1-4

2016年度廣西高等教育本科教學改革工程項目：“大學英語翻轉課堂教學模式的有效性研究與實踐”(2016JGA138)

劉藝(1971- )，女，廣西博白人，碩士，副教授，研究方向:課程與教學論。

1673-1751(2017)02-0096-04

G642.475

A