句酷網(wǎng)、愛寫作系統(tǒng)評分效果的比較研究

任瑞娟+高莉

摘 要：本文從分布差異，差值、均值差異，多元線性回歸差異三方面，比較句酷網(wǎng)、愛寫作系統(tǒng)對210份機輔英語寫作比賽文本的內(nèi)容、結(jié)構(gòu)、總分評分。發(fā)現(xiàn)句酷網(wǎng)評分分散，更能區(qū)分作文水平；兩系統(tǒng)的總分都具備一定的參考性；兩系統(tǒng)在總分、內(nèi)容、結(jié)構(gòu)三部分的評分都差異顯著；句酷網(wǎng)的評分注重結(jié)構(gòu)，無法識別內(nèi)容；愛寫作系統(tǒng)的評分內(nèi)容、結(jié)構(gòu)并重?？傮w而言，愛寫作系統(tǒng)的評分效果優(yōu)于句酷網(wǎng)。建議學生在寫作訓練中，使用愛寫作系統(tǒng)的評分，有效提高寫作能力。

關(guān)鍵詞：英語作文評分 比較 句酷網(wǎng) 愛寫作系統(tǒng) 作文自動評分系統(tǒng)

中圖分類號：H319 文獻標識碼：A 文章編號：1672-1578（2017）06-0003-02

1 引言

“走出去”戰(zhàn)略的深化，對英語學習者的寫作能力提出了更高的要求。因能檢驗學習者的書面表達能力，作文是各類英語測試的必考題。一般要求學生圍繞特定話題，運用所學語言知識、組織安排語言材料。作文評分由教師進行，該過程的主觀性無法避免，所以保證評分的信、效度尤為關(guān)鍵。作文自動評分系統(tǒng)（Automated Essay Scoring，以下簡稱“系統(tǒng)”）為提高評分的信、效度而研發(fā)，其前提是計算機軟、硬件性能的提升。系統(tǒng)是使用計算機程序模擬人工評分，對作文進行快速、自動評分的計算機技術(shù)。1966年，Ellis Batten Page成功研制了世界上第一個系統(tǒng)PEG（Project Essay Grader）。中國的系統(tǒng)研究始于本世紀初，以梁茂成、葛詩利、楊永林等為代表的學者研制了愛寫作系統(tǒng)、易格軟件、冰果系統(tǒng)、新視野系統(tǒng)、句酷網(wǎng)等系統(tǒng)。

2 文獻綜述

學界對系統(tǒng)的比較研究分為兩類。第一類是對系統(tǒng)的研制原理、評分效果的理論研究。韓寧介紹了美國幾個系統(tǒng)的基本原理，指出了這些系統(tǒng)的局限性，并說明了系統(tǒng)的恰當使用方式。毛世花、陳曉麗闡述了E-rater和句酷網(wǎng)的評分原理，并討論了E-rater和句酷網(wǎng)的優(yōu)缺點。陳長進分析了句酷網(wǎng)和冰果系統(tǒng)的評分機制，并簡單比較了句酷網(wǎng)和冰果系統(tǒng)的評分效果。第二類是有關(guān)系統(tǒng)評分效度的實證研究，以探求系統(tǒng)在評分實踐中的差異。楊婷婷以37份大學生的英語四級考試作文為樣本，通過皮爾遜相關(guān)分析和配對樣本T檢驗，比較了冰果系統(tǒng)和新視野系統(tǒng)的評分，證明冰果系統(tǒng)和新視野系統(tǒng)的評分不一致。殷小娟等以145份大學生的寫作訓練文本為例，用斯皮爾曼相關(guān)和單因素方差分析，分別對比了句酷網(wǎng)和冰果系統(tǒng)與人工評分間的相關(guān)性、差異性，證明句酷網(wǎng)和冰果系統(tǒng)的評分存在顯著差異。上述實證研究都運用總體評分法，只涉及系統(tǒng)評分的總分比較，實用性有待進一步完善。通過比較句酷網(wǎng)、愛寫作系統(tǒng)的評分效果，本文旨在幫助學生在寫作訓練中選擇合適的系統(tǒng)，有效提高寫作能力。

3 研究過程

本文用定量研究法。樣本是某大學機輔英語寫作比賽的真實文本210份，數(shù)據(jù)是句酷網(wǎng)（http：//www.pigai.org/）、愛寫作系統(tǒng)（http：//iwrite.unipus.cn）的評分結(jié)果，數(shù)據(jù)收集有三步。第一步：分別登錄兩系統(tǒng)，按比賽要求布置作文。第二步：分別將兩系統(tǒng)的設(shè)置改為——總分100分，內(nèi)容、結(jié)構(gòu)各占比40%、25%。第三步：分別輸入文本到兩系統(tǒng)，由其自動評分，并記錄結(jié)果。句酷網(wǎng)、愛寫作系統(tǒng)的評分都標明了總分，并顯示內(nèi)容、結(jié)構(gòu)兩維度的評分比例。將兩個比例分別與40、25相乘，即為兩維度的評分。最后用SPSS 20.0對句酷網(wǎng)、愛寫作系統(tǒng)的評分結(jié)果進行統(tǒng)計分析。本文從分布差異，差值、均值差異，多元線性回歸差異三方面比較兩系統(tǒng)的英語作文評分。

3.1 分布差異

句酷網(wǎng)的評分中，總分含60個值，介于15.5——87.0之間；內(nèi)容評分含36個值，介于12.8——39.2之間；結(jié)構(gòu)評分含24個值，介于13.25——23.75之間。愛寫作系統(tǒng)的評分中，總分含37個值，介于31——82之間；內(nèi)容評分含18個值，介于13.2——34.0之間；結(jié)構(gòu)評分含8個值，介于18——25之間。表1是比率排在前六的兩系統(tǒng)在總分、內(nèi)容、結(jié)構(gòu)三部分的評分。句酷網(wǎng)的評分分布為：總分中，74.0的最多，隨之是65.0、70.5、77.5、78.5、79.0，有25.72%的是這六個分值；內(nèi)容評分中，31.2的最多，隨之是28.8、29.2、29.6、33.2、30.8，有34.27%的是這六個分值；結(jié)構(gòu)評分中，21.75的最多，隨之是20.75、20.50、21.00、21.25、22.00，有50.48%的是這六個分值。愛寫作系統(tǒng)的評分分布為：總分中，56的最多，隨之是55、70、54、60、63，有33.32%的是這六個分值；內(nèi)容評分中，23.2的最多，隨之是20.0、18.0、21.2、22.0、25.2，有64.75%的是這六個分值；結(jié)構(gòu)評分中，25的最多，隨之是23、21、22、20、19，有97.14%的是這六個分值。

3.2 差值、均值差異

表2是兩系統(tǒng)評分差值的比率分布。完全一致率指兩系統(tǒng)評分相同；相鄰吻合率指兩系統(tǒng)評分差值在0.0—10.0間（總分）、0.0—4.0間（內(nèi)容評分）、0.0—2.5間（結(jié)構(gòu)評分）（梁茂成，2012）。由表可知，兩系統(tǒng)評分的相鄰吻合一致率（包含完全一致率、相鄰吻合率）方面，結(jié)構(gòu)最高、總分居中、內(nèi)容最低。兩系統(tǒng)評分差值的最大值方面，內(nèi)容最大、結(jié)構(gòu)居中、總分最小。兩系統(tǒng)評分差值的最小值方面，總分、內(nèi)容、結(jié)構(gòu)都有相同評分。兩系統(tǒng)評分差值的均值方面，內(nèi)容最大、總分居中、結(jié)構(gòu)最小。兩系統(tǒng)評分差值的最頻值方面，內(nèi)容最大、總分居中、結(jié)構(gòu)最小。

本文對兩系統(tǒng)在總分、內(nèi)容、結(jié)構(gòu)三部分的評分做了配對樣本T檢驗。檢驗結(jié)果如表3，該表顯示：總分中，兩系統(tǒng)評分差異顯著（t=16.714，df=209，p<0.05），句酷網(wǎng)評分顯著比愛寫作系統(tǒng)評分高（MD = 11.74）；內(nèi)容評分中，兩系統(tǒng)評分差異顯著（t=16.890，df=209，p<0.05），句酷網(wǎng)評分顯著比愛寫作系統(tǒng)評分高（MD=8.16）；結(jié)構(gòu)評分中，兩系統(tǒng)評分差異顯著（t=-9.580，df=209，p<0.05），句酷網(wǎng)評分顯著比愛寫作系統(tǒng)評分低（MD=-2.12）。

3.3 多元線性回歸差異

本文還分別對兩系統(tǒng)在總分、內(nèi)容、結(jié)構(gòu)三部分的評分做了多元線性回歸分析，結(jié)果如下。對句酷網(wǎng)評分的多元線性回歸分析滿足誤差成正態(tài)分布及誤差和預(yù)測變量不相關(guān)的前提假定；兩個預(yù)測變量中，“結(jié)構(gòu)評分”這一變量與因變量顯著相關(guān)（表4）；強制回歸結(jié)果顯示，兩個變量對總分有良好的預(yù)測作用（表5），R2為0.364，即“內(nèi)容評分”、“結(jié)構(gòu)評分”構(gòu)成的組合可解釋總分36.4%的變異；兩個預(yù)測變量中，“結(jié)構(gòu)評分”（Beta=0.632）的標準化回歸系數(shù)較高，說明結(jié)構(gòu)評分越高，總分越高；標準化回歸方程為：總分=0.632×結(jié)構(gòu)評分+0.241×內(nèi)容評分。對愛寫作系統(tǒng)評分的多元線性回歸分析滿足誤差成正態(tài)分布及誤差和預(yù)測變量不相關(guān)的前提假定；兩個預(yù)測變量都與因變量顯著相關(guān)（表4）；強制回歸結(jié)果顯示，兩個變量對總分有良好的預(yù)測作用（表5），R2為0.406，即“內(nèi)容評分”、“結(jié)構(gòu)評分”構(gòu)成的組合可解釋總分40.6%的變異；兩個預(yù)測變量中，“內(nèi)容評分”（Beta=0.503）的標準化回歸系數(shù)較高，說明內(nèi)容評分越高，總分越高；標準化回歸方程為：總分=0.503×內(nèi)容評分+0.361×結(jié)構(gòu)評分。

4 結(jié)論

基于上文的數(shù)據(jù)分析，本文有以下結(jié)論。兩系統(tǒng)對各部分獨立評分、互不影響，但評分差異明顯。句酷網(wǎng)評分較分散，說明句酷網(wǎng)能明確區(qū)分水平相近的作文。兩系統(tǒng)對各部分的評分高低不一，說明兩系統(tǒng)的內(nèi)部一致性不穩(wěn)定。句酷網(wǎng)評分的最高分高、最低分低，說明句酷網(wǎng)對好作文寬松、差作文嚴厲，總體嚴厲度變化較大。相對內(nèi)容評分、結(jié)構(gòu)評分而言，兩系統(tǒng)總分差值的誤差最小，說明兩系統(tǒng)的總分都有一定的參考性。句酷網(wǎng)的不同評分與結(jié)構(gòu)最相關(guān)，愛寫作系統(tǒng)的不同評分與內(nèi)容最相關(guān)；說明兩系統(tǒng)評分的側(cè)重點不同。此外，句酷網(wǎng)的不同評分與內(nèi)容評分的變化無關(guān)，說明句酷網(wǎng)無法識別作文的內(nèi)容。兩系統(tǒng)評分差異顯著，句酷網(wǎng)評分注重結(jié)構(gòu)，無法識別內(nèi)容；愛寫作系統(tǒng)評分內(nèi)容、結(jié)構(gòu)并重。總體而言，愛寫作系統(tǒng)評分效度優(yōu)于愛寫作系統(tǒng)。建議學生在寫作訓練中，使用愛寫作系統(tǒng)的評分，明確了解作文的內(nèi)容、結(jié)構(gòu)，有效提高寫作能力。

參考文獻：

[1] 陳長進.作文自動批改系統(tǒng)比較研究[J].科技視界，2013（30）：144-145.

[2] 葛詩利，陳瀟瀟.中國EFL學習者自動作文評分探索[J].外語界，2007（5）：43-50.

[3] 韓寧.幾個英語作文自動評分系統(tǒng)的原理與評述[J].中國考試，2009（3）：38-44.

[4] 梁茂成.中國學生英語作文自動評分模型的構(gòu)建[M].北京：外語教學與研究出版社，2011.

[5] 梁茂成.大規(guī)模考試英語作文自動評分系統(tǒng)的研制[M].北京：高等教育出版社，2012.

[6] 梁茂成，文秋芳.國外作文自動評分系統(tǒng)評述及啟示[J].外語電化教學，2007（10）：18-24.

[7] 毛世花，陳曉麗.E-rater和句酷的對比研究及對提高大學生英語作文水平的啟示[J].高等函授學報，2012（5）：20-21.

[8] 武尊民.英語測試的理論與實踐[M].北京：外語教學與研究出版社，2003.

[9] 許宏晨.第二語言研究中的統(tǒng)計案例分析[M].北京：外語教學與研究出版社，2013.

[10] 楊婷婷.英語寫作自動評分系統(tǒng)的不一致性研究[J].社科縱橫，2012（3）：297-298.

[11] 楊永林，全冬.認知的理念，實用的視角——信息技術(shù)在外語教學中的應(yīng)用[J].外語電化教學，2011（11）：47-51.

[12] 殷小娟，賈永華，林慶英.“句酷網(wǎng)”和“冰果”自動評分效度的對比實證研究[J]. 河北北方學院學報，2017（1）：1-11.

[13] Dikli， S. An Overview of Automated Scoring of Essays[J]. Journal of Technology， Learning， and Assessment， 2006（8）：4-30.

作者簡介：任瑞娟（1992-），山西呂梁人，西北農(nóng)林科技大學外語系碩士在讀，研究方向：二語習得。

高莉（1976-），陜西寶雞人，西北農(nóng)林科技大學外語系副教授，研究方向：認知語言學、二語習得。