基于計(jì)算機(jī)的動(dòng)態(tài)評(píng)價(jià)模式同伴反饋有效性研究

在心理學(xué)和普通教育領(lǐng)域，動(dòng)態(tài)評(píng)價(jià)的研究早已碩果累累，但在大學(xué)英語教育領(lǐng)域尚不多見[1]。國(guó)內(nèi)學(xué)者彭金定和韓寶成對(duì)動(dòng)態(tài)評(píng)價(jià)理論的研究使我國(guó)外語教師和研究者對(duì)動(dòng)態(tài)評(píng)價(jià)有了初步了解。種種跡象表明動(dòng)態(tài)評(píng)價(jià)理論涉及的領(lǐng)域與相關(guān)內(nèi)容正在引起國(guó)內(nèi)應(yīng)用語言學(xué)者的興趣，它為國(guó)內(nèi)外語教學(xué)領(lǐng)域的研究提供了全新視角[1]。

本研究以江西某普通高等高校300名非英語專業(yè)大二學(xué)生為研究對(duì)象，將其分為高中低水平三組，整個(gè)過程為期16周。該課程每周在常規(guī)教室進(jìn)行一次，每次2小時(shí)，部分流程需要受試者在課外時(shí)間完成。對(duì)最終數(shù)據(jù)采用定性和定量研究相結(jié)合的方法，來探究動(dòng)態(tài)系統(tǒng)評(píng)價(jià)方式對(duì)三組被試寫作能力的影響。

一、研究設(shè)計(jì)

（一）研究問題

本研究主要回答了三個(gè)問題：一是在互評(píng)作業(yè)時(shí)，不同水平被試對(duì)待互評(píng)的態(tài)度是否存在顯著性差異？二是學(xué)生是否認(rèn)可同伴反饋的有效性？三是動(dòng)態(tài)系統(tǒng)評(píng)價(jià)方式對(duì)高中低水平英語學(xué)習(xí)者寫作能力產(chǎn)生何種影響？

（二）研究步驟

在外語語言教學(xué)動(dòng)態(tài)評(píng)估基本原理的指導(dǎo)下，初步設(shè)計(jì)出適合大學(xué)英語教學(xué)且基于Peerceptiv平臺(tái)的動(dòng)態(tài)評(píng)估模型。這一動(dòng)態(tài)評(píng)估模型實(shí)現(xiàn)了教學(xué)與評(píng)估為一體的外語語言教學(xué)模式。簡(jiǎn)單來說，主要包括三個(gè)過程，即寫作過程、干預(yù)過程和綜合評(píng)估過程，如圖1所示。

在每個(gè)寫作周期的第一次授課時(shí)，先由教師發(fā)起頭腦風(fēng)暴式的交流，引入話題，如師生一起探討段落結(jié)構(gòu)和常見的修辭。并要求學(xué)生以小組為單位，圍繞主題討論問題。然后，他們?cè)谡n后4天內(nèi)寫出初稿，并提交到Peerceptiv互評(píng)網(wǎng)站。然后再由每個(gè)學(xué)生通過互評(píng)網(wǎng)站對(duì)其他同學(xué)進(jìn)行匿名互評(píng)，指出問題并提出修改意見，每位學(xué)生評(píng)價(jià)4～5份作業(yè)。首輪匿名互評(píng)結(jié)束后，被評(píng)價(jià)學(xué)生根據(jù)評(píng)價(jià)者給出的意見，給出回評(píng)，評(píng)價(jià)互評(píng)學(xué)生的意見是否中肯，是否有幫助。課前教師對(duì)所有互評(píng)和回評(píng)進(jìn)行綜合審查，檢查互評(píng)和回評(píng)情況。在第二次見面課時(shí)，教師根據(jù)綜合審查情況給出指導(dǎo)意見，并與學(xué)生展開互動(dòng)，回答學(xué)生疑問。經(jīng)過第一輪互評(píng)、回評(píng)、教師綜合審查后，學(xué)生根據(jù)各類意見以及自己的實(shí)際情況，對(duì)初稿進(jìn)行修改，并再次提交互評(píng)網(wǎng)站，再次進(jìn)行互評(píng)、回評(píng)和綜合評(píng)價(jià)操作。

（三）數(shù)據(jù)收集

研究者將學(xué)生的前測(cè)寫作成績(jī)和分級(jí)考試中的寫作成績(jī)作為確定其英語水平的標(biāo)準(zhǔn)[2]。寫作成績(jī)和分級(jí)考試成績(jī)較高的前41名被編入高水平組，125人編入中等水平組，134人編入被分為低水平組。在進(jìn)行訪談和調(diào)查問卷時(shí)，研究者共招募50人參加小組訪談，并在期末對(duì)其進(jìn)行跟蹤訪談，圍繞學(xué)生參與同伴互評(píng)時(shí)的想法和行為展開。

（四）數(shù)據(jù)分析

本研究對(duì)同伴反饋采用數(shù)據(jù)統(tǒng)計(jì)和文本分析相結(jié)合的方法，先根據(jù)研究目的對(duì)整理的訪談?wù)Z料進(jìn)行編碼，之后結(jié)合SPSS 24.0進(jìn)行推斷性統(tǒng)計(jì)分析[3]。

第一，定量分析。本研究中使用了獨(dú)立樣本曼惠特尼（Mann-Whitney）U檢驗(yàn)方法以考察高水平組與中低水平組之間最終成績(jī)是否存在顯著性差異。高水平組和中低水平組的平均秩次分別為11.29、9.66、9.25。檢驗(yàn)結(jié)果表明，高水平組和中低水平組在經(jīng)過16周的動(dòng)態(tài)評(píng)價(jià)后存在顯著性差異（U=9.4，Z=-2.44，p=.007），而且高水平組明顯優(yōu)于低水平組。效應(yīng)量超過了0.50（r=-0.621），按Cohen（1988）的標(biāo)準(zhǔn)，屬于大效應(yīng)量，表明高水平組與低水平組之間的實(shí)際差異較大。

第二，定性分析。對(duì)三個(gè)水平組學(xué)習(xí)者的互評(píng)和回評(píng)進(jìn)行文本分析，從三組寫作者的視角分析對(duì)方的反饋類型[3]。然后，轉(zhuǎn)寫后續(xù)訪談并進(jìn)行文本分析，三方驗(yàn)證同伴反饋類型的異同。

二、研究結(jié)果與討論

（一）反饋積極性

研究發(fā)現(xiàn)，不同水平被試在進(jìn)行互評(píng)作業(yè)時(shí)，對(duì)待互評(píng)的態(tài)度存在顯著性差異。結(jié)果表明，高水平組參與程度更高，參與意識(shí)更強(qiáng)，任務(wù)一、任務(wù)二的參與程度分別為97%、100%。中等水平組次之，參與程度為89%，92%;而低水平組的參與意愿最低，兩個(gè)任務(wù)的參與程度分別為80%、76%。互評(píng)的參與程度與參與意愿類似，高中低三組參與意愿基本呈降序排列。這說明高水平組的學(xué)習(xí)態(tài)度要明顯優(yōu)于中低水平組。

（二）互評(píng)、回評(píng)數(shù)據(jù)分析

1.高分組與中低分組同伴反饋類型分布的總體特征

首先對(duì)互評(píng)、回評(píng)、面談?dòng)涗涍M(jìn)行編輯整理，并將在線的互評(píng)、回評(píng)評(píng)議和面談?dòng)涗浄譃槿N類型，即全局反饋、局部反饋和非任務(wù)型反饋。全局反饋指評(píng)價(jià)者從文章整體做出的評(píng)價(jià)，如整體結(jié)構(gòu)、是否偏題等;局部反饋指評(píng)價(jià)者就文章局部做出反饋，如個(gè)別句子的語法問題;非任務(wù)反饋指跟任務(wù)不相關(guān)的其他反饋。

統(tǒng)計(jì)結(jié)果表明，在三種反饋類型中，全局反饋的發(fā)生概率最高，分別占63.68%，81.91%，74.2%，說明與其他兩種類型相比，學(xué)生更傾向于集中精力進(jìn)行全局性反饋。高中低三組在局部反饋中差別巨大，在整理互評(píng)反饋數(shù)據(jù)時(shí)發(fā)現(xiàn)高等水平組更敢于就局部問題提出意見，而中低水平組就文章本身提出的意見非常少，局部反饋類型意見僅占總體意見的2.19%和1.3%。中低水平組評(píng)閱者全局反饋類型反而高于高等水平組，但很多全局性反饋僅限于“主題清晰”“語言表達(dá)較好”一類的模糊表達(dá)，很少指出作者的問題。同時(shí)在線互評(píng)模式下的評(píng)論表現(xiàn)出兩極化分布：修改型評(píng)論偏高（高水平組85.07%，中等水平組84.1%，低水平組75.5%），非修改型評(píng)論較少（高水平組14.93%，中等水平組15.89%，低水平組24.5%）。課題組結(jié)合訪談，分析了產(chǎn)生這種情況的原因，認(rèn)為在線互評(píng)模式是在課外時(shí)間進(jìn)行的，學(xué)生可能有更多時(shí)間去思考如何修改寫作問題并提供可行的反饋。高水平組的直接糾錯(cuò)和錯(cuò)誤分析明顯多于中低水平組。直接糾錯(cuò)和錯(cuò)誤分析三種反饋類型主要是學(xué)習(xí)者針對(duì)同伴的語法、詞匯和句型等語言使用問題給予的反饋信息[3]。高水平學(xué)習(xí)者因自身英語的熟練程度，在進(jìn)行互評(píng)時(shí)，顯得更加自信。

2.同伴反饋在二語學(xué)習(xí)過程中的有效性

本研究結(jié)果同樣表明同伴反饋對(duì)二語學(xué)習(xí)者在寫作質(zhì)量和寫作能力方面有積極影響。在教學(xué)與測(cè)試過程中通過對(duì)300名英語學(xué)習(xí)者互評(píng)數(shù)據(jù)分析發(fā)現(xiàn)，同伴反饋對(duì)學(xué)生作文修改類型的多樣性和寫作質(zhì)量方面都有積極影響，同時(shí)能夠培養(yǎng)學(xué)生的批判性思維[4]，反饋的發(fā)出者與接收者都能從中受益。以下是本例中動(dòng)態(tài)同伴互評(píng)有效性的統(tǒng)計(jì)數(shù)據(jù)，其中5表示同伴互評(píng)對(duì)作者特別有幫助，4表示同伴互評(píng)對(duì)作者很有幫助，以此類推，1表示同伴互評(píng)對(duì)作者完全沒有幫助，0表示沒有進(jìn)行同伴互評(píng)。

從表1可以看出，認(rèn)可同伴評(píng)論有效性的人數(shù)（4和5）各組數(shù)據(jù)分別為57.22%，67.25%，43.95%，說明大部分學(xué)習(xí)者均認(rèn)可同伴互評(píng)的有效性，但如何進(jìn)一步提高更加可靠的同伴互評(píng)需要更多方法或培訓(xùn)介入教學(xué)過程。

3.訪談方式產(chǎn)生的同伴反饋與在線互評(píng)反饋類型比較

從功能上區(qū)分訪談?dòng)涗?、見面課產(chǎn)生的互評(píng)和在線同伴互評(píng)大致可以分為評(píng)估、解釋、建議、修改四種類型。根據(jù)Randall W.Sadler（2003）的說法，評(píng)估是指“對(duì)寫作好壞特征的評(píng)論”，解釋類陳述是尋找“解釋和理由”，建議是指表明“修改方向”的評(píng)論，修改是指“提供具體改變”的陳述。

如表2所示，在訪談和見面課時(shí)，“評(píng)估”是最常見的評(píng)價(jià)類型，較少使用“修改”這一工具。而在在線互評(píng)過程中，“解釋”是較少使用的評(píng)論類型。這一結(jié)果表明，在訪談和在線互評(píng)過程中，學(xué)生會(huì)在寫作過程中直接做出直觀評(píng)價(jià)，他們可能沒有足夠的時(shí)間來解釋自己的不足或者直接修改。然而，在線互評(píng)模式產(chǎn)生的評(píng)論類型模式卻大不相同，其中“修改”出現(xiàn)次數(shù)最多，其次是建議、評(píng)估和解釋。在這種模式下，解釋的頻率只有2.78%。由于解釋通常需要作者和讀者之間進(jìn)行密集互動(dòng)，因此在這種模式下，基于文本的交流和在線互評(píng)模式下缺乏互動(dòng)可能不利于解釋的過程?？梢缘贸鲞@樣的結(jié)論：在有限的互動(dòng)模式下，學(xué)生往往集中同伴的局部寫作錯(cuò)誤上，他們會(huì)在有條件的情況下，使用網(wǎng)絡(luò)工具來完成批改任務(wù)。

三、結(jié)語

本研究考察了在動(dòng)態(tài)理論框架下不同水平學(xué)生的任務(wù)參與度、評(píng)論類別以及對(duì)這些模式的看法。盡管在參與程度上有顯著差異，但三個(gè)級(jí)別的學(xué)生都對(duì)動(dòng)態(tài)互評(píng)呈現(xiàn)出類似結(jié)果，即大多數(shù)學(xué)習(xí)者都認(rèn)為在線動(dòng)態(tài)英語寫作模式有助于英語寫作能力提高。然而，正如以往的研究指出，同伴反饋效果是由多種因素決定的。本研究只有部分名學(xué)生參加了后續(xù)訪談，有限數(shù)據(jù)可能限制了我們對(duì)同伴評(píng)價(jià)中不同模式實(shí)施情況的全面了解。未來的研究可能會(huì)考慮這些問題，進(jìn)一步探討不同模式在二語寫作課程中整合同伴評(píng)價(jià)的效果。

參考文獻(xiàn)：

[1]任玲玲.動(dòng)態(tài)評(píng)估在外語教學(xué)中的應(yīng)用研究綜述[J].黑龍江教育學(xué)院學(xué)報(bào)，2015，34（2）：145-147.

[2]黃紹瑩，張荔.自動(dòng)作文評(píng)閱系統(tǒng)對(duì)不同水平學(xué)習(xí)者英語寫作能力的影響——基于句酷批改網(wǎng)的研究[J].外語與翻譯，2015，22（4）：70-76+4.

[3]裘瑩瑩，馬廣惠，游曉曄.中美跨洋寫作互動(dòng)中同伴反饋類型的對(duì)比研究[J].外語教學(xué)理論與實(shí)踐，2019（2）：69-76.

[4]崔瑩，蓋笑松，張紹杰.同伴反饋法的有效性及應(yīng)用于英語寫作教學(xué)的可行性探究[J].外語電化教學(xué)，2019（2）：3-9.

（責(zé)任編輯：張?jiān)伱罚?/p>

收稿日期：2021-02-26 修改日期：2021-04-15

基金項(xiàng)目：江西省教育科學(xué)“十三五”規(guī)劃項(xiàng)目一般課題“信息技術(shù)環(huán)境下的語言教學(xué)動(dòng)態(tài)評(píng)價(jià)機(jī)制研究”（19YB056）;江西省高等學(xué)校教學(xué)改革研

究項(xiàng)目重點(diǎn)課題“Peerceptiv技術(shù)支持下的大學(xué)英語寫作動(dòng)態(tài)評(píng)價(jià)機(jī)制研究”的階段性成果（JXJG-19-5-10）

作者簡(jiǎn)介：杜默君（1977—），男，湖北英山人，副教授，碩士，主要從事語言教學(xué)與語言測(cè)試研究。