基于量規(guī)的在線同伴互評(píng)設(shè)計(jì)與應(yīng)用研究

張倩葦 羅 馨

（1.華南師范大學(xué) 教育信息技術(shù)學(xué)院，廣東 廣州，510631；2.廣東環(huán)境保護(hù)工程職業(yè)學(xué)院 食品工程系，廣東 佛山，528216）

隨著在線開放課程和混合式教學(xué)的興起，在線同伴互評(píng)成為高等教育教學(xué)中一種重要的評(píng)價(jià)方式。它作為一種有效的在線評(píng)價(jià)方式，是在線學(xué)習(xí)活動(dòng)的重要組成部分（李菲茗，2018）?；诹恳?guī)的同伴互評(píng)在解決大規(guī)模學(xué)生評(píng)價(jià)的問題以及促進(jìn)學(xué)習(xí)者評(píng)價(jià)與反思能力提升方面具有優(yōu)勢，可有效促進(jìn)互評(píng)活動(dòng)的實(shí)施（梁云真，2018）。本研究將量規(guī)引入在線同伴互評(píng)，結(jié)合H大學(xué)“信息素養(yǎng)”通識(shí)課，開發(fā)用于在線同伴互評(píng)的評(píng)價(jià)量規(guī)，設(shè)計(jì)并實(shí)施了兩輪基于量規(guī)的在線同伴互評(píng)，探索其可行性和有效性。

一、基于量規(guī)的在線同伴互評(píng)研究綜述

（一）概念界定

量規(guī)是對(duì)學(xué)習(xí)者的作品進(jìn)行結(jié)構(gòu)化評(píng)價(jià)的標(biāo)準(zhǔn)，它描述了作品完成質(zhì)量的級(jí)別。

同伴互評(píng)是指課程的在線學(xué)習(xí)中，學(xué)習(xí)者在教師的督促和指導(dǎo)下，對(duì)同伴提交的在線作業(yè)進(jìn)行定量評(píng)分和定性反饋的過程。其目的是利用同伴的反饋，促進(jìn)學(xué)習(xí)者改進(jìn)學(xué)習(xí)并反思，提高學(xué)習(xí)效果。同時(shí)，在評(píng)價(jià)和交流的過程中，提升學(xué)習(xí)者的能力。

（二）量規(guī)的相關(guān)研究

1. 量規(guī)的可靠性與有效性

國外對(duì)量規(guī)的研究和應(yīng)用隨著表現(xiàn)性評(píng)價(jià)的發(fā)展而成熟起來。英國全國大學(xué)生和研究生評(píng)估參與調(diào)查相關(guān)報(bào)告發(fā)現(xiàn)，學(xué)生對(duì)評(píng)估和反饋過程的滿意度的分?jǐn)?shù)較低（Boud & Molloy, 2012）。作為一種指導(dǎo)學(xué)習(xí)者完成作業(yè)和評(píng)價(jià)的工具，量規(guī)具有評(píng)價(jià)標(biāo)準(zhǔn)明確、評(píng)價(jià)方式靈活以及評(píng)價(jià)效果有效等優(yōu)勢，因而其可靠性也是教師及學(xué)習(xí)者共同關(guān)注的重點(diǎn)。Christie（2015）使用對(duì)比方法來統(tǒng)計(jì)分析、評(píng)估一系列課程的標(biāo)準(zhǔn)化量規(guī)的評(píng)價(jià)者之間的可靠性以及量規(guī)本身的評(píng)分項(xiàng)目的可靠性。研究表明，評(píng)估者使用量規(guī)評(píng)分的可靠性很高（G=0.85）。

使用量規(guī)對(duì)提高學(xué)習(xí)者在自我評(píng)估、自我調(diào)節(jié)、理解能力以及評(píng)估標(biāo)準(zhǔn)清晰度方面的技能都可以提供幫助。馬炅（2011）設(shè)計(jì)并應(yīng)用了多媒體作品評(píng)價(jià)量規(guī)，研究發(fā)現(xiàn)量規(guī)可以提升學(xué)習(xí)者作品的質(zhì)量（作品的藝術(shù)性和技術(shù)性），還可提高學(xué)習(xí)者參與相關(guān)學(xué)習(xí)與競賽活動(dòng)的積極性。該研究表明量規(guī)不僅可以運(yùn)用到教師評(píng)價(jià)中，還在自評(píng)與互評(píng)中發(fā)揮著重要作用。彭熠（2014）認(rèn)為，量規(guī)可以激發(fā)學(xué)習(xí)者的學(xué)習(xí)潛力，是引導(dǎo)學(xué)習(xí)者探索知識(shí)的指南針。這些研究表明，使用量規(guī)可以促進(jìn)學(xué)生的學(xué)習(xí)，而且加入量規(guī)的評(píng)價(jià)方式，在學(xué)生對(duì)課程的滿意度方面也產(chǎn)生了積極影響。

綜上所述，量規(guī)是可靠且有效的。一方面，它可以幫助教師明確作業(yè)標(biāo)準(zhǔn)并以一種清晰明了的方式呈現(xiàn)給學(xué)習(xí)者，有助于學(xué)習(xí)者更好地理解任務(wù)要求，從而降低完成作業(yè)的難度，為學(xué)習(xí)者完成任務(wù)提供指導(dǎo)；另一方面，量規(guī)在互評(píng)和自評(píng)中使用，可以降低評(píng)價(jià)結(jié)果的主觀性與隨意性，保證了評(píng)價(jià)結(jié)果的客觀性和可信度。

2. 量規(guī)在教學(xué)評(píng)價(jià)中的應(yīng)用

在傳統(tǒng)教學(xué)中，量規(guī)的應(yīng)用主要集中在學(xué)習(xí)者自評(píng)或基于協(xié)作的同伴互評(píng)活動(dòng)中，例如：唐玉霞和馬蘭（2011）設(shè)計(jì)的教學(xué)評(píng)估量規(guī)。此外，量規(guī)可以作為教師培訓(xùn)評(píng)價(jià)工具，幫助培訓(xùn)教師對(duì)參培教師的教學(xué)計(jì)劃、學(xué)習(xí)資源和作品進(jìn)行評(píng)價(jià)，如祝智庭（2000）在教師教育網(wǎng)絡(luò)課程中的評(píng)價(jià)量規(guī)。量規(guī)也越來越多地應(yīng)用于在線學(xué)習(xí)評(píng)價(jià)中，徐春華（2005）開發(fā)了一個(gè)基于網(wǎng)絡(luò)的應(yīng)用量規(guī)的在線評(píng)價(jià)平臺(tái)，驗(yàn)證在教學(xué)評(píng)價(jià)中加入評(píng)價(jià)量規(guī)的有效性。

關(guān)于量規(guī)在教學(xué)評(píng)價(jià)中的應(yīng)用效果，Barney（2012）比較了使用量規(guī)和教師口頭反饋工程學(xué)習(xí)者的作業(yè)，發(fā)現(xiàn)這兩種形式的反饋都會(huì)讓學(xué)習(xí)者的分?jǐn)?shù)增加。因此，這兩種方法都可以提高學(xué)習(xí)者的成績。同時(shí)，該研究還發(fā)現(xiàn)一個(gè)有趣結(jié)果，對(duì)學(xué)習(xí)結(jié)果給予反饋后學(xué)習(xí)者的投訴和關(guān)于成績的問題顯著減少。

（三）基于量規(guī)的在線同伴互評(píng)相關(guān)研究

1. 基于量規(guī)的同伴互評(píng)活動(dòng)設(shè)計(jì)

隨著網(wǎng)絡(luò)的普及，很多歐美國家的學(xué)校在學(xué)習(xí)過程中利用在線評(píng)價(jià)量規(guī)這種方式來促進(jìn)教與學(xué)（Muirhead, 2002）。以慕課為代表的在線課程開始運(yùn)用“同伴互評(píng)”對(duì)學(xué)習(xí)者提交的作業(yè)進(jìn)行評(píng)價(jià)（馬志強(qiáng)，2014）。Chen 和 Tsai（2009）開發(fā)了一套在線同伴互評(píng)程序，評(píng)價(jià)者采用課程提供的量規(guī)來評(píng)定論文的等級(jí)，同時(shí)要求評(píng)價(jià)者給出量化評(píng)價(jià)和反饋。Hwang、Hung和Chen（2013）提出一套基于同伴互評(píng)的游戲開發(fā)方法，采用定量與定性結(jié)合的互評(píng)方式。

2. 基于量規(guī)的在線同伴互評(píng)的可靠性研究

大部分研究者關(guān)注慕課環(huán)境下同伴互評(píng)的可行性與可靠性，并探索不同的方法來提高同伴互評(píng)的精確性。有研究者嘗試通過構(gòu)建模型來評(píng)估并校正評(píng)價(jià)過程中的偏差（Piech, 2014）；還有研究者對(duì)評(píng)價(jià)量規(guī)進(jìn)行了設(shè)計(jì)和應(yīng)用，發(fā)現(xiàn)在同伴互評(píng)的過程中提供量規(guī)指導(dǎo)，能有效提升評(píng)價(jià)效果（孫力，2014）。這說明，在進(jìn)行同伴互評(píng)時(shí)，采用量規(guī)有助于提高同伴互評(píng)活動(dòng)的信度和效度，幫助學(xué)習(xí)者明確教師的任務(wù)要求。

針對(duì)在面授課堂中使用同伴互評(píng)的有效性研究發(fā)現(xiàn)，同伴評(píng)分和教師評(píng)分高度相關(guān)且沒有顯著差異（Falchikov, 2000）。研究在線課程中使用在線同伴互評(píng)的有效性時(shí)發(fā)現(xiàn)，同伴評(píng)分與教師評(píng)分同樣是高度相關(guān)的（Robinson, 2014）。然而，在討論是否在課程中應(yīng)用同伴互評(píng)時(shí)，有教師和學(xué)習(xí)者會(huì)對(duì)互評(píng)結(jié)果的可靠性表示懷疑。有研究探究影響同伴互評(píng)的準(zhǔn)確性和可靠性的因素，主要是學(xué)習(xí)者的學(xué)習(xí)態(tài)度、參與度、評(píng)價(jià)標(biāo)準(zhǔn)、評(píng)價(jià)者的能力等（Bouzidi,2009）。

3. 基于量規(guī)的在線同伴互評(píng)有效性研究

評(píng)價(jià)是檢測和糾正錯(cuò)誤的過程，糾錯(cuò)是通過持續(xù)的探究、反思和批評(píng)或自我批評(píng)過程產(chǎn)生的，可以幫助學(xué)習(xí)者更新他們的知識(shí)，從而改善他們的學(xué)習(xí)（Yousef, 2014）。那么，在互評(píng)時(shí)加入量規(guī)是否能提高評(píng)價(jià)效果？Menendez（2016）發(fā)現(xiàn)量規(guī)的評(píng)分減輕了學(xué)習(xí)者和教師對(duì)于打分主觀性的擔(dān)憂。Polston（2014）調(diào)查了評(píng)估者和被評(píng)估者之間使用評(píng)估標(biāo)準(zhǔn)對(duì)互評(píng)有效性的影響，有209名本科生參加了此項(xiàng)調(diào)查研究。其中一半?yún)⑴c者使用量規(guī)評(píng)估了同伴的概念圖，而另一半沒有使用量規(guī)。發(fā)現(xiàn)使用量規(guī)的學(xué)生的評(píng)價(jià)結(jié)果更有效。但該研究也發(fā)現(xiàn)，使用量規(guī)時(shí)，評(píng)估者和被評(píng)估者之間的友誼更容易導(dǎo)致更多的過度評(píng)分。

除了研究評(píng)分效果，也有研究者驗(yàn)證了使用量規(guī)對(duì)學(xué)習(xí)者自我調(diào)節(jié)方面的影響，使用量規(guī)的學(xué)習(xí)者在成績、自我評(píng)估的準(zhǔn)確性和更高的自我調(diào)節(jié)三個(gè)方面均優(yōu)于沒有使用量規(guī)的學(xué)習(xí)者（Panadero & Romero,2014）。

已有研究驗(yàn)證了將規(guī)范、科學(xué)的量規(guī)運(yùn)用于同伴互評(píng)中的作用，多集中于量規(guī)應(yīng)用于在線同伴互評(píng)中的有效性研究，但對(duì)基于量規(guī)的在線同伴互評(píng)的實(shí)踐研究欠缺具體的設(shè)計(jì)、開發(fā)及應(yīng)用流程。因此有必要對(duì)在線同伴互評(píng)中量規(guī)進(jìn)行設(shè)計(jì)與開發(fā)，設(shè)計(jì)并實(shí)施基于量規(guī)的同伴互評(píng)活動(dòng)，從而驗(yàn)證這類評(píng)價(jià)活動(dòng)的可行性和有效性。

二、基于量規(guī)的在線同伴互評(píng)設(shè)計(jì)

（一）理論基礎(chǔ)

基于量規(guī)的在線同伴互評(píng)研究主要以建構(gòu)主義學(xué)習(xí)理論和多元智能理論為指導(dǎo)。建構(gòu)主義學(xué)習(xí)理論認(rèn)為學(xué)習(xí)活動(dòng)必須有利于學(xué)習(xí)者對(duì)所學(xué)內(nèi)容的意義建構(gòu)，評(píng)價(jià)任務(wù)的設(shè)計(jì)要考慮有利于學(xué)習(xí)者意義建構(gòu)的情境的創(chuàng)設(shè)；任務(wù)內(nèi)容應(yīng)該符合學(xué)習(xí)者的最近發(fā)展區(qū)，在線同伴互評(píng)中，評(píng)價(jià)標(biāo)準(zhǔn)量規(guī)的設(shè)計(jì)就是提供給學(xué)習(xí)者的支架。多元智能理論倡導(dǎo)多元主體、多維內(nèi)容、多種形式的真實(shí)性評(píng)價(jià)，以評(píng)價(jià)促發(fā)展，教學(xué)需要設(shè)計(jì)豐富的、基于能力提升的學(xué)習(xí)活動(dòng)。

本研究在文獻(xiàn)綜述的基礎(chǔ)上，提出了量規(guī)的設(shè)計(jì)原則，包括與教學(xué)目標(biāo)保持一致、學(xué)習(xí)者參與、避免重復(fù)并易于操作?；诹恳?guī)的在線同伴互評(píng)的設(shè)計(jì)原則包括評(píng)價(jià)標(biāo)準(zhǔn)明確、及時(shí)性、評(píng)價(jià)主體多元化、可操作性、定量與定性相結(jié)合。

（二）量規(guī)的設(shè)計(jì)

評(píng)價(jià)量規(guī)一般由評(píng)價(jià)要素、評(píng)價(jià)指標(biāo)、評(píng)分標(biāo)準(zhǔn)、指標(biāo)權(quán)重以及評(píng)語反饋組成。

1. 量規(guī)的設(shè)計(jì)流程

1）量規(guī)的初步設(shè)計(jì)

根據(jù)量規(guī)的設(shè)計(jì)原則、參考評(píng)價(jià)任務(wù)內(nèi)容與目標(biāo)，對(duì)量規(guī)的組成要素進(jìn)行設(shè)計(jì)，然后根據(jù)在線學(xué)習(xí)平臺(tái)的要求，重新調(diào)整量規(guī)的結(jié)構(gòu)。

（1）評(píng)價(jià)要素設(shè)計(jì)

評(píng)價(jià)要素是量規(guī)設(shè)計(jì)中最重要的一環(huán)，一個(gè)有效的量規(guī)應(yīng)包含評(píng)價(jià)該任務(wù)的所有重要元素（Jonsson,2014）。為了使評(píng)價(jià)量規(guī)更加清晰明確，需要對(duì)任務(wù)內(nèi)容進(jìn)行分析（高凌飚，2004）。根據(jù)教學(xué)目標(biāo)和作業(yè)要求確定影響任務(wù)質(zhì)量的要素有哪些，并從中選擇最主要的要素作為評(píng)價(jià)要素。

（2）評(píng)價(jià)指標(biāo)設(shè)計(jì)

評(píng)價(jià)指標(biāo)既是對(duì)評(píng)價(jià)要素的分解，也是對(duì)評(píng)分標(biāo)準(zhǔn)的概括，因此要明確具體，不能籠統(tǒng)空泛。一個(gè)有效的量規(guī)的評(píng)價(jià)指標(biāo)應(yīng)與教學(xué)目標(biāo)對(duì)應(yīng)，且容易區(qū)分，不能出現(xiàn)多個(gè)評(píng)價(jià)指標(biāo)重疊或模棱兩可的情況。

（3）評(píng)分標(biāo)準(zhǔn)的設(shè)計(jì)

評(píng)分標(biāo)準(zhǔn)需采用具體、可操作的語言對(duì)評(píng)價(jià)指標(biāo)進(jìn)行描述，盡可能使用清晰、完整的句子來表達(dá)。教師還可根據(jù)量規(guī)中的評(píng)價(jià)標(biāo)準(zhǔn)提供參考范例，幫助學(xué)習(xí)者更好地理解指標(biāo)項(xiàng)。

本研究將評(píng)價(jià)量規(guī)的具體標(biāo)準(zhǔn)分為三種類型：是否型標(biāo)準(zhǔn)、限制型標(biāo)準(zhǔn)和驗(yàn)證型標(biāo)準(zhǔn)。是/否型標(biāo)準(zhǔn)可以簡單地回答“是”或“否”；限制型標(biāo)準(zhǔn)是指要求評(píng)價(jià)者對(duì)某一具體方面進(jìn)行限定；驗(yàn)證型標(biāo)準(zhǔn)需要評(píng)價(jià)者從作業(yè)中尋找特定特性的條件，表1給出了三種標(biāo)準(zhǔn)的示例。

表1 評(píng)分標(biāo)準(zhǔn)類型及案例

（4）權(quán)重設(shè)計(jì)

在分析學(xué)習(xí)目標(biāo)和側(cè)重點(diǎn)的基礎(chǔ)上，對(duì)每個(gè)評(píng)價(jià)要素及一級(jí)指標(biāo)進(jìn)行綜合分析，為每個(gè)一級(jí)指標(biāo)分配權(quán)重，再將該一級(jí)指標(biāo)權(quán)重合理分配至相應(yīng)的下一級(jí)指標(biāo)。在設(shè)置等級(jí)和權(quán)重時(shí)，需考慮所用平臺(tái)的在線互評(píng)活動(dòng)的量規(guī)的實(shí)際設(shè)計(jì)模式。量規(guī)的權(quán)重設(shè)置還要在具體實(shí)踐中不斷完善。本研究的量規(guī)權(quán)重由任課教師根據(jù)教學(xué)目標(biāo)與任務(wù)目標(biāo)進(jìn)行賦值，同時(shí)參考了專家、助教以及學(xué)習(xí)者的意見確定最終權(quán)重。

（5）評(píng)論區(qū)設(shè)計(jì)

設(shè)計(jì)評(píng)論區(qū)的目的是為了得到評(píng)價(jià)者的評(píng)分反饋，但由于現(xiàn)有的在線學(xué)習(xí)平臺(tái)對(duì)于評(píng)論反饋還未足夠重視，不能設(shè)置為評(píng)價(jià)者必做任務(wù)，因此設(shè)置評(píng)論區(qū)得到的效果也往往不盡人意。這次進(jìn)行的兩輪研究中的在線同伴互評(píng)量規(guī)采用了三種說明方式，其效果也有較大差異。

第一種，僅提供“評(píng)論區(qū)”，不做任何要求說明。

第二種，評(píng)論區(qū)添加說明（如“請?jiān)u價(jià)者在此處詳細(xì)說明評(píng)分原因及改進(jìn)意見”）。

第三種，在第二種說明的基礎(chǔ)上，對(duì)評(píng)論內(nèi)容做出了詳細(xì)要求（如“字?jǐn)?shù)不少于25字，不能為堆砌字?jǐn)?shù)而用重復(fù)的字詞作為評(píng)語”）。

將三種說明方式應(yīng)用于三次基于量規(guī)的在線同伴互評(píng)中得到的效果見表2。第一種方式，雖然給出了評(píng)論區(qū)，但是提供評(píng)語的人數(shù)較少，而且有效評(píng)語較少（26條，占31.1%），此處的有效評(píng)語的評(píng)定標(biāo)準(zhǔn)是，評(píng)語反饋不是隨意堆砌，能說明扣分原因或提供了改進(jìn)意見的評(píng)語。第二種說明方式雖然在評(píng)語總數(shù)上有了大幅增加，但是有效評(píng)語的占比卻相對(duì)下降（72條，占22.2%）。第三種說明方式則是相對(duì)較好的方式（194條，67.4%），在一定的程度上保證了評(píng)語的有效性。

表2 評(píng)語反饋情況

2.量規(guī)的修改和測試

通過專家、教師和學(xué)習(xí)者對(duì)量規(guī)進(jìn)行評(píng)價(jià)以獲得修改完善的建議，反思量規(guī)的有效性，調(diào)整并修訂基本要素、等級(jí)標(biāo)準(zhǔn)，形成正式使用的量規(guī)。

為提高在線同伴互評(píng)量規(guī)的質(zhì)量，可通過在具體情境下進(jìn)行測試，收集相關(guān)數(shù)據(jù)并分析，提出修改完善意見，確定哪些類型的標(biāo)準(zhǔn)和量規(guī)更有價(jià)值，從而形成合適的量規(guī)，以提高同伴互評(píng)的可靠性。

（三）在線同伴互評(píng)活動(dòng)設(shè)計(jì)

在線同伴互評(píng)設(shè)計(jì)包括前期分析、量規(guī)設(shè)計(jì)、互評(píng)設(shè)計(jì)和互評(píng)實(shí)施四個(gè)階段。首先從學(xué)習(xí)者、任務(wù)目標(biāo)、在線學(xué)習(xí)平臺(tái)條件三個(gè)方面進(jìn)行前期分析，其次對(duì)量規(guī)進(jìn)行初步設(shè)計(jì)、修改和完善，然后根據(jù)分析結(jié)果圍繞不同的任務(wù)對(duì)評(píng)價(jià)的方式、評(píng)價(jià)要求、評(píng)價(jià)時(shí)間等進(jìn)行設(shè)計(jì)，最后是對(duì)互評(píng)實(shí)施流程進(jìn)行設(shè)計(jì)。實(shí)施流程需要教師和學(xué)習(xí)者共同完成，包括提交階段、評(píng)估階段、成績公布階段以及作業(yè)修改階段，每一輪互評(píng)以此流程為基礎(chǔ)循環(huán)實(shí)施?；诹恳?guī)的在線同伴互評(píng)的具體設(shè)計(jì)流程見圖1。

圖1 基于量規(guī)的在線同伴互評(píng)設(shè)計(jì)流程

三、研究應(yīng)用與實(shí)施

（一）研究問題

結(jié)合H大學(xué)的“信息素養(yǎng)”課程相關(guān)學(xué)習(xí)任務(wù)，開展了兩輪基于量規(guī)的在線同伴互評(píng)研究，先后在校內(nèi)在線平臺(tái)和開放在線平臺(tái)上實(shí)施。研究問題如下：①基于量規(guī)的在線同伴互評(píng)的可行性如何？②基于量規(guī)的在線同伴互評(píng)實(shí)施效果如何，對(duì)學(xué)習(xí)者的學(xué)習(xí)產(chǎn)生了什么影響？第一輪研究探索了基于量規(guī)的在線同伴互評(píng)的可行性以及學(xué)習(xí)者的反應(yīng)，驗(yàn)證了量規(guī)在同伴互評(píng)活動(dòng)中的作用。第二輪研究則主要是從學(xué)習(xí)者學(xué)習(xí)和能力兩個(gè)方面，檢驗(yàn)基于量規(guī)的在線同伴互評(píng)的實(shí)施效果。

（二）研究對(duì)象及數(shù)據(jù)來源

第一輪的研究對(duì)象為H大學(xué)“礪儒云”（校內(nèi)在線學(xué)習(xí)）平臺(tái)“信息素養(yǎng)”通識(shí)課中二、三年級(jí)本科生，總?cè)藬?shù)為60人，時(shí)間為2017年3至5月，開展了一次主題為“紙質(zhì)文獻(xiàn)和網(wǎng)絡(luò)資源的檢索與利用”的在線同伴互評(píng)。第二輪研究以中國大學(xué)慕課平臺(tái)“信息素養(yǎng)”課程的在線學(xué)習(xí)者作為研究對(duì)象，時(shí)間為2018年9至11月，開展了四次在線同伴互評(píng)，包括“選題的確定（第二周）”“中文數(shù)據(jù)庫的檢索方法與技巧（第五周）”“撰寫文獻(xiàn)綜述大綱（第八周）”和“撰寫文獻(xiàn)綜述初稿（第十周）”。

數(shù)據(jù)收集工具主要是調(diào)查問卷和訪談提綱，在參考國內(nèi)外驗(yàn)證過的相關(guān)量表和問卷的基礎(chǔ)上進(jìn)行設(shè)計(jì)，然后結(jié)合基于量規(guī)的在線同伴互評(píng)的特點(diǎn)加以修改?；谛?nèi)在線學(xué)習(xí)平臺(tái)和中國大學(xué)慕課平臺(tái)收集學(xué)習(xí)者在同伴互評(píng)活動(dòng)中的活動(dòng)數(shù)據(jù)以及互評(píng)活動(dòng)實(shí)施情況和效果數(shù)據(jù)。

（三）研究流程

基于量規(guī)的在線同伴互評(píng)的設(shè)計(jì)應(yīng)用于教學(xué)中，實(shí)施了第一輪研究，具體安排如圖2所示。

圖2 第一輪研究流程安排

針對(duì)第一輪研究收集的反饋信息，提出如下改進(jìn)建議。

第一，量規(guī)。量規(guī)的設(shè)計(jì)需更詳細(xì)、明確，針對(duì)主觀題添加評(píng)分指導(dǎo)；在指標(biāo)項(xiàng)描述時(shí)添加案例幫助理解標(biāo)準(zhǔn)；將評(píng)價(jià)過程中的評(píng)價(jià)情況（是否出現(xiàn)惡意、粗魯評(píng)分、隨意撰寫評(píng)語）納入評(píng)價(jià)框架。

第二，自評(píng)。增加自評(píng)，要求每位學(xué)習(xí)者在互評(píng)完同伴作業(yè)后按照量規(guī)對(duì)自己的作業(yè)進(jìn)行評(píng)價(jià)。

第三，教師的反饋。適當(dāng)增加教師的指導(dǎo)；對(duì)于互評(píng)分?jǐn)?shù)差異較大的作業(yè)，需要教師再次進(jìn)行評(píng)價(jià)并分析原因；活動(dòng)結(jié)束后，教師需要進(jìn)行總結(jié)并提供活動(dòng)反饋。

第四，答疑的及時(shí)性。在課程討論區(qū)設(shè)置互評(píng)答疑區(qū)；在微信和QQ群有專門的助教負(fù)責(zé)答疑。

根據(jù)第一輪研究發(fā)現(xiàn)的問題和收集的修改意見，對(duì)互評(píng)流程進(jìn)行了修改，在中國大學(xué)慕課平臺(tái)實(shí)施了第二輪研究活動(dòng)。修改后的流程如圖3所示：

圖3 第二輪研究流程安排

針對(duì)第二輪研究收集的信息，提出如下修改建議。

第一，評(píng)論反饋。說明評(píng)價(jià)方式和反饋類型，規(guī)范評(píng)語反饋區(qū)的要求；在平臺(tái)公告欄中提醒學(xué)習(xí)者評(píng)價(jià)時(shí)必須提交分?jǐn)?shù)和評(píng)語；在評(píng)論反饋區(qū)設(shè)計(jì)合適的評(píng)價(jià)指引。

第二，互評(píng)流程的熟悉度。第一次互評(píng)開始前幫助學(xué)習(xí)者熟悉量規(guī)以及同伴互評(píng)流程；每次互評(píng)時(shí)，發(fā)布任務(wù)的同時(shí)就發(fā)布量規(guī)和操作指引。

第三，時(shí)間通知。強(qiáng)調(diào)互評(píng)活動(dòng)的時(shí)間特殊性，要求學(xué)習(xí)者按時(shí)完成；在每一個(gè)任務(wù)的時(shí)間節(jié)點(diǎn)發(fā)布通知。

第四，特殊情況。對(duì)因故未能按時(shí)提交互評(píng)作業(yè)的學(xué)習(xí)者，增加作業(yè)補(bǔ)交通道。

四、研究結(jié)果

（一）基于量規(guī)的在線同伴互評(píng)的可行性分析

在線同伴互評(píng)是開放在線課程中常采用的評(píng)價(jià)學(xué)習(xí)者作業(yè)的方法之一，但在線同伴互評(píng)結(jié)果的準(zhǔn)確性和可靠性因?qū)W習(xí)者知識(shí)水平程度差異、學(xué)習(xí)者評(píng)價(jià)能力差異等原因而遭質(zhì)疑。那么通過使用評(píng)價(jià)量規(guī)能否解決這些問題？基于量規(guī)的在線同伴互評(píng)是否可行？為了驗(yàn)證其可行性，研究從學(xué)習(xí)者關(guān)注的一致性和公平性來探究其是否可以將量規(guī)應(yīng)用于在線課程中。

1. 一致性——同伴互評(píng)成績是否有效

同伴互評(píng)成績的一致性一方面可通過評(píng)估者之間的可靠性來衡量評(píng)估者之間的一致程度，作為提高評(píng)分準(zhǔn)確性的可能解決方案，即通過衡量評(píng)分者間信度來說明。評(píng)估者間信度可以使用作業(yè)的評(píng)分標(biāo)準(zhǔn)差均值表示，即表示每個(gè)作業(yè)上同伴給出分?jǐn)?shù)的一致性程度，也可以用來表示同伴互評(píng)分?jǐn)?shù)的可靠性（范逸洲，2018）。其次可以通過分析同伴分?jǐn)?shù)和教師分?jǐn)?shù)的的一致性，即聚合效度（Bouzidi, 2009）來判定。研究同伴評(píng)分與教師評(píng)分之間的相關(guān)性，可以用來判斷參與互評(píng)的學(xué)習(xí)者是否具有一定的評(píng)價(jià)能力。

1）評(píng)分者之間一致性

在第一輪互評(píng)活動(dòng)研究中，共有57人提交了互評(píng)作業(yè)，每份作業(yè)至少被互評(píng)了3～5次，因此每份作業(yè)的得分記錄包括3～5位同伴評(píng)價(jià)的分?jǐn)?shù)。通過計(jì)算這些得分的標(biāo)準(zhǔn)差就可以得到本輪互評(píng)作業(yè)得分的標(biāo)準(zhǔn)差。即互評(píng)作業(yè)的得分情況將由一個(gè)包含57個(gè)標(biāo)準(zhǔn)差的數(shù)列組成。該數(shù)列可以代表同伴互評(píng)者評(píng)分的穩(wěn)定性，計(jì)算其均值即可得到該互評(píng)作業(yè)的評(píng)分者間評(píng)分差。

如表3所示，作業(yè)共57份，通過計(jì)算每份作業(yè)同伴評(píng)分的標(biāo)準(zhǔn)差，得到了每一份作業(yè)互評(píng)者間的評(píng)分差。其中最小評(píng)分差為0.65，最大評(píng)分差為2.14。對(duì)57個(gè)評(píng)分標(biāo)準(zhǔn)差求平均值，最后該互評(píng)作業(yè)的評(píng)分者間評(píng)分差為0.82。這表示在本輪互評(píng)中互評(píng)作業(yè)的整體評(píng)分差距為0.82（＜1），評(píng)分者間的評(píng)分差異較小，評(píng)分者間信度以及評(píng)分穩(wěn)定性較高。由此可知，同伴間互評(píng)具有一定的一致性。

2）同伴和教師評(píng)分的一致性

在本研究中假設(shè)教師評(píng)分是這份作業(yè)可能獲得的成績，將同伴互評(píng)結(jié)果與教師評(píng)價(jià)結(jié)果進(jìn)行配對(duì)樣本檢驗(yàn)，即可分析兩種評(píng)分結(jié)果之間的相關(guān)性與差異性。因此，以教師評(píng)價(jià)分?jǐn)?shù)作為標(biāo)準(zhǔn)結(jié)果，來考察同伴互評(píng)結(jié)果與教師評(píng)價(jià)結(jié)果的相關(guān)程度，同伴互評(píng)評(píng)分越接近教師評(píng)分則認(rèn)為其評(píng)價(jià)結(jié)果越有效、互評(píng)結(jié)果可信度越高。研究者對(duì)教師評(píng)分與同伴評(píng)分的平均數(shù)與標(biāo)準(zhǔn)差進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表4所示。

當(dāng)使用評(píng)價(jià)量規(guī)對(duì)學(xué)習(xí)者的作業(yè)進(jìn)行評(píng)分時(shí)，教師與同伴評(píng)分平均分相差1.7分。為了觀察評(píng)分之間的差異是否顯著，研究者進(jìn)一步計(jì)算了兩者評(píng)分的皮爾遜相關(guān)系數(shù)，對(duì)教師評(píng)分和同伴評(píng)分的相關(guān)性進(jìn)行檢驗(yàn)，結(jié)果見表5。教師與同伴評(píng)分之間的皮爾遜相關(guān)系數(shù)為0.87，Sig值為0.001＜0.01，在0.01水平（雙側(cè)）上呈顯著相關(guān)。這說明評(píng)分者的一致性很高，同伴評(píng)分與教師評(píng)分之間具有相關(guān)性，且同伴評(píng)分結(jié)果是有效的，學(xué)習(xí)者具備一定的評(píng)價(jià)同伴作業(yè)的能力。

表5 教師與同伴使用量規(guī)評(píng)分的皮爾遜相關(guān)系數(shù)

2. 公平性——評(píng)分過程是否公正

通過第一輪研究前測調(diào)查問卷可知，學(xué)習(xí)者對(duì)于同伴的互評(píng)能力存在一定的質(zhì)疑。第一輪試驗(yàn)之后學(xué)習(xí)者的看法是否發(fā)生變化？本研究在后測問卷中設(shè)置了四道李克特5級(jí)量表題對(duì)學(xué)習(xí)者的態(tài)度進(jìn)行了調(diào)查。

學(xué)習(xí)者對(duì)于自己是否按照量規(guī)評(píng)價(jià)同伴作業(yè)以及撰寫評(píng)語的平均值分別是4.25與4.75，處于同意與非常同意（見表6）范圍。這表明大多數(shù)學(xué)習(xí)者都能公平公正地對(duì)同伴進(jìn)行評(píng)價(jià)，尤其是在給同伴撰寫評(píng)語方面。

表6 自我評(píng)價(jià)的公平性

從表7來看，學(xué)習(xí)者對(duì)于同伴的評(píng)分（M=4.01）與評(píng)語(M=4.34)的評(píng)價(jià)皆達(dá)到了4分以上，說明學(xué)習(xí)者對(duì)同伴互評(píng)結(jié)果還是認(rèn)可的，對(duì)其公平性的質(zhì)疑相較前測調(diào)查結(jié)果來看，有所降低。

表7 同伴評(píng)價(jià)的公平性

同時(shí)從訪談?lì)}“你是否按量規(guī)評(píng)價(jià)給同伴評(píng)分和撰寫評(píng)語？評(píng)價(jià)是否公正？”“你認(rèn)為同伴是否按量規(guī)評(píng)價(jià)你的作業(yè)，評(píng)價(jià)是否公正？”的結(jié)果也可看出學(xué)習(xí)者對(duì)于基于量規(guī)的在線同伴互評(píng)的公平性的看法。

參與訪談的8位學(xué)習(xí)者，皆認(rèn)為自己在評(píng)分過程中是按照量規(guī)評(píng)價(jià)的要求對(duì)同伴的作品進(jìn)行評(píng)分，有7位學(xué)習(xí)者在互評(píng)時(shí)寫出了扣分的原因和改進(jìn)意見，有6位學(xué)習(xí)者表示自己得到的分?jǐn)?shù)還是十分公正的。

訪談中學(xué)習(xí)者反饋“雖然可以看到被評(píng)者的名字，但是我也不認(rèn)識(shí)我評(píng)的具體是哪個(gè)人，所以能夠減少一些情感因素在里面”“我希望自己很認(rèn)真的評(píng)價(jià)別人也能得到同等的回應(yīng)”“大家都根據(jù)量規(guī)來評(píng)價(jià)，這樣也能保證公平性” 還有學(xué)習(xí)者認(rèn)為“此次活動(dòng)所有環(huán)節(jié)設(shè)置得比較恰當(dāng)合適，評(píng)價(jià)標(biāo)準(zhǔn)量化，有助于調(diào)動(dòng)大家學(xué)習(xí)的積極性，而且同一個(gè)學(xué)習(xí)者的作品被三個(gè)學(xué)習(xí)者評(píng)分也彰顯了公平性?！?/p>

綜上，學(xué)習(xí)者對(duì)同伴互評(píng)過程及結(jié)果的公平性還是持滿意態(tài)度的，加入量規(guī)，保證了評(píng)分和評(píng)語的公平與有效。

（二）量規(guī)的有效性分析

已有研究表明，量規(guī)在完成同伴互評(píng)時(shí)提供了明確的指導(dǎo)方針，為解決一些同伴互評(píng)時(shí)存在的問題提供了可能的解決方案。量規(guī)可以提高學(xué)習(xí)者的表現(xiàn)，可以促進(jìn)其自我評(píng)估和自我調(diào)節(jié)，從而提高學(xué)習(xí)者理解和利用反饋的能力。本研究主要是從學(xué)習(xí)者對(duì)于在線同伴互評(píng)中使用量規(guī)評(píng)價(jià)的滿意度以及量規(guī)作為評(píng)價(jià)工具的有用性兩個(gè)方面來考察量規(guī)的有效性。

1. 學(xué)習(xí)者對(duì)量規(guī)的滿意度

后測問卷中設(shè)置了3個(gè)項(xiàng)目調(diào)查量規(guī)的被認(rèn)可程度（見表8），包括“我喜歡使用量規(guī)評(píng)價(jià)同伴的作業(yè)”（M=4.59），“我喜歡根據(jù)量規(guī)要求完成作業(yè)”（M=4.33），“我希望老師能提供量規(guī)”（M=4.15）。

表8 對(duì)量規(guī)的滿意度

2. 量規(guī)的作用

同伴互評(píng)活動(dòng)中引入量規(guī)能夠解決幫助學(xué)習(xí)者明確作業(yè)要求等問題，在指導(dǎo)學(xué)習(xí)者學(xué)習(xí)過程中起到重要作用。同時(shí)，將量規(guī)應(yīng)用于同伴互評(píng)，在實(shí)現(xiàn)評(píng)分公平方面發(fā)揮了一定的積極作用。從下頁表9可知，量規(guī)在幫助明確作業(yè)要求的均值為4.06，引導(dǎo)修改和完善作業(yè)的均值為4.09，規(guī)范作業(yè)評(píng)分要求，促進(jìn)評(píng)分公平的均值為4.09。但學(xué)習(xí)者對(duì)于如何利用量規(guī)來評(píng)價(jià)同伴作業(yè)的均值為3.78，這方面還有待改進(jìn)。

表9 量規(guī)的有效性

從問卷和訪談結(jié)果來看，學(xué)習(xí)者對(duì)量規(guī)的作用持認(rèn)可態(tài)度，尤其是量規(guī)在幫助學(xué)習(xí)者完成和完善作業(yè)方面發(fā)揮了重要作用。結(jié)合訪談?lì)}“你認(rèn)為使用量規(guī)進(jìn)行作業(yè)評(píng)價(jià)對(duì)自己評(píng)價(jià)他人作業(yè)有幫助嗎？”“你認(rèn)為使用量規(guī)進(jìn)行作業(yè)評(píng)價(jià)對(duì)反思自己作業(yè)完成情況有幫助嗎？”摘取了部分被訪談學(xué)習(xí)者對(duì)于將量規(guī)應(yīng)用于互評(píng)活動(dòng)中的態(tài)度和看法。受訪者A表示：“量規(guī)能夠?qū)⒆鳂I(yè)要求用數(shù)值體現(xiàn)出來，更客觀。然后根據(jù)賦值高低，就可以看出那些點(diǎn)比較重要?！笔茉L者B表示：“可以更加了解答案的細(xì)節(jié)，學(xué)會(huì)從多個(gè)角度去評(píng)價(jià)作業(yè)?！笔茉L者C表示：“更加認(rèn)真對(duì)待作業(yè)了吧，評(píng)分的規(guī)則很詳細(xì)，自己知道如何完善作業(yè)?！?/p>

（三）基于量規(guī)的在線同伴互評(píng)的應(yīng)用效果分析

1.對(duì)學(xué)習(xí)者作品質(zhì)量的作用

在第二輪課程中，學(xué)習(xí)者形成的最直接的成果是文獻(xiàn)綜述。作業(yè)包括文獻(xiàn)綜述初稿和文獻(xiàn)綜述修改稿，初稿代表了學(xué)習(xí)者個(gè)人按照對(duì)任務(wù)的先前理解所完成的成果，修改稿便是學(xué)習(xí)者經(jīng)過同伴互評(píng)活動(dòng)后，在同伴的反饋意見“協(xié)助”下修改后的成果。

文獻(xiàn)綜述作為本輪研究重要的評(píng)價(jià)任務(wù)之一，其變化程度對(duì)研究者分析同伴互評(píng)對(duì)學(xué)習(xí)者的學(xué)習(xí)效果的影響差異具有重要的意義。為此，研究首先分析學(xué)習(xí)者在參與同伴互評(píng)活動(dòng)后，其完成任務(wù)的質(zhì)量是否有所提升。表10是學(xué)習(xí)者兩次提交作業(yè)質(zhì)量的對(duì)比情況。

表10 作業(yè)質(zhì)量對(duì)比分析

從表10可見，學(xué)習(xí)者在該同伴互評(píng)活動(dòng)中提交了兩個(gè)作業(yè)。兩次作業(yè)的成績存在顯著性差異（P=0.000＜0.001），而且第二次作業(yè)成績相比第一次作業(yè)成績有顯著提高。

后期訪談?wù){(diào)查收集學(xué)習(xí)者對(duì)基于量規(guī)的同伴互評(píng)活動(dòng)的看法。部分被訪談?wù)弑硎緟⑴c活動(dòng)可以幫助他們提高作品質(zhì)量。被訪者A表示：“我認(rèn)為通過評(píng)價(jià)對(duì)方的作品，能夠更快抓住作業(yè)任務(wù)中的要點(diǎn)并掌握，并且互評(píng)能夠幫助我了解其他學(xué)習(xí)者的學(xué)習(xí)水平，對(duì)自身的作業(yè)進(jìn)行調(diào)整?！北辉L者B表示：“這門課程的互評(píng)要求是設(shè)計(jì)得非常細(xì)致的，有利于我更好地完成作業(yè)，其他同學(xué)的評(píng)語能幫助我快速查缺補(bǔ)漏?！北辉L者C表示：“通過互評(píng)可以加深對(duì)知識(shí)點(diǎn)的理解，看到自身不足的地方?！北辉L者D表示：“互評(píng)時(shí)可以進(jìn)一步了解作業(yè)要求，在評(píng)價(jià)同學(xué)們的作業(yè)過程中拓展思路、開闊視野?！?/p>

2. 對(duì)課程學(xué)習(xí)的作用

從表11可看出，參與基于量規(guī)的在線同伴互評(píng)可以提高學(xué)習(xí)者的學(xué)習(xí)積極性（M=4.28），幫助其監(jiān)控自己的學(xué)習(xí)情況（M=4.45）。

表11 基于量規(guī)的同伴互評(píng)對(duì)課程學(xué)習(xí)的作用

從中期調(diào)查和后測問卷中的開放性問題 “參與基于量規(guī)的在線同伴互評(píng)活動(dòng)中有哪些收獲？”的回答結(jié)果來看，在慕課中使用基于量規(guī)的在線同伴互評(píng)對(duì)于學(xué)習(xí)者的課程學(xué)習(xí)有著積極影響。

學(xué)習(xí)者1：“互評(píng)作業(yè)可以看到大家很有意思的想法，碰撞出思維火花。” 學(xué)習(xí)者2：“互評(píng)能夠幫助我了解其他學(xué)習(xí)者的學(xué)習(xí)水平對(duì)自身的學(xué)習(xí)狀況進(jìn)行調(diào)整?！?學(xué)習(xí)者3：“加深了對(duì)課程知識(shí)點(diǎn)的理解，同時(shí)給他人評(píng)分讓自己有成就感，學(xué)習(xí)的動(dòng)力更加充足了。”

3. 提升學(xué)習(xí)者能力的作用

在第二輪研究中，通過問卷調(diào)查學(xué)習(xí)者參加互評(píng)活動(dòng)對(duì)他們的能力產(chǎn)生的影響。從下頁表12可以看出，同伴互評(píng)在提高學(xué)習(xí)者的“自我反思能力”“學(xué)習(xí)能力”和“分析評(píng)價(jià)能力”方面效果突出，均值在4.5以上。

表12 基于量規(guī)的同伴互評(píng)對(duì)學(xué)習(xí)者能力的作用

有學(xué)習(xí)者在訪談中指出：印象最深刻的是互評(píng)作業(yè)，了解到其他同學(xué)的作答情況，與自身相比可以發(fā)現(xiàn)自己的不足從而改進(jìn)。

五、結(jié)論與反思

（一）結(jié)論

1. 基于量規(guī)的在線同伴互評(píng)應(yīng)用于在線課程是可行的

第一輪研究結(jié)果表明，同伴互評(píng)的作業(yè)的平均分?jǐn)?shù)與教師批改該作業(yè)所給出的分?jǐn)?shù)較為接近，同伴對(duì)同一份作業(yè)給出的分?jǐn)?shù)之間也具有較高的一致性，而且在公平性和有效性方面也得到了學(xué)習(xí)者的認(rèn)可。因此，在線課程中實(shí)施基于量規(guī)的在線同伴互評(píng)是可行的。

2. 量規(guī)在一定程度上提高了同伴互評(píng)的有效性

量規(guī)可以讓評(píng)分者在給同伴評(píng)分的過程中發(fā)現(xiàn)自己作品的不足，在促進(jìn)學(xué)習(xí)者學(xué)習(xí)和提高互評(píng)活動(dòng)的客觀性和公平性方面起到了重要作用。同時(shí)，量規(guī)在互評(píng)中也發(fā)揮了作業(yè)標(biāo)準(zhǔn)的作用，可以幫助學(xué)習(xí)者理解任務(wù)，更好地完成作業(yè)。

3. 基于量規(guī)的在線同伴互評(píng)是一種有效的評(píng)價(jià)方式，可以促進(jìn)學(xué)習(xí)者學(xué)習(xí)，提高學(xué)習(xí)者的學(xué)習(xí)參與

對(duì)學(xué)習(xí)者學(xué)習(xí)效果進(jìn)行分析，主要是學(xué)習(xí)成績與課程學(xué)習(xí)。在第二輪研究中針對(duì)第四次互評(píng)作業(yè)“文獻(xiàn)綜述”展開分析，教師要求學(xué)習(xí)者收到同伴的反饋意見后修改作業(yè)再次提交。其中第一次作業(yè)評(píng)價(jià)方式為同伴互評(píng)，第二次的評(píng)價(jià)方式是教師評(píng)價(jià)。通過對(duì)比兩次作業(yè)提交結(jié)果發(fā)現(xiàn)，第二次提交的作業(yè)成績得分遠(yuǎn)遠(yuǎn)高于第一次作業(yè)成績得分。兩輪研究的學(xué)習(xí)者訪談顯示，無論是在校內(nèi)在線學(xué)習(xí)平臺(tái)還是在中國大學(xué)慕課平臺(tái)，大部分學(xué)習(xí)者認(rèn)為參與基于量規(guī)的在線同伴互評(píng)活動(dòng)可以幫助自己堅(jiān)持課程學(xué)習(xí)，提高了學(xué)習(xí)積極性。

4. 基于量規(guī)的在線同伴互評(píng)提高了學(xué)習(xí)者的能力，包括分析評(píng)價(jià)能力、學(xué)習(xí)能力和自我反思能力

對(duì)基于量規(guī)的在線同伴互評(píng)的實(shí)施效果分析，學(xué)習(xí)者認(rèn)為該評(píng)價(jià)方式促進(jìn)了學(xué)習(xí)者能力的提升。進(jìn)行評(píng)價(jià)時(shí)，學(xué)習(xí)者不僅要參考量規(guī)的標(biāo)準(zhǔn)來判斷同伴或自己作業(yè)的質(zhì)量并進(jìn)行評(píng)分，而且還要對(duì)評(píng)分做出解釋并提供反饋建議。在這個(gè)過程中，發(fā)展了學(xué)習(xí)者的“分析評(píng)價(jià)能力”“學(xué)習(xí)能力”和“自我反思能力”。對(duì)比兩輪研究（第一輪1次，第二輪4次），學(xué)習(xí)者參與活動(dòng)的次數(shù)越多，他們的能力提升越明顯。

（二）討論與反思

1. 在線同伴互評(píng)的參與率

高輟學(xué)率和低結(jié)課率一直是慕課課程存在的突出問題，而學(xué)習(xí)者的高輟學(xué)率不利于在線同伴互評(píng)活動(dòng)的開展。訪談發(fā)現(xiàn)，其原因一是學(xué)習(xí)者認(rèn)為參與同伴評(píng)價(jià)對(duì)評(píng)價(jià)者自身能力有較高要求，評(píng)分前需花時(shí)間仔細(xì)閱讀量規(guī)并評(píng)價(jià)同伴的作品。收到反饋后，要重新修改自己的作業(yè)也會(huì)給學(xué)習(xí)者帶來負(fù)擔(dān)。其次，在線同伴互評(píng)需要學(xué)習(xí)者從課程伊始便參與進(jìn)來，每一個(gè)步驟都有時(shí)間限定，如果錯(cuò)過其中任意一個(gè)步驟，都不能完成互評(píng)活動(dòng)。部分學(xué)習(xí)者會(huì)因?yàn)殄e(cuò)過一次互評(píng)影響課程成績從而選擇終止學(xué)習(xí)。今后的研究可以進(jìn)一步探究如何留住在線學(xué)習(xí)者、如何保證學(xué)習(xí)者在線同伴互評(píng)活動(dòng)中的參與率。

2. 同伴反饋的使用效率

在線同伴互評(píng)中及時(shí)提供有關(guān)學(xué)習(xí)者作業(yè)的形成性和總結(jié)性反饋對(duì)于學(xué)習(xí)者來說至關(guān)重要。一是能提高反饋的質(zhì)量。首先用量規(guī)來明確“優(yōu)秀作業(yè)”的標(biāo)準(zhǔn)，保證評(píng)價(jià)者和被評(píng)價(jià)者對(duì)于“優(yōu)秀的答案”產(chǎn)生共識(shí)，然后再明確同伴反饋的要求，加強(qiáng)對(duì)評(píng)語反饋質(zhì)量的監(jiān)督。二是通過互評(píng)的迭代可以促進(jìn)學(xué)習(xí)者對(duì)同伴反饋建議的使用，即要求學(xué)習(xí)者根據(jù)反饋意見重新修改并再次提交；如有需要，可就修改提交作業(yè)再次開展互評(píng)。在第二輪研究的第四次互評(píng)活動(dòng)中，綜述作業(yè)的修改稿相比初稿的質(zhì)量得到提升，大多數(shù)學(xué)習(xí)者反映會(huì)在修改自己作業(yè)的過程中參考并使用自己提供給同伴的反饋意見。

3. 在線同伴互評(píng)的信度與效度

本研究分析學(xué)習(xí)者互評(píng)分?jǐn)?shù)的穩(wěn)定性和一致性后發(fā)現(xiàn)，盡管部分評(píng)分之間存在較大差異，但整體來說評(píng)分者之間信度較好。這表明學(xué)習(xí)者也可以成為可信的評(píng)分者，在線同伴互評(píng)的結(jié)果是可靠的。量規(guī)的加入在一定程度上提高了互評(píng)結(jié)果的可信度，前提是教師與學(xué)習(xí)者能夠?qū)α恳?guī)中的標(biāo)準(zhǔn)達(dá)成共識(shí)。edX和Coursera等國際在線學(xué)習(xí)平臺(tái)采用模擬訓(xùn)練的方式幫助學(xué)習(xí)者熟悉量規(guī)，其中edX還規(guī)定只有通過模擬評(píng)分的學(xué)習(xí)者才可參加互評(píng)。但由于互評(píng)本身就費(fèi)時(shí)較多，加入互評(píng)訓(xùn)練是否會(huì)增加學(xué)習(xí)者負(fù)擔(dān)還需進(jìn)一步研究。在互評(píng)的效度方面，除了學(xué)習(xí)者在互評(píng)時(shí)應(yīng)該具有一定專業(yè)知識(shí)和評(píng)價(jià)技能以外，教師的指導(dǎo)可以保證同伴評(píng)價(jià)活動(dòng)的有效性。

4. 時(shí)間

時(shí)間是影響學(xué)習(xí)者參與互評(píng)活動(dòng)的重要因素之一。在同伴互評(píng)中，學(xué)習(xí)者需要花費(fèi)較多的時(shí)間來仔細(xì)思考、分析同伴的作業(yè)并提出改進(jìn)建議，但學(xué)習(xí)者獲得的收獲也將更多，且學(xué)習(xí)者需要足夠的時(shí)間來思考如何更完善地作業(yè)。再就是，學(xué)習(xí)者容易錯(cuò)過任務(wù)完成的時(shí)間節(jié)點(diǎn)。在第二輪研究的第一次互評(píng)中，許多學(xué)習(xí)者因?yàn)殄e(cuò)過提交互評(píng)作業(yè)而導(dǎo)致不能參與后續(xù)流程，最后只能通過修改活動(dòng)時(shí)間以及開設(shè)補(bǔ)交作業(yè)通道解決該問題。為避免這種情況的發(fā)生，需在互評(píng)任務(wù)的每一個(gè)時(shí)間節(jié)點(diǎn)多渠道發(fā)布通知，提醒學(xué)習(xí)者及時(shí)參與。為減輕學(xué)習(xí)者的負(fù)擔(dān)，后續(xù)將四次互評(píng)作業(yè)改為三次。