促進(jìn)學(xué)習(xí)的評(píng)價(jià)：在線(xiàn)開(kāi)放課程中同伴互評(píng)投入度研究

李紅霞 趙呈領(lǐng) 疏鳳芳 黃琰 上超望

[摘? ?要] 后疫情時(shí)代，提質(zhì)增效是在線(xiàn)開(kāi)放課程內(nèi)涵式發(fā)展的重要抓手。重申促進(jìn)學(xué)習(xí)的評(píng)價(jià)，強(qiáng)調(diào)學(xué)習(xí)者的深度參與，探究學(xué)習(xí)者參與同伴互評(píng)的特點(diǎn)及現(xiàn)存問(wèn)題具有重要的現(xiàn)實(shí)意義。文章基于國(guó)內(nèi)一門(mén)在線(xiàn)開(kāi)放課程，采用學(xué)習(xí)分析技術(shù)從結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)入手，分析在線(xiàn)開(kāi)放課程同伴互評(píng)過(guò)程中學(xué)習(xí)者的投入度，并進(jìn)一步探究同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系。研究結(jié)果表明，在線(xiàn)開(kāi)放課程中學(xué)習(xí)者同伴互評(píng)的行為投入及認(rèn)知投入不高，但是參與同伴互評(píng)能夠識(shí)別更有動(dòng)力通過(guò)課程的學(xué)習(xí)者，且其認(rèn)知投入度能夠預(yù)測(cè)其學(xué)習(xí)績(jī)效?；贔BM（學(xué)習(xí)行為模型）模型提出促進(jìn)同伴互評(píng)投入度的兩階段干預(yù)策略，從而提高學(xué)習(xí)者參與同伴互評(píng)的投入度，并為教師及平臺(tái)提供更具針對(duì)性的策略建議。

[關(guān)鍵詞] 在線(xiàn)開(kāi)放課程; 同伴互評(píng); 認(rèn)知投入; 行為投入

一、問(wèn)題的提出

學(xué)習(xí)評(píng)價(jià)是在線(xiàn)學(xué)習(xí)質(zhì)量提升的關(guān)鍵和核心[1]，不評(píng)估學(xué)生是否已經(jīng)學(xué)習(xí)，也不給學(xué)生反饋，等于單向的信息轉(zhuǎn)儲(chǔ)或廣播，而不是教育[2]。然而，在線(xiàn)開(kāi)放課程在實(shí)踐中，其學(xué)習(xí)評(píng)價(jià)存在諸多亟待解決的問(wèn)題。在線(xiàn)開(kāi)放課程由于其開(kāi)放、免費(fèi)、大規(guī)模的特性，造成學(xué)習(xí)者背景紛繁復(fù)雜，規(guī)模較大，教師學(xué)習(xí)評(píng)價(jià)工作負(fù)擔(dān)較重[3]。于是，在逐漸流行的眾包理念的影響下，同伴互評(píng)成為在線(xiàn)開(kāi)放課程平臺(tái)普遍采用的評(píng)價(jià)方式[4-5]。在深化教育教學(xué)改革的新形勢(shì)下，著力發(fā)展學(xué)生的核心素養(yǎng)、發(fā)揮學(xué)習(xí)評(píng)價(jià)的導(dǎo)向作用，研究者更加強(qiáng)調(diào)促進(jìn)學(xué)習(xí)的評(píng)價(jià)（Assessment for Learning），強(qiáng)調(diào)學(xué)生的主動(dòng)參與，目的在于促進(jìn)學(xué)生學(xué)習(xí)的成功[6]。布萊克和威廉姆指出，同伴互評(píng)作為促進(jìn)學(xué)習(xí)的評(píng)價(jià)時(shí)，其主要問(wèn)題不僅是關(guān)注學(xué)生評(píng)價(jià)的可靠性和可信度，更關(guān)切促進(jìn)學(xué)生有效學(xué)習(xí)的發(fā)生[7]。同伴互評(píng)過(guò)程中學(xué)習(xí)者的高投入度是其進(jìn)行有意義學(xué)習(xí)的基礎(chǔ)，因此，探究在線(xiàn)開(kāi)放課程中同伴互評(píng)的投入度有著非常重大的意義。然而，現(xiàn)階段，大部分學(xué)者都關(guān)注同伴互評(píng)的可行性與可靠性[7-8]，尚未有研究基于促進(jìn)學(xué)習(xí)評(píng)價(jià)的新取向?qū)ξ覈?guó)在線(xiàn)開(kāi)放課程環(huán)境中學(xué)習(xí)者參與同伴互評(píng)的特點(diǎn)進(jìn)行深入分析。盡管在傳統(tǒng)課堂及SPOC等小型課程環(huán)境中，多項(xiàng)研究證實(shí)同伴互評(píng)作為促進(jìn)學(xué)習(xí)的評(píng)價(jià)的有效性[9-11]，但是在線(xiàn)開(kāi)放課程環(huán)境與傳統(tǒng)課堂及小規(guī)模的SPOC存在本質(zhì)不同[12-14]。綜上可知，在線(xiàn)開(kāi)放課程環(huán)境下，同伴互評(píng)投入度的現(xiàn)存問(wèn)題及其與學(xué)習(xí)績(jī)效的關(guān)系是值得我們研究的。因此，本研究以中國(guó)大學(xué)MOOC平臺(tái)中的一門(mén)課程為例，探究在線(xiàn)開(kāi)放課程中同伴互評(píng)投入度的特點(diǎn)及存在的問(wèn)題，厘清同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系，力求為在線(xiàn)開(kāi)放課程學(xué)習(xí)評(píng)價(jià)及教學(xué)質(zhì)量的提升提供策略建議。

二、研究方法與過(guò)程

（一）研究背景

1. 課程的基本情況

本文的數(shù)據(jù)來(lái)源于中國(guó)大學(xué)MOOC平臺(tái)中的X課程。課程持續(xù)時(shí)間為8周。該課程報(bào)名的學(xué)員中有中小學(xué)教師、大學(xué)生、中學(xué)生，還有大量的數(shù)學(xué)愛(ài)好者、軟件愛(ài)好者。選課人數(shù)共有4639人。在已知性別中，男生672人，占35%;女生1222人，占65%。已知年齡的人數(shù)有979人，平均年齡約32歲。在所有參與者中，748人有分?jǐn)?shù)，占總?cè)藬?shù)的16.53%。其中，170人成績(jī)合格，合格率為3.66%;113人成績(jī)優(yōu)秀，優(yōu)秀率為2.45%。參與測(cè)試的人數(shù)有619人，參與論壇的人數(shù)有421人，參與作業(yè)提交的人數(shù)有360人，參與期末考試的人數(shù)有311人。

2. 同伴互評(píng)情況

整期課程共包括5次同伴互評(píng)。在課程的每一講結(jié)束之后，要求學(xué)習(xí)者依據(jù)教學(xué)內(nèi)容制作相關(guān)的課件，在規(guī)定的時(shí)間內(nèi)提交到平臺(tái)，然后按照規(guī)定時(shí)間進(jìn)行同伴互評(píng)。在同伴互評(píng)之前，教師提供具體的評(píng)分標(biāo)準(zhǔn)?；ピu(píng)作業(yè)的開(kāi)始時(shí)間和截止日期會(huì)告知學(xué)習(xí)者。系統(tǒng)隨機(jī)匹配評(píng)價(jià)者與作業(yè)，每位學(xué)習(xí)者至少評(píng)價(jià)5份作業(yè)。學(xué)習(xí)者在評(píng)價(jià)時(shí)既提供評(píng)價(jià)分?jǐn)?shù)，也提供反饋文本。同伴互評(píng)作業(yè)占總分?jǐn)?shù)的50%。學(xué)習(xí)者提交作業(yè)后不參與互評(píng)將直接影響作業(yè)成績(jī)。

（二）操作性定義

學(xué)習(xí)投入被用來(lái)衡量學(xué)習(xí)者為達(dá)到學(xué)習(xí)目標(biāo)而在學(xué)習(xí)過(guò)程中持續(xù)努力的程度。中國(guó)大學(xué)MOOC平臺(tái)記錄學(xué)習(xí)者在同伴互評(píng)過(guò)程中留下的多種學(xué)習(xí)痕跡。通過(guò)收集這些日志數(shù)據(jù)并進(jìn)行數(shù)據(jù)過(guò)濾與篩選，行為投入最終選定了參與同伴互評(píng)次數(shù)、同伴互評(píng)份數(shù)、均評(píng)等3個(gè)行為參與指標(biāo)。參與同伴互評(píng)次數(shù)是指學(xué)習(xí)者在整個(gè)課程學(xué)習(xí)期間參與同伴互評(píng)的次數(shù);同伴互評(píng)份數(shù)是指學(xué)習(xí)者在參與活動(dòng)時(shí)所有評(píng)價(jià)作業(yè)的頻數(shù);均評(píng)是指學(xué)習(xí)者平均每次參與同伴互評(píng)時(shí)評(píng)價(jià)作業(yè)的頻數(shù)，等于互評(píng)份數(shù)除以參與次數(shù)。認(rèn)知投入是一種內(nèi)隱性及過(guò)程性的心理努力程度。學(xué)習(xí)者在反饋文本的撰寫(xiě)過(guò)程中，涉及高階的認(rèn)知技能，如審查、總結(jié)、澄清、診斷錯(cuò)誤的知識(shí)以及自我反思等。不同類(lèi)型反饋文本需要學(xué)習(xí)者付出不同的認(rèn)知努力。Nelson和Schunn將反饋分為認(rèn)知性反饋和情感性反饋，并認(rèn)為學(xué)習(xí)者撰寫(xiě)認(rèn)知性反饋比情感性反饋要付出更多的認(rèn)知努力[15]。Usher 和 Barak基于先前文獻(xiàn)及歸納總結(jié)法把反饋內(nèi)容分為四種類(lèi)型，依據(jù)學(xué)習(xí)者在提供反饋時(shí)認(rèn)知努力程度從低到高依次為情感型（包括正向反饋和負(fù)向反饋）、陳述型、核實(shí)型、加工型（包括提供信息和提出建議兩類(lèi)）[16]。Tseng和 Tsai在研究中將反饋文本分為情感型反饋、認(rèn)知型評(píng)論和元認(rèn)知評(píng)論[17]。本研究綜合多項(xiàng)研究，評(píng)論被編碼為情感、認(rèn)知和無(wú)關(guān)三種類(lèi)型，見(jiàn)表1。反饋文本的質(zhì)量是其認(rèn)知投入導(dǎo)致的結(jié)果，認(rèn)知投入度借助反饋文本的質(zhì)量可視化呈現(xiàn)。因此，本研究通過(guò)對(duì)反饋文本的質(zhì)量進(jìn)行分析，從而測(cè)量學(xué)習(xí)者的同伴互評(píng)認(rèn)知投入度。情感性反饋提供簡(jiǎn)短而普遍的贊美或批評(píng)，與學(xué)習(xí)內(nèi)容無(wú)關(guān)，表明學(xué)習(xí)者在認(rèn)知方面付出的努力較少，即認(rèn)定學(xué)習(xí)者認(rèn)知投入水平較低;認(rèn)知性評(píng)語(yǔ)中的直接修正和個(gè)人觀(guān)點(diǎn)需要學(xué)習(xí)者具備分析能力和中等認(rèn)知能力，因此，認(rèn)定為中等認(rèn)知投入;指導(dǎo)建議及能力評(píng)估需要學(xué)習(xí)者運(yùn)用分析、評(píng)價(jià)、創(chuàng)造等高認(rèn)知活動(dòng)，因此，被認(rèn)定為高水平的認(rèn)知投入。無(wú)關(guān)類(lèi)型的反饋未涉及任何學(xué)習(xí)內(nèi)容，因此，被認(rèn)定為無(wú)認(rèn)知投入。

（三）研究方法及數(shù)據(jù)分析

本研究通過(guò)后臺(tái)日志共收集13張表。首先，采用R語(yǔ)言對(duì)前期數(shù)據(jù)進(jìn)行清洗（即處理原始數(shù)據(jù)中的噪聲數(shù)據(jù)、無(wú)關(guān)數(shù)據(jù)、缺失值、臟數(shù)據(jù)、孤立點(diǎn)等），使用唯一的ID號(hào)識(shí)別學(xué)習(xí)者，連接多張表，通過(guò)對(duì)7144條數(shù)據(jù)進(jìn)行分析，共提取了364位學(xué)習(xí)者所有行為投入的測(cè)量指標(biāo)。其次，為了測(cè)量學(xué)習(xí)者的認(rèn)知投入度，采用內(nèi)容分析法，基于表1的編碼框架對(duì)研究所收集的反饋文本進(jìn)行編碼。為了保證內(nèi)容分析的信度，研究者邀請(qǐng)兩位熟悉編碼框架的研究生對(duì)反饋內(nèi)容進(jìn)行編碼。內(nèi)容分析以一條評(píng)語(yǔ)為分析單位，每條評(píng)語(yǔ)根據(jù)其主要含義，被歸為一個(gè)類(lèi)別。具體過(guò)程如下：（1）編碼前培訓(xùn)，編碼人員充分理解編碼規(guī)則以及具體的示例;（2）預(yù)編碼，從討論帖中隨機(jī)挑選200條反饋文本，兩位編碼人員分別進(jìn)行編碼，編碼完成后對(duì)兩位編碼者的一致性系數(shù)（Cohen Kappa 值）進(jìn)行計(jì)算，一致性系數(shù)為0.79，說(shuō)明內(nèi)容分析結(jié)果是可信的;（3）正式編碼，兩位編碼者分別對(duì)剩余的反饋文本進(jìn)行編碼。最后，采用定量分析的方法，使用SPSS及Origin軟件進(jìn)行描述性統(tǒng)計(jì)分析，計(jì)算學(xué)習(xí)者的行為投入及認(rèn)知投入水平，通過(guò)Mann-Whitney U檢驗(yàn)及層次多元回歸分析探究學(xué)習(xí)者同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系，多維度、多層次驗(yàn)證在線(xiàn)開(kāi)放課程環(huán)境下同伴互評(píng)作為促進(jìn)學(xué)習(xí)的評(píng)價(jià)的有效性。

三、研究結(jié)果與討論

（一）在線(xiàn)開(kāi)放課程同伴互評(píng)投入度分析

1. 行為投入

參與次數(shù)。每次參與作業(yè)互評(píng)的人數(shù)如圖1所示。可知第一次參與互評(píng)人數(shù)略高于后面的互評(píng)人數(shù)，但是總體趨于穩(wěn)定。參與互評(píng)的人數(shù)僅占注冊(cè)課程人數(shù)的3.08%～4.07%。共242人參與同伴互評(píng)。其中，僅參與1次作業(yè)互評(píng)的人數(shù)為51人，參與2次的人數(shù)為35人，參與3次的人數(shù)為27人，參與4次的人數(shù)為46人，參與5次的人數(shù)為83人。

學(xué)習(xí)者的互評(píng)份數(shù)散點(diǎn)圖如圖2所示?？芍Ⅻc(diǎn)集中在頻率40以下。由表2可知，學(xué)習(xí)者互評(píng)份數(shù)的平均值為25.13，均評(píng)為7.41，平臺(tái)要求學(xué)習(xí)者每次參與互評(píng)至少評(píng)價(jià)5份作業(yè)，因此，可知大部分學(xué)習(xí)者完成了學(xué)習(xí)任務(wù)。由圖2中可知，三位學(xué)習(xí)者總評(píng)份數(shù)達(dá)到150份，平均每次評(píng)價(jià)作業(yè)頻數(shù)達(dá)到30份。通過(guò)對(duì)三位學(xué)習(xí)者打分及反饋文本進(jìn)行分析，三位學(xué)習(xí)者所給出的分?jǐn)?shù)均為“10分”，且評(píng)語(yǔ)字?jǐn)?shù)較短，均為“很好”“好”等積極情感性評(píng)語(yǔ)，未針對(duì)學(xué)習(xí)者的作品給出評(píng)價(jià)，未涉及任何認(rèn)知性的參與。由此可知，學(xué)習(xí)者評(píng)價(jià)的份數(shù)越多，并不意味著學(xué)習(xí)者就認(rèn)真參與了互評(píng)，還有學(xué)習(xí)者在做“欺騙系統(tǒng)”的事情。所以，課程平臺(tái)在系統(tǒng)設(shè)計(jì)時(shí)，不僅應(yīng)該設(shè)置參與互評(píng)份數(shù)的最低閾值，同時(shí)也應(yīng)該設(shè)置最高閾值，降低學(xué)習(xí)者隨意評(píng)價(jià)的概率，也有助于產(chǎn)生有價(jià)值的反饋評(píng)語(yǔ)。

2. 認(rèn)知投入

該課程中共收集反饋文本7704條，剔除887條未給出任何信息的反饋文本、709條自我評(píng)價(jià)反饋文本，本研究只對(duì)6108條反饋文本進(jìn)行分析。

從課程層面出發(fā)（見(jiàn)表3），學(xué)習(xí)者在整個(gè)課程中給出的情感性反饋文本共3171條，占總數(shù)的51.91%;認(rèn)知類(lèi)反饋文本總數(shù)達(dá)2273條，占總數(shù)的37.21%;無(wú)關(guān)類(lèi)的反饋文本有664條，占總數(shù)的10.87%。在情感類(lèi)反饋文本中，支持類(lèi)反饋文本較多，通過(guò)仔細(xì)分析此類(lèi)反饋文本，發(fā)現(xiàn)學(xué)習(xí)者往往直接反饋?zhàn)髌返目傮w情況，如“好”“優(yōu)秀”“點(diǎn)贊”等。在認(rèn)知類(lèi)評(píng)價(jià)中，直接指出作品的正誤和評(píng)估作品所反映出學(xué)習(xí)者能力的兩類(lèi)反饋文本所占比例較大，分別為14.67%和10.64%。學(xué)習(xí)者表達(dá)個(gè)人觀(guān)點(diǎn)（6.97%）和提出建議的反饋文本（4.93%）所占比例較少。

為了更進(jìn)一步了解在線(xiàn)開(kāi)放課程中學(xué)習(xí)者參與同伴互評(píng)的情況，本研究將其與SPOC環(huán)境中同伴互評(píng)的參與情況進(jìn)行對(duì)比分析。其中，研究1與研究2與本研究采用的內(nèi)容編碼框架一致。研究2與研究1相似，均為SPOC情境。

由表3可知，在線(xiàn)開(kāi)放課程情境中學(xué)習(xí)者更喜歡給出情感類(lèi)的評(píng)價(jià)，而傳統(tǒng)課堂情境中學(xué)習(xí)者提供的多為認(rèn)知類(lèi)的評(píng)價(jià)。不管在哪種情境中，學(xué)習(xí)者都不喜歡給出消極的評(píng)價(jià)，更喜歡用積極性的語(yǔ)言來(lái)評(píng)價(jià)同伴的作品。在認(rèn)知類(lèi)評(píng)語(yǔ)中，傳統(tǒng)課堂中學(xué)習(xí)者傾向于給出指導(dǎo)建議類(lèi)評(píng)語(yǔ)（不僅指出作品的優(yōu)劣勢(shì)，還給出修改建議）。然而，在線(xiàn)開(kāi)放課程情境中學(xué)習(xí)者傾向于給出直接修正性的評(píng)語(yǔ)，即直接指出作品的正誤，但是并未給出修改建議。因此，可知在線(xiàn)開(kāi)放課程中同伴互評(píng)認(rèn)知投入度不高。雖然學(xué)習(xí)者積極完成評(píng)價(jià)任務(wù)，但是學(xué)習(xí)者并未深度參與到評(píng)價(jià)中。

為了探究學(xué)習(xí)者的認(rèn)知參與度是否與作業(yè)內(nèi)容相關(guān)，由于每次作業(yè)收集的反饋文本數(shù)量不同，所以并未直接對(duì)反饋文本類(lèi)型的頻數(shù)進(jìn)行比較，而是比較不同類(lèi)型反饋文本所占的百分比。從圖3可知（橫坐標(biāo)表示不同類(lèi)型的反饋文本），不同作業(yè)中，學(xué)習(xí)者提供的反饋文本類(lèi)型分布相似，表明在線(xiàn)開(kāi)放課程情境中，學(xué)習(xí)者的認(rèn)知投入度并沒(méi)有在不同作業(yè)中表現(xiàn)出差異，即學(xué)習(xí)者的認(rèn)知投入度沒(méi)有受到作業(yè)內(nèi)容的影響。

為了探究學(xué)習(xí)者的認(rèn)知投入度隨時(shí)間是如何演化的，本文借助上述計(jì)算方法獲取學(xué)習(xí)者每次互評(píng)提供的不同反饋文本類(lèi)型百分比，觀(guān)察其在5周內(nèi)的認(rèn)知投入度演化的均值趨勢(shì)。如圖4所示，橫坐標(biāo)表示反饋文本類(lèi)型，縱坐標(biāo)表示百分比。隨著課程的進(jìn)行，學(xué)習(xí)者提供的情感性反饋逐步增加，從50.47%到63.77%;無(wú)關(guān)反饋也逐步增加，從12.43%到18.19%。反之，學(xué)習(xí)者提供的認(rèn)知反饋逐步降低。

（二）同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系探究

1. 參與者與未參與者學(xué)習(xí)績(jī)效的差異性分析

為了分析參與同伴互評(píng)與未參與同伴互評(píng)的學(xué)習(xí)者之間的學(xué)習(xí)績(jī)效差異，本研究比較了參與同伴互評(píng)（提供反饋）的243名學(xué)習(xí)者與未參與互評(píng)（未提供反饋，但是收到反饋）的121位學(xué)習(xí)者的平時(shí)測(cè)驗(yàn)和期末成績(jī)（知識(shí)掌握程度）、論壇成績(jī)（社交參與情況）、作業(yè)成績(jī)（知識(shí)應(yīng)用能力）之間是否存在差異，由圖5、圖6、圖7、圖8可知，因變量不符合正態(tài)分布。因此，本研究采用單樣本wilcoxon符號(hào)秩和檢驗(yàn)，使用Mann-Whitney U檢驗(yàn)判斷參與同伴互評(píng)與未參與同伴互評(píng)的學(xué)習(xí)者在學(xué)習(xí)績(jī)效上是否存在差異。

Mann-Whitney U檢驗(yàn)結(jié)果顯示，參與同伴互評(píng)與未參與同伴互評(píng)的學(xué)習(xí)者在測(cè)驗(yàn)成績(jī)（M0=130.57，M1=208.36;U=8417.50，Z=-6.649，p=0.00）、論壇參與度（M0=114.70，M1=216.26;U=6498.00，Z=-9.067，p=0.00）、作業(yè)成績(jī)（M0=92.10，M1=227.51;U=3763.00，Z=-11.587，p=0.00）、期末成績(jī)（M0=124.75，M1=211.26;U=3763.00，Z=-7.508，p=0.00）上均存在顯著不同。平均而言，參與同伴互評(píng)的學(xué)習(xí)者測(cè)驗(yàn)成績(jī)更高，論壇活躍度更高，期末考試成績(jī)更高，作業(yè)質(zhì)量更好，課程的完成度更高，課程通過(guò)率更高。

2. 學(xué)習(xí)者同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系探究

為了探究同伴互評(píng)投入度與學(xué)習(xí)績(jī)效的關(guān)系，采用層次多元回歸分析方法。在第一層，兩個(gè)控制變量，即參與次數(shù)和評(píng)價(jià)份數(shù)，被輸入回歸方程。在第二層中輸入學(xué)習(xí)者提供及收到情感類(lèi)型反饋的比例（PGE、PRE）、學(xué)習(xí)者提供及收到認(rèn)知類(lèi)型反饋的比例（PGC、PRC）、學(xué)習(xí)者提供及收到無(wú)關(guān)類(lèi)型反饋的比例（PGO、PRO）。各階層內(nèi)采取逐步輸入法，結(jié)果見(jiàn)表4。發(fā)現(xiàn)兩個(gè)階層能夠有效預(yù)測(cè)因變量學(xué)習(xí)績(jī)效51.2%的變異量（F=41.957，p=0.00），已調(diào)整后的R2表示仍有46.6%的解釋力，表明這些變量對(duì)因變量的預(yù)測(cè)力較高。其中，學(xué)習(xí)者收到的無(wú)關(guān)反饋能夠顯著預(yù)測(cè)其最終成績(jī)（Beta=-0.653，t=-8.233，p=0.00），即學(xué)習(xí)者收到的無(wú)關(guān)反饋越多，其成績(jī)?cè)降?。其次，學(xué)習(xí)者提供的認(rèn)知反饋能夠顯著預(yù)測(cè)學(xué)習(xí)者的最終成績(jī)（Beta=0.202，t=2.547，p=0.013），即傾向于提供認(rèn)知類(lèi)反饋的學(xué)習(xí)者，其學(xué)習(xí)績(jī)效越高。最后，學(xué)習(xí)者提供的情感類(lèi)反饋對(duì)學(xué)習(xí)績(jī)效沒(méi)有預(yù)測(cè)作用;學(xué)習(xí)者收到的情感類(lèi)型及認(rèn)知類(lèi)型的反饋對(duì)作業(yè)績(jī)效也沒(méi)有預(yù)測(cè)作用。

四、研究結(jié)論

（一）參與同伴互評(píng)的人數(shù)不多，但參與者行為表現(xiàn)積極

研究結(jié)果顯示，在線(xiàn)開(kāi)放課程中參與同伴互評(píng)的人數(shù)約占實(shí)際參與課程總?cè)藬?shù)的三分之一，這與Formanek M的研究結(jié)果[13]相近。第一次參與互評(píng)人數(shù)略高于后面的互評(píng)人數(shù)，但是整個(gè)課程中每次參與互評(píng)的人數(shù)總體趨于穩(wěn)定，F(xiàn)ormanek M的研究同樣顯示了類(lèi)似的結(jié)果。這表明，本研究結(jié)果基本反映了在線(xiàn)開(kāi)放課程環(huán)境下學(xué)習(xí)者同伴互評(píng)行為投入度不高的事實(shí)。但值得注意的是，當(dāng)學(xué)習(xí)者在突破零參與之后，開(kāi)始參與同伴互評(píng)，其行為投入較為積極，大部分學(xué)習(xí)者完成了基本學(xué)習(xí)任務(wù)，達(dá)到了淺層參與（完成規(guī)定的評(píng)價(jià)任務(wù)，撰寫(xiě)了最簡(jiǎn)單的評(píng)語(yǔ)）。因此，如何促進(jìn)學(xué)習(xí)者從零參與到第一次參與，需要教學(xué)者通過(guò)教學(xué)策略等促進(jìn)學(xué)習(xí)者參與一次同伴互評(píng)，這是同伴互評(píng)促進(jìn)學(xué)習(xí)發(fā)生的關(guān)鍵所在。

（二）同伴互評(píng)認(rèn)知投入度不高，且與SPOC情境存在差異

學(xué)習(xí)者在同伴互評(píng)過(guò)程中提供的反饋多為積極情感性評(píng)價(jià)，認(rèn)知性反饋提供較少。這表明，學(xué)習(xí)者的認(rèn)知投入深度還不夠。認(rèn)知性評(píng)價(jià)需要學(xué)習(xí)者認(rèn)知投入較高，是學(xué)習(xí)者在情感類(lèi)評(píng)價(jià)的基礎(chǔ)上進(jìn)行深度的批判性反思和認(rèn)知了解，最終直接指出作品正誤、表達(dá)評(píng)價(jià)者的個(gè)人觀(guān)點(diǎn)、給出作品如何修改的意見(jiàn)或建議。認(rèn)知類(lèi)評(píng)價(jià)的產(chǎn)生需要學(xué)習(xí)者在掌握基礎(chǔ)知識(shí)及技能的基礎(chǔ)上，通過(guò)將同伴作品所體現(xiàn)的知識(shí)技能與自己認(rèn)知領(lǐng)域的知識(shí)技能進(jìn)行比較分析，構(gòu)建自己的認(rèn)知價(jià)值體系，進(jìn)而形成自我思想沉淀及認(rèn)知特點(diǎn)，這對(duì)學(xué)習(xí)者的認(rèn)知提出了很高要求。

與在線(xiàn)開(kāi)放課程情境中的同伴互評(píng)認(rèn)知投入度相比，SPOC情境中學(xué)習(xí)者提供了更高比例的認(rèn)知類(lèi)型反饋，且認(rèn)知類(lèi)型反饋中不僅指出了學(xué)習(xí)者作品的正誤，還給出了解釋。一方面的原因可能在于在線(xiàn)開(kāi)放課程中學(xué)習(xí)者自由度較高、背景迥異、高度的匿名性、教師監(jiān)管力度不大、學(xué)習(xí)者感知的約束規(guī)范較少、較高的心理安全等造成學(xué)習(xí)者的態(tài)度不端正;另一方面的原因可能是學(xué)習(xí)者的感知同伴意識(shí)不強(qiáng)，互惠意識(shí)欠缺。因此，學(xué)習(xí)者給出的反饋常常是簡(jiǎn)短的情感類(lèi)反饋，認(rèn)知性反饋也僅僅直接指出作品的正誤。

（三）隨著課程學(xué)習(xí)的深入，認(rèn)知類(lèi)反饋逐漸減少，情感類(lèi)及無(wú)關(guān)類(lèi)型增加

隨著課程的進(jìn)行，學(xué)習(xí)者可能產(chǎn)生疲倦期，新鮮感降低，因此，認(rèn)知投入度降低，采用最簡(jiǎn)單的反饋來(lái)完成任務(wù)。無(wú)關(guān)類(lèi)型的反饋增加，本研究中其他類(lèi)型反饋指的是“作業(yè)未給出附件，無(wú)法評(píng)分”等。因此，無(wú)關(guān)反饋的增加也意味著學(xué)習(xí)者提交了較多“虛假作業(yè)”，并未實(shí)際完成作業(yè)。一方面可能是由于疲倦，另一方面可能是學(xué)習(xí)者在評(píng)價(jià)“虛假作業(yè)”時(shí)使他們對(duì)同伴互評(píng)產(chǎn)生負(fù)面看法，并影響學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)。學(xué)習(xí)者在評(píng)價(jià)未提交作業(yè)的作品時(shí)，效仿減少認(rèn)知付出及時(shí)間精力付出，嘗試提交虛假作業(yè)來(lái)獲取成績(jī)。

（四）參與同伴互評(píng)能夠識(shí)別出好的學(xué)習(xí)者

研究結(jié)果表明，平均而言，參與同伴互評(píng)的學(xué)習(xí)者測(cè)驗(yàn)成績(jī)更高，論壇活躍度更高，期末考試成績(jī)更高，作業(yè)質(zhì)量更好，課程的完成度更高，課程通過(guò)率更高。這與Comer等的的研究[19]相一致。先前研究表明，盡管同伴評(píng)分過(guò)程的可靠性和有效性有限，但它仍然能夠平均識(shí)別出好的學(xué)習(xí)者。M. Formanek等的研究表明，觀(guān)看了第一個(gè)視頻的研究者中僅14%通過(guò)課程考核，參加調(diào)查的學(xué)習(xí)者中僅33%通過(guò)課程考核，完成第一個(gè)測(cè)驗(yàn)的學(xué)習(xí)者中僅有36%通過(guò)課程考核，但是參與同伴互評(píng)的學(xué)習(xí)者中89%通過(guò)課程考核，本研究中參與同伴互評(píng)的學(xué)習(xí)者67.9%通過(guò)了課程考核[13]。由此可知，參與同伴互評(píng)能夠識(shí)別出好的學(xué)習(xí)者。

（五）學(xué)習(xí)者的認(rèn)知投入度能夠預(yù)測(cè)其學(xué)習(xí)績(jī)效

學(xué)習(xí)者在同伴互評(píng)過(guò)程中其投入度不同，學(xué)習(xí)績(jī)效也不同。第一，學(xué)習(xí)者收到的無(wú)關(guān)反饋越多，其成績(jī)?cè)降?。這一方面表明學(xué)習(xí)者收到的無(wú)關(guān)反饋可以預(yù)測(cè)其作業(yè)分?jǐn)?shù)，Meek等的研究也證實(shí)了這一結(jié)果[10]。另一方面也表明，學(xué)習(xí)者互評(píng)的效度較為可靠，并不會(huì)給予感情分。對(duì)于質(zhì)量較差的作業(yè)，學(xué)習(xí)者能夠及時(shí)識(shí)別并給出合理分?jǐn)?shù)。第二，學(xué)習(xí)者提供的認(rèn)知反饋顯著預(yù)測(cè)學(xué)習(xí)者的最終成績(jī)，即傾向于提供認(rèn)知類(lèi)反饋的學(xué)習(xí)者，其學(xué)習(xí)績(jī)效越高。這一方面是學(xué)習(xí)者提供認(rèn)知類(lèi)的反饋促進(jìn)其知識(shí)建構(gòu)與反思，在多次迭代的作業(yè)—提供反饋中學(xué)習(xí)者提升自身的知識(shí)掌握程度，從而提高績(jī)效，學(xué)習(xí)者互評(píng)在認(rèn)知目標(biāo)分類(lèi)中屬于較高層次的認(rèn)知活動(dòng)，能夠有效促進(jìn)在線(xiàn)情境中有意義學(xué)習(xí)的發(fā)生;另一方面的原因可能在于成績(jī)高的學(xué)習(xí)者傾向于提供認(rèn)知類(lèi)反饋，因?yàn)檎J(rèn)知性評(píng)價(jià)是學(xué)習(xí)者評(píng)價(jià)中較高的一類(lèi)。第三，學(xué)習(xí)者提供的情感類(lèi)反饋對(duì)學(xué)習(xí)者的學(xué)習(xí)績(jī)效并沒(méi)有預(yù)測(cè)作用，先前的研究表明情感反饋的建設(shè)性作用，無(wú)論是積極的還是消極的，都是有限的，因?yàn)樗鼈儾簧婕罢趯彶榈墓ぷ鞯恼J(rèn)知內(nèi)容。最后，學(xué)習(xí)者收到的情感類(lèi)型反饋及認(rèn)知類(lèi)型反饋對(duì)其作業(yè)績(jī)效也并沒(méi)有預(yù)測(cè)作用，造成這一結(jié)果的原因可能在于本研究中學(xué)習(xí)者的同伴互評(píng)并未涉及學(xué)習(xí)者基于同伴反饋意見(jiàn)的迭代修正，因此，同伴的反饋對(duì)于被評(píng)價(jià)者的影響不顯著。這一結(jié)果表明，在線(xiàn)開(kāi)放課程情境中，當(dāng)作業(yè)需要多次迭代修正時(shí)，采用同伴互評(píng)更能發(fā)揮其效用。

五、研究啟示

在線(xiàn)開(kāi)放課程中學(xué)習(xí)者同伴互評(píng)投入度是其深度學(xué)習(xí)的基礎(chǔ)。因此，為教學(xué)實(shí)踐者在在線(xiàn)開(kāi)放課程中有效地組織開(kāi)展同伴互評(píng)、提高學(xué)習(xí)者的投入度提供切實(shí)可行的策略與建議，是保障學(xué)習(xí)質(zhì)量和學(xué)習(xí)效果的重要措施。根據(jù)實(shí)踐數(shù)據(jù)分析結(jié)果及相應(yīng)結(jié)論，基于Fogg教授提出的FBM（學(xué)習(xí)行為發(fā)生模型）模型[20]提出促進(jìn)同伴互評(píng)投入度的兩階段干預(yù)策略。

第一階段：觸發(fā)的無(wú)效區(qū)（未參與的學(xué)習(xí)者）進(jìn)行動(dòng)機(jī)的干預(yù)。在線(xiàn)開(kāi)放課程中學(xué)習(xí)者參與同伴互評(píng)的人數(shù)不多。部分學(xué)習(xí)者提交作業(yè)，但是并未參與互評(píng)，造成作業(yè)與評(píng)價(jià)人數(shù)不平衡，課程中有部分作業(yè)未獲得任何反饋，對(duì)學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)存在較大的負(fù)面影響，這從側(cè)面印證了學(xué)習(xí)者參與同伴互評(píng)的重要性。因此，如何切實(shí)有效地提高參與互評(píng)人數(shù)，是研究者及平臺(tái)實(shí)踐管理者亟須解決的問(wèn)題。FBM行為模型表明學(xué)習(xí)同伴互評(píng)行為曲線(xiàn)的下方，由于學(xué)習(xí)者的動(dòng)機(jī)和認(rèn)知能力較低，是觸發(fā)的無(wú)效區(qū)，這時(shí)無(wú)論多么完美的任務(wù)驅(qū)動(dòng)和環(huán)境設(shè)計(jì)都起不到理想的預(yù)期作用，干預(yù)的設(shè)計(jì)應(yīng)該著重于提高學(xué)習(xí)者的動(dòng)機(jī)和認(rèn)知能力。因此，第一階段應(yīng)針對(duì)觸發(fā)的無(wú)效期（即零參與的學(xué)習(xí)者）進(jìn)行動(dòng)機(jī)的干預(yù)。在同伴互評(píng)開(kāi)始之前，教師應(yīng)激勵(lì)學(xué)習(xí)者參與同伴互評(píng)，如通過(guò)描述同伴互評(píng)的學(xué)習(xí)價(jià)值，激發(fā)學(xué)習(xí)者的內(nèi)部動(dòng)機(jī)。設(shè)置一定的獎(jiǎng)懲措施，如同伴互評(píng)表現(xiàn)與學(xué)習(xí)者成績(jī)掛鉤，從而誘發(fā)學(xué)習(xí)者的外部動(dòng)機(jī)。

第二階段：觸發(fā)的有效區(qū)（參與同伴互評(píng)者）進(jìn)行任務(wù)和環(huán)境的干預(yù)。在線(xiàn)開(kāi)放課程中，學(xué)習(xí)者同伴互評(píng)認(rèn)知投入度不高，且隨著課程學(xué)習(xí)的深入，學(xué)習(xí)者的認(rèn)知投入度逐漸降低。引導(dǎo)學(xué)生在平臺(tái)中高效參與，獲得更高的在線(xiàn)學(xué)習(xí)效果，是教師要著重考慮的問(wèn)題。根據(jù)FBM行為模型的理論指導(dǎo)，此時(shí)干預(yù)的設(shè)計(jì)應(yīng)該著重于改善任務(wù)和環(huán)境的設(shè)計(jì)。首先，參與同伴互評(píng)能夠更及時(shí)地識(shí)別出有動(dòng)力完成課程的學(xué)習(xí)者。在線(xiàn)學(xué)習(xí)環(huán)境下，保留學(xué)習(xí)痕跡及讓過(guò)程性分析變得可行，為教師掌握學(xué)習(xí)過(guò)程提供了有力支撐。因此，基于學(xué)習(xí)分析技術(shù)，對(duì)于完成第一次同伴互評(píng)的學(xué)習(xí)者給予相應(yīng)的支持服務(wù)，助力其高效完成課程學(xué)習(xí)。其次，改善同伴互評(píng)任務(wù)設(shè)計(jì)，增加教師的及時(shí)反饋。為了提供評(píng)語(yǔ)質(zhì)量，教師可以在互評(píng)之前不僅提供評(píng)價(jià)的量規(guī)，還應(yīng)該采取特定的形式對(duì)學(xué)習(xí)者如何撰寫(xiě)評(píng)語(yǔ)進(jìn)行一定的培訓(xùn)（如提供案例告知學(xué)習(xí)者什么類(lèi)型的評(píng)語(yǔ)是有效的等），同時(shí)系統(tǒng)平臺(tái)應(yīng)進(jìn)行及時(shí)的監(jiān)測(cè)（如限制評(píng)語(yǔ)的最低字?jǐn)?shù)，對(duì)于提供認(rèn)知類(lèi)評(píng)語(yǔ)的學(xué)習(xí)者進(jìn)行獎(jiǎng)勵(lì)，對(duì)于提供單純情感類(lèi)評(píng)語(yǔ)的學(xué)習(xí)者進(jìn)行警示，對(duì)于收到無(wú)關(guān)類(lèi)型評(píng)語(yǔ)的學(xué)習(xí)者進(jìn)行及時(shí)的督查，提醒其認(rèn)真完成作業(yè)或者按格式提交作品等）;增加被評(píng)價(jià)者對(duì)評(píng)語(yǔ)的反饋，提供有價(jià)值評(píng)語(yǔ)的學(xué)習(xí)者可以得到獎(jiǎng)勵(lì)等，從多方面促進(jìn)學(xué)習(xí)者深度參與同伴互評(píng)。最后，基于群體感知技術(shù)，設(shè)計(jì)開(kāi)發(fā)基于群體感知的在線(xiàn)同伴互評(píng)系統(tǒng)，內(nèi)嵌于在線(xiàn)開(kāi)放課程平臺(tái)中，對(duì)用戶(hù)實(shí)施可視化反饋，彌補(bǔ)了在線(xiàn)同伴互評(píng)系統(tǒng)可視化反饋的缺陷[21]。一方面便于教師了解學(xué)習(xí)者的現(xiàn)狀，另一方面增強(qiáng)學(xué)習(xí)者在同伴互評(píng)中的感知能力，并促進(jìn)學(xué)習(xí)者的協(xié)作學(xué)習(xí)交互，提高學(xué)習(xí)者的社會(huì)存在感，進(jìn)而規(guī)范約束學(xué)習(xí)者的行為。

由于本研究后臺(tái)日志數(shù)據(jù)的部分缺失，所以本研究未涉及時(shí)間變量及學(xué)習(xí)者在課程學(xué)習(xí)中的其他行為數(shù)據(jù)。另外，同伴互評(píng)作為評(píng)價(jià)方式，我們關(guān)注其評(píng)價(jià)的信效度，這在先前的研究中得到檢驗(yàn);同伴互評(píng)作為學(xué)習(xí)方式，能夠提高學(xué)習(xí)者的知識(shí)理解水平并促進(jìn)學(xué)習(xí)參與，本研究也證實(shí)了其有效性。但是，同伴互評(píng)作為一種特殊的生生及師生互動(dòng)方式，在在線(xiàn)開(kāi)放課程這個(gè)特殊的情境中（學(xué)習(xí)者社會(huì)存在感較弱，教師反饋不及時(shí)，學(xué)習(xí)者孤獨(dú)）[22]，同伴互評(píng)是否能夠?yàn)閷W(xué)習(xí)者提供情感性支持，增強(qiáng)其社會(huì)存在感，后續(xù)值得深入研究與探討。

[參考文獻(xiàn)]

[1] BENSON A D. Assessing participant learning in online environment[J]. New directions for adult & continuing L，education， 2003，（100）：69-78.

[2] SUEN H K. Peer assessment for Massive Open Online Courses（MOOCs）[J]. International review of research in open & distance learning，2014，15（3）：312-327.

[3] 楊九民，李麗，劉曉莉，朱芳芳，高姝睿，皮忠玲.在線(xiàn)開(kāi)放課程中的交互設(shè)計(jì)及其應(yīng)用現(xiàn)狀分析[J].電化教育研究，2018，39（11）：61-68.

[4] 鄭燕林，李盧一.超越大規(guī)模，追求大智慧：MOOC學(xué)習(xí)同伴評(píng)價(jià)的實(shí)施路徑選擇[J].電化教育研究，2015，36（9）：42-48.

[5] TOPPING K. Peer assessment between students in colleges and universities[J]. Review of educational research， 1998（3）：249-276.

[6] 莫景祺.重申“促進(jìn)學(xué)習(xí)的評(píng)價(jià)”[J].基礎(chǔ)教育課程，2019（21）：53-56.

[7] ADMIRAAL W， HUISMAN B， MAARTEN V D V. Self- and peer assessment in massive open online courses[J]. International journal of higher education， 2014， 3（3）：119-128.

[8] 范逸洲，馮菲，劉玉，等.評(píng)價(jià)量規(guī)設(shè)計(jì)對(duì)慕課同伴互評(píng)有效性的影響研究[J].電化教育研究，2018 （11）：45-51.

[9] MCANDREW， PATRICK， SCANLON， et al. Open learning at a distance： lessons for struggling MOOCs[J]. Science， 2013，340（20）： 1450-1451.

[10] MEEK S E M， BLAKEMORE L， MRKS L. Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J]. Assessment and evaluation in higher education， 2017，42（6）：1-14.

[11] XIONG Y， SUEN H K. Assessment approaches in massive open online courses： possibilities，challenges and future directions[J]. International review of education，2018，64：241-263.

[12] LU J， LAW N. Online peer assessment： effects of cognitive and affective feedback[J]. Instructional science，2012，40（2）：257-275.

[13] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an astronomy MOOC[J]. Computers & education， 2017， 113：243-262.

[14] BART， HUISMAN， WILFRIED， et al. Peer assessment in MOOCs： the relationship between peer reviewers' ability and authors' essay performance[J]. British journal of educational technology，2018，49（1）：101-110.

[15] NELSON M M， SCHUNN C D. The nature of feedback： how different types of peer feedback affect writing performance[J]. Instructional science，2009，37（4）：375-401.

[16] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education，2017：745-759.

[17] TSENG S C，TSAI C C. On-line peer assessment and the role of the peer feedback： a study of high school computer course[J]. Computers & education，2007，49（4）：1161-1174.

[18] 馬志強(qiáng)，王靖，許曉群，龍琴琴.網(wǎng)絡(luò)同伴互評(píng)中反饋評(píng)語(yǔ)的類(lèi)型與效果分析[J].電化教育研究，2016，37（1）：66-71.

[19] COMER， DENISE K， CLARK， CHARLOTTE R， CANELAS， DORIAN A. Writing to learn and learning to write across the disciplines： peer-to-peer writing in introductory-level MOOCs[J]. International review of research in open & distance learning， 2014， 15（5）：26.

[20] 殷寶媛，武法提.學(xué)習(xí)習(xí)慣在線(xiàn)干預(yù)的原理與模型設(shè)計(jì)[J].電化教育研究，2019，40（12）：72-79.

[21] 梁妙，鄭蘭琴.支持協(xié)作學(xué)習(xí)的覺(jué)知工具：研究現(xiàn)狀總結(jié)與思考[J].遠(yuǎn)程教育雜志，2012，30（4）：30-39.

[22] 趙呈領(lǐng)，李紅霞，蔣志輝，黃琰.消除在線(xiàn)學(xué)習(xí)者倦?。航處熐楦兄С值挠绊懷芯縖J].中國(guó)電化教育，2018（2）：29-36.