張紅英 陳明選 馬志強(qiáng) 閆雪靜
摘要:評(píng)價(jià)是加強(qiáng)學(xué)習(xí)互賴關(guān)系,提升協(xié)作績(jī)效的重要方法,但是傳統(tǒng)的網(wǎng)絡(luò)協(xié)作學(xué)習(xí)評(píng)價(jià),存在過(guò)程不透明、缺乏差異化、易出現(xiàn)“搭便車(chē)”等現(xiàn)象。以學(xué)習(xí)者為評(píng)價(jià)主體,將自我評(píng)價(jià)與同伴互評(píng)相結(jié)合的評(píng)價(jià)方法,有利于判斷個(gè)體投入并給出更合理的評(píng)價(jià)結(jié)果。然而目前基于自評(píng)與互評(píng)的網(wǎng)絡(luò)協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)尚缺乏具體評(píng)價(jià)指導(dǎo)原則與策略,研究者對(duì)評(píng)價(jià)操作的方法也缺乏足夠的理解?;诖耍n題組采用基于設(shè)計(jì)的研究方法,通過(guò)原則與策略生成、實(shí)施與調(diào)整、評(píng)價(jià)與反恩三個(gè)階段,設(shè)計(jì)了自主評(píng)價(jià)與同伴互評(píng)相結(jié)合的協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)。通過(guò)收集的質(zhì)性和量化數(shù)據(jù),研究發(fā)現(xiàn):基于自評(píng)與互評(píng)的網(wǎng)絡(luò)協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)應(yīng)遵守三條基本設(shè)計(jì)原則,即個(gè)體貢獻(xiàn)度評(píng)價(jià)應(yīng)該同時(shí)考察協(xié)作學(xué)習(xí)過(guò)程與最終成果中的貢獻(xiàn)程度;學(xué)習(xí)者應(yīng)當(dāng)參與評(píng)價(jià)過(guò)程并對(duì)其負(fù)責(zé);自評(píng)和同伴互評(píng)應(yīng)盡可能公平合理。在具體設(shè)計(jì)時(shí),應(yīng)著重關(guān)注協(xié)作學(xué)習(xí)投入、定性反饋以及保障自我評(píng)價(jià)的公平性等環(huán)節(jié)。
關(guān)鍵詞:個(gè)體貢獻(xiàn)度;網(wǎng)絡(luò)協(xié)作學(xué)習(xí);自我評(píng)價(jià);同伴互評(píng);設(shè)計(jì)研究
中圖分類號(hào):G434文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-5195(2019)02-0095-08 doi10.3969/j.issn.1009-5195.2019.02.011
一、引言
協(xié)作是人類相互作用的基本形式之一,亦是人類社會(huì)賴以存在和發(fā)展的重要?jiǎng)恿?。前蘇聯(lián)著名心理學(xué)家維果斯基認(rèn)為:學(xué)習(xí)是通過(guò)學(xué)習(xí)者的相互作用而創(chuàng)造意義的社會(huì)性協(xié)作活動(dòng)。這個(gè)理解凸顯了學(xué)習(xí)者之間的協(xié)作關(guān)系與活動(dòng)對(duì)于學(xué)習(xí)的意義與價(jià)值。目前,國(guó)際范圍內(nèi)廣泛關(guān)注的核心素養(yǎng)框架將“交往與協(xié)作”作為重要的核心素養(yǎng)加以界定。經(jīng)濟(jì)合作與發(fā)展組織(OEcD)提出的“核心素養(yǎng)”框架將有效互動(dòng)的能力列入其中,具體包括:與他人建立良好關(guān)系的能力、合作能力、管理并化解沖突的能力。網(wǎng)絡(luò)協(xié)作學(xué)習(xí)對(duì)于提高學(xué)生的協(xié)作、交往及批判性思維等核心素養(yǎng)具有重要價(jià)值(Johnsonet al,2007;蔡建東等,2012)。
在網(wǎng)絡(luò)協(xié)作學(xué)習(xí)中,評(píng)價(jià)是加強(qiáng)學(xué)習(xí)互賴關(guān)系,提升協(xié)作績(jī)效的重要方法(sluijsmans et al,2010)。然而目前協(xié)作學(xué)習(xí)評(píng)價(jià)方法通常難以令學(xué)生滿意,具體體現(xiàn)在:首先,評(píng)價(jià)過(guò)程基本由教師操控,被稱為“黑匣子”,學(xué)生難以獲取評(píng)價(jià)過(guò)程的相關(guān)信息(sluijsmans et al,2010)。其次,協(xié)作學(xué)習(xí)評(píng)價(jià)通常給予小組成員統(tǒng)一分?jǐn)?shù),并未針對(duì)學(xué)生的具體投入與貢獻(xiàn)程度給出差異化的評(píng)價(jià)結(jié)果(Freeman et al,2002;sluijsmans et al,2010)。最后,協(xié)作學(xué)習(xí)評(píng)價(jià)難以促進(jìn)小組成員積極投入,導(dǎo)致協(xié)作學(xué)習(xí)過(guò)程中出現(xiàn)“搭便車(chē)”和“社會(huì)懈怠”等不良問(wèn)題(Kreijns et al,2003;Popov et al,2012;Le et al,2017)。
基于上述問(wèn)題,眾多研究者提出應(yīng)當(dāng)對(duì)學(xué)習(xí)者在小組協(xié)作學(xué)習(xí)中的個(gè)體貢獻(xiàn)程度進(jìn)行評(píng)價(jià)(sluijsmans et al,2010)。然而,由于網(wǎng)絡(luò)協(xié)作過(guò)程持續(xù)時(shí)間較長(zhǎng),教師難以對(duì)協(xié)作學(xué)習(xí)整個(gè)過(guò)程進(jìn)行追蹤與分析,導(dǎo)致無(wú)法判定學(xué)生個(gè)體投入程度從而給出合理評(píng)價(jià)。因此,有研究者開(kāi)始探索在網(wǎng)絡(luò)協(xié)作學(xué)習(xí)中采用自我評(píng)價(jià)與同伴互評(píng)(Self-Assessmentand Peer-Assessment,SAPA)的方法解決個(gè)體貢獻(xiàn)度評(píng)價(jià)的問(wèn)題(Fermefis et al,2008;Sluijsmans et al,2010;Kilic,2016)?;赟APA的個(gè)體貢獻(xiàn)度評(píng)價(jià)將學(xué)習(xí)者作為執(zhí)行評(píng)價(jià)的主體,通過(guò)自我評(píng)價(jià)與同伴互評(píng)相結(jié)合的方式評(píng)價(jià)小組成員在協(xié)作學(xué)習(xí)中的個(gè)體貢獻(xiàn)度(Fermehs et al,2007、2008;Kilic,2016)。自我評(píng)價(jià)(Self-Assessment,SA)是指學(xué)生對(duì)自己的學(xué)習(xí)過(guò)程和成果的質(zhì)量做出判斷(Johnston et a1.,2004;Fermehs et al,2008)。自我評(píng)價(jià)能夠引導(dǎo)學(xué)生反思協(xié)作學(xué)習(xí)過(guò)程并提高個(gè)體貢獻(xiàn)度。同伴互評(píng)(Peer-Assessment,PA)是學(xué)習(xí)者評(píng)價(jià)其他同伴作品質(zhì)量的評(píng)價(jià)方法(Ochoa et al,2005)。自我評(píng)價(jià)和同伴互評(píng)通常結(jié)合使用,以評(píng)價(jià)小組成員的表現(xiàn)以及個(gè)人在協(xié)作學(xué)習(xí)中的貢獻(xiàn)(Fermehs et al,2008;Johnston et al,2004)。
目前,基于SAPA的個(gè)體貢獻(xiàn)度評(píng)價(jià)尚缺乏具體評(píng)價(jià)指導(dǎo)原則與策略,研究者對(duì)評(píng)價(jià)操作的方法也缺乏足夠的理解,具體體現(xiàn)在:首先,學(xué)習(xí)者在協(xié)作學(xué)習(xí)中的個(gè)體貢獻(xiàn)既反映在協(xié)作過(guò)程中,又體現(xiàn)在協(xié)作成果中,如何通過(guò)評(píng)價(jià)來(lái)同時(shí)獲取協(xié)作過(guò)程與成果中的個(gè)體貢獻(xiàn)度還缺乏有效的方案。其次,在同伴互評(píng)中,學(xué)習(xí)者通常會(huì)因友誼而給出不合理的評(píng)分,如何在評(píng)價(jià)中保證評(píng)價(jià)的信效度也是需要關(guān)注的問(wèn)題。本研究針對(duì)網(wǎng)絡(luò)協(xié)作學(xué)習(xí)中個(gè)體貢獻(xiàn)度評(píng)價(jià)的問(wèn)題,采用基于設(shè)計(jì)的研究方法來(lái)探索評(píng)價(jià)操作的原則與策略,以期建立協(xié)作學(xué)習(xí)中個(gè)體貢獻(xiàn)度評(píng)價(jià)的操作標(biāo)準(zhǔn),為國(guó)內(nèi)外相關(guān)研究者提供借鑒。
二、研究綜述
筆者將結(jié)合國(guó)際研究中關(guān)于SAPA設(shè)計(jì)的相關(guān)文獻(xiàn),著重從SAPA教學(xué)法設(shè)計(jì)、個(gè)體貢獻(xiàn)度評(píng)價(jià)方法,以及基于自評(píng)與互評(píng)的個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)等方面來(lái)展開(kāi)評(píng)述。
1 SAPA教學(xué)法設(shè)計(jì)
SAPA教學(xué)法的設(shè)計(jì)主要側(cè)重三點(diǎn):學(xué)習(xí)者參與、避免互惠效應(yīng),以及形成性評(píng)價(jià)。
網(wǎng)絡(luò)協(xié)作學(xué)習(xí)中小組成員應(yīng)該承擔(dān)同等份額的任務(wù),強(qiáng)調(diào)每位學(xué)習(xí)者的參與。然而,小組中可能出現(xiàn)成員對(duì)小組任務(wù)不平等的參與,如果缺乏對(duì)個(gè)體貢獻(xiàn)度的有效評(píng)價(jià)會(huì)導(dǎo)致學(xué)生在協(xié)作學(xué)習(xí)過(guò)程中出現(xiàn)“搭便車(chē)”等問(wèn)題(lia et al,2015)?!按畋丬?chē)”是學(xué)習(xí)者在協(xié)作學(xué)習(xí)過(guò)程中的付出與分享的小組回報(bào)不成比例的現(xiàn)象。個(gè)體貢獻(xiàn)度評(píng)價(jià)可以用于增強(qiáng)小組成員積極的相互依存關(guān)系和個(gè)人責(zé)任感,以保證學(xué)習(xí)者參與。
學(xué)習(xí)者之間因友誼關(guān)系而給予對(duì)方與其個(gè)體貢獻(xiàn)不對(duì)等的評(píng)分稱之為互惠效應(yīng)。互惠效應(yīng)的出現(xiàn)將導(dǎo)致評(píng)分過(guò)高或組內(nèi)分?jǐn)?shù)趨于一致的消極影響。網(wǎng)絡(luò)協(xié)作學(xué)習(xí)貢獻(xiàn)度評(píng)價(jià)中通常會(huì)出現(xiàn)互惠效應(yīng),匿名評(píng)價(jià)和隨機(jī)分組是避免互惠效應(yīng)的有效策略(Chen et al,2009)。匿名評(píng)價(jià)需保證評(píng)分者與被評(píng)者雙向匿名,隨機(jī)分組可有效避免學(xué)生因友誼關(guān)系直接組隊(duì)導(dǎo)致的評(píng)價(jià)不合理問(wèn)題。為保證評(píng)價(jià)的公平合理性,協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)應(yīng)考慮避免互惠效應(yīng)影響。
形成性評(píng)價(jià)重視評(píng)價(jià)的教育性和發(fā)展性,通過(guò)及時(shí)向教師和學(xué)生提供反饋信息,使他們能夠了解教學(xué)活動(dòng)中存在的缺陷與不足,從而使教師和學(xué)生不斷改進(jìn)、完善自己的教學(xué)活動(dòng)和學(xué)習(xí)活動(dòng)。形成性評(píng)價(jià)的常用策略是有效反饋(Orsmond et al,2004)。有效反饋的主要目的是縮小學(xué)生目前學(xué)習(xí)水平與預(yù)期目標(biāo)之間的差距。在形成性評(píng)價(jià)中,有效反饋需要根據(jù)學(xué)習(xí)目標(biāo)提供描述性信息,即評(píng)分與評(píng)語(yǔ)相結(jié)合的反饋。評(píng)分與評(píng)語(yǔ)結(jié)合的反饋方式既要指出學(xué)生做得好的地方或需要改進(jìn)的地方,同時(shí)也要對(duì)學(xué)生如何達(dá)到目標(biāo)提出建議。
2.個(gè)體貢獻(xiàn)度評(píng)價(jià)方法
Sluijsmans等(20lO)系統(tǒng)分析了協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)諸多研究設(shè)計(jì)后,提出了三條重要的評(píng)價(jià)設(shè)計(jì)原則:(1)反映協(xié)作過(guò)程和結(jié)果;(2)促進(jìn)小組成員對(duì)協(xié)作過(guò)程的反思并提高團(tuán)隊(duì)績(jī)效;(3)確保評(píng)價(jià)的有效性?;谏鲜鲇^點(diǎn),個(gè)體貢獻(xiàn)度評(píng)價(jià)應(yīng)當(dāng)注重考察每個(gè)學(xué)習(xí)者在協(xié)作學(xué)習(xí)過(guò)程中的表現(xiàn)和最終結(jié)果,以及兩者如何均衡考量;同時(shí)也要考察小組成員個(gè)人責(zé)任的落實(shí),以及其對(duì)協(xié)作過(guò)程的反思對(duì)提高團(tuán)隊(duì)績(jī)效的有效程度,并且確保評(píng)價(jià)公平公正,準(zhǔn)確評(píng)估學(xué)生的個(gè)人貢獻(xiàn),使得評(píng)價(jià)有效。也就是說(shuō),設(shè)計(jì)的要點(diǎn)在于獲取過(guò)程與結(jié)果的個(gè)體貢獻(xiàn)。
協(xié)作學(xué)習(xí)評(píng)價(jià)在過(guò)去10年取得廣泛關(guān)注,對(duì)于如何測(cè)量個(gè)體在協(xié)作學(xué)習(xí)過(guò)程和結(jié)果中的貢獻(xiàn),方法比較多。目前主要的測(cè)量方法包括個(gè)體加權(quán)因子方法、加權(quán)求和時(shí)去除自我評(píng)價(jià)這兩種。
個(gè)體加權(quán)因子的計(jì)算方法由Gupta(2004)提出,是將多個(gè)評(píng)價(jià)分?jǐn)?shù)按照一定的權(quán)重相加,所得結(jié)果為最終的個(gè)體分?jǐn)?shù)。其主要特點(diǎn)在于全面性,個(gè)體的最終成績(jī)是綜合考慮了協(xié)作過(guò)程中個(gè)體和小組的貢獻(xiàn),并給予相應(yīng)的權(quán)重計(jì)算得出。具體計(jì)算方法如下:第一步,通過(guò)個(gè)體平均等級(jí)分?jǐn)?shù)除以小組平均等級(jí)分?jǐn)?shù)計(jì)算個(gè)體權(quán)重因子;第二步,通過(guò)個(gè)體權(quán)重因子乘以小組分?jǐn)?shù)獲得個(gè)人最終得分。假設(shè)小組中5位成員的個(gè)人平均等級(jí)分別為5.0、4.2、4.0、4.0、3.8,A學(xué)生收到自己和其他四位學(xué)生的評(píng)價(jià)均為5分,由此獲得個(gè)體權(quán)重因子為1.19,小組分?jǐn)?shù)為75分,則A學(xué)生個(gè)人最終得分為1.19乘以75,得到89.3。
個(gè)體加權(quán)因子方法計(jì)算得出的個(gè)體貢獻(xiàn)分?jǐn)?shù)是包含自我評(píng)價(jià)的,學(xué)生可能會(huì)夸大他們的自我評(píng)價(jià)。澳大利亞的研究者(Fermelis et al,2008)提出了一種去除自評(píng)數(shù)據(jù)計(jì)算的方法。這種方法的特點(diǎn)在于公平性,利用三次評(píng)價(jià)來(lái)合理計(jì)算個(gè)人貢獻(xiàn)度,避免同伴過(guò)度評(píng)價(jià)。學(xué)生進(jìn)行三次評(píng)價(jià),第一次要求他們考慮到公平工作量的定量分配,給予每個(gè)團(tuán)隊(duì)成員0.5-1.5的相對(duì)貢獻(xiàn)分?jǐn)?shù),所有相對(duì)貢獻(xiàn)分?jǐn)?shù)的總和等于團(tuán)隊(duì)成員總數(shù)。第二次評(píng)價(jià)要求學(xué)生對(duì)他們的團(tuán)隊(duì)成員工作的定性個(gè)人表現(xiàn)以1~5分的整數(shù)來(lái)打分。個(gè)人表現(xiàn)評(píng)價(jià)鼓勵(lì)學(xué)生考慮對(duì)方的貢獻(xiàn)質(zhì)量而不是數(shù)量。第三次評(píng)價(jià)則是將兩次評(píng)價(jià)得到的分?jǐn)?shù)相結(jié)合,產(chǎn)生乘數(shù)縮放因子,對(duì)每個(gè)成員的貢獻(xiàn)進(jìn)行整體評(píng)價(jià)。這個(gè)評(píng)價(jià)主要側(cè)重評(píng)論,包括對(duì)評(píng)價(jià)出現(xiàn)的異常情況或者出乎意料的分?jǐn)?shù)進(jìn)行最后評(píng)價(jià),說(shuō)明情況。最后將乘數(shù)縮放因子的評(píng)分和評(píng)論反饋給小組成員。這兩種同伴評(píng)價(jià)模式的結(jié)合可以避免同伴過(guò)高評(píng)價(jià)的影響(Freernan et al,2000)。為消除個(gè)人對(duì)自己過(guò)高評(píng)價(jià),需將自我評(píng)價(jià)移除(LIohnston,2008)。具體計(jì)算方法如下:第一步,獲得個(gè)人總評(píng)價(jià),即每個(gè)團(tuán)隊(duì)成員的相對(duì)貢獻(xiàn)加個(gè)人表現(xiàn)得分的總和;第二步,獲得團(tuán)隊(duì)同伴評(píng)價(jià)平均值,即將所有團(tuán)隊(duì)成員個(gè)人總評(píng)價(jià)的得分總和除以團(tuán)隊(duì)成員人數(shù);第三步,獲得每位學(xué)生的乘數(shù)縮放因子,即個(gè)人總評(píng)價(jià)除以團(tuán)隊(duì)同伴評(píng)價(jià)平均值;第四步,將乘數(shù)縮放因子和評(píng)論反饋給學(xué)生。
3.基于自評(píng)與互評(píng)的個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)方法
目前,基于SAPA的個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)主要包括:引導(dǎo)學(xué)習(xí)者參與評(píng)價(jià)標(biāo)準(zhǔn)制定、提供評(píng)語(yǔ)反饋、采用學(xué)習(xí)者迭代修改等方法。
Kali和Ronen(2005)認(rèn)為讓學(xué)生參與評(píng)價(jià)標(biāo)準(zhǔn)的制定與修改過(guò)程有利于:第一,評(píng)價(jià)標(biāo)準(zhǔn)明朗化。學(xué)生參與評(píng)價(jià)標(biāo)準(zhǔn)制定有助于小組成員了解小組任務(wù)的具體要求,明確每個(gè)成員在合作任務(wù)中該做的事情,減少成員的迷茫。第二,能提高小組成員的協(xié)作過(guò)程參與度。每個(gè)小組成員通過(guò)參與標(biāo)準(zhǔn)的制定,能夠更加了解評(píng)價(jià)過(guò)程,明確自己在協(xié)作活動(dòng)中的參與度相對(duì)應(yīng)的評(píng)價(jià)等級(jí)。為了獲得更好的評(píng)價(jià),小組成員會(huì)更加積極投入到協(xié)作過(guò)程中。第三,對(duì)于評(píng)價(jià)標(biāo)準(zhǔn)的討論能夠促進(jìn)學(xué)生對(duì)協(xié)作學(xué)習(xí)的責(zé)任感和歸屬感(Johnston,2008)。學(xué)生參與標(biāo)準(zhǔn)制定是他們了解標(biāo)準(zhǔn)的有效途徑,可以減小由于對(duì)標(biāo)準(zhǔn)不熟悉所帶來(lái)的學(xué)習(xí)差異。
提供評(píng)語(yǔ)反饋。SAPA方法強(qiáng)調(diào)多個(gè)同伴反饋對(duì)協(xié)作方面的作用。多個(gè)同伴評(píng)議的好處在于:第一,通過(guò)多個(gè)同伴反饋來(lái)改善觀眾的觀念(Schriver,1990)。換句話說(shuō),學(xué)生可以從讀者的角度來(lái)修改他們的寫(xiě)作,而不是從更常見(jiàn)的知識(shí)策略的角度來(lái)看待。第二,多個(gè)評(píng)論可以減少個(gè)人評(píng)論的盲點(diǎn)和遺漏,因?yàn)楦嗟脑u(píng)論意味著發(fā)現(xiàn)更多的錯(cuò)誤。第三,多個(gè)評(píng)論者可以減少不正確反饋的負(fù)面影響。第四,多個(gè)評(píng)審員可能會(huì)就某些具體問(wèn)題達(dá)成一致,而且當(dāng)學(xué)生修改其論文時(shí),對(duì)特定問(wèn)題的多重評(píng)論可能對(duì)學(xué)生更有說(shuō)服力。第五,為了讓學(xué)生認(rèn)真對(duì)待反饋意見(jiàn),評(píng)分需要考慮實(shí)際成績(jī),成績(jī)的有效性和可靠性取決于多位評(píng)審員的評(píng)分。
學(xué)習(xí)者迭代修改采用組內(nèi)評(píng)價(jià)與組問(wèn)評(píng)價(jià)結(jié)合并進(jìn)行多次實(shí)驗(yàn)的方式。Sivan(2000)進(jìn)行了三個(gè)周期的行動(dòng)研究,目的是探索實(shí)施同伴評(píng)估的最佳方法,并研究它在不同人群中的效果,例如有經(jīng)驗(yàn)的學(xué)生和那些新加入的學(xué)生。同伴評(píng)價(jià)方法主要包括組內(nèi)評(píng)價(jià)和組間評(píng)價(jià)。第一個(gè)周期的學(xué)生沒(méi)有同伴互評(píng)的經(jīng)驗(yàn),每位學(xué)生根據(jù)教師提供的標(biāo)準(zhǔn)評(píng)價(jià)該組別其他成員對(duì)書(shū)面和口頭報(bào)告的貢獻(xiàn)。對(duì)于組問(wèn)評(píng)價(jià),每個(gè)學(xué)生都對(duì)自己以外的小組進(jìn)行了評(píng)價(jià)。在第二個(gè)周期中,教師根據(jù)學(xué)生的反饋意見(jiàn)修正評(píng)價(jià)標(biāo)準(zhǔn),然后更換一批同樣沒(méi)有同伴互評(píng)經(jīng)驗(yàn)的學(xué)生進(jìn)行同伴互評(píng)流程。第三個(gè)周期的學(xué)生具有同伴互評(píng)經(jīng)驗(yàn),由學(xué)生確定評(píng)價(jià)標(biāo)準(zhǔn)。個(gè)人最終成績(jī)由兩部分組成,一部分是組間評(píng)價(jià)獲得的口頭報(bào)告分?jǐn)?shù)的30%,另一部分是由教師分組的組內(nèi)同伴對(duì)書(shū)面作品評(píng)價(jià)分?jǐn)?shù)的70%。學(xué)生反饋是通過(guò)問(wèn)卷調(diào)查和半結(jié)構(gòu)化訪談?wù)髑蟮?,使用SPSS進(jìn)行分析,用定性分析方法對(duì)訪談進(jìn)行記錄、轉(zhuǎn)錄、分析。
三、研究設(shè)計(jì)
1.研究背景
本研究選取江蘇某高校教育技術(shù)專業(yè)和小學(xué)教育專業(yè)共119名學(xué)生(其中男生36名,女生83名)為研究對(duì)象。所有學(xué)生均參加線上線下相結(jié)合的混合式學(xué)習(xí)課程,均已經(jīng)擁有網(wǎng)絡(luò)協(xié)作學(xué)習(xí)的課程學(xué)習(xí)經(jīng)驗(yàn)。在線上學(xué)習(xí)階段,119名學(xué)習(xí)者被隨機(jī)分成了27個(gè)小組,每個(gè)小組4~5名學(xué)生。任務(wù)的發(fā)放與提交均通過(guò)藍(lán)墨云班課(移動(dòng)教學(xué)助手APP)平臺(tái)實(shí)施。
2.研究問(wèn)題與研究流程
如何設(shè)計(jì)SAPA原則和策略來(lái)提升協(xié)作學(xué)習(xí)中的個(gè)體貢獻(xiàn)程度,并提供公平可靠的個(gè)體貢獻(xiàn)評(píng)價(jià),這是本文的主要研究目的。基于此,研究主要分為三個(gè)階段:原則與策略生成階段、實(shí)施與調(diào)整階段、評(píng)價(jià)與反思階段。原則與策略生成階段,對(duì)基于SAPA的個(gè)體貢獻(xiàn)度評(píng)價(jià)進(jìn)行文獻(xiàn)梳理,形成SAPA設(shè)計(jì)的指導(dǎo)原則和策略。實(shí)施與調(diào)整階段,進(jìn)行四輪活動(dòng)迭代設(shè)計(jì)?;顒?dòng)設(shè)計(jì)的重點(diǎn)是實(shí)施和評(píng)價(jià),每輪活動(dòng)設(shè)計(jì)時(shí)間長(zhǎng)度為3周,活動(dòng)結(jié)束時(shí)對(duì)相關(guān)內(nèi)容進(jìn)行改進(jìn),確保個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)能反映協(xié)作學(xué)習(xí)過(guò)程和結(jié)果,促進(jìn)小組成員對(duì)協(xié)作過(guò)程的反思并提高團(tuán)隊(duì)績(jī)效(Sluijsmans et al,2010)。該階段主要描述評(píng)價(jià)過(guò)程是如何操作的,并收集學(xué)生對(duì)活動(dòng)過(guò)程設(shè)計(jì)和實(shí)施的意見(jiàn),進(jìn)一步改善活動(dòng)設(shè)計(jì)。評(píng)價(jià)與反思階段,通過(guò)問(wèn)卷調(diào)查、半開(kāi)放式訪談和學(xué)生反思的方式收集量化與質(zhì)性數(shù)據(jù),對(duì)調(diào)查結(jié)果進(jìn)行分析,重點(diǎn)關(guān)注學(xué)生對(duì)自評(píng)與同伴互評(píng)工具及策略的看法,以及對(duì)個(gè)體貢獻(xiàn)度評(píng)價(jià)的態(tài)度。
四、研究實(shí)施
1.原則與策略生成
根據(jù)前期文獻(xiàn)分析,研究初步提出SAPA的三條基本設(shè)計(jì)原則:協(xié)作學(xué)習(xí)評(píng)價(jià)結(jié)果應(yīng)體現(xiàn)參與者的個(gè)體貢獻(xiàn)程度;學(xué)習(xí)者應(yīng)當(dāng)參與個(gè)體貢獻(xiàn)度評(píng)價(jià)過(guò)程;個(gè)體貢獻(xiàn)度評(píng)價(jià)應(yīng)盡可能公平合理。
具體設(shè)計(jì)策略如下:首先,為了將個(gè)體貢獻(xiàn)納入最終成績(jī),采用自評(píng)與互評(píng)的形式來(lái)獲得學(xué)習(xí)者的個(gè)體貢獻(xiàn)。同時(shí),使用分?jǐn)?shù)轉(zhuǎn)換工具將小組作品評(píng)分和個(gè)體貢獻(xiàn)分?jǐn)?shù)整合到最終得分中。其次,學(xué)生自評(píng)與同伴互評(píng)的評(píng)價(jià)標(biāo)準(zhǔn)由教師和學(xué)生共同討論決定。最后,為了確保SAPA的公平合理,在組內(nèi)同伴評(píng)價(jià)中使用匿名評(píng)價(jià)策略,即被評(píng)價(jià)人員不知道評(píng)價(jià)者的身份。隨機(jī)分組策略是為了避免互惠分?jǐn)?shù)而設(shè)計(jì),目的是避免同伴之間因?yàn)橛颜x等因素而影響評(píng)分。
2.實(shí)施與調(diào)整
(1)第一輪實(shí)施
設(shè)計(jì)。根據(jù)策略原型設(shè)計(jì)的三條指導(dǎo)原則進(jìn)行第一輪活動(dòng)設(shè)計(jì)。首先對(duì)學(xué)生進(jìn)行隨機(jī)分組,教師和學(xué)生共同設(shè)計(jì)小組成員個(gè)體貢獻(xiàn)度評(píng)價(jià)標(biāo)準(zhǔn)。并依據(jù)此評(píng)價(jià)標(biāo)準(zhǔn),采用自評(píng)與互評(píng)結(jié)合且匿名的方式確認(rèn)小組成員個(gè)體貢獻(xiàn)得分;小組成員個(gè)人最終分?jǐn)?shù)由小組作品得分和個(gè)體貢獻(xiàn)得分共同決定。
實(shí)施。119名學(xué)習(xí)者被隨機(jī)分成27組,進(jìn)行基于網(wǎng)絡(luò)的協(xié)作學(xué)習(xí)。每個(gè)小組在兩周內(nèi)協(xié)作完成設(shè)計(jì)方案,并將團(tuán)隊(duì)作品提交至在線學(xué)習(xí)系統(tǒng)。評(píng)價(jià)之前對(duì)學(xué)生進(jìn)行SAPA培訓(xùn),讓學(xué)生掌握評(píng)價(jià)工具并討論制定評(píng)價(jià)標(biāo)準(zhǔn)。為了體現(xiàn)小組成員之間分?jǐn)?shù)的差異度,本次評(píng)價(jià)公式偏離度(其大小顯示小組間個(gè)人分?jǐn)?shù)的差異程度)確定為20。在評(píng)價(jià)過(guò)程中要求學(xué)生根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)向小組其他成員提供個(gè)人貢獻(xiàn)的成績(jī)(學(xué)生對(duì)其他小組成員根據(jù)協(xié)作過(guò)程和結(jié)果的投入進(jìn)行評(píng)分)。
評(píng)價(jià)。通過(guò)觀察發(fā)現(xiàn),學(xué)習(xí)者對(duì)于小組成員之問(wèn)存在較大的分?jǐn)?shù)差距有不滿意的情緒。經(jīng)過(guò)與學(xué)生溝通,多數(shù)學(xué)生期望小組得分和最終成績(jī)之間的偏差更小。還有學(xué)生認(rèn)為SAPA工具的使用過(guò)于復(fù)雜,希望可以簡(jiǎn)單化,以減輕評(píng)價(jià)的負(fù)擔(dān)。從訪談數(shù)據(jù)來(lái)看,學(xué)生對(duì)評(píng)價(jià)標(biāo)準(zhǔn)的適用性并不滿意,原因主要是協(xié)作學(xué)習(xí)過(guò)程評(píng)價(jià)標(biāo)準(zhǔn)從5個(gè)維度進(jìn)行評(píng)價(jià),學(xué)生認(rèn)為維度之間存在重復(fù),比如整理資料也屬于完成小組成果的一部分。
調(diào)整。在分析現(xiàn)有問(wèn)題后,我們做出以下修訂:第一,降低偏離度以縮小小組分?jǐn)?shù)與最終成績(jī)之間的偏差;第二,重新設(shè)計(jì)SAPA評(píng)分工具以減輕SAPA的負(fù)擔(dān);第三,修正評(píng)價(jià)標(biāo)準(zhǔn),調(diào)整評(píng)價(jià)維度;第四,為學(xué)生提供使用SAPA工具等級(jí)評(píng)分的樣例。
(2)第二輪實(shí)施
設(shè)計(jì)。為減輕學(xué)生評(píng)價(jià)負(fù)擔(dān),導(dǎo)師為學(xué)生提供了評(píng)分樣本并提前培訓(xùn),評(píng)價(jià)標(biāo)準(zhǔn)的維度由原來(lái)的5個(gè)精簡(jiǎn)為4個(gè)。另外,課題組調(diào)整了偏離度以縮小小組分?jǐn)?shù)和個(gè)人最終分?jǐn)?shù)之間的偏差,本次偏離度設(shè)置為10。
實(shí)施。119名學(xué)習(xí)者全部參加了第二輪活動(dòng),小組成員構(gòu)成不變。我們發(fā)現(xiàn),與第一輪相比,大多數(shù)小組成員更加積極地參與了討論和協(xié)作,其在網(wǎng)絡(luò)平臺(tái)上發(fā)表有效言論的次數(shù)明顯增多。但經(jīng)統(tǒng)計(jì)個(gè)人最終分?jǐn)?shù)后發(fā)現(xiàn),三個(gè)小組出現(xiàn)了得分一致的情況,即這些小組中的每位成員得到了相同的分?jǐn)?shù)。通過(guò)調(diào)查發(fā)現(xiàn)小組成員經(jīng)過(guò)彼此協(xié)商后給出了一致的分?jǐn)?shù)。
評(píng)價(jià)。通過(guò)查看訪談?dòng)涗?,我們發(fā)現(xiàn)學(xué)生希望提供提高小組分?jǐn)?shù)的機(jī)會(huì),幫助其掌握修改作品和改進(jìn)協(xié)作的流程。此外,學(xué)生還希望獲得評(píng)價(jià)結(jié)果的解釋和改進(jìn)建議,即需要同伴的定性反饋,并提出希望有更換小組成員的機(jī)會(huì)。
調(diào)整。研究者經(jīng)過(guò)討論后決定做出如下修改:第一,改進(jìn)等級(jí)評(píng)分方法,以避免小組成員得分一致情況;第二,一輪評(píng)價(jià)結(jié)束后公布一次學(xué)習(xí)者成績(jī);第三,學(xué)生在第一輪評(píng)價(jià)結(jié)束后進(jìn)行作品修改;第四,由評(píng)估者提供反饋評(píng)語(yǔ)。
(3)第三輪實(shí)施
設(shè)計(jì)。為避免小組中每個(gè)成員得分一致的情況,本輪使用等級(jí)評(píng)分方式。根據(jù)評(píng)估標(biāo)準(zhǔn)的各個(gè)維度,要求學(xué)生從5到1對(duì)同伴進(jìn)行排序。個(gè)體貢獻(xiàn)的評(píng)價(jià)應(yīng)該有助于學(xué)習(xí)者改進(jìn)協(xié)作過(guò)程和作品。為了改進(jìn)協(xié)作過(guò)程和作品,學(xué)生可以修改小組作品,在評(píng)價(jià)后重新提交。兩輪迭代評(píng)價(jià)是為學(xué)生設(shè)計(jì)改進(jìn)協(xié)作過(guò)程和產(chǎn)品。此外,同伴評(píng)估者被要求提供反饋評(píng)語(yǔ),鼓勵(lì)他們?yōu)橥樵u(píng)分進(jìn)行解釋說(shuō)明并提出建議。
實(shí)施。為了保證學(xué)生評(píng)價(jià)的合理性以及小組協(xié)作的公平性,在第三輪協(xié)作學(xué)習(xí)活動(dòng)開(kāi)始之前,重新隨機(jī)分配了小組成員。然后進(jìn)行兩輪個(gè)體貢獻(xiàn)度評(píng)價(jià),在兩輪評(píng)價(jià)中間公布學(xué)生個(gè)人分?jǐn)?shù)和小組分?jǐn)?shù),教師對(duì)每個(gè)小組作品提出修改建議,學(xué)生經(jīng)過(guò)修改小組作品后再次提交。
評(píng)價(jià)。本輪評(píng)價(jià)活動(dòng)中消除了小組成員得分一致的情況,但個(gè)別小組成員之間個(gè)人分?jǐn)?shù)幾乎無(wú)差距。在第二輪協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)度評(píng)價(jià)活動(dòng)之后,通過(guò)訪談和問(wèn)卷得知,有學(xué)生認(rèn)為活動(dòng)中間留下作品修改時(shí)間這樣的設(shè)計(jì)很合理。有部分學(xué)生認(rèn)為評(píng)語(yǔ)不具有針對(duì)性,對(duì)自己提高協(xié)作過(guò)程幫助不明顯。
調(diào)整。根據(jù)學(xué)生反饋,下一階段研究決定進(jìn)行如下修改:第一,調(diào)整評(píng)價(jià)標(biāo)準(zhǔn)各維度的權(quán)重;第二,在評(píng)價(jià)后增加個(gè)人反思;第三,在評(píng)分表中給出評(píng)語(yǔ)示例。
(4)第四輪實(shí)施
設(shè)計(jì)。為了使評(píng)分工具更加公平,我們將同伴互評(píng)的評(píng)價(jià)標(biāo)準(zhǔn)維度的權(quán)重進(jìn)行了重新分配。為了讓學(xué)習(xí)者在自評(píng)與互評(píng)活動(dòng)中更加明確自己需要改進(jìn)的方向,學(xué)生在自評(píng)與互評(píng)后需要撰寫(xiě)個(gè)人反思日志。
實(shí)施。27個(gè)小組參加了本輪次的SAPA活動(dòng)。通過(guò)訪談數(shù)據(jù)分析,學(xué)生在撰寫(xiě)個(gè)人日志時(shí)會(huì)反思自己在小組中扮演的角色及承擔(dān)的任務(wù),但學(xué)生在進(jìn)行自我評(píng)價(jià)時(shí)可能會(huì)高估自己。
評(píng)價(jià)。從學(xué)生的反饋中可以看出,學(xué)生們非常支持進(jìn)行個(gè)體貢獻(xiàn)度評(píng)價(jià),這有助于組員改進(jìn)協(xié)作學(xué)習(xí)過(guò)程,督促組員投入,減輕組長(zhǎng)負(fù)擔(dān)。但等級(jí)評(píng)分格式仍然需要完善,有學(xué)生認(rèn)為不應(yīng)當(dāng)把自我評(píng)價(jià)包括在內(nèi)。
調(diào)整。根據(jù)訪談反饋,在后續(xù)的研究中還需要進(jìn)行以下完善:第一,等級(jí)評(píng)價(jià)是否應(yīng)包含自我評(píng)價(jià)需進(jìn)行探索;第二,如何確保從學(xué)生角度來(lái)看評(píng)價(jià)標(biāo)準(zhǔn)的維度更清晰也值得進(jìn)一步研究。
3.評(píng)價(jià)與反思
研究者共發(fā)放119份問(wèn)卷,其中有效問(wèn)卷100份。調(diào)查問(wèn)卷涉及學(xué)生對(duì)自我評(píng)價(jià)及同伴評(píng)價(jià)的態(tài)度,包括李克特式問(wèn)題和開(kāi)放式問(wèn)題。李克特量表類型的問(wèn)題旨在獲取學(xué)生對(duì)個(gè)體貢獻(xiàn)度評(píng)價(jià)的感知,包括15個(gè)李克特量表形式的選擇問(wèn)題(從1-非常不同意到5-非常同意)以及5個(gè)開(kāi)放性問(wèn)題。具體問(wèn)題維度包括:學(xué)生對(duì)個(gè)體貢獻(xiàn)度評(píng)價(jià)活動(dòng)的態(tài)度;學(xué)生對(duì)評(píng)價(jià)過(guò)程參與的看法;學(xué)生對(duì)SAPA公平性的感知等。問(wèn)卷調(diào)查結(jié)果如下表所示。
(1)個(gè)體貢獻(xiàn)度評(píng)價(jià)對(duì)學(xué)生協(xié)作學(xué)習(xí)投入有積極影響
由表可知,個(gè)體貢獻(xiàn)度評(píng)價(jià)活動(dòng)有助于學(xué)生提升小組協(xié)作投入(Q8、Q9得到了較高的均值和較低的標(biāo)準(zhǔn)差),給學(xué)生提供改進(jìn)作品的機(jī)會(huì)也得到了學(xué)生的支持(Q6中,M教育技術(shù)=4.5,M小學(xué)教育=3.9)。一位學(xué)生的觀點(diǎn)也佐證了這點(diǎn),他說(shuō):“提供修改的機(jī)會(huì)對(duì)于合作不太多的小組來(lái)說(shuō)是很有必要的。如果第一次協(xié)作活動(dòng)組員沒(méi)有投入太多,當(dāng)看到自己最終得分與小組得分不同,會(huì)意識(shí)到個(gè)體貢獻(xiàn)的重要性,在第二次協(xié)作過(guò)程中就會(huì)投入多一點(diǎn)?!?/p>
另外,學(xué)生和教師共同商討評(píng)價(jià)標(biāo)準(zhǔn)的制定也提高了大家的參與度,學(xué)生普遍認(rèn)為應(yīng)當(dāng)參與評(píng)價(jià)標(biāo)準(zhǔn)的制定,一位非常贊同的學(xué)生解釋說(shuō):“我們參與評(píng)價(jià)標(biāo)準(zhǔn)的制定就會(huì)知道哪些方面重要,進(jìn)而也提升了協(xié)作投入?!?/p>
(2)定性反饋對(duì)于提高參與度或者作品質(zhì)量很重要
研究表明,使用特定的同伴反饋標(biāo)準(zhǔn)對(duì)修改有效(Fermelis et al,2007),Q5、Q7的結(jié)果說(shuō)明了學(xué)生需要定性反饋。兩名學(xué)生認(rèn)為:“同伴反饋主要在于增加參與度和改進(jìn)作品,所以我會(huì)改善這些問(wèn)題?!薄巴樵u(píng)價(jià)者好像不知道怎樣改進(jìn)協(xié)作過(guò)程,所以沒(méi)有給出評(píng)語(yǔ)。”由此看來(lái),同伴反饋的內(nèi)容是非常重要的。學(xué)生更愿意提出反饋意見(jiàn)(修改方向)來(lái)增加參與度或提高小組作品質(zhì)量而不是協(xié)作學(xué)習(xí)過(guò)程。
(3)SAPA公平性中自我評(píng)價(jià)需要調(diào)整
從問(wèn)卷Q2的結(jié)果來(lái)看,兩個(gè)專業(yè)的均值都未達(dá)到理想狀態(tài)。有學(xué)生提出:“同伴互評(píng)還是相對(duì)公平的,自我評(píng)價(jià)可能會(huì)出現(xiàn)自我感覺(jué)良好、對(duì)自己的貢獻(xiàn)帶有主觀意識(shí)、高估自己的表現(xiàn)、自評(píng)分?jǐn)?shù)過(guò)高的情況?!?/p>
有學(xué)者認(rèn)為在個(gè)人最終得分中應(yīng)去除自我評(píng)價(jià)部分。SA/PA的比值(sluijsrmans et al,2010)可以衡量學(xué)生是否高估了自己。如果SA/PA>1說(shuō)明白評(píng)分?jǐn)?shù)高于同伴互評(píng)分?jǐn)?shù)。在本研究中的自評(píng)與互評(píng)比值平均值為1.65,表明學(xué)生明顯高估了自己。因此后續(xù)研究中個(gè)體貢獻(xiàn)度評(píng)價(jià)是否應(yīng)包含自我評(píng)價(jià)或如何避免學(xué)生高估自己的情況還有待于進(jìn)一步探討。
五、結(jié)論與建議
本研究旨在基于設(shè)計(jì)的研究方法,逐步探索基于SAPA的個(gè)體貢獻(xiàn)度評(píng)價(jià)設(shè)計(jì)的原則與策略,以及學(xué)習(xí)者對(duì)評(píng)價(jià)的感知與態(tài)度。經(jīng)過(guò)四輪的修正與分析,最終形成三個(gè)層面的評(píng)價(jià)原則與策略。
原則一,個(gè)體貢獻(xiàn)度評(píng)價(jià)應(yīng)該同時(shí)考察協(xié)作學(xué)習(xí)過(guò)程與最終成果中體現(xiàn)的貢獻(xiàn)程度。SAPA已經(jīng)被證明是一種公平、有效、可靠的評(píng)價(jià)協(xié)作學(xué)習(xí)個(gè)體貢獻(xiàn)的方法(Killc,2016)。自評(píng)和互評(píng)結(jié)合的另一個(gè)優(yōu)點(diǎn)是在同伴評(píng)價(jià)中受到不公平對(duì)待的學(xué)生有機(jī)會(huì)平衡同伴評(píng)價(jià)的被動(dòng)效應(yīng)(Gupta,2004)。自評(píng)與互評(píng)有助于學(xué)生反映自己的學(xué)習(xí)過(guò)程和表現(xiàn)并與其他成員進(jìn)行協(xié)作學(xué)習(xí)比較(Chen et al,2009)。因此針對(duì)第一個(gè)原則采取的具體策略包括:采用自評(píng)和互評(píng)結(jié)合的方式來(lái)獲取學(xué)習(xí)者在協(xié)作過(guò)程中的個(gè)體貢獻(xiàn)水平;采用分?jǐn)?shù)轉(zhuǎn)換工具來(lái)整合學(xué)習(xí)者小組作品得分和個(gè)人貢獻(xiàn)得分,計(jì)算學(xué)習(xí)者的最終分?jǐn)?shù);采用分?jǐn)?shù)偏差度設(shè)定來(lái)協(xié)調(diào)小組作品得分和個(gè)人貢獻(xiàn)得分所占比例。
原則二,學(xué)習(xí)者應(yīng)當(dāng)參與評(píng)價(jià)過(guò)程并對(duì)其負(fù)責(zé)。形成性同伴評(píng)價(jià)的特點(diǎn)是強(qiáng)烈依賴反饋的作用和重要性。有效反饋是形成性評(píng)價(jià)常用的策略。反饋的主要目的是縮小學(xué)生目前學(xué)習(xí)水平與預(yù)期目標(biāo)之間的差距。在形成性評(píng)價(jià)中,反饋是根據(jù)已設(shè)定的學(xué)習(xí)目標(biāo)提出描述性而不是判斷性的信息。描述性反饋側(cè)重關(guān)注要達(dá)到的學(xué)習(xí)目標(biāo),要指出學(xué)生做得好的地方或需要改進(jìn)的地方,并對(duì)學(xué)生如何達(dá)到目標(biāo)提出建議,這樣能避免只給出分?jǐn)?shù)?;ハ嘣u(píng)價(jià)是形成性評(píng)價(jià)的常用策略。根據(jù)評(píng)價(jià)標(biāo)準(zhǔn),同伴之間對(duì)學(xué)習(xí)過(guò)程及效果做出評(píng)價(jià),能夠培養(yǎng)及提高學(xué)生自我評(píng)價(jià)能力并改進(jìn)小組協(xié)作學(xué)習(xí)過(guò)程。因此,針對(duì)第二個(gè)原則的具體策略包括:在同伴評(píng)價(jià)中,學(xué)習(xí)者需要對(duì)小組成員的個(gè)體貢獻(xiàn)度提供反饋評(píng)語(yǔ)(例如建議和依據(jù));學(xué)習(xí)者需要撰寫(xiě)協(xié)作學(xué)習(xí)反思日志;教師在兩輪中間公布學(xué)習(xí)者分?jǐn)?shù),允許學(xué)習(xí)者在協(xié)作學(xué)習(xí)過(guò)程中改進(jìn)作品。
原則三,自評(píng)和同伴互評(píng)應(yīng)盡可能公平合理。Sluijsmans等人(2010)認(rèn)為,同伴評(píng)價(jià)形式應(yīng)增加靈活性,并將群體分?jǐn)?shù)轉(zhuǎn)化為個(gè)體分?jǐn)?shù)。為了個(gè)人貢獻(xiàn)度評(píng)價(jià)的準(zhǔn)確性,評(píng)價(jià)必須保證公平與合理。小組內(nèi)學(xué)生之間的評(píng)分不能相互干擾,否則缺失了公平性就很難保證結(jié)果的合理性。因此針對(duì)第三個(gè)原則采取的具體策略包括:采用單向匿名形式來(lái)形成同伴互評(píng)分?jǐn)?shù);采用隨機(jī)分組形式來(lái)確定小組;采取等級(jí)序列分?jǐn)?shù)的形式來(lái)進(jìn)行同伴互評(píng)。