在線協(xié)作學(xué)習(xí)交互效果評(píng)價(jià)方法的實(shí)證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴

（北京師范大學(xué) 教育學(xué)部教育技術(shù)學(xué)院，北京100875）

在線協(xié)作學(xué)習(xí)交互效果評(píng)價(jià)方法的實(shí)證研究*
——基于信息流的分析視角

于俊輝 鄭蘭琴【通訊作者】

（北京師范大學(xué) 教育學(xué)部教育技術(shù)學(xué)院，北京100875）

協(xié)作學(xué)習(xí)的評(píng)價(jià)是計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)領(lǐng)域的重要內(nèi)容。文章把協(xié)作學(xué)習(xí)交互效果界定為小組共同的知識(shí)建構(gòu)水平，運(yùn)用基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法對在線協(xié)作學(xué)習(xí)的交互效果進(jìn)行評(píng)價(jià)，而定義總激活量、聚焦程度、深度三個(gè)指標(biāo)可評(píng)價(jià)協(xié)作學(xué)習(xí)的交互效果。研究結(jié)果表明：三個(gè)指標(biāo)均能有效反映協(xié)作學(xué)習(xí)的交互效果，說明基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法適用于在線協(xié)作學(xué)習(xí)的評(píng)價(jià)。

協(xié)作學(xué)習(xí)；評(píng)價(jià)方法；信息流

引言

在協(xié)作學(xué)習(xí)中，交互是激發(fā)和產(chǎn)生共同知識(shí)的基本活動(dòng)單元[1]。在交互中，學(xué)習(xí)者通過建立積極互動(dòng)的正依賴關(guān)系來獲得良好的協(xié)作學(xué)習(xí)效果[2]。研究表明，對協(xié)作學(xué)習(xí)評(píng)價(jià)反饋可以有效地激勵(lì)學(xué)習(xí)者的參與積極性，提升學(xué)習(xí)者的個(gè)體責(zé)任感，增強(qiáng)學(xué)習(xí)者之間的正依賴關(guān)系，從而提高協(xié)作學(xué)習(xí)的交互效果[3]。Strijbos[4]指出，對協(xié)作學(xué)習(xí)的評(píng)價(jià)，學(xué)習(xí)過程的質(zhì)量與學(xué)習(xí)結(jié)果同等重要。然而，目前大部分對協(xié)作學(xué)習(xí)的評(píng)價(jià)只關(guān)注學(xué)習(xí)結(jié)果，而忽視交互過程在協(xié)作學(xué)習(xí)中發(fā)揮的作用。形成性評(píng)價(jià)注重評(píng)價(jià)協(xié)作學(xué)習(xí)交互過程中的要素，通過內(nèi)容分析，可以對學(xué)習(xí)者的認(rèn)知、社交、動(dòng)機(jī)進(jìn)行全方位評(píng)價(jià)，因此其在協(xié)作學(xué)習(xí)評(píng)價(jià)領(lǐng)域得到越來越多的應(yīng)用。目前相關(guān)協(xié)作學(xué)習(xí)過程的評(píng)價(jià)存在難以實(shí)現(xiàn)評(píng)價(jià)自動(dòng)化、評(píng)價(jià)指標(biāo)定義寬泛、評(píng)價(jià)指標(biāo)繁雜、評(píng)價(jià)指標(biāo)信效度低等問題。針對這些問題，本文著眼于協(xié)作學(xué)習(xí)的交互過程，在形成性評(píng)價(jià)的基礎(chǔ)上運(yùn)用基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法對在線協(xié)作學(xué)習(xí)開展評(píng)價(jià)。基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法通過定義清晰的評(píng)價(jià)指標(biāo)對特定領(lǐng)域知識(shí)實(shí)現(xiàn)半自動(dòng)評(píng)價(jià)，通過計(jì)算小組知識(shí)激活總量來反映小組協(xié)同知識(shí)建構(gòu)水平，進(jìn)而評(píng)價(jià)協(xié)作學(xué)習(xí)的交互效果?；谛畔⒘鞯膮f(xié)作學(xué)習(xí)評(píng)價(jià)方法適用于面對面的協(xié)作學(xué)習(xí)情境[5]，由于面對面與在線兩種協(xié)作學(xué)習(xí)情境下信息流輸出具有差異性，所以本文需進(jìn)一步論證這種方法在在線協(xié)作學(xué)習(xí)情境中的有效性。

一文獻(xiàn)綜述

1 常見的協(xié)作學(xué)習(xí)評(píng)價(jià)方法

常用的協(xié)作學(xué)習(xí)評(píng)價(jià)方法可應(yīng)用于不同的評(píng)價(jià)時(shí)機(jī)，具體如表1所示。其中，在協(xié)作學(xué)習(xí)過程中評(píng)價(jià)可以為學(xué)習(xí)者提供有效反饋，激發(fā)和維持他們協(xié)作學(xué)習(xí)的動(dòng)機(jī)，提高學(xué)習(xí)效果[6]。但這個(gè)過程需借助有力的工具支持，提取、分析相應(yīng)的過程數(shù)據(jù)，然后可視化反饋結(jié)果，使指導(dǎo)者輕松、及時(shí)地了解學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，然后決定是否對協(xié)作學(xué)習(xí)進(jìn)行干預(yù)；同時(shí)，借助反饋信息也可以提高學(xué)習(xí)者的覺知、反思和意義建構(gòu)，從而幫助他們達(dá)到既定的學(xué)習(xí)目標(biāo)[7][8]。在協(xié)作學(xué)習(xí)過程中及時(shí)開展評(píng)價(jià)是協(xié)作學(xué)習(xí)評(píng)價(jià)的發(fā)展趨勢，然而其對工具的開發(fā)有較高的要求，因此現(xiàn)階段的研究主要針對協(xié)作學(xué)習(xí)的過程數(shù)據(jù)獲取適當(dāng)?shù)脑u(píng)價(jià)指標(biāo)。

表1 不同協(xié)作學(xué)習(xí)評(píng)價(jià)方法應(yīng)用時(shí)機(jī)

2 形成性評(píng)價(jià)指標(biāo)研究

形成性評(píng)價(jià)需借助協(xié)作學(xué)習(xí)的過程性數(shù)據(jù)，那么協(xié)作學(xué)習(xí)過程中要評(píng)價(jià)什么？協(xié)作學(xué)習(xí)過程中有哪些指標(biāo)適合用來評(píng)價(jià)協(xié)作學(xué)習(xí)？這是形成性評(píng)價(jià)應(yīng)用于協(xié)作學(xué)習(xí)中必然要考慮的問題。

我們從評(píng)價(jià)指標(biāo)、指標(biāo)類型、指標(biāo)計(jì)算方法對不同研究者的研究進(jìn)行分析，發(fā)現(xiàn)研究者評(píng)價(jià)指標(biāo)的確定主要集中在認(rèn)知結(jié)果的評(píng)價(jià)、社會(huì)交互的評(píng)價(jià)、參與動(dòng)機(jī)的評(píng)價(jià)等方面，從而細(xì)化出特定維度或指標(biāo)來衡量和考察協(xié)作學(xué)習(xí)過程。研究者提出的評(píng)價(jià)指標(biāo)具有一定的個(gè)性，適用于特定情境，這使得評(píng)價(jià)方法的可移植性較差；同時(shí)，研究者定義的評(píng)價(jià)指標(biāo)含義寬泛，新情境中的應(yīng)用需重新對指標(biāo)定義；再者，研究者缺乏對指標(biāo)的信度效度檢驗(yàn)，或者實(shí)證檢驗(yàn)指標(biāo)信度效度不高；最后，大部分研究提出的是評(píng)價(jià)模型，對指標(biāo)的計(jì)算未能實(shí)現(xiàn)自動(dòng)化，指標(biāo)的量化也是依靠經(jīng)驗(yàn)，因此評(píng)價(jià)指標(biāo)缺乏客觀性。針對以上問題，本文從群體知識(shí)建構(gòu)的角度出發(fā)，通過信息流的分析方法，對在線協(xié)作學(xué)習(xí)的過程數(shù)據(jù)進(jìn)行分析，確定評(píng)價(jià)指標(biāo)，對協(xié)作學(xué)習(xí)效果展開評(píng)價(jià)，同時(shí)為了評(píng)價(jià)是否具有應(yīng)用價(jià)值，我們對評(píng)價(jià)指標(biāo)的信度進(jìn)行實(shí)證檢驗(yàn)。

二研究設(shè)計(jì)

1 研究問題

在在線協(xié)作學(xué)習(xí)情境下，從信息流的分析視角如何評(píng)價(jià)在線協(xié)作學(xué)習(xí)的交互效果？

2 研究假設(shè)

本研究假設(shè)以下三個(gè)指標(biāo)可以有效評(píng)價(jià)在線協(xié)作學(xué)習(xí)的交互效果：

（1）總激活量

總激活量是一種反映協(xié)作學(xué)習(xí)中知識(shí)點(diǎn)社會(huì)性建構(gòu)水平的抽象屬性。某個(gè)知識(shí)點(diǎn)被激活的次數(shù)越多，它的學(xué)習(xí)效果就越好。目標(biāo)知識(shí)點(diǎn)的總激活量計(jì)算方法如公式1所示。

（2）聚焦程度

聚焦就是隨著時(shí)間持續(xù)激活某個(gè)知識(shí)點(diǎn)而產(chǎn)生的激活量越來越高的過程。交互過程中會(huì)呈現(xiàn)全局聚焦點(diǎn)和局部聚焦點(diǎn)。局部聚焦程度用激活量的平均增量和持續(xù)時(shí)間的乘積衡量，計(jì)算方法如公式2所示。

在公式2中，當(dāng)Ci>1時(shí)，該知識(shí)點(diǎn)才為該時(shí)段的局部聚焦點(diǎn)；如果Ci<1，則該知識(shí)點(diǎn)并不是局部聚焦點(diǎn)。而全局聚焦程度的計(jì)算方法如公式3所示。

（3）深度

深度反映學(xué)習(xí)者與新舊知識(shí)發(fā)生聯(lián)系進(jìn)而對知識(shí)進(jìn)行細(xì)化的程度，可以用帶權(quán)路徑長度反應(yīng)協(xié)作學(xué)習(xí)的深度。激活生成樹的帶權(quán)路徑長度定義為樹中所有目標(biāo)知識(shí)點(diǎn)的權(quán)（Wi）與深度（Li）的乘積之和。深度的計(jì)算方式如公式4所示。

3 研究方法

本研究采用實(shí)證研究的范式進(jìn)行，通過設(shè)計(jì)實(shí)驗(yàn)任務(wù)，招募被試對象開展在線協(xié)作學(xué)習(xí)，然后收集協(xié)作學(xué)習(xí)過程數(shù)據(jù)，進(jìn)行數(shù)據(jù)分析。任務(wù)設(shè)計(jì)以“教育心理學(xué)”課程中的問題解決和自我調(diào)節(jié)學(xué)習(xí)的相關(guān)知識(shí)為目標(biāo)。招募被試的對象是研究者所在大學(xué)的研究生和本科生，要求學(xué)習(xí)過“教育心理學(xué)”課程。實(shí)驗(yàn)4人一組，在實(shí)驗(yàn)中每人一臺(tái)電腦，借MSN討論組在線開展協(xié)作學(xué)習(xí)，所有的被試均在實(shí)驗(yàn)室環(huán)境下進(jìn)行協(xié)作學(xué)習(xí)，彼此所處空間不同，不能進(jìn)行面對面交流。在被試對象進(jìn)行協(xié)作學(xué)習(xí)過程中，軟件會(huì)自動(dòng)保存聊天記錄。實(shí)驗(yàn)進(jìn)行前后測檢驗(yàn)，前后測試卷在專家評(píng)分后進(jìn)行統(tǒng)計(jì)，其目的是用傳統(tǒng)的方法評(píng)價(jià)獲取協(xié)作學(xué)習(xí)的交互效果。本研究共招募被試158人，分成40組，每組3~4人。最終收集32組以問題解決設(shè)計(jì)任務(wù)的數(shù)據(jù)和8組以自我調(diào)節(jié)學(xué)習(xí)設(shè)計(jì)任務(wù)數(shù)據(jù)，因此，本研究的樣本數(shù)據(jù)是40組協(xié)作學(xué)習(xí)記錄和40組前后測成績。本研究的研究樣本是信息流所映射的帶激活量的知識(shí)網(wǎng)絡(luò)圖。

4 數(shù)據(jù)分析方法

基于信息流的交互分析方法，對收集的聊天記錄進(jìn)行內(nèi)容分析的具體步驟如下：

（1）繪制目標(biāo)知識(shí)初始圖，如圖1所示。目標(biāo)知識(shí)初始圖的繪制要依據(jù)協(xié)作學(xué)習(xí)的內(nèi)容，參考教科書，按照繪制規(guī)范進(jìn)行繪制。同時(shí)，在信息流切分的時(shí)候，因協(xié)作學(xué)習(xí)超出既定知識(shí)范圍的內(nèi)容要隨時(shí)調(diào)整目標(biāo)知識(shí)初始圖。

圖1 某一組的目標(biāo)知識(shí)網(wǎng)絡(luò)圖

（2）進(jìn)行信息流的切分，如圖2所示。信息項(xiàng)的表征格式采用IPLi<操作><表征形態(tài)><信息類型><知識(shí)網(wǎng)絡(luò)子圖>。切分信息流的規(guī)則一般為：信息貢獻(xiàn)者發(fā)生改變時(shí)進(jìn)行切分，<操作>屬性發(fā)生改變時(shí)進(jìn)行切分，<信息類型>屬性發(fā)生變化時(shí)進(jìn)行切分，<知識(shí)網(wǎng)絡(luò)子圖>屬性發(fā)生變化時(shí)進(jìn)行切分。

圖2 某一組的信息流切分圖

（3）形成帶有激活量的知識(shí)網(wǎng)絡(luò)圖，計(jì)算總激活量、聚焦程度、深度三個(gè)指標(biāo)值，如圖3所示。指標(biāo)值可以通過基于信息流的協(xié)作學(xué)習(xí)分析系統(tǒng)半自動(dòng)計(jì)算出來。

圖3 某一組形成的帶有激活量的知識(shí)網(wǎng)絡(luò)圖

我們的分析過程由兩位分析者獨(dú)立完成，并對各自的信息項(xiàng)進(jìn)行了信度校驗(yàn)，一致性均達(dá)到90%以上，表明結(jié)果可信。其中不一致的信息項(xiàng)由兩位分析者面對面地經(jīng)過討論協(xié)商解決。

為了完成對指標(biāo)有效性的檢驗(yàn)，我們在實(shí)驗(yàn)過程中通過前后測，獲取學(xué)習(xí)者在線協(xié)作學(xué)習(xí)對協(xié)作學(xué)習(xí)任務(wù)認(rèn)知前后水平的差別（即運(yùn)用傳統(tǒng)的評(píng)價(jià)協(xié)作學(xué)習(xí)效果的方法）。專家評(píng)分后，計(jì)算小組前后測分?jǐn)?shù)差總和的平均值M。然后，把計(jì)算的總激活量、聚焦程度、深度的指標(biāo)值依次與傳統(tǒng)的協(xié)作學(xué)習(xí)效果評(píng)價(jià)值M做相關(guān)性檢驗(yàn)，借助SPSS軟件，如果得到的檢驗(yàn)結(jié)果P值小于0.05則表明指標(biāo)有效。

三研究結(jié)果

總激活量、聚焦程度、深度三個(gè)指標(biāo)反映協(xié)作學(xué)習(xí)的交互效果，其效度結(jié)果如下：

1 總激活量效度

表2 總激活量與前后測成績差平均值相關(guān)性分析

由表2可知，總激活量與前后測成績差平均值的相關(guān)系數(shù)r=0.43，p=0.005<0.01，所以指標(biāo)總激活量在在線協(xié)作學(xué)習(xí)交互方式下有效。

2 聚焦程度效度

表3 聚焦程度與前后測成績差平均值相關(guān)性分析

由表3可知，聚焦程度與前后測成績差平均值的相關(guān)系數(shù)r=0.37，p=0.02<0.05，所以指標(biāo)聚焦程度在在線協(xié)作學(xué)習(xí)交互方式下有效。

3 深度的效度

表4 深度與前后測成績差平均值相關(guān)性分析

由表4可知，深度與前后測成績差平均值的相關(guān)系數(shù)r=0.36，p=0.024<0.05，所以指標(biāo)深度在在線協(xié)作學(xué)習(xí)交互方式下有效。

通過簡單線性回歸分析發(fā)現(xiàn)，總激活量能夠解釋協(xié)作學(xué)習(xí)交互效果19%的變異（β=.432，t=2.955，p=0.005），聚焦程度能夠解釋協(xié)作學(xué)習(xí)交互效果的13%（β=.365，t=2.419，p=0.020），深度能夠解釋協(xié)作學(xué)習(xí)交互效果的13%（β=.356，t=2.351，p=0.024）。綜上所述，指標(biāo)總激活量、聚焦程度、深度三個(gè)指標(biāo)在在線協(xié)作學(xué)習(xí)交互方式下均有效，且總激活量指標(biāo)的有效性最高。

四結(jié)論

通過對基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法的實(shí)證研究，以及對在線協(xié)作學(xué)習(xí)過程數(shù)據(jù)的分析，可以發(fā)現(xiàn)三個(gè)反映協(xié)作學(xué)習(xí)交互效果的指標(biāo)均有效，說明基于信息流的協(xié)作學(xué)習(xí)方法可以有效反映協(xié)作學(xué)習(xí)中小組的知識(shí)建構(gòu)水平，且指標(biāo)定義清晰，借助工具實(shí)現(xiàn)半自動(dòng)評(píng)價(jià)，故可以廣泛適用于特定知識(shí)領(lǐng)域的評(píng)價(jià)。但從目前研究的結(jié)果來看，三個(gè)指標(biāo)對協(xié)作學(xué)習(xí)交互效果的解釋力較低。因此，未來的研究應(yīng)致力于進(jìn)一步完善基于信息流的協(xié)作學(xué)習(xí)評(píng)價(jià)方法，以發(fā)現(xiàn)對協(xié)作學(xué)習(xí)交互效果預(yù)測力更高的指標(biāo)，并實(shí)現(xiàn)自動(dòng)評(píng)價(jià)。

[1]劉黃玲子,朱伶俐,陳義勤,等.基于交互分析的協(xié)同知識(shí)建構(gòu)的研究[J].開放教育研究,2005,(2):31-37.

[2]劉黃玲子,黃榮懷.協(xié)作學(xué)習(xí)評(píng)價(jià)方法[J].現(xiàn)代教育技術(shù),2002,(1):24-29.

[3]MacdonaldJ.Assessingonlinecollaborativelearning:processandproduct[J].Computers&Education,2003,(4):377-391.

[4]Strijbos J W.Assessment of(computer-supported)collaborative learning[J].IEEE Transactions on Learning Technologies,2011,(1):59-73.

[5]鄭蘭琴,楊開城,黃榮懷.基于信息流的面對面協(xié)作學(xué)習(xí)交互分析方法的實(shí)證研究[J].中國電化教育,2013,(11):30-35.

[6]韓后,王冬青.促進(jìn)有效學(xué)習(xí)的評(píng)價(jià)反饋系統(tǒng)及其應(yīng)用[J].現(xiàn)代教育技術(shù),2015,(2):100-106.

[7]Maldonado R M,Kay J,Yacef K,et al.An interactive teacher’s dashboard for monitoring groups in a multi-tabletop learning environment[C].Berlin:Springer-Verlag,2012:482-492.

[8]Verbert K,Govaerts S,Duval E,et al.Learning dashboards:An overview and future research opportunities[J]. Personal and Ubiquitous Computing,2014,18(6):1499-1514.

編輯：小西

Empirical on the Assessment of Group Performance in Online Collaborative Learning——Based on the Information Flow Approach

YU Jun-hui ZHENG Lan-qin[CorrespondingAuthor]

(School of Educational Technology,Faculty of Education,Beijing Normal University,Beijing,China 100875)

The assessment of collaborative learning is very important in the domain of computer supported collaborative learning(CSCL).In this paper,the performance of collaborative learning was defined to the mutual degree of collaborative knowledge building,which was assessed through collaborative learning assessment approach based on the information flow.In order to evaluate group performance,the total amount of knowledge activation,the degree of knowledge convergence,and the depth were proposed in this study.The result indicated that the three indicators and the assessment approach were effective and appropriate in evaluating online collaborative learning.

collaborative learning;assessment;information flows

2015年5月29日

G40-057

A【論文編號(hào)】1009—8097（2015）12—0090—06

10.3969/j.issn.1009-8097.2015.12.014

book=95,ebook=96

本文受國家社會(huì)科學(xué)基金教育學(xué)青年課題“基于大數(shù)據(jù)學(xué)習(xí)分析技術(shù)的大學(xué)生適應(yīng)性調(diào)節(jié)技能的評(píng)價(jià)與干預(yù)研究”（項(xiàng)目編號(hào)：CCA140154）資助。

于俊輝，北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院碩士研究生，研究方向是計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)，郵箱yujunhuibnu@163.com。