在線討論質(zhì)量分析工具的研發(fā)與實(shí)效驗(yàn)證

閆寒冰　段春雨　王文嬌

摘要：在線討論是遠(yuǎn)程培訓(xùn)的重要活動(dòng)形式，其討論質(zhì)量直接關(guān)涉到遠(yuǎn)程培訓(xùn)的成效。然而，以往的在線討論質(zhì)量分析往往局限于或者對(duì)分析框架進(jìn)行學(xué)理層面的探討，或者對(duì)內(nèi)容質(zhì)量進(jìn)行事后分析，或者采用部分抽樣而非全樣本分析。這致使原有研究可操作性不強(qiáng)、過(guò)程性干預(yù)較弱、數(shù)據(jù)抽樣和分析不夠科學(xué)。為了改進(jìn)研究的不足，遠(yuǎn)程培訓(xùn)在線討論質(zhì)量分析框架應(yīng)圍繞話題質(zhì)量、討論參與和討論深度三個(gè)關(guān)鍵要素進(jìn)行建構(gòu)，分別設(shè)置質(zhì)量分析計(jì)算規(guī)則，嵌入到網(wǎng)絡(luò)研修平臺(tái)中，使其能為學(xué)生、教師和管理者自動(dòng)提供實(shí)時(shí)的可視化分析儀表盤(pán)。以兩期遠(yuǎn)程培訓(xùn)學(xué)員為對(duì)象，通過(guò)對(duì)比實(shí)驗(yàn)和問(wèn)卷調(diào)查等方法，對(duì)在線討論質(zhì)量分析工具的應(yīng)用效果檢驗(yàn)表明：在線討論質(zhì)量分析工具不僅有利于提高遠(yuǎn)程培訓(xùn)中學(xué)員的討論參與度與積極性，而且對(duì)其討論深度與討論質(zhì)量也具有積極影響。此外，在線討論質(zhì)量分析工具還具備一定的自我導(dǎo)向作用，有利于改善遠(yuǎn)程培訓(xùn)中學(xué)員參與討論的行為，保持和提高其討論積極性。

關(guān)鍵詞：在線討論；遠(yuǎn)程培訓(xùn)；討論質(zhì)量；分析工具；實(shí)效驗(yàn)證

中圖分類(lèi)號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-5195（2018）01-0088-11 doi10.3969/j.issn.1009-5195.2018.01.010

一、引言

得益于互聯(lián)網(wǎng)在跨越時(shí)空限制、共享優(yōu)質(zhì)資源等方面的優(yōu)勢(shì)，遠(yuǎn)程培訓(xùn)正在成為各行各業(yè)專(zhuān)業(yè)人員能力提升的重要渠道之一。以教育領(lǐng)域?yàn)槔?，自“?guó)培計(jì)劃”實(shí)施以來(lái)，我國(guó)每年均有幾百萬(wàn)的中小學(xué)教師會(huì)通過(guò)遠(yuǎn)程培訓(xùn)來(lái)提升自身的專(zhuān)業(yè)能力?！按笠?guī)?！币殉蔀檫h(yuǎn)程培訓(xùn)的常態(tài)。建構(gòu)主義學(xué)者認(rèn)為，社會(huì)性交互對(duì)一個(gè)人的認(rèn)知發(fā)展具有重要的支撐作用（Vygotsky，1978）。以計(jì)算機(jī)為中介的交流（CMC）理論認(rèn)為，基于文本的異步討論活動(dòng)不僅有利于發(fā)展學(xué)習(xí)者的批判性思維，還有助于促進(jìn)其深度學(xué)習(xí)與知識(shí)建構(gòu)。正是基于這樣的理念，在線討論已成為各級(jí)各類(lèi)遠(yuǎn)程培訓(xùn)中不可或缺的組成部分。

然而，由于缺乏正確的在線討論質(zhì)量管理方法，以發(fā)帖量、點(diǎn)擊數(shù)、回帖量為主的質(zhì)量分析方法在導(dǎo)向上助長(zhǎng)了平庸帖子的大量出現(xiàn)，甚至在有些遠(yuǎn)程培訓(xùn)中，在線討論活動(dòng)已完全淪為一種“湊分作業(yè)”。學(xué)員只顧各自發(fā)帖，以帖子數(shù)量來(lái)湊足分值，很少或從不與同伴進(jìn)行互動(dòng)與交流。在線討論的質(zhì)量直接影響遠(yuǎn)程培訓(xùn)的成效，如何常態(tài)化、伴隨性地對(duì)在線討論質(zhì)量進(jìn)行形成性分析，以便精準(zhǔn)判斷與及時(shí)干預(yù)，已成為培訓(xùn)實(shí)踐中亟待解決的問(wèn)題。

在線討論質(zhì)量分析一直是CMC領(lǐng)域的研究熱點(diǎn)。許多學(xué)者開(kāi)展了大量的研究工作，形成了許多質(zhì)量分析方法與工具。但總體而言，當(dāng)前研究與實(shí)踐應(yīng)用的距離較遠(yuǎn)。大部分研究以內(nèi)容分析為主，無(wú)法嵌入平臺(tái)實(shí)現(xiàn)自動(dòng)化分析。此外，許多研究方法多為事后分析法，其分析結(jié)果只能為下次培訓(xùn)或?qū)W習(xí)借鑒，而對(duì)本次培訓(xùn)活動(dòng)難以產(chǎn)生實(shí)質(zhì)性影響（Fujita，2013）。本研究借鑒已有研究，系統(tǒng)構(gòu)建了在線討論質(zhì)量分析模型，并據(jù)此設(shè)計(jì)開(kāi)發(fā)了一套可實(shí)現(xiàn)自動(dòng)化分析與可視化呈現(xiàn)的在線討論質(zhì)量分析運(yùn)算規(guī)則。為驗(yàn)證其實(shí)踐成效，將該運(yùn)算規(guī)則以工具形式嵌入教師遠(yuǎn)程培訓(xùn)平臺(tái)，并從主觀和客觀兩方面對(duì)其有效性進(jìn)行了檢驗(yàn)。

二、在線討論質(zhì)量分析研究綜述

縱觀已有研究，從研究范式上可以分為三類(lèi)：一是以討論行為計(jì)量為取向的研究范式；二是以討論內(nèi)容分析為取向的研究范式；三是以行為數(shù)據(jù)挖掘?yàn)槿∠虻难芯糠妒?。相比而言，以?nèi)容分析為取向的研究范式是當(dāng)前研究的主流。

以討論行為計(jì)量為取向的研究范式強(qiáng)調(diào)量化的分析標(biāo)準(zhǔn)，倡導(dǎo)從討論行為數(shù)量上分析討論的質(zhì)量，典型人物有喬納森。喬納森認(rèn)為在分析CMC交互質(zhì)量上，有必要采用量化的分析方法，從信息數(shù)量上進(jìn)行研究（Jonassen，1996）。以討論行為計(jì)量為主的研究范式產(chǎn)生較早，許多學(xué)者都采用這種方法對(duì)在線討論質(zhì)量進(jìn)行了研究。典型研究如Levin等人設(shè)計(jì)的討論信息“內(nèi)容地圖”（Concept Maps），通過(guò)對(duì)遠(yuǎn)程學(xué)習(xí)者的交流信息進(jìn)行統(tǒng)計(jì)，以分析與判斷討論交互的質(zhì)量與信息流向（Levin et al.，1990）。Knutzen開(kāi)發(fā)的“參與版”（Participation Forum）和“參與地圖”（Participation Map）等Moodle插件，通過(guò)對(duì)學(xué)生的討論參與量進(jìn)行統(tǒng)計(jì)，以判定其討論參與的質(zhì)量等級(jí)（Knutzen，2013）。彭敏軍等建構(gòu)了討論參與度考量方法，從發(fā)帖數(shù)、回復(fù)數(shù)等方面對(duì)學(xué)生討論的參與質(zhì)量進(jìn)行了計(jì)算與測(cè)量（彭敏軍等，2011）。

后續(xù)研究發(fā)現(xiàn)，定量的分析標(biāo)準(zhǔn)與方法并不能完全反映在線討論的交互質(zhì)量（吳亞婕等，2012）。為了揭示在線討論活動(dòng)規(guī)律，研究者開(kāi)始聚焦討論內(nèi)容，采用內(nèi)容分析法評(píng)價(jià)在線討論的質(zhì)量。以討論內(nèi)容分析為取向的研究范式比較注重質(zhì)性分析方法，提倡利用討論內(nèi)容分析編碼表對(duì)在線討論質(zhì)量進(jìn)行分析。其中，最具有代表性的編碼表是Henri設(shè)計(jì)的異步討論分析框架。Henri以認(rèn)知學(xué)習(xí)理論為基礎(chǔ)，聚焦于個(gè)人發(fā)展，提出了參與、社會(huì)、交互、認(rèn)知和元認(rèn)知等5個(gè)分析維度（Henri，1991）。該分析框架目前已被廣泛應(yīng)用與借鑒，成為在線討論質(zhì)量分析的先驅(qū)性工具。趙建華等對(duì)討論內(nèi)容分析編碼表進(jìn)行了研究，梳理出15種具有代表性的內(nèi)容分析工具（趙建華等，2015）。當(dāng)前以內(nèi)容分析為取向的研究有很多，典型的有Nandi等借助Henri提出的異步討論分析框架對(duì)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下師生的異步交互深度進(jìn)行了評(píng)價(jià)，發(fā)現(xiàn)學(xué)生的在線討論參與行為易受教師影響，其交互質(zhì)量取決于教師的及時(shí)反饋（Nandi et al.，2012）。黃慶玲等借鑒Garrison等開(kāi)發(fā)的討論內(nèi)容分析表（Garrison et al.，2003），對(duì)教師工作坊的討論深度進(jìn)行了實(shí)證研究，通過(guò)對(duì)比分析話題類(lèi)型、發(fā)帖數(shù)以及工作坊的討論深度，揭示了教師工作坊的討論特征與影響因素（黃慶玲等，2016）。嚴(yán)亞利等采用自制的交互內(nèi)容編碼表，對(duì)海鹽博客群中教師的在線交互深度進(jìn)行研究，發(fā)現(xiàn)教師博客交互深度僅限于淺度水平，還無(wú)法實(shí)現(xiàn)深度學(xué)習(xí)的預(yù)期目標(biāo)（嚴(yán)亞利等，2010）。

近年來(lái)，隨著學(xué)習(xí)分析技術(shù)與教育大數(shù)據(jù)的興起，以行為數(shù)據(jù)挖掘?yàn)槿∠虻难芯糠妒秸鸩匠蔀樵诰€討論質(zhì)量分析的“新貴”。典型研究有Gibbs等開(kāi)發(fā)的討論行為可視化分析工具M(jìn)TRDS，該工具可以以時(shí)間序列的形式實(shí)時(shí)記錄學(xué)生的發(fā)帖行為，診斷學(xué)生的在線討論參與情況（Gibbs et al.，2006）。Trampu?等開(kāi)發(fā)的討論主題可視化分析工具，借鑒復(fù)雜的聚類(lèi)算法，不僅可以實(shí)時(shí)呈現(xiàn)討論主題聚類(lèi)圖，還可以對(duì)討論主題趨勢(shì)進(jìn)行診斷與預(yù)測(cè)（Trampu? et al.，2010）。Ming等運(yùn)用文本挖掘技術(shù)中的語(yǔ)義分析算法對(duì)大學(xué)科學(xué)課程中師生交互行為進(jìn)行挖掘，構(gòu)建出主題模式-時(shí)間序列可視化圖譜，該圖譜可以揭示特定討論主題與特定討論策略之間的模式關(guān)系（Ming et al.，2011）。Scheuer等基于人工智能技術(shù)設(shè)計(jì)了分析學(xué)生在線討論貢獻(xiàn)程度的算法，并通過(guò)實(shí)驗(yàn)檢驗(yàn)了該方法在CSCL學(xué)習(xí)中的有效性（Scheuer et al.，2010）。

三、在線討論質(zhì)量分析工具設(shè)計(jì)

1.質(zhì)量分析框架

要設(shè)計(jì)在線討論質(zhì)量分析工具，首先要明確在線討論質(zhì)量分析要素。為此，本研究對(duì)文獻(xiàn)綜述中的典型文獻(xiàn)進(jìn)行梳理，提取了其質(zhì)量分析的主要內(nèi)容，如表1所示。

2.質(zhì)量分析指標(biāo)

依據(jù)在線討論質(zhì)量分析框架，參照已有研究，本研究建構(gòu)了在線討論質(zhì)量分析指標(biāo)體系（見(jiàn)表2）。其中，討論參與分析指標(biāo)主要借鑒Weinberger等人的研究，設(shè)置了討論參與度和參與異質(zhì)性兩個(gè)指標(biāo)（Weinberger et al.，2005）。討論深度分析指標(biāo)主要參照嚴(yán)亞利等人開(kāi)發(fā)的交互深度分析編碼表，設(shè)置了灌水、淺度、中度、深度四個(gè)指標(biāo)（嚴(yán)亞利等，2010）。討論主題分析指標(biāo)主要根據(jù)在線討論的設(shè)計(jì)原則（閆寒冰等，2008），從教學(xué)目標(biāo)和學(xué)習(xí)對(duì)象等視角出發(fā)，設(shè)置了目標(biāo)相關(guān)度和對(duì)象適切度兩個(gè)指標(biāo)。

3.質(zhì)量分析規(guī)則與方法

（1）“討論參與”的分析規(guī)則與方法

討論參與包括討論參與度與參與異質(zhì)性兩個(gè)指標(biāo)。其中，討論參與度主要關(guān)注討論者的參與貢獻(xiàn)（如發(fā)帖量、回復(fù)或評(píng)論量等），反映的是討論參與的個(gè)人特征；參與異質(zhì)性主要關(guān)注的是學(xué)習(xí)者參與在線討論的平等程度，反映的是在線討論的群體特征。李銀玲等人曾提出通過(guò)統(tǒng)計(jì)帖子數(shù)量來(lái)分析討論參與貢獻(xiàn)的計(jì)算方法（李銀玲等，2008）。本文參照李銀玲等人提出的方法，把發(fā)帖量與回帖量作為討論參與度的主要分析指標(biāo)。將討論參與度定義為學(xué)員參與在線討論的發(fā)帖數(shù)量與回帖數(shù)量之和，其計(jì)算規(guī)則為：

討論參與度C=發(fā)帖數(shù)量+回帖數(shù)量

作為一種虛擬的群體活動(dòng)，在線討論還具有共建性的天然屬性。因此，討論參與分析除了考慮學(xué)習(xí)者的參與貢獻(xiàn)以外，還需對(duì)其異質(zhì)性進(jìn)行考量。Weinberger等人認(rèn)為在線討論參與的異質(zhì)性可通過(guò)參與人數(shù)占群體人數(shù)的百分比來(lái)表示（Weinberger et al.，2005）。本文借鑒Weinberger等人的研究，將參與異質(zhì)性界定為某一討論話題實(shí)際參與討論的人數(shù)占群體總?cè)藬?shù)的比例，其計(jì)算公式為：

參與異質(zhì)性C=實(shí)際參與人數(shù)/群體總?cè)藬?shù)

在具體實(shí)踐中，討論參與質(zhì)量分析主要是將討論參與度與參與異質(zhì)性的計(jì)算規(guī)則嵌入到遠(yuǎn)程培訓(xùn)平臺(tái)，實(shí)現(xiàn)平臺(tái)的自動(dòng)統(tǒng)計(jì)與分析。

（2）“討論深度”的分析規(guī)則與方法

本研究將討論深度定義為發(fā)起話題下所有回帖質(zhì)量的均值，并借鑒已有的交互深度內(nèi)容分析量表（嚴(yán)亞利等，2010），設(shè)計(jì)與開(kāi)發(fā)了在線討論帖子內(nèi)容深度評(píng)價(jià)表（見(jiàn)表3）。該表將在線討論貼的內(nèi)容深度劃分為灌水、淺度、中度、深度四個(gè)等級(jí)。

因此，某一話題討論深度的計(jì)算規(guī)則為：

討論深度D話題M=（帖子1質(zhì)量+帖子2質(zhì)量+…+帖子n質(zhì)量）/話題M帖子總數(shù)n

某個(gè)學(xué)員討論深度的計(jì)算規(guī)則為：

討論深度D某學(xué)員=（某學(xué)員帖子1質(zhì)量+帖子2質(zhì)量+…+帖子n質(zhì)量）/某學(xué)員帖子總數(shù)n

在具體實(shí)踐中，需將討論深度計(jì)算規(guī)則嵌入遠(yuǎn)程培訓(xùn)平臺(tái)，這樣助學(xué)教師就可以在完成討論帖子正常瀏覽與點(diǎn)評(píng)的同時(shí)，伴隨性地對(duì)學(xué)員回帖質(zhì)量進(jìn)行即時(shí)的簡(jiǎn)易評(píng)價(jià)，圖2為操作界面的示例。其中，灌水貼、精華貼（中度）、超精華貼（深度）的分?jǐn)?shù)可以通過(guò)管理后臺(tái)來(lái)調(diào)整。比如設(shè)定灌水帖為-1分、一般帖子為+1分、精華帖為+5分、超精華帖為+10分。在整個(gè)過(guò)程中，平臺(tái)能過(guò)程性地記錄各個(gè)回帖的“評(píng)語(yǔ)”，并依據(jù)計(jì)算規(guī)則自動(dòng)轉(zhuǎn)換為相應(yīng)分?jǐn)?shù)。除此之外，還可從“發(fā)起話題”和“學(xué)員個(gè)體”等不同角度來(lái)計(jì)算討論深度。值得一提的是，在這種計(jì)算規(guī)則下，如果帖子被設(shè)為“灌水帖”，則發(fā)貼越多，得分越少；而如果發(fā)帖質(zhì)量高的話（即被設(shè)為“精華帖”或“超精華”帖），則只要發(fā)少數(shù)幾個(gè)帖子，就能獲得較高分?jǐn)?shù)。因此可以認(rèn)為，這是一種催發(fā)高質(zhì)量討論的激勵(lì)機(jī)制。

（3）“討論主題”的分析規(guī)則與方法

討論主題質(zhì)量主要包括目標(biāo)相關(guān)度和對(duì)象適切度兩個(gè)指標(biāo)。所謂目標(biāo)相關(guān)度，是指發(fā)起話題與課程學(xué)習(xí)內(nèi)容是否相關(guān)，是否有助于學(xué)習(xí)目標(biāo)的達(dá)成。這一指標(biāo)十分重要，但在實(shí)踐中卻被長(zhǎng)期忽視。例如，在“系統(tǒng)教學(xué)設(shè)計(jì)”課程的主題討論中，助學(xué)教師發(fā)起題為“為什么教師感到不幸福？”的話題，結(jié)果回帖者眾多，其中不乏真知灼見(jiàn)。然而，無(wú)論學(xué)生討論的參與度有多高，討論深度有多深，但我們很難說(shuō)它的討論質(zhì)量是高的，因?yàn)樵撝黝}的“目標(biāo)相關(guān)度”為零。所謂對(duì)象適切度，是指發(fā)起話題在問(wèn)題難度、文字表述等方面與學(xué)習(xí)者認(rèn)知水平的適切程度。兼顧可行性的考慮，本研究主要借鑒分級(jí)評(píng)價(jià)理念以及李克特評(píng)價(jià)量表，構(gòu)建了如表4所示的討論主題評(píng)價(jià)表。其中，目標(biāo)相關(guān)度與對(duì)象適切度均采用五點(diǎn)計(jì)分方式，從低到高劃分為5個(gè)等級(jí)，記分范圍為0～4。

在討論主題分析的具體實(shí)踐中，不僅需要將其計(jì)算規(guī)則嵌入至網(wǎng)絡(luò)研修平臺(tái)，還需由課程教師（或資深助學(xué)教師）依據(jù)特定章節(jié)的教學(xué)目標(biāo)以及對(duì)學(xué)習(xí)者認(rèn)知水平的預(yù)判，對(duì)特定發(fā)起話題的目標(biāo)相關(guān)度與對(duì)象適切度進(jìn)行打分。經(jīng)過(guò)打分后，系統(tǒng)會(huì)依據(jù)擬定的計(jì)算規(guī)則，自動(dòng)計(jì)算與生成討論主題的分析結(jié)果。討論主題的設(shè)計(jì)如圖3所示，該功能只向課程教師開(kāi)放。

（4）討論質(zhì)量分析規(guī)則與方法

本研究將某一話題的討論質(zhì)量定義為發(fā)起話題質(zhì)量與討論深度的乘積，其計(jì)算規(guī)則為：

話題討論質(zhì)量Q=發(fā)起話題質(zhì)量H*討論深度D

上述公式相當(dāng)于為在線討論的質(zhì)量賦予了一個(gè)介于0～1之間的系數(shù)。只有發(fā)起話題有意義時(shí)，亦即為學(xué)習(xí)目標(biāo)服務(wù)且適合于當(dāng)前的學(xué)習(xí)對(duì)象時(shí)，在此話題下的討論才能體現(xiàn)課程學(xué)習(xí)的意義。

據(jù)此，我們將在線討論的總質(zhì)量界定為所有討論主題質(zhì)量的平均值，其計(jì)算公式為：

在線討論總質(zhì)量Q總=（話題1討論質(zhì)量Q1+話題2討論質(zhì)量Q2+…+話題m討論質(zhì)量Qm）/討論話題數(shù)m

4.質(zhì)量分析結(jié)果可視化

通過(guò)可視化技術(shù)與手段分析學(xué)習(xí)者的行為與特征，已成為學(xué)習(xí)分析領(lǐng)域研究的一貫做法。其中，學(xué)習(xí)儀表盤(pán)技術(shù)是最慣用的分析手段。學(xué)習(xí)儀表盤(pán)又稱(chēng)數(shù)字化學(xué)習(xí)儀表盤(pán)，是大數(shù)據(jù)時(shí)代一種新型的在線學(xué)習(xí)支持工具，比較典型的有可汗學(xué)院學(xué)習(xí)儀表盤(pán)、Duolingo學(xué)習(xí)儀表盤(pán)以及“快樂(lè)學(xué)”儀表盤(pán)（張振虹等，2014）。Murray等人在研究中提出利用學(xué)習(xí)儀表盤(pán)分析在線討論質(zhì)量的理論模型（Murray et al.，2013）。本文參考Murray等人的研究，采用學(xué)習(xí)儀表盤(pán)技術(shù)設(shè)計(jì)了在線討論質(zhì)量分析結(jié)果的可視化方案。

在具體過(guò)程中，主要采用分角色設(shè)計(jì)理念，分別從學(xué)員視圖、助學(xué)教師視圖以及管理者視圖等方面設(shè)計(jì)了可視化儀表盤(pán)。其中，學(xué)員視圖儀表盤(pán)用來(lái)記錄學(xué)員個(gè)人討論情況，方便其進(jìn)行自我調(diào)節(jié)與控制；助學(xué)教師視圖儀表盤(pán)用來(lái)顯示班級(jí)群體的在線討論情況，便于助學(xué)教師調(diào)整工作方向，采取適當(dāng)?shù)闹鷮W(xué)策略；管理者視圖儀表盤(pán)用來(lái)呈現(xiàn)課程班級(jí)的在線討論總體情況，便于支持管理者的教學(xué)決策。

（1）學(xué)員視圖儀表盤(pán)

學(xué)員視圖主要包括“我的帖子統(tǒng)計(jì)”“我的討論參與度”“我的帖子質(zhì)量”三種儀表盤(pán)（見(jiàn)圖4）。其中，“我的帖子統(tǒng)計(jì)”儀表盤(pán)主要記錄學(xué)員參與各個(gè)討論話題的發(fā)帖與回帖數(shù)量；“我的討論參與度”儀表盤(pán)主要呈現(xiàn)我的參與度、最高學(xué)員參與度、最低學(xué)員參與度以及班級(jí)學(xué)員的平均參與度；“我的帖子質(zhì)量”儀表盤(pán)主要對(duì)學(xué)員所發(fā)的每個(gè)帖子的內(nèi)容深度進(jìn)行統(tǒng)計(jì)。在具體實(shí)踐中，所有學(xué)員的視圖儀表盤(pán)均可在遠(yuǎn)程培訓(xùn)平臺(tái)學(xué)員空間的“討論分析”模塊中自主查看。

（2）助學(xué)教師視圖儀表盤(pán)

助學(xué)教師視圖主要包括“班級(jí)在線討論參與異質(zhì)性”“在線討論話題質(zhì)量”“班級(jí)在線討論深度”“班級(jí)在線討論質(zhì)量”四種儀表盤(pán)（見(jiàn)圖5）。其中，“班級(jí)在線討論參與異質(zhì)性”儀表盤(pán)主要呈現(xiàn)班級(jí)學(xué)員對(duì)各個(gè)討論話題的參與情況；“在線討論話題質(zhì)量”儀表盤(pán)主要顯示班級(jí)學(xué)員參與每個(gè)討論話題的質(zhì)量；“班級(jí)在線討論深度”儀表盤(pán)主要展示班級(jí)學(xué)員參與每個(gè)討論話題的深度；“班級(jí)在線討論質(zhì)量”儀表盤(pán)主要記錄班級(jí)學(xué)員參與每個(gè)話題的討論質(zhì)量以及班級(jí)總體的討論質(zhì)量。在具體實(shí)踐中，所有助學(xué)教師視圖儀表盤(pán)均可在遠(yuǎn)程培訓(xùn)平臺(tái)教師空間的“討論分析”模塊中自主查看。

（3）管理者視圖儀表盤(pán)

管理者視圖主要包括“班級(jí)在線討論總體情況”和“所有班級(jí)在線討論總質(zhì)量”兩種儀表盤(pán)。其中，前者是對(duì)某一班級(jí)在線討論的總體情況進(jìn)行分析；后者是對(duì)同一課程所有班級(jí)的在線討論總質(zhì)量進(jìn)行分析。為了便于呈現(xiàn)，研究者對(duì)參與異質(zhì)性進(jìn)行了換算，將參與異質(zhì)性的值乘以10，作為“班級(jí)在線討論總體情況”儀表盤(pán)中的顯示結(jié)果。在具體實(shí)踐中，所有管理者的視圖儀表盤(pán)均可在遠(yuǎn)程培訓(xùn)平臺(tái)管理空間的“討論分析”模塊中自主查看。

四、在線討論質(zhì)量分析工具的應(yīng)用效果測(cè)評(píng)

為了檢驗(yàn)在線討論質(zhì)量分析工具的有效性，本研究將設(shè)計(jì)好的質(zhì)量分析規(guī)則與方法嵌入到華東師范大學(xué)教師遠(yuǎn)程研修平臺(tái)。綜合采用對(duì)比實(shí)驗(yàn)、問(wèn)卷調(diào)查等方法，從主觀和客觀兩方面對(duì)在線討論質(zhì)量分析工具的應(yīng)用效果進(jìn)行了測(cè)評(píng)。

1.實(shí)驗(yàn)研究測(cè)評(píng)

本研究采用對(duì)比實(shí)驗(yàn)的方法，通過(guò)分析使用與未使用在線討論分析工具的兩期學(xué)員（參加同一門(mén)課程學(xué)習(xí)）在在線討論活動(dòng)上的差異，來(lái)驗(yàn)證在線討論質(zhì)量分析工具的應(yīng)用效果，其研究技術(shù)路線如圖7所示。

實(shí)驗(yàn)對(duì)象。本實(shí)驗(yàn)主要選擇上海市市級(jí)共享課程“學(xué)習(xí)過(guò)程設(shè)計(jì)”兩期學(xué)員為實(shí)驗(yàn)對(duì)象，并將其劃分為兩個(gè)不同的班級(jí)，分別命名為A班、B班。A班為“學(xué)習(xí)過(guò)程設(shè)計(jì)”第1期學(xué)員，人數(shù)為120人；B班為“學(xué)習(xí)過(guò)程設(shè)計(jì)”第3期學(xué)員，人數(shù)也為120人。兩期學(xué)員均為上海市區(qū)內(nèi)的中小學(xué)教師。

實(shí)驗(yàn)控制。本研究對(duì)實(shí)驗(yàn)條件進(jìn)行了嚴(yán)格控制：A班、B班兩期學(xué)員學(xué)習(xí)相同的課程內(nèi)容；參與完全一致的在線討論話題，所有討論話題均經(jīng)課程主講教師認(rèn)真設(shè)計(jì)，確保其主題相關(guān)度與對(duì)象適切性；由同一教師擔(dān)任助學(xué)工作任務(wù)；參與培訓(xùn)時(shí)間均為5周（35天）。

實(shí)驗(yàn)干預(yù)。A班學(xué)員參加在線培訓(xùn)期間，不開(kāi)放在線討論質(zhì)量分析功能模塊；B班學(xué)員參加在線培訓(xùn)期間，開(kāi)放在線討論質(zhì)量分析功能模塊。待兩期培訓(xùn)都結(jié)束后，對(duì)A班、B班兩期學(xué)員的在線討論總體情況進(jìn)行對(duì)比分析。

測(cè)評(píng)方法。本實(shí)驗(yàn)主要將討論參與和討論質(zhì)量作為主要的研究測(cè)評(píng)點(diǎn)，并以此為依據(jù)對(duì)A班、B班兩期學(xué)員的在線討論活動(dòng)情況進(jìn)行對(duì)比分析。具體而言，通過(guò)帖子數(shù)量與參與討論人數(shù)的對(duì)比分析來(lái)評(píng)估A班、B班兩期學(xué)員的討論參與情況；通過(guò)對(duì)比所發(fā)帖子的質(zhì)量來(lái)評(píng)估A班、B班兩期學(xué)員的在線討論質(zhì)量。其中，帖子數(shù)量與參與討論人數(shù)的對(duì)比分析主要通過(guò)對(duì)平臺(tái)記錄的數(shù)據(jù)進(jìn)行整理，并借助Excel軟件進(jìn)行統(tǒng)計(jì)分析。帖子質(zhì)量對(duì)比分析先借助帖子內(nèi)容深度評(píng)價(jià)表對(duì)每一個(gè)帖子的質(zhì)量（灌水、淺度、中度、深度）進(jìn)行判定，然后再利用Excel軟件對(duì)其具體情況進(jìn)行統(tǒng)計(jì)。為了研究方便，在帖子質(zhì)量分析中我們采用隨機(jī)抽樣的方法，以討論話題為單位，分別從A班、B班的討論話題中隨機(jī)抽取20%的帖子。其具體抽樣方案如表5所示。

（1）A班、B班學(xué)員發(fā)帖數(shù)量對(duì)比

統(tǒng)計(jì)結(jié)果顯示，A班發(fā)帖總量為1723個(gè)，B班發(fā)帖總量為2488個(gè)。在發(fā)帖總量上，B班明顯優(yōu)于A班，說(shuō)明在線討論質(zhì)量分析工具的使用有利于提高班級(jí)總體的討論參與度。在此基礎(chǔ)上，本研究又對(duì)A班、B班生均發(fā)帖量進(jìn)行了對(duì)比分析。統(tǒng)計(jì)結(jié)果表明，A班的實(shí)際參與人數(shù)為117人（3人從未登錄），生均發(fā)帖量為14.7個(gè)；B班的實(shí)際參與人數(shù)為116人（4人從未登錄），生均發(fā)帖量為21.4個(gè)。在生均發(fā)帖量上，B班也明顯優(yōu)于A班，說(shuō)明在線討論質(zhì)量分析工具的應(yīng)用有助于提升學(xué)員個(gè)體的討論參與度。

為了更進(jìn)一步分析在線討論質(zhì)量分析工具的影響作用，本研究以討論話題為單位，分別對(duì)A班、B班學(xué)員參與每個(gè)討論話題的發(fā)帖數(shù)量進(jìn)行了對(duì)比分析，其統(tǒng)計(jì)結(jié)果如圖8所示?？梢钥闯觯擞懻?和討論5，其余14個(gè)討論話題的發(fā)帖數(shù)量，B班均高于A班，這說(shuō)明在線討論質(zhì)量分析工具的應(yīng)用還有助于提高學(xué)員參與每個(gè)討論話題的討論參與度。綜上，在線討論質(zhì)量分析工具的使用對(duì)提升學(xué)員的討論參與度具有較好的促進(jìn)作用。

（2）A班、B班參與討論人數(shù)對(duì)比

為了更形象地揭示A班、B班學(xué)員參與在線討論人數(shù)的情況，本研究以時(shí)間為單位，對(duì)A班和B班每周參與在線討論的人數(shù)進(jìn)行了統(tǒng)計(jì)。鑒于兩班實(shí)際參與總?cè)藬?shù)不對(duì)等，研究主要采用百分比的形式進(jìn)行統(tǒng)計(jì)分析，結(jié)果詳見(jiàn)圖9。

從圖9可知，培訓(xùn)初期（第一周、第二周）A班和B班參與討論人數(shù)所占比例都較高，兩者區(qū)別不大。究其原因，可能是由于培訓(xùn)初期學(xué)員的學(xué)習(xí)興趣都比較高，樂(lè)于參與在線討論活動(dòng)。隨著培訓(xùn)的推進(jìn)，A班、B班參與討論的人數(shù)比均出現(xiàn)明顯的下降趨勢(shì)。這可能與培訓(xùn)活動(dòng)安排有關(guān)，因?yàn)閺牡谌荛_(kāi)始開(kāi)放考核作業(yè)，一些學(xué)員可能由于急于完成作業(yè)，而無(wú)暇顧及討論活動(dòng)。進(jìn)一步分析發(fā)現(xiàn)，雖然A班、B班參與討論的人數(shù)都呈現(xiàn)下降態(tài)勢(shì)，但B班下降速度明顯比A班緩慢。這說(shuō)明在線討論質(zhì)量分析工具的應(yīng)用有助于保持學(xué)習(xí)者的討論參與度。

（3）A班、B班所發(fā)帖子質(zhì)量對(duì)比

研究邀請(qǐng)兩名助學(xué)教師參與，利用帖子內(nèi)容深度評(píng)價(jià)表對(duì)抽樣獲取的A班、B班所有討論貼進(jìn)行手動(dòng)評(píng)價(jià)。然后，借助Excel軟件對(duì)各質(zhì)量等級(jí)（灌水、淺度、中度、深度）的討論貼所占比例進(jìn)行統(tǒng)計(jì)，結(jié)果如圖10所示。

從統(tǒng)計(jì)結(jié)果上看，B班的灌水帖和淺度帖所占比例均比A班低，而B(niǎo)班的中度帖與深度帖所占比例都比A班高。這說(shuō)明在線討論質(zhì)量分析工具的使用有助于減少學(xué)員在線討論淺度交互（灌水帖、淺度帖）的比率，增加其深度交互（中度帖、深度帖）的比率。換言之，在線討論質(zhì)量分析工具的應(yīng)用有利于提升學(xué)員參與在線討論的深度與質(zhì)量。

2.調(diào)查研究測(cè)評(píng)

問(wèn)卷設(shè)計(jì)。與實(shí)驗(yàn)研究相類(lèi)似，問(wèn)卷研究測(cè)評(píng)也主要以學(xué)員討論行為和討論質(zhì)量為考察點(diǎn)，從這兩個(gè)方面設(shè)計(jì)與自編測(cè)量題項(xiàng)對(duì)學(xué)員使用在線討論分析工具后的主觀感受進(jìn)行調(diào)查。設(shè)計(jì)好的調(diào)查問(wèn)卷主要包括有效性感知和自我導(dǎo)向作用兩個(gè)維度。其中，有效性感知量表主要參照李克特五點(diǎn)計(jì)分方式（1代表不符合，2代表不太符合，3代表一般 ，4代表比較符合，5代表非常符合），從討論積極性、討論參與度、帖子質(zhì)量、討論行為、討論關(guān)注等方面設(shè)置了5個(gè)題項(xiàng)。自我導(dǎo)向作用測(cè)量主要采用自編的導(dǎo)向作用量表，從討論參與度和討論帖質(zhì)量等方面設(shè)置了5個(gè)題項(xiàng)，每個(gè)題項(xiàng)均有三個(gè)選項(xiàng)。按照導(dǎo)向作用程度不同，本文對(duì)每個(gè)選項(xiàng)進(jìn)行了編碼（0代表無(wú)導(dǎo)向，1代表弱導(dǎo)向，2代表強(qiáng)導(dǎo)向）。

問(wèn)卷發(fā)放與回收。以使用過(guò)在線討論質(zhì)量分析工具的B班學(xué)員為調(diào)查對(duì)象，借助“問(wèn)卷星”發(fā)放調(diào)查問(wèn)卷，共發(fā)放問(wèn)卷120份，回收116份且全部有效，有效回收率為96.7%。

數(shù)據(jù)分析與統(tǒng)計(jì)。以SPSS 19.0為數(shù)據(jù)分析工具，對(duì)回收的調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。從統(tǒng)計(jì)結(jié)果看，有效性感知α系數(shù)為0.92，自我導(dǎo)向作用α系數(shù)為0.91，表明問(wèn)卷信度較好。

調(diào)查分析結(jié)果主要體現(xiàn)在以下兩個(gè)方面：

（1）學(xué)員有效性感知分析

采用SPSS 19.0為分析工具，統(tǒng)計(jì)分析學(xué)員對(duì)在線討論分析工具的有效性感知，結(jié)果如表6所示。從統(tǒng)計(jì)結(jié)果可知，每個(gè)題項(xiàng)的均值都在4.0分之上，說(shuō)明學(xué)員對(duì)在線討論質(zhì)量分析工具的認(rèn)可度較高。從具體內(nèi)容上看，討論積極性（4.10）、討論參與度（4.01）、帖子質(zhì)量（4.01）、討論行為（4.03）、討論關(guān)注（4.03）等5個(gè)問(wèn)題的均值都大致相當(dāng)，說(shuō)明學(xué)員認(rèn)為在線討論質(zhì)量分析工具不僅有利于提高他們的討論積極性與參與度，而且還對(duì)其帖子質(zhì)量、討論行為以及討論關(guān)注也有積極影響。

（2）學(xué)員導(dǎo)向作用感知分析

使用SPSS 19.0統(tǒng)計(jì)分析學(xué)員對(duì)在線討論質(zhì)量分析工具的導(dǎo)向作用感知，其結(jié)果如表7所示。可以看出，5個(gè)題項(xiàng)的均值均大于1.5，這表明在線討論質(zhì)量分析工具對(duì)學(xué)員的參與度和帖子質(zhì)量都具有較強(qiáng)的導(dǎo)向作用。從參與行為來(lái)看，處于較低水平學(xué)員的導(dǎo)向作用最強(qiáng)（1.91），處于較高水平學(xué)員的導(dǎo)向作用次之（1.68），處于一般水平學(xué)員的導(dǎo)向作用最弱（1.61）。不同參與度水平學(xué)員的導(dǎo)向作用均值都很高（大于1.5），這說(shuō)明學(xué)員認(rèn)為在線討論質(zhì)量分析工具有助于改善與保持他們的討論積極性。從發(fā)帖行為來(lái)看，發(fā)精華帖學(xué)員（1.76）與發(fā)灌水帖（1.80）學(xué)員的導(dǎo)向作用均值相當(dāng)，這說(shuō)明在線討論質(zhì)量分析工具對(duì)學(xué)員發(fā)帖行為也具有一定的促進(jìn)作用。

五、總結(jié)與展望

在線討論是遠(yuǎn)程培訓(xùn)的重要活動(dòng)形式，其質(zhì)量直接關(guān)涉到遠(yuǎn)程培訓(xùn)的成效。以往的在線討論質(zhì)量分析，往往具有以下不足：一是所構(gòu)建的關(guān)鍵要素局限于學(xué)理層面分析，較少形成實(shí)踐中可操作的分析工具；二是在分析討論內(nèi)容質(zhì)量時(shí)，往往是事后分析，而非過(guò)程性分析，因而難以用于實(shí)踐中的及時(shí)干預(yù)；三是以往研究多采用部分抽樣的方式進(jìn)行分析，尚未使用大數(shù)據(jù)情境下的全樣本分析。本研究系統(tǒng)構(gòu)建了在線討論質(zhì)量分析三要素（話題質(zhì)量、討論參與和討論深度）框架，基于大數(shù)據(jù)與學(xué)習(xí)分析技術(shù)設(shè)計(jì)了面向?qū)嵺`的、可用于全樣本與過(guò)程性分析的在線討論質(zhì)量分析規(guī)則，并將其嵌入到網(wǎng)絡(luò)研修平臺(tái)開(kāi)展了實(shí)效驗(yàn)證。研究發(fā)現(xiàn)，在線討論質(zhì)量分析工具不僅有利于提升培訓(xùn)教師的在線討論參與度，而且對(duì)培訓(xùn)教師的發(fā)帖質(zhì)量與討論深度也具有積極影響。另外，研究還發(fā)現(xiàn)在線討論質(zhì)量分析工具還具備一定的自我導(dǎo)向作用，對(duì)改善培訓(xùn)教師的討論參與行為，保持與提高其參與在線討論的積極性都具有積極影響。

本研究所生成的討論質(zhì)量計(jì)算規(guī)則具有較強(qiáng)的可行性與普適性，有助于遠(yuǎn)程培訓(xùn)平臺(tái)開(kāi)發(fā)者依據(jù)自身需要，基于平臺(tái)的開(kāi)發(fā)環(huán)境進(jìn)行程序設(shè)計(jì)、規(guī)則嵌入以及可視化呈現(xiàn)。研究涉及的“討論參與”與“討論深度”均可實(shí)現(xiàn)自動(dòng)化、伴隨性的數(shù)據(jù)收集與分析。但由于“話題質(zhì)量”涉及與課程內(nèi)容、學(xué)習(xí)目標(biāo)相關(guān)的復(fù)雜分析，其判斷必須由專(zhuān)家（如課程教師或資深的助學(xué)教師）參與，因而該要素的自動(dòng)化分析將有賴(lài)于人工智能技術(shù)或深度學(xué)習(xí)算法的進(jìn)一步發(fā)展與優(yōu)化。這也是本研究未來(lái)努力深入探索的方向。

注釋?zhuān)?/p>

① 所謂“發(fā)起話題”，是指引發(fā)討論行為的帖子內(nèi)容，不涉及回復(fù)帖?！鞍l(fā)起話題”主要由助學(xué)教師發(fā)布，即為教師布置的討論內(nèi)容，有時(shí)也允許學(xué)員發(fā)布。

② 根據(jù)具體的學(xué)習(xí)內(nèi)容與質(zhì)量分析目的，0.6與0.4的比重為可調(diào)節(jié)數(shù)值。

參考文獻(xiàn)：

[1]黃慶玲，李寶敏，任友群（2016）. 教師工作坊在線討論深度實(shí)證研究——以信息技術(shù)應(yīng)用能力提升工程教師工作坊為例[J]. 電化教育研究，（12）：121-128.

[2]李銀玲，張超（2008）. 教師遠(yuǎn)程培訓(xùn)中在線參與度的分析與計(jì)算[J]. 中國(guó)遠(yuǎn)程教育，（2）：60-64.

[3]彭敏軍，陸新生，劉引紅（2011）. 基于數(shù)量和質(zhì)量的在線學(xué)習(xí)參與度考量方法研究[J]. 現(xiàn)代教育技術(shù)，（1）：103-106.

[4]吳亞婕，陳麗（2012）. 在線學(xué)習(xí)異步交互評(píng)價(jià)模型綜述[J]. 電化教育研究，（2）：44-49.

[5]閆寒冰，魏非（2008）. 遠(yuǎn)程教學(xué)設(shè)計(jì)[M]. 上海：華東師范大學(xué)出版社：121-123.

[6]嚴(yán)亞利，黎加厚（2010）. 教師在線交流與深度互動(dòng)的能力評(píng)估研究——以海鹽教師博客群體的互動(dòng)深度分析為例[J]. 遠(yuǎn)程教育雜志，（2）：68-71.

[7]張振虹，劉文，韓智（2014）. 學(xué)習(xí)儀表盤(pán)：大數(shù)據(jù)時(shí)代的新型學(xué)習(xí)支持工具[J]. 現(xiàn)代遠(yuǎn)程教育研究，（3）：100-107.

[8]趙建華，孔晶（2015）. 在線討論分析編碼表的類(lèi)型及應(yīng)用[J]. 遠(yuǎn)程教育雜志，（2）：11-20.

[9]Fujita， N. （2013）. Critical Reflections on Multivocal Analysis and Implications for Design-Based Research[A]. Suthers， D.， Lund， K.， & Rosé， C. et al. （2013）. Productive Multivocality in the Analysis of Group Interactions[C]. Boston， MA：Springer：435-455.

[10]Garrison， D. R.， Anderson， T.， & Garrison， R. （2003）. E-Learning in the 21st Century： A Framework for Research and Practice[M]. London：Routledge：177-180.

[11]Gibbs， W. J.， Olexa， V.， & Bernas， R. S. （2006）. A Visualization Tool for Managing and Studying Online Communications[J]. Educational Technology & Society， 9（3）：232-243.

[12]Henri， F. （1991）. Computer Conferencing and Content Analysis[A]. Kaye， A. （1991）. Collaborative Learning Through Computer Conferencing[C]. Berlin：Springer：117-136.

[13]Jonassen， D. H. （1996）. Computers in the Classroom： Mindtools for Critical Thinking[M]. Columbus， OH： Merrill Prentice Hall：708.

[14]Knutzen， B. （2013）. Moving to Education 3.0 Participative Learning[EB/OL]. [2017-07-09]. http：//www.elearningforum.net/Seminar/Seminar13-61.html.

[15]Levin， J.， Kim， H.， & Riel， M. （1990）. Analyzing Instructional Interactions on Electronic Message Network[A]. Harasim， L. （1990）. Online Education：Perspectives on a New Environment[C]. Praeger：185-214.

[16]Ming， N.， & Baumer， E. （2011）. Using Text Mining to Characterize Online Discussion Facilitation[J]. Journal of Asynchronous Learning Networks，15（2）：71-109.

[17]Murray， T.， Wing， L.， & Woolf， B. P. et al. （2013）. A Prototype Facilitators Dashboard：Assessing and Visualizing Dialogue Quality in Online Deliberation for Education and Work[A]. Proceedings of the 2013 International Conference on e-Learning， e-Business， Enterprise Information Systems， and e-Government（EEE-2013）[C]：22-25.

[18]Nandi， D.， Hamilton， M.， & Chang， S. et al. （2012）. Evaluating Quality in Online Asynchronous Interactions between Students and Discussion Facilitators[J]. Australasian Journal of Educational Technology，28（4）：684-702.

[19]Scheuer， O.， & Miksatko， J. （2010）. Supporting Collaborative Learning and E-Discussions Using Artificial Intelligence Techniques[J]. International Journal of Artificial Intelligence in Education，20（1）：1-46.

[20]Trampu?， M.， & Grobelnik， M. （2010）. Visualization of Online Discussion Forums[J]. JMLR： Workshop on Pattern Analysis Applications， 11：134-141. http：//jmlr.org/proceedings/papers/v11/trampus10a/trampus10a.pdf.

[21]Vygotsky， L. S. （1978）. Mind in Society[M]. Cambridge， MA： Harvard University Press.

[22]Weinberger， A.， & Fischer， F. （2005）. A Framework to Analyze Argumentative Knowledge Construction in Computer Supported Collaborative Learning[J].Computers & Education， 46（1）：71-95.

收稿日期 2017-11-08 責(zé)任編輯 劉選