面向?qū)W習(xí)者感知的在線課程內(nèi)容質(zhì)量分析框架

閆寒冰 段春雨

摘要：在線課程的內(nèi)容質(zhì)量是遠(yuǎn)程教育質(zhì)量管理的重要關(guān)注對象。已有研究與實(shí)踐主要集中于基于標(biāo)準(zhǔn)的、階段性的、專家主導(dǎo)的評價(jià)，但這種評價(jià)在實(shí)踐中存在反饋滯后、成本較高、專家中心等問題，已無法適應(yīng)當(dāng)前課程開發(fā)敏捷迭代的需求。挖掘“學(xué)習(xí)者”視角在內(nèi)容感知方面的評價(jià)價(jià)值，將學(xué)習(xí)者在課程學(xué)習(xí)過程中與結(jié)束后的真實(shí)感知數(shù)據(jù)作為質(zhì)量分析的重要來源，設(shè)計(jì)和研發(fā)相應(yīng)的質(zhì)量分析工具，是實(shí)現(xiàn)在線課程內(nèi)容質(zhì)量提升的有效途徑。面向?qū)W習(xí)者感知的在線課程內(nèi)容質(zhì)量分析框架應(yīng)包括結(jié)果感知分析和過程感知分析兩個(gè)階段。其中，結(jié)果感知分析指標(biāo)體系包括課程資源和課程教師2個(gè)一級指標(biāo)，以及內(nèi)容難易性、內(nèi)容豐富性、內(nèi)容新穎性、內(nèi)容實(shí)用性、內(nèi)容趣味性、條理清晰性、講解透徹性、學(xué)術(shù)權(quán)威性、語言生動(dòng)性、教學(xué)啟發(fā)性10個(gè)二級指標(biāo)。過程感知分析主要以彈幕評論技術(shù)為基礎(chǔ)，借助情緒標(biāo)簽和戰(zhàn)略坐標(biāo)構(gòu)建質(zhì)量分析規(guī)則、方法和可視化實(shí)踐方案。在線課程內(nèi)容質(zhì)量分析工具的設(shè)計(jì)與研發(fā)將有助于實(shí)現(xiàn)常態(tài)化的課程質(zhì)量分析和對教學(xué)的精準(zhǔn)干預(yù)。

關(guān)鍵詞：在線課程；內(nèi)容質(zhì)量；分析框架；指標(biāo)體系；學(xué)習(xí)者感知

中圖分類號：G434 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號：1009-5195（2018）05-0095-09 doi10.3969/j.issn.1009-5195.2018.05.011

一、引言

在線課程內(nèi)容的質(zhì)量分析一直是在線學(xué)習(xí)質(zhì)量管理的重要內(nèi)容。廣義上在線課程既包括課程內(nèi)容，又涵蓋課程活動(dòng)。由于學(xué)習(xí)者在參加在線課程活動(dòng)時(shí)會(huì)留下諸多文本內(nèi)容，隨著學(xué)習(xí)分析與教育大數(shù)據(jù)應(yīng)用的逐步成熟，在線課程的活動(dòng)質(zhì)量測評已逐漸“脫胎換骨”，變得越來越技術(shù)化與工具化。例如，普渡大學(xué)研發(fā)的“課程信號系統(tǒng)”就是依據(jù)學(xué)習(xí)者的活動(dòng)信息對在線課程的學(xué)習(xí)結(jié)果進(jìn)行及時(shí)預(yù)警；可汗學(xué)院開發(fā)的“學(xué)習(xí)儀表盤”可以對在線課程的學(xué)習(xí)過程進(jìn)行實(shí)時(shí)監(jiān)控。相對于在線課程的活動(dòng)質(zhì)量測評，面向在線課程的內(nèi)容質(zhì)量分析與發(fā)展還比較滯后，工具化和技術(shù)化程度都比較有限。

傳統(tǒng)的面向課程內(nèi)容的質(zhì)量分析方法往往是專家主導(dǎo)的、基于標(biāo)準(zhǔn)的和階段性的。隨著知識(shí)更新速度的加快，課程建設(shè)周期越來越短，課程上線即意味著其迭代優(yōu)化的開始。在這種情況下，傳統(tǒng)方法已很難適應(yīng)當(dāng)前課程開發(fā)敏捷迭代的需求。如何常態(tài)化、伴隨性地對在線課程內(nèi)容質(zhì)量進(jìn)行全過程分析，以便精準(zhǔn)判斷、及時(shí)干預(yù)，已成為在線學(xué)習(xí)領(lǐng)域亟待解決的問題（閆寒冰等，2018）。

二、三種在線課程內(nèi)容質(zhì)量分析路徑比較

縱觀當(dāng)前的研究與實(shí)踐，現(xiàn)有的在線課程內(nèi)容質(zhì)量分析主要有三種截然不同的分析路徑：一是以專家評審為主；二是以機(jī)構(gòu)自查為主；三是以學(xué)習(xí)者調(diào)查為主。

專家評審分析是大型在線課程內(nèi)容質(zhì)量認(rèn)證比較慣用的方法。其最典型的實(shí)踐就是美國高等教育在線課程認(rèn)證和我國精品課程質(zhì)量評審（蔣家瓊等，2015）。即由教育行政部門召集權(quán)威專家對在線課程的內(nèi)容質(zhì)量進(jìn)行協(xié)同分析與鑒定。由于專家理念的前瞻性、學(xué)術(shù)視野的開闊性以及評審工作的協(xié)同性，這種分析方法能較好地把控在線課程的內(nèi)容質(zhì)量。不過從本質(zhì)上講，專家評審是一種模擬性評價(jià)，主要是通過專家模擬學(xué)生身份來感知與體驗(yàn)在線課程內(nèi)容，并對其質(zhì)量進(jìn)行評判。但由于學(xué)習(xí)者在學(xué)習(xí)風(fēng)格、興趣或偏好上存在諸多差異，因此專家模擬評審不可避免地會(huì)存在“盲區(qū)”與誤差，這無疑是其固有的缺陷。此外，專家評審還存在可操作性差的問題，難以實(shí)現(xiàn)大范圍、常態(tài)化的廣泛應(yīng)用。究其原因，一方面是由于專家本身就是一種“稀缺”資源，難以滿足數(shù)以百計(jì)、不斷涌現(xiàn)的在線課程評審需求。另一方面是專家評審方式的成本（如時(shí)間、經(jīng)濟(jì)）較高，許多普通在線培訓(xùn)機(jī)構(gòu)難以“消受”。

受限于成本與可操作性等諸多制約，機(jī)構(gòu)自查分析成為很多在線培訓(xùn)機(jī)構(gòu)常用的課程內(nèi)容質(zhì)量分析方法。其典型實(shí)踐有克里蘭夫大學(xué)（CUS）設(shè)計(jì)的在線課程評估工具OCAT（CSU，2014）、密西根大學(xué)網(wǎng)絡(luò)聯(lián)盟（MCO）研發(fā)的在線課程質(zhì)量發(fā)展指南（MCO，2001）以及劉名卓等人研制的在線課程質(zhì)量可用性測試（劉名卓等，2011）。不過從實(shí)踐上看，機(jī)構(gòu)自查分析多以粗放性評價(jià)為主，甚至有些方面還存在不規(guī)范問題。例如，有些培訓(xùn)機(jī)構(gòu)通過招募學(xué)科名師來自建在線課程，但在操作過程中往往只根據(jù)聲譽(yù)或影響力對擬定教師進(jìn)行篩選，而對教師的教課表現(xiàn)和課程內(nèi)容質(zhì)量并不進(jìn)行嚴(yán)格把關(guān)，一旦課程錄制完成后，僅做簡單粗略地審查（多數(shù)側(cè)重技術(shù)層面），就直接用于在線教學(xué)。還有些培訓(xùn)機(jī)構(gòu)采用招標(biāo)或購買方式來建設(shè)在線課程，由于涉及課程規(guī)模較大，在實(shí)際工作中每名評審教師往往需要面對幾十門在線課程。如果評審時(shí)間受限，一些機(jī)構(gòu)的慣用做法是以評審提交的課程文本材料來替代評審全部課程內(nèi)容。事實(shí)上，提交的課程文本材料和錄制的在線課程內(nèi)容并不總是完全一致，甚至?xí)嬖诤芏嗖町?。這種“替代式”質(zhì)量評審很難真實(shí)反映在線課程的內(nèi)容質(zhì)量。但是，如果完全摒棄粗放性質(zhì)量評審方式，而按照規(guī)范性方法開展實(shí)踐的話，許多在線培訓(xùn)機(jī)構(gòu)的課程內(nèi)容質(zhì)量評審工作又會(huì)陷入成本與可操作性制約的“泥潭”。

相對于前兩種分析方法，學(xué)習(xí)者調(diào)查分析更能客觀地反映在線課程的內(nèi)容質(zhì)量，成為許多培訓(xùn)機(jī)構(gòu)廣泛采用的分析方法。其最典型的實(shí)踐就是學(xué)習(xí)者滿意度調(diào)查。但由于以往實(shí)踐多以小規(guī)模培訓(xùn)為主，樣本比較小，加之一些學(xué)員不規(guī)范參與，導(dǎo)致從學(xué)習(xí)者角度反饋得到的課程內(nèi)容質(zhì)量評價(jià)數(shù)據(jù)誤差很大，有時(shí)甚至?xí)_(dá)到難以“容忍”的程度?？上驳氖牵陙黼S著MOOC的興起以及“國培計(jì)劃”等大型培訓(xùn)項(xiàng)目驅(qū)動(dòng)，大規(guī)模在線培訓(xùn)已成為“常態(tài)”。大規(guī)模在線培訓(xùn)的“數(shù)量優(yōu)勢”能在很大程度上減少或“淹沒”由部分學(xué)員不規(guī)范參與而造成的樣本誤差，使得整體上仍能得到較為準(zhǔn)確的分析結(jié)果。目前，已有一些實(shí)踐探索，如“好知網(wǎng)”從學(xué)習(xí)者整體感知視角（很差、較差、還行、推薦、力薦）設(shè)計(jì)了課程質(zhì)量分析方法，可以對每門課的總體質(zhì)量進(jìn)行調(diào)查?！癕OOC學(xué)院”從學(xué)習(xí)者多重感知視角（知識(shí)點(diǎn)、教師參與、趣味性、課程設(shè)計(jì)、難度）設(shè)計(jì)了課程質(zhì)量分析方法，可以對每門課的整體質(zhì)量進(jìn)行價(jià)值判斷。但是總體而言，這種以滿意度或質(zhì)量等級判斷為主的學(xué)習(xí)者調(diào)查方式，其評價(jià)顆粒度還比較大，多數(shù)研究以整個(gè)課程內(nèi)容為觀測點(diǎn)，很難有針對性地發(fā)現(xiàn)課程設(shè)計(jì)中存在的問題。

評價(jià)的目的是為了改進(jìn)，而不是價(jià)值判斷。當(dāng)前的在線課程內(nèi)容質(zhì)量分析方法面臨向常態(tài)化、精準(zhǔn)化轉(zhuǎn)變的挑戰(zhàn)。

三、在線課程內(nèi)容質(zhì)量分析框架

專家評審固然重要，但主要是在課程內(nèi)容的科學(xué)性和邏輯性方面可以起到把關(guān)作用。學(xué)習(xí)者則是全過程地參與學(xué)習(xí)，可以從每一分每一秒來感知課程內(nèi)容是否有效、是否有趣。學(xué)習(xí)者的感知信息是非常有價(jià)值的。為此，本研究從學(xué)習(xí)者感知視角出發(fā)，突破傳統(tǒng)在線課程內(nèi)容質(zhì)量分析的局限，力圖以更小的內(nèi)容顆粒度來常態(tài)化、伴隨性地開展在線課程的內(nèi)容質(zhì)量分析。具體而言，本研究以單個(gè)課程內(nèi)容視頻或知識(shí)單元為分析觀測點(diǎn)，將學(xué)習(xí)者感知評價(jià)貫穿于整個(gè)內(nèi)容學(xué)習(xí)過程，依據(jù)感知評價(jià)時(shí)間順序?qū)⒎治鲞^程劃分為結(jié)果感知分析和過程感知分析兩個(gè)階段（見圖1）。其中，結(jié)果感知分析是學(xué)習(xí)者完成內(nèi)容學(xué)習(xí)后對其整體質(zhì)量進(jìn)行的感知評價(jià)。結(jié)果感知分析主要以典型在線課程評價(jià)標(biāo)準(zhǔn)為依據(jù)，借助學(xué)習(xí)后調(diào)查來分析學(xué)習(xí)者對整體內(nèi)容的質(zhì)量感知，其目的在于分析與診斷課程內(nèi)容的整體設(shè)計(jì)質(zhì)量。過程感知分析是學(xué)習(xí)者在學(xué)習(xí)過程中的觀感，主要以彈幕評論技術(shù)為基礎(chǔ)，利用情緒標(biāo)簽和彈幕文本評論內(nèi)容來分析學(xué)習(xí)者對特定課程內(nèi)容的質(zhì)量感知，其目的在于分析與診斷課程內(nèi)容的局部設(shè)計(jì)質(zhì)量。

四、面向結(jié)果感知的在線課程內(nèi)容質(zhì)量分析

面向結(jié)果感知的在線課程內(nèi)容質(zhì)量分析設(shè)計(jì)主要以典型的在線課程評價(jià)標(biāo)準(zhǔn)或體系為理論基礎(chǔ)，參照其他相關(guān)研究設(shè)計(jì)而成，包括質(zhì)量分析指標(biāo)、質(zhì)量分析規(guī)則和質(zhì)量分析實(shí)踐方案。研究選取10種在線課程評價(jià)標(biāo)準(zhǔn)為參照，它們分別是美國培訓(xùn)與發(fā)展協(xié)會(huì)（ASTD）發(fā)布的在線課件認(rèn)證標(biāo)準(zhǔn)（簡稱ASTD標(biāo)準(zhǔn)）、高級分布式學(xué)習(xí)組織（ADL）發(fā)布的網(wǎng)絡(luò)教學(xué)設(shè)計(jì)與評價(jià)指南（簡稱ADL指南）、馬里蘭網(wǎng)絡(luò)教育聯(lián)盟發(fā)布的高等教育在線課程質(zhì)量量規(guī)（簡稱QM量規(guī)）、iNACOL公布的網(wǎng)絡(luò)課程質(zhì)量標(biāo)準(zhǔn)（簡稱NACOL標(biāo)準(zhǔn)）、卡耐基梅隆大學(xué)（CMU）研制的在線課程同行評議量表（簡稱CMU量表）、CELTS發(fā)布的網(wǎng)絡(luò)課程評價(jià)規(guī)范（簡稱CELTS規(guī)范）、董艷等人制定的網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)（簡稱課程課件標(biāo)準(zhǔn)）（董艷等，2003）、教育部公布的國家精品課程評審標(biāo)準(zhǔn)（網(wǎng)絡(luò)教育版）（簡稱精品課程標(biāo)準(zhǔn)）、詹澤慧等人構(gòu)建的網(wǎng)絡(luò)課程質(zhì)量評價(jià)模型（簡稱評價(jià)模型）（詹澤慧等，2009）以及童小素等人構(gòu)建的MOOC質(zhì)量評價(jià)體系（簡稱MOOC體系）（童小素等，2017）。

1.質(zhì)量分析指標(biāo)設(shè)置

質(zhì)量分析指標(biāo)設(shè)置以典型在線課程評價(jià)標(biāo)準(zhǔn)為基準(zhǔn)，對相關(guān)內(nèi)容分析指標(biāo)進(jìn)行梳理與歸納，提取其中適合通過學(xué)習(xí)者感知來分析的指標(biāo)項(xiàng)。由于涉及的內(nèi)容指標(biāo)項(xiàng)眾多，并且各級指標(biāo)項(xiàng)之間存在重合與交叉現(xiàn)象，為此，首先，根據(jù)指標(biāo)項(xiàng)命名及其具體描述，合并同類或近似指標(biāo)；其次，對內(nèi)容指標(biāo)項(xiàng)的隸屬關(guān)系進(jìn)行梳理，歸納其邏輯結(jié)構(gòu)；然后，用簡短的關(guān)鍵詞對所有內(nèi)容指標(biāo)進(jìn)行重新描述與限定；最后，將整理好的內(nèi)容分析指標(biāo)與典型在線課程評價(jià)標(biāo)準(zhǔn)進(jìn)行比對，并記錄其出現(xiàn)頻次，提取頻次不小2次（至少包含在兩個(gè)標(biāo)準(zhǔn)內(nèi)）的分析指標(biāo)。鑒于并不是所有指標(biāo)都適用于學(xué)習(xí)者感知評價(jià)，有些指標(biāo)項(xiàng)可能需要專家參與評審，為此，從學(xué)生和專家不同視角對所有指標(biāo)進(jìn)行了差異分析。從分析結(jié)果來看（見表1），面向?qū)W習(xí)者的結(jié)果感知分析指標(biāo)主要有兩類：一類側(cè)重于課程資源本身，如內(nèi)容難易性、內(nèi)容豐富性、內(nèi)容新穎性、內(nèi)容實(shí)用性、內(nèi)容趣味性、條理清晰性；另一類側(cè)重于課程教師，如講解透徹性、學(xué)術(shù)權(quán)威性、語言生動(dòng)性、教學(xué)啟發(fā)性。

依據(jù)提取的內(nèi)容分析指標(biāo)，筆者參考相關(guān)研究構(gòu)建了面向?qū)W習(xí)者的在線課程內(nèi)容質(zhì)量結(jié)果感知分析指標(biāo)體系，如表2和表3所示。結(jié)果感知分析指標(biāo)體系包括分析指標(biāo)、指標(biāo)選項(xiàng)以及指標(biāo)選項(xiàng)判斷依據(jù)三部分內(nèi)容。其中，分析指標(biāo)設(shè)置主要依據(jù)前文對比分析結(jié)果，涵蓋一級指標(biāo)與二級指標(biāo)兩類內(nèi)容。指標(biāo)選項(xiàng)設(shè)置主要借鑒李克特五點(diǎn)計(jì)分的評價(jià)思想，將學(xué)習(xí)者對每個(gè)二級指標(biāo)的感知體驗(yàn)具體化，并賦予其不同等級分值（1～5分）。指標(biāo)選項(xiàng)判斷依據(jù)設(shè)置主要借鑒軟件評價(jià)的思想，對學(xué)習(xí)者感知選項(xiàng)的具體原因進(jìn)行收集與調(diào)查，其目的在于獲得更為細(xì)致的學(xué)習(xí)者感知信息，為改善和提高在線課程內(nèi)容設(shè)計(jì)提供依據(jù)。指標(biāo)選項(xiàng)判斷依據(jù)包括正向依據(jù)和負(fù)向依據(jù)兩類內(nèi)容。正向依據(jù)為學(xué)習(xí)者產(chǎn)生良好感知體驗(yàn)的主要原因，負(fù)向依據(jù)為學(xué)習(xí)者產(chǎn)生惡劣感知體驗(yàn)的主要原因。需要特別說明的是，指標(biāo)選項(xiàng)判斷依據(jù)并不是一蹴而就的，而是需要在實(shí)踐過程中不斷地對其進(jìn)行修正和完善。

2.質(zhì)量分析規(guī)則構(gòu)建

在設(shè)置在線課程質(zhì)量分析指標(biāo)的基礎(chǔ)上，如何根據(jù)指標(biāo)構(gòu)建分析規(guī)則成為主要問題。當(dāng)前學(xué)術(shù)界的指數(shù)研究做法為我們提供了啟發(fā)與參考。已有研究指出，隨著指數(shù)應(yīng)用外延的拓展，指數(shù)分析指標(biāo)已逐步多元化，定性類指標(biāo)被引入到指數(shù)分析體系（張會(huì)敏，2012）。本研究參照指數(shù)研究做法，通過學(xué)習(xí)者結(jié)果感知數(shù)據(jù)來建立在線課程內(nèi)容質(zhì)量結(jié)果感知分析規(guī)則。首先，借助層次分析法確定各級分析指標(biāo)的權(quán)重。筆者邀請15名長期從事網(wǎng)絡(luò)教學(xué)工作的課程專家參與，依據(jù)判斷矩陣兩兩比較原則對在線課程內(nèi)容質(zhì)量各級指標(biāo)權(quán)重進(jìn)行賦值，賦值范圍為1～9。然后，采用層次分析處理軟件yaahpV10.0對專家賦值數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。獲取的各級指標(biāo)權(quán)重統(tǒng)計(jì)結(jié)果如表4所示。其中，Mi為二級指標(biāo)在一級指標(biāo)上的相對權(quán)重，Ni為一級指標(biāo)在課程內(nèi)容質(zhì)量中的相對權(quán)重，Ki為指標(biāo)選項(xiàng)（二級指標(biāo)）得分，其得分范圍為1～5。需要說明的是，本研究設(shè)置的指標(biāo)權(quán)重僅僅是參考值，只作為初始值使用。后續(xù)研究中，還需要依據(jù)學(xué)習(xí)者反饋數(shù)據(jù)對指標(biāo)權(quán)重初始值進(jìn)行校正。因?yàn)槌跏贾抵饕怯蓪＜掖蚍肢@得，可能與學(xué)生數(shù)據(jù)的分析結(jié)果有一定出入。

Q=（∑Ki*Mi*Ni）/5a*10

根據(jù)在線課程內(nèi)容質(zhì)量計(jì)算公式，可以導(dǎo)出在線課程內(nèi)容各層面（一級指標(biāo)）和各要素（二級指標(biāo)）的質(zhì)量計(jì)算方法。在線課程內(nèi)容各層面質(zhì)量計(jì)算公式為：q=（∑Ki*Mi*Ni）/5b*10。其中，b為每個(gè)內(nèi)容層面包含的二級指標(biāo)數(shù)量。在線課程內(nèi)容各要素質(zhì)量計(jì)算公式為：p=（∑Ki*Mi*Ni）/5*10。

如果涉及多人參與“評課”，在線課程內(nèi)容質(zhì)量取所有學(xué)習(xí)者評課質(zhì)量的算術(shù)平均值，其計(jì)算公式為：Q多人=（Q1+Q2+Q3+…+Qn）/n。其中，n為參與評課的學(xué)習(xí)者數(shù)量。相應(yīng)的在線課程內(nèi)容各層面質(zhì)量計(jì)算公式為：q多人=（q1+q2+q3+…+qn）/n；在線課程內(nèi)容各要素質(zhì)量計(jì)算公式為：p多人=（p1+p2+p3+…+pn）/n。

由于本研究是以單個(gè)在線課程內(nèi)容為分析觀測點(diǎn)，如果要計(jì)算整個(gè)在線課程的總質(zhì)量，則取所有在線課程質(zhì)量的算術(shù)平均值，其計(jì)算公式為：Q總=（∑Q多人）/m，其中m為課程中包含的課程內(nèi)容視頻數(shù)量。相應(yīng)的課程內(nèi)容各層面總質(zhì)量計(jì)算公式為：q總=（∑q多人）/m；課程內(nèi)容各要素總質(zhì)量計(jì)算公式為：p總=（∑p多人）/m。

3.質(zhì)量分析實(shí)踐方案設(shè)計(jì)

（1）質(zhì)量分析界面

在線課程內(nèi)容質(zhì)量結(jié)果感知分析設(shè)計(jì)遵循用戶簡潔性原則，采用“五星級”圖標(biāo)來表征各級指標(biāo)選項(xiàng)，并將指標(biāo)選項(xiàng)及相應(yīng)解釋的文字內(nèi)容完全“內(nèi)隱”于系統(tǒng)平臺(tái)。默認(rèn)狀態(tài)下，所有星級圖標(biāo)均為灰色，當(dāng)學(xué)習(xí)者滑動(dòng)鼠標(biāo)到相應(yīng)的星級圖標(biāo)時(shí)，系統(tǒng)會(huì)自動(dòng)彈出一個(gè)解釋對話框，該對話框中提示當(dāng)前選項(xiàng)的名稱、分值以及相應(yīng)的解釋信息，如圖2所示。

除此之外，分析界面還包括文本輸入對話框和選項(xiàng)判斷依據(jù)對話框兩部分內(nèi)容。其中，文本輸入對話框是對星級選項(xiàng)評價(jià)的補(bǔ)充，其目的在于從學(xué)習(xí)者感知視角獲得更為細(xì)致的課程內(nèi)容質(zhì)量感知信息。選項(xiàng)判斷依據(jù)是對學(xué)習(xí)者感知選項(xiàng)的理由進(jìn)行調(diào)查。在具體操作中，當(dāng)學(xué)習(xí)者滑動(dòng)鼠標(biāo)選中相應(yīng)的星級圖標(biāo)時(shí)，系統(tǒng)會(huì)自動(dòng)彈出相應(yīng)的選項(xiàng)判斷依據(jù)對話框。以“內(nèi)容難易性”為例，其選項(xiàng)判斷依據(jù)對話框，如圖3所示。

（2）質(zhì)量分析結(jié)果

借助可視化儀表盤呈現(xiàn)質(zhì)量分析研究報(bào)告已成為學(xué)習(xí)分析和教育大數(shù)據(jù)領(lǐng)域研究的慣用做法。有研究指出，學(xué)習(xí)儀表盤已成為大數(shù)據(jù)時(shí)代新型的學(xué)習(xí)支持工具（張振虹等，2014）。本研究參照這種做法，借助可視化儀表盤來呈現(xiàn)在線課程內(nèi)容質(zhì)量結(jié)果感知分析報(bào)告。鑒于服務(wù)對象的差異，采用分角色設(shè)計(jì)理念，根據(jù)不同角色分別設(shè)計(jì)可視化儀表盤。因此，結(jié)果感知分析儀表盤包括管理者、教師和學(xué)生三類視圖。

管理者視圖儀表盤主要呈現(xiàn)整個(gè)課程內(nèi)容的質(zhì)量信息，包括課程內(nèi)容總質(zhì)量儀表盤、同類課程內(nèi)容總質(zhì)量對比儀表盤以及課程內(nèi)容總質(zhì)量趨勢儀表盤。其中，課程內(nèi)容總質(zhì)量儀表盤既包括課程總質(zhì)量，又包括課程資源和課程質(zhì)量總層面質(zhì)量。

教師視圖儀表盤主要呈現(xiàn)單個(gè)課程內(nèi)容的質(zhì)量，數(shù)量較多，大致分為兩類：一類是與單個(gè)課程內(nèi)容質(zhì)量直接相關(guān)的儀表盤，如課程某部分內(nèi)容質(zhì)量儀表盤、課程各部分內(nèi)容質(zhì)量對比儀表盤、課程某部分內(nèi)容各要素質(zhì)量儀表盤、課程某部分內(nèi)容質(zhì)量趨勢儀表盤；另一類是單個(gè)課程內(nèi)容指標(biāo)選項(xiàng)判斷依據(jù)統(tǒng)計(jì)儀表盤，涉及10種課程內(nèi)容質(zhì)量分析要素的選項(xiàng)判斷依據(jù)。其中，指標(biāo)選項(xiàng)判斷依據(jù)的統(tǒng)計(jì)是以選擇該依據(jù)或理由的學(xué)習(xí)者人數(shù)占總?cè)藬?shù)的百分比進(jìn)行計(jì)算與統(tǒng)計(jì)的。

與管理視圖儀表盤和教師視圖儀表盤不同，學(xué)生視圖儀表盤并不內(nèi)置于系統(tǒng)后臺(tái)，而是呈現(xiàn)在在線課程界面上。這樣設(shè)計(jì)的目的是為了方便學(xué)習(xí)者查看在線課程內(nèi)容質(zhì)量的優(yōu)劣，幫助他們選擇最優(yōu)質(zhì)的在線課程內(nèi)容。學(xué)生視圖主要呈現(xiàn)單個(gè)課程內(nèi)容的質(zhì)量信息，包括單個(gè)課程內(nèi)容質(zhì)量儀表盤和學(xué)習(xí)者文本評論信息儀表盤兩類內(nèi)容，如圖4所示。

五、在線課程內(nèi)容質(zhì)量過程感知分析設(shè)計(jì)

以往研究主要著眼于在線課程內(nèi)容質(zhì)量的事后分析，缺少開展過程性分析的技術(shù)與手段。近年來，隨著彈幕評論技術(shù)的興起及其在影視評論中的廣泛應(yīng)用，為從過程視角考察與分析在線課程內(nèi)容質(zhì)量提供了一條新的途徑?！皬椖弧笔侵冈谟^眾觀看視頻過程中針對某一點(diǎn)或某一段視頻內(nèi)容發(fā)放在屏幕上及時(shí)可顯的字幕或表情符號（韓模永，2017）。與其他網(wǎng)絡(luò)評價(jià)技術(shù)（如論壇、微博、調(diào)查等）不同，彈幕評論將評價(jià)內(nèi)容與時(shí)間捆綁在一起，突破了傳統(tǒng)評價(jià)的階段化或滯后性局限，實(shí)現(xiàn)了完全的“實(shí)時(shí)化”與“過程化”（李海峰等，2015）。在線課程內(nèi)容質(zhì)量過程感知分析主要以彈幕評論技術(shù)為基礎(chǔ)，根據(jù)在線課程學(xué)習(xí)特征對傳統(tǒng)彈幕評論進(jìn)行改造，利用情緒標(biāo)簽替代彈幕評論的表情符號，并將其外顯化，使其成為標(biāo)注學(xué)習(xí)者情緒的“指針”，用于探測與診斷在線課程內(nèi)容微觀層面的設(shè)計(jì)質(zhì)量。

1.情緒標(biāo)簽設(shè)置

情緒標(biāo)簽設(shè)置主要參考徐琳宏等人提出的情感分類樹，并根據(jù)在線課程學(xué)習(xí)特點(diǎn)對其進(jìn)行修訂。徐琳宏等人將人類情感劃分為樂（快樂、安心）、好（贊揚(yáng)、相信、尊敬、喜愛、感動(dòng)、期望）、怒（憤怒）、哀（悲哀、失望、疚、思）、驚（驚奇）、惡（羞、郁悶、貶責(zé)、憎惡、妒忌、懷疑）、懼（慌、恐懼）、無情感等8種類別（徐琳宏等，2008）。網(wǎng)絡(luò)情境中學(xué)習(xí)者的學(xué)習(xí)情緒不同于一般的人類情感，其情緒活動(dòng)大致可分為點(diǎn)贊、疑問、吐槽、沉默四類。其中，“點(diǎn)贊”對應(yīng)情感分類樹中“樂”“好”和“驚”的部分內(nèi)容；“疑問”對應(yīng)情感分類樹中“哀”和“惡”的部分內(nèi)容；“吐槽”對應(yīng)情感分類樹中“哀”“惡”和“怒”的部分內(nèi)容；“沉默”對應(yīng)情感分類樹中“無情感”的內(nèi)容。為便于實(shí)際操作，本研究對學(xué)習(xí)者學(xué)習(xí)情緒進(jìn)行了可視化設(shè)計(jì)，通過不同的情緒標(biāo)簽圖標(biāo)來表征其情緒內(nèi)容，如表5所示。

2.質(zhì)量分析界面設(shè)計(jì)

在線課程內(nèi)容質(zhì)量過程感知分析界面遵循用戶簡潔性的設(shè)計(jì)理念，盡可能為學(xué)習(xí)者創(chuàng)設(shè)無干擾的在線學(xué)習(xí)情境。因此，在具體設(shè)計(jì)中，對傳統(tǒng)彈幕評論進(jìn)行改造，主要借鑒彈幕評論的技術(shù)屬性，利用情緒標(biāo)簽替代彈幕表情符號，并將其置于課程內(nèi)容播放器或系統(tǒng)平臺(tái)。

從圖5可以看出，在線課程內(nèi)容質(zhì)量過程感知分析界面包括情緒標(biāo)簽、文本評論內(nèi)容輸入?yún)^(qū)和彈幕評論列表三部分內(nèi)容。情緒標(biāo)簽位于界面右下方，由三種不同顏色的情緒標(biāo)簽圖標(biāo)組成。其中，綠色的“+” 號圖標(biāo)代表點(diǎn)贊，紅色的“！”號圖標(biāo)代表吐糟，橙色的“？”號圖標(biāo)代表疑問。文本評論內(nèi)容輸入?yún)^(qū)位于界面正下方，其目的是方便學(xué)習(xí)者隨時(shí)、自由地錄入對在線課程內(nèi)容的評論信息。彈幕評論列表位于界面右側(cè)，其目的是逐步呈現(xiàn)學(xué)習(xí)者發(fā)送的文本評論信息。

3.質(zhì)量分析規(guī)則構(gòu)建

在線學(xué)習(xí)過程中，課程學(xué)習(xí)平臺(tái)會(huì)自動(dòng)記錄所有學(xué)習(xí)者對特定課程內(nèi)容的標(biāo)注與評論，包括標(biāo)注情緒標(biāo)簽的類別及其頻次、標(biāo)注情緒標(biāo)簽所對應(yīng)的課程內(nèi)容模塊和時(shí)間點(diǎn)、發(fā)表彈幕評論所對應(yīng)的課程內(nèi)容模塊和時(shí)間點(diǎn)以及彈幕評論的文本信息等多種歷史大數(shù)據(jù)。在線課程內(nèi)容質(zhì)量過程感知分析主要以情緒標(biāo)簽標(biāo)注以及彈幕文本評論等兩類數(shù)據(jù)為基礎(chǔ)開展相應(yīng)的在線課程內(nèi)容質(zhì)量分析與診斷活動(dòng)。具體而言，以情緒標(biāo)簽標(biāo)注的信息數(shù)據(jù)為主要依據(jù)，以審查與判斷相對應(yīng)的在線課程內(nèi)容設(shè)計(jì)質(zhì)量；以彈幕文本評論數(shù)據(jù)為輔助信息，以了解與診斷情緒標(biāo)簽所標(biāo)注的在線課程內(nèi)容更為細(xì)致的質(zhì)量設(shè)計(jì)問題。

4.質(zhì)量分析結(jié)果呈現(xiàn)

在線課程學(xué)習(xí)平臺(tái)是以視頻時(shí)間軸為線索記錄相對應(yīng)的情緒標(biāo)簽標(biāo)注信息。如果對情緒標(biāo)簽標(biāo)注的數(shù)據(jù)進(jìn)行整理與統(tǒng)計(jì)，就可以得出一個(gè)十分詳細(xì)的時(shí)間-標(biāo)注信息統(tǒng)計(jì)視圖。根據(jù)該視圖就能很清晰地發(fā)現(xiàn)在線課程內(nèi)容質(zhì)量的設(shè)計(jì)問題或盲區(qū)。基于此，本研究采用二維戰(zhàn)略坐標(biāo)儀表盤來分析與呈現(xiàn)在線課程質(zhì)量過程感知分析結(jié)果，如圖6所示。其中，橫坐標(biāo)為在線課程內(nèi)容視頻的播放時(shí)間，縱坐標(biāo)為情緒標(biāo)簽在不同內(nèi)容模塊上的標(biāo)注頻次。坐標(biāo)儀表盤中，不同顏色的標(biāo)注點(diǎn)分別代表不同情緒標(biāo)簽的標(biāo)注信息。綠色標(biāo)注點(diǎn)代表點(diǎn)贊，橙色標(biāo)注點(diǎn)代表疑問，紅色標(biāo)注點(diǎn)代表吐槽。需要說明的是，每一個(gè)標(biāo)注點(diǎn)都是可交互的，與其所標(biāo)注的特定的在線課程內(nèi)容相關(guān)聯(lián)。在實(shí)際操作中，教師或課程開發(fā)者主要通過直接點(diǎn)擊標(biāo)注點(diǎn)來查看或診斷該段內(nèi)容的設(shè)計(jì)質(zhì)量。當(dāng)教師點(diǎn)擊查看某一標(biāo)注點(diǎn)時(shí)，系統(tǒng)會(huì)自動(dòng)呈現(xiàn)并播放與其標(biāo)注相關(guān)聯(lián)的課程內(nèi)容信息，并同時(shí)呈現(xiàn)相應(yīng)的彈幕文本評論。為研究方便，本研究將查看視頻內(nèi)容的播放時(shí)間設(shè)定為2分鐘（前后各1分鐘）。相對應(yīng)的，在彈幕列表中會(huì)呈現(xiàn)該段內(nèi)容的文本評論信息。

六、總結(jié)與展望

在線課程內(nèi)容是遠(yuǎn)程培訓(xùn)的靈魂，其質(zhì)量優(yōu)劣直接關(guān)乎遠(yuǎn)程培訓(xùn)的成敗。以往關(guān)于在線課程內(nèi)容質(zhì)量的分析，主要存在以下幾點(diǎn)不足：一是熱衷于在線課程評價(jià)標(biāo)準(zhǔn)或指標(biāo)體系的學(xué)理研究，較少形成實(shí)踐中具有可操作性的分析工具；二是在分析在線課程內(nèi)容質(zhì)量時(shí)，往往是階段性的粗略審查，而非過程性的精準(zhǔn)診斷，因而在實(shí)踐中很難再對課程內(nèi)容質(zhì)量進(jìn)行改進(jìn)與提升；三是以往研究多倚重專家或同行進(jìn)行分析，學(xué)習(xí)者的參與性和貢獻(xiàn)度并不高，尚未能充分利用學(xué)習(xí)者的感知體驗(yàn)大數(shù)據(jù)。本研究系統(tǒng)構(gòu)建了在線課程內(nèi)容質(zhì)量分析框架，基于大數(shù)據(jù)與學(xué)習(xí)分析技術(shù)設(shè)計(jì)了兩套面向?qū)W習(xí)者感知的、針對不同分析階段的、可用于微觀內(nèi)容常態(tài)化分析的在線課程內(nèi)容質(zhì)量分析規(guī)則。

本研究設(shè)計(jì)的在線課程內(nèi)容質(zhì)量計(jì)算規(guī)則均具有較強(qiáng)的可行性與普適性，有助于遠(yuǎn)程培訓(xùn)平臺(tái)開發(fā)者依據(jù)自身需要以及平臺(tái)開發(fā)環(huán)境開展相關(guān)程序設(shè)計(jì)、規(guī)則嵌入以及可視化呈現(xiàn)。研究涉及到的“結(jié)果感知分析”與“過程感知分析”均可實(shí)現(xiàn)自動(dòng)化、伴隨性的數(shù)據(jù)采集與分析。但由于“結(jié)果感知分析”指標(biāo)權(quán)重是通過專家打分獲取的，可能會(huì)與學(xué)習(xí)者客觀數(shù)據(jù)分析結(jié)果有一定誤差。為了保證質(zhì)量分析的精準(zhǔn)性，后續(xù)研究中還需要借助高級統(tǒng)計(jì)或數(shù)據(jù)挖掘技術(shù)對指標(biāo)權(quán)重進(jìn)行校正。此外，本研究還將進(jìn)一步將分析規(guī)劃與學(xué)習(xí)者個(gè)人信息數(shù)據(jù)相關(guān)聯(lián)，挖掘自適應(yīng)推送規(guī)則。這將是我們未來研究的努力方向。

參考文獻(xiàn)：

[1]董艷，黃榮懷，李曉明等（2003）. 《網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)》的研制與修訂[J]. 電化教育研究， （6）：65-70.

[2]韓模永（2017）. “新觀眾”的誕生——論彈幕影評的范式變革[J]. 廣西社會(huì)科學(xué)， （2）：188-192.

[3]蔣家瓊，丁祝閩（2015）. 美國網(wǎng)絡(luò)高等教育課程認(rèn)證的標(biāo)準(zhǔn)、程序及啟示[J]. 大學(xué)教育科學(xué)， （3）：58-62.

[4]李海峰，王煒（2015）. 彈幕視頻： 在線視頻互動(dòng)學(xué)習(xí)新取向[J]. 現(xiàn)代教育技術(shù)， （6）：12-17.

[5]李慧勤，伍銀多，楊晉等（2015）. 教育發(fā)展指數(shù)的測算和比較——基于公平-效率視角的分析[J]. 昆明理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）， （6）：77-83.

[6]劉名卓，劉名海（2011）. 網(wǎng)絡(luò)課程可用性質(zhì)量的衡量與評估[J]. 中國遠(yuǎn)程教育， （4）：27-31.

[7]童小素，賈小軍（2017）. MOOC質(zhì)量評價(jià)體系的構(gòu)建探究[J]. 中國遠(yuǎn)程教育， （5）：63-71.

[8]徐琳宏，林鴻飛，趙晶（2008）. 情感語料庫的構(gòu)建和分析[J]. 中文信息學(xué)報(bào)， （1）：116-122.

[9]閆寒冰，段春雨，王文嬌（2018）. 在線討論質(zhì)量分析工具的研發(fā)與實(shí)效驗(yàn)證[J]. 現(xiàn)代遠(yuǎn)程教育研究， （1）：88-97，112.

[10]詹澤慧，徐福蔭，梅虎（2009）. 網(wǎng)絡(luò)課程質(zhì)量評價(jià)模型： 感知維度的研究[J]. 現(xiàn)代教育技術(shù)， （3）：86-90.

[11]張會(huì)敏（2013）. 基于指數(shù)的高等教育質(zhì)量管理方法研究[D]. 上海： 華東師范大學(xué)：136.

[12]張振虹，劉文，韓智（2014）. 學(xué)習(xí)儀表盤： 大數(shù)據(jù)時(shí)代的新型學(xué)習(xí)支持工具[J]. 現(xiàn)代遠(yuǎn)程教育研究， （3）：100-107.

[13]CSU（2014）. Modified OCAT for Cleveland State University[EB/OL]. [2018-01-29]. https：//www.csuohio.edu/center-for-elearning/pedagogy-tools.

[14]MCO（2001）. Guidelines for Online Course Development[EB/OL]. [2018-01-29]. http：//www.mnsu.edu/ex-t/ faculty/guidelines.html.

收稿日期 2018-03-17 責(zé)任編輯 劉選