慕課試驗平臺的研發(fā)：一項用戶研究的結果

維托米爾·科瓦諾維克+斯雷奇科·約克西莫維奇+菲利普·凱特林諾珀洛斯+哈拉蘭博斯·米凱爾+喬治·西蒙斯+德拉甘·伽瑟維克

【摘 要】 2011年，大規(guī)模公開在線課程（簡稱“慕課”）席卷教育領域，在線教育因此成為全世界公共輿論的焦點。雖然研究者對于能收集到海量的慕課數據倍感興奮，然而由于面對幾個方面的挑戰(zhàn)，這種數據并沒有如同預期那樣發(fā)揮作用。慕課的數據分析既耗時又費力，而且需要使用一套非常先進但卻尚未被教育研究者所掌握的技術性技能。因此，慕課數據分析很少在課程結束之前進行，這樣一來數據在影響學生學習結果和體驗方面的潛能受到限制。本文介紹我們研發(fā)的一種用戶友好型慕課數據分析軟件平臺——MOOCito（MOOC intervention tool，慕課干預工具）。這種工具主要是為了開展根據數據而做出的教學干預和課程實驗。本文闡述MOOCito的重要設計原則，同時也對促使我們研發(fā)這種工具的慕課研究趨勢做一個概述。這項工作仍在進行中，本文簡要介紹MOOCito原型，同時呈現一項旨在了解這個系統(tǒng)的感知有用性和易用性的用戶評價研究結果。本文還討論了本研究的結果以及這些研究結果對實踐的啟示。

【關鍵詞】 大規(guī)模公開在線課程（慕課）；A/B 測試；對照實驗；分析平臺；用戶研究；技術接受模型；Coursera

【中圖分類號】 G420 【文獻標識碼】 B 【文章編號】 1009-458x（2017）07-0016-10

導讀：眾所周知，慕課備受詬病的問題之一是輟學率高，而導致輟學率居高不下的首要原因是慕課教學/學習缺乏個性化指導和支持。提供慕課的機構也一直在苦苦尋找破解這個難題的路徑，然而這個問題至今未見明顯改善，因為慕課生師比如此之大，如果按照傳統(tǒng)課堂教學的方法提供個性化教學和支持服務，那么慕課的規(guī)模優(yōu)勢蕩然無存，且不說教育機構是否能夠按照“合理”比例配足教師——這本身也是一個問題。因此，有些機構、教師和研究者認為，為了能夠實現規(guī)?；瑺奚鼈€性化似乎在所難免；這種觀點尤其受到以追逐利潤為終極目標的商業(yè)性教育機構的推崇，大有愈演愈烈之勢。但是，這顯然違背了教育教學規(guī)律。可喜的是，國外同仁一直沒有放棄個性化慕課的教學嘗試。例如，西班牙拉里奧哈國際大學丹尼爾·布爾戈斯教授和同事阿爾貝托·考比為本期“國際論壇”撰寫的文章《轉基因學習：構建基于規(guī)則、適合大規(guī)模招生的e-learning推薦模型》，向中國同行介紹布爾戈斯教授四年前提出的個性化e-learning推薦模型LIME（Learning Interaction Mentoring Evaluation）和經過不斷探索改進而研發(fā)出來的“適合云學習環(huán)境（SPOCs或MOOCs）、輔導教師/教師人工操作、基于規(guī)則的推薦系統(tǒng)”iLIME，其最主要的目的是賦權于慕課教師，提高教學和學習支持的個性化水平。

《慕課試驗平臺的研發(fā)：一項用戶研究的結果》這篇文章介紹的是這幾位研究者正在進行之中的一項研究的初步成果：一種慕課分析技術平臺MOOCito（MOOC intervention tool）的原型以及反映這個平臺的感知有用性和感知易用性的目標用戶評價研究結果。這項研究最吸引我之處是其研究目的：“使幾乎沒有技術背景的教師能夠分析慕課數據，更好地了解學生的學習情況”和教師“能夠在授課過程中根據分析結果采取行動和開展試驗，以提升學生學習體驗，更好地了解學習過程”。正因如此，它的設計原則是：不以具備技術知識為前提、漸進式數據輸入、支持聚類分析、支持教學干預、便于后續(xù)數據分析和支持研究的復制。恕我孤陋寡聞，我認為這些都是本研究有別于同類研究之處或者比同類研究更勝一籌之處。對于慕課研究成果的應用，我相信很多一線教師都有這種感覺：要么是看不懂，要么是不知如何把這些成果用于提升自己的教學實踐。至于慕課研究，雖然這是一個廣闊的舞臺，①但是一線教師和大多數教育研究者往往是懷著“敬畏之心”并“敬而遠之”，因為慕課研究基本上離不開分析技術工具的使用，研究者必須有相當水平的技術知識和技能，能夠讀懂各種數理統(tǒng)計圖表，等等。教育研究者和一線教師本來應該是慕課研究的主力軍和慕課研究成果推廣應用的主角，然而這個領域的現狀卻是，很多研究者有很強的技術背景但并非嚴格意義上的教育教學行家或缺少教學經驗，研究成果往往也是一經問世便被束之高閣，未能發(fā)揮理論促進教學或理論與實踐相長的作用。

雖然MOOCito現在仍然只是一個原型，相關研究工作還在進行之中，但是它的理念確實不同一般，跟LIME模型和iLIME系統(tǒng)相比，對教師（以及教育研究者）的賦權力度可能更大。有了這種工具，教師參與慕課教學試驗的熱情可能更加高漲，在慕課研究中也可能發(fā)揮更大作用，慕課研究成果可能得到更好的推廣應用。如果MOOCito的研發(fā)理念能夠對其他研究者有所啟發(fā)，轉變目前慕課研究視角和著重點，進一步加強理論研究與實踐探索的相互作用，我甚至斗膽預言：到那個時候，慕課的教學與研究生態(tài)會出現新景象。

最后，衷心感謝來自塞爾維亞、希臘和加拿大三國的六位同行對本刊的信任和支持！（肖俊洪）

引言

本文闡述解決上述一些問題的初步計劃，介紹一個新的慕課分析技術平臺。這是一項仍然在進行中的工作。這個平臺旨在使幾乎沒有技術背景的教師能夠分析慕課數據，更好地了解學生的學習情況。再者，教師應該能夠在授課過程中根據分析結果采取行動和開展試驗，以提升學生學習體驗，更好地了解學習過程。本文介紹了這個系統(tǒng)的原型，簡要闡述其設計原則，呈現一項旨在了解目標用戶群對這個系統(tǒng)的感知有用性和易用性的用戶評價研究的結果，并討論研究結果及其對實踐的啟示。

背景

慕課日益流行，顯然我們需要一個能用于分析慕課數據的公共平臺（Veeramachaneni et al.， 2014）。比如MOOCdb（Veeramachaneni et al.， 2014）的目的是研發(fā)慕課數據的一種標準化格式，以便建立在此基礎上的分析技術和可視化工具（比如MOOCviz①），可以用于分析來自不同慕課平臺的數據。但是，MOOCdb的一個主要挑戰(zhàn)是使用者必須有相當的技術能力，因此絕大多數慕課教師無法使用這種工具。

慕課研究的另一個主要趨勢是人們對對照實驗和A/B測試的興趣越來越大，幾個慕課平臺都支持這種實驗和測試，采用這種方法的研究者也越來越多（Diver & Martinez， 2015； Hollands & Tirthali， 2014； Reich， 2015）。目前，慕課領域的實驗性研究主要集中在研究教學實踐的差別上，比如隨機對學生進行分類并對不同學生采用不同學習材料（Fisher， 2014； Lamb， Smilack， Ho， & Reich， 2015； Williams， Kim， & Keegan， 2015）、教學方法（Kizilcec， Schneider， Cohen， & McFarland， 2014； Tomkin & Charlevoix， 2014）或平臺界面（Anderson， Huttenlocher， Kleinberg， & Leskovec， 2014），全然不考慮學生的個體差異。如同蘭姆等（Lamb et al， 2015）所指出的，這使得我們在評估某一種教學措施的實際效果方面碰到一些問題，尤其主要考慮到學生流失嚴重這個事實。溫（Winne， 1982）也指出，學生個體差異還會影響研究結果對不同環(huán)境的效度。我們有必要考慮學生個體的特殊性，而不能把學生當作是同質群體，隨機對他們進行分類。

目前，開展慕課實驗所碰到的另一個挑戰(zhàn)是教師不能夠在教學過程中針對不同類型的學生改變和調整教學方法，也無法檢驗不同教學方法的效果。比如，我們無法做到在發(fā)現不積極參加討論的學生之后馬上給他們發(fā)送提醒郵件，要求他們更加積極地參加在線討論。同樣，教師可能希望檢查某一種教學干預信息對不同類型學生的效果或不同教學干預信息（比如給全體學生發(fā)送鼓勵性信息和結合學生個人情況單獨給他（她）發(fā)送有針對性的鼓勵性信息）（參見Kizilcec， Schneider， Cohen， & McFarland， 2014）對某一群學生的效果。由于慕課數據分析費用高昂，我們不得不在沒有分析學生學習活動的情況下事先設計好教學干預方法，然后隨機用在學生身上。雖然某些系統(tǒng)，比如MOOClet （Williams et al.， 2015）或Bazaar（Rosé et al.， 2015）允許動態(tài)對學生進行分組，但是我們必須能夠相當熟練使用這些系統(tǒng)并且有足夠基礎設施的支持，才能成功應用于教學中。

方法

1. 設計原則

我們首先把重點放在研發(fā)我們心目中的分析系統(tǒng)原型上。這一過程遵循以下設計原則。必須指出，這些設計原則是針對上文指出的問題而制定的。

不以具備技術知識為前提：考慮到慕課教師和研究者較多沒有接受過高級IT培訓，本系統(tǒng)不應該要求目標用戶具備一定的技術知識。

漸進式數據輸入：慕課平臺通常每天或每周向云儲存（比如Amazon S3）上傳一次數據，本系統(tǒng)應該能夠支持漸進式數據輸入，保證用戶能使用到每一批新數據，以便在課程教學正在進行的過程中及時分析數據。

支持聚類分析：考慮到有必要了解學生的不同參與模式，本系統(tǒng)應該能夠支持根據學生與課程材料的交互和與其他學習者的交互對他們進行分類。

支持教學干預：由于在慕課數據的使用上我們必須采取主動，本系統(tǒng)應該能夠支持在教學正在進行的過程中快速分析數據。因此，數據的預處理和學生課程學習表現重要指標的提取應該能夠做到盡可能自動化。

便于后續(xù)數據分析：教師實施一項教學干預之后，本系統(tǒng)應該能夠對這個干預的效果進行分析。因此，本系統(tǒng)應該以某種適合使用大眾化統(tǒng)計分析包（比如SPSS、R和Matlab）進行后續(xù)分析的格式儲存已經采集的教學干預信息。

支持研究的復制：我們的目的是提高目前的慕課研究水平，因此本系統(tǒng)應該能夠支持根據先前公開發(fā)表的研究“預先設置”（pre-configured）各種分析。這樣不但減少研究者人工分析的必要性，而且會有助于驗證先前的研究成果和這些成果的推廣性。有了這些“分析模板”，研究者便可以驗證先前研究的可復制性以及研究背景對研究結果的影響。

我們根據上述設計原則，采用迭代設計循環(huán)，研發(fā)了用戶界面的原型。我們首先拿出紙質原型并借助Axure RP平臺①，最終把這個原型發(fā)展成為用于這項用戶研究的版本。目前我們平臺的研發(fā)重點在于支持聚類分析和Coursera平臺，以便在實踐中檢驗我們所提出的方法的效果。如果MOOCito證明對教師和研究者有用，我們下一步目標是擴大它的應用范圍，將它用于其他分析中（比如社交網絡分析和話語分析）和其他慕課平臺上（比如EdX和FutureLearn）。由于不同的慕課平臺有共性，MOOCito用于其他平臺多半只需技術上的調整，能將輸出格式稍微不同的慕課數據輸入本系統(tǒng)即可。同樣，我們也能夠通過簡單規(guī)則配置界面（比如：如果一個學生在五天后還沒有登錄參加在線討論，給他發(fā)送一封郵件提醒他參加討論活動）實現課程干預在某種程度上的自動化。最后，目前階段我們數據輸入仍然需要手工操作，但是在未來版本中這一步驟也可能是自動化的。

2. 原型概況

這個原型的最終版本有四個應用選項，分別對應數據分析過程的四個主要步驟（見圖1-圖6）。

教師可以通過“詳情選項”（見圖2）檢查和比較具體學生的學習表現指標?！霸斍檫x項”界面上半部分的表格顯示全體學生所有指標的值，因此教師可以通過這個表了解到每一位學生的表現指標。這個表格是可以排序的，因此教師很容易發(fā)現有數值異常指標的學生。教師還能夠通過“詳情選項”界面下半部分比較特定學生的學習表現指標（比如發(fā)帖學生和提交作業(yè)學生的學習表現指標）。

“分析選項”（見圖3）是本系統(tǒng)的中心組成部分，教師可以在這里了解不同類別的學生。第一步是選擇（和有限預處理）用于聚類分析的學習表現指標（相當于數據挖掘的“特征選擇”），這里還有根據已發(fā)表成果預先設定的一些指標配置供選擇（Kizilcec et al.， 2013； Li et al.， 2015）。第二步是用戶進行聚類分析（見圖4），使用的是一些流行算法（即K-means、層次聚類和EM聚類），這些都可以和最基本的參數進行配置（比如距離量度和K、聚類數量）。分析的結果將呈現為可視化圖（見圖5）：聚類質心點、輪廓評價圖和在兩個主成分空間投射聚類。對于K-means和層次聚類而言，如果給K選擇一系列數值，那么其結果會是一張拐點評價圖。

經過一輪或多輪分析之后，教師可以把干預信息發(fā)送給目標學生（見圖6），可以是某一類型的全體學生，也可以是某一類型當中的部分學生。比如，可以給某一種類型的一半學生發(fā)送一條干預信息，給另一半發(fā)送另外一條信息（或者不給另一半任何信息）。教學信息可以以模板形式保存起來，如同電子郵件合并應用一樣，這些教學信息可以包含幾個“變量”。最后，教師可以把教學干預的總結情況以CSV文件保存起來，今后可以用于比較不同教學干預的效果。

3. 評價研究的設計

共有11位來自英國、美國和南美的慕課教學經驗豐富的教師、研究者和設計者參加本評價研究。他們來自3所大型研究型大學。這些人有多年在線學習、慕課教學和Coursera平臺使用的經驗（見表1）。本研究的主要目的是獲取用戶對這一原型進行評價的豐富質性數據，了解這些目標終端用戶對這個原型的印象。

所有參與者簽署知情同意書之后，研究者給他們做了15分鐘的學習場景介紹，主要介紹一個假設的慕課教師正在Coursera平臺上教授一門編程入門課程。我們首先給他們介紹目前Coursera平臺的管理界面，用的是愛丁堡大學Code Yourself這門慕課的真實數據，然后詳細介紹MOOCito系統(tǒng)的情況和功能。隨后，我們請參與者參加一項網上調查①，有20項李克特五點選項題目（從“1=完全不同意”到“5=完全同意”）和9道開放性問題，內容涉及我們這個系統(tǒng)的感知有用性和易用性以及參與者的總體印象。

技術接受模型（TAM）是常用于評估軟件系統(tǒng)適切性的一種心理測量工具（Venkatesh & Bala， 2008）。本研究的工具便是根據這個模型設計而成的。技術接受模型可以用來評價感知有用性和感知易用性的決定因素，即影響采用一種新軟件系統(tǒng)的因素。由于我們的主要目的是質性分析參與者對本系統(tǒng)的感知有用性和易用性，因此我們在設計調查工具時僅借鑒技術接受模型的相關內容。

研究結果和討論

表2是李克特量表問題的調查結果。

總體上講，表2顯示參與者對本系統(tǒng)及其感知有用性和易用性是滿意的。評價最高的項目包括“D3本工具有助于我提出跟課程設計或學生相關、值得更加深入探索的有趣問題”（4.73），“D1本工具使我能夠深入了解本學習環(huán)境下學生學習表現”（4.64），“I2能夠給不同群組學生提供不同干預/教學/指導是很重要的一點”（4.73）以及“I3能夠給同一群組學生提供不同干預/教學/指導是很重要的一點”（4.55）。參與者在回答開放性問題時也肯定了以下幾個方面的特點：能夠選擇學生學習表現指標、每周的數據以各種圖形呈現和界面清晰，雖然數據量很大。至于實施教學干預的機會，參與者重點提到能夠靈活和方便實施有意義干預而又不存在向特定目標對象“不恰當地提供沒有針對性信息的風險”，他們也肯定信息模板的使用和模板里預留“變量”的作用。

參與者對本系統(tǒng)的總體印象是積極的，但是也指出幾個需要解決的重要問題。這些問題涉及我們這個工具對普通慕課教師的可及性。首先，參與者強調作為MOOCito用戶的教師可能不熟悉某些術語、學習表現指標、統(tǒng)計分析或作為“研究模板”的那些文獻。因此，我們必須提供更加詳細的信息，比如提供簡短概要和視頻輔導。另外，也應該提供參考文獻的完整書目信息和概要。一些參與者表示他們不知道如何對數據進行最有效分析，因此，我們也應該增加“標準方法”介紹。從D4（用本工具分析數據既容易又直觀）的得分也可以看出我們需要簡化分析步驟，使得我們的工具更加直觀，操作更加方便。鑒于此，我們未來努力的一個方向是進一步簡化分析程序，提供更有效的指南，給幾乎沒有統(tǒng)計學背景和經驗的教師提供更好的支持。

另有幾個問題涉及的是本系統(tǒng)提供有意義反饋和教學干預的能力。首先，參與者表示教師應該能夠從學習表現指標了解到學生的實際活動內容，比如，如果某個學生的帖子聚合力低，教師應該能夠很容易發(fā)現這些低聚合力的信息，經過對它們進行分析之后更好地了解學生的學習表現。此外，一些參與者表示難以判斷何時干預和如何干預。換言之，我們必須提供更加容易“解讀”的分析結果，以容易付諸行動的方式對結果進行總結。比如，除了詳細介紹聚類中心外，我們不妨使用“低”“中等”“高”這樣的字眼描述學習表現指標，使這項結果更簡潔易懂（比如1類的特點是低聚合力，發(fā)帖量大，在線教學視頻瀏覽量中等）。在這方面，我們不妨采用某些將數據轉換成文本的技術（Ramos-Soto， Vazquez-Barreiros， Bugarín， Gewerc， & Barro， 2017），為每一類學生配備一段話的描述，方便慕課教師理解數據分析結果。

總體看，參與者使用MOOCito工具的意愿很強（G3我愿意在我今后課程中使用本工具，4.36），打算在自己今后的課程中使用這個工具（G2我打算在我今后課程中使用本工具，4.00）。 雖然他們報告說很想使用這個工具提高教學和科研水平，但是用于科研目的的意愿（G6我會在科研中使用本工具， 4.55）高于課程設計和教學（G7我會使用本工具提高課程設計和教學水平，促進學生學習， 4.30）。誠如一位參與者所言，“它（MOOCito）具有成為一種高效教育研究工具的潛力，也可能作為跟蹤學生日常學習活動的手段?！敝T如此類的反饋意見顯示研發(fā)慕課分析平臺的必要性。我們希望MOOCito能夠填補這個空白，促進慕課教學和研究水平。

本研究存在幾方面局限。第一，因為我們的主要目的在于支持使用Coursera平臺的教師，我們的評價研究結果可能會受到Coursera平臺目前的分析技術能力和用戶滿意度影響。因此，雖然Coursera是擁有最多用戶的慕課平臺，但是仍然可能無法代表整個慕課領域的情況。鑒于此，未來一項重要工作是在其他慕課平臺試驗我們的MOOCito系統(tǒng)。尤其是考慮到Coursera最近正在轉向企業(yè)培訓領域，今后它在高等教育領域的應用范圍可能會受到影響，在其他平臺開展試驗顯得更為重要。第二，雖然本文提供MOOCito的詳細圖形界面原型，但是這項工作仍在進行之中，目前尚不能確定MOOCito最終用于實際教學和研究中究竟能夠發(fā)揮什么作用。第三，本研究有11位參與者，雖然對于原型測試而言數量不算少，但是如果要確保原型有用性研究結果的可靠性，人數可能少了一些。當然，他們所提供的質性反饋很有價值，有助于指導MOOCito下一步的研發(fā)工作。

結束語和下一步工作

慕課能夠產生大量學生學習活動的數據，但是由于沒有給慕課教師和研究者提供使用分析技術的支持，學生數據用于促進學生學習上的潛力大受影響。不僅如此，由于慕課數據分析非常復雜，分析結果無法用于指導教學實踐，我們希望通過學生數據更好地認識學生學習這方面受到的影響。

本文介紹一個新的慕課分析平臺MOOCito，其目的是幫助慕課教師深入了解學生的學習并根據收集到的學生數據實施相應的教學干預。由于MOOCito的目標是幫助幾乎沒有或者完全沒有高級技術知識的“普通”慕課教師，因此它著重在教學實施的過程中對數據進行分析并根據分析結果采取相應教學干預，使學生能及時獲得恰當的教學支持。此外，教師能夠通過MOOCito試驗不同教學方法，為驗證不同教學干預策略的效果提供更加可靠的證據。雖然目前不乏慕課教學試驗研究（Reich， 2015），但是由于沒有專門分析技術的支持，加之數據分析先于試驗而完成，這往往導致我們只能預先計劃這些教學試驗，要做到隨時根據學生實際表現調整教學策略，從方法上講會遇到很大挑戰(zhàn)（Lamb et al.， 2015）。

MOOCito的研發(fā)仍在進行中，本文介紹了針對MOOCito的感知有用性和易用性的用戶研究結果。研究結果進一步支持我們的觀點，即必須為慕課教師提供他們目前所缺乏的分析技術方面的支持，正如一位參與者所言：“我相信這是一種非常好的工具，它必將能夠明顯促進慕課教學。這種工具也會擴大慕課數據的用途，使教師能夠利用這些數據開展研究，發(fā)表成果?！?/p>

根據初步研究結果，我們認為今后應該從以下幾方面完善MOOCito平臺的研發(fā)。首先，新版本的原型在MOOCito使用方面必須提供更多指導和幫助（比如提供更詳細的描述、概要和輔導材料）。其次，MOOCito必須更好地與慕課平臺銜接，并且能夠把學習表現指標轉換成相關學習活動的概述（比如討論內容、教學視頻、測驗等）。最后，也是最重要的，必須能夠提供更容易理解和付諸行動的聚類描述，這一步非常關鍵，是我們今后的中心工作。我們希望解決慕課教師在實際工作中所發(fā)現的問題，為他們提供一套分析技術工具，促進慕課教學和研究水平的提高，最終達成提升學生學習體驗的目標。

[參考文獻]

Anderson， A.， Huttenlocher， D.， Kleinberg， J.， & Leskovec， J. （2014）. Engaging with Massive Online Courses. In Proceedings of the 23rd International Conference on World Wide Web （pp. 687-698）. New York， NY， USA： ACM. doi：10.1145/2566486.2568042

Coffrin， C.， Corrin， L.， de Barba， P.， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs. In Proceedings of the Fourth International Conference on Learning Analytics and Knowledge （pp. 83-92）. New York， NY， USA： ACM. doi：10.1145/2567574.2567586

Diver， P.， & Martinez， I. （2015）. MOOCs as a massive research laboratory： opportunities and challenges. Distance Education， 36（1）， 5-25. doi：10.1080/01587919.2015.1019968

Ferguson， R.， & Clow， D. （2015）. Examining engagement： Analysing learner subpopulations in Massive Open Online Courses （MOOCs）. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge （pp. 51-58）. New York， NY， USA： ACM. doi：10.1145/2723576.2723606

Fisher， W. W. （2014）. HLS1x： CopyrightX course report. doi：10.2139/ssrn.2382332

Ga?evi?， D.， Kovanovi?， V.， Joksimovi?， S.， & Siemens， G. （2014）. Where is research on massive open online courses headed？ A data analysis of the MOOC Research Initiative. The International Review of Research in Open and Distributed Learning， 15（5）. Retrieved from http：//www.irrodl.org/index.php/irrodl/article/view/1954

Hecking， T.， Ziebarth， S.， & Hoppe， H. U. （2014）. Analysis of dynamic resource access patterns in online courses. Journal of Learning Analytics， 1（3）， 34-60. doi：10.18608/jla.2014.13.4

Hollands， F. M.， & Tirthali， D. （2014）. MOOCs： Expectations and Reality （Full Report）. Center for Benefit-Cost Studies of Education， Teachers College， Columbia University. Retrieved from http：//cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf

Joksimovi?， S.， Poquet， O.， Kovanovi?， V.， Dowell， N.， Mills， C.， Ga?evi?， D.， Dawson， S.， Graesser， A. C.， & Brooks， C. （2017）. How do we model learning at scale？ A systematic review of the literature. Manuscript Submitted for Publication. Retrieved from http：//vitomir.kovanovic.info/？ddownload=1145

Kizilcec， R. F.， Piech， C.， & Schneider， E. （2013）. Deconstructing disengagement： Analyzing learner subpopulations in Massive Open Online Courses. In Proceedings of the Third International Conference on Learning Analytics and Knowledge （pp. 170-179）. New York， NY， USA： ACM. doi：10.1145/2460296.2460330

Kizilcec， R. F.， Schneider， E.， Cohen， G.， & McFarland， D. （2014）. Encouraging forum participation in online courses with collectivist， individualist and neutral motivational framings. eLearning Papers， 37， 13-22. Retrieved from http：//rene.kizilcec.com/wp-content/uploads/2013/02/kizilcec2014encouraging2014elearning.pdf

Kovanovi?， V.， Ga?evi?， D.， Dawson， S.， Joksimovi?， S.， & Baker， R. S. （2015）. Does time-on-task estimation matter？ Implications on validity of learning analytics findings. Journal of Learning Analytics， 2（3）， 81-110. doi：10.18608/jla.2015.23.6

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Owers， J.， Scott， A.-M.， & Woodgate， A. （2016）. Profiling MOOC course returners： How does student behavior change between two course enrollments？ In Proceedings of the Third ACM Conference on Learning @ Scale （L@S16） （pp. 269-272）. New York， NY， USA： ACM. doi：10.1145/2876034.2893431

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Siemens， G.， & Hatala， M. （2015）. What public media reveals about MOOCs： A systematic analysis of news reports. British Journal of Educational Technology， 46（3）， 510-527. doi：10.1111/bjet.12277

Lamb， A.， Smilack， J.， Ho， A.， & Reich， J. （2015）. Addressing common analytic challenges to randomized experiments in MOOCs： Attrition and zero-Inflation. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 21-30）. New York， NY， USA： ACM. doi：10.1145/2724660.2724669

Li， N.， Kidziński， ?.， Jermann， P.， & Dillenbourg， P. （2015）. MOOC video interaction patterns： What do they tell us？ In Proceedings of the 10th European Conference on Technology Enhanced Learning （pp. 197-210）. Springer International Publishing. doi：10.1007/978-3- 319-24258-3_15

Mak， S. F. J.， Williams， R.， & Mackness， J. （2010）. Blogs and Forums as Communication and Learning Tools in a MOOC （pp. 275-284）. Presented at the Seventh International Conference on Networked Learning.

Ramos-Soto， A.， Vazquez-Barreiros， B.， Bugarín， A.， Gewerc， A.， & Barro， S. （2017）. Evaluation of a data-to-text system for verbalizing a learning analytics dashboard. International Journal of Intelligent Systems， 32（2）， 177-193. doi：10.1002/int.21835

Reich， J. （2015）. Rebooting MOOC research. Science， 347（6217）， 34-35. doi：10.1126/science.1261627

Rosé， C. P.， Ferschke， O.， Tomar， G.， Yang， D.， Howley， I.， Aleven， V.， Siemens， G.， Crosslin， M.， Ga?evi?， D.， & Baker， R. （2015）. Challenges and opportunities of dual-layer MOOCs： Reflections from an edX deployment study. In Exploring the Material Conditions of Learning： The Computer Supported Collaborative Learning （CSCL） Conference 2015， Volume 1 （Vol. 15， pp. 848-851）. Gothenburg， Sweden： The International Society of the Learning Sciences. Retrieved from https：//www.isls.org/cscl2015/papers/1309-InteractiveEvent-Rose.pdf

Sinha， T. （2014）. “Your click decides your fate”： Leveraging clickstream patterns from MOOC videos to infer students information processing & attrition behavior. arXiv：1407.7143 [Cs]. Retrieved from http：//arxiv.org/abs/1407.7143

Tomkin， J. H.， & Charlevoix， D. （2014）. Do professors matter？ Using an A/B test to evaluate the impact of instructor involvement on MOOC student outcomes. In Proceedings of the First ACM Conference on Learning @ Scale Conference （pp. 71-78）. New York， NY， USA： ACM. doi：10.1145/2556325.2566245

Veeramachaneni， K.， Halawa， S.， Dernoncourt， F.， OReilly， U.-M.， Taylor， C.， & Do， C. （2014）. MOOCdb： Developing standards and systems to support MOOC data science. arXiv：1406.2015 [Cs]. Retrieved from http：//arxiv.org/abs/1406.2015

Venkatesh， V.， & Bala， H. （2008）. Technology Acceptance Model 3 and a research agenda on interventions. Decision Sciences， 39（2）， 273-315. doi：10.1111/j.1540-5915.2008.00192.x

Williams， J. J.， Kim， J.， & Keegan， B. （2015）. Supporting instructors in collaborating with researchers using MOOClets. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 413-416）. New York， NY， USA： ACM. doi：10.1145/2724660.2728705

Winne， P. H. （1982）. Minimizing the black box problem to enhance the validity of theories about instructional effects. Instructional Science， 11（1）， 13-28. doi：10.1007/BF00120978

收稿日期：2017-05-08

定稿日期：2017-05-09

作者簡介： 維托米爾·科瓦諾維克（Vitomir Kovanovi?），英國愛丁堡大學（University of Edinburgh）信息科學學院博士研究生和研究助理，美國德克薩斯大學阿靈頓分校（University of Texas at Arlington）學習創(chuàng)新和網絡化知識（Learning Innovation and Networked Knowledge，LINK）研究實驗室研究助理，學習分析技術研究學會（Society for Learning Analytics Research，SoLAR）執(zhí)行委員會委員；曾擔任2016年學習分析技術與知識大會（LAK16）執(zhí)行主席和2016年慕課學習大會（Learning with MOOCs）程序委員會主席；主要研究興趣為學習分析技術和教育數據挖掘，已發(fā)表40多篇同行評審論文，曾榮獲愛丁堡大學、西蒙弗雷澤大學（Simon Fraser University）和塞爾維亞教育部獎學金。

斯雷奇科·約克西莫維奇（Sre?ko Joksimovi?），英國愛丁堡大學莫雷教育學院（Moray House School of Education）博士研究生，SoLAR執(zhí)行委員會委員，美國德克薩斯大學阿靈頓分校學習創(chuàng)新和網絡化知識研究實驗室研究助理；研究興趣為網絡學習環(huán)境下教與學分析，發(fā)表多篇論文，曾榮獲愛丁堡大學、西蒙弗雷澤大學獎學金。

菲利普·凱特林諾珀洛斯（Philip Katerinopoulos），先后畢業(yè)于希臘雅典國立科技大學（National Technical University of Athens）和英國愛丁堡大學，現在愛丁堡任職軟件開發(fā)工程師；研究興趣為數據管理和可視化。

哈拉蘭博斯·米凱爾（Charalampos Michail），先后畢業(yè)于希臘帕特雷大學（University of Patras）和英國愛丁堡大學，現在希臘雅典任職軟件工程師；研究興趣為生物信息學和計算系統(tǒng)。

喬治·西蒙斯（George Siemens）博士，美國德克薩斯大學阿靈頓分校學習創(chuàng)新和網絡化知識研究實驗室教授、執(zhí)行主任，加拿大阿薩巴斯卡大學（Athabasca University）遠程教育中心教授；研究興趣包括技術、網絡、分析技術、情感和社會性交互，以及教育的開放性。他是大規(guī)模公開在線課程和學習分析技術先驅，SoLAR創(chuàng)會主席，曾應邀到35個國家發(fā)表學術主旨演講，研究成果獲得多個獎項，秘魯圣馬丁大學（Universidad San Martin de Porres）和加拿大弗雷澤谷大學（Fraser Valley University）授予他榮譽博士學位，以表彰他在學習、技術和網絡等領域的開拓性工作，并為澳大利亞、歐盟、加拿大和美國的政府部門以及很多外國大學提供數字學習和學習分析技術在教育領域應用等方面的顧問咨詢服務。

德拉甘·伽瑟維克（Dragan Ga?evi?），英國愛丁堡大學莫雷教育學院和信息科學學院教授、學習分析技術和信息科學首席教授，致力研究能夠影響下一代的學習技術、促進我們理解自我調節(jié)和社會性學習的計算方法；曾擔任2011年和2012年LAK大會程序委員會主席，2013年和2014年學習分析技術暑期研討會（Learning Analytics Summer Institute）程序委員會主席，2016年學習分析技術與知識大會（LAK16）主席，《學習分析技術期刊》（Journal of Learning Analytics）（2012-2017年）創(chuàng)刊主編，SoLAR主席（2015-2017年）。在澳大利亞、加拿大、香港和美國還有多個榮譽性職位；先后獲得加拿大、澳大利亞、歐洲和美國相關機構和業(yè)界的資助，多篇論文在學習和軟件技術領域主要國際會議獲得最佳論文獎，經常應邀到各地發(fā)表主旨演講。

譯者簡介： 肖俊洪，汕頭廣播電視大學教授，Distance Education （Taylor & Francis）期刊副主編，System： An International Journal of Educational Technology and Applied Linguistics （Elsevier）編委（515041）。

責任編輯 郝 丹