基于Hadoop的MOOC學習分析系統(tǒng)的構建

夏曉峰

DOI：10.16644/j.cnki.cn33-1094/tp.2016.07.013

摘 要： 從學習分析系統(tǒng)角度研究MOOC教育中低通過率與有效學習的問題。通過分析學習者學習活動情況，在MOOC社區(qū)取樣大量原始數(shù)據(jù)，生成平臺學習數(shù)據(jù)，采用一個基于Hadoop的MOOC學習分析系統(tǒng)對數(shù)據(jù)進行分析和挖掘，促進學習者進行有效學習。為了評估該系統(tǒng)的有效性，開發(fā)一種分析方法來識別那些容易輟學、低延遲的在線學習者，以使得MOOC服務商能夠有效地進行教學策略調整，提高了課程通過率。

關鍵詞： 大規(guī)模開放在線課程； 云計算； 分布式系統(tǒng)； 分析系統(tǒng)

中圖分類號：TP393.02 文獻標志碼：A 文章編號：1006-8228（2016）07-45-04

Construction of MOOC learning analysis system based on Hadoop

Xia Xiaofeng

（Department of Computer Science， Shaozhou Normal College， Shaoguan University， Shaoguan， Guangdong 512009， China）

Abstract： Study on the problems of low pass rate and effective learning in MOOC （massive open online courses） education from the perspective of the learning analysis system. Through the analysis of learners' learning activities， sampling a large number of original data in MOOC community to generate the platform's learning data， a Hadoop based MOOC learning analysis system is used for data analysis and data mining to promote learners for effective learning. In order to evaluate the effectiveness of the system， an analytical method is developed to identify those online learners who are easy to drop out of school， so that the MOOC service providers can effectively adjust the teaching strategies， and improve the pass rate of the course.

Key words： MOOC； cloud computing； Hadoop； analysis system

0 引言

隨著云計算技術的推廣與應用，云計算已經為新一代在線教育系統(tǒng)奠定了基礎，它改變了現(xiàn)代的教育模式，基于無限的網絡資源，任何教育機構可以通過全球在線學習資源分享教學經驗。目前全球MOOC（大規(guī)模開放在線課程）[1]有三大巨頭。edX[2]是由麻省理工大學和哈佛哈佛大學聯(lián)合推出的非盈利在線教育平臺，它現(xiàn)在提供150多門跨領域、高標準、具有創(chuàng)新技術的免費課程，現(xiàn)有全球46所著名大學加盟，北京大學、清華大學位列其中，參加學習的學員超過180萬。Coursera[3]是由美國斯坦福大學兩名計算機科學教授吳恩達（Andrew Ng）和達芙妮·科勒（Daphne Koller）創(chuàng)辦的大型免費公開網絡在線課程項目，它現(xiàn)在提供600多門課程，門類豐富，但良莠不齊，現(xiàn)在全球108所大學加盟，復旦大學、上海交通大學、北京大學正式加盟，參加學習的學員超過600萬。Udacity[4]是由斯坦福教授塞巴斯蒂安·特倫（Sebastian Thrun）推出了包括科學、數(shù)學、編程、計算機科學和企業(yè)家精神訓練等在線免費課程，現(xiàn)在提供38門課程，非常精致，參加學習的學員超過160萬。

免費網絡公開課，全新商業(yè)模式，這吸引著全世界目光，許多學習者渴望獲得世界名校的免費課程，許多學習者注冊或參加MOOC學習。自2012年免費公開課的模式推出至今已經有兩年多，MOOC遭遇了成長的煩惱：2013年12月5日賓夕法尼亞大學教育研究生院公布了對全球100萬名MOOC的學習者進行了調查，結果顯示，注冊的學習者只有大約一半聽過一堂課，只有4%的用戶完成了全部課程[5]。

在本文中，通過采集學習者在MOOC網絡學習過程中產生的大數(shù)據(jù)，利用云計算技術中的一個可編寫和運行分布式應用的處理大規(guī)模數(shù)據(jù)的開源框架Hadoop[6-7]構建一個學習分析系統(tǒng)，利用該系統(tǒng)去分析學習者在線狀況，幫助相關MOOC服務商提高結課率，改善教學和學習的環(huán)境。

1 大數(shù)據(jù)與Hadoop概念

大數(shù)據(jù)的定義是大量的非結構化的信息和內容，可以從“無限”活動在互聯(lián)網上，一般非傳統(tǒng)來源，如web[8]日志、點擊流、社交媒體、電子郵件、傳感器、圖像和視頻。能夠分析和利用大數(shù)據(jù)的實時情報可以為相關產品提供了巨大的機會，甚至政治決策服務。一些在線教育活動可以受益于大數(shù)據(jù)，對情緒分析、活動分析、欺詐檢測均可以通過大數(shù)據(jù)的挖掘進行，學習分析和大數(shù)據(jù)結合在未來的在線教育中將扮演一個重要的角色。

Hadoop能對海量數(shù)據(jù)執(zhí)行分布式處理，它的核心就是HDFS和Map Reduce。若干個數(shù)據(jù)節(jié)點（Datanode）加一個名稱節(jié)點（Namenode）構成HDFS，對相關文件被客戶端訪問的管理、文件或目錄的管理、數(shù)據(jù)塊與相應數(shù)據(jù)節(jié)點的映射關系的管理等均由名稱節(jié)點負責，每個節(jié)點一般設置一個數(shù)據(jù)節(jié)點，由它負責管理該節(jié)點上的存儲[9]。Map Reduce將整個任務過程分為Map階段和Reduce階段，Map將用戶的輸入數(shù)據(jù)以鍵/值對形式通過用戶自定義的映射過程轉變?yōu)橐唤M中間鍵值對的集合，Reduce則對中間生成的臨時中間鍵值對作為輸入進行處理，并輸出最終結果[10]。

2 MOOC特點

MOOC是“大規(guī)模開放在線課程”的英文縮寫（中國稱為慕課），即：Massive（大規(guī)模），是指學習者對課程注冊與訪問數(shù)量多；Open（開放），指有學習需求的學習者，均可以上線學習；Online（在線），指的是學習時間、地點不受限制，24小時開放，通過網絡作業(yè)、討論、互動和評價獲得相關知識；Course（課程），MOOC的課程設計類似于大學課程，但MOOC將課程重新分解，重新再造，使之適應在線教育。

MOOC作為一種嶄新的教學模式，它將課程重新分解，重新再造，使之適應在線教育。它主要有以下幾個方面的特點。

2.1 教學理念的轉變

“以教師為中心”是現(xiàn)行的傳統(tǒng)教育理念，MOOC則是“以學生為中心”，翻轉課堂，教師只是活動的導師，網絡課堂是師生互動的場所，通過提供適當?shù)慕虒W材料引導學習者之間進行交流，學習者可以根據(jù)個人需求，掌控學習節(jié)奏與方式，會更加努力、勤奮、主動、個性化地參與其中，并獲取想要得到的知識。

2.2 教學規(guī)模的改變

傳統(tǒng)大學課程一般只有幾十到幾百位學習者，而一門慕課課程動輒上萬人，目前最多的一門課程有240000位學習者參與，MOOC完全突破了班級規(guī)模限制，打破了傳統(tǒng)教學模式班級的概念。

2.3 學習的伸縮性改變

傳統(tǒng)的學習者依照各門課程的教學大綱安排進行學習，缺乏靈活性。MOOC中的學習者可以根據(jù)自己的時間、對該門課程的掌握情況，利用分段時間進行學習，自我掌控學習進度，完成相應的課程學習。

2.4 開放性的改變

傳統(tǒng)的大學是在教室、實驗室、圖書館等場所進行學習，而且各個大學之間相應課程是不對外開放的。MOOC學習者只要擁有一臺電腦或移動終端，只要可以上網，就可以學習各種優(yōu)質課程，并與來自世界各地的學習者進行充分的交流，這些MOOC課程資源是對所有人開放的。

2.5 學習方式的改變

傳統(tǒng)教育以45分鐘為一個單元進行課堂教學，MOOC視頻課程被切割成5-15分鐘的“微課程”，學習者可以通過在線資源和一些額外的學習材料，發(fā)現(xiàn)和闖關課程中許多個教學小問題，并在平臺上直接提出自己的想法和疑惑，會有師生共同討論或提供解答，學習者的學習興趣和主動性會得到極大的提升。

2.6 教育技術的改變

傳統(tǒng)的教育多數(shù)基于多媒體教室或傳統(tǒng)板書，學習者接受的是本地教育，MOOC則是借助云計算技術、移動平臺技術、數(shù)據(jù)挖掘技術構成一個虛擬網絡在線教育時空，通過這些技術解決了地域問題，讓學習者不再停留在自己所在學校和地域的影響。

3 MOOC學習模式分析

第一步分析由MOOC生成的大數(shù)據(jù)的生命周期，第二步對學習者進行分類，第三步MOOC環(huán)境中“未完成”學習者的識別模式。

3.1 MOOC生成的大數(shù)據(jù)的生命周期

如圖1所示，大數(shù)據(jù)的生命周期在MOOC可以描述如下。

⑴ 獲得數(shù)據(jù)：在相關網站源頭定期通過查看網絡發(fā)帖、學習者調查、用戶資料、網絡社交媒體等獲取數(shù)據(jù)。

⑵ 整合數(shù)據(jù)：將各種數(shù)據(jù)按照規(guī)則進行整合，并將整合后的數(shù)據(jù)傳輸?shù)揭粋€大數(shù)據(jù)平臺，為后期數(shù)據(jù)處理做好準備。

⑶ 分析數(shù)據(jù)：在大數(shù)據(jù)平臺上使用各種分析模塊對整合后的數(shù)據(jù)進行處理。

⑷ 優(yōu)化數(shù)據(jù)：將數(shù)據(jù)挖掘的分析結果給MOOC服務商，使得服務商可以對學習者進行有效的幫助和管理。

3.2 MOOC學習者

基于MOOC環(huán)境中學習者學習過程中的行為，對學習者進行分組定義為下面幾種類型。

⑴ 注冊者：只是簡單注冊了MOOC課程，但是基本不在線，這類注冊學習者的數(shù)量通常是最大的。

⑵ 瀏覽者：簡單瀏覽MOOC課程，但是沒有真正參與相關的探索、討論、評價、測評。

⑶ 中途退課者：大部分學習者屬于這一類，他們通過從MOOC課程中獲取他們需要的課程資源幫助他們的學習，但是沒有完成整個課程的學習。

⑷ 被動參與者：這些學習者瀏覽每門課程材料、觀看講座、參加測試、參加互動，但是不參與課程考核。

⑸ 積極參與者：全程參與MOOC課程的學習，并通過MOOC課程的評估和考核。

對于學習分析系統(tǒng)，我們主要研究注冊者、瀏覽者、中途退課者、被動參與者這四類學習者，將這四類學習者列為“未完成”學習者。

3.3 MOOC環(huán)境中“未完成”學習者的識別模式

通過分析學習者的行為和活動，如觀看視頻、下載課程、互動參與測驗和調查等，觀察交互性和持久性這兩個指標，基本可以識別“未完成”學習者。

持久性表示學習者在線相對穩(wěn)定的時間，主要從學習者觀看視頻和下載課程兩個方面進行考量。交互性表示學習者參與程度，主要從在線回答問題和參與調查程度進行考量。

4 MOOC學習分析系統(tǒng)架構

4.1 MOOC學習分析系統(tǒng)架構

圖2描述了一個MOOC學習分析系統(tǒng)架構，利用一個基于私有云的Hadoop，從相關的MOOC服務商數(shù)據(jù)平臺以較小時間間隙大量捕捉和使用學習者學習的數(shù)據(jù)，設計一個學習分析系統(tǒng)，幫助MOOC服務商用來調整授課內容，為學習者提供更好的服務。

大數(shù)據(jù)集成組件負責捕捉數(shù)據(jù)，數(shù)據(jù)源依據(jù)不同學習者的參與，同時兼顧學習者的行為和偏好，第一步收集數(shù)據(jù)，第二步從MySQL數(shù)據(jù)庫數(shù)據(jù)導入到Hadoop的分布式文件系統(tǒng)HDFS，第三步處理Hadoop作業(yè)，然后提取MySQL表中的分析結果出口轉移到分析引擎。

系統(tǒng)的核心部組件是分析引擎部分，分析引擎是將Hadoop組件部署到私有云，通過HDFS對數(shù)據(jù)分類管理，然后通過分布式處理框架Map Reduce處理大量的MOOC用戶的數(shù)據(jù)，由Map Reduce作業(yè)過程來分析所有獲取的數(shù)據(jù)并輸出數(shù)據(jù)處理結果。最后，MOOC學習分析系統(tǒng)實現(xiàn)利用一個用戶界面來訪問相應的學習分析應用程序，同時允許用戶通過一個Web界面提交學習分析工作和研究結果。

4.2 MOOC學習分析系統(tǒng)實施

本節(jié)首先描述實驗環(huán)境和基礎設施的部署；然后為了顯示該系統(tǒng)的有效性，設置一個小規(guī)模場景實現(xiàn)對“未完成”學習者的識別，并進行系統(tǒng)結果評價。

4.2.1 實驗裝置

在小范圍內通過基于Hadoop的私有云部署，由1個主節(jié)點資源管理器和8個區(qū)域服務器從節(jié)點組成，每個節(jié)點都是一臺配置為主頻2.5GHz、RAM內存4GB和磁盤空間500GB的虛擬機，分配給HDFS、數(shù)據(jù)集成組件和Map Reduce應用程序，以此來識別“未完成”學習者。在實驗過程中，使用的樣本數(shù)據(jù)集是從斯坦福大學Class2go開源平臺上的私有云采集。

4.2.2 評價

利用收集的數(shù)據(jù)，通過實驗來評估MOOC學習分析系統(tǒng)的性能，表1給出了使用MOOC學習分析系統(tǒng)時用來標識“未完成”學習者不同節(jié)點數(shù)目。

一般MOOC課程的平均持續(xù)時間為5周，發(fā)現(xiàn)Map Reduce執(zhí)行應用程序時針對不同數(shù)量級別的并行MOOC學習節(jié)點，結果有明顯的差異。當學習者的數(shù)量很小，MOOC學習分析系統(tǒng)只有一點小優(yōu)勢，8節(jié)點加速略高于1節(jié)點，達到1.64，這說明本系統(tǒng)對學習者數(shù)量較小時分析結果沒有優(yōu)勢；然而當大量的數(shù)以百萬計的學習者參與時，學習分析加速使用8節(jié)點達到1節(jié)點的7.47，這種現(xiàn)象可以解釋為：即使進入MOOC學習者的數(shù)量非常巨大，但是用MOOC學習分析系統(tǒng)可以比較理想地的識別“未完成”學習者。

5 結束語

通過MOOC學習分析系統(tǒng)實施，重點加強對終止或延遲在線學習的人群的監(jiān)控，提前介入對該群體的幫扶和引導，降低MOOC高輟學率，通過數(shù)據(jù)表明該分析系統(tǒng)可以提升完成學習的比例，對“未完成”學習者繼續(xù)完成學習起到一定的推動作用。隨著MOOC項目在全球的迅速推廣，基于Hadoop和Map Reduce應用程序來自動識別“未完成”學習者的學習分析系統(tǒng)還可以繼續(xù)研究下去，將來可以結合相關的網站進行深度數(shù)據(jù)挖掘，并通過用戶接口讓MOOC服務商可以使用分析系統(tǒng)調整教學策略，提高結課率。這個系統(tǒng)還有不完善地方，將來還會繼續(xù)改進與完善。

參考文獻（References）：

[1] 王穎，張金磊，張寶輝.大規(guī)模網絡開放課程（M00C）典型項目

特征分析及啟示[J].遠程教育雜志，2013.4：67-75

[2] 陳曉清.技術聯(lián)姻教育：edX網絡課程的創(chuàng)建、運行于挑戰(zhàn)[J].

江蘇高教，2014.2：77-80

[3] 易蓉，張炯強.復旦交大加入全球最大在線課程聯(lián)盟[N].新民

晚報，2013.7.9（A7）.

[4] 李青，侯忠霞，王濤.大規(guī)模開放在線課程網站的商業(yè)模式分

析[J].開放教育研究，2013.19（5）：71-78

[5] Penn GSE Study Shows MOOCs Have Relatively Few

Active Users， With Only a Few Persisting to Course End[EB/OL].http：//www.gse.upenn.edu/pressroom/press-

releases/2013/12/penn-gse-study-shows-moocs-have-

relatively-few-active-users-only-few-persisti

[6] Dean J， Ghemawat S.MapReduce： Simplified Data

Processingon Large Clusters[C]//Proc. of the 6th Symposium on Operating System Design and Implementation. Berkeley， USA：[s.n.]， 2004：137-150

[7] White T. Cluster Specification Hadoop： The Definitive

Guide[M].[s.1.]：O'Reilly Media，2009：255-259

[8] 程煒，楊宗凱，樂春暉.基于Web Service的一種分布式體系結

構[J].計算機應用研究，2002.3：105-107，111

[9] 李春艷，何一舟，戴彬.Hadoop平臺的多隊列作業(yè)調度優(yōu)化

方案研究[J].計算機應用研究，2014.31（3）：705-707，738

[10] 李天目.云計算技術架構與實踐[M].清華大學出版社，

2013.