基于大數(shù)據(jù)分析的分布式學習平臺構建

李圣楠

（天津開放大學 天津市 300350）

1 引言

1.1 研究背景

數(shù)字時代的到來，智能設備的普及化，互聯(lián)網的飛速發(fā)展，使得人們的生活方式發(fā)生了巨大改變，學習平臺的搭建為教與學創(chuàng)造了便利條件，隨著用戶規(guī)模逐步擴大，海量用戶學習行為為大數(shù)據(jù)分析提供了基礎，同時也提出了更多要求，如何更好地利用這些數(shù)據(jù)幫助不同類型的用戶更為方便快捷地獲取所需要的信息，也成了亟待解決的問題，了解資源建設情況、內容、類型、點擊次數(shù)、觀看時長、觀看人數(shù)等資源使用情況，可以為教師資源建設主體、內容、形式等提供有效參考；了解學生登錄時間、點擊模塊、學習時長、互動情況等分析學生的學習行為習慣，可以為學生推薦適合的學習資源，更好實現(xiàn)因材施教；了解學生登錄時間、登錄次數(shù)、學習時長、練習情況、考試情況等，教師登錄時間、登錄次數(shù)、點擊模塊、資源上傳情況等則可以為學校管理方式的提升提供有力的數(shù)據(jù)支撐。既有利于學校教學管理，也能夠為教師教學提供更多的選擇，為學生自主學習提供便利，有利于信息的發(fā)布和傳播，同時便于用戶之間的資源共享，達到更好地學習效果。

大數(shù)據(jù)分析對平臺數(shù)據(jù)存儲量和計算需求有更高的要求，傳統(tǒng)單機服務器收硬件條件限制，無法提供海量存儲空間，也難以實現(xiàn)快速計算，因此，本文引入分布式技術，以便更好實現(xiàn)數(shù)據(jù)分布式存儲，既提高了平臺性能，也提升了用戶體驗。

1.2 相關概念界定

1.2.1 大數(shù)據(jù)分析

大數(shù)據(jù)分析是對龐大且復雜的海量數(shù)據(jù)進行分析，通過大數(shù)據(jù)分析可以從不同角度發(fā)現(xiàn)更多問題和規(guī)律，以便為決策者提供有效的數(shù)據(jù)支持。隨著數(shù)字時代的來臨，人們對數(shù)字產品的依賴程度越來越高，人們面對的信息規(guī)模越來越龐大，數(shù)據(jù)越來越多，大數(shù)據(jù)分析應運而生。它既是時代的產物，也是時代的推動者。大數(shù)據(jù)分析技術是一門比較綜合的技術，包含數(shù)據(jù)存儲技術、數(shù)據(jù)挖掘技術、數(shù)據(jù)可視化等。完成大數(shù)據(jù)分析過程，最終實現(xiàn)數(shù)據(jù)應用，一般需要經過的步驟如圖1所示。首先要收集海量的原始數(shù)據(jù)，有的通過網絡爬蟲爬取，有的則是獲取平臺內的數(shù)據(jù)庫、日志等信息，這就是數(shù)據(jù)收集過程；接著，將收集到的數(shù)據(jù)進行預處理，包括數(shù)據(jù)清洗、數(shù)據(jù)集成和數(shù)據(jù)轉換等操作；之后，對經過預處理的數(shù)據(jù)進行存儲，數(shù)據(jù)分析根據(jù)需求不同，難易程度有很大的差異，復雜數(shù)據(jù)分析還需要構建數(shù)學模型、通過數(shù)據(jù)進行訓練不斷完善模型，通過評估來檢測分析效果；最后，通過圖形化方式，實現(xiàn)信息的有效表達，幫助用戶認識和分析出更多信息。

圖1：大數(shù)據(jù)分析基本流程

1.2.2 個性化推薦

個性化推薦是在大數(shù)據(jù)分析基礎上，為用戶提供個性化定制的信息服務。個性化推薦應用領域非常廣泛，最常見的如購物平臺，根據(jù)用戶近期搜索和瀏覽推薦他們可能喜歡或近期需要的產品，本文中主要用于推薦用戶需要的資源庫資源，包括視頻、圖書、音頻等各類學習資源。最常用的個性化推薦算法是協(xié)同過濾算法，本文采用的推薦算法是協(xié)同過濾算法與知識圖譜相結合的方式。協(xié)同過濾算法是通過矩陣來計算鄰居之間的相似度，默認兩者相似度越高則喜好越相同，最終結果就是推薦相似度最高的鄰居的喜好。具體推薦過程如下，假設系統(tǒng)需要通過協(xié)同過濾算法為用戶1推薦資源，首先通過矩陣計算用戶1與其他用戶的相似度，通過計算得出用戶2為數(shù)據(jù)庫中與用戶1相似度最高的用戶，用戶1喜歡資源1，資源2和資源5，用戶2喜歡資源1，資源2，資源4和資源5，協(xié)同過濾法默認相似度高喜好越相似，用戶2喜歡資源5，那么則為用戶1推薦資源5，推薦過程如圖2所示。知識圖譜是2012年谷歌推出的，通過結構化方式直觀展現(xiàn)知識服務，設計初衷是為了優(yōu)化搜索引擎，這里應用知識圖譜表示學生知識點掌握情況。

圖2：協(xié)同過濾法推薦過程示意圖

1.2.3 分布式

分布式就是分散在不同區(qū)域的方式，在計算機領域中通常是指分布式系統(tǒng)，即可以實現(xiàn)分布式處理的軟件系統(tǒng)。隨著需要處理的信息越來越多，單機或集中式計算無論是計算速度、硬件造價、計算結果準確率已經遠遠無法滿足計算需求，分布式系統(tǒng)的設計很好地解決了這些問題。

實現(xiàn)分布式的基礎是互聯(lián)網，通過互聯(lián)網，不同的設備可以協(xié)同完成某項服務，比如數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)計算等，平臺通過一定得耦合方式將這些分散處理的數(shù)據(jù)結果耦合在一起，拋開性能不談，從用戶的角度來講，感覺不到和單機運算有任何不同?？梢?，分布式處理可以解決單機設備處理所產生的速度慢、維護成本高、準確率低等問題。多設備同時工作，可以獲得更快地處理速度，有效降低了維護成本，也更能避免線性處理造成的出現(xiàn)錯誤需要全部重新處理等問題，加快了互聯(lián)網的發(fā)展。

2 學習平臺主要建設內容

2.1 系統(tǒng)支撐基礎平臺

建設支持大數(shù)據(jù)的基礎平臺，采用分布式文件系統(tǒng)、非關系數(shù)據(jù)庫等大數(shù)據(jù)技術，構建基于虛擬化的數(shù)據(jù)中心服務器集群、基礎安全、和網絡環(huán)境，為核心應用構筑穩(wěn)固、高效的運行平臺。支持大數(shù)據(jù)讀寫和高并發(fā)訪問，滿足100萬人注冊1萬人并發(fā)訪問。

2.2 統(tǒng)一認證的門戶網站

為訪問學習平臺的用戶提供統(tǒng)一的訪問入口，集成線上教學及管理應用服務。支持用戶根據(jù)自己的實際需要個性化的定制專屬自己工作界面，支持多種終端（PC、移動端）接入，支持用戶分權限接入使用，支持用戶綁定手機號、學號、教工號、微博、微信等。

2.3 一體化管理平臺

針對學生、教師、管理員、系統(tǒng)管理員四類用戶，提供教、學、管、考、評一體化系統(tǒng)功能。學生用戶功能主要包括：注冊、登錄、課程學習、課程簽到、作業(yè)提交、課程測試、課程評價、學習互動、學分兌換、信息查閱、信息收發(fā)、個人主頁、課程制作與上傳、設置等，教師用戶功能主要包括：課程創(chuàng)建、課程查詢、課程審核、學分設定、資源上傳、作業(yè)發(fā)布、數(shù)據(jù)分析、信息發(fā)布、通知信息推送等。結合微信小程序實現(xiàn)課堂實時點名、測試、交互問答等功能。管理員用戶功能主要包括：統(tǒng)計數(shù)據(jù)查看、報表生成、考核體系、通知推送等。系統(tǒng)管理員功能主要包括：課程導入、用戶管理、學生管理、班級管理、系統(tǒng)日志、權限分配。

2.4 課程資源庫

建設課程資源庫，包括課程視頻教程、課程參考圖書、課程教學大綱、課程重難點解析、課程音頻資源、課程課件等，支持不同類型資源上傳、編目、瀏覽、下載等功能，支持用戶分權限接入使用，實現(xiàn)資源的共建共享，同時根據(jù)大數(shù)據(jù)分析平臺分析數(shù)據(jù)為用戶推薦適合的資源，實現(xiàn)學生學習的個性化推薦功能也是此平臺一個重要特點。

2.5 數(shù)據(jù)分析平臺

從決策層、管理層、操作層對學生、教師、學校、機構等數(shù)據(jù)進行收集和分析，提供學生學習情況、教師輔導情況、學校發(fā)展情況等主題分析及綜合報表，實現(xiàn)系統(tǒng)數(shù)據(jù)可視化。支持定制并導出報表、餅狀圖、直方圖、趨勢圖、GIS分析等不同的數(shù)據(jù)展現(xiàn)形式，為平臺的完善、個性化推薦、資源建設等提供輔助決策分析。

3 系統(tǒng)結構設計

根據(jù)建設目標和內容，將系統(tǒng)結構體系分為基礎網絡層、數(shù)據(jù)信息層、應用層、服務層與用戶層，系統(tǒng)結構如圖3所示。

圖3：系統(tǒng)結構示意圖

3.1 基礎網絡層

基礎網絡層主要包括核心網絡通信設備、網絡安全設備、網絡接入設備、服務器、數(shù)據(jù)存儲設備、操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、中間件、機房及相關設備等。

3.2 數(shù)據(jù)信息層

數(shù)據(jù)信息層主要包括教學、管理與服務過程所產生的各類數(shù)據(jù)，有用戶基本信息、數(shù)據(jù)文件檔案、軟件代碼、數(shù)據(jù)信息編碼，各種業(yè)務數(shù)據(jù)、音頻與視頻以及多媒體格式的數(shù)字信息資源，數(shù)據(jù)采用分布式存儲方式。

3.3 應用層

應用層包括門戶網站、學習平臺、資源庫、數(shù)據(jù)分析平臺等。

3.4 服務層

服務層是基于應用系統(tǒng)基礎上的信息資源服務與學習支持服務等各種在線服務，面向服務對象，以提供各種服務為其核心內容，如信息自助查詢服務與主動推送式服務，虛擬學習社區(qū)的知識共享服務，個人數(shù)據(jù)信息空間服務，技術工具使用的支持服務等。

3.5 用戶層

用戶層主要包括各類學習者、管理人員、專兼職教師、社會公眾用戶、院校、學習中心、合作單位、政府機構等用戶。

4 學習平臺功能設計

學習平臺為訪問其的用戶提供統(tǒng)一的訪問入口，網站集學習平臺、數(shù)據(jù)分析、資源庫等功能為一體，同時集成線上教學及管理應用服務。支持用戶根據(jù)自己的實際需要個性化的定制專屬自己工作界面，支持多種終端（PC、移動端）接入，支持用戶分權限接入使用，支持用戶綁定手機號、學號、教工號、微博、微信等，如圖4所示。

圖4：學習平臺總體功能示意圖

4.1 學生學習平臺功能設計

4.1.1 學生注冊

學生可通過兩種渠道進行注冊，移動端注冊和網頁端注冊。注冊信息存入基礎數(shù)據(jù)中心，同時生成學分個人賬戶。非注冊類用戶在訪問網站或移動端時采用快速注冊方式，實現(xiàn)用戶注冊。

4.1.2 實名認證

注冊學生通過填寫身份證號碼，進行實名認證。原有的注冊學生信息保留注冊名和密碼導入到云平臺的基礎數(shù)據(jù)中心，學生進行實名認證。

4.1.3 學生學習與學分累積

學生在網上或移動端學習數(shù)字資源后可產生學習記錄，通過學分銀行轉換記入個人學分賬戶；線下學習通過學生手機簽到或手工代簽到的方式，實現(xiàn)學習記錄登記，并轉化成學分記入個人學分賬戶。

4.2 教師教學平臺功能設計

4.2.1 課程創(chuàng)建和報名

教師通過電腦端創(chuàng)建課程。學生報名參加課程時，注冊學生可直接網上報名，非注冊學生通過信息登記（或導入）實現(xiàn)課程報名。

4.2.2 資源創(chuàng)建

教師可以上傳網絡制作課程資源、課件等。經由上級管理員審核通過后，允許上傳。

4.2.3 信息通知

教師可通過移動管理平臺向學生發(fā)送日常通知。

4.3 管理平臺功能設計

在平臺上實現(xiàn)權限導入形成基礎用戶數(shù)據(jù)庫；建立學分規(guī)則；建立實踐基地信息，建立內部通訊體系，查看各類報表，實現(xiàn)網上績效考核。

4.4 資源庫功能設計

資源庫支持各種類型資源上傳、編目、瀏覽、下載等功能，按照文本、視頻、圖片、PPT等多資源類型進行分類細化管理，支持用戶分權限使用。實現(xiàn)資源的快速上傳、檢索、歸檔并運用到教學中，實現(xiàn)資源的多級分布式存儲，實現(xiàn)與門戶網站、學習平臺、大數(shù)據(jù)分析平臺系統(tǒng)之間無縫聯(lián)接。共享平臺主要功能如下。

4.4.1 課程資源管理

課程管理教師可以管理課程資源，包含課程學習指導、教學大綱、課程章節(jié)信息、課程習題庫、視頻、文本等。由課程教師上傳課程學習指導、教學大綱等課程說明信息，之后設置題庫，題庫包含了題目信息和章節(jié)信息，類型包含單項選擇、多項選擇和判斷題，每道題目除了包含題干、選項等必備信息之外，還有習題解析、習題附件。習題解析是對題目涵蓋的知識點進行解析，方便學生學習。

管理教師隨后在各個章節(jié)中上傳課程教學資源。所有教學資源以及課程的章節(jié)共同構成了課程資源地圖。

4.4.2 論壇管理

每一門課程對應一個課程論壇，管理員就是該課程的管理教師。在課程論壇里，學生可以根據(jù)學習情況發(fā)帖提問，課程責任教師和同學均可以回帖。課程責任教師可以對發(fā)帖進行置頂、置精華、刪除、編輯。學生如果是習題練習過程中遇到問題發(fā)帖，教師還可以通過該帖子的“查看習題”鏈接查看相關內容。

4.4.3 查看選課學生信息

顯示選擇該課程所有的學生，教師可以查看學生的學習數(shù)據(jù)（例如發(fā)帖數(shù)、回帖數(shù)、在線時間、瀏覽資源數(shù)），并給某個或某些學生留言。教師還可以選擇出優(yōu)秀的學生，系統(tǒng)可根據(jù)一定規(guī)則將排位靠前的優(yōu)秀學生顯示在門戶首頁的優(yōu)秀學員列表中。

4.4.4 個性化推薦

個性化推薦功能是平臺的特色功能之一，前面已經介紹了協(xié)同過濾的基本算法，推薦最相似用戶的偏好。另外通過知識圖譜實現(xiàn)對學生知識點掌握情況的呈現(xiàn)。知識圖譜的描繪主要依靠學生學習行為統(tǒng)計和習題集練習情況、線上考試答題情況等。對于某一門課程習題集與知識點相關聯(lián)，知識點與學習資源相關聯(lián)，學生做習題的過程通常會出現(xiàn)一些錯題，默認出現(xiàn)錯題的地方是知識點沒有掌握好的地方，這些知識點需要重點學習，將這些知識點的關聯(lián)資源作為推薦資源推薦給學生。

4.5 數(shù)據(jù)分析平臺

數(shù)據(jù)分析平臺分為平臺基礎數(shù)據(jù)分析及大數(shù)據(jù)分析兩部分。

4.5.1 基礎數(shù)據(jù)分析系統(tǒng)

系統(tǒng)功能包含課程學習行為統(tǒng)計表、學生學習行為統(tǒng)計表、教學行為統(tǒng)計表。

（1）課程學習行為統(tǒng)計

該功能以教學單位為主線，統(tǒng)計一段時間內各個教學單位的學生對不同課程的學習行為。學習行為數(shù)據(jù)包含了登錄人數(shù)、登錄人次、在線時間、資源點擊數(shù)、學生發(fā)帖總數(shù)、學生回帖數(shù)、學生主貼數(shù)，以便督促該校學生進行學習。

（2）學生學習行為統(tǒng)計

該功能以學生個人為線索，統(tǒng)計一段時間內學生報名課程的登錄次數(shù)、在線時間、資源點擊量、發(fā)帖數(shù)、主貼數(shù)、回帖數(shù)，以課程作為分組依據(jù)，方便管理員查看。

（3）教學行為統(tǒng)計

該功能以課程為線索，統(tǒng)計一段時間內學習該課程學生的數(shù)據(jù)。為了能夠提高查詢效率，該功能的統(tǒng)計指標支持可定制，定制指標包括基本情況、論壇交互情況和資源發(fā)布與使用情況，基本情況包括課程基本信息、任課教師情況和學生登錄情況，論壇交互情況包括教師發(fā)帖情況和學生討論情況，資源發(fā)布與使用情況包括教師資源上傳情況、教師資源應用情況、學生資源應用情況。

4.5.2 大數(shù)據(jù)分析系統(tǒng)

大數(shù)據(jù)分析系統(tǒng)從決策層、管理層、操作層對學生、教師、學校、機構等數(shù)據(jù)進行收集分析，提供學生基本信息、教師基本信息、學校發(fā)展基本情況等主題分析及綜合報表，實現(xiàn)系統(tǒng)數(shù)據(jù)可視化。支持定制并導出報表、餅圖、直方圖、趨勢圖、GIS分析等不同的數(shù)據(jù)展現(xiàn)形式，為管理工作提供輔助決策分析。如圖5所示。

圖5：大數(shù)據(jù)分析平臺功能示意圖