基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)應用探究

卜南翔 徐述 王玉婷 曾海洋 湖南城市學院 信息與電子工程學院

1 引言

隨著我國社會的不斷發(fā)展，大數(shù)據(jù)時代隨之出現(xiàn)，在該時代當中，我國教育事業(yè)也隨之受到影響，其信息技術同樣得到了不錯的發(fā)展，再次背景條件下，現(xiàn)今的課程教學資源數(shù)據(jù)更是變得多樣化、豐富化、大數(shù)據(jù)化。課程教學資源信息量的迅猛增加也讓傳統(tǒng)的架構服務器無法將其高效存儲與管理。若要使多元化的、半結構、非結構化的課程教學資源數(shù)據(jù)得到有效的存儲與處理，需要摒棄傳統(tǒng)的服務器，采用基于大數(shù)據(jù)平臺上的大數(shù)據(jù)技術，并通過增加集群中服務器節(jié)點計算機擴大平臺的儲存量。本文針對基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)應用展開研究，首先對其應用意義進行闡述，其次對基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)建設進行規(guī)劃與體系框架設計，以供參考。

2 建設基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)的意義

隨著我國社會經(jīng)濟的不斷發(fā)展，教育事業(yè)得到相應的發(fā)展。根據(jù)教育部提出的四個回歸要求，可以了解到，結合大數(shù)據(jù)技術設計個性化的課程教學資源服務十分必要，相關人員需要對其加以重視。但根據(jù)具體實施的研究調(diào)查可以發(fā)現(xiàn)，現(xiàn)如今，我國大部分的課程教學資源共享平臺建設都存在著，如：參差不齊，資源結構差異較大等不良問題。這些問題的存在不僅使得課程教學資源共享利用率變得十分低下，而且嚴重的缺乏個性化推薦服務。就目前而言，傳統(tǒng)架構的課程教學資源共享平臺無法實現(xiàn)通過搜索一個關鍵詞的課程教學資源反映出學習者的個性特征，也不能夠精準的提供學習者真正需要的課程教學資源。

為了改善這一現(xiàn)象，提高學習者獲得的課程教學資源效率，相關人員首先需要做的就是對傳統(tǒng)單機服務器建設的課程教學資源共享平臺進行改進，并在基于大數(shù)據(jù)的平臺上，科學合理的利用大數(shù)據(jù)技術建立全新的、完善的課程教學資源推薦系統(tǒng)。因此，相關人員需要對基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)的研究與建設應用加以重視。

3 基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)設計

3.1 主流技術

根據(jù)研究調(diào)查可了解到，Hadoop或Spark是目前構建基于大數(shù)據(jù)平臺課程教學資源推薦系統(tǒng)中不可缺少的重要部分。

其分布式文件存儲框架主要是由NameNode與DataNode兩類節(jié)點構成的。其中NameNode節(jié)點主要負責分布式文件系的命名空間管理與數(shù)據(jù)文件元數(shù)據(jù)管理；對于DataNode節(jié)點而言，DataNode節(jié)點在整個工作運行的過程中扮演的是一個負責數(shù)據(jù)文件儲存的角色。在大數(shù)據(jù)時代，該課程教學推薦系統(tǒng)的優(yōu)勢主要在于，能夠隨著平臺上的課程資源、教學資源數(shù)據(jù)量的不斷增加，平臺中的存儲容量以及計算能力也會隨之得到相應的增加。在需要擴大系統(tǒng)存儲容量與計算能力時，系統(tǒng)管理員增加集群服務器節(jié)點計算機即可。

最新阿里技術與谷歌技術研究顯示，流式的數(shù)據(jù)訪問方式已逐漸成為大數(shù)據(jù)平臺框架的主要訪問方式。而流式的數(shù)據(jù)訪問方式主要指的是一次寫入，多次讀取數(shù)據(jù)。并在完成該步驟之后，以追加方式將課程教學資源數(shù)據(jù)寫入到分布式文件系統(tǒng)HDFS中。為了方便數(shù)據(jù)訪問，采用代理進行數(shù)據(jù)訪問以實現(xiàn)數(shù)據(jù)的負載均衡。這樣的系統(tǒng)設計不但可以減少其他課程教學資源數(shù)據(jù)對學習者的干擾，而且能夠讓學習者快速精準的找到自己想要的教學資源。

3.2 實現(xiàn)步驟

由1可知，在大數(shù)據(jù)時代背景之下，傳統(tǒng)的課程教學資源推薦系統(tǒng)已經(jīng)不能夠滿足多樣化的教學資源儲存，且不能準確的推送個性化服務。因此，相關人員需要對其加以重視。

在實現(xiàn)基于大數(shù)據(jù)平臺的個性化課程教學資源推薦系統(tǒng)的過程中，相關人員可從以下幾點進行：首先，搭架大數(shù)據(jù)硬件平臺；其次，利用平臺對課程教學資源進行高效存儲與管理；最后實現(xiàn)課程教學資源推薦服務。

4 大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)框架體系

結合1與2所述，本文設計基于Hadoop+Spark大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)。

4.1 系統(tǒng)框架

系統(tǒng)框架分為終端接入層、業(yè)務應用層與底層架構層。

終端訪問層負責終端用戶的訪問，可以是PC、筆記本、瘦終端、平板電腦、智能手機等終端設備；業(yè)務應用層為終端提供各種資源推薦服務和數(shù)據(jù)統(tǒng)計，包括課程資源存儲、課程資源搜索、課程資源推薦和用戶對教學資源統(tǒng)計的訪問。在業(yè)務應用層，用戶訪問教學資源統(tǒng)計服務是在虛擬化的基礎上安裝和構建分布式文件系統(tǒng)HDFS。底層架構層對用戶屏蔽,虛擬化技術用于虛擬化服務器硬件，物理服務器被抽象為許多邏輯計算機。計算、存儲、網(wǎng)絡等資源在虛擬環(huán)境中運行，而不是在真實環(huán)境中運行。多個邏輯計算機可以在同一臺服務器上同時運行，每個邏輯計算機可以獨立運行完全不同的操作系統(tǒng)，可以有效地隔離資源，提高集群節(jié)點的工作效率。

4.2 工作流程

用戶點擊共享平臺、Socket或Http協(xié)議中的教學資源，將數(shù)據(jù)傳輸?shù)絎eb服務器，而Web服務器Apache等接收到的信息將在相應目錄中生成日志數(shù)據(jù)，此時，相關的用戶就可通過使用Linux系統(tǒng)的計時系統(tǒng)進行初步處理。當被監(jiān)控的目錄發(fā)生變化時，水槽會記錄數(shù)據(jù)，然后將其交給HDFS文件系統(tǒng)或Hive數(shù)據(jù)倉庫。最后，SparkStreaming將通過實時流量處理對關鍵信息字段進行分類和計數(shù)。

日志數(shù)據(jù)采集清洗整理后，需要編寫分布式計算程序來過濾數(shù)據(jù)，并將相關數(shù)據(jù)存儲在課程推薦系統(tǒng)的HDFS文件系統(tǒng)中。

5 結束語

隨著我國社會經(jīng)濟的不斷發(fā)展，教育事業(yè)得到了長足進步。大數(shù)據(jù)時代，需要先進的大數(shù)據(jù)技術支持教育事業(yè)的信息化技術發(fā)展。因此，開展基于大數(shù)據(jù)平臺，利用大數(shù)據(jù)技術實現(xiàn)全新的課程教學資源推薦系統(tǒng)的研究與建設十分有必要。再加上，基于大數(shù)據(jù)平臺的課程教學資源推薦系統(tǒng)可以更好地滿足學生的專業(yè)學習需求，也將推動教育信息化技術的高速發(fā)展。