基于Hadoop 的計算機專業(yè)課程教學(xué)平臺設(shè)計與實現(xiàn)*

高 飛

（廣西現(xiàn)代職業(yè)技術(shù)學(xué)院，廣西 河池 547000）

引言

計算機專業(yè)是以系統(tǒng)和應(yīng)用為導(dǎo)向、以軟件為基礎(chǔ)的專業(yè)。計算機專業(yè)課程教育旨在培養(yǎng)具有較深厚的基礎(chǔ)知識、較強的工程實踐能力，并具備開拓創(chuàng)新精神，從事科學(xué)研究、教育、開發(fā)、應(yīng)用等方面工作的高層次人才。為了適應(yīng)時代的發(fā)展，為計算機應(yīng)用市場提供專業(yè)型人才，許多高等院校開設(shè)了計算機專業(yè)，并設(shè)置計算機專業(yè)課程?，F(xiàn)行的計算機專業(yè)開設(shè)的課程包括計算機硬件組裝、軟件程序編寫與維護兩個方面，其中，偏軟件部分的課程可以進一步分為編程、應(yīng)用軟件的使用和網(wǎng)絡(luò)技術(shù)三大類[1]。然而，當(dāng)前計算機專業(yè)課程的教學(xué)容易受到空間和時間的限制，為此設(shè)計并開發(fā)了計算機專業(yè)課程教學(xué)平臺。

教學(xué)平臺是一種綜合的、用于教學(xué)活動的軟硬件結(jié)合的系統(tǒng)，現(xiàn)階段使用較多的計算機專業(yè)課程教學(xué)平臺大多應(yīng)用了Web、B/S 框架等技術(shù)，但在實際的應(yīng)用過程中，部分課程教學(xué)平臺存在功能運行成功率不高、平臺并行性與兼容性不強等問題，為此引入Hadoop 的概念。

Hadoop 架構(gòu)是由Apache 基金會開發(fā)并發(fā)行的分布式數(shù)據(jù)存儲平臺，該平臺提供了高效、可靠、大規(guī)模數(shù)據(jù)的分布式處理與存儲功能。通過對Hadoop 架構(gòu)的應(yīng)用，以期能夠提高計算機專業(yè)課程教學(xué)平臺的教學(xué)功能與運行性能。

一、計算機專業(yè)課程教學(xué)硬件平臺設(shè)計

（一） Solr 服務(wù)器

Solr 服務(wù)器的基礎(chǔ)技術(shù)是ApacheLucene 全文檢索引擎，它具有可伸縮性、分層瀏覽、管理方便等特征。Solr 的分布式集群搜索服務(wù)器SolrCloud是一種以ZooKeeper 和Solr 為基礎(chǔ)的分布式搜索系統(tǒng)。由于HBase 自身不支持實時查詢，HBase 系統(tǒng)必須對資源進行全面的掃描和模糊匹配，因此很難滿足實時查詢的要求[2]。所以，HBase 與Solr 技術(shù)相結(jié)合，通過HBase 對RowKey 的有效檢索特點，將RowKey 及其相關(guān)信息保存在SolrCloud 中，在用戶檢索到資源時，首先向SolrCloud 請求RowKey 信息，再根據(jù)RowKey 信息向HBase 數(shù)據(jù)庫請求，以獲得所需要的數(shù)據(jù)資源。在HBase 中添加和刪除信息時，還要在Solr 集群中對該信息進行實時更新，以確保二者之間的信息一致性。通過Solr 服務(wù)器的配置與安裝，為Hadoop 架構(gòu)的運行提供核心硬件設(shè)備。

（二） 無線通信網(wǎng)絡(luò)

教學(xué)資源、學(xué)生提問等信息均需要通過無線通信網(wǎng)絡(luò)進行傳輸，為此以RS-232 芯片為串行通信接口，在傳統(tǒng)通信線路的基礎(chǔ)上，對無線通信網(wǎng)絡(luò)進行優(yōu)化。在傳統(tǒng)無線通信網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上安裝RS232 串口通信接口，通信接口采用CH341T USB 總線轉(zhuǎn)接芯片、MAX232 電平變換芯片，還有少量的接口設(shè)備即可完成。

（三） 嵌入式處理器

選擇型號為C*CORE 的處理器作為計算機專業(yè)課程教學(xué)數(shù)據(jù)的處理器，該處理器是一種流線型的架構(gòu)，采用嚴(yán)密的翻轉(zhuǎn)結(jié)構(gòu)，降低了系統(tǒng)的復(fù)雜性。采用固定比特指令編碼技術(shù)可以有效地減少保持指令的高速運行所需要的內(nèi)存帶寬，而使用較短的比特碼來實現(xiàn)內(nèi)存消耗，如圖1 所示。

圖1 平臺處理器內(nèi)部結(jié)構(gòu)圖

此外，為了減少電源消耗，C*CORE 采用了動態(tài)時鐘管理的方法，在內(nèi)部不需要對每個時鐘的運行進行控制，C*CORE 提供了3 種低功率運行模式，通過執(zhí)行相應(yīng)的命令來實現(xiàn)。

（四） 計算機專業(yè)課程數(shù)據(jù)存儲器

平臺上的存儲模塊分為三大類：程序存儲、數(shù)據(jù)存儲、資源存儲。程序存儲器是用來儲存教學(xué)驅(qū)動和監(jiān)控程序，使用者可以使用它來進行軟件的開發(fā)與功能的校驗。數(shù)據(jù)存儲器用來保存平臺中實時產(chǎn)生教學(xué)數(shù)據(jù)，而資源存儲器用來保存計算機專業(yè)課程教學(xué)資源[5]。為了給計算機專業(yè)課程的實時數(shù)據(jù)以及教學(xué)資源提供充足的存儲空間，采用雙倍速率同步動態(tài)隨機存儲方式，即將同規(guī)格的兩個DDR 存儲器以并聯(lián)的方式連接在一起，并利用該組合存儲器替換傳統(tǒng)的存儲器設(shè)備。

（五） 硬件設(shè)備連接電路設(shè)計

教學(xué)平臺為了支持不同硬件設(shè)備的正常工作，使用兩種供電方式，并通過HT7133 電壓調(diào)整芯片對供電電壓進行轉(zhuǎn)換與調(diào)整。平臺供電電源轉(zhuǎn)換電路的優(yōu)化設(shè)計結(jié)果，如圖2 所示。

圖2 平臺供電電壓轉(zhuǎn)換電路圖

通過HT7133 芯片的應(yīng)用保證平臺運行供電平穩(wěn)，同時具有低功耗、低封裝、低成本等優(yōu)勢，這減少了電路板的占用面積。

二、計算機專業(yè)課程教學(xué)平臺數(shù)據(jù)庫設(shè)計

數(shù)據(jù)庫設(shè)計的目的是為了滿足應(yīng)用程序的功能要求和提高數(shù)據(jù)庫的性能。要掌握用戶目前應(yīng)用和未來應(yīng)用所需的數(shù)據(jù)和它們之間的關(guān)系，并能夠按照使用者的要求，合理地增加、刪除、修改和顯示。數(shù)據(jù)庫性能具體包括數(shù)據(jù)庫的存儲結(jié)果、數(shù)據(jù)共享、數(shù)據(jù)的完整性等[3]。建立的數(shù)據(jù)存儲結(jié)構(gòu)包括學(xué)生、教師、計算機專業(yè)課程資源、考核題庫表等，以計算機專業(yè)課程資源數(shù)據(jù)為例，對應(yīng)的數(shù)據(jù)庫表構(gòu)建結(jié)果如表1 所示。

表1 計算機專業(yè)課程資源數(shù)據(jù)庫表

在優(yōu)化設(shè)計的教學(xué)平臺中，資源數(shù)據(jù)都會被放到不同的表格結(jié)構(gòu)中，而不會以空字段的形式存在，這降低了資源細(xì)節(jié)的獲取是對數(shù)據(jù)庫的重復(fù)請求，加速資源存取的時間，縮短了相同數(shù)量的信息儲存所需的存儲空間。按照上述方式，可以得出優(yōu)化教學(xué)平臺中其他數(shù)據(jù)類型的存儲結(jié)構(gòu)設(shè)計結(jié)果，并通過根據(jù)數(shù)據(jù)之間的邏輯關(guān)系，在數(shù)據(jù)庫內(nèi)部形成鏈接，方便數(shù)據(jù)的調(diào)用與更新。

三、計算機專業(yè)課程教學(xué)平臺軟件功能設(shè)計

（一） 配置 Hadoop 集群

Hadoop 集群的配置結(jié)構(gòu)如圖3 所示。

圖3 Hadoop 集群配置結(jié)構(gòu)圖

如圖3 所示，Hadoop 集群體系結(jié)構(gòu)的基礎(chǔ)環(huán)境包括 RDBMS、 HDFS、 HBase、ZooKeeper 等，HBase 存儲與資源有關(guān)的核心業(yè)務(wù)，SolrCloud 存儲HBase 中的RowKey 和索引信息，用于向上提供實時的搜索服務(wù)。DAO 數(shù)據(jù)存取層主要為關(guān)聯(lián)數(shù)據(jù)庫和非關(guān)聯(lián)數(shù)據(jù)庫提供存取接口。業(yè)務(wù)邏輯層和其他相關(guān)的功能層是Hadoop 集群架構(gòu)的頂層，用來完成客戶端的相關(guān)功能。

（二） 用戶分類與授權(quán)控制

計算機專業(yè)課程教學(xué)平臺主要面向?qū)W生、教師和管理員三種用戶，學(xué)生用戶具有與學(xué)生課堂有關(guān)的權(quán)限。首先用戶進入登錄界面提交注冊申請，完善個人信息。管理員通過對用戶身份的核實與分類，將學(xué)生用戶的個人信息存儲到數(shù)據(jù)庫中，并通過郵箱及時反饋確認(rèn)信息。學(xué)生用戶注冊完成后，可根據(jù)設(shè)置的賬號與密碼信息登錄教學(xué)平臺，并獲取相應(yīng)的賬戶使用權(quán)限。使用者登錄賬號后，即可瀏覽課程及教師簡介，并依照介紹內(nèi)容完成選課[4]。完成選課后，可以下載課件、參與網(wǎng)上教學(xué)、查看作業(yè)的進度、詢問教師，課后可以參加考試并查看成績。教師用戶的設(shè)計與學(xué)生用戶類似，通過賬戶注冊以及身份審核，獲取教師賬戶及相應(yīng)授權(quán)。教師賬戶權(quán)限包括發(fā)布教師與課程簡介、申請課程公告、上傳課件并授課、布置和批改作業(yè)、組織測試和評價等。另外，管理員賬戶擁有平臺的全部授權(quán)，不僅要實現(xiàn)對學(xué)生賬戶和教師賬戶的管理，還要對網(wǎng)絡(luò)課程資源和系統(tǒng)的功能進行管理和配置。

（三） 計算機專業(yè)課程教學(xué)資源檢索與共享

教師端根據(jù)計算機專業(yè)開設(shè)的課程制作包含視頻、圖片、音頻等多媒體元素的課件，并將其上傳到教學(xué)平臺中。經(jīng)過管理員審核通過后，將教學(xué)資源存儲到平臺數(shù)據(jù)庫中，學(xué)生用戶可以在課程教學(xué)過程中，根據(jù)課程要求或個人學(xué)習(xí)需求在平臺中檢索相關(guān)的教學(xué)資源，并對課程教學(xué)資源進行下載[5]。利用公式（1） 計算教學(xué)資源檢索關(guān)鍵詞與課程資源之間的匹配度。

公式（1） 中變量xi和xj分別對應(yīng)的是輸入的檢索關(guān)鍵詞以及數(shù)據(jù)庫中存儲的課程資源特征詞，另外變量q為正整數(shù)，最終的計算結(jié)果ηMatch即為平臺數(shù)據(jù)庫中任意課程資源χj與輸入檢索關(guān)鍵詞χi之間的匹配系數(shù)。若ηMatch的計算結(jié)果高于閾值η，則判定當(dāng)前資源滿足學(xué)生用戶的檢索要求，將其加入到輸出隊列中，否則不允許該資源顯示，直到數(shù)據(jù)庫中所有課程資源匹配完成后，得出相關(guān)課程資源的檢索結(jié)果。在檢索結(jié)果的輸出過程中，需要根據(jù)關(guān)鍵詞在課程資源中出現(xiàn)的頻率進行排序，詞頻計算公式如下：

上式中變量N和ni分別表示的是關(guān)鍵詞在資源中出現(xiàn)的次數(shù)以及課程資源中的特征詞總量。根據(jù)詞頻TF的計算結(jié)果，按照升序順序輸出課程教學(xué)資源的檢索結(jié)果。學(xué)生用戶根據(jù)需求選擇合適的資源進行下載，并在遠(yuǎn)程無線通信網(wǎng)絡(luò)的支持下，完成目標(biāo)課程資源的遠(yuǎn)程傳輸。

（四） 執(zhí)行計算機專業(yè)課程教學(xué)任務(wù)

學(xué)生用戶在完成選課和課程資源下載任務(wù)的基礎(chǔ)上，按照教學(xué)設(shè)置的教學(xué)任務(wù)，觀看教學(xué)視頻并提交隨堂測試結(jié)果。在課程教學(xué)任務(wù)過程中遇到問題，可通過師生交流互動程序，發(fā)送郵件到教學(xué)郵箱來解決遇到的問題[6]。根據(jù)學(xué)生的資源觀看進度，控制計算機專業(yè)課程教學(xué)任務(wù)的執(zhí)行進度，直至完成教師設(shè)置的所有教學(xué)課程內(nèi)容。

（五） 計算機專業(yè)課程教學(xué)考核與成績查詢

在完成計算機專業(yè)課程教學(xué)內(nèi)容后，按照圖4的流程進行教學(xué)考核。

圖4 計算機專業(yè)課程教學(xué)考核流程圖

按照圖4 表示流程，教師用戶根據(jù)課程教學(xué)內(nèi)容編寫試卷，將其傳輸給學(xué)生用戶。學(xué)生用戶在規(guī)定時間內(nèi)完成試卷并提交給教師用戶。經(jīng)過批閱得出各個學(xué)生的考核成績，將成績結(jié)果反饋給學(xué)生端。學(xué)生可以在任意時間登錄平臺，通過查詢獲得對應(yīng)計算機專業(yè)課程的成績數(shù)據(jù)信息。

四、平臺實現(xiàn)與測試

為了發(fā)現(xiàn)平臺的缺陷與不足，要在平臺開發(fā)與應(yīng)用之前全面測試平臺內(nèi)容，因此設(shè)置平臺測試實驗。此測試實驗分別從教學(xué)功能和運行性能兩個方面進行測試，判斷優(yōu)化設(shè)計教學(xué)平臺是否滿足設(shè)計與應(yīng)用要求。

（一） 實驗準(zhǔn)備

按照硬件平臺的優(yōu)化設(shè)計結(jié)果，分別對各個硬件設(shè)備進行調(diào)試，并按照工作原理將各個硬件設(shè)備按照順序與供電電路相連。在實驗環(huán)境中設(shè)置一個上位機作為主測計算機，設(shè)置一個服務(wù)器和500 個教學(xué)客戶端。在構(gòu)建課程教學(xué)平臺的過程中，首先要安裝操作系統(tǒng)centos6.5，然后通過RPM 命令來安裝Apache、PHP、Mysql 等數(shù)據(jù)庫工具，因為Mysql 安裝時，Root 用戶的密碼是空的，所以為了保證數(shù)據(jù)的安全性，需要在短時間內(nèi)更改Root 用戶的密碼。除計算機專業(yè)課程教學(xué)平臺的實現(xiàn)與測試環(huán)境外，還需要準(zhǔn)備多個教學(xué)平臺測試用例，其中部分準(zhǔn)備情況如表2 所示。

表2 平臺測試用例設(shè)置表

此次平臺測試實驗共設(shè)置2000 個測試用例，每個用例的設(shè)置內(nèi)容均不相同。

（二） 描述平臺實現(xiàn)與測試過程

通過配置平臺服務(wù)器參數(shù)、用戶注冊、平臺啟動以及測試用例的導(dǎo)入，完成基于Hadoop 的計算機專業(yè)課程教學(xué)平臺的設(shè)計與開發(fā)，并得出部分測試用例的實現(xiàn)結(jié)果，如圖5 所示。

圖5 計算機專業(yè)課程教學(xué)平臺實現(xiàn)界面圖

此次平臺測試實驗分別從功能和性能兩個方面進行測試，在功能測試過程中，將準(zhǔn)備的測試用例導(dǎo)入到平臺中，觀察平臺的最終顯示結(jié)果，通過與預(yù)期結(jié)果的比對，判斷當(dāng)前用例功能是否成功完成。為實現(xiàn)平臺功能的量化測試，設(shè)置功能運行成功率作為實驗的測試指標(biāo)，其數(shù)值結(jié)果如下：

上式中，變量Numsuc和Numall分別為測試用例成功運行數(shù)量以及準(zhǔn)備測試用例的總數(shù)量，計算得出功能運行成功率ηsuc的值越大，說明平臺的教學(xué)功能越優(yōu)。另外基于Hadoop 的計算機專業(yè)課程教學(xué)平臺運行性能的量化測試指標(biāo)分別為客戶端平均響應(yīng)時間和服務(wù)器內(nèi)存占用量，其中客戶端平均響應(yīng)時間的數(shù)值結(jié)果為：

其中，Tclient-i表示第i個客戶端的響應(yīng)時間，m表示平臺測試設(shè)置的客戶端數(shù)量，取值為500，計算結(jié)果即為平臺的平均響應(yīng)時間。另外，服務(wù)器內(nèi)存占用量可以通過教學(xué)平臺后臺數(shù)據(jù)的調(diào)取直接得出。為達(dá)到平臺的優(yōu)化目的，要求優(yōu)化設(shè)計課程教學(xué)平臺的功能運行成功率不得低于98%，平均響應(yīng)時間不得高于5000ms，服務(wù)器內(nèi)存占用量不得高于0.5GB。

（三） 平臺測試結(jié)果分析

為避免偶然事件對實驗結(jié)果產(chǎn)生的影響，實驗采用多次實驗取平均值的方式，將準(zhǔn)備的測試用例平均分為5 組，通過相關(guān)數(shù)據(jù)的統(tǒng)計得出平臺運行功能的測試結(jié)果，如表3 所示。

表3 平臺功能測試結(jié)果數(shù)據(jù)表

將表3 中的數(shù)據(jù)代入到公式3 中，計算得出優(yōu)化設(shè)計平臺功能運行成功率的平均值為99.85%，高于98%。另外基于Hadoop 的計算機專業(yè)課程教學(xué)平臺的運行性能測試結(jié)果，如圖6 所示。

圖6 計算機專業(yè)課程教學(xué)平臺性能測試圖

從圖6 可以直觀看出，優(yōu)化設(shè)計課程教學(xué)平臺平均響應(yīng)時間的最大值為4400ms，低于5000ms，最大服務(wù)器內(nèi)存占用量為0.43GB，低于預(yù)設(shè)值。由此證明，優(yōu)化設(shè)計的基于Hadoop 的計算機專業(yè)課程教學(xué)平臺的運行功能與性能均滿足設(shè)計與應(yīng)用要求。

五、結(jié)語

綜上所述，通過Hadoop 架構(gòu)的應(yīng)用，有效地提高了計算機專業(yè)課程教學(xué)平臺的應(yīng)用性能，對于計算機專業(yè)的教學(xué)提供有效的輔助工具。在平臺測試工作中，未對并發(fā)數(shù)量進行測試，當(dāng)平臺同時在線人數(shù)增加時，可能會出現(xiàn)運行卡頓的情況，這需要在今后的研究中進一步優(yōu)化。