基于Openstack與Hadoop的實驗教學(xué)大數(shù)據(jù)系統(tǒng)應(yīng)用研究

齊連眾 張小鳳

摘? 要：針對高校實驗教學(xué)普遍存在的問題，提出構(gòu)建基于OpenStack與Hadoop技術(shù)的在線實驗教學(xué)大數(shù)據(jù)系統(tǒng)，融合Swift和HDFS技術(shù)，優(yōu)化數(shù)據(jù)處理，整合分散的教學(xué)資源，提高學(xué)生自主學(xué)習(xí)的效率。根據(jù)實驗教學(xué)需求靈活配置虛擬機(jī)，搭建Hadoop、Spark、Hive等各種大數(shù)據(jù)實驗鏡像環(huán)境。實現(xiàn)了教學(xué)資源的統(tǒng)一管理，各項應(yīng)用的快速部署，以及大數(shù)據(jù)的采集和存儲。系統(tǒng)經(jīng)測試可穩(wěn)定運(yùn)行，滿足教學(xué)、管理等需求，亦可應(yīng)用于大數(shù)據(jù)計算、云計算等科研領(lǐng)域。

關(guān)鍵詞：大數(shù)據(jù)應(yīng)用；OpenStack；Hadoop；實驗教學(xué)

中圖分類號：TP393? ? 文獻(xiàn)標(biāo)識碼：A? ? 文章編號：2096-4706（2023）17-0131-05

Research on the Application of Experimental Teaching Big Data System Based on Openstack and Hadoop

QI Lianzhong1，2， ZHANG Xiaofeng1

（1.Beijing Institute of Technology， Zhuhai， Zhuhai? 519088， China;

2.School of Statistics， University of International Business and Economics， Beijing? 100029， China）

Abstract： In view of the common problems in experimental teaching in colleges and universities， it is proposed to build an online experimental teaching big data system based on OpenStack and Hadoop technology， integrate Swift and HDFS technology， and optimize data processing. Integrate scattered teaching resources and improve the efficiency of students' autonomous learning. Configure virtual machines flexibly according to the needs of experimental teaching， and build Hadoop， Spark， Hive and other big data experimental image environments. It realizes the unified management of teaching resources， the rapid deployment of various applications， and the collection and storage of big data. After testing， the system can run stably， meet the needs of teaching and management， and can also be applied to scientific research field such as big data computing and cloud computing.

Keywords： big data application; OpenStack; Hadoop; experimental teaching

0? 引? 言

大數(shù)據(jù)和云計算的開發(fā)大大推動了新技術(shù)和新應(yīng)用的不斷涌現(xiàn)，在很大程度上改變了高校信息技術(shù)相關(guān)專業(yè)的現(xiàn)有教學(xué)和科研體制[1]。傳統(tǒng)的實驗教學(xué)往往重理論、輕實踐，所以在實驗教學(xué)模式設(shè)置上偏重于對理論知識的驗證，同一門課程的實驗之間相對獨(dú)立，缺乏綜合性、設(shè)計性的實驗，不同課程之間的實驗也少有聯(lián)系[2]。可供學(xué)生使用的教學(xué)資源（課件、視頻、軟件、教學(xué)資料等）相對匱乏且較為分散，且具有較高的冗余性、較低的共享性等問題。因此，利用云技術(shù)構(gòu)建一個基于OpenStack的在線實驗云平臺，整合分散的各類實驗教學(xué)資源，促進(jìn)實驗教學(xué)的數(shù)字化、網(wǎng)絡(luò)化[3-5]。利用實驗室閑置的基礎(chǔ)硬件搭建一個基于Hadoop的分布式的計算集群，用以存儲不斷增長的教學(xué)資源數(shù)據(jù)[6]，收集實驗教學(xué)中的過程數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)分析學(xué)生學(xué)習(xí)行為表現(xiàn)。將Hadoop與OpenStack技術(shù)整合在一起，發(fā)揮兩者的優(yōu)勢，優(yōu)化資源的配置及管理，根據(jù)用戶的具體需求，彈性配置教學(xué)的軟硬件資源，對實驗教學(xué)的發(fā)展具有十分積極的意義。

1? OpenStack與Hadoop介紹

OpenStack是一個免費(fèi)的開源云計算框架[7]，包含一系列核心的和可選的組件，支持KVM、Xen、Lvc、Docker等虛擬機(jī)軟件或容器，可以提供彈性的、可擴(kuò)展的云計算服務(wù)。通過命令或者基于Web的可視化控制面板來管理IaaS云端的資源池（服務(wù)器、存儲和網(wǎng)絡(luò)）。

Hadoop是一個開源的、可運(yùn)行于大規(guī)模集群上的分布式計算平臺，其包含HDFS（分布文件系統(tǒng)）和MapReduce（是面向大數(shù)據(jù)并行處理的計算框架）兩個核心組件。實現(xiàn)了低成本部署和大數(shù)據(jù)的存儲與處理[8]。

OpenStack和Hadoop具有各自的特點，OpenStack相當(dāng)于虛擬化和Hadoop之間的紐帶。虛擬化提供資源，OpenStack對外提供服務(wù)，可以嫁接和管理各種架構(gòu)。Hadoop為上層的應(yīng)用軟件提供各種支持，其所擁有的各種組件工具通過Openstack云操作系統(tǒng)調(diào)用被虛擬化的底層節(jié)點機(jī)進(jìn)行計算。因此，將Hadoop的HDFS和OpenStack的Swift相融合，實現(xiàn)兩者數(shù)據(jù)的直接訪問，可顯著地提高數(shù)據(jù)的處理效率，降低系統(tǒng)的投入成本[9]。

2? 系統(tǒng)需求分析

本文設(shè)計的基于OpenStack與Hadoop技術(shù)的在線實驗教學(xué)大數(shù)據(jù)系統(tǒng)是對分散的教學(xué)資源進(jìn)行整合，并且能滿足一定的科研需求，因此，需要綜合考慮底層硬件的支撐、管理組件的部署和上層各應(yīng)用模塊的功能。

首先，存儲是教學(xué)實現(xiàn)信息化的核心，云存儲可以實現(xiàn)教學(xué)的數(shù)字化、網(wǎng)絡(luò)化，充分整合學(xué)校已有的各項資源，包括硬件資源（閑置的計算機(jī)、交換機(jī)、服務(wù)器等），教學(xué)資源（教學(xué)視頻、講義、PPT、作業(yè)、軟件仿真、程序源代碼、教師答疑等），還包括數(shù)字圖書館入口等資源（電子圖書、軟件、文獻(xiàn)等）。

然后，系統(tǒng)應(yīng)能提供統(tǒng)一的用戶管理、數(shù)據(jù)庫管理、用戶登錄、認(rèn)證等服務(wù)，以Web界面的形式提供訪問入口。為用戶提供豐富的應(yīng)用，包括個人門戶、課程平臺、校內(nèi)論壇、教學(xué)資源庫、在線實驗課程等。

最后，系統(tǒng)可以收集用戶的行為信息，使用日志等，學(xué)生可以在線上傳實驗數(shù)據(jù)、實驗報告、作業(yè)等。供系統(tǒng)后續(xù)的數(shù)據(jù)挖掘使用，分析出用戶的行為畫像，輔助教師了解學(xué)生學(xué)習(xí)情況，同時亦能為科研提供分析數(shù)據(jù)。

3? 系統(tǒng)設(shè)計與實現(xiàn)

3.1? 系統(tǒng)總體架構(gòu)

實驗教學(xué)大數(shù)據(jù)系統(tǒng)主要分為基礎(chǔ)層、管理層、資源服務(wù)層和用戶層4個層次，具體架構(gòu)如圖1所示。

1）基礎(chǔ)層：根據(jù)大數(shù)據(jù)系統(tǒng)的需求，結(jié)合實驗室現(xiàn)有資源，選擇H3C UniServer R4900 G3作為控制節(jié)點，用以統(tǒng)一調(diào)度和管理整個大數(shù)據(jù)系統(tǒng)。Neutron作為系統(tǒng)的網(wǎng)絡(luò)節(jié)點，負(fù)責(zé)管理私有網(wǎng)段和公有網(wǎng)段之間的通信，虛擬機(jī)網(wǎng)絡(luò)之間的通信以及防火墻等。點計算節(jié)點主要包含計算服務(wù)、網(wǎng)絡(luò)服務(wù)以及監(jiān)控服務(wù)。存儲節(jié)點負(fù)責(zé)為計算節(jié)點提供存儲功能。在OpenStack框架下進(jìn)行搭建控制節(jié)點、網(wǎng)絡(luò)節(jié)點、計算節(jié)點、存儲節(jié)點，利用防火墻和交換機(jī)配置網(wǎng)絡(luò)，實現(xiàn)對管理層的訪問。在系統(tǒng)上整合Swift與HDFS實現(xiàn)大數(shù)據(jù)集的統(tǒng)一訪問。

2）管理層：作為整個系統(tǒng)的核心部分，其能夠?qū)崿F(xiàn)資源的動態(tài)分配和管理，在作業(yè)結(jié)束后釋放資源。統(tǒng)一管理課程平臺、在線實驗、網(wǎng)盤資源模塊等Web網(wǎng)站，并對其整個資源進(jìn)行監(jiān)控。

3）資源服務(wù)層：提供負(fù)責(zé)支撐各項應(yīng)用的計算資源，軟硬件資源及各項教學(xué)資源，以及實驗鏡像環(huán)境、論壇、網(wǎng)盤等。

4）用戶層：提供了統(tǒng)一的Web接口給用戶（教師、學(xué)生、管理員），可以使用瀏覽器訪問在線平臺。同時這些行為數(shù)據(jù)也會被記錄并保存，為大數(shù)據(jù)分析使用。

3.2? 在線平臺實現(xiàn)

使用Fuel工具搭建OpenStack環(huán)境：

1）安裝Virtual Box，設(shè)置專用網(wǎng)絡(luò)、公共網(wǎng)絡(luò)以及內(nèi)部管理網(wǎng)絡(luò)。

2）新建Fuel節(jié)點，安裝Fuel Master虛擬機(jī)。

3）在Web端登錄，創(chuàng)建Open stack環(huán)境。

4）安裝Xftp，新增本地源。

5）增加Controller和Compute虛擬機(jī)節(jié)點

6）Web端添加節(jié)點，配置端口，配置Fuel網(wǎng)絡(luò)。

7）Openstack網(wǎng)絡(luò)配置，開始部署節(jié)點。

搭建基于OpenStack在線實驗云平臺，其邏輯結(jié)構(gòu)如圖2所示。

應(yīng)用Horizon的Web可視化UI管理和監(jiān)控平臺以及其他各組的運(yùn)行狀態(tài)，通過核心組件Nova（計算服務(wù)）管理虛擬機(jī)，Keystone（認(rèn)證服務(wù)）負(fù)責(zé)用戶認(rèn)證和服務(wù)目錄，Cinder（塊存儲）提供塊存儲服務(wù)，Neutron（組網(wǎng)）管理網(wǎng)絡(luò)，Glance（鏡像服務(wù)）存取虛擬機(jī)磁盤鏡像文件，安裝MySQL，然后部署Swift（象存儲服務(wù)），配合其他可選組件實現(xiàn)系統(tǒng)的彈性部署。

3.3? 大數(shù)據(jù)計算平臺實現(xiàn)

3.3.1? 安裝配置Hadoop

利用實驗室閑置的計算機(jī)安裝Linux系統(tǒng)并搭建一個局域網(wǎng)，配置Java開發(fā)環(huán)境，確定好集群的規(guī)模，配置SSH免密登錄。選取其中一臺作為master，其余為slaves。配置IP等信息存放在/etc/hosts文件上，將Hadoop安裝在/usr/local目錄下，在master上進(jìn)行配置（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml），完成Hadoop的文件配置后，將其復(fù)制到slaves的各個節(jié)點的相同位置，修改配置文件，設(shè)置Hadoop的環(huán)境變量，使環(huán)境變量生效。進(jìn)行相應(yīng)測試，確認(rèn)部署完成。

3.3.2? HDFS的Web界面

在部署好Hadoop集群之后，我們可以通Web界面訪問HDFS文件系統(tǒng)，查看各個節(jié)點的分布信息，瀏覽名稱節(jié)點上的日志等信息，上傳或下載文件。所有這些功能都可通過Liunx的Shell命令或者JavaAPI接口實現(xiàn)。

如圖3所示，在瀏覽器地址欄中輸入master：50070即可打開HDFS的Web界面。點擊Overview就可以查看文件系統(tǒng)的基本信息，例如系統(tǒng)啟動時間、Hadoop版本號、Hadoop源碼編譯時間、集群ID等。

3.3.3? 配置HBase

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不能滿足海量的大數(shù)據(jù)存儲的需求，HBase是一個高可靠、可伸縮、實時讀寫、分布式的列式數(shù)據(jù)庫，其具有很好的橫向擴(kuò)展性能，通過增加服務(wù)器來實現(xiàn)存儲能力的提升。可采用HDFS作為其底層數(shù)據(jù)存儲。具有強(qiáng)大的非結(jié)構(gòu)化數(shù)據(jù)存儲能力。HBase采用分區(qū)存儲，一個大的表會被分拆為許多個Region，這些Region會被分發(fā)到不同的服務(wù)器上實現(xiàn)分布式存儲[10]。

將HBase安裝在/usr/local/hbase目錄下，然后配置環(huán)境變量，配置HBase的數(shù)據(jù)在HDFS中的位置，分發(fā)HBase到各子節(jié)點，通過$ bin/start-hbase.sh命令啟動HBase集群，通過瀏覽器訪問，可查看HBase的狀態(tài)。通過$ hbase shell命令實現(xiàn)對集群進(jìn)行HBase的詳細(xì)操作。

3.4? HDFS和Swift整合

由于Hadoop的文件系統(tǒng)HDFS是基于Java開發(fā)的，而OpenStack Object Storage（Swift）采用Python開發(fā)，因此不能直接兼容。為了實現(xiàn)Hadoop的MapReduce可直接分析Swift中的內(nèi)容，需要設(shè)計一個適配器，用來繼承FileSystem類，向下可以調(diào)用Swift自有的適配Java的API-（Java-cloudfiles），實現(xiàn)對Swift（Object Storage）的各種操作。適配器的邏輯關(guān)系如圖4所示。

適配器的設(shè)計如下：SwiftAdapter class繼承FileSystem抽象類，實現(xiàn)對Swift的輸入流（Swift InputStream）的read和seek操作，實現(xiàn)對Swift的輸出流（SwiftOutputStream）的write和flush操作，可調(diào)用Swift Java API實現(xiàn)創(chuàng)建文件、打開文件、獲得URI、創(chuàng)建目錄等操作。

4? 大數(shù)據(jù)系統(tǒng)應(yīng)用

用戶使用大數(shù)據(jù)實驗教學(xué)系統(tǒng)進(jìn)行教學(xué)、學(xué)習(xí)和管理的流程，如圖5、圖6所示。通過本系統(tǒng)的建設(shè)，將教學(xué)資源數(shù)字化統(tǒng)一管理，能夠極大的提高使用者的工作效率。

教學(xué)輔助人員的操作流程如圖7所示，通過管理界面，可以對整個實驗教學(xué)大數(shù)據(jù)系統(tǒng)的運(yùn)行進(jìn)行統(tǒng)一的調(diào)度，實現(xiàn)對資源的高效管理。

實驗教學(xué)大數(shù)據(jù)系統(tǒng)可與學(xué)校的各個信息管理系統(tǒng)相連接，實現(xiàn)數(shù)據(jù)信息的同步與共享，從而能夠有效地整合學(xué)校的各類教學(xué)數(shù)據(jù)，為大數(shù)據(jù)分析提供可靠的原始數(shù)據(jù)。一方面，可以進(jìn)行學(xué)生單一的課程數(shù)據(jù)分析、學(xué)業(yè)表現(xiàn)分析等，可以讓學(xué)生和教師更全面的、直觀的了解學(xué)習(xí)情況；另一方面，可以進(jìn)行課程教學(xué)分析、學(xué)科整體分析等，為課程教學(xué)改革及學(xué)科發(fā)展提供指導(dǎo)，亦可應(yīng)用于科研活動中。

5? 系統(tǒng)測試

5.1? OpenStack測試

在Fuel環(huán)境下，通過日志選項卡查看安裝日志等信息，通過健康檢查選項卡可以快速地進(jìn)行Openstack環(huán)境健康情況檢測。如圖8所示。

5.2? Hadoop集群測試

在master節(jié)點上，進(jìn)入Hadoop目錄啟動Hadoop：

$ cd /usr/local/hadoop/

$ bin/hdfs namenode -format

$ sbin/start-dfs.sh #啟動hdfs

$ sbin/start-yarn.sh ##啟動yarn

通過命令jps查看各個節(jié)點所啟動的進(jìn)程。在master節(jié)點上通過$ bin/hdfs dfsadmin -report命令查看DataNode是否正常啟動。

5.3? 功能測試

使用黑盒測試方法針對軟件的UI和各項功能進(jìn)行相應(yīng)的測試。因測試用例繁雜，組織學(xué)生志愿者參與測試，保證系統(tǒng)正常、穩(wěn)定后再引入課堂。

5.4? 性能測試

5.4.1? 響應(yīng)測試

隨機(jī)統(tǒng)計若干項系統(tǒng)完成任務(wù)所需要的時間，以及任務(wù)執(zhí)行時CPU和內(nèi)存的使用率，如表1所示。

5.4.2? 可靠性測試

為抗單節(jié)點故障，系統(tǒng)還設(shè)置了兩個Master Server。經(jīng)測試當(dāng)某臺機(jī)器宕機(jī)之后，系統(tǒng)依舊可以正常運(yùn)行。當(dāng)數(shù)據(jù)庫服務(wù)器宕機(jī)時，重啟機(jī)器之后，經(jīng)測試系統(tǒng)也可以正常運(yùn)行。

6? 結(jié)? 論

本文針對高校實驗教學(xué)普遍“重理論，輕實踐”的現(xiàn)狀，以及實驗教學(xué)內(nèi)容多為機(jī)械重復(fù)，教學(xué)工作量大，自學(xué)資料偏少，學(xué)習(xí)時間相對固定，缺乏合理的多元化評價方式等問題，構(gòu)建了實驗教學(xué)大數(shù)據(jù)系統(tǒng)，推動傳統(tǒng)課堂向網(wǎng)絡(luò)轉(zhuǎn)變，拓展了實驗學(xué)習(xí)的空間與時間，有助于學(xué)生自主學(xué)習(xí)、自主管理。按需彈性部署各項軟硬件資源，提高了實驗教學(xué)效率。將HDFS與Swift技術(shù)相融合，提高了數(shù)據(jù)的訪問和處理效率，優(yōu)化了復(fù)雜的軟件結(jié)構(gòu)，降低了硬件成本。對系統(tǒng)進(jìn)行了穩(wěn)定性等各方面的測試，滿足教學(xué)需求，實現(xiàn)了實驗教學(xué)的數(shù)字化、網(wǎng)絡(luò)化。

參考文獻(xiàn)：

[1] 賈潤亮.新時期對計算機(jī)大數(shù)據(jù)與云計算網(wǎng)絡(luò)技術(shù)的思考 [J].軟件，2022，43（1）：74-76.

[2] 潘正軍，趙蓮芬，袁麗娜.基于OpenStack的云計算和大數(shù)據(jù)實驗教學(xué)平臺應(yīng)用研究[J].現(xiàn)代計算機(jī)：專業(yè)版，2017（31）：53-57.

[3] SEFRAOUI O，AISSAOUI M，ELEULDJ M. OpenStack：Toward an Open-Source Solution for Cloud Computing [J].International Journal of Computer Applications，2012，55（3）：38-42.

[4] 何俊彥.基于OpenStack的教學(xué)資源云平臺建設(shè)與應(yīng)用 [J].計算機(jī)應(yīng)用與軟件，2017，34（9）：124-127.

[5] 干瑞杰.基于OpenStack的校園實驗室私有云構(gòu)建及高可用性研究 [J].中國科技信息，2020（8）：100-103+12.

[6] 薛志云，何軍，張丹陽，等.Hadoop和Spark在實驗室中部署與性能評估 [J].實驗室研究與探索，2015，34（11）：77-81.

[7] OPENSTACK. OpenStack Documentation [EB/OL].[2023-02-28].http：//docs.openstack.org.

[8] LANDSET S，KHOSHGOFTAAR T M，RICHTER A N，et al. A survey of open source tools for machine learning with big data in the Hadoop ecosystem [J].Journal of Big Data，2015，2（1）：1-36.

[9] 李金亮，翟永剛，湯向東.基于Hadoop+Openstack云存儲的研究 [J].計算機(jī)光盤軟件與應(yīng)用，2014，17（11）：60-61.

[10] 蔡春花，黃思遠(yuǎn)，高繼梅.基于Hadoop的學(xué)習(xí)行為數(shù)據(jù)云存儲平臺的設(shè)計與實現(xiàn)[J].軟件工程，2022，25（10）：50-53+49.

作者簡介：齊連眾（1984—），男，漢族，遼寧鐵嶺人，實驗師，碩士研究生，研究方向：計算機(jī)應(yīng)用技術(shù)、大數(shù)據(jù)應(yīng)用技術(shù)等。