一種經(jīng)濟(jì)開(kāi)源大數(shù)據(jù)實(shí)驗(yàn)教學(xué)平臺(tái)設(shè)計(jì)研究

曹天澤

(杭州師范大學(xué)，杭州 311121)

0 引言

機(jī)房供學(xué)生教學(xué)的電腦都安裝了windows操作系統(tǒng)，在windows系統(tǒng)中體驗(yàn)Linux系統(tǒng)時(shí)共有兩種方案，一種是在windows內(nèi)安裝虛擬管理軟件VMware Workstation，該方案要求教學(xué)電腦內(nèi)存需8G以上，在運(yùn)行2G內(nèi)存Linux虛擬機(jī)時(shí)才不會(huì)對(duì)其他軟件的運(yùn)行有明顯的影響，且VMware Workstation是一款商業(yè)收費(fèi)軟件，每個(gè)安裝使用VMware Workstation的教學(xué)電腦都要向VMvare公司購(gòu)買授權(quán)許可證。另一種是在遠(yuǎn)端服務(wù)器的電腦上安裝Linux，教學(xué)電腦通過(guò)SSH客戶端連接Linux。該方案要求學(xué)生熟悉基本的Shell操作命令，但對(duì)教學(xué)電腦的硬件要求不高，運(yùn)算負(fù)載集中在服務(wù)器端?，F(xiàn)有許多公司提供此問(wèn)題的解決方案，但需付費(fèi)購(gòu)買昂貴的服務(wù)器和工作站，且高度封裝，不利于學(xué)生了解底層技術(shù)。本研究提出的實(shí)訓(xùn)方案是基于遠(yuǎn)端服務(wù)器安裝Linux，硬件可以利用淘汰的老PC機(jī)，軟件采用開(kāi)源平臺(tái)，無(wú)需投入過(guò)多成本。

1 相關(guān)技術(shù)概述

1.1 SSH

SSH(Secure Shell)是一種基于非對(duì)稱加密的網(wǎng)絡(luò)協(xié)議，在安裝了Linux系統(tǒng)的電腦中安裝SSH協(xié)議的服務(wù)端軟件后，處于同一網(wǎng)絡(luò)的其他電腦可以通過(guò)SSH客戶端登錄電腦，通過(guò)Shell命令操作該Linux電腦，也可以通過(guò)支持SFTP的軟件對(duì)該Linux電腦上傳和下載文件。本研究采用的基于Windows的開(kāi)源SSH客戶端軟件為PuTTY和WinSCP，基于Linux的開(kāi)源SSH服務(wù)端軟件為openssh-server。

1.2 QEMU-KVM

KVM[1](Kernel-based Virtual Machine)是Linux系統(tǒng)自帶的內(nèi)核模塊，此模塊能實(shí)現(xiàn)CPU的虛擬化和內(nèi)存虛擬化。QEMU(quick emulator)是一款免費(fèi)開(kāi)源的可執(zhí)行硬件虛擬的軟件。QEMU-KVM是KVM的開(kāi)發(fā)者對(duì)二者封裝后生成的軟件，由KVM負(fù)責(zé)CPU和內(nèi)存的虛擬化，QEMU負(fù)責(zé)其他IO設(shè)備的虛擬化。

1.3 Libvirt和virt-manager

Libvirt[2]是一套基于C語(yǔ)言的開(kāi)源虛擬機(jī)管理API，它支持KVM、QEMU、Xen等虛擬機(jī)化計(jì)算， API可以通過(guò)編程方式管理虛擬機(jī)。virt-manager[3]是紅帽公司推出的一套開(kāi)源圖形學(xué)虛擬機(jī)管理軟件，它功能強(qiáng)大，操作簡(jiǎn)便。

2 實(shí)驗(yàn)教學(xué)平臺(tái)的設(shè)計(jì)方案

2.1 總體架構(gòu)

硬件資源分為三部分：第一部分是頂端的“學(xué)生機(jī)”，安裝系統(tǒng)為window 7或windows 10操作系統(tǒng)。第二部分為底部“VM服務(wù)端”，根據(jù)教學(xué)人數(shù)和本機(jī)電腦配置所需臺(tái)數(shù)。第三部分為右方的“VM管理端”，用來(lái)管理VM服務(wù)端虛擬機(jī)的創(chuàng)建、啟動(dòng)和關(guān)閉。第二部分和第三部分的機(jī)器全部安裝Linux系統(tǒng)，推薦使用Ubuntu 16.04以上操作系統(tǒng)。機(jī)器需在一個(gè)網(wǎng)絡(luò)內(nèi)，相互之間可以連通。

圖1 總體架構(gòu)圖Fig.1 General structure diagram

2.2 軟件設(shè)計(jì)方案

整體軟件設(shè)計(jì)分為以下幾個(gè)步驟：(1)在“學(xué)生機(jī)”中安裝PuTTY和WinSCP；(2)在“VM服務(wù)端”安裝KVM-QEMU和附屬軟件，Ubuntu系統(tǒng)在命令行輸入“sudo apt install qemu qemu-kvm libvirt-bin bridge-utils ssh-askpass”后，系統(tǒng)會(huì)自動(dòng)安裝；(3)在“VM服務(wù)端”安裝ssh服務(wù)端軟件，Ubuntu系統(tǒng)在命令行輸入“sudo apt intall openssh-server”后，由系統(tǒng)自動(dòng)安裝；(4)在“VM管理端”中安裝virt-manager軟件，Ubuntu系統(tǒng)在命令行輸入“sudo apt install virt-manager”后，由系統(tǒng)自動(dòng)安裝；(5)在“VM管理端”中配置各個(gè)“VM服務(wù)端”ssh免密碼登錄功能。首先在命令行輸入命令“ssh-keygen -t rsa”，在VM管理端的home主目錄下的“.ssh”目錄中生成名稱為“id_rsa.pub”的密鑰，然后執(zhí)行“ssh-copy-id -i ～/.ssh/id_rsa.pub username@ipaddress”命令，其中“ipaddress”需替換為VM服務(wù)端的IP地址，“username”需替換為VM服務(wù)端Linux系統(tǒng)的賬戶名；(6)在“VM管理端”中啟動(dòng)virt-manager，通過(guò)該軟件菜單欄的“File”->“Add Connection”，在彈出的選項(xiàng)框中分別輸入各“VM服務(wù)端”的賬戶名及IP，將各個(gè)VM服務(wù)端納入VM管理端的管理范圍；(7)在virt-manager中連接任意一個(gè)VM服務(wù)端，并借助事先下載的LinuxISO鏡像創(chuàng)建VM，內(nèi)存建議不小于2G，網(wǎng)絡(luò)連接選擇“橋接網(wǎng)絡(luò)”(bridged networking)。完成VM創(chuàng)建后，通過(guò)virt-manager登錄到VM，為VM配置同一網(wǎng)絡(luò)的IP信息，并在VM中安裝ssh服務(wù)端軟件，Ubuntu系統(tǒng)在命令行輸入“sudo apt intall openssh-server”，由系統(tǒng)自動(dòng)安裝；按照教學(xué)需求虛擬機(jī)的數(shù)量克隆上一步驟，創(chuàng)建VM，并為克隆的每個(gè)VM配置同一網(wǎng)絡(luò)的IP信息。

2.3 實(shí)訓(xùn)流程

在實(shí)訓(xùn)相關(guān)課程時(shí)先啟動(dòng)全部電腦，在VM管理端啟動(dòng)virt-manager，通過(guò)界面操作，啟動(dòng)每個(gè)VM。學(xué)生在教學(xué)電腦上使用PuTTY或WinSCP軟件，通過(guò)輸入對(duì)應(yīng)VM的IP和賬戶名登錄到虛擬機(jī)進(jìn)行實(shí)訓(xùn)操作。

3 結(jié)語(yǔ)

軟件開(kāi)發(fā)課程教學(xué)必須理論結(jié)合實(shí)訓(xùn)，只有通過(guò)動(dòng)手操作，才能舉一反三的驗(yàn)證理論。有別于以往計(jì)算機(jī)課程在windows系統(tǒng)中就可完成從開(kāi)發(fā)到運(yùn)行以及驗(yàn)證的全部步驟，大數(shù)據(jù)軟件開(kāi)發(fā)課程必須基于Linux類系統(tǒng)進(jìn)行運(yùn)行驗(yàn)證。本方案在無(wú)需投資的情況下充分利用舊有硬件資源和免費(fèi)開(kāi)源軟件，具有易上手，低投入的特點(diǎn)。但部署過(guò)程中還有更多優(yōu)化空間，如通過(guò)編寫Linux腳本簡(jiǎn)化運(yùn)維，定制化鏡像的開(kāi)發(fā)，都有待進(jìn)一步的研究和改進(jìn)。