基于云計算技術(shù)的高校實驗室信息管理系統(tǒng)設(shè)計

文/張珍

1 系統(tǒng)設(shè)計支撐性技術(shù)概述

1.1 Hadoop

Hadoop 是云計算的核心技術(shù)，其內(nèi)涵為一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，基于Hadoop 技術(shù)人員在單一或數(shù)千個節(jié)點上布置服務(wù)器集群，并實現(xiàn)這些服務(wù)器集群的大容量型存儲和計算。研發(fā)Hadoop 的原因在于：傳統(tǒng)計算機存儲技術(shù)讀寫數(shù)據(jù)的速率較低，盡管隨著集成技術(shù)的飛速發(fā)展，主流硬盤的容量增長了數(shù)千倍，但由于數(shù)據(jù)存儲讀寫技術(shù)沒有實質(zhì)性提升，技術(shù)人員實際從硬盤上讀寫程序的速度只增長了數(shù)十倍。而Hadoop 能夠通過構(gòu)建并行數(shù)據(jù)讀寫體系，采用冗余讀寫的方式解決計算機數(shù)據(jù)存儲讀寫速率提升問題。此外，Hadoop 內(nèi)含MapReduce 編程模型，能夠?qū)崿F(xiàn)計算機磁盤數(shù)據(jù)抽象化讀寫，將待讀寫數(shù)據(jù)轉(zhuǎn)為數(shù)據(jù)集，提升數(shù)據(jù)讀寫的效率。

1.2 HDFS

HDFS 是分布式文件系統(tǒng)的簡稱，是云計算技術(shù)中負(fù)責(zé)存儲海量數(shù)據(jù)的關(guān)鍵技術(shù)。它采用塊單位方式對計算機數(shù)據(jù)進(jìn)行操作，HDFS 最少能夠操作64MB 大小的系統(tǒng)數(shù)據(jù)，其優(yōu)勢為：能夠?qū)Ａ繑?shù)據(jù)文件進(jìn)行操作，并可存儲PB 級別的數(shù)據(jù)，因此它成為了海量計算機數(shù)據(jù)存儲操作的“代名詞”。實際操作時，HDFS 采用兩種節(jié)點方式運行，分別為NameNode 和DataNode。首先，NameNode，即名稱節(jié)點，是HDFS 中心服務(wù)管理者，負(fù)責(zé)對整個文件系統(tǒng)命名空間、內(nèi)部存儲磁盤數(shù)據(jù)大小、訪問權(quán)限和路徑等信息的管理；其次，DataNode，即數(shù)據(jù)節(jié)點，是HDFS 文件系統(tǒng)操作者，負(fù)責(zé)系統(tǒng)數(shù)據(jù)的存儲、調(diào)用定位操作、保存文件塊及發(fā)送存儲塊列表。

2 系統(tǒng)設(shè)計需求和主要架構(gòu)

2.1 系統(tǒng)功能架構(gòu)設(shè)計

本系統(tǒng)以云計算分層思維為原則，采用分布式存儲及服務(wù)器虛擬化理念將云計算技術(shù)與常規(guī)高校實驗室管理軟硬件資源體系有機整合，構(gòu)建高速的實驗室管理云平臺架構(gòu)。具體來說，本系統(tǒng)的核心架構(gòu)由三部分組成，分別為：基礎(chǔ)設(shè)施層、管理通訊層和應(yīng)用交互層，如圖1所示。

（1）基礎(chǔ)設(shè)施層。以云計算虛擬技術(shù)為核心構(gòu)建，應(yīng)用Linux 操作系統(tǒng)設(shè)計實驗室虛擬化基礎(chǔ)設(shè)施服務(wù)器群，并基于Windows 搭建設(shè)施層訪問界面，對系統(tǒng)中的各類軟硬件設(shè)施進(jìn)行管理。

圖1：實驗室管理系統(tǒng)架構(gòu)圖

（2）管理通訊層。應(yīng)用Hadoop 搭建云環(huán)境，并運用HDFS 設(shè)計文件、信息和數(shù)據(jù)訪問分布式系統(tǒng)，大大提升實驗室管理信息的訪問吞吐量和速率，此外本層中每個Hadoop 組件中均配置了獨立的JAVA 虛擬機，用于進(jìn)行數(shù)字通信。

（3）應(yīng)用交互層?；贖adoop 云環(huán)境下搭建應(yīng)用交互層實現(xiàn)了實驗室管理信息的云端共享，為提升管理員和師生的應(yīng)用體驗，采用Web 瀏覽器設(shè)計訪問界面，簡便易操作。

2.2 系統(tǒng)功能概述

本系統(tǒng)主要負(fù)責(zé)對實驗室的日常運行狀況進(jìn)行數(shù)字網(wǎng)絡(luò)化管理，由計算機硬件和配套的管理軟件構(gòu)成。傳統(tǒng)模式下高校實驗室管理系統(tǒng)通?；贐/S 架構(gòu)設(shè)計，大多僅能實現(xiàn)局域網(wǎng)范圍內(nèi)管理效果，且數(shù)據(jù)存儲讀取速度較慢，隨著國內(nèi)各高校實驗室規(guī)模不斷擴大，待管理實驗室數(shù)據(jù)及項目也越來越多，傳統(tǒng)實驗室管理系統(tǒng)難以適應(yīng)新形勢下多元化管理需求。基于此探究基于云計算技術(shù)的高校實驗室管理系統(tǒng)，可大大提升管理的效率及管理數(shù)據(jù)存儲調(diào)用的速率。本系統(tǒng)的設(shè)計正是基于上述功能需求，以國內(nèi)某高校計算機專業(yè)實驗室管理系統(tǒng)為例，在實現(xiàn)系統(tǒng)用戶信息管理、實驗室課程信息管理、學(xué)科建設(shè)管理和實驗項目管理等功能基礎(chǔ)上，引入云計算中Hadoop 和HDFS 技術(shù)，以提升系統(tǒng)管理信息管理的速率和文件存儲容量。

3 系統(tǒng)云存儲管理功能的設(shè)計與實現(xiàn)

3.1 系統(tǒng)功能設(shè)計

圖2：系統(tǒng)讀寫數(shù)據(jù)測試速度對比圖

本系統(tǒng)具備用戶信息管理、實驗室課程信息管理、學(xué)科建設(shè)管理和實驗項目管理四大功能。首先，用戶信息管理。為實驗室管理員和使用師生提供登錄信息管理功能，包括：個人信息管理、個人密碼管理、用戶信息修改設(shè)置管理等。其次，實驗室課程信息管理。實現(xiàn)實驗室課程信息的遠(yuǎn)程云端管理，包含：遠(yuǎn)程云端選課、增加修改課程信息、請銷假等。再次，學(xué)科建設(shè)管理。實現(xiàn)了實驗室實踐課程項目化建設(shè)管理，包含：學(xué)科建設(shè)發(fā)展管理、實驗論文管理、實驗學(xué)科會議管理等。最后，實驗室項目管理。是實驗室軟硬件和各類日常事務(wù)項目管理的主要模塊，包含：實驗室儀器管理、服務(wù)器管理、數(shù)據(jù)庫管理及文件管理應(yīng)用Hadoop 和HDFS 技術(shù)構(gòu)建分布式文件管理系統(tǒng)，具體管理功能設(shè)計方案包含實驗室信息讀、寫及存儲兩個方面：

3.1.1 讀管理功能設(shè)計

在基于分布式文件管理系統(tǒng)的基礎(chǔ)上，通 過HDFS 中 系 統(tǒng) 文 件 的open（）函數(shù)打開預(yù)讀取的管理信息，進(jìn)一步調(diào)用DistributedFileSystem 中 的NameNode 獲 取 管理信息中的數(shù)據(jù)塊及相應(yīng)的讀節(jié)點地址，之后通過調(diào)用FSDataInputStream 將數(shù)據(jù)塊反饋給客戶端，完成管理信息的讀操作。

3.1.2 寫管理功能設(shè)計

寫管理用于向?qū)嶒炇夜芾硐到y(tǒng)中寫入信息，例如：用戶的個人信息、實驗室課程信息、實驗室儀器存放信息等，具體操作時首先需調(diào)用HDFS 中的create（）函數(shù)創(chuàng)建元數(shù)據(jù)節(jié)點，之后繼續(xù)調(diào)用DistributedFileSystem 打開讀數(shù)據(jù)通道，并進(jìn)一步調(diào)用DFSOutputStream將待寫入的源數(shù)據(jù)分解為若干數(shù)據(jù)節(jié)點，通過dataqueue 功能寫入數(shù)據(jù)。上述讀寫數(shù)據(jù)的操作均基于HDFS 分布式系統(tǒng)實現(xiàn)，在Hadoop構(gòu)建的架構(gòu)下形成了針對實驗室各項管理數(shù)據(jù)的快速高效讀寫操作，相較于傳統(tǒng)的實驗室管理系統(tǒng)而言，讀寫的效率能夠提升數(shù)百倍。

3.2 系統(tǒng)實現(xiàn)

基于云計算技術(shù)設(shè)計的高校實驗室管理系統(tǒng)相較于傳統(tǒng)實驗室管理系統(tǒng)的最大優(yōu)勢在于：對大容量數(shù)據(jù)的讀寫速率更快，且存儲吞吐量更大。為檢驗所設(shè)計系統(tǒng)的性能，特進(jìn)行了針對性的實驗室數(shù)據(jù)上傳下載測試，得出如圖2所示測試圖。

如圖2所示，應(yīng)用本系統(tǒng)讀寫實驗室管理數(shù)據(jù)信息時，當(dāng)數(shù)據(jù)容量<2GB 時，單一和集群數(shù)據(jù)的讀寫速率并無太大區(qū)別，但隨著數(shù)據(jù)容量的遞增，本系統(tǒng)對集群大容量數(shù)據(jù)的讀寫速率更快，而單一數(shù)據(jù)的讀寫速率更慢，說明基于云計算技術(shù)設(shè)計的實驗室信息存儲管理系統(tǒng)針對海量數(shù)據(jù)的讀寫存儲更具速率優(yōu)勢。

4 結(jié)語

應(yīng)用云計算設(shè)計高校實驗室信息存儲管理系統(tǒng)，在數(shù)據(jù)存儲和讀寫上相較于傳統(tǒng)系統(tǒng)更具優(yōu)勢，本文詳細(xì)闡述了應(yīng)用云計算技術(shù)設(shè)計高校實驗室信息存儲管理系統(tǒng)的方案，并對系統(tǒng)測試結(jié)果進(jìn)行了分析，希望能夠為國內(nèi)各高校的實踐應(yīng)用提供一些思路。