基于云環(huán)境下的科研管理服務(wù)平臺(tái)建設(shè)研究

(安徽省科學(xué)技術(shù)情報(bào)研究所,合肥 230091)

0 引言

科研管理服務(wù)是技術(shù)革新創(chuàng)新發(fā)展的后勤保障服務(wù)之一，隨著我國(guó)市場(chǎng)經(jīng)濟(jì)改革不斷深化，自主創(chuàng)新已經(jīng)成為時(shí)代發(fā)展的重要支撐，科研項(xiàng)目的數(shù)量也逐年增長(zhǎng)，經(jīng)費(fèi)數(shù)額不斷的增大，科研成果越來越多樣化，這就給科研管理服務(wù)提出了新的挑戰(zhàn)和要求。科研管理服務(wù)信息化是提高科研管理水平的重要手段之一，在面對(duì)海量科研項(xiàng)目信息和復(fù)雜的科研內(nèi)容方面，需要一種可靠的、安全的服務(wù)平臺(tái)進(jìn)行高效的管理，而云環(huán)境則是一種以分布式處理虛擬化服務(wù)的一種資源服務(wù)技術(shù)，可以大大提高科研管理服務(wù)信息化的質(zhì)量和效率，為此構(gòu)建云環(huán)境下的科研管理服務(wù)平臺(tái)具有非常重要的價(jià)值。本文以某科研單位科研管理工作內(nèi)容為出發(fā)點(diǎn)，通過分析科研管理信息化需求進(jìn)行科研管理服務(wù)平臺(tái)的設(shè)計(jì)，劃分用戶管理、科研管理、科研服務(wù)管理和系統(tǒng)管理四大模塊，對(duì)功能和數(shù)據(jù)庫進(jìn)行設(shè)計(jì)，搭建應(yīng)用環(huán)境進(jìn)行系統(tǒng)測(cè)試，通過應(yīng)用得到反饋，平臺(tái)對(duì)于該科研單位科研管理服務(wù)信息化具有很好的應(yīng)用效果。

1 關(guān)鍵技術(shù)

1.1 云計(jì)算

云計(jì)算中的“云”表示具有相當(dāng)規(guī)模，云計(jì)算也就相當(dāng)規(guī)模的計(jì)算。在互聯(lián)網(wǎng)發(fā)展的進(jìn)程中，本地計(jì)算已經(jīng)無法滿足海量數(shù)據(jù)的計(jì)算，為此通過一種基于網(wǎng)絡(luò)的虛擬化資源進(jìn)行按需分配形式的計(jì)算，動(dòng)態(tài)擴(kuò)展資源滿足不同需求的用戶對(duì)信息資源的利用。云計(jì)算的運(yùn)算能力非常的強(qiáng)大，甚至可以達(dá)到每秒10萬次，這種強(qiáng)大的計(jì)算力在信息爆炸的社會(huì)里具有非常重要的實(shí)用價(jià)值。

云計(jì)算是一種利用散落在各地的廉價(jià)計(jì)算機(jī)構(gòu)建的大規(guī)模計(jì)算和存儲(chǔ)服務(wù)云環(huán)境，它可以按照用戶的需求獲取網(wǎng)絡(luò)應(yīng)用資源，其服務(wù)模式主要包括軟件即服務(wù)、平臺(tái)即服務(wù)、基礎(chǔ)設(shè)施即服務(wù)和數(shù)據(jù)即服務(wù)等[1]。云計(jì)算可以動(dòng)態(tài)的擴(kuò)展和伸縮，支持?jǐn)?shù)據(jù)的寫入與讀取和軟件的遠(yuǎn)程應(yīng)用，云計(jì)算采用虛擬化技術(shù)對(duì)資源進(jìn)行整合可以保證數(shù)據(jù)的安全性和容錯(cuò)能力。云計(jì)算是一種按需使用并按使用量付費(fèi)的網(wǎng)絡(luò)訪問模式，用戶可以通過網(wǎng)絡(luò)使用存儲(chǔ)、軟件應(yīng)用、服務(wù)器等計(jì)算機(jī)資源，減少本地資源的利用，降低成本。

1.2 HDFS分布式存儲(chǔ)

HDFS是Hadoop框架下的基礎(chǔ)分布式存儲(chǔ)架構(gòu)，它是由Google公司提供的開源平臺(tái)，可以將大量分布在全世界各地的廉價(jià)計(jì)算機(jī)通過網(wǎng)絡(luò)連接在一起，每一計(jì)算機(jī)都可以作為一個(gè)DataNode節(jié)點(diǎn)，由服務(wù)器NameNode進(jìn)行統(tǒng)一的管理和資源的分配[2]。HDFS系統(tǒng)架構(gòu)如圖1所示。

圖1 HDFS系統(tǒng)架構(gòu)

在HDFS分布式文件系統(tǒng)中，有且僅有一個(gè)主服務(wù)器命名為NameNode。NameNode服務(wù)器節(jié)點(diǎn)可以對(duì)集群內(nèi)所有DataNode節(jié)點(diǎn)上的文件塊和元數(shù)據(jù)進(jìn)行統(tǒng)一的協(xié)調(diào)和管理。管理內(nèi)容包括定位元數(shù)據(jù)位置、調(diào)度數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)位置、查詢?cè)獢?shù)據(jù)等。

在NameNode服務(wù)器節(jié)點(diǎn)中，F(xiàn)SImage是保存HDFS文件系統(tǒng)目錄和文件的檢查點(diǎn)，每次元數(shù)據(jù)的寫入都都會(huì)使命名空間發(fā)生變化，而Editlog事務(wù)日志記錄了分布式文件系統(tǒng)的每一次操作信息，能夠有效的避免因多次操作而使FSImage文件頻繁被更改。

NameNode節(jié)點(diǎn)能夠監(jiān)聽來自所有DataNode節(jié)點(diǎn)和客戶端的發(fā)生事件，對(duì)DataNode節(jié)點(diǎn)和客戶端的操作請(qǐng)求進(jìn)行處理，其中節(jié)點(diǎn)操作請(qǐng)求信息主要包括數(shù)據(jù)塊狀態(tài)信息、節(jié)點(diǎn)存儲(chǔ)出錯(cuò)信息、心跳響應(yīng)等。

心跳檢測(cè)是DataNode節(jié)點(diǎn)通過發(fā)送心跳信息來周期性地向NameNode節(jié)點(diǎn)匯報(bào)自己當(dāng)前的節(jié)點(diǎn)狀態(tài)，若NameNode超過固定時(shí)間還未接收到DataNode心跳信息，則診斷為該DataNode節(jié)點(diǎn)出現(xiàn)故障。

1.3 虛擬化技術(shù)

虛擬化技術(shù)將計(jì)算機(jī)的軟硬件以一種虛擬化的方式提供給用戶使用，一方面降低用戶客戶端數(shù)據(jù)處理及軟件應(yīng)用的開銷，另一方面對(duì)資源進(jìn)行統(tǒng)一管理提高資源的安全性[3]。虛擬化技術(shù)可以解決物理硬件老舊更迭造成大量的資源浪費(fèi)問題，以產(chǎn)能低的物理設(shè)備重組，通過網(wǎng)絡(luò)將底層物理硬件資源進(jìn)行分區(qū)，為用戶提供遠(yuǎn)程的多樣化服務(wù)。采用虛擬化技術(shù)構(gòu)建虛擬機(jī)，虛擬化層是一個(gè)中間件，它對(duì)底層的硬件資源如硬盤、CPU、內(nèi)存等進(jìn)行封裝，為用戶層提供多份抽象資源。

在云環(huán)境下，虛擬化技術(shù)可以將底層硬件與應(yīng)用服務(wù)相隔離，將單個(gè)資源分裂出多個(gè)虛擬資源同時(shí)面向多個(gè)用戶提供服務(wù)，同時(shí)也可以將多個(gè)資源聚合成一個(gè)虛擬資源進(jìn)行管理。

2 系統(tǒng)設(shè)計(jì)

2.1 總體設(shè)計(jì)

科研管理服務(wù)平臺(tái)是對(duì)科研信息進(jìn)行收集、整理、組織、存儲(chǔ)、加工、使用與維護(hù)的綜合性服務(wù)平臺(tái)[4]，主要功能模塊劃分為科研信息管理模塊、科研信息統(tǒng)計(jì)模塊、科研信息查詢模塊以及系統(tǒng)管理模塊，各個(gè)模塊下結(jié)合科研管理服務(wù)的需求由下設(shè)了多個(gè)子功能，用戶管理模塊包括：管理員用戶管理、科研人員管理和科研服務(wù)人員管理；科研管理模塊包括：科研類型管理、科研信息管理、科研文件管理；科研服務(wù)管理模塊包括：科研信息統(tǒng)計(jì)與查詢、科研成果統(tǒng)計(jì)與查詢和科研經(jīng)費(fèi)統(tǒng)計(jì)與查詢；系統(tǒng)管理模塊包括：登錄日志管理功能、數(shù)據(jù)管理功能。科研管理服務(wù)平臺(tái)總體結(jié)構(gòu)如圖2所示。

圖2 科研管理服務(wù)平臺(tái)總體結(jié)構(gòu)

2.2 功能模塊設(shè)計(jì)

2.2.1 用戶管理功能設(shè)計(jì)

科研管理服務(wù)平臺(tái)用戶包括管理員、科研人員和科研服務(wù)人員，不同用戶使用平臺(tái)擁有不同的權(quán)限，管理員可以進(jìn)行系統(tǒng)功能的管理和系統(tǒng)安全的管理，包括對(duì)系統(tǒng)用戶的添加與編輯，查看系統(tǒng)登錄日志信息和進(jìn)行數(shù)據(jù)的備份與恢復(fù)；科研人員身份登錄系統(tǒng)可以進(jìn)行科研信息的申報(bào)和科研文件的上傳與下載；科研服務(wù)人員登錄系統(tǒng)可以進(jìn)行科研信息、科研成果、科研經(jīng)費(fèi)的統(tǒng)計(jì)與查詢。

所有用戶的用戶名和初始密碼均由管理員提供，用戶使用用戶名、密碼登錄系統(tǒng)時(shí)系統(tǒng)會(huì)根據(jù)用戶名及密碼的正確性進(jìn)行判斷，如果錯(cuò)誤則返回登錄界面，并提示“用戶名或密碼錯(cuò)誤”，如果用戶名及密碼正確則判斷用戶的身份，對(duì)應(yīng)進(jìn)入用戶權(quán)限范圍內(nèi)的操作界面

2.2.2 科研管理功能設(shè)計(jì)

科研管理功能是針對(duì)科研人員設(shè)計(jì)的功能模塊，科研類型管理中可以針對(duì)科研人員的科研項(xiàng)目屬性添加類型，再將科研信息添加到指定的科研類型下進(jìn)行申報(bào)，科研文件的上傳與下載要根據(jù)科研信息進(jìn)行匹配上傳，將科研信息與科研文件對(duì)應(yīng)。

科研管理功能的流程是科研人員首先在科研類型管理中選擇所要添加科研信息所屬的類型，如果沒有已經(jīng)設(shè)置好的類型，則需要添加新的科研類型，之后再將科研信息放置在指定的科研類型中，科研文件的上傳要指定科研信息，將與科研信息相匹配的文件上傳到指定的目錄中，當(dāng)科研人員需要下載科研文件時(shí)只需要進(jìn)入科研信息管理中找到對(duì)應(yīng)的文件下載即可。

2.2.3 科研服務(wù)管理功能設(shè)計(jì)

科研服務(wù)管理功能是為科研服務(wù)人員提供的功能模塊，科研服務(wù)人員可以對(duì)平臺(tái)上所有科研項(xiàng)目的信息進(jìn)行統(tǒng)計(jì)，查詢指定的科研項(xiàng)目?jī)?nèi)容。同樣還可以對(duì)已經(jīng)轉(zhuǎn)化為科研成果的項(xiàng)目進(jìn)行統(tǒng)計(jì)與查詢，對(duì)各個(gè)科研項(xiàng)目的經(jīng)費(fèi)進(jìn)行統(tǒng)計(jì)與查詢。

以科研服務(wù)人員身份登錄系統(tǒng)后可以按照科研項(xiàng)目的日期進(jìn)行統(tǒng)計(jì)查詢，也可以按照項(xiàng)目的類型、項(xiàng)目的申報(bào)人等進(jìn)行統(tǒng)計(jì)與查詢，查詢結(jié)果可以生成excel表格下載到本地計(jì)算機(jī)上。

2.2.4 系統(tǒng)管理功能設(shè)計(jì)

系統(tǒng)管理功能只能由管理員進(jìn)行操作，管理員身份登錄系統(tǒng)后可以查看每日的系統(tǒng)登錄日志信息，對(duì)應(yīng)顯示登錄的IP、用戶名等信息，便于管理員對(duì)非法登錄用戶進(jìn)行跟蹤。為了保證科研管理服務(wù)平臺(tái)數(shù)據(jù)的安全性，管理員需要定期進(jìn)行系統(tǒng)數(shù)據(jù)的備份，如果發(fā)生意外事故可以盡可能的將損失降到最低。

2.3 數(shù)據(jù)庫設(shè)計(jì)

科研管理服務(wù)平臺(tái)數(shù)據(jù)的寫入與讀取建立在云環(huán)境應(yīng)用之下，采用HDFS分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)處理，并通過MapReduce編程模型進(jìn)行數(shù)據(jù)的處理[5]。數(shù)據(jù)處理流程如圖3所示。

圖3 數(shù)據(jù)處理流程

科研管理服務(wù)平臺(tái)數(shù)據(jù)庫的設(shè)計(jì)根據(jù)功能模塊的劃分和數(shù)據(jù)的類型建立數(shù)據(jù)庫表，主要包括：用戶管理信息表、用戶信息表、科研信息表等。

用戶管理信息表字段主要包括：用戶名稱、用戶密碼、用戶權(quán)限。用戶管理信息表如表1所示。

用戶信息表字段主要包括：用戶ID、用戶姓名、用戶性別、身份證號(hào)、單位名稱、聯(lián)系電話、地址等。用戶信息表如表2所示。

表1 用戶管理信息表

表2 用戶信息表字段

科研信息表字段主要包括：項(xiàng)目編號(hào)、項(xiàng)目名稱、申報(bào)人、項(xiàng)目類型、科研成果類型、發(fā)布日期、科研內(nèi)容、備注等?？蒲行畔⒈砣绫?所示。

表3 科研信息表

3 系統(tǒng)應(yīng)用分析

3.1 環(huán)境搭建

此次科研管理服務(wù)平臺(tái)應(yīng)用環(huán)境的搭建采用了6臺(tái)普通計(jì)算機(jī)進(jìn)行云環(huán)境的搭建，其中一臺(tái)作為NameNade服務(wù)器，5臺(tái)作為DataNode節(jié)點(diǎn)，使用虛擬機(jī)vmware在Linux操作系統(tǒng)中安裝Java開發(fā)環(huán)境。

硬件環(huán)境NameNode CPU Xeon W3550、DataNode CPU Intel core2 Duo E6600、各節(jié)點(diǎn)硬盤20G、各節(jié)點(diǎn)內(nèi)存4G。軟件環(huán)境操作系統(tǒng)ubuntu14.04.3、開發(fā)工具M(jìn)yeclipse2014、Hadoop版本2.20、JDK版本1.7集群架構(gòu)如圖4所示：

圖4 集群架構(gòu)

Hadoop2.20提供了兩個(gè)NameNode節(jié)點(diǎn)，一個(gè)作為active節(jié)點(diǎn)，另一個(gè)作為standby節(jié)點(diǎn)。通過zookeeper監(jiān)控active節(jié)點(diǎn)狀態(tài)，二者只有一個(gè)NameNode節(jié)點(diǎn)管理集群工作，另外一個(gè)節(jié)點(diǎn)作為備用。當(dāng)active節(jié)點(diǎn)出現(xiàn)故障則zookeeper喚醒standby節(jié)點(diǎn)作為active節(jié)點(diǎn)。在兩個(gè)集群中zookeeper集群提供元數(shù)據(jù)的同步與NameNode的切換。

HDFS集群作為文件存系統(tǒng)調(diào)用Hadoop java api進(jìn)行接口操作實(shí)現(xiàn)數(shù)據(jù)的訪問。在hdfs-site.xml配置文件中應(yīng)用程序使用數(shù)據(jù)庫的大小和文件數(shù)，core-site.xml文件設(shè)定NameNode的端口號(hào)及IP地址。集群節(jié)點(diǎn)部署如表4所示：

表4 集群節(jié)點(diǎn)部署

平臺(tái)的整體架構(gòu)中除了云環(huán)境的云計(jì)算服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器外，還包括web服務(wù)器、負(fù)載均衡設(shè)備[6]。云計(jì)算服務(wù)器進(jìn)行科研管理信息資源的統(tǒng)一管理和計(jì)算；數(shù)據(jù)存儲(chǔ)服務(wù)器進(jìn)行數(shù)據(jù)和文件的存儲(chǔ)；web服務(wù)器提供平臺(tái)的訪問；負(fù)載均衡設(shè)備動(dòng)態(tài)的進(jìn)行資源分配。

3.2 系統(tǒng)測(cè)試

科研管理服務(wù)平臺(tái)開發(fā)完成后首先對(duì)系統(tǒng)各項(xiàng)功能測(cè)試，以保證系統(tǒng)的完整性、可靠性和實(shí)用性。系統(tǒng)功能測(cè)試內(nèi)容及結(jié)果如表5所示。

表5 系統(tǒng)功能測(cè)試內(nèi)容及結(jié)果

通過對(duì)功能的測(cè)試可以看出，系統(tǒng)功能具有較好的完整性和可靠性，能夠達(dá)到軟件的使用需求效果。

3.3 系統(tǒng)應(yīng)用評(píng)價(jià)

將該系統(tǒng)應(yīng)用于某科研單位進(jìn)行科研管理服務(wù)應(yīng)用，按照該科研單位的科研管理流程使用此系統(tǒng)進(jìn)行信息化管理，使用3個(gè)月的時(shí)間進(jìn)行效果的評(píng)價(jià)，用戶均對(duì)此系統(tǒng)表示出了認(rèn)可，可以滿足科研管理服務(wù)的基本需求，能夠提高科研管理服務(wù)的效率，并且在科研工作中逐步習(xí)慣了使用系統(tǒng)進(jìn)行信息交互，使科研管理服務(wù)平臺(tái)成為科研管理工作不可分割的組成部分。

通過用戶的反饋可以看出，系統(tǒng)在操作上具有用戶類型劃分的明確性，能夠簡(jiǎn)化科研人員項(xiàng)目申報(bào)流程和提高科研服務(wù)人員服務(wù)效率。在系統(tǒng)安全方面采用了數(shù)據(jù)集中式的管理方法，避免了因個(gè)人原因而導(dǎo)致的科研項(xiàng)目信息和科研成果丟失的問題。在科研經(jīng)費(fèi)使用情況方面，通過系統(tǒng)可以準(zhǔn)確的了解到科研經(jīng)費(fèi)落實(shí)情況，保證了科研經(jīng)費(fèi)支出的可追蹤性。

4 結(jié)論

1)科研管理服務(wù)是一項(xiàng)信息流非常龐大的工作內(nèi)容，通過基于云環(huán)境下的科研管理服務(wù)平臺(tái)建設(shè)可以將科研人員、科研服務(wù)人員的工作內(nèi)容進(jìn)行有機(jī)的結(jié)合，提高科研管理服務(wù)的效率，降低工作人員服務(wù)的壓力。

2)本文根據(jù)科研管理服務(wù)的工作對(duì)象和工作內(nèi)容設(shè)計(jì)科研管理服務(wù)平臺(tái)，劃分出三種類型的用戶和四個(gè)主要功能模塊，不同類型的用戶對(duì)應(yīng)使用權(quán)限范圍內(nèi)的功能模塊，操作簡(jiǎn)單，便于快速掌握使用方法。

3) 鑒于科研項(xiàng)目數(shù)量的龐大和項(xiàng)目類型的復(fù)雜，本文搭建基于HDFS的集群云環(huán)境進(jìn)行數(shù)據(jù)的服務(wù)，一方面為數(shù)據(jù)的寫入與讀取提供了可靠的服務(wù)支持，另一方面可以保證數(shù)據(jù)的安全性。

4) 經(jīng)過對(duì)系統(tǒng)功能的測(cè)試得到的結(jié)果是系統(tǒng)功能具有很好的完整性和可靠性，在經(jīng)過實(shí)踐應(yīng)用中獲得了廣泛的好評(píng)，說明了系統(tǒng)的實(shí)用性。