海委數(shù)據(jù)中心云計算平臺構(gòu)建與思考

宗華麗

海委數(shù)據(jù)中心云計算平臺構(gòu)建與思考

宗華麗

（海河水利委員會水利信息網(wǎng)絡(luò)中心，天津300170）

針對海委數(shù)據(jù)中心節(jié)能、負載均衡、快速部署以及統(tǒng)一管理等應(yīng)用需求和海委信息化系統(tǒng)的健康協(xié)調(diào)、可持續(xù)發(fā)展，結(jié)合云計算平臺技術(shù)以及大數(shù)據(jù)應(yīng)用技術(shù)，海委構(gòu)建了由計算資源池、存儲資源池和應(yīng)用安全防護體系組成的云計算平臺架構(gòu)，并在此基礎(chǔ)上進行大數(shù)據(jù)的資源整合，以解決海委數(shù)據(jù)中心發(fā)展中遇到的實際問題以及滿足海委數(shù)據(jù)中心信息化的可持續(xù)發(fā)展。

云計算平臺；大數(shù)據(jù)；信息資源整合

云計算能夠?qū)崿F(xiàn)基礎(chǔ)設(shè)施的彈性自動化管理，按需分配合理的資源配置，簡化信息化應(yīng)用基礎(chǔ)設(shè)施的部署與管理，縮短業(yè)務(wù)應(yīng)用的上線周期，構(gòu)建信息化云計算平臺能夠按照實際需求將網(wǎng)絡(luò)、計算、存儲和服務(wù)等信息資源進行整合，在云平臺中可以按需對共享資源進行配置，對信息資源進行快速分配，通過網(wǎng)絡(luò)接入云平臺，用戶能夠按需求進行資源的預(yù)分配和訪問，這是目前較為先進的計算機技術(shù)。大數(shù)據(jù)（big data），是指海量的無法用常用的工具進行采集計算的數(shù)據(jù)集合，它必須采用分布式的架構(gòu)進行數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)具有量大、高速、多樣、價值大四大特點。

從技術(shù)上看，大數(shù)據(jù)與云計算是相互依存的，云計算為大數(shù)據(jù)提供技術(shù)平臺，大數(shù)據(jù)的海量處理實現(xiàn)了云平臺利用的最大化。大數(shù)據(jù)采用云計算平臺的分布式處理，丟掉了傳統(tǒng)的單臺計算機處理數(shù)據(jù)的方式。它的特色在于挖掘海量數(shù)據(jù)，但它必須依托云計算而存在，分布式處理、云存儲和虛擬化技術(shù)都是其依托的支柱。大數(shù)據(jù)與云計算的關(guān)系，如圖1所示。

云計算的關(guān)鍵詞在于“整合”，無論你是通過現(xiàn)在已經(jīng)很成熟的傳統(tǒng)的虛擬機切分型技術(shù)還是通過google后來所使用的海量節(jié)點聚合型技術(shù)，它都是通過將海量的服務(wù)器資源通過網(wǎng)絡(luò)進行整合，調(diào)度分配給用戶，從而解決用戶因為存儲計算資源不足所帶來的問題。大數(shù)據(jù)正是因為數(shù)據(jù)的爆發(fā)式增長帶來的一個新的課題，包括如何存儲如今互聯(lián)網(wǎng)時代所產(chǎn)生的海量數(shù)據(jù)、如何有效地利用分析這些數(shù)據(jù)等。云計算所具備的彈性伸縮和動態(tài)調(diào)配資源、虛擬化技術(shù)、對用戶透明性以及統(tǒng)一管理和調(diào)度的特性，成為解決大數(shù)據(jù)的重要基礎(chǔ)支撐。否則，脫離了云計算的大數(shù)據(jù)將成為“空中樓閣”。

本文針對海委數(shù)據(jù)中心的實際需求，規(guī)劃并構(gòu)建了海委數(shù)據(jù)中心云平臺架構(gòu)。同時，隨著海委水利信息化的發(fā)展，海委數(shù)據(jù)中心應(yīng)用業(yè)務(wù)系統(tǒng)的分散性、專業(yè)性、部門性、系統(tǒng)性等邊界的孤島問題嚴(yán)重影響了系統(tǒng)效益的持續(xù)發(fā)揮，致使海委數(shù)據(jù)中心信息化系統(tǒng)以及應(yīng)用數(shù)據(jù)的資源整合成為海委水利信息化發(fā)展中亟需解決的問題。

圖1　云計算與大數(shù)據(jù)的關(guān)系

1　海委數(shù)據(jù)中心應(yīng)用需求現(xiàn)狀

隨著水利信息化建設(shè)的加快，海委水利信息化事業(yè)得到了較快發(fā)展，海委數(shù)據(jù)中心也在各類信息化項目中配置了眾多的硬件基礎(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備以及各類軟件系統(tǒng)，為海委信息化發(fā)展提供了強大技術(shù)支撐，同時也給海委數(shù)據(jù)中心的發(fā)展帶來一系列問題。

1.1物理空間占據(jù)大，電量消耗大

海委數(shù)據(jù)中心目前擁有各類服務(wù)器設(shè)備、網(wǎng)絡(luò)交換設(shè)備以及存儲設(shè)備200余臺，占用40余個服務(wù)器機柜和網(wǎng)絡(luò)機柜，數(shù)據(jù)中心機房空間已基本飽和，給后續(xù)機房擴展帶來瓶頸；同時，這些設(shè)備運行給數(shù)據(jù)中心帶來巨大的電能消耗。這些現(xiàn)實情況迫切需要通過云計算平臺技術(shù)對現(xiàn)有的存儲設(shè)備、網(wǎng)絡(luò)交換設(shè)備及服務(wù)器資源進行規(guī)整，淘汰上架運行時間長、性能較差的設(shè)備，減少老舊設(shè)備的電量消耗和空間占用。

1.2各類設(shè)備負載均衡差別大

海委數(shù)據(jù)中心的軟硬件設(shè)備的項目來源、建設(shè)時間、建設(shè)環(huán)境不同，各設(shè)備間的負載懸殊較大，一些設(shè)備的負載已超過最大限額，而部分設(shè)備的利用效率很低、負載不足10％。負載較高的設(shè)備長時間超負荷運轉(zhuǎn)很容易出現(xiàn)損壞，給系統(tǒng)運行帶來無法預(yù)測的損失，而負載較低的設(shè)備運行又是一種極大的浪費。這就需要一個統(tǒng)一的平臺來調(diào)度分配資源，以達到各個設(shè)備間的負載均衡，而云計算平臺恰恰能夠滿足這一需求。

1.3系統(tǒng)部署和運維管理繁瑣

海委數(shù)據(jù)中心的軟硬件設(shè)備較多，存在目標(biāo)單一、資源割據(jù)的現(xiàn)狀，給日常管理和維護帶來極大的不便。一個新應(yīng)用系統(tǒng)部署需要眾多的前期準(zhǔn)備工作，如硬件上架、操作系統(tǒng)安裝、網(wǎng)絡(luò)資源分配、存儲資源分配等；系統(tǒng)運行中出現(xiàn)故障時，網(wǎng)管人員需要花費較多精力分析故障點。云計算平臺可以快速進行資源分配，能夠集中部署而且能夠通過云計算管理運維平臺統(tǒng)一監(jiān)管，快速發(fā)現(xiàn)故障點并及時進行故障處理。

2　海委數(shù)據(jù)中心云平臺架構(gòu)構(gòu)建

海委數(shù)據(jù)中心云平臺整體架構(gòu)以虛擬化技術(shù)為基礎(chǔ)，將業(yè)務(wù)應(yīng)用、數(shù)據(jù)存儲和安全防護融為一體。虛擬化技術(shù)是服務(wù)器整合方面的成功的IT戰(zhàn)略，能夠為云平臺提供基本的構(gòu)建模塊以增強系統(tǒng)的敏捷性和靈活性。海委數(shù)據(jù)中心云平臺包括云計算資源池，存儲資源池和應(yīng)用安全防護3個子系統(tǒng)，通過云平臺能夠?qū)崿F(xiàn)信息資源的動態(tài)分配、運維統(tǒng)一監(jiān)管服務(wù)，動態(tài)擴展海委數(shù)據(jù)中心計算吞吐能力和存儲容量，對容災(zāi)備份體系建設(shè)提供強大支撐。海委數(shù)據(jù)中心云平臺整體架構(gòu)，如圖2所示。

圖2　海委數(shù)據(jù)中心云平臺架構(gòu)

2.1計算資源池

海委數(shù)據(jù)中心云計算資源池由一組可以實現(xiàn)自動分配和回收的CPU和存儲資源構(gòu)成，既包括利用原有部分舊服務(wù)器，又增購了高性能計算服務(wù)器和磁盤陣列，具備計算密度高、單位能耗低、占用空間少的特點，包含業(yè)務(wù)應(yīng)用群集、數(shù)據(jù)庫群集和管理群集三部分。

平臺通過整合形成計算資源的虛擬化平臺，利用云服務(wù)管理能力實現(xiàn)從服務(wù)申請到虛擬化部署、從系統(tǒng)標(biāo)準(zhǔn)化安裝到軟件部署工作，大大提高了資源利用效率和實施人員工作效率以及網(wǎng)管人員的工作效能，按需調(diào)度實現(xiàn)資源的彈性分配。

2.2存儲資源池

云計算平臺充分利用現(xiàn)有的存儲設(shè)備，形成一個能夠充分利用的存儲資源池。海委數(shù)據(jù)中心以現(xiàn)有的云存儲服務(wù)器為主，搭配使用SAS硬盤和SATA硬盤，能夠滿足各種系統(tǒng)文件及應(yīng)用文件的存儲需求，滿足備份文件的存儲，同時存儲池容量能夠動態(tài)擴展和按需分配。

面向多用戶的分布式存儲架構(gòu)應(yīng)用于存儲資源池，通過云管理平臺實現(xiàn)各種數(shù)據(jù)間的共享存儲和備份數(shù)據(jù)的容災(zāi)存儲，并提供統(tǒng)一的命名空間，進行塊存儲和對象存儲的統(tǒng)一管理，能夠?qū)崿F(xiàn)數(shù)據(jù)的高可靠性利用。

2.3應(yīng)用安全防護體系

云計算平臺提供了完善的手段保證每個應(yīng)用的隔離性來確保安全。鏈路負載均衡、邊界安全和應(yīng)用加速主要通過應(yīng)用安全體系中的網(wǎng)關(guān)設(shè)備來實現(xiàn)。計算資源池中的虛擬機的安全主要通過云安全管理系統(tǒng)中建立的多層次的應(yīng)用和信息安全防護體系來實現(xiàn)。

3　海委數(shù)據(jù)中心大數(shù)據(jù)整合形勢

水利信息化發(fā)展經(jīng)歷了一個由簡單到復(fù)雜的過程，在發(fā)展過程中由于各個項目的來源、建設(shè)時間、環(huán)境、目標(biāo)各不相同，現(xiàn)有的信息化系統(tǒng)存在目標(biāo)單一、資源獨享、重復(fù)建設(shè)、難以共享、效能低下等問題，導(dǎo)致各種信息化資源得不到合理利用，嚴(yán)重制約了水利信息化的可持續(xù)發(fā)展。海委水利信息化經(jīng)歷不同時期的多個項目的建設(shè)，形成了較為正規(guī)的物理機房、數(shù)據(jù)存儲資源、各類信息化資源，為海委政務(wù)公開和辦公提供了基礎(chǔ)保障。但是，大多數(shù)的應(yīng)用業(yè)務(wù)系統(tǒng)是針對某特定的研究或者業(yè)務(wù)建立的，數(shù)據(jù)庫資源與各自具體的業(yè)務(wù)捆綁在一起，硬件和基礎(chǔ)軟件系統(tǒng)與特定的業(yè)務(wù)部門綁定，形成資源割據(jù)的局面，規(guī)范性差給海委數(shù)據(jù)中心信息化發(fā)展帶來瓶頸。如何將這些龐雜的系統(tǒng)和數(shù)據(jù)統(tǒng)一起來進行集中統(tǒng)一化管理，是海委數(shù)據(jù)中心信息化發(fā)展迫切需要解決的問題。

海委數(shù)據(jù)中心已經(jīng)構(gòu)建起云計算管理平臺，依托該平臺對海委數(shù)據(jù)中心信息化資源進行大數(shù)據(jù)的整合是海委水利信息化發(fā)展的一個明確方向。通過整合，能夠使海委數(shù)據(jù)中心發(fā)展更具標(biāo)準(zhǔn)化、專業(yè)化、流程化。

3.1信息資源整合需要解決的問題

（1）系統(tǒng)與用戶之間。海委數(shù)據(jù)中心已具有33個各類業(yè)務(wù)應(yīng)用系統(tǒng)，每類業(yè)務(wù)開發(fā)都是針對特定的任務(wù)，其所面向的客戶群體以及用戶的權(quán)限各不相同，每類用戶所訪問的業(yè)務(wù)系統(tǒng)也不盡一樣，每類業(yè)務(wù)系統(tǒng)能夠提供或需要使用的數(shù)據(jù)資源也有所差距，通過信息化資源整合將這些數(shù)據(jù)資源歸到統(tǒng)一的數(shù)據(jù)庫存儲資源池中以方便用戶和業(yè)務(wù)系統(tǒng)間的共享。

（2）系統(tǒng)與平臺之間。海委數(shù)據(jù)中心信息化發(fā)展必須依托同一個基礎(chǔ)平臺，云計算平臺為其提供了基礎(chǔ)服務(wù)的同時必須形成一個統(tǒng)一的信息共享平臺來實現(xiàn)數(shù)據(jù)資源和業(yè)務(wù)系統(tǒng)間的互聯(lián)互通。海委信息化資源整合采用SOA架構(gòu)，構(gòu)建海委統(tǒng)一水利信息化業(yè)務(wù)門戶，形成信息與資源高度集中和共享的公眾信息服務(wù)系統(tǒng)。

（3）系統(tǒng)與未來業(yè)務(wù)應(yīng)用系統(tǒng)之間。海委數(shù)據(jù)中心信息資源整合必須既能滿足現(xiàn)有資源和業(yè)務(wù)系統(tǒng)的健康發(fā)展，又能為以后建設(shè)的業(yè)務(wù)系統(tǒng)集成提供方便。

（4）系統(tǒng)與運維單位及開發(fā)商之間。通過數(shù)據(jù)中心各業(yè)務(wù)應(yīng)用系統(tǒng)的整合，海委能夠給未來信息化開發(fā)商提供統(tǒng)一的標(biāo)準(zhǔn)接口進行開發(fā)建設(shè)，確保應(yīng)用一個發(fā)揮效益一個，同時可以為應(yīng)用系統(tǒng)運維單位提供標(biāo)準(zhǔn)的運維流程和規(guī)范。

3.2信息資源整合主要內(nèi)容

對現(xiàn)有海委數(shù)據(jù)中心資源進行整合，主要針對基礎(chǔ)設(shè)施、信息資源、業(yè)務(wù)應(yīng)用、數(shù)據(jù)資源信息化建設(shè)規(guī)范4個方面，與海委已構(gòu)建的云計算平臺結(jié)合，形成海委數(shù)據(jù)中心良性發(fā)展的安全保障防護體系。其主要進行平臺層建設(shè)，形成統(tǒng)一的信息化共享平臺和業(yè)務(wù)門戶；通過應(yīng)用層整合，實現(xiàn)界面集成、信息模塊化抽取、與統(tǒng)一平臺的無縫連接。

4　依托海委數(shù)據(jù)中心云計算平臺進行大數(shù)據(jù)集成的優(yōu)勢

云計算平臺的構(gòu)建提供了資源動態(tài)分配、管理可控化和智能化、資源共享化，同時建立起的云數(shù)據(jù)中心實現(xiàn)了軟硬結(jié)合集中管理模式。

信息化資源池化的管理架構(gòu)消除了業(yè)務(wù)系統(tǒng)的單點故障導(dǎo)致的業(yè)務(wù)中斷，數(shù)據(jù)丟失的現(xiàn)象。

云平臺架構(gòu)的構(gòu)建為大數(shù)據(jù)集成提供了安全可靠的基礎(chǔ)平臺，為海委數(shù)據(jù)中心信息化業(yè)務(wù)資源的整合提供了基礎(chǔ)保障。通過整合實現(xiàn)了海委數(shù)據(jù)中心一體化綜合管理，利用虛擬機技術(shù)將系統(tǒng)中的各類信息化資源以及安全狀態(tài)視為一個統(tǒng)一整體進行集中監(jiān)控，優(yōu)化了系統(tǒng)整體性能，提高了工作效率，實現(xiàn)了海委數(shù)據(jù)中心信息化可持續(xù)發(fā)展。

5　結(jié)語

結(jié)合海委數(shù)據(jù)中心現(xiàn)狀及需求，海委數(shù)據(jù)中心構(gòu)建了云計算平臺，解決了海委信息化發(fā)展中遇到的瓶頸；同時，依托海委數(shù)據(jù)中心云平臺的建設(shè)為海委數(shù)據(jù)中心信息化資源整合提供了強有力的基礎(chǔ)保障，能夠使海委信息化建設(shè)持續(xù)健康發(fā)展。

［1］劉鵬.云計算［M］.北京：電子工業(yè)出版社，2010：25-35.

［2］余來文.互聯(lián)網(wǎng)思維—云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)［M］.北京：經(jīng)濟管理出版社，2014：68-90.

［3］林偉偉.分布式計算、云計算與大數(shù)據(jù)［M］.北京：機械工業(yè)出版社，2015：121-130.

TP392；TV213.2

A

1004-7328（2016）04-0056-04

10.3969/j.issn.1004-7328.2016.04.018

2016—05—25

宗華麗（1984—），女，碩士，工程師，主要從事水利網(wǎng)絡(luò)管理及信息安全工作。