基于云計(jì)算的大數(shù)據(jù)中心建設(shè)探討

張俊雷，曾祥昱，張海龍

（中國(guó)石油天然氣股份有限公司吉林石化數(shù)據(jù)中心分公司，吉林 吉林市 132000）

0 引言

伴隨著互聯(lián)網(wǎng)技術(shù)、物聯(lián)網(wǎng)技術(shù)、5G 通信技術(shù)和智能終端設(shè)備等日益普及，多元化的數(shù)據(jù)呈現(xiàn)出幾何式的增長(zhǎng)，每個(gè)人和機(jī)構(gòu)隨時(shí)都能產(chǎn)生大量的數(shù)據(jù)。大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要經(jīng)過(guò)新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)［1］。目前，人類已經(jīng)步入大數(shù)據(jù)時(shí)代，大數(shù)據(jù)中蘊(yùn)含著大量的有用信息，具有非常重要的戰(zhàn)略價(jià)值。若能從大數(shù)據(jù)中提取出有效信息，會(huì)對(duì)產(chǎn)業(yè)的發(fā)展起到巨大的推動(dòng)作用［2］。大數(shù)據(jù)中心是指對(duì)大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析和處理的中心機(jī)構(gòu)。云計(jì)算是指能通過(guò)網(wǎng)絡(luò)云將巨大的數(shù)據(jù)計(jì)算處理程序分解成無(wú)數(shù)個(gè)小程序，通過(guò)多部服務(wù)器組成系統(tǒng)處理和分析這些小程序并將得到的結(jié)果返回給用戶的一種分布式計(jì)算。通過(guò)云計(jì)算，大數(shù)據(jù)的處理僅需幾秒鐘就可以完成。在大數(shù)據(jù)中心應(yīng)用云計(jì)算，能有效提高大數(shù)據(jù)中心的運(yùn)算能力和分析能力，對(duì)大數(shù)據(jù)中心建設(shè)具有重要意義。

1 云計(jì)算概述

按照不同的服務(wù)對(duì)象，云計(jì)算可以分為公有云計(jì)算、私有云計(jì)算以及混合云計(jì)算。公有云計(jì)算指的是互聯(lián)網(wǎng)環(huán)境下的云計(jì)算；私有云計(jì)算指的是含政府、企業(yè)、高校等在內(nèi)的私有環(huán)境下的云計(jì)算；混合云計(jì)算則指的是混合了公有云計(jì)算與私有云計(jì)算的云計(jì)算服務(wù)，在混合云計(jì)算下借助數(shù)據(jù)共享、應(yīng)用程序等實(shí)現(xiàn)了公有云與私有云的混合。

云計(jì)算能夠充分提高共享資源、重復(fù)利用資源的使用效率，由此實(shí)現(xiàn)IT 資源的按需分配，如資源的高度整合技術(shù)、智能決策技術(shù)、資源的虛擬化技術(shù)等。云計(jì)算的關(guān)鍵技術(shù)對(duì)基于私有云的大數(shù)據(jù)中心建設(shè)意義重大。虛擬化的技術(shù)核心是直接或間接的虛擬計(jì)算機(jī)硬件、底層設(shè)備，也就是虛擬抽象操作系統(tǒng)與硬件平臺(tái)［3］。借助虛擬化技術(shù)能夠使資源的利用率以及數(shù)據(jù)的整合效率得到大幅度提高。

2 云計(jì)算在大數(shù)據(jù)中心建設(shè)上的應(yīng)用意義

大數(shù)據(jù)中心建設(shè)的一個(gè)核心問(wèn)題是，大數(shù)據(jù)中心需要基于需求訪問(wèn)計(jì)算機(jī)、計(jì)算機(jī)存儲(chǔ)系統(tǒng)，同時(shí)根據(jù)需求向?qū)嶋H應(yīng)用進(jìn)行自由轉(zhuǎn)換。云計(jì)算的關(guān)鍵就是能夠有效整合大量離散的服務(wù)器資源及計(jì)算機(jī)資源，從而使高效計(jì)算得以實(shí)現(xiàn)。事實(shí)上，大數(shù)據(jù)中心現(xiàn)階段向著動(dòng)態(tài)的云計(jì)算中心進(jìn)行演化，通過(guò)演化，能實(shí)現(xiàn)高效集中管理數(shù)據(jù)與應(yīng)用，同時(shí)能夠基于云的方式直接交付各種應(yīng)用。大數(shù)據(jù)中心能提供全面的SaaS 服務(wù)。因此，在大數(shù)據(jù)中心的建設(shè)過(guò)程中云計(jì)算的應(yīng)用可以確保數(shù)據(jù)的安全性、可靠性，使用戶能夠輕松共享數(shù)據(jù)資源，同時(shí)降低客戶端的需求等［4］。云計(jì)算對(duì)大數(shù)據(jù)中心的建設(shè)具有非常重要的意義。

2.1 促進(jìn)大數(shù)據(jù)中心節(jié)能減排

基于傳統(tǒng)信息技術(shù)的數(shù)據(jù)中心建設(shè)耗能巨大，能源的消耗會(huì)有大量的熱量產(chǎn)生，而一旦散熱不及時(shí)，就會(huì)使數(shù)據(jù)中心處于較高的溫度下，進(jìn)而影響大數(shù)據(jù)中心的整體性能［5］。在大數(shù)據(jù)中心建設(shè)中應(yīng)用云計(jì)算，可以提高大數(shù)據(jù)中心數(shù)據(jù)處理能力的同時(shí)，還能有效降低大數(shù)據(jù)中心的維護(hù)成本與能源消耗，降低大數(shù)據(jù)中心在運(yùn)行過(guò)程中所產(chǎn)生的熱量，實(shí)現(xiàn)節(jié)能減排，保障大數(shù)據(jù)中心的安全性。

2.2 促進(jìn)大數(shù)據(jù)中心實(shí)現(xiàn)“三網(wǎng)融合”

“三網(wǎng)融合”是指有效整合互聯(lián)網(wǎng)、通信網(wǎng)絡(luò)、有線電視網(wǎng)絡(luò)等。在不同通信網(wǎng)絡(luò)中應(yīng)用云計(jì)算，能確保不同通信信道的使用效率實(shí)現(xiàn)最大化，進(jìn)而基于統(tǒng)一的通信協(xié)議執(zhí)行通信運(yùn)營(yíng)商的多通道傳輸業(yè)務(wù)，提高通信協(xié)議的兼容性，由此有助于不同通信網(wǎng)絡(luò)之間的資源共享，加快“三網(wǎng)融合”的實(shí)現(xiàn)進(jìn)程。

2.3 推動(dòng)大數(shù)據(jù)中心實(shí)現(xiàn)智能化處理

傳統(tǒng)的大數(shù)據(jù)中心無(wú)法采用智能化的數(shù)據(jù)處理方式，無(wú)法從大數(shù)據(jù)中滿足用戶對(duì)個(gè)性化、多元化的需求。云計(jì)算具有較高的數(shù)據(jù)分析和處理能力，能夠?qū)Υ髷?shù)據(jù)進(jìn)行自動(dòng)化與智能化的處理，不但能夠滿足用戶的需求，也可以極大提高數(shù)據(jù)的處理效率。

3 基于云計(jì)算的大數(shù)據(jù)中心建設(shè)

在大數(shù)據(jù)中心建設(shè)中應(yīng)用云計(jì)算是指按照云計(jì)算的運(yùn)算需求，基于虛擬化技術(shù)對(duì)大數(shù)據(jù)中心的硬件系統(tǒng)與軟件系統(tǒng)進(jìn)行設(shè)計(jì)，以實(shí)現(xiàn)在大數(shù)據(jù)中心中應(yīng)用云計(jì)算的能力。基于云計(jì)算的大數(shù)據(jù)中心建設(shè)包括虛擬計(jì)算、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)以及虛擬服務(wù)與安全等部分?；谠朴?jì)算的大數(shù)據(jù)中心，任何部分涉及的資源都能夠從實(shí)際需求出發(fā)進(jìn)行動(dòng)態(tài)的調(diào)整［6］。借助于對(duì)云計(jì)算支持的操作系統(tǒng)對(duì)大數(shù)據(jù)中心信息架構(gòu)進(jìn)行構(gòu)建，可以使大數(shù)據(jù)中心實(shí)施的效率得到提高，有助于大數(shù)據(jù)中心的擴(kuò)展。同時(shí)基于云計(jì)算的大數(shù)據(jù)中心可降低運(yùn)維成本，共享虛擬資源，提升大數(shù)據(jù)中心利用效率、安全性與靈活性等。

3.1 虛擬計(jì)算

大數(shù)據(jù)中心的虛擬計(jì)算指的是把互聯(lián)網(wǎng)、服務(wù)器、存儲(chǔ)系統(tǒng)等物理資源向超級(jí)計(jì)算機(jī)進(jìn)行虛擬，把每一個(gè)單一性能模塊都向虛擬的整體性能進(jìn)行轉(zhuǎn)化，使物理設(shè)備整合性與實(shí)用性得到提高。服務(wù)器虛擬化通過(guò)VMware 軟件，可實(shí)現(xiàn)在服務(wù)器等硬件設(shè)備上的運(yùn)行，由此在一個(gè)綜合平臺(tái)上可以滿足計(jì)算、存儲(chǔ)等操作，從而通過(guò)虛擬軟件功能確保不停機(jī)，保證應(yīng)用系統(tǒng)的實(shí)時(shí)性；通過(guò)用戶坐標(biāo)系統(tǒng)（User Coordinate System，UCS）可以取代人工計(jì)算；通過(guò)無(wú)狀態(tài)計(jì)算技術(shù)，可以使物理設(shè)備的遷移更加方便，提升大數(shù)據(jù)中心的靈活性。

3.2 虛擬存儲(chǔ)

存儲(chǔ)數(shù)據(jù)的關(guān)鍵是使架構(gòu)的網(wǎng)絡(luò)化存儲(chǔ)得到實(shí)現(xiàn)，進(jìn)而使數(shù)據(jù)統(tǒng)一存儲(chǔ)得以實(shí)現(xiàn)，這一數(shù)據(jù)存儲(chǔ)的關(guān)鍵問(wèn)題可以通過(guò)虛擬存儲(chǔ)技術(shù)得到解決。虛擬存儲(chǔ)技術(shù)的實(shí)質(zhì)就是借助網(wǎng)絡(luò)協(xié)議構(gòu)建能夠支持?jǐn)?shù)據(jù)、數(shù)據(jù)塊以及文件等的網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)，構(gòu)建的網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)供服務(wù)器使用。虛擬存儲(chǔ)一方面使大數(shù)據(jù)中心的存儲(chǔ)容量得到提升，以此提高大數(shù)據(jù)中心的工作效率，使數(shù)據(jù)的存儲(chǔ)方式更加靈活，確保服務(wù)器的虛擬化，另一方面使大數(shù)據(jù)中心性能的瓶頸問(wèn)題得到解決，實(shí)現(xiàn)整體存儲(chǔ)服務(wù)。

在應(yīng)用虛擬存儲(chǔ)時(shí)，算法是至關(guān)重要的，常用的算法包括最近最少使用（Least Recently Used，LRU）、最佳生產(chǎn)技術(shù)（Optimized Production Technology，OPT）、先進(jìn)先出（First Input First Output，F(xiàn)IFO）、最不經(jīng)常使用（Least Frequently Used，LFU）等。任何一種算法均存在優(yōu)點(diǎn)與不足，以LRU 算法為例進(jìn)行說(shuō)明。

對(duì)傳統(tǒng)的LRU 算法而言，其思路為先刪除和節(jié)點(diǎn)具有最近的距離同時(shí)又在很長(zhǎng)時(shí)間內(nèi)沒(méi)有被使用的頁(yè)面，實(shí)際操作就是在棧里放入一個(gè)初始化的頁(yè)面號(hào)，如果存在新的訪問(wèn)，那么進(jìn)入棧頂?shù)氖切略L問(wèn)指向的頁(yè)面號(hào)，進(jìn)入棧底是沒(méi)有被訪問(wèn)到的頁(yè)面號(hào)，在不斷增加新訪問(wèn)過(guò)程中，因?yàn)槿萘坎蛔?，就?huì)刪除掉位于棧最下面的頁(yè)面號(hào)［7］。對(duì)傳統(tǒng)的LRU 算法而言，其存在以下不足。一是因?yàn)槿魏卧L問(wèn)均會(huì)導(dǎo)致鏈表的變動(dòng)或是棧的變動(dòng)，所以并發(fā)訪問(wèn)的實(shí)現(xiàn)存在很大的困難；二是傳統(tǒng)的LRU 算法并不能夠準(zhǔn)確地對(duì)棧底最近被訪問(wèn)的頁(yè)面進(jìn)行衡量，一旦存在特殊操作就會(huì)出現(xiàn)頁(yè)面的重復(fù)性訪問(wèn)或者是突發(fā)性頁(yè)面訪問(wèn)，就會(huì)影響準(zhǔn)確性?；诖?，要對(duì)LUR 算法進(jìn)行改進(jìn)。改進(jìn)的LUR 算法中把經(jīng)常訪問(wèn)的頁(yè)面標(biāo)記成“熱點(diǎn)頁(yè)面”，把不經(jīng)常訪問(wèn)的頁(yè)面標(biāo)記成“冰點(diǎn)頁(yè)面”，通常對(duì)“熱點(diǎn)頁(yè)面”與“冰點(diǎn)頁(yè)面”進(jìn)行劃分的訪問(wèn)次數(shù)不小于2。改進(jìn)之后，一方面能夠?qū)哂性L問(wèn)次數(shù)比較多的頁(yè)面進(jìn)行保留，另一方面能夠?qū)?yè)面訪問(wèn)速度較少的頁(yè)面進(jìn)行刪除，由此使準(zhǔn)確率提高。

3.3 虛擬網(wǎng)絡(luò)

虛擬網(wǎng)絡(luò)的關(guān)鍵是把各種形態(tài)分散的網(wǎng)絡(luò)進(jìn)行統(tǒng)一，通過(guò)技術(shù)手段使網(wǎng)絡(luò)的速度更快，減少網(wǎng)絡(luò)延時(shí)，方便網(wǎng)絡(luò)的管理等。與此同時(shí)，虛擬網(wǎng)絡(luò)可以降低大數(shù)據(jù)中心建設(shè)的網(wǎng)絡(luò)成本，實(shí)現(xiàn)對(duì)大數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。虛擬設(shè)備系統(tǒng)技術(shù)、覆蓋傳輸虛擬技術(shù)、虛擬端口通道技術(shù)等都屬于虛擬網(wǎng)絡(luò)技術(shù)的范疇。

3.4 虛擬安全與服務(wù)

基于云計(jì)算的大數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、硬件均存在著不同程度的虛擬。因此，基于傳統(tǒng)方案的安全架構(gòu)存在安全漏洞，使大數(shù)據(jù)中心運(yùn)行效率與性能都受到影響?；谠朴?jì)算的大數(shù)據(jù)中心建設(shè)，在技術(shù)方面需要確保數(shù)據(jù)安全可靠，采用可靠的容災(zāi)技術(shù)與數(shù)據(jù)刪除技術(shù)；在服務(wù)器與應(yīng)用程序方面，需要提高自動(dòng)化水平來(lái)保證安全。

4 結(jié)語(yǔ)

基于云計(jì)算的大數(shù)據(jù)中心建設(shè)能夠?qū)τ布Y源進(jìn)行充分利用，提高硬件資源的應(yīng)用效率，降低硬件投資成本；在大數(shù)據(jù)中心建設(shè)中應(yīng)用云計(jì)算技術(shù)，在備份數(shù)據(jù)、刪除數(shù)據(jù)、更新數(shù)據(jù)、架構(gòu)整個(gè)應(yīng)用系統(tǒng)等方面都非常高效，由此使大數(shù)據(jù)中心的性能得到極大提升。