云計(jì)算及云存儲(chǔ)的管理技術(shù)

周 平,張 超

(上海電力學(xué)院計(jì)算機(jī)與信息工程學(xué)院,上海 200090)

近幾十年來(lái),計(jì)算機(jī)技術(shù)飛速發(fā)展,大致可以歸納為 4個(gè)主要階段:第 1階段為單機(jī)系統(tǒng)時(shí)代,所有的程序與數(shù)據(jù)集中在同一臺(tái)機(jī)器上;第 2階段為網(wǎng)絡(luò)計(jì)算機(jī)系統(tǒng)時(shí)代,由于網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,數(shù)據(jù)存儲(chǔ)與應(yīng)用程序分離,典型的系統(tǒng)是基于 C/S與 B/S結(jié)構(gòu)的軟件系統(tǒng),系統(tǒng)由客戶端與服務(wù)器構(gòu)成,客戶端通過(guò)網(wǎng)絡(luò)可以遠(yuǎn)程讀取數(shù)據(jù)庫(kù)服務(wù)器中數(shù)據(jù);第 3階段為 Web服務(wù)與網(wǎng)絡(luò)時(shí)代,網(wǎng)絡(luò)系統(tǒng)隨著 Web服務(wù)以及網(wǎng)格計(jì)算技術(shù)的進(jìn)一步發(fā)展,系統(tǒng)不同模塊可以分布在網(wǎng)絡(luò)的不同地方,目前很多廠商提供了 Web服務(wù),不同語(yǔ)言都可以調(diào)用其 Web服務(wù),如 Google提供了用于搜索的 Web服務(wù);第 4階段為云計(jì)算時(shí)代,云計(jì)算(Cloud Computing)是分布式處理(Distributed Computing)、并行處理 (Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)技術(shù)的進(jìn)一步發(fā)展,是一種新興的共享基礎(chǔ)架構(gòu)的方法.

1 云計(jì)算概念

云計(jì)算是將互聯(lián)網(wǎng)當(dāng)作一個(gè)超級(jí)計(jì)算機(jī).對(duì)于終端客戶端來(lái)說(shuō),他們不需要關(guān)心自己的數(shù)據(jù)存儲(chǔ)在什么地方,也不需要擔(dān)心自己的計(jì)算能力,他們的數(shù)據(jù)存儲(chǔ)與計(jì)算能力都由遠(yuǎn)程(即云端)提供.在云計(jì)算中,幾乎所有的 IT資源,如應(yīng)用程序、計(jì)算能力、存儲(chǔ)容量、編程工具,以及通信服務(wù)和協(xié)作工具等都可以作為云服務(wù)來(lái)提供.因此,云計(jì)算就是將計(jì)算能力分布在大量的分布式計(jì)算機(jī)上,而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中.

如企業(yè)數(shù)據(jù)存儲(chǔ)在企業(yè)數(shù)據(jù)中心,這個(gè)中心由一個(gè)云計(jì)算提供商提供,企業(yè)可以通過(guò)一些應(yīng)用程序或云提供商提供編程API編寫(xiě)應(yīng)用來(lái)管理自己的數(shù)據(jù).企業(yè)按照自己實(shí)際需求從云計(jì)算提供商中預(yù)定或購(gòu)買一些服務(wù).

云計(jì)算系統(tǒng)如圖 1所示.

圖1 云計(jì)算系統(tǒng)

云計(jì)算具有以下 5個(gè)特點(diǎn).

(1)虛擬化 由于用戶數(shù)據(jù)存儲(chǔ)以及計(jì)算等服務(wù)都由云提供商提供,所以用戶可以在任何位置通過(guò)各種終端如電腦、手機(jī)等獲取云服務(wù).

(2)云存儲(chǔ)可靠性高 一般云提供商使用數(shù)據(jù)存儲(chǔ)鏡像快照技術(shù)以及多副本容錯(cuò)等措施來(lái)保障服務(wù)的高可靠性,從某種意義上說(shuō),使用云計(jì)算比使用本地計(jì)算機(jī)更可靠.

(3)可擴(kuò)展性強(qiáng) 隨著計(jì)算技術(shù)的發(fā)展,可以根據(jù)實(shí)際需求開(kāi)發(fā)出不同的云服務(wù),滿足不同用戶的各種需求.

(4)服務(wù)可按需訂購(gòu) 云提供商不是對(duì)某個(gè)單一用戶開(kāi)發(fā)云服務(wù).用戶可以根據(jù)需求定制云服務(wù)并且按照不同服務(wù)進(jìn)行付費(fèi).

(5)規(guī)模超大 “云”具有相當(dāng)?shù)囊?guī)模,如Google云計(jì)算已經(jīng)擁有 100多萬(wàn)臺(tái)服務(wù)器,Amazon,IBM,微軟,Yahoo等的云均擁有幾十萬(wàn)臺(tái)服務(wù)器.企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器.云能賦予用戶前所未有的計(jì)算能力.

2 云數(shù)據(jù)的存儲(chǔ)

2.1 云存儲(chǔ)技術(shù)

云計(jì)算的一個(gè)關(guān)鍵問(wèn)題就是數(shù)據(jù)如何存儲(chǔ)在云端.為保證數(shù)據(jù)的可用性,必須同時(shí)保存幾個(gè)數(shù)據(jù)副本.云存儲(chǔ)系統(tǒng)就是通過(guò)集群技術(shù)或分布式文件系統(tǒng)等,將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能.目前云存儲(chǔ)實(shí)現(xiàn)系統(tǒng)有 2個(gè) :一是 GFS(Google File System),由 Google開(kāi)發(fā)并實(shí)際應(yīng)用于 Google的云服務(wù)中;二是HDFS(Hadoop Distributed File System),由Hadoop團(tuán)隊(duì)使用 Java實(shí)現(xiàn)了 GFS的分布式的文件系統(tǒng),一些 IT廠商已采用了 HDFS的數(shù)據(jù)存儲(chǔ)技術(shù).本文以 GFS為例討論云存儲(chǔ)技術(shù),其系統(tǒng)架構(gòu)如圖2所示.

圖2 Google File System系統(tǒng)架構(gòu)

GFS提供了一個(gè)類似傳統(tǒng)文件系統(tǒng)的接口,文件在目錄中按照層次組織,用路徑名來(lái)標(biāo)識(shí).該系統(tǒng)由一個(gè)主服務(wù)器和大量塊服務(wù)器構(gòu)成.主服務(wù)器存放文件系統(tǒng)的所有元數(shù)據(jù),包括文件和塊的命名空間、文件到塊的映射,以及每個(gè)塊副本的位置等.所有元數(shù)據(jù)都保存在主服務(wù)器的內(nèi)存里.主服務(wù)器還管理文件系統(tǒng),如塊的分配與回收以及塊的移動(dòng)等.文件以塊的形式保存,每個(gè)塊的大小為 64 MB.在每個(gè)塊創(chuàng)建的時(shí)候,服務(wù)器分配一個(gè)不變的、唯一的 64位的塊句柄對(duì)其進(jìn)行標(biāo)識(shí).塊服務(wù)器將塊作為 Linux文件保存在硬盤(pán)上,并根據(jù)塊句柄讀寫(xiě)塊數(shù)據(jù).為保證可靠性,每個(gè)塊都保存了 3個(gè)副本.

客戶端利用 Google提供的API如 Google App Engine對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行讀寫(xiě).讀數(shù)據(jù)時(shí)首先讀取主服務(wù)器上的元數(shù)據(jù)獲取數(shù)據(jù)塊的位置,從而在塊服務(wù)器上讀取數(shù)據(jù).這樣一來(lái)可以避免因大量讀操作對(duì)主服務(wù)器帶來(lái)的擁擠.向 GFS寫(xiě)數(shù)據(jù)時(shí),GFS將數(shù)據(jù)流與控制流分開(kāi)的過(guò)程如下.

(1)客戶端向主服務(wù)器請(qǐng)求塊服務(wù)器用于新增或修改數(shù)據(jù),如果是新增數(shù)據(jù),由主服務(wù)器分配塊服務(wù)器;如果是修改數(shù)據(jù),則需查找其租約的塊服務(wù)器.

(2)主服務(wù)器向客戶端回復(fù)主塊的標(biāo)識(shí)符和其他副本的位置.

(3)客戶機(jī)得到主服務(wù)器授權(quán)后將數(shù)據(jù)推送到所有的副本上.其推送順序可以是任意的,每個(gè)塊服務(wù)器會(huì)把這些數(shù)據(jù)保存在其內(nèi)部的 LRU緩沖器內(nèi).

(4)客戶端在所有數(shù)據(jù)推送結(jié)束后向主服務(wù)器發(fā)送寫(xiě)主塊請(qǐng)求.主服務(wù)器將數(shù)據(jù)寫(xiě)入二級(jí)副本.

(5)所有二級(jí)副本在寫(xiě)入數(shù)據(jù)結(jié)束后回復(fù)主塊.

(6)主塊回復(fù)客戶端寫(xiě)入已完成.

在此過(guò)程中,產(chǎn)生的任何錯(cuò)誤都會(huì)報(bào)告給客戶端,客戶端收到失敗信息后從(3)到(6)嘗試進(jìn)行再次寫(xiě)數(shù)據(jù).

2.2 云數(shù)據(jù)管理技術(shù)

云數(shù)據(jù)是海量數(shù)據(jù),如何對(duì)海量數(shù)據(jù)進(jìn)行管理,向應(yīng)用程序提供高效的服務(wù)是云計(jì)算數(shù)據(jù)管理系統(tǒng)必須解決的問(wèn)題.一般來(lái)說(shuō),數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的寫(xiě)操作頻率,所以云數(shù)據(jù)管理都傾向使用讀優(yōu)化技術(shù).我們以云數(shù)據(jù)管理系統(tǒng)Bigtable為例來(lái)說(shuō)明云管理技術(shù).

Bigtable是一種為管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),本質(zhì)上是一個(gè)有序稀疏支持持久化存儲(chǔ)的多維度映射表.其存儲(chǔ)結(jié)構(gòu)由行、列,以及時(shí)間戳來(lái)表示,如圖 3所示.其數(shù)據(jù)模型為(row:string,column:string,time:int64)-＞string.

圖3 Bigtable存儲(chǔ)結(jié)構(gòu)

(1)行 Bigtable通過(guò)行關(guān)鍵字的字典序來(lái)維護(hù)數(shù)據(jù).行表中的行關(guān)鍵字可以是任意字符串.一張表可以動(dòng)態(tài)劃分成多個(gè)連續(xù)行.這些連續(xù)行的集合我們稱之為 “記錄板”,即 tablet.

(2)列 一組列關(guān)鍵字組成了“列簇”,列簇是若干列的集合,同一列簇下存放的所有數(shù)據(jù)通常都是同一類型.列簇創(chuàng)建后,在其中的列關(guān)鍵字下存放數(shù)據(jù).Bigtable中的存取權(quán)限控制在列簇的粒度中進(jìn)行.

(3)時(shí)間戳 64位整型數(shù)字,Bigtable表中每一個(gè)表項(xiàng)都可以包含同一數(shù)據(jù)的多個(gè)版本,不同版本的表項(xiàng)內(nèi)容按時(shí)間戳倒序排列,即最新的排在前面.

Bigtable依賴一個(gè)高度可用的、存儲(chǔ)的分布式數(shù)據(jù)鎖服務(wù)器 Chubby來(lái)讀寫(xiě)數(shù)據(jù),Chubby提供了一個(gè)名字空間,其中包括目錄和文件.每個(gè)目錄或文件可以當(dāng)成一個(gè)鎖來(lái)用,讀寫(xiě)文件操作都是原子性的,即讀寫(xiě)過(guò)程中出現(xiàn)異常中斷立即回滾.Chubby文件中包含根記錄板的位置,根記錄板僅有一個(gè),包含所有元數(shù)據(jù)記錄板集合的位置信息,每個(gè)元數(shù)據(jù)記錄板集合包含大量用戶表的位置信息.當(dāng)客戶端讀取數(shù)據(jù)時(shí),首先從 Chubby鎖服務(wù)器文件中獲取根記錄板的位置,并從中讀取相應(yīng)的位置信息,接著從元數(shù)據(jù)記錄板中讀取包含目標(biāo)數(shù)據(jù)位置信息的用戶表的位置,然后從該用戶表中讀取目標(biāo)數(shù)據(jù)的位置信息項(xiàng),最后再根據(jù)此信息到服務(wù)器中特定位置讀取數(shù)據(jù).

Bigtable數(shù)據(jù)位置信息結(jié)構(gòu)見(jiàn)圖 4.

圖4 Bigtable數(shù)據(jù)位置信息結(jié)構(gòu)

3 云存儲(chǔ)的安全問(wèn)題

云計(jì)算被視為科技界的下一次革命,它將帶來(lái)工作方式和商業(yè)模式的根本性改變.云計(jì)算降低了資本支出和數(shù)據(jù)中心的運(yùn)營(yíng)成本,提高了基礎(chǔ)設(shè)施的利用率,簡(jiǎn)化了資源管理等.但云存儲(chǔ)也存在很多問(wèn)題.其中最突出的就是安全問(wèn)題.

(1)云數(shù)據(jù)存儲(chǔ)位置問(wèn)題 在云提供商中,用戶不知道實(shí)際數(shù)據(jù)的存儲(chǔ)位置,這一點(diǎn)會(huì)造成用戶對(duì)于數(shù)據(jù)存儲(chǔ)地的擔(dān)心.另外還有對(duì)敏感數(shù)據(jù)的訪問(wèn)問(wèn)題,如果云存儲(chǔ)管理出現(xiàn)異常,可能導(dǎo)致用戶不能掌控自己數(shù)據(jù)的訪問(wèn)權(quán)限.

(2)數(shù)據(jù)隔離問(wèn)題 云存儲(chǔ)存儲(chǔ)了大量的客戶數(shù)據(jù),這些數(shù)據(jù)本身是應(yīng)該隔離的,云提供商需要保證私有數(shù)據(jù)不能被其他無(wú)授權(quán)的用戶訪問(wèn).

(3)數(shù)據(jù)恢復(fù)問(wèn)題 一旦云端數(shù)據(jù)出現(xiàn)全部或部分?jǐn)?shù)據(jù)破壞時(shí),提供商是否有能力進(jìn)行全面恢復(fù),需要多少時(shí)間才能完成恢復(fù),都具有不確定性.

(4)云服務(wù)擴(kuò)充與遷移問(wèn)題 當(dāng)用戶需求擴(kuò)大時(shí),云提供商現(xiàn)有的云服務(wù)不能滿足用戶需求,用戶需要轉(zhuǎn)移至其他云提供商.但對(duì)于用戶來(lái)說(shuō),已有數(shù)據(jù)及應(yīng)用能否保證順利遷移將面臨很大的不確定性.

4 結(jié)束語(yǔ)

作為目前一種先進(jìn)的技術(shù),云計(jì)算有著無(wú)可比擬的優(yōu)勢(shì).國(guó)內(nèi)許多大的廠商如聯(lián)想、Baidu和浪潮等都在積極參與到云計(jì)算技術(shù)的研究中.但目前云計(jì)算還存在很多問(wèn)題,如文中提到的可用性、可靠性,以及安全問(wèn)題等.這些尚未完全解決的技術(shù)及問(wèn)題將是下一步研究的重點(diǎn).

［1］GoogleW iki.Overview of hypertable architecture［EB/OL］.［2010-03-20］http:∥code.google.com/p/hypertable/wiki/A rchitectural-Overview.

［2］WEISSA.Computing in the clouds［J］.ACM Networker,2007,11(4):16-25.

［3］陳康,鄭緯民.云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀［J］.軟件學(xué)報(bào),2009,20(5):1 337-1 348.

［4］ABBOTT R,GARCIA-MOLINA H.Scheduling I/O requ-ests with deadlines:a performance evaluation［C］∥Proceed-ings of the 11th Real-Time Systems Symposium,1990:113-124.

［5］VARIA J.Cloud architectures-amazon web services［EB/OL］.［2010-04-10］http:∥acmbangalore.Org/events/monthly-talk/may-2008-clound-architectures--amazon-web-services.html.

［6］樂(lè)天.云計(jì)算還須邁過(guò)安全關(guān)［N］.計(jì)算機(jī)世界報(bào),2008-7-28(28).

［7］APACHE.Welcome to apache hadoop［EB/OL］.［2010-06-20］http:∥hadoop.apache.org/.