云存儲(chǔ)模型及架構(gòu)解析

彭海琴

摘要：云計(jì)算對(duì)大數(shù)據(jù)進(jìn)行分析處理的前提是解決數(shù)據(jù)的存儲(chǔ)問題，隨著數(shù)據(jù)量的快速增長(zhǎng)，數(shù)據(jù)存儲(chǔ)逐漸成為大型企業(yè)和普通用戶所關(guān)注的核心問題。本文概述了云存儲(chǔ)的相關(guān)概念及云存儲(chǔ)的模型和架構(gòu)，解析了組成云存儲(chǔ)模型的各層次結(jié)構(gòu)的功用及模型的架構(gòu)，并對(duì)實(shí)現(xiàn)云存儲(chǔ)的關(guān)鍵技術(shù)進(jìn)行了簡(jiǎn)述，以期對(duì)讀者學(xué)習(xí)云存儲(chǔ)有所幫助。

關(guān)鍵詞：云存儲(chǔ) 云存儲(chǔ)模型 云存儲(chǔ)模型架構(gòu)

中圖分類號(hào)：Tp393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2015）04-0076-02

云計(jì)算對(duì)大數(shù)據(jù)進(jìn)行分析處理的前提是解決數(shù)據(jù)的存儲(chǔ)問題，隨著數(shù)據(jù)量的快速增長(zhǎng)，數(shù)據(jù)存儲(chǔ)逐漸成為大型企業(yè)和普通用戶所關(guān)注的核心問題。由于傳統(tǒng)存儲(chǔ)設(shè)備容量帶寬有限、設(shè)備節(jié)點(diǎn)不易擴(kuò)展、不易使用、數(shù)據(jù)管理困難，不足以應(yīng)付日益增長(zhǎng)的大數(shù)據(jù)。在這種大數(shù)據(jù)和云計(jì)算發(fā)展的背景下，應(yīng)運(yùn)而生的云存儲(chǔ)技術(shù)在一定的程度上解決了該難題。

1 云存儲(chǔ)概述

從狹義上講，云存儲(chǔ)是在一定程度上延伸了云計(jì)算技術(shù)，是一個(gè)以數(shù)據(jù)管理和存儲(chǔ)為核心的云計(jì)算平臺(tái)，依靠軟件將分布在不同位置不同種類的存儲(chǔ)介質(zhì)有效結(jié)合起來組成一個(gè)更大的存儲(chǔ)介質(zhì)，對(duì)外界提供透明一致的存儲(chǔ)和業(yè)務(wù)訪問接口。從廣義上講，云存儲(chǔ)是一種按需提供的虛擬存儲(chǔ)服務(wù)，以及基于這個(gè)存儲(chǔ)服務(wù)平臺(tái)上建立起來的許多應(yīng)用，即云空間應(yīng)用。

云存儲(chǔ)云計(jì)算技術(shù)是人類進(jìn)入大數(shù)據(jù)時(shí)代一種新型的存儲(chǔ)模式，可以通過網(wǎng)絡(luò)提供可配置的虛擬化存儲(chǔ)及相關(guān)數(shù)據(jù)訪問的服務(wù)為海量數(shù)據(jù)的存儲(chǔ)和管理提供解決方案。云計(jì)算中集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)的應(yīng)用使數(shù)據(jù)的存儲(chǔ)和管理更加方便。為了達(dá)到數(shù)據(jù)存儲(chǔ)目的，云計(jì)算系統(tǒng)需要配置大量的存儲(chǔ)設(shè)備，這樣系統(tǒng)由一個(gè)計(jì)算系統(tǒng)演變成了一個(gè)存儲(chǔ)系統(tǒng)。云存儲(chǔ)技術(shù)不僅繼承了云計(jì)算的特點(diǎn)，還有可擴(kuò)展性好、性能高、成本低、無接入限制等優(yōu)勢(shì)，所以云存儲(chǔ)技術(shù)可以為海量數(shù)據(jù)提供一個(gè)彈性的、可伸縮的存儲(chǔ)平臺(tái)。

云存儲(chǔ)的核心主要是存儲(chǔ)虛擬化和存儲(chǔ)自動(dòng)化，發(fā)展在虛擬存儲(chǔ)技術(shù)之上對(duì)存儲(chǔ)服務(wù)和設(shè)備進(jìn)行虛擬化，即把對(duì)物理存儲(chǔ)數(shù)據(jù)的訪問抽象成對(duì)邏輯數(shù)據(jù)的訪問。存儲(chǔ)虛擬化除了要實(shí)現(xiàn)異構(gòu)存儲(chǔ)介質(zhì)的互聯(lián)和統(tǒng)一管理，實(shí)現(xiàn)數(shù)據(jù)的共享、沖突解決、一致性及數(shù)據(jù)遷移，實(shí)現(xiàn)數(shù)據(jù)的透明存儲(chǔ)和容錯(cuò)容災(zāi)策略，對(duì)系統(tǒng)要有性能優(yōu)化和負(fù)載均衡處理能力之外，還要提供存儲(chǔ)安全和數(shù)據(jù)訪問的安全保證。此外，虛擬存儲(chǔ)系統(tǒng)本身還要具有高可靠性和高可擴(kuò)展性等特點(diǎn)。

2 云存儲(chǔ)結(jié)構(gòu)模型

云存儲(chǔ)結(jié)構(gòu)模型由訪問、應(yīng)用接口、基礎(chǔ)管理、存儲(chǔ)等4個(gè)層次組成，如圖1所示。傳統(tǒng)的存儲(chǔ)設(shè)備僅僅是簡(jiǎn)單的硬件范疇，而云存儲(chǔ)的組成更多的是存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用軟件、服務(wù)器、訪問接口等多個(gè)部分的有機(jī)合，超越了傳統(tǒng)硬件的單一性。這個(gè)聚合中存儲(chǔ)設(shè)備是核心，外界用戶通過軟件來操作數(shù)據(jù)和處理業(yè)務(wù)。云存儲(chǔ)模型是一種典型的層次結(jié)構(gòu)，低一層向高一層提供服務(wù)，高一層次不必關(guān)心底層次的業(yè)務(wù)邏輯只需要調(diào)用接口即可，這樣提高層內(nèi)內(nèi)聚度和降低了層次之間耦合性，易于維護(hù)。

（1）訪問層，是用戶可以直接接觸到層次。任何有權(quán)限的用戶都可以通過該層提供的接口進(jìn)入云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)的高效便捷的服務(wù)。這些服務(wù)不僅有個(gè)人云盤服務(wù)，還有企業(yè)空間租賃服務(wù)等，能夠?qū)崿F(xiàn)數(shù)據(jù)存儲(chǔ)、備份、集中管理、遠(yuǎn)程共享等。

（2）應(yīng)用接口層，是云存儲(chǔ)框架中最靈活多變的一層。因?yàn)樵搶拥慕M成由實(shí)際的運(yùn)營(yíng)單位決定，業(yè)務(wù)的不同會(huì)有不同的應(yīng)用接口提供不同的服務(wù)，例如網(wǎng)絡(luò)硬盤的接口、視頻監(jiān)控的應(yīng)用平臺(tái)等。

（3）基礎(chǔ)管理層，是云存儲(chǔ)架構(gòu)核心部分。這層通過集群應(yīng)用、網(wǎng)格計(jì)算、分布式文件系統(tǒng)等技術(shù)實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)設(shè)備可以向外提供相同的服務(wù)。該層的P2P對(duì)等存儲(chǔ)技術(shù)可以保證數(shù)據(jù)的高擴(kuò)展性和高容錯(cuò)性。為了保證云存儲(chǔ)介質(zhì)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶訪問采取內(nèi)容分發(fā)系統(tǒng)和數(shù)據(jù)加密及技術(shù)，同時(shí)為了達(dá)到數(shù)據(jù)冗余和云存儲(chǔ)自身安全穩(wěn)定的目的在該層采用數(shù)據(jù)容災(zāi)備份技術(shù)。

（4）存儲(chǔ)層，是云存儲(chǔ)架構(gòu)中最基礎(chǔ)的部分。存儲(chǔ)層的設(shè)備可以是網(wǎng)絡(luò)接入服務(wù)器（NAS，Network Access Server）、光纖通道（FC，F(xiàn)iber Channel）、網(wǎng)絡(luò)小型計(jì)算機(jī)系統(tǒng)接口（ISCSI，Internet Small Computer System Interface）等。這一層的存儲(chǔ)設(shè)備種類繁多，但是在統(tǒng)一的設(shè)備管理系統(tǒng)可對(duì)它們進(jìn)行集中管理、虛擬化操作、狀態(tài)監(jiān)控和升級(jí)維護(hù)等?？紤]到數(shù)據(jù)冗余備份和能量消耗，通常是把存儲(chǔ)集群分布在不同的地域，各個(gè)地域間的集群通過網(wǎng)絡(luò)互聯(lián)或FC光纖通道連接形成一個(gè)更大的邏輯設(shè)備。

3 云存儲(chǔ)模型架構(gòu)

云存儲(chǔ)主要存在兩種架構(gòu)模型，一種是緊耦合對(duì)稱架構(gòu)，另一種是松弛耦合非對(duì)稱架構(gòu)。前一種架構(gòu)出現(xiàn)比較早，設(shè)計(jì)目標(biāo)是為了解決HPC（High-Performance Computing，高性能計(jì)算）問題。后一種則不適合高性能的HPC計(jì)算，它的設(shè)計(jì)初衷更多的是出自滿足大容量的存儲(chǔ)需求，所以對(duì)信息資源的元數(shù)據(jù)的操作控制較前一個(gè)集中。

（1）緊耦合對(duì)稱架構(gòu)（TCS，Tight Coupling Symmetrical）。HPC計(jì)算所需要訪問單個(gè)文件的次數(shù)要比訪問單個(gè)設(shè)備的次數(shù)多得多，而采用傳統(tǒng)的NAS（Network Attached Storage，網(wǎng)絡(luò)附屬存儲(chǔ)），單個(gè)文件的I/O效率低下。針對(duì)這一問題，出現(xiàn)了緊耦合的對(duì)稱架構(gòu)（TCS），這個(gè)架構(gòu)模型能夠提供為文件分布式鎖管理（即鎖定文件不同部分的寫操作）和緩存一致性功能。TCS架構(gòu)對(duì)提高單個(gè)文件吞吐效率非常的有效，很多的HPC也已經(jīng)采取了此種架構(gòu)模型。

（2）松弛耦合非對(duì)稱（LCA，Loose Coupling Asymmetric）架構(gòu)。與緊耦合對(duì)稱架構(gòu)一樣，LCA架構(gòu)也是把數(shù)據(jù)節(jié)點(diǎn)向外擴(kuò)展，但是LCA架構(gòu)的策略與TCS不同，它利用一個(gè)數(shù)據(jù)節(jié)點(diǎn)之外的數(shù)據(jù)元數(shù)據(jù)服務(wù)器來管理數(shù)據(jù)，對(duì)于數(shù)據(jù)的操作只需要這元數(shù)據(jù)服務(wù)器知道即可，而不需要通知全部的節(jié)點(diǎn)。這種元數(shù)據(jù)集中管理的方式有很多優(yōu)勢(shì)：a）數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)可以只專注數(shù)據(jù)的讀寫服務(wù)，而不需要實(shí)時(shí)同步其他數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)；b）降低存儲(chǔ)節(jié)點(diǎn)之間互聯(lián)同步狀態(tài)的開銷，有效利用帶寬，如昂貴的光纖通道等，降低了使用成本。c）用戶可以根據(jù)需要，通過虛擬化的技術(shù)來調(diào)整云存儲(chǔ)的規(guī)模大小。

4 實(shí)現(xiàn)云存儲(chǔ)的關(guān)鍵技術(shù)

（1）存儲(chǔ)虛擬化技術(shù)。存儲(chǔ)虛擬化技術(shù)能夠?qū)⒉煌瑥S商、不同型號(hào)、不同通信技術(shù)、不同類型的存儲(chǔ)設(shè)備映射為一個(gè)統(tǒng)一的邏輯存儲(chǔ)資源池，并對(duì)其進(jìn)行統(tǒng)一分配管理，屏蔽存儲(chǔ)實(shí)體間的物理位置以及異構(gòu)特性，實(shí)現(xiàn)資源對(duì)用戶的透明性，降低構(gòu)建、管理和維護(hù)資源的成本，提升云存儲(chǔ)系統(tǒng)的資源利用率。目前業(yè)界主要的存儲(chǔ)虛擬化技術(shù)有基于主機(jī)、基于存儲(chǔ)設(shè)備和基于網(wǎng)絡(luò)的虛擬化技術(shù)。

（2）分布式存儲(chǔ)技術(shù)。分布式存儲(chǔ)技術(shù)是通過網(wǎng)絡(luò)使用服務(wù)商提供的各個(gè)存儲(chǔ)設(shè)備上的存儲(chǔ)空間，并將這些分散的存儲(chǔ)資源整合成一個(gè)虛擬的存儲(chǔ)設(shè)備，這樣數(shù)據(jù)可以分散的存儲(chǔ)在各個(gè)不同的設(shè)備上。目前比較流行的分布式存儲(chǔ)技術(shù)為：分布式塊存儲(chǔ)、分布式文件系統(tǒng)存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式表存儲(chǔ)。

（3）數(shù)據(jù)備份技術(shù)。云存儲(chǔ)為了保證數(shù)據(jù)的可靠性一般是采取備份機(jī)制，即數(shù)據(jù)備份技術(shù)，有兩種副本存放技術(shù)，一是通過集中式的存儲(chǔ)目錄來定位數(shù)據(jù)對(duì)象的存儲(chǔ)位置，這種方法可以利用存儲(chǔ)目錄中存放的存儲(chǔ)節(jié)點(diǎn)信息，將數(shù)據(jù)對(duì)象的多個(gè)副本放置在不同機(jī)架上，可大大提高系統(tǒng)的數(shù)據(jù)可靠性。二是布局方法是基于哈希算法的副本布局方法。

（4）數(shù)據(jù)縮減技術(shù)。云存儲(chǔ)中的數(shù)據(jù)縮減技術(shù)滿足海量信息爆炸式增長(zhǎng)趨勢(shì)的同時(shí)，也一定程度上節(jié)約企業(yè)存儲(chǔ)成本。自動(dòng)精簡(jiǎn)技術(shù)有效減少分配給一個(gè)應(yīng)用而實(shí)際沒有被使用到的存儲(chǔ)空間，而當(dāng)實(shí)際使用空間不足時(shí)會(huì)自動(dòng)擴(kuò)展空間。自動(dòng)分層技術(shù)根據(jù)數(shù)據(jù)的使用情況進(jìn)行分層，可以把不常用的數(shù)據(jù)遷移到其他節(jié)點(diǎn)存儲(chǔ)。數(shù)據(jù)壓縮技術(shù)滿足了數(shù)據(jù)的高傳輸率的要求。存儲(chǔ)設(shè)備中不可避免會(huì)有重復(fù)數(shù)據(jù)出現(xiàn)，需要某種策略去除重復(fù)數(shù)據(jù)提高空間利用率。

此外，還需要內(nèi)容分發(fā)技術(shù)盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的因素，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。在云存儲(chǔ)中數(shù)據(jù)遷移技術(shù)和數(shù)據(jù)容錯(cuò)技術(shù)也是必不可少的。

5 結(jié)語

本文概述了云存儲(chǔ)的相關(guān)概念及云存儲(chǔ)的模型和架構(gòu)，解析了組成云存儲(chǔ)模型的各層次結(jié)構(gòu)的功用及模型的架構(gòu)，并對(duì)實(shí)現(xiàn)云存儲(chǔ)的關(guān)鍵技術(shù)進(jìn)行了簡(jiǎn)述，以期對(duì)讀者學(xué)習(xí)云存儲(chǔ)有所幫助。

參考文獻(xiàn)

[1]王勝川.基于云計(jì)算的存儲(chǔ)技術(shù)研究.《石油工業(yè)計(jì)算機(jī)應(yīng)用》[J]，2011.6.

[2]郅斌.一種私有云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京郵電大學(xué)，2011.5.

[3]宋凱，耿義良.云存儲(chǔ)技術(shù)《才智》[J].2010.2.

[4]李連煥.云存儲(chǔ)與醫(yī)院數(shù)字化建設(shè).《電腦編程技巧與維護(hù)》[J]，2012.1.

[5]楊麗婷.基于云計(jì)算數(shù)據(jù)存儲(chǔ)技術(shù)的研究[D].中北大學(xué)，2011.4.