網(wǎng)絡存儲關鍵技術的研究及進展

馮　丹

【摘要】文章介紹了幾種典型的網(wǎng)絡存儲系統(tǒng)結構，包括直接連接存儲DAS、附網(wǎng)存儲NAS、存儲區(qū)域網(wǎng)SAN以及面向對象存儲OBS，并比較了其特點，對近年來發(fā)展迅速的基于對象的存儲系統(tǒng)和云存儲相關技術的研究現(xiàn)狀和發(fā)展趨勢進行了深入分析。

【關鍵詞】網(wǎng)絡存儲 存儲系統(tǒng) 云存儲

處理、傳輸和存儲是當今數(shù)字信息技術的三大基石，計算設施、網(wǎng)絡設施以及存儲設施合在一起，成為以互聯(lián)網(wǎng)為代表的現(xiàn)代信息社會的基礎設施。以往的存儲設備隱藏在服務器中，但隨著數(shù)字化信息的爆炸性增長，存儲系統(tǒng)已成為獨立的部分，而且在當前信息設施投資中比例已超過50%。隨著數(shù)據(jù)量的進一步快速增長，對存儲的需求持續(xù)高漲，存儲成為整個IT業(yè)發(fā)展的新動力，新的技術和產品層出不窮，市場已經(jīng)十分巨大，而且還在迅速擴展。

1 幾種典型網(wǎng)絡存儲系統(tǒng)結構

自計算機誕生以來，隨著大規(guī)模集成電路技術的發(fā)展，計算機系統(tǒng)中CPU計算速度以每年40%~100%的速率提高，而磁盤尋道速度僅以每年7%的速率增長[2]，因此，計算機系統(tǒng)中CPU/主存與存儲子系統(tǒng)之間的訪問速度差距越來越大。為了彌補這個差距，各國學者把注意力放在了存儲系統(tǒng)并行訪問能力的提高上，技術上最先獲得突破的是磁盤陣列技術（RAID，Redundant Array of Inexpensive Disks）。RAID通過將數(shù)據(jù)分條存儲在不同磁盤上，采用交叉讀寫技術，利用時間和空間的重疊，對多個磁盤進行并行I/O訪問，從而大大提高了訪問性能。

上世紀九十年代以來，隨著網(wǎng)絡技術的發(fā)展與處理能力的大幅提高，傳統(tǒng)的單機數(shù)據(jù)處理方式被依附在網(wǎng)絡上的以數(shù)據(jù)為中心的數(shù)據(jù)處理方式所取代，使存儲系統(tǒng)與網(wǎng)絡系統(tǒng)結合起來，產生了網(wǎng)絡存儲系統(tǒng)。基本的網(wǎng)絡存儲系統(tǒng)結構包括傳統(tǒng)以服務器為中心的直接連接存儲（DAS，Direct Access Storage）、附網(wǎng)存儲（NAS，Network Attached Storage）、存儲區(qū)域網(wǎng)（SAN，Storage Area Network）以及最近研究的——面向對象存儲（OBS，Object-Based Storage）。

1.1 直連存儲DAS

傳統(tǒng)的直連存儲DAS結構中，將具有塊接口的存儲設備（如磁盤、陣列）通過專用I/O通道，直接連接到文件服務器上，存儲設備相當于服務器的一部分，由服務器提供存儲管理與對外服務。在DAS結構存儲系統(tǒng)中，數(shù)據(jù)的傳輸是以服務器為中心的，可以方便地集中管理數(shù)據(jù)，具有比較好的數(shù)據(jù)安全性。但是，客戶訪問存儲系統(tǒng)中的數(shù)據(jù)時，數(shù)據(jù)需要在存儲設備和服務器間多次轉發(fā)，盡管文件服務器并不關心數(shù)據(jù)內容，通常也不對數(shù)據(jù)本身進行處理，但數(shù)據(jù)請求與傳送都需要文件服務器的介入。當大規(guī)模用戶進行數(shù)據(jù)訪問時，給服務器的存取轉發(fā)控制帶來非常大的開銷，使得文件服務器成為了整個系統(tǒng)中的性能瓶頸，對系統(tǒng)整體讀寫性能與可擴展性產生很大影響。

1.2 附網(wǎng)存儲NAS

NAS是一種以數(shù)據(jù)為中心的存儲結構，存儲子系統(tǒng)不再通過專用I/O通道附屬于某個服務器，而是通過專門系統(tǒng)的定制，將通用服務器上無關的功能去掉，只保留存儲相關功能，可以看成是一臺專門負責存儲的“瘦”服務器，具有比DAS更高的讀寫性能。NAS提供文件級數(shù)據(jù)訪問，支持NFS與CIFS網(wǎng)絡文件協(xié)議，實現(xiàn)異構平臺之間的數(shù)據(jù)級共享，在文件級別上建立安全機制也很容易。但是，NAS沒有從根本上改變服務器/客戶機的訪問方式，因此當客戶端數(shù)目或來自客戶端的請求較多時，NAS服務器仍將成為系統(tǒng)的瓶頸。

1.3 存儲區(qū)域網(wǎng)SAN

SAN對前兩種存儲系統(tǒng)結構進行了比較大的改進，真正地將存儲子系統(tǒng)從服務器上分離出來獨立地連接在高速專用網(wǎng)上的，是一種以網(wǎng)絡為中心的存儲結構，目前典型兩種結構是基于光纖通道的FC-SAN和基于IP網(wǎng)絡的IP-SAN。客戶通過高速專用網(wǎng)與存儲設備連接在一起，通過虛擬化軟件進行存儲系統(tǒng)的集中管理，具有較好的擴展性。SAN中的服務器專門用來存放元數(shù)據(jù)，元數(shù)據(jù)描述了數(shù)據(jù)本身的屬性，完成文件到存儲設備物理塊的映射?？蛻粼谠L問存儲系統(tǒng)時，通過從元數(shù)據(jù)服務器得到的元數(shù)據(jù)，直接訪問存儲設備，避免了傳統(tǒng)服務器因轉發(fā)帶來的延遲，使得SAN具有較高的性能。但是，由于SAN是以塊為訪問接口，其安全性管理非常有限；隨著存儲設備與客戶數(shù)量的提高，元數(shù)據(jù)服務器的負載過大，成為系統(tǒng)中的潛在瓶頸。

1.4 基于對象的存儲OBS

OBS采用對象接口，大小動態(tài)可變，吸收了NAS與SAN的優(yōu)點，既有“塊”接口的快速，又有“文件”接口的便于共享；同時克服了NAS與SAN的不足，削弱了影響性能提升的環(huán)節(jié)，系統(tǒng)具有較高的性能與可擴展性。OBS最顯著的特點就是把數(shù)據(jù)存儲的物理視圖下放到對象存儲設備（OSD，Object-Based Storage Device）上，元數(shù)據(jù)服務器上只負責維護全局邏輯視圖，用戶在進行數(shù)據(jù)傳輸時，直接與OSD通信，元數(shù)據(jù)服務器沒有直接干預，從而大大減輕了元數(shù)據(jù)服務器的負擔，弱化了系統(tǒng)中的瓶頸環(huán)節(jié)。

圖1描述了上面四種存儲系統(tǒng)的結構，可以看到，在SAN與OBS中客戶都是可以與存儲子系統(tǒng)直接傳遞數(shù)據(jù)，而OBS系統(tǒng)將文件存儲的物理視圖下放到存儲設備上，避免了SAN中元數(shù)據(jù)服務器形成的瓶頸。

2 基于對象的存儲系統(tǒng)

基于對象存儲中最基本的概念就是對象（Object），它是一種數(shù)據(jù)的邏輯組織形式，是容納了長度可變的數(shù)據(jù)塊和可擴展的存儲屬性的基本容器，提供與文件類似的訪問方式，例如打開、關閉、讀/寫等。

基于對象存儲系統(tǒng)的最基本思想就是將存儲系統(tǒng)中的數(shù)據(jù)交互分為數(shù)據(jù)通路與控制通路兩部分，是一種帶外傳輸方式，由客戶、MDS與OSD組成了三方架構，如圖2所示。其中的控制通路負責數(shù)據(jù)的控制、管理功能，由MDS實現(xiàn)；數(shù)據(jù)通路負責數(shù)據(jù)的存儲管理功能，數(shù)據(jù)的存儲管理功能被分離出來交由智能的OSD實現(xiàn)。通過數(shù)據(jù)通路與控制通路的分離，將元數(shù)據(jù)服務器與存儲設備分離，大大減輕了讀寫過程中元數(shù)據(jù)服務器的負擔。客戶進行文件訪問時，首先通過控制通路從MDS得到該文件在OSD集群上的分布信息與訪問授權命令，之后通過數(shù)據(jù)通路直接訪問OSD。系統(tǒng)通過高速網(wǎng)絡連接起來，共同協(xié)作為用戶提供服務，不存在明顯的瓶頸環(huán)節(jié)。

2.1 MDS、OSD與客

戶端交互過程

MDS、OSD與客戶端之間的交互過程為：

（1）用戶將文件讀寫請求提交客戶端，客戶端將要訪問的文件名、數(shù)據(jù)長度等信息以一定的格式傳遞給MDS；

（2）MDS收到客戶端請求，對客戶進行安全檢測，通過后，將該次訪問涉及到的元數(shù)據(jù)與授權證書發(fā)送給客戶；

（3）MDS通知OSD有客戶即將與其進行數(shù)據(jù)傳輸，做好數(shù)據(jù)發(fā)送或接收的準備，并將相關的安全認證信息告訴此OSD；

（4）客戶使用MDS反饋的元數(shù)據(jù)和安全授權，與相應服務器直接進行數(shù)據(jù)交換；

（5）文件訪問結束，OSD向MDS通知數(shù)據(jù)傳輸完畢，并提交對象更新信息，MDS進行相應元數(shù)據(jù)的更新。

2.2 各種原型系統(tǒng)

基于對象的存儲系統(tǒng)具有性能高、可擴展性好等諸多優(yōu)點，它的設計理念一經(jīng)提出，便成為學術界與工業(yè)界關注的熱點，眾多機構和廠商先后推出了各具特色的原型系統(tǒng)。

（1）NASD

基于對象的存儲的研究最早起源于卡內基梅隆大學并行數(shù)據(jù)實驗室的NASD（Network-Attached Security Disks）項目，基本思想是將處理器集成到磁盤驅動器，使它具有一定的智能，能夠獨立管理其自身的安全、存儲和網(wǎng)絡通信。NASD采用一種命令接口結構將文件管理器的大部分工作轉移到磁盤上。對于流量大、要求迅速響應的操作，如讀/寫，可直接對磁盤驅動器進行操作；對于帶寬依賴小的操作，如全局目錄空間的管理，則由專門的文件服務器處理。NASD的提出從系統(tǒng)架構上給出了基于對象存儲的原始模型。

（2）Lustre

Lustre是Cluster file system公司在SAN存儲結構基礎上加以改進，得到的基于對象存儲的高性能存儲系統(tǒng)。Lustre對象存儲系統(tǒng)就是由客戶端（Client）、存儲服務器（OST，Object Storage Target）和元數(shù)據(jù)服務器（MDS）三個主要部分組成，三部分通過高速互聯(lián)網(wǎng)連接，是一種典型的三方存儲架構。Lustre提供標準的POSIX接口，客戶端可以透明地訪問Lustre系統(tǒng)中的數(shù)據(jù)，而無需知道這些數(shù)據(jù)的具體位置。Lustre具有較高的讀寫性能與可擴展性，已經(jīng)在美國多個國家實驗室的高性能計算中得到應用。

（3）ActiveScale

ActiveScale是Panasas公司推出的一個商業(yè)化的對象存儲系統(tǒng)，應用于大規(guī)模Linux集群環(huán)境，該系統(tǒng)硬件環(huán)境由StorageBlade、DirectorBlade和高速互連網(wǎng)絡組成。StorageBlade就是對象存儲體系結構中的OSD，是具有一定智能性的存儲設備，可以管理存儲刀片上的數(shù)據(jù)；DirectorBlade充當MDS的角色，具有很強的處理能力與高速的互連網(wǎng)接口。整個系統(tǒng)的架構與工作流程與傳統(tǒng)對象存儲系統(tǒng)模型一致，同時設計了專用的Panasas文件系統(tǒng)，使ActiveScale在Linux集群環(huán)境中性能表現(xiàn)優(yōu)異，可擴展性良好。

（4）Storage Tank

Storage Tank是IBM公司參考對象存儲的設計思想，在SAN存儲架構上設計出的異構可擴展存儲系統(tǒng)。Storage Tank采用緩存策略在客戶端緩存文件元數(shù)據(jù)和數(shù)據(jù)，提高了訪問速度并減少了MDS的負載；采用分布式元數(shù)據(jù)管理方法，將文件系統(tǒng)元數(shù)據(jù)劃分為多個文件集，不同的文件集可以分配到不同的元數(shù)據(jù)服務器處理，緩解元數(shù)據(jù)服務器瓶頸問題。將基于策略分配、卷管理和文件管理引入到數(shù)據(jù)存儲領域，提供了一個基于鎖的數(shù)據(jù)一致性的模型，使每個客戶端可以像使用本地文件系統(tǒng)一樣使用分布式文件系統(tǒng)。

（5）HUST-OBS

HUST-OBS是華中科技大學開發(fā)的基于對象的存儲系統(tǒng)，其主要特點是：引入主動存儲對象概念，結合磁盤陣列技術構成基于對象的存儲設備OSD（Object based Storage Device），它既可獨立使用提供存儲服務，也可作為對象存儲系統(tǒng)的存儲節(jié)點；OSD根據(jù)對象屬性歷史記錄自動分析負載規(guī)律，通過自學習和策略觸發(fā)機制，實現(xiàn)存儲主動服務；多OSD構成系統(tǒng)時，由存儲系統(tǒng)實現(xiàn)自我組織與管理，針對不同應用環(huán)境實現(xiàn)自我優(yōu)化調節(jié)，使系統(tǒng)整體性能最佳；利用對象“封閉”特性，使系統(tǒng)具有安全性；通過數(shù)據(jù)、節(jié)點冗余等提高系統(tǒng)可靠性，在故障出現(xiàn)時實現(xiàn)快速恢復。即HUST-OBS自組織對象存儲系統(tǒng)具有如下特性：自組織（Self-Organize）、自調節(jié)（Self-Adjust）、自安全（Self-Secure）和自愈（Self-Heal）。

3 云存儲

云存儲（Cloud Storage）是在云計算（Cloud Computing）概念上延伸和發(fā)展而來的。與云計算類似，它是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過虛擬化軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能。

云存儲概念一經(jīng)提出，就得到了眾多廠商的關注和支持。Amazon推出Elastic Compute Cloud（EC2：彈性計算云）云存儲產品，為用戶提供互聯(lián)網(wǎng)服務同時提供更強的存儲和計算功能。內容分發(fā)網(wǎng)絡服務提供商CD Networks和云存儲平臺服務商Nirvanix發(fā)布了一項新的合作，并宣布結成戰(zhàn)略伙伴，以提供云存儲和內容傳送服務集成平臺。微軟推出了提供網(wǎng)絡移動硬盤服務的Windows Live SkyDrive Beta測試版。近期，EMC宣布加入道里可信基礎架構項目，致力于云計算環(huán)境下關于信任和可靠度保證的研究，IBM也將云計算標準作為全球數(shù)據(jù)備份中心的3億美元擴展方案的一部分。

云存儲可能獲得成功的原因在于其具有相對較低的價格，而且具備可擴展性、靈活性、訪問便利性和廠商選擇性多等優(yōu)點。例如，目前企業(yè)級存儲區(qū)域網(wǎng)SAN的存儲設備每GB成本約為20美元，相比之下，云計算存儲設備每GB的成本僅為1美元，其成本也遠低于EMC的Symmetrix或者Clariion陣列、IBM DS8000、DS4000和NetApp陣列等的存儲設備。在可擴展性和靈活性方面，以EMC近日推出的一款被命名為Atmos的基礎信息管理應用軟件為例，它能辨認世界各地網(wǎng)頁的數(shù)據(jù)副本，可以通過策略和自我配置使用戶管理其分支機構。Atmos可以提供基礎信息管理服務，因此數(shù)據(jù)會按照不同客戶的需求以不同的進度被分類發(fā)送到客戶手中，從而可以靈活有效地為客戶服務。

云存儲作為一項新的存儲技術，有望把管理及保護數(shù)據(jù)的負擔轉移給云存儲提供商，有效降低大規(guī)模存儲系統(tǒng)的總體擁有成本。但云存儲服務進入實用化還有不少研究開發(fā)工作要做。最近Amazon的Simple Storage Service（S3：簡單存儲服務）出現(xiàn)一些故障，導致S3離線3個小時；Google GMAIL的偶發(fā)故障也使得其用戶逐漸開始關注對數(shù)據(jù)內容的本地備份等。2009年4月6號開始的SNW（Storage Networking World）詳細地分析了云存儲平臺方面的技術趨勢和創(chuàng)新，包括使用大眾化存儲節(jié)點組成的網(wǎng)格架構、全局命名空間，也包括云存儲對存儲基礎架構的需求、Web服務描述語言（WSDL）如何描述存儲基礎架構的功能、基于Web的文件訪問協(xié)議等等。因此云存儲發(fā)展道路上，還要重點解決性能、安全性、可靠性和支持性等多方面問題，為用戶提供多樣化的存儲服務。

4 結束語

本文介紹了幾種典型的網(wǎng)絡存儲系統(tǒng)結構，分析了基于對象的存儲系統(tǒng)和云存儲相關技術的研究現(xiàn)狀和發(fā)展趨勢，可為網(wǎng)絡存儲研究和應用提供一定參考。

參考文獻

[1] D A Patterson,G A Gibson, R H katz. A Case for Redundant Array of Inexpensive Disks(RAID)[J].ACM SIGMOD,June 1998:109-116.

[2] 張江陵,馮丹. 海量信息存儲. 北京:科學出版社[M], 2003:105～107.

[3] Garth A Gibson, Rodney Van Meter. Network Attached Storage Architecture,Communications of the ACM[J]. Nov,43(11):2000:37-45.

[4]Tom Clark. IP SANs:A Guide to iSCSI,iFCP,and FCIP Protocols for Storage Area Networks[M]. Addison-Wesley,2002:1-10.

[5]Mesnier M,Ganger G. R,Riedel E. Object-based Storage[J]. Communications Magazine,IEEE,2003, 41(8):84-90.

[6] Mesnier M,Ganger G R,Riedel E. Object-based Storage:Pushing More Functionality into Storage[J]. Potentials,IEEE,2005,24(2):31-34.

[7]Garth A Gibson, David F Nagle,William Courtright,et al. NASD Scalable Storage Systems[M]. USENIX 1999, Linux Workshop. Monterey,CA,America:USENIX,1999:1-6.

[8] Cluster File Systems Inc. Lustre: A Scalable, High-performance File System. Cluster File Systems,Inc Whiter Paper[EB/OL]. http://www.clusterfs.com. 2002:1-12.

[9]Tang Hong,A Gulbeden,Zhou Jingyu,et al. The Panasas ActiveScale Storage Cluster- Delivering Scalable High Bandwidth Storage[J]. In: Proceedings of the ACM/IEEE SC2004 Conference on Supercomputing. 2004. 53-62.

[10]J Menon,D A Pease,R Rees,et al. IBM Storage Tank-A Heterogeneous Scalable SAN File System[J]. IBM SYSTEMS JOURNAL,2003,42(2):250-261.★

【作者簡介】

馮 丹：華中科技大學教授，博士生導師，現(xiàn)任華中科技大學計算機學院副院長、973項目“下一代互聯(lián)網(wǎng)信息存儲組織模式與核心技術研究”首席科學家、863重大項目“海量存儲系統(tǒng)關鍵技術”總體專家組組長。主要從事網(wǎng)絡存儲系統(tǒng)、分布式并行存儲系統(tǒng)、容錯等方面的研究工作。