高端磁盤陣列體系結(jié)構(gòu)分析

武衛(wèi)國 潘清 王霄軍 莊澤南裝備指揮技術(shù)學(xué)院 北京 101416

0 引言

伴隨著社會信息化程度的不斷提高，需要管理的數(shù)據(jù)呈現(xiàn)了“指數(shù)級”增長，高端磁盤陣列作為存儲海量數(shù)據(jù)的解決方案被廣泛使用，人們對其可用性的要求也越來越高。在金融、軍隊、安全等領(lǐng)域中，一旦海量存儲陣列發(fā)生故障，將會造成大量數(shù)據(jù)丟失、許多重要業(yè)務(wù)停頓，其損失是難以估量的。

本文對高端磁盤陣列體系結(jié)構(gòu)進(jìn)行了分析，主要介紹了EMC公司的Symmetric V-Max和IBM DS8700高端存儲服務(wù)器的特性架構(gòu)以及他們典型的功能特點，對他們進(jìn)行了比較，最后總結(jié)了高端磁盤陣列采用技術(shù)和未來發(fā)展趨勢。

1 高端磁盤陣列硬件架構(gòu)

1.1 EMC Symmetric V-Max

EMC Symmetric V-Max是EMC的第一個基于虛擬矩陣架構(gòu)的高端存儲服務(wù)器。V-Max(圖 1)的核心部件是 V-Max Engine。通過在線增加 Engine的數(shù)量，最多可以連接 8個Engine，最大1TB全局緩存，以及最高192GB/S系統(tǒng)帶寬。

每個 Engine 包含一對高可用性控制器、前端與主機(jī)連接的端口、后端與磁盤連接的端口和連接矩陣的接口。每個控制器包含兩個2.33GHZ Intel Xeon 4核處理器，高達(dá)64GB的全局緩存。單個Engine支持16個后端端口，16個前端端口，24GB/S帶寬。優(yōu)化的硬件邏輯和數(shù)據(jù)保護(hù)編碼通過通道自動故障切換確保端到端的數(shù)據(jù)完整性，最大限度地實現(xiàn)了可用性和負(fù)載平衡。V-Max最多可以裝載2400個驅(qū)動器。

虛擬互連矩陣(Virtual Matrix)提供兩個非阻塞的RapidIO私有網(wǎng)絡(luò)作為內(nèi)部節(jié)點來進(jìn)行互連。所有的控制器都可以通過有冗余的內(nèi)部Ethernet來管理矩陣路徑初始化、選擇、容錯和隔離錯誤以及其他配置。

V-Max所有的關(guān)鍵部件都是完全冗余的，包括V-Max控制器，虛擬矩陣數(shù)據(jù)通道，電源供給部件，備用電源和所有的光纖通道后端組件。

Symmetrix V-Max 系統(tǒng)支持所有常用的硬件和操作系統(tǒng)平臺、存儲區(qū)域網(wǎng)絡(luò) (SAN) 和高可用性群集環(huán)境。

圖1 EMC Symmetric V-Max

1.2 IBM DS8700

IBM DS8700 為IBM公司最新的高端存儲服務(wù)器。IBM聲稱DS8700提供了芯片技術(shù)、架構(gòu)技術(shù)以及安全技術(shù)與存儲系統(tǒng)的完美結(jié)合達(dá)到了99.999%的高可用性。

DS8700(圖 2)采用了高達(dá) 4.7GHz的頻率 POWER6 (eClipz L4服務(wù)器)。每個控制器處理器單元擁有雙處理器卡，每個處理器卡支持最多兩個處理器，使得每個控制器處理器單元能夠容納最多4個POWER6處理器。用戶最初可以選擇2路處理器，隨后可以在不中斷系統(tǒng)運行的情況下升級到4路。

在POWER6中，IBM加入了恢復(fù)單元功能，該技術(shù)可以記憶CPU歷史信息，處理器出現(xiàn)錯誤時，可以根據(jù)歷史信息恢復(fù)到出錯前狀態(tài)。

圖2 IBM DS8700

DS8700的POWER6服務(wù)器與IO模塊之間改變了之前系列所采用的RapidIO連接，取而代之的是采用點到點、雙單工的PCIe連接，最高達(dá)到了2Gb/s傳輸速度。但連接兩個POWER6控制器處理器單元的連接仍然采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe通過自我修復(fù)以及接收器溢出校驗、流量控制錯誤校驗、端對端CRC(ECRC)、崩潰TLP等技術(shù)，提供了極好的可靠性。

DS8700的I/O模塊數(shù)量可以靈活配置，最初可以選擇兩個IO模塊，之后按需增加IO模塊。最多可以支持到8個IO模塊和5個機(jī)柜。由于采用了PCIe連接，I/O模塊的安裝只需要將電纜與 PCIe接口連接即可。DS8700最多可以支持1024塊磁盤，最高384GB緩存。

2 EMC V-Max 與DS8700典型軟件功能介紹

（1）自動分層存儲優(yōu)化

EMC V-Max與IBM DS8700均支持閃存、光纖通道和SATA等驅(qū)動器類型。同時，V-Max與DS8700均提供了智能數(shù)據(jù)分層存儲功能，V-Max為FAST技術(shù)，IBM為Smart Data Placement 技術(shù)。下面以V-Max的FAST技術(shù)為例介紹自動分層存儲技術(shù)。

V-Max的自動存儲分層(FAST)技術(shù)可以根據(jù)業(yè)務(wù)策略、預(yù)測模型和實時訪問情況把一個LUN的數(shù)據(jù)或者一個LUN當(dāng)中的某一個熱點數(shù)據(jù)塊的數(shù)據(jù)在閃存盤、光纖通道或者SATA硬盤之間遷移，從而充分發(fā)揮企業(yè)級閃存驅(qū)動器的性能，并利用SATA硬盤驅(qū)動器在容量和成本上的優(yōu)勢。LUN數(shù)據(jù)遷移允許在線遷移存儲在不同設(shè)備以及不同RAID保護(hù)類型上的數(shù)據(jù)，可以遷移單個設(shè)備、群組設(shè)備或者整個存儲組。Symmetrix VLUN 遷移是在矩陣?yán)锿瓿傻?，不會消耗CPU或I/O周期，不會給服務(wù)器造成任何附加負(fù)擔(dān)(圖3)。

圖3 分層存儲

（2）Thin Provision

V-Max與DS8700均支持Thin Porvision(在V-Max中叫做Virtual Porvision)。Thin Provision通過展現(xiàn)比實際可用物理空間更大的存儲空間，顯著的改善資源利用率。傳統(tǒng)的方法如果程序請求2TB空間，服務(wù)器分配2TB實際空間，而通過Thin Provision服務(wù)器只給使用的卷分配實際空間，按需擴(kuò)展，既增加了靈活性，也避免了潛在的資源浪費。尤其是程序宕機(jī)的時候，只需要恢復(fù)實際使用的空間，而不是2TB(圖4)。

圖4 Thin Provision

2.1 數(shù)據(jù)安全技術(shù)

高端磁盤陣列對數(shù)據(jù)安全性越來越重視，V-Max與DS8700均提供了相應(yīng)的數(shù)據(jù)安全解決方案。V-Max的數(shù)據(jù)安全技術(shù)主要采用基于RSA算法的PowerPath軟件加密實現(xiàn)，安全控制策略包括日志記錄、訪問授權(quán)、 數(shù)據(jù)擦除等。而IBM DS8700采用了全磁盤自動加密技術(shù)，并結(jié)合軟件管理密鑰方式。下面介紹IBM DS8700的數(shù)據(jù)安全解決方案：

DS8700采用的是基于IBM全磁盤加密技術(shù)的希捷全加密硬盤，每個磁盤的驅(qū)動器都內(nèi)嵌了加密/解密固件引擎，引擎采用對稱加密算法AES，結(jié)合256位的加密密鑰，在數(shù)據(jù)寫入磁盤時全速實時加密，讀出磁盤時全速實時解密，對上層應(yīng)用完全透明，并且對系統(tǒng)性能基本無影響。

TKLM(IBM Tivoli Key Lifecycle Manager)則為包括DS8700在內(nèi)的 IBM 加密存儲設(shè)備提供安全有效的密鑰服務(wù)，如提供、保護(hù)、存儲以及維護(hù)密鑰等特性和功能。

同時，DS8700擁有的分組加密技術(shù)則實現(xiàn)了對存儲資源的有效管理，“加密組”概念的引入使得數(shù)據(jù)的刪除和加密解密形成了封閉的鏈條，從而保證了數(shù)據(jù)不會被任意刪除。TKLM、分組加密技術(shù)和IBM全磁盤加密技術(shù)的有機(jī)結(jié)合，形成了DS8700解決靜態(tài)數(shù)據(jù)安全性問題的完整方案。

2.2 業(yè)務(wù)持續(xù)性解決方案

V-Max與DS8700均提供了以本地復(fù)制和遠(yuǎn)程復(fù)制為基礎(chǔ)的業(yè)務(wù)持續(xù)性解決方案。

（1）本地復(fù)制：EMC的TimeFineder系列軟件，IBM的FlashCopy 和FlashCopy SE。

（2）遠(yuǎn)程復(fù)制：EMC的SRDF系列軟件。相應(yīng)的IBM的遠(yuǎn)程鏡像和復(fù)制功能軟件為：Metro Mirror，Global Copy，Global Mirror和Metro/Global Mirror等。

此外，兩者均提供了 Three-site備份方案，EMC為SRDF/Star，IBM為Metro/Global Mirror。

下面以IBM DS8700為例，介紹業(yè)務(wù)持續(xù)性解決方案。

FlashCopy 和FlashCopy SE，提供了邏輯卷的時間點復(fù)制功能，原卷和目的卷可以立即訪問，對應(yīng)用程序沒有或者很小影響。

FlashCopy典型的應(yīng)用是生產(chǎn)數(shù)據(jù)備份，僅需要幾秒鐘即可建立FlashCopy源卷和目的卷的成對關(guān)系，創(chuàng)建必要的控制位圖，然后可以對源卷與目的卷進(jìn)行讀寫，好像所有的數(shù)據(jù)已經(jīng)復(fù)制完成(圖5)。

如果FlashCopy在后臺運行時，I/O請求到達(dá)，F(xiàn)lashCopy操作如下：

① 讀源卷請求：直接從源卷讀取數(shù)據(jù)。

② 讀目的卷請求：FlashCopy檢查控制位圖，如果數(shù)據(jù)已經(jīng)復(fù)制到目的卷，從目的卷讀?。蝗绻麛?shù)據(jù)還沒有復(fù)制完成，從源卷讀取。

③ 寫源卷請求：數(shù)據(jù)暫時存入“寫緩存”頁，當(dāng)相應(yīng)寫緩存頁被換出時，F(xiàn)lashCopy檢查位圖，如果數(shù)據(jù)已經(jīng)復(fù)制到目的卷，執(zhí)行寫入源卷；如果沒有復(fù)制到目的卷，同步地復(fù)制到目的卷，然后寫入源卷。

④ 寫目的卷請求：寫入目的卷，更新位圖，確保源卷不會重新改寫直接寫入目的卷的數(shù)據(jù)。

圖5 FlashCopy

FlashCopy SE 為虛擬的時間點的復(fù)制卷，僅復(fù)制改變的數(shù)據(jù)?？梢詣?chuàng)建多個恢復(fù)點，只需要幾分鐘即可完成。FlashCopy SE大大減少了需要傳輸?shù)臄?shù)據(jù)量(圖6)。

圖6 FlashCopy SE

Metro Mirror，提供了同步的端到端邏輯卷的實時鏡像，在備份完成之前，對源卷的寫操作同時在副本上完成，兩個站點距離可達(dá)300km。

Global Mirror，兩站點的遠(yuǎn)程異步鏡像技術(shù)，主機(jī)寫到本地存儲單元的數(shù)據(jù)異步鏡像到遠(yuǎn)程站點存儲單元，支持的距離僅受限于網(wǎng)絡(luò)的能力和通道擴(kuò)展技術(shù)。

Metro/Global Mirror是一個三站點、多目的復(fù)制解決方案。B站點作為Metro Mirror的目的端和Global Mirror的源端(圖7)。

圖7 Metro/Global Mirror

A站點與B站點備份采用Metro Mirror技術(shù)，為同步鏡像，由于B站點與本地站點距離較近，提供了高可用性、高性能和快速恢復(fù)能力。

B站點與C站點采用Global Mirror技術(shù)，為異步鏡像，距離僅受限于網(wǎng)絡(luò)的能力和通道擴(kuò)展技術(shù)。通過恢復(fù)點目標(biāo)，3到5秒內(nèi)即可提供可恢復(fù)的、可重啟的 、一致性鏡像。

3 V-Max與 DS8700比較

（1）系統(tǒng)架構(gòu)

V-Max采用Engine為服務(wù)單元，向分布式集合體方向發(fā)展，支持橫向擴(kuò)展和縱向擴(kuò)展。Engine結(jié)構(gòu)的大小適中，可以減少能源和降熱的需求，因為大機(jī)柜需要復(fù)雜的風(fēng)扇、電源、電池組件。但是V-Max基于Engine的設(shè)計表明，如果增加處理器、緩存或者需要多于 16個主機(jī)接口時，不能夠單獨配置，必須以Engine為單位配置。

DS8700采用SMP對稱處理器，所有任務(wù)在處理器之間分享，各處理器的能力得到充分使用，但是進(jìn)一步擴(kuò)展受到物理限制，擴(kuò)展能力比V-Max弱。

DS8700存儲單元為全局管理模式，V-Max的存儲單元為分布管理模式。對于后者，一個 Engine失效將導(dǎo)致其他Engine無法訪問其數(shù)據(jù)。

V-Max采用RapidIO技術(shù)互連Engine，1Gb/s傳輸速率。Ds8700采用PCIe連接I/O模塊與控制器，2Gb/s傳輸速率，而兩個POWER6控制器處理器單元的連接采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe為點到點的連接，錯誤定位準(zhǔn)確。

V-Max最高提供1TB全局緩存，DS8700最高提供384GB緩存；V-Max對“讀寫”均提供緩存功能，DS8700僅對“寫”提供緩存功能。V-Max將緩存分成 64KB頁大小，DS8700分為4KB頁大?。籇S8700采用一系列高級緩存算法，算法效率較高。

（2）容量

V-Max通過配置 600GB FC驅(qū)動器容量最高可達(dá)1440TB，通過配置 1TB SATA驅(qū)動器容量可達(dá) 2400TB；DS8700通過配置450GB FC驅(qū)動器容量最高達(dá)460.8TB，通過配置1TB SATA驅(qū)動器最多可達(dá)1024TB。

（3）安全性

DS8700支持全盤加密技術(shù)，磁盤驅(qū)動器自帶加密解密引擎，對上層應(yīng)用完全透明，并且對系統(tǒng)性能基本無影響。V-Max不支持自加密驅(qū)動器技術(shù)，采用基于 RSA算法的PowerPath加密，效率較硬件加解密低，給處理器造成負(fù)擔(dān)。

（4）可恢復(fù)性

V-Max與DS8700 均提供了遠(yuǎn)程實時復(fù)制和恢復(fù)的健壯方案。V-Max解決方案包括SRDF系列軟件，IBM提供了Global Mirror and Metro Mirror 軟件。兩者均提供了Three-site備份方案，EMC為SRDF/Star ，IBM 為Metro/Global Mirror。

（5）智能數(shù)據(jù)分層存儲

V-Max與 DS8700均提供了智能數(shù)據(jù)分層存儲功能，V-Max為FAST技術(shù)，IBM為Smart Data Placement 技術(shù)。通過自動分層存儲技術(shù)可以識別“熱點”數(shù)據(jù)并自動將其遷移到或者遷移出固態(tài)盤和光纖通道驅(qū)動器以實現(xiàn)價格和性能的優(yōu)化。

4 總結(jié)

本文分析了EMC V-Max與IBM DS8700高端存儲系統(tǒng)的體系結(jié)構(gòu)以及典型軟件功能，并對兩者進(jìn)行了對比。可以看出，高端存儲系統(tǒng)在各個方面采用多種設(shè)計來提高系統(tǒng)的性能。系統(tǒng)架構(gòu)上，采用了多個高主頻的多核處理器以及大容量緩存，并在部分硬件加入了自動查錯糾錯功能。I/O通道采用了高速互連技術(shù)，如RapidIO技術(shù)、PCIe等技術(shù)。支持不同的驅(qū)動器類型和主機(jī)接口，以滿足不同需求，并且有效降低成本。同時關(guān)鍵部件全部冗余的策略，提高了容錯性和可靠性。值得注意的是，VM AX 的虛擬矩陣互連，是一種全新的陣列架構(gòu)，突破了物理限制，能夠同時支持橫向擴(kuò)展和縱向擴(kuò)展。

軟件功能上，提供了大量的性能優(yōu)化軟件和管理軟件。自動分層存儲軟件，可以識別“熱”數(shù)據(jù)并自動將其在固態(tài)盤、光纖通道、SATA磁盤之間遷移，以實現(xiàn)價格和性能的最優(yōu)化。本地復(fù)制和遠(yuǎn)程復(fù)制為基礎(chǔ)的多數(shù)據(jù)中心解決方案，可以有效防止例如地震、大規(guī)模停電等自然災(zāi)害的發(fā)生，快速進(jìn)行災(zāi)難恢復(fù)，提供了最高的業(yè)務(wù)持續(xù)性。

高端磁盤陣列對數(shù)據(jù)安全性更加重視，IBM采用的全磁盤自動加密技術(shù)，結(jié)合軟件管理密鑰方式，效率高、安全性好。未來，高端磁盤陣列應(yīng)當(dāng)會繼續(xù)沿著自動分層存儲技術(shù)、可擴(kuò)展技術(shù)、資源自動分配技術(shù)以及數(shù)據(jù)安全技術(shù)方向發(fā)展。

[1]IBM System Storage DS8700 Architecture and Implementation. http://www.redbooks.ibm.com/redbooks/pdfs/sg248786.pdf.

[2]Brian Garrett.Tony Palmer.Mark Peters:EMC Symmetrix V-Max 24xForever Storage for Virtualized Data Centers.2009.