存儲的自動精簡配置技術應用研究

邱紅飛

（中國電信股份有限公司廣東研究院 廣州510630）

1 引言

在電信企業(yè)中，傳統(tǒng)的存儲采購方式是預先購買冗余的存儲空間以應對3～5年數(shù)據(jù)的增長。舉例來說明，計費系統(tǒng)第一年可能僅需要10 TB容量，但若一開始僅購買10 TB，3年后要擴充至30 TB時就要更改設定，尤其當前端服務器不支持動態(tài)擴展功能時，后端存儲系統(tǒng)要擴充容量就會很麻煩，甚至需要停機維護，為了避免這些困擾，所以會選擇一開始購買30 TB的容量。但若一開始就購買30 TB的容量，初期使用率會很低。根據(jù)《存儲雜志》的統(tǒng)計，存儲平均的利用率為18.6%[1]，如何提高現(xiàn)有存儲利用率，是電信企業(yè)IT成本控制的當務之急。

那么，如何在不購買任何存儲容量的情況下，大幅提高存儲的利用率呢。采用自動精簡配置（thin provisioning）技術就可解決這樣的問題，通過自動精簡配置技術，讓前端的服務器一開始就以為可使用的是30 TB容量，后續(xù)企業(yè)可根據(jù)需求再購買存儲空間，且日后擴充也不受任何影響。圖1表示了傳統(tǒng)配置技術和自動精簡配置技術的區(qū)別。

圖1 傳統(tǒng)配置和自動精簡配置技術的區(qū)別

2 自動精簡配置原理

2.1 自動精簡配置的概念

自動精簡配置是一種存儲管理的特性，核心原理是“欺騙”操作系統(tǒng)，讓操作系統(tǒng)認為存儲設備中有很大的存儲空間，而實際的物理存儲空間則沒有那么大[2]。傳統(tǒng)配置技術為了避免重新配置可能造成的業(yè)務中斷，常常會過度配置容量。在這種情況下，一旦存儲分配給某個應用，就不可能重新分配給另一個應用，由此就造成了已分配的容量沒有得到充分利用，導致了資源的極大浪費。而精簡配置技術帶給用戶的益處是大大提高了存儲資源的利用率，提高了配置管理效率，實現(xiàn)高自動化的數(shù)據(jù)存儲。

自動精簡配置這項技術最初由3Par公司開發(fā)的，目的是確保物理磁盤容量只有在用戶需要的時候才被使用。這項技術能讓前端的服務器以為存儲設備安裝了比實際還多的存儲容量，讓存儲空間的使用率再提升。此外其他存儲廠商，如HDS的USPV、EMC的NAS系列產(chǎn)品Celerra、NetApp的FAS與V系列產(chǎn)品等也提供自動精簡配置功能。以下主要介紹兩種自動精簡配置方式的原理及應用案例，從硬件底層架構上自動精簡配置和附加在存儲中的精簡配置方式。

2.2 硬件底層架構上的自動精簡配置

以3PAR的InServ Storage Server為代表的磁盤陣列系統(tǒng)，是當前自動精簡配置中最普遍的技術，這種技術從硬件底層架構上支持自動精簡配置技術。如圖2所示，其原理是磁盤驅動器空間被切割成256 MB的小塊存儲單元，之后由這些小塊組成跨系統(tǒng)的邏輯磁盤，邏輯磁盤被表示為logical unit numbers（邏輯單元號，LUN）。操作系統(tǒng)在這些邏輯磁盤上，建立虛擬卷。當一次寫任務發(fā)生時，磁盤的容量會被虛擬資源池占用，16 KB容量被分配給該寫任務[3]。這種自動精簡配置需要元數(shù)據(jù)（metadata）來描述虛擬卷。在傳統(tǒng)的未使用自動精簡配置的存儲環(huán)境中，我們通常會給一些應用程序配置大量冗余容量，通常是實際需要的3倍或更多，就是為了避免手動重復配置行為所帶來的復雜性和中斷。

圖2 3PAR自動精簡配置技術

3PAR自動精簡配置的特點介紹如下。

（1）單位存儲單元小

單位存儲單元只有16 KB，是一種非常精細的顆粒度很高的自動精簡配置，容量節(jié)約達到最大化，有更明顯的性能效果。

（2）高度自動化的自動精簡配置

只需要配置虛擬卷的名稱和大小，系統(tǒng)將全自動管理，自動把容量切割成小塊，自動創(chuàng)建邏輯磁盤，自動建立邏輯單元號。只要一個初始設置，剩下所有的過程都是自動的。此外卷容量自動增加，也不需要手動的步驟就可以滿足應用寫任務的需求。

（3）不需要中間存儲池

不同于其他自動精簡配置技術的是，這種技術從硬件底層架構上支持自動精簡配置技術。

2.3 附加在存儲系統(tǒng)中的自動精簡配置

以HDS為代表的在高端存儲系統(tǒng)USPV產(chǎn)品中提供的自動精簡配置功能是一種附加在存儲系統(tǒng)中的自動精簡配置技術。HDS利用一種叫做動態(tài)配置（dynamic provisioning）池的概念加以實施的。眾多驅動器都可成為池的一部分，而存儲控制器會自動對池內(nèi)所有可用磁盤驅動器中的數(shù)據(jù)條帶化，對眾多磁盤驅動器實施池也被稱為寬條帶化[3]。這樣相當于提供一個虛擬容量池，數(shù)據(jù)均勻分布在池內(nèi)的所有磁盤上，杜絕熱點盤，容量為虛擬容量，方便部署大型應用和將來存儲擴容。

圖3對動態(tài)或精簡配置存儲池及精簡配置后的卷做了詳細說明。主機服務器能夠看到由虛線磁盤表示的虛擬容量，而實際容量則位于動態(tài)配置池內(nèi)，由位于LUN（邏輯單元號）奇偶組正上方的條紋表示[3]。

HDS自動精簡配置的特點介紹如下。

（1）HDS自動精簡配置是附加在高端存儲陣列之上的自動精簡配置的方法大都是從RAID組中創(chuàng)建存儲資源池，用戶跟以前一樣分配LUN和卷。當實際磁盤使用增長，存儲管理員必須調(diào)整他們卷的分配，這種自動精簡配置可能會導致手動操作多一些。

（2）HDS的動態(tài)預配置卷以42 MB為存儲單元

相比3PAR提供16 KB的單位存儲池，這個大小非常粗糙[3]。但是，HDS的高端存儲系統(tǒng)USPV提供了247 GB的存儲容量，其中42 MB的存儲單元甚至少于整個系統(tǒng)最大容量的百萬分之一，以虛擬卷為中心的眼光來看，每GB存儲容量能分割成24個存儲單元，以任何衡量方式來看應該說已經(jīng)足夠精細。

（3）HDS能夠以動態(tài)方式配置內(nèi)部和外部存儲

因此允許在較陳舊或較低層陣列上使用先進的虛擬化功能。

3 應用分析及解決方案

3.1 電信企業(yè)數(shù)據(jù)特點

目前，電信企業(yè)數(shù)據(jù)環(huán)境的現(xiàn)狀比較復雜，主要有以下幾種特點。

·數(shù)據(jù)類型的多樣性，應用中包括了數(shù)據(jù)庫數(shù)據(jù)文件、普通文本文件、各種格式的圖形文件、表格、多媒體文件等。

·應用類型的多樣性，應用類型包括E-mail、計費結算、財務、運維等業(yè)務，還涉及諸如IPTV等其他方面的應用。

·存儲結構的多樣性，因為電信行業(yè)自身的發(fā)展歷程和時間的延續(xù)，在不同時期的不同應用導致了多種存儲方式并存的現(xiàn)象。

針對電信企業(yè)不斷增加的信息量以及復雜的應用系統(tǒng)、大量的異構存儲系統(tǒng)問題，采用自動精簡配置技術，從而提高存儲系統(tǒng)使用效率，簡化存儲基礎結構，降低總體實現(xiàn)成本就變得非常關鍵。目前，自動精簡配置技術在郵箱、存儲空間非快速線性增長的系統(tǒng)中均有應用。

3.2 電信企業(yè)應用案例分析

HDS提高存儲利用率可以通過兩種方式：一種是卷虛擬化，通過卷虛擬化將所有異構存儲整合為一個存儲池，以往的孤島不復存在，從而有效地提高了空間利用率，這是挖掘了未分配給主機使用的空間；一種是容量虛擬化將以往已經(jīng)分配但沒有實際使用的空間挖掘出來，滿足新增空間需求。這兩種技術都是自動精簡配置的底層技術。

圖4介紹了HDS公司USPV高端存儲中自動精簡配置技術在電信行業(yè)費用管理平臺的應用案例，該案例說明了采用該技術前后存儲的使用和管理的差別。在該應用案例中，該原有費用管理平臺中核心業(yè)務系統(tǒng)包括計費和結算系統(tǒng)，使用EMC的DMX磁盤陣列，非核心系統(tǒng)采集和預處理系統(tǒng)使用Sun的磁盤陣列，應用該技術前費用管理平臺的核心業(yè)務系統(tǒng)存儲已經(jīng)用完，急需擴容，而非核心業(yè)務系統(tǒng)的存儲空間尚有60%的剩余。在這里，傳統(tǒng)方式存儲剩余容量已經(jīng)分配給非核心業(yè)務系統(tǒng)，且DMX和Sun磁盤陣列為不同類型的存儲，就不可再被重新分配給核心業(yè)務系統(tǒng)。

那么，核心系統(tǒng)如何不進行存儲硬件擴容，而且能使用非核心系統(tǒng)的存儲剩余空間呢？在系統(tǒng)架構中，我們采用USPV虛擬化引擎和原有EMC的DMX、Sun的6540共同組成一個存儲虛擬化異構整合平臺。核心業(yè)務系統(tǒng)的全部數(shù)據(jù)放置在被虛擬化的EMC的DMX設備上運行。平臺采用了HDS公司的USPV存儲設備虛擬化技術，首先通過卷虛擬化技術將兩種不同系統(tǒng)的異構存儲整合成為一個虛擬化卷池，再通過容量虛擬化技術將存儲整合成為動態(tài)配置池，這樣核心系統(tǒng)就可以使用非核心系統(tǒng)的存儲剩余容量，并且可以隨著業(yè)務管理系統(tǒng)的數(shù)據(jù)增長，在線額外增加物理容量，對應用不會造成影響。

該應用案例主要有以下幾個特點。

（1）簡化了存儲的基礎架構

EMC DMX和Sun 6540兩種不同類型的異構存儲可以共同對核心系統(tǒng)和非核心系統(tǒng)提供存儲空間服務，實現(xiàn)了存儲底層架構和上層業(yè)務應用系統(tǒng)的相互分離。

圖4 自動精簡配置技術應用案例

（2）允許在較陳舊或較低層陣列上使用自動精簡配置功能

HDSUSPV實現(xiàn)了以動態(tài)方式配置EMC的DMX系列和Sun存儲，允許在較陳舊或較低層陣列上使用先進的HDSUSPV自動精簡配置這個虛擬化功能，可能Sun存儲沒有自動精簡配置功能，但不影響自動精簡配置的使用。

（3）提高了存儲空間利用率

既挖掘了未分配給核心系統(tǒng)使用的邏輯卷空間，也挖掘了已經(jīng)分配報表但沒有實際使用的邏輯卷空間，滿足系統(tǒng)需要新增空間需求。

（4）實現(xiàn)了存儲按需分配的需求

在需要進一步增加時，可以通過新增HDSUSPV的存儲磁盤，或者EMC DMX和Sun存儲磁盤來滿足空間需要，而對應用層沒有任何影響。

所以HDS精簡動態(tài)配置體現(xiàn)了存儲的云架構，實現(xiàn)主機與存儲基礎架構的分離，提高了存儲資源的利用率，存儲資源以“云”的方式為主機按需要提供服務，并且這種存儲云也是很容易擴展的。

自動精簡配置技術在實施過程中會遇到新的挑戰(zhàn)和問題，我們必須慎重考慮。因為并非所有應用都適合采用自動精簡配置技術，用戶在實際應用中可能遇到以下問題。

（1）數(shù)據(jù)在不同磁盤陣列上存儲的復雜性

傳統(tǒng)配置條件下的LUN中，LUN的邊界沿RAID組的磁盤柱面而建,故障恢復容易實現(xiàn)[4]。自動精簡配置都是在內(nèi)存或虛擬空間構建和維護LUN。LUN分散在多組RAID，特別是多個磁盤陣列中，如果其中一個磁盤整列發(fā)生整體故障或其中一個磁盤陣列需要報廢，由于數(shù)據(jù)存儲的復雜性，其故障恢復較難實現(xiàn)。在圖4中如果Sun 6540磁盤陣列由于配件不能繼續(xù)提供需要退出，而核心系統(tǒng)的關鍵數(shù)據(jù)又分布在兩個磁盤陣列中，數(shù)據(jù)恢復的工作量極大，實際生產(chǎn)環(huán)境中數(shù)據(jù)很難回退。

（2）使用自動精簡配置技術存儲的性能和安全問題

核心系統(tǒng)的存儲EMC DMX屬于高端存儲，非核心系統(tǒng)的Sun 6540屬于中低端存儲。在實際應用中，如果缺少存儲性能和安全的策略，混合使用雖然解決了容量的問題，同時也會帶來性能和安全的瓶頸。

表1 計費系統(tǒng)數(shù)據(jù)庫存儲的規(guī)劃設計

（3）數(shù)據(jù)存儲將會急速地增長

部署了自動精簡配置之后最可能遇到的問題就是達到了最大存儲容量。應用永遠都以為還有很多容量，但實際上物理容量可能已經(jīng)填滿了。所以我們建議存儲管理員必須隨時跟進實際存儲容量狀況，一旦容量將要被填滿，管理員就應該及時添加新的磁盤以確保系統(tǒng)的連續(xù)性，所以產(chǎn)品設置磁盤容量限制以及提醒何時將達到這些限值非常重要。這個問題就不再繼續(xù)討論，主要通過存儲自身的管理和監(jiān)控工具來解決。

3.3 問題的解決方案和建議

（1）數(shù)據(jù)存儲復雜性的解決方案

數(shù)據(jù)在不同磁盤陣列上存儲的復雜性是應用自動精簡配置技術中最棘手的問題，這關系到存儲的數(shù)據(jù)安全性。如何實現(xiàn)平滑過渡是我們在數(shù)據(jù)遷移和故障恢復中經(jīng)常需要解決的問題。這里主要從存儲規(guī)劃設計這個層面來解決數(shù)據(jù)在不同磁盤陣列上存儲的復雜性問題，由于計費系統(tǒng)的數(shù)據(jù)不斷增長，需要在3個磁盤陣列上分布。這里主要介紹計費系統(tǒng)的數(shù)據(jù)庫存儲規(guī)劃設計，簡要的設計方案見表1。

在數(shù)據(jù)庫的存儲規(guī)劃設計中，原有計費實例的控制文件、生產(chǎn)庫歸檔日志仍然配置在EMC的DMX存儲中，數(shù)據(jù)庫歸檔由于對性能要求不高可以配置在Sun存儲中，不斷增加的數(shù)據(jù)文件可以設置在HDS存儲中，便于新增磁盤空間。在規(guī)劃中我們考慮了幾方面的問題：一是考慮了Sun 6540存儲報廢的問題，數(shù)據(jù)庫可以重新歸檔；二是替換問題，HDSUSPV是高端存儲，可以滿足數(shù)據(jù)文件的高性能需要。另外，在與DMX共存一段時間后，可以采用鏡像方式替換EMC的DMX存儲，以滿足未來規(guī)劃的需要。

（2）使用自動精簡配置后存儲的性能和安全問題

·存儲分區(qū)的概念

存儲分區(qū)類似主機分區(qū)、邏輯分區(qū)、虛擬化主機的概念。眾所周知，存儲的性能主要和存儲控制器、存儲的緩存和磁盤的數(shù)目相關；存儲的數(shù)據(jù)訪問安全性主要與管理員的角色相關。這樣就可以定義存儲分區(qū)的內(nèi)容，存儲分區(qū)可以對虛擬化存儲平臺的物理端口、緩存和磁盤進行邏輯分區(qū)。通過“限制訪問”來提高安全性。這樣，可以防止某個分區(qū)的管理員訪問，或干擾另一分區(qū)的優(yōu)先排序或數(shù)據(jù)。通過虛擬分區(qū)，通過優(yōu)化某個分區(qū)的應用程序性能，將固定量的緩存指定給某個分區(qū)，以確保應用獲取所需資源，不受其他應用程序、主機或用戶的影響。

·存儲分區(qū)策略的應用

在設計中，計費系統(tǒng)使用分區(qū)1，空間分布在HDS存儲的磁盤陣列和EMC的DMX磁盤陣列。結算系統(tǒng)使用分區(qū)2，空間分布在EMCDMC磁盤陣列。采集系統(tǒng)使用分區(qū)3，空間分布在Sun磁盤整列。預處理系統(tǒng)使用分區(qū)4，磁盤空間分布在Sun磁盤整列。由于給核心系統(tǒng)分配了較多的端口資源和緩存資源，可以發(fā)揮原有EMCDMX高端存儲的性能。同時，通過建立各自的訪問角色，保證整個平臺存儲的性能和安全性，各分區(qū)的資源規(guī)劃見表2，使用存儲分區(qū)技術的網(wǎng)絡連接如圖5所示。

表2 分區(qū)資源的規(guī)劃

4 結束語

總之，自動精簡配置是一種領先的虛擬化存儲分配計劃技術，其帶來了許多傳統(tǒng)方式不能提供的好處。但是自動精簡配置的實際效果怎樣還存在爭議。一些用戶表示，采用自動精簡配置效果良好，存儲成本和存儲管理工作負載大大降低；有的用戶則表示有問題。每種自動精簡配置都有自己的利弊。

所以，如果我們將來打算部署自動精簡配置，對待自動精簡配置最好謹慎一些，應該多留意各個廠商在自動精簡配置上的具體策略，是否需要額外的費用、是否有限制、卷是否可以自由地轉換等細節(jié)問題。在部署自動精簡配置之前，還應該進行全面測試，了解系統(tǒng)中所有可能存在的缺陷。在實際應用前做好存儲的規(guī)劃設計，減少存儲數(shù)據(jù)的復雜性問題。

1王楠，蔣金虎.存儲虛擬化技術的研究與比較.洛陽師范學院學報,2007（2）

2 Adrian D L.Storage virtualization.Wiley Publishing Australia Pty Ltd，2009

3張冬著.大話存儲網(wǎng)絡存儲系統(tǒng)原理精解與最佳實踐.北京：清華大學出版社，2009

4郭濤.精簡配置：按需提供存儲空間.中國計算機報,2008-08-25

5郭濤.理性對待自動精簡配置.中國計算機報,2007-07-09

6馮苗，邱艷娟，魯春叢.多視角分析模型在網(wǎng)絡運營分析中的應用.電信科學，2008，24（1）

7趙崇明.中國移動本地管道網(wǎng)規(guī)劃.電信科學，2008，24（1）

8蘇更殊，陳世昊.新一代電信網(wǎng)絡資源管理系統(tǒng)建設方案的技術分析、評價和決策方法研究.電信科學，2008，24（3）

9李洪，朱挺，杜民.電信企業(yè)轉型中電子運維建設模式的探討.電信科學，2008，24（11）

10段勇，朱源.業(yè)務服務管理在中國電信IT運營支撐中的應用研究.電信科學，2009，25（9）

11盧捍華，王亞石，閔麗娟等.基于NGOSS的OSS/BSS框架.電信科學，2009，25（10）

12李蓉蓉，李麗，周榮生.面向全業(yè)務運營的綜合業(yè)務管理平臺優(yōu)化探討.電信科學，2009，25（11）

13李洪，楊雁武.中國電信集團電子運維系統(tǒng)整合研究.電信科學，2009，25（11）

14周榮生，許杰翰，趙淑榮.全業(yè)務運營下綜合業(yè)務管理平臺對IT支撐系統(tǒng)的需求探討.電信科學，2009，25（12）