存儲(chǔ)架構(gòu)體系發(fā)展及在電信支撐系統(tǒng)中的應(yīng)用

【摘要】磁盤(pán)存儲(chǔ)器經(jīng)過(guò)多年發(fā)展，在容量、速度及體系架構(gòu)方面都有很大發(fā)展，文章通過(guò)對(duì)目前主流存儲(chǔ)架構(gòu)進(jìn)行分析，重點(diǎn)闡述Scale-Out存儲(chǔ)架構(gòu)，并對(duì)存儲(chǔ)在電信運(yùn)營(yíng)商支撐系統(tǒng)中的應(yīng)用進(jìn)行探討。

【關(guān)鍵詞】磁盤(pán)陣列Scale-up縱向擴(kuò)展Scale-out橫向擴(kuò)展

一、存儲(chǔ)器發(fā)展簡(jiǎn)述

存儲(chǔ)與主機(jī)分離的概念顛覆了傳統(tǒng)的DAS模式，存儲(chǔ)子系統(tǒng)從原來(lái)的計(jì)算系統(tǒng)中分離出來(lái)形成一個(gè)獨(dú)立的子系統(tǒng)，存儲(chǔ)和主機(jī)間通過(guò)高速網(wǎng)絡(luò)互聯(lián)。同時(shí)隨著網(wǎng)絡(luò)共享應(yīng)用的持續(xù)增長(zhǎng)和網(wǎng)絡(luò)文件共享協(xié)議的成熟，文件服務(wù)器作為一種獨(dú)立的NAS存儲(chǔ)器也走向了市場(chǎng)。

二、存儲(chǔ)體系架構(gòu)的發(fā)展

存儲(chǔ)本質(zhì)上也是計(jì)算機(jī)，影響計(jì)算機(jī)行業(yè)快速發(fā)展、頻繁更新?lián)Q代的最重要的部件是CPU。計(jì)算機(jī)體系架構(gòu)中一個(gè)很重要的部分就是如何讓多個(gè)CPU一起協(xié)同工作，而且性能能夠成倍提高。

結(jié)合到存儲(chǔ)行業(yè)來(lái)講，主機(jī)主要負(fù)責(zé)信息的快速處理，而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)保護(hù)等工作漸漸被轉(zhuǎn)移到存儲(chǔ)器上。歸根到底存儲(chǔ)器的功能還是儲(chǔ)存和保護(hù)被主機(jī)處理過(guò)的信息，其主要的設(shè)計(jì)思想應(yīng)該是著重于在接收到主機(jī)的信息后做到以下幾點(diǎn)：高性能的IO響應(yīng)能力、高可靠性、可管理性和其他數(shù)據(jù)保護(hù)功能（如容災(zāi)、克隆、快照等）。

存儲(chǔ)器比較學(xué)術(shù)的一種分類方法是根據(jù)其體系架構(gòu)進(jìn)行分類。（1）低端的基于陣列控制卡技術(shù)的存儲(chǔ)器。（2）中端的基于簡(jiǎn)單群集技術(shù)的模塊化存儲(chǔ)器。（3）高端存儲(chǔ)器現(xiàn)在有兩種方向，一種是基于統(tǒng)一大緩存scale-up架構(gòu)多處理器（SMP）存儲(chǔ)器；另外一種是分布式緩存多處理器scale-out架構(gòu)的存儲(chǔ)器。

三、scale-up架構(gòu)多處理器存儲(chǔ)介紹

此類存儲(chǔ)通常可以先只配少量的前端主機(jī)接口卡、后端磁盤(pán)接口卡或者核心控制卡，在升級(jí)擴(kuò)容時(shí)在通過(guò)靈活添加相關(guān)接口卡來(lái)提升各個(gè)部分的性能從而達(dá)到存儲(chǔ)器整體性能的提升，這種設(shè)計(jì)思路稱為scale up縱向擴(kuò)展大存儲(chǔ)器的設(shè)計(jì)思路。

存儲(chǔ)器從雙控制器集群發(fā)展到高端陣列，為了滿足性能需求，需要用到多個(gè)控制器，把數(shù)量超過(guò)兩個(gè)以上的多控制器組合起來(lái)協(xié)同工作。這種把多路CPU組合在一起工作的設(shè)計(jì)方式在計(jì)算機(jī)體系結(jié)構(gòu)里稱為共享存儲(chǔ)對(duì)稱多處理機(jī)系統(tǒng)（SMP）架構(gòu)。SMP架構(gòu)的特點(diǎn)包括：（1）對(duì)稱共享存儲(chǔ)：系統(tǒng)中任何處理器均可直接訪問(wèn)任何存儲(chǔ)模塊中的存儲(chǔ)單元和I/O模塊聯(lián)接的I/O設(shè)備，所有內(nèi)存地址單元統(tǒng)一編址。（2）單一的操作系統(tǒng)映像：全系統(tǒng)只有一個(gè)操作系統(tǒng)駐留在共享存儲(chǔ)器中。（3）局部高速緩存Cache及其數(shù)據(jù)一致性：每個(gè)處理器均配備局部Cache，但是這些數(shù)據(jù)必須保持與存儲(chǔ)器中數(shù)據(jù)是一致的。（4）低通信延遲：各個(gè)進(jìn)程通過(guò)讀/寫(xiě)操作系統(tǒng)提供的共享數(shù)據(jù)緩存區(qū)來(lái)完成處理器間的通信。（5）共享總線帶寬：所有處理器共享總線的帶寬，完成對(duì)內(nèi)存模塊和I/O模塊的訪問(wèn)。

四、分布式緩存多處理器scale-out架構(gòu)的存儲(chǔ)器

Scale out體系架構(gòu)是指基于橫向擴(kuò)展的體系架構(gòu)的思路，即整個(gè)系統(tǒng)一開(kāi)始由一個(gè)節(jié)點(diǎn)構(gòu)成，隨著業(yè)務(wù)需求的增加，通過(guò)把更多的節(jié)點(diǎn)添加進(jìn)去，把多臺(tái)小計(jì)算機(jī)（節(jié)點(diǎn)）通過(guò)一個(gè)快速的通道技術(shù)/或外部網(wǎng)絡(luò)連接起來(lái)，這樣就形成一臺(tái)可以做到線性擴(kuò)展的超大型計(jì)算機(jī)設(shè)備，這種思路在服務(wù)器體系架構(gòu)中叫做scale out，即橫向擴(kuò)展。（1）傳統(tǒng)的存儲(chǔ)陣列相當(dāng)于老式機(jī)頭牽引的火車。存儲(chǔ)控制器：1個(gè)或2個(gè)火車頭，代表性能與冗余性；每節(jié)車廂只代表容量；對(duì)于較短的火車，火車頭會(huì)過(guò)度配置；添加車廂過(guò)載亦會(huì)超過(guò)功率極限。（2）新架構(gòu)的Scale Out存儲(chǔ)相當(dāng)于高鐵和諧號(hào)。每節(jié)車廂同時(shí)代表容量和性能；如果一節(jié)車廂的引擎出現(xiàn)故障，其它車廂不會(huì)受到影響；添加車廂即同時(shí)擴(kuò)展性能；組合功能整體上仍是一列火車。

Scale-Out具體又可再細(xì)分成兩類架構(gòu)，一種是分布式緩存但統(tǒng)一編址的NUMA架構(gòu)，另一類產(chǎn)品線是每個(gè)節(jié)點(diǎn)各自管理控制器內(nèi)部緩存的MPP架構(gòu)。

五、Scale-Out架構(gòu)分支一：NUMA架構(gòu)

在前述SMP架構(gòu)中，整個(gè)系統(tǒng)相當(dāng)于一臺(tái)大型計(jì)算機(jī)，所有的處理器P/C訪問(wèn)內(nèi)存SM的速度和延遲都是一致的。由于總線和交叉開(kāi)關(guān)工藝終將會(huì)碰到難于擴(kuò)展的問(wèn)題，因此其上端的處理器的數(shù)量以及下端的緩存模塊的數(shù)量和容量也會(huì)碰到擴(kuò)展性的問(wèn)題。這些擴(kuò)展性的問(wèn)題在早期并不明顯，因?yàn)榇鎯?chǔ)器容量或者處理能力不夠時(shí)，用戶可以再新增購(gòu)買(mǎi)，但在今天整個(gè)IT架構(gòu)對(duì)于存儲(chǔ)器的容量、處理能力以及擴(kuò)展性都提出了更大的挑戰(zhàn)，因此就出現(xiàn)了另外一種設(shè)計(jì)思路，即拋開(kāi)設(shè)計(jì)一臺(tái)超級(jí)大計(jì)算機(jī)的思路，而是把多個(gè)存儲(chǔ)節(jié)點(diǎn)（引擎）通過(guò)一個(gè)快速的通道技術(shù)連接起來(lái)，仍然采用統(tǒng)一內(nèi)存編址設(shè)計(jì)，這樣就形成一臺(tái)可以做到線性擴(kuò)展的架構(gòu)。

具備這種設(shè)計(jì)思想稱為分布共享存儲(chǔ)多處理機(jī)系統(tǒng)架構(gòu)DSM，又稱為CC-NUMA架構(gòu)（高速緩存一致性非均勻存儲(chǔ)訪問(wèn)，ccNUMA，Cache-Coherent Non-Uniform Memory Access），如圖1所示。

NUMA架構(gòu)的特點(diǎn)：

（1）每個(gè)處理器都有自己的內(nèi)存LM，本質(zhì)上就是1臺(tái)獨(dú)立的計(jì)算機(jī)；（2）這些處理器之間通過(guò)一個(gè)快速的定制網(wǎng)絡(luò)互聯(lián)起來(lái)；（3）各個(gè)處理器之間的內(nèi)存/緩存LM統(tǒng)一編址，即虛擬分布共享內(nèi)存體系DSM；（4）通過(guò)在定制網(wǎng)絡(luò)范圍內(nèi)添加更多的處理器芯片和LM緩存等模塊，從而方便的擴(kuò)展整個(gè)存儲(chǔ)系統(tǒng)，即scale out橫向擴(kuò)展。

六、Scale-Out架構(gòu)分支一：MPP架構(gòu)

NUMA架構(gòu)可以理解成將多個(gè)SMP進(jìn)行松一點(diǎn)的耦合，即多個(gè)SMP之間通過(guò)快速交換通道互聯(lián)，每個(gè)SMP都有各自自己的內(nèi)存，一個(gè)SMP內(nèi)部的CPU訪問(wèn)自己的內(nèi)存時(shí)與之前沒(méi)什么兩樣，但是要訪問(wèn)其他SMP處的內(nèi)存，就需要走交換通道。所以，NUMA通過(guò)犧牲了內(nèi)存訪問(wèn)的時(shí)延來(lái)達(dá)到更高的擴(kuò)展性。SMP和NUMA架構(gòu)同一臺(tái)機(jī)器內(nèi)都使用單一操作系統(tǒng)。但是由于NUMA訪問(wèn)遠(yuǎn)端內(nèi)存時(shí)的時(shí)延問(wèn)題，擴(kuò)展到達(dá)一定規(guī)模時(shí)，NUMA架構(gòu)下的效率也不能隨著CPU數(shù)量的增加而線性增長(zhǎng)，但是要好過(guò)SMP。

而MPP實(shí)質(zhì)上是將多臺(tái)獨(dú)立的主機(jī)使用外部網(wǎng)絡(luò)來(lái)組成一個(gè)集群。每個(gè)節(jié)點(diǎn)都有各自的CPU、內(nèi)存、IO總線和操作系統(tǒng)。整個(gè)系統(tǒng)屬于最松散的耦合，各個(gè)節(jié)點(diǎn)運(yùn)行大范圍并行化的程序。MPP的效率隨節(jié)點(diǎn)數(shù)量的增長(zhǎng)表現(xiàn)為線性關(guān)系。MPP相當(dāng)于把內(nèi)存、把操作系統(tǒng)強(qiáng)制分開(kāi)，把程序架構(gòu)也強(qiáng)制改變以保持海量計(jì)算下的效率線性增長(zhǎng)。

MPP體系架構(gòu)特點(diǎn)包括：（1）由數(shù)百個(gè)乃至數(shù)千個(gè)計(jì)算結(jié)點(diǎn)和I/O結(jié)點(diǎn)組成，通過(guò)高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接。（2）每個(gè)結(jié)點(diǎn)相對(duì)獨(dú)立，并擁有一個(gè)或多個(gè)微處理器（P/C）。（3）MPP的各個(gè)結(jié)點(diǎn)均擁有不同的操作系統(tǒng)映像。（4）各個(gè)結(jié)點(diǎn)間的內(nèi)存模塊相互獨(dú)立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址，如圖2所示。

七、電信支撐系統(tǒng)對(duì)于存儲(chǔ)架構(gòu)的選擇

面對(duì)同樣的預(yù)算區(qū)間，電信支撐系統(tǒng)是選擇傳統(tǒng)scale up高端陣列，還是新型scale out架構(gòu)的高端陣列，其實(shí)這是一個(gè)辯證的問(wèn)題。在服務(wù)器領(lǐng)域，通常會(huì)根據(jù)應(yīng)用系統(tǒng)的特點(diǎn)不同，選擇基于scale up架構(gòu)的服務(wù)器（如數(shù)據(jù)庫(kù)服務(wù)器），或者基于scale out架構(gòu)擴(kuò)展的服務(wù)器（如應(yīng)用服務(wù)器）。

特定場(chǎng)景下，由于單路I/O就可能導(dǎo)致整個(gè)MPP集群中的磁盤(pán)資源全部牽動(dòng)（每磁盤(pán)同一時(shí)刻只能執(zhí)行一個(gè)I/O）。然后在多路大塊連續(xù)I/O并發(fā)的情況下，反而效率很差（比如多流大塊連續(xù)地址I/O）；而某些特定場(chǎng)景下，多路I/O之間牽制很少，則表現(xiàn)出線性增長(zhǎng)的性能（比如小塊高隨機(jī)I/O）。這也可以類比為將一個(gè)程序并行分解成多個(gè)執(zhí)行顆粒（類比為高隨機(jī)I/O），顆粒間的關(guān)聯(lián)性越少，則并行執(zhí)行的效率越高。所以MPP自身為Share-Nothing架構(gòu)，那么運(yùn)行在它上面的程序顆粒之間最好也Share-Nothing。因此MPP架構(gòu)可廣泛用于互聯(lián)網(wǎng)運(yùn)營(yíng)商的底層Key-Value分布式數(shù)據(jù)庫(kù)，在高隨機(jī)小塊讀訪問(wèn)場(chǎng)景下能獲得巨量的性能以及線性的效率-擴(kuò)展曲線。

從目前電信運(yùn)營(yíng)商支撐系統(tǒng)的現(xiàn)狀來(lái)看，主流還是SMP/NUMA存儲(chǔ)，但在電信運(yùn)營(yíng)商互聯(lián)網(wǎng)化的進(jìn)程中，MPP存儲(chǔ)應(yīng)用可能會(huì)越來(lái)越廣泛。

參考文獻(xiàn)

[1]曹強(qiáng)等.海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理與設(shè)計(jì).武漢：華中科技大學(xué)出版社，2010.

[2]孫功星等譯. SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò).北京：機(jī)械工業(yè)出版社，2002.

[3]趙文輝.網(wǎng)絡(luò)存儲(chǔ)技術(shù).北京：清華大學(xué)出版社，2005.