存儲(chǔ)網(wǎng)絡(luò)帶寬的評(píng)估辦法

楊飛

摘要 隨著云計(jì)算，大數(shù)據(jù)等IT業(yè)務(wù)的開(kāi)展，作為IT主要資源存儲(chǔ)網(wǎng)絡(luò)帶寬重要性日益凸顯，大家對(duì)存儲(chǔ)網(wǎng)絡(luò)帶寬的理論和實(shí)際使用情況關(guān)注越來(lái)越多，那么如何評(píng)估存儲(chǔ)網(wǎng)絡(luò)帶寬呢？本文將給大家介紹一種常規(guī)的評(píng)估辦法，希望給大家?guī)?lái)啟發(fā)。

【關(guān)鍵詞】存儲(chǔ) 網(wǎng)絡(luò) 帶寬

某省運(yùn)營(yíng)商云計(jì)算平臺(tái)在日常維護(hù)中發(fā)現(xiàn)存儲(chǔ)帶寬或讀取速率不理想，瓶頸在哪里呢？整個(gè)SAN存儲(chǔ)網(wǎng)絡(luò)包括以下設(shè)備：存儲(chǔ)、存儲(chǔ)交換機(jī)、服務(wù)器、接入交換機(jī)、匯聚交換機(jī)、出口防火墻等。解決此類問(wèn)題的方法，基本可以從三個(gè)方面進(jìn)行分析：

1 存儲(chǔ)方面

1.1 單塊硬盤速率

單個(gè)硬盤，尤其是機(jī)械硬盤，主要受限于機(jī)械式硬盤結(jié)構(gòu)。最大內(nèi)部數(shù)據(jù)傳輸率是機(jī)械硬盤的主要指標(biāo)，它是硬盤的內(nèi)圈傳輸速率，指磁頭和高速數(shù)據(jù)緩存之間的最高數(shù)據(jù)傳輸速率。最高內(nèi)部傳輸速率的性能是與硬盤轉(zhuǎn)速以及單盤容量有直接的關(guān)系。

還有近年來(lái)興起的SSD硬盤，又叫固態(tài)硬盤（ Solid Srate Disk），是用固態(tài)電子存儲(chǔ)芯片陣列制成的硬盤，由控制單元和存儲(chǔ)單元（Flash芯片、DRAM芯片）組成。固態(tài)硬盤的接口規(guī)范和定義、功能及使用方法上與普通硬盤的完全相同，雖然在外形和尺寸上與普通硬盤一致，但其讀寫(xiě)不再依賴傳統(tǒng)磁頭和機(jī)械轉(zhuǎn)動(dòng)，所以速度得到明顯的提升。

當(dāng)前主流的兩種硬盤單盤速率一般在以下范圍：機(jī)械硬盤平均讀取速度為70-220MB/s，SSD硬盤平均讀取速度180-530MB/s。

1.2 硬盤接口

硬盤接口也對(duì)整體的速率有影響，根據(jù)接口類型，主要分為如下五類，每種接口除了電氣結(jié)構(gòu)不同，理論速率也有較大差異，如表1所示。

一般情況，F(xiàn)C接口的機(jī)械盤轉(zhuǎn)速可以達(dá)到15000轉(zhuǎn)，SAS接口的3.5寸盤轉(zhuǎn)速一般是15000轉(zhuǎn)或者10000轉(zhuǎn)，SAS接口的2.5寸盤轉(zhuǎn)速通常為10000轉(zhuǎn)，而相對(duì)前兩者，SATA接口的機(jī)械盤多是7500轉(zhuǎn)。

根據(jù)上述硬盤內(nèi)圈傳輸速率以及硬盤接口速率信息來(lái)分析，單個(gè)硬盤的瓶頸往往在硬盤內(nèi)部，而不是外部的硬盤接口。

l.3 RAID對(duì)速率的影響

為了提高存儲(chǔ)整體效率與安全性，便有了磁盤陣列（Redundant Arrays of InexpensiveDisks，RAID）。關(guān)于RAID的基礎(chǔ)理論很多，這里就不作介紹和比較了，僅僅針對(duì)存儲(chǔ)中最常用的raid5和raidl0進(jìn)行一些分析。表2能大致反映兩種主流raid的讀寫(xiě)性能比較。

說(shuō)明：

（1）N為磁盤數(shù)量;

（2）讀寫(xiě)性能數(shù)字10表示最好，1表示最差，僅僅在同一列數(shù)據(jù)進(jìn)行對(duì)比有效。

陣列性能的分析包括測(cè)試包大小，數(shù)量，緩存，IOPS等等都有可能對(duì)存儲(chǔ)整體性能產(chǎn)生巨大影響。假如忽略存儲(chǔ)的cache大小、不考慮各個(gè)陣列的IOPS以及讀寫(xiě)命中率等參數(shù)，我們可以按照單塊盤150MB/s的帶寬速率預(yù)估計(jì)，那么，兩種raid的寫(xiě)速度可以理想的近似為：150MB/sx有效容量盤個(gè)數(shù);raidl0的最大讀速度可以理想的近似為N來(lái)估算;raid5的最大讀速率可以理想的近似為N-l來(lái)估算。磁盤raid后，讀寫(xiě)帶寬瓶頸得到很大的緩和，存儲(chǔ)帶寬瓶頸也得到很好的改善。

以raidl0為例，目前一般可以支持16塊盤制作raidl0，完成后一個(gè)raid的理想帶寬可以達(dá)到：150MB/sx8=1200MB/s。

但如果考慮上小文件以及隨機(jī)讀寫(xiě)等不同的應(yīng)用場(chǎng)景的情況，對(duì)IOPS的消耗也就不同，在云計(jì)算瓶頸分析中需要根據(jù)具體業(yè)務(wù)的IOPS來(lái)具體分析業(yè)務(wù)對(duì)存儲(chǔ)整體能力的消耗，從而判斷是否存儲(chǔ)整體達(dá)到了瓶頸。

l.4 存儲(chǔ)紐網(wǎng)

存儲(chǔ)主要有DAS、NAS、IPSAN和FCSAN四種組網(wǎng)方式。

DAS： 直接連接存儲(chǔ)（DAS：DirectAttached Storage）.是指將存儲(chǔ)設(shè)備通過(guò)SCSI接口或FC接口直接連接到一臺(tái)計(jì)算機(jī)上。DAS不算是網(wǎng)絡(luò)存儲(chǔ)，因?yàn)橹挥兴鶔燧d的主機(jī)才可訪問(wèn)它。

（1） NAS：網(wǎng)絡(luò)連接存儲(chǔ)（NAS：NetworkAttached Storage），是指將存儲(chǔ)設(shè)備通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（例如以太網(wǎng)），連接到一群計(jì)算機(jī)上。NAS有文件系統(tǒng)和IP地址，可以類似的理解為網(wǎng)上鄰居的共享磁盤。

（2） SAN：存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN：Storage Area Network），目前的SAN存儲(chǔ)有2種：一是基于以太網(wǎng)的IP SAN（也就常說(shuō)的iSCSD、二是基于光纖通道的FC SAN。

下面我們主要來(lái)研究以下這兩種SAN網(wǎng)絡(luò)：

（1） IPSAN： IPSAN -般使用主備雙控制器，每個(gè)控制器4根千兆網(wǎng)線對(duì)外連接;單個(gè)文件傳輸最大速率為lGbps（忽略損耗合125MB/s）;在主機(jī)多路徑軟件分擔(dān)下，同一個(gè)raid下面的同一個(gè)lun下多文件傳輸最大速率為lGbpsx4（合500MB/s）;如果考慮多個(gè)LUN分擔(dān)在不同的A/B控制器上面，理論IPSAN外部接口速率可以達(dá)到1 Gbpsx8（合lGB/s）。

（2） FCSAN： FCSAN的光纖有4Gbps、8Gbps，以8Gbps為例，一個(gè)控制器出兩根光纖;單個(gè)文件傳輸最大速率為8Gbps（忽略損耗合lGB/s）;在主機(jī)多路徑軟件分擔(dān)下，同一個(gè)lun下多文件傳輸最大速率為8Gbpsx2（合2GB/s）;如果考慮多個(gè)LUN分擔(dān)在不同的A/B控制器上面，理論FCSAN外部接口速率可以達(dá)到8 Gbpsx4（合4GB/s）。

存儲(chǔ)還應(yīng)考慮內(nèi)部總線、后端通道端口類型，一般是使用FC和ISCSI，根據(jù)前端使用來(lái)選擇配置，速度能夠得到比較好的滿足。

整個(gè)多raid多l(xiāng)un存儲(chǔ)網(wǎng)絡(luò)帶寬最理想情況，IPSAN能達(dá)到1GB/s速率，而FCSAN可以是這個(gè)速度的4倍。針對(duì)單文件傳輸，IPSAN能達(dá)到125MB/s，而FCSAN可以是這個(gè)速度的8倍。可見(jiàn)IPSAN的單個(gè)線程傳輸速率瓶頸非常的明顯。

2 網(wǎng)絡(luò)設(shè)備方面

2.1 存儲(chǔ)交換機(jī)

針對(duì)SAN的組網(wǎng)，存儲(chǔ)網(wǎng)絡(luò)設(shè)備主要有光纖交換機(jī)和普通交換機(jī)兩種情況，目前從交換機(jī)本身和端口分析，應(yīng)滿足以下公式：交換機(jī)內(nèi)部總線處理速率>單端口最大速率×端口個(gè)數(shù)。

綜上所述，可以不考慮交換機(jī)本身的瓶頸，只考慮使用的端口具體數(shù)量對(duì)存儲(chǔ)速率的影響，還是分為IPSAN和FCSAN兩種情況來(lái)分析，如下：

網(wǎng)口：IPSAN側(cè)速率單文件理想最大瓶頸125MB/s，A/B控多l(xiāng)un多文件最大lGB/s;

FC口：FCSAN （8Gbps）側(cè)單文件理想最大瓶頸為1 GB/s，A/B控多LUN多文件最大4GB/s。

兩者速度都和存儲(chǔ)網(wǎng)絡(luò)出口的控制器一致，不會(huì)成為單一瓶頸。

2.2 接入交換機(jī)

云計(jì)算各個(gè)主機(jī)的接入交換機(jī)存儲(chǔ)平面到存儲(chǔ)交換機(jī)，一般是多根光纖或者網(wǎng)線聚合，帶寬一般確保在8Gbps以上，即1GB/s。所以接入交換機(jī)一般也不會(huì)成為瓶頸。

2.3 匯聚交換機(jī)與出口防火墻

如果要從外部系統(tǒng)（存儲(chǔ)系統(tǒng)以外）向存儲(chǔ)上傳下載，那么帶寬的計(jì)算必須還要考慮匯聚交換機(jī)、出口防火墻以及外部系統(tǒng)網(wǎng)絡(luò)情況。

（1）匯聚交換機(jī)到接入交換機(jī)一般通過(guò)兩根光纖或者四根網(wǎng)線相連，速率應(yīng)該在500MB/s或者以上。

（2）出口防火墻到匯聚交換機(jī)的連接根據(jù)組網(wǎng)不同而不同，最常用的還是通過(guò)光纖連接，速率一般也是在500MB/s或者以上。

（3）出口防火墻向外最常用也是使用光纖，速率可能是10G，合1.25GB/s。但這個(gè)速率是所有內(nèi)部主機(jī)出口分享的。

（4）而相對(duì)前三者，外部網(wǎng)絡(luò)的速度就可能慢很多，如果通過(guò)其他機(jī)房，假設(shè)按照l(shuí)OMbps的網(wǎng)絡(luò)情況計(jì)算，最多也只有不到1.25MB/s的速度。和外部交互過(guò)程中，存儲(chǔ)網(wǎng)絡(luò)瓶頸最有可能的是來(lái)源于外部網(wǎng)絡(luò)。

3 總結(jié)

存儲(chǔ)網(wǎng)絡(luò)帶寬瓶頸在哪里，我們需要逐一對(duì)每個(gè)可能出現(xiàn)瓶頸的點(diǎn)根據(jù)現(xiàn)網(wǎng)情況進(jìn)行分析，就不難找到瓶頸所在，為后期網(wǎng)絡(luò)優(yōu)化奠定了基礎(chǔ)。

（1）如果通過(guò)內(nèi)網(wǎng)訪問(wèn)存儲(chǔ)，可以多考慮交換設(shè)備帶寬以及損耗、存儲(chǔ)控制器方式、以及raid組上產(chǎn)生的瓶頸。

（2）如果通過(guò)外部網(wǎng)絡(luò)訪問(wèn)主機(jī)后再訪問(wèn)存儲(chǔ)，可以多考慮外部網(wǎng)絡(luò)條件，主機(jī)硬件出口帶寬等瓶頸。

（3）如果存儲(chǔ)連接過(guò)多主機(jī)并承載了比較多的業(yè)務(wù)，就還需要根據(jù)IOPS等指標(biāo)分析是否存儲(chǔ)能力達(dá)到了瓶頸。

參考文獻(xiàn)

[1]許子先，云計(jì)算環(huán)境下遠(yuǎn)程安全評(píng)估技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（01）：62-63+76.

[2]段潔，邢媛，趙國(guó)鋒，信息中心網(wǎng)絡(luò)中緩存技術(shù)研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2018 （02）：1-10.

[3]譚振贇，計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)及防范策略[J].無(wú)線互聯(lián)科技，2017 （24）： 31-32.