基于SBB 2.0擴(kuò)展的計(jì)算存儲融合系統(tǒng)

馬千里　袁磊峰　王朝營

摘要：對SBB 2.0規(guī)范進(jìn)行了擴(kuò)展，通過增加PCIe信號提出了一種小型化的計(jì)算存儲融合系統(tǒng)。相比于SBB 2.0，該系統(tǒng)融合了計(jì)算和存儲兩種應(yīng)用，具有集成度高、功能豐富、擴(kuò)展性強(qiáng)、兼容性好、配置靈活等諸多特性，不失為一種小型化的計(jì)算存儲通用系統(tǒng)。

關(guān)鍵詞： 存儲橋接塢；高級電信計(jì)算架構(gòu)（ACTA）；串行連接小型計(jì)算機(jī)系統(tǒng)接口（SAS）；快速外部設(shè)備互連；網(wǎng)絡(luò)存儲；服務(wù)器虛擬化

Abstract： This paper describes a small-scale convergence system that is based on storage bridge bay （SBB） and has added PCIe signals. This system combines computing and storage applications. It is highly integrated， feature-rich， scalable， and highly compatible. It also enables flexible configuration. It is a universal miniaturized computing storage system.

Key words： SBB； advanced telecom computing architecture （ATCA）； serial attached small computer system Interface （SAS）； PCIe； network storage； server virtualization

存儲橋接塢（SBB）是由非盈利性協(xié)作組織為提高網(wǎng)絡(luò)存儲接口標(biāo)準(zhǔn)化而提出的一種規(guī)范。SBB 2.0 [1]版本定義了箱式存儲陣列設(shè)備中控制器和插槽的機(jī)械、電氣和底層管理特性，使得不同存儲廠商基于該標(biāo)準(zhǔn)的控制器具有統(tǒng)一的兼容性和互操作性。如EMC公司的VNXe3150 [2]、Fujitsu公司的DX60 [3]磁盤陳列柜都是符合SBB 2.0的產(chǎn)品，2 U高的機(jī)箱最多可以容納24個2.5 inch串行連接小型計(jì)算機(jī)系統(tǒng)接口（SAS）硬盤。

SBB 2.0設(shè)備是面向中小規(guī)模的通用網(wǎng)絡(luò)存儲而設(shè)計(jì)的，廣泛適用于企業(yè)、政府、金融、電信、互聯(lián)網(wǎng)等行業(yè)。在這些行業(yè)中，除了存儲的應(yīng)用外，小型化的計(jì)算應(yīng)用更廣，如采用高級電信計(jì)算架構(gòu)（ATCA）平臺[4-5]及相應(yīng)的服務(wù)器刀片，典型的有Comtel公司的CO2產(chǎn)品[6]、Emerson公司的Centellis 2000產(chǎn)品[7]，都是小型化、3U高的ATCA機(jī)框。

但是，這些應(yīng)用也存在著系統(tǒng)上的不足。比如，計(jì)算和存儲在物理上隔離，只作為計(jì)算或存儲的應(yīng)用，功能單一，集成度不高；再者，計(jì)算及存儲應(yīng)用間的互換性、通用性不佳。另外，對于計(jì)算應(yīng)用來說，因某些限制而提供的接口或處理資源不夠，擴(kuò)展性不強(qiáng)。

針對上述問題，文章對SBB 2.0規(guī)范進(jìn)行了擴(kuò)展，在此基礎(chǔ)上，提出了一種小型化的計(jì)算存儲融合系統(tǒng)（以下簡稱融合系統(tǒng)），既適合計(jì)算應(yīng)用，也適合存儲應(yīng)用，或者同時(shí)作為計(jì)算及存儲的融合應(yīng)用，應(yīng)用于通信、信息及工業(yè)控制等領(lǐng)域。

1 SBB規(guī)范簡介

SBB 2.0定義了存儲陣列機(jī)箱和存儲控制盒之間的機(jī)械和電氣需求，以支持符合SBB規(guī)范的模塊具有更高的互通性。這樣以來，多個機(jī)箱可以共享同一種控制盒，或者不同的控制盒能夠插入同一個機(jī)箱，解決不同產(chǎn)品之間的互用性問題，降低產(chǎn)品成本，縮短開發(fā)周期，給用戶提供靈活選擇。這就是SBB規(guī)范的主要精髓。

需要說明的是，SBB規(guī)范現(xiàn)行版本是2011年發(fā)布的2.1版，除了對SBB 2.0進(jìn)行一些勘誤補(bǔ)充外，還增加了6 Gb SAS等高速信號的定義，但總體上變化不大。文章基于最新的SBB 2.1規(guī)范，但業(yè)界仍然習(xí)慣上稱為SBB 2.0。

一個典型的SBB機(jī)箱如圖1所示。前視為最多24個高密度磁盤封裝，后視為1～2個存儲控制盒、1～2個電源風(fēng)扇模塊，它們都插在中背板上進(jìn)行互聯(lián)。

SBB 2.0為存儲控制盒到中背板定義了SBB中背板連接器（SBBMI），對應(yīng)兩個控制盒插槽，稱為SBBMI A和SBBMI B，分別由M1—M13接插件模塊組成，如圖2所示。

其中，M1、M5兩組可選模塊含有兩個控制盒之間互連的高速信號，M3含有機(jī)箱管理及控制的低速信號，M4為導(dǎo)向插腳，M6為電源插腳，M2含有硬盤1—6的信號，可選的M7—M13含有硬盤7—48的信號。

2 融合系統(tǒng)原理

2.1融合系統(tǒng)TOPO架構(gòu)

快速外部設(shè)備互連（PCIe）是第三代I/O局部總線標(biāo)準(zhǔn)[8-9]，以其串行傳輸、點(diǎn)對點(diǎn)連接、報(bào)文交換的體系結(jié)構(gòu)帶來了高帶寬、低開銷、可擴(kuò)展、高可靠、易用性等特點(diǎn)，加之它可以提供虛擬化方法，不僅已普遍用于主機(jī)與外部設(shè)備的高速可靠通信[10]，而且在高密度計(jì)算、網(wǎng)絡(luò)通信、工業(yè)控制等領(lǐng)域也得到了大量應(yīng)用，具有廣泛的通用性。

融合系統(tǒng)正是在SBB 2.0的基礎(chǔ)上引入PCIe總線進(jìn)行擴(kuò)展而來。

SBB 2.0定義了48個硬盤信號，融合系統(tǒng)根據(jù)實(shí)際應(yīng)用需求的具體情況，對支持的硬盤數(shù)量進(jìn)行了縮減，單機(jī)箱僅支持12個硬盤，這樣就可以將前述M8—M13的信號進(jìn)行重新定義，增加PCIe 2.0的信號連接（單通道帶寬5 Gb/s），并對硬盤盒的插槽進(jìn)行擴(kuò)展，以便混插其他的功能板卡，從而使系統(tǒng)兼具存儲和計(jì)算的雙重功能。

系統(tǒng)拓?fù)洌═OPO）如圖3所示。

在結(jié)構(gòu)上，融合系統(tǒng)將SBB 2.0機(jī)箱的前后進(jìn)行了顛倒，以便統(tǒng)一后走線。

機(jī)箱前視為橫插的兩個主控制器1、2（左右分別列于上部），以及兩個電源風(fēng)扇模塊1、2（左右分別列于下部）。

中背板后視有16個豎向的插槽，可以插入相應(yīng)的后插板卡，按功能可分為3個部分：

· 兩側(cè)是電源槽位1、2，用來插入電源輸入板卡為系統(tǒng)引入外部電源，并通過中背板轉(zhuǎn)接到電源風(fēng)扇模塊，由此給整個機(jī)箱提供電源和通風(fēng)散熱。

· 電源槽位向內(nèi)是兩個獨(dú)立槽位1、2，分別對應(yīng)主控制器1、2，兩個主控制器分別通過這兩個槽位上的獨(dú)立板卡直接出對外接口，或提供相應(yīng)的獨(dú)立功能。

· 其余為連續(xù)的12個通用槽位，每個槽位到兩個主控制器均連接有2條SAS 2.0通道和4 Lane的PCIe 2.0總線。這樣，通用槽位可以混插2.5 inch SAS硬盤板卡或者PCIe功能板卡，并同時(shí)受控制器1及2的控制，實(shí)現(xiàn)存儲或計(jì)算的功能。

和SBB 2.0一樣，兩個控制器之間還有相互通信的更新信號，并可完成整個機(jī)箱的管理控制功能。

2.2 SBBMI信號擴(kuò)充

參考圖2，融合系統(tǒng)對SBB 2.0擴(kuò)展的關(guān)鍵是利用M8—M13接插件在SBBMI中引入PCIe 2.0信號。以M8為例，兩個控制器到M8共有兩組PCIe 2.0×4總線信號、復(fù)位信號PERST#、在位信號PRSNT1#和PRSNT2#，分配給2個后插通用槽位。控制器到M8—M13的PCIe信號共可分配給12個通用槽位，其他可選的公共信號如PCIe時(shí)鐘REFCLK±、測試總線JTAG、管理總線SMBUS則通過M3連接到12個通用槽位，不需要新增接插件。圖2中，以灰色表示的M1，M2，M4—M7在SBB 2.0中所定義的信號沒有變化。

2.3 PCIe功能板卡構(gòu)成

圖4給出了PCIe功能板卡的原理構(gòu)成及其與兩個控制器的連接。

PCIe功能板卡上需擴(kuò)展一片PCIe交換器，該交換芯片支持雙主連接，配置3個PCIe 2.0×4 端口，其中兩個端口經(jīng)板卡上的PCIe中繼器進(jìn)行接收均衡、發(fā)送去加重后分別連接到兩個主控制器的PCIe交換上[11-13]，另外一個端口連到板卡自身的PCIe 端點(diǎn)設(shè)備，實(shí)現(xiàn)相應(yīng)的板卡功能。默認(rèn)情況下，這3個端口分別設(shè)置為上行、非透明（NT）和下行。此時(shí)，該功能板卡受控于主控制器1。如主控制器1出現(xiàn)故障，主控制器2通過心跳線更新實(shí)時(shí)檢測到后，即將功能板卡上PCIe交換器的上行端口、NT端口分別重置為NT端口、上行端口，主控制器2的CPU重新枚舉，從而接管對PCIe功能板卡的控制，確保系統(tǒng)的正常運(yùn)行。

同樣，功能板卡也可靈活配置為默認(rèn)受控于主控制器2，主控制器2異常時(shí)即切換到由主控制器1控制。

和SBB 2.0類似，不管通用槽位上插的是硬盤板卡還是PCIe功能板卡，兩個控制器均可以主備或雙主方式工作，提高融合系統(tǒng)的可靠性和處理能力。

2.4 虛擬化技術(shù)對融合系統(tǒng)的支持

隨著多核處理器技術(shù)的發(fā)展，尤其是Intel架構(gòu)（IA）Xeon處理器按架構(gòu)-工藝模式以2年為周期Tick-Tock交替持續(xù)演進(jìn)，服務(wù)器的硬件性能仍然在逐年快速提升。此時(shí)，應(yīng)用虛擬化技術(shù)，將一臺服務(wù)器作為多個虛擬機(jī)來使用，讓多個應(yīng)用共享同一硬件平臺，可以提高系統(tǒng)資源利用率，降低系統(tǒng)成本。

圖5描述了通過虛擬化技術(shù)，在主控制器上實(shí)現(xiàn)計(jì)算存儲的融合?；趦?nèi)核虛擬機(jī)（KVM）是宿主型的虛擬機(jī)監(jiān)視器Hypervisor [14]，它運(yùn)行在Linux操作系統(tǒng)內(nèi)核中，將硬件資源虛擬為相互隔離的虛擬機(jī)，不同的虛擬機(jī)中運(yùn)行不同的系統(tǒng)和應(yīng)用，這樣就在主控制器上同時(shí)實(shí)現(xiàn)了計(jì)算和存儲的應(yīng)用。

結(jié)合Intel提供的硬件輔助虛擬化技術(shù)，如CPU虛擬化技術(shù)VT-x、芯片組虛擬化亦即定向I/O虛擬化技術(shù)VT-d[15]和網(wǎng)絡(luò)連接虛擬化技術(shù)VT-c，KVM具有很高的虛擬化性能，并且更為高效和安全。

2.5 融合系統(tǒng)的應(yīng)用

利用PCIe總線的通用性，可以對PCIe功能板卡、硬盤板卡以及融合系統(tǒng)通用槽位進(jìn)行統(tǒng)一的機(jī)械和電氣規(guī)格定義，不但能實(shí)現(xiàn)PCIe功能板卡間的兼容性和互換性，而且PCIe功能板卡與硬盤板卡在融合系統(tǒng)的通用槽位上還可以混插。

根據(jù)應(yīng)用需求，PCIe功能板卡上的Endpoint設(shè)備既可以作為主控制器對外的時(shí)分復(fù)用（TDM）接口、IP接口或者數(shù)據(jù)采集/轉(zhuǎn)換接口，擴(kuò)展系統(tǒng)對外的接口種類和數(shù)量，比如1個PCIe接口板卡可以出1個10 GbE口、4個GE網(wǎng)口或者8個E1接口；另外，端點(diǎn)設(shè)備也可以用作硬件加速，如擴(kuò)展數(shù)字信號處理（DSP）、IPSec、分辨率（DPI）引擎芯片，配合主控制器實(shí)現(xiàn)語音或視頻編解碼、IP加密、深度報(bào)文檢測的集中處理，完成計(jì)算方面的協(xié)處理功能，適合通信產(chǎn)品的小型化應(yīng)用。

再結(jié)合存儲和虛擬化技術(shù)，融合系統(tǒng)可以進(jìn)一步完成通信產(chǎn)品的多網(wǎng)元合一或者多模合一的應(yīng)用需求，提高系統(tǒng)的集成度。比如，原來需要一個3U ATCA再加一個磁盤陣列柜的系統(tǒng)或者需要兩個3U ATCA的系統(tǒng)，在一些場景下只需要一個融合系統(tǒng)即可實(shí)現(xiàn)[16-17]。

3結(jié)束語

綜上所述，通過對SBB 2.0稍加擴(kuò)展，引入PCIe 2.0信號，我們在繼承SBB 2.0大部分特性的基礎(chǔ)上，可以設(shè)計(jì)出尺寸為寬19 inch、高度2 U、深度約400 mm，采用交直流供電、前后通風(fēng)的小型化計(jì)算存儲融合機(jī)箱。該機(jī)箱的深度與前述的ATCA機(jī)框相當(dāng)，但是比前述的磁盤陣列柜要淺很多。機(jī)箱前插有兩個主備或雙主工作的主控制器，后插有充足的通用槽位，可以混插最多12個2.5 inch SAS硬盤板卡或各種PCIe功能板卡，一套系統(tǒng)既適合存儲應(yīng)用，又適合計(jì)算應(yīng)用，或者計(jì)算及存儲的融合應(yīng)用。

相對而言，盡管融合系統(tǒng)的存儲容量弱于SBB 2.0磁盤陣列柜，計(jì)算性能較小型化的ATCA系統(tǒng)會稍有不足，但是，在SBB 2.0基礎(chǔ)上提出的系統(tǒng)融合了計(jì)算和存儲兩種應(yīng)用，具有集成度高、功能豐富、擴(kuò)展性強(qiáng)、兼容性好、配置靈活等諸多特性，不失為一種小型化的計(jì)算存儲通用系統(tǒng)。

參考文獻(xiàn)

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結(jié)構(gòu)導(dǎo)讀[M].北京：機(jī)械工業(yè)出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術(shù)原理與實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2012：156-188.

[15] 英特爾開源軟件技術(shù)中心，復(fù)旦大學(xué)并行處理研究所.系統(tǒng)虛擬化——原理與實(shí)現(xiàn)[M].北京：清華大學(xué)出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.

參考文獻(xiàn)

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結(jié)構(gòu)導(dǎo)讀[M].北京：機(jī)械工業(yè)出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術(shù)原理與實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2012：156-188.

[15] 英特爾開源軟件技術(shù)中心，復(fù)旦大學(xué)并行處理研究所.系統(tǒng)虛擬化——原理與實(shí)現(xiàn)[M].北京：清華大學(xué)出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.

參考文獻(xiàn)

[1] Storage Bridge Bay（SBB）. Specification Version 2.1[S].2011.

[2] EMC Corporation. EMC VNXe系列VNXe3150硬件信息指南[Z].2012.

[3] Fujitsu Limited. ETERNUS DX60/DX80/DX90 SA/SE Disk Storage System Handbook[Z].2010.

[4] PICMG3.0. AdvancedTCA （Base Specification） Rev3.0[S]. 2008.

[5] PICMG3.4. AdvancedTCA PCI Express Rev1.0[S]. 2003

[6] COMTEL Electronics GmbH. 3U 2 Slot AdvancedTA Shelf User Manual[Z].2009.

[7] Emerson Electric Co. Centellis 2000 AdvancedTCA Platform Core[Z].2009.

[8] PCI Express Base Specification Revision 2.0[S].2006.

[9] PCI Express Card Electromechanical Specification Revision 2.0[S].2007.

[10] 王齊.PCI Express體系結(jié)構(gòu)導(dǎo)讀[M].北京：機(jī)械工業(yè)出版社，2010：101-139.

[11] PLX Technology，Inc. ExpressLane PEX 8612-AA，AB and BB 12-Lane/3-Port PCI Express Gen 2 Switch Data Book[Z]. 2013.

[12] Pericom Semiconductor Corporation. PI2EQX5984 5.0Gbps 4-lane PCIe 2.0 ReDriver with Equalization & Emphasis[Z]. 2012.

[13] PLX Technology，Inc.ExpressLane. PEX 8664-AA 64-Lane，16-Port PCI Express Gen 2 Multi-Root Switch Data Book[Z]. 2013.

[14] 廣小明，胡杰，陳龍，郭京.虛擬化技術(shù)原理與實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2012：156-188.

[15] 英特爾開源軟件技術(shù)中心，復(fù)旦大學(xué)并行處理研究所.系統(tǒng)虛擬化——原理與實(shí)現(xiàn)[M].北京：清華大學(xué)出版社，2009：104-151.

[16] Avaya Inc. Avaya Aura Communication Manager Hardware Description and Reference Release 6.2[Z].2012.

[17] Cisco Systems，Inc. Cisco Unified Communications on the Cisco Unified Computing System[Z]. 2012.