淺談云計算數(shù)據(jù)中心對布線系統(tǒng)的影響

文｜羅森伯格亞太電子有限公司 孫慧永

在談云計算數(shù)據(jù)中心之前，我們要先了解一下，什么是云計算？云計算是指IT基礎設施的交付和使用模式，指通過網(wǎng)絡以按需、易擴展的方式獲得所需的資源，提供資源的網(wǎng)絡被稱為“云”?！霸啤笔荌T的資源池，可以隨時獲取，按需使用，隨時擴展，按使用付費。云計算數(shù)據(jù)中心就是為云計算服務提供所需要的整體IT物理設備與基礎設施。

提供云服務的數(shù)據(jù)中心能給用戶提供強大的計算能力，其中有一個特點就是“超大規(guī)?！?。如Google、Facebook、騰訊等公司建設的云計算數(shù)據(jù)中心往往超過幾十萬甚至上百萬臺服務器的規(guī)模。從美國Cisco公司的預測報告中顯示，全球云通信量將以66%的年復合增長率發(fā)展，兩年內(nèi)，在云數(shù)據(jù)中心處理的工作量將首次超過在傳統(tǒng)數(shù)據(jù)中心中的量，占比51%。到2015年預計將達到57%，云計算數(shù)據(jù)中心數(shù)據(jù)通信量的快速上升，預示著云數(shù)據(jù)中心的基礎設施建設需求將會同步增長，而數(shù)據(jù)中心的布線系統(tǒng)作為基礎設施之一，隨著云計算數(shù)據(jù)中心應用發(fā)展對布線系統(tǒng)的規(guī)模上、技術層面、產(chǎn)業(yè)層面都受到相應的影響。

本文將主要圍繞云計算數(shù)據(jù)中心的網(wǎng)絡帶寬方面、端口能耗方面、布線架構(gòu)及數(shù)據(jù)中心產(chǎn)業(yè)化發(fā)展、適應云計算數(shù)據(jù)中心的新一代布線系統(tǒng)構(gòu)架等方面做一個探討。

1 云計算數(shù)據(jù)中心對網(wǎng)絡端口帶寬的影響

云計算數(shù)據(jù)中心普遍采用虛擬化的技術，基于云計算的數(shù)據(jù)中心可以支持比傳統(tǒng)數(shù)據(jù)中心更多的虛擬機以及每臺服務器的工作負荷，云計算數(shù)據(jù)中心數(shù)據(jù)量除了終端用戶訪問的數(shù)據(jù)流外，云計算服務器之間應用程序動態(tài)切換產(chǎn)生大量數(shù)據(jù)流，使數(shù)據(jù)中心數(shù)據(jù)通信更加繁忙，如圖1所示。

圖1

相比較傳統(tǒng)的數(shù)據(jù)中心，云計算數(shù)據(jù)中心的單臺物理主機數(shù)據(jù)流量可能是傳統(tǒng)的數(shù)據(jù)中心服務器的4倍、8倍甚至10倍以上。如此大的數(shù)據(jù)流量需要基礎數(shù)據(jù)中心布線系統(tǒng)具有更低的延時性能，更高的可靠性，同時需要有更高帶寬的支持。基于這樣的思考，對于云計算數(shù)據(jù)中心服務器端10G的端口布署將能更好的滿足與支持云計算數(shù)據(jù)吞吐流量。關于服務器10G端口應用的趨勢，根據(jù)Intel有關服務器端口的預測報告中可以了解到，從2012年開始，10G服務器端口將開始大量的部署。而根據(jù)美國Infonetics第三方咨詢機構(gòu)關于網(wǎng)絡設備的端口應用的預測報告中可以看到，到2015年超過50%左右的網(wǎng)絡設備端口采用10G端口，而約25%左右的端口將采用40G/100G，如圖2所示。

圖2

從上述提到的相關預測中，我們可以看出云計算數(shù)據(jù)中心的網(wǎng)絡演進的方向。為了減少網(wǎng)絡的延時，提高數(shù)據(jù)中心網(wǎng)絡響應速度，云計算數(shù)據(jù)中心將更為普遍地采用核心+接入層兩層網(wǎng)絡構(gòu)架替代傳統(tǒng)核心+匯聚+接入的三層方式。核心網(wǎng)絡采用40G/100G網(wǎng)絡端口，接入層網(wǎng)絡與服務器采用10G端口。網(wǎng)絡帶寬的提升將對布線系統(tǒng)提出更高的要求，當服務器端采用10G的端口形式時，銅纜的布線至少需要采用Cat.6A級別的線纜，具體應用可參考IEEE 802.3an標準的10GBase-T傳輸協(xié)議。如果10G采用光纖布線，優(yōu)先采用多模OM3級別及以上的光纖系統(tǒng)來支持服務器端口的應用，參考IEEE 802.3ae標準的10GBase-SR。而對于數(shù)據(jù)中心主干40G/100G的應用，可以采用IEEE 802.3ba中規(guī)定的MTP/MPO光纖并行多通道復用的傳輸方式：40GBase-SR4與100GBase-SR10，布線系統(tǒng)將需要采用MTP/MPO預連接系統(tǒng)進行支持，如圖3所示。有關銅纜布線系統(tǒng)Class F與Class FA支持40G/100G的應用目前還沒有正式標準的支持。 2011年10月，ISO/IEC 11801標準化組織工作小組ISO/IEC JTC 1/SC 25WG3啟動了一項新的提議，研究在平衡雙絞線上支持40G數(shù)據(jù)傳輸，如果研究一切順利，預測2014年將完成草案標準。

圖3

2 云計算數(shù)據(jù)中心端口選擇與對能耗的影響

云計算數(shù)據(jù)中心通常規(guī)模比較大，服務器端口上升到萬兆以后，主干將需要考慮采用40G/100G的方案，對于40G以上的方案目前能規(guī)模應用的主要還是基于QSFP端口模式與MTP預連接光纖布線相結(jié)合的方案。但對于服務器端10G的端口來說就不同了，10G的應用除了采用傳統(tǒng)的RJ45銅網(wǎng)口外，也可以考慮選擇SFP+光網(wǎng)口，還可以考慮SFP+ DAC（Direct Attach Copper Cable）有源雙軸平行電纜等幾種方式可進行比較。10G端口規(guī)?；瘧贸诵枰伎伎煽啃酝?，另外還需要思考端口能耗方面的問題，用戶對于端口的選擇除了要評估不同端口方式的價格因素外，端口能耗與端口的網(wǎng)絡延遲也是一個需要評估的重要指標。云計算數(shù)據(jù)中心規(guī)模大，端口能耗將直接影響整體云計算數(shù)據(jù)中心建設完成后的長期運維成本。對于10G端口應用，上述提到的三種主流方式接口對應的網(wǎng)卡成本比率與網(wǎng)卡功耗狀況可以做一下對比，如表1所示。

表1

表1中的數(shù)據(jù)主要來源于Intel的網(wǎng)卡及Solarflare網(wǎng)卡的數(shù)據(jù)，從整體成本來看，10GBase-T采用雙絞線銅纜的方案有較大的價格優(yōu)勢，但從功耗上來看相對較大，以上功耗數(shù)據(jù)主要基于10GBase-T最大長度可以支持100m的距離，如果基于數(shù)據(jù)中心30m以下的長度，功耗可以大幅下降。10GBase-T銅纜分為屏蔽與非屏蔽兩種結(jié)構(gòu)，相比較非屏蔽，采用STP屏蔽線纜具有良好的NEXT與ANEXT的性能，將會大幅減少網(wǎng)卡DSP芯片的實際功率，采用STP的電纜相比較UTP非屏蔽系統(tǒng)可以節(jié)約1.5W左右的功耗。針對數(shù)據(jù)中心解決方案，IEEE 802.3az標準化組織正在開發(fā)新一代節(jié)能型的10GBase-T方案，功耗將會進一步降低。而10GBase-SR采用多模光纖的方式技術成熟，功率較低，但價格相對更高一些，從當前的應用角度來看，10GBase-SR相對可靠性更高一些。10GBase-SFP++DAC的方式相對性價比不錯，但由于DAC電纜兩端連接器內(nèi)包含芯片，實際應用中與各交換機廠家會有兼容性的問題；且支持的傳輸距離很短，典型長度為7m以下，最長長度不超過15m，管理方面相對不夠便利。

端口功耗降低，對建設一個節(jié)能型的數(shù)據(jù)中心貢獻是相當大的，從數(shù)據(jù)中心整體能耗來看，只要端口下降1W的電能消耗，整體機房可以減少由于端口1W下降所省去的空調(diào)制冷方面的電力損耗，以及配電系統(tǒng)UPS等各個環(huán)節(jié)的配套能耗。根據(jù)美國數(shù)據(jù)中心綠色節(jié)能組織所統(tǒng)計的結(jié)果來看，端口下降1W功耗將帶動整體數(shù)據(jù)中心省下2W～2.8W左右的功耗，這對于動輒達到上萬臺服務器的云計算數(shù)據(jù)中心來說，電費成本的節(jié)約是十分可觀的。

云計算數(shù)據(jù)中心促使端口應用帶寬提升，而支持數(shù)據(jù)傳輸?shù)乃俾试礁?，單位能耗反而越低，如果我們以Power/Gbps的方式來衡量各等級的傳輸方式，傳輸同樣的數(shù)據(jù)量，采用10G方式的單位能耗只相當于1G方式傳輸能耗的1/4。而美國Stanford大學的一個報告同樣也從另一方面反映出了這樣一個現(xiàn)象，如圖4所示。美國Stanford大學在2006年對根據(jù)數(shù)據(jù)中心的市場規(guī)模趨勢作了耗電量的統(tǒng)計，而實際上從2006年～2011年數(shù)據(jù)中心的電能消耗量并沒有達到預測中的那么高，由于云計算數(shù)據(jù)中心近年來采用了大量的虛擬化技術，端口帶寬與利用率增加，對單位數(shù)據(jù)量的電能消耗下降起到了比較大的作用。

圖4

3 云計算數(shù)據(jù)中心采用ToR架構(gòu)對傳統(tǒng)布線的影響

云計算數(shù)據(jù)中心采用更為簡潔的二層網(wǎng)絡架構(gòu)，如圖5所示。為了提高單位機柜對整體數(shù)據(jù)中心的基礎設施的利用率，服務器機柜的單柜密度越來越高，設備端口的布線密度非常高，部分云計算數(shù)據(jù)中心采用定制化的服務器，單柜密度達到了80臺服務器，高密度的服務器機柜普遍采用ToR交換機置頂?shù)募軜?gòu)。相比較傳統(tǒng)的EOR或MOR網(wǎng)絡，ToR的方式有獨特的優(yōu)點，同時也有相應的缺點。從優(yōu)點來看，ToR的機柜內(nèi)去除了布線系統(tǒng)的配線空間，可以提高服務器安裝的密度；布線在機柜內(nèi)全部采用跳線，平均長度很短，減少了網(wǎng)絡的延時，同時也消除了采用EOR方式大量線纜（高密度機柜單柜可達200根線纜）上行HDA對橋架所形成的壓力。顯然易見的缺點是ToR方式造成了交換機端口較多的閑置，形成交換機資源浪費，在增加數(shù)據(jù)中心能耗的同時也增加了設備的維護成本；柜內(nèi)短跳線方式應對后期業(yè)務變化、設備連接模式變更等需求變化缺少彈性；另外即便是即將頒布的數(shù)據(jù)中心相關標準如TIA 942A等均沒有將ToR的方式納入標準范圍。但綜合以上的特點分析后可以發(fā)現(xiàn)，與傳統(tǒng)數(shù)據(jù)中心不同，云計算數(shù)據(jù)中心設備移動、變更較少且更關注密度與低延時的要求，對于規(guī)?；渴鸬脑朴嬎銛?shù)據(jù)中心來說，ToR優(yōu)點帶來的好處遠大于缺點所造成的負面影響。

圖5

ToR的方式在云計算數(shù)據(jù)中心的大量應用已經(jīng)在實質(zhì)上影響了布線系統(tǒng)，相關國際國內(nèi)布線標準中所規(guī)定的HDA水平配線區(qū)實際上在ToR的架構(gòu)中已經(jīng)不再存在，水平配線架與水平線纜已經(jīng)被省去，取而代之的是短距離的機柜內(nèi)的光纖或銅纜的跳線。由于每個服務器機柜的置頂交換機都需要上行光纜到MDA主配線區(qū)域，服務器上升到10G后，勢必要求主干具有40G/100G的升級能力，這個趨勢會導致主干布線被大量的MTP/MPO小芯數(shù)預連接光纜（如12芯，24芯）所替代，使主干路由光纜數(shù)量、主干橋架路由的壓力大大增加。從這一方面來看，在云計算數(shù)據(jù)中心采用ToR架構(gòu)，使得布線系統(tǒng)光纖應用量在增加，而銅纜的應用總量在縮減。

4 云計算數(shù)據(jù)中心機柜產(chǎn)業(yè)化對布線系統(tǒng)的影響

云計算數(shù)據(jù)中心應對云的服務通常基于通過互連網(wǎng)提供服務，用戶需求的快速增長，有時無法進行精確的預測。為應對快速的用戶增長的計算需求，要求云計算數(shù)據(jù)中心的新建具有快速的響應與部署能力，而傳統(tǒng)數(shù)據(jù)中心從規(guī)劃建設到正式啟用的周期至少要用一到兩年?；谠品盏臄?shù)據(jù)中心無法忍受如此長的周期，許多云數(shù)據(jù)中心直接租用第三方建設的數(shù)據(jù)中心基礎設施，而IT設備安裝可以實現(xiàn)快速的實施，我們提到云計算數(shù)據(jù)中心普遍采用ToR的網(wǎng)絡架構(gòu)使得數(shù)據(jù)中心中的每一個服務器機柜內(nèi)部的IT設備都具有較為統(tǒng)一的屬性，如圖6所示，使得對整體數(shù)據(jù)中心以機柜為單位的產(chǎn)業(yè)化有了基礎，而快速實施、快速啟用是云計算數(shù)據(jù)中心的一項重要需求，這些方面都促使云計算數(shù)據(jù)中心向產(chǎn)業(yè)化方向發(fā)展。我們這里指的云計算數(shù)據(jù)中心機柜產(chǎn)業(yè)化是指數(shù)據(jù)中心標準機柜含IT設備以工廠生產(chǎn)類似流水線的統(tǒng)一作業(yè)方式所完成整體機柜的安裝并以機柜為單位交付。也就是說用戶現(xiàn)場安裝時，只需要快速安裝服務器機柜與主配線區(qū)域MDA與核心交換機端的主干布線相連接，服務器機柜內(nèi)包括置頂交換機以及連接機柜內(nèi)交換機與服務器的布線系統(tǒng)已經(jīng)在工廠全部預安裝完成，這種快速的安裝與啟用的產(chǎn)業(yè)化方案，可以滿足云計算數(shù)據(jù)中心對數(shù)據(jù)中心建設周期的挑戰(zhàn)。

圖6

機柜采用產(chǎn)業(yè)化的方式部署促使數(shù)據(jù)中心現(xiàn)場安裝周期大大縮短。舉個例子：以500個機柜規(guī)模的數(shù)據(jù)中心從IT設備的安裝與調(diào)試、布線系統(tǒng)的安裝與標識及管理文檔資料的提交等工作可以在兩周的時間完成全部內(nèi)容，這是傳統(tǒng)數(shù)據(jù)中心建設所不可能完成的任務。

另一方面，由于數(shù)據(jù)中心產(chǎn)業(yè)化后采用機柜為單位，機柜內(nèi)的設備之間連接的布線系統(tǒng)將由數(shù)據(jù)中心機柜提供方在工廠內(nèi)統(tǒng)一組裝，這樣導致部分布線產(chǎn)品供應鏈產(chǎn)生一定的變化，由原先直接工程招投標的性質(zhì)變成產(chǎn)業(yè)化機柜代工廠制訂標準進行工廠化采購，這種方式將導致品牌布線廠家在機柜內(nèi)的布線系統(tǒng)中發(fā)揮越來越少的作用，而機柜間的主干布線系統(tǒng)的安裝將更多的依賴于預連接光纜系統(tǒng)，這是因為預連接系統(tǒng)同樣可以發(fā)揮快速安裝的能力且支持40G/100G的擴容，符合整體機房快速啟用的整體目標。當然云計算數(shù)據(jù)中心的建設并不會全部采用機柜產(chǎn)業(yè)化的方式，這是云數(shù)據(jù)中心為滿足快速建設要求的其中一個發(fā)展方向，目前還未達到主流。

5 云計算數(shù)據(jù)中心采用新布線架構(gòu)的應用思考

綜合布線系統(tǒng)標準產(chǎn)生最初功能是基于兩方面的思考：一方面充當IT設備間的高速數(shù)據(jù)傳輸?shù)慕橘|(zhì)；另外一方面是具有對整體系統(tǒng)起到物理管理的作用。當ToR的方式成為云計算數(shù)據(jù)中心高密度布線的主流方案時，在實際的應用中，布線的管理功能已經(jīng)被弱化，不能很好地體現(xiàn)布線系統(tǒng)標準中規(guī)定的管理要求。在實際云計算數(shù)據(jù)中心的布線方案中，基于ToR的布線系統(tǒng)也可以進行適當?shù)纳壸兓?，以滿足新的IT環(huán)境的需要。布線系統(tǒng)結(jié)構(gòu)變化是建立在保證方便管理+充當高效傳輸介質(zhì)的基本功能的基礎上。布線模型基于ToR的架構(gòu)上采用新的布線方案，我們可以稱為ToR+EOR的融合方案，如圖7所示。

布線采用新的ToR+EOR的融合方案相比較單純的ToR架構(gòu)，每一列增加了HDA+EDA的區(qū)域，此區(qū)域的設置將大大增加布線方案的靈活性。從MDA到HDA的主干可以設計大芯數(shù)的預連接光纜如48芯、72芯或144芯，一方面有利于提高安裝效率，同時大芯數(shù)高密度預連接光纜能減少主干橋架壓力，可以使單位主干橋架截面承載更高密度與更大范圍的數(shù)據(jù)中心規(guī)模。另一方面HDA+EDA區(qū)域可以對主干預連接端口設置一部分冗余，后續(xù)各個服務器機柜可以采用LC跳線或MTP跳線到各個置頂交換機上行端口，這樣的好處是后續(xù)如任何服務器機柜有擴容或故障替換，可以對每列進行維護與管理，無需從MDA開始進行長距離替換主干或主干擴容，不僅管理便利，且無需經(jīng)常打擾主干鏈路，維護管理相對安全。圖8將單純采用ToR的方案與ToR+EOR融合新布線方案的總體比較，可以參考。

可以看出ToR+EOR的融合方案產(chǎn)生的優(yōu)勢遠大于普通ToR的布線結(jié)構(gòu)，且成本的變化很小，對于整體數(shù)據(jù)中心建設來看，用戶基本可以忽略這一部分成本上的變化，因為融合方案所帶來的長期價值遠大于初期非常小的支出。

圖7

圖8

6 結(jié)束語

近年來云計算受到行業(yè)的大量關注并促使了云計算應用的快速發(fā)展，基于云的服務與應用模式有了新的創(chuàng)新。而支持云業(yè)務快速增長的背后是云計算數(shù)據(jù)中心的大量啟用。云計算數(shù)據(jù)中心采用虛擬化技術后，大大促進了數(shù)據(jù)中心的資源利用率，大流量穩(wěn)定可靠的數(shù)據(jù)通信也是基于設備端口帶寬的不斷提升10G應用到服務器端口，40G/100G部署到主干的應用的網(wǎng)絡發(fā)展脈絡已經(jīng)十分清晰，同時也促進布線系統(tǒng)以MTP預連接光纖系統(tǒng)的需求大幅度增長。而端口采用更高以太網(wǎng)協(xié)議的另一個好處是使單位數(shù)據(jù)傳輸能耗下降，符合建設綠色節(jié)能型數(shù)據(jù)中心發(fā)展的大趨勢。云計算數(shù)據(jù)中心大量采用ToR的架構(gòu)有利于數(shù)據(jù)中心產(chǎn)業(yè)化方向的發(fā)展，同時也改變部分布線系統(tǒng)結(jié)構(gòu)與產(chǎn)業(yè)供應鏈，產(chǎn)業(yè)化的數(shù)據(jù)中心模式大幅縮短數(shù)據(jù)中心建設周期，與云計算數(shù)據(jù)中心業(yè)務快速增長的需求相協(xié)調(diào)。針對于云計算數(shù)據(jù)中心的布線技術標準相對滯后，EOR+ToR的新布線架構(gòu)的產(chǎn)生與應用，在具備數(shù)據(jù)中心產(chǎn)業(yè)化的同時完善了單純采用ToR架構(gòu)相對布線系統(tǒng)管理功能的不足，使其與布線標準中所倡導的結(jié)構(gòu)化布線要求更加吻合?？傊朴嬎銛?shù)據(jù)中心的快速發(fā)展與應用從各個方面來看，已經(jīng)對布線行業(yè)產(chǎn)生了影響，同時也導致布線行業(yè)分工的進一步細化。