云數(shù)據(jù)中心大二層網(wǎng)絡(luò)技術(shù)研究

文/宋文文 李莉

新一代數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)邏輯結(jié)構(gòu)的特點是“大二層結(jié)構(gòu)”。所謂“大二層”是指所有VLAN都可以延展到所有匯聚層、接入層交換機的VLAN結(jié)構(gòu)，這與傳統(tǒng)數(shù)據(jù)中心VLAN往往終結(jié)在接入層交換機的做法不同。大二層網(wǎng)絡(luò)結(jié)構(gòu)的需求是由如下原因決定的：

1.服務(wù)器虛擬化的要求：所有主流服務(wù)器虛擬化技術(shù)都能夠?qū)崿F(xiàn)不同程度的虛機在線遷移，而虛機遷移前后其MAC/IP地址等不變，決定了其遷移的源和目的應(yīng)在同一個VLAN；

2.網(wǎng)絡(luò)業(yè)務(wù)整合的需要：新一代數(shù)據(jù)中心網(wǎng)絡(luò)要求比傳統(tǒng)網(wǎng)絡(luò)更高的業(yè)務(wù)承載能力，各種應(yīng)用（比如Oracle RAC等）等都需要純二層網(wǎng)絡(luò)來提供其業(yè)務(wù)所需的低延遲、高吞吐、MAC層直接交換的網(wǎng)絡(luò)環(huán)境；

3.智能業(yè)務(wù)整合、集中部署的需求：為面向范圍更廣的接入層提供智能服務(wù)資源池，智能服務(wù)被要求集中化部署，這就需要有智能服務(wù)要求的VLAN都能延展到智能服務(wù)設(shè)施所在的匯聚層。

隨著應(yīng)用的數(shù)量迅猛增加，二層網(wǎng)絡(luò)的擴展造成傳統(tǒng)二層技術(shù)在鏈路冗余能力、負載均衡能力、可擴展性和網(wǎng)絡(luò)穩(wěn)定性上面的諸多問題，下面以某高校為例討論如何構(gòu)造一個可擴展的大二層網(wǎng)絡(luò)。

大二層網(wǎng)絡(luò)設(shè)計技術(shù)

跨機箱的端口捆綁（VPC）

由于傳統(tǒng)二層網(wǎng)絡(luò)依靠生成樹（或生成樹的改進協(xié)議，如快速生成樹、MSTP等）來實現(xiàn)冗余鏈路的負載均衡和故障切換，不僅設(shè)計復(fù)雜、建設(shè)維護管理難度大，而且鏈路負載不均、故障收斂慢且穩(wěn)定性差。一種摒棄生成樹的設(shè)計就是跨機箱實現(xiàn)以太網(wǎng)端口捆綁，如圖1所示：

這樣設(shè)計之后，向任何一對冗余的物理機箱的連接都可看成是連向一個邏輯設(shè)備，多條冗余的鏈路可被捆綁為一條邏輯鏈路，邏輯鏈路內(nèi)各物理鏈路可負載均衡和高效能故障切換。進行跨機箱的端口捆綁要注意如下設(shè)計：

雙活故障逃生：跨機箱端口捆綁機制的潛在風(fēng)險是一旦核心機箱間通信故障或軟件Bug，則會造成控制平面雙活，對不同跨機箱端口捆綁機制，雙活造成的影響不同，對于控制平面合并類型的機制，雙活會造成所有端口停止轉(zhuǎn)發(fā)的崩潰性后果；而對于雙機箱控制平面獨立的機制，則雙活只會造成配置同步的暫時中斷，不影響當(dāng)前的數(shù)據(jù)轉(zhuǎn)發(fā)。因此核心主干和接入交換機都應(yīng)當(dāng)選擇雙控制平面獨立的機制。

對外端口捆綁協(xié)議兼容性：跨機箱的端口捆綁，捆綁協(xié)議本身應(yīng)采用開放的IEEE 802.3ad，這樣使被上連的設(shè)備感覺不到正在上連雙設(shè)備，而是感覺與一個設(shè)備進行多鏈路捆綁連接一樣。這樣的設(shè)計可提供更開放的互連擴展性。

跨機箱數(shù)量：跨機箱端口捆綁一般是在兩個機箱實現(xiàn)，當(dāng)對超過兩個的多機箱進行端口捆綁時，由于雙活甚至多活的幾率大增、多機箱間的協(xié)議和配置同步難度加大，系統(tǒng)會變得非常不穩(wěn)定，不適于在數(shù)據(jù)中心核心主干使用。如果要通過兩個以上的機箱的平行擴展提高主干的容量，應(yīng)采用其他高擴展性技術(shù)。

圖1 跨機箱的端口捆綁

二層多路徑（L2MP）

二層多路徑（L2MP）技術(shù)是將網(wǎng)絡(luò)層路由技術(shù)的高擴展性、冗余性、負載均衡能力和策略性等優(yōu)勢移植到以太網(wǎng)MAC層實現(xiàn)的技術(shù)，好比是為鏈路層提供了與網(wǎng)絡(luò)層一樣的高級路由能力。由于L2MP技術(shù)基于已經(jīng)成熟的路由協(xié)議技術(shù)，具備更強的拓撲適應(yīng)性、更簡單的設(shè)置和管理（幾乎即插即用）、更開放架構(gòu)（IETF TRILL標(biāo)準(zhǔn)化），因此正在成為跨機箱捆綁機制的替代技術(shù)。

表1 跨機箱的端口捆綁技術(shù)和二層多路徑技術(shù)對比

交換機虛擬集群技術(shù)

經(jīng)過柜頂交換機連接的服務(wù)器連同機柜已經(jīng)形成一個完整的接入模塊，若干模塊可形成一個接入群組“POD”，這種接入方式易于升級、擴展，便于排錯管理

部分高端數(shù)據(jù)中心廠商已經(jīng)推出了數(shù)據(jù)中心核心/匯聚交換機與柜頂接入交換機虛擬化集群的技術(shù)，通過這種集群技術(shù)，所有柜頂交換機完全成為核心/匯聚交換機的遠端板卡，整體將被看成一個完整的、高端口密度的交換機。整個數(shù)據(jù)中心工作起來象一個交換機一樣，因此不失為一種精簡架構(gòu)的大二層解決方案。但這種解決方案也有其一些問題，如：

接入層平面化：所有接入完全平面化，沒有層次化過載比設(shè)計，因而除非整個數(shù)據(jù)中心POD內(nèi)和POD之間的交換吞吐量基本沒有差異，否則就會導(dǎo)致有的部分效率低、有的部分性能不足的問題；

專有技術(shù)擴展受限：交換矩陣擴展是專有技術(shù)，在POD內(nèi)使用不會影響擴展性，而全數(shù)據(jù)中心用一種專有技術(shù)，其擴展性和擴展規(guī)模將受限；

存儲網(wǎng)絡(luò)方案無平滑過渡：不僅數(shù)據(jù)部分平面化，而且存儲的設(shè)計也隨之平面化，現(xiàn)有的矩陣擴展技術(shù)還不能解決在柜頂端提供傳統(tǒng)SAN接入交換的技術(shù)，必須采用FCoE Multi-hop或者另起單獨的存儲網(wǎng)絡(luò)來實現(xiàn)存儲互連。如果全數(shù)據(jù)中心都采用這種技術(shù)，則存儲的設(shè)計將只能在最新的FCoE Multi-hop和最傳統(tǒng)的單獨SAN網(wǎng)絡(luò)之間選擇，沒有二者共存、平滑過渡的選擇。

因此虛擬集群的模式雖然好，但存在實際部署的問題，因此它可用來在局部POD內(nèi)部署，或解決數(shù)據(jù)中心少數(shù)規(guī)模限度可預(yù)測、需極度精簡化的POD部署需求。

圖2 某高校數(shù)據(jù)中心大二層設(shè)計圖

某高校數(shù)據(jù)中心大二層設(shè)計

根據(jù)以上分析，各類解決方案都有其適用的范圍和獨特優(yōu)勢，一個大型的數(shù)據(jù)中心不可能只使用一種方法完成大二層部署，下面以某高校為例來說明技術(shù)選型原則：

網(wǎng)絡(luò)架構(gòu)設(shè)計

數(shù)據(jù)中心網(wǎng)絡(luò)采用核心+接入兩層網(wǎng)絡(luò)架構(gòu)，核心采用兩臺高性能交換機，接入層采用支持L2MP數(shù)據(jù)中心交換機構(gòu)建的虛擬交換集群作為虛擬化數(shù)據(jù)中心接入網(wǎng)絡(luò)。

數(shù)據(jù)中心網(wǎng)絡(luò)核心的兩臺交換機通過兩條或多條萬兆互聯(lián)，提高核心網(wǎng)絡(luò)的可用性；網(wǎng)絡(luò)核心與以太網(wǎng)通過4條萬兆鏈路進行全網(wǎng)狀互聯(lián)，并利用鏈路聚合技術(shù)將與虛擬交換集群互聯(lián)的4條萬兆鏈路進行匯聚；將4條萬兆鏈路匯聚后上聯(lián)至校園網(wǎng)核心，此時4條萬兆鏈路轉(zhuǎn)化成為邏輯上的一條40G的互聯(lián)鏈路。

網(wǎng)絡(luò)拓撲設(shè)計

不同的拓撲結(jié)構(gòu)針對不同的應(yīng)用場景有其特殊的意義。雖然兩級網(wǎng)絡(luò)架構(gòu)在物理上看是由匯聚層和接入層兩級設(shè)備構(gòu)成的，但是在邏輯上卻是一張扁平化的大二層網(wǎng)絡(luò)，在這個扁平化的大二層網(wǎng)絡(luò)中不會再出現(xiàn)傳統(tǒng)以太網(wǎng)中遇到的環(huán)路產(chǎn)生的各種問題。

具體部署兩臺三層交換機構(gòu)建第一級網(wǎng)絡(luò)，兩臺交換機之間通過四條或者八條萬兆鏈路形成橫向互聯(lián)，增強匯聚層網(wǎng)絡(luò)的可用性。

其重要功能包括：

1. 用于匯聚來自第二級交換機；

2.用于通過多條萬兆鏈路與網(wǎng)絡(luò)核心設(shè)備互聯(lián)；

3.用于將數(shù)據(jù)中心虛擬化網(wǎng)絡(luò)擴展至異地數(shù)據(jù)中心；

4.用于在一級部署使用萬兆接口的服務(wù)器及FCoE存儲設(shè)備；

5.用于將原有光纖通道鏈路將原有的SAN存儲整合進虛擬化網(wǎng)絡(luò)平臺。

第二級網(wǎng)絡(luò)支持L2MP的接入交換機成，按照架頂式部署，其主要功能為向PC 服務(wù)器提供千兆接入或萬兆以太網(wǎng)端口接入，每臺交換機通過兩條萬兆鏈路分別連至兩臺一級交換機，提高網(wǎng)絡(luò)的冗余和可用性；其中每臺接入交換機可以支持48個線速千兆以太網(wǎng)端口及4個線速萬兆以太網(wǎng)端口，主要負責(zé)為中低端PC服務(wù)器提供接入。

存儲網(wǎng)絡(luò)的設(shè)計

通過將現(xiàn)有的FCoE存儲接入數(shù)據(jù)中心，利用多跳的FCoE技術(shù)，使FCoE很容易的延伸到校園網(wǎng)的任何地點。傳統(tǒng)的FC交換機可以轉(zhuǎn)換成FCoE以滿足這種可擴展性，從而可以根據(jù)實際的情況靈活部署。

擴展性考慮

數(shù)據(jù)中心的設(shè)計可以支持即插即用的擴展能力，在未來服務(wù)器增加的情況下，很容易的做到多設(shè)備的接入。

虛擬化環(huán)境下，虛機的自動漂移極大的提高了IT資源的動態(tài)分配與應(yīng)用服務(wù)的高可用性，當(dāng)虛機漂移時，虛擬交換集群能夠自動感知虛機，并將于該虛機關(guān)聯(lián)的各種屬性自動應(yīng)用到交換機新的物理端口上。

虛擬集群交換技術(shù)在滿足各項豐富應(yīng)用特性的同時，邏輯機箱特性大大簡化了IT基礎(chǔ)設(shè)施的管理難度，當(dāng)應(yīng)用規(guī)模變得越來越大，虛擬交換集群也隨之?dāng)U大的同時，整個存儲網(wǎng)絡(luò)仍然是作為一臺交換機來管理，大大降低了管理成本。

大二層技術(shù)應(yīng)用總結(jié)

1.在核心/匯聚到個接入層設(shè)備之間采用L2MP：由于L2MP具備極強的擴展性和拓撲適應(yīng)性，管理又相對簡單、即插即用，路由協(xié)議為基礎(chǔ)的冗余和負載均衡方法是經(jīng)過考驗的穩(wěn)定方式，因此是用于網(wǎng)絡(luò)主干技術(shù)的最佳選擇；

2.邊緣采用跨機箱端口捆綁：由于服務(wù)器端、外接智能服務(wù)設(shè)備（防火墻、負載均衡設(shè)備等）大部分支持標(biāo)準(zhǔn)化的IEEE 802.3ad端口捆綁，因此對這些設(shè)備的接入適于使用跨機箱端口捆綁技術(shù)；

3.在POD內(nèi)使用交換機集群：交換機集群技術(shù)缺乏層次化、技術(shù)專有性強，不適于全數(shù)據(jù)中心部署，但其精簡化為單一管理節(jié)點的方式對層次化要求單一的POD內(nèi)部署則具備極大的優(yōu)勢，因此在POD內(nèi)進行集群化部署。該技術(shù)也可對需極度精簡化、又不需層次化設(shè)計的多個POD進行部署，將這些POD的所有交換機集群為單一邏輯交換機。

隨著數(shù)據(jù)中心內(nèi)虛擬化應(yīng)用的不斷擴張，底層的數(shù)據(jù)行為也在悄然發(fā)生改變，帶動了基礎(chǔ)架構(gòu)的演進。云數(shù)據(jù)中心不僅需要高密度、大容量網(wǎng)絡(luò)設(shè)備，還需要合適的技術(shù)才能夠滿足大數(shù)據(jù)量行為的變化，并反過來提供經(jīng)過優(yōu)化的網(wǎng)絡(luò)平臺，這種從量到質(zhì)的變化將深刻影響數(shù)據(jù)中心技術(shù)的發(fā)展。

數(shù)據(jù)中心不再需要運行生成樹協(xié)議（STP），不會阻斷鏈路，從而大大提升了數(shù)據(jù)中心的橫向網(wǎng)絡(luò)帶寬，很好地支持了服務(wù)器之間迅猛增加的橫向流量，使得二層網(wǎng)絡(luò)得到平滑擴展。