虛擬化平臺下二層網(wǎng)絡(luò)問題研究

（中國移動通信集團(tuán)廣西有限公司，南寧 530028）

虛擬化平臺下二層網(wǎng)絡(luò)問題研究

莫彬彬，蔡寧，陳卓

（中國移動通信集團(tuán)廣西有限公司，南寧 530028）

隨著虛擬化技術(shù)的引入，在單臺服務(wù)器上虛擬出多個VM，無可避免的會造成網(wǎng)絡(luò)層次增加，并由此引發(fā)出路由環(huán)路，廣播風(fēng)暴，單點故障，網(wǎng)絡(luò)延遲，布線雜亂等各種問題。本文根據(jù)虛擬化平臺建設(shè)過程中的一些經(jīng)驗，總結(jié)了虛擬化平臺下網(wǎng)絡(luò)架構(gòu)需要注意的事項，并結(jié)合業(yè)界最新的技術(shù)趨勢，探索虛擬化平臺下網(wǎng)絡(luò)的構(gòu)想。

虛擬化平臺；二層網(wǎng)絡(luò)；刀片機(jī)；STP

1 問題的提出

2012年3月，某運營商在實施云平臺虛擬機(jī)項目的過程中，由于數(shù)據(jù)配置錯誤，在將刀片機(jī)集群網(wǎng)線接入上聯(lián)匯聚交換機(jī)時，引起交換機(jī)路由環(huán)路，最終造成匯聚交換機(jī)下掛的綜合監(jiān)控平臺、資源管理平臺等系統(tǒng)大面積退服的重大事故。造成該事故的原因是匯聚交換機(jī)未按規(guī)范將沒有用到的端口關(guān)閉，并且VLAN號采用的是默認(rèn)VLAN，而不是根據(jù)應(yīng)用區(qū)隔設(shè)置的專有VLAN，刀片集群的網(wǎng)口接入后，也沒有按規(guī)范要求打上VLAN標(biāo)簽，當(dāng)連接第2根網(wǎng)線進(jìn)入?yún)R聚交換機(jī)時，由于同在默認(rèn)的VLAN上，產(chǎn)生了交換機(jī)環(huán)路，并由此引發(fā)匯聚交換機(jī)CPU過載，無法響應(yīng)請求。維護(hù)人員將故障端口隔離后故障解決。故障已經(jīng)得到了處理，但帶來的問題值得思考，發(fā)生故障的匯聚交換機(jī)已投入使用多年，下掛的業(yè)務(wù)眾多，期間也經(jīng)歷過多個工程的新增接入業(yè)務(wù)，一直正常穩(wěn)定運行，正常情況下，現(xiàn)網(wǎng)的交換機(jī)都應(yīng)具有一定的容錯能力，本次操作僅僅是一根網(wǎng)線的接入就引起重大故障，其中的原因需要仔細(xì)分析。

2 原因分析及解決思路

2.1 組網(wǎng)結(jié)構(gòu)

本次項目的網(wǎng)絡(luò)拓?fù)鋱D如圖1所示。

圖1 網(wǎng)絡(luò)連接示意圖

其中直接接入9312交換機(jī)的是本次新增設(shè)備IBM刀片機(jī)，主要結(jié)構(gòu)分為3個部分，刀片機(jī)、刀箱和模塊，刀片機(jī)無法單獨使用，必須刀片框組合使用，刀片框本身不帶業(yè)務(wù)功能，必須配置相應(yīng)的模塊，如交換機(jī)模塊、SAN模塊等，以實現(xiàn)網(wǎng)絡(luò)與存儲接入，本次刀框服務(wù)器配置兩個交換機(jī)模塊，如圖2所示。

圖2 刀片機(jī)內(nèi)部結(jié)構(gòu)

刀片機(jī)框背板嵌入了一個交換機(jī)，集群后實際上相當(dāng)于交換機(jī)級聯(lián)，將圖1與圖2組合后，可以看出邏輯上該項目網(wǎng)絡(luò)拓?fù)淙鐖D3右下部分所示，與傳統(tǒng)(虛線框下) 三層網(wǎng)絡(luò)架構(gòu)相比，基于刀片機(jī)的網(wǎng)絡(luò)架構(gòu)變成了四層，在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)中，是扁平化的網(wǎng)絡(luò)，利用性能強(qiáng)大的匯聚交換機(jī)，將其掛載的主機(jī)都放置在同一網(wǎng)絡(luò)平面下。但在虛擬機(jī)中，引入的新的網(wǎng)絡(luò)層次，沒有多層次網(wǎng)絡(luò)做有針對性的配置，是引發(fā)故障的重要原因。

圖3 展開后網(wǎng)絡(luò)邏輯架構(gòu)

2.2 網(wǎng)絡(luò)環(huán)路與廣播風(fēng)暴

網(wǎng)絡(luò)環(huán)路分為二層環(huán)路和三層環(huán)路兩種，本次主要討論的是二層環(huán)路。用戶構(gòu)建網(wǎng)絡(luò)時，為了保證可靠性，通常會采用冗余設(shè)備和冗余鏈路，這樣就不可避免的形成環(huán)路。而二層網(wǎng)絡(luò)處于同一個廣播域下，廣播報文在環(huán)路中會反復(fù)持續(xù)傳送，形成廣播風(fēng)暴，瞬間即可導(dǎo)致端口阻塞和設(shè)備癱瘓。

一個常見的場景，兩臺SW間通過“口”字形互聯(lián)，分別命名為SW1和SW2，用戶終端命名為PC1，PC2，分別接入SW1和SW2中，PC間需要相互通信。SW1和SW2之間存在兩條鏈路，現(xiàn)假設(shè)SW1的F0/1口收到來自PC1的一個廣播分組，根據(jù)廣播協(xié)議，SW將這個廣播分組通過F0/2，F(xiàn)0/3向SW2的F0/2、F0/3口發(fā)送，同時，SW2收到廣播分組后也會依據(jù)規(guī)則向SW1的F0/2、F0/3發(fā)送廣播分組，以此往復(fù)就形成了一個惡性的死循環(huán)，造成交換機(jī)資源耗盡，無法對外提供服務(wù)。

2.3 解決思路1：啟用生成樹協(xié)議

為防止形成環(huán)路和廣播風(fēng)暴，又要保證可靠性，就只能將冗余設(shè)備和冗余鏈路變成備份設(shè)備和備份鏈路。即冗余的設(shè)備端口和鏈路在正常情況下被阻塞掉，不參與數(shù)據(jù)報文的轉(zhuǎn)發(fā)。只有當(dāng)前轉(zhuǎn)發(fā)的設(shè)備、端口、鏈路出現(xiàn)故障，導(dǎo)致網(wǎng)絡(luò)不通的時候，冗余的設(shè)備端口和鏈路才會被打開，使得網(wǎng)絡(luò)能夠恢復(fù)正常。實現(xiàn)這些自動控制功能的就是生成樹協(xié)議（STP，Spanning Tree Protocol)。

在辦公樓綜合布線網(wǎng)絡(luò)中，核心機(jī)房有核心交換機(jī)，樓層弱電間有匯聚交換機(jī)，樓層內(nèi)部還有Hub、無線AP等接入設(shè)備，可能存在四到五層的網(wǎng)絡(luò)，為防止網(wǎng)絡(luò)風(fēng)暴，通常會啟用STP，它在一個有多條鏈路多個交換機(jī)組成的網(wǎng)狀網(wǎng)絡(luò)內(nèi)部創(chuàng)建一顆生成樹，阻塞掉那些不屬于樹的鏈路，使得任意兩個網(wǎng)絡(luò)節(jié)點之間僅有一條活動的路徑，在發(fā)現(xiàn)主用通信鏈路失效時，可以自動將通信切換到備份鏈路上，從而有效的保證網(wǎng)絡(luò)穩(wěn)定運行。STP在辦公網(wǎng)絡(luò)環(huán)境中得到了較好的應(yīng)用，主要是由于辦公網(wǎng)絡(luò)規(guī)模不大，數(shù)據(jù)量相對較小，對于穩(wěn)定性的要求相對不高，能忍受秒級的故障切換時間。但在數(shù)據(jù)中心網(wǎng)絡(luò)中，STP的啟用還是存在一些問題，主要考慮以下幾點原因。

（1）STP收斂時間過長。STP采用選舉算法，根據(jù)網(wǎng)絡(luò)規(guī)模大小的不同，整個拓?fù)涞氖諗繒r間約在30～50 s之間，在核心機(jī)房的關(guān)鍵應(yīng)用中，秒級的故障恢復(fù)時間是不可接受的。

（2）鏈路引起拓?fù)渥兓瘡?fù)雜。STP中沒有分域的概念，網(wǎng)絡(luò)中用戶設(shè)備的增加或減少，甚至一根網(wǎng)線的接入，都有可能引起全局不必要的波動，甚至造成跟交換機(jī)的重新選舉，造成網(wǎng)絡(luò)通信中斷。

（3）STP降低網(wǎng)絡(luò)利用率。STP將冗余鏈路作為備用電路，對于被阻塞端口，只有在處于轉(zhuǎn)發(fā)狀態(tài)的端口及鏈路發(fā)生故障時，才可能被STP加入到二層數(shù)據(jù)幀的轉(zhuǎn)發(fā)樹中。這種機(jī)制造成了帶寬的嚴(yán)重浪費， 以圖4為例，這是一個有全連接拓?fù)潢P(guān)系的網(wǎng)絡(luò)，在接入層以下是主機(jī)與交換機(jī)之間的連接，共有16條鏈路，在接入層與匯聚層之間，由于STP的阻塞，鏈路變成了4條，到了匯聚層與核心層，運行的鏈路變成了兩條，假設(shè)匯聚層以下每條鏈路的流量是10 M，總計160 M流量，匯總到核心層接入時，由于只剩下兩條工作鏈路，每條鏈路要承擔(dān)80 M的流量， 這種缺陷造成網(wǎng)絡(luò)層級越多，越接近樹根的交換機(jī)，端口擁塞越嚴(yán)重，造成的帶寬資源浪費就越可觀。

2.4 解決思路2：將網(wǎng)關(guān)設(shè)置在刀片機(jī)交換模塊上

廣播通信只在本網(wǎng)段內(nèi)進(jìn)行，不能穿越三層網(wǎng)絡(luò)，因此在虛擬機(jī)接入的交換機(jī)上設(shè)置IP網(wǎng)關(guān)，終結(jié)廣播流量，是容易想到的解決方案。但經(jīng)過仔細(xì)分析，三層網(wǎng)關(guān)的方案仍然存在問題。

圖4 STP造成帶寬浪費

2．4．1 三層網(wǎng)絡(luò)過于復(fù)雜，管理難度大

采用三層接入設(shè)備后，只是將復(fù)雜性從二層移到了三層，并沒有解決網(wǎng)絡(luò)層次多的問題。首先三層接入設(shè)備會產(chǎn)生大量的三層網(wǎng)關(guān)，由此而來的IP地址段劃分是一件很復(fù)雜的工作。采用VLSM技術(shù)劃分子網(wǎng)，由于每個子網(wǎng)都有2個網(wǎng)絡(luò)地址和廣播地址不可用，劃分的子網(wǎng)數(shù)量越多，浪費的地址數(shù)量也越多。如果新增一個刀片框就劃分一個地址段，可供分配的地址空間很快就會耗盡。其次，在三層網(wǎng)絡(luò)內(nèi)，動態(tài)路由協(xié)議的行為很難預(yù)測，頻繁的拓?fù)湓摫頃鹫麄€路由重算，引起網(wǎng)絡(luò)抖動。采用靜態(tài)路由，需要維護(hù)一個很大的路由表，如果遇到地址段改動，重新配置的工作量很大，容易出現(xiàn)故障。再加上網(wǎng)絡(luò)中ACL安全策略的改動，讓修改成為幾乎不可完成的工作。

2．4．2 與實施虛擬化的初衷不符

我們實施服務(wù)器虛擬化的目標(biāo)是支持將運行中的虛擬機(jī)平滑從一個主機(jī)遷移到另一個主機(jī)上，而且這個過程中不會出現(xiàn)業(yè)務(wù)中斷。虛擬機(jī)的動態(tài)遷移需要要求在同一個二層網(wǎng)絡(luò)中，且保持網(wǎng)關(guān)與MAC地址不變。二層網(wǎng)絡(luò)規(guī)模有多大，虛擬機(jī)才能遷移多遠(yuǎn)。如果將網(wǎng)關(guān)設(shè)置在虛擬機(jī)接入交換機(jī)上，將導(dǎo)致這個二層網(wǎng)絡(luò)規(guī)模過小，虛擬機(jī)遷移可騰挪的空間就小，這樣也就失去了虛擬化的優(yōu)勢。

2.5 解決思路3：用VLAN縮小廣播域降低影響范圍

VLAN是一種將局域網(wǎng)設(shè)備從邏輯上劃分成一個個網(wǎng)段，從而實現(xiàn)虛擬工作組的數(shù)據(jù)交換技術(shù)。在交換式以太網(wǎng)中，利用VLAN技術(shù)，可以將由交換機(jī)連接成的物理網(wǎng)絡(luò)劃分成多個邏輯子網(wǎng)，使得一個虛擬局域網(wǎng)中的站點所發(fā)送的廣播數(shù)據(jù)包將僅轉(zhuǎn)發(fā)至屬于同一VLAN的站點。利用VLAN劃分，可以縮小廣播域，網(wǎng)絡(luò)縮小后，出現(xiàn)環(huán)路的概率大大降低，并且影響也局限在一定范圍內(nèi)。這也是解決本次故障最終采取的方案。

3 虛擬化帶來的其它挑戰(zhàn)

虛擬化后網(wǎng)絡(luò)層次的增加，還給虛擬化系統(tǒng)的部署帶來其它的挑戰(zhàn)。通過進(jìn)一步的研究，表現(xiàn)在以下幾個方面。

3.1 安全問題

伴隨虛擬化主機(jī)而來的新增網(wǎng)絡(luò)節(jié)點，承載著重要應(yīng)用，卻缺乏保護(hù)措施，容易造成安全風(fēng)險。

3．1．1 虛擬機(jī)的接入仍然存在二層環(huán)路的風(fēng)險

從本文分析可以看出，劃分VLAN后，最終路由環(huán)路的問題并沒有得到解決，只是將出現(xiàn)問題的概率及影響范圍縮小了，因此在部署上線虛擬化主機(jī)時，必須特別注意網(wǎng)絡(luò)上是否存在可能引發(fā)環(huán)路的節(jié)點。有條件時在虛擬機(jī)接入后，抓包分析是否有環(huán)路產(chǎn)生。

3．1．2 虛擬機(jī)之間互訪的流量不受管控

隨著虛擬化規(guī)模的增大，刀片機(jī)內(nèi)部的虛擬機(jī)（以下簡稱VM）也不斷增多，如果VM都在同一個VLAN下，它們之間互訪的流量是不經(jīng)過外部交換機(jī)的，在外部部署的防火墻對VM之間的橫向流量無法監(jiān)控，且無法做隔離。如何判斷VM之間的二層流量交換是規(guī)則允許范圍內(nèi)的合法訪問還是非法訪問，以及是否存在攻擊行為對管理員來說是一個挑戰(zhàn)。在沒有部署虛擬化防火墻之前，這些安全威脅是不受管控的。由于VM共享接入交換機(jī)帶寬的特點，虛擬化平臺出現(xiàn)安全事件后影響的范圍比傳統(tǒng)網(wǎng)絡(luò)更大。如果有VM中了病毒發(fā)出廣播風(fēng)暴，引起交換機(jī)癱瘓，從而導(dǎo)致這個交換機(jī)上掛的應(yīng)用全部癱瘓。虛擬機(jī)的部署需要特別關(guān)注安全問題，入網(wǎng)前進(jìn)行嚴(yán)格的安全掃描，入網(wǎng)后加強(qiáng)準(zhǔn)入控制。

3．1．3 無法針對單個端口部署安全策略

虛擬機(jī)引入后，由于共享接入交換機(jī)帶寬，單個操作系統(tǒng)和網(wǎng)絡(luò)端口之間不再是一一對應(yīng)的關(guān)系，從網(wǎng)管人員的角度來說，原來針對單個端口的策略都無法部署，如果一個虛擬機(jī)感染病毒，它引起的廣播風(fēng)暴很有可能會影響到整個系統(tǒng)，而網(wǎng)管人員由于沒有針對單個虛擬機(jī)的安全策略，只得關(guān)閉整個系統(tǒng)的網(wǎng)卡，造成其它虛擬機(jī)的運行也受到影響。這意味著如果出現(xiàn)單臺VM故障，造成接入交換機(jī)不可訪問，維護(hù)人員是無法遠(yuǎn)程處理的，只能趕到機(jī)房通過刀片框的AMM接入，關(guān)閉問題主機(jī)，這將造成故障處理時限拖長。

如果是刀框虛擬機(jī)，其自帶的交換機(jī)模塊可能會帶有帶外管理的功能，以供交換機(jī)故障的情況下緊急登陸使用，應(yīng)深入研究刀框特性，在有條件的情況下，盡可能配備性能好，功能強(qiáng)的交換機(jī)模塊。

對于服務(wù)器上的虛擬平臺和刀框虛擬機(jī)，可以考慮引入虛擬防火墻與虛擬WAF等安全設(shè)施，需要注意的是這些安全設(shè)施并不是獨立運行，而是與其它虛擬機(jī)爭用服務(wù)器資源。如何平衡也是需要考慮的問題。

3.2 性能問題

由于共享帶寬，虛擬機(jī)存在大數(shù)據(jù)量的應(yīng)用時，有可能會造成接入交換機(jī)資源耗盡，無法提供服務(wù)的現(xiàn)象。因此虛擬機(jī)不適宜做數(shù)據(jù)采集、探針等大數(shù)據(jù)量的應(yīng)用，如有此類應(yīng)用，還是建議采用傳統(tǒng)服務(wù)器。

另外由于網(wǎng)絡(luò)層次增加，接入交換機(jī)背板的處理機(jī)制不清楚，可能會導(dǎo)致網(wǎng)絡(luò)時延等現(xiàn)象，目前HP刀片機(jī)就出現(xiàn)過類似故障，原因未明，猜測與網(wǎng)絡(luò)層次的增加有關(guān)。

在規(guī)劃虛擬機(jī)部署時，要充分考慮到刀片框上配置交換機(jī)模塊的性能，不要超出背板吞吐能力。

3.3 管理問題

傳統(tǒng)維護(hù)模式的分類是根據(jù)設(shè)備類型劃分的，針對不同類型的設(shè)備各司其職，主機(jī)由主機(jī)管理員負(fù)責(zé)，網(wǎng)絡(luò)由網(wǎng)絡(luò)管理員負(fù)責(zé)。但虛擬機(jī)上的交換機(jī)，容易產(chǎn)生“三不管”的地帶，如按照設(shè)備類型劃分，主機(jī)管理員會認(rèn)為模塊邏輯上是一個交換機(jī)，應(yīng)該由網(wǎng)絡(luò)管理員負(fù)責(zé)配置，而網(wǎng)絡(luò)管理員會認(rèn)為交換機(jī)模塊不是獨立的實體，類似主機(jī)上的IP，應(yīng)該由主機(jī)管理員負(fù)責(zé)配置。如涉及VMWARE等在服務(wù)器上部署的虛擬機(jī)，虛擬交換機(jī)是在操作系統(tǒng)中模擬出來的，更沒有實體，虛擬交換機(jī)上的數(shù)據(jù)配置容易產(chǎn)生問題。

4 業(yè)界的解決方案

虛擬化帶來的網(wǎng)絡(luò)問題，追蹤根本原因，是由于協(xié)議不完善引起的，二層網(wǎng)絡(luò)缺乏尋址能力，三層網(wǎng)絡(luò)又過于復(fù)雜，目前各種標(biāo)準(zhǔn)化組織、主流網(wǎng)絡(luò)供應(yīng)商都已經(jīng)關(guān)注到這個問題，在二層與三層之間，對現(xiàn)有網(wǎng)絡(luò)進(jìn)行擴(kuò)展，折中的2.5層解決方案就浮出水面。

大家都知道，在今天的局域網(wǎng)環(huán)境中，以太網(wǎng)和TCP/IP占據(jù)絕對主流的地位。這兩個協(xié)議族的發(fā)布者分別是IEEE與IETF，各自控制二層與三層的網(wǎng)絡(luò)。但針對大二層網(wǎng)絡(luò)的需求，這兩個組織各自提出了自己的標(biāo)準(zhǔn)，IEEE提出了SPB，主要針對以太網(wǎng)幀結(jié)構(gòu)進(jìn)行了擴(kuò)展，理論上，用戶只需升級軟件即部署SPB網(wǎng)絡(luò)，是一種“修補”的解決方案。IETF提出了TRILL，定義了新的幀結(jié)構(gòu)，用戶需要升級采購新的交換機(jī)才能使用，屬于比較激進(jìn)的解決辦法。這兩種方案的目標(biāo)都是在二層網(wǎng)絡(luò)中引入控制平面，實現(xiàn)類似三層IP的路由行為。其中SPB的支持者包括Alcatel-Lucent、華為和HP。TRILL的支持者則有Cisco和VMVARE。同時，有電信運營商背景的ONF也提出了SDN（軟件定義網(wǎng)絡(luò)）的概念，與SPB、TRILL只針對二層缺陷改進(jìn)不同，SDN是一個對現(xiàn)網(wǎng)架構(gòu)進(jìn)行徹底改造的方案。其目標(biāo)是建立一個由網(wǎng)絡(luò)運行商自行控制的可編程的網(wǎng)絡(luò)，實現(xiàn)網(wǎng)絡(luò)的靈活控制，擺脫目前受制于網(wǎng)絡(luò)設(shè)備提供商的環(huán)境。但由于與設(shè)備提供商的利益抵觸，目前進(jìn)展不大。

5 小結(jié)與展望

在當(dāng)前條件下，虛擬機(jī)的部署還沒有完美的解決方案，在項目實施與維護(hù)過程中，必須提高警惕，注意防范環(huán)路及安全風(fēng)險。

IEEE與IETF兩大標(biāo)準(zhǔn)化組織的競爭，讓用戶產(chǎn)生了選擇風(fēng)險，在形式未完全明朗的情況下貿(mào)然做出選擇，容易造成投資浪費。而SDN委員會是由運營商而不是設(shè)備廠商提出來的，更傾向于網(wǎng)絡(luò)使用者的利益，SDN的最終目標(biāo)是讓網(wǎng)絡(luò)設(shè)備像IBM兼容機(jī)一樣，形成開放式的平臺，充分競爭，扭轉(zhuǎn)今天網(wǎng)絡(luò)設(shè)備功能復(fù)雜不適用，且價格昂貴的缺陷。更符合運營商的利益。

Research of level 2 network in virtualized platform

MO Bin-bin, CAI Ning, CHEN Zhuo
(China Mobile Group Guangxi Co., Ltd., Nanning 530028, China)

With the introduction of virtualization technology on a single server virtual multiple VM, will inevitably result in increased network level, and thus lead to a way out of the loop, broadcast storms, single point of failure, network latency, wiring clutter and other problems. Based on the virtualization platform in the process of building some experience, summed up the matter under virtualization platform network architecture should be noted that, combined with the industry's latest technology trends, exploring the idea virtualized platform network.

virtualized platform; level 2 network; blade machine; STP

TN915

A

1008-5599（2014）08-0012-05

2014-03-18

莫彬彬：高級工程師，中國移動通信集團(tuán)廣西有限公司工程管理中心傳輸工程室經(jīng)理，負(fù)責(zé)城域網(wǎng)、二干等工程管理與建設(shè)。蔡 寧：中國移動通信集團(tuán)廣西有限公司信息系統(tǒng)部IT工程項目管理，負(fù)責(zé)BOSS，CRM以及CMNet城域網(wǎng)等項目建設(shè)。陳 卓：中國移動通信集團(tuán)廣西有限公司信息系統(tǒng)部系統(tǒng)項目管理 ，負(fù)責(zé)會議電視、網(wǎng)間流控以及經(jīng)分系統(tǒng)等項目建設(shè)。