云計算中虛擬網(wǎng)絡(luò)服務(wù)的性能測量及運(yùn)營實(shí)踐

劉輝邦， 羅 萱， 黃保青， 金耀輝，

（1．上海交通大學(xué)區(qū)域光纖通信網(wǎng)與新型光通信系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，上海 200240；2．上海交通大學(xué)網(wǎng)絡(luò)信息中心，上海 200240）

1 引 言

云計算已經(jīng)成為當(dāng)下互聯(lián)網(wǎng)的一個很重要的服務(wù)方式，它能夠?yàn)橛脩籼峁┌葱璧挠嬎恪⒕W(wǎng)絡(luò)和存儲資源．云計算可以分為三個層面：軟件即服務(wù)（Software as a Service，SaaS），平臺即服務(wù)（Platform as a Service，PaaS）和基礎(chǔ)設(shè)施即服務(wù)（Infrastructure as a Service，IaaS）．IaaS通過虛擬化技術(shù)以共享資源池的形式為用戶提供計算、存儲和網(wǎng)絡(luò)等IT資源，用戶可以部署、控制和運(yùn)行操作系統(tǒng)和應(yīng)用軟件，并只需按照實(shí)際使用量付費(fèi)，極大地降低了建設(shè)和運(yùn)營成本．

越來越多的企業(yè)將自己的業(yè)務(wù)遷移到云計算平臺之上，對于高校來說，建設(shè)面向校園提供服務(wù)的云平臺也是勢在必行的．由于向云服務(wù)提供商租用云服務(wù)可能需要較多花費(fèi)，越來越多的高校選擇開源軟件技術(shù)搭建屬于自己的IaaS平臺［1］．OpenStack［2］就是目前最為流行的開源云計算平臺，它是一個由社區(qū)開發(fā)推動的開源云計算項目，用于建設(shè)和管理公有／私有云，具有良好的可擴(kuò)展性，現(xiàn)在已被廣泛的應(yīng)用于工業(yè)界．

在OpenStack中，虛擬網(wǎng)絡(luò)服務(wù)是最復(fù)雜的一個服務(wù)［3］．用戶可以在OpenStack中自行創(chuàng)建網(wǎng)絡(luò)、子網(wǎng)、端口、路由器等虛擬部件，它們所起的作用和真實(shí)的物理部件類似．比如，路由器起的是一個路由選擇和轉(zhuǎn)發(fā)的功能；端口起的是連接設(shè)備進(jìn)入網(wǎng)絡(luò)的功能．隨著OpenStack版本不斷的更新，其虛擬網(wǎng)絡(luò)服務(wù)的功能也越來越強(qiáng)大，可以通過不同的方法和技術(shù)來實(shí)現(xiàn)，方法和技術(shù)的不同勢必會造成性能的差異，而虛擬化的存儲資源和計算資源最終都要通過虛擬網(wǎng)絡(luò)為用戶提供服務(wù)，因此．虛擬網(wǎng)絡(luò)的性能是非常值得關(guān)注的一點(diǎn)．

本文針對當(dāng)前OpenStack最新發(fā)行版，對其虛擬網(wǎng)絡(luò)服務(wù)進(jìn)行了介紹，著重對虛擬網(wǎng)絡(luò)服務(wù)不同的實(shí)現(xiàn)方法和技術(shù)進(jìn)行了分析與性能測量［4－6］，并詳細(xì)介紹了上海交通大學(xué)云計算平臺的運(yùn)營實(shí)踐現(xiàn)狀，為高校云計算虛擬網(wǎng)絡(luò)服務(wù)提供了參考．

本文的第二部分主要是OpenStack虛擬網(wǎng)絡(luò)服務(wù)介紹與分析；第三部分是性能測量以及結(jié)果分析；第四部分介紹上海交通大學(xué)云計算平臺運(yùn)營實(shí)踐；第五部分是結(jié)論．

2 OpenStack虛擬網(wǎng)絡(luò)服務(wù)

在OpenStack中有兩種模式來實(shí)現(xiàn)OpenStack虛擬網(wǎng)絡(luò)服務(wù)，分別是Nova－network和Neutron，兩者各有優(yōu)缺點(diǎn)：Nova－network的優(yōu)點(diǎn)是它可以分布式地部署在每個計算節(jié)點(diǎn)上，每個計算節(jié)點(diǎn)可自行提供虛擬網(wǎng)絡(luò)服務(wù)，穩(wěn)定性比較好；而Nova－network的主要缺點(diǎn)就在于支持的插件、技術(shù)太少，比如只支持Linux Bridge這一種虛擬網(wǎng)橋，在網(wǎng)絡(luò)虛擬化技術(shù)上，只支持虛擬局域網(wǎng)（VLAN）技術(shù)．

相對于Nova－network，Neutron在功能上比較強(qiáng)大．在Neutron很重要的一個插件中叫做模塊化二層插件（ML2），它的一個強(qiáng)大的功能就是可以支持不同的網(wǎng)絡(luò)虛擬化技術(shù)像VLAN、通用路由封裝虛擬網(wǎng)絡(luò)（NVGRE）、虛擬可擴(kuò)展局域網(wǎng)（VXLAN）等；同時，它也可以支持多種不同的虛擬網(wǎng)橋，比如像Linux Bridge、OpenvSwitch等等．而Neutron的缺點(diǎn)在于它只能集中地部署在網(wǎng)絡(luò)節(jié)點(diǎn)上，而不能分布式的部署在計算節(jié)點(diǎn)，可擴(kuò)展性差．

OpenStack虛擬網(wǎng)絡(luò)服務(wù)的不斷演變給用戶帶來了云平臺建設(shè)上的更多選擇，但也同時給用戶帶來了困擾．采用不同的方法與技術(shù)來實(shí)現(xiàn)虛擬網(wǎng)絡(luò)服務(wù)，其性能必然會有差異，對于高校來說，如何建設(shè)適合高校的云計算虛擬網(wǎng)絡(luò)服務(wù)是非常重要的．下面我們將從以下三方面對OpenStack虛擬網(wǎng)絡(luò)服務(wù)的不同實(shí)現(xiàn)方法和技術(shù)進(jìn)行具體的分析．

2．1 Nova－network和Neutron

Neutron的功能相對于Nova－network來說更加強(qiáng)大，但是主要的缺是不能在多個計算節(jié)點(diǎn)上進(jìn)行分布式的部署，虛擬機(jī)所有向不同子網(wǎng)和公共網(wǎng)絡(luò)的流量必須要經(jīng)過Neutron網(wǎng)絡(luò)節(jié)點(diǎn)中的路由器進(jìn)行三層轉(zhuǎn)發(fā)，這就會造成網(wǎng)絡(luò)節(jié)點(diǎn)的負(fù)載過大，并且延長了包轉(zhuǎn)發(fā)的路徑．

如圖1，這是一個基于Neutron的OpenStack虛擬網(wǎng)絡(luò)服務(wù)架構(gòu)，虛擬機(jī)1和虛擬機(jī)2屬于同一個計算節(jié)點(diǎn)不同的網(wǎng)絡(luò)．如果虛擬機(jī)1要和虛擬機(jī)2通信的話，就一定要先經(jīng)過Neutron服務(wù)所在的網(wǎng)絡(luò)節(jié)點(diǎn)上的路由器進(jìn)行轉(zhuǎn)發(fā)，之后才返回計算節(jié)點(diǎn)上的虛擬機(jī)2；虛擬機(jī)1和虛擬機(jī)3的通信過程同樣要經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)．而對于基于Nova－network的Open－Stack部署架構(gòu)來說，則并不需要這么麻煩．如圖2所示，Nova－network服務(wù)部署在計算節(jié)點(diǎn)上，虛擬機(jī)1如果要和屬于不同網(wǎng)絡(luò)的虛擬機(jī)2通信的話，直接經(jīng)由計算節(jié)點(diǎn)上的路由器轉(zhuǎn)發(fā)之后，數(shù)據(jù)包就可以到達(dá)虛擬機(jī)2了．

由以上分析可知，Nova－network和Neutron這兩種網(wǎng)絡(luò)模式在三層轉(zhuǎn)發(fā)上的不同必然造成性能上的差異．

圖1 Neutron架構(gòu)

圖2 Nova－Network架構(gòu)

2．2 虛擬網(wǎng)橋

虛擬網(wǎng)橋在OpenStack虛擬網(wǎng)絡(luò)服務(wù)中主要起的是數(shù)據(jù)包的交換功能，相當(dāng)于交換機(jī)，是一個非常重要的部件．OpenStack中有兩種虛擬網(wǎng)橋可供選擇，分別是Linux Bridge和OpenvSwitch，Openvswitch只能在Neutron架構(gòu)下部署．OpenStack在流量安全方面做了很多的控制，包括在虛擬機(jī)與虛擬網(wǎng)橋的接口處做Iptables，在路由器端口做防火墻設(shè)置．而對于OpenvSwitch來說，并不支持在其接口處做Iptables這一功能，而通過Linux bridge是可以實(shí)現(xiàn)這一功能的，但是Linux Bridge又不如OpenvSwitch可以支持NVGRE和VXLAN等網(wǎng)絡(luò)類型．因此，比較常見的虛擬網(wǎng)橋架構(gòu)是單獨(dú)用Linux Bridge或者是Linux Bridge和OpenvSwitch級聯(lián)的模式，如圖3所示．

圖3 虛擬網(wǎng)橋架構(gòu)

Linux Bridge和OpenvSwitch相級聯(lián)的模式雖然可以帶來功能上的增強(qiáng)，但是是否會對性能帶來影響還是未知的，所以這兩種不同的網(wǎng)橋架構(gòu)的性能上的優(yōu)劣是非常值得研究和關(guān)注的一點(diǎn)．

2．3 網(wǎng)絡(luò)虛擬化技術(shù)

OpenStack中采用網(wǎng)絡(luò)虛擬化技術(shù)對不同用戶的網(wǎng)絡(luò)進(jìn)行隔離，可支持的技術(shù)包括VLAN技術(shù)、NVGRE技術(shù)和VXLAN技術(shù)．VLAN技術(shù)將一個局域網(wǎng)從邏輯上劃分為多個不同的網(wǎng)段，從而實(shí)現(xiàn)不同的網(wǎng)段的隔離，每個網(wǎng)段通過VLAN tag來識別．但由于VLAN tag只有12 bit，個數(shù)有限，并不適用于大型的數(shù)據(jù)中心網(wǎng)絡(luò)．因此，業(yè)界提出了兩種基于隧道技術(shù)的解決方案：NVGRE、VXLAN．NVGRE和VXLAN都有24 bit的字段來標(biāo)識不同的租戶網(wǎng)絡(luò)，很好的解決了VLAN個數(shù)的限制．但是，這三種網(wǎng)絡(luò)虛擬化技術(shù)性能上的優(yōu)劣性還是有待實(shí)驗(yàn)來驗(yàn)證的．

3 性能測量

3．1 測試方法與測試工具

基于以上分析，我們搭建了實(shí)驗(yàn)環(huán)境來進(jìn)行具體的測試．在實(shí)驗(yàn)中，我們主要關(guān)注的兩個典型的網(wǎng)絡(luò)性能指標(biāo)：帶寬和時延．為了保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性，本文所有的實(shí)驗(yàn)都是在同一個Open－Stack環(huán)境中進(jìn)行的，搭建OpenStack平臺的三個節(jié)點(diǎn)使用的都是同樣的服務(wù)器與操作系統(tǒng)，相關(guān)的安裝配置也是參照OpenStack Icehouse官方文檔操作的．在OpenStack中創(chuàng)建虛擬機(jī)時，我們統(tǒng)一選擇2 G內(nèi)存、雙核CPU的配額．在實(shí)驗(yàn)中的網(wǎng)絡(luò)環(huán)境都是獨(dú)立的，不受其他因素影響．

3．1．1 帶寬

我們通過在OpenStack創(chuàng)建虛擬機(jī)，然后測試兩臺虛擬機(jī)在萬兆網(wǎng)絡(luò)下最多能夠占用多少帶寬，在測量工具方面，采用Iperf工具來測網(wǎng)絡(luò)帶寬．Iperf是一個被廣泛使用的網(wǎng)絡(luò)性能測試工具，可以測試最大的TCP、UDP帶寬性能，并且可以設(shè)置傳輸?shù)目倳r間，默認(rèn)時間是10 s，在本文實(shí)驗(yàn)中，統(tǒng)一采用的是100 s的傳輸時間．

3．1．2 時延

在時延測試中，我們主要通過發(fā)Ping包來測試包從虛擬機(jī)到另一虛擬機(jī)之間所需要的時間，經(jīng)過多次測試取平均值．

3．2 實(shí)驗(yàn)環(huán)境搭建

本文測試的機(jī)器為英特爾2U4節(jié)點(diǎn)服務(wù)器，內(nèi)存為64 G，CPU為16核，四個節(jié)點(diǎn)的操作系統(tǒng)都是Ubuntu14．04 LTS X86＿64．每個節(jié)點(diǎn)都用了兩個網(wǎng)卡，一個千兆網(wǎng)卡，一個萬兆網(wǎng)卡，其中千兆網(wǎng)卡用于OpenStack管理網(wǎng)絡(luò)，萬兆網(wǎng)卡用于OpenStack虛擬機(jī)之間通信的數(shù)據(jù)網(wǎng)絡(luò)．千兆網(wǎng)卡所連接的交換機(jī)NetGear，萬兆網(wǎng)卡所連接的交換機(jī)為IBM BNT G8124．

在OpenStack中所創(chuàng)建的虛擬機(jī)內(nèi)存配置為2 G，CPU為雙核，操作系統(tǒng)為Ubuntu 12．04．2 LTS X86＿64．

3．3 測量結(jié)果展示與分析

3．3．1 Nova－network和Neutron性能測量

我們分別在Nova－network和Neutron兩種不同模式下對虛擬機(jī)之間的帶寬和時延做測試．在帶寬測試中，我們以一個虛擬機(jī)作為Iperf server，然后另一虛擬機(jī)作為Iperf客戶端向主機(jī)端發(fā)包．一共分以下四種情形：

1）主機(jī)端的虛擬機(jī)和客戶端的虛擬機(jī)在相同網(wǎng)絡(luò)相同計算節(jié)點(diǎn)上；

2）主機(jī)端的虛擬機(jī)和客戶端的虛擬機(jī)在相同網(wǎng)絡(luò)不同計算節(jié)點(diǎn)上；

3）主機(jī)端的虛擬機(jī)和客戶端的虛擬機(jī)在不同網(wǎng)絡(luò)相同計算節(jié)點(diǎn)上；

4）主機(jī)端的虛擬機(jī)和客戶端的虛擬機(jī)在不同網(wǎng)絡(luò)不同計算節(jié)點(diǎn)上．

在時延測試中，我們使用的方法是以一臺虛擬機(jī)作為主機(jī)，然后通過作為客戶端的虛擬機(jī)向主機(jī)發(fā)Ping包．

從圖4、圖5中可以看到，當(dāng)兩虛擬機(jī)在同一網(wǎng)絡(luò)下，Nova－network和Neutron的性能基本是一致的，但是當(dāng)虛擬機(jī)不在同一網(wǎng)絡(luò)下，Nova－network的性能要明顯優(yōu)于Neutron．從以上結(jié)果可知，由于在Neutron模式下，所有屬于不同網(wǎng)絡(luò)的虛擬機(jī)之間的通信數(shù)據(jù)包都要經(jīng)過網(wǎng)絡(luò)節(jié)點(diǎn)，從而造成了網(wǎng)絡(luò)性能的較大下降．

圖4 Nova－network和Neutron帶寬測試

圖5 Nova－network和Neutron時延測試

3．3．2 虛擬網(wǎng)橋性能測試

由于Nova－network不支持OpenvSwitch，因此，只能在Neutron架構(gòu)下分別對Linux Bridge和Linux Bridge級聯(lián)OpenvSwitch這兩種網(wǎng)橋模式下做虛擬機(jī)之間的帶寬和時延測試，兩種網(wǎng)橋模式所連接的虛擬機(jī)都是在相同網(wǎng)絡(luò)相同計算節(jié)點(diǎn)的．同樣也是通過Iperf和Ping來分別測帶寬和時延．由于Linux Bridge只支持VLAN技術(shù)，而不支持NVGRE和VXLAN技術(shù)，所以在這里我們也只能通過VLAN類型的網(wǎng)絡(luò)虛擬化來進(jìn)行測量．

從圖6－7中可以看到，Linux Bridge的性能要優(yōu)于Linux Bridge級聯(lián)OpenvSwitch模式的性能．

圖6 不同虛擬網(wǎng)橋的帶寬測試

圖7 不同虛擬網(wǎng)橋的時延測試

3．3．3 網(wǎng)絡(luò)虛擬化技術(shù)測量

由于Nova－network和Linux Bridge不支持NVGRE和VXLAN技術(shù)，所以只能采用的在Neutron架構(gòu)下，以Linux Bridge級聯(lián)OpenvSwitch作為虛擬網(wǎng)橋，來對三種不同的網(wǎng)絡(luò)虛擬化技術(shù)進(jìn)行性能測量．通過圖8－9可以看到，當(dāng)虛擬機(jī)屬于相同網(wǎng)絡(luò)相同計算節(jié)點(diǎn)的情況下，三者的性能是差不多的，但是對于其他三種情況，VLAN的性能要明顯優(yōu)于其他兩者．同時，在實(shí)驗(yàn)中我們發(fā)現(xiàn)，當(dāng)虛擬機(jī)網(wǎng)卡的MTU和物理機(jī)網(wǎng)卡的MTU相等時，會造成虛擬機(jī)之間的帶寬性能急劇下降，只有10Mbit／s，這是因?yàn)閺奶摂M機(jī)出來的包經(jīng)過NVGRE和VXLAN的封裝后MTU會大于物理機(jī)的MTU，這就造成了這些包將會在IP層進(jìn)行分片，最終就造成了性能上的急劇下降．

圖8 網(wǎng)絡(luò)虛擬化技術(shù)的帶寬測試

圖9 網(wǎng)絡(luò)虛擬化技術(shù)的時延測試

3．4 測量結(jié)果總結(jié)

通過以上測量，我們可以得出總結(jié)，如表1：

表1 測量結(jié)果總結(jié)

4 上海交通大學(xué)云計算的運(yùn)營實(shí)踐

上海交通大學(xué)網(wǎng)絡(luò)中心以O(shè)penStack為基礎(chǔ)，配合其他開源軟件，建設(shè)了IaaS平臺，可以提供類似Amazon的EC2、S3和EBS等服務(wù)．所建設(shè)的IaaS平臺擁有計算服務(wù)、存儲服務(wù)、虛擬網(wǎng)絡(luò)服務(wù)、鏡像服務(wù)、身份認(rèn)證服務(wù)等等．平臺總共包括40臺服務(wù)器，300 TB本地存儲，24 TB塊存儲，60 TB對象存儲，設(shè)備之間數(shù)據(jù)網(wǎng)絡(luò)通過全萬兆以太網(wǎng)互聯(lián)，管理網(wǎng)絡(luò)通過千兆以太網(wǎng)互聯(lián)，平臺支持水平擴(kuò)容，可管理超過1000臺服務(wù)器以上規(guī)模的集群．平臺的虛擬網(wǎng)絡(luò)服務(wù)采用的是Neutron模式，以Linux Bridge作為虛擬網(wǎng)橋，不同租戶之間的虛擬網(wǎng)絡(luò)采用VLAN技術(shù)隔離．之所以這樣選擇，主要出于以下幾點(diǎn)考量：

（1）由于平臺需要為不同的用戶提供服務(wù)，為了確保用戶的網(wǎng)絡(luò)地址空間相互不受影響，有必要對用戶網(wǎng)絡(luò)的IP地址實(shí)現(xiàn)可重疊；

（2）Neutron可提供穩(wěn)定的負(fù)載均衡API；

（3）雖然Neutron不能分布式地部署在每個計算節(jié)點(diǎn)上，但我們可以采用部署多個網(wǎng)絡(luò)節(jié)點(diǎn)以減輕其負(fù)載壓力，保證服務(wù)的可靠性；

（4）Neutron支持多種API，例如支持部署軟件定義網(wǎng)絡(luò)（SDN）控制器；

（5）VLAN的個數(shù)對于校園級別的網(wǎng)絡(luò)是充分夠用的，因此不會出現(xiàn)VLAN ID不足的情況，并且VLAN技術(shù)的性能較好．

上海交通大學(xué)云計算平臺從2013年6月份開始提供服務(wù)，到目前為止未曾出現(xiàn)任何虛擬機(jī)／存儲／網(wǎng)絡(luò)等方面的故障．高峰時期有200多臺虛擬機(jī)，最大單個用戶有30多臺虛擬機(jī)．服務(wù)對象多樣化，包括科研，教學(xué)，信息系統(tǒng)開發(fā)，PaaS平臺和創(chuàng)新實(shí)踐等．

5 結(jié) 論

虛擬網(wǎng)絡(luò)服務(wù)是云計算平臺核心的一個服務(wù)，其性能的好壞直接影響到了云計算的計算服務(wù)和存儲服務(wù)．作為OpenStack眾多服務(wù)中最復(fù)雜的一個，隨著版本的不斷更新，有多種方法和技術(shù)可以實(shí)現(xiàn)其虛擬網(wǎng)絡(luò)服務(wù)．對于高校來說，如何選擇方法和技術(shù)構(gòu)建合理的虛擬網(wǎng)絡(luò)服務(wù)是非常重要的．本文針對當(dāng)前OpenStack虛擬網(wǎng)絡(luò)服務(wù)的實(shí)現(xiàn)方法和技術(shù)進(jìn)行研究與性能測量，詳細(xì)分析了各種方法和技術(shù)的優(yōu)缺點(diǎn)，并介紹了上海交通大學(xué)云計算平臺的運(yùn)營實(shí)踐現(xiàn)狀，為今后高校的云平臺虛擬網(wǎng)絡(luò)服務(wù)建設(shè)提供了參考．

［1］ WEN Xiaolong，GU Genqiang，LI Qingchun，et al．Comparison of Open－Source Cloud Management Platforms：OpenStack and OpenNebula［C］／／9th International Conference on Fuzzy Systems and Knowledge Discovery，2012．

［2］ OpenStack［EB／OL］．［2014－10－31］．http：／／www．openstack．org．

［3］ WANG G H，EUGENE T S．NG．The Impact of Virtualization on Network Performance of Amazon EC2 Data Center［C］／／INFOCOM，2010 Proceedings IEEE，2010．

［4］ SHARATH S，BASU A．Performance of Eucalyptus and OpenStack Clouds on Future Grid［J］．International Journal of Computer Applications，2013，80（13）：31－37．

［5］ KAWASHIMA R，MATSUO H．Non－Tunneling Edge－Overlay Model using OpenFlow for Cloud Datacenter Networks［C］／／IEEE International Conference on Cloud Computing Technology and Science，2013．

［6］ OpenStack Performance［EB／OL］．［2014－10－31］．http：／／docs．openstack．org／security－guide／content／ch031＿Neutron－architecture．html．

［7］ Neutron［EB／OL］．［2014－10－31］．https：／／wiki．openstack．org／wiki／Neutron．

［8］ OpenStack networking administration guide［EB／OL］．［2014－10－31］．http：／／docs．openstack．org／grizzly／openstack－network／admin／content．