DPClos：基于3級Clos結構的集裝箱數據中心網絡設計

李 德 順， 申 彥 明， 李 克 秋

( 大連理工大學 計算機科學與技術學院, 遼寧 大連 116024 )

?

DPClos：基于3級Clos結構的集裝箱數據中心網絡設計

李 德 順， 申 彥 明， 李 克 秋*

( 大連理工大學 計算機科學與技術學院, 遼寧 大連 116024 )

集裝箱數據中心因其部署便捷在應急數據處理中發(fā)揮著基礎性作用．為滿足集裝箱數據中心對網絡帶寬和容錯性的需要，提出了一種基于3級Clos結構的集裝箱數據中心網絡，記為DPClos．DPClos能夠充分利用Clos結構和雙端口服務器的特點，為集裝箱數據中心提供2倍網絡帶寬容量．DPClos網絡的平均路徑長度小于4，且不同層次鏈路之間負載均衡．雙層網絡結構賦予DPClos良好的容錯性能，當20%設備故障時數據流的成功到達率仍超過85%．理論分析和實驗表明，DPClos結構能夠滿足集裝箱數據中心對網絡性能的需求．

集裝箱數據中心；數據中心網絡；網絡帶寬；容錯性

0 引 言

隨著云計算、大數據和物聯(lián)網技術的發(fā)展，傳統(tǒng)數據中心網絡面臨著諸多問題[1-6]．集裝箱數據中心因具有移動便捷、部署迅速和適應性強等特點，在應急通信、軍事勘探、災難恢復和野外科考等領域發(fā)揮著基礎性作用，受到了業(yè)界的廣泛關注[4,7-8]．

目前學界集中于對大規(guī)模數據中心網絡的研究[1-3,5]，以滿足數據海量式增長的需求，而對集裝箱型數據中心網絡關注較少[4,7]．數據中心網絡可分為交換機為中心和服務器為中心兩種結構．交換機為中心的結構以Fat-tree[2]和Jellyfish[5]為代表，服務器為中心的網絡以DCell[3]和BCube[4]為代表．Li等[6]提出的FiConn結構使用服務器的備用網卡，屬于以服務器為中心的網絡．上述網絡針對大規(guī)模數據中心設計，難以滿足集裝箱數據中心的需求．集裝箱數據中心存在著兩個特點：(1)帶寬要求高．作為應急部署的基礎設施，集裝箱數據中心需要高容量的網絡結構，以滿足服務器之間的通信和數據傳輸需求．(2)部署環(huán)境差．集裝箱數據中心的部署環(huán)境可能導致設備的物理損傷和故障，而一體化設計的集裝箱數據中心在應用中維護困難．集裝箱數據中心需要考慮網絡帶寬高和容錯性強的結構，而現(xiàn)有設計不能滿足帶寬和容錯性的需求，為此本文提出集裝箱數據中心網絡DPClos，該網絡采用2層對折的3級Clos結構[9]和雙端口服務器構建以滿足集裝箱數據中心對網絡帶寬和容錯性的需求．

1 網絡結構

1.1 Clos 結構及特性

1.1.1 Clos結構 Clos結構[9]源于電話網絡，其目的是以最少的交換開關提供無阻塞的電話通信．3級Clos是最常用的交換結構，記為C(n1，r1，m，n2，r2)．其中，第1級為輸入級，由r1個n1×m交換開關組成；第2級為中間級，由m個r1×r2交換開關組成；第3級為輸出級，由r2個m×n2交換開關組成．輸入級和輸出級的每個交換開關有且僅有一條鏈路與中間級的每個交換開關相連．當r1=r2=r且n1=n2=n時，該結構是對稱的3級Clos結構，簡記為C(n，m，r) ．其交換鏈接如圖1所示．

1.1.2 性質特點 Clos結構以交換容量大、擴展性好和可靠性高等特點廣泛應用于網絡設備中．在C(n，m，r)中，當m≥2n-1時，該結構是嚴格無阻塞的，即當一個新的輸入級到輸出級的連接請求到達時，不需要對網絡中現(xiàn)有連接進行任何改動，即可滿足該連接請求．當m≥n時，C(n，m，r)是可重排無阻塞的，即當一個新的輸入級到輸出級的連接請求到達時，可以通過對網絡中已有連接進行調整來滿足該連接請求．

圖1 C(n，m，r)交換結構

Clos結構的無阻塞特性使其成為數據中心網絡的熱點，在其上所設計的網絡有Fat-tree、PortLand、VL2和Elastictree等．這類網絡的共同特點是采用折疊的5級Clos結構來提供可擴展的高性能數據中心網絡．

1.2 第1類DPClos網絡

DPClos通過部署雙層網絡和服務器備用端口來滿足集裝箱數據中心的網絡帶寬和容錯性需求．用k來表示交換機的端口數量．圖2以k=4為例展示了第1類DPClos集裝箱數據中心網絡結構，記為FDPClos．該結構包括1層服務器和對稱的上下層交換機網絡，分別為上下核心層和上下邊界層．上下層交換機網絡均是由3級C(k/2，k/2，k/2)沿中間級對折形成．輸入級和輸出級處于等價位置，組成交換機網絡的邊界層；中間級構成交換機網絡的核心層．在FDPClos中，上下邊界層交換機使用一半數量的端口連接到服務器．

在FDPClos中，每層交換機從1開始自左向右進行編號．分別用Cid和Eid表示核心層和邊界層交換機編號．每臺服務器按照所連接的上邊界交換機為分組從1開始自左向右進行編號，該組編號即為對應的上邊界交換機的編號Eid．用Sid表示服務器編號．

FDPClos 上下兩層網絡分別采用10.0.0.0/8和20.0.0.0/8地址段．上層核心交換機的地址格式為10.4.1.Cid，其中Cid為核心交換機的編號．上層邊界交換機的地址格式為10.0.Eid.1，其中Eid為邊界交換機的編號．Eid對應的服務器地址格式為10.0.Eid.s，其中s=Sid+1．下層網絡采用與上層類似的地址結構，其地址段為20.0.0.0/8．例如，下層第1臺核心交換機地址為20.4.1.1，第1臺邊界交換機地址為20.0.1.1，該交換機所連接的Sid=1服務器地址為20.0.1.2．

圖2 第1類DPClos結構(FDPClos)

1.3 第2類DPClos網絡

第2類DPClos采用與FDPClos相同的交換機網絡結構，其交換機之間的連接和編號與FDPClos 一致．第2類DPClos結構與FDPClos的不同之處在于服務器和下層邊界交換機采用錯位連接的方式，該結構記為SDPClos．圖3以k=4為例展示了SDPClos網絡連接．在SDPClos中，Eid=i的下邊界交換機與服務器的連接方式為當i≤k/2時，下邊界交換機i連接組1到組k/2中Sid=i的服務器；當i>k/2時，下邊界交換機i連接組k/2+1到組k中Sid=i-k/2的服務器．SDPClos采用錯位連接的方式不但可以縮短平均路徑長度，而且能夠避免FDPClos中編號相同的邊界交換機同時故障時該組服務器被全部斷開的情況．

SDPClos中交換機采用與FDPClos相同的網絡地址配置，服務器在SDPClos上層網絡中的地址配置和FDPClos中對應的配置相同．方便起見，圖3僅顯示了服務器在上層邊界交換機中的編號．用Eid代表下層邊界交換機的編號，則其對應的服務器地址格式為20.0.Eid.s，其中s=Sid+1，Sid是服務器在相應的交換機Eid中的編號．例如，交換機20.0.1.1所連接的兩臺服務器地址分別為20.0.1.2 和20.0.1.3．

圖3 第2類DPClos結構(SDPClos)

在DPClos中，上下層交換機網絡均能獨立地保證任意兩臺服務器之間嚴格無阻塞通信．兩類DPClos都是以交換機為中心的網絡結構，服務器不參與數據的轉發(fā)．在路由選擇上，同一臺邊界交換機互聯(lián)的服務器通過該邊界交換機進行數據轉發(fā)；非共享邊界交換機的服務器之間可通過任意一臺核心層交換機進行數據轉發(fā)．在路由調度過程中，可以通過當前端口的負載來選擇上下層網絡和所路由的核心交換機．

2 DPClos性質

DPClos網絡的性質特點包括設備數量、路徑長度、瓶頸度和對剖帶寬等．

2.1 設備數量

對于DPClos網絡中交換機和服務器的數量，有如下定理：

定理1 在DPClos網絡中，交換機的數量N=3k，服務器的數量S=k2/2，其中k為交換機的端口數．

證明 在C(n，m，r)中，交換開關的數量為n+m+r．因此，在交換機網絡C(k/2，k/2，k/2)中，交換機的數量為3k/2．DPClos使用獨立的兩層交換機網絡，所以DPClos中交換機總數N=3k．上層邊界交換機數量為k，且每個交換機連接k/2臺服務器．因此，DPClos中服務器數量S=k2/2．

□

表1列出了不同端口交換機構成的DPClos網絡中設備的數量，其中N、S和L分別為交換機、服務器和連線數量．從表1中可以看出，當k=48，56和64時分別可以構造擁有S=1 152，1 568 和2 048臺服務器的網絡．這表明DPClos結構具有滿足集裝箱數據中心網絡的擴展性．對比其他結構，DPClos中服務器/交換機數量為S∶N=k∶6；在Fat-tree中，該比例為k∶5；在文獻[10]中該比例為k∶10．

表1 DPClos網絡中的設備數量

2.2 路徑長度

對于DPClos中服務器之間的路徑長度，有如下定理：

□

由定理2得出，DPClos網絡的平均路徑長度不大于4，且SDPClos網絡的平均路徑長度小于FDPClos網絡的．圖4顯示了DPClos網絡的平均路徑長度d隨交換機端口數量變化的關系．從中可以看出，隨著交換機端口數量的增長，DPClos網絡的平均路徑長度接近4．這表明，DPClos網絡滿足集裝箱數據中心的數據傳輸延遲小的需求．

2.3 瓶頸度

瓶頸度(bottleneck degree)是指網絡在all-to-all流量模式下，單個鏈路所負載的流量最大值．對于DPClos網絡的瓶頸度，有如下定理：

圖4 平均路徑長度

定理3 DPClos網絡的瓶頸度為(k2-2)/4．

證明 用S來表示網絡中服務器的數量，用SE和EC分別來表示服務器和邊界交換機之間、邊界交換機和核心交換機之間的鏈路．忽略下層網絡，僅分析上層網絡在all-to-all流量模式下的鏈路負載．在上層網絡中，服務器和邊界交換機之間鏈路SE的負載為S-1；第1臺上邊界交換機與核心交換機之間的總流量為(k/2)·(S-k/2)，其間鏈路數量為k/2．因此，每條鏈路EC負載的流量為S-k/2．在FDPClos中，下層網絡對流量具有均分作用，因此鏈路SE承載流數量為(S-1)/2；鏈路EC承載流數量為(S-k/2)/2．故此，F(xiàn)DPClos網絡的瓶頸度為(S-1)/2，其中S=k2/2．同理可以分析SDPClos的瓶頸度產生在鏈路SE上，為(k2-2)/4．

□

定理3表明，F(xiàn)DPClos和SDPClos具有相同的瓶頸度．圖5顯示了DPClos網絡在all-to-all流量模式下不同層次的鏈路上流數量分布Fd．從圖5可以看出，對于給定的交換機端口數k，DPClos 不同層次的鏈路在all-to-all流量模式負載近似均衡，不同鏈路負載差距很?。?/p>

圖5 All-to-all流量模式下鏈路的流數量分布

2.4 對剖帶寬

對剖帶寬(bisection width)是指將網絡均分成兩部分所需斷開鏈路的最小數量．對于DPClos網絡的對剖帶寬，有如下定理：

定理4 DPClos網絡的對剖帶寬為k2/2．

證明 折疊C(k/2，k/2，k/2)結構的對剖帶寬為k2/4．DPClos網絡采用了獨立的上下層Clos結構，其對剖帶寬為k2/2．

□

DPClos是一種高帶寬的數據中心網絡，該網絡能夠提供2∶1的網絡帶寬需求，即在任意網絡連接下，兩臺服務器之間都可以擁有2條獨立的鏈路連接．這不僅提高了網絡的帶寬，滿足大數據傳輸的網絡容量需求，而且提高了網絡的容錯性．相比之下，F(xiàn)at-tree提供了1∶1的網絡帶寬需求，文獻[10]提供了2∶1的網絡帶寬需求，而其他數據中心網絡均不能達到1∶1的網絡帶寬需求．

表2展示了不同數據中心網絡的性能指標，其中n表示層次結構中的層次數，k表示交換機端口數，S表示服務器數量．從表2可以看出，相比于其他數據中心網絡，DPClos網絡具有更高的網絡帶寬，更小的網絡直徑和瓶頸度．除此之外，DPClos中的服務器之間還存在著大量的并行路徑．這些特點有利于提高基于DPClos結構的集裝箱數據中心的網絡性能和容錯性．

表2 數據中心網絡結構比較

3 模擬實驗

對所提出的集裝箱數據中心網絡DPClos進行實驗，通過數值實驗觀察該結構在容錯性、傳輸延遲和吞吐量方面的性能．

3.1 實驗設定

實驗采用k=48的DPClos結構，該網絡由144臺交換機和1 152個服務器組成．采用文獻[11-12]中基于時間片的路由方法．數據流設定為單包流，即交換機和服務器的每個端口可以在一個時間片內完成一個單位的數據流發(fā)送．交換機以存儲轉發(fā)模式工作：當接收到數據流時交換機將其存儲到等候隊列；每個時間片內，交換機將隊首的數據流發(fā)送到下一跳的節(jié)點，而該隊列中其他數據流被延遲一個時間片．

容錯性：按照一定的故障率隨機設定鏈路和交換機故障，觀察數據流的到達情況．對每一個設備故障率，隨機生成10組，每組10 000個數據流，觀察數據流的到達率．該故障率的數據流到達率為10組數據流到達率的平均值．對于每個故障率，隨機選擇10組故障設備，最終結果為10組數據的平均值．

傳輸延遲：對于給定的數據流量，計算組內數據流到達的平均時間作為該組數據流的傳輸延遲．統(tǒng)計各組數據流的傳輸延遲，取其平均值作為該組數據流的傳輸延遲．

吞吐量：吞吐量的計算方式為數據流量除以本組數據流中最大的數據傳輸時間．統(tǒng)計各組數據流中的吞吐量，取其平均值作為該組數據流的吞吐量．

在傳輸延遲和吞吐量上，考察兩種流量模式，即隨機模式和Incast模式．在隨機流量模式中，隨機選擇每個數據流的源服務器和目的服務器．在Incast流量模式中，每個目的服務器從其他10個源服務器中接收數據，源服務器和目的服務器隨機選擇．考察數據流數量從500增長到50 000時傳輸延遲和吞吐量的變化情況．對給定的數據流數量，隨機生成10組數據流進行測試．實驗結果為10組數據流的平均值．

3.2 容錯性

分別對FDPClos和SDPClos進行鏈路故障和交換機故障的容錯實驗，觀察故障率Ff從0增長到20%時數據流的到達情況．圖6顯示了在鏈路/交換機隨機故障下數據流的平均到達率R．

圖6表明，隨著設備故障率的增大，F(xiàn)DPClos和SDPClos中數據流的到達率逐漸降低．從圖中可以看出，F(xiàn)DPClos和SDPClos具有相近的鏈路故障容錯性．當鏈路故障小于5%時，F(xiàn)DPClos和SDPClos中數據流的到達率均大于99%；當鏈路故障率達到20%時，數據流的到達率大于87%．這說明，DPClos網絡結構在鏈路故障率極高的情況下，仍保持較高的數據流到達率．文獻[13]顯示，當20%鏈路故障發(fā)生時，S2、SWDC和Jellyfish的數據到達率分別為85%、70%和59%．

DPClos網絡也具備良好的交換機故障容錯性．從圖6中可以看出，當交換機故障率小于5%時，數據流在FDPClos和SDPClos中的到達率均大于99%．當交換機故障率達到20%時，數據流在FDPClos和SDPClos中的到達率分別為85%和87%．這表明，DPClos網絡在20%交換機故障率下仍然能夠滿足超過85%服務器之間的數據通信．

圖6 數據流到達率和鏈路/交換機故障率關系

3.3 傳輸延遲

在隨機和Incast流量模式下觀察FDPClos和SDPClos中平均傳輸延遲D與數據流數量Nd的關系．圖7顯示了在這兩種流量模式下數據流的延遲情況．

圖7 隨機和Incast流量模式下DPClos網絡的數據流延遲

Fig.7 The delay of flows for random and Incast traffic in DPClos

在FDPClos和SDPClos中，數據流的平均路由路徑長度為3.96和3.92．從實驗結果可以看出，在兩種流量模式下數據流的延遲均隨著流數量增長而呈線性增加，且Incast流量模式下的平均延遲大于隨機流量模式．在同一種流量模式下，數據流在FDPClos中的延遲略大于其在SDPClos 中的延遲，這源于SDPClos具有更短的平均路由路徑．

3.4 吞吐量

在隨機和Incast流量模式下，觀察DPClos網絡的吞吐量T與數據流數量的關系．圖8顯示了FDPClos和SDPClos網絡的吞吐量與數據流數量之間的變化關系．

從圖8可以看出，DPClos網絡的吞吐量在這兩種流量模式下均隨著數據流數量的增長而增加．當數據流數量較少時，網絡的吞吐量隨著數據流數量近似呈線性增長；當數據流數量較大時，網絡吞吐量增長速率有所降低，并趨于飽和．在同一種網絡流量模式下，F(xiàn)DPClos和SDPClos吞吐量相近．在兩種網絡中，隨機流量下的吞吐量均大于Incast 流量模式下的吞吐量．

圖8 隨機和Incast流量模式下DPClos網絡吞吐量

Fig.8 The throughput of DPClos for random and Incast traffic

3.5 實驗結論及分析

分析網絡結構和實驗結果可知：在容錯性方面，F(xiàn)DPClos和SDPClos都具有較高的鏈路和交換機故障容錯性，這源于DPClos中的雙層交換機網絡結構所提供的大量并行路徑．

在延遲方面，SDPClos在兩種流量模式下的延遲均略小于FDPClos.SDPClos的優(yōu)勢來源于下層邊界交換機的錯位連接．這種連接使得網絡中更多服務器之間的路徑長度為2．

在吞吐量方面，兩種結構在相同流量模式下的性能相近．隨機流量和Incast流量模式下網絡性能差異來源于這兩種流量模式的特性：Incast模式會導致路由路徑下游交換機產生擁塞，從而引起延時增加和吞吐量降低；隨機流量則不存在這種擁塞特性．

FDPClos和SDPClos采用相同的設備，具有相近的網絡性能，但SDPClos能夠提供更短的平均路由路徑長度．這兩種結構都能滿足集裝箱數據中心對網絡性能和容錯性的需求．

4 結 語

本文研究了高帶寬高容錯性的集裝箱數據中心網絡體系結構．通過分析集裝箱數據中心的應用需求和現(xiàn)有數據中心網絡的特點，提出了一種基于折疊的3級Clos的集裝箱數據中心網絡結構，簡記為DPClos．理論分析表明，DPClos能夠滿足集裝箱數據中心的網絡性能需求．實驗結果驗證了DPClos結構在容錯性、傳輸延遲和吞吐量方面的性能．在今后的工作中，將進一步完善DPClos 網絡配置和路由調度，并致力于應用部署．

[1] YI Xiao-meng, LIU Fang-ming, LIU Jiang-chuan,etal. Building a network highway for big data:architecture and challenges [J]. IEEE Network, 2014, 28(4):5-13.

[2] Al-Fares M, Loukissas A, Vahdat A. A scalable, commodity data center network architecture [C] // 2008 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2008. New York:Association for Computing Machinery, 2008:63-74.

[3] GUO Chuan-xiong, WU Hai-tao, TAN Kun,etal. DCell:a scalable and fault-tolerant network structure for data centers [C] // 2008 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2008. New York:Association for Computing Machinery, 2008:75-86.

[4] GUO Chuan-xiong, LU Guo-han, LI Dan,etal. BCube:a high performance, server centric network architecture for modular data centers [C] // 2009 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2009. New York:Association for Computing Machinery, 2009:63-74.

[5] Singla A, Hong C Y, Popa L,etal. Jellyfish:Networking data centers randomly [C] // 9th USENIX Symposium on Networked Systems Design and Implementation, USENIX NSDI 2012. Berkeley:USENIX, 2012:225-238.

[6] LI Dan, GUO Chuan-xiong, WU Hai-tao,etal. FiConn:Using backup port for server interconnection in data centers [C] // 2009 International Conference on Computer Communications, IEEE INFOCOM 2009. Piscataway:IEEE Communications Society, 2009:2276-2285.

[7] WU Hai-tao, LU Guo-han, LI Dan,etal. MDCube:a high performance network structure for modular data center interconnection [C] // 5th International Conference on Emerging Networking Experiments and Technologies, ACM CoNEXT 2009. New York:Association for Computing Machinery, 2009:25-36.

[8] 陸菲菲,朱桂明,陶志榮,等. MDCent:一種高可擴展,高吞吐量的模塊間互連結構[J]. 計算機研究與發(fā)展, 2015, 52(5):1127-1136.

LU Fei-fei, ZHU Gui-ming, TAO Zhi-rong,etal. MDCent:a modular data center interconnection with high scalability and high performance [J]. Journal of Computer Research and Development, 2015, 52(5):1127-1136. (in Chinese)

[9] Clos C. A study of non-blocking switching networks [J]. Bell System Technical Journal, 1953, 32(2):406-424.

[10] 王 聰,王翠榮,王興偉,等. 面向云計算的數據中心網絡體系結構設計[J]. 計算機研究與發(fā)展, 2012, 49(2):286-293.

WANG Cong, WANG Cui-rong, WANG Xing-wei,etal. Network architecture design for data centers towards cloud computing [J]. Journal of Computer Research and Development, 2012, 49(2):286-293. (in Chinese)

[11] LI Da-wei, WU Jie. On the design and analysis of data center network architectures for interconnecting dual-port servers [C] // 2014 International Conference on Computer Communications, INFOCOM 2014. Piscataway:IEEE Communications Society, 2014:1851-1859.

[12] LI Da-wei, WU Jie. Dual-centric data center network architectures [C] // 44th International Conference on Parallel Processing, ICPP 2015. Piscataway:IEEE Communications Society, 2015:679-688.

[13] YU Ye, QIAN Chen. Space shuffle:A scalable, flexible, and high-bandwidth data center network [C] // 22nd International Conference on Network Protocols, ICNP 2014. Piscataway:IEEE Communications Society, 2014:13-24.

DPClos：Design of network architecture for container data center based on 3-stage Clos structure

LI De-shun, SHEN Yan-ming, LI Ke-qiu*

( School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China )

Owing to the convenience of deployment, container data center plays an essential role in emergency application of harsh environments. To satisfy the requirements of high network bandwidth and high fault tolerance, a novel container data center network based on the 3-stage Clos structure, DPClos is proposed. DPClos architecture takes advantage of Clos structure and the dual-port servers, which can provide double capacity of network bandwidth. The average path length is less than 4 and traffic load is balanced among links of different levels in DPClos. Bilayer structures benefit such fault tolerance of DPClos as follows: the flow success rate is more than 85% with a fraction of 20% equipments failure. Theoretical analyses and experimental results show that DPClos can meet the requirements of performance in container data center network.

container data center; data center network; network bandwidth; fault tolerance

2016-06-09；

2016-09-28．

國家杰出青年科學基金資助項目(61225010)；國家自然科學基金資助項目(61173160)；中央高?；究蒲袠I(yè)務費專項資金資助項目(DUT15TD29).

李德順(1983-),男,博士生,E-mail:lideshunlily@qq.com；申彥明(1976-),男,教授,博士生導師；李克秋*(1971-),男,教授,博士生導師,E-mail:keqiu@dlut.edu.cn.

1000-8608(2016)06-0643-07

TP393

A

10.7511/dllgxb201606013