數(shù)據(jù)中心中面向光互聯(lián)的流量識別與調(diào)度研究

郭秉禮，趙寧，朱志文，寧帆，黃善國

?

數(shù)據(jù)中心中面向光互聯(lián)的流量識別與調(diào)度研究

郭秉禮1，趙寧2，朱志文1，寧帆2，黃善國1

（1. 北京郵電大學(xué)信息光子學(xué)與光通信研究院，北京 100876；2. 北京郵電大學(xué)信息與通信學(xué)院，北京 100876）

為了解決數(shù)據(jù)中心鏈路擁塞問題，依據(jù)流量分布與類型的特點，提出了基于光互聯(lián)架構(gòu)的流量識別和調(diào)度方案，即HCFD（host-controller flow detection），旨在識別出對網(wǎng)絡(luò)性能影響較大的大象流。利用SDN控制器下發(fā)轉(zhuǎn)發(fā)策略，對網(wǎng)絡(luò)中的流量進(jìn)行合理調(diào)度。 HCFD首先在主機端利用Linux內(nèi)核協(xié)議的Netfilter框架實現(xiàn)將超過閾值的數(shù)據(jù)流進(jìn)行標(biāo)記，然后在控制器端利用決策樹分類模型再對標(biāo)記流進(jìn)行分類，最后利用光電混合網(wǎng)絡(luò)的優(yōu)勢，實現(xiàn)深度融合的流量適配和切換機制。HCFD方案整合了已有方法的優(yōu)勢進(jìn)行大象流識別，同時保證了識別的實時性、準(zhǔn)確性以及流信息的全面性。實驗與仿真結(jié)果顯示，在此方案場景下，能有效緩解網(wǎng)絡(luò)擁塞情況，充分利用網(wǎng)絡(luò)帶寬，減少數(shù)據(jù)端到端時延，降低分組丟失率。

光互聯(lián)架構(gòu)；流量識別；軟件定義網(wǎng)絡(luò)；Linux內(nèi)核

1 引言

數(shù)據(jù)中心（DC, data center）作為云計算提供服務(wù)的主要基礎(chǔ)設(shè)施，集中了大量的數(shù)據(jù)、存儲資源及提高數(shù)據(jù)運行效率的計算資源，其通過網(wǎng)絡(luò)設(shè)備（高速鏈路、路由器等）進(jìn)行互連，為各種基礎(chǔ)服務(wù)提供支持。數(shù)據(jù)中心在未來的互聯(lián)網(wǎng)服務(wù)領(lǐng)域扮演著舉足輕重的作用。近年來，在大量涌現(xiàn)的云應(yīng)用的推動下，如實時視頻、搜索引擎、Map-Reduce計算和虛擬機遷移等，使數(shù)據(jù)中心流量呈飛速增長態(tài)勢。思科2018年2月發(fā)布的年度云產(chǎn)業(yè)調(diào)研報告中預(yù)測[1]，到2021 年全球云數(shù)據(jù)中心流量將達(dá)到每年20.6 ZB，比2016年的每年6.8 ZB增長3倍。海量的數(shù)據(jù)以及復(fù)雜多變的業(yè)務(wù)對數(shù)據(jù)中心網(wǎng)絡(luò)流量管理提出了巨大的挑戰(zhàn)。現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)（DCN, data center network）流量工程機制已經(jīng)無法快速應(yīng)對突發(fā)多變的流量形式，已有的研究成果[2]表明，86%的數(shù)據(jù)中心的鏈路因為突發(fā)的高帶寬的數(shù)據(jù)流易而出現(xiàn)短暫的擁塞。網(wǎng)絡(luò)的擁塞直接導(dǎo)致大量數(shù)據(jù)分組丟失、網(wǎng)絡(luò)吞吐量下降、搜索時延變長、QoS質(zhì)量無法保證等問題。為了解決數(shù)據(jù)中心的流量問題，首先，對網(wǎng)絡(luò)管控層來說，需要為數(shù)據(jù)中心的流量制定合理的流量調(diào)度策略。研究表明，數(shù)據(jù)中心雖然會產(chǎn)生巨大數(shù)目的流量，但是整體的網(wǎng)絡(luò)狀況是由少數(shù)的持續(xù)時間長的大流，也被稱為大象流[2-3]（此處定義突發(fā)的高帶寬的流量為大象流）所影響。從高效管理網(wǎng)絡(luò)的角度考慮，控制器沒有必要處理所有數(shù)據(jù)流的調(diào)度，只集中于對網(wǎng)絡(luò)性能有重要影響的流操作。因此流量識別，尤其是對大象流的識別，就變得十分重要，通過轉(zhuǎn)移少數(shù)突發(fā)的高帶寬流量到空閑的通信鏈路上，能夠有效緩解網(wǎng)絡(luò)擁塞情況，充分利用網(wǎng)絡(luò)帶寬，減少時延。同時，近年來，許多基于光電路交換、光分組、光突發(fā)交換的數(shù)據(jù)中心內(nèi)網(wǎng)絡(luò)結(jié)構(gòu)被提出。如混合光電交換網(wǎng)絡(luò)架構(gòu)通過集中式控制器對光鏈路的調(diào)整進(jìn)行流量調(diào)度，一些大容量、持續(xù)時間長的大流（即大象流）會被引流到光網(wǎng)絡(luò)上進(jìn)行傳輸，而一些小數(shù)據(jù)量，對時延要求高的小流（老鼠流）仍采用電交換設(shè)備進(jìn)行轉(zhuǎn)發(fā)?；诠饨粨Q的混合光電網(wǎng)絡(luò)一方面可以提供快速通路shortcut 進(jìn)行橫向流量優(yōu)化，另一方面光交換機的可重配能力也給整個網(wǎng)絡(luò)架構(gòu)帶來了靈活性；不僅能有效利用光網(wǎng)絡(luò)的大帶寬、低時延、低功耗等優(yōu)勢，也保持了電域交換的靈活性。這能有效應(yīng)對數(shù)據(jù)中心突發(fā)流量?？傊?，本文擬通過研究對數(shù)據(jù)中心流量進(jìn)行識別和標(biāo)記的方法，結(jié)合光電網(wǎng)絡(luò)各自的優(yōu)勢，同時研究深度融合的流量適配與切換機制，可以實現(xiàn)數(shù)據(jù)流量到光電網(wǎng)絡(luò)的高效適配，緩解網(wǎng)絡(luò)擁塞情況，充分利用網(wǎng)絡(luò)帶寬，減少數(shù)據(jù)端到端時延。因此，本文實現(xiàn)了主機端的識別模塊和控制端的分類模塊，即在主機端能夠標(biāo)記超過閾值的大流功能以及控制器上實現(xiàn)了將標(biāo)記流轉(zhuǎn)移到光交換路徑上，小流實現(xiàn)默認(rèn)路由電轉(zhuǎn)發(fā)的調(diào)度策略，最終達(dá)到網(wǎng)絡(luò)流量的負(fù)載均衡以及優(yōu)化。

2 相關(guān)的工作

目前的流量識別技術(shù)主要有如下2種，一種是基于交換機，在數(shù)據(jù)流傳輸過程中基于數(shù)據(jù)量或特征進(jìn)行識別，如流采樣技術(shù)，即在交換機上部署統(tǒng)計模塊或使用第三方代理工具sflow/Netflow，交換機周期性地采集網(wǎng)絡(luò)流的數(shù)據(jù)分組，控制器則分析采樣結(jié)果統(tǒng)計得到樣本特征，基于樣本特征推導(dǎo)出網(wǎng)絡(luò)整體流量的特征，并制定流表規(guī)則，下發(fā)到交換機，交換機再依據(jù)所制定的流表規(guī)則進(jìn)行數(shù)據(jù)分組轉(zhuǎn)發(fā)，這些技術(shù)或多或少存在著交換機/控制器開銷大，準(zhǔn)確度低，實時性差等問題。而另一種是基于主機端進(jìn)行流識別，如Curtis 等[4]通過設(shè)計虛擬機的應(yīng)用程序（mahout）來收集流信息，Yun等[5]則是通過監(jiān)控TCP發(fā)送隊列的數(shù)據(jù)量來判斷大象流。2種方法都認(rèn)定流緩存值超過指定閾值的網(wǎng)絡(luò)流為大象流，第二種流量識別技術(shù)因為是在主機端識別，而且有閾值設(shè)定機制，所以相較于第一種提高了大象流識別的準(zhǔn)確性，也加快了識別的速度，減少了交換機/控制器的系統(tǒng)開銷。但是，值得注意的是，有些特定的大象流雖然數(shù)據(jù)量大，但是帶寬占用并不高且傳輸速率低，因此此類流存在著被Mahout方法誤檢為大象流的風(fēng)險，而且無法修正判斷結(jié)果。而Yun的方法，雖然能通過控制器修正結(jié)果，但方法本身存在耗時長的問題，因為忽略了在主機端阻塞TCP隊列帶來的排隊時間。另外，利用機器學(xué)習(xí)進(jìn)行流量識別也是一個研究熱點[6-7]。Chao等[6]提出了FlowSeer，一種能夠進(jìn)行快速、低開銷的流量識別系統(tǒng)，僅通過分析流的前5個數(shù)據(jù)分組信息，使用預(yù)先訓(xùn)練好的分類模型，就能準(zhǔn)確識別出該流的速率和持續(xù)時間。該方法的實現(xiàn)較復(fù)雜且SDN控制器/交換機的處理開銷較大，因為需要在控制器和交換機上都部署模型，不符合SDN的數(shù)據(jù)面和控制面的分離思想。如表1所示[8]，列舉了目前研究下對大象流的各種識別方法以及性能評估。整合現(xiàn)有研究方法的優(yōu)勢，本文提出一種新的流量識別方案。

3 HCFD模型

3.1 流量識別方案

為了解決現(xiàn)有研究的不足，在目前光電混合的數(shù)據(jù)中心架構(gòu)下，提出一種結(jié)合主機終端和控制器端的流量識別方案HCFD（host-controller flow detection）。方案旨在吸取已有研究的優(yōu)點，高效、實時、快速地識別出大象流。并有效地利用光電網(wǎng)絡(luò)的優(yōu)勢，實現(xiàn)深度融合的流量適配和切換機制。光電混合架構(gòu)的流量識別方案如圖1所示。

表1 不同的大象流識別方法性能比較

方案由主機端模塊和控制器端模塊組成。通過在主機端配置監(jiān)控模塊起到流量預(yù)判斷的作用，標(biāo)記出數(shù)據(jù)量超過閾值的流，即可能成為大象流的數(shù)據(jù)流，這一步能夠過濾掉大多數(shù)的小流，減小交換機的識別開銷。因為交換機只需要專門處理被標(biāo)記過的流。在控制器端的分類模塊，能夠分類得到標(biāo)記流的帶寬范圍，然后制定轉(zhuǎn)發(fā)策略，將大流轉(zhuǎn)移到光網(wǎng)絡(luò)傳輸，而小流默認(rèn)在電網(wǎng)絡(luò)中傳輸，這樣就能滿足大流的帶寬需求，也能滿足小流的時延需求，同時避免了鏈路擁塞[9]。

圖1 光電混合架構(gòu)的流量識別方案

3.2 主機端模塊

Linux內(nèi)核協(xié)議棧為網(wǎng)絡(luò)開發(fā)者提供了大量的系統(tǒng)調(diào)用和函數(shù)庫，如其中的libnetfilte_queue庫。應(yīng)用層可以通過NFNETLINK與內(nèi)核進(jìn)行交互，直接性地截獲內(nèi)核每個數(shù)據(jù)分組，并在應(yīng)用層對數(shù)據(jù)分組進(jìn)行邏輯處理，然后將裁決結(jié)果返回給內(nèi)核。主機端模塊如圖2所示。

圖2 主機端模塊

具體實現(xiàn)上，用戶態(tài)進(jìn)程thread()利用libnetfilter_queue庫從內(nèi)核緩存的隊列中截獲的數(shù)據(jù)分組，將數(shù)據(jù)分組的IP頭部信息，通過散列函數(shù)映射成值，將作為一條流的唯一標(biāo)識，然后將數(shù)據(jù)分組的數(shù)據(jù)負(fù)載部分作為[10]。最后將<,>保存在散列表內(nèi)（鏈表數(shù)組）。如果新來的數(shù)據(jù)分組所在的流已經(jīng)在散列表中，則將新來的數(shù)據(jù)分組的值放入舊流中進(jìn)行更新（原值加上新來的數(shù)據(jù)分組的值），反之，則新建一條流表項。在用戶態(tài)進(jìn)程持續(xù)處理每個數(shù)據(jù)分組的過程中，如果當(dāng)某條流的數(shù)據(jù)量超過設(shè)定閾值，就對該流的ToS字段標(biāo)記，視為標(biāo)記流。如圖3所示，在代碼實現(xiàn)階段利用libnetfilter_queue庫提供的各種函數(shù)，第一步初始化，生成handler，接著綁定AF_INET協(xié)議簇，指定數(shù)據(jù)分組緩存隊列，并調(diào)用nfd_handle_packet()取得每個數(shù)據(jù)分組，實現(xiàn)邏輯部分，再利用回調(diào)函數(shù)通知內(nèi)核，內(nèi)核依據(jù)裁決結(jié)果，選擇對數(shù)據(jù)分組繼續(xù)轉(zhuǎn)發(fā)，然后退出程序。

圖3 Libnetfilter_queue處理數(shù)據(jù)分組流程

3.3 控制器端模塊

利用OpenFlow控制器端做二級識別。在數(shù)據(jù)分組傳輸過程中，被標(biāo)記過的標(biāo)記流一旦經(jīng)過交換機，交換機會直接將該流數(shù)據(jù)分組的IP頭部信息上交給控制器進(jìn)行處理，而未被標(biāo)記過的數(shù)據(jù)流將按照ECMP等價多路徑算法計算出轉(zhuǎn)發(fā)規(guī)則而不必通過控制器制定流表項?？刂破鲗⒛玫降腎P頭部信息輸入事先訓(xùn)練好的分類模型（model），如圖4所示，預(yù)測該流的帶寬范圍和持續(xù)時間范圍，這里的分類模型采用的是決策樹如圖4所示，是用數(shù)據(jù)中心內(nèi)該節(jié)點的歷史流量數(shù)據(jù)進(jìn)行訓(xùn)練所得?？刂破鞲鶕?jù)鏈路帶寬情況制定對該流調(diào)度策略，并通知給交換機，交換機將按照下發(fā)的流表規(guī)則轉(zhuǎn)發(fā)后來的被標(biāo)記的數(shù)據(jù)流。

圖4 控制器端分類模型

基于決策樹模型的控制器模塊能夠通過歷史數(shù)據(jù)預(yù)測出標(biāo)記流的帶寬范圍，比如1~10 MB，10~100 MB以及100 MB以上。對于控制器來說，針對不同帶寬可以制定不同的路由策略，充分利用空閑鏈路，進(jìn)行數(shù)據(jù)傳輸。目前研究表明，快速光交換模塊已經(jīng)被引入數(shù)據(jù)中心內(nèi)，安裝在棧頂交換機負(fù)責(zé)連接各個服務(wù)器，傳輸鏈路中的大象流。所以，控制器模塊可以結(jié)合快速光交換模塊實現(xiàn)光電路切換。

4 性能測試與分析

針對本文提出的HCFD方案，設(shè)計仿真實驗測試其性能。

首先驗證方案中主機端模塊的標(biāo)記功能。模擬實際網(wǎng)絡(luò)環(huán)境中的流量分布，利用Iperf在配置好模塊的主機生成1~100 KB大小的文件100個，100 KB~ 1 MB大小的文件10個，1~100 MB的文件5個。默認(rèn)情況下，閾值設(shè)定為1 MB，研究表明[7]，數(shù)據(jù)中心內(nèi)超過80%流的數(shù)據(jù)量都不超過1MB。然后將數(shù)據(jù)源發(fā)送給接收端的主機（IP:10.108.48.14），發(fā)送端的主機（IP:10.108.49.201）會對超過閾值（1 MB）流的IP數(shù)據(jù)分組頭ToS字段進(jìn)行標(biāo)記，默認(rèn)標(biāo)記值為192。然后在接收端服務(wù)器利用wireshark進(jìn)行抓包分析，發(fā)現(xiàn)大流的數(shù)據(jù)分組的ToS字段都被標(biāo)記成0011xxxx，而小流的數(shù)據(jù)分組的ToS字段仍然是0000xxxx，如圖5和圖6所示。

圖5 未被標(biāo)記的數(shù)據(jù)分組

圖6 成功被標(biāo)記的數(shù)據(jù)分組

由此可以驗證主機端模塊能夠?qū)崿F(xiàn)對超過閾值的數(shù)據(jù)流進(jìn)行標(biāo)記的功能。接下來，設(shè)計實驗，驗證HCFD方案，在網(wǎng)絡(luò)分組丟失率以及端到端傳輸時間的性能表現(xiàn)。

Fat-tree是實際數(shù)據(jù)中心場景中常見的拓?fù)浣Y(jié)構(gòu)，這種拓?fù)浣Y(jié)構(gòu)對于每個源、目的主機間都有多條鏈路可到達(dá)，如圖7所示。

按照Fat-tree拓?fù)浣Y(jié)構(gòu)[11]，用Mininet配置如下模擬環(huán)境。

所有的主機均部署主機端識別模塊，且與交換機相連。利用Iperf生成符合實際網(wǎng)絡(luò)流量分布的數(shù)據(jù)源。實驗在主機A生成了100條10~100 KB流以及10條1~10 MB的大流（大流會被主機端模塊標(biāo)記），分組間隔設(shè)為1ms，分組的長度設(shè)為1 KB，持續(xù)時間為10 s[12]。然后將該數(shù)據(jù)源發(fā)送給主機B。這里有2條路徑可以選擇（A—電交換機—B；A—電交換機—光交換機—B），路徑的選擇由控制器決定。

表2 模擬環(huán)境配置

實驗分別驗證使用HCFD模型以及未使用HCFD模型2種場景下的端到端時延和分組丟失率情況。在未使用HCFD模型的場景中，數(shù)據(jù)流將默認(rèn)按照A—電交換—B路徑傳輸。當(dāng)在HCFD模型的場景下時，數(shù)據(jù)量大的流在發(fā)出網(wǎng)卡之前，會被主機端模塊將ToS字段標(biāo)記成192，變成標(biāo)記流，然后才會發(fā)出網(wǎng)卡。

默認(rèn)情況下，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)分組途徑交換機時，如果是未標(biāo)記的數(shù)據(jù)分組，則將直接被轉(zhuǎn)發(fā)到B主機，如果數(shù)據(jù)分組IP頭部ToS字段匹配到交換機設(shè)定的流表項，交換機便會將標(biāo)記流的信息通過OpenFlow協(xié)議上傳到控制器，控制器經(jīng)過決策會下發(fā)轉(zhuǎn)發(fā)規(guī)則到交換機，此處默認(rèn)下發(fā)的規(guī)則是將標(biāo)記流切換到光交換機上，然后再轉(zhuǎn)發(fā)到主機B。

通過實驗數(shù)據(jù)，可以得到采用HCFD模塊比未采用模塊，數(shù)據(jù)流的平均端到端時延會減少大約70%和45%。如圖9所示。

圖7 數(shù)據(jù)中心Fat-tree拓?fù)浣Y(jié)構(gòu)

圖8 流91CF調(diào)度模型

圖9 數(shù)據(jù)分組的端到端時延情況

而在分組丟失率上，小流和標(biāo)記流分組發(fā)送數(shù)目分別是9 093和8 845，在2種場景下進(jìn)行驗證，時延參數(shù)限制為5 ms，發(fā)現(xiàn)在未采用HCFD模型的場景下，兩者的分組丟失率分別達(dá)到62%和51.8%，而采用HCFD模型的場景下，分組丟失率降低到5%和17%。這說明HCFD模型能夠有效降低網(wǎng)絡(luò)分組丟失率。如圖10所示。

圖10 數(shù)據(jù)流的分組丟失率

通過控制大流的分組發(fā)送速率即分組發(fā)送時間間隔，單位為ms，來驗證大流和小流在接收端的時延變化。如圖11和圖12所示，當(dāng)設(shè)置一組分組發(fā)送間隔，使大流的發(fā)送速率逐漸增加，可以看出有無模塊下數(shù)據(jù)流的時延變化情況，加載模塊的場景整個平均時延上都低于未加載模塊的場景，且小流的平均時延也大幅度地降低并保持穩(wěn)定（0.247 s）（此處設(shè)置了一定的網(wǎng)卡緩存隊列長度，當(dāng)數(shù)據(jù)分組過多就會導(dǎo)致大量分組丟失，時延也會有較大幅度上升。

圖11 未采用模塊的數(shù)據(jù)流時延情況

圖12 采用模塊的數(shù)據(jù)流時延情況

這種方案相較于Curtis等[4]提出的Mahout主機端識別技術(shù)，不需要過高的大象流閾值（Mahout：10 MB）設(shè)定，這樣便使處理的數(shù)據(jù)量更小，速度也更快，而且整體主機端開發(fā)難度會更簡單，從代碼實現(xiàn)上，不需要過多修改內(nèi)核協(xié)議。同時，相比Chao等[6]的FlowSee和Huang等[7]的Application-Round的方案，他們需要在交換機上部署比如C4.5決策樹模型進(jìn)行預(yù)識別，然而本方案不需要交換機參與做分類識別，交換機只需負(fù)責(zé)基本的數(shù)據(jù)轉(zhuǎn)發(fā)功能，更滿足SDN邏輯面與數(shù)據(jù)面解耦合的思想。而且，HCFD方案本身的準(zhǔn)確度和速度預(yù)期也能達(dá)到目前高速網(wǎng)絡(luò)流的要求

5 結(jié)束語

本文設(shè)計了一個快速、低開銷大象流識別以及調(diào)度模塊，能夠在主機端標(biāo)記大象流，并且讓控制器在識別出鏈路中的標(biāo)記流之后進(jìn)行分類，基于全局的流量分布情況，合理地選擇路徑，采取光電切換的流量調(diào)度策略對大流進(jìn)行處理，將大流重路由到其他的路徑，以避免網(wǎng)絡(luò)擁塞和提高網(wǎng)絡(luò)鏈路利用率。

[1] CISCO. Cisco global cloud index: forecast and methodology, 2015-2020[R]. SanJose: Cisco Public, 2016.

[2] SRIKANTH K, SUDIPTA S, ALBERT G, et al. The nature of data center traffic: measurements & analysis[C]//The 9th ACM SIGCOMM Conference on Internet Measurement (IMC '09). 2009: 202-208.

[3] GREENBERG A, HAMILTON J R, JAIN N, et al. VL2: a scalable and flexible data center network[J]. Communications of the ACM, 2009, 54(4): 95-104.

[4] CURTIS A R, KIM W, YALAGANDULA P. Mahout: low-overhead datacenter traffic management using end-host-based elephant detection[C]// IEEE INFOCOM. 2011:1629-1637.

[5] 嚴(yán)軍榮,葉景暢,潘鵬.一種大象流兩級識別方法[J].電信科學(xué),2017,33(03):36-43. YAN J R,YE J C, PAN P. A two-level method for elephant flow identification[J]. Telecommunications Science,2017, 33(3):36-43.

[6] CHAO S C, LIN K C J, CHEN M S. Flow classification for software-defined data centers using stream mining[C]//IEEE Transactions on Services Computing.

[7] HUANG Y H, SHIH W Y, HUANG J L. A classification-based elephant flow detection method using application round on SDN environments[C]//2017 19th Asia-Pacific Network Operations and Management Symposium (APNOMS).2017:231-234.

[8] WANG B, SU J. A survey of elephant flow detection in SDN[C]// International Symposium on Digital Forensic and Security. 2018:1-6.

[9] 蔡岳平,樊欣唯,王昌平.光電混合數(shù)據(jù)中心網(wǎng)絡(luò)負(fù)載均衡流量調(diào)度機制[J].計算機應(yīng)用與軟件,2017,34(08):145-150+166. CAI Y P, FAN X W, WANG C P. Load balance traffic scheduling mechanism in an optical-electrical hybrid data center network[J]. Computer Applications and Software, 2017,34(8):145-150+166.

[10] RAN B B, EINZIGER G, FRIEDMAN R, et al. Optimal elephant flow detection[J]. IEEE INFOCOM .2017: 1-9.

[11] 羅軍舟, 金嘉暉, 宋愛波, 等. 云計算: 體系架構(gòu)與關(guān)鍵技術(shù)[J]. 通信學(xué)報, 2011, 32(7): 3-21.LUO J Z, JIN J H, SONG A B, et al. Cloud computing: architecture and key technologies[J]. Journal on Communications, 2011, 32(7): 3-21.

[12] GANG D, ZHENG H G, HONG W. Characteristics research on modern data center network [[J]. Journal of Computer Research and Development, 2014, 51(2): 395-407.

Research on traffic identification and scheduling based on optical interconnection architecture in data center

GUO Bingli1, ZHAO Ning2, ZHU Zhiwen1,NING Fan2, HUANG Shanguo1

1. Institute of Information Photonics and Optical Communication, Beijing University of Posts and Telecommunications, Beijing 100876, China 2. School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876, China

In order to solve the data center link congestion problem, based on the characteristics of the flow distribution and flow types, a flow identification and scheduling scheme based on optical interconnect structure, named HCFD (host-controller flow detection), was proposed to identify the elephant flow which has a large impact on the network performance, and use the SDN controller to make forward strategy, and schedule the network traffic reasonably. The implementation of the scheme was to use the Netfilter framework in Linux kernel protocol on the host side to mark the flow that exceeds the threshold amount. Then, the classification model was used in the controller side to classify the marked flow. Finally, the appropriate forwarding strategy was developed based on the above results. With the advantage of the photoelectric network, mechanisms of flow depth fusion and switching could be realized. The scheme which integrates the advantage of the existing research results, was expected to identify elephant flow more accurately and comprehensively. It can effectively alleviate the network congestion, make full use of network bandwidth, reduce end-to-end delay and packet loss rate.

optical interconnection architecture, traffic identification, software define network, Linux kernel

TP393

A

10.11959/j.issn.1000?436x.2018161

郭秉禮（1982-），男，山西忻州人，北京郵電大學(xué)講師，主要研究方向為網(wǎng)絡(luò)存儲、并行與分布式系統(tǒng)等。

趙寧（1995-），女，四川南充人，北京郵電大學(xué)碩士生，主要研究方向為SDN、流量工程。

朱志文（1994-），男，安徽合肥人，北京郵電大學(xué)碩士生，主要研究方向為SDN、數(shù)據(jù)中心網(wǎng)絡(luò)。

寧帆（1962-），女，吉林長春人，北京郵電大學(xué)教授，主要研究方向為通信系統(tǒng)與網(wǎng)絡(luò)的理論與應(yīng)用、教學(xué)模式等方面。

黃善國（1978-），男，山東濟南人，博士，北京郵電大學(xué)教授，主要研究方向為數(shù)據(jù)布局、并行與分布式系統(tǒng)。

2018?05?24；

2018?08?27