基于Dyna agent算法的SDN控制策略

朱國暉 李晨光 程 宇

(西安郵電大學(xué)通信與信息工程學(xué)院 陜西 西安 710121)

?

基于Dyna agent算法的SDN控制策略

朱國暉 李晨光 程 宇

(西安郵電大學(xué)通信與信息工程學(xué)院 陜西 西安 710121)

為改善網(wǎng)絡(luò)節(jié)點資源利用率，提出基于Dyna agent算法的控制器控制策略。首先對網(wǎng)絡(luò)控制器部署建模；然后控制器利用環(huán)境反饋信息反作用于控制端網(wǎng)絡(luò)流量控制策略抉擇；最后分析觸發(fā)學(xué)習(xí)機(jī)制后各節(jié)點轉(zhuǎn)發(fā)狀態(tài)的變化，重新設(shè)置節(jié)點選擇權(quán)值。仿真結(jié)果表明，該控制策略相對于普通控制策略的網(wǎng)絡(luò)可使目的節(jié)點處理能力更強(qiáng)，吞吐量增大，網(wǎng)絡(luò)延遲更小。

軟件定義網(wǎng)絡(luò) Dyna agent OpenFlow 控制策略

0 引 言

降低流量成本、提升管道價值、加速網(wǎng)絡(luò)創(chuàng)新是網(wǎng)絡(luò)發(fā)展的目標(biāo)。在此背景下，軟件定義網(wǎng)絡(luò)SDN應(yīng)運(yùn)而生。SDN核心是控制與轉(zhuǎn)發(fā)相分離，網(wǎng)絡(luò)軟件化，對目前垂直緊耦合結(jié)構(gòu)進(jìn)行解耦，網(wǎng)絡(luò)能力得到充分開放，從而提升網(wǎng)絡(luò)的創(chuàng)新能力。

利用SDN控制器可編程特性，對網(wǎng)絡(luò)切片進(jìn)行重新部署[1,2]，解決網(wǎng)絡(luò)僵化問題，提高網(wǎng)絡(luò)資源利用率。文獻(xiàn)[3]研究了SDN分布式控制平面中控制器的靜態(tài)部署問題，使得交換機(jī)到控制器的時延最短，并保證控制器的處理能力能夠滿足其上所連接交換機(jī)上承載的業(yè)務(wù)需求。但是，在多控制器部署環(huán)境下，由于網(wǎng)絡(luò)負(fù)載動態(tài)變化，需要將交換機(jī)從負(fù)載較重的控制器動態(tài)遷移到負(fù)載較輕的控制器下；文獻(xiàn)[4]提出了彈性控制平面的概念、知識架構(gòu)以及遷移過程的簡述，但文章中并沒有給出具體的算法。盡管網(wǎng)絡(luò)控制與數(shù)據(jù)轉(zhuǎn)發(fā)相分離的新型網(wǎng)絡(luò)架構(gòu)簡化了網(wǎng)絡(luò)管理，但隨著交換機(jī)數(shù)量的增多，單一控制器吞吐能力有限，對于大規(guī)模網(wǎng)絡(luò)必然會產(chǎn)生系統(tǒng)性能瓶頸。此外，如果網(wǎng)絡(luò)設(shè)備阻塞或者周圍發(fā)生災(zāi)難故障，控制器控制策略同樣會對網(wǎng)絡(luò)整體流量產(chǎn)生影響。

本文主要針對網(wǎng)絡(luò)資源利用率進(jìn)行研究，從服務(wù)器端入手，提出基于Dyna agent的動態(tài)路由控制策略。當(dāng)網(wǎng)絡(luò)嚴(yán)重阻塞或者遇到災(zāi)害時，觸發(fā)學(xué)習(xí)控制策略，對其建模，通過仿真查看網(wǎng)絡(luò)觸發(fā)學(xué)習(xí)機(jī)制前后負(fù)載以及時延變化情況。

1 SDN控制端負(fù)載分析

SDN分為基礎(chǔ)設(shè)施層、控制層和應(yīng)用層。虛擬化在基礎(chǔ)設(shè)施和控制層兩個層面上來實現(xiàn)：前者實現(xiàn)設(shè)備級的虛擬化；后者實現(xiàn)網(wǎng)絡(luò)級的虛擬化。SDN控制器將整個網(wǎng)絡(luò)當(dāng)成一個邏輯的超級交換機(jī)進(jìn)行管理控制。

路由負(fù)載調(diào)節(jié)方案需要在服務(wù)器集群入口處，通過一個Gateway或者Router來監(jiān)測統(tǒng)計服務(wù)器工作負(fù)載，然后動態(tài)轉(zhuǎn)移用戶到負(fù)載相對較輕的服務(wù)器上，從而緩解網(wǎng)絡(luò)的擁堵狀況。OpenFlow[5]可以對網(wǎng)絡(luò)中所有設(shè)備進(jìn)行集中式控制和管理，同時服務(wù)器的負(fù)載運(yùn)行狀態(tài)可以及時地反饋到OpenFlow控制器，因此OpenFlow就非常適合做負(fù)載調(diào)節(jié)工作?？刂破魍ㄟ^Host及網(wǎng)絡(luò)控制器來監(jiān)測服務(wù)器和網(wǎng)絡(luò)的負(fù)載變化，然后將這些信息反饋給Flow Manager。OpenFlow控制器就可以根據(jù)這些實時的負(fù)載信息，重新制定網(wǎng)絡(luò)設(shè)備運(yùn)行規(guī)則，從而將網(wǎng)絡(luò)數(shù)據(jù)包按照服務(wù)器的處理能力進(jìn)行調(diào)整和分發(fā)?？刂破骺梢詣討B(tài)地感知各節(jié)點和每條路徑的負(fù)載狀況，因而可以根據(jù)網(wǎng)絡(luò)中的負(fù)載實時調(diào)整路由策略，從而實現(xiàn)網(wǎng)絡(luò)流量的最優(yōu)化。

2 OpenFlow控制器算法設(shè)計

OpenFlow能夠?qū)崿F(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)和控制相分離，在控制器、FlowVisor中可進(jìn)行編程，不直接提供網(wǎng)絡(luò)切片能力，而是把網(wǎng)元設(shè)備分割成單獨的控制端口組，或?qū)⒕W(wǎng)絡(luò)分割成單獨的管理域。線路協(xié)議用于建立控制會話，對流的修改進(jìn)行定義和對統(tǒng)計數(shù)據(jù)進(jìn)行收集。本文研究SDN分布式控制平面中控制器的靜態(tài)部署問題，使得交換機(jī)到控制器的時延最短，并保證控制器的處理能力能夠滿足其上所連接交換機(jī)上承載的業(yè)務(wù)需求。在多控制器部署環(huán)境下，由于網(wǎng)絡(luò)負(fù)載動態(tài)變化，需要將交換機(jī)從負(fù)載較重的控制器動態(tài)轉(zhuǎn)移到負(fù)載較輕的控制器，實現(xiàn)控制器之間的負(fù)載均衡[6,7]。

Dyna agent[8]適用于不知道環(huán)境的全部信息以及在環(huán)境中采取行動所產(chǎn)生的反應(yīng)是不確定的狀況。Q學(xué)習(xí)[9]是無模型算法，通過Q值對累積回報進(jìn)行估計來尋找最優(yōu)策略，需要大量試驗來保證其收斂性。Dyna agent是一種給予模型的算法，基于模型的系統(tǒng)利用經(jīng)驗對環(huán)境的交互過程進(jìn)行建模，在此基礎(chǔ)上開發(fā)策略，通過學(xué)習(xí)已制定的策略減少網(wǎng)絡(luò)環(huán)境中學(xué)習(xí)探索成本的過度消耗。

Dyna agent循環(huán)迭代函數(shù)：

其中，st、a表示當(dāng)前狀態(tài)，r為學(xué)習(xí)效率，0≤r≤1。本文中R為6×6階矩陣，狀態(tài)為行，列表示行為，矩陣中各個元素表示行為的有效反饋狀態(tài)。由于剛開始時控制策略對環(huán)境一無所知，Q值初始狀態(tài)全部設(shè)置為0。

圖1 Dyna agent學(xué)習(xí)模型

OpenFlow控制器學(xué)習(xí)過程如圖1所示，中間的線表示環(huán)境和代理間的相互作用，產(chǎn)生一個現(xiàn)實經(jīng)驗。結(jié)合探索學(xué)習(xí)模型，控制器是將現(xiàn)實經(jīng)驗和已有模型的經(jīng)驗結(jié)合起來學(xué)習(xí)。本文的目的是通過對已有模型的探測經(jīng)驗，反饋給控制器優(yōu)先制定探索策略，再進(jìn)行循環(huán)迭代；且用Q值矩陣記錄數(shù)據(jù)，矩陣中的各個元素在網(wǎng)絡(luò)中表示對應(yīng)數(shù)據(jù)選擇各條路徑的權(quán)重系數(shù)。Dyna agent控制策略程序運(yùn)行過程具體如圖2所示。

步驟1網(wǎng)絡(luò)觸發(fā)學(xué)習(xí)機(jī)制，控制平面初始化Q值矩陣，初始化狀態(tài)Q矩陣元素值都為0；

步驟2路由器發(fā)出試探信息探索網(wǎng)絡(luò)通信狀態(tài)，找出可通信的子節(jié)點，使其劃分到最近的網(wǎng)絡(luò)核心控制控制器下，并確定各個區(qū)域核心節(jié)點；

步驟3選擇具有最大Q值的狀態(tài)作為當(dāng)前的激活狀態(tài)s；文中對于每一個循環(huán)周期，表示路由行為和狀態(tài)的Q表中，各有6個Q值；

步驟4根據(jù)循環(huán)迭代函數(shù)，觸發(fā)更新狀態(tài)s下采取動作a的Q值Q(s,a)，對Q值變化進(jìn)行標(biāo)記，其余的Q值則不做標(biāo)記；

步驟5選擇矩陣中具有最大Q值的狀態(tài)作為下一個起始狀態(tài)，并更新狀態(tài)s；檢查是否到達(dá)目標(biāo)狀態(tài)，到達(dá)則停止，若沒有則繼續(xù)下一步；

步驟6返回步驟3運(yùn)行得到狀態(tài)s，繼續(xù)依次運(yùn)行，并記錄循環(huán)的次數(shù)。

圖2 Dyna agent循環(huán)過程

3 仿真及結(jié)果分析

3.1 控制器算法模型設(shè)計

Dyna agent算法設(shè)計：假設(shè)在網(wǎng)絡(luò)負(fù)載很嚴(yán)重時某些路徑堵塞或者處于災(zāi)后時某些節(jié)點中斷后，網(wǎng)絡(luò)模型的6個中心節(jié)點狀態(tài)如圖3所示。節(jié)點間鏈接代表網(wǎng)絡(luò)設(shè)備可通信，節(jié)點無鏈接代表網(wǎng)絡(luò)設(shè)備中斷或者嚴(yán)重堵塞，0代表可通信，初始狀態(tài)反饋值為0，100為有效激勵反饋獎勵值，代表數(shù)據(jù)到達(dá)目標(biāo)節(jié)點。

網(wǎng)絡(luò)模型設(shè)計：模擬現(xiàn)實網(wǎng)絡(luò)分布情況，把網(wǎng)絡(luò)模型劃分為34個節(jié)點，網(wǎng)絡(luò)編號及節(jié)點數(shù)分別為：0、4個；1、6個；2、5個；3、6個；4、6個；5、7個。網(wǎng)絡(luò)中另外隨機(jī)設(shè)置一個輔助節(jié)點(6)用來驗證網(wǎng)絡(luò)結(jié)構(gòu)有效性以及服務(wù)器支撐業(yè)務(wù)量對網(wǎng)絡(luò)的影響，結(jié)構(gòu)如圖4所示。根據(jù)上文假設(shè)的兩種網(wǎng)絡(luò)情況，遇到災(zāi)難或者嚴(yán)重堵塞時假設(shè)只有圖3所示鏈接可以通信，其中節(jié)點5設(shè)定為目標(biāo)網(wǎng)絡(luò)節(jié)點，各節(jié)點配置如表1所示。

圖3 網(wǎng)絡(luò)鏈接狀態(tài)

圖4 網(wǎng)絡(luò)結(jié)構(gòu)拓?fù)鋱D

表1 網(wǎng)絡(luò)節(jié)點配置

3.2 結(jié)果仿真與性能分析

設(shè)置實驗網(wǎng)絡(luò)為高峰期擁堵狀態(tài)，部分節(jié)點之間無法直接進(jìn)行數(shù)據(jù)通信。為簡化實驗網(wǎng)絡(luò)，文中擁堵狀態(tài)網(wǎng)絡(luò)去掉部分節(jié)點間鏈接，只設(shè)置6個核心控制節(jié)點及輔助節(jié)點組成的網(wǎng)絡(luò)初始狀態(tài)均配置為可通信，鏈接狀態(tài)如圖4所示。為驗證模型中業(yè)務(wù)量對網(wǎng)絡(luò)節(jié)點服務(wù)器影響情況，實驗運(yùn)行算法策略仿真網(wǎng)絡(luò)之前，首先配置其輔助節(jié)點支持的服務(wù)分別為數(shù)據(jù)輕量級和數(shù)據(jù)重量級，比對這兩種數(shù)據(jù)服務(wù)支撐狀態(tài)可以驗證網(wǎng)絡(luò)優(yōu)化控制結(jié)構(gòu)設(shè)計有效性。仿真對比如圖5、圖6所示，可以看出，輔助節(jié)點支撐數(shù)據(jù)較重時給網(wǎng)絡(luò)帶來擁堵，時延較大，流量速率較低，數(shù)據(jù)處理能力衰減。

圖5 輔助節(jié)點服務(wù)調(diào)整前后延遲對比

圖6 輔助節(jié)點服務(wù)調(diào)整前后吞吐量對比

令r=0.8，∑p(st,a,st+1)=1時，實驗程序中函數(shù)經(jīng)過2443次循環(huán)運(yùn)算后得到的數(shù)據(jù)滿足程序設(shè)定條件，得到矩陣Q1；當(dāng)r=0.9，∑p(st,a,st+1)=1時，運(yùn)行4056次達(dá)到最優(yōu)，得到矩陣Q2。

定義Q/100×100%為各路徑上選擇權(quán)重比。仿真軟件中默認(rèn)權(quán)重系數(shù)初始值為10，程序循環(huán)運(yùn)行后得到新的權(quán)重系數(shù)，各路徑節(jié)點權(quán)重系數(shù)進(jìn)行重新分配，配置如表2所示。

運(yùn)行仿真程序，經(jīng)過多次改變環(huán)境參數(shù)運(yùn)行仿真得到的圖像大體類似。本文只給出兩組具有代表性的狀態(tài)，當(dāng)r=0.8和r=0.9時，仿真網(wǎng)絡(luò)中權(quán)重系數(shù)加入前后網(wǎng)絡(luò)負(fù)載變化及時延改變對比如圖7、圖8和圖9所示。

表2 服務(wù)器節(jié)點配置

圖7 Dyna觸發(fā)前后服務(wù)器吞吐量對比

從圖7和圖9可以看出，面對負(fù)載較大或者災(zāi)難時，普通網(wǎng)絡(luò)運(yùn)行中流量和時延抖動較大。在網(wǎng)絡(luò)觸發(fā)Dyna agent學(xué)習(xí)機(jī)制后，由于每條鏈路上加入了權(quán)重系數(shù)，網(wǎng)絡(luò)節(jié)點減少了無效的探索，從而減少流量和時間成本消耗，流量數(shù)據(jù)可以更有效到達(dá)服務(wù)器端。

圖8 Dyna觸發(fā)前后延遲對比

圖9 Dyna觸發(fā)前后平均時間服務(wù)器流量變化

4 結(jié) 語

提出基于Dyna gent的路由控制算法，通過節(jié)點周圍環(huán)境的反饋學(xué)習(xí)，制定出符合當(dāng)前環(huán)境的策略。從仿真結(jié)果可以看出，網(wǎng)絡(luò)觸發(fā)控制策略后處理能力得到增強(qiáng)，網(wǎng)絡(luò)延遲也有改善；并且隨著學(xué)習(xí)效率提升，服務(wù)器端接收速率明顯變大，網(wǎng)絡(luò)更容易達(dá)到最優(yōu)。

[1] Heller B,Sherwood R,McKeown N.The controller Placement problem[C]//Proceedings of the First Workshop on Hot Topics in Software Defined Networks.ACM,2012:7-12.

[2] Levin D,Wundsam A,Heller B,et al.Logically centralized?:state distribution trade-offs in software defined networks[J].Proceedings of the First Workshop on Hot Topics in Software Defined Networks,2012:1-6.

[3] Tootoonchian A,Ganjali Y.HyperFlow:a distributed control plane for OpenFlow[C]//Internet Network Management Conference on Research on Enterprise NETWORKING.2010:3-3.

[4] Dixit A,Hao F,Mukherjee S,et al.Towards an Elastic Distributed SDN Controller[J].ACM SIGCOMM Computer Communication Review,2013,43(4):7-12.

[5] Namal S,Ahmad I,Gurtov A,et al.SDN Based Inter-Technology Load Balancing Leveraged by Flow Admission Control[C]// Future Networks and Services (SDN4FNS),2013 IEEE SDN for.IEEE,2013:1-5.

[6] Zhang J J,Xi K,Luo M,et al.Load Balancing for Multiple Traffic Matrices Using SDN Hybrid Routing[C]// High Performance Switching and Routing (HPSR),2014 IEEE 15th International Conference on.IEEE,2014:44-49.

[7] Tian H Y,Zhang K,Ruan L,et al.Analysis and Optimization of CFS Scheduler on NUMA-Based Systems[M]// Emerging Technologies for Information Systems,Computing,and Management.New York:Springer,2013:181-189.

[8] Hsu Y P,Jiang W C,Lin H Y.A CMAC-Q-Learning based Dyna agent[C]// SICE Annual Conference.IEEE,2008:2946-2950.

[9] Hwang K S,Jiang W C,Chen Y J.Model learning and knowledge sharing for a multiagent system with Dyna-Q learning[J].Cybernetics,IEEE Transactions on,2015,45(5):978-990.

SDN CONTROL STRATEGY BASED ON DYNA AGENT ALGORITHM Zhu Guohui Li Chenguang Cheng Yu

(SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,Shaanxi,China)

A control strategy based on Dyna agent algorithm is proposed to improve resource utilization of network node.First step is to model the deployment of the network controller,then the controller do policy choice by using the environmental feedback which reacts to controller terminal network.Finally,analyze the changes of the node forwarding situation after learning this method,and reset the node option value.The simulation results show that this control strategy has better ability to deal with process nodes,larger throughput and smaller network delay compared with the general control strategy.

Software Defined Network Dynaagent Open Flow Control Strategy

2015-09-01。陜西省教育廳科學(xué)研究計劃項目(07JK 377)。朱國暉，副教授，主研領(lǐng)域：移動互聯(lián)網(wǎng)和路由算法。李晨光，碩士生。程宇，碩士生。

TP393

A

10.3969/j.issn.1000-386x.2016.11.021