基于深度強(qiáng)化學(xué)習(xí)的SDN校園網(wǎng)設(shè)計(jì)與實(shí)現(xiàn)

王玉婷 谷廣兵 孫雨霏 盧勇

摘? 要：隨著校園網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)規(guī)模及復(fù)雜性不斷增加，對(duì)網(wǎng)絡(luò)架構(gòu)及數(shù)據(jù)轉(zhuǎn)發(fā)策略都提出了新的要求。作為一種新的網(wǎng)絡(luò)架構(gòu)，軟件定義網(wǎng)絡(luò)（SDN）將控制面和數(shù)據(jù)面分離，使其具有比傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)更靈活的網(wǎng)絡(luò)調(diào)度能力和更好的發(fā)展應(yīng)用前景。為了適應(yīng)校園網(wǎng)絡(luò)發(fā)展的需要，文章提出了一種基于SDN架構(gòu)的校園網(wǎng)絡(luò)設(shè)計(jì)。在新的網(wǎng)絡(luò)架構(gòu)中引入SDN控制器，控制器中采用深度強(qiáng)化學(xué)習(xí)算法，全面考慮網(wǎng)絡(luò)狀態(tài)，選擇最佳數(shù)據(jù)傳輸路徑，從而最終實(shí)現(xiàn)校園網(wǎng)性能提升。

關(guān)鍵詞：校園網(wǎng)；軟件定義網(wǎng)絡(luò)；深度強(qiáng)化學(xué)習(xí)；網(wǎng)絡(luò)性能

中圖分類號(hào)：TP311? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：2096-4706（2023）07-0098-04

Abstract： With the development of campus network technology， the scale and the complexity of the network are increasing， which propose new requirements of the network architecture and data transmission strategy. Software Defined Network （SDN）， as a new type of network architecture， separates the control plane from the data plane， and makes it have a more flexible network scheduling ability than the traditional network structure and better development and application prospects. In order to meet the needs of campus network development， this paper proposes a campus network design based on the SDN architecture， introduces SDN controller into the new network structure， and uses the Deep Reinforcement Learning algorithm in the controller. It comprehensively considers the network status and selects the best data transmission path to improve the network performance finally.

Keywords： campus network; SDN; Deep Reinforcement Learning; network performance

0? 引? 言

校園網(wǎng)是學(xué)校信息化的基礎(chǔ)，由于網(wǎng)絡(luò)技術(shù)的不斷發(fā)展及校園智能化建設(shè)的不斷推進(jìn)，校園網(wǎng)承載著越來(lái)越多的設(shè)備數(shù)量、用戶規(guī)模和業(yè)務(wù)種類，必然帶來(lái)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜化以及對(duì)網(wǎng)絡(luò)性能提出更高的要求，傳統(tǒng)技術(shù)已經(jīng)難以適應(yīng)新的網(wǎng)絡(luò)需求，同時(shí)也為校園網(wǎng)的維護(hù)帶來(lái)了新的挑戰(zhàn)。為了解決傳統(tǒng)校園網(wǎng)絡(luò)中存在的弊端以及無(wú)法適應(yīng)新需求的問題，在校園網(wǎng)中引入將控制平面與數(shù)據(jù)轉(zhuǎn)發(fā)平面分離的新型網(wǎng)絡(luò)架構(gòu)——軟件定義網(wǎng)絡(luò)（Software Defined Network， SDN）。網(wǎng)絡(luò)設(shè)備（如路由器、交換機(jī)等）在新的網(wǎng)絡(luò)架構(gòu)中僅對(duì)數(shù)據(jù)包進(jìn)行快速匹配轉(zhuǎn)發(fā)，而控制平面的設(shè)備能夠掌握網(wǎng)絡(luò)整體情況，并根據(jù)策略對(duì)網(wǎng)絡(luò)進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)網(wǎng)絡(luò)全局優(yōu)化。

本文以SDN網(wǎng)絡(luò)作為校園網(wǎng)基本架構(gòu)，通過(guò)控制平面集中獲取網(wǎng)絡(luò)狀態(tài)信息，并采取深度強(qiáng)化學(xué)習(xí)算法，綜合考慮網(wǎng)絡(luò)架構(gòu)及各鏈路情況，優(yōu)化數(shù)據(jù)包轉(zhuǎn)發(fā)路徑，滿足用戶多樣要求，提升網(wǎng)絡(luò)性能，實(shí)現(xiàn)校園網(wǎng)智能化部署。

1? 軟件定義網(wǎng)絡(luò)框架

軟件定義網(wǎng)絡(luò)是由美國(guó)斯坦福大學(xué)Clean-Slate課題研究組最先提出[1]，該網(wǎng)絡(luò)為一種新型網(wǎng)絡(luò)創(chuàng)新架構(gòu)，實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化。SDN網(wǎng)絡(luò)重新構(gòu)建了網(wǎng)絡(luò)架構(gòu)，在傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)中是通過(guò)分布式控制來(lái)實(shí)現(xiàn)數(shù)據(jù)調(diào)配，而新的網(wǎng)絡(luò)架構(gòu)中則采用了集中式控制來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)調(diào)配。

傳統(tǒng)校園網(wǎng)絡(luò)框架如圖1所示，該結(jié)構(gòu)下采用的是分布式控制實(shí)現(xiàn)數(shù)據(jù)調(diào)配，每臺(tái)設(shè)備獨(dú)立收集網(wǎng)絡(luò)信息并根據(jù)運(yùn)行的網(wǎng)絡(luò)協(xié)議（如OSPF、RIP協(xié)議等）進(jìn)行獨(dú)立計(jì)算，選擇各自的路徑。傳統(tǒng)校園網(wǎng)絡(luò)架構(gòu)需要在每個(gè)網(wǎng)元設(shè)備上布置策略來(lái)實(shí)現(xiàn)，每個(gè)網(wǎng)元設(shè)備需要收集當(dāng)前網(wǎng)絡(luò)狀態(tài)再依據(jù)策略進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，對(duì)大型網(wǎng)絡(luò)的流量策略進(jìn)行調(diào)整時(shí)存在靈活度不足的問題，傳統(tǒng)網(wǎng)絡(luò)協(xié)議（如IGP、BGP等）在實(shí)現(xiàn)層面上較為復(fù)雜，且協(xié)議受限于設(shè)備廠家，造成網(wǎng)絡(luò)運(yùn)維成本大，網(wǎng)絡(luò)升級(jí)速度慢，甚至可能會(huì)存在不同廠家設(shè)備無(wú)法兼容。

SDN網(wǎng)絡(luò)架構(gòu)的出現(xiàn)使用可以很好地解決傳統(tǒng)校園網(wǎng)絡(luò)架構(gòu)存在的問題，為校園網(wǎng)設(shè)備的策略管理和運(yùn)維帶來(lái)便利?；赟DN的校園網(wǎng)架構(gòu)如圖2所示，網(wǎng)絡(luò)分為應(yīng)用、控制及數(shù)據(jù)平面，控制器通過(guò)南向接口收集網(wǎng)絡(luò)整體信息并制定數(shù)據(jù)策略，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的集中管理控制。數(shù)據(jù)平面由只負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)發(fā)的網(wǎng)絡(luò)設(shè)備構(gòu)成，僅執(zhí)行由控制器確定的數(shù)據(jù)轉(zhuǎn)發(fā)。在應(yīng)用平面可以引入第三方應(yīng)用，通過(guò)設(shè)置的開放接口將新應(yīng)用運(yùn)用在控制器中，以編程的方式來(lái)實(shí)現(xiàn)新的網(wǎng)絡(luò)功能，實(shí)現(xiàn)網(wǎng)絡(luò)能力開放化應(yīng)用。通過(guò)控制器集中算法的優(yōu)化更新實(shí)現(xiàn)靈活分配網(wǎng)絡(luò)資源，滿足業(yè)務(wù)的各項(xiàng)需求如QoS、時(shí)延等，從而達(dá)到最優(yōu)化網(wǎng)絡(luò)配置的目的。該網(wǎng)絡(luò)架構(gòu)有效解決傳統(tǒng)架構(gòu)中不同廠家設(shè)備之間的兼容問題，并可以進(jìn)一步引入云平臺(tái)等技術(shù)，更好地提升網(wǎng)絡(luò)性能。

2? 控制器算法——深度強(qiáng)化學(xué)習(xí)

在基于SDN的校園網(wǎng)絡(luò)中控制器實(shí)現(xiàn)網(wǎng)絡(luò)信息收集并確定網(wǎng)絡(luò)數(shù)據(jù)調(diào)度規(guī)則，控制器運(yùn)行算法直接影響網(wǎng)絡(luò)數(shù)據(jù)調(diào)度性能，對(duì)校園網(wǎng)性能產(chǎn)生影響。本文使用深度強(qiáng)化學(xué)習(xí)作為控制器中使用算法，該算法根據(jù)網(wǎng)絡(luò)狀態(tài)及激勵(lì)來(lái)選擇合適的策略，從而達(dá)到最大化網(wǎng)絡(luò)性能的目標(biāo)。

深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning， DRL）是將具有感知能力的深度學(xué)習(xí)（Deep Learning， DL）和具有決策能力的強(qiáng)化學(xué)習(xí)（Reinforcement Learning， RL）相結(jié)合[2]，目前已在眾多領(lǐng)域有著廣泛應(yīng)用如游戲、機(jī)器人控制、機(jī)器視覺等。DRL是一種端到端的感知系統(tǒng)，能夠應(yīng)用在多種環(huán)境中[3]，原理框架如圖3所示。工作原理為：

1）在時(shí)刻t智能體（agent）與環(huán)境（environment）進(jìn)行交互，得到當(dāng)前的狀態(tài)（state）。

2）動(dòng)作（action）的價(jià)值函數(shù)（value）是基于預(yù)期回報(bào)來(lái)作為評(píng)價(jià)，并通過(guò)相應(yīng)策略選擇該狀態(tài)下執(zhí)行的動(dòng)作。

3）執(zhí)行動(dòng)作后，環(huán)境產(chǎn)生相應(yīng)變化，并進(jìn)入下一觀察狀態(tài)。

重復(fù)以上過(guò)程直至達(dá)到目標(biāo)的最優(yōu)策略。

本文基于SDN校園網(wǎng)控制器算法使用的是深度強(qiáng)化學(xué)習(xí)中的值函數(shù)法，該算法是深度強(qiáng)化學(xué)習(xí)的一個(gè)重要分支，通過(guò)對(duì)執(zhí)行策略進(jìn)行賦值（即Q函數(shù)），Q函數(shù)為狀態(tài)-動(dòng)作價(jià)值函數(shù)，即在某一狀態(tài)s采取某一動(dòng)作a，假設(shè)一直使用同一個(gè)策略π，得到的累計(jì)激勵(lì)的期望值[4]。通過(guò)Q值對(duì)策略進(jìn)行評(píng)估，每一個(gè)新的策略會(huì)相應(yīng)得到一個(gè)Q值，當(dāng)Q值越大，則標(biāo)明該策略執(zhí)行得到的效果越好，同時(shí)該策略被執(zhí)行的可能性也越高，同時(shí)也可以以該函數(shù)來(lái)表示agent從初始到終止整個(gè)過(guò)程中所能獲取的獎(jiǎng)勵(lì)值，并以獎(jiǎng)勵(lì)值的期望函數(shù)來(lái)表示狀態(tài)值函數(shù)。

3? 系統(tǒng)設(shè)計(jì)

3.1? 基于SDN的校園網(wǎng)絡(luò)設(shè)計(jì)

校園網(wǎng)不同于一般的網(wǎng)絡(luò)，其具有數(shù)據(jù)流量大、時(shí)間周期性強(qiáng)的特點(diǎn)，如教學(xué)樓、辦公樓區(qū)域在白天工作時(shí)間網(wǎng)絡(luò)流量增長(zhǎng)明顯，學(xué)生公寓一般在中午或晚上休息時(shí)間段網(wǎng)絡(luò)流量大幅度增長(zhǎng)[5]。同時(shí)在某些特定時(shí)間段內(nèi)網(wǎng)絡(luò)流量呈現(xiàn)爆發(fā)式增長(zhǎng)，如開學(xué)選課或世界杯期間等時(shí)間段內(nèi)公寓網(wǎng)絡(luò)流量突發(fā)性增加。為適應(yīng)校園網(wǎng)個(gè)性化網(wǎng)絡(luò)特點(diǎn)，提出基于SDN的校園網(wǎng)絡(luò)如圖4所示，圖中實(shí)線表示網(wǎng)絡(luò)數(shù)據(jù)傳輸路線，虛線表示網(wǎng)絡(luò)控制路線。校園網(wǎng)根據(jù)使用場(chǎng)景分為教學(xué)、辦公、公寓及圖書館四個(gè)區(qū)域，每個(gè)場(chǎng)景對(duì)網(wǎng)絡(luò)的要求不同，網(wǎng)絡(luò)中控制平面與轉(zhuǎn)發(fā)平面分離。SDN控制器可以獲取全局網(wǎng)絡(luò)結(jié)構(gòu)和鏈路情況，綜合考慮網(wǎng)絡(luò)狀態(tài)信息，并能根據(jù)校園網(wǎng)的不同特點(diǎn)及不同場(chǎng)景流量變化需求，統(tǒng)一進(jìn)行計(jì)算和網(wǎng)絡(luò)資源調(diào)配，實(shí)現(xiàn)網(wǎng)絡(luò)資源最優(yōu)化利用，從而在策略上最優(yōu)化配置網(wǎng)絡(luò)完成對(duì)校園網(wǎng)中不同區(qū)域資源的調(diào)配。SDN交換機(jī)根據(jù)SDN控制器的轉(zhuǎn)發(fā)策略，更新轉(zhuǎn)發(fā)規(guī)則，依據(jù)確定的網(wǎng)絡(luò)策略進(jìn)行數(shù)據(jù)鏈路轉(zhuǎn)發(fā)，數(shù)據(jù)轉(zhuǎn)發(fā)效率更高。

3.2? 算法設(shè)計(jì)

SDN校園網(wǎng)部署中SDN控制器采用深度強(qiáng)化學(xué)習(xí)算法優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)策略，綜合考慮網(wǎng)絡(luò)中的數(shù)據(jù)指標(biāo)，包括鏈路傳輸速率等，對(duì)獲取的網(wǎng)絡(luò)信息綜合考慮，在此基礎(chǔ)上形成適合該網(wǎng)絡(luò)狀態(tài)的數(shù)據(jù)策略。

本文中以SDN控制器為中心，動(dòng)態(tài)捕捉網(wǎng)絡(luò)內(nèi)性能變化，并考慮網(wǎng)絡(luò)處理能力，目標(biāo)為實(shí)現(xiàn)網(wǎng)絡(luò)的集中控制，優(yōu)化網(wǎng)絡(luò)整體性能。該優(yōu)化算法的參數(shù)表達(dá)式為{A， S， R}，其中A為動(dòng)作集，S為狀態(tài)集，R為獎(jiǎng)勵(lì)函數(shù)。

動(dòng)作集A表示在當(dāng)前狀態(tài)情況下該網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)發(fā)路徑選擇，即當(dāng)前的網(wǎng)絡(luò)狀態(tài)如何進(jìn)行數(shù)據(jù)傳輸?shù)穆窂竭x擇，實(shí)現(xiàn)狀態(tài)到動(dòng)作的映射。

A={ai}

其中ai是源交換機(jī)i到達(dá)目標(biāo)的路徑及其反向路徑的集合[6]，比如交換機(jī)i根據(jù)當(dāng)前的網(wǎng)絡(luò)狀態(tài)進(jìn)行選擇，在可供選擇的3條路徑中匹配路徑進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)。

狀態(tài)集S集合了t時(shí)間段內(nèi)Δt內(nèi)的所有網(wǎng)絡(luò)信息，表征當(dāng)前的網(wǎng)絡(luò)情況，為策略的選擇提供重要的參考依據(jù)。

St={rt （ei， j）}

其中rt （ei， j）表示在Δt時(shí)間段內(nèi)交換機(jī)i經(jīng)鏈路ei， j發(fā)送到交換機(jī)j的傳輸速率，傳輸速率為網(wǎng)絡(luò)內(nèi)數(shù)據(jù)傳輸與信息處理速度的重要指標(biāo)量，且單一的狀態(tài)信息可以減少獲取狀態(tài)的時(shí)間。

獎(jiǎng)勵(lì)函數(shù)R為該算法的目標(biāo)，控制器通過(guò)獎(jiǎng)勵(lì)值判斷策略執(zhí)行效果，從而進(jìn)一步優(yōu)化策略。如果該動(dòng)作執(zhí)行的結(jié)果即為目標(biāo)則給予固定的正向獎(jiǎng)勵(lì)值，若執(zhí)行結(jié)果為非目標(biāo)則給予負(fù)向獎(jiǎng)勵(lì)值。

該算法的實(shí)現(xiàn)過(guò)程如下所示：

1）構(gòu)建SDN網(wǎng)絡(luò)，并發(fā)現(xiàn)網(wǎng)絡(luò)信息；

2）初始化各項(xiàng)參數(shù)；

3）對(duì)于每一個(gè)回合；

4）每一個(gè)時(shí)間t；

5）對(duì)于給定的狀態(tài)st，基于Q（ε-貪心）算法得到動(dòng)作at；

6）對(duì)于（st，at）獲得反饋rt，并由此得到新的狀態(tài)st+1；

7）將（st，at，rt，st+1）存儲(chǔ)到緩沖區(qū)域中；

8）以經(jīng)驗(yàn)驅(qū)動(dòng)方式隨機(jī)從緩沖區(qū)中抽樣（sj，aj，rj，sj+1）；

9）非終止?fàn)顟B(tài)計(jì)算目標(biāo)Q值

10）更新目標(biāo)Q值的所有參數(shù)，使得目標(biāo)網(wǎng)絡(luò)參數(shù)等于當(dāng)前網(wǎng)絡(luò)參數(shù)；

11）算法結(jié)束。

4? 實(shí)驗(yàn)與結(jié)果

4.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)使用Mininet作為網(wǎng)絡(luò)仿真平臺(tái)[7]搭建SDN校園網(wǎng)絡(luò)，控制器采用RYU，在控制器上實(shí)現(xiàn)基于深度強(qiáng)化算法的數(shù)據(jù)轉(zhuǎn)發(fā)策略，操作系統(tǒng)為Ubuntu 16.04。實(shí)驗(yàn)網(wǎng)絡(luò)拓?fù)淙鐖D5所示，其中c0為集中控制器采用深度強(qiáng)化學(xué)習(xí)，掌握網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及各鏈路數(shù)據(jù)傳輸速率等，集中管理整個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)傳輸路徑選擇，s1～s4為核心層交換機(jī)，s5～s10為接入交換機(jī)，h2是校園網(wǎng)的服務(wù)器，h1、h3～h12為接入主機(jī)，虛線為控制傳輸線路，實(shí)線為數(shù)據(jù)傳輸線路。網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)為UDP數(shù)據(jù)包，其中TTL=64。

4.2? 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)主要測(cè)試在圖5所示的SDN網(wǎng)絡(luò)中h2到h1、h3～h12的數(shù)據(jù)傳輸情況，c0控制器上采用基于深度強(qiáng)化學(xué)習(xí)策略。Mininet中通過(guò)python語(yǔ)句生成網(wǎng)絡(luò)拓?fù)鋱D，SDN交換機(jī)鏈接至RYU控制器，從圖6所示結(jié)果可以看出可以按照實(shí)驗(yàn)要求搭建所需網(wǎng)絡(luò)結(jié)構(gòu)，并能在網(wǎng)絡(luò)節(jié)點(diǎn)間進(jìn)行數(shù)據(jù)傳輸。

圖7是采用深度強(qiáng)化學(xué)習(xí)算法的SDN校園網(wǎng)主機(jī)h2到h1至h3～h12的傳輸時(shí)延，通過(guò)c0控制器部署的方案，根據(jù)網(wǎng)絡(luò)的需要進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，從數(shù)據(jù)結(jié)果可以看出網(wǎng)絡(luò)節(jié)點(diǎn)之間互相連通，并可以通過(guò)集中控制算法實(shí)現(xiàn)對(duì)各節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)發(fā)，完成對(duì)整個(gè)校園網(wǎng)的連通。

5? 結(jié)? 論

本文在傳統(tǒng)校園網(wǎng)網(wǎng)絡(luò)框架中引入SDN技術(shù)，網(wǎng)絡(luò)中控制平面與數(shù)據(jù)平面分離，控制器中采用深度強(qiáng)化學(xué)習(xí)算法，針對(duì)網(wǎng)絡(luò)狀態(tài)進(jìn)行有效建模，有效實(shí)現(xiàn)網(wǎng)絡(luò)部署的自動(dòng)化。該方案克服了硬件的限制，更有利于校園網(wǎng)的維護(hù)和管理，同時(shí)控制器的算法開發(fā)，可以根據(jù)校園網(wǎng)情況進(jìn)行精確分配，使得網(wǎng)絡(luò)數(shù)據(jù)管理更加精細(xì)，對(duì)于大型網(wǎng)絡(luò)有效節(jié)約管理成本，滿足校園網(wǎng)智能化管理的需求。

參考文獻(xiàn)：

[1] 萬(wàn)昕.關(guān)于SDN如何解決傳統(tǒng)網(wǎng)絡(luò)問題的探究 [J].江西通信科技，2013（2）：11-13.

[2] 董瑤，葛瑩瑩，郭鴻湧，等.基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人路徑規(guī)劃 [J].計(jì)算機(jī)工程與應(yīng)用，2019，55（13）：15-19+157.

[3] 陳建平，周鑫，傅啟明，等.基于二階時(shí)序差分誤差的雙網(wǎng)絡(luò)DQN算法 [J].計(jì)算機(jī)工程，2020，46（5）：78-85+93.

[4] 周志華.機(jī)器學(xué)習(xí) [M].北京：清華大學(xué)出版社，2016：371-390.

[5] 雷翔宇，王苓，張曉敏，等.高校校園網(wǎng)SDN部署研究與實(shí)現(xiàn) [J].信息系統(tǒng)工程，2019（3）：130-132.

[6] 丁懷寶.一種基于深度強(qiáng)化學(xué)習(xí)的SDN路由算法 [J].上海師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，50（1）：128-132.

[7] 楊俊東，尹強(qiáng)，張碩.基于Mininet的SDN仿真與性能分析 [J].信息通信，2017（3）：189-191.

作者簡(jiǎn)介：王玉婷（1991—），女，漢族，安徽池州人，助教，碩士，研究方向：大數(shù)據(jù)技術(shù)、5G技術(shù)。