基于強化學習的IPv6校園網(wǎng)雙棧流量調度方法

楊建 袁林德 劉磊

摘要：由于傳統(tǒng)方法在IPv6校園網(wǎng)雙棧流量調度應用中效果不佳，網(wǎng)絡吞吐率比較低，文章提出基于強化學習的IPv6校園網(wǎng)雙棧流量調度方法，利用無向圖建立IPv6校園網(wǎng)雙棧鏈路拓撲模型，描述雙棧鏈路負載均衡狀態(tài)，以負載均衡度最大化、雙棧鏈路路徑長度最小化為目標建立目標函數(shù)，利用強化學習網(wǎng)絡模型對目標函數(shù)求解，將最優(yōu)調度策略反饋到模型中執(zhí)行，以此實現(xiàn)基于強化學習的IPv6校園網(wǎng)雙棧流量調度。實驗證明，在設計方法應用下IPv6校園網(wǎng)吞吐量達到141.02 Gbps，在IPv6校園網(wǎng)雙棧流量調度具有良好的應用前景。

關鍵詞：強化學習；IPv6校園網(wǎng)；雙棧流量；吞吐率；無向圖

中圖分類號：TP393.2? 文獻標志碼：A

0 引言

隨著IPv6技術的不斷更新與完善，IPv6已經(jīng)被廣泛應用到校園網(wǎng)絡系統(tǒng)建設中，IPv6校園網(wǎng)具有高安全性、高靈活性、高彈性等特征，并且能夠同時使用IPv6和IPv4兩個網(wǎng)絡協(xié)議。IPv6校園網(wǎng)雙棧流量復雜多樣，流量種類也越來越多，IPv6校園網(wǎng)絡帶寬資源有限，如果IPv6校園網(wǎng)雙棧流量沒有得到合理調度，將會直接影響到校園網(wǎng)絡的吞吐能力，因此如何有效分配和調度雙棧流量，成為IPv6校園網(wǎng)面臨的主要難題。目前，IPv6校園網(wǎng)用戶對網(wǎng)絡性能要求越來越高，不僅要保證雙棧流量成本最低，而且還要保證雙棧流量吞吐率達到最大化，提高網(wǎng)絡帶寬利用率。但是國內關于網(wǎng)絡雙棧流量調度研究起步比較晚，相關技術與理論還不夠成熟與完善，技術水平還比較低，與發(fā)達國家相比存在較大的差距。雖然近幾年流量調度問題受到研究領域學者的重視與關注，相關學者與專家開展了一系列研究，提出了一些調度方法，但是現(xiàn)行的方法還存在一些缺陷，在實際應用中無法達到預期的調度效果。IPv6校園網(wǎng)吞吐率比較低，傳統(tǒng)方法已經(jīng)無法滿足實際需求，為此，本文提出基于強化學習的IPv6校園網(wǎng)雙棧流量調度方法。

1 建立IPv6校園網(wǎng)雙棧鏈路模型

此次將IPv6校園網(wǎng)雙棧流量調度問題轉變?yōu)橐粋€線性規(guī)劃問題，即流量在IPv6校園網(wǎng)中從不同的源節(jié)點流向不同的終節(jié)點問題，流量調度問題的目標是以最小損耗實現(xiàn)數(shù)據(jù)流在IPv6校園網(wǎng)中的流通，但是不能超過每個鏈路的承載能力［1］。利用無向圖建立IPv6校園網(wǎng)雙棧網(wǎng)絡拓撲模型，其用公式表示為：

G=（V，E）（1）

式中：G表示IPv6校園網(wǎng)雙棧網(wǎng)絡拓撲模型；V表示整個IPv6校園網(wǎng)拓撲中的雙棧鏈路；E表示所有節(jié)點，其中包括源節(jié)點和非源節(jié)點［2］。IPv6校園網(wǎng)雙棧流量調度問題，實際就是對現(xiàn)有網(wǎng)絡資源分配問題，保證校園網(wǎng)雙棧流量業(yè)務在運行環(huán)境下能夠穩(wěn)定運行［3］。要對校園網(wǎng)雙棧流量調度，首先需要了解校園網(wǎng)絡雙棧資源的使用情況，其計算公式為：

U=∑Ni=1xikizi（2）

式中：U表示IPv6校園網(wǎng)雙棧流量業(yè)務的整個切片資源占有率，即雙棧鏈路的資源使用率；i表示雙棧流量業(yè)務數(shù)量；N表示所有流量路徑集合；xi表示流量業(yè)務在切片中與其他業(yè)務資源占比；ki表示校園網(wǎng)絡流量業(yè)務請求；zi表示IPv6校園網(wǎng)中每條雙棧鏈路中的總帶寬資源［4］。根據(jù)校園網(wǎng)絡雙棧資源使用情況，確定IPv6校園網(wǎng)雙棧鏈路負載均衡狀態(tài)，其用公式表示為：

ε=∑maxU-minUu（3）

式中：ε表示IPv6校園網(wǎng)雙棧鏈路負載均衡狀態(tài)；maxU表示雙棧鏈路資源使用率最大值；minU表示雙棧鏈路資源使用率最小值；u表示IPv6校園網(wǎng)所有業(yè)務資源的集合［5］?？紤]到IPv6校園網(wǎng)雙棧流量是存在瞬時激增或者速減的，負載均衡狀態(tài)是不穩(wěn)定的，采用梯度更新的方式對IPv6校園網(wǎng)雙棧鏈路負載狀態(tài)進行更新，更新后的ε值越大，表示網(wǎng)絡雙棧鏈路資源分配越均勻，ε值越小，表示網(wǎng)絡雙棧鏈路資源分配越不均勻，根據(jù)確定的網(wǎng)絡雙棧鏈路負載均衡狀態(tài)，驅動雙棧流量調度優(yōu)化。

2 建立雙棧流量調度目標優(yōu)化函數(shù)

根據(jù)IPv6校園網(wǎng)流量資源調度需求，此次以IPv6校園網(wǎng)負載均衡度ε最大化、雙棧鏈路長度最小化為目標，建立兩個子目標函數(shù)，其用公式表示為：

maxε=∑i=1xi

minh=∑（d，j）∈V djμdj（4）

式中：minh表示IPv6校園網(wǎng)雙棧鏈路長度最小值；（d，j）表示節(jié)點d到節(jié)點j的雙棧鏈路；dj表示流量業(yè)務在雙棧鏈路（d，j）所占的流量比；μdj表示雙棧鏈路（d，j）的權重［6］。將以上兩個子目標函數(shù)整合為一個，由此可以建立雙棧流量調度目標優(yōu)化函數(shù)：

f（x）=maxε+minh（5）

式中：f（x）表示校園網(wǎng)雙棧流量調度目標優(yōu)化函數(shù)。

3 基于強化學習的目標函數(shù)求解

上文建立的目標函數(shù)存在無數(shù)個解，需要從眾多解中找出最優(yōu)解，此次采用強化學習技術對目標函數(shù)最優(yōu)解進行求取。根據(jù)實際情況建立強化學習網(wǎng)絡模型，該模型由強化學習智能體、記憶池組成，將強化學習網(wǎng)絡模型接入IPv6校園網(wǎng)雙棧鏈路模型，對其進行控制，具體流量調度過程如圖1所示。

如圖1所示，將雙棧鏈路模型描述得到的鏈路負載均衡狀態(tài)輸入強化學習智能體狀態(tài)空間，通過對目標函數(shù)最優(yōu)解求解，得出一個與狀態(tài)相應的動作［7］。強化學習網(wǎng)絡模型具有一定的學習能力，假設目標函數(shù)解集為M，解集中含有m個解，將每個解對應的狀態(tài)數(shù)據(jù)樣本作為訓練樣本，輸入強化學習智能體，對智能體進行訓練，在仿真環(huán)境中模擬流量，每次模擬要給出獎勵，在記憶池中設置獎勵函數(shù)，如果智能體模擬的雙棧鏈路滿足帶寬需求，對其進行獎勵，如果不符合帶寬需求，則不給予獎勵，其用公式表示為：

Reward=1-ρ，ifW=False

0，ifW=True（6）

式中：Reward表示獎勵函數(shù)；ρ表示獎勵系數(shù)；W表示本輪雙棧流量模擬是否結束；False表示結束；True表示繼續(xù)。根據(jù)實際情況，對智能體迭代次數(shù)設定，按照上述流程對智能體進行迭代訓練，對各個解進行模擬，當滿足迭代要求后，按照獎勵對目標函數(shù)解進行排序，輸出獎勵最多的解為最優(yōu)解，最能滿足IPv6校園網(wǎng)雙棧鏈路帶寬需求的流量調度策略，將其輸入上文建立的IPv6校園網(wǎng)雙棧鏈路模型，執(zhí)行調度策略，以此完成基于強化學習的IPv6校園網(wǎng)雙棧流量調度。

4 實驗論證

4.1 實驗準備與設計

為了檢驗本次提出的基于強化學習的IPv6校園網(wǎng)雙棧流量調度方法的可行性與可靠性，選擇某IPv6校園網(wǎng)為實驗對象，該校園網(wǎng)由5臺主機、5臺路由器構成，網(wǎng)絡支持IPv6協(xié)議棧，利用本文設計方法對該IPv6校園網(wǎng)雙棧流量調度，并選擇兩種傳統(tǒng)方法作為對比，兩種傳統(tǒng)方法分別為基于遺傳算法和基于螞蟻算法，以下用傳統(tǒng)方法1與傳統(tǒng)方法2表示。實驗令IPv6校園網(wǎng)生成7條雙棧鏈路，由100名網(wǎng)絡用戶向網(wǎng)絡發(fā)送數(shù)據(jù)傳輸請求，請求發(fā)送頻率為1.26 Hz，數(shù)據(jù)傳輸總量為2 000 Byte，按照上文建立雙棧鏈路模型以及雙棧流量調度目標函數(shù)，并利用強化學習對目標函數(shù)求解，執(zhí)行最優(yōu)流量調度策略。在設計方法應用下所有網(wǎng)絡請求都得到響應，設計方法可以完成IPv6校園網(wǎng)雙棧流量調度任務，以下對具體調度效果進行檢驗。

4.2 實驗結果討論

實驗以網(wǎng)絡吞吐率作為3種方法調度性能評價指標，其中網(wǎng)絡吞吐率可以反映網(wǎng)絡請求處理能力，其計算公式為：

g=cv×100%（7）

式中：g表示IPv6校園網(wǎng)吞吐率；c表示網(wǎng)絡流量總請求數(shù)量；v表示流量請求處理總完成時間。根據(jù)實驗網(wǎng)絡配置情況，單個鏈路吞吐率不應低于12.5 Gbps。實驗將其作為檢驗標準，使用上述公式計算出校園網(wǎng)各個雙棧鏈路流量吞吐率，使用電子表格對實驗數(shù)據(jù)記錄，具體數(shù)據(jù)如表1所示。

從上表中數(shù)據(jù)可以看出，在設計方法應用下IPv6校園網(wǎng)流量吞吐率相對比較高，總吞吐率為141.02 Gbps，單個鏈路最大吞吐率為20.48 Gbps，遠超出規(guī)定要求，說明設計方法流量調度效果良好，網(wǎng)絡的請求處理能力得到有效保證；而在兩種傳統(tǒng)方法應用下IPv6校園網(wǎng)吞吐率相對比較低，傳統(tǒng)方法1與傳統(tǒng)方法2總吞吐率分別為74.56，76.51 Gbps，單個鏈路最高吞吐率分別為11.14，11.25 Gbps，不僅低于最小限值，而且還遠遠低于設計方法。因此本次實驗證明，設計方法流量調度效果優(yōu)于傳統(tǒng)方法，相比較傳統(tǒng)方法更適應于IPv6校園網(wǎng)雙棧流量調度。

5 結語

針對現(xiàn)行方法存在的不足與缺陷，本文參考相關文獻，將強化學習技術應用到IPv6校園網(wǎng)雙棧流量調度中，提出了一個全新的調度思路，有效提高了IPv6校園網(wǎng)吞吐率，實現(xiàn)了對傳統(tǒng)方法的優(yōu)化與創(chuàng)新，豐富了IPv6校園網(wǎng)雙棧流量調度理論。由于本文提出的方法尚未在實際中得到大量應用與實踐，在某些方面可能存在一些不足之處，今后會在方法優(yōu)化設計方面展開探究，為IPv6校園網(wǎng)雙棧流量調度提供有力的理論支撐。

參考文獻

［1］王波，高文煒，徐丹妮，等.一種基于NeSTiNg的TSN強實時流量調度和自動配置方法［J］.微電子學與計算機，2022（11）：62-68.

［2］聶宏蕊，李紹勝，劉勇.時間敏感網(wǎng)絡中基于IEEE 802.1Qch標準的優(yōu)化調度機制［J］.通信學報，2022（9）：12-26.

［3］肖漫漫，劉驥琛，李艷麗，等.軟件定義廣域網(wǎng)中基于IPv6分段路由的雙棧流量調度算法［J］.重慶大學學報，2022（9）：115-125.

［4］沙宗軒，霍如，孫闖，等.基于深度強化學習的轉發(fā)效能感知流量調度算法［J］.通信學報，2022（8）：30-40.

［5］甘浩宇，陳立豐，郭娘容，等.基于強化學習的5GURLLC承載網(wǎng)切片流量調度優(yōu)化［J］.電腦知識與技術，2022（13）：9-13.

［6］馬樞清，唐宏，李藝，等.基于粒子群優(yōu)化算法的數(shù)據(jù)中心網(wǎng)絡流量調度策略［J］.電訊技術，2021（7）：865-871.

［7］李宏慧，李煒東，付學良.基于多層虛擬拓撲節(jié)能的SDN數(shù)據(jù)中心網(wǎng)絡流量調度算法［J］.計算機應用與軟件，2021（4）：124-131.

（編輯 王雪芬）

Dual-stack traffic scheduling method of IPv6 campus network based on reinforcement learning

Yang? Jian， Yuan? Linde， Liu? Lei

（Xian Conservatory of Music， Xian 710061， China）

Abstract：? Because the traditional method is not effective in dual-stack traffic scheduling application of IPv6 campus network and the network throughput is relatively low， a dual-stack traffic scheduling method of IPv6 campus network based on reinforcement learning is proposed. The dual-stack link topology model of IPv6 campus network was established by using undirected graph to describe the load balancing state of dual-stack link. The objective function was established by maximizing the load balancing degree and minimizing the path length of dual-stack link. The objective function was solved by using the reinforcement learning network model， and the optimal scheduling strategy was fed back into the model for execution. In this way， the dual stack traffic scheduling of IPv6 campus network based on reinforcement learning is realized. The experimental results show that the throughput of IPv6 campus network reaches 141.02 Gbps under the design method， which has a good application prospect in dual-stack traffic scheduling of IPv6 campus network.

Key words： reinforcement learning; IPv6 campus network; double stack flow; throughput rate; undirected graph