基于安全感知的網(wǎng)絡(luò)切片部署策略

吳 玄， 姬偉峰， 翁 江， 李映岐， 申秀雨， 孫 巖

(1.空軍工程大學(xué)信息與導(dǎo)航學(xué)院，西安,710077;2.95007部隊(duì)，廣州,510080)

5G旨在使用相同的網(wǎng)絡(luò)基礎(chǔ)設(shè)施為每個(gè)垂直行業(yè)提供定制業(yè)務(wù)需求，實(shí)現(xiàn)“萬(wàn)物互聯(lián)”的愿景[1]。為滿足不同垂直行業(yè)的業(yè)務(wù)需求，提出了網(wǎng)絡(luò)切片(network slicing ,NS)的概念，網(wǎng)絡(luò)切片由多個(gè)異構(gòu)虛擬網(wǎng)絡(luò)構(gòu)成，能夠同時(shí)為多用戶提供端到端定制化的虛擬網(wǎng)絡(luò)服務(wù)。但網(wǎng)絡(luò)切片在部署時(shí)，存在一系列安全問(wèn)題，例如惡意節(jié)點(diǎn)對(duì)共享資源的網(wǎng)絡(luò)切片發(fā)動(dòng)側(cè)信道攻擊、存在漏洞的終端設(shè)備容易遭受底層網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)切片服務(wù)在分布式拒絕服務(wù)攻擊中變成中間跳板。同時(shí)，每個(gè)網(wǎng)絡(luò)切片實(shí)例(network slice instance , NSI)都有資源配額，惡意用戶可能會(huì)試圖濫用資源配額，從而中斷該切片的服務(wù)[2]。因此，網(wǎng)絡(luò)切片安全部署策略研究對(duì)5G網(wǎng)絡(luò)應(yīng)用具有重要現(xiàn)實(shí)意義。

網(wǎng)絡(luò)切片安全部署本質(zhì)上是對(duì)NSI中的虛擬網(wǎng)絡(luò)功能(virtual network f unction, VNF)進(jìn)行部署與編排[3]。文獻(xiàn)[4]提出了5G網(wǎng)絡(luò)切片安全信任部署策略，采用網(wǎng)絡(luò)切片安全部署的啟發(fā)式算法有效解決了網(wǎng)絡(luò)切片信任中的隨機(jī)性、模糊性以及不確定性問(wèn)題；文獻(xiàn)[5]提出了基于信息熵的安全感知虛擬網(wǎng)絡(luò)映射算法，利用信息熵TOPSIS(technique for order preference by similarity to an ideal solution)對(duì)物理節(jié)點(diǎn)的重要性進(jìn)行排序，以部署成本作為最小優(yōu)化目標(biāo)，在長(zhǎng)期平均收益、長(zhǎng)期收益成本比與運(yùn)行時(shí)長(zhǎng)方面取得了較好的效果；文獻(xiàn)[6]提出了一種基于全局資源能力(global resource capacity)的虛擬網(wǎng)絡(luò)映射算法，該算法通過(guò)考慮節(jié)點(diǎn)的資源屬性和全局拓?fù)鋵傩詫?duì)節(jié)點(diǎn)部署進(jìn)行優(yōu)化，并采用蒙特卡洛算法求解映射結(jié)果獲得了更高的請(qǐng)求接受率與部署收益；文獻(xiàn)[7]提出了一種基于強(qiáng)化學(xué)習(xí)的虛擬網(wǎng)絡(luò)映射算法(virtual network Embedding-Reinforcement learning, VNE-RL)，該算法未考慮部署過(guò)程中節(jié)點(diǎn)與鏈路的安全因素，根據(jù)節(jié)點(diǎn)的重要性程度進(jìn)行排序與映射，在長(zhǎng)期收益成本比與算法效率上得到了較好的提升，但其對(duì)全局資源感知程度不高;文獻(xiàn)[8]提出了一種基于強(qiáng)化學(xué)習(xí)的安全虛擬網(wǎng)絡(luò)映射算法(security virtual network embedding-Reinforcement learning, SVNE-RL)，該算法考慮了節(jié)點(diǎn)的安全因素，利用強(qiáng)化學(xué)習(xí)求解節(jié)點(diǎn)映射過(guò)程，在長(zhǎng)期平均收益、長(zhǎng)期收益消耗率與請(qǐng)求接受率方面提升較大，但該算法未考慮鏈路安全約束條件，且對(duì)節(jié)點(diǎn)的安全性考慮不夠充分。

目前網(wǎng)絡(luò)切片部署的安全需求主要考慮節(jié)點(diǎn)的安全因素與資源的重要性程度，未考慮到鏈路對(duì)網(wǎng)絡(luò)切片部署過(guò)程中的影響。并且部署方法主要采用啟發(fā)式算法與強(qiáng)化學(xué)習(xí)方法，但傳統(tǒng)的啟發(fā)式算法易陷入局部最優(yōu)解[9]，無(wú)法感知底層物理資源變化情況，導(dǎo)致資源利用率低，而強(qiáng)化學(xué)習(xí)算法，存在評(píng)價(jià)策略時(shí)效率較低且方差較大等問(wèn)題。

針對(duì)網(wǎng)絡(luò)切片部署的安全需求與部署方法存在的問(wèn)題，本文提出了一種基于強(qiáng)化學(xué)習(xí)的安全感知網(wǎng)絡(luò)切片部署策略(security aware network slicing-reinforcement learning , SANS-RL)。在部署過(guò)程中利用安全等級(jí)與安全需求有效量化分析VNF和鏈路的安全性，采用帶有基線算法的強(qiáng)化學(xué)習(xí)方法，對(duì)物理節(jié)點(diǎn)的安全性進(jìn)行排序，實(shí)現(xiàn)對(duì)安全等級(jí)較高VNF的優(yōu)先部署與重點(diǎn)保護(hù)。實(shí)驗(yàn)仿真表明本文所提出的SANS-RL策略比GRC、VNE-RL與SVNE-RL映射效率更高，同時(shí)保證了網(wǎng)絡(luò)切片部署過(guò)程中的性能與安全需求。

1. 網(wǎng)絡(luò)切片部署模型

1.1 安全部署需求描述

NSI是一個(gè)專用的虛擬網(wǎng)絡(luò)，VNF按照一定約束順序組成服務(wù)功能鏈(service function chain , SFC)，不同SFC組合構(gòu)成NSI，物理網(wǎng)絡(luò)為NSI提供服務(wù)資源。NSI到物理網(wǎng)絡(luò)的映射過(guò)程稱為網(wǎng)絡(luò)切片實(shí)例部署，即將VNF映射到物理節(jié)點(diǎn)上，將虛擬鏈路映射到一組物理鏈路上[10]，圖1為網(wǎng)絡(luò)切片部署示意圖。

圖1 網(wǎng)絡(luò)切片部署示意圖

為了量化與描述網(wǎng)絡(luò)切片的安全需求，引入安全等級(jí)這一概念。安全等級(jí)表示抽象的保護(hù)標(biāo)準(zhǔn)，由5G網(wǎng)絡(luò)運(yùn)營(yíng)商分配，安全等級(jí)越高，其提供的安全機(jī)制越多。例如，支持?jǐn)?shù)據(jù)加密和數(shù)字簽名的物理節(jié)點(diǎn)將被分配更高的安全等級(jí)。因此，某些特殊的需求會(huì)被分配到同等或更高安全級(jí)別的資源上。

基于以上假設(shè)，本文得出以下4個(gè)抽象的安全約束。

1)物理節(jié)點(diǎn)的安全等級(jí)不能低于部署在其上的VNF安全需求。

2)VNF的安全等級(jí)不能低于其映射到物理節(jié)點(diǎn)的安全需求。

3)在已部署VNF的物理節(jié)點(diǎn)上部署新的VNF時(shí)，新VNF的安全需求不得低于已部署VNF的安全需求。

4)具有一定安全需求的虛擬鏈路應(yīng)映射到具有足夠安全級(jí)別的物理鏈路上。

圖1中網(wǎng)絡(luò)切片請(qǐng)求中A的屬性值代表其所需CPU資源為20、自身的安全等級(jí)為5、需要物理節(jié)點(diǎn)對(duì)應(yīng)的安全級(jí)別不低于2，A和B之間虛擬鏈路屬性值代表其所需帶寬資源為3，需要對(duì)應(yīng)的物理鏈路安全級(jí)別不低于2，物理節(jié)點(diǎn)E的屬性值代表其能夠提供的CPU資源為75、自身的安全等級(jí)為3、需要部署在其上的VNF安全級(jí)別不低于2。VNF只能映射到滿足其資源需求與安全需求的物理服務(wù)器上，虛擬鏈路只能映射到滿足其帶寬需求與安全需求的物理鏈路上。

1.2 安全部署模型描述

本文使用有權(quán)無(wú)向圖GP=(NP,LP,NS,LS)來(lái)表示5G物理網(wǎng)絡(luò)拓?fù)?。物理網(wǎng)絡(luò)中物理節(jié)點(diǎn)(物理服務(wù)器、交換機(jī)、路由器等設(shè)備集合)用NP表示，而LP表示節(jié)點(diǎn)之間的所有物理鏈路集合，NS與LS表示物理節(jié)點(diǎn)與物理鏈路的屬性值。其中NS={cpu(ns),dem(ns),lev(ns)}，LS={bw(lp),lev(lp)}，dem表示物理節(jié)點(diǎn)的安全需求，lev表示物理節(jié)點(diǎn)與物理鏈路的安全等級(jí)，cpu表示物理節(jié)點(diǎn)可用的CPU資源，bw表示物理鏈路的可用的帶寬資源。

1.3 網(wǎng)絡(luò)切片部署過(guò)程描述

網(wǎng)絡(luò)切片安全部署到基礎(chǔ)設(shè)施網(wǎng)絡(luò)中可以認(rèn)為是典型的安全虛擬網(wǎng)絡(luò)映射問(wèn)題(secure virtual network embedding , SVNE)[11]。類似于SVNE問(wèn)題，本文將網(wǎng)絡(luò)切片部署過(guò)程分為2個(gè)階段：VNF映射與虛擬鏈路映射。

(1)

物理節(jié)點(diǎn)所分配的CPU資源不能超過(guò)其自身?yè)碛械腃PU的資源，其中cpu(xi)表示第i個(gè)VNF所需的CPU資源，cpu(xk)表示物理節(jié)點(diǎn)k剩余的CPU資源，如式(2)所示：

(2)

(3)

上文中的安全約束條件如式(4～7)所示：

(4)

(5)

(6)

dem(lv)≤lev(lp)

(7)

1.4 評(píng)價(jià)指標(biāo)

本文以VNF部署的長(zhǎng)期安全收益成本比、請(qǐng)求接受率、長(zhǎng)期網(wǎng)絡(luò)資源利用率與長(zhǎng)期帶寬利用率等4個(gè)方面對(duì)算法進(jìn)行評(píng)價(jià)[12]。

1.4.1.長(zhǎng)期安全收益成本比

對(duì)于VNF的部署收益，用節(jié)點(diǎn)與鏈路的安全收益情況表示，如式(8)所示：

(8)

式中：dem(ns)cpu(nv)代表VNF的安全收益，VNF映射在安全需求越高的物理節(jié)點(diǎn)上，其部署安全收益越大；lev(ls)bw(lv)代表鏈路的安全收益，虛擬鏈路映射在安全等級(jí)越高的物理鏈路上，其部署安全收益越大；Tb表示VNF請(qǐng)求持續(xù)時(shí)長(zhǎng)。

VNF部署成本如式(9)所示[13]：

(9)

式中:lev(nv)cpu(nv)代表VNF映射的部署成本，VNF映射所需cpu資源越多，安全等級(jí)越大，其部署成本越高。dem(lv)hop(p)bw(lv)表示虛擬網(wǎng)絡(luò)鏈路能源消耗，其中Ps(lv)表示虛擬鏈路lv分配的路徑集合，hop(p)表示路徑p在物理網(wǎng)絡(luò)上經(jīng)過(guò)的跳數(shù)，虛擬鏈路映射所需帶寬資源越多、鏈路跳數(shù)越大、虛擬鏈路的安全需求越高，其部署成本越大。

長(zhǎng)期安全收益成本比可以表示為：

(10)

1.4.2 請(qǐng)求接受率

VNF請(qǐng)求接受率可以表示為：

(11)

式中:T表示在VNF請(qǐng)求持續(xù)時(shí)間Tb內(nèi)VNF請(qǐng)求的總個(gè)數(shù)，而Ts表示在VNF請(qǐng)求持續(xù)時(shí)間Tb內(nèi)VNF請(qǐng)求成功映射的個(gè)數(shù)。

1.4.3 長(zhǎng)期網(wǎng)絡(luò)資源利用率

長(zhǎng)期網(wǎng)絡(luò)資源利用率可以表示為：

(12)

式中：C表示物理網(wǎng)絡(luò)總CPU資源；Cs表示在VNF請(qǐng)求持續(xù)時(shí)間內(nèi)已消耗的CPU資源總量。

1.4.4 長(zhǎng)期帶寬資源利用率

長(zhǎng)期帶寬資源利用率可以表示為：

(13)

式中：B表示物理網(wǎng)絡(luò)總帶寬資源；Bs表示在VNF請(qǐng)求持續(xù)時(shí)間內(nèi)已消耗的帶寬資源總量。

2 基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)切片部署策略

在VNF映射到物理節(jié)點(diǎn)過(guò)程中，物理節(jié)點(diǎn)存在的安全風(fēng)險(xiǎn)將會(huì)影響整個(gè)網(wǎng)絡(luò)切片的部署。因此，通過(guò)建立物理節(jié)點(diǎn)的安全特征矩陣，確保網(wǎng)絡(luò)切片的安全部署。

2.1 節(jié)點(diǎn)安全特征矩陣

提取物理節(jié)點(diǎn)的安全特征屬性，包括節(jié)點(diǎn)計(jì)算資源、節(jié)點(diǎn)的度、度中心性、節(jié)點(diǎn)中心度與節(jié)點(diǎn)的安全因子。

1)節(jié)點(diǎn)計(jì)算資源(node computing resources)。節(jié)點(diǎn)計(jì)算能力是表征節(jié)點(diǎn)效率重要屬性之一，節(jié)點(diǎn)計(jì)算能力越強(qiáng)，其承受的VNF越多，被映射的概率就越大，物理節(jié)點(diǎn)nk計(jì)算資源如式(14)所示：

NCR(nk)=cpu(nk)

(14)

2)節(jié)點(diǎn)的度(the degree of node)，節(jié)點(diǎn)的度表示連接到物理節(jié)點(diǎn)的鏈路數(shù)量，節(jié)點(diǎn)的度越大，其連接的節(jié)點(diǎn)就越多，更易于找到與其他節(jié)點(diǎn)之間較短的鏈路，物理節(jié)點(diǎn)nk的度如式(15)所示：

(15)

式中：Bij表示節(jié)點(diǎn)nk與其相鄰節(jié)點(diǎn)的連接關(guān)系，如果互相連接則為1，否則為0。

3)度中心性(degree of centricity)[14]，物理節(jié)點(diǎn)上所鏈接鏈路的帶寬之和，總帶寬越大，映射到物理節(jié)點(diǎn)的VNF鏈路選項(xiàng)越多，映射效果越好。物理節(jié)點(diǎn)nk度中心性如式(16)所示:

(16)

4)節(jié)點(diǎn)中心度[15](the centrality of node)能夠全局網(wǎng)絡(luò)結(jié)構(gòu)反映物理節(jié)點(diǎn)的重要程度，物理節(jié)點(diǎn)nk中心度如式(17)所示：

(17)

式中：Okj表示物理節(jié)點(diǎn)nk與nj之間的跳數(shù)；NP表示為滿足約束條件的所有物理節(jié)點(diǎn)，節(jié)點(diǎn)中心度越大，物理節(jié)點(diǎn)越接近網(wǎng)絡(luò)中心，物理節(jié)點(diǎn)越重要。

5)節(jié)點(diǎn)的安全評(píng)估因子。節(jié)點(diǎn)的安全評(píng)估因子是衡量節(jié)點(diǎn)整體安全性的重要指標(biāo)，由節(jié)點(diǎn)計(jì)算資源、節(jié)點(diǎn)的度、度中心性、節(jié)點(diǎn)中心度與節(jié)點(diǎn)的安全需求共同組成，節(jié)點(diǎn)的安全評(píng)估因子越高，其安全性越好，應(yīng)考慮對(duì)對(duì)其優(yōu)先部署，并防止安全性較低的網(wǎng)絡(luò)切片共享節(jié)點(diǎn)而導(dǎo)致的同駐攻擊，物理節(jié)點(diǎn)nk安全評(píng)估因子如式(18)所示：

SAF(nk)=(NCR(nk)+DN(nk)+)

DC(nk)+CN(nk))*dem(nk)/4

(18)

(19)

物理節(jié)點(diǎn)的安全特征矩陣SE(safety eigenmatrix ,SE)如式(20)所示：

SE=(sav1,sav2,…,savn)T

(20)

2.2 基于策略的網(wǎng)絡(luò)切片部署建模

網(wǎng)絡(luò)切片的部署問(wèn)題是一個(gè)NP難問(wèn)題，相比于傳統(tǒng)啟發(fā)式算法與精確式算法求解VNF映射過(guò)程，機(jī)器學(xué)習(xí)算法可以根據(jù)現(xiàn)有數(shù)據(jù)智能調(diào)整網(wǎng)絡(luò)參數(shù)，并做出預(yù)測(cè)。而強(qiáng)化學(xué)習(xí)(reinforcement learning , RL)作為一種機(jī)器學(xué)習(xí)算法，具有自適應(yīng)的特點(diǎn)，通過(guò)與Agent與環(huán)境的相互作用，執(zhí)行特定的動(dòng)作，更新狀態(tài)獲取獎(jiǎng)勵(lì)，RL能夠充分感知VNF映射過(guò)程中的安全狀態(tài)信息，在網(wǎng)絡(luò)切片部署過(guò)程中取得更好的資源利用率。

本文將網(wǎng)絡(luò)切片請(qǐng)求中的VNF映射過(guò)程建模為帶有狀態(tài)空間的MDPM(S,A,P,R)過(guò)程[16]，具體表示為：利用物理節(jié)點(diǎn)的安全特征矩陣作為環(huán)境，Agent定義為一個(gè)能夠輸出物理節(jié)點(diǎn)映射概率的策略網(wǎng)絡(luò)，Agent根據(jù)物理節(jié)點(diǎn)的安全特征矩陣輸出物理節(jié)點(diǎn)映射概率，然后選擇概率最大的物理節(jié)點(diǎn)作為動(dòng)作，進(jìn)行VNF映射，當(dāng)VNF映射完成后，使用Dijkstra算法進(jìn)行鏈路映射，以長(zhǎng)期收入消費(fèi)比作為獎(jiǎng)勵(lì)函數(shù)，根據(jù)學(xué)習(xí)策略情況給予Agent獎(jiǎng)勵(lì)，同時(shí)更新狀態(tài)信息，VNF映射模型如圖2所示。

圖2 VNF映射模型

將環(huán)境、Agent、狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)具體說(shuō)明如下：

1)環(huán)境(environment)：

使用物理節(jié)點(diǎn)的安全特征矩陣作為部署過(guò)程中的環(huán)境。

2)Agent結(jié)構(gòu)：

本文采用基于策略的RL方法解決連續(xù)動(dòng)作的MDP問(wèn)題，引入了一種策略網(wǎng)絡(luò)來(lái)解決RL問(wèn)題。策略網(wǎng)絡(luò)本質(zhì)上是一個(gè)神經(jīng)網(wǎng)絡(luò)，以某一環(huán)境狀態(tài)作為輸入，通過(guò)正向傳播輸出該環(huán)境狀態(tài)下所有候選動(dòng)作的概率分布[17]。使用MLP作為Agent的策略網(wǎng)絡(luò)并進(jìn)行參數(shù)化，策略網(wǎng)絡(luò)由輸入層、隱藏層、輸出層與節(jié)點(diǎn)選擇層組成， Agent結(jié)構(gòu)如圖3所示。

圖3 Agent結(jié)構(gòu)

輸入層將物理節(jié)點(diǎn)的安全特征矩陣作為輸入，由隱藏層輸出每個(gè)物理節(jié)點(diǎn)的向量，用于映射某個(gè)虛擬節(jié)點(diǎn)，對(duì)于節(jié)點(diǎn)k，向量計(jì)算公式為：

hk=tanh(wn·savk+bn)

(21)

式中：wn為隱藏層的權(quán)重；bn為偏置；tanh為激活函數(shù)。

然后將該向量轉(zhuǎn)移到Softmax層，利用Softmax Function生成節(jié)點(diǎn)概率分布，概率計(jì)算如式(22)所示：

(22)

此時(shí)，概率分布對(duì)應(yīng)一個(gè)VNF映射到所有物理節(jié)點(diǎn)的可能性大小，即VNF映射到概率越大的物理節(jié)點(diǎn)上其映射效果越好[18]。

節(jié)點(diǎn)選擇層需要在所有候選節(jié)點(diǎn)中選擇一組滿足約束條件的物理節(jié)點(diǎn)進(jìn)行VNF的映射，將不滿足約束條件的節(jié)點(diǎn)進(jìn)行刪除。

3)動(dòng)作(Actions)：

根據(jù)Agent輸出節(jié)點(diǎn)的概率分布，選擇概率最高的物理節(jié)點(diǎn)作為需要被映射的節(jié)點(diǎn)。當(dāng)VNF映射完成后，在選擇的物理節(jié)點(diǎn)和它的鄰居節(jié)點(diǎn)之間運(yùn)行Dijkstra算法，進(jìn)行虛擬鏈路映射。

4)狀態(tài)(States)：

在進(jìn)行動(dòng)作選擇后，環(huán)境需要對(duì)基礎(chǔ)網(wǎng)絡(luò)設(shè)施中的物理節(jié)點(diǎn)進(jìn)行資源更新，根據(jù)當(dāng)前物理節(jié)點(diǎn)的資源計(jì)算節(jié)點(diǎn)安全特征矩陣，使得Agent得到新的狀態(tài)表示。

5)獎(jiǎng)勵(lì)(Rewards):

在RL模型中，Agent僅根據(jù)獎(jiǎng)勵(lì)來(lái)估計(jì)模型是否正確。較大的獎(jiǎng)勵(lì)表明代理當(dāng)前的行動(dòng)是有效的，應(yīng)該繼續(xù)下去;一個(gè)小的獎(jiǎng)勵(lì)表明當(dāng)前的行為是不適當(dāng)?shù)模瑧?yīng)該調(diào)整，因此如何設(shè)置合理的獎(jiǎng)勵(lì)十分關(guān)鍵[19]。本文以網(wǎng)絡(luò)資源利用情況作為獎(jiǎng)勵(lì)信號(hào)，當(dāng)鏈路映射成功時(shí)，Agent會(huì)收到獎(jiǎng)勵(lì)信號(hào)；當(dāng)鏈路映射失敗時(shí)，獎(jiǎng)勵(lì)值為0，以避免Agent下次選擇該策略，獎(jiǎng)勵(lì)計(jì)算如式(23)所示:

(23)

式中：Cs(nv)代表VNF消耗的CPU資源；C(np)代表VNF映射到物理節(jié)點(diǎn)np的CPU總資源。如果部署策略網(wǎng)絡(luò)資源利用高，則認(rèn)為該部署策略較好，如果未部署成功，則設(shè)置獎(jiǎng)勵(lì)值為0，以避免下次選擇該策略。

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本文使用GT-ITM工具生成物理網(wǎng)絡(luò)拓?fù)浼熬W(wǎng)絡(luò)切片實(shí)例請(qǐng)求，實(shí)驗(yàn)平臺(tái)采用Pycharm，采用python語(yǔ)言編寫程序，利用TensorFlow構(gòu)建策略網(wǎng)絡(luò)，測(cè)試結(jié)果在Origin中繪圖表示，網(wǎng)絡(luò)參數(shù)設(shè)置表1。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置

3.2 SANS-RL模型性能評(píng)估

將本文提出的SANS-RL模型與文獻(xiàn)[6]提出的GRC算法、文獻(xiàn)[7]提出VNE-RL算法與文獻(xiàn)[8]提出的SVNE-RL進(jìn)行對(duì)比。

本文從請(qǐng)求接受率、長(zhǎng)期安全收益成本比、長(zhǎng)期網(wǎng)絡(luò)資源利用率、長(zhǎng)期帶寬資源利用率與程序運(yùn)行時(shí)間5個(gè)方面進(jìn)行對(duì)比分析。

3.2.1 請(qǐng)求接受率與長(zhǎng)期安全收益成本比

各算法VNF的請(qǐng)求接受率變化情況見圖4。

圖4 請(qǐng)求接受率

從請(qǐng)求接受率可以看出，SANS-RL高于SVNE-RL高于GRC高于VNE-RL。由于在初始時(shí)間時(shí)，由于物理資源豐富，可以滿足更多的虛擬網(wǎng)絡(luò)需求，所以各算法請(qǐng)求接受率都較高。隨著物理網(wǎng)絡(luò)資源的不斷消耗，后期指標(biāo)開始逐漸下降，而SANS-RL算法在測(cè)試階段確定了Agent的最優(yōu)化參數(shù)，使其能夠更好地學(xué)習(xí)物理網(wǎng)絡(luò)節(jié)點(diǎn)鏈路之間的關(guān)系，這更符合VNF的實(shí)際情況，所以其請(qǐng)求接受率最高。

而VNE-RL請(qǐng)求接受率最低，由于其考慮節(jié)點(diǎn)的拓?fù)鋵傩暂^少，對(duì)于物理網(wǎng)絡(luò)情形感知較差，VNE-RL模型不能充分發(fā)揮其優(yōu)勢(shì)，難以獲得最合適的嵌入策略，故其請(qǐng)求接受率最低；而GRC使用啟發(fā)式算法，綜合考慮了全局資源拓?fù)鋵傩?，其算法效率與物理網(wǎng)絡(luò)資源狀態(tài)變化無(wú)關(guān)，故其請(qǐng)求接受率高于VNE-RL，而SVNE-RL對(duì)物理網(wǎng)絡(luò)資源考慮較為全面，但其算法運(yùn)行方差較大，導(dǎo)致算法效率低于SANS-RL，故其請(qǐng)求接受率低于SANS-RL。

長(zhǎng)期安全收益成本比如圖5所示，從圖中可以看出，SANS-RL長(zhǎng)期安全收益成本與SVNE-RL、GRC算法較為接近，都高于VNE-RL算法。因?yàn)殚L(zhǎng)期收益消費(fèi)比主要取決于算法效率與物理節(jié)點(diǎn)數(shù)量無(wú)關(guān)，由于SANS-RL算法的Agent是在具有較多物理節(jié)點(diǎn)特征的環(huán)境中訓(xùn)練，其對(duì)物理網(wǎng)絡(luò)感知程度最高，故其映射效率最高效果最好，而VNE-RL對(duì)物理網(wǎng)絡(luò)感知程度較低，其在映射過(guò)程中需要反復(fù)尋找最優(yōu)映射結(jié)果，從而導(dǎo)致算法效率降低，效果較差。

圖5 長(zhǎng)期安全收益成本比

3.2.2 長(zhǎng)期網(wǎng)絡(luò)資源利用率與帶寬利用率

長(zhǎng)期網(wǎng)絡(luò)資源利用率與長(zhǎng)期帶寬利用率見圖6、圖7。

圖6 長(zhǎng)期網(wǎng)絡(luò)資源利用率

圖7 長(zhǎng)期帶寬利用率

由圖6與圖7可得，在所有算法中，SANS-RL網(wǎng)絡(luò)資源利用率與帶框利用率最高，由于SANS-RL接收到的VNF請(qǐng)求最多，其請(qǐng)求接受率最高，則SANS-RL模型對(duì)帶寬與網(wǎng)絡(luò)資源的利用情況最好。而SVNF-RL、GRC與VNF-RL算法網(wǎng)絡(luò)資源利用率與帶寬利用率依次下降，與請(qǐng)求接受率實(shí)驗(yàn)結(jié)果相符，證明了SANS-RL算法效率的優(yōu)越性與資源利用的高效性。

3.2.3 程序運(yùn)行時(shí)間

圖8顯示了在相同的實(shí)驗(yàn)環(huán)境條件下，各算法的運(yùn)行時(shí)長(zhǎng)。

圖8 各算法運(yùn)行時(shí)長(zhǎng)比較

由于各算法的程序運(yùn)行時(shí)長(zhǎng)受操作系統(tǒng)與實(shí)驗(yàn)環(huán)境的影響，不同算法的程序運(yùn)行時(shí)長(zhǎng)僅在實(shí)時(shí)操作系統(tǒng)環(huán)境中有效。其中VNF-RL算法運(yùn)行時(shí)間最長(zhǎng)，因其對(duì)物理網(wǎng)絡(luò)資源感知較差，其需要不斷學(xué)習(xí)映射的最佳策略，導(dǎo)致算法運(yùn)行時(shí)間較長(zhǎng)且效率較低。而GRC算法綜合考慮了物理節(jié)點(diǎn)資源與全局拓?fù)淝闆r，算法較為復(fù)雜，但使用蒙特卡洛樹搜索提高了算法性能減少了運(yùn)行時(shí)間，使得其運(yùn)行時(shí)間比VNF-RL較好。而SVNE-RL與SANS-RL運(yùn)行時(shí)長(zhǎng)相近，由于SANS-RL模型梯度求解過(guò)程使用帶有基線的REINFORCE算法，減少了強(qiáng)化學(xué)習(xí)過(guò)程中方差使其學(xué)習(xí)效率更快，效率更高故其運(yùn)行時(shí)間優(yōu)于SANS-RL。

4 結(jié)語(yǔ)

針對(duì)傳統(tǒng)啟發(fā)式算法解決網(wǎng)絡(luò)切片部署問(wèn)題易陷入到局部最優(yōu)解，且部署過(guò)程中對(duì)網(wǎng)絡(luò)切片節(jié)點(diǎn)與鏈路的感知程度不高的問(wèn)題，本文提出了一種基于安全感知的網(wǎng)絡(luò)切片部署策略，并通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了部署模型的可行性與算法的高效性。在VNF映射部署階段，首先利用安全等級(jí)量化了VNF的安全需求，然后提取物理節(jié)點(diǎn)的關(guān)鍵安全指標(biāo)構(gòu)建安全特征矩陣，利用策略網(wǎng)絡(luò)輸出安全特征矩陣的映射概率大小，實(shí)現(xiàn)VNF的安全部署。在虛擬鏈路部署階段，采用最短路徑方法進(jìn)行虛擬鏈路映射。最終證明SANS-RL在滿足安全約束的同時(shí)能夠有效感知部署過(guò)程中的資源變化情況，獲得較高的安全收益與部署收益。在后續(xù)研究中，將針對(duì)多層網(wǎng)絡(luò)切片的安全部署進(jìn)行研究，考慮復(fù)雜網(wǎng)絡(luò)情況下的網(wǎng)絡(luò)切片安全部署情形。