基于馬氏決策的5G網(wǎng)絡(luò)切片虛擬資源分配研究

曾堅(jiān)毅，許濟(jì)金

(1. 福州理工學(xué)院，福建 福州 350506；2. 福建農(nóng)林大學(xué)機(jī)電工程學(xué)院，福建 福州 350002)

1 引言

隨著5G網(wǎng)絡(luò)的快速發(fā)展，各大網(wǎng)絡(luò)運(yùn)營(yíng)商需要通過(guò)有限的物理資源為用戶提供不同的定制服務(wù)，這便造成了通信業(yè)務(wù)不斷擴(kuò)大的局面，由此產(chǎn)生了網(wǎng)絡(luò)切片技術(shù)。傳統(tǒng)網(wǎng)絡(luò)切片技術(shù)在資源調(diào)度和利用方面存在諸多不合理之處，尤其當(dāng)用戶需求突增的情況下，用戶的服務(wù)保障會(huì)受到較大影響。為了解決網(wǎng)絡(luò)切片資源在時(shí)間與空間的整體利用率問(wèn)題，保障網(wǎng)絡(luò)運(yùn)行商收益和高質(zhì)量用戶體驗(yàn)，不少學(xué)者針對(duì)網(wǎng)絡(luò)切片資源的部署、運(yùn)營(yíng)和調(diào)度等問(wèn)題進(jìn)行研究。

文獻(xiàn)[2]將用戶中斷概率、切片隊(duì)列積壓和切片總速率作為約束條件和回報(bào)，建立資源自適應(yīng)動(dòng)態(tài)優(yōu)化模型，通過(guò)自適應(yīng)虛擬資源分配算法與外界環(huán)境不斷交互，對(duì)資源分配進(jìn)行調(diào)整，從而優(yōu)化切片的性能。該方法可以提高系統(tǒng)性能，但切片的時(shí)延性有待提高。文獻(xiàn)[3]通過(guò)SDN技術(shù)對(duì)網(wǎng)絡(luò)切片資源進(jìn)行自適應(yīng)分配，完成虛擬資源的調(diào)度，并根據(jù)資源的屬性分類(lèi)及網(wǎng)絡(luò)聚類(lèi)結(jié)果，優(yōu)化資源分配，該方法在分配網(wǎng)絡(luò)切片資源的過(guò)程中具有較好地自適應(yīng)性，但分辨能力較差。文獻(xiàn)[4]將最大化平均切片與速度作為目標(biāo)，建立隨機(jī)優(yōu)化模型，并引入PDS概念對(duì)系統(tǒng)轉(zhuǎn)移概率進(jìn)行優(yōu)化，使系統(tǒng)可以根據(jù)當(dāng)前狀態(tài)為每個(gè)網(wǎng)絡(luò)切片分配合適的資源，該方法大大降低了網(wǎng)絡(luò)寬帶的壓力，但該算法針對(duì)狀態(tài)空間維數(shù)較大的情況需進(jìn)一步研究。

基于以上研究，針對(duì)網(wǎng)絡(luò)切片虛擬資源的分配問(wèn)題，本文提出基于馬氏決策的5G網(wǎng)絡(luò)切片虛擬資源分配方法。根據(jù)檢測(cè)的切片信息對(duì)虛擬資源進(jìn)行分配，對(duì)5G網(wǎng)絡(luò)切片虛擬資源存儲(chǔ)結(jié)構(gòu)進(jìn)行設(shè)計(jì)與異構(gòu)有向分析，構(gòu)建虛擬資源節(jié)點(diǎn)分布模型，最終求解出5G網(wǎng)絡(luò)系統(tǒng)的最大長(zhǎng)期收益。

2 5G網(wǎng)絡(luò)切片模型

2.1 調(diào)度模型

為了使5G網(wǎng)絡(luò)能夠充分利用資源、滿足超高寬帶的需求。通過(guò)對(duì)網(wǎng)絡(luò)切片調(diào)度模型的建立，為用戶定制最佳的虛擬資源分配方案。在系統(tǒng)中，假設(shè)有

A

個(gè)網(wǎng)絡(luò)切片，每個(gè)網(wǎng)絡(luò)切片擁有

K

個(gè)用戶，并支持

A

種類(lèi)型的不同業(yè)務(wù)。在時(shí)間

T

內(nèi)，根據(jù)檢測(cè)的切片信息對(duì)虛擬資源進(jìn)行分配。假設(shè)在時(shí)刻

t

時(shí)用戶數(shù)為

B

(

t

)，則它可表示為

(1)

(2)

2.2 用戶速率

系統(tǒng)中整個(gè)信道均服從瑞利衰落模型，信道中的噪聲為高斯白噪聲。假設(shè)切片

a

所接入的資源模塊具有同一個(gè)子載波

b

的用戶為

k

，，網(wǎng)絡(luò)總發(fā)射功率為

E

，則功率

E

可表示為

(3)

其中，

e

，表示子載波

b

的用戶分配功率。在鏈路中，子載波

b

的用戶接收信號(hào)可表示為

x

，=

f

，

D

+

δ

，

(4)

其中，

f

，表示子載波

b

從基站到接收端信道的系數(shù)；

δ

，表示子載波

b

的噪聲。由香農(nóng)公式可知，子載波

b

的用戶

i

對(duì)應(yīng)速率可表示為

(5)

其中，

G

表示子載波

b

的帶寬；

H

，表示用戶

i

的干擾噪聲比。假設(shè)切片

a

總共接入子載波集合為

J

，那么切片的總速率可表示為

(6)

3 虛擬資源分配

3.1 虛擬資源模型

為了實(shí)現(xiàn)對(duì)5

G

網(wǎng)絡(luò)切片虛擬資源分配，首先對(duì)5

G

網(wǎng)絡(luò)切片虛擬資源存儲(chǔ)結(jié)構(gòu)進(jìn)行設(shè)計(jì)與異構(gòu)有向分析。構(gòu)建虛擬資源節(jié)點(diǎn)分布模型。對(duì)鏈路模型中接入網(wǎng)絡(luò)切片資源分配的相關(guān)性采取提取調(diào)度，通過(guò)聯(lián)絡(luò)特征分析方法對(duì)虛擬資源分配的特征集進(jìn)行構(gòu)建，網(wǎng)絡(luò)切片虛擬資源的相對(duì)貼近度用公式可表示為

(7)

其中，

φ

表示虛擬資源的相對(duì)貼近度；(

α

，

β

)，…，(

α

，

β

)表示5

G

網(wǎng)絡(luò)切片虛擬資源的特征分布集；

γ

表示虛擬資源的權(quán)重系數(shù)。建立5

G

網(wǎng)絡(luò)切片虛擬資源的分析模型，對(duì)接入系統(tǒng)的網(wǎng)絡(luò)切片資源進(jìn)行統(tǒng)計(jì)分析，采用雙饋入的特征模擬方法對(duì)虛擬資源分配進(jìn)行加權(quán)融合，并對(duì)虛擬資源的相似度信息進(jìn)行描述。假設(shè)5

G

網(wǎng)絡(luò)切片虛擬資源數(shù)據(jù)集為

Y

={

y

，

y

，…，

y

}，

m

為虛擬資源分配目標(biāo)的個(gè)數(shù)，

Y

為虛擬資源分布特征點(diǎn)，可以采用均值聚類(lèi)的方法對(duì)虛擬資源網(wǎng)絡(luò)屬性進(jìn)行識(shí)別。

3.2 虛擬資源特征

在異構(gòu)有向圖分析方法的基礎(chǔ)上，結(jié)合特征空間重組技術(shù)對(duì)虛擬資源結(jié)構(gòu)進(jìn)行構(gòu)建，對(duì)虛擬資源進(jìn)行優(yōu)化設(shè)計(jì)，5

G

網(wǎng)絡(luò)切片虛擬資源的約束參數(shù)用公式可表示為

(8)

在負(fù)反饋環(huán)節(jié)，對(duì)網(wǎng)絡(luò)中接入的信號(hào)進(jìn)行控制，建立網(wǎng)絡(luò)信道的均衡模型，對(duì)虛擬資源進(jìn)行相關(guān)性分析，得出5

G

網(wǎng)絡(luò)切片虛擬資源的調(diào)度模型，用公式可表示為

(9)

依據(jù)共享度水平，對(duì)網(wǎng)絡(luò)中接入的切片資源進(jìn)行構(gòu)建，得出網(wǎng)絡(luò)切片虛擬資源的分配模型，用公式可表示為

(10)

根據(jù)網(wǎng)絡(luò)中接入系統(tǒng)的虛擬資源定量評(píng)價(jià)模型的描述，可以得出子系統(tǒng)網(wǎng)絡(luò)線輸出的評(píng)價(jià)集，用公式可表示為

(11)

進(jìn)而可求出5G網(wǎng)絡(luò)切片虛擬資源的均值聚類(lèi)最優(yōu)解，用公式可表示為

(12)

根據(jù)提出的最優(yōu)聚類(lèi)分析方法，結(jié)合特征空間重組技術(shù)對(duì)虛擬資源的結(jié)構(gòu)進(jìn)行重組，并對(duì)虛擬資源的相關(guān)特征變量進(jìn)行提取，有利于提高資源分配能力。

4 馬氏決策

馬氏決策是順序決策的經(jīng)典形式，也是一種理想化的數(shù)學(xué)形式?；隈R氏決策，本文建立5G網(wǎng)絡(luò)切片資源管理模型，結(jié)合貝爾曼方程及馬氏決策過(guò)程的動(dòng)態(tài)規(guī)劃求解運(yùn)營(yíng)商最優(yōu)收益解和網(wǎng)絡(luò)資源利用率。

馬氏決策過(guò)程主要通過(guò)構(gòu)建問(wèn)題來(lái)實(shí)現(xiàn)目標(biāo)，其中學(xué)習(xí)者和決策者稱(chēng)為代理，與代理交互或者代理之外的事物稱(chēng)為環(huán)境。在每個(gè)時(shí)間步長(zhǎng)

t

內(nèi)，代理會(huì)接收到環(huán)境的狀態(tài)

S

＿，并對(duì)其作出相應(yīng)的動(dòng)作

A

＿。在下一個(gè)步長(zhǎng)內(nèi)，代理便取得收益

R

＿+1，并取得新的狀態(tài)

S

＿+1。馬氏決策過(guò)程產(chǎn)生的序列用公式可表示為

S

＿0，

A

＿0，

R

＿1，

S

＿1，

A

＿1，…

(13)

馬氏決策過(guò)程產(chǎn)生的狀態(tài)、動(dòng)作以及收益都是有限的，離散的概率分布受到前一個(gè)隨機(jī)狀態(tài)和動(dòng)作的影響，在

t

時(shí)刻離散的隨機(jī)概率用公式可表示為

(14)

(15)

進(jìn)而期望收益用公式可表示為

(16)

代理獲得的收益由它采取的動(dòng)作決定，這種動(dòng)作行為稱(chēng)為策略。若代理在

t

時(shí)刻執(zhí)行的策略為

ξ

，那么在狀態(tài)

S

＿=

s

時(shí)所執(zhí)行策略

A

＿=

a

的概率為

ξ

(

a

|

s

)，預(yù)期收益函數(shù)用公式可表示為

(17)

(18)

其中，

μ

表示折扣率，在狀態(tài)

s

下采取策略

ξ

時(shí)的策略函數(shù)用公式可表示為

(19)

在馬氏決策過(guò)程中值函數(shù)具有遞歸特性，因此對(duì)于任何狀態(tài)和策略，在下面的狀態(tài)值時(shí)，會(huì)保持一致性，狀態(tài)值公式可表示為

(20)

通過(guò)迭代計(jì)算，可以求出下一個(gè)狀態(tài)的收益值函數(shù)，這便是卡爾曼方程。在卡爾曼方程中通過(guò)對(duì)事件的概率進(jìn)行加權(quán)可以把事件的可能性平均化，對(duì)于有限的馬氏決策過(guò)程，可以對(duì)最優(yōu)策略進(jìn)行準(zhǔn)確描述。若預(yù)期收益

V

(

s

)≥

V

(

s

)，那么有策略

ξ

≥

ξ

，若最優(yōu)策略為

ξ

，由最優(yōu)策略可求出最優(yōu)值函數(shù)，公式可表示為

(21)

最優(yōu)策略的動(dòng)作值函數(shù)可表示為

(22)

考慮到5

G

網(wǎng)絡(luò)資源的管理特性，管理策略的選擇很有可能導(dǎo)致網(wǎng)絡(luò)運(yùn)行商的收益受到影響，所以通過(guò)馬氏決策過(guò)程的動(dòng)態(tài)規(guī)劃算法求出最優(yōu)值函數(shù)和最優(yōu)策略函數(shù)，同時(shí)求出運(yùn)營(yíng)商長(zhǎng)期收益的最優(yōu)解，公式表示為

(23)

綜上所述，求出的解就是5G網(wǎng)絡(luò)系統(tǒng)的最大長(zhǎng)期收益。

5 仿真與結(jié)果分析

為了驗(yàn)證基于馬氏決策的5G網(wǎng)絡(luò)切片模型的準(zhǔn)確性，本文設(shè)置不同的參數(shù)分析網(wǎng)絡(luò)切片資源分配系統(tǒng)的性能。假設(shè)5G網(wǎng)絡(luò)由4個(gè)VRU組成，并且每個(gè)網(wǎng)絡(luò)切片服務(wù)有2個(gè)VRU，為了驗(yàn)證收益值的最優(yōu)解，將本文提出的方法與傳統(tǒng)網(wǎng)絡(luò)資源分配方法進(jìn)行對(duì)比。實(shí)驗(yàn)在Matlab仿真軟件上進(jìn)行，通過(guò)不同參數(shù)值的設(shè)置，隨機(jī)重復(fù)100次實(shí)驗(yàn)，得到切片資源管理的最大收益值對(duì)比結(jié)果如圖1所示。

圖1 切片服務(wù)到達(dá)率與最大累積收益的關(guān)系

從圖中可以看出，隨著切片服務(wù)到達(dá)速率的增加，5G系統(tǒng)長(zhǎng)期最大收益不斷增加，在新切片請(qǐng)求增加時(shí)，采用本文提出的馬氏決策5G網(wǎng)絡(luò)資源分配方法能夠保證系統(tǒng)具有充足的資源來(lái)處理切片請(qǐng)求，服務(wù)協(xié)議中的每一個(gè)策略均使收益值達(dá)到最優(yōu)狀態(tài)。

將5G系統(tǒng)資源VRU作為變量，通過(guò)增加虛擬資源塊的個(gè)數(shù)，測(cè)試系統(tǒng)最大收益，仿真對(duì)比結(jié)果如圖2所示。

圖2 VRU數(shù)量與最大累積收益的關(guān)系

從圖中可以看出，當(dāng)虛擬資源塊個(gè)數(shù)較少時(shí)，兩種方法求出的累積收益值相近，隨著虛擬資源塊個(gè)數(shù)的增加，本文方法明顯優(yōu)于傳統(tǒng)方法，傳統(tǒng)方法每次都會(huì)為切片請(qǐng)求分配最大的VRU，導(dǎo)致資源利用率較低，使系統(tǒng)長(zhǎng)期收益不理想。

保持實(shí)驗(yàn)參數(shù)不變，得到最大長(zhǎng)期累積收益值與切片服務(wù)離開(kāi)率之間的關(guān)系，結(jié)果如圖3所示。

圖3 切片服務(wù)離開(kāi)率與最大累積收益的關(guān)系

從圖中可看出，隨著切片離開(kāi)率的增加，5G系統(tǒng)最大長(zhǎng)期累積收益也不斷增加，當(dāng)離開(kāi)率為10時(shí)，累積收益最大。隨著離開(kāi)率的繼續(xù)增加，由于新切片請(qǐng)求到達(dá)率一定，切片服務(wù)離開(kāi)率會(huì)增大到極限值，使5G系統(tǒng)的處理速率超出預(yù)定值，導(dǎo)致過(guò)多的資源處于等待狀態(tài)，因此累積收益會(huì)不斷降低，通過(guò)仿真可以看出采用本文算法的累積收益明顯優(yōu)于傳統(tǒng)方法，具有一定的實(shí)用性。

最后通過(guò)仿真比較兩種方法在相同切片服務(wù)請(qǐng)求到達(dá)率情況下的服務(wù)阻塞率，以及本文方法在不同切片服務(wù)請(qǐng)求離開(kāi)率下的切片服務(wù)阻塞率變化情況，結(jié)果如圖4和圖5所示。

圖4 兩種方法阻塞率對(duì)比結(jié)果

圖5 本文方法在不同離開(kāi)率下的阻塞率變化

從圖中可以看出，隨著切片服務(wù)請(qǐng)求到達(dá)率的增加，切片的阻塞率不斷增加，而且采用本文方法的阻塞率明顯低于傳統(tǒng)方法。通過(guò)不同切片服務(wù)離開(kāi)率的對(duì)比結(jié)果可知，隨著切片服務(wù)離開(kāi)率的增加，系統(tǒng)服務(wù)單位時(shí)間內(nèi)可允許接入的切片增多，因此切片的阻塞率明顯降低。然而當(dāng)切片服務(wù)請(qǐng)求到達(dá)率達(dá)到20時(shí)，阻塞率將保持穩(wěn)定狀態(tài)，由于系統(tǒng)到達(dá)了服務(wù)處理的極限能力，因此5G網(wǎng)絡(luò)系統(tǒng)會(huì)通知阻止切片的到達(dá)服務(wù)請(qǐng)求。

6 結(jié)束語(yǔ)

對(duì)于虛擬資源分配問(wèn)題，本文提出一種基于馬氏決策的5G網(wǎng)絡(luò)切片管理模型。通過(guò)對(duì)網(wǎng)絡(luò)切片調(diào)度模型的建立，為用戶定制最佳的虛擬資源分配方案，基于馬爾科夫決策理論對(duì)虛擬資源進(jìn)行建模，分別對(duì)系統(tǒng)轉(zhuǎn)移函數(shù)、狀態(tài)值以及網(wǎng)絡(luò)運(yùn)營(yíng)商的收益進(jìn)行分析。為了驗(yàn)證基于馬氏決策的5G網(wǎng)絡(luò)切片資源分配模型的準(zhǔn)確性，在Matlab軟件上進(jìn)行仿真，設(shè)定5G網(wǎng)絡(luò)由4個(gè)VRU組成，并且每個(gè)網(wǎng)絡(luò)切片服務(wù)有2個(gè)VRU。實(shí)驗(yàn)結(jié)果表明，采用本文方法后，無(wú)論VRU與切片服務(wù)如何變化，5G網(wǎng)絡(luò)運(yùn)行商的長(zhǎng)期累積收益均得到顯著改善，且切片的阻塞率呈現(xiàn)明顯降低趨勢(shì)。