基于馬爾科夫決策過程的服務(wù)遷移策略

羅 藝，江凌云

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

傳統(tǒng)的移動(dòng)云計(jì)算(mobile cloud computing，MCC)框架[1]已經(jīng)難以滿足人們對延遲敏感型應(yīng)用和計(jì)算密集型應(yīng)用的需求。因?yàn)槠浼惺郊軜?gòu)導(dǎo)致數(shù)據(jù)中心遠(yuǎn)離用戶且是在多對一的基礎(chǔ)上訪問的，云數(shù)據(jù)中心將同時(shí)處理大量任務(wù)，分配給各個(gè)任務(wù)的計(jì)算資源會(huì)受到限制，降低服務(wù)質(zhì)量。在靠近用戶側(cè)的網(wǎng)絡(luò)邊緣部署計(jì)算設(shè)施是解決上述問題的一種更有前途的辦法，如移動(dòng)邊緣計(jì)算(mobile edge computing，MEC)[2-4]技術(shù)，它是云計(jì)算技術(shù)的升級與改進(jìn)，將云服務(wù)器的集中式計(jì)算轉(zhuǎn)變?yōu)榉植际接?jì)算。在傳統(tǒng)的云計(jì)算中，網(wǎng)絡(luò)邊緣的設(shè)施只充當(dāng)連接節(jié)點(diǎn)，如發(fā)送流量的基站，但不能分析或處理數(shù)據(jù)。而在MEC中，通過在網(wǎng)絡(luò)邊緣即通常在距離用戶一個(gè)或幾個(gè)網(wǎng)絡(luò)跳數(shù)的地方部署小服務(wù)器，將云服務(wù)器的存儲(chǔ)、計(jì)算等能力一部分下放，使得終端設(shè)備產(chǎn)生的大量數(shù)據(jù)可以在網(wǎng)絡(luò)邊緣被處理，這樣可以大大提高工作效率，因此通信延遲可以保持得很低，同時(shí)進(jìn)入回程網(wǎng)絡(luò)的流量也可以減少，減輕云端計(jì)算負(fù)載。

用戶的移動(dòng)性是無線網(wǎng)絡(luò)中一個(gè)特有的因素，由于邊緣節(jié)點(diǎn)的網(wǎng)絡(luò)覆蓋范圍較小，當(dāng)用戶移動(dòng)到其它邊緣節(jié)點(diǎn)覆蓋范圍內(nèi)時(shí)，會(huì)導(dǎo)致與本地邊緣云的網(wǎng)絡(luò)連接變差，從而降低QoS或在某些情況下導(dǎo)致服務(wù)的中斷。隨著網(wǎng)絡(luò)環(huán)境中越來越多的移動(dòng)設(shè)備出現(xiàn)，為保證移動(dòng)用戶在獲取服務(wù)時(shí)的服務(wù)質(zhì)量和體驗(yàn)，服務(wù)遷移[5]是一項(xiàng)十分有效的措施，通過服務(wù)遷移，保證用戶與運(yùn)行該服務(wù)的MEC服務(wù)器始終保持在一定范圍內(nèi)，這對于延遲敏感型應(yīng)用十分有益。

服務(wù)遷移決策依賴于一些屬性，如用戶移動(dòng)性、通信信道特性、MEC資源可用性等，這是一個(gè)復(fù)雜的優(yōu)化問題。從本質(zhì)上講，遷移服務(wù)可能會(huì)導(dǎo)致服務(wù)中斷、增加網(wǎng)絡(luò)開銷，而不遷移服務(wù)可能會(huì)增加數(shù)據(jù)傳輸延遲。因此，有關(guān)服務(wù)遷移的策略定義為遷移成本與傳輸成本權(quán)衡。在本文中，假設(shè)MEC服務(wù)器部署在基站側(cè)，利用MDP框架對MEC服務(wù)遷移過程建模，得出最佳遷移策略。策略能指導(dǎo)本地MEC服務(wù)是否遷移，何時(shí)遷移，遷移到哪里。

1 相關(guān)工作

移動(dòng)邊緣計(jì)算中的服務(wù)遷移問題最近已經(jīng)引起學(xué)者的關(guān)注。在文獻(xiàn)[6]中提出了一個(gè)多標(biāo)準(zhǔn)的遷移策略，用于最終計(jì)算成本效益的平衡，其中不同的指標(biāo)被認(rèn)為是選擇最佳遷移地點(diǎn)的決策矩陣。文獻(xiàn)[7]在基于用戶地理位置和請求類型的多維MEC網(wǎng)絡(luò)中，提出了一種滿足存儲(chǔ)、計(jì)算和通信的多屬性綜合優(yōu)化算法，有效解決服務(wù)部署和服務(wù)請求問題。上述兩種方法未考慮用戶移動(dòng)性的影響，無法為移動(dòng)中的用戶提供不間斷的服務(wù)，嚴(yán)重影響服務(wù)質(zhì)量。文獻(xiàn)[8]設(shè)計(jì)了一種主動(dòng)式邊緣云服務(wù)遷移系統(tǒng)，主動(dòng)檢測QoS并進(jìn)行服務(wù)遷移，選擇QoS累計(jì)收益值最高的MEC作為遷移目標(biāo)，但是其用戶運(yùn)動(dòng)是基于一維移動(dòng)模型，未涉及到二維移動(dòng)模式遷移。文獻(xiàn)[9]中通過移動(dòng)性預(yù)測改善了遷移過程。在用戶預(yù)先漫游整個(gè)網(wǎng)絡(luò)時(shí)評估每個(gè)MEC服務(wù)器和用戶之間的吞吐量，根據(jù)提供的吞吐量為任務(wù)遷移管理方案選擇最佳的MEC服務(wù)器。文獻(xiàn)[10]提出一種基于深度Q網(wǎng)絡(luò)(DQN)的MEC系統(tǒng)任務(wù)遷移技術(shù)，在用戶移動(dòng)模式等信息不知道的情況下從以前的經(jīng)驗(yàn)中學(xué)習(xí)最優(yōu)的任務(wù)遷移策略。上述兩種算法為了獲得滿意的預(yù)測結(jié)果，需要獲取大量歷史信息，并且沒有考慮遷移成本。

綜上所述，以上提出的關(guān)于服務(wù)遷移的解決方法，對于MEC環(huán)境下用戶移動(dòng)模式考慮單一，在遷移決策中沒有考慮成本這一因素。因此本文設(shè)計(jì)一個(gè)通用的成本模型，能夠在遷移成本與傳輸成本之間權(quán)衡，利用馬爾科夫決策解決二維移動(dòng)模型下服務(wù)遷移問題，在保證服務(wù)連續(xù)性的基礎(chǔ)上最小化總成本。

2 服務(wù)遷移策略

本節(jié)首先給出了移動(dòng)邊緣計(jì)算系統(tǒng)結(jié)構(gòu)，然后提出了馬爾科決策模型，對于馬爾科夫決策過程的服務(wù)遷移方案中的最優(yōu)狀態(tài)閾值給出證明，最后給出了基于上述馬爾科夫決策模型的服務(wù)遷移策略。

2.1 系統(tǒng)結(jié)構(gòu)

移動(dòng)邊緣計(jì)算架構(gòu)如圖1所示。移動(dòng)用戶2最初連接到MEC1上運(yùn)行服務(wù)，移動(dòng)用戶2與MEC1直接連接確保了服務(wù)的低時(shí)延訪問。但是，隨著移動(dòng)用戶2移動(dòng)到MEC2覆蓋范圍內(nèi)，在這種情況下連接到MEC 1會(huì)比直接連接到MEC 2引起更高的延遲(由于回程網(wǎng)絡(luò)通信)。因此，將用戶2的服務(wù)從MEC 1遷移到MEC 2可能是有益的，以便用戶2可以繼續(xù)享受對其服務(wù)的低時(shí)延訪問。這類遷移場景經(jīng)常出現(xiàn)，尤其是在用戶可能具有較高移動(dòng)性的車載應(yīng)用中。

圖1 移動(dòng)邊緣計(jì)算架構(gòu)

2.2 MDP模型

假設(shè)在時(shí)刻，用戶連接到某個(gè)MEC的位置索引為u(t)， 用戶將服務(wù)卸載到某個(gè)MEC的位置索引為h(t)。 由于用戶的移動(dòng)，所以用戶所處的MEC的位置不一定與卸載服務(wù)的MEC位置一致。狀態(tài)函數(shù)定義s(t)=|u(t)-h(t)|， 表示用戶位置與運(yùn)行該用戶服務(wù)的MEC位置的偏移量。因此狀態(tài)空間定義為s(t)∈S={0,1,2,…,N}。 時(shí)隙模型如圖2所示。

圖2 時(shí)隙模型

我們使用A=(a1,a2) 來表示動(dòng)作集合，其中動(dòng)作a1表示不執(zhí)行遷移，用戶仍然由同一個(gè)MEC提供服務(wù)，動(dòng)作a2表示執(zhí)行遷移，服務(wù)遷移到一個(gè)新的MEC。在每個(gè)時(shí)隙開始時(shí)，觀察狀態(tài)量，決定是否遷移。

在每個(gè)時(shí)隙t系統(tǒng)根據(jù)當(dāng)前狀態(tài)下采取的動(dòng)作獲得獎(jiǎng)勵(lì)值。獎(jiǎng)勵(lì)值被定義為一個(gè)時(shí)隙中產(chǎn)生的總成本，由遷移成本與傳輸成本組成。當(dāng)用戶不移動(dòng)時(shí)，用戶與向其提供服務(wù)的MEC相距很小，服務(wù)時(shí)延較低，傳輸成本可忽略不計(jì)。隨著用戶逐漸遠(yuǎn)離卸載的MEC，用戶需要花費(fèi)一定的數(shù)據(jù)傳輸成本才能連接到當(dāng)前服務(wù)實(shí)例。隨著服務(wù)質(zhì)量進(jìn)一步下降，服務(wù)遷移就變得非常必要。將一項(xiàng)任務(wù)從一個(gè)MEC遷移到另一個(gè)MEC所產(chǎn)生的費(fèi)用主要如下：①將一項(xiàng)任務(wù)在一個(gè)新的MEC服務(wù)器上執(zhí)行的費(fèi)用；②通過網(wǎng)絡(luò)傳送任務(wù)本身所需的費(fèi)用。在這里，我們假設(shè)不同的MEC服務(wù)器具有相同的VM環(huán)境，并且任務(wù)可以在MEC服務(wù)器之間遷移而無需轉(zhuǎn)換。經(jīng)過遷移，服務(wù)所處的MEC位置索引變化為h′(t)， 此時(shí)狀態(tài)量變?yōu)閟′(t)=|u(t)-h′(t)|。

在一個(gè)時(shí)隙中，傳輸成本可由式(1)表示

(1)

其中，α表示最大傳輸成本，當(dāng)傳輸成本大于α?xí)r，我們總是選擇無條件選擇服務(wù)遷移。傳輸成本與用戶和服務(wù)所運(yùn)行的MEC之間位置偏移量有關(guān)，令0<μ<1，使得傳輸成本函數(shù)是一個(gè)隨著位置偏移量增大而遞增的函數(shù)，傳輸成本可以捕獲數(shù)據(jù)的傳輸時(shí)延，高時(shí)延會(huì)增加服務(wù)的響應(yīng)時(shí)間，影響用戶的服務(wù)質(zhì)量。當(dāng)狀態(tài)偏移量s(t) 為0時(shí)，傳輸成本為0，表示用戶與運(yùn)行服務(wù)的MEC處在同一位置，此時(shí)用戶處于最佳服務(wù)狀態(tài)。這里假設(shè)每個(gè)MEC的計(jì)算資源、存儲(chǔ)資源足夠，服務(wù)在每個(gè)MEC上都可以直接運(yùn)行。

當(dāng)執(zhí)行遷移動(dòng)作時(shí)，即產(chǎn)生遷移成本，如式(2)所示

F(s,a)=β-βσ|s(t)-s′(t)|

(2)

其中，β表示遷移成本的最大值，若遷移成本超過最大值，我們選擇放棄遷移操作，重新選取合適的遷移目標(biāo)。 |s(t)-s′(t)|=|h(t)-h′(t)| 表示服務(wù)所處源MEC位置與服務(wù)遷移的目標(biāo)MEC位置之間的偏移量，其中0<σ<1，以保證遷移成本隨著遷移距離增加而遞增，由于數(shù)據(jù)傳輸?shù)膫鞑ズ颓袚Q延遲的增加，中斷時(shí)間會(huì)隨著遷移距離的增加而增加。遷移成本可以反應(yīng)服務(wù)遷移時(shí)延，遷移時(shí)延過大則可能出現(xiàn)服務(wù)中斷。當(dāng)s(t)=s′(t) 時(shí)，表示沒有遷移服務(wù)，遷移成本為0。這里我們假設(shè)一個(gè)時(shí)隙的長度遠(yuǎn)遠(yuǎn)大于服務(wù)傳輸時(shí)延和服務(wù)遷移時(shí)延。

所以在一個(gè)時(shí)隙中，總成本G(s,a) 如式(3)所示

(3)

獎(jiǎng)勵(lì)函數(shù)定義為傳輸成本與遷移成本之和，當(dāng)用戶在初始狀態(tài)時(shí)，采取一個(gè)動(dòng)作會(huì)使得所處狀態(tài)發(fā)生改變并產(chǎn)生相應(yīng)的獎(jiǎng)勵(lì)值。獎(jiǎng)勵(lì)值與狀態(tài)的變化量有關(guān)，狀態(tài)轉(zhuǎn)移概率如式(4)所示

(4)

π表示一個(gè)決策規(guī)則，該決策規(guī)則將一個(gè)狀態(tài)映射到一個(gè)新狀態(tài)，同時(shí)(可能)產(chǎn)生了獎(jiǎng)勵(lì)。我們設(shè)定在一個(gè)確定的策略π中，用戶的狀態(tài)對應(yīng)相關(guān)動(dòng)作的概率π(a|s) 是固定的，P(s′(t)|s(t)) 與用戶的移動(dòng)模型有關(guān)。

我們考慮了蜂窩網(wǎng)絡(luò)的六邊形結(jié)構(gòu)，用戶移動(dòng)模型如圖3所示。用戶在無限空間中符合統(tǒng)一的二維隨機(jī)行走移動(dòng)性模型，其中用戶狀態(tài)用它所屬的環(huán)以及它在環(huán)中的位置決定。假設(shè)用戶在每個(gè)時(shí)隙的開始從一個(gè)小區(qū)移動(dòng)到任一相鄰小區(qū)的概率為r， 在原小區(qū)停留的概率為1-6r。 每個(gè)單元格都由其環(huán)標(biāo)簽及其在環(huán)中的位置表示。K={(0,0)∪(i,j)|1≤i≤N-1,1≤j≤6i} 表示坐標(biāo)空間，其中i表示環(huán)的標(biāo)簽，j表示所在環(huán)中的具體位置。用戶位置u(t) 與運(yùn)行服務(wù)的MEC位置h(t) 之間的偏移量s(t) 用所屬環(huán)標(biāo)簽表示，即s(t)=|u(t)-h(t)|=i。 狀態(tài) (0，0) 表示實(shí)際用戶位置與卸載的MEC位置一致，即s(t)=0。

圖3 用戶移動(dòng)模型

在MDP模型中，往往由于狀態(tài)量過大使得算法計(jì)算復(fù)雜度變大，為了獲得一個(gè)更少數(shù)量的狀態(tài)空間，我們利用二維模型的對稱性，通過聚合表現(xiàn)出相同行為的狀態(tài)來減少狀態(tài)空間。通過觀察我們發(fā)現(xiàn)，如果用戶處在環(huán)1中，那么它回到0狀態(tài)的概率為r， 保持原狀態(tài)的概率為2r， 向環(huán)2狀態(tài)轉(zhuǎn)移的概率為3r， 所以在環(huán)1中的所有狀態(tài)可以聚合為一個(gè)狀態(tài)。對于處在環(huán)2中的用戶，分兩種情況 (i,j)∈{(2，2),(2，4),(2，6),(2，8),(2，10),(2，12)} 處在這些坐標(biāo)位置時(shí)向環(huán)3狀態(tài)轉(zhuǎn)移的概率為3r， 保持原狀態(tài)的概率為2r， 向環(huán)1狀態(tài)轉(zhuǎn)移的概率為r; (i,j)∈{(2,1),(2,3),(2,5),(2,7),(2,9),(2,11)} 處在這些坐標(biāo)位置向各狀態(tài)轉(zhuǎn)移的概率都為2r。因此對于環(huán)2中的各個(gè)子狀態(tài)，我們可以聚合成2種狀態(tài)?；谖墨I(xiàn)[11]，我們可以獲得剩下的聚合狀態(tài)。

2.3 服務(wù)遷移策略算法有效性

為進(jìn)一步減少狀態(tài)空間，保證服務(wù)遷移策略算法的科學(xué)性。我們定義了狀態(tài)空間的上限值為，定義當(dāng)狀態(tài)s>N時(shí)，服務(wù)總是選擇遷移。我們認(rèn)為，對于移動(dòng)邊緣網(wǎng)絡(luò)中的邊緣計(jì)算設(shè)施和終端用戶來說，存在一個(gè)最優(yōu)的約束狀態(tài)k

命題：在移動(dòng)邊緣網(wǎng)絡(luò)中，存在一個(gè)邊緣計(jì)算設(shè)施與終端用戶之間的最優(yōu)約束狀態(tài)k

證明：

(1)當(dāng)狀態(tài)偏移量s(t) 為0時(shí)，表示用戶與運(yùn)行服務(wù)的MEC處在同一位置，此時(shí)用戶處于最佳服務(wù)狀態(tài)，最佳動(dòng)作決策A*=a1。

(2)我們設(shè)定在狀態(tài)s=k時(shí)，對應(yīng)的最優(yōu)動(dòng)作為遷移服務(wù)，則此時(shí)的動(dòng)作價(jià)值函數(shù)滿足

(5)

式(5)中右側(cè)表示采取不遷移策略的總成本。

(3)假設(shè)我們不在狀態(tài)k+1≤s′≤N采取遷移策略，則每個(gè)時(shí)隙會(huì)產(chǎn)生一個(gè)傳輸成本G(s,a1)， 直到用戶到達(dá)遷移狀態(tài)，則對于從s′開始的任何狀態(tài)轉(zhuǎn)換路徑L有

(6)

其中，tm>0表示用戶達(dá)到狀態(tài)s′之后需要服務(wù)遷移的第一個(gè)時(shí)隙值。得到

(7)

得到VL(s′)≥V(k|a2)， 這對于任何可能的狀態(tài)轉(zhuǎn)換路徑L都適用。因此始終在狀態(tài)s′進(jìn)行服務(wù)遷移，則在狀態(tài)s≥k時(shí)，最佳策略是服務(wù)遷移，存在最優(yōu)閾值狀態(tài)k。

2.4 遷移策略

基于2.2節(jié)的MDP模型，我們將服務(wù)遷移的長期期望獎(jiǎng)勵(lì)定義為

(8)

其中，γ∈(0，1)，γ為折現(xiàn)因子，表示當(dāng)前總收益與未來總收益之間的差異，γ值越接近1表示收益越注重當(dāng)前行動(dòng)對后續(xù)狀態(tài)的影響，我們在本文中考慮確定性策略，并且期望值是針對用戶隨機(jī)移動(dòng)考慮的。根據(jù)上面的表述，我們可以得到基于策略π的長期期望獎(jiǎng)勵(lì)。根據(jù)貝爾曼方程得到式(8)的遞歸形式

(9)

我們的最終目的是在任一狀態(tài)s下根據(jù)策略π采取一個(gè)動(dòng)作a， 以實(shí)現(xiàn)Vπ(s) 的最小化

(10)

在貝爾曼方程中，我們可以根據(jù)V*(s) 的值迭代得到最優(yōu)策略

(11)

這樣我們就得到了從時(shí)間t=0到t=N期間，為某個(gè)具體的狀態(tài)下的MEC提供遷移決策。根據(jù)式(12)的結(jié)果能夠回答在s(t)→s′(t) 狀態(tài)變化中是否采取遷移，遷移到哪里

π*={π(a(t)|s(t)), ?t∈[0,N]}

(12)

算法的具體流程如圖4所示。由圖4可知，首先判斷當(dāng)前時(shí)隙用戶的狀態(tài)函數(shù)s(t)， 判斷用戶卸載的服務(wù)所在位置與用戶當(dāng)前所屬位置是否一致，若s(t)=0， 則說明用戶此時(shí)處于最佳服務(wù)狀態(tài)，不選擇服務(wù)遷移。若s(t)>0， 根據(jù)此時(shí)的狀態(tài)信息，利用值迭代方法分別計(jì)算a=a1和a=a2時(shí)獎(jiǎng)勵(lì)函數(shù)V(s|a1) 和V(s|a2)， 比較它們的獎(jiǎng)勵(lì)函數(shù)，當(dāng)V(s|a1)≤V(s|a2) 時(shí)，不執(zhí)行服務(wù)遷移，并進(jìn)入下一時(shí)隙再次檢測狀態(tài)函數(shù)，依次循環(huán)。當(dāng)V(s|a1)>V(s|a2) 時(shí)，MEC將服務(wù)遷移到目的服務(wù)器。具體的服務(wù)遷移流程如算法1所示。

圖4 服務(wù)遷移算法流程

算法1：服務(wù)遷移算法

(1)Initializea(s(t))， for alls(t)=0,1,2,…,N

(2)input timeslot=t,N, MEC number,μ，σ，α

(3)when new timeslot

(4) MEC getu(t),h(t)

s(t)=|u(t)-h(t)|

(5) ifs(t)=0

(6) return

(7) else

(8)V(s|a1)=G(s,a1)+γV*(s′)

(9)V(s|a2)=G(s,a2)+γV*(s′)

(10) ifV(s|a1)>V(s|a2)

(11)k=s

(13) else

(14)s′=s,V*(s)=V(s|a1)

(15) end if

(16) timeslot ++

(17)outputπ*={π(a(t)|s(t)), ?t∈[0,N]}

3 仿真與性能析

3.1 參數(shù)設(shè)置

在本節(jié)中，我們對提出的方法進(jìn)行仿真，仿真平臺為Matlab。二維移動(dòng)模型下的狀態(tài)轉(zhuǎn)移概率r設(shè)置為隨機(jī)生成，范圍在0～1/6，以此保證用戶轉(zhuǎn)移到相鄰小區(qū)的概率和不超過1。設(shè)置用戶的狀態(tài)空間數(shù)量閾值N=10, 當(dāng)用戶的狀態(tài)s(t)≥10時(shí)，我們總是選擇將服務(wù)遷移到與所處用戶位置相同的MEC。表1展示了仿真實(shí)驗(yàn)中其它參數(shù)的詳細(xì)設(shè)置。

表1 參數(shù)設(shè)置

3.2 仿真結(jié)果分析

我們將通過實(shí)驗(yàn)仿真來評估基于上述馬爾科夫決策過程的服務(wù)遷移載策略的性能。仿真時(shí)將所提方法與一直遷移(Always migrate)和myopic[12]策略作對比，一直遷移策略是當(dāng)用戶位置與服務(wù)所在MEC位置不一致時(shí)，總是將服務(wù)遷移到用戶所在位置的MEC處。myopic策略基于最小化當(dāng)前時(shí)隙的總成本選擇是否遷移。對比結(jié)果如圖5～圖7所示。

圖5 γ=0.5

圖6 γ=0.9

圖7 γ=0.99

圖5顯示當(dāng)折現(xiàn)參數(shù)為0.5時(shí)，我們所提出的策略、一直遷移策略和myopic策略的在遷移成本。

參數(shù)β的變化下與總成本的關(guān)系。β值大小反映了遷移成本大小。具體而言，當(dāng)β值很小時(shí)，一直遷移策略的總成本接近所提策略的總成本，這是因?yàn)檫w移成本比重相對較小，當(dāng)用戶位置與運(yùn)行服務(wù)的MEC位置不一致時(shí)，一直遷移策略總是將服務(wù)遷移到用戶所在MEC位置，MEC之間頻繁遷移使得服務(wù)保持高質(zhì)量運(yùn)行，但是總成本不會(huì)急劇增大。隨著β值不斷增大，所提策略的總成本比一直遷移策略的總成本小很多。myopic策略性能介于一直遷移策略和所提策略之間，在圖5中，當(dāng)β≥0.65時(shí)，myopic策略性能接近所提策略，這是因?yàn)閙yopic策略是基于近視服務(wù)質(zhì)量做出遷移決策的一種策略，它根據(jù)一個(gè)時(shí)隙中傳輸成本與遷移成本之差決定是否遷移服務(wù)，當(dāng)傳輸成本大于遷移成本時(shí)，選擇服務(wù)遷移，否則不遷移。因此隨著β值增大，遷移成本大于傳輸成本，myopic策略不再遷移服務(wù)，這是一種近視的遷移策略，它只考慮當(dāng)前時(shí)隙的收益，未涉及行動(dòng)對后續(xù)的影響。雖然總成本接近我們的所提策略的結(jié)果，但是它一直采取不遷移的策略導(dǎo)致系統(tǒng)服務(wù)質(zhì)量在下降。

圖6和圖7顯示當(dāng)折現(xiàn)參數(shù)γ為0.9和0.99時(shí)，所提出的策略、一直遷移策略和myopic策略在遷移成本參數(shù)β不同時(shí)，總成本的變化情況。圖6和圖7都與圖5有相同的特征，圖7中所提策略相比其它兩種策略減少的成本大于圖6，圖6中所提策略相比其它兩種策略減少的成本大于圖5，這是因?yàn)楫?dāng)折現(xiàn)參數(shù)增大時(shí)，我們越來越注重未來的狀態(tài)，用戶的移動(dòng)直接導(dǎo)致后續(xù)的狀態(tài)改變，此時(shí)遷移就顯得十分重要，所提策略可能在當(dāng)前時(shí)刻的遷移決策不是最佳，但是從全局來看，會(huì)減少后續(xù)遷移動(dòng)作導(dǎo)致的成本。

同時(shí)傳輸成本參數(shù)α對于系統(tǒng)總成本來說也很重要。傳輸成本可以反應(yīng)服務(wù)的傳輸時(shí)延，圖8和圖9顯示當(dāng)α為不同值時(shí)，評估了我們的策略、一直遷移策略和myopic策略的總成本關(guān)于遷移成本參數(shù)β的變化情況。圖8中，α設(shè)置為2。當(dāng)β值很小，遷移成本可以忽略的情況下，一直遷移策略接近于接近最優(yōu)策略，它的總成本接近我們所提的策略總成本，當(dāng)β值越來越大，遷移操作越來越昂貴時(shí)，一直遷移策略弊端就很明顯，而我們所提策略的總成本變化沒有急劇增加。圖8相比于圖7，隨著遷移成本參數(shù)的增大，myopic策略總成本增加明顯，而我們所提策略的總成本增加很小，這是因?yàn)閭鬏敵杀颈戎卦黾?。myopic策略一味考慮遷移成本增大，執(zhí)行不遷移操作，忽略了傳輸成本的比重增加會(huì)相應(yīng)增加一個(gè)時(shí)隙的總成本，而我們所提策略可確保在傳輸成本與遷移成本之間取得良好的平衡，因?yàn)槲覀兛偸遣扇∈箍偝杀咀钚』男袆?dòng)。在圖9中，傳輸成本參數(shù)設(shè)置為3，相比于圖6，隨著傳輸成本進(jìn)一步增大，表示我們對服務(wù)的傳輸時(shí)延要求進(jìn)一步嚴(yán)格，我們的策略的總成本相比于其它兩種策略依舊是最小。

圖8 α=2，γ=0.99

圖9 α=3，γ=0.9

4 結(jié)束語

隨著移動(dòng)終端的飛速發(fā)展，新興的應(yīng)用比如AR、VR逐漸興起，它們對于時(shí)延要求很高，終端與邊緣服務(wù)器之間的網(wǎng)絡(luò)環(huán)境由于終端地理位置的改變導(dǎo)致服務(wù)質(zhì)量下降，需要對服務(wù)進(jìn)行遷移以保證服務(wù)不中斷。解決這些問題，首先將服務(wù)遷移問題描述為MDP模型，考慮用戶的位置與MEC的位置之間的偏移量，用戶移動(dòng)模型采用二維隨機(jī)行走模型，提出基于MDP的服務(wù)遷移算法，證明服務(wù)遷移問題存在最優(yōu)閾值，利用貝爾曼方程迭代求解最佳遷移策略，以實(shí)現(xiàn)服務(wù)質(zhì)量與成本之間的權(quán)衡。通過這種方法，MEC可以最優(yōu)的選擇一個(gè)服務(wù)是否遷移，遷移到哪里的。我們將該算法與一直遷移策略和myopic策略進(jìn)行比較，與二者相比在保證服務(wù)質(zhì)量的前提下產(chǎn)生的總開銷最小，仿真驗(yàn)證了所提出策略的最優(yōu)性和有效性。隨著我們越來越注重遷移帶來的后續(xù)狀態(tài)，所提策略的性能最優(yōu)性會(huì)越明顯。

在未來工作中，我們將繼續(xù)探索服務(wù)遷移策略，在遷移決策中考慮更多的因素，如服務(wù)類型、服務(wù)器的處理能力、服務(wù)時(shí)延等，探索上述因素對服務(wù)遷移的影響，進(jìn)一步提高算法的適用性，為實(shí)際網(wǎng)絡(luò)提供更準(zhǔn)確的決策。