一種基于強化學習的車聯(lián)網(wǎng)邊緣計算卸載策略

張家波，呂潔娜，甘臣權(quán)，張祖凡

(1.重慶郵電大學 通信與信息工程學院，重慶 400065；2.移動通信技術(shù)重慶市重點實驗室，重慶 400065;3.移動通信教育部工程研究中心，重慶 400065)

0 引 言

車聯(lián)網(wǎng)利用物聯(lián)網(wǎng)技術(shù)[1]將車輛與各種基礎(chǔ)設(shè)施、終端設(shè)備、用戶、服務(wù)等連接起來，實現(xiàn)車輛與萬物之間的相互通信。車聯(lián)網(wǎng)是物聯(lián)網(wǎng)技術(shù)在智能交通領(lǐng)域里的典型應(yīng)用場景。隨著車聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，新型的智能車輛通過車輛與車輛(vehicle-to-vehicle，V2V)、車輛與基礎(chǔ)設(shè)施(vehicle-to-infrastructure，V2I)以及車輛與云(vehicle-to-cloud，V2C)之間的通信技術(shù)[2]和智能交通系統(tǒng)(intelligent traffic system，ITS)，為車輛用戶提供了一個可以實現(xiàn)計算密集型與時延敏感型應(yīng)用的任務(wù)處理平臺[3]，搭載的新型車載應(yīng)用會產(chǎn)生大量的傳感數(shù)據(jù)和復雜的計算任務(wù)，在計算能力有限的車輛上滿足這些實時應(yīng)用的計算需求無疑是一個巨大挑戰(zhàn)[4]。

移動邊緣計算(mobile edge computing，MEC)是一種應(yīng)對計算與日益增長的緩存需求矛盾的有效方法[5-6]，已被廣泛應(yīng)用于無線接入網(wǎng)絡(luò)[7]。MEC將計算資源部署在更接近終端車輛的位置，借助計算卸載技術(shù)將計算密集型車載應(yīng)用從車輛轉(zhuǎn)移到各類鄰近基礎(chǔ)架構(gòu)上的MEC服務(wù)器，在服務(wù)器上進行實時數(shù)據(jù)處理，并完成反饋[8]。然而，車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)存在車輛移動速度快、網(wǎng)絡(luò)拓撲變換頻繁以及設(shè)備之間交互短暫等固有特性，使得車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)中的計算卸載研究面臨前所未有的挑戰(zhàn)。同時，在具有多個MEC服務(wù)器的車聯(lián)網(wǎng)中，傳輸模式的選擇與卸載目標設(shè)備服務(wù)器的確定之間相互影響，使得MEC中的任務(wù)調(diào)度更為復雜，且在多變的車輛場景下，卸載目標設(shè)備服務(wù)器的集合也是不斷變化的，這使得計算卸載的可靠性和穩(wěn)定性難以保障。此外，車輛的移動性會嚴重影響車輛通信的聯(lián)通性，削弱車聯(lián)網(wǎng)移動邊緣系統(tǒng)中計算卸載策略的性能與適用性。因此，必須有一個適應(yīng)動態(tài)變換環(huán)境的任務(wù)卸載方案，以確保車輛任務(wù)卸載的可靠性和效率。

目前，國內(nèi)外已經(jīng)有大量的學者和研究機構(gòu)對移動邊緣計算進行了研究。文獻[9]提出了一種使車輛在卸載計算任務(wù)時能夠了解相鄰車輛卸載延遲性能的卸載算法，以分布式的方式進行工作，不需要頻繁地執(zhí)行狀態(tài)交換，可適應(yīng)動態(tài)環(huán)境，并減小任務(wù)轉(zhuǎn)移的平均延遲。文獻[10]研究無干擾正交多址網(wǎng)絡(luò)和干擾非正交多址網(wǎng)絡(luò)兩種典型的車輛通信場景，將任務(wù)與邊緣之間的交互建模為一個匹配博弈問題，提出了兩種獨立的啟發(fā)式匹配算法以實現(xiàn)能源消耗約束條件下的最小延遲。文獻[11]針對車聯(lián)網(wǎng)場景提出了基于排隊論的云計算卸載算法。文獻[12]提出用一種自主的車輛邊緣框架來管理車輛的空閑計算資源。文獻[13]構(gòu)建一種基于軟件定義網(wǎng)絡(luò)技術(shù)輔助的車聯(lián)網(wǎng)移動邊緣計算架構(gòu)，結(jié)合聚類與強化學習方法的資源分配機制，實現(xiàn)對車聯(lián)網(wǎng)中的無線信道分配、傳輸功率分配與計算資源調(diào)度的聯(lián)合優(yōu)化。文獻[14]將軟件定義網(wǎng)絡(luò)技術(shù)應(yīng)用到MEC體系結(jié)構(gòu)中，對分布式網(wǎng)絡(luò)基礎(chǔ)設(shè)施進行集中控制。文獻[15]為實現(xiàn)5G場景下MEC服務(wù)器端的負載均衡，基于強化學習理論提出了多節(jié)點計算資源分配方案。文獻[16]利用Q-learning構(gòu)建了無人機通信管理系統(tǒng)。文獻[17]利用深度強化學習方法設(shè)計了一種連接車輛的集成資源管理方案。文獻[18]為提高網(wǎng)絡(luò)服務(wù)能力采用強化學習方法為卸載任務(wù)匹配合適的邊緣服務(wù)器。然而，上述文獻中的優(yōu)化目標較為單一，對不同場景的適配度低，未考慮在移動邊緣計算的場景不斷擴大時MEC系統(tǒng)存在的局限性。針對此類情況，制定卸載節(jié)點發(fā)現(xiàn)機制尤為重要，卸載節(jié)點發(fā)現(xiàn)機制可以保障確定卸載目標設(shè)備時的精準性，避免不必要的計算。

本文針對上述研究存在的不足，結(jié)合設(shè)備通信范圍和鏈接時間制定車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)中的卸載節(jié)點發(fā)現(xiàn)機制，提出一種基于強化學習的車聯(lián)網(wǎng)邊緣計算卸載策略。首先，依據(jù)車輛交通系統(tǒng)模型建立系統(tǒng)效用函數(shù)，以最大化系統(tǒng)效用作為卸載決策的指標，將計算卸載問題轉(zhuǎn)換成動態(tài)優(yōu)化問題。其次，利用Q-learning算法強大的決策能力解決該優(yōu)化問題，從而實現(xiàn)任務(wù)的卸載與計算資源的分配。Q-learning算法很好地解決了傳統(tǒng)優(yōu)化算法不能適應(yīng)車輛交通環(huán)境實時變化的問題。最后，通過仿真實驗評估策略的有效性。仿真結(jié)果表明，本文所提出的卸載策略可以有效地降低任務(wù)處理時延以及保證系統(tǒng)效用最大化。

1 系統(tǒng)模型

圖1 車聯(lián)網(wǎng)場景圖Fig.1 Internet of Vehicles scenario diagram

1.1 任務(wù)模型

1.2 通信模型

街道中車輛產(chǎn)生任務(wù)時，可以通過無線通信將任務(wù)卸載到宏基站、路邊單元或鄰近任務(wù)處理車輛進行處理。任務(wù)在進行無線傳輸時，需要考慮信道的傳輸速率，本文利用香農(nóng)公式得出以下通信模式。

1)V2X通信模式。X表示任務(wù)處理車輛以及路邊單元設(shè)備。攜帶任務(wù)的車輛、任務(wù)處理車輛以及路邊單元之間的通信采用單跳自組網(wǎng)絡(luò)形式。由于接收設(shè)備與發(fā)送任務(wù)車輛重復使用同一信道會產(chǎn)生干擾，所以任務(wù)Ti卸載到設(shè)備x的傳輸速率為

(1)

(1)式中：BX為任務(wù)請求車輛和X類型設(shè)備之間可用頻譜的總帶寬，K個請求任務(wù)平均使用該總帶寬；pi為任務(wù)車輛i的傳輸功率；hi,x為任務(wù)車輛i和任務(wù)處理設(shè)備x之間無線傳播信道的信道增益；Ii,x和σ2分別為干擾與高斯白噪聲。

2)任務(wù)卸載到宏基站的通信模式。任務(wù)可以通過蜂窩網(wǎng)絡(luò)轉(zhuǎn)移到宏基站。宏基站覆蓋的街道模型單元使用正交頻譜，因此不會產(chǎn)生干擾。即任務(wù)Ti卸載到宏基站的傳輸速率可以表示為

(2)

(2)式中：BBS為任務(wù)請求車輛和宏基站之間可用的頻譜帶寬；hi,B為任務(wù)車輛i和宏基站之間無線傳播信道的增益。

1.3 計算模型

任務(wù)Ti通過任務(wù)請求車輛和各類任務(wù)處理設(shè)備之間的無線網(wǎng)絡(luò)傳輸卸載到設(shè)備x，隨后利用設(shè)備x的計算資源對任務(wù)Ti進行處理。因此，執(zhí)行任務(wù)Ti的時間包括兩部分：通信時間與計算時間。

(3)

(4)

任務(wù)Ti卸載到設(shè)備x的總執(zhí)行時間可表示為

ttotal,i,x=tcomp,i,x+tcomm,i,x

(5)

效用函數(shù)可表示卸載系統(tǒng)在決策中所獲得的效用與所消耗的組合資源之間的數(shù)量關(guān)系，可以很好地衡量卸載系統(tǒng)中用戶的滿意度。針對車聯(lián)網(wǎng)這一多用戶場景，利用自定義的系統(tǒng)效用作為卸載指標比僅考慮時延更為全面[20]。本文的策略以系統(tǒng)效用作為任務(wù)卸載指標，系統(tǒng)效用通過以下因素來確定。

1)任務(wù)處理時延。任務(wù)處理時延是衡量車輛性能的重要指標。一般情況下，效用函數(shù)值隨著任務(wù)處理時延的增加而單調(diào)下降。如果任務(wù)處理時延較短，系統(tǒng)可獲得較高的滿意度，時延滿意度應(yīng)是非負的。

2)蜂窩接入網(wǎng)的流量大小。移動車載設(shè)備通過蜂窩網(wǎng)將任務(wù)轉(zhuǎn)移給宏基站的數(shù)據(jù)量大小。

3)計算資源成本。車輛將計算任務(wù)卸載到邊緣節(jié)點處理時需要支付服務(wù)費用，成本與效用成反比關(guān)系。

4)通信資源成本。卸載系統(tǒng)從無線網(wǎng)絡(luò)租用頻譜資源的費用。

綜上，本文建立的系統(tǒng)效用函數(shù)為

(6)

(7)

(7)式中：cc為在單位時間內(nèi)使用蜂窩網(wǎng)絡(luò)頻譜的成本費用；cv為單跳自組織網(wǎng)絡(luò)中單位時間內(nèi)使用頻譜的成本費用；cx為在單位時間內(nèi)使用計算資源的價格。

任務(wù)處理時延ti的計算表達式為

(8)

2 優(yōu)化問題

將車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)的任務(wù)卸載和資源分配問題定義為一個優(yōu)化問題，研究目標是使整個系統(tǒng)的效用最大化。在最大可容忍時延和設(shè)備計算能力的約束下，該問題可表示為

C5:m∈Mi,n∈Ni

(9)

問題(9)可以通過尋找卸載決策向量A和計算資源分配向量F的最優(yōu)值來解決，由于決策變量是二元變量，因此問題(9)是一個非凸問題。隨著車輛用戶數(shù)的增加，規(guī)模會迅速增加，非凸問題具有NP難特性[21]。與將非凸問題近似為凸問題進行優(yōu)化解決的傳統(tǒng)方法不同，本文提出了基于強化學習方法的解決方案來尋找最優(yōu)的A和F。

3 智能節(jié)點選擇卸載算法

為解決系統(tǒng)效用的優(yōu)化以及求解最優(yōu)的卸載決策與計算資源分配問題，提出了智能節(jié)點選擇算法(intelligent node selection offloading algorithm，INSOA)，具體流程如算法1。算法分為3個階段：初始化、節(jié)點發(fā)現(xiàn)以及卸載決策。初始化階段對算法中使用到的參數(shù)進行初始化。參考文獻[22]將車輛的通信半徑設(shè)為150 m，路邊單元的通信半徑設(shè)為500 m，車速設(shè)為10～20 m/s，設(shè)備的位置依據(jù)場景范圍進行部署。Q-learning部分的關(guān)鍵參數(shù)依據(jù)文獻[23]設(shè)置。節(jié)點發(fā)現(xiàn)階段，對任務(wù)以及設(shè)定場景中的所有設(shè)備進行遍歷，并通過判斷任務(wù)請求車輛與設(shè)備間的距離是否在設(shè)備通信范圍內(nèi)以及任務(wù)請求車輛與設(shè)備的通信鏈接時間是否高于最大容忍時延來選擇各個任務(wù)的候選卸載節(jié)點。卸載決策階段，利用階段2的結(jié)果采用Q-learning強化學習方法去解決效用優(yōu)化問題，以實現(xiàn)車輛任務(wù)卸載與計算資源的分配。提出算法的時間復雜度為O(n2+SAm)，其取決于場景中的設(shè)備數(shù)量、任務(wù)數(shù)量以及Q-learning方法中每次迭代時的步數(shù)。

算法1 智能節(jié)點選擇卸載算法

階段1 初始化

1)設(shè)備x通信半徑為Rc

2)設(shè)備x初始位置(xi,yi)，任務(wù)發(fā)出初始位置(xj,yj)

3)設(shè)備x的運行角度θi，運行速度vi；發(fā)出任務(wù)車輛運行角度θj，運行速度vj

4)Q表，回合數(shù)episode，學習率η，折扣因子γ

階段2 節(jié)點發(fā)現(xiàn)

for each task:

for each device:

計算(xi,yi)與(xj,yj)的距離D

ifD≤Rc

ifθi=θjandvi=vj

設(shè)備x放入任務(wù)i候選卸載節(jié)點集合中

else

計算(11)式獲得任務(wù)車輛與卸載節(jié)點間的LET

設(shè)備x放入任務(wù)i候選卸載節(jié)點集合中

else

判斷下一個設(shè)備

end if

end if

else

判斷下一個設(shè)備

end if

end for

end for

獲得任務(wù)的候選卸載節(jié)點集合

階段3 卸載決策

結(jié)合任務(wù)的候選卸載節(jié)點集合進行數(shù)據(jù)處理獲得狀態(tài)集S，動作集A

for each episode：

初始化S0為當前狀態(tài)序列的第1個狀態(tài)

for each step of episode：

使用ε-greed算法從Q表結(jié)構(gòu)中選出在當前狀態(tài)St下的待執(zhí)行動作at

執(zhí)行動作at，獲得新的狀態(tài)St+1和獎勵r

更新Q表中的值：

Q(St,at)←Q(St,at)+

η[r+γmaxQ(St+1,at+1)-Q(St,at)]

使St=St+1

直到達到預期狀態(tài)S_terminal

end for

end for

在參數(shù)初始化后，考慮到車輛的移動性，需要在卸載發(fā)現(xiàn)機制中確定各個任務(wù)的候選卸載節(jié)點。由場景模型可知，車聯(lián)網(wǎng)中可以成為備選卸載節(jié)點的有宏基站、RSU和行駛車輛這3類邊緣計算節(jié)點。因為宏基站的覆蓋面積為整個街道，可直接納入候選卸載節(jié)點集合。算法中只討論另外兩種類型卸載計算節(jié)點(RSU和車輛)的篩選。

針對車輛和RSU這兩類卸載計算節(jié)點的選擇，首先根據(jù)車輛的位置、車速、行駛方向和設(shè)備的位置等參數(shù)列出半徑距離計算式得

(10)

然后，對(10)式進行推導可得兩點間的鏈接時間為

LETij=

(11)

(11)式中，a=vi·cosθi-vj·cosθj，b=xi-xj，c=vi·sinθi-vj·sinθj，d=yi-yj。

針對不同的卸載計算節(jié)點，參數(shù)的設(shè)置也有所不同。當其中一個節(jié)點是RSU時，該點的行駛速度v和行駛角度θ均為0，半徑Rc此時為RSU的通信半徑Rrsu；當兩個節(jié)點為車輛時，(xi,yi)和(xj,yj)是車輛i和車輛j的初始位置坐標，θi和θj分別是車輛i和車輛j的移動方向角度(0≤θi,θj<2π)，vi和vj分別表示車輛i和車輛j的瞬時移動速度，Rc此時為車輛的通信半徑rv。結(jié)合上述節(jié)點設(shè)備間的鏈接時間計算公式和節(jié)點設(shè)備的通信范圍，制定出任務(wù)的候選卸載節(jié)點發(fā)現(xiàn)機制。待處理的任務(wù)可以依據(jù)卸載節(jié)點發(fā)現(xiàn)機制確定其對應(yīng)的候選卸載節(jié)點，然后基于獲得的任務(wù)候選卸載節(jié)點集合對本文提出的優(yōu)化問題進行求解。

在優(yōu)化問題求解過程中，本文采用Q-learning方法。Q-learning是一種基于隨機動態(tài)過程的無模型強化學習方法[24]。Q-learning的原理是一個智能代理通過馬爾科夫過程與環(huán)境進行交互，從環(huán)境中獲得反饋獎勵以學習最優(yōu)控制決策[25]。為了找到最佳的計算卸載解決方案，有必要確定Q-learning的3個重要元素——狀態(tài)，動作以及獎勵。

1)狀態(tài)。車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)中的狀態(tài)包括候選卸載計算節(jié)點信息集合和卸載任務(wù)信息集合。候選卸載計算節(jié)點可能包括3類邊緣計算節(jié)點，第1類為車輛，信息集合包括每輛車的信息(計算能力、車速等)；第2類為路邊單元，節(jié)點信息集合包括每個路邊單元的信息(計算能力、位置等)；第3類為宏基站，信息集合則包括它的計算能力以及位置信息。卸載任務(wù)信息集合則包括每個任務(wù)的輸入數(shù)據(jù)量、所需的計算資源量、最大容忍時間和所屬車輛的信息。

3)獎勵。由強化學習理論可知，每執(zhí)行一步，強化學習代理都將獲得執(zhí)行所選動作后的獎勵。一般情況下，獎勵函數(shù)應(yīng)與目標函數(shù)相聯(lián)系。在本文中，優(yōu)化目標是獲得最大的系統(tǒng)效用，而強化學習算法的目標是獲得最大的獎勵回報，因此回報獎勵應(yīng)與系統(tǒng)效用的大小成正相關(guān)，所以將獎勵定義為λ·U，λ為正數(shù)。

Q-learning執(zhí)行過程中，智能代理與環(huán)境進行交互。智能代理觀察環(huán)境獲取信息，以便在當前狀態(tài)St下選擇一個動作執(zhí)行，從而獲得新的狀態(tài)St+1和執(zhí)行所選動作獲得的即時獎勵r，通過 (12) 式更新Q表，并且將St+1代替當前狀態(tài)St，不斷循環(huán)該過程直到終止狀態(tài)。

Q(St,at)=Q(St,at)+

η[r+γmaxQ(St+1,at+1)-Q(St,at)]

(12)

(12)式中：η為學習率，控制Q值更新速度；γ為折扣因子，表示學習系統(tǒng)的前瞻性。Q-learning通過每一步遍歷學習，迭代更新Q表中的值。算法1中階段3顯示了Q-learning方法的執(zhí)行過程。

4 仿真結(jié)果分析

本節(jié)將對算法仿真結(jié)果進行分析討論。仿真場景中宏基站服務(wù)器部署在遠離中心街道的位置，其他設(shè)備則在3 km×3 km的街道區(qū)域范圍內(nèi)隨機部署。任務(wù)請求車輛與宏基站間的頻譜帶寬BBS=10 MHz，任務(wù)請求車輛與其他車輛、路邊單元間的頻譜帶寬為5 MHz[26]。每個任務(wù)需要卸載的數(shù)據(jù)大小在300～500 kbit之間服從均勻分布，所需的計算資源量在[900,1 100]也服從均勻分布[27]。將本文算法分別與完全卸載到宏基站的算法(All BS)以及貪婪算法(Greed)進行比較。圖2為3種任務(wù)卸載及資源分配算法在執(zhí)行多任務(wù)卸載時各時隙系統(tǒng)狀態(tài)的總效用類比柱狀圖，其中任務(wù)數(shù)設(shè)定為2。由圖2可知，無論在何種狀態(tài)下，本文設(shè)計的基于Q-learning的智能節(jié)點選擇卸載算法均優(yōu)于貪婪算法與完全卸載到宏基站的算法，最佳時比貪婪算法所獲得的系統(tǒng)效用高出約27%。由于貪婪算法只能獲取局部的最優(yōu)解，而基于Q-learning的算法通過狀態(tài)-動作數(shù)據(jù)和獎勵進行不斷學習獲得全局的最優(yōu)解，所以本文算法比貪婪算法更具全局性，能統(tǒng)籌全局獲得更好的系統(tǒng)效用。在完全卸載到宏基站算法的執(zhí)行效果中，系統(tǒng)效用會出現(xiàn)負數(shù)的情況，這是因為在定義系統(tǒng)效用時重點關(guān)注時延這一因素，當任務(wù)選擇卸載到距離較遠的宏基站時，其傳輸時延會增大，時延效用部分會隨之減少，加上后續(xù)的成本消耗過大，從而導致完全卸載到宏基站算法效果不佳。綜上所述，本文提出的智能節(jié)點選擇卸載算法在保障時延優(yōu)化的同時，也能放眼全局使系統(tǒng)效用最大化。

圖2 各時隙系統(tǒng)狀態(tài)的總效用Fig.2 Total utility of each slot system state

隨著任務(wù)數(shù)量的增加，車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)效用的變化情況如圖3所示。代表基于Q-learning的智能節(jié)點選擇卸載算法和貪婪算法的兩條曲線均隨著任務(wù)數(shù)量的增加呈上升趨勢，即隨著任務(wù)數(shù)量的增多，系統(tǒng)的總效用也隨之增加。由圖3可知，本文算法可以取得最好的結(jié)果，性能相對穩(wěn)定。完全卸載到宏基站算法的曲線波動較大，存在不穩(wěn)定的現(xiàn)象，這是由任務(wù)產(chǎn)生具有隨機性造成的，適合卸載到宏基站的任務(wù)計算出的系統(tǒng)效用為正，而不適合卸載到宏基站的任務(wù)計算出的系統(tǒng)效用可能為負，所以導致在多任務(wù)卸載的情況下完全卸載到宏基站算法對應(yīng)的曲線變化不穩(wěn)定且不規(guī)律，而智能節(jié)點選擇卸載算法與貪婪算法均為優(yōu)化類算法，目標均未找到最優(yōu)策略，不同的是智能節(jié)點選擇卸載算法具有Q-learning方法的優(yōu)勢，通過動態(tài)感知獲得全局最優(yōu)，而貪婪算法則考慮的是局部最優(yōu)，所以兩者效果有所差異，智能節(jié)點選擇卸載算法可取得更佳的效果。

圖3 系統(tǒng)效用與任務(wù)數(shù)量的關(guān)系Fig.3 Relationship between system utility and task number

圖4描述的是卸載任務(wù)數(shù)據(jù)量大小與系統(tǒng)效用之間的關(guān)系。由圖4可知，隨著卸載任務(wù)數(shù)據(jù)量的增加，3種算法對應(yīng)的曲線均呈下降趨勢，表明3種算法中的系統(tǒng)效用隨著卸載任務(wù)數(shù)據(jù)量的增加而減少，這是因為處理數(shù)據(jù)量越大的任務(wù)會消耗更多的時間，從而減少時間效用以及增大系統(tǒng)成本，導致系統(tǒng)效用降低。本文算法可以獲得最佳的效果，因為其在不同的數(shù)據(jù)量下所獲得的系統(tǒng)效用均高于其他兩種算法，在獲得最大效用這一目的中體現(xiàn)出極大的優(yōu)勢。與此同時，本文算法比其他兩種算法對應(yīng)曲線下降的趨勢更慢，效果比較穩(wěn)定。

圖4 系統(tǒng)效用與任務(wù)數(shù)據(jù)量大小的關(guān)系Fig.4 Relationship between system utility and task data size

本文對計算資源的分配進行了研究，不同的計算資源分配策略會產(chǎn)生不同的任務(wù)計算時間，任務(wù)計算時間結(jié)合計算資源費用則可獲得計算成本，計算成本是決定系統(tǒng)效用高低的關(guān)鍵因素之一，所以討論計算資源費用與系統(tǒng)效用之間的關(guān)系變化是十分重要的。在不同計算資源收費價格情況下的系統(tǒng)效用如圖5所示。3種算法的系統(tǒng)效用都隨著計算資源收費價格的增加而減少，這是因為較高的計算資源收費價格會增加處理任務(wù)的費用，從而提高計算成本，導致系統(tǒng)效用減少。與上述的分析相似，本文基于Q-learning的智能節(jié)點選擇卸載算法比完全卸載到宏基站算法與貪婪優(yōu)化算法能獲得更高的效用。

圖5 系統(tǒng)效用與計算資源收費價格的關(guān)系Fig.5 Relationship between system utility and computing resource cost

圖6所示為依據(jù)任務(wù)輸入數(shù)據(jù)量對3種算法產(chǎn)生的時延進行比較的情況。圖6中，完全卸載到宏基站算法產(chǎn)生的時延隨著任務(wù)輸入數(shù)據(jù)量的增加而快速增加，因為該方法未對任務(wù)的卸載策略與資源分配進行優(yōu)化，只是實現(xiàn)了局部設(shè)備的點對點卸載，所以該算法的效果受參數(shù)取值變化的影響，說明完全卸載到宏基站算法適用于計算任務(wù)輸入數(shù)據(jù)量較少的任務(wù)。與完全卸載到宏基站算法相比，基于Q-learning提出的智能節(jié)點選擇卸載算法與貪婪算法產(chǎn)生的時延隨著任務(wù)輸入數(shù)據(jù)量的增加而緩慢增加，說明這兩種算法都可以使用鄰近的任務(wù)處理車輛或路邊單元來節(jié)省通信時間。基于Q-learning的智能節(jié)點選擇卸載算法通過全局性優(yōu)化卸載策略的選擇與資源的分配，實現(xiàn)了比貪婪算法更低的時延。

圖6 時延與任務(wù)數(shù)據(jù)量大小的關(guān)系Fig.6 Relationship between time delay and task data size

5 結(jié)束語

本文將移動邊緣計算與車聯(lián)網(wǎng)相結(jié)合，進行面向車聯(lián)網(wǎng)應(yīng)用的移動邊緣計算卸載策略研究，提出了一種基于Q-learning的智能節(jié)點選擇卸載算法。首先，采用設(shè)備鏈接時間與通信半徑等因素制定卸載節(jié)點發(fā)現(xiàn)機制；其次，通過考慮時延與成本建立效用函數(shù)；最后，以效用最大化為策略的優(yōu)化目標，基于卸載節(jié)點發(fā)現(xiàn)機制使用強化學習方法設(shè)計車聯(lián)網(wǎng)移動邊緣計算系統(tǒng)中的任務(wù)卸載算法，在實現(xiàn)系統(tǒng)效用最大化的同時，解決了任務(wù)卸載以及計算資源分配的問題。仿真結(jié)果表明，在不同的系統(tǒng)參數(shù)取值下，所提出的策略都能取得比其他基準方案更好的效用。