蜂窩網(wǎng)絡(luò)中D2D通信資源分配方法綜述

孫恩昌， 屈晗星， 袁永儀， 張延華

(1.北京工業(yè)大學(xué)信息學(xué)部， 北京 100124； 2.北京工業(yè)大學(xué)先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室， 北京 100124)

隨著超高清晰度流媒體視頻、基于云的應(yīng)用逐漸“爆發(fā)”，以及各類移動(dòng)智終端設(shè)備市場(chǎng)普及率不斷提高，移動(dòng)通信網(wǎng)絡(luò)所承載的數(shù)據(jù)流量爆炸式增長(zhǎng)[1]. 在日益緊張的頻譜資源中提高移動(dòng)終端用戶的快速接入并實(shí)現(xiàn)高速的數(shù)據(jù)傳輸，成為無線通信中急需解決的一個(gè)問題. 傳統(tǒng)解決方案，例如增加專用頻譜、使用多條天線等因其高昂的成本或技術(shù)限制，都無法很好地解決頻譜資源緊張、移動(dòng)用戶快速接入以及高速數(shù)據(jù)傳輸?shù)葐栴}[2]. 隨著移動(dòng)通信的不斷發(fā)展，容量更高、數(shù)據(jù)速率更快、端到端時(shí)延更低、開銷更低、大規(guī)模設(shè)備連接和極致的用戶體驗(yàn)質(zhì)量(quality of experience, QoE)[3]成為新的挑戰(zhàn). 不同于傳統(tǒng)的無線通信技術(shù)，例如Wi-Fi等，設(shè)備到設(shè)備(device-to-device, D2D)通信是一種能夠在運(yùn)營(yíng)商授權(quán)頻段內(nèi)應(yīng)用、復(fù)用傳統(tǒng)蜂窩用戶(cellular users, CUs)資源、允許鄰近設(shè)備之間直接交換信息的技術(shù)[4]，具有降低基站(base station, BS)壓力、減小設(shè)備到設(shè)備傳輸時(shí)延、提高系統(tǒng)網(wǎng)絡(luò)性能和效率的潛力[5-7]. D2D通信技術(shù)已被第3代合作伙伴計(jì)劃(3rd generation partnership project,3GPP)列入第五代(the fifth generation, 5G)移動(dòng)通信系統(tǒng)發(fā)展框架，成為5G關(guān)鍵技術(shù)之一，在第六代(the sixth generation, 6G)移動(dòng)通信系統(tǒng)甚至未來的移動(dòng)通信發(fā)展中，D2D通信技術(shù)依然能夠發(fā)揮重要作用.

蜂窩網(wǎng)絡(luò)中引入D2D通信技術(shù)，在帶來諸多優(yōu)點(diǎn)的同時(shí)也面臨著挑戰(zhàn)，例如設(shè)備發(fā)現(xiàn)、會(huì)話建立、模式選擇、資源分配、功率控制、干擾協(xié)調(diào)等等. 合理的資源分配方式不僅可以保證CUs和D2D用戶的通信服務(wù)質(zhì)量(quality of service,QoS)，還可以提高系統(tǒng)頻譜利用率、緩解頻譜資源短缺、減小系統(tǒng)內(nèi)的同頻干擾等. 目前，國(guó)內(nèi)外關(guān)于D2D資源分配的研究主要集中在提高系統(tǒng)頻譜利用率功率效率，以及提高系統(tǒng)吞吐量等.

與已有的D2D通信資源分配綜述不同，本文首先基于不同的數(shù)學(xué)理論方法，重點(diǎn)介紹蜂窩網(wǎng)絡(luò)中D2D資源分配的方案，對(duì)這些方法進(jìn)行分類，主要包括基于圖論和超圖理論的集中式資源分配方案、基于博弈論和機(jī)器學(xué)習(xí)的分布式資源分配方案、啟發(fā)式算法和其他算法，縱向總結(jié)和橫向比較各種算法的優(yōu)點(diǎn)和不足；其次提出蜂窩網(wǎng)絡(luò)中D2D資源分配研究存在的主要問題，例如聯(lián)合優(yōu)化、多小區(qū)建模等；最后對(duì)D2D通信資源分配未來發(fā)展進(jìn)行展望.

1 蜂窩網(wǎng)絡(luò)中D2D通信模式

蜂窩網(wǎng)絡(luò)中D2D通信，即在BS的控制下，設(shè)備與設(shè)備間進(jìn)行的近距離直連通信技術(shù). 該技術(shù)不僅能夠減輕BS的工作負(fù)荷、提高網(wǎng)絡(luò)覆蓋范圍，還能在有效控制干擾的前提下，加快數(shù)據(jù)傳輸速率、提高蜂窩系統(tǒng)容量和資源利用率、減少終端能耗[1,8]. 蜂窩網(wǎng)絡(luò)中D2D通信模型如圖1所示.

圖1 蜂窩網(wǎng)絡(luò)中D2D通信模型Fig.1 Model of D2D communication in cellular network

根據(jù)利用頻譜類型的不同，可將蜂窩網(wǎng)絡(luò)中D2D通信劃分為帶內(nèi)D2D通信和帶外D2D通信. 帶外D2D通信利用未授權(quán)的頻帶，避免與蜂窩鏈路之間的干擾. 帶內(nèi)通信可進(jìn)一步分為覆蓋模式和底層模式. D2D用戶對(duì)和CUs可以通過覆蓋模式和底層模式實(shí)現(xiàn)對(duì)授權(quán)頻譜的資源共享，增加系統(tǒng)容量. 在覆蓋模式中，D2D用戶被分配與CUs正交的頻譜資源，2種用戶之間不存在同頻干擾，頻譜利用率較高. 但只有當(dāng)系統(tǒng)中有空閑頻譜時(shí)才能在該模式下工作. 底層模式允許D2D用戶設(shè)備復(fù)用CUs的頻譜資源進(jìn)行點(diǎn)對(duì)點(diǎn)的直連通信. 上行鏈路和下行鏈路都可以作為D2D用戶對(duì)的底層復(fù)用頻譜資源. 根據(jù)對(duì)頻譜資源利用狀況，底層模式進(jìn)一步劃分為一對(duì)一模式(一個(gè)D2D用戶對(duì)只能復(fù)用一個(gè)CUs的頻譜資源)、一對(duì)多模式(一個(gè)D2D用戶對(duì)同時(shí)復(fù)用多個(gè)CUs的頻譜資源，但一個(gè)CUs的頻譜資源只能被一個(gè)D2D用戶對(duì)復(fù)用)和多對(duì)多模式(一個(gè)D2D用戶對(duì)同時(shí)復(fù)用多個(gè)CUs，同時(shí)一個(gè)CUs的頻譜資源能夠被多個(gè)D2D用戶對(duì)復(fù)用). 蜂窩網(wǎng)絡(luò)中D2D通信模式分配如圖2所示.

圖2 蜂窩網(wǎng)絡(luò)中D2D通信模式分類Fig.2 Classification of D2D communication modes in cellular networks

本文主要對(duì)采用底層模式的D2D通信資源分配方法進(jìn)行分析. 在該模式下，共用信道資源的用戶間必然存在同頻干擾，包括D2D鏈路與蜂窩鏈路之間的干擾以及不同D2D用戶對(duì)之間的干擾，會(huì)嚴(yán)重影響用戶的正常通信. 合理的資源分配方案是緩解D2D通信系統(tǒng)中干擾的有效手段，還可以實(shí)現(xiàn)增加系統(tǒng)吞吐量、提高用戶的QoS等優(yōu)化目標(biāo).

2 主要方法分析

蜂窩網(wǎng)絡(luò)中D2D通信資源分配問題實(shí)質(zhì)上是一個(gè)混合整數(shù)線性規(guī)劃問題，無法在短時(shí)間得到最優(yōu)解. 因此學(xué)者們將不同數(shù)學(xué)理論與資源分配過程結(jié)合，將此NP-Hard問題轉(zhuǎn)化為次優(yōu)問題. 算法運(yùn)用到的數(shù)學(xué)理論主要包括圖論、超圖理論、博弈論、機(jī)器學(xué)習(xí)和啟發(fā)式思想等. 本章將基于不同理論，對(duì)這些方法進(jìn)行總結(jié)，縱向分析各方法的優(yōu)點(diǎn)與不足，橫向?qū)Ρ雀黝惙椒ǖ牟町?

2.1 基于圖論的算法

1763年，數(shù)學(xué)家歐拉解決了著名的“哥斯堡七橋問題”，創(chuàng)立了圖論. 圖G是頂點(diǎn)集V和邊集E的二元組，即G=(V,E). 若一條邊e包含2個(gè)頂點(diǎn)u和v，稱u、v關(guān)聯(lián)且相鄰.

若邊有方向，則稱其為有向邊，反之稱為無向邊. 每條邊都有方向的圖稱為有向圖，如圖3所示.

圖3 有向圖Fig.3 Directed graph

反之，若圖中任意一條邊都沒有方向，則稱為無向圖[9]，如圖4所示.

圖4 無向圖Fig.4 Undirected graph

在D2D通信資源分配算法中，圖論有著廣泛的運(yùn)用. 頂點(diǎn)可表示通信系統(tǒng)中的CUs和D2D用戶對(duì)，邊可表示鏈路關(guān)系或通信用戶之間的干擾關(guān)系.

文獻(xiàn)[10]提出一種基于圖論的D2D用戶對(duì)形成和資源分配方案，該方案協(xié)調(diào)CUs和D2D用戶對(duì)，有效地增加了含D2D用戶對(duì)的蜂窩系統(tǒng)容量. 但是該方案需要知道全信道狀態(tài)信息(channel state information,CSI)，增加了算法的難度. 針對(duì)此不足，文獻(xiàn)[11]在傳輸功率和中斷概率的約束下，不需要知道CSI，為D2D用戶對(duì)構(gòu)造簡(jiǎn)化的二部圖，利用匈牙利算法尋找D2D用戶對(duì)和CUs之間的最佳匹配，算法復(fù)雜度大大降低，同時(shí)系統(tǒng)速率最大化. 但該文獻(xiàn)做了單小區(qū)場(chǎng)景下一對(duì)一資源分配的假設(shè). 為了更加充分地復(fù)用頻譜資源，文獻(xiàn)[12]提出一種在28 GHz毫米波的小蜂窩網(wǎng)絡(luò)中，多個(gè)D2D用戶對(duì)復(fù)用同一CU資源的分配方案. 首先對(duì)D2D用戶進(jìn)行功率分配，然后利用基于二部圖的多階段匹配算法為D2D用戶分配信道資源. 在最大化系統(tǒng)容量的同時(shí)，保證了D2D用戶對(duì)和CUs的QoS. 但上述算法都忽略了模式選擇. 對(duì)此問題，有學(xué)者對(duì)資源分配和模式選擇的聯(lián)合優(yōu)化問題進(jìn)行研究[13-14]. 文獻(xiàn)[13]將D2D用戶對(duì)和CUs進(jìn)一步細(xì)分為穩(wěn)定通信用戶和待接入網(wǎng)的用戶，保證QoS的前提下，利用最大加權(quán)二部圖匹配方法為待接入網(wǎng)絡(luò)的用戶分配信道資源，實(shí)現(xiàn)了D2D用戶對(duì)的模式切換，提高了系統(tǒng)的總速率. 文獻(xiàn)[14]研究了具有交織模式的聯(lián)合模式選擇與資源分配問題，并提出一種基于圖論的算法解決該組合優(yōu)化問題.

圖著色理論也常用于蜂窩覆蓋下D2D通信資源分配[15-17]. 不同的顏色代表不同的可用頻譜，被著相同顏色的用戶表示可以復(fù)用相同的資源. 文獻(xiàn)[15]提出一種全雙工模式下基于圖著色理論的資源分配算法，在保證QoS的前提下提高系統(tǒng)的吞吐量. 但是該算法只適用于D2D用戶設(shè)備數(shù)量少于CUs設(shè)備數(shù)量的情況，即只能進(jìn)行一對(duì)一的資源分配. 針對(duì)這一不足，文獻(xiàn)[16-17]進(jìn)行了改進(jìn). 文獻(xiàn)[16]提出一種改進(jìn)資源分配算法，基于圖著色理論實(shí)現(xiàn)多對(duì)多的頻譜資源復(fù)用，提高系統(tǒng)的吞吐量，改善系統(tǒng)的公平性. 文獻(xiàn)[17]從實(shí)際角度出發(fā)，引入用戶滿意度的評(píng)價(jià)指標(biāo)，在D2D用戶數(shù)量多于CUs數(shù)量的前提下，基于圖頂點(diǎn)著色理論為D2D用戶對(duì)進(jìn)行頻譜分配，提高系統(tǒng)的公平性. 但是，文獻(xiàn)[15-17]算法假設(shè)所有用戶的發(fā)射功率固定，沒有進(jìn)行功率控制. 文獻(xiàn)[18]對(duì)上述算法的缺陷進(jìn)行改進(jìn)，提出基于圖著色理論的聯(lián)合功率控制和用戶優(yōu)先級(jí)的資源分配方案，綜合考慮多種信道條件和用戶需求來劃分資源分配優(yōu)先級(jí)，降低系統(tǒng)功耗，具有良好的吞吐量、公平性和低時(shí)延性.

基于傳統(tǒng)圖論的算法可以很好地對(duì)2個(gè)用戶之間的干擾進(jìn)行建模，進(jìn)行全局優(yōu)化. 在異構(gòu)網(wǎng)絡(luò)中，用戶分布更加密集，多個(gè)用戶間存在累積干擾，傳統(tǒng)圖論無法對(duì)累積干擾充分建模，但是基于超圖理論的算法可以很好地解決這一問題.

2.2 基于超圖理論的算法

1973年，Berge[19]首次提出超圖(hypergraph)的概念，系統(tǒng)地闡述超圖理論. 如圖5所示，超圖H是一對(duì)H=(X,E)函數(shù). 式中：X是一組元素，稱為節(jié)點(diǎn)或頂點(diǎn)；E是一組非空且有限的頂點(diǎn)集合，稱為超邊. 一條超邊可以包含其他超邊. 普通圖每條邊只能連接2個(gè)頂點(diǎn)，而超圖的每個(gè)超邊可以連接任意數(shù)量的頂點(diǎn).

圖5 超圖Fig.5 Hypergraph

超圖理論可以很好地對(duì)D2D通信系統(tǒng)中多個(gè)用戶間的累積干擾進(jìn)行建模. 文獻(xiàn)[20]中提出超圖著色算法研究頻譜分配問題，允許任意數(shù)量的D2D用戶對(duì)復(fù)用CUs的上行鏈路資源. 文章首先為D2D用戶對(duì)和CUs之間的干擾構(gòu)造超圖，然后利用超圖著色理論為D2D用戶對(duì)和CUs分配信道. 該算法可以通過合理分配D2D用戶對(duì)來最大化小區(qū)容量，但是沒有考慮資源分配過程中的公平性問題. 文獻(xiàn)[21]優(yōu)先保證CUs的QoS，提出一種基于位置感知超圖著色的上行D2D蜂窩網(wǎng)絡(luò)頻譜分配算法，對(duì)可接入CUs的D2D用戶對(duì)數(shù)量進(jìn)行限制，保證QoS，提高系統(tǒng)容量. 文獻(xiàn)[22]進(jìn)行頻譜分配的同時(shí)，考慮中繼選擇和功率控制，將三者聯(lián)合優(yōu)化建模為一個(gè)混合整數(shù)的規(guī)劃問題，進(jìn)一步分解為功率控制和中繼信道分配2個(gè)子問題. 針對(duì)中繼信道分配這一NP-Hard子問題，提出基于超圖的三維匹配算法，該算法由貪心搜索初始化算法和l-爪局部搜索算法組成. 結(jié)果分析表明，相比于同類算法，該算法具有較低的復(fù)雜度和較高的能量效率. 文獻(xiàn)[23]提出基于二部超圖的資源分配算法，允許D2D用戶對(duì)和CUs共同復(fù)用上行頻譜資源. 相比于二部圖算法，二部超圖算法可以顯著提高系統(tǒng)的容量和頻譜效率. 但是文章沒有考慮3條以上D2D鏈路共占信道產(chǎn)生的累積干擾對(duì)信道容量的影響. 對(duì)基于圖論和超圖理論的資源分配方案總結(jié)見表1.

表1 基于圖論和超圖理論的資源分配方案Table 1 Resource allocation methods based on graph theory and hypergraph theory

基于傳統(tǒng)圖論和超圖理論的資源分配方案雖然效果良好，但存在以下不足：

1) 大部分算法需要知道CSI，且隨著通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)趨于復(fù)雜，圖的構(gòu)造會(huì)更加煩瑣，兩者都會(huì)增加算法的復(fù)雜度.

2) 集中式的資源分配算法由中心控制器協(xié)調(diào)資源分配，BS負(fù)載增加，信令開銷大.

為了降低算法的復(fù)雜度和信令開銷，不需要中心控制器和CSI的分布式資源分配算法吸引不少學(xué)者的關(guān)注，其中主要包括基于博弈論和機(jī)器學(xué)習(xí)的算法.

2.3 基于博弈論的算法

博弈論，又稱對(duì)策論. 主要包括參與者、策略、行動(dòng)、效用、結(jié)果、均衡等概念. 根據(jù)參與人之間是否具有依存關(guān)系，分為合作博弈和非合作博弈. 若參與人之間具有約束力的契約，即為合作博弈；若參與人之間不具有任何約束力的契約，即為非合作博弈[24]，非合作博弈的解稱為納什均衡，只有當(dāng)所有參與者對(duì)均衡策略具有共同認(rèn)知時(shí)，納什均衡才能實(shí)現(xiàn)[25].

在D2D通信中，CUs和D2D用戶對(duì)之間存在著競(jìng)爭(zhēng)與合作的關(guān)系. 文獻(xiàn)[26]基于博弈論，利用偏好關(guān)系為D2D用戶對(duì)分配復(fù)用的蜂窩信道資源，實(shí)現(xiàn)了多個(gè)D2D用戶對(duì)和一個(gè)CUs之間的穩(wěn)定匹配. 不少學(xué)者聯(lián)合考慮資源分配和功率控制問題，基于博弈論的思想進(jìn)行資源分配[27-31]. 為了保證CUs和調(diào)度D2D用戶對(duì)的QoS，文獻(xiàn)[27]提出一種與干擾區(qū)域相結(jié)合的，基于非合作博弈論的分布式算法. 文獻(xiàn)[28]將資源分配描述為具有優(yōu)先級(jí)序列的聯(lián)盟形成博弈，保證D2D用戶對(duì)的最大吞吐量和每一個(gè)用戶設(shè)備的訪問速率. Yuan等[29-30]利用匹配博弈來解決多對(duì)一情況下的頻譜分配問題；且文獻(xiàn)[29]將功率控制問題建模為Stackelberg博弈，但是D2D用戶對(duì)之間的干擾信息都沒有得到很好的利用. 文獻(xiàn)[31]則利用Stackelberg博弈為時(shí)變環(huán)境下聯(lián)合資源分配和功率分配問題進(jìn)行建模，提出一種不需要信息交換的全分布式方案，保證了CUs的QoS. 在文獻(xiàn)[32]中，作者考慮頻譜資源分配、功率分配的同時(shí)，也對(duì)傳輸時(shí)間進(jìn)行優(yōu)化.

資源分配問題也可建模為非合作博弈[33-35]. 文獻(xiàn)[33]考慮上行鏈路場(chǎng)景中，多個(gè)D2D用戶對(duì)復(fù)用一個(gè)CUs信道的資源分配問題. 在保證系統(tǒng)QoS的同時(shí)，抑制跨層干擾和共層干擾，提高了系統(tǒng)的吞吐量. 但是該算法只對(duì)單小區(qū)場(chǎng)景進(jìn)行建模，沒有對(duì)多小區(qū)間的干擾進(jìn)行討論. 針對(duì)這一缺陷，文獻(xiàn)[34]提出一種不完全信息博弈模型，研究5G網(wǎng)絡(luò)下多小區(qū)D2D通信的資源分配問題. 文獻(xiàn)[35]研究了具有宏基站、微基站和D2D用戶對(duì)的三層蜂窩網(wǎng)絡(luò)，提出用于資源分配的非合作博弈方法，對(duì)D2D用戶對(duì)的能量效率進(jìn)行優(yōu)化，當(dāng)信道處于靜態(tài)或動(dòng)態(tài)時(shí)，該算法分別收斂到納什均衡和帕累托最優(yōu). 對(duì)基于博弈論的資源分配方案總結(jié)如表2所示.

表2 基于博弈論的資源分配方案Table 2 Resource allocation methods based on game theory

基于博弈論的分布式資源分配算法不需要知道CSI，有效緩解了BS計(jì)算壓力，彌補(bǔ)了傳統(tǒng)集中式算法計(jì)算負(fù)載大的缺陷，但D2D用戶之間頻繁的信息交換造成額外的電量消耗，忽略了能效問題. 基于機(jī)器學(xué)習(xí)的算法，能夠減小甚至舍棄用戶之間的信息交換，避免了不必要的電力浪費(fèi).

2.4 基于機(jī)器學(xué)習(xí)的算法

D2D通信資源分配不是凸優(yōu)化問題，利用優(yōu)化方法得到的方案不是全局最優(yōu). 另外，在某些情況下，資源分配問題可能無法在數(shù)學(xué)上被很好地定義. 機(jī)器學(xué)習(xí)為D2D通信資源分配提供了新的解決思路與方案.

在文獻(xiàn)[36]中，作者將D2D通信運(yùn)用到云無線電接入網(wǎng)絡(luò)中，研究了上行D2D支持的云無線接入網(wǎng)，顯著地提高頻譜效率. 為了緩解D2D通信鏈路與蜂窩網(wǎng)絡(luò)之間嚴(yán)重的層間干擾，許多學(xué)者利用Q-learning進(jìn)行系統(tǒng)建模[37-42]. 文獻(xiàn)[37]將D2D用戶對(duì)的分布式資源分配建模為隨機(jī)非合作博弈，提出一種Q-learning算法，該算法不需要CUs、D2D用戶對(duì)和BS之間進(jìn)行協(xié)調(diào)或信息交換. 在適當(dāng)?shù)臏囟葏?shù)設(shè)置下，該學(xué)習(xí)方法具有較快的收斂速度和接近最優(yōu)的收斂結(jié)果. 文獻(xiàn)[38]在保證CUs通信質(zhì)量的前提下，構(gòu)建基于強(qiáng)化學(xué)習(xí)的數(shù)學(xué)模型，設(shè)計(jì)分布式Q-learning功率控制方案，通過控制D2D用戶的發(fā)射功率使得系統(tǒng)吞吐量最大化. [39-40]研究了異構(gòu)網(wǎng)絡(luò)中D2D通信的能效問題. 文獻(xiàn)[39]在單小區(qū)場(chǎng)景下，提出一種基于Q-learning和自適應(yīng)貪婪算法來優(yōu)化用戶設(shè)備與BS或接入點(diǎn)的連接. 在文獻(xiàn)[40]中，作者在更為復(fù)雜的多小區(qū)場(chǎng)景下，利用Q-learning和對(duì)數(shù)冷卻方法對(duì)文獻(xiàn)[39]中的問題進(jìn)一步優(yōu)化. 2種算法都減小系統(tǒng)總發(fā)射功率. 文獻(xiàn)[41]將分布式Q-learning的D2D資源分配方案運(yùn)用到基于D2D的V2V通信中，提出一種動(dòng)態(tài)資源分配與共享算法. 但該算法只對(duì)頻譜分配問題進(jìn)行優(yōu)化，沒有聯(lián)合考慮模式選擇和功率控制，D2D通信效力有待進(jìn)一步提高. 對(duì)此不足，文獻(xiàn)[42]提出一種基于Q-learning的聯(lián)合資源分配與功率控制算法，采取一對(duì)一的資源分配方式，將選擇速率作為效用函數(shù)，通過不斷學(xué)習(xí)，獲得聯(lián)合資源分配和功率控制的最優(yōu)策略，使系統(tǒng)獲得最大的吞吐量. 基于Q-learning的資源分配方案雖然可以很好地提高系統(tǒng)性能，但是存在不易收斂的缺點(diǎn). 文獻(xiàn)[43]提出一種actor-critic強(qiáng)化學(xué)習(xí)算法，研究在CSI未知時(shí)信道和功率分配問題，相較于Q-learning收斂差的缺點(diǎn)，該算法可以保證收斂，且提高系統(tǒng)吞吐量，降低功耗、最大化系統(tǒng)和速率. 文獻(xiàn)[44]提出一種基于分布式機(jī)器學(xué)習(xí)的資源分配方案. D2D用戶在一個(gè)接近實(shí)際的多層異構(gòu)網(wǎng)絡(luò)中，以最優(yōu)的學(xué)習(xí)策略來自主選擇頻譜資源，降低BS的負(fù)載. 該學(xué)習(xí)策略通過與環(huán)境的相互作用快速適應(yīng)網(wǎng)絡(luò)的變化，保持CUs的QoS和中斷率，最大限度地提高D2D 用戶的吞吐量. 文獻(xiàn)[45]提出一種基于深度強(qiáng)化學(xué)習(xí)的資源分配框架，在訓(xùn)練期間共享全局的歷史狀態(tài)、行動(dòng)以及策略，并且在執(zhí)行期間不用進(jìn)行信息交換. 為了降低訓(xùn)練的復(fù)雜度，文章提出一種基于臨近智能體歷史信息的臨近智能體參與者評(píng)價(jià)進(jìn)行輔助訓(xùn)練. 這2種方案不僅能夠快速收斂，而且能夠有效地降低蜂窩鏈路的中斷概率，提高D2D鏈路的速率. 在文獻(xiàn)[46]中，Elhalawany等將神經(jīng)網(wǎng)絡(luò)應(yīng)用到D2D通信的資源分配中，提出一種在線分配的功率分配算法. 對(duì)于機(jī)器學(xué)習(xí)的資源分配方案總結(jié)見表3.

表3 基于機(jī)器學(xué)習(xí)的資源分配方案Table 3 Resource allocation methods based on machine learning

機(jī)器學(xué)習(xí)方法利用歷史網(wǎng)絡(luò)環(huán)境狀態(tài)信息學(xué)習(xí)資源分配策略，把學(xué)習(xí)好的策略應(yīng)用到即時(shí)資源分配中，算法執(zhí)行效率高，但是現(xiàn)有的基于強(qiáng)化學(xué)習(xí)的分布式資源分配研究存在著問題，例如訓(xùn)練環(huán)境不穩(wěn)定、訓(xùn)練不易收斂等[47]，因此還需要更深入的研究.

2.5 啟發(fā)式算法

基于啟發(fā)式思想的資源分配算法主要包括遺傳算法、粒子群算法、模擬退火算法、貪婪算法等. 文獻(xiàn)[48]在單小區(qū)全負(fù)載場(chǎng)景下，基于啟發(fā)式思想進(jìn)行信道選擇，考慮多對(duì)一的情況，在保證系統(tǒng)QoS的前提下，使復(fù)用后系統(tǒng)的吞吐量達(dá)到最大值. 文獻(xiàn)[49]則在非全負(fù)載場(chǎng)景下，利用啟發(fā)式思想遍歷D2D用戶對(duì)和CUs之間的干擾矩陣，找到干擾的最小值，為D2D用戶對(duì)和CUs分配可以復(fù)用的下行鏈路資源；由于系統(tǒng)非全負(fù)載，在為CUs分配完可用信道后，部分D2D用戶對(duì)可以有專用的頻譜資源進(jìn)行通信. 也有一些文獻(xiàn)利用遺傳算法為D2D資源分配問題提供解決方案. 文獻(xiàn)[50]給出一種聯(lián)合模式選擇和功率分配的資源分配方案，首先基于貪婪算法為D2D用戶對(duì)分配子信道，然后利用遺傳算法為專用子信道的D2D用戶對(duì)進(jìn)行功率分配，顯著地提高D2D用戶對(duì)的傳輸速率和頻譜利用率. 文獻(xiàn)[51]提出一種5G網(wǎng)絡(luò)中基于遺傳算法的D2D通信資源分配方案，將資源分配給產(chǎn)生干擾較少的D2D用戶對(duì)，因此對(duì)減少D2D用戶對(duì)干擾的優(yōu)化技術(shù)提出新的要求. 但是遺傳算法存在局部搜索能力差、在未成熟收斂和隨機(jī)游走等問題，導(dǎo)致算法收斂性差[52-53]. 因此，學(xué)者們把目光投向粒子群算法等其他啟發(fā)式算法.

粒子群算法是基于“種群”和“進(jìn)化”概念的最優(yōu)化算法，通過個(gè)體間的協(xié)作與競(jìng)爭(zhēng)，實(shí)現(xiàn)復(fù)雜空間最優(yōu)解的搜索[54]. 文獻(xiàn)[55]提出一種改進(jìn)的動(dòng)態(tài)非線性慣性權(quán)重的離散粒子群算法，為D2D用戶對(duì)分配可復(fù)用的上行資源鏈路，該算法解決了粒子群算法易陷入局部最優(yōu)的問題，并提高了粒子的收斂速度，使得系統(tǒng)吞吐量最大化. 文獻(xiàn)[56]提出一種混合遺傳算法和二進(jìn)制粒子群的優(yōu)化算法，用于聯(lián)合子載波分配和功率控制，但是該算法計(jì)算復(fù)雜度較高. 模擬退火算法用于尋找從初始溫度到最低溫度之間的最優(yōu)解，要進(jìn)行生成解決方案和接收解決方案這2個(gè)流程[57]. 文獻(xiàn)[58]基于模擬退火算法，對(duì)Nakagami-m衰落信道中的D2D用戶對(duì)和CUs進(jìn)行資源分配，提高了時(shí)變信道中的資源平均總利用率，但是研究中未考慮移動(dòng)設(shè)備的發(fā)射功率，使得D2D設(shè)備的功耗較高. 文獻(xiàn)[59]以最大化信道容量為目標(biāo)，提出一種改進(jìn)的模擬退火算法. 為了減小干擾，文章限制BS一定范圍內(nèi)不能存在通信用戶，并且減小用戶的發(fā)射功率. 文獻(xiàn)[60]提出一種基于貪婪算法和連續(xù)干擾消除的無線資源分配方法，允許CU和3對(duì)D2D用戶對(duì)共存于信道中，使得D2D鏈路的性能最大化，提高了資源的利用率和系統(tǒng)的吞吐量. 文獻(xiàn)[61]研究基于D2D通信的物聯(lián)網(wǎng)設(shè)備聯(lián)合頻譜和功率的優(yōu)化問題，提出一種貪婪迭代匹配算法來進(jìn)行頻譜分配，提高小區(qū)吞吐量和物聯(lián)網(wǎng)設(shè)備的可訪問性.

2.6 其他算法

Gale-Shapley算法、Kuhn-Munkres算法、分簇思想等也被運(yùn)用于解決D2D通信的資源分配問題.

有不少算法基于圖論來為D2D用戶對(duì)進(jìn)行分簇，使處于同一簇內(nèi)的D2D用戶對(duì)可以復(fù)用相同的頻譜鏈路資源[62-63]. 文獻(xiàn)[62]提出一種在全雙工模式下基于圖分簇的D2D資源分配算法，再通過最優(yōu)匹配算法為D2D用戶簇分配可復(fù)用的最佳信道資源，達(dá)到多對(duì)一的頻譜復(fù)用，該算法可將系統(tǒng)的吞吐量提高到半雙工模式下的約2倍. 但是，文章只對(duì)單小區(qū)場(chǎng)景下蜂窩上行資源鏈路進(jìn)行建模且沒有考慮來自全雙工模式下的自干擾. 與[62]中用戶資源在單小區(qū)中均勻分布不同，文獻(xiàn)[63]考慮用戶資源在單小區(qū)中隨機(jī)分布場(chǎng)景下，對(duì)全雙工D2D用戶對(duì)進(jìn)行分簇的問題. 但文獻(xiàn)[62-63]都沒有考慮對(duì)系統(tǒng)中用戶設(shè)備的功率優(yōu)化問題，忽略能量消耗，因此加重了BS的負(fù)載. 文獻(xiàn)[64]以最大化系統(tǒng)吞吐量為目標(biāo)對(duì)D2D資源分配問題進(jìn)行建模，提出一種基于距離差的資源分配方案，并利用窮舉法和Kuhn-Munkres法得到全局最優(yōu)解，在保證CUs的QoS的同時(shí)，減小了系統(tǒng)的管理開銷. 文獻(xiàn)[65]在利用差分算法進(jìn)行功率優(yōu)化的同時(shí)，聯(lián)合考慮模式選擇和資源分配的優(yōu)化問題，在最大化系統(tǒng)吞吐量的同時(shí)，平衡能量效率. 文獻(xiàn)[66]設(shè)計(jì)研究基于社交感知的D2D多播資源分配機(jī)制和基于社交和物理屬性的D2D多播分簇和簇頭選擇機(jī)制，提高了D2D多播通信的安全性和可靠性，但如何從網(wǎng)絡(luò)社交平臺(tái)中提取真實(shí)可靠的關(guān)系數(shù)據(jù)仍是亟待解決的問題.

3 問題與展望

3.1 存在的問題

蜂窩網(wǎng)絡(luò)中D2D通信資源分配的研究還存在問題與不足.

1) 信道動(dòng)態(tài)特性問題. 當(dāng)前的大部分資源分配研究都假設(shè)系統(tǒng)信息，例如SINR、信道增益、接入用戶數(shù)等穩(wěn)定不變，但實(shí)際分配方案中必須考慮無線通信系統(tǒng)的動(dòng)態(tài)特性.

2) 多維優(yōu)化問題. 當(dāng)前資源分配方案大多數(shù)只針對(duì)模式選擇、頻譜分配和功率分配當(dāng)中1個(gè)或2個(gè)方面進(jìn)行優(yōu)化. 從D2D通信模式轉(zhuǎn)換角度考慮，當(dāng)蜂窩網(wǎng)絡(luò)中的頻譜資源滿足當(dāng)前蜂窩用戶通信且還有剩余時(shí)，D2D用戶對(duì)若依舊復(fù)用蜂窩用戶頻譜資源，會(huì)造成空閑頻譜的浪費(fèi). 當(dāng)系統(tǒng)中有空閑的蜂窩資源時(shí)，D2D用戶可以在覆蓋模式下通信，若系統(tǒng)中頻譜資源全部被蜂窩用戶占用，D2D用戶對(duì)轉(zhuǎn)換為底層模式. 當(dāng)前研究通常只關(guān)注底層模式下的頻譜分配.

3) 建模問題. 首先，現(xiàn)有研究中所提出的D2D通信資源分配方案大多集中在單小區(qū)場(chǎng)景下，多小區(qū)之間或者無小區(qū)環(huán)境中的資源分配問題還少有涉足. 其次，資源分配問題一般都是NP-hard問題，傳統(tǒng)的集中式資源分配算法復(fù)雜度較高，需要大量的迭代運(yùn)算，且很難確定一個(gè)最優(yōu)解. 在某些場(chǎng)景下，資源分配問題可能無法在數(shù)學(xué)上很好地定義.

4) 算法自身缺陷. 現(xiàn)有的D2D通信資源分配方案都存在一定的缺陷. 以圖論和超圖理論為代表的集中式資源分配方案雖然準(zhǔn)確性很高，但是隨著未來用戶數(shù)量的增加，算法的復(fù)雜度和BS的計(jì)算負(fù)載會(huì)提高. 而以博弈論為代表的傳統(tǒng)分布式資源分配方案，需要用戶之間進(jìn)行頻繁的信息交互，造成不必要的電力消耗，忽略綠色節(jié)能的需求. 當(dāng)前基于機(jī)器學(xué)習(xí)的資源分配方案雖然可以克服傳統(tǒng)集中式和分布式方案的信令開銷大和信息交互頻繁的不足，但是還存在著訓(xùn)練學(xué)習(xí)速度慢、不易收斂、泛化能力差[47]等問題. 綜上，傳統(tǒng)的集中式和分布式資源分配算法已不再適用復(fù)雜多變的網(wǎng)絡(luò)環(huán)境和超大的數(shù)據(jù)流量. D2D通信資源分配算法對(duì)比與總結(jié)見表4.

5) 能效問題. 現(xiàn)有算法在提高系統(tǒng)性能的同時(shí)，忽略能效問題，例如，基于博弈論的方案信息交互頻繁、電力消耗大，基于機(jī)器學(xué)習(xí)的算法泛化能力差，等等.

3.2 未來展望

1) 考慮信道的動(dòng)態(tài)特性. 在實(shí)際場(chǎng)景中，CUs和D2D用戶相對(duì)位置的變化、用戶與基站間或用戶間距離改變、天氣變化或突然出現(xiàn)干擾等因素都會(huì)導(dǎo)致信道的狀態(tài)發(fā)生改變. 為了保證穩(wěn)定的通信質(zhì)量和網(wǎng)絡(luò)性能，設(shè)計(jì)動(dòng)態(tài)的資源分配方案值得深入研究.

2) 多小區(qū)或無小區(qū)場(chǎng)景下的資源分配方案. 在保證CUs和D2D用戶QoS的條件下設(shè)計(jì)多小區(qū)或無小區(qū)場(chǎng)景下資源分配方案，解決CUs和D2D用戶對(duì)之間復(fù)雜的累積干擾，保證分配方案的簡(jiǎn)便可行，使系統(tǒng)的性能進(jìn)一步提高.

3) 靈活的模式切換. 根據(jù)系統(tǒng)中頻譜資源利用狀況，選擇正確的通信模式，既能避免空閑頻譜的浪費(fèi)，也可以在最合適的通信模式下進(jìn)行良好的頻譜和功率分配，緩解CUs和D2D用戶之間的干擾，保證通信質(zhì)量的同時(shí)進(jìn)一步提高資源的利用率，改善網(wǎng)絡(luò)性能，這是一個(gè)值得研究的問題.

4) 全新的資源分配框架. 針對(duì)NP-hard問題難以求得最優(yōu)解，特殊環(huán)境下資源分配問題難以進(jìn)行數(shù)學(xué)定義，以及現(xiàn)有算法存在的缺陷等問題，未來需要構(gòu)建全新的D2D通信資源分配框架，以應(yīng)對(duì)密集異構(gòu)網(wǎng)絡(luò)下大規(guī)模的數(shù)據(jù)傳輸.

5) 毫米波技術(shù). 面對(duì)日益緊張的頻譜資源，高頻頻段特別是毫米波頻段，成為D2D通信的可用頻段. 對(duì)未授權(quán)的毫米波頻段的頻率范圍進(jìn)行標(biāo)準(zhǔn)化，并對(duì)毫米波頻段的D2D通信資源分配的新方案進(jìn)行研究，使毫米波技術(shù)在D2D通信的資源分配中發(fā)揮更好的作用，緩解頻譜資源短缺.

6) 車輛到所有(vehicle to everything,V2X)通信. 車輛到車輛(vehicle to vehicle,V2V)通信的特點(diǎn)是車輛的高移動(dòng)性、低延遲性和高可靠性，需要大量且準(zhǔn)確的CSI；但由于通信條件的快速變化，CSI很難實(shí)時(shí)準(zhǔn)確獲得，導(dǎo)致開銷增加. 現(xiàn)有的大多數(shù)D2D通信資源分配方案假設(shè)擁有完整的CSI，無法直接應(yīng)用于快速變化的V2X通信. 因此，如何解決環(huán)境的快速變化導(dǎo)致的CSI難以獲得的問題成為V2X通信發(fā)展的一個(gè)挑戰(zhàn). 文獻(xiàn)[67]給出一個(gè)潛在的解決方案，根據(jù)慢衰落參數(shù)和統(tǒng)計(jì)信道數(shù)據(jù)應(yīng)對(duì)快速變化的無線信道且不需要瞬時(shí)CSI，因此未來基于對(duì)D2D通信的V2X資源分配方案可以在此基礎(chǔ)上進(jìn)行設(shè)計(jì).

4 結(jié)論

本文對(duì)D2D通信資源分配的主要方法進(jìn)行分類綜述. 首先，介紹蜂窩網(wǎng)絡(luò)下D2D通信的模型和模式分類；然后，根據(jù)不同理論，將現(xiàn)有的資源分配算法分為基于圖論、超圖理論、博弈論、機(jī)器學(xué)習(xí)、啟發(fā)式算法以及其他算法幾大類，對(duì)他們各自優(yōu)缺點(diǎn)進(jìn)行總結(jié)，將不同算法進(jìn)行對(duì)比；最后，提出當(dāng)前D2D資源分配研究中存在的問題以及未來發(fā)展的可能研究方向.