基于ＤＤＰＧ 的無人機安全通信效益任務(wù)卸載方案

摘 要：由于無人機具有高機動性、高靈活性的優(yōu)勢，被廣泛應(yīng)用于移動邊緣計算系統(tǒng)中。但是，其視線線路空對地無線鏈路，使得無人機更容易被敵手竊聽。針對該問題，構(gòu)建了由輔助無人機、用戶設(shè)備、入侵無人機和基站組成的多用戶多任務(wù)的無人機輔助移動邊緣計算（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ） 安全通信系統(tǒng)模型，通過引入安全通信效益這一概念，將無人機隱私安全通信問題轉(zhuǎn)化為最大化輔助無人機的安全通信效益問題。提出了基于深度確定性策略梯度（ＤｅｅｐＤｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ） 的安全通信效益任務(wù)卸載算法，該算法通過聯(lián)合優(yōu)化無人機的釋放位置、用戶任務(wù)卸載率和基站以及無人機計算資源分配，來最大化無人機的安全通信效益。仿真結(jié)果表明，該算法取得的安全通信效益與其他算法相比，在不同任務(wù)量方面，平均效益要高２５． ４２％ ，在不同任務(wù)復雜度方面，平均效益要高３３． １２％ 。

關(guān)鍵詞：安全通信效益；深度確定性策略梯度；移動邊緣計算；無人機；資源分配

中圖分類號：ＴＮ９１８． ８＋２ 文獻標志碼：Ａ

文章編號：１００３－３１０６（２０２４）１０－２４９４－１１

０ 引言

近幾年，隨著５Ｇ 移動通信技術(shù)、人工智能和物聯(lián)網(wǎng)的迅猛發(fā)展，智能化移動終端設(shè)備的數(shù)量開始急劇增長，其不斷產(chǎn)生的海量數(shù)據(jù)，給云計算中心帶來了巨大壓力。為了解決這個問題，在用戶設(shè)備比較多的核心區(qū)域部署多個邊緣計算服務(wù)器，提供計算資源［１］，成為了首要選擇。

邊緣計算服務(wù)器大多部署在工廠、倉庫、汽車和無人機上，為用戶業(yè)務(wù)提供就近的計算和處理服務(wù)。但是，隨著無人機的發(fā)展，無人機成本下降，性能提高，無人機在邊緣計算中的應(yīng)用越來越常見。無人機邊緣計算與地面邊緣計算的區(qū)別主要在于，地面邊緣計算側(cè)重于將計算資源部署在網(wǎng)絡(luò)邊緣的地面設(shè)備上［２］，為用戶提供計算資源。無人機邊緣計算專注于將計算能力集成到無人機系統(tǒng)中［３］，為用戶提供計算資源。選擇無人機邊緣計算是因為部署了邊緣計算服務(wù)器的無人機具有高靈活性，可在道路無法通行的緊急情況下，輕易抵達網(wǎng)絡(luò)覆蓋不足的區(qū)域［４］，為用戶提供通信計算服務(wù)。對于無人機輔助的邊緣計算研究，文獻［５］提出了一種無人機輔助移動邊緣計算（Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ，ＭＥＣ）架構(gòu)，為用戶提供服務(wù)，并提出了一種近似算法來解決資源分配和無人機放置問題。文獻［６］提出了一種深度確定性策略梯度（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ）算法來學習無人機在多目標上的控制策略，實現(xiàn)對目標的聯(lián)合優(yōu)化。文獻［７］提出了一個針對多無人機輔助ＭＥＣ 系統(tǒng)的馬爾可夫決策過程，采用雙延遲ＤＤＰＧ 算法，解決任務(wù)分配和功率管理問題。為優(yōu)化無人機的數(shù)據(jù)卸載和資源分配，文獻［８］提出一種雙層優(yōu)化算法———啟發(fā)最優(yōu)評價算法。但是，僅關(guān)注無人機輔助邊緣計算系統(tǒng)中的系統(tǒng)時延、能耗問題是有所欠缺的，因為無人機視線線路空對地無線鏈路，使得無人機更容易被敵手竊聽，所以把無人機隱私安全通信問題［９］加入到無人機的輔助邊緣計算的研究中是非常重要和有意義的，遺憾的是，上述方案并未考慮這一因素。對于無人機隱私安全通信問題，文獻［１０］提出了一種迭代算法來解決用戶之間的通信公平問題，即應(yīng)用塊坐標下降和連續(xù)凸優(yōu)化技術(shù)，來最大化下行通信中所有地面用戶的最小吞吐量。文獻［１１］應(yīng)用塊坐標下降方法、連續(xù)凸逼近、交替逼近和分支－切割方法，優(yōu)化了無人機的位置、用戶的傳輸功率、無人機干擾功率、卸載比和無人機計算能力，來最大化系統(tǒng)保密能力。文獻［１２］應(yīng)用塊坐標下降法、連續(xù)凸逼近技術(shù)和丁克爾巴赫方法提出了一種優(yōu)化算法，通過聯(lián)合優(yōu)化無人機的飛行軌跡和傳輸功率，最大化最小保密能源效率。文獻［１３］提出了一種基于逐次凸逼近和交替方法的迭代算法，通過聯(lián)合優(yōu)化無人機飛行軌跡、下行傳輸功率，來提高最小保密率。文獻［１４］提出了一種聯(lián)合軌跡和用戶調(diào)度優(yōu)化算法，以優(yōu)化無人機軌跡、用戶調(diào)度，提高保密率。文獻［１５］通過塊坐標下降法與連續(xù)凸逼近相結(jié)合的全局優(yōu)化算法，通過聯(lián)合優(yōu)化合法無人機懸停位置、ＣＰＵ 計算頻率分配以及計算任務(wù)復雜度，來提高安全通信能效。文獻［１６］提出了２ 種基于單智能體和多智能體強化學習的多無人機輔助ＭＥＣ 的安全傳輸方法，通過聯(lián)合優(yōu)化安全卸載傳輸速率、計算延遲和能源消耗，提高系統(tǒng)效用。文獻［１７］設(shè)計了基于塊坐標下降的用戶關(guān)聯(lián)和計算資源分配算法，以及基于連續(xù)凸近似的無人機軌跡優(yōu)化算法，以提高無人機和移動用戶之間計算卸載的安全性和隱私性。上述方案對安全效益進行優(yōu)化時是分階段進行，處理并沒有一步到位，即采用先固定一些參數(shù)，優(yōu)化另一些參數(shù)的辦法，如果其中一個算法的結(jié)果不是最優(yōu)的，可能導致后續(xù)得到的結(jié)果與最優(yōu)結(jié)果相差太遠。對多無人機輔助ＭＥＣ 系統(tǒng)中的最大化安全效益優(yōu)化問題，上述方案是把時延或能耗作為一個約束，通過聯(lián)合優(yōu)化無人機飛行軌跡、卸載比等參數(shù)來最大化系統(tǒng)安全效益，可能在系統(tǒng)安全效益最大時，系統(tǒng)時延或能耗并不是最優(yōu)的，系統(tǒng)安全效益值可能是局部最優(yōu)值。

為此，本文研究了一種輔助無人機不僅作為輔助邊緣計算服務(wù)器，還作為中繼節(jié)點，干擾入侵無人機，保證用戶和輔助無人機之間通信安全的多無人機輔助邊緣計算系統(tǒng)。針對該無人機輔助邊緣計算系統(tǒng)可能出現(xiàn)的局部最優(yōu)問題，引入了安全通信效益這一概念，將無人機隱私安全通信問題轉(zhuǎn)化為最大化輔助無人機的安全通信效益問題，此時最大化系統(tǒng)安全通信效益就是最大化輔助無人機的安全通信效益，避免了最大系統(tǒng)安全通信效益值是局部最優(yōu)值。最后，設(shè)計了基于ＤＤＰＧ 的安全通信效益任務(wù)卸載算法，來最大化輔助無人機安全通信效益值，即最大化系統(tǒng)安全通信效益值。

本文的主要貢獻如下：

① 構(gòu)建了一個由多個輔助無人機、多個入侵無人機和基站組成的無人機安全通信ＭＥＣ 系統(tǒng)模型，并引入安全通信效益這一概念，把輔助無人機能耗、用戶時延同時考慮到系統(tǒng)安全通信問題中，將無人機隱私安全通信問題轉(zhuǎn)化為最大化輔助無人機的安全通信效益問題。

② 構(gòu)建了一種基于ＤＤＰＧ 的安全通信效益任務(wù)卸載算法。該算法為了更好地讓環(huán)境中的狀態(tài)隨動作改變，提高安全通信效益，將ＤＤＰＧ 算法中動作添加的噪聲符合奧恩斯坦－烏倫貝克（ＯｒｎｓｔｅｉｎＵｈｌｅｎｂｅｃｋ，ＯＵ）隨機過程換成了標準正態(tài)分布隨機過程，并將添加噪聲的動作輸入Ｓｉｇｍｏｉｄ 激活函數(shù)后輸出到環(huán)境中，去改變環(huán)境的狀態(tài)。