適用于無人機(jī)集群應(yīng)急通信系統(tǒng)分簇路由協(xié)議

鐘劍峰，王紅軍

（國防科技大學(xué)電子對抗學(xué)院，合肥 230037）

0 引言

5G 移動通信網(wǎng)的成熟應(yīng)用和無人機(jī)集群組網(wǎng)技術(shù)的飛速發(fā)展將無人機(jī)集群技術(shù)和5G 通信技術(shù)相融合，使應(yīng)急通信成為可能。在特定地域，利用無人機(jī)搭載任務(wù)載荷（由5G 通信模塊、組網(wǎng)模塊和能量管理模塊等組成）升空組網(wǎng)，能使救援力量在通信基礎(chǔ)設(shè)施損毀的環(huán)境下實(shí)現(xiàn)5G 級別的高速率、高可靠、低時(shí)延和低功耗的通信，無需頻繁調(diào)動通信衛(wèi)星等資源，可顯著降低行動成本，這對執(zhí)行海上救援、地震救災(zāi)或洪澇災(zāi)害等任務(wù)的救援力量顯得尤為重要，可提升救援效率。

圖1 是基于無人機(jī)集群的應(yīng)急通信系統(tǒng)總體設(shè)計(jì)?；跓o人機(jī)集群的應(yīng)急通信系統(tǒng)，由基于無人機(jī)集群的5G 通信網(wǎng)（搭載任務(wù)載荷）、應(yīng)急通信方艙車（裝配5G 宏基站和5G 核心網(wǎng)設(shè)備等）和應(yīng)急通信指揮中心（部署無人機(jī)控制中心、5G 網(wǎng)管中心和通信保障中心）3 部分組成，其中基于無人機(jī)集群的5G 通信網(wǎng)負(fù)責(zé)5G 網(wǎng)絡(luò)覆蓋和組網(wǎng)通信；靠前部署的應(yīng)急通信方艙車負(fù)責(zé)現(xiàn)場通信業(yè)務(wù)調(diào)度、管理和無人機(jī)的控制；應(yīng)急通信指揮中心負(fù)責(zé)遠(yuǎn)程調(diào)度、指揮與控制，系統(tǒng)具體工作流程在此不作詳細(xì)闡述。

圖1 無人機(jī)集群應(yīng)急通信系統(tǒng)

無人機(jī)集群5G 通信網(wǎng)絡(luò)有著能量有限、多跳性和網(wǎng)絡(luò)高動態(tài)的特點(diǎn)，該特點(diǎn)致使其需要高效的無人機(jī)自組網(wǎng)路由協(xié)議的支持，高質(zhì)量的路由選擇能夠保證不同類型業(yè)務(wù)的可靠傳送，大大降低網(wǎng)絡(luò)的傳輸時(shí)延，并減小網(wǎng)絡(luò)不必要的管理控制開銷。傳統(tǒng)的無人機(jī)自組網(wǎng)路由協(xié)議有無線自組網(wǎng)按需平面距離向量路由協(xié)議（AD HOC on-demand distance vector routing，AODV）、優(yōu)化鏈路狀態(tài)路由協(xié)議（optimized link state routing，OLSR）、基于位置的路由協(xié)議（greedy perimeter stateless routing，GPSR）等。文獻(xiàn)［6］提出了一種分簇的、位置輔助的路由協(xié)議GACB（geographic information-assisted and cluster-based，GACB），其有效降低了控制開銷和路徑斷裂次數(shù)，但由于有路由發(fā)現(xiàn)過程，依然有較大的通信時(shí)延。文獻(xiàn)［7］提出了一種簇間機(jī)會路由協(xié)議，該協(xié)議通過計(jì)算選出最佳中繼轉(zhuǎn)發(fā)節(jié)點(diǎn)而無需節(jié)點(diǎn)維護(hù)路由表，有效減少了路由維護(hù)開銷，但其計(jì)算過于復(fù)雜導(dǎo)致通信時(shí)延過大。文獻(xiàn)［8］提出了一種添加位置的區(qū)域混合路由協(xié)議（location-based zone routing protocol，ZRPBL），其用GPSR 路由協(xié)議作為區(qū)間通訊的轉(zhuǎn)發(fā)策略，從而避免了區(qū)間的路由維護(hù)控制信息廣播，大幅減少路由開銷和響應(yīng)時(shí)間，但其未對鏈路質(zhì)量進(jìn)行學(xué)習(xí)，不適用于基于無人機(jī)集群應(yīng)急通信系統(tǒng)的高可靠性和節(jié)省能量的需求。文獻(xiàn)［9］提出了一種基于Q 學(xué)習(xí)的低開銷路由協(xié)議，其能夠自主利用Q 學(xué)習(xí)的方法來實(shí)現(xiàn)對鏈路質(zhì)量的預(yù)測，有效提升傳輸質(zhì)量，但其不適用于高動態(tài)網(wǎng)絡(luò)場景。文獻(xiàn)［10］提出一種基于Q 網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)地理位置路由協(xié)議（Q-network enhanced geographic AD-HOC routing protocol based on GPSR，QNGPSR），通過使用鄰居拓?fù)湫畔⒁约癚 網(wǎng)絡(luò)，QNGPSR 可以更好地估計(jì)環(huán)境和節(jié)點(diǎn)狀態(tài)并降低周邊轉(zhuǎn)發(fā)使用率，但其未對鏈路質(zhì)量進(jìn)行強(qiáng)化學(xué)習(xí)，無法保證傳輸鏈路質(zhì)量，從而導(dǎo)致分組送達(dá)率不高。文獻(xiàn)［11］針對無人機(jī)應(yīng)急通信網(wǎng)絡(luò)中的高機(jī)動性、鏈路不穩(wěn)定、拓?fù)浣Y(jié)構(gòu)動態(tài)變化、能量有限等原因造成的定位與路由挑戰(zhàn)，提出了基于群智能的三維定位算法（swarm-intelligence-based locatization，SIL），SIL 算法利用有限邊界條件下的粒子搜索空間在三維空間中錨定無人機(jī)節(jié)點(diǎn)隨機(jī)分布，通過測量與已有錨節(jié)點(diǎn)的距離來估計(jì)目標(biāo)無人機(jī)節(jié)點(diǎn)的位置，提高了收斂時(shí)間和定位精度，降低了計(jì)算量；其次，提出了一種基于粒子群優(yōu)化算法的能量有效群智能分簇算法（swarm-intelligence-based clustering，SIC），該算法利用粒子適應(yīng)度函數(shù)對簇間距離、簇內(nèi)距離、剩余能量和地理位置等進(jìn)行分簇，并基于改進(jìn)的粒子優(yōu)化算法選擇簇首；最后，借助SIL和SIC 兩種算法優(yōu)化了簇首之間的多跳路由，該協(xié)議雖然提高了包傳遞率、減小了路由開銷，但其得到的分簇網(wǎng)絡(luò)結(jié)構(gòu)中相鄰簇首之間是直接通信的，這就要求當(dāng)選為簇首的無人機(jī)搭載的組網(wǎng)模塊通信半徑比其他節(jié)點(diǎn)的大，容易造成分簇不均勻，因此，不適用無人機(jī)集群5G 通信網(wǎng)的節(jié)省能量和網(wǎng)絡(luò)可擴(kuò)展的需求，同時(shí)其借助粒子群優(yōu)化的定位算法進(jìn)行路由發(fā)現(xiàn)依然有較大通信時(shí)延。

鑒于5G 如前所述的通信高要求，無人機(jī)集群應(yīng)急通信系統(tǒng)，因采用了5G 技術(shù)而具有其獨(dú)特的路由特色，主要表現(xiàn)在：節(jié)點(diǎn)路由多跳但要求通信低時(shí)延、節(jié)點(diǎn)移動和網(wǎng)絡(luò)拓?fù)渲貥?gòu)，導(dǎo)致路由動態(tài)但通信穩(wěn)定性和可靠性要求高、集群分布式路由組網(wǎng)但通信速率要求高等，這就要求組網(wǎng)模塊必須具有與采用5G 技術(shù)后路由特色相關(guān)聯(lián)的路由功能，這也是本文的研究重點(diǎn)。針對現(xiàn)有無人機(jī)自組網(wǎng)路由協(xié)議不完全滿足無人機(jī)集群5G 通信網(wǎng)上述特點(diǎn)和需求的現(xiàn)狀，本文對分簇路由協(xié)議展開研究，以期探索一種節(jié)省能量、減小路由開銷、降低通信時(shí)延、提升網(wǎng)絡(luò)可靠性與穩(wěn)定性的有效方法。

圖2 是無人機(jī)集群5G 通信網(wǎng)采用的分簇路由協(xié)議的架構(gòu)，分簇路由協(xié)議分為分簇算法、簇內(nèi)路由和簇間路由3 個(gè)部分。在實(shí)現(xiàn)高效動態(tài)分簇的前提下，針對圖2 中簇內(nèi)路由和簇間路由，本文提出了一種基于簇結(jié)構(gòu)和強(qiáng)化學(xué)習(xí)的分簇路由協(xié)議CRP-CS-RL（cluster routing protocol based on cluster structure and reinforcement leaning，CRP-CS-RL），其簇內(nèi)采用基于簇結(jié)構(gòu)的先應(yīng)式PRP-C（proactive routing protocol based on cluster，PRP-C）協(xié)議，簇間采用基于位置和鏈路質(zhì)量Q 學(xué)習(xí)的自適應(yīng)ARP-LQ（adaptive routing protocol based on location and Qlearning for link quality，ARP-L-Q）協(xié)議，簇間路由協(xié)議ARP-L-Q 通過引入基于位置和鏈路質(zhì)量Q 學(xué)習(xí)以期減小路由維護(hù)開銷、縮短端到端時(shí)延和提高轉(zhuǎn)發(fā)成功率。

圖2 分簇路由協(xié)議

1 基于簇結(jié)構(gòu)和強(qiáng)化學(xué)習(xí)的分簇路由協(xié)議

1.1 ZRPBL 協(xié)議分析

ZRPBL 是由區(qū)域路由協(xié)議（zone routing protocol，ZRP）派生而來，ZRP 協(xié)議實(shí)際上是一個(gè)框架。

如圖3 所示，ZRPBL 依然采用標(biāo)準(zhǔn)ZRP 協(xié)議體系架構(gòu)，其在鄰居發(fā)現(xiàn)協(xié)議NDP（neighbor discovery protocol，NDP）、區(qū)內(nèi)IARP 路由協(xié)議中添加節(jié)點(diǎn)位置坐標(biāo)，用GPSR 替代區(qū)間路由協(xié)議IERP；ZRPBL 協(xié)議包含先應(yīng)式區(qū)內(nèi)路由IARPWL（intrazone routing protocol with location，IARPWL）和基于位置的路由GPSR。數(shù)據(jù)由網(wǎng)絡(luò)層轉(zhuǎn)交給ZPRBL 協(xié)議進(jìn)行處理。

圖3 ZRPBL 協(xié)議體系架構(gòu)

NDPWL（neighbor discovery protocol with location，NDPWL）由鄰居發(fā)現(xiàn)協(xié)議NDP（neighbor discovery protocol，NDP）改進(jìn)而來，運(yùn)行在數(shù)據(jù)鏈路層，用來發(fā)現(xiàn)節(jié)點(diǎn)的直接鄰居節(jié)點(diǎn)。

ZRPBL 的工作機(jī)理在此不再贅述。

1.2 CRP-CS-RL 協(xié)議設(shè)計(jì)

CRP-CS-RL 是一種基于簇結(jié)構(gòu)和強(qiáng)化學(xué)習(xí)的分簇路由協(xié)議，其由ZRPBL 的體系架構(gòu)改進(jìn)而來，簇內(nèi)采用基于簇結(jié)構(gòu)的先應(yīng)式路由協(xié)議PRP-C；簇間采用基于位置和鏈路質(zhì)量Q 學(xué)習(xí)的自適應(yīng)路由協(xié)議ARP-L-Q。設(shè)計(jì)的CRP-CS-RL 協(xié)議體系架構(gòu)如下頁圖4 所示。

圖4 CRP-CS-RL 體系架構(gòu)

在實(shí)現(xiàn)高效分簇的基礎(chǔ)上，CRP-CS-RL 中的鄰居發(fā)現(xiàn)協(xié)議功能由HELLO 機(jī)制實(shí)現(xiàn)，其運(yùn)行在MAC 層，HELLO 機(jī)制格式如下：

CERT，ID，Status，Neighbor_table，Parameters，Timestamp，Location

其中，CERT是節(jié)點(diǎn)v的證書；ID是節(jié)點(diǎn)v的ID號；Status 字段用于標(biāo)記節(jié)點(diǎn)的狀態(tài)；Neighbor_table中包含了該節(jié)點(diǎn)的鄰居列表，通過交換鄰居列表，可獲得鄰居信息，通過檢測鄰居節(jié)點(diǎn)的鄰居列表是否包含自身，獲知各節(jié)點(diǎn)之間的鏈路連接情況；Parameters 包含簇首選舉所需要的參數(shù)權(quán)值；Timestamp 是時(shí)間戳；location 是節(jié)點(diǎn)當(dāng)前位置信息。

1.2.1 CRP-CS-RL 協(xié)議組成

CRP-CS-RL 協(xié)議由簇內(nèi)PRP-C 路由協(xié)議和簇間ARP-L-Q 路由協(xié)議組成。

1）PRP-C 路由協(xié)議

簇內(nèi)路由協(xié)議PRP-C 的設(shè)計(jì)擬選用參考文獻(xiàn)［12］所提出的適用于高動態(tài)網(wǎng)絡(luò)環(huán)境中的改進(jìn)型OLSR 路由協(xié)議，該協(xié)議能有效降低通信時(shí)延和網(wǎng)絡(luò)控制開銷，進(jìn)而實(shí)現(xiàn)簇首與簇內(nèi)成員的高可靠通信。簇內(nèi)路由協(xié)議的任務(wù)是為簇內(nèi)提供路由信息以完成簇內(nèi)路由，只有在查詢簇內(nèi)路由表中不存在可用的路由，才會開始簇間路由尋找過程。節(jié)點(diǎn)運(yùn)行PRP-C 協(xié)議需要維護(hù)3 個(gè)表格：鏈路狀態(tài)表、路由表和鄰居表。

2）ARP-L-Q 路由協(xié)議

簇間路由協(xié)議采用ARP-L-Q，其通過對位置信息和鏈路質(zhì)量進(jìn)行Q 學(xué)習(xí)后進(jìn)行路由決策，尋求出最短路徑和最佳鏈路。此外，ARP-L-Q 維護(hù)著到虛擬骨干網(wǎng)中所有簇首、網(wǎng)關(guān)節(jié)點(diǎn)的最新路由，它在鄰居表的基礎(chǔ)上，增加了虛擬骨干網(wǎng)的簇首和網(wǎng)關(guān)作為下一跳轉(zhuǎn)發(fā)節(jié)點(diǎn)的備選項(xiàng)，即通過自身路由表查詢到目標(biāo)節(jié)點(diǎn)，因此，大大減小了其判斷下一跳的時(shí)間和能耗，同時(shí)擴(kuò)大了下一跳的選擇范圍，增大了找到合適轉(zhuǎn)發(fā)節(jié)點(diǎn)的概率，從而提高轉(zhuǎn)發(fā)成功率和縮短了通信時(shí)延。

1.2.2 CRP-CS-RL 協(xié)議的工作機(jī)理

無人機(jī)節(jié)點(diǎn)通過HELLO 消息周期性地交互自身位置更新信息，因此，節(jié)點(diǎn)維持著所有鄰居節(jié)點(diǎn)的位置信息。匯聚節(jié)點(diǎn)（最高簇首）通過周期性地廣播生成由簇首和網(wǎng)關(guān)組成的虛擬骨干網(wǎng)路由表。在簇內(nèi)，節(jié)點(diǎn)定期交互的HELLO 包中含有其位置信息和鄰居列表信息等，HELLO 包將收集到的數(shù)據(jù)傳給PRP-C，用于更新PRP-C 的路由表和鏈路狀態(tài)表；當(dāng)PRP-C 路由信息更新后，ARP-L-Q 根據(jù)PRP-C 鄰居表生成自身所需鄰居表，ARP-L-Q 在需要轉(zhuǎn)發(fā)數(shù)據(jù)時(shí)，依據(jù)自身維護(hù)的路由表和鄰居表計(jì)算選擇轉(zhuǎn)發(fā)節(jié)點(diǎn)。同時(shí)，PRP-C 在簇內(nèi)定期廣播鏈路狀態(tài)表，簇內(nèi)節(jié)點(diǎn)以此更新自己的鏈路狀態(tài)表并生成最新路由表，每個(gè)簇成員由此維護(hù)著簇內(nèi)詳細(xì)的路由信息和到本簇首的信息；在簇間，每個(gè)簇首維護(hù)著簇內(nèi)詳細(xì)的路由信息和到虛擬骨干網(wǎng)所有簇首和網(wǎng)關(guān)節(jié)點(diǎn)間的路由信息。

當(dāng)數(shù)據(jù)從網(wǎng)絡(luò)層轉(zhuǎn)交到CRP-CS-RL 協(xié)議處理時(shí)，先依次查找PRP-C、ARP-L-Q 維護(hù)的路由表中是否有通往目的節(jié)點(diǎn)的路由，如果有，則直接按照路由表轉(zhuǎn)發(fā)并設(shè)定為己路由；如果沒有，則設(shè)定為未路由并調(diào)用ARP-L-Q 協(xié)議進(jìn)行轉(zhuǎn)發(fā)。

在啟用ARP-L-Q 協(xié)議后，進(jìn)入基于位置信息和鏈路質(zhì)量Q 學(xué)習(xí)的路由決策模式源節(jié)點(diǎn)，將最新接收到的鄰居節(jié)點(diǎn)參數(shù)權(quán)值F（HELLO 消息中的Parameters 項(xiàng)的節(jié)點(diǎn)度、鄰居節(jié)點(diǎn)穩(wěn)定度、剩余能量和丟包率4 種因素）和相應(yīng)HELLO 消息的傳輸成功率C相乘，得到瞬時(shí)回報(bào)R，依據(jù)瞬時(shí)獎(jiǎng)勵(lì)R更新當(dāng)前轉(zhuǎn)發(fā)節(jié)點(diǎn)對其鄰居節(jié)點(diǎn)的鏈路質(zhì)量估計(jì)Q值；再結(jié)合目的節(jié)點(diǎn)位置數(shù)據(jù)計(jì)算距離因子，將各鄰居節(jié)點(diǎn)距離因子和對應(yīng)的最新Q值相乘得到折扣Q值，然后以此瞬時(shí)獎(jiǎng)勵(lì)更新其鄰居節(jié)點(diǎn)Q值表，選擇獲得最大折扣Q值的節(jié)點(diǎn)作為下一跳進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)；當(dāng)下一跳節(jié)點(diǎn)收到數(shù)據(jù)后，結(jié)合目的節(jié)點(diǎn)信息，繼續(xù)根據(jù)自身維護(hù)路由表和鄰居表信息計(jì)算選擇下一跳轉(zhuǎn)發(fā)節(jié)點(diǎn)，重復(fù)以上過程直到數(shù)據(jù)分組到達(dá)目標(biāo)節(jié)點(diǎn)。

鄰居表管理鄰居的地理位置信息、鏈路狀態(tài)以及收到的周期性HELLO 消息所交互的Q值等。

2 基于位置和鏈路質(zhì)量Q 學(xué)習(xí)轉(zhuǎn)發(fā)策略

2.1 學(xué)習(xí)算法概述

強(qiáng)化學(xué)習(xí)，是一類求解序貫優(yōu)化決策問題的有效方法，它利用環(huán)境的評價(jià)性反饋信號來調(diào)整自己的行為選擇策略，將極大化期望的回報(bào)作為學(xué)習(xí)目標(biāo)。通過強(qiáng)化學(xué)習(xí)，一個(gè)智能體可以清楚在不同的狀態(tài)采取不同的行為。因此，強(qiáng)化學(xué)習(xí)是從環(huán)境狀態(tài)到動作的映射學(xué)習(xí)，這里的映射可稱之為策略。

Q 學(xué)習(xí)是一種典型的強(qiáng)化學(xué)習(xí)算法，它是由Watkins于1992 年提出來的一種模型無關(guān)的基于瞬時(shí)策略的強(qiáng)化學(xué)習(xí)方法，又稱為離策略（Offpolicy）TD 學(xué)習(xí)，這一特點(diǎn)使得它適合在資源受限的移動設(shè)備上運(yùn)行。

學(xué)習(xí)模型由以下4 個(gè)要素構(gòu)成：

3）瞬時(shí)獎(jiǎng)勵(lì)（s，a）：時(shí)刻在狀態(tài)s做動作a得到的瞬時(shí)回報(bào)；

4）智能體選擇策略∏。

學(xué)習(xí)算法結(jié)構(gòu)圖如圖5 所示，它由環(huán)境和智能體兩部分組成，智能體按照一定的策略執(zhí)行動作探索環(huán)境，環(huán)境則給出相應(yīng)的回報(bào)值。

圖5 Q 學(xué)習(xí)算法結(jié)構(gòu)圖

學(xué)習(xí)通過與環(huán)境交互獲得獎(jiǎng)懲進(jìn)行自適應(yīng)學(xué)習(xí)，能夠適用于無人機(jī)集群5G 通信網(wǎng)多變的環(huán)境，源節(jié)點(diǎn)通過對位置和鏈路質(zhì)量進(jìn)行學(xué)習(xí)以指導(dǎo)路由轉(zhuǎn)發(fā)節(jié)點(diǎn)選擇，根據(jù)獲得的瞬時(shí)獎(jiǎng)勵(lì)調(diào)整其轉(zhuǎn)發(fā)策略，從而獲得最優(yōu)轉(zhuǎn)發(fā)路徑。

2.2 基于位置和鏈路質(zhì)量學(xué)習(xí)算法

本文所提出的基于位置和鏈路質(zhì)量的學(xué)習(xí)算法包含兩個(gè)過程，基于學(xué)習(xí)的鏈路質(zhì)量估計(jì)以及基于位置的路由決策，算法流程如圖6 所示。

圖6 基于位置和鏈路質(zhì)量Q 學(xué)習(xí)的算法流程

2.2.1 基于Q 學(xué)習(xí)的鏈路質(zhì)量估計(jì)

在ARP-L-Q 中，每個(gè)通信節(jié)點(diǎn)對應(yīng)狀態(tài)集中的一個(gè)節(jié)點(diǎn)狀態(tài)s，其鄰居表中的節(jié)點(diǎn)是通信節(jié)點(diǎn)的過渡狀態(tài)s，轉(zhuǎn)發(fā)節(jié)點(diǎn)的選擇對應(yīng)可能的動作'，即動作集合是選擇向一跳范圍鄰居節(jié)點(diǎn)集合中的某個(gè)節(jié)點(diǎn)轉(zhuǎn)發(fā)分組的動作集合。每個(gè)通信節(jié)點(diǎn)通過建立鄰居表維護(hù)空間大小為其一跳鄰居數(shù)目的值表。當(dāng)前轉(zhuǎn)發(fā)節(jié)點(diǎn)進(jìn)行下一跳選擇時(shí)，當(dāng)前節(jié)點(diǎn)將接收到最新的鄰居節(jié)點(diǎn)參數(shù)權(quán)值F（HELLO消息中的Parameters 項(xiàng)的鄰居節(jié)點(diǎn)穩(wěn)定度、節(jié)點(diǎn)度、剩余能量和丟包率4 種因素）和相應(yīng)HELLO 消息的傳輸成功率C（包括前向傳輸和后向接收車成功率）相乘，得到瞬時(shí)獎(jiǎng)勵(lì)R。R計(jì)算公式如下：

依據(jù)瞬時(shí)獎(jiǎng)勵(lì)R更新當(dāng)前轉(zhuǎn)發(fā)節(jié)點(diǎn)對其鄰居節(jié)點(diǎn)鏈路質(zhì)量估計(jì)：

2.2.2 基于位置的路由決策

結(jié)合目的節(jié)點(diǎn)位置數(shù)據(jù)計(jì)算距離因子，其計(jì)算公式如下：

將各鄰居節(jié)點(diǎn)距離因子和對應(yīng)的Q值相乘得到當(dāng)前節(jié)點(diǎn)的鄰居節(jié)點(diǎn)折扣Q值，其計(jì)算公式如下：

在當(dāng)前節(jié)點(diǎn)的鄰居節(jié)點(diǎn)中選擇獲得最大折扣Q值作為下一跳轉(zhuǎn)發(fā)節(jié)點(diǎn)。

目前，大多數(shù)路由算法及其變種算法的學(xué)習(xí)率，一般設(shè)為基準(zhǔn)學(xué)習(xí)率0.5；自適應(yīng)全回波路由（adaptive Q-routing full echo，AQFE）算法和路由記憶算法AQFM-M（AQFE with route memory，AQFM-M）的學(xué)習(xí)率參數(shù)一般設(shè)置在0.5～0.7 之間；文獻(xiàn)［18］提出的改進(jìn)AQFM-M 路由算法學(xué)習(xí)率在參數(shù)［0 1］可自適應(yīng)調(diào)節(jié)；無人機(jī)集群5G 通信網(wǎng)要求快速路由，為降低歷史值對當(dāng)前路由決策的影響，提升學(xué)習(xí)算法的收斂速度和降低路由延遲，學(xué)習(xí)率應(yīng)設(shè)置一個(gè)合適值；為了適應(yīng)基于無人機(jī)集群的高動態(tài)網(wǎng)路特性，提高未來轉(zhuǎn)移狀態(tài)的穩(wěn)定性，本文參考文獻(xiàn)［9］根據(jù)與鄰居節(jié)點(diǎn)之間的距離設(shè)定折扣率，如果與鄰居節(jié)點(diǎn)d在下一個(gè)HELLO 消息包間隔之后不超過組網(wǎng)模塊通信半徑，設(shè)定為0.6，如果超過，則設(shè)定為0.4。取值公式如下：

這時(shí)值的更新式為：

在學(xué)習(xí)的探索階段，ARP-L-Q 周期性地交互節(jié)點(diǎn)狀態(tài)信息和位置信息并儲存更新；在利用階段，ARP-L-Q 利用存儲的信息計(jì)算瞬時(shí)獎(jiǎng)勵(lì)以決策下一狀態(tài)（更新Q值）。當(dāng)有數(shù)據(jù)分組需要傳輸時(shí)，節(jié)點(diǎn)直接在鄰居列表中查找具有最大折扣Q值的鄰居節(jié)點(diǎn)，將其作為轉(zhuǎn)發(fā)節(jié)點(diǎn)，以此類推，直到到達(dá)目的節(jié)點(diǎn)，完成整個(gè)路由的過程。

2.2.3 算法收斂性分析

由于學(xué)習(xí)算法模型是一個(gè)確定的馬爾可夫決策過程，因此，算法的瞬時(shí)回報(bào)是有界的，且遍歷了所有相鄰節(jié)點(diǎn)，選擇轉(zhuǎn)發(fā)鄰居節(jié)點(diǎn)這一動作反饋的瞬時(shí)回報(bào)值最終通過HELLO 包交互。

在建立ARP-L-Q 協(xié)議的過程中，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都在進(jìn)行學(xué)習(xí)更新Q表，當(dāng)網(wǎng)絡(luò)拓?fù)浒l(fā)生變化時(shí)，Q值表也會相應(yīng)變化，節(jié)點(diǎn)通過不斷地學(xué)習(xí)迭代更新直到找到最優(yōu)的路徑。

3 仿真實(shí)驗(yàn)與性能分析

由于分簇路由協(xié)議是在ZRPBL 基礎(chǔ)上改進(jìn)的，且ZRPBL 中的IARPWL 并沒有明確指定采用何種協(xié)議，考慮本文所設(shè)計(jì)的CRP-CS-RL 協(xié)議中，簇內(nèi)路由協(xié)議PRP-C 擬選用參考文獻(xiàn)［12］所提出的改進(jìn)型OLSR 協(xié)議，而研究重點(diǎn)為簇間路由協(xié)議ARP-L-Q，故本文主要對簇間路由協(xié)議進(jìn)行仿真實(shí)驗(yàn)，以驗(yàn)證基于位置和鏈路質(zhì)量學(xué)習(xí)的算法性能，即在仿真實(shí)驗(yàn)時(shí)，將本文所研究的簇間路由協(xié)議ARP-L-Q 與ZRPBL 中的區(qū)間路由協(xié)議GPSR、新近GACB 路由協(xié)議進(jìn)行性能比較和分析。

3.1 ARP-L-Q 協(xié)議仿真設(shè)計(jì)

圖7 是ARP-L-Q 協(xié)議仿真實(shí)驗(yàn)圖，ARP-L-Q協(xié)議的仿真實(shí)驗(yàn)首先是通過HELLO 機(jī)制完成信息的交互；其次是利用接收的HELLO 消息的Parameters 項(xiàng)和Location 項(xiàng)來估計(jì)鏈路質(zhì)量和計(jì)算距離因子；最后是更新所有鄰居節(jié)點(diǎn)的Q值供路由決策使用。確定協(xié)議的實(shí)現(xiàn)過程后，為驗(yàn)證算法的可行性，通過MATLAB 對基于位置和鏈路質(zhì)量學(xué)習(xí)算法進(jìn)行仿真得到某一分簇時(shí)刻各節(jié)點(diǎn)鄰居節(jié)點(diǎn)的折扣值表；然后利用OPNET 14.5 對ARP-L-Q 協(xié)議進(jìn)行仿真建模，依據(jù)對應(yīng)要求逐一建立網(wǎng)絡(luò)模型、節(jié)點(diǎn)模型和進(jìn)程模型，其中基于位置和鏈路質(zhì)量學(xué)習(xí)算法由OPNET14.5 中的進(jìn)程模型中的from_mac 狀態(tài)的HELLO 包處理函數(shù)實(shí)現(xiàn)，最后完成性能仿真、驗(yàn)證和分析算法性能。

圖7 ARP-L-Q 協(xié)議設(shè)計(jì)與實(shí)現(xiàn)的技術(shù)路線圖

3.1.1 值表的仿真

圖8 是某一分簇周期30 架無人機(jī)構(gòu)成的5G通信網(wǎng)分簇示意圖，網(wǎng)絡(luò)分成了6 個(gè)簇，其中黃色圖形“◇”為最高簇首（匯聚節(jié)點(diǎn)），5 個(gè)紅色菱形“*”為簇首，9 個(gè)綠色三角形“Δ”為網(wǎng)關(guān)，其余藍(lán)色“+”為簇成員。最高簇首編號為“◇”，其余節(jié)點(diǎn)編號如圖8 所示。

圖8 某一分簇周期30 架無人機(jī)構(gòu)成的5G 通信網(wǎng)分簇圖

表1 是通過MATLAB 仿真得到的某一分簇周期內(nèi)時(shí)刻各節(jié)點(diǎn)所有鄰居節(jié)點(diǎn)的折扣值表。

表1 Qu 值表

續(xù)表1

3.1.2 ARP-L-Q 協(xié)議仿真建模

1）ARP-L-Q 協(xié)議的網(wǎng)絡(luò)域建模及參數(shù)配置

ARP-L-Q 協(xié)議性能仿真環(huán)境是OPNET 14.5，在基于無人機(jī)集群的5G 通信網(wǎng)實(shí)現(xiàn)高效分簇的基礎(chǔ)上，網(wǎng)絡(luò)模型中的各項(xiàng)參數(shù)設(shè)置如表2 所示。

表2 仿真參數(shù)

如配置表中參數(shù)所示，在網(wǎng)絡(luò)中設(shè)置30 個(gè)無人機(jī)節(jié)點(diǎn)，覆蓋15 km×15 km 大小的中型城市區(qū)域，為了支持5G 通信的500 km/h 移動特性，每個(gè)節(jié)點(diǎn)的運(yùn)動速度范圍設(shè)定為0 km/h～500 km/h，數(shù)據(jù)包長度為10 kb，包速率為1 個(gè)/s～20 個(gè)/s，組網(wǎng)鏈路業(yè)務(wù)傳輸速率為100 Mb/s，由于無人機(jī)載荷能力有限，無人機(jī)編隊(duì)的組網(wǎng)模塊有效通信半徑通過功率調(diào)整設(shè)定為3 400 m。

圖9 是無人機(jī)集群5G 通信網(wǎng)仿真場景模型。

圖9 ARP-L-Q 協(xié)議網(wǎng)絡(luò)模型

2）ARP-L-Q 協(xié)議的節(jié)點(diǎn)域建模

圖10 是與協(xié)議棧模型相對應(yīng)的ARP-L-Q 協(xié)議節(jié)點(diǎn)模型。為構(gòu)建高動態(tài)網(wǎng)絡(luò)場景，協(xié)議中增加了一個(gè)通過編程來實(shí)現(xiàn)的mobility 模塊，用于定義每個(gè)節(jié)點(diǎn)的移動模型。

圖10 ARP-L-Q 協(xié)議節(jié)點(diǎn)模型

為構(gòu)建高動態(tài)網(wǎng)絡(luò)場景，需建立無人機(jī)路徑規(guī)劃得到的飛行軌跡和生成的位置數(shù)據(jù)庫模型，協(xié)議中增加了一個(gè)通過編程來實(shí)現(xiàn)的mobility 模塊，用于定義每個(gè)節(jié)點(diǎn)的移動模型，專門處理位置的變更。

3）ARP-L-Q 協(xié)議的進(jìn)程域建模

ARP-L-Q 協(xié)議route 模塊進(jìn)程模型如圖11 所示。route 模塊對應(yīng)節(jié)點(diǎn)模型里的網(wǎng)絡(luò)層，用于運(yùn)行路由協(xié)議實(shí)現(xiàn)路由的功能。

圖11 ARP-L-Q 協(xié)議進(jìn)程模型

其中，init 狀態(tài)為初始化各類狀態(tài)變量；from_source 狀態(tài)為處理應(yīng)用層到來的數(shù)據(jù)包，查找到目的節(jié)點(diǎn)的路由信息和具有最大值的下一跳節(jié)點(diǎn)，將其發(fā)給MAC 層；send_hello 狀態(tài)為將本地鏈路信息（鄰居節(jié)點(diǎn)地址、鏈路狀態(tài)、鏈路質(zhì)量信息、地理位置信息、最大Q值等）寫入HELLO 分組，完成定期發(fā)送HELLO 分組的任務(wù)；from_mac 狀態(tài)處理MAC層到來的HELLO 包或數(shù)據(jù)包，若到來的是HELLO包，進(jìn)入HELLO 包處理函數(shù)，函數(shù)的主要功能是添加或更新本地鏈路信息表、鄰居表，互通傳輸成功率信息及地理位置信息，以計(jì)算鏈路質(zhì)量和距離因子，更新Q值；若到來的是數(shù)據(jù)包，進(jìn)入數(shù)據(jù)包處理函數(shù)，首先根據(jù)包序號鑒別該數(shù)據(jù)包是否已接收，如果已接收，則銷毀，否則，繼續(xù)查詢本節(jié)點(diǎn)是否是該數(shù)據(jù)包的目的節(jié)點(diǎn)，如果是，則發(fā)往應(yīng)用層的statistic 模塊進(jìn)行相關(guān)數(shù)據(jù)的統(tǒng)計(jì)，否則查找路由表和鄰居表，若找到到達(dá)目的節(jié)點(diǎn)的路徑或具有最大Q值的下一跳，將數(shù)據(jù)包發(fā)往該下一跳節(jié)點(diǎn)，否則將包刪除。

由于無人機(jī)節(jié)點(diǎn)的快速移動導(dǎo)致網(wǎng)絡(luò)拓?fù)涞目焖僮兓?，因此，必須考慮拓?fù)淇焖僮兓瘜β酚赊D(zhuǎn)發(fā)的影響，下面介紹mobility 模塊的進(jìn)程模型，如圖12 所示。

圖12 mobility 模塊進(jìn)程模型

mobility 模塊完成節(jié)點(diǎn)移動模型的構(gòu)建，由于已經(jīng)提前進(jìn)行了無人機(jī)的路徑規(guī)劃，得到了無人機(jī)的飛行軌跡和位置數(shù)據(jù)庫，因此，無人機(jī)的運(yùn)動軌跡和位置都是可預(yù)測的。采用核心函數(shù)訪問節(jié)點(diǎn)位置屬性的方法將無人機(jī)飛行軌跡編程代碼寫入mobility 中，由進(jìn)程域執(zhí)行飛行軌跡設(shè)置代碼。

通過上述模型建立，實(shí)現(xiàn)了無人機(jī)集群5G 通信網(wǎng)絡(luò)仿真模型的構(gòu)建。

3.2 仿真結(jié)果與分析

3.2.1 評價(jià)指標(biāo)

評估路由協(xié)議性能指標(biāo)有路由建立和維護(hù)開銷，指標(biāo)越小越好；分組送達(dá)率，即目的節(jié)點(diǎn)應(yīng)用層所接收到的分組數(shù)目與源節(jié)點(diǎn)應(yīng)用層所發(fā)送的分組數(shù)目的比值，該指標(biāo)越大越好；平均端到端時(shí)延就是所有成功傳送分組時(shí)延的平均數(shù)，時(shí)延越小越好；吞吐量，即單位時(shí)間內(nèi)成功收發(fā)的數(shù)據(jù)量，該指標(biāo)也是越大越好；丟包率，越小越好。

首先，ARP-L-Q 協(xié)議合適學(xué)習(xí)率的設(shè)置通過端到端時(shí)延和分組送達(dá)率來驗(yàn)證。其次，不失一般性，ARP-L-Q 協(xié)議的高動態(tài)、低時(shí)延和高可靠性通過采用不同移動速度下的平均端到端時(shí)延和丟包率這兩個(gè)典型指標(biāo)來評估；ARP-L-Q 協(xié)議的自適應(yīng)性能則通過采用不同發(fā)包速率下的分組送達(dá)率、端到端時(shí)延和網(wǎng)絡(luò)控制開銷這3 個(gè)典型指標(biāo)來評估。最后，為了更加有效地評估本文設(shè)計(jì)的ARP-L-Q 路由協(xié)議性能，選取平均端到端時(shí)延、丟包率、分組送達(dá)率和控制開銷4 個(gè)方面的評價(jià)指標(biāo)，與GPSR和GACB 兩種路由協(xié)議進(jìn)行性能比較和分析。

3.2.2 學(xué)習(xí)率設(shè)置

ARP-L-Q 協(xié)議的學(xué)習(xí)率設(shè)置仿真實(shí)驗(yàn)按照表2 進(jìn)行參數(shù)配置，指定為目的節(jié)點(diǎn)，其余節(jié)點(diǎn)將一個(gè)10 kb 的數(shù)據(jù)包以10 個(gè)/s 的包速率定期地傳輸給該目的節(jié)點(diǎn)，無人機(jī)節(jié)點(diǎn)飛行速度設(shè)定為36 km/h，驗(yàn)證ARP-L-Q 協(xié)議在不同學(xué)習(xí)率下的端到端時(shí)延和分組送達(dá)率。

圖13 反映了學(xué)習(xí)率對端到端時(shí)延的影響。

圖13 ARP-L-Q 協(xié)議在不同學(xué)習(xí)率下的端到端時(shí)延

圖14 反映了學(xué)習(xí)率對分組送達(dá)率的影響。

圖14 ARP-L-Q 協(xié)議在不同學(xué)習(xí)率下的分組送達(dá)率

綜合圖13和圖14 可以得出，學(xué)習(xí)率較小時(shí)，算法收斂速度慢，端到端時(shí)延和分組送達(dá)率優(yōu)化效果不明顯；學(xué)習(xí)率過大，容易越過最優(yōu)值發(fā)生震蕩。在這幾組比較的數(shù)據(jù)中，當(dāng)學(xué)習(xí)率為0.6 時(shí)，分組送達(dá)率最高，端到端時(shí)延最小。因此，在接下來的性能仿真實(shí)驗(yàn)中學(xué)習(xí)率都設(shè)為0.6。

3.2.3 高動態(tài)、低時(shí)延和高可靠性能驗(yàn)證

ARP-L-Q 協(xié)議的高動態(tài)、低時(shí)延和高可靠性能仿真實(shí)驗(yàn)按照表2 進(jìn)行參數(shù)配置，其中，為接收節(jié)點(diǎn)，其他節(jié)點(diǎn)將一個(gè)10 kb 的數(shù)據(jù)包以10 個(gè)/s 的發(fā)包速率傳輸給該接收節(jié)點(diǎn)，無人機(jī)節(jié)點(diǎn)飛行速度設(shè)定為0 km/h～500 km/h，對比GPSR、GACB和ARP-L-Q 3 種協(xié)議在節(jié)點(diǎn)不同移動速度下的端到端時(shí)延和丟包率。

圖15 反映了節(jié)點(diǎn)移動速度對端到端時(shí)延的影響。隨著節(jié)點(diǎn)移動速度的增大，GPSR、GACB和ARP-L-Q 協(xié)議的端到端時(shí)延都會增大，這是由于節(jié)點(diǎn)的高速移動造成鏈路的快速變化，增大了節(jié)點(diǎn)選擇最佳下一跳的時(shí)間，進(jìn)而使端到端時(shí)延增大；但ARP-L-Q 的端到端時(shí)延總是小于GPSR和GACB。這是因?yàn)锳RP-L-Q 建立在高效分簇的基礎(chǔ)上，同時(shí)依靠自身維護(hù)的路由表和鄰居表計(jì)算選擇下一跳轉(zhuǎn)發(fā)節(jié)點(diǎn)，有效降低了通信時(shí)延。

圖15 GPSR、GACB和ARP-L-Q 協(xié)議在節(jié)點(diǎn)不同移動速度下端到端時(shí)延對比圖

圖16 反映了節(jié)點(diǎn)移動速度對丟包率的影響。隨著節(jié)點(diǎn)移動速度的增大，GPSR、GACB和ARP-L-Q協(xié)議的丟包率都會增大，但ARP-L-Q 的丟包率總是小于GPSR和GACB。這是因?yàn)锳RP-L-Q 建立在高效分簇的基礎(chǔ)上且不斷地在對鄰居節(jié)點(diǎn)的鏈路質(zhì)量進(jìn)行學(xué)習(xí)更新，得到最優(yōu)的轉(zhuǎn)發(fā)路徑。

圖16 GPSR、GACB和ARP-L-Q 協(xié)議在節(jié)點(diǎn)不同移動速度下丟包率對比圖

3.2.4 自適應(yīng)性能驗(yàn)證

ARP-L-Q 協(xié)議的自適應(yīng)性能仿真實(shí)驗(yàn)按照表2 進(jìn)行參數(shù)配置，其中，節(jié)點(diǎn)為接收節(jié)點(diǎn)，其他節(jié)點(diǎn)將一個(gè)10 kb 的數(shù)據(jù)包以不同的發(fā)包速率傳輸給該接收節(jié)點(diǎn)，對比GPSR、GACB和ARP-L-Q 3 種協(xié)議在不同發(fā)包速率下的自適應(yīng)性能。

圖17 反映了分組發(fā)包速率對分組送達(dá)率的影響。隨著分組發(fā)包速率的增大，GPSR、GACB和ARP-L-Q 協(xié)議的分組送達(dá)率都會減小，這是由于增大分組發(fā)包速率容易造成匯聚節(jié)點(diǎn)和簇首節(jié)點(diǎn)網(wǎng)絡(luò)負(fù)載過大，進(jìn)而增大數(shù)據(jù)包碰撞概率導(dǎo)致分組送達(dá)率減小；但ARP-L-Q 的分組送達(dá)率總是大于GPSR和GACB。這是因?yàn)锳RP-L-Q 不斷地在對鄰居節(jié)點(diǎn)的鏈路質(zhì)量進(jìn)行學(xué)習(xí)更新，得到最優(yōu)的轉(zhuǎn)發(fā)路徑。

圖17 GPSR、GACB和ARP-L-Q 協(xié)議分組送達(dá)率對比圖

圖18 反映了分組發(fā)包速率對端到端時(shí)延的影響，隨著分組發(fā)包速率增大，GPSR、GACB和ARPL-Q 協(xié)議的時(shí)延都會增大，但ARP-L-Q 協(xié)議始終小于GPSR和GACB 協(xié)議，這同樣是因?yàn)锳RP-L-Q依靠自身維護(hù)的路由表和鄰居表計(jì)算選擇下一跳轉(zhuǎn)發(fā)節(jié)點(diǎn)，有效降低了通信時(shí)延。

圖18 GPSR、GACB和ARP-L-Q 協(xié)議端到端時(shí)延對比圖

圖19 反映了分組發(fā)包速率對控制開銷的影響。隨著分組發(fā)包速率的增大，GPSR、GACB和ARP-L-Q 協(xié)議的控制開銷都會減小，但ARP-L-Q協(xié)議的控制開銷始終略大于GPSR 而小于GACB，這是因?yàn)锳RP-L-Q 需要定期更新虛擬骨干網(wǎng)路由表和鄰居表，而GACB 需要維護(hù)簇內(nèi)路由表、虛擬骨干網(wǎng)路由表和鄰居表，GPSR 無需維護(hù)路由表。

圖19 GPSR、GACB和ARP-L-Q 協(xié)議控制開銷對比圖

綜合實(shí)驗(yàn)結(jié)果和分析可知，ARP-L-Q 協(xié)議比GPSR、GACB 協(xié)議更能適用于無人機(jī)集群5G 通信網(wǎng)高動態(tài)重構(gòu)、高穩(wěn)定可靠和低通信時(shí)延的特性和需求，其不僅有效提高了分組送達(dá)率，且通過基于位置和鏈路質(zhì)量學(xué)習(xí)的優(yōu)勢，降低了網(wǎng)絡(luò)控制開銷，通過自身維護(hù)的路由表和鄰居表有效降低了通信時(shí)延，具有較好的自適應(yīng)性能。

4 結(jié)論

無人機(jī)集群5G 通信網(wǎng)，不僅具有無人機(jī)集群網(wǎng)絡(luò)高動態(tài)、能量受限等特點(diǎn)，還要面臨5G 空中通信網(wǎng)絡(luò)多跳性、對可靠性和通信時(shí)延要求高的特性。在實(shí)現(xiàn)高效分簇的基礎(chǔ)上，本文提出一種基于簇結(jié)構(gòu)和強(qiáng)化學(xué)習(xí)的分簇路由協(xié)議，簇內(nèi)采用基于簇結(jié)構(gòu)的PRP-C 路由協(xié)議，簇間采用基于位置和鏈路質(zhì)量學(xué)習(xí)的自適應(yīng)路由協(xié)議ARP-L-Q，簇間路由ARP-L-Q 通過對鏈路質(zhì)量和位置信息進(jìn)行學(xué)習(xí)，得到折扣值表供路由決策使用。仿真結(jié)果表明，該協(xié)議不僅能夠提高轉(zhuǎn)發(fā)成功率和縮短端到端時(shí)延，提升通信服務(wù)質(zhì)量，而且能夠較大縮減開銷，節(jié)省能量?？傊?，無人機(jī)集群應(yīng)急通信系統(tǒng)在民用應(yīng)急通信領(lǐng)域和軍事機(jī)動通信領(lǐng)域均有著巨大的應(yīng)用前景，協(xié)議研究具有一定的應(yīng)用價(jià)值。