基于強化學習的衛(wèi)星通信智能抗干擾決策探討

孔景娜

摘 要：隨著科技的進步，通信方式越來越發(fā)達。衛(wèi)星能夠將衛(wèi)星作為中轉站，在其電波覆蓋范圍以內(nèi)，可以直接完成通信傳輸，而且通信過程中并不會受到各類地質(zhì)災害的影響。文章通過對衛(wèi)星通信進行分析，并結合實際對基于強化學習的衛(wèi)星通信智能抗干擾決策提出個人觀點，希望為關注衛(wèi)星通信智能抗干擾的人群帶來參考。

關鍵詞：強化學習;衛(wèi)星通信;智能抗干擾技術

0 引言

衛(wèi)星通信的覆蓋范圍非常大，而且衛(wèi)星通信還能夠在不受地理環(huán)境限制的同時保證通信質(zhì)量，所以衛(wèi)星通信在很多領域中都得到了廣泛的應用。在使用衛(wèi)星通信時，只有避免受到干擾，才能夠使衛(wèi)星通信效果持續(xù)保持穩(wěn)定。因此，有必要對基于強化學習的衛(wèi)星通信智能抗干擾決策展開研究。

1? ? 衛(wèi)星通信綜述

衛(wèi)星通信作為現(xiàn)代通信的主要手段，其在各個領域都有著良好的發(fā)展前景。不同于其他通信方式，衛(wèi)星通信在實際應用過程中不僅覆蓋范圍更廣，而且還可以有效保證通信傳輸質(zhì)量。將人造衛(wèi)星作為通信中轉站的想法來自于英國，如今地球之外的衛(wèi)星中繼站已經(jīng)成了現(xiàn)實?，F(xiàn)如今，地面通信網(wǎng)絡的構建已經(jīng)逐漸變得完善，但是因為每個區(qū)域的地理條件以及經(jīng)濟條件各不相同，所以地面蜂窩系統(tǒng)很難真正意義上的完成全球覆蓋。所以衛(wèi)星通信才會因為不受地域影響成為一種主要的通信手段。

2 衛(wèi)星通信系統(tǒng)面對的干擾種類

根據(jù)鏈路不同，衛(wèi)星通信系統(tǒng)通常需要面對上行、星間、下行干擾三種不同的干擾類別。因為衛(wèi)星運行軌跡以及高度不容易發(fā)生改變，所以上行鏈路容易實施干擾。而地面站則因為分布范圍更加廣泛且部分可以移動，所以下行鏈路不容易實施干擾。而星間干擾則是對空間段衛(wèi)星實施干擾，各類反衛(wèi)星武器都會對衛(wèi)星通信系統(tǒng)帶來威脅[1]。

在衛(wèi)星通信系統(tǒng)中，電磁干擾通常可以分為壓制、靈巧、欺騙干擾3種。其中壓制干擾是通過對衛(wèi)星接收機發(fā)出同頻率大功率信號使衛(wèi)星誤碼率上升，影響衛(wèi)星通信。或是通過使接收機飽和令其無法正常開展通信工作。通常情況下，常見的干擾信號可以分為單音、噪聲調(diào)制等形式。欺騙干擾指的是掌握衛(wèi)星信息數(shù)據(jù)格式之后通過接收、生成等方式產(chǎn)生相近的信號來干擾衛(wèi)星的信號接收。若衛(wèi)星信號格式被完全破解，還有可能對衛(wèi)星發(fā)送指令完成衛(wèi)星控制。

3 強化學習

強化學習指的是一種智能學習算法，這種學習算法與人類的學習過程非常接近，通過與環(huán)境之間進行交互來掌握所需知識。強化學習的最終目標就是通過最優(yōu)方案完成目標。在與環(huán)境交互期間，智能體需要對實時狀態(tài)進行合理評估，通過值函數(shù)進行評估時能夠判斷當前狀態(tài)的好與壞。某一方案下的值函數(shù)如式（1）：

通過強化學習能夠找到最優(yōu)方案，即回報函數(shù)期望最大的方案策略，最優(yōu)方案有可能并不唯一。在強化學過程中如果找到了最優(yōu)狀態(tài)值函數(shù)，則在此函數(shù)的基礎之上，所有狀態(tài)都選定為最優(yōu)動作，則可以獲得最優(yōu)方案，這種方法為值迭代。

4 智能抗干擾模型

強化學習作為無須大量數(shù)據(jù)信息支持的機器學習算法，機器在與環(huán)境進行交互的同時能夠獲得所需的數(shù)據(jù)信息并對現(xiàn)有的算法進行優(yōu)化、更新，所以強化學習非常適合在通信期間應用。系統(tǒng)由通信、智能決策兩部分組成，在干擾出現(xiàn)時便會隨之做出決策，對通信系統(tǒng)中的各種通信參數(shù)進行調(diào)整，通過這種方式能夠使通信狀態(tài)得到改善。當通信系統(tǒng)將通信效果反饋至智能決策系統(tǒng)時，就可以完成相應的訓練與學習，從而使學習在面對更加復雜的情況時能夠發(fā)揮出應有的作用。

4.1 通信模型

WGS采用了Ka頻段以及X頻段來進行通信，X、Ka頻段中分別有9個、10個波束。X頻段中的可用頻譜為500 MHz而Ka頻段則為1 GHz。在衛(wèi)星通信系統(tǒng)中，通信部分融合了蜂窩小區(qū)頻率復用方案，其中每一個小區(qū)都會占用1 MHz的子信道。在通信無干擾時，采用頻分復用方案進行正常通信，而在受到衛(wèi)星信號受到干擾之后，就可以令相鄰的7個蜂窩小區(qū)形成大區(qū)，在組成整體之后交由智能決策系統(tǒng)進行調(diào)配使用，為了避免因個別小區(qū)通信需求而忽略其他小區(qū)，特定小區(qū)的頻譜可以調(diào)整為正常通信期間的7倍，以此來提升整體抗干擾能力[2]。

4.2 強化學習模型

誤比特率是評價通信系統(tǒng)的重要指標之一。能夠對通信過程中傳輸數(shù)據(jù)準確度進行衡量，而在通信期間還存在通信速率指標。通信系統(tǒng)需要在誤比特率相對較低的情況下增加通信速率，而通信速率則會受到信道容量帶來的限制。在通信系統(tǒng)中，通過增加信號功率能夠增加信噪比，此時誤比特率將會降低。只有協(xié)調(diào)好誤比特率、發(fā)射功率與通信速率間的關系，才能夠使抗干擾能力進一步增加。

4.3 強化學習動作選擇

在衛(wèi)星通信系統(tǒng)中，干擾信號能夠對各種有用信號帶來影響。通常情況下，干擾信號會通過以下幾點來影響到通信信號：第一，相同的信號頻率。相同頻率的信號會在信道中出現(xiàn)疊加的情況，疊加后的信號將會對信號波形帶來影響，這種干擾無法利用濾波器來消除。第二，干擾信號存在的頻帶范圍較寬。能夠使用降低信噪比的方式來對通信信號造成影響。強化學習動作能夠從調(diào)制方式、功率、頻域多種角度來合理選擇抗干擾方式。

4.4 強化學習狀態(tài)定義

在通信系統(tǒng)中，智能體就是為了增加智能抗干擾能力而添加的，所以智能體能夠將通信系統(tǒng)看作環(huán)境，以此來考慮強化學習動作。強化學習則通過改變頻段、功率、調(diào)制方式來做出相應動作，整個過程能夠滿足馬爾科夫決策的定義。

5 仿真、結果

通常情況下，干擾一般可以分為單一干擾與復合干擾兩種，兩種干擾類型的仿真參數(shù)各有不同，復合干擾便是由兩種不同干擾相互疊加之后形成的。在強化學習過程中，累計回報作為短期、長期回報二者之和，是一個非常重要的概念。其中短期回報指的是強化學習由當前動作產(chǎn)生的回報，而長期回報則是當前動作在未來有可能得到的回報。在擁有終止態(tài)的模型中，長期回報便是自當前動作開始直到終止之前所有動作共同的短期回報之和。如果模型并沒有終止態(tài)，則在計算長期回報時，就無法將每一次短期回報進行疊加，因為這種疊加方式得到的累計回報是屬于發(fā)散性質(zhì)的，所以在這種模型中應該盡量考慮短期回報。誤比特率與速率、功率進行加權后能夠得到目標函數(shù)，所以對于衛(wèi)星通信而言，應該在降低誤比特率的同時盡量增加速率、降低功率，因此在選取權重時可以考慮將誤比特率權重設置為0.8，而速率、功率權重則為0.1。強化學習在使用過程中需要通過動態(tài)規(guī)劃進行迭代處理，所以在使用期間應該優(yōu)先判斷決策是否收斂，當收斂結果得到之后再對仿真結果進行驗證。

在單一干擾中，若通信系統(tǒng)受到了音頻干擾，則值函數(shù)大約可以在經(jīng)過30迭代之后逐漸趨于穩(wěn)定并進入收斂狀態(tài)。通過強化學習完成交互、收斂之后，在函數(shù)便可以計算出最佳解決方案。除了音頻干擾以后，面對窄帶、掃頻等干擾時，將強化學習作為核心的抗干擾決策系統(tǒng)同樣能夠發(fā)揮出相對較好的抗干擾效果。而在面對符合干擾時，無論是音頻+窄帶還是其他種類的符合干擾，都能夠通過強化學習來解決干擾問題。決策系統(tǒng)同樣會通過交互學習來找出最優(yōu)解，運算過程中同樣在30次迭代左右便能夠進入到收斂狀態(tài)中，所以智能決策系統(tǒng)能夠在實際應用過程中有效降低衛(wèi)星通信期間的誤碼率[3]。

6 結語

總而言之，在衛(wèi)星通信過程中，抗干擾技術的效果非常重要。通過高質(zhì)量的抗干擾決策，能夠使衛(wèi)星通信在變得更加穩(wěn)定的同時提升傳輸效率?；趶娀瘜W習的智能抗干擾決策便擁有非常優(yōu)秀的抗干擾效果。相信隨著更多人了解到衛(wèi)星通信抗干擾的重要性，衛(wèi)星通信抗干擾能力一定會變得更好。

[參考文獻]

[1]張越，韓志鋼，張頌.衛(wèi)星通信中的抗干擾技術分析[J].集成電路應用，2020（10）：180-181.

[2]張任楠，王志濤.衛(wèi)星通信抗干擾技術及其發(fā)展趨勢分析[J].數(shù)字通信世界，2020（9）：79-80.

[3]李新科，朱英軍.基于星上處理的衛(wèi)星通信抗干擾技術探究[J].網(wǎng)絡安全技術與應用，2020（8）：87-88.

（編輯 傅金睿）