基于Multi?agent協商的多干擾機資源管理

劉 玲，徐 旺

（1.成都大學信息科學與工程學院，四川成都 610106；2.電子信息控制重點實驗室，四川成都 610036）

基于Multi?agent協商的多干擾機資源管理

劉 玲1，徐 旺2

（1.成都大學信息科學與工程學院，四川成都 610106；2.電子信息控制重點實驗室，四川成都 610036）

多干擾機協同是組網雷達對抗的一種重要方法。針對多干擾機協同中面臨的數據傳輸率、時效性等因素所引起的干擾資源管理問題，建立了基于中心控制協商和公約協商的干擾資源管理模型，并給出了相應的協同算法與仿真。仿真結果表明：兩種方法在組網雷達對抗中均能取得良好的干擾效果及較低的漏威脅目標信號脈沖比例。其中，基于公約的Multi?agent協商在組網干擾資源管理方面具有更好的可行性，其效果優(yōu)于基于中心控制協商的方法。

干擾資源管理；Multi?agent協商；協同對抗；組網雷達

隨著組網雷達系統(tǒng)在世界范圍內的廣泛研發(fā)與部署，如何有效對抗組網雷達系統(tǒng)已成為一個日益棘手的問題，由此提出了利用干擾機進行對抗的方法。由于干擾資源的有限性，如何利用多干擾機聯網協同對抗組網雷達系統(tǒng)成為研究的熱點。

由于數據傳輸和時效性等方面因素，目前公開的干擾資源管理方法，主要集中在干擾資源如何分配方面，如以干信比為目標函數，采用優(yōu)化算法進行干擾資源分配等［1?5］，而在干擾資源分配后，關于干擾機間如何深入協同的文獻較少［6］。

面對組網雷達系統(tǒng)，干擾機間須協同地完成對抗任務，因此組網干擾機構成了一個智能系統(tǒng)。在此啟示下，本文將多干擾機對抗組網雷達的過程，構建為具備某種目標的Multi?agent協商過程，并采用了基于中心控制和基于公約的Multi?agent協商方法對該過程進行了建模。本文分析了組網干擾機對抗組網雷達的過程，指出了該過程中面臨的問題與挑戰(zhàn)。并基于這兩種Multi?agent協商的方法，對組網干擾過程中的資源管理問題進行了建模，通過一組仿真實例，對相關模型算法進行了驗證。

1 組網對抗

如圖1所示，為執(zhí)行某些特定任務，我方空中兵力平臺需要突破敵方組網雷達系統(tǒng)。然而，由于敵方組網雷達的數量優(yōu)勢，以及干擾機時間資源的有限性，一部干擾機難以應付多部雷達。這種情況下，需要多部干擾機進行協同對抗，一種較直接的協同方法如下：

1）一部干擾機扮演“觀察者”與“協調者”身份，將其記為中心干擾機，其余記為從干擾機；

2）當威脅信號到達時，中心干擾機將相應地干擾任務，如威脅雷達參數與干擾方法等，分配給其他的干擾機。具體的分配方法很多，可以采用基于遺傳算法［2］、基于動態(tài)規(guī)劃［4］、基于神經網絡［9］等方法的干擾資源分配。

圖1 組網對抗場景示意圖

3）當一個任務到達時，相應地從干擾機執(zhí)行相應干擾任務，并對中心干擾機進行反饋。

中心干擾機發(fā)送的干擾任務中，包含的雷達信號參數有頻率、脈寬、重頻、…、極化方式等，干擾參數有干擾方式、干擾時長等，這些參數定義如表1和表2所示。

表1 雷達信號參數描述

表2 干擾參數描述

若時間與傳輸速率允許，該協同方法可以有效地解決干擾機間的資源管理問題。然而，若每秒有幾千甚至幾百萬的威脅脈沖信號，則需要MB／s甚至GB／s量級以上的傳輸率，這其中還不包含消息報文頭、從干擾機的反饋消息等。另外，中心干擾機下發(fā)任務到從干擾機需要ms量級以上的信號傳輸與處理時間。再者，當兩個雷達的信號到達時間間隔較短時，中心干擾機不能快速進行處理與任務下發(fā)，如圖2所示。

圖2 兩個雷達信號在較短時間間隔內相繼到達的示意圖

圖3是一個預警雷達的掃描示意圖，其中，虛線部分為干擾設備能截獲雷達信號的部分。若中心干擾機下發(fā)雷達參數和干擾參數至從干擾機的時間過長，從干擾機很可能漏掉對當前截獲到雷達信號的干擾。

圖3 預警雷達掃描示意圖

除時間和數據傳輸外，由于干擾資源的有限性，還需要對任務分配的機制進行優(yōu)化。因此，本文基于Multi?agent的協商，提出了一種解決上述問題的優(yōu)化模型。

2 基于Multi?agent協商的干擾資源管理

將組網對抗中的干擾機視為具有共同任務的Agent，干擾資源管理問題等價于Multi?agent聯合任務規(guī)劃問題。如前所述，由于時間、數據傳輸率等因素的限制，Agent間不能進行實時動態(tài)交互與控制。為了節(jié)約資源，觀察者干擾機還需要扮演規(guī)劃角色。記扮演“觀察者”與“規(guī)劃者”的干擾機為Center?agent，其余干擾機為Sub?agent，則在聯合任務規(guī)劃中，agent間需要遵從如下規(guī)則：

·鑒于時效性和數據傳輸率的限制，Agent間不能實時信息交換；

·由于干擾資源的有限性和敵方組網雷達的數量優(yōu)勢，Agent之間應高度協同。

上述規(guī)則表明，Center?agent應觀察、識別和記錄威脅信號，制定相應對抗策略，并動態(tài)地將策略下發(fā)給相應Sub?agent。但這種策略下發(fā)行為不能過于頻繁，以至于超過了數據傳輸的限制，即策略的制定與下發(fā)不能是實時的。與此同時，Sub?agent之間應以盡量少地傳輸信息為前提，進行協同。

基于中心控制協商和基于公約協商是Multi?agent任務資源管理中常用的兩種辦法，在Multi?agent任務規(guī)劃中有廣泛應用［7］。為了實現多干擾機間對抗組網雷達系統(tǒng)的協同，本文采用了這兩種協商方式對干擾資源進行管理。

2.1 基于中心控制協商的干擾資源管理

基于中心控制協商的協同干擾基本處理框架如圖3所示。其中，Center?agent負責觀察環(huán)境，分選、識別威脅信號，并將威脅信號存入數據庫（Data Base，DB）中。然而，由于時間和數據傳輸率的限制，僅當威脅信號發(fā)生重大變化或距離上次干擾策略制定時間太久時，Center?agent才進行依據自身知識庫（Knowledge Base，KB）進行干擾策略的制定與下發(fā)。與此同時，當新的干擾策略達到時，Sub?agent立即更新其數據庫中相關干擾參數，如干擾目標和干擾樣式等。當輻射源信號到達時，結合自身知識庫中的某種規(guī)則，Sub?agent進行識別威脅，并對威脅輻射源作出相應干擾。

基于中心控制協商的干擾資源管理，包含以下三個步驟：

Step1（初始化）：添加威脅信號數據庫，設置威脅評估、策略下發(fā)的相關參數如下：

K表示需要干擾的信號目標數量；

CurJamObj表示當前干擾的信號目標集；

MinThD表示干擾信號目標的最小威脅度；

Dec-Tim表示最近一次干擾決策時間；

Dec-Tim-Interl表示進行兩次干擾策略制定的最大時間間隔；

Deta-time表示Sub?agent進行干擾目標切換的最小時間間隔；

Maxchg-Num表示進行干擾策略制定時，所容許的威脅輻射源改變的最大數量。當輻射源改變數量小于Maxchg-Num，Center?agent不需要重新進行策略制定。

N表示Sub?agent的數量，即從干擾機數量。

圖4 基于中心控制協商的協同干擾基本處理框架圖

Step2（Center?agent干擾策略制定）：Center?agent干擾策略制定的過程可以分為：觀察、識別威脅信號，策略制定，策略下發(fā)。該過程可以描述為Algorithm 1.

Algorithm 1中plan（JamObj，N）是干擾資源分配函數，可以是基于遺傳算法［2，5］、動態(tài)規(guī)劃［4］、貼近度［8］、神經網絡［9］等方法的干擾資源分配。

Step3（Sub?agent干擾響應）：當干擾策略到達時，Sub?agent立即進行干擾策略的更新。當輻射源信號到達時，Sub?agent依據干擾策略進行響應。該過程可以描述為Algorithm 2.

與基于公約協商的方法相比，基于中心控制協商的干擾資源管理沒有那么實時，具備了可行性。但是，在Center?agent進行干擾策略制定與下發(fā)后，Sub?agent僅能對自己負責的干擾目標進行干擾響應。資源管理協調能力隨環(huán)境的變化較大，因此，對Center?agent處理的頻率要求較高。

2.2 基于公約協商的干擾資源管理

與基于中心控制協商的干擾資源管理相比，基于公約協商的干擾資源管理下，通過事先對Sub?agent設計了某種默契，即所有Sub?agent必須遵守的一些公約?？紤]到數據傳輸率和時間的限制，基于公約協商的干擾資源管理進行了如下處理。

1）Center?agent通過廣播的方式，向每個Sub?agent發(fā)送所有Sub?agent的干擾策略和目標信號表。目標信號對象如表3所示，其中Sij的定義見表1。

當輻射源信號到達時，各個Sub?agent進行威脅識別，搜索目標信號表格（表3），確認它屬于哪個Sub?agent的目標信號。與基于中心控制協商（Algorithm 1和Algorithm 2）不同，如果相應的Sub?agent在干擾其他威脅對象，其他的處于空閑狀態(tài)的Sub?agent將替之進行干擾。記t時刻收到威脅信號為Sij，即Sub?agent i的第j個干擾目標信號，Sub?agent間將采用以下的公約進行協同。

表3 目標信號表

2）每個Sub?agent記錄所有Sub?agent的干擾狀態(tài)，如表4所示。其中，jk表示Sub?agent k正在干擾的目標，其取值為表3中目標信號的下標；ik為Sjk原本所屬Sub?agent的編號；tk表示Sub?agent k開始對信號Sjk進行干擾的時間，若Sub?agent ik處于空閑狀態(tài)，則對應行取值全為零。

表4 Sub?agent狀態(tài)記錄表

當信號Sij到達時，各個Sub?agent按如下的公約進行干擾響應。

①若Sub?agent i處于空閑狀態(tài)，則Sub?agent i直接對Sij進行干擾響應，并廣播其干擾的目標和時間如表5所示。各Sub?agent收到消息后，更新各自存儲的狀態(tài)記錄表：第i行的三個取值分別為i、j和t。

表5 傳輸參數

②若Sub?agent i處于干擾狀態(tài)，并且某些其他Sub?agent處于空閑狀態(tài)，則

·按mod（i+1，N），mod（i+2，N），…，mod（i+N-1，N）的順序對狀態(tài)記錄表進行搜索，直到某個Sub?agent mod（i+k，N）處于空閑狀態(tài)，則Sub?agent mod（i+k，N）對Sij進行干擾響應，并廣播表5所示的參數。其中mod（x，y）表示x除以y取余。

·其他Sub?agent收到消息后，更新相應的狀態(tài)記錄表格：第mod（i+k，N）行的三個取值分別為i、j和t。

③若所有Sub?agent均處于干擾狀態(tài)，則

·若某些Sub?agent將在時間閾值ΔT內完成當前正在進行的干擾，則按mod（i+1，N），mod（i+2，N），…，mod（i+N-1，N）對干擾狀態(tài)記錄表進行順序搜索，具有最早完成時間的Sub?agent對Sij進行干擾響應，并廣播其干擾參數，各Sub?agent進行狀態(tài)記錄表更新。

·否則，忽略Sij。

值得注意的是，當前時間超過某個Sub?agent的干擾結束時間時，所有Sub?agent將自動地將其狀態(tài)記錄表中相應Sub?agent的狀態(tài)更新為空閑狀態(tài)。利用這種方式，那些處于空閑的或不那么忙的Sub?agent將以較少的消息傳遞代價，實現對繁忙的Sub?agent進行幫助，從而實現了干擾資源再次協同與調度。

較之于基于中心控制的干擾資源管理，基于公約的情況下，增加了一定的通信代價，通信代價的大小與威脅信號的持續(xù)時間有關。

3 數據仿真及分析

為了驗證基于兩種協商方法的干擾資源管理的原理，本文設置了一個包含4部干擾機與8部雷達進行對抗的仿真場景，相關參數設置如表6和表7所示，其中各部雷達起始掃描方位均勻分布在［0，2π］內。

表6 雷達參數設置

表7 干擾機參數

假設所有雷達的3dB主瓣波束寬度為2.5°，主瓣天線增益為30dB，副瓣天線增益為-2dB。策略制定相關參數如表8所示，在設置如表2所示的干擾參數基礎上后，獲得了Center?agent對Sub?agent 1分配目標信號序列如圖5所示。為了區(qū)分相鄰兩次目標信號，使用“----”和“——”相間表示相鄰的兩次目標信號。Sub?agent 2與Sub?agent 3的目標信號序列與Sub?agent 1類似。

［1］，本文采用了基于遺傳算法的干擾資源分配，其目標是使得雷達網對被掩護目標的定位精度最差，目標函數定義如下式所示。分配的頻率為每秒一次。

表8 策略制定參數設置

式中，f是指單站測量誤差到雷達網GDOP的映射；GDOP為雷達網目標的定位精度，取值為東北天坐標誤差的均方根，其詳細計算見文獻［1］；f1，f2，…，fN是單部雷達接收干擾功率到測量誤差映射；Jmn（n＝1，2，…，N）為各干擾機到達雷達接收機的發(fā)射功率。

如圖5所示，Center?agent更新所有Sub?agent的干擾目標信號的頻率為1次／s，基于中心控制協商和基于公約協商的干擾資源管理效果，如圖6所示。

圖5 Sub?agent1的目標信號序列

圖6表明，基于中心控制協商的干擾資源管理下，每個Sub?agent都可能有時很“忙”，有時卻很“閑”。同時，某些Sub?agent在很忙的時候，其他Sub?agent卻由于其負責的威脅目標信號沒有到達而“無所事事”。與之相反，基于公約協商過程中，所有Sub?agent的干擾過程中時間上是均勻的，并且不可能出現某些Sub?agent很“忙”，而某些Sub?agent卻無事可做的現象。最后，為了說明兩種協商方法在干擾資源管理方面的效果，除了上述表6和表7所描述場景（記為場景1）外，本文還通過隨機設置類似表7中RF、PRI、PW、掃描周期等相關參數，選擇了其他3個場景（分別記為場景2、3、4），并與隨機分配（分配的頻率仍為1次／s，4部干擾機不區(qū)分成center?agent和Sub?agent，每部均分配兩個目標信號）相比較，以檢驗兩種方法在干擾資源管理中，漏干擾目標信號脈沖的比例，其結果如表9所示。

本文設置的場景均為飛機編隊自衛(wèi)干擾，漏干擾目標信號的比例即為沒有完全覆蓋到真實的飛機回波的脈沖比例，如圖6所示。

圖6 干擾效果示意

該結果表明，兩種基于Multi?agent協商的干擾資源管理效果明顯好于隨機分配的效果，且基于公約協商的干擾資源管理漏干擾目標信號脈沖的比例明顯小于其他兩種方法。

圖7 Sub?agent的實際干擾信號

表9 漏干擾目標信號脈沖的比例

此外，以SinC函數為雷達方向圖，根據雷達掃描周期、接收機靈敏度等參數，可以計算得到，較之于基于中心控制的協商方法，基于公約協商的干擾資源管理在場景中通信代價至多為83次／s，即705.5Byte／s的傳輸率，而這個代價是較易接受的。

4 結束語

本文在分析組網干擾資源管理問題的基礎上，利用基于中心控制協商和基于公約協商等兩種Multi?agent協商方法對組網干擾資源管理進行了建模，提出了相應的資源管理算法，并通過一組對抗場景驗證了兩種方法的原理有效性。下一步研究中，我們將進一步考慮個體特征，如干擾機1對雷達1的最好干擾方式是噪聲干擾，而干擾機2的最好干擾方式是欺騙干擾，并且兩者有不同的成功概率等，綜合給出干擾機2幫助干擾機1時的條件與方式等。

參考文獻：

［1］ 張養(yǎng)瑞，李云杰，高梅國.協同干擾資源優(yōu)化分配模型及算法［J］.系統(tǒng)工程與電子技術，2014，36（9）：1744?1749.

［2］ XUE Yu，ZHANG Yi，ZHU Hao，et al.Efficiently ImmuneGeneticAlgorithmforSolvingCooperative Jamming Problem［J］.Journal of University of Electronic Science and Technology of China，2013，42（3）：453?458.

［3］ 邱衛(wèi)軍，黎明也.多樣式協同干擾的目標分配研究［J］.中國電子科學研究院學報，2012，7（6）：586?589.

［4］ 姜寧，胡維禮，王基組，等.雷達干擾資源分配的模糊多屬性動態(tài)規(guī)劃模型［J］.南京理工大學學報（自然科學版），2003，27（3）：314?317.

［5］ 郭小一，袁衛(wèi)衛(wèi)，黃金才.雷達干擾資源一對多分配方法［J］.火力與指揮控制，2008，33（12）：22?25.

［6］ XU Wang，CHANG Jin?dan，SHI Xiao?wei，et al.Multi?agent Coordination for Resource Management of Netted Jamming［C］.Guang Zhou：Lecture Notes in Computer Science，2014：446?456.

［7］ 蔡自興，徐光佑.人工智能及其應用［M］.北京：清華大學出版社，2010：332?333.

［8］ 呂永勝，王樹宗，王向偉，等.基于貼近度的雷達干擾資源分配策略研究［J］.系統(tǒng)工程與電子技術，2005，27（11）：1893?1894.

［9］ 房明星，王杰貴，朱宇.基于Hopfield神經網絡算法的雷達干擾資源分配［J］.火力與指揮控制，2014，39（2）：76?80.

Resource Management of Multi?jammer Based on Multi?agent Coordination

LIU Ling1，XU Wang2
（1.School of Information Science and Engineering，Chengdu University，Chengdu 610106；2.Science and Technology on Electronic Information Laboratory，Chengdu 610036，China）

Multi?jammer cooperative confrontation is an important method for enemy netted radar countermeasures system. According to the jamming resource management problem，which is caused by the data transfer rate and time limitation in multi?jammer cooperative confrontation，two jamming resource cooperative models based on Center Control Coordination and Commitments and Conventions are built.In addition，corresponding cooperative algorithms are proposed and simulations are considered.The results show that the two methods could get a good performance in netted radar countermeasures，and both have lower missing rate of threat pulses.Besides，the simulation results validate that the cooperative based on Commitments and Conventions has better feasibility in netted jamming resource management，which has a better performance than the method based on Center Control Coordination.

jamming resource management；Multi?agent coordination；cooperative confrontation；netted radar

TN959；E917

A

10.3969／j.issn.1673?3819.2016.06.012

1673?3819（2016）06?0057?07

2016?09?27

2016?10?20

劉 玲（1988?），女，四川內江人，碩士，助教，研究方向為模式識別與智能系統(tǒng)。

徐 旺（1987?），男，碩士，工程師。