復雜共形陣列天線寬角域波束掃描設(shè)計

張彬超，金 城，田步寧，呂奇皓，曹凱淇，薛正輝

(北京理工大學 集成電路與電子學院，北京 100081)

0 引言

相控陣天線具有增益高、波束掃描快和副瓣水平低等優(yōu)異性能，因此在雷達和通信系統(tǒng)中受到了廣泛關(guān)注[1-2]。在衛(wèi)星通信和遠程探測等應用中，相控陣天線往往被要求具有寬角域波束掃描特性。但是，隨著波束掃描角的增大，平面相控陣天線的有效輻射孔徑將迅速減小，導致增益急劇下降[3]。因此，共形相控陣天線逐漸受到重視，它不僅能良好地兼容不規(guī)則的載體平臺，還能拓寬波束掃描范圍，提高輻射靈活性[4]。

對于共形陣列天線，載體曲率的引入導致陣因子失效，無法通過單元因子和陣因子對陣列方向圖進行綜合。因此，相比于平面陣列，共形陣列的綜合過程更加復雜，且隨著載體形狀改變而不斷變化。為了解決該問題，遺傳算法[5-6]、粒子群優(yōu)化算法[7-8]和雜草入侵優(yōu)化算法[9-10]等優(yōu)化算法被用以解決陣列天線的綜合問題，且取得了良好的效果。但是，這些優(yōu)化算法也存在一定的缺陷，例如，在處理多參數(shù)問題時，存在過早收斂或易陷入局部最優(yōu)解等問題。另外，針對各種具體的共形陣列方向圖優(yōu)化問題，將多種智能優(yōu)化算法互補結(jié)合后的混合型優(yōu)化算法也相繼被提出[11-14]。

近年來，隨著深度強化學習(Deep Reinforcement Learning，DRL)的蓬勃發(fā)展，眾多研究者利用DRL算法來解決非線性復雜問題[15-18]。DRL算法可以從經(jīng)驗中進行學習，以層次化的概念來理解問題，即通過簡單概念來構(gòu)建、學習更復雜的概念。因此，本文將DRL應用于復雜共形陣列天線的綜合優(yōu)化過程中，旨在解決復雜共形陣列天線的寬角域波束掃描問題。

1 共形載體分析和算法設(shè)計

首先，本文針對平面陣列天線和共形陣列天線的波束掃描性能進行比較和評估，并用陣列有效輻射面積Aeff和總輻射面積Atot的比值來進行表征[19]。對于平面陣列天線，其輻射效率為:

(1)

式中，θs為從法線到背向的掃描角度。通過對各個曲面平臺輻射效率的分析，選取圓錐體和圓柱體組成的異構(gòu)結(jié)構(gòu)作為陣列天線的共形載體。同時，該異構(gòu)結(jié)構(gòu)因良好的空氣動力性能，也是飛行器的常用結(jié)構(gòu)。因此，以飛行器前錐的應用場景為例，比較傳統(tǒng)平面陣列天線和共形陣列天線的性能，共形陣列天線的應用場景示意如圖1所示?？梢园l(fā)現(xiàn)，平面陣列天線只能部署在有限的區(qū)域內(nèi)，而共形陣列天線可以安裝在具有較大面積的天線罩甚至機身周圍，大大增加了陣列天線的設(shè)計自由度，易于實現(xiàn)寬角波束掃描性能。

圖1 共形陣列天線的應用場景示意Fig.1 Application scenario diagram of conformal array antenna

為使共形陣列天線獲得盡可能大的波束掃描角度，將圓錐體的錐角設(shè)為120°，同時圓柱體高度等于其半徑。需要注意的是，圓柱體高度越大，大角度下的輻射增益也越大。全面考慮輻射單元的最大輻射視角和圓錐—圓柱異型結(jié)構(gòu)的遮蔽效應，對于圖1所示的共形于圓錐—圓柱異型結(jié)構(gòu)上的陣列天線，整個波束掃描范圍大致可以劃分為3部分：0°≤θs≤30°，30°≤θs≤90°和90°≤θs≤180°。

① 當掃描角度θs∈[0°,30°]時，輻射的波束能量全部由圓錐體表面的輻射單元貢獻，而圓柱體上的輻射單元由于超過了最大輻射視角而未被激活，此時的有效輻射面積為：

(2)

② 當掃描角度θs∈[30°,90°]時，圓錐體和圓柱體上的輻射單元都參與了陣列方向圖的綜合。此時，有效輻射面積可以表示為：

(3)

式中，φ0為圓柱體與圓錐體的激活扇區(qū)角，此處設(shè)置為120°。

③ 當掃描角度θs∈[90°,180°]時，圓柱體上的輻射單元為陣列輻射的主體。此時，有效輻射面積為：

(4)

因此，當波束從0°掃描至180°，圓錐—圓柱異型共形陣列天線的歸一化有效輻射效率為其輻射效率為：

(5)

平面陣列天線和共形陣列天線的有效輻射面積對比如圖2所示。對比結(jié)果可以分為3個部分進行分析和討論：

圖2 平面陣列天線和共形陣列天線的有效輻射面積隨掃描角變化趨勢Fig.2 Effective radiation area of planar array antenna and conformal array antenna varying with scanning angle

① 當0°≤|θs|≤30°時，共形陣列天線的輻射效率略低于平面陣列天線。

② 當30°<|θs|≤90°時，共形陣列天線逐漸占據(jù)優(yōu)勢地位，其輻射效率隨掃描角度的增大僅略有下降。這是因為圓柱體上的天線單元被激活而參與輻射。

③ 當90°<|θs|≤180°時，平面陣列天線已經(jīng)失能，而共形陣列天線仍保持了良好的輻射性能。

綜上，將天線共形于天線罩和機身上可以大大提高波束掃描的范圍。接下來將設(shè)計一種適用于該復雜共形陣列天線的方向圖綜合方法，克服傳統(tǒng)優(yōu)化算法存在的維度災難和局部收斂的問題。

2 DRL算法在共形陣列天線中的應用

共形陣列天線的輻射方向圖綜合優(yōu)化問題是一個非線性、非凸的過程，需要采用隨機非線性優(yōu)化算法進行求解。本文研究了一種基于深度確定性策略梯度(Deep Deterministic Policy Gradient，DDPG)的方向圖綜合算法，實現(xiàn)了復雜共形陣列天線的寬角域波束掃描性能。

DDPG算法是一種基于策略驅(qū)動算法和確定性策略梯度的無模型、離線策略的算法[20]。DDPG將動作策略的探索和動作策略的學習更新分離，動作的探索仍然采用隨機策略，而學習的策略則為確定性策略。同時，DDPG中引入了Actor-Critic框架，將策略網(wǎng)絡(luò)與價值網(wǎng)絡(luò)分開，并采用了經(jīng)驗復用池來對網(wǎng)絡(luò)進行非策略訓練，以最小化樣本之間的相關(guān)性?；谏鲜龅奶匦詢?yōu)勢，DDPG算法可用于高維度的動作狀態(tài)空間，能更好地適應復雜的控制任務(wù)。

首先,介紹DDPG應用于陣列綜合的過程。DRL算法的核心思想是建立一個從環(huán)境狀態(tài)到智能體行為的映射關(guān)系，用于解決決策問題。在本文的應用場景中，智能體是DDPG算法，環(huán)境是共形陣列天線，DDPG算法應用于共形陣列天線過程如圖3所示。二者的交互過程為：環(huán)境接收智能體給出的動作at，然后環(huán)境根據(jù)動作改變自身的狀態(tài)st，并將狀態(tài)反饋給智能體。另一方面，環(huán)境根據(jù)設(shè)定的獎勵函數(shù)，將此時的動作at和狀態(tài)st所對應的獎勵值rt反饋給智能體。

圖3 DDPG算法應用于共形陣列天線過程Fig.3 Application process of DDPG algorithm in conformal array antenna

接下來，針對算法中的關(guān)鍵參數(shù)進行設(shè)計?？紤]到陣列天線被共形于一個復雜的曲面結(jié)構(gòu)，以在某種特定的幅度相位分布下實現(xiàn)寬角域波束掃描性能。假設(shè)陣列天線包含K個輻射單元，其位置分別為：

P={(x1,y1,z1),…,(xk,yk,zk),…,(xK,yK,zK)}。

(6)

坐標系統(tǒng)的原點與圓柱體頂面的中心重合。因此，天線的輻射方向圖為：

(7)

式中，θ,φ分別為俯仰角和方位角；Ak,φk分別為輻射單元pk的激勵幅度和相位；Δψk為原點和輻射單元pk之間的相位差；fk(θ,φ)為每個輻射單元的輻射模式。

因此，DDPG算法的目標是找到最優(yōu)的幅相控制策略來調(diào)節(jié)輻射波束，以最小化用于計算實際輻射性能和期望需求之間差異的目標函數(shù)，即智能體必須根據(jù)當前的幅相分布和期望的波束性能〈Gs,θs,φs〉來做出最優(yōu)的動作策略，確定每個輻射單元的激勵幅度和相位，其中Gs是當波束掃描角為(θs,φs)時的目標增益。因而，該優(yōu)化問題可以聯(lián)合表示為：

(8)

式中，Gt為t時刻方向(θs,φs)上的增益。

下一步，對DDPG算法的動作空間、狀態(tài)空間和即時獎勵進行設(shè)置，具體如下：

① 狀態(tài)空間：將t時刻的狀態(tài)空間定義為天線的波束性能，即：

st=〈Gt,θt,φt〉，

(9)

式中，Gt,θt,φt分別為t時刻的增益、俯仰角和方位角。

② 動作空間：本問題中t時刻的動作空間是一組重新排列天線幅相分布的隨機幅相對，可以表示為：

(10)

③ 獎勵：一般情況下，天線的增益是最重要的指標。因此，獎勵rt是由比較t時刻的實時增益和目標方向(θs,φs)的期望增益得到，計算如下：

(11)

基于DDPG算法的共形天線陣列波束掃描算法輸入:Gs,θs,?s|0≤θs≤5π6,0≤?s≤2π{}初始化:策略網(wǎng)絡(luò)學習概率αA=0.001,價值網(wǎng)絡(luò)學習效率αC=0.001,軟更新參數(shù)τ=0.001,折扣因子γ=0.9,回放內(nèi)存大小 =500,批量大小N=32,總回合數(shù)M=5 000,每回合總步數(shù)T=10 000以及增益折扣系數(shù) =0.9。價值網(wǎng)絡(luò)Q(s,a|θQ)和策略網(wǎng)絡(luò)μ(s|θμ)及它們的權(quán)重系數(shù)θQ和θμ,目標網(wǎng)絡(luò)Q′和μ′及它們的權(quán)重系數(shù)θQ′←θQ,θμ′←θμ。由式(9)計算得到隨機狀態(tài),式(10)計算得到隨機動作,初始獎勵r=0。For回合=1～Mdo 初始化觀測狀態(tài)s0和高斯過程nt進行動作探索 For步驟t = 1～Tdo 依據(jù)當前策略和探索噪聲選擇動作at=μ(st)+nt 執(zhí)行動作at并計算獎勵值rt,觀察新狀態(tài)st+1 將元組〈st,at,rt,st+1〉存儲至記憶回放池中 從記憶回放池中隨機選取N個元組〈si,ai,ri,si+1〉 設(shè)yi=ri+YQ′(si+1,μ′(si+1|θμ′)|θQ′) 通過最小化損失來更新價值網(wǎng)絡(luò):L=1N∑i(Q(si,ai|θQ)-yi)2 使用抽樣的策略梯度更新策略:?θμJ≈1N∑i?aQ(s,a|θQ)|s=si,a=μ(si)?θμμ(s|θμ)|s=si[] 軟更新目標網(wǎng)絡(luò):θQ′←τθQ+(1-τ)θQ′θμ′←τθμ+(1-τ)θμ′ End forEnd for

3 仿真測試與分析

共形陣列天線構(gòu)型如圖4所示。傳統(tǒng)的微帶天線陣列被共形于由泡沫制成的圓錐和圓柱平臺上。需要注意的是，由于計算資源有限，天線陣列的規(guī)模設(shè)置為1×17，即式(6)中K=17。另外，圓錐的頂部被截斷，一個天線單元被放置在截斷處以產(chǎn)生更好的前向輻射性能，且圓錐的基角θb為30°，圓柱的高度h和半徑rbtm相等，均為300 mm。

圖4 共形陣列天線構(gòu)型Fig.4 Configuration of conformal array antenna

設(shè)置完共形陣列天線的構(gòu)型后，進行DDPG算法的訓練，回合數(shù)設(shè)置為5 000，最終的評價函數(shù)性能如圖5所示，證明了DDPG算法是逐漸收斂和穩(wěn)定的。由于算法前期還處于戰(zhàn)略探索和學習階段，所以在前2 000個回合，算法的初始獎勵較低，但呈現(xiàn)逐步增加的過程。在2 000個回合之后，算法的獎勵值趨于穩(wěn)定，徘徊在最大值1附近，如圖5(a)所示，說明DDPG已經(jīng)得到了充分的訓練。

(a) 平均獎勵

在完成算法的訓練后，對算法進行了400個回合的測試。在每個測試回合中，波束掃描的角度從固定的0°到掃描到某個隨機的角度。圖5(b)顯示了DDPG算法驅(qū)動的每個回合波束切換的時間。可以看出，波束的切換時間大多在0.06～0.25 s，平均時間約為0.098 s。這說明DDPG算法可以在非常短的時間內(nèi)求出目標方向(θs,φs)所需增益Gs對應的陣列天線幅度和相位分布，實現(xiàn)高性能波束掃描。

具體地，基于DDPG算法的共形陣列天線在θs∈{0°,30°,60°,90°,120°,150°}和φs=0°方向上的輻射方向圖，如圖6所示?？梢园l(fā)現(xiàn)，設(shè)計的共形陣列天線實現(xiàn)了幾乎覆蓋整個視覺空間的波束掃描性能。圖6還給出了平面相控陣天線在θs∈{0°,30°,60°}上的輻射方向圖，并和共形相控陣天線的輻射性能進行比較。結(jié)果表明，當波束掃描角為0°和30°時，共形陣列天線的增益略低于平面陣列天線。然而，當波束掃描角為60°時，共形陣列天線的增益超過了平面陣列天線的增益，與圖2中的理論預測一致。此外，當波束掃描角超過90°時，平面陣列天線已經(jīng)失去有效的輻射性能，而共形陣列天線的輻射性能仍然良好，表明所提出的共形陣列天線在大角度波束掃描方面具有很大優(yōu)勢。

圖6 共形陣列天線和平面陣列天線在不同波束掃描角下的輻射方向圖對比Fig.6 Comparison of radiation patterns of conformal array antenna and planar array antenna at different beam scanning angles

將所設(shè)計的共形陣列天線進行加工、裝配和測試來驗證基于DDPG算法的共形陣列天線寬角域波束掃描的有效性，共形陣列天線測試環(huán)境和加工原型如圖7所示。整個陣列天線通過1個1分8和5個1分4功分器進行饋電，其中冗余的支路通過匹配負載進行匹配。另外，還使用了8 bit數(shù)字移相器來實現(xiàn)覆蓋360°的精度為1.4°的精確移相性能，并預置了功率放大器來彌補每路通道的損耗。每個移相器可以由一個帶有8個開關(guān)的手動控制器進行精確控制，而輻射單元的激活與否可以通過對應支路的通斷進行控制。

圖7 共形陣列天線測試環(huán)境和加工原型Fig.7 Test environment and fabrication prototype of conformal array antenna

接著，在暗室中對設(shè)計的共形陣列天線進行測試。選取了一組目標波束掃描角θs={0°,30°,60°,90°,120°,150°}和φs=0°作為仿真和實測對比，結(jié)果如圖8所示。仿真結(jié)果與實測結(jié)果吻合較好，說明基于DDPG算法的共形陣列天線波束掃描算法是有效且準確的。

圖8 基于DDPG算法的共形陣列天線在不同波束掃描角度下的仿真和測試輻射方向圖Fig.8 Simulated and measured radiation patterns of the conformal array antenna at different beam scanning angles based on DDPG algorithm

4 結(jié)論

本文提出了一種基于DDPG算法的共形陣列天線寬角域波束掃描算法，實現(xiàn)了幾乎全視野空間的波束掃描性能。利用DDPG算法強大的學習能力和非線性擬合能力，有效解決了復雜曲面平臺上共形陣列天線的方向圖綜合難度大的問題。在此基礎(chǔ)上，實現(xiàn)了具備寬角域波束掃描和快速波束切換能力的圓錐—圓柱異型共形陣列天線。