基于深度神經(jīng)網(wǎng)絡(luò)的自適應(yīng)波束形成算法

柏沫羽，劉 昊，陳浩川，張振華

（北京遙測技術(shù)研究所 北京 100076）

引 言

自適應(yīng)波束形成技術(shù)是陣列信號處理的重要分支，其廣泛應(yīng)用于航天領(lǐng)域中的導(dǎo)航、飛行器測控和精確制導(dǎo)等的旁瓣抗干擾中，近年來已經(jīng)成為新一代航天、雷達(dá)和通信領(lǐng)域的關(guān)鍵技術(shù)之一。自適應(yīng)波束形成技術(shù)能夠通過調(diào)整接收通道權(quán)系數(shù)來有效地實(shí)現(xiàn)干擾抑制等功能，在航天、雷達(dá)、無線通信、聲納、地震勘測等領(lǐng)域中得到了廣泛的應(yīng)用。傳統(tǒng)的自適應(yīng)波束形成基于最大信噪比SNR（Signal-to-Noise Ratio）、最小均方誤差MMSE（Minimum Mean Squared Error）和最小方差無失真響應(yīng)MVDR（Minimum Variance Distortionless Response）等準(zhǔn)則來設(shè)計(jì)波束形成器。但是當(dāng)所得到的回波數(shù)據(jù)量增多時，傳統(tǒng)的波束形成算法無法進(jìn)行及時處理。而深度神經(jīng)網(wǎng)絡(luò)模型可以在前期對大量的數(shù)據(jù)進(jìn)行訓(xùn)練，之后利用訓(xùn)練好的模型就可以快速準(zhǔn)確的進(jìn)行波束形成，比傳統(tǒng)的波束形成算法更加快速，滿足了在大數(shù)據(jù)的情況下進(jìn)行快速波束形成的需求，具有理論和工程上的研究意義。

因此，將深度神經(jīng)網(wǎng)絡(luò)與自適應(yīng)波束形成技術(shù)相結(jié)合，具有提升自適應(yīng)波束形成算法高效性的前景。近年來隨著深度學(xué)習(xí)理論體系日趨完善，人工智能技術(shù)應(yīng)用于越來越多的領(lǐng)域，將波束形成技術(shù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合已經(jīng)被業(yè)內(nèi)學(xué)者廣泛使用[1-6]。2004年Suksmono等人引入了多層感知機(jī)來替換傳統(tǒng)的LMS算法的單層模型[7]，在收斂速度上有所提升，但是依然采用的是迭代的方法，沒有充分利用神經(jīng)網(wǎng)絡(luò)的非線性擬合能力。1998年Zooghby等人[8]，2008年Xin等人[9]，2009年Savitha等人[10]，2015年張寶軍等人[11]均研究了利用徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行波束形成的方法，但是這種方法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程較為復(fù)雜，需要進(jìn)行額外的k-means聚類等操作，并且為了不使用更深層的神經(jīng)網(wǎng)絡(luò)而引入了過多的人工先驗(yàn)假設(shè)。2018年馮曉宇等人提出了在低快拍情況下利用徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行波束形成的方法[12]，這種方法僅僅是對低快拍情況下的改進(jìn)，并沒有對以上徑向基神經(jīng)網(wǎng)絡(luò)存在的問題進(jìn)行解決。本文將徑向基神經(jīng)網(wǎng)絡(luò)推廣為深度神經(jīng)網(wǎng)絡(luò)，避免了使用k-means算法而帶來的局限性，為神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于波束形成中做了良好的鋪墊，達(dá)到了更加快速的效果。

本論文根據(jù)波束形成原理利用分段訓(xùn)練方式設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)，在設(shè)計(jì)模型時使用了Leaky-ReLU激活函數(shù)，解決了模型訓(xùn)練過程中的梯度消失以及神經(jīng)元提前失活的問題。運(yùn)用Adam優(yōu)化器提高模型訓(xùn)練的全局收斂性，加快了算法的速度，并結(jié)合Dropout正則化方法提升過參數(shù)化網(wǎng)絡(luò)的泛化性能，提出了基于深度神經(jīng)網(wǎng)絡(luò)的波束形成算法NNBF（Neural Network Beamforming）。

1 理論背景

1.1 LMS算法（Least Mean Square Algorithm）

NNBF算法是基于LMS算法進(jìn)行構(gòu)造的，LMS算法是自適應(yīng)波束形成算法中廣泛使用的一種，它的本質(zhì)是基于MMSE準(zhǔn)則構(gòu)造損失函數(shù)，使損失函數(shù)達(dá)到最小，是一種迭代算法。假設(shè)一維線陣一共有N個陣元，t時刻的期望信號為d(t)，信號處理機(jī)接收到的數(shù)據(jù)為X(t)，第i個陣元的權(quán)重值為Wi，根據(jù)MMSE準(zhǔn)則，目的是使y(t)–di(t)的均方值最小，其中y(t)=WiHx(t)，則損失函數(shù)為

之后利用迭代方法來求最佳值，權(quán)矢量更新的表示式為[13]

其中，μ為用來決定算法收斂速度的學(xué)習(xí)率。當(dāng)學(xué)習(xí)率μ為常數(shù)時，有

用相應(yīng)的瞬時值表示，則可得出在時間點(diǎn)t時對梯度的估計(jì)為

μ值與收斂速度有關(guān)，μ值越大，迭代次數(shù)越少，收斂速度越快，但是有可能導(dǎo)致無法收斂的情況。μ值越小，迭代次數(shù)越多，收斂速度越慢，但是可以保證收斂到最優(yōu)值。因此這種傳統(tǒng)的波束形成算法無法滿足收斂速度和收斂性之間的平衡，而利用深度神經(jīng)網(wǎng)絡(luò)模型建立的NNBF算法可以解決這個問題，具有良好的性能。

1.2 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)算法是機(jī)器學(xué)習(xí)中的一種算法，以人工神經(jīng)網(wǎng)絡(luò)算法為基礎(chǔ)，是人工神經(jīng)網(wǎng)絡(luò)的一個方向[14]。此外，深度神經(jīng)網(wǎng)絡(luò)[15]是一種擁有良好泛化性能的非線性模型，相對于普通的神經(jīng)網(wǎng)絡(luò)而言，其擁有更多的參數(shù)并且能更好的提取數(shù)據(jù)隱含的層次特征。雖然根據(jù)萬能近似定理，在擁有足夠參數(shù)的情況下，單隱藏層的神經(jīng)網(wǎng)絡(luò)可以以任意精度擬合任意初等函數(shù)，但是研究表明[16]，在相同的參數(shù)下，更深的神經(jīng)網(wǎng)絡(luò)比更淺的神經(jīng)網(wǎng)絡(luò)擁有更好的泛化性能。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的每一層都是對原有輸入數(shù)據(jù)的一次抽象，所以多層神經(jīng)網(wǎng)絡(luò)能夠更加深刻認(rèn)識到問題的本質(zhì)。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

其中x為神經(jīng)元的輸入，v，w為第一層和第二層神經(jīng)元的連接權(quán)重，f為激活函數(shù)，θ為閾值，y為輸出。將上述關(guān)系表示為公式的形式

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Neural network structure

2 基于深度神經(jīng)網(wǎng)絡(luò)模型的波束形成算法

2.1 問題描述

深度神經(jīng)網(wǎng)絡(luò)是一種能夠構(gòu)建復(fù)雜非線性關(guān)系的模型，在通過一定數(shù)量的樣本訓(xùn)練之后，它也可以推斷未知數(shù)據(jù)之間的未知關(guān)系，擁有較強(qiáng)的泛化性能。波束形成技術(shù)是一種通過回波信息和約束關(guān)系來合成波束的一種技術(shù)，傳統(tǒng)的波束形成算法運(yùn)算量大，運(yùn)算時間長，占用資源多，在接收到大量回波數(shù)據(jù)時無法快速的進(jìn)行實(shí)時處理。因此利用深度神經(jīng)網(wǎng)絡(luò)對傳統(tǒng)的波束形成技術(shù)進(jìn)行改進(jìn)，可以使波束形成的時間縮短，還可以根據(jù)所得的回波數(shù)據(jù)不斷更新網(wǎng)絡(luò)模型，使訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)可以更好的應(yīng)對各種情況，具有良好的穩(wěn)健性。

根據(jù)波束形成的原理，抽象深度神經(jīng)網(wǎng)絡(luò)模型，深度神經(jīng)網(wǎng)絡(luò)的模型輸入為回波信號X，n為接收信源的數(shù)目，batch為訓(xùn)練樣本的數(shù)量。不失一般性，以一維線陣為例，天線陣元數(shù)為16，模型的輸出為形成的波束信號Y，自適應(yīng)波束形成權(quán)重因子為Z，W為模型的權(quán)重，其中X∈Rbatch×n，Y∈Rbatch×1，W∈Rn×1。

使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行自適應(yīng)波束形成有兩種潛在的解決方案，以下是對這兩種解決方案的分析。

2.2 端到端訓(xùn)練方式

端到端自適應(yīng)波束形成神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架可用如下公式（1）～（4）進(jìn)行表示：

其中w，b分別為神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置，σ為Leaky-Relu激活函數(shù)，為實(shí)際形成的波束信號，L為實(shí)際波束與期望波束的均方誤差函數(shù)。

采用這種模式訓(xùn)練的好處是模型訓(xùn)練簡單，可以直接利用X，Y這種原始的訓(xùn)練樣本，并且在模型部署之后依然可以方便的使用原始樣本進(jìn)行模型更新，實(shí)現(xiàn)模型的在線學(xué)習(xí)。

但是問題在于，對于相同期望信號方向以及干擾方向的X輸入，模型輸出的Z并沒有相似性約束，這就導(dǎo)致模型會將相同期望信號方向和干擾信號方向的不同Y產(chǎn)生不同的權(quán)重因子Z，導(dǎo)致模型過擬合，波束形成效果很差。采用端到端訓(xùn)練模式得到的波形如圖2所示。

圖2 采用端到端方式的深度神經(jīng)網(wǎng)絡(luò)算法和LMS算法的天線方向圖Fig.2 The antenna pattern of end-to-end deep neural network algorithm and LMS algorithm

從圖2中可以看到，在期望信號方向?yàn)?°，干擾信號方向?yàn)楱C50°情況下，LMS算法可以很好的對波束進(jìn)行合成，但是采用端到端的神經(jīng)網(wǎng)絡(luò)模型時，波束形成的期望信號方向不準(zhǔn)確，干擾信號方向也沒有很好的進(jìn)行抑制，因此采用這種模型方式對于波束形成來說并不適用。

如果將端到端訓(xùn)練方式中對Z添加相似性約束的損失函數(shù)，訓(xùn)練框架可用公式（5）～（10）進(jìn)行表示：

但通過對訓(xùn)練結(jié)果進(jìn)行仿真分析發(fā)現(xiàn)，訓(xùn)練難以符合預(yù)期，其原因是添加的相似性約束的損失函數(shù)絕對值相較于Y的損失函數(shù)而言太小，二者的損失函數(shù)占比難以手動設(shè)置，這就導(dǎo)致訓(xùn)練初期Y損失函數(shù)的梯度會迅速覆蓋Z相似性約束的梯度，導(dǎo)致最終結(jié)果依然是傾向于對于每一對相同期望信號方向和干擾信號方向的X、Y提供不同的Z。因此本論文最終不采用端到端訓(xùn)練方式而采取了后文所說的分段訓(xùn)練方式。

2.3 分段訓(xùn)練方式

2.3.1 訓(xùn)練流程

為了解決端到端訓(xùn)練帶來的模型過擬合問題，本論文采用分段訓(xùn)練方法，即首先將相同的期望信號方向、干擾信號方向的數(shù)據(jù)進(jìn)行分組，每一組訓(xùn)練樣本先采用傳統(tǒng)的波束形成算法獲得的期望權(quán)重因子Z向量，然后將Z作為新的訓(xùn)練樣本目標(biāo)，訓(xùn)練框架可用下述公式進(jìn)行表示：

其中，公式（11）表示波束形成算法的原理，公式（12）–（15）表示神經(jīng)網(wǎng)絡(luò)的原理。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中，發(fā)現(xiàn)含有一層和兩層隱藏層的神經(jīng)網(wǎng)絡(luò)無法在訓(xùn)練集中達(dá)到較好的訓(xùn)練誤差，而有三個隱藏層的深度神經(jīng)網(wǎng)絡(luò)能在測試集和訓(xùn)練集中都達(dá)到較好的效果。因此，本論文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)是一個含有三層隱藏層的深度神經(jīng)網(wǎng)絡(luò)，各層神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置分別為w1，b1，w2，b2，w3，b3，w4，b4，w1為一個16×1024的矩陣，w2為一個1024×512的矩陣，w3為一個512×256的矩陣，w4為一個256×16的矩陣，σ為Leaky-ReLU激活函數(shù)。

訓(xùn)練流程如圖3所示。

綜上所述，端到端的訓(xùn)練方式缺點(diǎn)在于，需要顯式的添加同一組期望方向和干擾方向的權(quán)重向量的相似性約束，這會引入一個難以調(diào)節(jié)的超參數(shù)，導(dǎo)致訓(xùn)練難以收斂到帶約束的最優(yōu)解。分段算法相較于端到端的訓(xùn)練方式而言，主要是在訓(xùn)練流程中就隱含了權(quán)重向量相似性的先驗(yàn)知識，相當(dāng)于隱式的為模型添加了結(jié)構(gòu)化先驗(yàn)，使分段訓(xùn)練過程不容易產(chǎn)生過擬合的現(xiàn)象。此外，分段訓(xùn)練避免了手動調(diào)節(jié)超參數(shù)，更便于找到帶約束的最優(yōu)解。

圖3 分段訓(xùn)練流程Fig.3 Segmentation training flow char

2.3.2 Leaky-ReLU激活函數(shù)

訓(xùn)練模型由于是多層神經(jīng)網(wǎng)絡(luò)，有三層隱藏層，因此需要仔細(xì)選取每一層的激活函數(shù)才能獲得較好的結(jié)果。sigmoid，tanh等激活函數(shù)會使得在訓(xùn)練過程中處于飽和狀態(tài)的隱藏層梯度很小，根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t可知，對于靠近輸入的隱藏層，梯度的連乘使得損失函數(shù)對其的導(dǎo)數(shù)非常小，這就導(dǎo)致了梯度消失。為了防止訓(xùn)練過程中梯度消失，深度神經(jīng)網(wǎng)絡(luò)一般不使用sigmoid，tanh這些激活函數(shù)。

ReLU是一種常用的激活函數(shù)，擁有不飽和的激活區(qū)域，并且求導(dǎo)計(jì)算開銷很小。但是ReLU激活函數(shù)依然存在其缺陷，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，如果某個神經(jīng)元在非激活狀態(tài)，ReLU函數(shù)會導(dǎo)致這個神經(jīng)元輸出為0，這在深度學(xué)習(xí)中稱之為神經(jīng)元死亡。神經(jīng)元的死亡會導(dǎo)致該神經(jīng)元梯度無法更新并反向傳播，這種情況在神經(jīng)網(wǎng)絡(luò)訓(xùn)練初期大量出現(xiàn)，并且將會極大影響訓(xùn)練結(jié)果。

因此，本論文采用Leaky-ReLU激活函數(shù)作為隱藏層的輸出[17]，這種激活函數(shù)在神經(jīng)元抑制區(qū)域依然擁有非零的梯度值，使得隱藏層的神經(jīng)元在訓(xùn)練過程中不會大量死亡，可以讓更多的神經(jīng)元得到充分訓(xùn)練，并且Leaky-ReLU也擁有ReLU激活函數(shù)計(jì)算開銷小的優(yōu)點(diǎn)，對于嵌入式系統(tǒng)十分友好。

2.3.3 Adam優(yōu)化算法

由于深度神經(jīng)網(wǎng)絡(luò)是一個非凸優(yōu)化問題，擁有很多的局部極值點(diǎn)以及鞍點(diǎn)，普通的梯度下降算法很容易讓模型陷入局部極值以及鞍點(diǎn)。所以應(yīng)該采用帶動量的一階優(yōu)化算法，以便使算法能夠跳出局部最優(yōu)值以及鞍點(diǎn)，得到更優(yōu)質(zhì)的解。

SGD算法是一種固定學(xué)習(xí)率的經(jīng)典算法[18]，而Momentum方法是一種通過添加動量[19]，提高收斂速度的算法，Adagrad算法讓不同的參數(shù)擁有不同的學(xué)習(xí)率[20]，并且通過引入梯度的平方和作為衰減項(xiàng)，而在訓(xùn)練過程中自動降低學(xué)習(xí)率，AdaDelta算法則對Adagrad算法進(jìn)行改進(jìn)[21]，讓模型在訓(xùn)練后期也能夠有較為合適的學(xué)習(xí)率。Adam方法就是根據(jù)上述思想而提出的[22]，對于每個參數(shù)，其不僅僅有自己的學(xué)習(xí)率，還有自己的Momentum量，這樣在訓(xùn)練的過程中，每個參數(shù)的更新都更加具有獨(dú)立性，提升了模型訓(xùn)練速度和訓(xùn)練的穩(wěn)定性，其公式如下所示[23]：

一般地，ρ1設(shè)置為0.9，ρ2設(shè)置為0.999?？梢钥吹焦剑?6）表示了Momentum算法，公式（17）表示了Adadelta算法，因此Adam算法本質(zhì)上是Momentum算法和Adadelta算法的結(jié)合，通過下述圖4也可以看到這一結(jié)論。

綜上所述，應(yīng)用Adam優(yōu)化算法的自適應(yīng)學(xué)習(xí)率調(diào)節(jié)功能可以使得神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度下降初期更加迅速，后期更加穩(wěn)健，并且不會提前停止；對于收斂性而言，Adam優(yōu)化算法的動量部分能夠使得模型收斂到相較于普通梯度下降算法更優(yōu)的局部最優(yōu)解上，大大提高了模型的性能。

圖4 Adam算法原理Fig.4 Adam algorithm schematic

2.3.4 Dropout在NNBF算法中的應(yīng)用

在訓(xùn)練過程中發(fā)現(xiàn)設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)相較于訓(xùn)練樣本而言是過參數(shù)化的，很容易過擬合。為了降低深度神經(jīng)網(wǎng)絡(luò)過擬合的風(fēng)險(xiǎn)，本論文采用了Dropout方法來進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的正則化。

Dropout算法是一種神經(jīng)網(wǎng)絡(luò)的正則化方法[24]，其功能是防止神經(jīng)網(wǎng)絡(luò)的過擬合。其實(shí)現(xiàn)方式是在訓(xùn)練過程中的某些隱藏層輸出隨機(jī)選一些置為零，相當(dāng)于每次訓(xùn)練都在對當(dāng)前神經(jīng)網(wǎng)絡(luò)進(jìn)行一次剪枝，并訓(xùn)練一個剪枝后的神經(jīng)網(wǎng)絡(luò)。訓(xùn)練完畢之后去掉Dropout層，從而將之前訓(xùn)練的所有子網(wǎng)絡(luò)的輸出進(jìn)行平均，以此達(dá)到更好的預(yù)測結(jié)果。因此圖1神經(jīng)網(wǎng)絡(luò)經(jīng)過Dropout后變?yōu)閳D5。

用公式表示Dropout的原理，即

圖5 神經(jīng)網(wǎng)絡(luò)經(jīng)過Dropout后的結(jié)構(gòu)Fig.5 Structure diagram of neural network after Dropout

其中H代表神經(jīng)元，⊙表示哈達(dá)瑪乘積，Dropout實(shí)現(xiàn)方式是根據(jù)提供的概率p生成一個0,1隨機(jī)向量V，其中0出現(xiàn)的概率是p；然后用p和隱藏層H進(jìn)行逐元素相乘，最后再將結(jié)果向量乘以1/P，從而抑制較少的隱藏層帶來的輸出值變小的后果。經(jīng)過交叉驗(yàn)證，隱含節(jié)點(diǎn)Dropout概率等于0.5的時候效果最好，原因是概率為0.5的時候Dropout隨機(jī)生成的網(wǎng)絡(luò)結(jié)構(gòu)最多。其最直接的作用就是提升模型的泛化能力，提高模型的健壯性和通用性。因此在深度神經(jīng)網(wǎng)絡(luò)模型中一般都會采用Dropout算法對模型進(jìn)行優(yōu)化。

綜上所述，Dropout在訓(xùn)練過程中可以讓神經(jīng)網(wǎng)絡(luò)的多個子神經(jīng)網(wǎng)絡(luò)得到充分訓(xùn)練，并且每個子神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集都不一樣，相當(dāng)于集成學(xué)習(xí)中個體學(xué)習(xí)器準(zhǔn)確性更高，多樣性更好，因此帶Dropout的神經(jīng)網(wǎng)絡(luò)會帶來更好的泛化性能。

通過上述各個流程的操作，深度神經(jīng)網(wǎng)絡(luò)模型的總體原理如圖6所示。

其中，三個隱藏層的神經(jīng)網(wǎng)絡(luò)原理如圖7所示。

綜上所述，NNBF模型可以利用深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大非線性擬合能力以及良好的泛化性能，根據(jù)回波信號直接推斷出波束形成的權(quán)值向量，避免了傳統(tǒng)的LMS算法需要迭代的缺點(diǎn)，大大提高了波束形成的速度。此外，深度神經(jīng)網(wǎng)絡(luò)的性能會隨著訓(xùn)練數(shù)據(jù)的增大而加強(qiáng)，可以通過更多的離線訓(xùn)練來提高波束形成的準(zhǔn)確度，并且不影響實(shí)際使用過程中的推斷速度，解決了傳統(tǒng)LMS算法需要在準(zhǔn)確性和速度之間作權(quán)衡的矛盾。

圖6 模型的總體原理Fig.6 Overall schematic of the model

3 仿真與分析

由于在雷達(dá)系統(tǒng)中模型輸入、輸出、參數(shù)均為復(fù)數(shù)，所以本實(shí)驗(yàn)將數(shù)據(jù)拆分成實(shí)數(shù)域和復(fù)數(shù)域兩部分，分別進(jìn)行算法的實(shí)現(xiàn)。采用這種拆分方法，原復(fù)值函數(shù)計(jì)算每次需要進(jìn)行四次實(shí)數(shù)乘法，三次加減法；但是如果拆分為實(shí)數(shù)域和復(fù)數(shù)域分別計(jì)算，則只需要進(jìn)行兩次實(shí)數(shù)乘法計(jì)算，提高了運(yùn)算速度，節(jié)省了運(yùn)算時間。為了不失一般性，以一維線陣為例進(jìn)行仿真。其中天線陣元數(shù)為16，陣元間距為半波長，信噪比為10dB，干噪比為30dB，取6個不同目標(biāo)方向和干擾方向的6000個訓(xùn)練樣本和60個測試樣本，其來波方向分別為0°，10°，20°，30°，40°，50°，對應(yīng)干擾方向分別為–50°，–40°，–30°，–20°，–10°，0°。此外，在下述仿真中，驗(yàn)證NNBF算法的可行性以及意義時，均采用傳統(tǒng)的LMS算法作為基準(zhǔn)。下述所有仿真圖均基于此條件進(jìn)行仿真分析。

圖8是期望信號方向?yàn)?°、干擾信號方向?yàn)楱C50°、LMS算法和NNBF算法的天線方向圖，可以看到LMS算法和NNBF算法都可以在期望信號方向進(jìn)行很好的波束形成，并且在干擾信號方向都可以進(jìn)行很好的抑制，因此通過上述圖像可以知道NNBF算法有良好的波束形成性能。

圖9是在四個訓(xùn)練數(shù)據(jù)集下采用LMS算法，算法學(xué)習(xí)率為0.0001，統(tǒng)計(jì)每次迭代的均方誤差值。通過LMS算法性能圖可以看到在30步迭代之后，LMS算法依然存在均方誤差超過10的情況。而本論文提出的NNBF算法可以完全替代掉LMS算法的迭代過程，大大提高自適應(yīng)波束形成算法的效率。

圖7 隱藏層的神經(jīng)網(wǎng)絡(luò)原理Fig.7 Hidden layer neural network schematic

圖8 LMS算法和NNBF算法的天線方向圖Fig.8 Antenna pattern of LMS algorithm and NNBF algorithm

圖9 LMS算法性能Fig.9 LMS algorithm performance chart

之后為了驗(yàn)證NNBF算法的泛化性能進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)方法是取6個不同目標(biāo)方向和干擾方向的6000個訓(xùn)練樣本和60個測試樣本，先采用LMS算法將6組數(shù)據(jù)的權(quán)值向量生成出來，然后作為6000個訓(xùn)練樣本的目標(biāo)輸出。然后在6000個訓(xùn)練樣本上訓(xùn)練2000步，此時深度神經(jīng)網(wǎng)絡(luò)的尺寸為：第一層隱藏層神經(jīng)元數(shù)目為1024，第二層隱藏層神經(jīng)元數(shù)目為512，第三層神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)目為512，第四層神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)目為512，每一層Dropout屏蔽掉神經(jīng)元的概率是0.5。圖10是60個測試數(shù)據(jù)上權(quán)重向量的擬合均方誤差，由于本論文采用的深度神經(jīng)網(wǎng)絡(luò)是實(shí)值網(wǎng)絡(luò)，因此對于自適應(yīng)波束形成算法的復(fù)數(shù)值權(quán)重用兩個實(shí)值深度神經(jīng)網(wǎng)絡(luò)來替代，這兩個實(shí)值神經(jīng)網(wǎng)絡(luò)分別擬合權(quán)重矩陣的實(shí)部和虛部。

圖10 NNBF算法的性能Fig.10 Performance graph of NNBF algorithm

從圖10中可以看出，不論是實(shí)部神經(jīng)網(wǎng)絡(luò)還是虛部神經(jīng)網(wǎng)絡(luò)在測試時都有較小的誤差值，說明在測試數(shù)據(jù)集上神經(jīng)網(wǎng)絡(luò)對于沒有見過的數(shù)據(jù)展現(xiàn)出了良好的泛化性能，網(wǎng)絡(luò)確實(shí)可以總結(jié)出輸入的回波信號中所蘊(yùn)含的目標(biāo)信號方向以及干擾信號方向等信息，從而擬合出正確的權(quán)重向量。

但是權(quán)重向量本身的絕對值較小，只是觀測獲取到的權(quán)重向量本身的均方誤差值不足以體現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的算法性能。因此本論文繼續(xù)對比了LMS算法產(chǎn)生的權(quán)重向量以及神經(jīng)網(wǎng)絡(luò)產(chǎn)生的權(quán)重向量在期望信號擬合上的性能。表1展示了在測試集上LMS算法產(chǎn)生的權(quán)重向量，不帶Dropout的深度神經(jīng)網(wǎng)絡(luò)產(chǎn)生的權(quán)重向量以及帶Dropout的深度神經(jīng)網(wǎng)路產(chǎn)生的權(quán)重向量在擬合期望信號時產(chǎn)生的均方誤差。

從表1中可以看出，Dropout機(jī)制確實(shí)有效降低了NNBF的泛化誤差，使得NNBF算法在較少的訓(xùn)練樣本下就達(dá)到了較好的泛化性能。相較于傳統(tǒng)LMS算法而言，NNBF算法的優(yōu)勢是可以通過更大的數(shù)據(jù)規(guī)模進(jìn)一步提升其預(yù)測準(zhǔn)確性。

表1 LMS算法、不帶Dropout的神經(jīng)網(wǎng)絡(luò)和帶Dropout的神經(jīng)網(wǎng)絡(luò)的性能Table 1 Performance of LMS algorithm, neural network without Dropout and neural network with Dropout

在四核Intel-i7 4700HQ CPU，16G內(nèi)存的情況下，使用tensorflow作為實(shí)驗(yàn)平臺，16個陣元，測量方法為測試20次取平均值，傳統(tǒng)LMS算法收斂到誤差為0.01以下的用時和NNBF算法一次前饋計(jì)算的時間如表2所示。

表2 LMS算法和NNBF算法的計(jì)算時間分析Table 2 Calculation time analysis of LMS algorithm and NNBF algorithm

綜上所述，基于深度神經(jīng)網(wǎng)絡(luò)的波束形成算法擁有更高的準(zhǔn)確性和更快的運(yùn)算速度，算法速度提高了7～8倍，節(jié)約了運(yùn)算時間，并且隨著數(shù)據(jù)規(guī)模的提升，NNBF模型的性能將超越現(xiàn)有LMS算法的性能，是一種性能優(yōu)良的算法。

4 結(jié)束語

對于航天導(dǎo)航、飛行器測控、地面通信和新體制雷達(dá)等領(lǐng)域而言，自適應(yīng)波束形成技術(shù)是一種良好的空域抗干擾技術(shù)。本文以LMS算法為根本，利用深度學(xué)習(xí)模型對LMS算法進(jìn)行改進(jìn)，使算法可以在大數(shù)據(jù)的情況下依舊能夠快速穩(wěn)健的進(jìn)行波束形成。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一個新的研究方向，它能夠?qū)W習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和層次表示，因此擁有較好的泛化性能。本論文探究了多種深度學(xué)習(xí)技術(shù)在自適應(yīng)波束形成中的作用，證明了深度學(xué)習(xí)在自適應(yīng)波束形成領(lǐng)域的意義。

NNBF算法采用深度學(xué)習(xí)的相關(guān)技術(shù)，設(shè)計(jì)了自適應(yīng)波束形成的權(quán)重推斷網(wǎng)絡(luò)，并使用Adam優(yōu)化器增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的全局收斂性，然后用Leaky_ReLU激活函數(shù)解決深度神經(jīng)網(wǎng)絡(luò)的梯度消失問題，并利用Dropout方法抑制深度神經(jīng)網(wǎng)絡(luò)的過擬合問題，使得自適應(yīng)波束形成的權(quán)重推斷網(wǎng)絡(luò)在準(zhǔn)確性以及泛化性上均有較好的性能。在同樣的計(jì)算資源下，NNBF算法將LMS算法收斂速度提高了約7倍，并且在未來隨著訓(xùn)練數(shù)據(jù)的增加，權(quán)重推斷網(wǎng)絡(luò)的泛化性能以及準(zhǔn)確性能夠繼續(xù)提高。因此應(yīng)用深度神經(jīng)網(wǎng)絡(luò)改進(jìn)后的自適應(yīng)波束形成算法和傳統(tǒng)的波束形成算法相比擁有更好的性能，具有較大的理論和工程的應(yīng)用價值。