深度神經(jīng)網(wǎng)絡(luò)在無(wú)源定位中的應(yīng)用研究

， ，

(北京無(wú)線電測(cè)量研究所， 北京 100854)

0 引言

對(duì)于無(wú)源定位系統(tǒng)，常見(jiàn)的定位算法有測(cè)向時(shí)差定位、時(shí)差定位、時(shí)差頻差定位等，大多數(shù)定位系統(tǒng)僅僅利用了不多于兩種的測(cè)量信息，同時(shí)由于測(cè)量噪聲的統(tǒng)計(jì)特性不準(zhǔn)確，導(dǎo)致定位精度受到不同程度的影響[1]。

為了加強(qiáng)多源信息融合和定位系統(tǒng)的魯棒性，文獻(xiàn)[2-3]運(yùn)用神經(jīng)網(wǎng)絡(luò)將接收到的信號(hào)強(qiáng)度與接收距離之間的非線性關(guān)系進(jìn)行擬合，然后利用接收距離和位置坐標(biāo)的方程關(guān)系進(jìn)行求解。另外，文獻(xiàn)[4]則將測(cè)量得到的時(shí)差和方向信息輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行修正，然后利用定位算法進(jìn)行求解。這些方法大多被運(yùn)用在室內(nèi)的無(wú)線定位中，空間范圍較小，所使用的神經(jīng)網(wǎng)絡(luò)的層數(shù)也較少。與采用全連接神經(jīng)網(wǎng)絡(luò)不同的是，文獻(xiàn)[5]使用的是徑向基函數(shù)(Radial Basis Function, RBF)神經(jīng)網(wǎng)絡(luò)，場(chǎng)景和測(cè)量參數(shù)也比較簡(jiǎn)單，然而在較為復(fù)雜的環(huán)境中徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)這種淺層結(jié)構(gòu)的建模能力有限，其擬合效果就明顯不如深層的神經(jīng)網(wǎng)絡(luò)[6]。同時(shí)，上述幾乎所有的文獻(xiàn)都沒(méi)有使用相應(yīng)的泛化方法，僅僅用訓(xùn)練時(shí)的樣本點(diǎn)作為測(cè)試，得到的結(jié)果不具有說(shuō)服力。

本文將使用深度神經(jīng)網(wǎng)絡(luò)，將樣本點(diǎn)的多種測(cè)量信息輸入到神經(jīng)網(wǎng)絡(luò)中，通過(guò)改變輸入?yún)?shù)的個(gè)數(shù)和神經(jīng)網(wǎng)絡(luò)的層數(shù)，并且運(yùn)用正則化方法進(jìn)行泛化，找到了最佳的超參數(shù)組合，并且與單層的全連接神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的定位精度進(jìn)行了對(duì)比，仿真實(shí)驗(yàn)證明該深度神經(jīng)網(wǎng)絡(luò)模型可以提高定位精度和魯棒性。

1 時(shí)差定位系統(tǒng)

1.1 模型建立

假設(shè)有3個(gè)雷達(dá)接收站，如圖1所示，每個(gè)雷達(dá)接收站的坐標(biāo)為Si(xi,yi) (i=0, 1, 2)，輻射源的坐標(biāo)為X(x,y)，設(shè)輻射源到每個(gè)雷達(dá)接收站的距離為

Δri=||X-Si||,i=0,1,2

(1)

圖1 三站時(shí)差定位示意圖

每個(gè)雷達(dá)接收站到原點(diǎn)的距離為ri，以算出輻射源到任意兩個(gè)接收站的距離差為

Δrij=Δri-Δrj，i,j=0,1,2,i≠j

(2)

為了便于分析并且不失一般性，以第一個(gè)接收站作為參考，可以得到兩個(gè)互不相關(guān)的距離差：

Δrm0=Δrm-Δr0，m=1,2

(3)

將這些距離差公式組成一個(gè)方程組并進(jìn)行化簡(jiǎn)，可以得到

(x0-xm)x+(y0-ym)y-Δrm0Δr0-

(4)

解方程得到輻射源的位置估計(jì)為

X=(ATA)-1ATF

(5)

式中，

利用式(5)，得到x,y關(guān)于Δr0的等式。

進(jìn)一步根據(jù)式(6)即可算出輻射源的位置：

(6)

1.2 定位精度分析

定位精度一般用GDOP來(lái)表示，也就是定位精度的幾何稀釋度，其表達(dá)式為

(7)

仿真設(shè)置：3個(gè)基站的坐標(biāo)分別為S0(0,0) km，S1(0.5×1.732,0.5) km，S2(-0.5×1.732,0.5) km，時(shí)差均方根誤差為20 ns，基站坐標(biāo)均方根誤差為0.5 m。

GDOP等值線圖如圖2所示。

圖2 GDOP分布圖

2 深度神經(jīng)網(wǎng)絡(luò)定位

2.1 模型提出

神經(jīng)網(wǎng)絡(luò)是在20世紀(jì)提出來(lái)的一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征來(lái)進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。應(yīng)用主要涵蓋在圖像處理、信號(hào)處理、模式識(shí)別、機(jī)器人控制等方面，其主要優(yōu)點(diǎn)有：1)信息分布存儲(chǔ)在網(wǎng)絡(luò)內(nèi)的神經(jīng)元中，具有很強(qiáng)的魯棒性和容錯(cuò)性；2)自學(xué)習(xí)、自組織、自適應(yīng)性使得網(wǎng)絡(luò)可以處理不確定或未知的系統(tǒng)；3)具有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性的信息，能很好地協(xié)調(diào)多種輸入信息關(guān)系，適用于多信息融合和多媒體技術(shù)。

圖3是一個(gè)含有1個(gè)輸入層、1個(gè)隱藏層和1個(gè)輸出層的神經(jīng)網(wǎng)絡(luò)示意圖。其中輸入層的神經(jīng)元有3個(gè)，依次將其編號(hào)為1，2，3；隱藏層的神經(jīng)元有4個(gè)，依次將其編號(hào)為4，5，6，7；輸出層的神經(jīng)元有2個(gè)，依次將其編號(hào)為8，9。另外在輸入層和隱藏層的每一層都有一個(gè)偏置單元，圖中用+1表示。這個(gè)神經(jīng)網(wǎng)絡(luò)為一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)都和上一層的所有節(jié)點(diǎn)有連接。比如隱藏層的節(jié)點(diǎn)4和輸入層的3個(gè)節(jié)點(diǎn)1，2，3都有連接，其連接上的權(quán)重分別為w41，w42，w43。節(jié)點(diǎn)4的輸出值a4的計(jì)算公式為

a4=f(w41x1+w42x2+w43x3+w4b)

(8)

圖3 神經(jīng)網(wǎng)絡(luò)示意圖

式(8)中的w4b為節(jié)點(diǎn)4的偏置項(xiàng)，f為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，選取在深度神經(jīng)網(wǎng)絡(luò)中最常用的修正線性單元(Rectified Linear Unit, ReLU)函數(shù)。

同樣，通過(guò)計(jì)算出節(jié)點(diǎn)5，6，7的輸出值a5，a6，a7，節(jié)點(diǎn)8的輸出值y1的計(jì)算公式為

y1=f(w84a4+w85a5+w86a6+w87a7+w8b)

(9)

圖3所示僅為單隱層的神經(jīng)網(wǎng)絡(luò)，由于其擬合能力有限，因此可以通過(guò)增加隱藏層的個(gè)數(shù)，使其具有更好的表達(dá)能力。

2.2 模型訓(xùn)練

在-10～10 km的方形區(qū)域內(nèi)以均勻分布的概率隨機(jī)選取1 000個(gè)點(diǎn)的坐標(biāo)值(x,y)，然后算出時(shí)差值和方向正切值作為測(cè)量參數(shù)。為了模擬噪聲環(huán)境并與圖2形成對(duì)比；參考1.2節(jié)中的仿真設(shè)置，對(duì)時(shí)差加上均值為0、均方根誤差為20 ns的高斯分布隨機(jī)數(shù)，在方向角度值上加上均值為0、均方根誤差為3 mrad的高斯分布隨機(jī)數(shù)。最后得到無(wú)噪聲和有噪聲各1 000個(gè)樣本點(diǎn)以及其對(duì)應(yīng)的測(cè)量參數(shù)。

運(yùn)用式(10)對(duì)輸入的參數(shù)包括時(shí)差和方向角正切值進(jìn)行歸一化處理：

(10)

式中,μ為樣本均值，σ為樣本數(shù)據(jù)的標(biāo)準(zhǔn)差。

然后將這1 000個(gè)樣本隨機(jī)分為3組：訓(xùn)練樣本組(600個(gè))、交叉驗(yàn)證樣本組(200個(gè))、測(cè)試樣本組(200個(gè))。

損失函數(shù)設(shè)置為均方根誤差(RMSE)：

(11)

式中,x和y分別是樣本中的真實(shí)坐標(biāo)，xoutput和youtput分別是神經(jīng)網(wǎng)絡(luò)的輸出坐標(biāo)值。

然后將經(jīng)過(guò)歸一化處理的測(cè)量參數(shù)輸入到神經(jīng)網(wǎng)絡(luò)中，參數(shù)個(gè)數(shù)依次為5(Δt10，Δt20， tanα0， tanα1， tanα2)，4(Δt10， Δt20， tanα0， tanα1)，3(Δt10,Δt20, tanα0)，2(Δt10， Δt20)。

每個(gè)隱藏層的神經(jīng)元個(gè)數(shù)為100個(gè)，得到訓(xùn)練結(jié)果如圖4和圖5所示。

圖4 無(wú)噪聲訓(xùn)練組RMSE與隱藏層個(gè)數(shù)的關(guān)系

圖5 有噪聲訓(xùn)練組RMSE與隱藏層個(gè)數(shù)的關(guān)系

圖4為無(wú)噪聲訓(xùn)練組樣本的隱藏層個(gè)數(shù)的增多與RMSE的變化關(guān)系曲線，從圖4可以看出，隨著隱藏層個(gè)數(shù)的增多，每條曲線的整體趨勢(shì)是先下降后趨于變化緩慢最后又上升的趨勢(shì)。在無(wú)噪聲的情況下，當(dāng)隱藏層的個(gè)數(shù)過(guò)多時(shí)，神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)不到樣本的特征，甚至?xí)霈F(xiàn)性能下降的情況。并且隨著輸入?yún)?shù)的增多RMSE值在逐漸減小，證明了神經(jīng)網(wǎng)絡(luò)對(duì)多源信息的綜合利用。

圖5為有噪聲訓(xùn)練組樣本的隱藏層個(gè)數(shù)的增多與RMSE的變化關(guān)系曲線，從圖5可以看出，隨著隱藏層個(gè)數(shù)的增多，每條曲線呈現(xiàn)出先下降后趨于變化緩慢最后又上升的趨勢(shì)。說(shuō)明在有噪聲的情況下，當(dāng)隱藏層的個(gè)數(shù)過(guò)多時(shí)，神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)不到樣本的特征，甚至?xí)霈F(xiàn)性能下降的情況。當(dāng)輸入?yún)?shù)個(gè)數(shù)由2個(gè)增加到3個(gè)和4個(gè)的時(shí)候擬合效果沒(méi)有明顯提高，但當(dāng)增加到5個(gè)參數(shù)的時(shí)候，RMSE值有了明顯的下降。

2.3 模型泛化

機(jī)器學(xué)習(xí)中的一個(gè)核心問(wèn)題是設(shè)計(jì)不僅在訓(xùn)練數(shù)據(jù)上表現(xiàn)好，而且能在新輸入上泛化好的算法。在機(jī)器學(xué)習(xí)中，有許多減少測(cè)試誤差的策略，這些策略被統(tǒng)稱為正則化，其以偏差的增加換取方差的減小。深度學(xué)習(xí)中正則化方法主要包括有范數(shù)正則化、提前終止、集成方法和隨機(jī)失活(Dropout)[7]等，其中隨機(jī)失活提供了正則化一大類模型的方法，計(jì)算方便但功能強(qiáng)大，是大量深度神經(jīng)網(wǎng)絡(luò)的實(shí)用集成方法，如文獻(xiàn)[8]集成了6個(gè)神經(jīng)網(wǎng)絡(luò)贏得了ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)。

針對(duì)以上幾種正則化方法進(jìn)行分析。提前終止是通過(guò)觀測(cè)訓(xùn)練集和測(cè)試集數(shù)據(jù)的學(xué)習(xí)曲線進(jìn)行手動(dòng)操作的方法，使用簡(jiǎn)單但是需要大量人為干預(yù)，效果提升有限。文獻(xiàn)[7]顯示，Dropout比范數(shù)正則化方法更有效，它的另一個(gè)優(yōu)點(diǎn)是計(jì)算方便，訓(xùn)練過(guò)程中產(chǎn)生n個(gè)隨機(jī)二進(jìn)制數(shù)與狀態(tài)相乘，每個(gè)樣本每次更新只需O(n)的計(jì)算復(fù)雜度，n代表模型中的神經(jīng)元總個(gè)數(shù)。另外，文獻(xiàn)[9]中將Dropout與其他的集成方法進(jìn)行對(duì)比并得出結(jié)論：相比獨(dú)立模型集成獲得泛化誤差，Dropout會(huì)帶來(lái)額外的改進(jìn)，是對(duì)集成方法的一種近似，計(jì)算復(fù)雜度也較小。

Dropout的另一個(gè)顯著優(yōu)點(diǎn)是具有廣泛的適用性，幾乎在所有分布式表示且可以用隨機(jī)梯度下降訓(xùn)練的模型以及各種場(chǎng)景中都表現(xiàn)很好。例如文獻(xiàn)[10]將其運(yùn)用在貝葉斯神經(jīng)網(wǎng)絡(luò)中，文獻(xiàn)[11]討論了在循環(huán)神經(jīng)網(wǎng)絡(luò)中的使用情況，文獻(xiàn)[12]研究了Dropout在長(zhǎng)短期記憶網(wǎng)絡(luò)中的應(yīng)用。

無(wú)源定位通過(guò)對(duì)測(cè)量參數(shù)的運(yùn)算得到目標(biāo)的位置，其實(shí)質(zhì)是一個(gè)在特定場(chǎng)景下將參數(shù)作為輸入、將位置坐標(biāo)作為輸出的一個(gè)映射系統(tǒng)，又因?yàn)樯衔闹刑岬降腄ropout的各種優(yōu)勢(shì)，因此本文選擇Dropout作為正則化方法來(lái)提高深度神經(jīng)網(wǎng)絡(luò)的泛化性能。

根據(jù)圖4無(wú)噪聲訓(xùn)練組中輸入?yún)?shù)為5個(gè)的情況，當(dāng)隱藏層個(gè)數(shù)在1～4時(shí)，RMSE的值都在減小，而在4～10個(gè)隱藏層時(shí)，RMSE的值存在波動(dòng)，因此將4～10作為隱藏層個(gè)數(shù)的備選值。另一方面，隨機(jī)失活率是一個(gè)0～1的概率數(shù)字，過(guò)大或過(guò)小都會(huì)反而令測(cè)試集的誤差升高，嘗試將0～0.4作為隨機(jī)失活率這一維度的備選值，得到的驗(yàn)證組(200個(gè))的RMSE變化曲線如圖6所示。

圖6 驗(yàn)證組RMSE與Dropout值的關(guān)系

從圖6可以看出，采用隨機(jī)失活減少了驗(yàn)證組的RMSE，各曲線的變化趨勢(shì)為先下降后波動(dòng)最后上升，圖中波動(dòng)部分的最低處即為最優(yōu)的參數(shù)選擇，即當(dāng)隱藏層數(shù)為9層、Dropout值為0.02時(shí)，驗(yàn)證組的RMSE數(shù)值最小，為0.6 km。

同理，對(duì)于有噪聲和無(wú)噪聲情況下不同的參數(shù)個(gè)數(shù)，采用二維搜索，都會(huì)得到類似圖6的結(jié)果，此處不再一一展示，選取圖像最低點(diǎn)處作為各自網(wǎng)絡(luò)模型的最優(yōu)超參數(shù)取值，如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)最優(yōu)隱藏層數(shù)和Dropout值選擇

3 仿真分析

3.1 測(cè)試組仿真分析

從表1中得到神經(jīng)網(wǎng)絡(luò)的最優(yōu)超參數(shù)取值，將有噪聲和無(wú)噪聲測(cè)試組的200個(gè)樣本點(diǎn)分別輸入到對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)中，得到圖7中測(cè)試組的RMSE圖像。從圖中可以看出，不管是有噪聲組還是無(wú)噪聲組，隨著測(cè)量參數(shù)個(gè)數(shù)的增多RMSE值都在降低，證明了神經(jīng)網(wǎng)絡(luò)對(duì)于多源信息的綜合利用。

另外可以計(jì)算出在有噪聲情況下，測(cè)試組的樣本點(diǎn)利用1.1節(jié)中的方程方法得到的RMSE值為62.03 km。圖7顯示有噪聲測(cè)試組中誤差的最小和最大值分別為1.52 km和1.65 km，分別對(duì)應(yīng)5個(gè)和2個(gè)測(cè)量參數(shù)。

得到結(jié)論：使用特定場(chǎng)景下的定位數(shù)據(jù)訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)定位模型，相比于超短基線(如1.2節(jié)中雷達(dá)間距為1 km)無(wú)源雷達(dá)定位系統(tǒng)，在此場(chǎng)景下其定位精度可以提高37.70～40.69倍。

圖7 測(cè)試組RMSE與參數(shù)個(gè)數(shù)的關(guān)系

3.2 對(duì)比仿真

分別使用單隱層的全連接神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)有噪聲組樣本進(jìn)行建模，并用測(cè)試組樣本算出每種方法的RMSE值，最終得到如表2所示的對(duì)比結(jié)果。

表2 不同方法的RMSE值對(duì)比 km

從表2可以看出，淺層的網(wǎng)絡(luò)結(jié)構(gòu)建模能力有限，在處理大量有噪聲的信號(hào)樣本時(shí)，本文提出的深度神經(jīng)網(wǎng)絡(luò)模型具有更好的定位精度和多源信息融合能力。

3.3 模型擴(kuò)展仿真分析

表1中有噪聲一欄的超參數(shù)組合是用時(shí)差噪聲均方根為20 ns的樣本訓(xùn)練出來(lái)的，將這些樣本的時(shí)差噪聲均方根改變，然后輸入到此時(shí)已經(jīng)確定超參數(shù)的神經(jīng)網(wǎng)絡(luò)中，得到如圖8和圖9所示的結(jié)果。

圖8 在不同時(shí)差噪聲均方根取值的情況下RMSE與參數(shù)個(gè)數(shù)的關(guān)系

從圖8可以看出，雖然神經(jīng)網(wǎng)絡(luò)是用噪聲均方根為20 ns的樣本訓(xùn)練出來(lái)的，但也基本適用于不同噪聲均方根取值的樣本，其RMSE值不超過(guò)2.3 km，說(shuō)明神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的不僅是具體的數(shù)值，更是對(duì)噪聲分布的修正。

圖9 在不同參數(shù)個(gè)數(shù)的情況下RMSE與不同時(shí)差噪聲均方根取值的關(guān)系

從圖9可以看出，對(duì)于每條曲線，其趨勢(shì)基本上是從20 ns最低處向兩側(cè)進(jìn)行延伸升高，說(shuō)明訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的噪聲參數(shù)取值越接近，其定位精度越高。

4 結(jié)束語(yǔ)

本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的無(wú)源定位方法，采用大量樣本數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)式學(xué)習(xí)，以此來(lái)替代方程解算這一規(guī)則式的定位方法。在離線階段，通過(guò)訓(xùn)練數(shù)據(jù)和交叉驗(yàn)證數(shù)據(jù)得到深度神經(jīng)網(wǎng)絡(luò)的模型參數(shù)。在定位階段，使用帶噪聲的不同數(shù)量的測(cè)量信息進(jìn)行定位。仿真實(shí)驗(yàn)結(jié)果表明，該算法可以對(duì)多源信息進(jìn)行綜合利用，在噪聲統(tǒng)計(jì)特性未知的情況下得到更好的定位精度，對(duì)特定場(chǎng)景下的超短基線無(wú)源雷達(dá)定位情況尤其適用。

該方法的主要缺點(diǎn)是需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，誤差分布隨機(jī)性較大，需要和方程定位方法綜合使用。