海雜波背景下小目標(biāo)檢測(cè)的深度信念網(wǎng)絡(luò)方法

馮 亮

海雜波背景下小目標(biāo)檢測(cè)的深度信念網(wǎng)絡(luò)方法

馮 亮

(浙江師范大學(xué) 數(shù)理與信息工程學(xué)院，浙江 金華 321004)

結(jié)合深度學(xué)習(xí)相關(guān)理論，提出了海雜波背景下小目標(biāo)檢測(cè)的深度信念網(wǎng)絡(luò)方法。該方法以無標(biāo)簽數(shù)據(jù)逐層進(jìn)行非監(jiān)督貪婪訓(xùn)練，使每層得到一個(gè)合適的初始值；構(gòu)建深度信念網(wǎng)絡(luò)初步模型，并以帶標(biāo)簽的數(shù)據(jù)對(duì)該種模型以誤差反向算法對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu)，建立預(yù)測(cè)模型；最后利用該種預(yù)測(cè)模型檢測(cè)湮沒在海雜波背景下的小目標(biāo)信號(hào)。以加拿大McMaster實(shí)測(cè)的IPIX雷達(dá)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，利用均方根誤差評(píng)價(jià)性能。實(shí)驗(yàn)結(jié)果表明，針對(duì)第54#海雜波數(shù)據(jù)，文章提出的深度信念網(wǎng)絡(luò)方法所預(yù)測(cè)的均方根誤差為0.016，與已有的選擇性支持向量機(jī)集成方法均方根誤差0.026 4和K均值-有效極限學(xué)習(xí)機(jī)所得的均方根誤差0.042 8相比，預(yù)測(cè)精度有所提高。

深度信念網(wǎng)絡(luò)；海雜波；小目標(biāo)檢測(cè)

0 引言

海雜波[1]通常是指海洋表面的雷達(dá)后向散射回波，具有混沌特性[2]，利用該特性能有效檢測(cè)雷達(dá)回波是否含有目標(biāo)信號(hào)。海雜波背景下小目標(biāo)檢測(cè)對(duì)提高海面監(jiān)測(cè)水平有重大意義。1995年，Haykin和Li[3]結(jié)合混沌背景的先驗(yàn)知識(shí)，利用神經(jīng)網(wǎng)絡(luò)構(gòu)建了非線性預(yù)測(cè)模型，從預(yù)測(cè)誤差中檢測(cè)到了目標(biāo)信號(hào);2003年，Lopez-Risueno等[4]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的高復(fù)雜度和非平穩(wěn)雜波環(huán)境下的目標(biāo)檢測(cè)算法；2008年，Carretero-Moya等[5]提出了一種海雜波背景下基于radon變換的小目標(biāo)檢測(cè)方法。在國內(nèi)，文獻(xiàn)[6]基于經(jīng)驗(yàn)?zāi)B(tài)分解理論, 提出了一種基于粒子群算法的支持向量機(jī)預(yù)測(cè)方法，從海雜波中檢測(cè)出具有諧波特性的微弱信號(hào);文獻(xiàn)[7]提出了一種基于分形布朗運(yùn)動(dòng)模型的S波段雷達(dá)海雜波分形維數(shù)提取方法；文獻(xiàn)[8]基于在復(fù)雜混沌噪聲背景中快速準(zhǔn)確提取有用信號(hào)，提出基于復(fù)雜非線性系統(tǒng)相空間重構(gòu)理論，采用改進(jìn)極限學(xué)習(xí)機(jī)(ELM)預(yù)測(cè)單步誤差檢測(cè)微弱信號(hào)的方法；文獻(xiàn)[9]基于復(fù)雜非線性系統(tǒng)相空間重構(gòu)理論, 提出了一種混沌背景中微弱信號(hào)檢測(cè)的選擇性支持向量機(jī)集成的方法。

圖1 兩層RBM組成的DBN模型

1 深度信念網(wǎng)絡(luò)原理

深度信念網(wǎng)絡(luò)(Deep Belief Nets，DBN)[10]是2006年Hinton提出的一種由多層受限玻爾茨曼機(jī)(Restricted Boltzmann Machine，RBM)單元概率生成模型，其參數(shù)通過預(yù)訓(xùn)練和微調(diào)訓(xùn)練兩個(gè)過程來確定。DBN由多個(gè)RBM堆疊而成，兩層RBM組成的DBN模型結(jié)構(gòu)如圖1所示。

DBN中的RBM是一種由可視層v和隱含層h兩部分神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)，每層有若干節(jié)點(diǎn)，層內(nèi)的節(jié)點(diǎn)之間沒有連接，v與h之間的權(quán)值生成采用非監(jiān)督貪婪逐層方法。RBM在訓(xùn)練過程中，可視單元向量值映射給隱層單元，然后隱層單元重構(gòu)可視單元，重構(gòu)后的可視單元再次映射給隱層單元，繼而獲得新的隱層單元。假設(shè)v有n個(gè)可視單元，h有m個(gè)隱層單元，則v和h的聯(lián)合組態(tài)能量函數(shù)定義為:

E(v,h;θ)

(1)

其中，vi表示第i個(gè)可視單元的狀態(tài)，hj表示第j個(gè)隱層單元的狀態(tài)；θ=(wij,ai,bj)是RBM模型中的3個(gè)參數(shù)：wij表示可視層節(jié)點(diǎn)i與隱含層節(jié)點(diǎn)j之間的連接權(quán)重，ai表示可視單元i的偏置，bj表示隱層單元j的偏置。基于能量函數(shù)，可以得到(v,h)的聯(lián)合概率分布：

(2)

其中，RBM的分配函數(shù)為Z(θ)=∑v,he-E(v,h|θ)，條件概率分布為：

(3)

(4)

RBM訓(xùn)練的目的在于求出參數(shù)θ=(w,a,b)的值，以此來擬合給定的訓(xùn)練數(shù)據(jù)。假設(shè)樣本數(shù)目為T，參數(shù)θ可以通過最大化參數(shù)似然函數(shù)得到，即:

(5)

采用Hinton提出的對(duì)比散度(ContrastiveDivergence，CD)算法，可求得各參數(shù)的更新準(zhǔn)則：

Δwij=η(〈vihj〉data-〈vihj〉recon)

(6)

Δai=η(〈vi〉data-〈vi〉recon)

(7)

Δbj=η(〈hj〉data-〈hj〉recon)

(8)

其中，η為預(yù)訓(xùn)練的學(xué)習(xí)率，〈·〉data為訓(xùn)練數(shù)據(jù)集所定義的分布上的數(shù)學(xué)期望，〈·〉rencon為重構(gòu)后模型所定義的分布上的期望。

訓(xùn)練RBM的CD算法步驟如下：

(1)初始化可視層單元，可視單元數(shù)為n，隱層單元數(shù)為m。令v0=x0，w、a、b為服從高斯分布的隨機(jī)較小數(shù)值，學(xué)習(xí)率為η，設(shè)最大迭代次數(shù)為K。

(5)按如下規(guī)則更新參數(shù)：

a←a+η(v0-v1)

b←b+η(P(h0=1|v0)-P(h1=1|v1))

(6)重復(fù)步驟(2)～(5)，直到達(dá)到最大迭代次數(shù)K，該層RBM訓(xùn)練完成。

非監(jiān)督的預(yù)訓(xùn)練完成之后，每層RBM可以調(diào)整到一個(gè)合適的初始值，然后通過自底向上組合多個(gè)RBM，可以構(gòu)建一個(gè)DBN初步框架，接下來利用BP算法對(duì)整個(gè)網(wǎng)絡(luò)有監(jiān)督地進(jìn)行調(diào)優(yōu)，進(jìn)一步優(yōu)化網(wǎng)絡(luò)各層的參數(shù)，使網(wǎng)絡(luò)性能更優(yōu)。

值得注意的是，在DBN的調(diào)優(yōu)過程中，利用RBM的權(quán)值初始化BP神經(jīng)網(wǎng)絡(luò)各層的權(quán)值，而不像傳統(tǒng)神經(jīng)網(wǎng)絡(luò)隨機(jī)初始化。

總之，DBN的建立過程可簡單地歸納為兩步：

(1)非監(jiān)督貪婪逐層訓(xùn)練：基于對(duì)比散度CD算法，依據(jù)求得的參數(shù)更新準(zhǔn)則，依照能量最小逐層訓(xùn)練每個(gè)RBM，獲取可視層與隱含層之間的連接權(quán)值。

(2)有監(jiān)督微調(diào)：基于第一步RBM訓(xùn)練之后，DBN模型利用帶標(biāo)簽的數(shù)據(jù)誤差反向傳播算法(BP)對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu)。

2 DBN小目標(biāo)檢測(cè)

為了驗(yàn)證本文提出的DBN檢測(cè)方法的有效性，對(duì)海雜波數(shù)據(jù)進(jìn)行建模預(yù)測(cè)，研究DBN模在海雜波背景下小目標(biāo)檢測(cè)的精度，利用均方根誤差作為評(píng)價(jià)指標(biāo)。

本文采用的海雜波數(shù)據(jù)是加拿大McMaster大學(xué)的IPIX雷達(dá)實(shí)測(cè)海雜波數(shù)據(jù)。該雷達(dá)發(fā)射頻率為9.39 GHz，天線高度30 m，極化方式分為HH、VV、HV 和VH，每個(gè)回波數(shù)據(jù)包含131 072個(gè)采樣點(diǎn)，共包含16個(gè)距離單元，天線增益為45.7 dB。本文采用的是雷達(dá)數(shù)據(jù)集的第17#及54#海雜波數(shù)據(jù)。其中分別選取17#海雜波的第一距離單元(不含目標(biāo))和第九距離單元(含目標(biāo))，數(shù)據(jù)采樣VV極化方式的2 500個(gè)點(diǎn)，前1 700個(gè)采樣點(diǎn)作為訓(xùn)練樣本，后800個(gè)作為驗(yàn)證集。同樣，分別選取54#海雜波的第一距離單元(不含目標(biāo))和第八距離單元(含目標(biāo))，數(shù)據(jù)采樣VV極化方式的2 500個(gè)點(diǎn)，前1 700個(gè)采樣點(diǎn)作為訓(xùn)練樣本，后800個(gè)作為驗(yàn)證集。程序在MATLAB2012b版本上運(yùn)行。erri為預(yù)測(cè)值與實(shí)際值的偏差，均方根誤差作為評(píng)價(jià)指標(biāo)：

(9)

設(shè)置RBM訓(xùn)練最大迭代次數(shù)為1 000，BP微調(diào)時(shí)最大迭代次數(shù)也為1 000，DBN隱層數(shù)量(即RBM層數(shù))為單層，隱層的神經(jīng)元數(shù)量(即隱層節(jié)點(diǎn))為20。建立DBN模型，用DBN進(jìn)行單步預(yù)測(cè)，經(jīng)計(jì)算17#第一距離單元的RMSE為0.012 4，第九距離單元RMSE為0.022 1。如圖2所示。比較圖2(b)和(c)，第九距離單元(含目標(biāo))的預(yù)測(cè)誤差中存在明顯尖峰，而第一距離單元(不含目標(biāo))的預(yù)測(cè)誤差則相對(duì)光滑。則可以證明DBN模型能檢測(cè)湮沒在海雜波背景下的小目標(biāo)信號(hào)。

圖2 17#數(shù)據(jù)海雜波單元預(yù)測(cè)結(jié)果

圖3 54#數(shù)據(jù)海雜波單元預(yù)測(cè)結(jié)果

同理，選取54#海雜波的第一距離單元和第八距離單元數(shù)據(jù)再次進(jìn)行驗(yàn)證，得到第一距離單元的RMSE為0.012 4，第八距離單元的RMSE為0.025 9，如圖3所示。且從圖3(b)中可直觀地發(fā)現(xiàn)預(yù)測(cè)誤差出現(xiàn)明顯峰值。兩組數(shù)據(jù)實(shí)驗(yàn)，將目標(biāo)信號(hào)與不含目標(biāo)信號(hào)的距離單元進(jìn)行對(duì)比，都能從圖中看出預(yù)測(cè)誤差出現(xiàn)明顯的峰值，這說明DBN模型能夠有效地檢測(cè)出湮沒在海雜波中的小目標(biāo)信號(hào)。

上述實(shí)驗(yàn)RBM層數(shù)為單層，隱層節(jié)點(diǎn)為20，接下來討論RBM層數(shù)和隱層節(jié)點(diǎn)對(duì)檢測(cè)結(jié)果的影響，RMSE均方根誤差作為評(píng)價(jià)指標(biāo)。從表1可以看出，當(dāng)RBM層數(shù)逐步增加時(shí)，DBN模型的預(yù)測(cè)精度逐步減??；當(dāng)隱層節(jié)點(diǎn)為20，隱層數(shù)量為1層時(shí)，17#數(shù)據(jù)集和54#數(shù)據(jù)集的預(yù)測(cè)精度最高，即更容易在海雜波背景中檢測(cè)出目標(biāo)信號(hào)；而DBN模型在RBM層數(shù)多于2層時(shí)，其預(yù)測(cè)誤差的精度則大大降低。

表1 DBN隱層數(shù)量及隱層節(jié)點(diǎn)參數(shù)

較之傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法，DBN模型預(yù)測(cè)方法克服了傳統(tǒng)BP算法需要大量含標(biāo)簽的訓(xùn)練集樣本、收斂速度慢、容易陷入局部最優(yōu)等缺陷，DBN模型能檢測(cè)出湮沒在海雜波背景下的小目標(biāo)信號(hào)。與文獻(xiàn)[8]中所提到的有效K均值-有效極限學(xué)習(xí)機(jī)所得的RMSE相比，其選取的第54#的第八距離單元的RMSE為0.042 8，本文所提出的DBN方法所得結(jié)果優(yōu)于該方法，均能有效地提高預(yù)測(cè)的精度；與文獻(xiàn)[9]中所提到的選擇性支持向量機(jī)集成的方法相比，其54#的第八距離單元的RMSE為0.026 4，本文所提出的DBN方法預(yù)測(cè)的RMSE相差不大。

3 結(jié)論

本文利用海雜波的混沌特性，結(jié)合深度學(xué)習(xí)相關(guān)理論，提出了在海雜波背景下的小目標(biāo)檢測(cè)方法，用DBN模型檢測(cè)出湮沒在海雜波背景下的小目標(biāo)信號(hào)。在海雜波背景下，DBN模型能有效地檢測(cè)到小目標(biāo)信號(hào)，與文獻(xiàn)[8]、[9]所述方法相比，DBN模型的檢測(cè)效果更好，有更低的預(yù)測(cè)誤差。

[1] 行鴻彥, 朱清清, 徐偉. 一種混沌海雜波背景下的微弱信號(hào)檢測(cè)方法[J]. 物理學(xué)報(bào), 2014, 63(10):41-47.

[2] 朱艷平. 各種混沌系統(tǒng)性能比較研究[J]. 微型機(jī)與應(yīng)用, 2016, 35(12):4-6.

[3] HAYKIN S, LI X B. Detection of signals in chaos[J]. Proceedings of the IEEE, 1995, 83(1):95-122.

[4] LOPEZ-RISUENO G, GRAJAL J, DIAZ-OLIVER R. Target detection in sea clutter using convolutional neural networks[C]. Proceedings of the Radar Conference, 2003. IEEE, 2003:321-328.

[5] CARRETERO-MOYA J, GISMERO-MENOYO J, ASENSIO-LOPEZ A, et al. Small-target detection in sea clutter based on the radon transform[C]. International Conference on Radar, 2008:610- 615.

[6] 行鴻彥, 張強(qiáng), 徐偉. 混沌海雜波背景下的微弱信號(hào)檢測(cè)混合算法[J]. 物理學(xué)報(bào), 2015,64(4):48-54.

[7] 姜斌, 王宏強(qiáng), 黎湘,等. 海雜波背景下的目標(biāo)檢測(cè)新方法[J]. 物理學(xué)報(bào), 2006, 55(8):3985-3991.

[8] 商慶健, 張金敏, 王廳長. 基于有效K均值-有效極限學(xué)習(xí)機(jī)的混沌海雜波背景中微弱信號(hào)檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(3):896-900.

[9] 行鴻彥, 祁崢東, 徐偉. 基于選擇性支持向量機(jī)集成的海雜波背景中的微弱信號(hào)檢測(cè)[J]. 物理學(xué)報(bào), 2012, 61(24):82-87.

[10] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets.[J]. Neural Computation, 2006, 18(7):1527-1554.

Small target detection in the background of sea clutter using deep belief networks

Feng Liang

(College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua 321004, China)

With the deep learning theory, the paper puts forward a kind of small target detection method by using deep belief network in the background of sea clutter. The method is based on unsupervised greedy training of the unlabeled data layer, so that each layer has a suitable initial value; then a deep belief network initial model is built, parameters of the whole network are optimized through the labeled data for the models with error back-propagation algorithm, to establish a prediction model; the prediction models can detect the small target signal which buried in sea clutter. An experiment with IPIX radar data measured by McMaster Canada is carried out to evaluate the performance of the method. The experimental results show that for the 54# sea clutter data, compared to the root mean square error of the selective support vector machine integrated method which is 0.0264 and the root mean square error of the K-means clustering effective extreme learning machine which is 0.0428, the prediction accuracy is improved. The method can achieve the small target detection under different sea conditions effectively.

deep belief networks; sea clutter; small target detection

TP393.1

A

10.19358/j.issn.1674- 7720.2017.07.016

馮亮.海雜波背景下小目標(biāo)檢測(cè)的深度信念網(wǎng)絡(luò)方法[J].微型機(jī)與應(yīng)用，2017,36(7)：53-55，66.

2016-12-02)

馮亮(1990-)，通信作者，男，碩士研究生，主要研究方向：人工智能及模式識(shí)別。E-mail:540274997@qq.com。