基于深度自編碼網(wǎng)絡(luò)的艦船輻射噪聲分類識別

嚴(yán)韶光，康春玉，夏志軍，李昆鵬

(1. 海軍大連艦艇學(xué)院 研究生隊(duì)，遼寧 大連 116018；2. 海軍大連艦艇學(xué)院 水武與防化系，遼寧 大連 116018)

0 引 言

水下被動目標(biāo)的自動識別對于提高裝備智能化程度有著重要意義，也是國內(nèi)外水聲領(lǐng)域的研究重點(diǎn)和難點(diǎn)。依靠艦船輻射噪聲來解決目標(biāo)分類識別問題是主要途徑，近些年來陸續(xù)提出了一些新的解決方法，如提取連續(xù)譜特征，使用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)分類器完成目標(biāo)分類識別[1]；將免疫算法[2]（Artificial immune algorithm，AIA）與支持向量機(jī)[3]（Support vector machine，SVM）結(jié)合，不斷選擇適應(yīng)度最高的SVM作為分類器[4]；運(yùn)用最小均方無失真響應(yīng)（Minimu Variance Distortionless Response，MVDR）譜系數(shù)[5]作為特征參數(shù)，使用多分類支持向量機(jī)作為分類器等方法[6]，但識別效果仍然有待提高。

2006 年，Hinton 提出的深度學(xué)習(xí)[7–9]（Deep Learning，DL）直接掀起了人工智能又一輪研究熱潮[10]，且在語音識別[11–12]、圖像識別[13–14]等模式識別領(lǐng)域取得了巨大的成功。但其在被動聲吶目標(biāo)識別這一模式識別領(lǐng)域的研究尚處于起步階段。深度學(xué)習(xí)通過模擬人類大腦識別信息的過程，有意識的過濾無關(guān)信息，再從中逐層深入提取特征并據(jù)此完成分類識別。深度自編碼器[15]（Stacked Autoencoders，SAE）作為深度學(xué)習(xí)中的一種無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，相比較線性的分類識別方法，SAE中的各層自編碼器進(jìn)行編碼和解碼的訓(xùn)練采用了非線性激活函數(shù)，它能夠提取更充分的特征用于分類識別。相對于淺層神經(jīng)網(wǎng)絡(luò)而言，SAE能提取輸入數(shù)據(jù)中最具代表性的深層特征來高效地完成目標(biāo)的分類識別[16]。

本文在提取艦船輻射噪聲Welch功率譜特征的基礎(chǔ)上，提出了基于SAE的目標(biāo)分類識別方法。首先通過深度自編碼網(wǎng)絡(luò)獲得深層特征，然后在輸出層使用softmax函對深層特征進(jìn)行分類識別。并與文獻(xiàn)[17]中搭建的BP神經(jīng)網(wǎng)絡(luò)（NN）分類器進(jìn)行性能對比，通過對比實(shí)驗(yàn)結(jié)果證明了SAE分類器的優(yōu)越性。

1 深度自編碼網(wǎng)絡(luò)

1.1 自編碼器

深度自編碼網(wǎng)絡(luò)的結(jié)構(gòu)基礎(chǔ)是自編碼器（Autoencoder，AE）。每個AE包含輸入層、隱含層、輸出層，由輸入層向前傳播到隱含層的過程成為編碼，由隱含層向前傳播到輸出層的過程成為解碼，如圖1所示。

圖 1 自編碼器Fig. 1 Autoencoder

AE權(quán)重的更新可采用隨機(jī)梯度下降算法，權(quán)值更新公式如下式：

1.2 深度自編碼

為了獲取輸入的深層低維特征，基于上述AE，采用堆棧的方式來構(gòu)建深度自編碼網(wǎng)絡(luò)[18]。首先，按照AE的訓(xùn)練方式，使用輸入層訓(xùn)練第1個隱含層的參數(shù)和，見圖2，訓(xùn)練完成后只保留的編碼階段。

圖 2 訓(xùn)練第1個隱含層Fig. 2 Training the first hidden laye

圖 3 訓(xùn)練第2個隱含層Fig. 3 Training the second hidden layer

這樣每一隱含層都可以充分的包含原始信號的信息[14]，通過這種“堆?！狈绞酵瓿芍饘臃潜O(jiān)督預(yù)訓(xùn)練就構(gòu)建了深度自編碼網(wǎng)絡(luò)[19]。整個SAE訓(xùn)練完成后，接入softmax分類器完成分類任務(wù)，如圖4所示。

圖 4 SAE結(jié)構(gòu)圖Fig. 4 The System structure diagram of SAE

但由深度自編碼訓(xùn)練好的權(quán)重直接堆疊構(gòu)成的網(wǎng)絡(luò)較為粗糙，需要使用有監(jiān)督的方法對權(quán)重等參數(shù)進(jìn)行微調(diào)，從而加強(qiáng)整體層級之間連接的緊密性以及反饋調(diào)節(jié)的連續(xù)性，保證網(wǎng)絡(luò)處于最優(yōu)狀態(tài)，所以將輸出分類結(jié)果和目標(biāo)類別標(biāo)記進(jìn)行對比，利用反向傳播算法對全局參數(shù)進(jìn)行有監(jiān)督調(diào)試。對所有輸入樣本個數(shù)求平均錯誤得到損失函數(shù)，如下式：

在后續(xù)分析中，損失函數(shù)選擇經(jīng)典平方損失函數(shù)

2 艦船輻射噪聲分類識別

2.1 分類識別系統(tǒng)框架

本文提出如圖5所示的基于SAE的艦船輻射噪聲分類識別框架。首先使用Welch功率譜估計(jì)方法對經(jīng)過預(yù)處理的艦船輻射噪聲信號提取功率譜特征，然后進(jìn)行歸一化得到樣本特征庫。將樣本特征庫分為訓(xùn)練樣本集和測試樣本集，并對訓(xùn)練樣本集進(jìn)行優(yōu)化處理，得到新的訓(xùn)練樣本集。使用新的訓(xùn)練樣本集構(gòu)建和優(yōu)化SAE分類器，搭建好SAE分類器后，用測試樣本對SAE分類器的效果進(jìn)行檢驗(yàn)。

2.2 訓(xùn)練樣本集和測試樣本集

圖 5 基于SAE的艦船輻射噪聲分類識別框架Fig. 5 The classification and recognition framework of ship radiant noise based on SAE

全部輻射噪聲樣本是在不同工況和水文氣象條件下，實(shí)際錄制的3類海上目標(biāo)（分別用Ⅰ，Ⅱ和Ⅲ表示）的艦船輻射噪聲。采樣頻率25 kHz，每個樣本長度為6.553 6 s。對所有的4 506個樣本集（共146艘不同工況艦船）采用文獻(xiàn)[20]的方法估計(jì)得到513維的Welch譜特征向量。并將整個樣本集分為訓(xùn)練樣本集和測試樣本集，其中訓(xùn)練樣本和測試樣本的選取方法如圖6所示，相當(dāng)于每間隔65.536 s選取一個樣本進(jìn)行訓(xùn)練，然后取這2個訓(xùn)練樣本的中間樣本作為測試樣本。由此得到訓(xùn)練樣本集和測試樣本集各類樣本數(shù)量如表1所示。

圖 6 訓(xùn)練樣本集和測試樣本集選取方法Fig. 6 The selection method of training sample set and test sample set

表 1 訓(xùn)練樣本集和測試樣本集各類樣本數(shù)量Tab. 1 The number of different training sample sets and test sample sets

可以看出，原始訓(xùn)練樣本集中各類樣本在數(shù)量上存在較大差異。其中第Ⅱ類的樣本數(shù)量最多，意味著原始訓(xùn)練集中第Ⅱ類樣本不僅在數(shù)量上占有優(yōu)勢性而且更具有多樣性。因此原始訓(xùn)練集訓(xùn)練下的SAE分類器對于第Ⅱ類樣本會得到最充分的訓(xùn)練，因而在目標(biāo)分類識別時(shí)會集中識別第Ⅱ類樣本[21]。針對這種情況，本文提出一種順次重復(fù)處于劣勢樣本的優(yōu)化方法，即增加第Ⅰ類和第Ⅲ類樣本數(shù)量，使每類樣本數(shù)量基本處于均衡狀態(tài)。具體步驟如下：

步驟1 根據(jù)訓(xùn)練樣本集中每類樣本的總數(shù)，得到訓(xùn)練樣本數(shù)量最多一類的樣本個數(shù)，如式（7）所示，其中表示原始訓(xùn)練樣本集中第類樣本的個數(shù)，表示訓(xùn)練樣本中數(shù)量最多的一類樣本的個數(shù)，即第Ⅱ類樣本的個數(shù)。

步驟3 根據(jù)步驟2獲得的重復(fù)次數(shù)對原始訓(xùn)練集中各類樣本進(jìn)行重復(fù)。如圖7所示，原始訓(xùn)練樣本集的三類樣本和重復(fù)后獲得的新訓(xùn)練樣本集中的三類樣本，分別用和表示。

圖 7 新訓(xùn)練樣本集Fig. 7 The new training sample set

通過上述步驟對訓(xùn)練樣本集進(jìn)行優(yōu)化處理后，訓(xùn)練樣本集中各類樣本數(shù)量如表2所示。

表 2 訓(xùn)練樣本集中各類樣本數(shù)量Tab. 2 The number of samples in the training sample

2.3 SAE網(wǎng)絡(luò)結(jié)構(gòu)

為了從輸入的Welch功率譜特征中獲取深層次的特征來提高SAE分類器的分類識別能力，要求自編碼網(wǎng)絡(luò)捕捉訓(xùn)練數(shù)據(jù)中最顯著的深層特征，本文SAE分類器的各層自編碼器均采用欠完備的自編碼器，得到SAE分類器中各層節(jié)點(diǎn)數(shù)目之間的邏輯關(guān)系如式（9），其中表示隱含層第層的節(jié)點(diǎn)數(shù)目，表示輸入節(jié)點(diǎn)數(shù)，表示輸出節(jié)點(diǎn)數(shù)。

具體SAE網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置如圖8所示，以目標(biāo)分類識別準(zhǔn)確率為標(biāo)準(zhǔn)，設(shè)置恰當(dāng)?shù)木W(wǎng)絡(luò)深度保證網(wǎng)絡(luò)獲取的深度特征不會因?yàn)檫^于抽象而無法識別，也不會因?yàn)樘崛〉牟粔蛏疃貌坏接行У纳顚犹卣?。調(diào)整各層節(jié)點(diǎn)數(shù)，使該層節(jié)點(diǎn)輸出的深層特征具有維度低和有效性強(qiáng)的特點(diǎn)。

最終設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)為4層，隱含層數(shù)為2層，具體各節(jié)點(diǎn)數(shù)如圖9所示。

圖 8 網(wǎng)絡(luò)層數(shù)和各層節(jié)點(diǎn)數(shù)設(shè)置Fig. 8 The number of network layer number and nodes in each layer

圖 9 SAE網(wǎng)絡(luò)結(jié)構(gòu)Fig. 9 The structure diagram of SAE

2.3.1 激活函數(shù)選擇

將上述激活函數(shù)分別作為2個隱含層自編碼器的激活函數(shù)，通過對比SAE分類器的識別效果來選擇最合適的激活函數(shù)組合。

SAE分類器的識別效果如表3所示，fj為第 i層激活函數(shù)，Rj為第類目標(biāo)識別精度，為總體識別精度。通過表3對比可知，當(dāng)?shù)?層和第2層激活函數(shù)均為sigmoid時(shí)，SAE分類器分類識別效果最好，故選擇sigmoid作為第1層和第2層的激活函數(shù)，選擇softmax作為輸出層的激活函數(shù)完成分類。

表 3 不同激活函數(shù)組合下SAE分類器的正確分類識別概率Tab. 3 Correct classification and recognition probability of SAE classifier with different activation functions

2.3.2 學(xué)習(xí)率和訓(xùn)練次數(shù)的選擇

在上述SAE分類器設(shè)計(jì)的基礎(chǔ)上，進(jìn)一步對影響網(wǎng)絡(luò)效率的參數(shù)——學(xué)習(xí)率和訓(xùn)練次數(shù)進(jìn)行選擇。因?yàn)椴捎秒S機(jī)梯度下降算法對SAE的權(quán)重進(jìn)行更新，結(jié)合權(quán)值更新式（4），可知在每次訓(xùn)練中權(quán)值更新的梯度都在下降以便更有效的逼近最優(yōu)值，所以SAE分類器的分類識別效果在訓(xùn)練次數(shù)和學(xué)習(xí)率共同作用下才能夠達(dá)到較好效果。

學(xué)習(xí)率的經(jīng)驗(yàn)值區(qū)間一般為0～1，分別選擇0.1，0.5，0.9，1作為學(xué)習(xí)率代表，得到訓(xùn)練次數(shù)和錯誤的下降曲線，如圖10所示。

可以看出，在采用梯度下降算法更新權(quán)重時(shí)，學(xué)習(xí)率較大則每次下降的步長越大，能夠在較少的訓(xùn)練次數(shù)下快速逼近最優(yōu)值，但可能存在由于步長過長使權(quán)重值在最優(yōu)值點(diǎn)附近徘徊，無法接近最優(yōu)值點(diǎn)；選擇的學(xué)習(xí)率過小時(shí)，雖然能夠接近最優(yōu)值，但需要很多次訓(xùn)練，權(quán)重逼近最優(yōu)值點(diǎn)的速度慢，同時(shí)可能會出現(xiàn)過擬合的現(xiàn)象。因此，需要選擇恰當(dāng)?shù)膶W(xué)習(xí)率才能在盡可能少的訓(xùn)練次數(shù)下，實(shí)現(xiàn)在耗時(shí)較短的前提下獲得較好的權(quán)重值。

根據(jù)上述分析，以錯誤率收斂為準(zhǔn)則，按如圖11所示流程對SAE分類器的訓(xùn)練次數(shù)和學(xué)習(xí)率進(jìn)行選擇，具體步驟如下：

步驟1 將學(xué)習(xí)率經(jīng)驗(yàn)區(qū)間0～1劃分為10份區(qū)間間隔0.1，結(jié)合各點(diǎn)錯誤率曲線初步篩選區(qū)間為0.8～0.9；

步驟2 在初步篩選區(qū)間0.8～0.9基礎(chǔ)上，按照0.01間隔長度將0.8～0.9劃分為10份，再次結(jié)合各點(diǎn)錯誤率曲線進(jìn)行選擇，進(jìn)一步確定區(qū)間為0.88～0.89；

步驟3 在0.88～0.89區(qū)間內(nèi)按照0.001間隔將0.88～0.89劃分為10份再次細(xì)化學(xué)習(xí)率，最終確定學(xué)習(xí)率為0.889，得到圖12學(xué)習(xí)率0.889時(shí)訓(xùn)練次數(shù)和錯誤率下降曲線。

圖 10 不同學(xué)習(xí)率下訓(xùn)練次數(shù)與錯誤率關(guān)系Fig. 10 The relationship between the number of training and the error rate under different learning rates

圖 11 學(xué)習(xí)率選擇流程Fig. 11 Learning rate selection process

在如圖12所示學(xué)習(xí)率為0.889的錯誤率曲線中可得訓(xùn)練次數(shù)在470～480之間已經(jīng)達(dá)到穩(wěn)定狀態(tài)，為提高SAE分類器的實(shí)效性，在470～480之間經(jīng)過對比最終選取的訓(xùn)練次數(shù)為475。

3 分類識別實(shí)驗(yàn)及分析

使用原始訓(xùn)練樣本集分別對構(gòu)建好的SAE分類器和NN分類器進(jìn)行訓(xùn)練，SAE和NN的參數(shù)設(shè)置訓(xùn)練完成后使用測試樣本集對進(jìn)行測試，得到如表4所示的正確分類識別概率。

分析可知，在三類訓(xùn)練樣本數(shù)目不均勻的條件下，由于第Ⅱ類樣本數(shù)目最多，更具有多樣性，分類器對于第Ⅱ類樣本能夠提取更為豐富的特征，強(qiáng)化分類器對第Ⅱ類目標(biāo)的分類識別能力，使分類器權(quán)值偏向第Ⅱ類目標(biāo)。相比之下，第Ⅰ類和第Ⅲ類樣本樣本數(shù)目較少使得這兩類樣本的特征提取的不夠全面，導(dǎo)致分類器對這兩類目標(biāo)的分類識別能力得不到充分訓(xùn)練，識別率較低。

使用新訓(xùn)練樣本集訓(xùn)練再次訓(xùn)練SAE分類器與NN分類器，然后使用同一測試樣本集對分類器的分類識別能力進(jìn)行測試，得到表5所示2種網(wǎng)絡(luò)分類器的正確分類識別概率。

NN屬于淺層網(wǎng)絡(luò)，不具備提取數(shù)據(jù)深層特征的能力。NN分類器只能根據(jù)輸入的Welch譜特征向量進(jìn)行分類識別，其分類效果受樣本數(shù)量和樣本多樣性影響。對于同一類樣本而言，數(shù)量越多、多樣性越強(qiáng)、識別效果就越好。對比表4和表5可以看出，新訓(xùn)練樣本集增加了樣本數(shù)量，但沒有增加樣本的多樣性，因而NN分類器的分類識別能力沒有得到改善。

SAE屬于深度學(xué)習(xí)網(wǎng)絡(luò)模型，能夠提取深層特征，同時(shí)SAE的結(jié)構(gòu)還能抑制過擬合。SAE分類器通過對Welch譜特征向量進(jìn)行深層特征挖掘，找到樣本之間的本質(zhì)區(qū)別，用來對目標(biāo)進(jìn)行高效準(zhǔn)確地分類識別。結(jié)合表1和表4分析可以看出，原始訓(xùn)練樣本集中3類目標(biāo)數(shù)量差距較大、SAE分類器稀疏性強(qiáng)，所以在運(yùn)用原始訓(xùn)練集訓(xùn)練SAE分類器時(shí)，提取的深層特征不全面，導(dǎo)致SAE分類器分類識別不準(zhǔn)確。從表2和表5分析得到，新訓(xùn)練樣本集中增加了第Ⅰ類樣本和第Ⅲ類樣本的數(shù)量，從而解決了由于這兩類樣本數(shù)量太少導(dǎo)致的深層特征提取不全面的問題，并且SAE分類器的稀疏度能夠有效抑制NN分類器中出現(xiàn)的過擬合現(xiàn)象。從表5可以看出，通過新訓(xùn)練樣本集的訓(xùn)練，SAE分類器對第Ⅰ類樣本和第Ⅲ類樣本的分類識別能力得到了明顯提升，改善了SAE分類器的整體分類識別能力。

圖 12 學(xué)習(xí)率為0.889時(shí)訓(xùn)練次數(shù)與錯誤率關(guān)系Fig. 12 The relationship between the number of training and the error rate when the learning rate is 0.889

表 4 2種分類器在原始訓(xùn)練樣本集訓(xùn)練下的正確分類識別概率Tab. 4 The correct classification probability of two classifiers under the training of the original training sample set

表 5 2種分類器在新訓(xùn)練樣本集訓(xùn)練下的正確分類識別概率Tab. 5 The correct classification probability of two classifiers under the training of new training sample set

4 結(jié) 語

深度學(xué)習(xí)多層非線性的特點(diǎn)，使它能夠通過簡潔的參數(shù)學(xué)習(xí)來表達(dá)復(fù)雜數(shù)據(jù)之間的關(guān)系。欠完備AE本身具有很好的特征提取能力，能夠提取樣本低維度的重要特征。AE堆疊而成的SAE發(fā)揮了這種優(yōu)勢，在降低數(shù)據(jù)維度的同時(shí)能夠充分挖掘數(shù)據(jù)的深層特征，更好地完成對艦船輻射噪聲的分類識別。并且簡單的數(shù)據(jù)重復(fù)與SAE分類器自身的稀疏能力相配合，能夠在提高各類目標(biāo)的分類識別率的同時(shí)防止過擬合現(xiàn)象的出現(xiàn)，SAE分類器在實(shí)際應(yīng)用中與傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)相比具有很強(qiáng)的優(yōu)越性。同時(shí)，該分類網(wǎng)絡(luò)也可推廣應(yīng)用于艦船其他特征下的分類識別。