深度卷積神經(jīng)網(wǎng)絡(luò)在混沌振動識別中的應(yīng)用研究

唐宇思， 王偉豪， 崔漢國， 劉樹勇， 柴 凱

(1.海軍工程大學(xué) 動力工程學(xué)院，武漢 430033； 2.海軍工程大學(xué) 艦船與海洋學(xué)院，武漢 430033)

混沌振動信號快速識別是混沌應(yīng)用的關(guān)鍵問題，國內(nèi)外學(xué)者開展了深入研究。Robinson[1]利用Poincaré截面將復(fù)雜的動力系統(tǒng)轉(zhuǎn)化到低維的空間中進行研究，從而深入、直觀地展示了系統(tǒng)全局動力學(xué)特點；Mcdonough等[2]提出了周期軌道檢測法，其主要思想是通過統(tǒng)計吸引子中的短周期軌道重復(fù)的時長來識別混沌信號，但該方法容易受到噪聲影響；廖明等[3]通過計算功率譜是否具有1/f特征來判斷時間序列是否混沌；任輝等[4]研究了學(xué)習(xí)向量量化(learning vector quantization,LVQ)對Jeffcott轉(zhuǎn)子碰摩模型的非線性混沌時間序列的分類能力，實現(xiàn)了對這類混沌信號和其它響應(yīng)信號數(shù)據(jù)的聚類，為非線性信號分類識別提供了一種方法；江亞東等[5]在對混沌時間序列與隨機序列的不同特征進行分析的基礎(chǔ)上，給出了一種基于小波神經(jīng)網(wǎng)絡(luò)的混沌時間序列判定-預(yù)測算法；Xie等[6]應(yīng)用辛幾何譜方法對非線性時間序列中的確定性機制進行識別，該方法比傳統(tǒng)的奇異值分解(singular value decomposition, SVD)法更能揭示信號的本質(zhì)特征；席劍輝等[7]運用擴展卡爾曼濾波算法的跟蹤辨識特性，實現(xiàn)了對混沌系統(tǒng)主動態(tài)方程的參數(shù)識別和多變量混沌序列的精確預(yù)測。

然而在信號的實時識別過程中，上述方法都存在計算量大、耗費時間長等問題，特別是在艦艇輻射水聲混沌譜控制過程中，由于系統(tǒng)工況變化，需要實時調(diào)整混沌參數(shù)、控制區(qū)域時，傳統(tǒng)方法不能為在線調(diào)整提供快速識別。近年來興起的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)模型在圖像識別領(lǐng)域獲得巨大成功，引起人們的極大關(guān)注[8]。因分類準(zhǔn)確率高、響應(yīng)速度快，DCNN同樣適用于振動信號的識別?；谝陨显?，本文設(shè)計了一種針對振動信號分類的DCNN模型，可實現(xiàn)混沌信號的快速識別。

1 DCNN模型設(shè)計

1.1 DCNN結(jié)構(gòu)分析

Fukushima[9]首次將互相關(guān)運算引入神經(jīng)網(wǎng)絡(luò)，開啟了利用卷積神經(jīng)網(wǎng)絡(luò)處理圖像的新紀(jì)元。典型的DCNN結(jié)構(gòu)如圖1所示。其構(gòu)建了多個能夠提取輸入數(shù)據(jù)特征的卷積層，通過共享權(quán)重和空間下采樣來獲得輸入數(shù)據(jù)平移及縮放不變的特征表示，最后利用多層全連接神經(jīng)網(wǎng)絡(luò)對特征分類，輸出分類結(jié)果。

圖1 典型的DCNN結(jié)構(gòu)

(1)

在卷積運算前，為了保證每次運算后卷積層的寬度不至于縮減過小，對輸入數(shù)據(jù)的前后做補全(pad)運算。同時為了用較少的權(quán)重元素來感知較大坐標(biāo)范圍的輸入，對卷積核進行膨脹(dilate)。設(shè)輸入數(shù)據(jù)每行前補全Pr個元素，每列前補全Pc個元素，采樣步幅(stride)為S，膨脹系數(shù)為d，式(1)改進為

(2)

其中，當(dāng)X的下標(biāo)小于1或大于其自身尺寸時，表示補全的元素。為了便于計算，將輸入數(shù)據(jù)添加一個數(shù)值全為1的通道，從而用這一通道的權(quán)值矩陣表示偏置B。因此，式(2)進一步優(yōu)化為

(3)

為了引入非線性特征，在卷積運算后，將每個元素輸入一個非線性的激活函數(shù)，激活后的值作為卷積層的輸出。常用的激活函數(shù)為整流線性單元(rectified linear units, ReLU)，其數(shù)學(xué)表達(dá)式為

f(x)=max{0,x}

(4)

為了使用某一位置相鄰輸出的總體統(tǒng)計特征來代替網(wǎng)絡(luò)在該位置的輸出，設(shè)置了池化(pooling)操作。常用函數(shù)為最大池化函數(shù)，即給出相鄰矩形區(qū)域內(nèi)的最大值，其數(shù)學(xué)表達(dá)式為

(5)

DCNN應(yīng)用多個卷積層完成對輸入數(shù)據(jù)的特征提取，然后利用全連接層(fully connected layer)對特征進行分類。全連接層中的每一級運算可表示為

z=g(wTx+b)

(6)

(7)

式中，i=0,1,…,n，n為分類數(shù)量。

1.2 混沌振動信號識別DCNN模型

由于DCNN在直接用于處理一維的振動信號時，不僅需要確定時間序列的采樣點數(shù)，還要通過加大卷積核的尺寸來獲得序列前后的關(guān)聯(lián)特征，將導(dǎo)致網(wǎng)絡(luò)收斂過慢和過擬合問題。因此，本文通過對二維混沌吸引子的特征提取來識別信號。首先通過相空間重構(gòu)(phase space reconstruction)[10]獲得振動信號的相空間吸引子，再利用DCNN對信號的吸引子圖分類，不僅有利于DCNN的建模，還能清晰地突顯故障狀態(tài)下的系統(tǒng)動力學(xué)特征，從而提高模型分類的準(zhǔn)確率。

對于時間序列x，在坐標(biāo)系pOq中，使用延遲重構(gòu)法得到的吸引子圖，可以表示為一組直線段方程

(8)

式中,τ為延遲時間。為了滿足卷積神經(jīng)網(wǎng)絡(luò)的輸入要求，需要將吸引子圖映射到一個大小為W×H的二維像素圖，表示為張量A，即對矢量圖形做柵格化(rasterization)處理。計算圖形的橫向采樣序列r和縱向采樣序列c，以r為例

(9)

(10)

若kn>1或xn-xn+1=0，則將變量r和c,w和h位置互換，重復(fù)上述計算。最終得到輸入卷積模型的數(shù)據(jù)

(11)

卷積層和全連接層的設(shè)計參照AlexNet[11]的結(jié)構(gòu)參數(shù)，并加入dropout層[12]來防止過擬合?？紤]到識別吸引子圖時，不存在物體與背景的邊緣識別問題，因此減小前兩層的通道數(shù)以獲得更好的性能。全連接層的分類識別中，由于本文需要實現(xiàn)的振動信號分類數(shù)量遠(yuǎn)小于AlexNet設(shè)計的分類數(shù)量(1 000)，因此逐層減小神經(jīng)元數(shù)量，從而減少特征冗余并防止過擬合。

根據(jù)以上闡述，設(shè)計模型結(jié)構(gòu)如圖2所示。

圖2 模型結(jié)構(gòu)示意圖

1.3 權(quán)值優(yōu)化方法

DCNN中各個神經(jīng)元的權(quán)重系數(shù)不能直接求得準(zhǔn)確解，本文通過標(biāo)簽數(shù)據(jù)對模型的訓(xùn)練得到最優(yōu)值，并利用批量梯度下降法訓(xùn)練模型。

(12)

利用Adam(adaptive moment estimation)算法[13]來更新網(wǎng)絡(luò)參數(shù)，即權(quán)重和偏置。其本質(zhì)是梯度隨機目標(biāo)函數(shù)優(yōu)化算法，通過基于低階矩的自適應(yīng)估計，從而自適應(yīng)調(diào)整學(xué)習(xí)率，可達(dá)到良好的訓(xùn)練效果。

2 仿真研究

2.1 仿真信號設(shè)計

設(shè)計如下不同的仿真信號

y1=sin 15πt

(13)

(14)

y3=(1+sin πt)·sin 25πt-1

(15)

τ≤t<τ+1

(16)

(17)

式中，t≥0，τ∈(N)。對上述5個信號進行采樣，采樣頻率為1 kHz，采樣點數(shù)為10 000，得到時間序列xi，(i=1,2,3,4,5)。對混沌信號，采用Lorenz系統(tǒng)

(18)

應(yīng)用Runge-Kutta法求解式(18)，步長為0.01，舍去前3 000個點，取x分量的10 000個離散值作為序列x6。得到的6組仿真信號如圖3所示。

圖3 仿真信號時域圖

應(yīng)用第一最小互信息法[14]求延遲時間，重構(gòu)仿真信號的相平面吸引子圖，如圖4所示。

圖4 仿真信號的吸引子圖

2.2 生成數(shù)據(jù)集

為了提高分類模型的魯棒性，在原信號中疊加噪聲信號，生成多個數(shù)據(jù)樣本。具體步驟為：

步驟1選取采樣信號的第2 001～4 000點作為初始樣本。

步驟2針對每個樣本，隨機生成100個均值為0，方差為s(0≤s≤S)的高斯噪聲序列

(10)

式中:E(x2)為樣本序列的均方值;RSN為信噪比(signal noise ratio,SNR)，這里設(shè)RSN=20。將這些噪聲序列疊加到樣本中，共得到600個不同的含噪樣本。

步驟3將600個樣本按照14∶3∶3的比例隨機劃分為訓(xùn)練集，驗證集和測試集，得到的數(shù)據(jù)集如表1所示。

表1 仿真信號數(shù)據(jù)集

2.3 訓(xùn)練模型與結(jié)果分析

模型訓(xùn)練的參數(shù)設(shè)置如下。學(xué)習(xí)率(learning rate)：0.000 1；批尺寸(batch size)：420，即全數(shù)據(jù)集輸入；迭代次數(shù)(epoch)：80。每迭代一次后，更新模型參數(shù)，計算模型在測試集上的損失值和準(zhǔn)確率，以及模型在驗證集上的準(zhǔn)確率。訓(xùn)練過程中，模型的訓(xùn)練損失、訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率如圖5所示。

(a) 損失函數(shù)隨迭代次數(shù)增加而逐漸下降

由圖5可知:損失函數(shù)隨迭代次數(shù)的增加而減小，經(jīng)過80次迭代之后，最終趨近于0；訓(xùn)練集和驗證集的分類準(zhǔn)確率隨迭代次數(shù)增加波動上升，在迭代次數(shù)超過60次后，穩(wěn)定收斂到100%。用測試集中的樣本檢驗訓(xùn)練后的模型，分類準(zhǔn)確率如表2所示。

表2 仿真信號分類準(zhǔn)確率

不難看出，本文所提模型對6類仿真信號均能準(zhǔn)確識別。

3 試驗研究

本文采用雙勢阱單端磁吸式混沌振動裝置[15]生成多種振動信號，試驗裝置原理圖如圖6所示。該裝置通過調(diào)節(jié)激勵幅值和激勵頻率，能夠觀察到系統(tǒng)中出現(xiàn)的次諧波現(xiàn)象、超諧波現(xiàn)象以及系統(tǒng)中周期1運動的不同模式，并能在一定頻率和激勵幅值條件下產(chǎn)生持續(xù)穩(wěn)定的混沌振動。

圖6 雙勢阱單端磁吸式混沌振動裝置結(jié)構(gòu)圖

3.1 試驗數(shù)據(jù)

前期試驗發(fā)現(xiàn)，激振系統(tǒng)增益大于0.95時，系統(tǒng)的動力學(xué)行為非常豐富，可以產(chǎn)生包括混沌振動在內(nèi)的不同模式。本節(jié)試驗將激振系統(tǒng)的增益固定為 1，由小到大增加系統(tǒng)的激勵頻率，得到20組試驗信號，其中混沌信號10組，非混沌信號10組，采樣頻率為2 kHz，采樣時長為5 s。部分信號及其吸引子圖如圖7所示。

圖7 部分試驗信號時域圖及吸引子圖

3.2 生成數(shù)據(jù)集

為了得到更多的數(shù)據(jù)樣本，對采集到的信號作數(shù)據(jù)增強處理后，再劃分?jǐn)?shù)據(jù)集。具體步驟為：

步驟1選取試驗信號采樣點的[(i-1)·S+1,(i-1)·S+L]段作為數(shù)據(jù)樣本，這里令S=600，L=3 200，共獲得80個信號樣本。

步驟3將這1 560個樣本按照14∶3∶3的比例隨機劃分為訓(xùn)練集、驗證集和測試集，得到的數(shù)據(jù)集如表3所示。

表3 試驗信號數(shù)據(jù)集

3.3 模型訓(xùn)練與結(jié)果分析

模型訓(xùn)練參數(shù)為：學(xué)習(xí)率：0.000 05；批尺寸：546；迭代次數(shù)：200。由于數(shù)據(jù)集尺寸過大，每一次迭代數(shù)據(jù)需要分兩批依次訓(xùn)練，每批數(shù)據(jù)訓(xùn)練完后更新模型參數(shù)，每迭代一次后，計算模型在測試集上的損失值和準(zhǔn)確率，以及模型在驗證集上的準(zhǔn)確率。訓(xùn)練過程中，模型的訓(xùn)練損失、訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率如圖8所示。

(a) 損失函數(shù)隨迭代次數(shù)增加而逐漸下降

由圖8可知，損失函數(shù)隨迭代次數(shù)的增加而減小，經(jīng)過200次迭代之后，最終趨近于0；訓(xùn)練集和驗證集的分類準(zhǔn)確率隨迭代次數(shù)增加波動上升，在迭代次數(shù)超過150次后，測試準(zhǔn)確率穩(wěn)定收斂到100%，驗證準(zhǔn)確率在98.72%和99.15%之間波動。用測試集中的樣本檢驗訓(xùn)練后的模型，分類準(zhǔn)確率如表4所示。

表4 試驗信號分類準(zhǔn)確率

試驗表明，本文所提模型能夠快速準(zhǔn)確識別混沌信號。

4 結(jié) 論

(1) 針對混沌振動信號識別中傳統(tǒng)方法難以快速識別的問題，提出了一種基于相空間重構(gòu)和深度卷積神經(jīng)網(wǎng)絡(luò)的智能識別方法。針對卷積神經(jīng)網(wǎng)絡(luò)對二維圖像識別能力強的特點，利用時間延遲法將振動信號映射到二維像素圖中，隨后基于AlexNet設(shè)計DCNN模型對得到的像素圖進行分類識別。與傳統(tǒng)的計算混沌特征指數(shù)的方法相比，所提方法計算量小、識別速度快，可有效地應(yīng)用于混沌信號的實時識別。

(2) 通過試驗數(shù)據(jù)測試，所提方法能達(dá)到98%以上的識別準(zhǔn)確率，響應(yīng)快、實時性好。因此，在工程實際中具有極強的潛在應(yīng)用價值。