基于CNN-LSTM混合模型的工頻磁擾動(dòng)信號(hào)預(yù)測(cè)

田 斌，葛友鋮，梁 冰，文仕強(qiáng)

（武漢工程大學(xué) 電氣信息學(xué)院，武漢430205）

在過(guò)去探測(cè)鐵磁性目標(biāo)研究中，地磁探測(cè)[1]占據(jù)主角地位，然而隨著各國(guó)軍事力量的壯大，出現(xiàn)了一批低噪聲、低熱輻射的鐵磁性目標(biāo)，這些“新型”目標(biāo)對(duì)地磁探測(cè)、聲學(xué)探測(cè)[2]和光學(xué)探測(cè)[3]等傳統(tǒng)探測(cè)手段提出了新挑戰(zhàn)。工頻探測(cè)相較于傳統(tǒng)探測(cè)手段，具有實(shí)時(shí)探測(cè)、大范圍遙感探測(cè)、動(dòng)靜目標(biāo)探測(cè)等優(yōu)良特性。世界各國(guó)高壓輸/變/用電網(wǎng)絡(luò)可以產(chǎn)生一個(gè)強(qiáng)度穩(wěn)定、分布廣泛、可探測(cè)的工頻磁場(chǎng)[4]，當(dāng)工頻磁場(chǎng)和鐵磁性目標(biāo)相互作用時(shí)，鐵磁性目標(biāo)的存在會(huì)改變整個(gè)空間的磁場(chǎng)分布，造成磁場(chǎng)局部異常，從而產(chǎn)生一種工頻磁擾動(dòng)時(shí)序信號(hào)。

關(guān)于時(shí)序信號(hào)的處理問(wèn)題，通常有3 類模型（統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型）幫助解決。統(tǒng)計(jì)模型主要包括自回歸滑動(dòng)平均（ARMA）模型和卡爾曼濾波（KF）模型。例如文獻(xiàn)[5]通過(guò)建立ARMA 模型對(duì)某地區(qū)用電量異常數(shù)據(jù)進(jìn)行識(shí)別與預(yù)測(cè)，預(yù)測(cè)結(jié)果的誤報(bào)率保持在6%以下。然而，統(tǒng)計(jì)模型預(yù)測(cè)的準(zhǔn)確率一般；機(jī)器學(xué)習(xí)模型主要有支持向量機(jī)模型（SVM），BP 神經(jīng)網(wǎng)絡(luò)模型和隨機(jī)森林（RF）等。例如文獻(xiàn)[6]提出一種基于混沌類電磁學(xué)（CEM）優(yōu)化支持向量機(jī)（SVM）的短期負(fù)荷預(yù)測(cè)方法，預(yù)測(cè)模型的最大誤差在3.02%以內(nèi)。但機(jī)器學(xué)習(xí)模型也存在特征提取能力較弱，泛化能力一般等缺點(diǎn)。

針對(duì)以上統(tǒng)計(jì)模型及機(jī)器學(xué)習(xí)模型的缺點(diǎn)，本文將引入深度學(xué)習(xí)模型，并提出了一種CNN-LSTM混合模型，該模型同時(shí)具備CNN 網(wǎng)絡(luò)的特征提取能力和LSTM 網(wǎng)絡(luò)的時(shí)序信息表達(dá)和預(yù)測(cè)能力。

1 CNN-LSTM 混合模型介紹

1.1 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種包含卷積計(jì)算和深層次結(jié)構(gòu)的深度前饋神經(jīng)網(wǎng)絡(luò)[7]，它被廣泛運(yùn)用在圖像分類、目標(biāo)識(shí)別、自然語(yǔ)言處理等領(lǐng)域。

一個(gè)典型的CNN 網(wǎng)絡(luò)包含5 個(gè)部分： 輸入層、卷積層、激活函數(shù)層、池化層和全連接層。其中卷積層作用是提取輸入的特征信息；激活函數(shù)層是使樣本輸出的特征具有非線性特性；池化層作用是進(jìn)一步對(duì)卷積操作得到的特征映射結(jié)果進(jìn)行處理；全連接層是把前面幾層所提取到的特征進(jìn)行非線性組合。卷積運(yùn)算的過(guò)程表示為

式中：S 為輸出的特征序列；I 為輸入數(shù)據(jù)；K 為卷積核。

1.2 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）

傳統(tǒng)的RNN 網(wǎng)絡(luò)在處理輸入序列的長(zhǎng)期依賴時(shí)[8]，會(huì)產(chǎn)生梯度下降或梯度消失的問(wèn)題，為了解決該問(wèn)題，文獻(xiàn)[9]在1997年提出了LSTM 網(wǎng)絡(luò)。LSTM本身就是RNN 中一種特殊的循環(huán)體結(jié)構(gòu)，其單個(gè)神經(jīng)元結(jié)構(gòu)如圖1 所示。

圖1 LSTM 單個(gè)神經(jīng)元結(jié)構(gòu)Fig.1 LSTM single neuron structure

LSTM 由3 個(gè)門控單元（輸入門、遺忘門和輸出門）、1 個(gè)細(xì)胞態(tài)、1 個(gè)候選態(tài)和記憶體組成。其中門控單元是使用Sigmoid 激活函數(shù)對(duì)輸入的信息進(jìn)行控制的結(jié)構(gòu)，輸入門是用來(lái)確定向記憶體狀態(tài)中添加的新信息，輸出門表示輸出當(dāng)前細(xì)胞狀態(tài)的信息，遺忘門則將細(xì)胞狀態(tài)中的沒(méi)用的信息選擇性遺忘，細(xì)胞態(tài)表示長(zhǎng)期記憶，記憶體表示短期記憶。每個(gè)部分的計(jì)算過(guò)程如式（2）～式（7）所示：

式中：xt表示當(dāng)前時(shí)刻的輸入特征；W 和b 分別表示各單元結(jié)構(gòu)的待訓(xùn)練參數(shù)矩陣和偏置項(xiàng)；σ 表示Sigmoid 函數(shù)。

1.3 CNN-LSTM 混合模型

在實(shí)際情況中，目標(biāo)產(chǎn)生的微弱工頻磁擾動(dòng)信號(hào)，會(huì)受到惡劣天氣、居民用電設(shè)備以及復(fù)雜觀測(cè)環(huán)境等因素的影響，呈現(xiàn)出低信噪比、微弱難提取等特點(diǎn)。單一模型很難保證模型的訓(xùn)練效果，預(yù)測(cè)結(jié)果的準(zhǔn)確率會(huì)大大降低，而混合模型能有效改進(jìn)單一模型的缺點(diǎn)，它能充分提高磁擾動(dòng)信號(hào)預(yù)測(cè)的準(zhǔn)確性，增強(qiáng)工頻磁場(chǎng)對(duì)鐵磁性目標(biāo)的探測(cè)能力。

2 工頻磁擾動(dòng)信號(hào)預(yù)測(cè)模型建模

模型總體設(shè)計(jì)的思路為：首先，利用低噪聲、高靈敏度感應(yīng)式磁力儀[10]采集外場(chǎng)試驗(yàn)數(shù)據(jù)（0～250 Hz），通過(guò)快速傅里葉變換（FFT）提取原始數(shù)據(jù)中50 Hz 的時(shí)間序列數(shù)據(jù){fn}，進(jìn)而對(duì){fn}進(jìn)行分析和預(yù)處理；其次，將處理后的數(shù)據(jù)送入模型中的卷積層和全連接層，完成特征工程（特征提取和特征融合）；最后，數(shù)據(jù)通過(guò)LSTM 層后輸出，實(shí)現(xiàn)時(shí)序信息的表達(dá)與預(yù)測(cè)。

2.1 數(shù)據(jù)分析

目標(biāo)在工頻磁場(chǎng)下產(chǎn)生的擾動(dòng)信號(hào)是連續(xù)時(shí)序信號(hào)f（t），將傳感器采樣率設(shè)置為500 后進(jìn)行采樣，得到離散時(shí)間信號(hào)f（n·Δt）=fn，（n=0，1，2，…，N-1），其中N 是信號(hào)長(zhǎng)度，再通過(guò)FFT 轉(zhuǎn)換成{fn}，提取一組正常狀態(tài)下（無(wú)目標(biāo)）與擾動(dòng)狀態(tài)下（有目標(biāo)）的信號(hào)數(shù)據(jù)，用Matlab 分別繪制出50 Hz 數(shù)據(jù)，如圖2 和圖3 所示。

圖2 正常狀態(tài)下50 Hz 數(shù)據(jù)Fig.2 Under normal condition 50 Hz data

圖3 擾動(dòng)狀態(tài)下50 Hz 數(shù)據(jù)Fig.3 Under disturbance 50 Hz data

圖中橫坐標(biāo)代表測(cè)量時(shí)間，單位s，縱坐標(biāo)代表磁感應(yīng)強(qiáng)度，單位nT。從圖2 可以看出，無(wú)目標(biāo)時(shí)，工頻背景場(chǎng)可以近似看作一個(gè)較為穩(wěn)定的正弦波，磁場(chǎng)強(qiáng)度在0.2～0.6 nT 之間波動(dòng)； 從圖3 可以看出，目標(biāo)物（車輛）出現(xiàn)時(shí)，傳感器測(cè)到了明顯的工頻磁擾動(dòng)信號(hào)，且不同目標(biāo)物引起的磁擾動(dòng)信號(hào)強(qiáng)度有所不同。目標(biāo)1 為電瓶車，體積小、含鐵量少（磁導(dǎo)率較低）、速度慢，引起的磁擾動(dòng)信號(hào)強(qiáng)度約為0.88 nT；目標(biāo)2 為小轎車，體積大、含鐵量多（磁導(dǎo)率較高），速度快，引起的磁擾動(dòng)信號(hào)強(qiáng)度約1.28 nT，但目標(biāo)物1 和目標(biāo)2 引起的磁場(chǎng)強(qiáng)度均高于背景場(chǎng)平均值0.4 nT，可以初步推斷鐵磁性目標(biāo)與工頻磁場(chǎng)相互作用產(chǎn)生的電磁擾動(dòng)信號(hào)與目標(biāo)物本身的磁導(dǎo)率以及運(yùn)動(dòng)狀態(tài)有關(guān)。

2.2 數(shù)據(jù)處理

數(shù)據(jù)處理分為2 個(gè)部分：缺失值填補(bǔ)和數(shù)據(jù)集歸一化。

1）傳感器、數(shù)采卡等探測(cè)設(shè)備故障時(shí)可能導(dǎo)致數(shù)據(jù)缺失，針對(duì)缺失數(shù)據(jù)，本文將采用線性插值法填補(bǔ)缺失值，即用t-1 與t+1 時(shí)刻的數(shù)據(jù)填補(bǔ)t 時(shí)刻的缺失值，具體計(jì)算公式為

2）為了加快訓(xùn)練時(shí)梯度下降的速度，避免由目標(biāo)物產(chǎn)生過(guò)大的擾動(dòng)信號(hào)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響，數(shù)據(jù)集在送入到神經(jīng)網(wǎng)絡(luò)訓(xùn)練前要進(jìn)行歸一化處理。其計(jì)算公式為

式中：x 為轉(zhuǎn)換前的值；xnorm為歸一化的值；xmax為樣本的最大值；xmin為樣本的最小值。

2.3 模型各層參數(shù)及訓(xùn)練流程

通過(guò)數(shù)據(jù)分析和預(yù)處理后，將高質(zhì)量的數(shù)據(jù)集按時(shí)間順序劃分為2 個(gè)子集（訓(xùn)練集和測(cè)試集）送入到混合模型。模型各層參數(shù)具體設(shè)置如下：卷積核個(gè)數(shù)為64，大小為1×1；激活層使用Relu 激活函數(shù)，目的是產(chǎn)生更多的稀疏性，避免梯度消失；LSTM 層設(shè)置為2 層，其神經(jīng)元個(gè)數(shù)分別是80 和100，并增加2 層Dropout 層（rate=0.2）避免過(guò)擬合；優(yōu)化器Optimizer 采用Adam 算法。CNN-LSTM 混合模型參數(shù)如表1 所示，神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程如圖4所示。

圖4 CNN-LSTM 訓(xùn)練流程Fig.4 CNN-LSTM training flow chart

表1 模型各層參數(shù)Tab.1 Parameters for each layer of model

3 算例分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的測(cè)量系統(tǒng)由1 臺(tái)單軸感應(yīng)式磁力儀、1 塊電池組和1 個(gè)數(shù)據(jù)采集器組成，其中磁力儀量程為±200 nT，工作電壓為±5 V，即靈敏度為40 nT/V。實(shí)驗(yàn)數(shù)據(jù)來(lái)源：本課題組于2020年9月11日前往湖北省紅安縣金沙河地區(qū)，進(jìn)行了工頻探測(cè)目標(biāo)（車輛）外場(chǎng)試驗(yàn)，共采集到21744 組磁信號(hào)數(shù)據(jù)。把這些數(shù)據(jù)集劃分為80%的訓(xùn)練集和20%的測(cè)試集，訓(xùn)練集用于找出最佳的權(quán)重和偏置，測(cè)試集用來(lái)評(píng)估模型性能的好壞和預(yù)測(cè)效果。

3.2 實(shí)驗(yàn)結(jié)果

將訓(xùn)練樣本送入到CNN-LSTM 網(wǎng)絡(luò)中訓(xùn)練，得到損失函數(shù)，如圖5 所示?？梢钥闯?，訓(xùn)練集和驗(yàn)證集損失曲線隨著迭代次數(shù)的增加而降低，當(dāng)達(dá)到一定次數(shù)后會(huì)趨于一個(gè)平穩(wěn)值。

圖5 CNN-LSTM 模型的損失函數(shù)Fig.5 Loss function diagram of CNN-LSTM model

訓(xùn)練完畢后，為了驗(yàn)證本文CNN-LSTM 混合模型的優(yōu)越性，同時(shí)還采用了單一的LSTM 模型進(jìn)行預(yù)測(cè)，CNN-LSTM 混合模型和單一LSTM 模型實(shí)驗(yàn)結(jié)果分別如圖6 和圖7 所示。

圖6 CNN-LSTM 模型預(yù)測(cè)結(jié)果Fig.6 CNN-LSTM model prediction results

圖7 LSTM 模型預(yù)測(cè)結(jié)果Fig.7 CNN-LSTM model prediction results

兩個(gè)模型的預(yù)測(cè)評(píng)估指標(biāo)對(duì)比如表2 所示。

表2 模型預(yù)測(cè)評(píng)估指標(biāo)對(duì)比Tab.2 Model prediction evaluation index comparison

根據(jù)兩個(gè)模型的預(yù)測(cè)結(jié)果和評(píng)估指標(biāo)對(duì)比可以看出，CNN-LSTM 模型預(yù)測(cè)的整體趨勢(shì)和真實(shí)趨勢(shì)更吻合，特別是在峰值處的預(yù)測(cè)值和真實(shí)值十分貼近，更容易判定目標(biāo)物的存在。此外，相對(duì)于單一的LSTM模型，本文提出的CNN-LSTM 混合模型使得磁信號(hào)數(shù)據(jù)在時(shí)間維度上的特征更容易提取，更有利于解決鐵磁性目標(biāo)存在的多特征維度和時(shí)序特征問(wèn)題。

4 結(jié)語(yǔ)

為了充分發(fā)揮工頻磁場(chǎng)在目標(biāo)探測(cè)領(lǐng)域的推廣應(yīng)用，完善鐵磁性目標(biāo)探測(cè)機(jī)制，提高磁擾動(dòng)信號(hào)預(yù)測(cè)準(zhǔn)確性，本文引入了深度學(xué)習(xí)模型，深度學(xué)習(xí)模型的優(yōu)點(diǎn)在于能夠隨著訓(xùn)練樣本量的增加以及數(shù)據(jù)特征的多元化變化，可以有效提升模型對(duì)數(shù)據(jù)分布規(guī)律的總結(jié)與表達(dá)。

同時(shí)本文提出了一種CNN-LSTM 混合模型，通過(guò)CNN 提取到磁信號(hào)特征信息，減少了原始特征的損失，再利用LSTM 進(jìn)行擬合和預(yù)測(cè)，可以更清楚表達(dá)信號(hào)中的關(guān)鍵信息。下一階段目標(biāo)是使用三軸磁力儀采集更多特征的信號(hào)，豐富磁信號(hào)數(shù)據(jù)集，進(jìn)一步提升混合模型的預(yù)測(cè)性能。