不同結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的時(shí)間域航空電磁數(shù)據(jù)成像性能分析

李金峰，劉云鶴

吉林大學(xué) 地球探測科學(xué)與技術(shù)學(xué)院，長春 130026

0 引言

反問題一直是地球物理領(lǐng)域的熱點(diǎn)研究方向。由于測量數(shù)據(jù)有限，傳統(tǒng)的地球物理反演方法主要為基于正則化思想的優(yōu)化方法，需要嚴(yán)格的數(shù)學(xué)計(jì)算，耗時(shí)較長。時(shí)間域航空電磁系統(tǒng)采樣密集，數(shù)據(jù)量巨大，成像技術(shù)是其主要的反問題求解方法，在航空電磁的數(shù)據(jù)處理中占有重要的地位。傳統(tǒng)的成像技術(shù)得到的模型較為簡單[1--3]，獲得的地電結(jié)構(gòu)分辨率較低。目前發(fā)展較快的深度神經(jīng)網(wǎng)絡(luò)技術(shù)能夠高度提取數(shù)據(jù)的抽象特征，適合擬合復(fù)雜的非線性關(guān)系，且計(jì)算速度快，有潛力成為航空電磁成像的主流技術(shù)。

早在20世紀(jì)末，人們就將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到地球物理領(lǐng)域。劉瑞林等[4]提出用神經(jīng)網(wǎng)絡(luò)建立孔隙度預(yù)測模型，Murat et al.[5]提出使用神經(jīng)網(wǎng)絡(luò)進(jìn)行波形識別以及初至波拾取， Langer et al.[6]提出使用神經(jīng)網(wǎng)絡(luò)進(jìn)行地震反演，朱凱光等[7]提出使用神經(jīng)網(wǎng)絡(luò)對時(shí)間域電磁數(shù)據(jù)進(jìn)行電導(dǎo)率深度成像，以上研究都是基于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行的。最新研究[8--9]表明深度神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)有更強(qiáng)大的函數(shù)近似能力，且更適合擬合自然函數(shù)(非線性函數(shù)),所以開展深度神經(jīng)網(wǎng)絡(luò)在地球物理領(lǐng)域中應(yīng)用的研究具有較大的實(shí)際意義。

深度神經(jīng)網(wǎng)絡(luò)在地球物理領(lǐng)域的應(yīng)用已經(jīng)獲得了一些比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更實(shí)用、更精確的成果。卷積神經(jīng)網(wǎng)絡(luò)[10](convolution neural network，CNN)在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛，其獨(dú)特的卷積結(jié)構(gòu)使其擅長進(jìn)行目標(biāo)識別、特征提取等工作。地球物理研究者們也利用卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)進(jìn)行了一系列的工作，例如地震面波分類、地震斷層識別、地球物理特征提取以及異常體邊界的圈定等[11--14]。此外，深度神經(jīng)網(wǎng)絡(luò)也可以解決多元回歸問題，例如，地震速度正反演[15]、電導(dǎo)率深度成像等。神經(jīng)網(wǎng)絡(luò)有多種結(jié)構(gòu)，不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)對應(yīng)不同的泛函空間，因此在解決具體問題之前需要通過實(shí)驗(yàn)尋找最優(yōu)的網(wǎng)絡(luò)模型。在回歸問題中，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇沒有理論依據(jù)，筆者從時(shí)間域航空電磁數(shù)據(jù)成像問題出發(fā)，利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)合適的網(wǎng)絡(luò)參數(shù)去擬合地下模型與其響應(yīng)信號間的映射關(guān)系,進(jìn)而通過神經(jīng)網(wǎng)絡(luò)直接從數(shù)據(jù)得到地下電性結(jié)構(gòu)圖像；主要通過測試不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在時(shí)間域航空電磁成像上的性能，研究在回歸問題中如何選擇關(guān)鍵參數(shù)來建立合理的神經(jīng)網(wǎng)絡(luò)模型，以達(dá)到高精度的成像效果。

1 研究方法

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程實(shí)際上是最小化定義在訓(xùn)練集上的損失函數(shù)。從訓(xùn)練集中選取n個(gè)樣本{(xi,yi),i=1,...,n} ,xi為電磁信號數(shù)據(jù)，yi為地下電阻率模型，其損失函數(shù)為:

(1)

式中：L為模型向量yi的長度；Netθ(xi)表示當(dāng)網(wǎng)絡(luò)的輸入為xi時(shí)網(wǎng)絡(luò)預(yù)測的電阻率模型。網(wǎng)絡(luò)采用誤差反向傳播算法[16]獲得參數(shù)的改變量，并通過梯度下降法進(jìn)行參數(shù)更新來最小化損失函數(shù)。為了簡化問題，使用神經(jīng)網(wǎng)絡(luò)預(yù)測20個(gè)不同深度下的電阻率，即在公式(1)中模型向量的長度為20，對應(yīng)20個(gè)不同深度下的電阻率。使用早停法[17]訓(xùn)練神經(jīng)網(wǎng)絡(luò)并使用測試集測試網(wǎng)絡(luò)性能。早停法的耐心值設(shè)為8，通過監(jiān)控驗(yàn)證集與訓(xùn)練集的損失數(shù)值決定是否停止訓(xùn)練。早停法可以增強(qiáng)網(wǎng)絡(luò)的魯棒性，使網(wǎng)絡(luò)可以適用于帶有干擾的實(shí)測數(shù)據(jù)。筆者對不同結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其測試結(jié)果進(jìn)行了分析。

1.1 全連接網(wǎng)絡(luò)(Dense)

全連接網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，對于任意中間層，網(wǎng)絡(luò)的輸入為x∈Rd，網(wǎng)絡(luò)的輸出為y∈Rh。輸入層與輸出層之間使用權(quán)重矩陣ω與偏置b相連接，即對于輸出層任意元素

x為網(wǎng)絡(luò)的輸入向量；y為網(wǎng)絡(luò)的輸出向量；ω為網(wǎng)絡(luò)的權(quán)重矩陣。圖1 全連接網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of full connected network model

(2)

式中：f函數(shù)被稱為網(wǎng)絡(luò)的激活函數(shù)。在本文的實(shí)驗(yàn)中，全連接網(wǎng)絡(luò)的最后一層使用Sigmoid函數(shù)：f(x)=1/(1+e-x)作為激活函數(shù)，其余層使用ReLU[10]函數(shù)：f(x)=max(x,0)作為激活函數(shù)。圖2展示了在測試集上，網(wǎng)絡(luò)層數(shù)和每層的神經(jīng)元數(shù)目對網(wǎng)絡(luò)性能的影響。所有實(shí)驗(yàn)中，評價(jià)因子均采用網(wǎng)絡(luò)預(yù)測的電阻率與真實(shí)電阻率取對數(shù)后的平均絕對誤差(mean absolute error，MAE)，即公式(1)中的J(θ)。

圖2 全連接神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層數(shù)與每層神經(jīng)元數(shù)目對網(wǎng)絡(luò)性能的影響Fig.2 Influence of network layers and kernel numbers of each convolution on full connected network performance

由圖2可知，使用全連接神經(jīng)網(wǎng)絡(luò)近似模型電阻率與響應(yīng)信號之間的映射時(shí)，MAE值隨網(wǎng)絡(luò)神經(jīng)元數(shù)目的增加而降低，網(wǎng)絡(luò)層數(shù)對MAE影響不大。最優(yōu)的全連接網(wǎng)絡(luò)為8層，每層神經(jīng)元個(gè)數(shù)為160。圖3為最優(yōu)的全連接網(wǎng)絡(luò)在測試集上的表現(xiàn)。

圖3 全連接神經(jīng)網(wǎng)絡(luò)預(yù)測的電阻率與真實(shí)電阻率的平均絕對誤差(MAE)隨深度的變化趨勢Fig.3 Changing trend of mean absolute error (MAE) calculated between true resistivity and predicted resistivity by full connected network with depth

由圖3可知，全連接神經(jīng)網(wǎng)絡(luò)的預(yù)測精度大致隨著目標(biāo)深度增加而降低。結(jié)果與實(shí)際情況相符，因?yàn)殡姶判盘査p速度快，穿透性差，電磁法勘探精度隨深度增加而降低。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)使用卷積核進(jìn)行運(yùn)算，層與層之間通過卷積核相連，其特點(diǎn)之一是局部連接性。對于自然圖像而言，相臨的像素關(guān)聯(lián)性強(qiáng)，較遠(yuǎn)的像素間相關(guān)性弱，卷積神經(jīng)網(wǎng)絡(luò)的局部連接特性剛好符合自然圖像的這一規(guī)律，所以被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。對于時(shí)間域電磁數(shù)據(jù)而言，相鄰時(shí)間道關(guān)聯(lián)性強(qiáng)，因?yàn)槠浒男畔⑹窍嘟?，距離較遠(yuǎn)的時(shí)間道關(guān)聯(lián)性較弱，這也滿足卷積神經(jīng)網(wǎng)絡(luò)的局部連接特性。

圖4 一維卷積神經(jīng)網(wǎng)絡(luò)的局部結(jié)構(gòu)Fig.4 Local structure of 1 D convolution neural network

一維卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖4所示，設(shè)定卷積核的移動步長為1，卷積核的大小為2。因此，對于任意中間層，網(wǎng)絡(luò)的輸入為x,x∈Rh-1，網(wǎng)絡(luò)的輸出為y,y∈Rh。網(wǎng)絡(luò)的輸入信號通過與卷積核相卷積得到網(wǎng)絡(luò)輸出, 對于輸出層的任意元素：

yi=f(k1+xi+k2xi+1b)

(3)

式中：f為激活函數(shù)；b為網(wǎng)絡(luò)偏置。在卷積神經(jīng)網(wǎng)絡(luò)最后一層加入20個(gè)神經(jīng)元的全連接網(wǎng)絡(luò)，對應(yīng)預(yù)測20個(gè)不同深度的電阻率，卷積層的激活函數(shù)為ReLU函數(shù)，全連接層的激活函數(shù)為Sigmoid。使用測試集測試網(wǎng)絡(luò)層數(shù)和每層卷積核數(shù)目對網(wǎng)絡(luò)性能的影響，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層數(shù)與每層卷積核數(shù)目對網(wǎng)絡(luò)性能的影響Fig.5 Influence of network layers and kernel numbers of each convolution on convolution neural network performance

由圖5可知，卷積神經(jīng)網(wǎng)絡(luò)在近似模型電阻率與響應(yīng)信號之間映射時(shí)，其準(zhǔn)確度隨著網(wǎng)絡(luò)層數(shù)與卷積核數(shù)的增加而上升。最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)為16，每層卷積核個(gè)數(shù)為80。圖6展示了最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)在測試集上的性能，卷積神經(jīng)網(wǎng)絡(luò)預(yù)測電阻率的準(zhǔn)確度大致隨著深度增加而降低。曲線沒有嚴(yán)格的單調(diào)遞增，這可能是由于訓(xùn)練集樣本多樣性不夠高，網(wǎng)絡(luò)的優(yōu)化算法不完美等眾多因素導(dǎo)致的神經(jīng)網(wǎng)絡(luò)算法不能達(dá)到理論上的最優(yōu)。

圖6 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測的電阻率與真實(shí)電阻率的平均絕對誤差(MAE)隨深度的變化趨勢Fig.6 Changing trend of mean absolute error (MAE) calculated between true resistivity and predicted resistivity by convolution neural network with depth

1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)針對時(shí)間序列進(jìn)行建模，采用參數(shù)共享原則，且具有一定的記憶功能。最早提出的循環(huán)神經(jīng)網(wǎng)絡(luò)存在長期依賴問題，即其無法有效的利用歷史信息,為了解決這個(gè)問題，Hochreiter et al.[18]提出長短期記憶模塊。長短期記憶模塊(long-short term memory, LSTM)通過其獨(dú)有的‘門’結(jié)構(gòu)，可以有效的解決長期依賴問題。

圖7 LSTM模塊的結(jié)構(gòu)Fig.7 Structure of LSTM medol

長短記憶模塊的基本結(jié)構(gòu)如圖7所示，xi表示t時(shí)刻網(wǎng)絡(luò)的輸入，hi表示t時(shí)刻網(wǎng)絡(luò)的輸出，si表示t時(shí)刻網(wǎng)絡(luò)的隱含信息，W為連接不同‘門’的權(quán)重矩陣,b為‘門’的偏置矩陣。ff為遺忘門，其含義為從當(dāng)前狀態(tài)中丟棄的信息，ft=σ(Wfxxt+Wfhht-1+bf)，it與gt構(gòu)成輸入門，it=σ(Wixxt+Wihht-1+bi),gt=tanh(Wgxxt+Wghht-1+bg),ot所在的位置為輸出門，ot=σ(Woxxt+Wohht-1+bo)。由此可得，st=gt·it+st-1·ft,ht=st·ot。循環(huán)神經(jīng)網(wǎng)絡(luò)與包含20個(gè)神經(jīng)元的全連接層相連，從而預(yù)測20個(gè)不同深度的電阻率，循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)間步長，即t的最大值設(shè)為4。使用測試集測試網(wǎng)絡(luò)層數(shù)和LSTM的隱層神經(jīng)元數(shù)目對網(wǎng)絡(luò)性能的影響，實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 循環(huán)神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層數(shù)與隱層神經(jīng)元數(shù)目對網(wǎng)絡(luò)性能的影響Fig.8 Influence of network layers and hidden neurons number of recurrent neural network on network performance

由圖8可知，循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測電阻率的準(zhǔn)確度隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加而升高，隨著隱層神經(jīng)元數(shù)目的增加而升高。在本實(shí)驗(yàn)中最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡(luò)為5層，隱層神經(jīng)元個(gè)數(shù)為160。圖9展示了最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡(luò)在測試集上的性能。

圖9 循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測電阻率值的準(zhǔn)確度隨深度的變化趨勢Fig.9 Changing trend of predicted resistivity accuracy by recurrent neural network with depth

循環(huán)神經(jīng)網(wǎng)絡(luò)的記憶功能使得網(wǎng)絡(luò)在預(yù)測深部電阻率時(shí)考慮淺部的電阻率信息，這使得所有時(shí)間道的數(shù)據(jù)都可以被有效的利用，增加了網(wǎng)絡(luò)信息利用效率。另一方面，使用多層LSTM模塊時(shí)，最后一層LSTM模塊的輸入可以看作是信號經(jīng)過其他LSTM模塊的預(yù)處理后得到的?？紤]LSTM模塊在時(shí)間方向的訓(xùn)練速度慢，認(rèn)為在保留最后一層LSTM的前提下，建立不同的神經(jīng)網(wǎng)絡(luò)組合系統(tǒng)也會得到較好的效果。

1.4 混合神經(jīng)網(wǎng)絡(luò)系統(tǒng)

構(gòu)建了包含兩種神經(jīng)網(wǎng)絡(luò)的混合系統(tǒng)，并通過實(shí)驗(yàn)測試兩種神經(jīng)網(wǎng)絡(luò)系統(tǒng)在測試集上的性能。首先對全連接網(wǎng)絡(luò)與LSTM組合的神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行測試，網(wǎng)絡(luò)層數(shù)采用4層，隱層神經(jīng)元數(shù)為200，LSTM模塊采用40個(gè)神經(jīng)元。圖10展示了該神經(jīng)網(wǎng)絡(luò)系統(tǒng)在測試集上的性能。

圖10 全連接網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)結(jié)合預(yù)測電阻率值的準(zhǔn)確度隨深度的變化趨勢Fig.10 Changing trend of predicted resistivity accuracy combined by full connected network and LSTM network with depth

考慮到卷積神經(jīng)網(wǎng)絡(luò)的工作方式符合電磁信號的數(shù)據(jù)特征的先驗(yàn)信息，建立了CNN與LSTM相結(jié)合的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，即電磁信號首先被輸入到3層卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取，再通過單層LSTM模塊中輸出地下模型。卷積神經(jīng)網(wǎng)絡(luò)每層的卷積核數(shù)為40， LSTM模塊采用40個(gè)神經(jīng)元。圖11為該神經(jīng)網(wǎng)絡(luò)系統(tǒng)在測試集上的表現(xiàn)。

圖11 卷積神經(jīng)網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)結(jié)合預(yù)測電阻率值的準(zhǔn)確度隨深度的變化趨勢 Fig.11 Changing trend of predicted resistivity accuracy combined by convolutional neural network and LSTM network with depth

2 網(wǎng)絡(luò)性能對比

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的近似函數(shù)能力，一個(gè)包含足夠多參數(shù)的三層神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)。然而，訓(xùn)練這樣的網(wǎng)絡(luò)是不現(xiàn)實(shí)的，因?yàn)槠洳粌H要求指數(shù)倍增長的參數(shù)數(shù)量，且目前為止沒有合適的優(yōu)化算法。實(shí)際上，在使用神經(jīng)網(wǎng)絡(luò)建模時(shí)，合理的網(wǎng)絡(luò)結(jié)構(gòu)往往能達(dá)到事倍功半的效果。網(wǎng)絡(luò)結(jié)構(gòu)確定了某個(gè)泛函空間，在一個(gè)合理的泛函空間進(jìn)行函數(shù)搜索會加快網(wǎng)絡(luò)收斂速度，降低網(wǎng)絡(luò)參數(shù)數(shù)目。另外，較少的參數(shù)會使得網(wǎng)絡(luò)不易過擬合，具有更強(qiáng)的泛化能力。為了找到合理的網(wǎng)絡(luò)模型，測試了不同類型的神經(jīng)網(wǎng)絡(luò)的性能，且采用在測試集上表現(xiàn)最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行對比分析，并統(tǒng)計(jì)了不同種類的神經(jīng)網(wǎng)絡(luò)訓(xùn)練所用時(shí)間(表1)。

表1 神經(jīng)網(wǎng)絡(luò)性能對比分析

表1直觀的表明了CNN與LSTM的組合與其他網(wǎng)絡(luò)組合相比，性能最好，使用參數(shù)數(shù)量最少，這在一定程度上證明了該組合更適合用來近似電磁信號與地下模型之間的映射關(guān)系。

3 理論數(shù)據(jù)成像

通過分析得知，CNN與LSTM相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)更適合近似電磁信號與地下模型之間的映射關(guān)系，圖12為不同神經(jīng)網(wǎng)絡(luò)在處理理論數(shù)據(jù)上性能的差異。

由圖12可知CNN與LSTM網(wǎng)絡(luò)在處理理論數(shù)據(jù)中的優(yōu)勢。為了測試CNN與LSTM相結(jié)合的神經(jīng)網(wǎng)絡(luò)處理實(shí)測數(shù)據(jù)的潛能，構(gòu)建了加有不同程度高斯噪聲的測試集，測試結(jié)果如圖13所示。

圖12 不同種類神經(jīng)網(wǎng)絡(luò)在測試集(3個(gè)隨機(jī)算例)上的表現(xiàn)Fig.12 Performance of different neural networks on test set

圖13 神經(jīng)網(wǎng)絡(luò)系統(tǒng)(CNN+LSTM)在測試集上的表現(xiàn)Fig.13 Performance of neural network system (CNN+LSTM) on test set

由于采用提前停止訓(xùn)練的方法,網(wǎng)絡(luò)會獲得一定的抗噪能力。通過圖13可以發(fā)現(xiàn)在10%的高斯噪聲影響下，神經(jīng)網(wǎng)絡(luò)預(yù)測的模型依然可以較好地反映真實(shí)模型信息，這說明該方法有一定的抗噪能力，有潛力處理實(shí)測數(shù)據(jù)。

4 結(jié)論

(1)通過數(shù)值實(shí)驗(yàn)與網(wǎng)絡(luò)模型測試，CNN與LSTM結(jié)合的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)綜合考慮了電磁信號的結(jié)構(gòu)，獲得電磁信號的物理過程，更適合用來近似電磁信號與地下模型之間的映射關(guān)系。

(2)通過早停法訓(xùn)練的CNN與LSTM結(jié)合的神經(jīng)網(wǎng)絡(luò)有較強(qiáng)的抗噪能力，能用來處理質(zhì)量參差不齊的數(shù)據(jù)，為實(shí)測數(shù)據(jù)處理提供理論依據(jù)與方法基礎(chǔ)。