瞬變電磁長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)深度學(xué)習(xí)實(shí)時(shí)反演方法

范濤，薛國強(qiáng)，李萍，燕斌，鮑亮，宋金秋，任笑，李澤林

1 中煤科工西安研究院(集團(tuán))有限公司，西安 710077 2 中國科學(xué)院地質(zhì)與地球物理研究所 中國科學(xué)院礦產(chǎn)資源研究重點(diǎn)實(shí)驗(yàn)室，北京 100029 3 西安電子科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，西安 710071

0 引言

瞬變電磁法作為一種低成本的地球物理勘探方法，多年以來一直被用于資源與環(huán)境領(lǐng)域(Guo et al., 2020；Fan et al., 2020；Di et al., 2020a).瞬變電磁實(shí)測(cè)數(shù)據(jù)一維反演方法，如共軛梯度法、高斯-牛頓法和最小二乘法等線性化反演(孫懷鳳等，2019；Maurya et al., 2019；陳衛(wèi)營等,2017；Li，2016)，也取得了一定的應(yīng)用效果.實(shí)際上，反演問題是非線性、多極值、多參數(shù)的，線性化近似在一定程度上會(huì)丟失細(xì)節(jié)信息，尤其是進(jìn)行較為精細(xì)的地質(zhì)結(jié)構(gòu)探查時(shí)，如果初始模型選擇不當(dāng)，極易陷入局部最優(yōu)解，而非全局最優(yōu)解，導(dǎo)致線性化反演的結(jié)果往往與實(shí)際情況相差甚遠(yuǎn).

由于地下介質(zhì)的復(fù)雜性，高維反演問題尚未妥善解決(Xue et al., 2020；Luan et al., 2020；Yin et al., 2015)，三維反演方法受限于復(fù)雜的三維正演算法，數(shù)據(jù)量巨大，占用資源過多，反演運(yùn)算速度緩慢，很難真正投入實(shí)際應(yīng)用(Cox et al., 2012；Oldenburg et al., 2013).因此，粒子群優(yōu)化算法、差分蟻群算法、模擬退火算法、人工魚群優(yōu)化方法、遺傳算法和貝葉斯方法等優(yōu)化方法得到研究和應(yīng)用(Di et al., 2020b；Li et al., 2021, 2019a；程久龍等，2014)，這些方法對(duì)初始模型依賴較小，且不需要計(jì)算雅克比矩陣，但仍需要大量正演計(jì)算，收斂速度較慢，算法參數(shù)的要求比較嚴(yán)格，參數(shù)選擇不當(dāng)甚至?xí)狗囱莩霈F(xiàn)早熟或是不收斂的情況，反演結(jié)果隨機(jī)性也較大.

神經(jīng)網(wǎng)絡(luò)技術(shù)也被應(yīng)用于瞬變電磁反演問題，出現(xiàn)了監(jiān)督下降法(SDM)、反向傳播(BP)算法、深度置信網(wǎng)絡(luò)算法和剪枝貝葉斯神經(jīng)網(wǎng)絡(luò)(PBNN)等(秦善強(qiáng)，2019；Jiang et al., 2016；王秀臣，2006；李創(chuàng)社等，2001)，無需經(jīng)典反演中的正演計(jì)算過程，也無需求解雅克比矩陣，可大大提高反演速度和效率.隨著技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于各個(gè)領(lǐng)域，相比于淺層神經(jīng)網(wǎng)絡(luò)，其具有更強(qiáng)的表達(dá)能力.目前，在電磁反演領(lǐng)域內(nèi)，全連接網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)與遺傳神經(jīng)網(wǎng)絡(luò)是常用的方法(Wu et al., 2021；程久龍等，2020；Li et al., 2019b；王鶴等，2018).然而，目前該研究領(lǐng)域內(nèi)還存在著數(shù)據(jù)集構(gòu)造較為簡(jiǎn)單，地層情況豐富度較低，模型設(shè)計(jì)簡(jiǎn)單對(duì)數(shù)據(jù)時(shí)序性利用不足等問題.同時(shí)，深度神經(jīng)網(wǎng)絡(luò)更容易出現(xiàn)過擬合、收斂速度慢、陷入局部最優(yōu)等情況.針對(duì)上述難點(diǎn)，需要對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行更好的設(shè)計(jì)，如使用各種基于動(dòng)量的優(yōu)化器、加入dropout、使用Layer Normalization機(jī)制(Ba et al., 2016)等.

由瞬變電磁數(shù)據(jù)可以得出其反演問題屬于時(shí)間序列問題，可使用深度學(xué)習(xí)中專門解決時(shí)序問題的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行處理.長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory Network，LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)中的一種特殊模型，它具備RNN的遞歸屬性(Visin et al., 2015)，同時(shí)也是RNN的一種改進(jìn)模型.它具有獨(dú)特的記憶、遺忘模式，可以靈活地適應(yīng)網(wǎng)絡(luò)學(xué)習(xí)任務(wù)的時(shí)序特征(Hochreiter and Schmidhuber, 1997).LSTM解決了RNN在長(zhǎng)序列訓(xùn)練過程中的梯度消失和梯度爆炸問題，能夠充分利用歷史信息，建模信號(hào)的時(shí)間依賴關(guān)系(Chung et al., 2014).至今，LSTM已經(jīng)在各種序列任務(wù)取得了巨大成功，例如，機(jī)器翻譯、語音識(shí)別、文本分類等(Ma et al., 2020；Merity et al., 2017；Zhang et al., 2016；Cho et al., 2014).

本文開展基于LSTM的瞬變電磁反演算法研究，在提高反演精度的前提下進(jìn)一步實(shí)現(xiàn)實(shí)時(shí)成像.首先介紹本文采用的LSTM方法理論和在此基礎(chǔ)上實(shí)現(xiàn)的瞬變電磁反演算法，然后將本文算法應(yīng)用于一維和三維數(shù)值模擬數(shù)據(jù)的反演中以檢驗(yàn)本文算法的有效性，并對(duì)比本文方法與傳統(tǒng)反演方法的計(jì)算耗時(shí).

1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)

LSTM網(wǎng)絡(luò)由輸入層、輸出層和隱藏層構(gòu)成，單元內(nèi)部結(jié)構(gòu)如圖1所示.

圖1 LSTM單元內(nèi)部結(jié)構(gòu)Fig.1 Internal structure of the LSTM unit

LSTM單元的工作流程如下：每一個(gè)時(shí)刻，LSTM單元通過3個(gè)門接受當(dāng)前狀態(tài)xt和上一時(shí)刻LSTM的隱藏狀態(tài)ht-1這兩類外部信息的輸入.此外，每一個(gè)門還接收一個(gè)內(nèi)部信息輸入，即記憶單元的狀態(tài)Ct-1.接收輸入信息后，每一個(gè)門將對(duì)不同來源的輸入進(jìn)行運(yùn)算，并且由其邏輯單元決定其是否激活.輸入門的輸入經(jīng)過非線性函數(shù)的變換后與遺忘門處理過的記憶單元狀態(tài)進(jìn)行疊加，形成新的記憶單元Ct.最終，記憶單元狀態(tài)Ct通過非線性函數(shù)的運(yùn)算和輸出門的工臺(tái)控制形成LSTM單元的輸出ht.

各變量之間的計(jì)算公式見(1)—(5)式：

it=σ(Wxfxt+Whfht-1+bf),

(1)

ft=σ(Wxfxt+Whfht-1+bf),

(2)

Ct=ftCt-1+ittanh(Wxcxc+Whfht-1+bc),(3)

ot=σ(Wxoxt+Whoht-1+bo),

(4)

ht=ottanh(Ct),

(5)

式中：Wxc、Wxi、Wxf、Wxo為連接輸入信號(hào)xt的權(quán)重矩陣；Whc、Whi、Whf、Who為連接隱含輸出信號(hào)ht的權(quán)重矩陣；Wci、Wcf、Wco為連接神經(jīng)元激活函數(shù)輸出矢量Ct和門函數(shù)的對(duì)角矩陣；bi、bc、bf、bo為偏置向量；σ為激活函數(shù)，通常為tanh或sigmoid函數(shù).

算法的基本思路為：先將LSTM網(wǎng)絡(luò)按照時(shí)間順序展開為一個(gè)深層的網(wǎng)絡(luò)，然后使用經(jīng)典的誤差反向傳播(back propagation，BP)算法對(duì)展開后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其示意圖如圖2所示.

圖2 LSTM網(wǎng)絡(luò)重復(fù)模式Fig.2 LSTM network duplication mode

2 序列到序列(Seq2seq)模型

2.1 Seq2seq模型簡(jiǎn)述

序列到序列(Seq2seq)模型為自然語言處理(natural language processing，NLP)領(lǐng)域的經(jīng)典模型，其中最常用的Encoder-Decoder模型如圖3所示.encoder接收每個(gè)時(shí)間步的輸入信息(X1,X2,X3,X4)，通過encoder將其編碼為一個(gè)表示向量，稱為context vector(圖中用C表示)，然后交給decoder來進(jìn)行解碼.decoder根據(jù)context vector與上個(gè)時(shí)間步的輸出信息產(chǎn)生每個(gè)時(shí)間步的輸出(Y1,Y2,〈EOS〉)，其中，〈g〉代表輸入序列的結(jié)束與輸出序列的開始，〈EOS〉代表輸出序列的結(jié)束，是一個(gè)事先定義在輸出字典里的標(biāo)志，循環(huán)網(wǎng)絡(luò)在產(chǎn)生此標(biāo)志后，不再進(jìn)行下一時(shí)間步的操作.

圖3 Encoder-Decoder結(jié)構(gòu)(a)Encoder結(jié)構(gòu)(b) Decoder結(jié)構(gòu)Fig.3 Encoder-Decoder structure (a) Encoder structure (b) Decoder structure

2.2 free running與teacher forcing

在NLP領(lǐng)域的機(jī)器翻譯問題中，decoder部分每一時(shí)間步的輸出代表著詞袋中每一個(gè)詞的預(yù)測(cè)出現(xiàn)概率，通常會(huì)將概率最大的詞作為翻譯的結(jié)果，并將相應(yīng)的詞嵌入向量作為下一時(shí)間步的輸入之一，這種結(jié)構(gòu)通常被稱為free running，此時(shí)Seq2seq內(nèi)部結(jié)構(gòu)如圖4所示.

圖4 Free running機(jī)制圖Fig.4 The free running mechanism diagram

為了提升訓(xùn)練速度，常常使用teacher forcing(Williams and Zipser, 1989)機(jī)制，在decoder端，使用真實(shí)的目標(biāo)文本作為每一時(shí)間步的輸入.每一步根據(jù)當(dāng)前正確的輸出詞和上一步的隱狀態(tài)，來預(yù)測(cè)下一步的輸出詞，Seq2seq的內(nèi)部結(jié)構(gòu)如圖5所示.

圖5 Teacher forcing機(jī)制圖Fig.5 The teacher forcing mechanism diagram

2.3 Attention機(jī)制

隨著輸入序列的不斷增長(zhǎng)，使用上述方法的序列到序列模型的表現(xiàn)會(huì)越來越差，于是人們提出了注意力(attention)機(jī)制，此方法使decoder的每個(gè)時(shí)間步的輸出可以根據(jù)不同的context vector生成，在decoder的不同時(shí)間步，產(chǎn)生對(duì)輸入序列的不同關(guān)注重點(diǎn).

假設(shè)共有n個(gè)時(shí)間步的輸入，encoder第i個(gè)時(shí)間步的輸出為ei，decoder第j-1個(gè)時(shí)間步的輸出為qj-1，則decoder第j個(gè)時(shí)間步的context vectorCj的計(jì)算公式如式(6)到式(8)所示.

(6)

(7)

(8)

Attention機(jī)制模型如圖6所示.decoder每個(gè)時(shí)間步使用不同的Cj.

圖6 Attention機(jī)制圖Fig.6 The attention mechanism diagram

3 基于LSTM的瞬變電磁反演

在模型訓(xùn)練環(huán)節(jié)，將正演得到視電阻率數(shù)據(jù)輸入模型進(jìn)行訓(xùn)練，并通過超參數(shù)優(yōu)化提升模型性能，之后運(yùn)用評(píng)估指標(biāo)進(jìn)行模型評(píng)估.最終，得到訓(xùn)練、優(yōu)化完成的模型用于預(yù)測(cè)未知的地層結(jié)構(gòu)，即使用模型完成瞬變電磁實(shí)時(shí)反演成像.

3.1 模擬數(shù)據(jù)準(zhǔn)備與評(píng)價(jià)指標(biāo)

模擬數(shù)據(jù)主要用來在理論層面上展示算法的可用性.而由于實(shí)際地層構(gòu)成情況十分復(fù)雜，則需要根據(jù)實(shí)際面臨的反演問題對(duì)模擬生成的訓(xùn)練數(shù)據(jù)進(jìn)行調(diào)整，并隨后在實(shí)測(cè)數(shù)據(jù)上進(jìn)行反演測(cè)試.

本文使用基于漢克爾變換和余弦變換的瞬變電磁一維正演程序生成樣本集.在模擬數(shù)據(jù)實(shí)驗(yàn)中，將正演模擬數(shù)據(jù)分為train(訓(xùn)練集)、eval(驗(yàn)證集)、test(測(cè)試集)三部分.在檢測(cè)數(shù)據(jù)實(shí)驗(yàn)中，使用人工指定參數(shù)、通過三維數(shù)值模擬生成的模型數(shù)據(jù)作為額外的測(cè)試數(shù)據(jù).檢測(cè)數(shù)據(jù)主要用來驗(yàn)證反演算法對(duì)復(fù)雜模型的適用性.

通過三個(gè)指標(biāo)評(píng)價(jià)算法的效果，分別是正演曲線點(diǎn)相對(duì)誤差(FPRE)、反演折線面積相對(duì)誤差(BARE)和反演折線點(diǎn)相對(duì)誤差(BPRE).

FPRE是通過在目標(biāo)地層結(jié)構(gòu)與預(yù)測(cè)地層結(jié)構(gòu)分別正演出的曲線上相應(yīng)取出N個(gè)點(diǎn)，計(jì)算它們的平均相對(duì)誤差得出的，它衡量了兩個(gè)正演曲線的擬合程度.具體計(jì)算公式如式(9)，其中pi為預(yù)測(cè)地層結(jié)構(gòu)的正演曲線上的第i個(gè)點(diǎn)，ti為目標(biāo)地層結(jié)構(gòu)的正演曲線上的第i個(gè)點(diǎn)：

(9)

BARE是通過計(jì)算代表目標(biāo)地層結(jié)構(gòu)與預(yù)測(cè)地層結(jié)構(gòu)的折線間的相對(duì)面積誤差得出的，它通過面積的差值比衡量了兩個(gè)地層結(jié)構(gòu)折線的相似程度.具體計(jì)算公式如式(10)，其中Stp指的是兩個(gè)折線之間圍城的面積，St指的是目標(biāo)地層結(jié)構(gòu)折線與x軸(x軸為深度，y軸為電阻率)圍成的面積：

(10)

BPRE是通過在代表目標(biāo)地層結(jié)構(gòu)與預(yù)測(cè)地層結(jié)構(gòu)的折線上相應(yīng)取出N個(gè)點(diǎn)，計(jì)算它們的平均相對(duì)誤差得出的，它通過點(diǎn)之間的差值比衡量了兩個(gè)地層結(jié)構(gòu)折線的相似程度.具體計(jì)算公式如式(11)，其中pi為預(yù)測(cè)地層結(jié)構(gòu)折線上的第i個(gè)點(diǎn)，ti為目標(biāo)地層結(jié)構(gòu)折線上的第i個(gè)點(diǎn)：

(11)

3.2 Seq2seq網(wǎng)絡(luò)設(shè)計(jì)

反演算法整體框架使用Seq2seq模型，包含encoder，decoder，attention三部分，整體結(jié)構(gòu)如圖7所示.

Encoder部分的主要目的是將input的信息用一個(gè)向量表示出來，本文所使用的encoder為雙向LSTM網(wǎng)絡(luò).在進(jìn)行地層預(yù)測(cè)時(shí)，需要綜合各個(gè)地層的信息，最終的地層預(yù)測(cè)結(jié)果由前面若干輸入和后面若干輸入共同決定，因此使用雙向LSTM網(wǎng)絡(luò)以使得預(yù)測(cè)結(jié)果更加準(zhǔn)確.

Encoder的詳細(xì)結(jié)構(gòu)如圖8所示.

圖7 反演算法整體框架Fig.7 Overall framework of the inversion algorithm

圖8 Encoder架構(gòu)圖Fig.8 Encoder Architecture diagram

早期的Seq2seq模型沒有使用attention機(jī)制，在輸入序列input較長(zhǎng)或者包含信息較多時(shí)，會(huì)丟失很多信息，attention機(jī)制可使decoder在翻譯時(shí)能夠依靠包含不同input信息側(cè)重點(diǎn)的context vector.本文使用Bahdanau Attention(Bahdanau et al.，2016)，主要計(jì)算過程如下：

(1)第i個(gè)target上下文向量ci會(huì)根據(jù)input的隱藏狀態(tài)加權(quán)求和得到：

(12)

(2)其中，對(duì)于每個(gè)hj的系數(shù)αij根據(jù)下式得到：

(13)

其中eij=a(si-1,hj)，si-1為輸出序列的上一個(gè)隱狀態(tài)，a將decoder的上一個(gè)隱狀態(tài)si-1和encoder的隱狀態(tài)hj作為輸入，計(jì)算出一個(gè)xi,yj對(duì)齊的值eij(此值可以衡量輸出序列和輸入序列的對(duì)應(yīng)情況，越對(duì)應(yīng)，權(quán)重越高，即注意力高)，再歸一化得到權(quán)重.

Attention機(jī)制的架構(gòu)如圖9所示.

圖9 Attention架構(gòu)圖Fig.9 The attention architecture diagram

Decoder部分每個(gè)時(shí)間步的輸入中不包括上一時(shí)間步的輸出，即本文的算法在free running結(jié)構(gòu)的基礎(chǔ)上進(jìn)行了適應(yīng)性修改.此做法是為了緩解過擬合，增強(qiáng)模型的泛化能力.在機(jī)器翻譯問題中，decoder每一時(shí)間步的輸出是詞的選中概率，算法需要根據(jù)此概率選出每一時(shí)間步的真正輸出詞匯，然后將其相應(yīng)的詞嵌入向量作為下一時(shí)間步的輸入，從而為模型補(bǔ)充被選詞的信息.而針對(duì)瞬變電磁反演問題，decoder的每一個(gè)時(shí)間步的輸出是實(shí)數(shù)，它們是LSTM的輸出htot經(jīng)過后續(xù)計(jì)算得到的，同時(shí)ht也作為隱藏狀態(tài)傳入到了下一時(shí)間步中，所以decoder的每一個(gè)時(shí)間步中不需要重復(fù)地輸入信息.這樣做一方面減少了網(wǎng)絡(luò)的參數(shù)量，另一方面避免了從輸入項(xiàng)中再次引入誤差.

Decoder的架構(gòu)如圖10所示.

圖10 Decoder架構(gòu)圖Fig.10 The decoder architecture diagram

3.3 損失函數(shù)設(shè)計(jì)

損失函數(shù)包含三部分，分別為：電阻率損失、厚度損失和深度損失，公式如式(14)所示.電阻率損失、厚度損失分別針對(duì)電阻率、地層厚度這兩個(gè)預(yù)測(cè)目標(biāo)進(jìn)行擬合.同時(shí)，為了避免每個(gè)地層的厚度預(yù)測(cè)誤差累積導(dǎo)致較深層地層的位置發(fā)生較大偏移，加入深度損失，對(duì)近地層的厚度預(yù)測(cè)進(jìn)行校正：

loss=lossρ+losst+lossd.

(14)

(15)

(16)

(17)

d1=t1,

(18)

di=ti+di-1,i=2,…,L,

(19)

(20)

(21)

3.4 超參數(shù)設(shè)置

本文所使用的Seq2seq模型的超參數(shù)以及訓(xùn)練過程的超參數(shù)如表1所示.

由于針對(duì)較復(fù)雜的地層，模型訓(xùn)練需要較多的數(shù)據(jù)，為了平衡正演樣本生成時(shí)間成本和模型預(yù)測(cè)的準(zhǔn)確性，設(shè)定訓(xùn)練、驗(yàn)證和測(cè)試樣本的比例為 0.9∶0.05∶0.05.

表1 超參數(shù)設(shè)置表Table 1 Over the parameter setting table

4 隨機(jī)模擬數(shù)據(jù)訓(xùn)練和測(cè)試

4.1 三層模型

本節(jié)通過使用表2所示的參數(shù)生成3個(gè)地層的正演模擬數(shù)據(jù).

表2 三層模型參數(shù)設(shè)置表Table 2 The parameter setting table of the three-layer model

本節(jié)實(shí)驗(yàn)最終的loss函數(shù)下降趨勢(shì)如圖11所示.從圖中可看出，loss不斷下降至收斂，且無過擬合現(xiàn)象.這說明該模型對(duì)三層地層的數(shù)據(jù)具備較強(qiáng)的擬合能力.

圖11 三層模型loss下降趨勢(shì)曲線圖Fig.11 The loss decay curve of the three-layer model

隨機(jī)選取了9個(gè)測(cè)試數(shù)據(jù)，本模型對(duì)地層分布的反演結(jié)果及目標(biāo)結(jié)果圖12所示.由于學(xué)習(xí)率衰減方式為階梯式衰減，如表1所示，所以loss下降趨勢(shì)呈階梯式下降，符合預(yù)期.從圖中可看出，反演結(jié)果中絕大部分的曲線都完全吻合，少部分地層的厚度和電阻率大小有一些誤差，但均處于可接受范圍內(nèi).因此，基于時(shí)間序列的反演模型具有學(xué)習(xí)出三層地層形態(tài)的能力.

模型的三個(gè)衡量指標(biāo)結(jié)果如表3所示.

表3 三層模型衡量指標(biāo)值表Table 3 Table of three-layer model measures

4.2 五層模型

本節(jié)通過使用表4所示的參數(shù)生成5個(gè)地層的正演模擬數(shù)據(jù).

表4 五層模型參數(shù)設(shè)置Table 4 Five-layer model parameter settings

圖12 三層模型部分反演結(jié)果與目標(biāo)對(duì)比(a) 模型17; (b) 模型24; (c) 模型75; (d) 模型94; (e) 模型131; (f) 模型183; (g) 模型206; (h) 模型277; (i) 模型349.Fig.12 The partial inversion results of the three-layer model are compared with the target(a) Model 17; (b) Model 24; (c) Model 75; (d) Model 94; (e) Model 131; (f) Model 183; (g) Model 206; (h) Model 277; (i) Model 349.

本實(shí)驗(yàn)最終的loss函數(shù)下降趨勢(shì)如圖13所示.從圖中可看出，loss不斷下降至收斂，僅出現(xiàn)了輕微的過擬合現(xiàn)象.這說明該模型對(duì)五層地層的數(shù)據(jù)仍具備較強(qiáng)的擬合能力.

圖13 五層模型loss下降趨勢(shì)曲線圖Fig.13 The loss downward trend curve of the five-layer model

同樣隨機(jī)選取了9個(gè)測(cè)試數(shù)據(jù)，本模型對(duì)地層分布的反演結(jié)果及目標(biāo)結(jié)果圖14所示.從圖中可看出，隨著地層數(shù)的增加，雖然五層的反演結(jié)果相較于三層的結(jié)果準(zhǔn)確度有所下降，但是Seq2seq模型的反演結(jié)果依然能夠較好地預(yù)測(cè)出地層厚度和電阻率的整體變化趨勢(shì)，基本能夠和目標(biāo)地層情況吻合，說明該模型在五層地層數(shù)據(jù)上依然比較穩(wěn)定.且從圖14中可以看出，深度的反演誤差相對(duì)于厚度和電阻率的反演誤差較小，從而印證了loss函數(shù)中深度loss的設(shè)計(jì)使得模型在淺層地層厚度有預(yù)測(cè)偏差時(shí)，對(duì)后續(xù)深層地層的預(yù)測(cè)不會(huì)產(chǎn)生較大的影響.

模型的三個(gè)衡量指標(biāo)結(jié)果如表5所示.從三個(gè)評(píng)價(jià)指標(biāo)中可看出，與三層數(shù)據(jù)的訓(xùn)練結(jié)果相比較，五層數(shù)據(jù)的測(cè)試效果出現(xiàn)下降，這說明面對(duì)復(fù)雜的地層分布情況，模型需要擴(kuò)充容量或進(jìn)行針對(duì)性設(shè)計(jì).

圖14 五層模型部分反演結(jié)果與目標(biāo)對(duì)比(a) 模型59; (b) 模型87; (c) 模型165; (d) 模型216; (e) 模型269; (f) 模型323; (g) 模型485; (h) 模型540; (i) 模型634.Fig.14 The partial inversion results of the five-layer model are compared with the target(a) Model 59; (b) Model 87; (c) Model 165; (d) Model 216; (e) Model 269; (f) Model 323; (g) Model 485; (h) Model 540; (i) Model 634.

表5 五層模型衡量指標(biāo)值Table 5 Measurement values of the five-layer model

5 檢測(cè)數(shù)據(jù)驗(yàn)證

5.1 均勻空間單一低阻異常模型

首先設(shè)置一個(gè)簡(jiǎn)單地電模型檢驗(yàn)反演模型的準(zhǔn)確性，模型設(shè)計(jì)如圖15a所示，背景為均勻半空間，電阻率為500 Ωm，異常體在模型中心，電阻率為10 Ωm，異常體埋深為50 m，厚度為50 m，發(fā)射線框邊長(zhǎng)100 m，測(cè)點(diǎn)共布置3個(gè)，異常體上方1個(gè)，兩側(cè)各1個(gè).

對(duì)圖15a中的測(cè)點(diǎn)數(shù)據(jù)進(jìn)行反演，可得如圖15(b、c)所示的反演結(jié)果.對(duì)比(b)(c)兩圖可以看出，OCAMM反演結(jié)果盡管能夠反演出測(cè)區(qū)中部有一低阻異常區(qū)，橫向邊界也很清晰，但深度方向的邊界分辨率較低，上邊界大約在30 m，下邊界無法分辨，異常中心的電阻率值也要明顯高于設(shè)置值，且異常體兩側(cè)的正常測(cè)點(diǎn)也表現(xiàn)出了輕微的高阻-低阻-高阻分層特征，與設(shè)置的均勻背景不符；而Seq2seq模型反演結(jié)果中，低阻異常體的邊界非常清晰，與設(shè)置位置完全吻合，異常體的電阻率值與設(shè)置值相同，異常體兩側(cè)的正常測(cè)點(diǎn)的電阻率也與設(shè)置的均勻背景值一致，僅異常體下方的電阻率值比設(shè)置的背景值略低.

圖15 均勻空間模型示意圖和反演結(jié)果(a) 模型示意圖; (b) OCAMM反演結(jié)果; (c) Seq2seq模型反演結(jié)果.Fig.15 Model schematic diagram and inversion results(a) Model schematic; (b) OCAMM inversion results; (c) Seq2seq model inversion results.

本次測(cè)試，OCAMM反演結(jié)果用時(shí)約16.34 min，Seq2seq模型反演用時(shí)小于1 s.

以該模型為基礎(chǔ)，通過對(duì)正演數(shù)據(jù)加入不同比例的噪聲，檢測(cè)Seq2seq模型反演算法的適用性，結(jié)果如圖16所示.圖中可以看出，即使噪聲增加到20%，對(duì)與背景值差異較大的異常體邊界的反演結(jié)果依然較為準(zhǔn)確，但噪聲僅增加2%，均勻背景中就開始出現(xiàn)不均勻的現(xiàn)象，噪聲增加至10%，均勻背景就表現(xiàn)出明顯Q型地層特征，且異常體上部地層電阻率也與兩側(cè)背景值出現(xiàn)了肉眼可見的差異，在噪聲進(jìn)一步增加后，這種表現(xiàn)較為穩(wěn)定.因此綜合來看，當(dāng)正演數(shù)據(jù)中噪聲占比達(dá)10%以上時(shí)，反演成果中與背景值差異較大的顯著異常仍有較大的可信度，但與背景值差異較小的異常的置信度需要調(diào)低.

圖16 加噪聲正演數(shù)據(jù)的反演結(jié)果對(duì)比(a) 無噪聲; (b) 噪聲占比2%; (c) 噪聲占比5%; (d) 噪聲占比10%; (e) 噪聲占比15%; (f) 噪聲占比20%.Fig.16 Comparison of inversion results for noisy forward modeling data(a) No noise; (b) Noise accounts for 2%; (c) Noise accounts for 5%; (d) Noise accounts for 10%; (e) Noise accounts for 15%; (f) Noise accounts for 20%.

5.2 復(fù)雜地層高低阻異常交錯(cuò)模型

為進(jìn)一步驗(yàn)證Seq2seq模型反演算法對(duì)復(fù)雜地電模型的反演效果，設(shè)計(jì)了如圖17a的模型.圖中背景電阻率為300 Ωm，中間含斷層的煤層層位電阻率為700 Ωm，厚度為200 m，左側(cè)寬度為11個(gè)測(cè)點(diǎn)，右側(cè)寬度為17個(gè)測(cè)點(diǎn)，左上角的低阻異常電阻率為10 Ωm，埋深50 m，厚度100 m，寬度為4個(gè)測(cè)點(diǎn)，左下角的高阻異常電阻率為1000 Ωm，埋深500 m，厚度200 m，寬度為2個(gè)測(cè)點(diǎn)，右上角的高阻異常電阻率為1000 Ωm，埋深50 m，厚度100 m，寬度為2個(gè)測(cè)點(diǎn)，右下角的低阻異常電阻率為10 Ωm，埋深400 m，厚度300 m，寬度為4個(gè)測(cè)點(diǎn).發(fā)射線框邊長(zhǎng)400 m.

圖17 復(fù)雜地層模型示意圖和反演結(jié)果(a) 模型示意圖; (b) OCAMM反演結(jié)果; (c) Seq2seq模型反演結(jié)果.Fig.17 Model schematic diagram and inversion results(a) Model schematic; (b) OCAMM inversion results; (c) Seq2seq model inversion results.

對(duì)圖17a中的測(cè)點(diǎn)數(shù)據(jù)進(jìn)行反演，可得如圖17b、c所示的反演結(jié)果.對(duì)比(b)(c)兩圖可以看出，OCAMM反演結(jié)果對(duì)煤層、斷層和4個(gè)異常體均有一定反映，但埋深、厚度和邊界均不準(zhǔn)確、不清晰，尤其是異常埋深和下邊界，均與設(shè)置值不符，下部?jī)蓚€(gè)異常體的下邊界甚至無法反映，各個(gè)部分的電阻率也與設(shè)置值差異較大；而Seq2seq模型反演結(jié)果中，煤層、斷層和4個(gè)異常體的邊界反映均較為清晰，尤其是埋深、厚度、上下界面都與設(shè)置值基本吻合，僅煤層厚度存在一定誤差，而較寬的兩個(gè)異常體，中間和兩側(cè)的厚度及上下邊界也有一定誤差，此外，除低阻異常體外的其他區(qū)域，電阻率值較設(shè)置值均偏低，但總體來看，反演精度顯著高于OCAMM反演結(jié)果，與預(yù)設(shè)模型吻合度較高.

本次測(cè)試，OCAMM反演結(jié)果用時(shí)約30.58 min，Seq2seq模型反演用時(shí)小于1 s.

6 結(jié)論

本文基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)結(jié)合瞬變電磁正演算法，成功實(shí)現(xiàn)了可實(shí)時(shí)成像的高精度瞬變電磁反演.數(shù)萬組以上隨機(jī)正演模型的反演結(jié)果表明，Seq2seq模型的反演算法計(jì)算精度較高，但隨著地層層數(shù)的增加，會(huì)出現(xiàn)一定的過擬合現(xiàn)象，需要擴(kuò)充樣本庫容量或進(jìn)行針對(duì)性正演模型設(shè)計(jì).三維數(shù)值模擬模型的反演結(jié)果表明，Seq2seq模型的反演算法精度和速度都顯著優(yōu)于傳統(tǒng)的OCCAM反演方法，尤其是對(duì)于復(fù)雜模型，Seq2seq模型的反演結(jié)果能準(zhǔn)確反映多個(gè)異常體和地層的邊界位置、電阻率差異，反演速度更是達(dá)到實(shí)時(shí)化水平.本文的反演結(jié)果已經(jīng)證實(shí)了基于LSTM網(wǎng)絡(luò)的Seq2seq模型相較于傳統(tǒng)反演方法的優(yōu)越性，但是瞬變電磁三維反演仍是業(yè)界一個(gè)非常具有挑戰(zhàn)性的問題，基于Seq2seq模型的三維三分量反演算法將是我們未來的重點(diǎn)研究方向.