基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的橫波預(yù)測(cè)方法

周恒 ，武中原 ，張欣 ，張春雷 ，馬喬雨

（1.中國(guó)地質(zhì)大學(xué)（北京）數(shù)理學(xué)院，北京 100083；2.北京師范大學(xué)統(tǒng)計(jì)學(xué)院，北京 100875；3.北京中地潤(rùn)德石油科技有限公司，北京 100083）

0 引言

碳酸鹽巖儲(chǔ)層已探明石油、天然氣儲(chǔ)量分別占全國(guó)石油、天然氣儲(chǔ)量的8%和28%，是重要的油氣勘探目標(biāo)[1-4]。但該類儲(chǔ)層具有巖性多樣、非均質(zhì)性強(qiáng)、孔隙結(jié)構(gòu)復(fù)雜的特點(diǎn)，給測(cè)井解釋帶來(lái)很大難度[5-7]。橫波速度是進(jìn)行碳酸鹽巖儲(chǔ)層評(píng)價(jià)、流體識(shí)別和疊前正反演必需的基礎(chǔ)資料，將測(cè)井參數(shù)與縱橫波速度資料相結(jié)合，可以有效提升儲(chǔ)層物理參數(shù)預(yù)測(cè)效果和地震振幅解釋效果[8-11]。不同于常規(guī)測(cè)井，橫波速度通常需要通過(guò)偶極子聲波得到。由于測(cè)試價(jià)格昂貴、測(cè)試結(jié)果較差、橫波測(cè)井解釋難度較高等諸多問(wèn)題，實(shí)際生產(chǎn)中往往缺失橫波速度資料，因此，開(kāi)展碳酸鹽巖儲(chǔ)層的橫波預(yù)測(cè)具有重要的意義[12-13]。

目前常用的橫波預(yù)測(cè)方法主要有3種——經(jīng)驗(yàn)公式法[14-17]、理論模型法[18-20]、機(jī)器學(xué)習(xí)法[21-22]。 經(jīng)驗(yàn)公式法往往只適用于某一地區(qū)，缺乏泛用性，理論模型法參數(shù)眾多且預(yù)測(cè)效果較差，因此近年來(lái)機(jī)器學(xué)習(xí)法得到迅速發(fā)展，在地質(zhì)領(lǐng)域逐漸成為研究熱點(diǎn)。傳統(tǒng)的機(jī)器學(xué)習(xí)法，如決策樹(shù)、支持向量機(jī)、多元線性回歸等，是根據(jù)特定的學(xué)習(xí)準(zhǔn)則構(gòu)建測(cè)井參數(shù)與橫波之間的映射關(guān)系，但忽略了連續(xù)變量的序列特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）能夠在一定程度上解決序列數(shù)據(jù)的前后關(guān)聯(lián)問(wèn)題，但由于梯度爆炸和梯度消失問(wèn)題而效果不佳[23]。長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）[24]是一種改進(jìn)的 RNN，在有效提取序列特征的同時(shí)，引入門(mén)控單元，實(shí)現(xiàn)長(zhǎng)短時(shí)信息的有效記憶，能夠控制長(zhǎng)短時(shí)信息的遺忘與更新，表達(dá)不同測(cè)井參數(shù)的尺度承載能力和橫波的沉積序列特征，挖掘測(cè)井參數(shù)與橫波之間的深層聯(lián)系。

以鄂爾多斯盆地蘇里格氣田蘇東地區(qū)碳酸鹽巖儲(chǔ)層為例，開(kāi)展了基于LSTM方法的橫波預(yù)測(cè)方法研究。首先，通過(guò)測(cè)井資料與測(cè)井參數(shù)敏感性分析，選擇與橫波時(shí)差相關(guān)的16種測(cè)井參數(shù)；然后，構(gòu)建基于LSTM的橫波時(shí)差預(yù)測(cè)模型，并與多種機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比，分析LSTM在橫波預(yù)測(cè)中的具體表現(xiàn)。

1 方法原理

1.1 RNN

RNN是一種針對(duì)序列數(shù)據(jù)特征提取的神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)沒(méi)有考慮數(shù)據(jù)的時(shí)序性，因而在處理序列特征時(shí)效果較差。RNN引入自循環(huán)單元后，不但能夠充分考慮當(dāng)前信息，還能有效學(xué)習(xí)隱變量傳遞的歷史信息，從而具有一定的“記憶”功能。RNN在每次模型預(yù)測(cè)時(shí)不僅考慮了當(dāng)前輸入信息，也考慮了之前所有的歷史信息。RNN的鏈?zhǔn)浇Y(jié)構(gòu)與序列數(shù)據(jù)建模契合，使得RNN在序列數(shù)據(jù)分析中具有較大優(yōu)勢(shì)，成為解決序列數(shù)據(jù)最自然的結(jié)構(gòu)。

為避免復(fù)雜的參數(shù)學(xué)習(xí)，RNN在所有時(shí)間維度上實(shí)現(xiàn)參數(shù)共享，在簡(jiǎn)化網(wǎng)絡(luò)模型的同時(shí)，能夠?qū)W習(xí)任意長(zhǎng)度的序列數(shù)據(jù)。相較于BP神經(jīng)網(wǎng)絡(luò)，RNN每個(gè)神經(jīng)元具有 2 個(gè)輸入信息（xt，ht-1）和 2 個(gè)輸出信息（ot，ht）。xt為t時(shí)刻的輸入信息，ht-1為t-1時(shí)刻輸出（即t時(shí)刻輸入）的隱狀態(tài)信息，ht為t時(shí)刻輸出的隱狀態(tài)信息，ot為t時(shí)刻的輸出信息。RNN循環(huán)單元的計(jì)算公式為

式中：Wih為輸入門(mén)與隱狀態(tài)間的權(quán)重；bih為輸入門(mén)與隱狀態(tài)間的偏置；Whh為隱狀態(tài)間的權(quán)重；bhh為隱狀態(tài)間的偏置；Wio為輸入門(mén)與輸出門(mén)間的權(quán)重；bio為輸入門(mén)與輸出門(mén)間的偏置。

Wih和Whh對(duì)序列長(zhǎng)度較為敏感。當(dāng)序列較長(zhǎng)時(shí)，循環(huán)單元很難依靠隱狀態(tài)記憶長(zhǎng)時(shí)序的信息，在反向傳播時(shí)就會(huì)導(dǎo)致RNN梯度爆炸或者梯度消失，使得RNN無(wú)法有效學(xué)習(xí)序列特征。

1.2 LSTM

LSTM 由 Hochreiter等[24]于 1997 年提出，與 RNN對(duì)歷史信息的簡(jiǎn)單疊加不同，LSTM通過(guò)3個(gè)門(mén)層對(duì)當(dāng)前信息和歷史信息進(jìn)行選擇；同時(shí)，LSTM引入細(xì)胞狀態(tài)傳遞長(zhǎng)序列信息，能夠綜合局部信息和序列信息，實(shí)現(xiàn)長(zhǎng)短時(shí)記憶；LSTM具有類似RNN的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，且增加了控制器操作信息的丟棄和增加，從而實(shí)現(xiàn)遺忘和記憶功能。門(mén)控制器是一種選擇信息的結(jié)構(gòu)，包含一個(gè)sigmoid函數(shù)和一個(gè)點(diǎn)乘操作。其中，sigmoid函數(shù)將輸入值約束在[0，1]，從而控制信息的學(xué)習(xí)承擔(dān)，0代表完全舍棄，1代表完全學(xué)習(xí)。

LSTM的基本循環(huán)單元（見(jiàn)圖1）主要包括3個(gè)門(mén)層（輸入門(mén)、輸出門(mén)、遺忘門(mén)）和1個(gè)狀態(tài)更新層。輸入門(mén)控制信息的輸入，遺忘門(mén)控制歷史信息的保留，輸出門(mén)控制信息的輸出，狀態(tài)更新層控制狀態(tài)信息的更新。各門(mén)層計(jì)算公式見(jiàn)表1。表中：ft為t時(shí)刻遺忘門(mén)的輸出；σ為sigmoid函數(shù)；it為t時(shí)刻輸入門(mén)的輸出；為t時(shí)刻 tanh層的輸出；Ct，Ct-1分別為 t，t-1時(shí)刻的細(xì)胞狀態(tài)；W 為權(quán)重；b 為偏置；下標(biāo) f，i，c，o分別表示遺忘門(mén)、輸入門(mén)、狀態(tài)更新層、輸出門(mén)。

圖1 LSTM循環(huán)單元結(jié)構(gòu)

表1 LSTM各門(mén)層計(jì)算公式

LSTM在進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)時(shí)，首先通過(guò)遺忘門(mén)和輸入門(mén)對(duì)當(dāng)前的輸入信息和前一時(shí)刻的隱狀態(tài)進(jìn)行學(xué)習(xí)，去除細(xì)胞狀態(tài)中需要遺忘的歷史序列信息，選出有用的當(dāng)前序列信息加入到細(xì)胞狀態(tài)，然后在輸出門(mén)根據(jù)更新后的細(xì)胞狀態(tài)提供長(zhǎng)期序列信息，結(jié)合當(dāng)前輸入信息和前一時(shí)刻隱狀態(tài)實(shí)現(xiàn)隱狀態(tài)更新。在每次迭代中，LSTM能夠根據(jù)當(dāng)前輸入信息更新細(xì)胞狀態(tài)和隱狀態(tài)，保持序列信息的有效學(xué)習(xí)。

2 實(shí)例分析

2．1 數(shù)據(jù)背景

研究區(qū)位于內(nèi)蒙古自治區(qū)烏審旗境內(nèi)，南鄰陜西省靖邊縣，東鄰陜西省橫山縣。區(qū)域構(gòu)造位于鄂爾多斯盆地伊陜斜坡北部，下古生界的馬家溝組五段碳酸鹽巖為其重要的含氣儲(chǔ)層，巖性主要包括白云巖、泥質(zhì)白云巖、石灰質(zhì)白云巖、泥質(zhì)石灰?guī)r、白云質(zhì)石灰?guī)r和石灰?guī)r，孔隙類型主要有粒間孔、溶孔、膏?？缀蜕倭课⒘芽p，孔隙流體為天然氣和水。

選取與橫波時(shí)差（SAC）相關(guān)的16個(gè)測(cè)井參數(shù)：縱波時(shí)差（AC）、補(bǔ)償中子（CNL）、密度（DEN）、自然伽馬（GR）、自然電位（SP）、光電吸收截面指數(shù)（PE）、深側(cè)向電阻率（RLLD）、淺側(cè)向電阻率（RLLS）、陣列感應(yīng)電阻率（RT10，RT20，RT30，RT60，RT90）、鉀的質(zhì)量分?jǐn)?shù)（w（K））、釷的質(zhì)量濃度（ρ（TH））、鈾的質(zhì)量濃度（ρ（U））。參數(shù)特征如圖2所示。

圖2 研究區(qū)測(cè)井參數(shù)特征

傳統(tǒng)巖石物理模型表明，橫波預(yù)測(cè)過(guò)程受巖石礦物、孔隙結(jié)構(gòu)、孔隙流體等因素的影響，因此，不同測(cè)井參數(shù)對(duì)橫波速度都有一定指示作用。從所選測(cè)井參數(shù)與橫波時(shí)差之間的相關(guān)性可以看出，不同測(cè)井參數(shù)之間具有相關(guān)性，且都與橫波時(shí)差存在一定的聯(lián)系。不同巖石的孔隙流體、孔隙結(jié)構(gòu)、礦物特征均不同，導(dǎo)致測(cè)井參數(shù)差異較大，最終表現(xiàn)為橫波時(shí)差的不同，因此，綜合這些測(cè)井參數(shù)，能夠有效表達(dá)儲(chǔ)層的橫波特征。

2．2 模型構(gòu)建

傳統(tǒng)的橫波預(yù)測(cè)方法往往針對(duì)某一特定儲(chǔ)層，泛化性較差；而深度學(xué)習(xí)法是一種數(shù)據(jù)驅(qū)動(dòng)方法，能夠自適應(yīng)地提取相關(guān)特征，構(gòu)建測(cè)井參數(shù)與橫波時(shí)差之間的深層次映射，具有較強(qiáng)的泛化性。圖3為本研究提出的基于LSTM方法的橫波預(yù)測(cè)流程。構(gòu)建橫波預(yù)測(cè)模型時(shí)，首先需要數(shù)據(jù)標(biāo)準(zhǔn)化，這樣能夠有效避免量綱對(duì)模型學(xué)習(xí)的影響，并顯著提升模型訓(xùn)練速度（常用的標(biāo)準(zhǔn)化方法是均值方差標(biāo)準(zhǔn)化，轉(zhuǎn)化后的數(shù)據(jù)服從標(biāo)準(zhǔn)正態(tài)分布）；然后需要對(duì)測(cè)井參數(shù)進(jìn)行轉(zhuǎn)換，得到包含局部時(shí)序特征的測(cè)井參數(shù)；最后構(gòu)建LSTM模型進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，和多種機(jī)器學(xué)習(xí)方法對(duì)比，評(píng)估LSTM模型的表現(xiàn)。由于橫波預(yù)測(cè)是回歸問(wèn)題，LSTM使用均方根誤差（RMSE）和決定系數(shù)（R2）對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，同時(shí)使用Adam優(yōu)化器加速網(wǎng)絡(luò)學(xué)習(xí)，為防止網(wǎng)絡(luò)過(guò)擬合，還引入了dropout提升模型的泛化能力。

圖3 基于LSTM的橫波預(yù)測(cè)流程

2.3 結(jié)果分析

數(shù)據(jù)總樣本數(shù)為2 904個(gè)，橫波預(yù)測(cè)模型建立過(guò)程中隨機(jī)選取50%的樣本集作為訓(xùn)練集，其余50%作為驗(yàn)證集，時(shí)間步長(zhǎng)為8，dropout設(shè)置為0.25，網(wǎng)絡(luò)使用2個(gè)LSTM層和3個(gè)全連接層，激活函數(shù)為RELU，學(xué)習(xí)率為0.001。為驗(yàn)證LSTM的穩(wěn)健性和泛化能力，選擇貝葉斯回歸（Bayes）、BP 神經(jīng)網(wǎng)絡(luò)（BP）、K 近鄰回歸（KNN）、決策樹(shù)（DT）、線性回歸（LR）、支持向量機(jī)（SVM）等機(jī)器學(xué)習(xí)方法，以及傳統(tǒng)巖石物理模型方法中的Xu-Payne模型一起進(jìn)行對(duì)比。根據(jù)研究區(qū)地質(zhì)背景分析和碳酸鹽巖儲(chǔ)層特征，將Xu-Payne模型簡(jiǎn)化為白云石、方解石、泥質(zhì)3種礦物，少量的粒間孔、溶孔、微裂縫3種孔隙類型，以及天然氣和水2種孔隙流體。傳統(tǒng)的Xu-Payne模型預(yù)測(cè)橫波時(shí)差，首先是通過(guò)測(cè)井解釋得到方解石、白云石和泥質(zhì)的體積分?jǐn)?shù)、孔隙度、含氣飽和度，同時(shí)根據(jù)已知的縱波速度和密度，采用模型進(jìn)行橫波預(yù)測(cè)，然后根據(jù)文獻(xiàn)[25]確定模型計(jì)算過(guò)程中所用的礦物及流體組分。

2.3.1 定性分析

從定性角度分析不同方法的橫波預(yù)測(cè)結(jié)果（見(jiàn)圖4）。由圖可知：1）機(jī)器學(xué)習(xí)方法的精度明顯高于Xu-Payne模型，表明機(jī)器學(xué)習(xí)方法能夠更加有效地提取測(cè)井參數(shù)本身的特征，從而構(gòu)建精度更高的預(yù)測(cè)模型。2）基于LSTM的預(yù)測(cè)結(jié)果精度最高，而其他的機(jī)器學(xué)習(xí)方法則在一些層位出現(xiàn)較大的誤差。比如在橫波波動(dòng)較大的3 515 m處，多數(shù)機(jī)器學(xué)習(xí)方法的預(yù)測(cè)結(jié)果都出現(xiàn)了較大偏差；在橫波相對(duì)平緩的3 485 m處，Bayes和LR的預(yù)測(cè)結(jié)果波動(dòng)較大，而LSTM的結(jié)果則和實(shí)際情況相符。

圖4 不同方法的橫波預(yù)測(cè)結(jié)果

2.3.2 定量分析

從定量角度分析不同機(jī)器學(xué)習(xí)方法的橫波預(yù)測(cè)結(jié)果（見(jiàn)表1）。由表可知，LSTM在不同巖性、流體中均取得最佳預(yù)測(cè)結(jié)果。1）從巖性來(lái)看，石灰?guī)r、白云質(zhì)石灰?guī)r、白云巖和石灰質(zhì)白云巖結(jié)構(gòu)較為復(fù)雜，在實(shí)際學(xué)習(xí)過(guò)程中，這幾類巖性的橫波預(yù)測(cè)結(jié)果相差較大，這是因?yàn)椴煌椒ú扇〉膶W(xué)習(xí)策略不同，學(xué)習(xí)特征不平衡，從而在面對(duì)復(fù)雜儲(chǔ)層結(jié)構(gòu)時(shí)，預(yù)測(cè)精度呈現(xiàn)出較大的差異；而LSTM對(duì)不同巖性的橫波預(yù)測(cè)精度均在0.850以上，這也表明LSTM能夠通過(guò)特有的時(shí)序結(jié)構(gòu)，有效提取測(cè)井參數(shù)序列特征，實(shí)現(xiàn)測(cè)井參數(shù)與橫波時(shí)差之間的整體匹配，從而對(duì)不同巖性都能實(shí)現(xiàn)有效識(shí)別，具有更強(qiáng)的泛化性。2）從流體來(lái)看，BP和SVM能夠有效提取干層的橫波特征，而在預(yù)測(cè)氣水同層時(shí)不能有效學(xué)習(xí)，精度較低；Bayes和KNN等方法的學(xué)習(xí)策略較為簡(jiǎn)單，對(duì)2種流體的學(xué)習(xí)精度都偏低；LSTM則可以有效提取干層和氣水同層橫波特征，預(yù)測(cè)精度較高。

表1 不同機(jī)器學(xué)習(xí)方法預(yù)測(cè)橫波時(shí)差的決定系數(shù)

2.3.3 誤差統(tǒng)計(jì)

為進(jìn)一步分析LSTM的橫波預(yù)測(cè)效果，對(duì)不同機(jī)器學(xué)習(xí)法預(yù)測(cè)橫波時(shí)差的絕對(duì)誤差（以下簡(jiǎn)稱誤差）進(jìn)行統(tǒng)計(jì)?？偟膩?lái)說(shuō)，LSTM的誤差不超過(guò)20 μs/m，而其他方法的誤差最高達(dá)到60 μs/m，這也體現(xiàn)了LSTM方法具有較高的魯棒性。從局部來(lái)看：LSTM的誤差分布較為均衡，沒(méi)有出現(xiàn)較大偏差；Bayes，LR和SVM在橫波時(shí)差極值附近的誤差較大，達(dá)到40 μs/m左右，說(shuō)明這些方法在面對(duì)橫波劇烈變化時(shí)不能有效捕捉序列特征，從而導(dǎo)致預(yù)測(cè)效果較差。從整體來(lái)看：BP和KNN大部分預(yù)測(cè)結(jié)果都與原始數(shù)據(jù)存在10～20 μs/m的差值；LSTM除了少部分波動(dòng)點(diǎn)外，絕大部分預(yù)測(cè)誤差都在10 μs/m以內(nèi)，說(shuō)明LSTM能夠根據(jù)數(shù)據(jù)本身的序列特征，深度挖掘測(cè)井參數(shù)與橫波的整體匹配模式，構(gòu)造符合實(shí)際地質(zhì)情況的高精度橫波預(yù)測(cè)模型。

2.3.4 特征組合

為分析測(cè)井參數(shù)對(duì)碳酸鹽巖儲(chǔ)層不同巖性、流體中橫波時(shí)差預(yù)測(cè)的影響，按照不同測(cè)井參數(shù)在地質(zhì)分析中的相關(guān)性與獲取的難易程度，確定4種特征組合方案：V6（AC，CNL，DEN，GR，PE，SP），V8（V6 基礎(chǔ)上加入 RLLD和 RLLS），V13（V8 基礎(chǔ)上加入 RT10，RT20，RT30，RT60，RT90），V16（V13 基礎(chǔ)上加入w（K），ρ（TH），ρ（U））。預(yù)測(cè)結(jié)果如表2所示。

表2 不同特征組合方案的橫波預(yù)測(cè)精度

由表2可知：1）和 V6相比，V8加入 RLLD和RLLS后，石灰?guī)r、白云質(zhì)石灰?guī)r的橫波預(yù)測(cè)精度有所上升，而白云巖、石灰質(zhì)白云巖、泥質(zhì)白云巖的橫波預(yù)測(cè)精度下降，從而導(dǎo)致整體橫波預(yù)測(cè)精度較差，這也表明電阻率可以指示部分石灰?guī)r特征。2）V13的精度相比V8有較大的提升，表明加入陣列感應(yīng)電阻率后，多個(gè)電阻率可以有效指示儲(chǔ)層孔隙和流體結(jié)構(gòu)，從而提升識(shí)別效果。3）V16的精度最高，表明加入伽馬能譜后，網(wǎng)絡(luò)能夠聯(lián)合GR信息，對(duì)包含泥質(zhì)的巖性部分橫波特征作進(jìn)一步的補(bǔ)充，從而提升了整體的預(yù)測(cè)精度。綜合4種方案可以看出：使用8種測(cè)井參數(shù)的預(yù)測(cè)效果最差，使用16種測(cè)井參數(shù)的預(yù)測(cè)效果最好，R2達(dá)到了0.967，RMSE 減小至 3.360 μs/m。

3 結(jié)論

1）LSTM能夠從測(cè)井參數(shù)本身出發(fā)，有效表達(dá)不同測(cè)井參數(shù)的序列特征。不同于點(diǎn)對(duì)點(diǎn)的機(jī)器學(xué)習(xí)方法，基于LSTM的橫波預(yù)測(cè)模型能夠有效捕捉到橫波時(shí)差沉積模式和測(cè)井參數(shù)承載尺度信息，實(shí)現(xiàn)了測(cè)井序列和橫波序列的整體匹配。

2）和傳統(tǒng)的機(jī)器學(xué)習(xí)方法和Xu-Payne模型相比，LSTM的橫波時(shí)差預(yù)測(cè)精度更高，絕對(duì)誤差在20 μs/m以內(nèi)，決定系數(shù)達(dá)到0.967，且在不同巖性中均取得最優(yōu)預(yù)測(cè)結(jié)果，表明LSTM具有較強(qiáng)的泛化性，能夠挖掘出測(cè)井參數(shù)與橫波之間的內(nèi)在聯(lián)系。

3）在使用6種常規(guī)測(cè)井參數(shù)時(shí)，LSTM也能取得較好的精度；只有將側(cè)向電阻率和陣列感應(yīng)電阻率相結(jié)合，才能對(duì)地層中的孔隙與流體結(jié)構(gòu)起到良好的指示作用；伽馬能譜對(duì)自然伽馬曲線的補(bǔ)充，能夠進(jìn)一步提升LSTM的預(yù)測(cè)精度。

4）LSTM是一種高效的數(shù)據(jù)挖掘模型，通過(guò)控制3個(gè)門(mén)層保證信息的連續(xù)性，實(shí)現(xiàn)了測(cè)井參數(shù)序列特征的自動(dòng)提取，在巖石物理參數(shù)的數(shù)據(jù)挖掘上具有廣闊的應(yīng)用前景。