基于串級雙向長短時記憶神經(jīng)網(wǎng)絡(luò)的測井數(shù)據(jù)重構(gòu)

周 偉 趙海航 蔣云鳳 易 軍 賴富強

(重慶科技學院智能技術(shù)與工程學院，重慶 401331)

0 引言

測井數(shù)據(jù)是進行地下儲層解釋與評價的重要基礎(chǔ)，對于指導油氣藏勘探、開發(fā)具有重要意義。在實際測井過程中，測井儀器故障、井壁垮塌等因素導致測井數(shù)據(jù)失真或者缺失。由于重新測井成本高昂，且對于許多已做過固井的油氣井來說，重新測井工程難度極大。測井數(shù)據(jù)失真或缺失給油氣藏開發(fā)和評價帶來了巨大挑戰(zhàn)。因此，如何重構(gòu)失真或缺失的測井曲線已成為新挑戰(zhàn)[1-3]。

近年來，許多數(shù)據(jù)驅(qū)動方法被提出來并應(yīng)用于地質(zhì)參數(shù)估計及油藏描述等方面，如人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)[4-5]、模糊邏輯模型(Fuzzy Logic Model，F(xiàn)LM)[6]、決策樹(Decision-making Tree，DT)[7]和支持向量機(Support Vector Machine，SVM)[8]等。由于測井數(shù)據(jù)具有明顯的時間或空間序列特征，數(shù)據(jù)之間存在長序列依賴關(guān)系，上述機器學習方法無法有效提取測井數(shù)據(jù)的依賴關(guān)系，且存在計算效率低或易過擬合等缺點[8]，因此它們在一定程度上不能完全適用于基于測井資料的地質(zhì)建模或巖性識別[9]。

隨著人工智能技術(shù)的發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在地球科學各領(lǐng)域的良好應(yīng)用而受到廣泛關(guān)注[10]。由于RNN需要為每一步保持一個激活向量，容易在訓練階段出現(xiàn)梯度爆炸和消失問題[11]。長短時記憶(Long Short-Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)是一種特殊的RNN結(jié)構(gòu)[12]，通過正則化項約束權(quán)值范數(shù)，使其不至于過大，在一定程度上遏制了RNN的梯度爆炸和消失問題的發(fā)生?？紤]到測井數(shù)據(jù)通常在同一巖性段內(nèi)呈現(xiàn)平滑變化特征，測井數(shù)據(jù)與LSTM網(wǎng)絡(luò)之間有天然的內(nèi)在匹配特性，因此LSTM網(wǎng)絡(luò)已被應(yīng)用于測井數(shù)據(jù)重構(gòu)方法研究[13-14]。由于單向LSTM網(wǎng)絡(luò)方法只考慮數(shù)據(jù)信息在單方向序列的相關(guān)性，忽略了缺失點后序數(shù)據(jù)的影響，不利于對測井數(shù)據(jù)的精準預(yù)測。

于是，雙向長短時記憶(Bidirectional LSTM，Bi-LSTM)神經(jīng)網(wǎng)絡(luò)[15-18]應(yīng)運而生，它利用另一個在序列中向后移動的LSTM完成雙向時序?qū)W習，該結(jié)構(gòu)既能表征過去的趨勢，也能預(yù)測未來發(fā)展方向，對于整段測井數(shù)據(jù)缺失的情況，具有天然的雙向時序數(shù)據(jù)重構(gòu)優(yōu)勢。周雪晴等[19]提出基于Bi-LSTM網(wǎng)絡(luò)的流體高精度識別新方法，利用Bi-LSTM網(wǎng)絡(luò)提取井下測井曲線隨深度的變化趨勢及前后關(guān)聯(lián)特征，提高流體識別能力。周欣等[20]提出一種基于雙向門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的聲波測井曲線重構(gòu)技術(shù)，充分利用測井數(shù)據(jù)中的前后序列關(guān)聯(lián)性補全缺失的聲波測井曲線。王俊等[21]提出基于深度雙向RNN的儲層孔隙度預(yù)測方法，利用雙向RNN建立測井數(shù)據(jù)與儲層孔隙度之間的非線性映射關(guān)系，提高了模型預(yù)測的準確性。但上述方法在具體應(yīng)用時，都存在一定缺陷：一是每次預(yù)測多條曲線，待測曲線之間干擾較大。二是模型缺乏靈活性和適應(yīng)性，一旦模型訓練完成，無法將當前井已補全的測井曲線用于剩余測井曲線的補全。不能充分考慮當前井測井曲線之間的影響關(guān)系，即模型無法在補全過程中做優(yōu)化。

為此，本文提出一種串級雙向長短時記憶(CBi-LSTM)網(wǎng)絡(luò)的測井數(shù)據(jù)重構(gòu)方法，利用缺失數(shù)據(jù)點的前趨與后繼之間的雙向關(guān)聯(lián)性，提取缺失數(shù)據(jù)點的前趨與后繼中的關(guān)鍵特征信息對缺失數(shù)據(jù)點進行重構(gòu)，采用串級更新策略，將獲得的估計值與已知測井曲線合并為新的輸入，完成對缺失測井數(shù)據(jù)塊的重構(gòu)。

1 基于Bi-LSTM網(wǎng)絡(luò)的數(shù)據(jù)重構(gòu)法原理

1.1 長短時記憶網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)是RNN的改進算法，通過門機制將短期記憶與長期記憶結(jié)合起來，彌補RNN只能記憶短期的歷史輸入信息而無法實現(xiàn)長期記憶的缺陷，在一定程度上解決了網(wǎng)絡(luò)的梯度消失和梯度爆炸。LSTM網(wǎng)絡(luò)保留了RNN的鏈式結(jié)構(gòu)，由一系列遞歸鏈接的記憶區(qū)塊的子網(wǎng)絡(luò)構(gòu)成，其中關(guān)鍵結(jié)構(gòu)為交互層中的3個門層，即輸入門、輸出門、遺忘門(圖1)。

圖1 LSTM模型示意圖

利用上述結(jié)構(gòu)，在各時間點t都可得到對應(yīng)的隱藏層狀態(tài)序列，從而獲得每一個時間步輸出的結(jié)果。由于LSTM網(wǎng)絡(luò)只能單方向地處理數(shù)據(jù)，無法考慮缺失點后面數(shù)據(jù)的影響。另外，模型缺乏魯棒性，使用過程無法利用當前井補全的缺失曲線和已知曲線作為新的輸入，來補全剩余缺失曲線，且無法充分考慮當前井曲線之間相關(guān)性。

1.2 雙向長短時記憶網(wǎng)絡(luò)

在實際測井時，采樣間隔往往較小，通?？傻椭?.1m。然而從地層角度而言，不同深度地層之間相互影響的范圍高達30m，甚至50m[22]。因此，每個數(shù)據(jù)點周圍相互有影響的范圍包含數(shù)據(jù)點可多達240～400個，不僅包括當前地層以上部分，還包括當前地層以下部分，這就意味著測井曲線重構(gòu)是典型的具有長期雙向(空間)相關(guān)性的序列數(shù)據(jù)分析問題。相對LSTM模型，Bi-LSTM模型更適合處理這類問題。為了將當前地層以下的測井數(shù)據(jù)信息的影響考慮到建模中，本文使用Bi-LSTM網(wǎng)絡(luò)，它由一個前向LSTM模型與一個后向LSTM模型連接組成。作為時序相反的兩個LSTM網(wǎng)絡(luò)，前向LSTM網(wǎng)絡(luò)可獲取缺失序列之前儲層段的信息，后向LSTM網(wǎng)絡(luò)可獲取缺失序列之后儲層段的信息。該模型能從前、后兩方面充分提取上、下儲層段的信息，從而提高模型效果。

圖2為Bi-LSTM模型示意圖，從中可看出Bi-LSTM網(wǎng)絡(luò)是由兩層LSTM網(wǎng)絡(luò)組成：第一層認左邊作為起始輸入，在測井曲線重構(gòu)時可理解成從當前采樣點前一段序列開始輸入；第二層是認右邊作為起始輸入，在測井曲線重構(gòu)時可理解成從當前采樣點后一段序列作為輸入，反向開展與第一層相同的處理。此時，yt-1、yt及yt+1為前、后兩個LSTM網(wǎng)絡(luò)共同作用的結(jié)果。

圖2 Bi-LSTM模型示意圖

在將Bi-LSTM網(wǎng)絡(luò)應(yīng)用到測井曲線數(shù)據(jù)的重構(gòu)過程中，雖然Bi-LSTM網(wǎng)絡(luò)完美地解決了LSTM網(wǎng)絡(luò)只能按照從前到后的順序處理數(shù)據(jù)，無法融合后序數(shù)據(jù)信息的問題，但模型缺乏靈活性。模型一旦訓練完成，在補全過程中無法進行優(yōu)化，且未能利用當前井補全的測井曲線數(shù)據(jù)繼續(xù)補全剩余曲線，導致模型缺乏適應(yīng)性。

1.3 串級雙向長短時記憶神經(jīng)網(wǎng)絡(luò)

針對Bi-LSTM網(wǎng)絡(luò)存在的問題，提出了CBi-LSTM網(wǎng)絡(luò)，其原理如圖3所示。

CBi-LSTM網(wǎng)絡(luò)模型借鑒串級控制系統(tǒng)思想，每次補全缺失曲線中的一條。在第一級，利用完整的測井曲線自然電位(SP)和井徑(CAL)測井數(shù)據(jù)完成缺失曲線聲波時差(AC)的補全；在第二串級將補全的AC與已知的SP及CAL測井曲線結(jié)合，作為新的輸入，補全自然伽馬(GR)缺失曲線；最后，完成所有缺失曲線的重構(gòu)。

可看出使用串級控制系統(tǒng)思想有以下優(yōu)點。

(1)每次只補全缺失的一條曲線，減少了待重構(gòu)曲線之間的相互干擾。

(2)提高模型的輸入兼容性。在每一級，可將補全的數(shù)據(jù)和已知數(shù)據(jù)進行合并作為新的輸入，利用當前井補全的測井曲線數(shù)據(jù)繼續(xù)補全剩余曲線中的一條，進一步提高了模型的適應(yīng)性。

(3)模型訓練完成后，可從中間步直接進行下一條缺失曲線的重構(gòu)。

(4)補全過程中，網(wǎng)絡(luò)共享各級的重構(gòu)數(shù)據(jù)，每級只保留當前級預(yù)測數(shù)據(jù)，避免了數(shù)據(jù)冗余。

在引入串級系統(tǒng)的基礎(chǔ)上，對其中主干網(wǎng)絡(luò)結(jié)構(gòu)進行改進，特征提取使用兩層Bi-LSTM網(wǎng)絡(luò)，并增加三層全連接層，進一步增強模型的表達能力。主干網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，采用兩個隱狀態(tài)分別為80和100維的Bi-LSTM網(wǎng)絡(luò)和三層全連接層，采用丟棄操作，概率為30%。

圖4 主干網(wǎng)絡(luò)結(jié)構(gòu)框架

當前串級計算過程如下：

(1)

(2)

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

集團管理層每月召開一次戰(zhàn)略墻運營分析會，對真北指標進行內(nèi)外部趨勢對比、競爭分析，評價醫(yī)院和部門長期目標、年度目標和年度戰(zhàn)略計劃達成情況。

(13)

(4)完成兩個隱狀態(tài)計算結(jié)果后，將結(jié)果轉(zhuǎn)化成一維數(shù)據(jù)(yt)并傳入全連接層進行計算，過程為

(14)

resu1ti=f(Neti)

(15)

(16)

式中：Neti為激活函數(shù)f的輸入；wl1和wl2為全連接層待訓練權(quán)重；resulti為預(yù)測值；resultr為真實值。然后利用均方誤差Ek更新參數(shù)，優(yōu)化網(wǎng)絡(luò)。

(5)最后傳入曲線的預(yù)測所缺失的值resulti。到下一級并和已知數(shù)據(jù)合并為新的輸入預(yù)測剩余缺失曲線中的一條，重復上述計算過程。

在CBi-LST網(wǎng)絡(luò)結(jié)構(gòu)中，首先根據(jù)已知測井曲線訓練模型估計未知測井曲線中的1條，然后將獲得的估計值與已知測井曲線合并為新的輸入，作為下一級的輸入，再據(jù)此輸入估計剩余未知測井曲線中的1條。缺失曲線重構(gòu)過程如圖5所示。

圖5 曲線重構(gòu)流程圖

2 實驗研究

2.1 數(shù)據(jù)準備

采用蘇里格氣田4口直井測井數(shù)據(jù)開展實驗。這些井都記錄了多種測井數(shù)據(jù)，如AC、CAL、CNL(補償中子)、GR、SP、TH(放射性釷)、U(鈾)、K(鉀)等。為了驗證模型對測井數(shù)據(jù)的重構(gòu)能力，實驗基于留一法補充相關(guān)文獻，即進行四次實驗，每次實驗將一口井作為實驗，其余三口井作為訓練數(shù)據(jù)，對模型進行訓練，最終用模型生成實驗井的測井曲線。

實驗中直井的探測深度為3300～3800m，對應(yīng)該深度范圍的AC和GR測井曲線被人工刪除，用于模擬缺失部分的測井曲線(圖6)。

圖6 測井曲線缺失圖

本次實驗中，數(shù)據(jù)的采樣間隔為0.125m。從地層角度而言，不同深度地層之間相互可產(chǎn)生影響的深度范圍可高達30m，甚至50m。因此，在測井問題中，每個數(shù)據(jù)點周圍相互有影響的范圍包含的數(shù)據(jù)點可多達240～400個。因此，網(wǎng)絡(luò)模型中每個訓練樣本的序列長度設(shè)置為240。最終制作的訓練集一共有20000組訓練數(shù)據(jù)，每組數(shù)據(jù)的序列長度為240，用于補全3300～3800m深度區(qū)間缺失的測井數(shù)據(jù)。模型第一級輸入變量為CAL、SP，輸出為AC；第二級輸入變量為CAL、SP、AC，輸出為GR。

2.2 模型評估指標

CBi-LSTM網(wǎng)絡(luò)模型屬于回歸模型的一種，采用均方誤差(MSE)、均方根誤差(RMSE)及平均絕對誤差(MAE)作為模型的評估標準。MSE是指參數(shù)估計值與參數(shù)真實值之差點期望值，可用于評價數(shù)據(jù)點變化程度，MSE值越小，則模型預(yù)測結(jié)果越精確。RMSE用于衡量數(shù)據(jù)的波動性，RMSE值越小，則模型的泛化能力和穩(wěn)定性就越強。MAE是計算每一個樣本的預(yù)測值與真實值的差的絕對值，然后求和再取平均值。用于評估預(yù)測結(jié)果與真實數(shù)據(jù)集的接近程度，其值越小說明擬合效果越好。計算公式如下

(17)

(18)

(19)

2.3 測井曲線相關(guān)性分析

r(XAC,XGR)=

(20)

式中：n為每列的長度；r(XAC，XGR)為曲線XAC與XGR的相關(guān)系數(shù)，范圍是-1～1，其中1表示完全正相關(guān)，-1表示完全負相關(guān)，0表示兩屬性無關(guān)。

圖7為19條測井曲線之間的相關(guān)系數(shù)計算結(jié)果。從該圖可見：對AC影響較大的有CAL、GR、SP等，且相關(guān)系數(shù)大于0.5；對GR影響較大的有AC、CAL、SP等。

圖7 測井曲線相關(guān)度熱力圖

對于非地層因素CAL，在實際鉆井過程中，CAL會因為地層地質(zhì)的變化發(fā)生形變：砂巖質(zhì)地堅硬，在鉆井鉆頭經(jīng)過后由于彈性形變會恢復原來形狀，造成井徑縮小(縮徑)；泥巖質(zhì)地疏松，會發(fā)生井壁垮塌并造成井徑擴大(擴徑)。因此，井徑是判斷地下巖石巖性的重要參數(shù)之一。

所以，在地層數(shù)據(jù)發(fā)生變化時，采集到的井徑數(shù)據(jù)會由于地層地質(zhì)數(shù)據(jù)的變化而變化。因此，把CAL作為輔助因素與地層數(shù)據(jù)進行合并，作為新的數(shù)據(jù)進行測井實驗。

3 實驗對比分析

3.1 模型重構(gòu)結(jié)果分析

為了對比每一種算法重構(gòu)測井曲線的能力，分別建立了基于LSTM、Bi-LSTM及改進的CBi-LSTM網(wǎng)絡(luò)的重構(gòu)測井曲線重構(gòu)模型。對訓練數(shù)據(jù)做歸一化處理并采用了批訓練方法。批尺寸設(shè)置為200，即每次選取200組訓練數(shù)據(jù)。訓練樣本長度均為240。為充分驗證每一種模型對測井曲線缺失部分重構(gòu)的能力，分別對每種模型進行4次實驗，每次實驗任選1口井進行測試。

為分析LSTM、Bi-LSTM及CBi-LSTM網(wǎng)絡(luò)生成的人工測井曲線的效果，對4口井中預(yù)測結(jié)果最好的A1井的人工曲線進行繪制(圖8)。

觀察三種方法得到的缺失AC曲線和GR曲線的重構(gòu)結(jié)果(圖8)，可見在A1井3300～3460m深度范圍(圖8上)，隨著模型的不斷改進，AC擬合曲線(藍線)與參照曲線(紅線)之間的誤差逐漸變小，兩條曲線的走勢基本吻合。接著觀察A1井3600～3800m范圍的GR曲線(圖8下)，對比可知，在3600～3650m區(qū)間，紅線呈現(xiàn)階躍式變化。常規(guī)LSTM網(wǎng)絡(luò)及Bi-LSTM網(wǎng)絡(luò)在3600～3650m區(qū)間都無法準確預(yù)測目標曲線的趨勢變化，而所提CBi-LSTM網(wǎng)絡(luò)模型卻能準確地擬合出目標曲線的變化趨勢。

圖8 基于LSTM(左)、Bi-LSTM(中)和CBi-LSTM(右)網(wǎng)絡(luò)生成的A1井的聲波時差(上)、自然伽馬(下)測井曲線

通過分析圖8中測井曲線重構(gòu)結(jié)果，可知本文的CBi-LSTM網(wǎng)絡(luò)能綜合分析預(yù)測點前的數(shù)據(jù)和預(yù)測點輸入的影響，彌補了LSTM網(wǎng)絡(luò)及Bi-LSTM網(wǎng)絡(luò)在進行測井曲線重構(gòu)過程中存在的不足，準確預(yù)測出目標曲線的趨勢性變化。因此，本文的CBi-LSTM網(wǎng)絡(luò)對于測井曲線這種序列數(shù)據(jù)具有更好的重構(gòu)能力。

3.2 模型結(jié)果量化分析

為了量化評價LSTM、Bi-LSTM及本文的CBi-LSTM三種模型重構(gòu)測井曲線的能力，針對蘇里格氣田4口直井采用此三種模型進行對比實驗?；谄栠d算法對測井曲線進行特征分析，利用與AC和GR相關(guān)性高的測井曲線分別對AC和GR進行數(shù)據(jù)重構(gòu)，并對重構(gòu)結(jié)果進行量化評估。

表1展示了三種方法測井曲線的估計值的均方誤差、均方根誤差及絕對值差。由表1可知，首先利用LSTM網(wǎng)絡(luò)重構(gòu)測井曲線并取得較好效果，但還存在上述兩點缺陷。因此引入Bi-LSTM網(wǎng)絡(luò)構(gòu)建出考慮測井曲線的變化趨勢即上下數(shù)據(jù)相關(guān)關(guān)系的數(shù)據(jù)重構(gòu)模型，并將實驗結(jié)果量化。通過對比表1中的數(shù)據(jù)可見，Bi-LSTM網(wǎng)絡(luò)整個模型魯棒性和泛化能力比LSTM網(wǎng)絡(luò)更穩(wěn)定。但針對第二個問題，仍然無法解決。因此，為了進一步提高模型的靈活性及適應(yīng)性，將串級系統(tǒng)與Bi-LSTM網(wǎng)絡(luò)相結(jié)合，利用本文的CBi-LSTM網(wǎng)絡(luò)對測井曲線進行了重構(gòu)，通過對比表1量化數(shù)據(jù)可知，本文的網(wǎng)絡(luò)模型取得了更好的成績。不僅如此，整個模型的魯棒性和泛化能力不僅得到了提高，而且模型在曲線重構(gòu)的過程中，具有了動態(tài)優(yōu)化及自適應(yīng)動態(tài)重構(gòu)測井曲線的能力。

表1 不同模型生成人工測井曲線模型數(shù)據(jù)評估

4 結(jié)束語

本文提出一種基于改進CBi-LSTM神經(jīng)網(wǎng)絡(luò)的測井數(shù)據(jù)重構(gòu)方法。將Bi-LSTM與串級系統(tǒng)相結(jié)合，通過利用Bi-LSTM網(wǎng)絡(luò)提取缺失數(shù)據(jù)前后序列數(shù)據(jù)的關(guān)鍵特征信息對缺失數(shù)據(jù)點進行預(yù)測，然后將獲得的估計值與已知測井曲線合并為新的輸入，采用串級更新策略完成對缺失數(shù)據(jù)塊的重構(gòu)。充分考慮當前井測井曲線之間相關(guān)性，提高了模型的適應(yīng)性及靈活性。針對蘇里格氣田4口井測井數(shù)據(jù)進行處理重構(gòu)，并與LSTM和Bi-LSTM模型做對比分析，結(jié)果表明改進的CBi-LSTM模型對測井數(shù)據(jù)具有更高重構(gòu)精度。