基于深度殘差收縮網(wǎng)絡(luò)的油氣柱高度預(yù)測(cè)

杜睿山,程永昌,孟令東

(1.東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,黑龍江 大慶 163318;2.油氣藏及地下儲(chǔ)庫完整性評(píng)價(jià)黑龍江省重點(diǎn)實(shí)驗(yàn)室(東北石油大學(xué)),黑龍江 大慶163318)

0 引 言

斷層對(duì)油氣的運(yùn)動(dòng)、聚集等有明顯的影響,對(duì)油氣流體的影響很復(fù)雜。一些斷層允許流體通過斷裂傳遞,一些斷層不允許流體通過,從而產(chǎn)生多個(gè)復(fù)雜的油氣隱藏。在探索研究的早期階段,通過對(duì)斷層封堵研究斷層中承載的油氣柱高度,判斷圈閉的封閉資源,估計(jì)各層儲(chǔ)量,選擇油氣井的位置,具有重要意義。

建立斷層封閉定量評(píng)價(jià)標(biāo)準(zhǔn)的目的是確定斷層屬性與封閉油氣柱高度的關(guān)系,最終通過已知的斷層屬性數(shù)據(jù)預(yù)測(cè)油氣柱高度。

目前,提出了3種系列定量評(píng)價(jià)方法:(1)基于巖性對(duì)接提出的定量評(píng)價(jià)方法[1];(2)基于斷裂帶SGR預(yù)測(cè),定量評(píng)價(jià)斷層封閉性[2-4];(3)基于斷層穩(wěn)定性,根據(jù)應(yīng)力狀態(tài)去定量評(píng)價(jià)斷層封閉性[5]。這3種方法實(shí)際是從毛細(xì)管封閉和水力封閉2個(gè)角度去定量評(píng)價(jià)斷層的封閉性。這些方法一般需要在具有一定特性的斷層上使用,模型缺乏泛化能力,需要大量的人工操作。

近些年油氣柱高度預(yù)測(cè)研究又有些新的進(jìn)展,2019年Ma C等人[6]使用基于地層超壓的蓋層最大油氣柱高度計(jì)算方法預(yù)測(cè)油氣柱高度,2019年Edmundson I等人[7]將前景的尺寸和埋深與其他地下技術(shù)因素一起使用確定油氣柱高度,2020年Grant N T[8]使用蒙特卡羅模型預(yù)測(cè)油氣柱高度,2020年張鴻妍[9]使用SGR法預(yù)測(cè)油氣柱高度,等等。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展,機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在地學(xué)領(lǐng)域的研究越來越廣泛。例如,2019年,Mukherjee T等人[10]使用機(jī)器學(xué)習(xí)方法對(duì)天然氣產(chǎn)量進(jìn)行預(yù)測(cè),Al Ghaithi A[11]使用人工神經(jīng)網(wǎng)絡(luò)對(duì)剪切測(cè)井進(jìn)行預(yù)測(cè),Das V等人[12]使用卷積神經(jīng)網(wǎng)絡(luò)從疊前地震數(shù)據(jù)預(yù)測(cè)巖石物理特性;2020年,Glubokovskikh S等人[13]使用機(jī)器學(xué)習(xí)方法對(duì)聲波測(cè)井進(jìn)行預(yù)測(cè),Sang等人[14]使用多任務(wù)殘差網(wǎng)絡(luò)同時(shí)進(jìn)行阻抗和含氣飽和度預(yù)測(cè);2021年,Feng S等人[15]使用時(shí)空CNN監(jiān)測(cè)和預(yù)測(cè)Sleipner地區(qū)的CO2儲(chǔ)存;2022年,秦峰等人[16]使用深度學(xué)習(xí)來模擬油氣藏大幅提升模擬速度,于紅巖等人[17]從機(jī)器學(xué)習(xí)、智能優(yōu)化理論兩個(gè)方面闡述人工智能在油氣勘探開發(fā)中的研究進(jìn)展,證明了其具有一定的優(yōu)越性等等。

可以看出,近年來,神經(jīng)網(wǎng)絡(luò)在測(cè)井、地震、儲(chǔ)量等方面得到了廣泛的應(yīng)用。由此看出目前油氣柱高度預(yù)測(cè)技術(shù)大多局限于傳統(tǒng)的地質(zhì)方法,很少涉及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方面。

因此,該文決定使用一維殘差收縮網(wǎng)絡(luò)(One-dimensional Residual Shrinkage Network,1DRSN)進(jìn)行建模預(yù)測(cè),該模型在每次卷積時(shí)使用一維的卷積核能夠側(cè)重對(duì)每一維特征的提取,更符合本實(shí)驗(yàn)數(shù)據(jù)的特性;其次,模型在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的基礎(chǔ)上加入了殘差塊,該模塊使用鏈接跳躍方法來緩解由于深度神經(jīng)網(wǎng)絡(luò)深度增加產(chǎn)生的梯度損失和網(wǎng)絡(luò)退化問題。并通過繞過輸入信息直接輸出來保護(hù)信息完整性;最后,收縮網(wǎng)絡(luò)模塊能夠用以提高從高噪聲數(shù)據(jù)中學(xué)習(xí)特征的能力,并達(dá)到較高的預(yù)測(cè)精度。并對(duì)CNN、一維卷積神經(jīng)網(wǎng)絡(luò)(One-dimensional Convolutional Neural Network,1DCNN)和殘差網(wǎng)絡(luò)(Residual Network,ResNet)、一維殘差網(wǎng)絡(luò)(One-dimensional Residual Network,1DResNet)、GoogLeNet、DenseNet、1DRSN在圈閉數(shù)據(jù)上的應(yīng)用進(jìn)行了比較和分析。綜合考慮模型運(yùn)行效率和準(zhǔn)確率,選取最合適的模型。

1 相關(guān)基礎(chǔ)

1.1 殘差網(wǎng)絡(luò)

1.1.1 ResNet

隨著網(wǎng)絡(luò)深度的增加,訓(xùn)練也會(huì)變得越來越困難。在訓(xùn)練時(shí)可能會(huì)有梯度爆炸的現(xiàn)象,這種現(xiàn)象制約了網(wǎng)絡(luò)深度的增加,在訓(xùn)練快完成時(shí),訓(xùn)練誤差也會(huì)增加。對(duì)此,何凱文學(xué)者[18]提出了殘差網(wǎng)絡(luò),有效解決了這個(gè)難題。殘差收縮的主干網(wǎng)絡(luò)主要是殘差網(wǎng)絡(luò),因此殘差收縮網(wǎng)絡(luò)也具有殘差網(wǎng)絡(luò)的基本特征,可以有效解決隨著網(wǎng)絡(luò)深度的增加產(chǎn)生的梯度消失和梯度爆炸問題。

1.1.2 殘差塊

包含以及不包含1×1卷積層的殘差塊如圖1所示。

圖1 包含以及不包含1×1卷積層的殘差塊

假設(shè)某段網(wǎng)絡(luò)的輸入為x,期望輸出為H(x)。在殘差網(wǎng)絡(luò)結(jié)構(gòu)中,通過捷徑連接直接將輸入x傳到輸出作為初始結(jié)果,網(wǎng)絡(luò)學(xué)習(xí)的將是輸入和輸出的差值,即殘差H(x)=x+F(x),訓(xùn)練的目的是使殘差結(jié)果逼近于0,相比于訓(xùn)練一個(gè)等價(jià)映射,這樣訓(xùn)練的難度要大大降低。

1.1.3 ResNet18基本結(jié)構(gòu)

文中模型是在ResNet18的基礎(chǔ)上進(jìn)行調(diào)整建模,ResNet18模型的組成包括:第一大層包括卷積層、最大池化層、批量歸一化層,接著是四個(gè)殘差塊組成的模塊,首個(gè)殘差塊保持?jǐn)?shù)據(jù)的通道數(shù)不變,隨后的每個(gè)殘差塊將保持通道數(shù)翻倍、高寬減半的特性,最后在殘差塊后接全局平均池化層、全連接層。

1.2 殘差收縮網(wǎng)絡(luò)

深度殘差收縮網(wǎng)絡(luò)(Deep Residual Shrinkage Network,DRSN)本質(zhì)是ResNet上的一種新型改進(jìn),然后再將軟閾值化作為非線性層加入到ResNet的網(wǎng)絡(luò)結(jié)構(gòu)之中,目的是提高深度學(xué)習(xí)方法在含噪聲數(shù)據(jù)或復(fù)雜數(shù)據(jù)上的特征學(xué)習(xí)效果。軟閾值化所需要的閾值,本質(zhì)上是在注意力機(jī)制下設(shè)置的。

1.2.1 軟閾值

軟閾值化是許多降噪方法的核心步驟[19-20]。其主要作用是將絕對(duì)值小于某個(gè)閾值的屬性置零,進(jìn)而使其他屬性也朝零調(diào)整,稱之為收縮。這里,閾值也是一個(gè)必須預(yù)先確定的參數(shù),它的值直接影響降噪效果。軟閾值化的運(yùn)算關(guān)系如下。

(1)

其中,x代表一個(gè)輸入特性,y代表一個(gè)輸出特性,τ代表一個(gè)閾值。

由公式(1)可知,軟閾值化是一種非線性變換,它在某些方面有著與ReLU激活函數(shù)一致的處理方式:函數(shù)變換梯度是0或1。因此,軟閾值化可以看作是一種激活函數(shù)。實(shí)際上,已經(jīng)有學(xué)者將軟閾值應(yīng)用到神經(jīng)網(wǎng)絡(luò)中。

更重要地,目前的收縮網(wǎng)絡(luò)中的軟閾值是結(jié)合了較為流行的注意力機(jī)制而自動(dòng)學(xué)習(xí)的[21]。意思是,[-閾值,閾值]范圍的確定,是可以根據(jù)樣本自身情況、自動(dòng)調(diào)整的,避免了人工設(shè)置閾值的問題,同時(shí)能夠提升精度。

1.2.2 殘差收縮模塊

從本質(zhì)上來看,殘差收縮模塊是殘差塊、注意力機(jī)制和軟閾值函數(shù)的集成。

注意力機(jī)制就是將重點(diǎn)集中于某個(gè)局部信息,使模型能更快收斂。具體可以分為兩個(gè)階段:一是通過整體掃描尋找局部有用信息;二是加強(qiáng)有用信息,限制冗余信息。

SENet是一種經(jīng)典的基于注意力機(jī)制的算法。它還能夠使用一種小型的子網(wǎng)絡(luò),通過自動(dòng)學(xué)習(xí)得到一個(gè)權(quán)重,對(duì)特征圖的所有通道都進(jìn)行了加權(quán)。其意義在于,一些特征通道中的信息對(duì)于結(jié)果來說是較為重要的,而另一部分特征信息則是冗余的。所以,模型就能夠利用這些方法加強(qiáng)有用特征、減少冗余特征?；镜腟ENet模塊如圖2所示。

圖2 SENet的基本模塊

一維深度殘差縮合網(wǎng)絡(luò)的基礎(chǔ)模塊與注意力機(jī)制模塊非常類似,其中C、W、H分別代表輸入數(shù)據(jù)的信道數(shù)目(批)、寬度和高度,該模塊由一個(gè)小的子網(wǎng)來學(xué)習(xí)一套閾值,再對(duì)其進(jìn)行軟閾值處理。在此基礎(chǔ)上,增加了恒定路徑,減少了建模的困難。既能兼顧模型的時(shí)間損耗,又能提高模型的準(zhǔn)確性?；A(chǔ)模塊如圖3所示。

圖3 殘差收縮網(wǎng)絡(luò)的基本模塊

1.3 一維殘差收縮網(wǎng)絡(luò)的預(yù)測(cè)方法

該文利用一維殘差網(wǎng)和軟閾值相結(jié)合的方法,將二者的優(yōu)點(diǎn)結(jié)合起來,既能有效地減少退化信息在網(wǎng)絡(luò)中的損失,又能把網(wǎng)絡(luò)資源集中到對(duì)油氣高度預(yù)報(bào)更為關(guān)鍵的特點(diǎn)上[22]。如圖4所示,展示了一個(gè)完整的深度殘差收縮網(wǎng)絡(luò),由一個(gè)輸入層,許多基本殘差收縮模塊和一個(gè)全連接層等組成。

圖4 深度殘差收縮網(wǎng)絡(luò)的整體結(jié)構(gòu)

2 實(shí)例研究

2.1 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)來源于遼河油田校企合作科研項(xiàng)目,篩選出12個(gè)具有代表意義的圈閉,通過對(duì)斷層進(jìn)行解釋和油藏解剖提取的圈閉結(jié)構(gòu)化特征數(shù)據(jù)約有20萬條,然而就目前提取的數(shù)據(jù)來看存在著一些問題,如:噪聲數(shù)據(jù)(特指:屬性間的冗余、因地層位置原因?qū)е碌膶傩詫?duì)應(yīng)測(cè)量的油氣柱高度與實(shí)際所能封存的油氣柱高度不符等)、不平衡數(shù)據(jù)等,因此需要先對(duì)數(shù)據(jù)進(jìn)行處理。

2.1.1 數(shù)據(jù)清洗

數(shù)據(jù)清洗是用來測(cè)試、修正(或移除)數(shù)據(jù)集中會(huì)對(duì)訓(xùn)練結(jié)果造成負(fù)面影響的異常數(shù)據(jù)。從廣義上說,數(shù)據(jù)的刪除是將不正確的、不完全的、不相關(guān)的數(shù)據(jù)替換、修改或移除。模型準(zhǔn)確率主要由數(shù)據(jù)和模型共同決定,數(shù)據(jù)清洗的好壞直接影響到最后模型預(yù)測(cè)的結(jié)果。對(duì)于本數(shù)據(jù)出現(xiàn)的異常問題,僅僅占總體數(shù)據(jù)的很少一部分比例,經(jīng)過查閱相關(guān)文獻(xiàn)并與地質(zhì)專業(yè)人士討論后選擇刪除數(shù)據(jù);對(duì)于某些明顯無效特征,如出現(xiàn)全是0,或***,也將刪除。

2.1.2 數(shù)據(jù)預(yù)處理

經(jīng)過數(shù)據(jù)清洗后剩余有效數(shù)據(jù)約17.5萬條,對(duì)清洗后的數(shù)據(jù)進(jìn)行特征選擇來降低屬性的冗余度,擬采用Pearson相關(guān)系數(shù)法剔除相關(guān)性較高的屬性,如圖5所示,再擬用XGBoost算法對(duì)斷層屬性進(jìn)行特征重要性分析,如圖6所示,最后結(jié)合地學(xué)專家給出的建議進(jìn)行屬性的選取,選取Throw、OA等10個(gè)權(quán)重較高的屬性。

圖5 Pearson相關(guān)系數(shù)

圖6 XGBoost屬性權(quán)重

對(duì)于因地層位置原因?qū)е碌膶傩詫?duì)應(yīng)測(cè)量的油氣柱高度與實(shí)際所能封存的油氣柱高度不符問題,該文仍采用Pearson相關(guān)系數(shù)法對(duì)每條記錄進(jìn)行計(jì)算,它可以避免評(píng)分等級(jí)膨脹(grade inflation)的問題。根據(jù)專家經(jīng)驗(yàn)當(dāng)相關(guān)系數(shù)值大于0.999時(shí)認(rèn)為其具有相同特征,進(jìn)而將測(cè)量的油氣柱高度賦值為相對(duì)較高的結(jié)果。

然而對(duì)于數(shù)據(jù)出現(xiàn)的樣本不均衡問題,該文采用三次樣條插值的方法,它具有較好的光滑性,更能反映數(shù)據(jù)的真實(shí)情況,插值規(guī)則為:記錄數(shù)量少于4則刪除(三次樣條插值數(shù)量低于4無法插值),記錄數(shù)低于2 200條的插值到2 200條,插值結(jié)果如圖7所示。最后,由于原始數(shù)據(jù)的差異較大,為了消除量綱的影響,需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理,該文使用z-score標(biāo)準(zhǔn)化。

圖7 數(shù)據(jù)插值結(jié)果

2.1.3 數(shù)據(jù)集劃分

因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)的輸入一般為矩陣形式,因此,需要將歸一化后的數(shù)據(jù)劃分適當(dāng)大小的矩陣,并以7∶3比例劃分訓(xùn)練集和測(cè)試集。

2.2 建立預(yù)測(cè)模型

2.2.1 實(shí)驗(yàn)參數(shù)設(shè)置

數(shù)據(jù)集構(gòu)建完成后,建立如圖4所示的深度殘差收縮網(wǎng)絡(luò)模型,其具體模型結(jié)構(gòu)包括:卷積層、批量歸一化層、最大池化層和四個(gè)殘差收縮網(wǎng)絡(luò)模塊(如圖3所示)以及最后的全局平均池化層、全連接層。

網(wǎng)絡(luò)參數(shù)包括可訓(xùn)練的參數(shù)和不可訓(xùn)練的超參數(shù),其中可訓(xùn)練的參數(shù)一般是各個(gè)神經(jīng)元的權(quán)重和偏置,它們是通過模型訓(xùn)練過程中自動(dòng)學(xué)習(xí)得到的,而超參數(shù)一般是各層卷積核數(shù)量、大小、步長,池化層的大小、步長等,這些是通過人為主動(dòng)設(shè)置的,并且需要綜合考慮其對(duì)網(wǎng)絡(luò)預(yù)測(cè)效果及訓(xùn)練時(shí)間的影響。經(jīng)過反復(fù)實(shí)驗(yàn)對(duì)比,最終確定的超參數(shù)設(shè)置為:模型首個(gè)同維卷積特征層的一維卷積層的卷積核數(shù)量為32,核大小為5×1,步長為1,而最大池化層的核大小為3×1,步長為1;8個(gè)殘差收縮模塊的核數(shù)量分別為32、32、64、64、128、128、256、256,核大小均為3×1,其中跳躍連接層的核大小為1×1,步長分別為2、1、1、1;最后一個(gè)特征層中的自適應(yīng)平均池化層設(shè)為1,全連接層結(jié)果設(shè)為1。除此之外,文中網(wǎng)絡(luò)模型是基于Pytorch框架實(shí)現(xiàn),算法優(yōu)化器選擇Adam,學(xué)習(xí)率、批次、批大小分別設(shè)置為0.000 5、100、128。

模型的準(zhǔn)確率是由模型本身和數(shù)據(jù)共同決定的,輸入矩陣大小的設(shè)定對(duì)模型準(zhǔn)確率存在一定影響,將經(jīng)過特征提取后的數(shù)據(jù)和原數(shù)據(jù)對(duì)比送入模型訓(xùn)練,發(fā)現(xiàn)采用特征提取后的數(shù)據(jù)且大小設(shè)定為30*10,模型將達(dá)到比較好的結(jié)果。

對(duì)于訓(xùn)練結(jié)果采用雙重評(píng)價(jià)指標(biāo),第一是均方根誤差(RMSE)作為評(píng)價(jià)指標(biāo):

(2)

第二是模型預(yù)測(cè)的準(zhǔn)確率。模型實(shí)驗(yàn)數(shù)據(jù)是通過對(duì)圈閉進(jìn)行地震勘測(cè)得到的地震數(shù)據(jù)解析后的標(biāo)準(zhǔn)化數(shù)據(jù),由于地震勘探方法、設(shè)備等的差異,會(huì)導(dǎo)致檢測(cè)到的地震勘探數(shù)據(jù)精度較低[23],因此,實(shí)驗(yàn)認(rèn)為的模型誤差小于10是正確輸出。

(3)

(4)

2.2.2 模型結(jié)構(gòu)分析

為驗(yàn)證文中方法的合理性,將對(duì)ResNet模型中的每一步改進(jìn)進(jìn)行消融性實(shí)驗(yàn),觀察不同改進(jìn)模型的好壞。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同組合方式的ResNet模型的預(yù)測(cè)效果

由表1可以看出,將ResNet的核變成一維后準(zhǔn)確率有所提升,同時(shí)大大降低了時(shí)間的消耗,說明一維的卷積核能夠側(cè)重對(duì)每一維特征的提取,更符合該實(shí)驗(yàn)數(shù)據(jù)的特性;隨著模型中加入注意力機(jī)制后,對(duì)比1DResNet,在保證時(shí)間消耗幾乎不變的情況下模型準(zhǔn)確率有小幅度提升,驗(yàn)證了注意力機(jī)制對(duì)重要特征加權(quán)的能力;模型再將注意力機(jī)制部分改進(jìn)為殘差收縮網(wǎng)絡(luò)(軟閾值),模型變?yōu)镈RSN,由實(shí)驗(yàn)結(jié)果可以看出一維神經(jīng)網(wǎng)絡(luò)模型效果更好,最后模型采用更適合該實(shí)驗(yàn)數(shù)的1DRSN模型,實(shí)驗(yàn)結(jié)果表明模型準(zhǔn)確率有所提升,且在時(shí)間消耗上有明顯的改進(jìn),驗(yàn)證了該方法的可行性。

最終選擇1DRSN模型進(jìn)行實(shí)驗(yàn),模型的RMSE和Accuracy如圖8所示。

2.3 對(duì)比實(shí)驗(yàn)

將文中方法與深度學(xué)習(xí)中常用的CNN、1DCDD、GoogLeNet、DenseNet算法進(jìn)行對(duì)比實(shí)驗(yàn)。CNN、1DCNN模型采用與1DRSN算法有相同超參數(shù)的模型進(jìn)行實(shí)驗(yàn),GoogLeNet的Inception塊由常見的四條并行卷積層路徑組成,四條路徑分別為1×1ConV層;1×1ConV層、3×3ConV層;1×1ConV層、5×5ConV層;3×3ConV層、1×1ConV層;該模型的其余參數(shù)均與1DRSN算法一致,而DenseNet的結(jié)構(gòu)采用除跨層連接上與ResNet有區(qū)別(使用相加和使用連結(jié))外均相同的模型。實(shí)驗(yàn)結(jié)果如表2所示。

表2 對(duì)比實(shí)驗(yàn)結(jié)果

表中模型訓(xùn)練結(jié)果如圖9、10所示。

圖9 對(duì)比實(shí)驗(yàn)訓(xùn)練ACC

圖10 對(duì)比實(shí)驗(yàn)訓(xùn)練RMSE

由表2及圖9、10可以看出,CNN、1DCNN、GoogLeNet和DenseNet的準(zhǔn)確率分別達(dá)到69.6%、70.1%、82.1%,80.8%,1DRSN模型準(zhǔn)確率最高(84.0%),表明文中方法表現(xiàn)出較好的預(yù)測(cè)效果,雖然文中方法較其他方法結(jié)構(gòu)更復(fù)雜,但是時(shí)間的消耗也在可接受范圍內(nèi),滿足了預(yù)測(cè)的要求。但綜合圖表來看,1DRSN模型在訓(xùn)練集上能達(dá)到相對(duì)較高的準(zhǔn)確率,但卻在測(cè)試集的準(zhǔn)確率達(dá)到最高,說明模型有著比較好的泛化性能。

3 結(jié)束語

該文主要分析了1DRSN模型的原理和構(gòu)建過程,利用合作項(xiàng)目地區(qū)選取的12個(gè)圈閉提取的近20萬條結(jié)構(gòu)化數(shù)據(jù),通過數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集劃分等操作完成數(shù)據(jù)集的構(gòu)建;模型在ResNet18模型的基礎(chǔ)上進(jìn)行改進(jìn),使用控制變量法對(duì)模型輸入數(shù)據(jù)矩陣大小、卷積核大小、卷積核數(shù)量等進(jìn)行相對(duì)的最優(yōu)值選取,同時(shí)使用類似的方法對(duì)CNN、1DCNN、GoogLeNet、DenseNet模型進(jìn)行建模比較,最終建立1DRSN模型。雖然文中方法較其他方法結(jié)構(gòu)更復(fù)雜,但時(shí)間的消耗僅略微增加,且泛化性能也較好,滿足了預(yù)測(cè)要求,為預(yù)測(cè)未知圈閉的油氣柱高度提供了一個(gè)良好的借鑒。