基于稀疏誘導(dǎo)特征選擇神經(jīng)網(wǎng)絡(luò)的儲(chǔ)層預(yù)測(cè)方法研究

李克文 蘇兆鑫 王興謀 朱劍兵

1(中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院 山東 青島 266580) 2(中國(guó)石化勝利油田分公司 山東 東營(yíng) 257022)

0 引 言

隨著我國(guó)油氣勘探技術(shù)的不斷提升，中、淺層大型背斜等構(gòu)造油氣藏的勘探數(shù)量逐漸減少，原油產(chǎn)量逐漸降低，勘探向更深、更隱蔽的儲(chǔ)層發(fā)展。儲(chǔ)層預(yù)測(cè)對(duì)油氣勘探工作顯得愈加重要。

深度學(xué)習(xí)作為近年來(lái)興起的一類機(jī)器學(xué)習(xí)算法，已經(jīng)在儲(chǔ)層預(yù)測(cè)與巖性識(shí)別等工作上有了一定的應(yīng)用。楊柳青等[1]使用卷積神經(jīng)網(wǎng)絡(luò)[2]建立測(cè)井參數(shù)與孔隙度之間的非線性映射關(guān)系。安鵬等[3]使用自然伽馬(GR)等測(cè)井?dāng)?shù)據(jù)作為深層網(wǎng)絡(luò)的輸入進(jìn)行巖性預(yù)測(cè)，取得了較好效果。項(xiàng)云飛等[4]結(jié)合多元線性回歸與神經(jīng)網(wǎng)絡(luò)建立了儲(chǔ)層參數(shù)預(yù)測(cè)模型，得到了比單模型更好的效果。然而現(xiàn)有方法大多使用測(cè)井參數(shù)作為輸入數(shù)據(jù)，得出的模型無(wú)法在未打井的區(qū)域使用。

地震屬性是地震勘探中得到的地震波數(shù)據(jù)，在一定程度上包含了對(duì)地下構(gòu)造的響應(yīng)，并且具有較高橫向分辨率。地震屬性種類高達(dá)百種。特征維度高但樣本量稀少的數(shù)據(jù)容易產(chǎn)生“維數(shù)災(zāi)難”與“過(guò)擬合”問(wèn)題。隨著維度增加，還有可能造成學(xué)習(xí)性能的下降[5-6]，特征選擇是解決這一問(wèn)題的有效手段。特征選擇主要是尋找信息最豐富的特征來(lái)構(gòu)造特征子集，從而在較低的維數(shù)上保持原始數(shù)據(jù)的固有結(jié)構(gòu)[7-8]，并不改變變量的原始表示，而只是選擇其中的最優(yōu)或次優(yōu)的一個(gè)子集，保留了變量的原始意義?，F(xiàn)有的特征選擇方法一般分為過(guò)濾式、包裹式和嵌入式。神經(jīng)網(wǎng)絡(luò)也已經(jīng)被應(yīng)用于特征選擇領(lǐng)域[9-12]。使用稀疏誘導(dǎo)正則化技術(shù)結(jié)合神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中進(jìn)行特征選擇已經(jīng)有了諸多研究?；贚1范數(shù)懲罰的最小絕對(duì)收縮選擇算子(Lasso)方法是中常見(jiàn)的稀疏性特征選擇方法。在此之上，L1/2與Group Lasso等更多改進(jìn)的正則方法也被用于特征選擇[1，4，12]。

本文提出使用平滑的L1/2正則項(xiàng)結(jié)合神經(jīng)網(wǎng)絡(luò)的特征選擇方法，進(jìn)一步將輸入層權(quán)值與ReLU函數(shù)結(jié)合構(gòu)建特征選擇層，加入到神經(jīng)網(wǎng)絡(luò)模型中，實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練過(guò)程中輸入層的稀疏化，進(jìn)而實(shí)現(xiàn)特征的自動(dòng)剔除與選擇。使用此方法進(jìn)行多種地震屬性的特征選擇，并構(gòu)建基于DenseNet與SENet的儲(chǔ)層預(yù)測(cè)模型提取并組織東營(yíng)埕島某區(qū)塊的地震屬性數(shù)據(jù)，通過(guò)與常規(guī)機(jī)器學(xué)習(xí)方法對(duì)比，驗(yàn)證了深度學(xué)習(xí)模型與特征選擇層的有效性。

1 使用平滑L1/2正則項(xiàng)進(jìn)行神經(jīng)網(wǎng)絡(luò)稀疏化的特征選擇方法

圖1 單隱層的全連接BP網(wǎng)絡(luò)

(1)

以文獻(xiàn)[13]提出的方法為例，將Lasso懲罰項(xiàng)集成到網(wǎng)絡(luò)的輸入層中，損失函數(shù)變?yōu)椋?/p>

(2)

(3)

(4)

除了Lasso正則懲罰項(xiàng)，L2正則項(xiàng)更加光滑但不具有稀疏性，L1/2是近年來(lái)較為流行的一種正則項(xiàng)方法，具有更好的稀疏性和剪枝能力，但其非凸性、非光滑性使神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程易于出現(xiàn)數(shù)值振蕩現(xiàn)象[14]。將L1/2正則項(xiàng)加在輸入層上時(shí)，懲罰項(xiàng)變?yōu)椋?/p>

(5)

由于帶有L1/2正則項(xiàng)的誤差函數(shù)在原點(diǎn)處不可微，所以當(dāng)權(quán)重向量接近原點(diǎn)時(shí)，使用平滑的函數(shù)代替L1/2正則懲罰，其平滑函數(shù)表達(dá)式為：

(6)

式中：α為一個(gè)小的常數(shù)。此時(shí)損失函數(shù)變?yōu)椋?/p>

(7)

使用此方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，當(dāng)模型精度不在提升時(shí)，提取每一個(gè)輸入節(jié)點(diǎn)對(duì)應(yīng)的連接權(quán)值的L1范數(shù)wn=(wn1,wn2,…,wnm),組成與輸入層大小一致的向量W=(wnm)N×M=(w1,w2,…,wN)，此向量則是經(jīng)過(guò)正則項(xiàng)懲罰的神經(jīng)網(wǎng)絡(luò)訓(xùn)練后得到的每一個(gè)輸入特征對(duì)應(yīng)的稀疏權(quán)值。

將此向量與輸入層相乘，起到了對(duì)輸入特征的縮放效果，接著在后面繼續(xù)加上ReLU[15]激活函數(shù)，構(gòu)成特征選擇層。ReLU函數(shù)對(duì)特征集合進(jìn)行截?cái)?偏置b為特征選擇的閾值。考慮到輸入特征權(quán)重已經(jīng)變化，故重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)在優(yōu)化w和b的同時(shí),起到了對(duì)輸入特征自適應(yīng)選擇的效果。工作過(guò)程如圖2所示。

圖2 ReLU函數(shù)對(duì)特征集合的截?cái)噙^(guò)程

使用此方法進(jìn)行特征選擇可根據(jù)網(wǎng)絡(luò)模型進(jìn)行適配，在模型的訓(xùn)練過(guò)程中自動(dòng)進(jìn)行特征的剔除，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，是一種對(duì)神經(jīng)網(wǎng)絡(luò)通用的方法。

2 儲(chǔ)層預(yù)測(cè)模型構(gòu)建

不同地震屬性之間數(shù)值差異巨大，首先對(duì)地震數(shù)據(jù)進(jìn)行歸一化處理，在模型首端加入特征選擇層進(jìn)行輸入層的稀疏化，而后基于DenseNet[16]的連接思想與SENet[17]的通道關(guān)聯(lián)思想構(gòu)建網(wǎng)絡(luò)模型。

2.1 DenseNet結(jié)構(gòu)原理

ResNet(Residual Neural Network)使用恒等連接的思想大大加深了網(wǎng)絡(luò)的深度，并且極大地緩解了網(wǎng)絡(luò)加深帶來(lái)的退化問(wèn)題[18]。這種短路連接的思想影響了許多網(wǎng)絡(luò)模型，也成為加深網(wǎng)絡(luò)的常用手段。DenseNet則將這種連接應(yīng)用到了整個(gè)塊結(jié)構(gòu)上，將所有層直接相互連接，對(duì)于每一層，它前面所有層的特征圖都當(dāng)作輸入，而其本身的特征圖作為所有后面層的輸入，確保網(wǎng)絡(luò)中各層之間的最大信息流。這種結(jié)構(gòu)可以緩解梯度消失問(wèn)題，加強(qiáng)特征在整個(gè)網(wǎng)絡(luò)的傳播，并加強(qiáng)了特征重用。DenseNet的結(jié)構(gòu)如圖3所示。

圖3 DenseNet塊結(jié)構(gòu)

2.2 SENet結(jié)構(gòu)原理

SENet(Squeeze-and-Excitation Networks)可以顯式地建模通道之間的相互依賴關(guān)系，自適應(yīng)地重新校準(zhǔn)通道方向的特征響應(yīng)[17]。它的主要操作有兩個(gè)：擠壓(Squeeze)和激活(Excitation)，Squeeze將每個(gè)二維的特征通道變成一個(gè)實(shí)數(shù)，這個(gè)實(shí)數(shù)某種程度上具有全局的感受野，它表征著在特征通道上響應(yīng)的全局分布。而Excitation類似于LSTM網(wǎng)絡(luò)中的門控機(jī)制，為特征通道生成權(quán)重，顯式地建模特征通道間的相關(guān)性。最后通過(guò)scale操作使用得到的權(quán)重對(duì)原特征圖進(jìn)行縮放。SENet主要結(jié)構(gòu)如圖4所示[17]。

圖4 SENet主要結(jié)構(gòu)

2.2.1Squeeze操作

為了挖掘通道之間依賴關(guān)系，利用一個(gè)全局平均池化操作來(lái)生成通道級(jí)別的統(tǒng)計(jì)數(shù)據(jù)。Squeeze操作的計(jì)算式表示為：

(8)

式中：uc表示輸入特征圖的一道，H與W為特征圖的維度；zc∈Rc表示Squeeze操作后得到的該道的統(tǒng)計(jì)數(shù)據(jù)。

2.2.2Excitation操作

Excitation的目的是構(gòu)建通道統(tǒng)計(jì)數(shù)據(jù)之間的依賴關(guān)系，為了限制模型復(fù)雜性使用了兩個(gè)具有減速比r的全連接層，然后使用ReLU激活函數(shù)得到通道級(jí)別的權(quán)重。Excitation操作計(jì)算式為：

s=Fex(z,W)=σ(g(z,W))=σ(W1δ(W2z))

(9)

(10)

2.3 儲(chǔ)層預(yù)測(cè)模型構(gòu)建

模型使用原始振幅、平方根振幅、瞬時(shí)相位和瞬時(shí)頻率等49個(gè)疊后地震屬性，組成大小為7×7的輸入層，加上與此尺度對(duì)應(yīng)的特征選擇層。模型的中間部分為堆疊的Dense_SE_block結(jié)構(gòu)，如圖5所示，每個(gè)卷積層使用3×3大小的卷積核，并使用Squeeze與Excitation操作融合通道間特征，使用elu[19]激活函數(shù)，在卷積層與激活函數(shù)之間加BatchNormalization層，可有效地防止梯度消失。以每五個(gè)特征圖為單位，堆疊DenseNet結(jié)構(gòu)，特征圖之間兩兩相連，每一個(gè)特征圖接收之前的特征，同時(shí)也向后面所有的特征層傳播，使的每一個(gè)特征在網(wǎng)絡(luò)中得到最的保留，網(wǎng)絡(luò)靠前的特征也可以被靠后的部分使用到。

網(wǎng)絡(luò)使用特征選擇層后接若干個(gè)Dense_SE_block疊加的形式，Dense_SE_block個(gè)數(shù)根據(jù)模型性能進(jìn)行調(diào)整，最后加三個(gè)全連接層與Sigmoid層進(jìn)行砂巖、泥巖二分類。使用adam算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，整個(gè)流程如圖6所示。

圖6 儲(chǔ)層預(yù)測(cè)模型訓(xùn)練過(guò)程

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與處理

以東營(yíng)埕島區(qū)塊作為研究對(duì)象，提取SEGY地震數(shù)據(jù)體、測(cè)井巖性數(shù)據(jù)、時(shí)深轉(zhuǎn)換數(shù)據(jù)以及層位信息等。使用原始振幅、平方根振幅、瞬時(shí)相位、瞬時(shí)頻率等49個(gè)疊后地震屬性作為網(wǎng)絡(luò)輸入，以及對(duì)應(yīng)的經(jīng)過(guò)時(shí)深轉(zhuǎn)換匹配后的井上巖性數(shù)據(jù)作為標(biāo)記。共得到45 450個(gè)樣本數(shù)據(jù)，以6 ∶2 ∶2的比例劃分訓(xùn)練集、驗(yàn)證集與預(yù)測(cè)集。

3.1.1地震屬性處理

根據(jù)地震數(shù)據(jù)采集時(shí)的地理坐標(biāo)位置以及inline和cdp的范圍，計(jì)算segy文件中每一道數(shù)據(jù)所在位置，雙程旅行時(shí)范圍為1 025，inline范圍為627至2 267，cdp范圍為1 189至1 852。由于每一種屬性數(shù)值范圍差別巨大，所以對(duì)數(shù)據(jù)進(jìn)行歸一化處理，其計(jì)算公式為：

(11)

3.1.2巖性標(biāo)記處理

表1 巖性列表

3.2 預(yù)測(cè)方法對(duì)比

神經(jīng)網(wǎng)絡(luò)模型使用8個(gè)Dense_SE_block塊與特征選擇層構(gòu)成的網(wǎng)絡(luò)，對(duì)比方法分別為沒(méi)有特征選擇層的網(wǎng)絡(luò)以及常規(guī)機(jī)器學(xué)習(xí)算法，包括決策樹(shù)算法、KNN算法、XgBoost算法。網(wǎng)絡(luò)模型取測(cè)試集準(zhǔn)確率最高時(shí)的結(jié)果，其他方法采用十折交叉驗(yàn)證結(jié)果。各方法的準(zhǔn)確率、查準(zhǔn)率、查全率如表2與表3所示。

表2 各方法訓(xùn)練集效果(%)

表3 各方法預(yù)測(cè)集效果(%)

由表2和表3可見(jiàn)，本文提出的Dense_SE_net卷積神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)集準(zhǔn)確率、查準(zhǔn)率均高于常規(guī)機(jī)器學(xué)習(xí)算法，并且使用特征選擇的神經(jīng)網(wǎng)絡(luò)模型比不帶特征選擇層的模型具有更高的預(yù)測(cè)集準(zhǔn)確率，同時(shí)訓(xùn)練集準(zhǔn)確率幾乎相當(dāng)，證明了特征選擇對(duì)于模型性能的提升，并有一定程度抑制過(guò)擬合的作用。FS_Dense_SE_net模型的預(yù)測(cè)集準(zhǔn)確率可達(dá)到72.95%，在所有預(yù)測(cè)結(jié)果為砂巖的樣本中，有66.83%的樣本預(yù)測(cè)正確，所有真實(shí)砂巖樣本中有55.95%預(yù)測(cè)正確。

3.3 巖性預(yù)測(cè)仿真實(shí)例

使用FS_Dense_SE_net模型對(duì)井CB11、CB111進(jìn)行巖性預(yù)測(cè)，結(jié)果分別如圖7至圖10所示，左圖為預(yù)測(cè)結(jié)果，右圖為真實(shí)情況，縱坐標(biāo)為雙程旅行時(shí)，黑色部分為砂巖，其余部分為泥巖。在砂巖密集的井CB11與砂巖稀疏的井CB111均取得了較好結(jié)果。

圖9 CB111預(yù)測(cè)情況 圖10 CB111真實(shí)情況

使用FS_Dense_SE_net模型進(jìn)行地下縱向切片巖性預(yù)測(cè)，取主測(cè)線inline為1 328，共深度道集CDP為1 189到1 852的數(shù)據(jù)進(jìn)行砂巖標(biāo)記成像，結(jié)果如圖11所示。

圖11 inline=1 328巖性預(yù)測(cè)結(jié)果

4 結(jié) 語(yǔ)

本文提出了一種使用正則懲罰進(jìn)行網(wǎng)絡(luò)稀疏化的特征選擇方法，以及一種結(jié)合此方法的使用DenseNet與SENet結(jié)構(gòu)的儲(chǔ)層預(yù)測(cè)模型。使用平滑改進(jìn)的L1/2正則對(duì)網(wǎng)絡(luò)輸入層的權(quán)值進(jìn)行稀疏化，當(dāng)模型不再收斂時(shí)得到輸入層每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的連接權(quán)值的范數(shù)，以此作為每個(gè)輸入特征的權(quán)重。使用ReLU函數(shù)在進(jìn)一步的訓(xùn)練中對(duì)部分低權(quán)值特征進(jìn)行截?cái)啵M(jìn)而實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的自動(dòng)特征選擇。結(jié)合此方法，提出了基于DenseNet短連接與SENet通道連接思想的神經(jīng)網(wǎng)絡(luò)儲(chǔ)層預(yù)測(cè)模型。使用勝利油田埕北某工區(qū)的地震屬性數(shù)據(jù)與巖性數(shù)據(jù)進(jìn)行模型的訓(xùn)練與驗(yàn)證，驗(yàn)證了深度學(xué)習(xí)模型相比傳統(tǒng)機(jī)器學(xué)習(xí)算法在該問(wèn)題的優(yōu)越性與本文提出的特征選擇方法的有效性。