深度神經(jīng)網(wǎng)絡(luò)模型超參數(shù)選取及評價研究
——以含油氣性多波地震響應(yīng)特征提取為例

楊久強,林年添,張 凱,田高鵬,崔 巖

(1.山東科技大學(xué)地球科學(xué)與工程學(xué)院,山東青島266590;2.核工業(yè)湖州勘測規(guī)劃設(shè)計研究院股份有限公司,浙江湖州313000)

機器學(xué)習(xí)因其具有自適應(yīng)、自學(xué)習(xí)和自組織能力,在油氣地震勘探領(lǐng)域得到廣泛應(yīng)用。目前主要的機器學(xué)習(xí)方法有聚類分析[1-2]、遺傳算法[3-4]、模糊理論[5-6]、支持向量機[7-9]、深度學(xué)習(xí)[10-12]等。此外,人工神經(jīng)網(wǎng)絡(luò)在油氣藏預(yù)測方面也發(fā)揮了重要的作用[13-14]。人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于油氣儲層分布地震預(yù)測的主要目的是通過其非線性擬合能力分析由不同地質(zhì)和地球物理來源獲得的數(shù)據(jù)之間的相關(guān)性,以實現(xiàn)利用已知信息獲取未知區(qū)域油氣儲層地震信息。

人工神經(jīng)網(wǎng)絡(luò)技術(shù)最早由MCCULLOCH等[15]提出。20世紀(jì)80年代,人工神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸應(yīng)用到物探領(lǐng)域,起初用于求解地震反演問題[16]。由于人工神經(jīng)網(wǎng)絡(luò)具有響應(yīng)快、擬合能力強等特點,被逐漸應(yīng)用于儲層預(yù)測[17-21]。ABDULAZIZ等[22]利用測井?dāng)?shù)據(jù)和地震屬性資料通過神經(jīng)網(wǎng)絡(luò)進行了油氣儲層質(zhì)量預(yù)測。王俊等[23]通過門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)預(yù)測儲層孔滲飽參數(shù)。為了解決傳統(tǒng)的單層神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練過程中存在的收斂速度較慢、網(wǎng)絡(luò)不收斂等問題,HINTON等[24]提出了多層前饋神經(jīng)網(wǎng)絡(luò),即深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)含有多個隱含層,具有強大的自主學(xué)習(xí)能力,經(jīng)過不斷學(xué)習(xí)取得的特征更能體現(xiàn)數(shù)據(jù)的本質(zhì)。林年添等[25]以地震數(shù)據(jù)為驅(qū)動,借助深度神經(jīng)網(wǎng)絡(luò)智能提取、分類并識別地震油氣特征。GAO等[26]通過一種深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)相結(jié)合的方法進行了氣藏識別。

深度神經(jīng)網(wǎng)絡(luò)可以映射數(shù)據(jù)間復(fù)雜的非線性關(guān)系,并且具有很強的魯棒性。在油氣藏分布地震預(yù)測中,能夠很好地反映樣本與樣點之間的關(guān)系,提高地震油氣藏分布的刻畫精度。深度神經(jīng)網(wǎng)絡(luò)的性能可以通過超參數(shù)選取確定,超參數(shù)是指在構(gòu)建深度神經(jīng)網(wǎng)絡(luò)時需要確定的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)等,這些參數(shù)的設(shè)置是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練開始之前,而不是在網(wǎng)絡(luò)訓(xùn)練過程中得到(如權(quán)值、偏置等)[27-28]。超參數(shù)有很多,如隱藏層的數(shù)目、神經(jīng)元節(jié)點數(shù)、激活函數(shù)、優(yōu)化算法、損失函數(shù)等。不同的超參數(shù)對網(wǎng)絡(luò)模型的影響不同,有的會影響網(wǎng)絡(luò)預(yù)測結(jié)果的精度,有的會影響網(wǎng)絡(luò)的計算效率[29-30]。為了探討深度神經(jīng)網(wǎng)絡(luò)超參數(shù)的取值對模型性能的影響,本文以氣藏多波地震響應(yīng)特征提取為例,研究了超參數(shù)的取值對油氣藏分布邊界的刻畫精度的影響,為尋找深度神經(jīng)網(wǎng)絡(luò)超參數(shù)最優(yōu)配置方案提供思路。

1 理論基礎(chǔ)

1.1 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)是一種利用誤差反向傳播算法訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò),可以從原始數(shù)據(jù)中逐步提取更高層次的特征[31]。該網(wǎng)絡(luò)共包含3個部分,如圖1所示,其中,隱含層的數(shù)目不固定,具有3個及以上隱含層的神經(jīng)網(wǎng)絡(luò)稱為深度神經(jīng)網(wǎng)絡(luò)(亦稱多層神經(jīng)網(wǎng)絡(luò))。深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中包括兩個過程,即信號前向傳播過程和誤差反向傳播過程。在前向傳播過程中,樣本進入到網(wǎng)絡(luò)中,經(jīng)過隱含層處理后,獲得網(wǎng)絡(luò)的預(yù)測輸出。將網(wǎng)絡(luò)的預(yù)測輸出與期望輸出進行比較,若兩者不一致,則進行反向傳播[32-34]。神經(jīng)網(wǎng)絡(luò)在該過程中,通過各種參數(shù)優(yōu)化方法,不斷更新各層的權(quán)值和偏置,從而使網(wǎng)絡(luò)的預(yù)測輸出結(jié)果更加接近期望輸出[35-36]。

圖1 深度神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

深度神經(jīng)網(wǎng)絡(luò)某一神經(jīng)元的輸出為:

(1)

在誤差反向傳播中,誤差ek計算公式為:

(2)

式中:di為期望輸出;yi為神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出。

由(1)式和(2)式可知,誤差函數(shù)ek由各神經(jīng)元決定。因此需要對各層的權(quán)值和偏置進行優(yōu)化,使網(wǎng)絡(luò)的預(yù)測值不斷接近真實值。目前用來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置的訓(xùn)練算法很多,比較常用的算法是梯度下降算法,但是該算法在訓(xùn)練過程中收斂速度比較慢,并且易陷入局部極值。因此,本研究采用比梯度下降算法更快、收斂更穩(wěn)定的萊文貝格-馬夸特算法(Levenberg-Marquardt algorithm,LMA)進行網(wǎng)絡(luò)權(quán)值和偏置的優(yōu)化[37]。LMA可以看作是最速下降算法和高斯-牛頓算法的結(jié)合。當(dāng)公式(2)中的誤差過大時,即預(yù)測輸出遠(yuǎn)離期望輸出時,LMA類似于最速下降算法,而當(dāng)預(yù)測輸出接近期望輸出時,LMA類似于高斯-牛頓算法。LMA優(yōu)化算法更新權(quán)重w和偏置b的過程如(3)式和(4)式所示[38]。

(3)

(4)

式中:wl為當(dāng)前的權(quán)值;wl+1為下一次更新后的權(quán)值;bl為當(dāng)前的偏置;bl+1為下一次更新后的偏置;ek為誤差;μ為正標(biāo)量值或組合系數(shù);I為單位矩陣;J為雅可比矩陣。

1.2 模型性能評價

通過均方誤差(MSE)、平均絕對值誤差(MAE)、擬合優(yōu)度(R2)3個性能指標(biāo)對模型的性能進行評價。這些指標(biāo)的標(biāo)準(zhǔn)定義如下。

MSE:衡量預(yù)測值與實際值之間的誤差,MSE的值(RMSE)越小,表明預(yù)測的精確度越高。

(5)

MAE:反映模型預(yù)測值的誤差,MAE的值(RMAE)越小,表明預(yù)測的精確度越高。

(6)

R2:表征模型的擬合效果,R2的值越大,說明擬合效果越好。

(7)

2 超參數(shù)選取

2.1 樣本數(shù)據(jù)準(zhǔn)備

合理選擇輸入變量是建立精確預(yù)測模型的重要步驟,本研究擬以多波地震屬性作為源數(shù)據(jù)進行相關(guān)數(shù)據(jù)處理與分析。地震屬性的種類非常多,不同地震屬性對氣藏描述的貢獻不同(測試區(qū)主要為氣藏),將所有的地震屬性都用來進行分析,會造成信息的冗余,影響網(wǎng)絡(luò)的精度和計算效率,因此,需要優(yōu)選出對氣藏響應(yīng)敏感的地震屬性。根據(jù)前人的研究[39-41],我們構(gòu)建了3種影響氣藏分布預(yù)測的輸入變量來進行深度神經(jīng)網(wǎng)絡(luò)超參數(shù)研究,即3種復(fù)合地震屬性(比值屬性F1,比值屬性F2,乘積屬性F3)[40-41],如圖2所示。提取已知鉆井含氣區(qū)域的局部地震波形數(shù)據(jù)作為標(biāo)準(zhǔn)地震道,再計算標(biāo)準(zhǔn)地震道與鉆井周圍區(qū)域的地震數(shù)據(jù)的相似度來表征含氣概率結(jié)果。最后將80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集,將20%的數(shù)據(jù)作為測試數(shù)據(jù)集。

圖2 3種復(fù)合地震屬性[40-41]

2.2 隱含層數(shù)目的確定

增加深度神經(jīng)網(wǎng)絡(luò)隱含層數(shù)目會提高預(yù)測結(jié)果的精度,但盲目增加隱含層數(shù)會使網(wǎng)絡(luò)結(jié)構(gòu)變復(fù)雜,從而降低網(wǎng)絡(luò)的訓(xùn)練效率,增加時間成本。對不同隱含層數(shù)目下神經(jīng)網(wǎng)絡(luò)的均方誤差的分析發(fā)現(xiàn)(圖3a),隨著隱含層數(shù)目的增加,同一訓(xùn)練次數(shù)下的均方誤差不斷減小,層數(shù)較少時誤差下降比較快,當(dāng)大于7層時,誤差趨于穩(wěn)定。隱含層數(shù)目為7和9的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時的均方誤差基本一致。當(dāng)訓(xùn)練次數(shù)為20000次時,不同隱含層數(shù)目網(wǎng)絡(luò)的誤差下降到目標(biāo)值,如圖3b所示,說明網(wǎng)絡(luò)在含有7個隱含層時已經(jīng)得到了較好的訓(xùn)練,故本文確定隱含層的數(shù)目為7。

圖3 神經(jīng)網(wǎng)絡(luò)性能曲線

2.3 隱含層節(jié)點數(shù)的確定

為了避免設(shè)計的訓(xùn)練網(wǎng)絡(luò)過于復(fù)雜,網(wǎng)絡(luò)的神經(jīng)元節(jié)點數(shù)不宜過多。我們對同一數(shù)據(jù)集進行了大量的試驗工作,設(shè)計了各種神經(jīng)元數(shù)量的深度神經(jīng)網(wǎng)絡(luò)模型,發(fā)現(xiàn)當(dāng)某一隱含層神經(jīng)元數(shù)量超過15時,如(3-5-5-7-7-18-18-18-1),(3-5-5-11-11-18-18-18-1),(3-5-7-9-11-13-15-17-1),(3-7-7-11-11-15-15-15-1),(3-7-7-11-11-18-18-18-1),網(wǎng)絡(luò)的預(yù)測結(jié)果不理想,網(wǎng)絡(luò)的擬合度非常低(R2低于0.6),因此,隱含層節(jié)點數(shù)一般限制在3～15。我們利用性能指標(biāo)對不同數(shù)量神經(jīng)元(3～15)的深度神經(jīng)網(wǎng)絡(luò)模型的性能進行評估(表1)。從表1中可以看出,深度神經(jīng)網(wǎng)絡(luò)模型為(3-5-5-7-7-9-9-9-1)時,MSE,MAE的值非常小,表明該網(wǎng)絡(luò)模型具有較高的預(yù)測精度,同時,R2較高,說明模型的擬合度較好,因此,我們選用結(jié)構(gòu)為(3-5-5-7-7-9-9-9-1)的深度神經(jīng)網(wǎng)絡(luò)作為本研究中最佳的訓(xùn)練模型用于氣藏地震響應(yīng)特征的表征。

表1 不同深度神經(jīng)網(wǎng)絡(luò)模型的性能分析

2.4 激活函數(shù)的確定

為了使深度神經(jīng)網(wǎng)絡(luò)每層的輸出不是輸入的線性組合,提高整個神經(jīng)網(wǎng)絡(luò)的非線性擬合能力,需要對神經(jīng)網(wǎng)絡(luò)進行激活。常用的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)和Relu函數(shù)等(圖4)。對3種激活函數(shù)分別進行誤差測試,Sigmoid函數(shù)、Tanh函數(shù)和Relu函數(shù)訓(xùn)練1000次的誤差分別為0.4293,0.0677和0.0124,可以看出Relu激活函數(shù)的誤差最小。由圖4c也可看出,Relu函數(shù)會在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中將隱含層部分神經(jīng)元的輸出變?yōu)?,降低了神經(jīng)網(wǎng)絡(luò)中參數(shù)之間的相互依存關(guān)系,有效地緩解了網(wǎng)絡(luò)訓(xùn)練過程中過擬合問題的發(fā)生,同時極大地提高了網(wǎng)絡(luò)訓(xùn)練的效率。

圖4 常用的激活函數(shù)

2.5 深度神經(jīng)網(wǎng)絡(luò)模型的確定

采用LMA優(yōu)化網(wǎng)絡(luò),最大迭代次數(shù)為30000次。網(wǎng)絡(luò)訓(xùn)練從權(quán)值和偏置的隨機值開始,因此剛開始進行迭代時的誤差較大。在迭代過程中,訓(xùn)練算法通過調(diào)整參數(shù),逐漸將MSE、MAE降低到非常小的值,直到滿足精度要求(即RMSE小于0.001),訓(xùn)練停止,獲得最佳的網(wǎng)絡(luò)模型。最終,確定了7個隱含層的深度神經(jīng)網(wǎng)絡(luò)模型(3-5-5-7-7-9-9-9-1),這是本研究氣藏地震響應(yīng)特征描述應(yīng)采用的最佳深度神經(jīng)網(wǎng)絡(luò)模型,其模型結(jié)構(gòu)如圖5所示。在本模型圖中,輸入變量(F1,F2,F3)分別由I1,I2,I3表示,每個隱含層中隱藏神經(jīng)元的數(shù)量分別由H1到H9表示,用O1表示輸出參數(shù),應(yīng)用于神經(jīng)元節(jié)點的偏置如圖5中的B1,B2,B3,B4,B5,B6,B7和B8所示。黑線表示正權(quán)重,灰線表示負(fù)權(quán)重。線的粗細(xì)與權(quán)重大小成正比。

圖5 應(yīng)用于含氣性多波地震響應(yīng)特征提取的最佳深度神經(jīng)網(wǎng)絡(luò)模型

3 預(yù)測結(jié)果分析與討論

3.1 深度神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果分析

圖6給出了測試數(shù)據(jù)集中深度神經(jīng)網(wǎng)絡(luò)預(yù)測值與實際值的比較?？梢钥闯?深度神經(jīng)網(wǎng)絡(luò)的預(yù)測數(shù)據(jù)點接近理想線(圖中黑色實線),表明深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果具有較高的擬合度,同時,深度神經(jīng)網(wǎng)絡(luò)的預(yù)測值與實際值基本一致,說明深度神經(jīng)網(wǎng)絡(luò)具有良好的預(yù)測性能。這僅是數(shù)學(xué)意義上的評價,下面結(jié)合實際鉆井?dāng)?shù)據(jù)資料作進一步分析。

圖6 測試數(shù)據(jù)集中深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)測值與實際值比較

測試區(qū)目標(biāo)層共有11口井,包括7口氣井(P1,N3,N2,M1,M2,M3,M4)和4口干井(O1,O2,N1,N4)。將神經(jīng)網(wǎng)絡(luò)訓(xùn)練所得模型應(yīng)用于實現(xiàn)以測試區(qū)多波復(fù)合地震屬性數(shù)據(jù)為驅(qū)動的氣藏的分布預(yù)測,結(jié)果如圖7所示。在剛開始進行訓(xùn)練時(如100次,500次,1000次),深度神經(jīng)網(wǎng)絡(luò)已經(jīng)可以看到初步的氣藏分布情況,但是刻畫的邊界信息不豐富,這與圖3b的性能曲線相對應(yīng),在剛開始訓(xùn)練時,深度神經(jīng)網(wǎng)絡(luò)的均方誤差較大。隨著訓(xùn)練次數(shù)的增加(如5000次,10000次,15000次),深度神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果不斷變化,所刻畫的氣藏邊界逐漸清晰,信息逐漸豐富,與鉆井信息的吻合度越來越高。從性能曲線也可以看出,隨著訓(xùn)練次數(shù)的增加,均方誤差不斷下降。當(dāng)訓(xùn)練次數(shù)達(dá)到20000次時,深度神經(jīng)網(wǎng)絡(luò)趨于穩(wěn)定,預(yù)測結(jié)果隨訓(xùn)練次數(shù)的增加(如25000次,30000次)變化不明顯?？梢钥闯?深度神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果與性能曲線基本一致,隨著訓(xùn)練次數(shù)的增加,深度神經(jīng)網(wǎng)絡(luò)的均方誤差不斷下降,刻畫的氣藏邊界也逐漸清晰,與鉆井信息的吻合度也越來越高。當(dāng)訓(xùn)練超過20000次時,深度神經(jīng)網(wǎng)絡(luò)的均方誤差隨著訓(xùn)練次數(shù)的增加下降不明顯,網(wǎng)絡(luò)的預(yù)測結(jié)果也趨于穩(wěn)定,刻畫的氣藏邊界信息與20000次時的預(yù)測結(jié)果基本一致。該結(jié)果表明,深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)等超參數(shù)的選取對氣藏范圍的預(yù)測結(jié)果存在一定的影響。

3.2 基于測試區(qū)目標(biāo)層局部構(gòu)造特征的評價分析

測試區(qū)目標(biāo)層構(gòu)造如圖8所示,紅色代表構(gòu)造高部位,藍(lán)色代表構(gòu)造低部位。結(jié)合鉆井資料(除O1,O2,N1,N4為干井外,其它7口鉆井在目標(biāo)層均有氣藏響應(yīng)),可以看出,氣藏的基本位于構(gòu)造高部位,如圖8黃色圓圈區(qū)域。深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練20000次的預(yù)測結(jié)果與構(gòu)造高部位基本吻合,如圖9黃色圓圈區(qū)域,進一步說明了深度神經(jīng)網(wǎng)絡(luò)在參數(shù)選取合理的情況下,可以取得良好的預(yù)測結(jié)果。其它有利于地區(qū)目前尚未鉆井,可以作為下一步的有利目標(biāo)區(qū)進行布井。

4 結(jié)論

本文對應(yīng)用于氣藏多波地震響應(yīng)特征提取的深度神經(jīng)網(wǎng)絡(luò)模型超參數(shù)進行了探討,對不同隱含層數(shù)目的深度神經(jīng)網(wǎng)絡(luò)進行了誤差分析,結(jié)果表明,隨著隱含層數(shù)目的增加,同一訓(xùn)練次數(shù)下的均方誤差不斷減小,層數(shù)較少時誤差下降的比較快,當(dāng)大于7層時,誤差趨于穩(wěn)定。最終確定最佳的隱含層數(shù)為7層,最佳訓(xùn)練次數(shù)為20000次。對比網(wǎng)絡(luò)不同訓(xùn)練次數(shù)下的預(yù)測結(jié)果表明,深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)等超參數(shù)的選取對油氣藏分布范圍的預(yù)測結(jié)果存在一定的影響,在今后將神經(jīng)網(wǎng)絡(luò)應(yīng)用于其它數(shù)據(jù)集時,應(yīng)綜合考慮超參數(shù)的影響,做出更好的配置方案。

盡管本文方法取得了一定的效果,但是深度神經(jīng)網(wǎng)絡(luò)部分超參數(shù)(如隱含層節(jié)點數(shù)等)的選取目前主要通過試錯法來確定,在未來工作中可以進一步針對隱含層節(jié)點數(shù)的尋優(yōu)進行更深入探討與研究。

致謝:感謝中石化勘探開發(fā)研究院提供的資料。在論文的完成過程中,王守進、張棟、文博、付超、彭杰、魏乾乾、趙傳偉、楊修超、張建彬等同志先后都做了不少工作,在此一并表示感謝。