數(shù)據(jù)增廣和主動學習在波阻抗反演中的應用

伊小蝶 吳幫玉 孟德林 曹相湧

(西安交通大學數(shù)學與統(tǒng)計學院，陜西西安 710049)

0 引言

地震波阻抗反演將地震數(shù)據(jù)轉(zhuǎn)換成反映地層物性參數(shù)的阻抗信息，是巖層和儲層精細刻畫的關鍵技術。近半個世紀以來，阻抗反演技術從直接反演發(fā)展到基于模型的反演，從線性反演發(fā)展到非線性反演，從疊后反演發(fā)展到疊前反演，受到了廣泛的關注[1]。

近年來，以卷積神經(jīng)網(wǎng)絡(CNN)為代表的深度學習方法在解決地震反演問題中得到了成功的應用[2-8]。這類方法大多基于有監(jiān)督學習，即利用網(wǎng)絡從給定的數(shù)據(jù)和反演結果(標簽)憑經(jīng)驗尋找二者之間的聯(lián)系，從而得到預測網(wǎng)絡模型。深度網(wǎng)絡由多隱藏層構成，通過最小化網(wǎng)絡預測結果與標簽之間的誤差迭代更新內(nèi)部參數(shù)，該訓練過程需要足夠多的標簽。在標簽足夠多和質(zhì)量足夠好的情況下，與傳統(tǒng)地球物理反演方法相比，深度學習方法可以產(chǎn)生精度更高的反演結果。Das等[9]利用Kennett反射率法產(chǎn)生合成數(shù)據(jù)，結合阻抗標簽訓練CNN并測試了網(wǎng)絡模型的穩(wěn)健性；Mustafa等[10]把地震數(shù)據(jù)和聲波阻抗當作序列數(shù)據(jù)，使用時域卷積網(wǎng)絡(TCN)模型學習二者之間的映射關系；Du等[11]提出用殘差網(wǎng)絡進行疊前反演，獲得了P波阻抗、S波阻抗等巖性和物性參數(shù)；孫宇航等[12]基于序列數(shù)據(jù)假設，利用測井數(shù)據(jù)訓練門控單元(GRU)神經(jīng)網(wǎng)絡預測橫波速度；王俊等[13]將GRU網(wǎng)絡用于測井曲線重構。

在前人基于深度學習的波阻抗反演研究中，網(wǎng)絡的訓練樣本大多從合成數(shù)據(jù)中獲得，很難直接用于實際數(shù)據(jù)。而實際標簽樣本從測井數(shù)據(jù)中生成，由于成本的原因，可用的測井曲線通常數(shù)量少，不足以充分訓練網(wǎng)絡，容易產(chǎn)生過擬合。因此，利用大量合成數(shù)據(jù)對網(wǎng)絡進行預訓練后，應用少量實際標簽對網(wǎng)絡進行遷移學習，是提升網(wǎng)絡實際數(shù)據(jù)反演精度的有效策略[14-16]。

在制作合成數(shù)據(jù)標簽時，保證標簽的典型性和多樣性，避免大量特征相近標簽的出現(xiàn)，是提升網(wǎng)絡收斂速度的關鍵。本文提出基于數(shù)據(jù)增廣和主動學習的策略進行波阻抗反演網(wǎng)絡訓練。主動學習[17-18]不僅可以有效減少標簽數(shù)量，而且能夠優(yōu)選出典型標簽。通過對這些優(yōu)選單道阻抗標簽數(shù)據(jù)以內(nèi)插重采樣的方法進行增廣，可對深度神經(jīng)網(wǎng)絡進行有效訓練。Marmousi 2模型測試結果表明，僅用14道阻抗增廣后的數(shù)據(jù)訓練網(wǎng)絡，即可獲得整個模型3400道數(shù)據(jù)的高精度反演結果。

1 內(nèi)插重采樣的波阻抗增廣方法

1.1 增廣原理

一般常用的增廣方式有裁剪、復制、增強特征、統(tǒng)計分布再抽樣等，通過增加數(shù)據(jù)多樣性提高網(wǎng)絡模型泛化能力。對于時間序列源數(shù)據(jù)，增廣方式主要從采樣頻率和時間窗著手，常見的增廣方式有縮小采樣頻率的上采樣、放大采樣頻率的下采樣和同等采樣頻率的重采樣。插值方法也有許多種，常用的有線性插值、三次樣條插值等。為保證時間維度上的走勢一致性，本文采用三次樣條插值[19]。

用N維列向量d、r、I分別表示地震剖面的一道數(shù)據(jù)及對應的反射系數(shù)序列和波阻抗，通過Toe-plitz型子波矩陣W，可將地震子波與反射系數(shù)序列的卷積運算寫為[20-21]

d=W*r

(1)

I與r的關系可表示為

(2)

引入時移循環(huán)矩陣K為隨機核，與式(1)等號兩邊相乘。對于時不變地震子波，K與W可交換次序[22]，可得

K*d=W*K*r

(3)

(4)

上述縱向內(nèi)插重采樣的具體步驟如下：

(1)任取一個N維波阻抗I，通過三次樣條插值為N*維波阻抗(本文實驗中，取N*=10N)；

在實際應用中，子波在水平或垂直方向上經(jīng)常發(fā)生變化。地質(zhì)和巖性的非平穩(wěn)性變化會給估計子波帶來挑戰(zhàn)。本文增廣方法的最大優(yōu)勢是可以避開關于地震子波W的大量運算，從而減小誤差[23]。

1.2 初步驗證

圖1 原始波阻抗曲線(紅色粗線)與增廣后曲線對比

圖2 增廣地震道(a)和反射系數(shù)(b)與原始曲線(紅色粗線)的對比

2 反演網(wǎng)絡的搭建

2.1 全卷積殘差網(wǎng)絡結構

全卷積網(wǎng)絡(FCN)是一種沒有全連接層的卷積神經(jīng)網(wǎng)絡，能夠根據(jù)任意大小的輸入進行預測，可用于解決反演問題[24]。在深度學習中，基于恒等映射的殘差網(wǎng)絡可緩解網(wǎng)絡隨著層數(shù)增加出現(xiàn)性能退化的現(xiàn)象[25]。結合這兩種網(wǎng)絡優(yōu)點而設計的全卷積殘差網(wǎng)絡(FCRN)，在提高預測精度的同時，緩解了網(wǎng)絡訓練困難的問題[26]。

FCRN結構如圖 3所示，由首尾兩個一維卷積 層(Conv)和中間三個殘差塊組成。首端卷積層由16個大小為300×1的核組成；每個殘差塊由兩個一維卷積層組成，其中第一層擁有16個大小為300×1的核，第二層擁有16個大小為3×1的核；末端卷積層擁有1個大小為3×1的核。所有卷積層中使用零填充，以保證每個卷積層的輸入和輸出大小相同。為了加快網(wǎng)絡收斂速度，F(xiàn)CRN選擇了整流線性激活單元(ReLU)；并且除了最后一層外，對所有卷積層的輸出應用了批量歸一化處理(BN)[27-28]。

圖3 FCRN結構[24]

Wu等[26]提出的FCRN網(wǎng)絡是以單道對單道的形式進行訓練的，即在訓練集中，一道地震數(shù)據(jù)輸入對應一道波阻抗輸出。令Ireal(d)表示地震道d對應的波阻抗真值，F(xiàn)表示訓練出的反演網(wǎng)絡，Θ表示網(wǎng)絡參數(shù)的集合，則可用FΘ(d)表示網(wǎng)絡預測出的一道波阻抗。網(wǎng)絡的損失函數(shù)可用均方誤差計算，定義為

(5)

由于小批量訓練方法能夠提高網(wǎng)絡的泛化能力，本文設置Batch(批處理)大小為10；更新權重部分選擇Adam算法優(yōu)化網(wǎng)絡中的參數(shù)，權重衰減設置為10-7；Epoch(訓練集中的樣本遍歷次數(shù))的數(shù)目設為10，學習率設置為0.001。為避免過擬合，當驗證損失開始增加時，停止網(wǎng)絡訓練[29-30]。

2.2 基于主動學習的網(wǎng)絡迭代

主動學習是機器學習算法之一。在數(shù)據(jù)集十分龐大時，可利用較少的訓練數(shù)據(jù)，在更短時間內(nèi)獲得相同甚至更好的學習效果。減少標簽數(shù)據(jù)、利用很少的數(shù)據(jù)訓練出強泛化能力的模型，是主動學習最大的優(yōu)勢。

在實際訓練過程中，訓練一次后的網(wǎng)絡盡管在訓練集上表現(xiàn)良好，但在驗證集上仍與目標值存在一定差距。這時便需要借鑒主動學習的思想，根據(jù)誤差對此次訓練集中的數(shù)據(jù)進行調(diào)整，直至下一次訓練出的網(wǎng)絡在驗證集上的誤差小于目標誤差值。

2.2.1 初始選擇策略

2.2.2 網(wǎng)絡迭代方法

(6)

則第i次預測整體誤差為

(7)

為避免峰值誤差對判斷的負面影響，減少主動學習迭代次數(shù)，本文引入平滑窗的概念，對剖面上的單道誤差做平滑處理，改進最大誤差的計算方法。

圖4 主動學習每次迭代后選取新數(shù)據(jù)的流程藍線為單道預測誤差曲線，紅線為平均誤差曲線

(8)

圖5 反演網(wǎng)絡迭代總流程

3 實驗

本文實驗的所有數(shù)據(jù)基于減采樣后的Mar-mousi 2模型[31](圖 6)，橫向共有3400道，縱向有2800個時間采樣點，采樣間隔為1ms。

圖6 Marmousi 2波阻抗模型及初始訓練樣本位置(紅色豎線所示)

在網(wǎng)絡迭代之前，人工選取了7道作為訓練樣本，其道號分別為249、599、1674、1799、2199、2499、2999。

圖7 網(wǎng)絡迭代誤差曲線隨迭代次數(shù)的變化

圖8 縱向數(shù)據(jù)增廣波阻抗預測剖面及誤差曲線

4 方法對比

4.1 與橫向增廣的對比

與縱向內(nèi)插重采樣不同，橫向數(shù)據(jù)增廣的過程如下。

假設現(xiàn)有7道波阻抗數(shù)據(jù)，其位置與圖 6相同，將其按位置順序展開如圖9a所示。在橫向上，采用最簡單的線性內(nèi)插方法，內(nèi)插成7×100道作為示例，如圖9b所示。

圖9 7道波阻抗信息(a)及其橫向內(nèi)插結果(b)

當主動學習根據(jù)圖4流程完成一次對新位置的選取后，橫向增廣要將新位置按橫坐標插入訓練集中，再進行內(nèi)插。橫向數(shù)據(jù)增廣和主動學習的地震波阻抗反演的流程如圖10所示。

圖10 橫向內(nèi)插數(shù)據(jù)增廣和主動學習的波阻抗反演流程

橫向內(nèi)插數(shù)據(jù)增廣和主動學習的地震波阻抗反演8次迭代后得到的結果如圖11所示。其最大誤差為0.3139，整體誤差為0.1197，均高于圖8中的誤差。說明本文所提出的內(nèi)插重采樣波阻抗增廣方法優(yōu)于橫向內(nèi)插方法。

圖11 橫向數(shù)據(jù)增廣波阻抗預測剖面及其誤差曲線

4.2 主動學習與非主動學習網(wǎng)絡訓練方法對比

與主動學習不同，非主動學習網(wǎng)絡訓練方法采用隨機選擇初始訓練樣本進行數(shù)據(jù)增廣訓練網(wǎng)絡；且前后迭代之間并無任何關系，每一次的網(wǎng)絡訓練都是獨立的，重新隨機選取訓練樣本。

隨機迭代的效果在同樣規(guī)模的訓練集下，預測精度低于主動學習方法。將14×1000道的數(shù)據(jù)規(guī)模作為標準，考察在同樣數(shù)據(jù)規(guī)模下的隨機選擇樣本網(wǎng)絡預測效果。但由于沒有借助主動學習策略，其預測效果欠佳，并不具有可比性。

在隨機選擇140個位置，每個位置增廣100道數(shù)據(jù)時，反演結果如圖12所示，最大誤差為0.0609，整體誤差為0.0218，比圖8的最大誤差和整體誤差略小。

對比圖12與圖8可知，雖然隨機迭代的整體預測效果與主動學習迭代效果相近，但隨機迭代選取了140個位置的數(shù)據(jù)，主動學習迭代只選取了14個位置的數(shù)據(jù)。而且，基于隨機樣本選取的預測結果誤差主要集中于結構復雜橫向變化劇烈的1600～2200道。該結果說明主動學習迭代方式可挑選更為典型的訓練樣本，使預測誤差在整個數(shù)據(jù)集上得到有效控制，而不是集中于少數(shù)變化強烈位置。

圖12 隨機迭代方法的波阻抗反演剖面及誤差

5 結束語

本文首先在理論上推導了單道內(nèi)插重采樣的增廣方法，生成了反演網(wǎng)絡訓練集；然后應用主動學習，配置了反演網(wǎng)絡參數(shù)并確定了參數(shù)更新方式。Marmousi 2模型實驗結果表明，本文提出的算法只需14道真實的地震波阻抗信息，就可以反演出相對真實的波阻抗剖面。

本文并未對網(wǎng)絡性能提升以及泛化能力展開研究。首先，可以通過優(yōu)化FCRN網(wǎng)絡結構的方式，提高反演精度，減少迭代次數(shù)，并使反演誤差在整個剖面上較為均衡，更有利于實際應用；其次，對實際數(shù)據(jù)進行增廣，并與遷移學習結合，檢驗本文方法在實際數(shù)據(jù)上波阻抗反演效果；再次，本文僅為單參數(shù)反演，在對多個彈性參數(shù)進行反演時如何利用主動學習策略對網(wǎng)絡進行訓練，也是值得研究的方向之一。