基于自注意力機制的卷積自編碼器多次波壓制方法

張 猛

(中國石油化工股份有限公司勝利油田分公司物探研究院,山東東營257022)

多次波常見于海洋和陸地地震勘探數(shù)據(jù)中。在海洋地震勘探中,存在兩個強波阻抗差異界面——海水面和海底面。海水面上層介質為空氣,下層介質為海水。海水層的密度和波速均大于空氣的密度與波速,兩者波阻抗差異極大,故極易產(chǎn)生下行波散射。通常海底面上層介質為海水,下層介質為沉積物,兩者存在較大的波阻抗差異,所以地震波容易在水體中發(fā)生多次反射[1]。多次波是在海水面至少發(fā)生過一次下行反射的波。由于傳播深度、路徑不同,海上多次波又可被分為海底多次波、水柱混響和其它多次波。相較于海洋多次波[2],陸上多次波以層間多次波為主。容易產(chǎn)生層間多次波的頁巖、砂巖往往層間距較小,造成多次波與一次波時差小,同相軸曲率差異不顯著,直接成像會造成虛假反射。因此,層間多次波也是陸上地震數(shù)據(jù)處理的一大難點問題。

地震勘探的目的是使用地震波對地下結構進行探測和成像,判斷其是否存在特殊的構造,間接反映油氣藏存在的可能性。當前使用的地震成像算法多基于一次反射波的波動傳播規(guī)律,因此多次波能量聚焦于錯誤的深度,引入假界面信息[3]。因此,對于地震勘探來說,多次波是一種噪聲,應該從地震數(shù)據(jù)中識別并壓制。

通常使用表面相關多次波衰減法(surface-related multiple elimination,SRME)去除自由表面相關多次波。SRME是被公認為能夠有效壓制多次波的數(shù)據(jù)驅動方法,該方法首先預測多次波,再將預測的多次波自適應地從地震記錄中去除。該方法需要將采集的地震數(shù)據(jù)排列成數(shù)據(jù)矩陣,利用數(shù)據(jù)矩陣自褶積預測多次波,因為預測出的多次波能量與實際地震數(shù)據(jù)的能量不匹配,所以將預測的多次波從實際地震數(shù)據(jù)中減去時,需要用到自適應相減法[4-5]。預測相減過程計算量極大,易損傷一次波能量。另外,傳統(tǒng)的多次波壓制技術通常是將一組地震數(shù)據(jù)處理參數(shù)應用于整個工區(qū)數(shù)據(jù),未考慮同一工區(qū)中不同位置的差異性,未實現(xiàn)基于數(shù)據(jù)驅動的多次波壓制,因此處理精度有待提升。

近年來,神經(jīng)網(wǎng)絡得到長足發(fā)展,其具有模式識別的特性。利用訓練好的網(wǎng)絡進行數(shù)據(jù)處理,可以極大提升工作效率。因此考慮使用神經(jīng)網(wǎng)絡的方法,建立合理的數(shù)據(jù)集,識別并去除地震記錄中的多次波。神經(jīng)網(wǎng)絡問世之初,由于算力限制,并未被廣泛應用,直至卷積神經(jīng)網(wǎng)絡問世[6]。卷積神經(jīng)網(wǎng)絡和計算機的發(fā)展與進步,使得深度神經(jīng)網(wǎng)絡可以被訓練。自編碼器是一類結構對稱的前饋神經(jīng)網(wǎng)絡,其具有壓縮感知的特性,通過將信息先編碼后解碼,可以將信息特征稀疏化后并恢復[7]。卷積自編碼器使用卷積核連接自編碼器的各隱藏層,首先利用待處理數(shù)據(jù)建立卷積自編碼器輸入數(shù)據(jù)集,然后通過理想輸出數(shù)據(jù)集建立標簽數(shù)據(jù)集,再建立卷積自編碼器更新網(wǎng)絡參數(shù)的目標優(yōu)化函數(shù),最后即可用迭代的方法訓練目標模型。將訓練好的模型用于數(shù)據(jù)處理,效率可以得到極大提升。江金生等[8-9]將卷積自編碼神經(jīng)網(wǎng)絡應用于地震數(shù)據(jù)的去噪和插值,取得了良好的應用效果。近年來,隨著深度學習的發(fā)展,各類優(yōu)化模式被不斷提出。WANG等[10]認為卷積網(wǎng)絡將圖像特征的尺度局限在卷積核大小的范圍內(nèi),因此使用空間域自注意力模塊建立遠距離像素點之間的關聯(lián)性,可以進一步提升網(wǎng)絡對全局特征的提取能力。本文將已經(jīng)在地震數(shù)據(jù)處理中取得良好應用效果的卷積自編碼神經(jīng)網(wǎng)絡應用于多次波壓制問題,為了提高該網(wǎng)絡對全局特征的感知與提取能力,引入自注意力機制,形成了一套行之有效的多次波自動壓制神經(jīng)網(wǎng)絡方法。

1 方法技術

自編碼器作為一種數(shù)據(jù)維度壓縮和特征表達方法,屬于前饋神經(jīng)網(wǎng)絡。自編碼器通常由編碼器和解碼器構成:編碼器可以實現(xiàn)輸入數(shù)據(jù)的稀疏表達,用于提取輸入數(shù)據(jù)中最有效的信息;解碼器將稀疏表達重構為目標輸出。通過設計合理的損失函數(shù),訓練神經(jīng)網(wǎng)絡在編碼階段學習到被關注信號特征的稀疏表達,在解碼階段盡可能減少損失地將編碼輸出還原至標簽結果[11]。

卷積神經(jīng)網(wǎng)絡由全連接人工神經(jīng)網(wǎng)絡發(fā)展而來,其在網(wǎng)絡層間通過具有局部連接和權值共享兩大特性的卷積核相連,從而極大程度地避免了全連接網(wǎng)絡的參數(shù)爆炸問題。卷積層使得深度網(wǎng)絡結構可以被訓練,因此廣泛應用于計算機視覺領域。

編碼器fθi和解碼器gθj可以分別表示為:

h=fθi(Wi?x+bi)

(1)

y=gθj(Wj?h+bj)

(2)

式中:x為輸入的數(shù)據(jù)張量;h為數(shù)據(jù)編碼后的本征特征;y為重建的數(shù)據(jù)張量;Wi,Wj,bi,bj分別為編碼器和解碼器中每個卷積層的權值矩陣與偏置,i,j為編碼器中的第i個卷積層和解碼器中的第j個卷積層;?為卷積;θ為神經(jīng)網(wǎng)絡結構的超參數(shù),包括神經(jīng)網(wǎng)絡深度、卷積核個數(shù)和初始學習率等。

雖然卷積層能夠極大地減少神經(jīng)網(wǎng)絡參數(shù)量,但卷積核使得神經(jīng)網(wǎng)絡的關注尺度局限在核大小內(nèi),即更關注局部特征。對于一些特殊視覺任務來說,目標具有全局特征。自注意力機制可以在一定程度上緩解卷積核帶來的局部性,建立較遠距離的地震數(shù)據(jù)之間的關系,從而提升神經(jīng)網(wǎng)絡的效果。圖1中,P代表了各輸出結果與標簽的Softmax得分[13]。例如,識別第8列輸入圖像中的物體,當僅使用殘差神經(jīng)網(wǎng)絡時,網(wǎng)絡僅將其部分識別為目標整體,而加入自注意力模塊(SE)后,P值得到明顯提升,對目標體的識別更為精準。增加了自注意力模塊的神經(jīng)網(wǎng)絡,感受野得到拓展,對目標整體的識別明顯增強。

圖1 利用添加自注意力模塊的殘差神經(jīng)網(wǎng)絡進行目標體識別的結果示意[13]

在計算機視覺問題中,注意力可表示如下[12]:

(3)

式中:dk為縮放因子,取值為K的維度,Q,K,V具體表示如下:

Q=flatten(x*θ)
K=flatten(x*φ)
V=flatten(x*g)

(4)

式中:φ,g均為神經(jīng)網(wǎng)絡結構中自注意力模塊的超參數(shù)。自注意力模塊如圖2所示[10],自注意力機制是通過特征圖元素的相關矩陣實現(xiàn)的。

自編碼器網(wǎng)絡結構對稱,層數(shù)不深。層與層之間以卷積核相連接,構成了卷積自編碼器。由此可見,卷積自編碼器是一種輕量化的神經(jīng)網(wǎng)絡結構。對于地震數(shù)據(jù)中多次波的識別與去除,由于卷積自編碼器具有全局特征,故在其中可以加入自注意力模塊(圖2),旨在去除多次波的同時,盡可能地避免對一次波能量造成損傷。

圖2 自注意力模塊

自注意力卷積自編碼器的神經(jīng)結構如圖3所示。在編碼階段依次進行通道數(shù)依次倍增的4組卷積計算,且交替使用3×3和1×1大小的卷積核,保持特征圖尺寸不變。每兩組卷積計算后進行一次池化,池化后特征圖的長寬減半。此過程中降維提取輸入數(shù)據(jù)的特征,得到稀疏化后的特征圖。在編碼器中加入自注意力模塊,增強特征全局連續(xù)性。解碼階段首先對稀疏特征圖進行上采樣,使長寬各增加一倍,同樣,再依次進行通道數(shù)依次倍減的4組卷積計算,每兩組卷積計算后進行一次上采樣,直至長寬與輸入數(shù)據(jù)保持一致。最后,以一次單通道卷積對具有32個通道的特征圖進行融合,此時生成器輸出結果的尺寸、維度與輸入數(shù)據(jù)皆保持一致。解碼后地震數(shù)據(jù)特征得以恢復。

圖3 自注意力卷積自編碼器的神經(jīng)結構

自注意力卷積自編碼器網(wǎng)絡中將L1范數(shù)作為損失函數(shù),目標函數(shù)F可以表示為:

(5)

(6)

選用基于動量法和梯度下降法的Adam優(yōu)化器,更新網(wǎng)絡的參數(shù)。Adam優(yōu)化算法作為一種基于梯度下降的方法,既可以利用梯度的一階矩均值又可以利用梯度的二階矩均值計算適應性參數(shù)學習率,對于大規(guī)模數(shù)據(jù)的深度學習具有較大優(yōu)勢。Adam優(yōu)化算法計算過程可以表示如下:

(7a)

mt=β1·mt-1+(1-β1)·gt

(7b)

(7c)

(7d)

(7e)

(7f)

2 理論地震數(shù)據(jù)實驗

神經(jīng)網(wǎng)絡數(shù)據(jù)集由輸入數(shù)據(jù)集和標簽數(shù)據(jù)集構成。通常進行正式處理前,會對數(shù)據(jù)進行預處理,旨在一定程度上防止過擬合,預處理的方法有很多,如數(shù)據(jù)標準化、數(shù)據(jù)連續(xù)屬性離散化等。我們使用數(shù)據(jù)標準化中的Z-Score標準化,計算公式如下:

(8)

式中:x0和x分別為標準化前、后的地震數(shù)據(jù);μ為數(shù)據(jù)x0的均值;σ為x0的方差。

為了驗證神經(jīng)網(wǎng)絡的有效性,我們對模擬地震數(shù)據(jù)進行測試。由于模擬炮集數(shù)據(jù)難以仿真層間多次波,因此通過控制自由地表吸收衰減與否,來分別模擬帶和不帶表面相關多次波的地震數(shù)據(jù),利用圖4 中的8個速度模型正演生成400炮地震數(shù)據(jù)訓練集(圖5)。圖5a 為訓練神經(jīng)網(wǎng)絡所使用的帶有自由表面多次波的輸入數(shù)據(jù),圖5b為不帶自由表面多次波的標簽數(shù)據(jù)。

圖4 用于生成訓練數(shù)據(jù)集的8個速度模型

圖5 訓練神經(jīng)網(wǎng)絡所使用的帶有自由表面多次波的輸入數(shù)據(jù)(a)和不帶有自由表面多次波的標簽數(shù)據(jù)(b)

從圖6可以看出,多次波成分得到了較好的壓制。圖7中網(wǎng)絡輸出數(shù)據(jù)與標簽數(shù)據(jù)的殘差幾乎不可見,說明網(wǎng)絡處理后輸出的數(shù)據(jù)接近標簽數(shù)據(jù),殘差平均值為0.0014。圖6與圖7共同說明了本文方法在模擬炮集數(shù)據(jù)中應用的有效性。在易受多次波干擾的大偏移距處,有效波與多次波嚴重相干,給壓制多次波能量帶來挑戰(zhàn)。

圖6 神經(jīng)網(wǎng)絡訓練結果a 網(wǎng)絡輸入數(shù)據(jù);b 標簽數(shù)據(jù);c 經(jīng)網(wǎng)絡處理后輸出的數(shù)據(jù)

圖7 網(wǎng)絡輸出數(shù)據(jù)與標簽數(shù)據(jù)的殘差圖像

如圖8所示,大偏移距處同相軸模糊、扭曲,而采用增加了自注意力模塊的卷積自編碼器(convolu-tional auto-encoder,CAE)相較于未增加注意力模塊的CAE,能更好地壓制多次波,恢復有效波能量,增強一次波同相軸的空間連續(xù)性。

圖8 自注意力模塊對訓練結果的改善示意a 未增加自注意力模塊的CAE壓制多次波結果;b 增加了自注意力模塊的CAE壓制多次波結果

3 實際地震資料應用

傳統(tǒng)的多次波壓制處理方式如下:處理員通過交互分析整個工區(qū)資料中多次波發(fā)育的情況,綜合考慮選擇一組參數(shù),然后將其應用于整個工區(qū)進行多次波壓制。然而,實際工區(qū)中由于地質條件的不同,多次波在地震資料中表現(xiàn)形式也不盡相同,因此,利用傳統(tǒng)多次波壓制方法存在局部處理效果不佳的情況?；谌斯ぶ悄艿亩啻尾▔褐萍夹g實現(xiàn)地震數(shù)據(jù)驅動的方法,比人工選擇一組固定參數(shù)進行整個工區(qū)的多次波壓制處理,在理論上具有優(yōu)勢。學習樣本由經(jīng)驗豐富的處理員應用商業(yè)軟件進行處理,以保證智能算法學習到最優(yōu)秀處理員的“處理經(jīng)驗”。

為了進一步測試本文所使用的神經(jīng)網(wǎng)絡方法對實測地震數(shù)據(jù)的有效性,我們選擇某陸上實際地震數(shù)據(jù)進行測試。與模擬數(shù)據(jù)不同的是,我們選取成像后的地震道集進行訓練和測試,這是因為實際地震數(shù)據(jù)多次波壓制的標簽和參照對比結果均在商業(yè)軟件中成像道集上的處理效果更佳。輸入數(shù)據(jù)集由實際地震勘探野外采集并進行預處理得到,標簽數(shù)據(jù)集是利用商業(yè)軟件,人工對輸入數(shù)據(jù)集進行多次波去除后得到的結果。首先,將具有輸入與標簽映射關系的數(shù)據(jù)集以1∶9的比例劃分為訓練集和測試集。使用小樣本對網(wǎng)絡進行訓練,并利用訓練后的網(wǎng)絡對其余樣本進行處理,將網(wǎng)絡處理結果與商業(yè)軟件處理結果進行對比,證明上述方法可以減少多次波壓制過程中繁雜的人工處理流程。

本文使用的基于自注意力的卷集自編碼器神經(jīng)網(wǎng)絡,共迭代訓練200000次,實際地震數(shù)據(jù)訓練過程中的損失函數(shù)收斂曲線如圖9所示,測試結果的隨機抽樣樣本及其對應的輸入、標簽數(shù)據(jù)如圖10至圖12 所示。

圖9 實際地震數(shù)據(jù)訓練過程中的損失函數(shù)收斂曲線

利用本文方法測試地震數(shù)據(jù)集結果如圖10和圖11 所示,使用小樣本訓練網(wǎng)絡,可以得到較理想的多次波壓制結果。圖10a和圖11a為含有多次波的地震記錄,即網(wǎng)絡輸入數(shù)據(jù),不難發(fā)現(xiàn),在成像道集中,一次波被校平,速度校正不足的多次波通常表現(xiàn)為傾角隨偏移距增大的同相軸。隨著旅行時的增加,一次波與能量更強的多次波互相疊加,難以辨認一次波信息。經(jīng)神經(jīng)網(wǎng)絡處理后,得到圖10b和圖11b,可見平坦的一次波同相軸被恢復,與商業(yè)軟件處理結果一致(圖10c和圖11c)。對比圖11d與圖11e,可以看出未被校平的多次波能量被有效壓制;網(wǎng)絡輸出數(shù)據(jù)與標簽數(shù)據(jù)的殘差如圖11f所示,仍存在不明顯的能量泄漏,平均殘差R為0.0017。

圖12展示了原始偏移剖面和采用本文方法進行多次波壓制后的偏移剖面,與原始剖面相比,多次波能量被有效壓制,縫洞成像改善。成像效果進一步反映了使用本文方法壓制多次波的正確性和有效性。

計算量方面,利用深度神經(jīng)網(wǎng)絡進行多次波壓制的計算量主要在神經(jīng)網(wǎng)絡訓練階段。本次實驗處理的10GB地震成像道集數(shù)據(jù)中,利用其中約1GB的數(shù)據(jù)進行神經(jīng)網(wǎng)絡訓練并且利用帶有2張Navidia K40顯卡的GPU工作站進行訓練,耗時約5.5h;利用訓練好的神經(jīng)網(wǎng)絡處理剩余9GB的數(shù)據(jù),僅需數(shù)分鐘時間。相較于直接利用傳統(tǒng)的商業(yè)軟件進行人工處理,自注意力機制的卷積自編碼器多次波壓制方法的效率得到了顯著提升。

4 結論

本文提出了一種基于自注意力機制的卷積自編碼器神經(jīng)網(wǎng)絡,用于地震多次波的壓制,并利用正演模擬炮集數(shù)據(jù)證明了方法的有效性。使用實際地震數(shù)據(jù)成像道集,驗證了該網(wǎng)絡處理方法對實際地震數(shù)據(jù)的處理能力。自編碼器從地震數(shù)據(jù)集中挖掘數(shù)據(jù)特征,調(diào)整網(wǎng)絡參數(shù),從而實現(xiàn)智能化且高效率地壓制地震數(shù)據(jù)的多次波,其包含的自注意力機制進一步提升了網(wǎng)絡性能。本文僅使用10%的地震數(shù)據(jù)對網(wǎng)絡進行訓練,訓練后的網(wǎng)絡有效且高效率地壓制了成像道集中的多次波。此過程只需人工處理實際地震數(shù)據(jù)中的小部分數(shù)據(jù),便可實現(xiàn)大批量數(shù)據(jù)的多次波壓制,且大幅提高了處理效率。與傳統(tǒng)方法的處理結果相比,基于數(shù)據(jù)驅動的多次波壓制方法在整個工區(qū)處理效果均存在一定程度的提升。