基于注意力機制的無監(jiān)督學習地震數據隨機和不規(guī)則噪聲衰減方法

楊柳青 ，王守東 *，杜寶強

1 中國石油大學(北京)油氣資源與探測國家重點實驗室，北京 102249

2 中國石油大學(北京)海洋石油勘探國家工程實驗室，北京 102249

0 引言

地震資料在采集時受環(huán)境和設備等因素干擾，導致在采集到的地震數據中產生大量噪聲。野外采集到的信號通常由有效信號和干擾信號(噪聲)構成，其中有效信號含有油氣勘探和分析的重要信息。被強噪聲覆蓋的地震數據嚴重影響了地震資料的后續(xù)偏移和成像等處理。因此有必要開發(fā)一種高效且自適應的噪聲衰減方法來提高地震資料的信噪比(Signal-to-Noise Ratio, SNR)。常規(guī)的地震隨機噪聲衰減方法經過幾十年的發(fā)展大致可分為4 類，即基于預測濾波的算法，基于變換域濾波的算法，基于模態(tài)分解的算法和基于矩陣降秩的算法。Canales[1]提出f-x域預測濾波算法來衰減隨機噪聲，該算法基于有效反射信號的可預測性來實現。此外，還有t-x域預測濾波[2]和非平穩(wěn)預測濾波[3]?；谧儞Q域的噪聲衰減方法通過設置閾值的方法來衰減地震數據變換到特殊域的噪聲，這是利用有效信號與噪聲在變換域的差異性來達到衰減噪聲的目的。常見的變換域去噪方法有Seislet變換[4]，小波變換[5]和曲波變換[6]等?；谀B(tài)分解的去噪算法將含噪地震數據分解為多個成分，并從中篩選出有效信號的表示成分，最后通過疊加重構有效信號來達到衰減噪聲的目的。具有代表性的模態(tài)分解方法有經驗模態(tài)分解算法(Empirical Mode Decomposition,EMD)[7]和集合經驗模態(tài)分解(Ensemble Empirical Mode Decomposition，EEMD)[8]?；诰仃嚱抵鹊娜ピ胨惴僭O有效信號在頻域的表示是低秩的，而噪聲將提高有效信號低秩矩陣的秩。因此通過恢復低秩矩陣就可以重建有效信號，進而分離出噪聲。常見的矩陣降秩方法有多道奇異譜分析(Multichannel Singular Spectrum Analysis, MSSA)[9]和阻尼多道奇異譜分析(Damped multichannel singular spectrum analysis, DMSSA)[10]。與服從高斯分布的隨機噪聲不同的是，異常值噪聲具有高振幅的特點。

近年來隨著計算機硬件和軟件的發(fā)展，深度學習技術在地震勘探領域得到了廣泛應用。深度學習技術利用大量非線性模塊來建立源域與目標域數據之間的非線性映射關系[11]。在地球物理領域，深度學習技術已用于斷層識別[12]、儲層參數預測[13]和高分辨率處理[14]等。當前，研究學者已經將深度學習技術應用于地震數據中的隨機噪聲和高振幅異常值噪聲衰減中，主要分為監(jiān)督學習和無監(jiān)督學習算法。對于監(jiān)督學習算法，韓衛(wèi)雪等[15]構建了一個卷積神經網絡來衰減疊前地震數據中的隨機噪聲。隨機噪聲服從均值為零且方差為常數的高斯分布。王鈺清等[16]在數據增強技術的基礎上提出使用卷積神經網絡對地震數據的噪聲進行分離?；垒x和韓立國[17]利用公開模型生成大量帶有標簽的合成數據并制作數據集來訓練卷積自編碼器，該框架在二維合成數據與實際地震數據中具有良好的隨機噪聲衰減表現?；诒O(jiān)督學習的框架需要人工構建標簽來擬合網絡，這將增加人力成本。對于三維地震數據，大量帶有標簽的數據集將帶來巨大的計算成本。宋輝等[18]提出一種無監(jiān)督卷積自編碼器來衰減二維地震數據中的隨機噪聲，該框架無需生成標簽即可自適應地提取出有效反射信號。Saad and Chen[19]提出一個基于自編碼器的無監(jiān)督框架來衰減隨機噪聲，在多個合成和實際地震數據中取得了比傳統算法更優(yōu)的效果。目前基于深度學習的隨機噪聲衰減框架大多利用均方根誤差(MSE)損失函數來訓練網絡。對于具有高振幅特性的異常值噪聲，其頻率直方圖近似拉普拉斯分布曲線。Qian等[20]提出一個卷積自編碼器來衰減二維地震資料中的隨機和異常值噪聲，該算法采用Welsch損失函數來衰減異常值噪聲。Wang等[21]提出一種基于監(jiān)督學習的注意力卷積神經網絡來衰減異常值噪聲，該算法以噪聲為學習目標來分離出有效信號。面對日益精細的高精度勘探，開發(fā)一個高效且自適應的無監(jiān)督框架來處理多維地震資料中的噪聲非常重要。

為了提高多維地震數據的隨機噪聲衰減效率和自適應性，本文基于無監(jiān)督學習策略構建了一種帶有注意力機制的隨機和異常值噪聲衰減框架。該框架采用全連接層作為主要的特征提取層。編碼器和解碼器分別由帶有多分支特征提取能力的注意力塊構成。為了增強淺層級至深層級之間的特征傳遞以避免丟失重要特征，我們在對應的編碼與解碼器之間增加一個跳躍連接機制。我們采用有助于保持地震波形橫向連續(xù)性的數據增廣方法來分割地震數據以擴充訓練樣本數量。為了更有效地衰減異常值噪聲，我們采用對異常值噪聲更具魯棒性的Huber損失函數來衰減隨機和異常值噪聲，該損失函數結合了帶有l(wèi)2范數的均方根誤差和l1范數的平均絕對誤差損失。此外，在構建的網絡中加入總變分(Total Variation, TV)正則化項來捕捉地震資料局部的光滑結構。通過實驗調整Huber損失函數與TV正則化項的權重，從而使得網絡獲取最佳的去噪表現。二維和三維的合成與實際數據測試表明：相比傳統的地震噪聲衰減算法和先進的無監(jiān)督深度學習算法，本文提出的框架具有更好的噪聲衰減與有效信號提取性能。

1 理論方法

1.1 全連接特征提取結構

無監(jiān)督自編碼器的去噪過程是對受損數據的重建，利用迭代的方式從含噪數據中提取重要特征的表示。利用編碼器和解碼器對數據進行壓縮和重構來提取特征和去噪。在編碼階段，含有多個神經元的編碼器對含噪數據進行數據壓縮以提取抽象的特征表示。在解碼階段，高階抽象特征被多個含有不同數量神經元的解碼器重構為去噪后的數據。

在多維地震數據隨機噪聲衰減中，有效反射信號y可以表示為：

其中，x表示為含噪數據，n表示地震數據中包含的噪聲。我們旨在采用一種自適應的方式從受損壞的地震數據x中重構出干凈數據y。

我們提出的多分支注意力去噪網絡(multi-branch attention denoising network, MADNet)是一個端到端的無監(jiān)督學習框架，即無需人工生成標簽來訓練網絡。MADNet由多個編碼器和解碼器構成，其中每個層級中對應的編碼器和解碼器之間都含有一個跳躍連接層。這種結構類似于淺層級與深層級中添加了一個殘差連接結構，這有助于在深層級中遷移并重用淺層級提取到的重要特征。該框架采用全連接層(Fully Connected Layer, FCL)作為主要的特征提取層，具體結構如圖1中的線框A所示。編碼階段中全連接特征提取塊在第i個全連接層輸出Oei可表示為：

圖1 多分支注意力去噪網絡結構示意圖Fig. 1 The structure of multi-branch denoising framework

其中，Wei和bei網絡在編碼器階段e中該全連接層需要學習的權重和偏置，X表示輸入的含噪樣本。

含噪數據經過全連接層后，我們采用非線性激活函數將Oei轉換為非線性模式以增強非線性映射能力。本文采用ELU激活函數，經過非線性轉換后編碼器的輸出Rei可表示為：

其中α表示ELU激活函數，表達式為：

隨著迭代次數和層級的增加，網絡容易造成誤差累積。為了減少由協變量偏移導致的誤差累積，我們在非線性激活函數層后加入批歸一化層(Batch Normalization, BN)[22]來修正偏差并提高網絡的收斂速度，它可以表示為：

其中，μ和σ2分別表示均值和方差，δ和γ分別表示BN層的可訓練參數,ε表示用于防止為0 的固定值。為了避免網絡在迭代過程中出現的過擬合現象，我們在BN層后添加一個dropout層。最后我們添加一個一維全局平均池化層來編碼先前提取到的特征，該層可表示為：

全連接特征提取塊采用非線性操作將線性特征提取轉換為非線性模式。全連接層有助于提取輸入地震數據的全局特征。MADNet中采用BN層和dropout層來減少過擬合現象和神經元之間特征的依賴，進而起到了正則化的作用。

1.2 多分支特征提取注意力塊

為了增強網絡在計算過程中對重點區(qū)域的關注程度，注意力機制[23]受到了研究人員的廣泛關注。注意力機制通常分為軟注意力(Soft Attention)，硬注意力(Hard Attention)和自注意力 (Self Attention)。本文提出的框架采用帶有軟注意力機制的多分支特征提取注意力塊來提取重要的波形特征。相比硬注意力，軟注意力利用加權的方式通過前向訓練和后向反饋實現對重要的特征信息進行關注。Li等[24]提出一個基于卷積神經網絡的多尺度注意力機制來提取不同感受野的特征。我們構建了一個多分支特征提取模塊作為MADNet主要的波形特征提取結構，如圖1 的線框B所示。經過全連接特征提取塊后，我們添加兩個全連接層進行特征融合，即將先前由多個分支提取到的特征信息相融。特征融合階段可以表示如下：

其中，pe表示先前多分支提取的特征的融合，W1和W2分別表示第一個和第二個全連接層的權重矩陣，b1和b2分別表示第一個和第二個全連接層的偏置向量，α表示ReLU激活函數。特征融合階段后我們采用加權的方式對特征提取和特征融合階段進行特征選擇。Softmax函數被用來從前層中選擇重要信息，多分支特征提取注意力塊的輸出可以表示為：

跳躍連接是在不同層級中添加一個恒等映射的連接機制，用來提升網絡的魯棒性和特征遷移能力。隨著研究的深入，研究人員發(fā)現神經網絡的性能并非隨著層級加深而提高。相反，當層級加深至一定程度，其非線性映射能力將出現退化，即出現梯度消失等現象。He等[25]提出了ResNet來解決由于網絡層級加深而導致的精度飽和問題。為了提升淺層與深層級網絡的特征共享與遷移能力，我們在搭建的MADNet中加入跳躍連接機制，如圖1 所示。

1.3 無監(jiān)督學習策略與網絡結構

本文提出的MADNet使用含噪數據即可利用迭代的方式實現自適應地震數據去噪。Ulyanov等[26]提出一種自監(jiān)督去噪策略來衰減圖片噪聲，該策略基于l2范數實現。對于地震數據中的隨機噪聲和異常值噪聲衰減，我們采用均方根誤差函數和平均絕對誤差函數的Huber函數作為損失函數，可以表達為：

其中，ΓNet表示提出的MADNet, ΓNet(x; )θ表示去噪后的地震數據，θ表示網絡需要訓練的參數，x表示含噪地震數據，c表示Huber函數中的調諧參數。接下來，我們在損失函數中加入TV正則化項來捕捉地震數據局部的光滑結構，TV項可以表示為：

其中?表示梯度算子。最后我們通過合并兩個損失函數并使用β來分配各自的權重，β為0.9。總損失函數可以表示為:

在迭代過程中為了使網絡達到最佳的訓練狀態(tài)，我們采用了兩個優(yōu)化策略。一個是早停止優(yōu)化策略，即當驗證集損失連續(xù)5 次迭代不下降時保存先前得到的最優(yōu)模型和參數。另一個是自適應學習率優(yōu)化策略，即每經過20 次迭代，學習率將下降一倍。為了加速網絡收斂并優(yōu)化網絡訓練的權重矩陣和偏置，我們采用善于處理稀疏梯度和非平穩(wěn)目標的Adam[27]優(yōu)化算法。

本文搭建的MADNet是一個端到端的無監(jiān)督框架，共包含全連接特征提取塊和多分支特征提取注意力塊，如圖1 所示。我們共采用3 個編碼器和3 個解碼器分別對含噪數據進行降維提取波形特征和恢復數據尺寸。每個多分支特征提取注意力塊中包含兩個并行計算的全連接特征提取塊，在編碼階段，從頂端到低端的全連接特征提取塊中全連接層的神經元數量分別為64,32 和16。在解碼階段，全連接特征提取塊中全連接層的神經元數量分別為16,32 和64。在構建的網絡中間我們添加了一個全連接層中神經元數量為8 的多分支特征提取注意力塊。每個對應的編碼器與解碼器之間添加了跳躍連接機制，該全連接塊中全連接層的神經元數量與對應層級的編碼器和解碼器一致。此外，在多分支特征提取注意力塊的特征融合階段還包含兩個全連接層，其神經元數量分別為當前層級全連接特征提取塊中全連接層的神經元數量的四倍和原始值。

2 數值測試

2.1 數據預處理及去噪表現評估方法

本文構架構建的網絡使用單個含噪地震數據作為輸入。然而，大尺度地震數據輸入到網絡中難以有效的被提取局部特征。本文采用小尺度數據分割技術[28]將大尺度二維或三維地震數據分割為大量一維小尺度地震信號。小尺度數據分割技術有兩個主要參數來控制數據的分割維度。如圖2 所示，以二維數據分割為例：一個是分割尺寸P，即將數據分割為P×P尺寸的一維數據；另一個是滑動尺寸，即分割窗口沿空間和時間的位移大小。假設分割和滑動尺寸為40 和1，原始含噪數據尺寸為496 ×48 的數據經過分割后生成4113組1600 ×1 的一維數據。大量小尺度數據經過噪聲衰減后，我們采用數據重構技術將去噪后的一維信號恢復至原始地震數據尺寸，重構流程如圖2b所示。小尺度數據分割技術有助于保持數據的波形橫向連續(xù)性。

圖2 小尺度數據分割技術流程圖Fig. 2 Flow chart of small scale data segmentation technique

由于實際數據缺乏干凈的標簽，因此難以使用信噪比(SNR)進行定量的對比。在本文中我們采用兩種評估方法來評價合成數據和實際數據的去噪效果，分別為SNR對比和局部相似性檢測。SNR的公式表達如下所示:

其中，y無噪數據，ΓNet(x; )θ表示去噪后的地震數據。另一個去噪效果評價方式是局部相似性對比[29]。該方法可以通過計算移除的噪聲與去噪后數據的局部相似度來檢測去噪數據中的有效信號泄露情況。

2.2 二維地震數據測試

本文提出的方法是一種基于無監(jiān)督的噪聲衰減框架，即無需制作標簽來擬合網絡。為了測試網絡在二維地震數據中的去噪表現，我們首先采用二維合成數據進行去噪實驗。無噪數據如圖3a所示，該數據的時間采樣間隔為4 ms。含噪數據和添加的噪聲如圖3b和3c所示，其中含噪數據的SNR為-3.44 dB。為了驗證提出的網絡的去噪有效性，本文采用DMSSA[10]和一個無監(jiān)督深度學習框架(PATCHUNET)[19]作為對比方法進行二維地震數據去噪測試。

圖3 二維合成地震數據Fig. 3 2D synthetic seismic data

PATCHUNET與本文提出的MADNet具有相同的底層框架，即采用編碼和解碼的結構來壓縮和重構地震數據。圖4 展示了3 種方法的去噪結果，從中可以看到DMSSA(圖4a)中存在大量未去除的噪聲。MADNet相比DMSSA的去噪數據更干凈且同相軸更清晰。本文提出的方法與PATCHUNET的去噪后地震數據相似，難以直觀的分辨出差異。圖4d～f展示了三種方法移除的噪聲剖面，DMSSA方法移除的噪聲剖面中存在明顯的有效信號，表明存在有效信號損失問題。從視覺中本文提出的方法和對比方法都能較好的衰減噪聲。3 種方法的SNR如表1 所示，DMSSA、PATCHUNET和MADNet的SNR分別為8.57 dB、9.45 dB和10.32 dB。本文提出的方法相比DMSSA和PATCHUNET的SNR分別提高了1.75 dB和0.87 dB。評價去噪方法的優(yōu)劣不僅是噪聲衰減能力，還需要從信號保護能力來看。為了進一步檢測三種方法的有效信號泄露情況，我們繪制了局部相似性圖。圖5 展示了三種方法由去噪后的數據和移除的噪聲計算得到的局部相似性對比圖。色標顏色越深則表示信號泄露越嚴重。相比MADNet(圖5c)的檢測結果，DMSSA(圖5a)的局部相似性圖在0.5～0.8 s的范圍存在高能量區(qū)域，表明更多的有效信號泄露。PATCHUNET的局部相似性對比圖(圖5b)顯示同相軸附近出現明顯的有效信號能量。評價不同方法的去噪表現需要從去噪后的數據，移除的噪聲和信噪比這三方面來衡量。從3 種方法的二維合成數據去噪結果來看，本文提出的MADNet具有最高SNR，即10.32 dB。從去噪后的數據中來看，MADNet重構后的同相軸更加清晰且包含的噪聲更少。

表1 三種網絡在二維合成數據測試中的信噪比對比Table 1 Comparison of the SNR using three networks in 2D synthetic data testing

圖4 三種不同方法的去噪效果對比Fig. 4 Denoising comparison using three different methods

為了進一步驗證本文提出的網絡的去噪效果，我們使用二維實際地震數據進行測試。實際地震數據如圖6 所示，該數據曾被Chen等[30]用于噪聲衰減。從實際數據中可以看到大量反射信號被噪聲嚴重覆蓋。DMSSA、PATCHUNET和本文提出的網絡的去噪結果如圖7 所示。圖7a～c展示了3 種方法去噪后的地震數據。從圖7a中可以看到DMSSA的去噪數據過于平滑。反觀PATCHUNET和MADNet，其去噪剖面在衰減噪聲的同時沒有改變構造的細節(jié)。在圖7a中，DMSSA去噪后地震剖面的局部區(qū)域出現微斷裂，這在實際地震數據中被噪聲嚴重覆蓋。在圖7c中本文提出的MADNet不僅可以有效的衰減強噪聲，還可以清晰的重構出有效信號。圖7d～f展示了3 種方法移除的噪聲剖面。相比DMSSA，本文提出的MADNet的噪聲剖面中的有效信號更少。從圖7d中可以看到明顯的高振幅數據泄露問題。對比圖7e和圖7f，本文提出的MADNet在移除的噪聲剖面中具有更少的有效信號。

圖6 二維實際地震數據Fig. 6 2D field data

圖7 三種不同方法的去噪效果對比Fig. 7 Denoising comparison using three different methods

2.3 三維地震數據測試

本文提出的方法的特征提取層為全連接層。三維地震數據輸入網絡前使用小尺度數據分割技術將其分割為大量一維數據以提高訓練效率。輸入的三維地震數據如圖8 所示，其時間采樣為4 ms。含噪數據如圖8b所示，其SNR為-2.47 dB。本次測試采用一種字典學習算法(SGK)[31]和優(yōu)化阻尼降秩(ODRR)[32]作為對比方法。我們采用的分割和滑動尺寸為15 和1，共生成36 288 個一維樣本輸入到網絡中進行訓練。

圖8 三維合成地震數據Fig. 8 3D synthetic seismic data

3 種方法的去噪結果如圖9 所示，其中圖9a～c為SGK、ODRR和MADNet的去噪數據。從SGK(圖9a)的去噪數據中可以看到同相軸的連續(xù)性較差且不清晰。ODRR的去噪數據如圖9b所示，去噪后的數據體中仍殘留未衰減的噪聲。相比兩個對比方法，本文提出的MADNet重構的波形特征更加清晰且殘留的噪聲較少，與干凈數據(圖8a)最接近。從重建后的地震數據來看，MADNet幾乎看不到明顯的噪聲殘留。圖9d～f展示了3 種方法移除的噪聲。相比SGK和ODRR，MADNet移除的噪聲包含更輕微的有效信號，表示在去噪過程中對有效反射信號的損害最小。接下來從數值的角度來對比3 種方法的去噪表現，如表2 所示。SGK、ODRR和MADNet的SNR分別為8.89 dB、9.44 dB和10.43 dB。相比兩個對比方法，本文提出的網絡具有高的SNR。為了進一步檢測三種方法在去噪過程中的信號泄露情況，我們繪制了3 種方法的局部相似性對比圖，如圖10 所示。從圖10b中可以看到SGK的有效信號泄露問題相比剩余兩種方法較大。ODRR和MADNet的局部相似性對比圖結果接近，即檢測到的有效信號能量相似。綜合兩個對比方法和本文提出網絡的去噪表現，MADNet在衰減噪聲時可以更好的保護有效信號。

表2 三種網絡在三維合成數據測試中的信噪比對比Table 2 Comparison of the SNR using three networks in 3D synthetic data testing

圖9 三種不同方法的去噪效果對比Fig. 9 Denoising comparison using three different methods

圖10 三種不同方法的局部相似性對比圖Fig. 10 Comparison of local similarity maps using three different methods

為了進一步驗證本文提出的網絡在三維地震數據中的去噪表現，我們將算法應用到實際地震數據中，并與SGK和ODRR算法進行對比。我們采用小尺度數據分割技術將三維實際地震數據分割為一維含噪信號輸入到網絡中進行訓練。這里的一維信號表示沿三維地震數據的各個方向根據分割和滑動尺寸分割得到。小的分割尺寸將生成更多的小尺度數據，這將增加訓練時間。選擇合適的分割和滑動尺寸將不僅可以提高訓練效率，還可以提升去噪表現。如圖11 所示，該數據先前被Wang等[33]用于隨機噪聲衰減測試。實際地震數據體中的有效反射信號被噪聲嚴重覆蓋，難以觀察到反射信號。本文提出的方法和對比方法的去噪結果如圖12 所示。圖12a～c展示了SGK、ODRR和MADNet去噪后的地震數據。從SGK(圖12a)的去噪數據可以看到重構后的地震信號受到了損壞。ODRR(圖12b)去噪后的地震數據衰減掉了大部分噪聲，但重建后的地震信號過于平滑。從圖11c中可以看到本文提出的MADNet不僅衰減掉了大部分隨機噪聲，而且有效的恢復了反射信號。圖12d～f展示了3 種方法去除的噪聲。對比3 種方法去除的噪聲，ODRR的有效信號泄露問題相比提出的MADNet更加嚴重。SGK方法移除的大量噪聲，但仍能從移除的噪聲看到高振幅的有效信號。

圖11 三維實際地震數據Fig. 11 3D field data

圖12 三種不同方法的去噪效果對比Fig. 12 Denoising comparison using three different methods

2.4 討論

深度學習技術通常分為監(jiān)督和無監(jiān)督兩種方式，本文構建了一種基于無監(jiān)督的框架來衰減多維地震數據中的隨機噪聲。由于實際數據難以制作干凈的標簽，因此監(jiān)督學習框架受到了標簽的限制。實際應用時，使用小尺度地震數據分割技術將含噪數據分割為大量一維地震數據直接輸入到網絡中即可自適應的完成去噪工作。本文使用提出的網絡在二維和三維的合成以及實際地震數據中進行了測試，該網絡同樣可以對更高維度的地震數據進行去噪處理。為了測試本文提出的方法的魯棒性，我們在二維和三維合成地震數據中添加不同水平的噪聲進行去噪測試。測試結果如圖13 所示，圖13a和13b分別為本文提出的方法和對比方法在二維與三維合成地震數據中的降噪結果。圖13a中的黑色、紅色、藍色和紫色線條分別表示含噪數據DMSSA、PATCHUNET和MADNet的去噪結果。從圖中可以看到本文提出的方法相比兩個對比方法有最高的信噪比。在強噪聲背景下，本文提出的方法依然可以有效的提高地震數據的信噪比。圖13b展示了3 種方法在三維合成地震數據中的去噪結果。與二維合成地震數據去噪表現一致，本文提出的網絡有最佳的去噪表現。小尺度地震數據分割技術有助于提高波形特征的提取。

圖13 二維和三維合成數據中不同水平噪聲下不同方法的去噪表現Fig. 13 Denoising performance of different methods on different noise levels of 2D and 3D synthetic data

本文提出的MADNet的主要結構為多分支特征提取注意力塊，該結構通過特征提取、融合和選擇對重要的波形特征提供更大的權重。為了驗證注意力塊在噪聲衰減中的作用，我們通過消融實驗進行對比。不含注意力機制的MADNet中的注意力塊由全連接特征提取塊組成，包含一個全連接層，一個激活函數層，一個批歸一化層和一個dropout層。圖14 展示了本文提出的MADNet和不含注意力機制的MADNet在二維和三維合成數據中的訓練和驗證集損失對比。從訓練集損失的迭代曲線可以看出含有注意力機制的網絡具有更低的誤差。對于二維合成數據，MADNet和不含注意力機制的網絡的訓練參數分別為519 168 和317 896。從訓練效率來看，MADNet不含注意力機制的網絡的訓練時間分別為134 秒和51 秒。為了進一步展示兩種網絡的去噪效果，我們在圖15 和圖16 分別展示了在二維和三維合成數據中的去噪結果。對比圖15 中兩種網絡移除的噪聲剖面和局部相似性圖，含有注意力機制的網絡具有更好的保幅性。兩種網絡的SNR分別為8.98 dB和10.32 dB。從圖15 的兩種網絡在三維合成數據去噪結果的對比中，可以看到含注意力機制的網絡去噪后的地震數據中殘留的噪聲更少。兩種網絡去噪后數據的SNR分別為7.33 dB和10.43 dB。綜合去噪后的地震數據和移除的噪聲，含有注意力機制的網絡在去噪性能和保幅性中均具有更好的表現。

圖14 不同網絡結構的損失曲線對比Fig. 14 Comparison of loss curves using different network structures

圖15 二維合成數據中不同網絡結構的去噪效果對比Fig.15 Comparison of denoising performance using different network structures on 2D synthetic data

圖16 三維合成數據中不同網絡結構的去噪效果對比Fig. 16 Comparison of denoising performance using different network structures on 3D synthetic data

3 結論與認識

本文針提出了一種無監(jiān)督學習框架來衰減多維地震數據中的隨機和異常值噪聲，該網絡無需生成干凈的標簽來擬合網絡。我們使用小尺度地震數據分割技術將多維含噪地震數據分割為大量一維數據并輸入到網絡中進行迭代。本文所構建的框架使用全連接層來提取波形特征，并采用多分支特征提取注意力塊以加權的方式來分配權重，進而提高網絡對重要特征的提取能力。本文提出的網絡分為編碼和解碼兩個階段，其中編碼層用于壓縮數據并提取抽象特征，解碼層用于進一步提取特征并重構特征。為了更有效的衰減異常值噪聲，本文采用對異常值噪聲更具魯棒性的Huber損失函數來衰減隨機和異常值噪聲。此外，在構建的網絡中加入總變分正則化項來捕捉地震資料局部的光滑結構。二維和三維合成與實際地震數據的測試結果表明本文提出的框架可以有效的衰減噪聲。相比經典的地震數據去噪方法和無監(jiān)督去噪方法，本文提出的方法具有更好的噪聲衰減和同相軸重構能力。通過對含有不同水平噪聲地震數據的衰減測試，實驗結果表明本文提出的方法具有良好的魯棒性。