基于Transformer 的地震數(shù)據(jù)斷層識別

摘要： 利用地震資料識別斷層在油氣勘探中有著重要的作用。目前，機器學習和深度學習技術(shù)提高了斷層識別的精度和效率，但斷裂預測結(jié)果仍難以滿足生產(chǎn)需求。為此，提出基于Transformer 的地震斷層識別方法，即3D SwinTrans‐U‐Net。該網(wǎng)絡(luò)由Swin Transformer 模塊、卷積模塊組成。其中，Swin Transformer 模塊可以利用Transformer 的注意力機制提取全局信息，并將計算全局注意力轉(zhuǎn)變?yōu)橛嬎愦翱诘淖⒁饬Γ瑥亩萒ransformer減少了計算復雜度； 卷積模塊具有歸納偏置的特性，避免了Swin Transformer 存在弱歸納偏置的缺陷；最后，利用U‐Net 結(jié)構(gòu)，結(jié)合Swin Transformer 層與卷積層，融合深層與淺層的信息并提取相關(guān)特征，充分學習全局性和局部依賴性信息，在保證斷層識別精度的基礎(chǔ)上提高了計算效率，實現(xiàn)端到端的地震斷層學習。模型數(shù)據(jù)和實際數(shù)據(jù)測試均表明，3D SwinTrans‐U‐Net 網(wǎng)絡(luò)能進一步提升斷層識別精度。

關(guān)鍵詞： 深度學習，3D SwinTrans‐U‐Net，斷層識別，Transformer，Swin Transformer，卷積

中圖分類號：P631 文獻標識碼：A DOI：10. 13810/j. cnki. issn. 1000‐7210. 2024. 06. 003

0 引言

斷層識別一直是地震資料解釋的一個重要部分。傳統(tǒng)的斷層解釋主要基于人工，其精度和效率都難以滿足生產(chǎn)需求。

隨著計算機技術(shù)的發(fā)展，自動、半自動檢測方法提高了斷層識別效率。Xiong 等[1]利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）將斷層檢測視為圖像分類問題，斷層識別結(jié)果具有更高的分辨率。殘差連接[2]可以加深網(wǎng)絡(luò)結(jié)構(gòu)，提高模型性能。據(jù)此，張政等[3]提出了一個與遷移學習相結(jié)合的34 層深度的殘差網(wǎng)絡(luò)，更全面地解析了地震數(shù)據(jù)中的斷層結(jié)構(gòu)。

U‐Net 是一種常用的語義分割網(wǎng)絡(luò)，可以得到不同層次的斷層特征。據(jù)此，Wu 等[5‐6]利用合成地震數(shù)據(jù)對U‐Net 網(wǎng)絡(luò)進行訓練，實現(xiàn)了端到端的斷層智能識別。王海龍等[7]利用GeoEast 軟件斷層智能檢測技術(shù)逐級識別斷層，解決了實際需求。常德寬等[8]聯(lián)合ResNet 與U‐Net，提高了地震資料斷層的識別效率。何濤等[9]將殘差模塊引入U ‐ Net 網(wǎng)絡(luò)，提出了ResU‐Net 網(wǎng)絡(luò)，進一步提高了模型的泛化性能。路鵬飛等[10]利用VNet 網(wǎng)絡(luò)進行斷層識別，該網(wǎng)絡(luò)可以在下采樣過程中增加信號感受野，從而能夠更好地保留信號的細節(jié)信息。

在面對特征較復雜的地震數(shù)據(jù)時，U‐Net 無法對復雜的特征給予更多關(guān)注，而注意力機制可以關(guān)注某些特定信息，忽略無關(guān)信息。Transformer[11]是一種基于自注意力機制的編碼器—解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，可以有效提取全局信息，具有強大的表達能力。Dosovitskiy 等[12]將Trasnsformer 用于圖像分類，提出了Vision Transformer（ViT）模型，然而所帶來的問題是計算量的劇增。為了提高計算效率，Liu 等[13]提出了Swin Transformer 網(wǎng)絡(luò)架構(gòu)，與Vision Transformer 相比，基于窗口的自注意力機制僅僅只用計算窗口內(nèi)的自注意力，降低了計算成本，并且基于移動窗口的多頭自注意力機制可以引入相鄰窗口之間的信息，從而能夠獲取全局信息，因此能夠在保證精度的同時能夠提高計算效率。Tang等[14]在U‐Net 網(wǎng)絡(luò)中引入Transformer 模塊進行特征提取，使用2. 5D 地震合成數(shù)據(jù)進行訓練，相比于3D U‐Net，該方法可以獲得更連續(xù)的斷層預測結(jié)果。目前，Swin Transformer 多應用于醫(yī)學、遙感領(lǐng)域中，均取得了不錯的效果。Cao 等[15]設(shè)計了一個U型純Transformer 網(wǎng)絡(luò)，在多器官和心臟分割任務方面具有出色的性能和泛化能力。Liang 等[16]建立了一個3D U 型對稱的Swin Transformer 網(wǎng)絡(luò)，在分割遠離腫瘤中心的小面積的病變時，該網(wǎng)絡(luò)性能幾乎優(yōu)于基于卷積的方法。Cai 等[17]設(shè)計了基于Swin Transformer 和卷積的醫(yī)學圖像分割網(wǎng)絡(luò)，在模型參數(shù)數(shù)量和精度之間達到了很好的平衡。

因此，基于注意力機制能夠提取全局信息的優(yōu)勢以及卷積的歸納偏置特性，為了滿足對復雜構(gòu)造區(qū)域斷裂預測的油氣勘探需求，本文將Swin Transformer[13]與卷積層進行結(jié)合，提出基于Transformer的地震斷層識別方法，即3D SwinTrans‐U‐Net，以提高斷層識別的精度。