采用帶注意力機(jī)制3D U-Net網(wǎng)絡(luò)的地質(zhì)模型參數(shù)化技術(shù)

李小波，李欣，閆林，周騰驊，李順明，王繼強(qiáng)，李心浩

（1.中國石油勘探開發(fā)研究院人工智能研究中心，北京 100083；2.中國石油天然氣集團(tuán)有限公司勘探開發(fā)人工智能技術(shù)研發(fā)中心，北京 100083；3.中國石油勘探開發(fā)研究院油田開發(fā)研究所，北京 100083）

0 引言

油藏歷史擬合的計(jì)算量會(huì)隨著地質(zhì)模型精細(xì)化、不確定因素的增加以及研究問題的深入而顯著增加[1-2]。解決上述問題的途徑之一是使用代理模型[3]來提升油藏歷史擬合過程中的計(jì)算速度；另一途徑是采用地質(zhì)模型參數(shù)化技術(shù)將相關(guān)性強(qiáng)的模型參變量從高維空間映射到低維空間，達(dá)到大幅降低油藏歷史擬合計(jì)算量的效果。該技術(shù)的主要挑戰(zhàn)在于盡可能降低原始地質(zhì)模型參變量維度的同時(shí)，保留足夠精細(xì)的原始模型地質(zhì)特征信息。

截至目前，油藏歷史擬合領(lǐng)域已發(fā)展了 3大類地質(zhì)模型參數(shù)化技術(shù)：第 1類是基于一些傳統(tǒng)數(shù)學(xué)變換方法來降低原始地質(zhì)模型參變量維度，比如主成分分析（PCA）及其變種、離散小波變換（DWT）、離散余弦變換（DCT）、水平集函數(shù)（Level-Set）等[4-9]。這些方法各有其優(yōu)缺點(diǎn)，其中最為常用的PCA方法通過矩陣的特征值排序來實(shí)現(xiàn)線性降維，其缺點(diǎn)在于協(xié)方差不能夠直接處理具有多點(diǎn)統(tǒng)計(jì)特征的地質(zhì)模型。第 2類是利用深度學(xué)習(xí)網(wǎng)絡(luò)模型將原始地質(zhì)模型參變量轉(zhuǎn)換為網(wǎng)絡(luò)模型內(nèi)部的低維隱變量，比如自編碼器（AE）、變分自編碼器（VAE）、深度信念網(wǎng)絡(luò)（DBN）、生成對(duì)抗網(wǎng)絡(luò)（GAN）等[10-13]，這類方法普遍存在數(shù)據(jù)依賴性強(qiáng)、可解釋性差等缺點(diǎn)。第 3類是將傳統(tǒng)數(shù)學(xué)變換方法特別是其中的PCA方法與深度學(xué)習(xí)模型結(jié)合起來使用，比如 CNN（卷積神經(jīng)網(wǎng)絡(luò)）-PCA和 PCACycle-GAN等[9,14-15]，這類方法先利用PCA方法進(jìn)行降維，然后利用訓(xùn)練好的深度學(xué)習(xí)模型對(duì)PCA降維過程中丟失的地質(zhì)特征信息進(jìn)行補(bǔ)全，從而彌補(bǔ)PCA方法不能夠直接處理具有多點(diǎn)統(tǒng)計(jì)特征地質(zhì)模型的不足。

Liu等[9,14]提出了一個(gè)用于三維復(fù)雜地質(zhì)模型參數(shù)化的CNN-PCA技術(shù)框架。該技術(shù)在PCA降維基礎(chǔ)上，引入殘差網(wǎng)絡(luò)模型 ResNet來補(bǔ)全 PCA降維過程中丟失的模型細(xì)節(jié)信息。在具體實(shí)現(xiàn)中，Liu等[9,14]在模型訓(xùn)練中還使用了一個(gè)綜合地質(zhì)圖像內(nèi)容、風(fēng)格和井點(diǎn)硬數(shù)據(jù)的損失函數(shù)來定量評(píng)估網(wǎng)絡(luò)模型訓(xùn)練效果，其中地質(zhì)圖像風(fēng)格使用預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型來針對(duì)地質(zhì)模型逐層提取。本文針對(duì)三維復(fù)合河道砂體油藏模型的進(jìn)一步研究發(fā)現(xiàn)：采用ResNet網(wǎng)絡(luò)模型對(duì)PCA降維模型進(jìn)行細(xì)節(jié)補(bǔ)全后，河道走向和河道砂體邊緣仍存在較大的損失；在網(wǎng)絡(luò)模型訓(xùn)練中采用預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型逐層提取圖像風(fēng)格特征，存在可解釋性差和后期針對(duì)復(fù)雜沉積環(huán)境下地質(zhì)模型進(jìn)行遷移應(yīng)用時(shí)有風(fēng)險(xiǎn)的問題。

針對(duì)上述問題，本文不使用預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型來提取三維模型風(fēng)格特征，而采用新的損失函數(shù)，并引入一種帶注意力機(jī)制的3D U-Net網(wǎng)絡(luò)模型來更好地補(bǔ)全PCA降維過程中丟失的模型細(xì)節(jié)信息。以一個(gè)復(fù)合河道砂體油藏為例，對(duì)比分析 CNN-PCA和本文技術(shù)的應(yīng)用效果。

1 帶注意力機(jī)制的3D U-Net網(wǎng)絡(luò)模型及相應(yīng)的損失函數(shù)

3D U-Net網(wǎng)絡(luò)模型是生物醫(yī)學(xué)圖像智能化領(lǐng)域應(yīng)用較為成功的三維圖像分割網(wǎng)絡(luò)模型之一[16-17]，該網(wǎng)絡(luò)包含了1個(gè)卷積部分和1個(gè)上采樣部分。其中，卷積部分由 3個(gè)編碼塊組成，并且卷積部分和上采樣部分的網(wǎng)絡(luò)層具有一一對(duì)應(yīng)的關(guān)系。因此，可以將對(duì)應(yīng)的特征層通過拼接的方式連接在一起進(jìn)行計(jì)算，從而將輸入模型在下采樣過程中丟失的語義特征傳遞到上采樣層，融合了多尺度的特征，使得每層的特征都得到了有效計(jì)算，圖像分割能力顯著提升。本質(zhì)上，3D U-Net網(wǎng)絡(luò)模型仍是一種基于編碼器-解碼器模型框架（Encoder-Decoder）的神經(jīng)網(wǎng)絡(luò)模型，同樣存在該框架的固有問題，即所有輸入對(duì)中間語義向量的影響都相同，沒有區(qū)分重點(diǎn)，在持續(xù)輸入過程中前期的輸入容易丟失很多細(xì)節(jié)信息。鑒于此，引入注意力機(jī)制提升3D U-Net網(wǎng)絡(luò)模型性能成為眾多學(xué)者關(guān)注的焦點(diǎn)[18-20]。

經(jīng)過對(duì)比研究，本文采用 Oktay等[19]提出的“門控信號(hào)”注意力機(jī)制來提升3D U-Net網(wǎng)絡(luò)模型預(yù)測(cè)精度。具體每個(gè)層級(jí)的通道數(shù)分別為64、128、256、512和1 024，每個(gè)層級(jí)編碼器與對(duì)應(yīng)的解碼器進(jìn)行特征拼接前，通過一個(gè)“門控信號(hào)”注意力模塊調(diào)整編碼器的輸出，從而提升網(wǎng)絡(luò)的預(yù)測(cè)精度。實(shí)驗(yàn)表明，這種“門控信號(hào)”注意力機(jī)制對(duì)3D U-Net網(wǎng)絡(luò)模型結(jié)構(gòu)的改動(dòng)工作量少，可明顯提高網(wǎng)絡(luò)對(duì)重要特征的關(guān)注度，并抑制對(duì)不相關(guān)特征的學(xué)習(xí)，從而提升3D U-Net網(wǎng)絡(luò)模型的靈敏度和準(zhǔn)確度。

“門控信號(hào)”注意力機(jī)制如圖1所示，g為門控信號(hào)，xl為輸入信號(hào)，Wg，Wx，ψ為卷積核。g將信息尺度較為粗糙的信息疊加到xl來消除跳躍連接中相關(guān)性較弱的特征響應(yīng)并突出重要特征，從而學(xué)習(xí)得到注意力系數(shù)α，再與xl相乘得到用于拼接的特征向量x?l。

圖1 “門控信號(hào)”注意力機(jī)制

Liu等[9,14]在訓(xùn)練 ResNet網(wǎng)絡(luò)模型時(shí)使用了預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型來逐層提取三維地質(zhì)模型圖像的風(fēng)格特征，并且為了改善訓(xùn)練效果還另外生成一些擾動(dòng)模型參與訓(xùn)練。經(jīng)過實(shí)驗(yàn)研究發(fā)現(xiàn)，該做法的訓(xùn)練效率和技術(shù)效果需要進(jìn)一步改進(jìn)，此外存在C3D網(wǎng)絡(luò)模型的可解釋性差以及后期遷移應(yīng)用有風(fēng)險(xiǎn)等問題。為此，本文放棄使用預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型，使用綜合 Tversky損失和硬數(shù)據(jù)損失兩者的損失函數(shù)來完成3D U-Net網(wǎng)絡(luò)模型訓(xùn)練，該損失函數(shù)具體表達(dá)式為：

進(jìn)一步考慮了模型的地質(zhì)概念，將模型縱向按地質(zhì)層分段計(jì)算 Tversky損失[20]后求和，兼顧了精確度和召回率，在實(shí)驗(yàn)中表現(xiàn)出了良好的性能。具體有：

經(jīng)過多次實(shí)驗(yàn)，選擇了一組效果較好的網(wǎng)絡(luò)模型超參數(shù)組合，具體為：每層通道數(shù)分別取64，128，512，1 024，并令注意力門中的中間通道數(shù)取對(duì)應(yīng)通道數(shù)的1/2，損失函數(shù)權(quán)重取γt=500，γh=80，Tversky損失中系數(shù)取αt=0.5。上述超參數(shù)取值使得Tversky損失和硬數(shù)據(jù)損失在訓(xùn)練起步時(shí)數(shù)值接近，并有足夠的數(shù)量級(jí)，降低陷入局部最優(yōu)的風(fēng)險(xiǎn)。針對(duì)本文算例進(jìn)行10輪模型訓(xùn)練，訓(xùn)練過程共耗時(shí)4 h，損失函數(shù)變化情況如圖2所示，訓(xùn)練后期函數(shù)變化滿足收斂要求。

圖2 損失函數(shù)值隨迭代輪數(shù)變化圖

2 算例分析

本文使用 1個(gè)復(fù)合河道砂體油藏算例進(jìn)行對(duì)比研究。該算例包括6口生產(chǎn)井（P1，P4，P5，P11，P12，P15）的巖石相和孔隙度、滲透率、飽和度等硬數(shù)據(jù)，結(jié)合物源方向、河道展布特征等地質(zhì)認(rèn)識(shí)，采用商業(yè)建模軟件隨機(jī)模擬得到總數(shù)為3 000個(gè)的砂-泥兩相復(fù)合河道砂體油藏地質(zhì)模型集合，每個(gè)模型包含42 560（76×112×5）個(gè)網(wǎng)格，縱向上1—3層為1個(gè)地質(zhì)層段，4—5層為1個(gè)地質(zhì)層段，油藏流體包含油氣水三相，其中 1個(gè)具體油藏模型如圖 3所示。圖中色標(biāo)表示巖相，0代表泥巖相，1代表砂巖相，不等于0或不等于1代表信息在降維過程中有丟失，原來為1的位置降維后為 0也表示信息有丟失，需要用神經(jīng)網(wǎng)絡(luò)補(bǔ)全修復(fù)。

圖3 復(fù)合河道砂體油藏地質(zhì)模型示例

采用PCA對(duì)原始的復(fù)合河道砂體油藏地質(zhì)模型進(jìn)行降維處理后，得到如圖 4所示的圖像，此時(shí)河道砂體的展布信息變得模糊。顯然，PCA降維會(huì)導(dǎo)致原始地質(zhì)模型細(xì)節(jié)信息的丟失，需要進(jìn)一步利用CNN模型來進(jìn)行丟失信息的補(bǔ)全。

圖4 PCA降維后的復(fù)合河道砂體油藏地質(zhì)模型

采用Liu等[9,14]提供的殘差網(wǎng)絡(luò)模型對(duì)PCA降維后的復(fù)合河道砂體油藏地質(zhì)模型進(jìn)行信息補(bǔ)全后的結(jié)果如圖 5所示。與原始模型相比，河道寬度（邊緣）與河道走向等關(guān)鍵信息仍然存在較大損失，均方差為696.30。

圖5 采用殘差網(wǎng)絡(luò)模型補(bǔ)全后的地質(zhì)模型及其與原始模型的偏差

使用不帶注意力機(jī)制的3D U-Net網(wǎng)絡(luò)對(duì)PCA降維后的復(fù)合河道砂體油藏地質(zhì)模型進(jìn)行補(bǔ)全后的結(jié)果如圖 6所示。可以發(fā)現(xiàn)，補(bǔ)全后的模型中河道砂體缺失、不連續(xù)，均方差為428.94。

圖6 采用不帶注意力機(jī)制的3D U-Net模型補(bǔ)全后的地質(zhì)模型及其與原始模型的偏差

采用帶注意力機(jī)制的3D U-Net網(wǎng)絡(luò)對(duì)PCA降維后的復(fù)合河道砂體油藏地質(zhì)模型進(jìn)行補(bǔ)全后的結(jié)果如圖 7所示。可以發(fā)現(xiàn)，相比前兩者，帶注意力機(jī)制的3D U-Net在保持河道連續(xù)性、修補(bǔ)河道邊緣方面能夠獲得更好的效果，均方差為 395.58，與采用殘差網(wǎng)絡(luò)模型補(bǔ)全后的地質(zhì)模型相比降低幅度超過40%。

圖7 采用帶注意力機(jī)制的3D U-Net模型補(bǔ)全后的地質(zhì)模型及其與原始模型的偏差

采用帶注意力機(jī)制的3D U-Net模型補(bǔ)全后的地質(zhì)模型與原始模型仍然存在一定的偏差，考慮到歷史擬合過程中會(huì)在此基礎(chǔ)上結(jié)合生產(chǎn)動(dòng)態(tài)進(jìn)一步調(diào)整模型，因此判斷地質(zhì)模型參數(shù)化技術(shù)效果更為關(guān)鍵的指標(biāo)是降維后的模型是否能夠完整反映原始地質(zhì)模型流動(dòng)特性。具體對(duì)本算例的3 000個(gè)原始模型而言，本文利用PCA提取模型特征降維后，分別采用殘差網(wǎng)絡(luò)模型和帶注意力機(jī)制的3D U-Net模型進(jìn)行補(bǔ)全后，只用300個(gè)模型即可反映原始3 000個(gè)隨機(jī)模型的流動(dòng)特性（見圖8），從而達(dá)到大幅降低油藏歷史擬合計(jì)算量的效果，本文300個(gè)模型的歷史擬合用時(shí)為12 h。對(duì)比兩種不同的深度學(xué)習(xí)網(wǎng)絡(luò)模型，從圖 9中P10，P50，P90曲線吻合程度可看出采用帶注意力機(jī)制的 3D U-Net模型補(bǔ)全后的地質(zhì)模型在反映原始地質(zhì)模型的流動(dòng)特性方面具有更好的效果。

圖8 分別采用殘差網(wǎng)絡(luò)模型和帶注意力機(jī)制的3D U-Net模型補(bǔ)全后的地質(zhì)模型流動(dòng)特性統(tǒng)計(jì)

在前文研究基礎(chǔ)上，進(jìn)一步結(jié)合多數(shù)據(jù)同化集合平滑算法（ES-MDA）[21]對(duì)油藏18年的生產(chǎn)動(dòng)態(tài)進(jìn)行歷史擬合，在相同擬合控制參數(shù)條件下，帶注意力機(jī)制的3D U-Net模型獲得了更好的擬合效果，單井?dāng)M合結(jié)果的均方差降低了80%（見圖9）。

圖9 分別采用殘差網(wǎng)絡(luò)模型和帶注意力機(jī)制的3D U-Net模型補(bǔ)全后的地質(zhì)模型進(jìn)行歷史擬合的效果對(duì)比

3 結(jié)論

采用帶注意力機(jī)制的3D U-Net網(wǎng)絡(luò)能夠更好地補(bǔ)全PCA降維后丟失的地質(zhì)模型信息，本文算例的補(bǔ)全結(jié)果均方差降低了 40%。還能夠改善油藏歷史擬合的技術(shù)效果，本文算例使用300個(gè)模型代替3 000個(gè)模型完成擬合，單井?dāng)M合結(jié)果的均方差降低了80%。

使用新的損失函數(shù)代替預(yù)訓(xùn)練好的C3D網(wǎng)絡(luò)模型來提取三維模型風(fēng)格特征，同樣能夠評(píng)估深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)于三維地質(zhì)模型特征的補(bǔ)全效果，且將CNN-PCA模型遷移到不同沉積環(huán)境下地質(zhì)模型應(yīng)用時(shí)有更好的潛在價(jià)值。下一步可基于本文提供的地質(zhì)模型參數(shù)化技術(shù)進(jìn)一步探索其對(duì)不同沉積環(huán)境下地質(zhì)模型的具體應(yīng)用效果。

符號(hào)注釋：

fw——表征對(duì)降維模型中丟失的地質(zhì)特征信息進(jìn)行補(bǔ)全操作的函數(shù)；g——門控信號(hào)；i——油藏地質(zhì)模型序號(hào)；j——地質(zhì)層段序號(hào)；I——輸入圖像的邊長，m；l——降維后的變量維度；L——損失函數(shù)；Lt，Lh——Tversky損失和硬數(shù)據(jù)損失；mgm——原始油藏地質(zhì)模型；mpca——原始油藏地質(zhì)模型經(jīng)過主成分分析方法降維得到的模型；P10，P50，P90——概率分布曲線上累計(jì)概率為10%，50%，90%時(shí)對(duì)應(yīng)的參數(shù)值；Wg，Wx，ψ——注意力機(jī)制的 3個(gè)卷積核；xl——注意力機(jī)制的輸入信號(hào)；x?l——用于拼接的特征向量；α——注意力系數(shù)；αt——根據(jù)實(shí)際需求設(shè)置的損失系數(shù)，0≤αt≤1；γt，γh——Tversky損失和硬數(shù)據(jù)損失對(duì)應(yīng)的損失函數(shù)權(quán)重因子。