基于SinGAN的巖石薄片圖像超分辨率重建

程國建，張福臨

(西安石油大學 計算機學院，陜西 西安 710065)

引 言

巖石是天然產出的具有穩(wěn)定外型的礦物或玻璃集合體,按照一定的方式結合而成，是構成地殼和上地幔的物質基礎。大量的勘探開發(fā)實踐表明,儲層的微觀孔隙結構直接影響著儲層的儲集滲流能力,并最終決定著氣藏的產能。因此,研究低滲氣藏的微觀孔隙結構具有重要的現(xiàn)實意義。巖石薄片分析是地質研究中的重要部分。傳統(tǒng)方法是人工用顯微鏡對巖石薄片圖像進行識別、分析、鑒定,但其存在耗時長、人力投入大、準確度低等問題。因此,利用人工智能及深度學習對巖石薄片進行超分辨率重建與研究具有重要意義。

近年來,隨著硬件設備和深度學習的快速發(fā)展,諸多學者在圖像處理方面做了更加深入的研究。2014年,Dong Chao等[1]將卷積神經網絡應用于超分辨率重建上,提出基于卷積神經網絡的超分辨率(SRCNN)算法,將圖像特征從低分辨率空間非線性映射到高分辨率空間,重建效果優(yōu)于其他傳統(tǒng)算法。2016年,Dong Chao 等[2]改進了SRCNN算法,提出了FSRCNN算法,其不需要在網絡外部進行放大圖片尺寸的操作,同時通過添加收縮層和擴張層,將一個大層用一些小層來代替,提升了超分辨率重建速度；Shi等[3]提出了一種直接在低分辨率圖像尺寸上提取特征,計算得到高分辨率圖像的高效方法(ESPCN)；Kim等[4]加深了卷積層數(shù),提出了一個20層的深度卷積神經網絡模型(VDSR),提高了圖像的重建質量；同年,Kim 等[5]又提出了基于深度循環(huán)神經網絡的圖像超分辨率重建(DRCN),加深了網絡結構(16個遞歸),增加了網絡感受野,提升了性能。2017年,Ledig等[6]首次將 GAN 應用到超分辨率重建上,提出了基于生成對抗網絡的超分辨率重建(SRGAN),視覺效果逼真。

在巖石圖像研究方面,2016年,程國建等[7]將深度學習應用到巖石圖像處理中,證明深度學習方法在巖石圖像中應用的可行性；隨后,程國建、郭文惠、范鵬召等[8-9]將卷積神經網絡和深度信念網絡應用于巖石圖像分類,訓練的分類模型準確率分別達到98.5%和94.75%。2019年,程國建、魏珺潔[10]將K-Means的顏色量化算法應用于巖石圖像預處理,更好地反映巖石圖像的顏色特征。

本文將單圖像生成式對抗網絡應用于巖石圖像超分辨率重建中,該模型不需大量的數(shù)據(jù)集,無需人工提取圖像特征,最終達到對單張巖石薄片圖像進行超分辨率重建的目的。

1 巖石鑄體薄片圖像

在石油地質行業(yè)中,通常使用巖石薄片研究地質油氣分布情況。鑄體薄片是將帶色的有機玻璃或環(huán)氧樹脂注入巖石的孔隙裂縫中,待樹脂凝固后,再將巖心切片放在顯微鏡下觀察,用以研究巖心薄片中的面孔率、孔喉類型、連通性、孔喉配位數(shù)以及碎屑組分等。本文實驗使用來自鄂爾多斯盆地致密砂巖儲層微觀尺度智能化表征項目中偏光顯微鏡下拍攝的巖石鑄體薄片圖像作為數(shù)據(jù)集。

2 相關理論與方法

2.1 生成式對抗網絡

Ian J.Goodfellow等[11]提出了一個通過對抗過程估計生成模型的新框架，Generative Adversarial Networks?？蚣苤型瑫r訓練2個模型：捕獲數(shù)據(jù)分布的生成模型G和估計樣本來自訓練數(shù)據(jù)的概率的判別模型D。G的訓練程序是將D錯誤的概率最大化[12]。這個框架對應一個最大值集下限的雙方對抗游戲。可以證明在任意函數(shù)G和D的空間中，存在唯一的解決方案，使得G重現(xiàn)訓練數(shù)據(jù)分布，而D=0.5。在G和D由多層感知器定義的情況下，整個系統(tǒng)可以用反向傳播進行訓練。在訓練或生成樣本期間，不需要任何馬爾科夫鏈或展開的近似推理網絡。實驗通過對生成的樣品的定性和定量評估證明了本框架的潛力。生成式對抗網絡的基本結構如圖1所示。

2.2 單圖像生成對抗網絡

單圖像生成對抗網絡(SinGAN)是Tamar Rott Shaham等[13]在 2019 年提出的一種深度學習網絡模型。一般來說訓練GAN來生成圖像,至少需要有成千上萬的訓練數(shù)據(jù)才可能有不錯的效果。而它能夠從單張自然圖像中學習,是一種無監(jiān)督的生成模型,訓練后的SinGAN可以接受一個隨機噪聲的輸入。SinGAN可以生成新的具有真實感的圖像樣本,在保留了原始的圖像塊分布的基礎上,創(chuàng)造了新的物體外形和結構。

2.3 單圖像生成對抗網絡原理及結構

單圖像生成對抗網絡是一個可以從單張自然圖像學習的非條件性生成式模型。這個模型可以捕捉給定圖像中各個小塊內的內在分布,接著就能夠生成帶有和給定圖像中的視覺內容相同的高質量且多樣的新圖像。這個任務在概念上與傳統(tǒng)的GAN設定類似,只是這里的訓練樣本是單個圖像的patch,而不是來自數(shù)據(jù)庫的整個圖像樣本。而且在圖像的類別上不局限于一些特定圖片,而是要處理包含復雜結構和紋理的一般自然圖像,這就需要獲取圖像更多尺度上的內部信息。這是通過一個由全卷積的輕量級GANs組成的金字塔來實現(xiàn)的,每個GANs負責捕獲不同規(guī)模的patch分布。如圖2所示。

圖2 SinGAN的基本結構Fig.2 The basic structure of SinGAN

SinGAN的結構是多個全卷積GANs{G0,G1,…,GN}組成的金字塔,這些全卷積GANs都負責學習圖像{x0,x1,…,xN}中的某個小塊中的內部信息,不同的GANs學習的小塊的大小不同,從粗糙到細致、從低分辨率到高分辨率逐步生成新圖像。這些新圖像在具有給定的訓練圖像的全局結構和細節(jié)紋理的同時,還可以有很高的可變性。在這些全卷積GANs中,每個生成器GN都會生成真實圖像xN的權重與偏置。圖像樣本從最粗的尺度開始,加入噪聲ZN,依次通過所有生成器GN,得到圖像xN,將圖像xN放大r倍后,加入另外一個噪聲ZN-1,一并輸入生成器GN-1,生成更多細節(jié)的圖像xN-1,以此類推,直到最細的尺度,生成具有豐富細節(jié)的圖像x0。其基本公式如下：

(1)

(2)

SinGAN超分辨率重建的原理是,在低分辨率圖像上訓練模型,重建損失權重為α= 100,金字塔比例因子為

(3)

由于小型結構往往會在自然圖像中重復出現(xiàn),因此將圖像上采樣r倍(見式(2)),并將其(連同噪聲)注入最后一個生成器G0,學習生成圖像樣本,重復此k次以獲得最終的高分辨率輸出。判別器DN都是基于patch判斷的,從DN直到D0層。

3 實驗及結果分析

3.1 實驗環(huán)境

本實驗采用PyTorch深度學習框架,使用GPU對處理過程加速,實驗所用到的軟硬件環(huán)境見表1。

表1 實驗環(huán)境Tab.1 Experimental environment

3.2 實驗結果

實驗從鄂爾多斯盆地致密砂巖數(shù)據(jù)集中隨機選取了6幅大小為256×256分辨率的巖石圖像。進行兩組實驗,第一組以不同碎屑粒徑的砂巖鑄體薄片圖像為數(shù)據(jù)集進行實驗,第二組以不同孔隙類型的砂巖鑄體薄片圖像為數(shù)據(jù)集進行實驗。

實驗一，按照砂巖碎屑的粒徑大小將砂巖圖像分為3類：粗粒砂巖、中粒砂巖、細粒砂巖。粗粒砂巖的碎屑粒徑主要在0.5～2.0 mm之間,巖石碎屑主要呈橢圓狀、棱角狀,碎屑分布稀疏,連通性好。中粒砂巖的碎屑粒徑主要在0.1～0.2 mm之間,巖石碎屑主要呈次棱角狀、棱角狀,分布較稀疏,孔隙清晰可見。細粒砂巖的碎屑粒徑主要在0.062 5～0.100 0 mm之間。實驗結果如圖3—圖5所示,這3幅圖的左圖為實驗原圖,中間為實驗原圖標記區(qū)域圖,右邊為將實驗原圖超分辨率重建結果圖，對應原圖標記區(qū)域。

圖3 粗粒砂巖圖像重建結果Fig.3 Image reconstruction result of coarse sandstone

圖4 中粒砂巖圖像重建結果Fig.4 Image reconstruction result of medium grained sandstone

圖5 細粒砂巖圖像重建結果Fig.5 Image reconstruction result of fine sandstone

對比輸入圖與結果圖,在輸入圖中,3種類型的巖石圖像較模糊,且紋理信息不明顯,碎屑邊緣部分平滑。經過SinGAN重建之后的圖像,總體質量明顯提升,邊緣部分的細節(jié)更加清晰,碎屑紋理突出。

實驗二，按照砂巖孔隙的類型將砂巖圖像分為3類：粒間孔隙、晶間孔隙、溶蝕孔隙。粒間孔隙是在碎屑顆粒、基質及膠結物之間的孔隙空間,它是碎屑巖中最大量及最主要的儲集空間。晶間孔隙是鹽酸鹽礦物晶體之間的孔隙。溶蝕孔隙指由碎屑顆粒、基質、自生礦物膠結物或交代礦物中的可溶組分被溶解形成的孔隙。實驗結果如圖6—圖8所示。

對比輸入圖與結果圖,在輸入圖中,3種類型的孔隙圖像較模糊,且孔隙的細節(jié)信息不明顯,孔隙間的物質不夠清晰。經過SinGAN重建之后的圖像,總體質量明顯提升,孔隙的細節(jié)信息突出,紋理結構更突出。由上述圖像可以看出,基于單圖像生成式對抗網絡的超分辨率重建結果的圖像質量均有明顯的提升,紋理結構更加清晰,細節(jié)信息更加明顯,有利于研究人員的后續(xù)研究。

圖6 粒間孔隙圖像重建結果Fig.6 Image reconstruction result of intergranular pores

圖7 晶間孔隙圖像重建結果Fig.7 Image reconstruction result of intercrystalline pores

圖8 溶蝕孔隙圖像重建結果Fig.8 Image reconstruction result of dissolution pores

實驗三，利用雙三次插值(Bicubic)、SRCNN、VDSR、DRCN、SRGAN對巖石薄片圖像進行超分辨率重建，將重建結果與本文方法結果進行對比。結果如圖9所示。

圖9 中粒砂巖圖像不同方法重建結果Fig.9 Image reconstruction results of medium grained sandstone with different methods

3.3 實驗結果分析

3.3.1 PSNR和SSIM

本實驗采用峰值信噪比PSNR和結構相似性SSIM作為評價指標。

(4)

(5)

式中：MSE表示當前圖像X和圖像Y的均方誤差；H、W分別為圖像的高度和寬度；n為每像素的比特數(shù),一般取8,即像素灰階數(shù)為256。PSNR的數(shù)值越大表示失真越小。

SSIM基于樣本X和Y之間的3個量(亮度l、對比度c和結構s)的比較進行衡量。

(6)

其中C1=(K1L)2；

(7)

(8)

其中C2=(K2L)2；

(9)

(10)

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)。

(11)

式中：μX為X的均值,μY為Y的均值,σX為X的方差,σY為Y的方差,σXY為X和Y的協(xié)方差；C1、C2、C3是為了防止出現(xiàn)分母為零的情況,其中K1?1，是一個常數(shù)，具體代碼中的取值為0.01,K2一般在代碼中取0.03,C3取C2的一半,L為灰度的動態(tài)范圍，由圖像的數(shù)據(jù)類型決定，如果數(shù)據(jù)為uint8型，則L=255。SSIM取值范圍[0,1], 值越大,表示圖像失真越小。

表2為6張圖像超分辨率重建質量評價結果。

表2 圖像超分辨率重建質量評價結果Fig.2 Evaluation result of super-resolution reconstruction of rock images

表3為6張圖像使用不同方法超分辨率重建評平均的質量評價結果。

表3 不同方法的質量評價結果對比Tab.3 Comparison of super-resolution quality evaluation results of images using different methods

從PSNR和SSIM數(shù)據(jù)可以看出,SinGAN的重建效果較好,也比較穩(wěn)定。

3.3.2 孔隙率

本實驗利用ImageJ工具對實驗原始輸入圖、輸出圖分別計算孔隙率,結果見表4。

表4 圖像孔隙率對比Tab.4 Image porosity comparison

可以看出經過SinGAN超分辨率重建后,由于圖像變得更加清晰,紋理更加細致,細節(jié)信息更加明顯，巖石圖像的孔隙率都有一定程度的提升。

4 結 論

將單圖像生成式對抗網絡應用到巖石薄片圖像超分辨率重建中,該方法直接輸入單張原始圖像的數(shù)據(jù),由SinGAN網絡自動提取特征,SinGAN特有的金字塔式結構,使得每一層網絡能學習到前一層確實的細節(jié)。實驗結果表明在視覺上和評價指標上,均具有良好效果。下一步工作,調整圖像重建部分的函數(shù),使網絡達到更好的效果，以及將SinGAN網絡應用于巖石薄片圖像的多狀態(tài)生成。