Raw 格式巖心圖像超分辨率重建

黃帥坤，陳洪剛，卿粼波，郝傳銘

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

0 引言

在地質(zhì)勘探開發(fā)中，通過研究鉆取的巖心能獲得重要的地質(zhì)信息，高清的巖心圖像更有利于研究人員進(jìn)行分析。 基于線陣相機(jī)的掃描儀，采集的圖像分辨率較高，但掃描存在不穩(wěn)定、成像時(shí)間長(zhǎng)的問題[1]。 而基于面陣相機(jī)的掃描儀，通過一次成像，能大大減少巖心圖像的采集時(shí)間；但為了使同樣大小的巖心進(jìn)入視野，采集的圖像分辨率會(huì)有所下降。因此，如何提升巖心圖像分辨率，從而達(dá)到后續(xù)的分析要求，具有重要的研究意義。

隨著數(shù)據(jù)集的越加廣泛[2-3]與訓(xùn)練模型深度的加深[4-5]，單幅圖像超分辨率技術(shù)得到了很大的發(fā)展，但目前很多超分辨率方法在應(yīng)用于巖心圖像時(shí)表現(xiàn)不佳。 首先，許多方法[1，4-7]通過固定的下采樣來獲得低分辨率圖像，但這種簡(jiǎn)單的退化模型并不能反映真實(shí)場(chǎng)景圖像的退化過程。 其次，退化模型應(yīng)該基于線性圖像[5，8]，但許多方法是基于相機(jī)圖像處理器(Image Signal Processor，ISP)處理后的非線性圖像[1，4]，由于經(jīng)過色調(diào)校正、有損壓縮等非線性處理(如圖1 所示)，會(huì)使模型重建出的高分辨率圖像出現(xiàn)偽影。 為了解決這一問題，有研究者直接通過光學(xué)變焦方法拍攝現(xiàn)實(shí)場(chǎng)景中的圖像作為數(shù)據(jù)集[2，4，9]，但針對(duì)巖心這種小視場(chǎng)圖像，高低分辨率之間不同程度的畸變與較大視場(chǎng)差因素增大了對(duì)齊數(shù)據(jù)的難度。 文獻(xiàn)[8]提出了一種方法，先模擬ISP 過程合成數(shù)據(jù)集，再使用一個(gè)雙層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，其重建的圖像色彩直接取決于分支2輸入圖像的色彩。 為得到逼真的色彩，需根據(jù)每次拍攝的壞境，對(duì)分支2 輸入圖像的色彩進(jìn)行調(diào)整，且只能根據(jù)重建結(jié)果反饋給輸入進(jìn)行調(diào)整， 該過程比較繁瑣和耗時(shí)。

圖1 相機(jī) ISP 流程

本文基于以上研究成果，針對(duì)重建效果細(xì)節(jié)模糊或色彩偏差問題，做了以下工作：(1)基于 Raw 格式巖心圖像，模擬ISP 中的線性處理部分，制作線性圖像數(shù)據(jù)集。(2)基于文獻(xiàn)[8]網(wǎng)絡(luò)，引入重疊池化層減少分支1 的冗余信息；引入通道注意力機(jī)制提高分支2 色彩恢復(fù)效果；并針對(duì)分支2 色彩調(diào)整耗時(shí)長(zhǎng)的問題，提出了基于Raw 格式巖心圖像的超分辨率重建算法。

1 提出方法

1.1 整體流程

為了使巖心圖像獲得更好的超分辨率結(jié)果，本文基于 Raw 格式圖像進(jìn)行研究，16 位 Raw 格式圖像比8 位RGB 圖像多出的高位信息有利于圖像的重建[2，4，8-9]；并只學(xué)習(xí)線性高低分辨率圖像之間的映射關(guān)系，便于重建結(jié)果的色彩調(diào)整，整體流程如圖2 所示。首先，將輸入的 Raw 格式圖像 Iraw轉(zhuǎn)換為Bayer 格式圖像 Ibayer，并經(jīng)過 CNN1 重建出紋理清晰的高分辨率圖像。然后，由于Bayer 格式圖像沒有色彩信息，因此將輸入的 Raw 格式圖像再經(jīng) ISP 線性化操作得到線性 RGB 圖像 Iref，并基于 CNN2 學(xué)習(xí)高低分辨率圖像的色彩映射關(guān)系。 最后，將分支1 得到的結(jié)構(gòu)特征與分支2 得到的色彩特征進(jìn)行特征融合(即圖2 中的 M 過程)，得到一張線性的彩色高分辨率圖像 Irestore。

圖2 整體流程圖

由于上述步驟是針對(duì)線性圖像的重建，并不包含ISP 中的非線性操作，與經(jīng)過ISP 處理后的圖片相比，兩者在色彩與亮度上存在偏差，因此對(duì) Irestore進(jìn)行色調(diào)校正和圖像增強(qiáng)(即圖2 中的 no-linear 過程)：

其中，fb表示亮度校正，fg表示伽馬校正，fe表示對(duì)比度增強(qiáng)。 特別地，高分辨率圖像 Ihsr的色彩能根據(jù)拍攝環(huán)境直接在Irestore上進(jìn)行非線性的色彩的調(diào)整，大大減少了色彩調(diào)整的時(shí)間。

1.2 網(wǎng)絡(luò)

本文網(wǎng)絡(luò)在文獻(xiàn)[8]網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn)，圖3 所示為 CNN1 的網(wǎng)絡(luò)結(jié)構(gòu)。 首先，將低分辨率Bayer 圖像的 RGGB 四個(gè)通道送入網(wǎng)絡(luò)， 并使用多個(gè)卷積層與密集塊[10](Dense Block，DB)來提取高維圖像的底層特征。 與文獻(xiàn)[8]不同的是，本文增加一個(gè)重疊池化層(Overlapping Pooling)來減少網(wǎng)絡(luò)中的冗余信息，使特征提取過程更加緊湊與高效。然后，對(duì)提取的底層特征enconder 進(jìn)行高分辨率圖像重構(gòu)，多個(gè)長(zhǎng)短跳接能提高網(wǎng)絡(luò)的性能[7]，也彌補(bǔ)了隨著網(wǎng)絡(luò)加深帶來的梯度消失問題。 經(jīng)過CNN1 網(wǎng)絡(luò)，獲得了高分辨率圖像的紋理特征；然后，經(jīng)過如圖4 所示的CNN2 網(wǎng)絡(luò)，來獲取高分辨率圖像的色彩特征。

圖3 CNN1 網(wǎng)絡(luò)結(jié)構(gòu)(conv1～6 為步長(zhǎng)為 1 的卷積層，deconv 為步長(zhǎng)為 2 的反卷積層，C 表示 Concat，DB 表示增長(zhǎng)率為 16 的的密集塊)

圖4 CNN2 網(wǎng)絡(luò)結(jié)構(gòu)(conv1～6 為步長(zhǎng)為 1 的卷積層，avg_pool1～2 為平均池化層，deconv1～3 為步長(zhǎng)為 2 的反卷積層，C 表示 Concat，CA 結(jié)構(gòu)如圖5)

圖5 CA 層

CNN2 網(wǎng)絡(luò)在 U-Net[11]網(wǎng)絡(luò)的基礎(chǔ)上，采用 2×2平均池化層代替原網(wǎng)絡(luò)中的最大池化層。 在經(jīng)過兩次卷積和池化后，將CNN1 提取的底層紋理特征enconder 與分支2 提取的底層色彩特征進(jìn)行相加。由于兩者具有不同的通道尺度，本文引入如圖5 所示的通道注意力(Channel Attention，CA)機(jī)制來學(xué)習(xí)每個(gè)通道的權(quán)重，并自適應(yīng)地更新縮放因子，使得經(jīng)過CNN2 得到的色彩特征更加貼合 CNN1 獲得的紋理特征。 然后，經(jīng)過 3 次反卷積重構(gòu)高維的色彩特征。 最后，將 CNN1 得到的紋理特征與 CNN2 得到的色彩特征進(jìn)行特征融合，融合方法采用文獻(xiàn)[8]中的空間色彩融合，最終獲得線性的高分辨率彩色圖像 Irestore。

2 基于巖心圖像的數(shù)據(jù)集生成

大多數(shù)超分辨率重建方法對(duì)經(jīng)過ISP 處理后的圖像使用固定的下采樣獲得低分辨率圖像，但該方法與真實(shí)低分辨率圖像復(fù)雜的退化過程差距很大。為了模擬真實(shí)的退化過程并充分利用Raw 格式圖像中的高位信息，本文基于Raw 格式巖心圖像模擬相機(jī)ISP 過程中的線性化操作；將獲得的低分辨率圖像 Ilsr作為CNN1 的輸入，并通過相應(yīng)色彩轉(zhuǎn)換來生成 CNN2 的輸入 Iref。

2.1 標(biāo)簽圖像

如式(2)所示，首先使用 Dcraw 對(duì) Raw 格式巖心圖像 Iraw進(jìn)行預(yù)處理，在歸一化后得到 Bayer 格式圖像Ibayer：

其中，Lw表示相機(jī)的飽和度，Lb表示相機(jī)的暗電平值；而 Dcraw 為一種廣泛使用的 Raw 格式圖像處理算法，它將Iraw中的文本信息去掉，并轉(zhuǎn)換為線性的16 位數(shù)據(jù)。

進(jìn)一步地，對(duì) Ibayer做白平衡調(diào)整，對(duì)每個(gè) Bayer陣列[4，8]的 R 通道與 G 通道分別乘上對(duì)應(yīng)增益系數(shù)，以補(bǔ)償因三種濾波片具有不同光譜靈敏度帶來的影響。 經(jīng)過 DDFAPD 色彩插值[12]后，得到中間結(jié)果 Ilinear。 然后，對(duì)其進(jìn)行色彩空間轉(zhuǎn)換，將 Ilinear轉(zhuǎn)換到一個(gè)與設(shè)備無關(guān)的色彩空間，相機(jī)空間到sRGB空間的變換關(guān)系如式(3)所示：

其中 MXYZ2Camera轉(zhuǎn)換矩陣可通過相機(jī)得到，MsRGB2XYZ由統(tǒng)一標(biāo)準(zhǔn)制定；J(·)表示行歸一化，以確保圖像中白色在任何空間都呈白色，取逆后，獲得標(biāo)簽圖像IGT∈RH×W×3。

2.2 低分辨率圖像

為了獲得低分辨圖像 Ilsr∈RH/2×W/2×1，對(duì)上節(jié)得到的中間結(jié)果Ilinear使用式(4)所示的退化函數(shù)進(jìn)行計(jì)算：

其中，Kd為離焦模糊，Km為運(yùn)動(dòng)模糊，fdown為采樣因子為 2 的下采樣，而 fbayer表示 Bayer 采樣，其將三通道圖像經(jīng)過RGGB 順序采樣恢復(fù)成單通道的Bayer格式圖像。 與添加簡(jiǎn)單的高斯噪聲不同，本文采用更復(fù)雜的異方差高斯噪聲，其更有利于重建出真實(shí)的高分辨率圖像[8，13]：

其中，δs、δc表示隨機(jī)標(biāo)準(zhǔn)差，x表示Raw格式圖像每個(gè)像素位置的亮度強(qiáng)度。 為了獲得低分辨率圖像Iref∈RH/2×W/2×3，先對(duì) Ilsr進(jìn)行色彩插值，然后對(duì)得到的圖像進(jìn)行色彩空間轉(zhuǎn)換，需要保證與處理標(biāo)簽圖像時(shí)的參數(shù)一樣。

3 實(shí)驗(yàn)

3.1 模型訓(xùn)練

本文使用 Cannon 5Ds R 相機(jī)拍攝了 51 張 8 688×5 792 的原始 Raw 格式圖像，包括礫巖、頁巖柱狀和剖面巖心。 首先，將 Ilinear裁剪為 1 024×1 024 大小，經(jīng)過篩選后，只保留圖像中的巖心部分，并進(jìn)行數(shù)據(jù)增強(qiáng)。 然后根據(jù)第2 節(jié)中的操作，生成所需數(shù)據(jù) 集 。 其中，異方差高斯噪聲標(biāo)準(zhǔn)差δs、δc分 別 從[0，0.01]和[0，0.001]中均勻采樣，離焦半徑從[1，5]中隨機(jī)采樣，運(yùn)動(dòng)模糊內(nèi)核大小從[3，11]中隨機(jī)采樣，在剔除一些有問題的數(shù)據(jù)后，最終得到9 750張訓(xùn)練樣本和90 張測(cè)試樣本。

網(wǎng)絡(luò)選用L1作為損失函數(shù)，初始學(xué)習(xí)率為2×10-4。每次迭代都從數(shù)據(jù)集中選擇6 張圖，并從每張圖中隨機(jī)挑選一個(gè)256×256 的局部圖像進(jìn)行訓(xùn)練；相應(yīng)地，標(biāo)簽圖像也在相同位置進(jìn)行裁剪。 在訓(xùn)練6.5×104次迭代后得到模型；其中前 4×104次迭代，學(xué)習(xí)率進(jìn)行衰減率為 0.96 的指數(shù)衰減，剩余以 10-5學(xué)習(xí)率訓(xùn)練完。

3.2 實(shí)驗(yàn)對(duì)比

首先基于本文構(gòu)建的巖心數(shù)據(jù)集，以相同設(shè)置分別訓(xùn)練出參考網(wǎng)絡(luò)[8]和本文網(wǎng)絡(luò)各自的模型；然后選擇90 張合成數(shù)據(jù)進(jìn)行重建。 對(duì)重建結(jié)果進(jìn)行峰值信噪比(PSNR)與結(jié)構(gòu)相似性(SSIM)指標(biāo)評(píng)估，以驗(yàn)證本文對(duì)網(wǎng)絡(luò)的改進(jìn)。 表1 結(jié)果表明本文對(duì)網(wǎng)絡(luò)的改進(jìn)，對(duì)巖心圖像的重建效果有一定的提升。

表1 重建圖像質(zhì)量評(píng)估

此外，為了評(píng)估本文提出的重建算法，本文還基于文獻(xiàn)[1]構(gòu)建的RGB 巖心數(shù)據(jù)集，以相同設(shè)置訓(xùn)練文獻(xiàn)[1]網(wǎng)絡(luò)和文獻(xiàn)[4]網(wǎng)絡(luò)。 然后使用Cannon 5Ds R 采集巖心圖像，并保存為 Raw 格式與RGB 格式；再將其裁剪為 1 024×1 024 的大小，最后從中選擇 30 張作為驗(yàn)證集。 其中，本文模型和文獻(xiàn)[8]模型基于 Raw 格式圖像驗(yàn)證；文獻(xiàn)[1]模型和文獻(xiàn)[4]模型基于 RGB 格式圖像驗(yàn)證。 由于沒有高分辨率標(biāo)簽圖像，本文通過無參考質(zhì)量評(píng)估以及視覺觀察來對(duì)比分析巖心圖像的重建效果。

在無參考質(zhì)量評(píng)估中，圖像的清晰度是衡量圖像質(zhì)量?jī)?yōu)劣的重要指標(biāo)，它能夠較好地與人的主觀感受相對(duì)應(yīng)。 因此， 本文選用了具有不同算子的Laplace 與 Brenner 梯度函數(shù)來計(jì)算圖像相鄰范圍內(nèi)的像素變化；并選用二階信息熵(Entropy)和SDM2[14]來反映圖像的聚焦程度。 四個(gè)指標(biāo)都能較好地反映出圖像的清晰度，值越大，圖像越清晰。表2 結(jié)果表明， 基于 Raw 格式數(shù)據(jù)集的重建效果要好于基于RGB 格式數(shù)據(jù)集的重建，驗(yàn)證了Raw 格式圖像中的高位信息有利于圖像的重建。 本文與其他方法的對(duì)比，驗(yàn)證了本文提出的重建算法能有效地提升巖心圖像的重建效果。

表2 無參考圖像質(zhì)量評(píng)估

圖6 是巖心圖像的重建效果對(duì)比。 其中，圖(b)、(c)與(d)、(e)對(duì)比，基于 RGB 格式的圖像重建出的圖像細(xì)節(jié)不清晰且平滑；而基于Raw 格式圖像的重建方法，重建效果有明顯的提升，進(jìn)一步驗(yàn)證了Raw格式圖像中的高位信息有利于圖像的重建。 圖(d)與(e)對(duì)比，本文算法重建的圖像在邊緣上更清晰，色彩也更飽滿，驗(yàn)證了本文提出的重建算法能有效地提升巖心圖像的重建效果。 另外，由于模型重建的只是線性圖像，重建圖像在色彩與亮度上有偏差（圖6(f)），需要經(jīng)過 ISP 的非線性處理，才可得到真實(shí)的色彩(圖6(e))。

圖6 重建效果對(duì)比圖

4 結(jié)論

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的Raw格式巖心圖像超分辨率重建算法，充分利用Raw 格式中多出的高位信息重建出清晰的紋理結(jié)構(gòu)，并引入通道注意力機(jī)制和重疊池化層提高兩條分支的特征融合能力和使網(wǎng)絡(luò)更加緊湊。 另外，基于線性圖像重建出的圖像，能根據(jù)拍攝環(huán)境的不同，快速調(diào)整ISP 非線性操作的參數(shù)，從而得到滿意的高分辨率圖像。 本文與基于RGB 數(shù)據(jù)的超分辨率算法對(duì)比，在評(píng)估指標(biāo)與視覺效果上都更優(yōu)。 本文還與參考網(wǎng)絡(luò)進(jìn)行對(duì)比，表明了本文對(duì)網(wǎng)絡(luò)的改進(jìn)提升了重建效果。 綜上結(jié)果表明，本文提出的重建算法能能較好地對(duì)巖心圖像進(jìn)行重建。