基于序列信息的土壤CT圖像超分辨率重建

韓巧玲，周希博，宋潤澤，趙 玥※

（1. 北京林業(yè)大學(xué)工學(xué)院，北京 100083；2. 林業(yè)裝備與自動化國家林業(yè)局重點(diǎn)實(shí)驗(yàn)室，北京 100083；3. 城鄉(xiāng)生態(tài)環(huán)境北京實(shí)驗(yàn)室，北京 100083；4. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100091）

0 引 言

土壤土粒與團(tuán)聚體之間或團(tuán)聚體內(nèi)部存在的間隙，稱為土壤孔隙[1-2]。計(jì)算機(jī)斷層掃描（Computed Tomography，CT）技術(shù)能夠高精度、無損地探查物體內(nèi)部結(jié)構(gòu)，是研究土壤孔隙的重要技術(shù)手段[3-4]。然而，受到掃描設(shè)備的硬件限制，CT圖像存在偽影、噪聲、部分容積效應(yīng)等圖像退化問題[5-6]。圖像退化問題不僅影響觀察者的視覺效果，也會限制土壤孔隙分割精度，進(jìn)而對后續(xù)土壤物理結(jié)構(gòu)研究產(chǎn)生影響[7]。超分辨率（Super-Resolution，SR）技術(shù)可通過特定算法提高圖像清晰度，改善圖像質(zhì)量[8-9]。相較于CT設(shè)備掃描精度的提高，超分辨率技術(shù)的應(yīng)用更加便捷和高效，且其成本更低廉[10-11]。因此，可將超分辨率重建方法應(yīng)用于土壤CT圖像，為后續(xù)研究提供高清晰度、高視覺效果的數(shù)據(jù)[12]。

目前，應(yīng)用于CT圖像的超分辨率重建方法主要包括三維凸集投影法、三維高頻修正A+法等。王兵等[13-14]提出三維凸集投影法，實(shí)現(xiàn)三維圖像的超分辨率和運(yùn)動補(bǔ)償。但該方法需要手動確定修正閾值，不能實(shí)現(xiàn)圖像自適應(yīng)超分辨率重建。張廷蓉等[15-17]將高頻修正A+算法拓展至三維，實(shí)現(xiàn)巖心CT圖像的超分辨率重建，但該方法僅考慮稀疏解，導(dǎo)致圖像重建時(shí)容易丟失細(xì)節(jié)。近年來，卷積神經(jīng)網(wǎng)絡(luò)法（Convolution Neural Networks，CNN）、生成式對抗網(wǎng)絡(luò)法（Generative Adversarial Network，GAN）等深度學(xué)習(xí)方法在超分辨率重建領(lǐng)域取得理想效果。神經(jīng)網(wǎng)絡(luò)算法具有函數(shù)模擬的能力[18-19]，卷積神經(jīng)網(wǎng)絡(luò)法使用卷積運(yùn)算模擬稀疏算法，實(shí)現(xiàn)特征非線性映射和圖像重建[20-21]，但是卷積神經(jīng)網(wǎng)絡(luò)存在計(jì)算量較大、特征理解能力較差的問題[22]。生成式對抗網(wǎng)絡(luò)法引入對抗模型，實(shí)現(xiàn)無監(jiān)督的超分辨率重建，具有清晰度高、網(wǎng)絡(luò)學(xué)習(xí)能力強(qiáng)的優(yōu)勢[23-25]，但是存在無法針對序列圖像、特征邊界失真和色差等問題。

因此，基于生成式對抗網(wǎng)絡(luò)法，本文提出了一種適用于土壤CT圖像的超分辨率重建方法，基于序列信息的生成式對抗網(wǎng)絡(luò)（Sequence information Generative Adversarial Network，SeqGAN），該方法結(jié)合土壤序列信息，使用序列信息矯正目標(biāo)圖像，解決生成式對抗網(wǎng)絡(luò)法的特征邊界失真和色差問題。將SeqGAN法應(yīng)用于土壤CT圖像，嘗試解決土壤CT圖像的孔隙邊界模糊問題，以期為土壤CT圖像可視化研究和土壤物理結(jié)構(gòu)研究提供更加準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。

1 材料與方法

1.1 土壤樣本采集與CT圖像獲取

試驗(yàn)土壤樣本均采集于黑龍江省齊齊哈爾市克山縣西北部的克山農(nóng)場[26]（125°23′57″E，48°18′37″N）。采集位置起始于地表0 cm，采集深度為40 cm，采用機(jī)械分層法，提取3個(gè)黑土土柱。使用內(nèi)徑10 cm、高10 cm的環(huán)刀筒對3個(gè)黑土土柱水平等距切割，得到12個(gè)與環(huán)刀筒大小相同的土柱。使用直徑為10 cm、高度10 cm的有機(jī)玻璃管作為采集后保存黑土樣本的容器，經(jīng)過飽和水浸泡后得到濕潤土壤樣本。本次試驗(yàn)使用黑龍江中醫(yī)藥大學(xué)的螺旋CT掃描儀獲取土壤CT圖像。掃描參數(shù)為：電流195 mA，電壓120 kV，掃描層數(shù)64，掃描排數(shù)128，最小掃描層厚0.65 mm，掃描點(diǎn)間距0.244 mm，間隔窗寬2 000，窗位800。每次掃描可得到220幅醫(yī)學(xué)數(shù)字圖像格式（Digital Imaging and Communications in Medicine，DICOM）的土壤CT圖像，其尺寸為170 mm×170 mm，分辨率為700像素×700像素。

1.2 土壤CT圖像預(yù)處理

土壤CT圖像經(jīng)格式轉(zhuǎn)換得到像素范圍為0～255的bmp格式灰度圖像，經(jīng)圖像裁剪后分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，該圖像為本文超分辨率模型訓(xùn)練的目標(biāo)圖像，稱為高分辨率（High-Resolution,HR）圖像。對目標(biāo)圖像二倍線性插值降采樣[27]后，圖像尺寸不變，分辨率為128像素×128像素。本文以降采樣后圖像作為超分辨率模型訓(xùn)練的輸入圖像，稱為低分辨率（Low-Resolution，LR）圖像。

1.3 基于序列信息的土壤CT圖像超分辨率方法

為解決土壤CT圖像的孔隙邊界模糊問題，本文提出一種基于序列信息的生成式對抗網(wǎng)絡(luò)方法，該方法包括序列信息的增強(qiáng)、特征提取的強(qiáng)化、對抗模型的構(gòu)建三部分。

由圖1可知，在超分辨率訓(xùn)練時(shí)，以低分辨率土壤CT圖像作為輸入圖像，輸入序列圖像生成器得到超分辨率重建圖像；以高分辨率土壤CT圖像作為目標(biāo)圖像，將重建圖像和目標(biāo)圖像輸入鑒別器后輸出可信度，實(shí)現(xiàn)圖像鑒別器的訓(xùn)練；可信度反饋給序列圖像生成器，實(shí)現(xiàn)圖像生成器的訓(xùn)練。在超分辨率測試時(shí)，將待超分辨率土壤CT圖像輸入充分優(yōu)化的序列圖像生成器得到超分辨率重建圖像。

1.3.1 序列信息的增強(qiáng)

土壤物理結(jié)構(gòu)具有一致性和空間連通性[28]，因此，土壤CT圖像具有較高序列相似性（干燥土壤除外）。針對這一特點(diǎn)，本文提出一種可利用序列圖像信息增強(qiáng)超分辨率圖像質(zhì)量的卷積塊改進(jìn)結(jié)構(gòu)，簡稱序列卷積塊（Sequence Convolution Block，SCB）。

由圖2可知，序列卷積塊由2個(gè)卷積塊組成。卷積塊1使用卷積運(yùn)算處理目標(biāo)圖像（在序列中索引為n），實(shí)現(xiàn)輸入圖像到特征圖的信息映射，并使用批量歸一化（Batch Normalization, BN）和帶泄露線性整流激活（Leaky Rectified Linear Unit，LReLU）強(qiáng)化信息提取能力，提取和壓縮目標(biāo)圖像信息。卷積塊2輸入卷積塊1輸出的特征圖和序列上下張圖像（在序列中索引為n-1和n+1），并輸出融合3張圖像信息的特征圖，實(shí)現(xiàn)數(shù)據(jù)的降維和序列信息的提取。

序列卷積塊通過輸入上下張序列圖像，引入圖像的序列信息，通過提取的序列信息增強(qiáng)超分辨率圖像的質(zhì)量，減少因只引入單張圖像導(dǎo)致的細(xì)節(jié)損失。

1.3.2 特征提取的強(qiáng)化

序列信息的引入，導(dǎo)致模型輸入信息量增大，因此本文構(gòu)建了深層網(wǎng)絡(luò)以強(qiáng)化模型特征提取能力。但是深層網(wǎng)絡(luò)存在梯度爆炸和模型退化等問題，所以本文提出一種直接引入輸入?yún)?shù)的多層殘差塊改進(jìn)結(jié)構(gòu)，簡稱首尾殘差連接塊（Beginning-to-End Residuals connection block，BE-Resblock），見圖3。

由圖3可知，首尾殘差連接塊包括殘差塊和首尾殘差連接兩部分。殘差塊依次使用卷積層、BN層、線性整流激活層（Rectified Linear Unit，ReLU）、卷積層，BN層提取目標(biāo)圖像的信息，在輸出前使用元素相加層（elements-add，eleadd）引入輸入信息，使殘差塊的輸入信息可以直接傳導(dǎo)至輸出。在多層殘差塊提取圖像信息后，首尾殘差連接使用eleadd層引入總輸入的信息，使輸入圖像信息可以直接傳導(dǎo)至深層網(wǎng)絡(luò)的輸出圖像。

首尾殘差連接塊使用多層殘差塊替代多層卷積塊，并建立總輸入和輸出之間的直接連接，減少因網(wǎng)絡(luò)過深導(dǎo)致的梯度彌散、模型退化，提高重建圖像質(zhì)量。

1.3.3 對抗模型的構(gòu)建

本文采用生成式對抗網(wǎng)絡(luò)生成器模型，基于序列卷積塊（圖2）和首尾殘差連接塊（圖3），構(gòu)建了一種針對序列圖像的生成器改進(jìn)模型，簡稱序列圖像生成器（圖4）。

由圖4可知，序列圖像生成器包括3部分，采用序列卷積塊代替卷積操作，提取圖像的序列信息；采用包含8個(gè)連續(xù)的殘差塊的首尾殘差連接塊提取圖像信息；采用卷積層、2倍像素重組（Pixel Shuffle）、ReLU激活實(shí)現(xiàn)2倍上采樣，提高分辨率。最后在卷積層和雙曲正切函數(shù)（hyperbolic tangent，tanh）激活層后輸出超分辨率重建圖像。

對抗模型中，生成器以最大化鑒別器輸出的超分辨圖像可信度為目標(biāo)，輸入低分辨率圖像（ILR），輸出超分辨率重建圖像。鑒別器以最大化真實(shí)圖像可信度和最小化超分辨率重建圖像可信度為目標(biāo)，輸入真實(shí)圖像（IHR）或超分辨率重建圖像（ISR），輸出圖像可信度。鑒別器目標(biāo)函數(shù)f(θD)和生成器目標(biāo)函數(shù)f(θG)[23-25]分別為Square Error，MSE）：衡量重建圖像與目標(biāo)圖像間的像素差異，取值范圍為[0,+∞]，數(shù)值越小圖像質(zhì)量越高，其公式[29]如下：

式中ISR(i,j)為待評價(jià)圖像(i,j)點(diǎn)的像素值，取值范圍[0,256]；IHR(i,j)為原始圖像(i,j)點(diǎn)的像素值，取值范圍[0,256]；M、N分別為圖像的長和寬。

2）峰值信噪比（Peak Signal to Noise Ratio，PSNR）：衡量圖像間像素最大值和差異的比值，取值范圍為[0,+∞]，數(shù)值越大圖像質(zhì)量越高，其公式[29]如下：

式中DθD(I)為鑒別器輸出圖像I的可信度；θD為鑒別器的參數(shù)；GθG(IHR)為生成器輸入ILR時(shí)輸出的超分辨率重建圖像；θG為生成器的參數(shù)。

對抗模型訓(xùn)練時(shí)，目標(biāo)函數(shù)f(θG)和f(θD)交替優(yōu)化，并最終趨于極大值。由于可信度DθD(I)取值范圍為0～1，

式中Q為圖像灰階數(shù)，位圖（Bitmap，BMP）格式灰度圖像取256。

3）結(jié)構(gòu)相似性（Structural Similarity，SSIM）：衡量圖像間亮度、對比度、結(jié)構(gòu)差異，取值范圍為[0,1]，數(shù)值越大表示圖像質(zhì)量越高，其公式[29]如下：

式中uISR、uIHR分別為待評價(jià)圖像ISR和原始圖像IHR的像素平均值分別為ISR和IHR的像素方差當(dāng)模型充分優(yōu)化時(shí)，收斂于納什平衡狀態(tài)，即f(θG)=0.5，f(θD)=1，此時(shí)鑒別器無法區(qū)分超分辨率重建圖像和真實(shí)圖像，即真實(shí)圖像和超分辨率重建圖像可信度都為0.5。

綜上所述，SeqGAN法采用對抗網(wǎng)絡(luò)實(shí)現(xiàn)損失間接反饋，減少模型過擬合，增強(qiáng)模型的特征學(xué)習(xí)能力和泛化能力，提高超分辨率重建圖像質(zhì)量。

1.4 評價(jià)指標(biāo)

為精確評價(jià)本文超分辨率重建方法的有效性，本文采用3種圖像相似度指標(biāo)計(jì)算重建圖像ISR和目標(biāo)圖像IHR間的差異，以定量分析超分辨率圖像質(zhì)量：1）均方誤差（Mean為ISR和IHR的像素協(xié)方差；c1、c2為穩(wěn)定常數(shù)，c1=(k1Q)2和c2=(k2Q)2，k1和k2為調(diào)節(jié)系數(shù)，一般取0.01和0.03。

2 結(jié)果與分析

本文以序列相似度高的土壤CT序列圖像為試驗(yàn)對象。試驗(yàn)數(shù)據(jù)集包含440張土壤CT圖像，包括分辨率相差2倍的高分辨率圖像數(shù)據(jù)集和低分辨率圖像數(shù)據(jù)集。低分辨率圖像數(shù)據(jù)集中包含220張土壤CT圖像，每張圖像分辨率為128像素×128像素，尺寸為62.17 mm×62.17 mm；高分辨率圖像數(shù)據(jù)集中包含220張土壤CT圖像，每張圖像分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，即原始土壤CT圖像。

為驗(yàn)證SeqGAN法對序列相似度較高的土壤CT圖像的重建效果，選用了圖像插值領(lǐng)域的標(biāo)準(zhǔn)方法[30]雙三次線性插值法（Bicubic linear interpolation，Bicubic）、深度學(xué)習(xí)方法卷積神經(jīng)網(wǎng)絡(luò)法（CNN）、本文改進(jìn)方法的原方法生成式對抗網(wǎng)絡(luò)法（GAN）3種超分辨率方法進(jìn)行對比分析。土壤CT圖像數(shù)據(jù)集以0.7∶0.2∶0.1比例分割為訓(xùn)練集、驗(yàn)證集、測試集，采取5折交叉驗(yàn)證法以驗(yàn)證泛化能力。CNN法和GAN法的訓(xùn)練輪數(shù)為100輪，GAN法的初始化輪數(shù)為10輪。處理器為Intel? Xeon E5-2678 v3，主頻2.50 GHz，圖形處理器為GeForce RTX 2080Ti，內(nèi)存64 GB。軟件環(huán)境為anaconda和Python編程語言。

2.1 低分辨率圖像重建結(jié)果與分析

表1 為220幅低分辨率圖像對應(yīng)高分辨率圖像和不同超分辨率方法重建圖像的3種相似性指標(biāo)的平均值和標(biāo)準(zhǔn)差。由表1可知，Bicubic法的均方誤差最高，峰值信噪比、結(jié)構(gòu)相似性最低，表明重建圖像與原圖像相似度最低，重建圖像質(zhì)量最差；CNN法的重建圖像質(zhì)量比Bicubic法有一定的提升，均方誤差平均值降低14%，峰值信噪比平均值提高0.66 dB，結(jié)構(gòu)相似性平均值提高2.3%。

表1 4種超分辨率重建方法的結(jié)果對比Table 1 Comparison of results of four super-resolution reconstruction methods

GAN法的重建圖像質(zhì)量比CNN法有較大程度的提升，均方誤差平均值降低62.3%，峰值信噪比平均值提升7 dB，結(jié)構(gòu)相似性平均值提升2%。但是GAN法的各指標(biāo)標(biāo)準(zhǔn)差較高，對不同圖像的重建效果差異較大，方法自適應(yīng)性較低；SeqGAN法的重建圖像質(zhì)量最高，相比GAN法均方誤差平均值降低25%，峰值信噪比平均值提升1.4 dB，結(jié)構(gòu)相似性平均值提升0.2%。同時(shí)各相似度指標(biāo)的標(biāo)準(zhǔn)差降低25%到56%，重建不同圖像時(shí)效果保持穩(wěn)定，方法具有較好自適應(yīng)性。

為直觀展示4種方法超分辨率重建效果，從低分辨率土壤CT圖像數(shù)據(jù)集中隨機(jī)選取1張圖像，經(jīng)超分辨率重建后，對從重建圖像中截取的2個(gè)局部圖像（圖5）進(jìn)行定性分析。局部圖像1的主體為黑色孔隙，其圖像尺寸為15.54 mm×15.54 mm，對應(yīng)輸入圖像的分辨率為32像素×32像素，對應(yīng)目標(biāo)圖像和重建圖像的分辨率為64像素×64像素；局部圖像2的主體為白色石礫，其圖像尺寸為7.77 mm×7.77 mm，對應(yīng)輸入圖像的分辨率為16像素×16像素，對應(yīng)目標(biāo)圖像和重建圖像的像分辨率為32像素×32像素。局部圖像1和局部圖像2的超分辨率重建結(jié)果如圖6和圖7。

由圖6和圖7可知，Bicubic法和CNN法的超分辨率重建圖像中整體孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)存在不同程度的模糊，清晰度較低。GAN法的重建圖像相比Bicubic法和CNN法更清晰，但重建后的孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)體積增大，邊界存在失真現(xiàn)象，與目標(biāo)圖像灰度差異較大。SeqGAN法的重建圖像較為清晰，孔隙結(jié)構(gòu)和礫石結(jié)構(gòu)與周圍分界明確，與GAN法相比色差較小。

綜上，對于具有較高序列相似性的土壤CT圖像，Bicubic法和CNN法重建圖像質(zhì)量較差；GAN法重建圖像質(zhì)量有較大提升，但是其對于不同土壤CT圖像的適應(yīng)性較低；本文所提出的SeqGAN法重建的土壤CT圖像質(zhì)量較高，提升了土壤孔隙和礫石的邊界清晰度，且具有較好的適應(yīng)性。

2.2 高分辨率圖像重建結(jié)果與分析

為驗(yàn)證SeqGAN方法的泛化能力，對高分辨率圖像（原始土壤CT圖像）進(jìn)行超分辨率重建，其結(jié)果如圖8所示。

由圖8a和圖8b可知，高分辨率圖像（圖像3）經(jīng)SeqGAN方法重建后，重建圖像整體清晰度較高，與原圖像灰度差異較小，白色礫石結(jié)構(gòu)和黑色孔隙結(jié)構(gòu)邊界明確。

重建圖像清晰度較高，肉眼無法分辨圖像細(xì)節(jié)，因此截取了局部圖像進(jìn)行定性分析。截取的局部圖像（圖像4）分辨率為128像素×128像素，尺寸為15.54 mm×15.54 mm。由圖9a和圖9b可知，SeqGAN方法細(xì)節(jié)清晰，黑色孔隙邊緣較為明確，局部清晰度較高，與低分辨率圖像重建試驗(yàn)結(jié)果一致。

綜上，對于低分辨率圖像和高分辨率圖像，SeqGAN方法重建的圖像清晰度均較高，孔隙邊界明確，與原始圖像灰度差異較小，方法泛化能力較強(qiáng)。

3 結(jié) 論

針對土壤計(jì)算機(jī)斷層掃描（Computed Tomography，CT）圖像因?yàn)椴糠秩莘e效應(yīng)導(dǎo)致的孔隙邊界模糊問題，本文基于土壤CT序列圖像的高相似性特點(diǎn)（干燥土壤除外），提出一種結(jié)合圖像序列信息的生成式對抗網(wǎng)絡(luò)超分辨率重建方法（Sequence information Generative Adversarial Network，SeqGAN）提升土壤CT圖像清晰度，并通過定性和定量試驗(yàn)比較分析該方法和雙三次線性插值，卷積神經(jīng)網(wǎng)絡(luò)，生成式對抗網(wǎng)絡(luò)3種方法的超分辨率重建圖像質(zhì)量。結(jié)果表明：

1）基于序列卷積塊的特征提取能力，SeqGAN法挖掘出上下張土壤CT圖像的相關(guān)序列信息，并將其融合于目標(biāo)圖像，減少了超分辨率重建圖像的細(xì)節(jié)損失。利用首尾殘差連接塊的信息傳遞能力，SeqGAN法實(shí)現(xiàn)了深層網(wǎng)絡(luò)結(jié)構(gòu)中輸入信息和輸出信息的直接連接，提高了模型的特征提取能力，并避免了因網(wǎng)絡(luò)層數(shù)過深導(dǎo)致的模型退化問題。

2）SeqGAN法超分辨率重建圖像中的孔隙和礫石邊界清晰，細(xì)節(jié)損失和色差較小。其均方誤差平均值比次優(yōu)方法（GAN）降低了25%，峰值信噪比平均值提升1.4 dB，結(jié)構(gòu)相似性平均值提升0.2%。實(shí)現(xiàn)了精確的土壤CT圖像超分辨率重建，可為研究土壤物理結(jié)構(gòu)提供先進(jìn)的技術(shù)手段。

3）本文方法實(shí)現(xiàn)了具有高序列相似性的濕潤土壤CT圖像的超分辨率重建。而對于序列相似性較低的土壤CT圖像（比如干燥土壤）進(jìn)行準(zhǔn)確的超分辨率重建，將是進(jìn)一步研究的重點(diǎn)。