基于生成對(duì)抗網(wǎng)絡(luò)的CT 圖像無(wú)監(jiān)督超分辨率分析①

李云鶴 陳倫強(qiáng) 趙慧巖 吳紹華*

(*肇慶學(xué)院電子與電氣工程學(xué)院 肇慶 526061)

(**東北石油大學(xué)電氣信息工程學(xué)院 大慶 163319)

(***哈爾濱工業(yè)大學(xué)(深圳)電子與信息工程學(xué)院 深圳 518055)

0 引言

計(jì)算機(jī)斷層成像(computed tomography,CT)技術(shù)是目前被廣泛應(yīng)用的臨床診斷技術(shù),能夠非接觸、無(wú)創(chuàng)口地獲取患者體內(nèi)結(jié)構(gòu)信息,是評(píng)估患者身體情況的重要資料[1]。高分辨率(high resolution,HR)的醫(yī)療影像細(xì)節(jié)信息更加豐富,可以使醫(yī)生更精確地識(shí)別病變部位,因此它的清晰度直接影響醫(yī)生對(duì)患者診斷的準(zhǔn)確度。CT 成像系統(tǒng)受到X 射線焦點(diǎn)尺寸、探測(cè)器像元尺寸、圖像重建等軟、硬件因素的制約,成像分辨率往往低于臨床病理早期篩查所需的理想分辨率[2]。CT 成像設(shè)備一般都比較昂貴,硬件系統(tǒng)復(fù)雜,通過(guò)硬件系統(tǒng)升級(jí)提升成像分辨率成本較高?？紤]到CT 掃描過(guò)程中X 射線對(duì)患者有輻射,常常采用低劑量CT 掃描以減少對(duì)人體的傷害,例如通過(guò)改變管電壓、管電流、掃描時(shí)間等降低對(duì)患者的輻射劑量,但這會(huì)導(dǎo)致成像分辨率降低[3]。綜合考慮診斷的準(zhǔn)確性和低劑量輻射的需求,如何從設(shè)備生成的低分辨率(low resolution,LR)圖像重構(gòu)高分辨率圖像的研究具有重要意義。

過(guò)去10 年中,研究人員對(duì)高分辨率圖像的重構(gòu)問(wèn)題開展了大量工作,尤其是超分辨率分析方面。文獻(xiàn)[4]提出了基于字典學(xué)習(xí)的有監(jiān)督超分辨率分析技術(shù)。文獻(xiàn)[5,6]提出了基于稀疏感知的超分辨率分析技術(shù)。文獻(xiàn)[7]提出了基于壓縮感知的超分辨率分析技術(shù)。文獻(xiàn)[8,9]提出使用不同空間特征獲取更高性能的超分辨率分析技術(shù)。在生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[10]被提出來(lái)以后,很快有學(xué)者將生成對(duì)抗網(wǎng)絡(luò)用于超分辨率分析[11],并取得了開創(chuàng)性的成效,進(jìn)而生成對(duì)抗網(wǎng)絡(luò)更多開始用于超分辨率分析。文獻(xiàn)[12]研究了超分辨率分析生成對(duì)抗網(wǎng)絡(luò)(super-resolution generative adversarial networks,SR-GAN)的網(wǎng)絡(luò)體系結(jié)構(gòu)、對(duì)抗性損失和知覺(jué)性損失,并對(duì)其進(jìn)行了改進(jìn)提出了增強(qiáng)型超分辨率生成對(duì)抗性網(wǎng)絡(luò)(enhanced SRGAN,ESRGAN)。ESRGAN 引入了不進(jìn)行批標(biāo)準(zhǔn)化的多致密殘差模塊,并通過(guò)使用激活之前的特征值來(lái)改善感知損失函數(shù),為亮度一致性和紋理恢復(fù)提供更強(qiáng)的監(jiān)督。相同時(shí)期,基于殘余通道關(guān)注網(wǎng)絡(luò)的殘差信道注意力網(wǎng)絡(luò)(residual channel attention networks,RCAN)[13]和基于加強(qiáng)深度殘差網(wǎng)絡(luò)的單圖像超分辨率的增強(qiáng)型深度殘差網(wǎng)絡(luò)(enhanced deep residual networks for single image superresalution,EDSR)等超分辨生成對(duì)抗網(wǎng)絡(luò)也相繼被提出,并取得了較好的效果。文獻(xiàn)[14,15]采用ESRGAN 的多致密殘差塊結(jié)構(gòu),構(gòu)建CT 圖像的超分辨率分析網(wǎng)絡(luò),減少了殘差單元數(shù)量,并在殘差塊之間建立了緊密的聯(lián)系,減少了網(wǎng)絡(luò)冗余。文獻(xiàn)[16,17]將EDSR 網(wǎng)絡(luò)用于CT 圖像超分辨率分析,在較好的恢復(fù)邊緣銳度的情況下,只丟失了部分高頻細(xì)節(jié)。文獻(xiàn)[18-20]在CT圖像的超分辨率分析中使用了RCAN 網(wǎng)絡(luò)的殘余通道關(guān)注網(wǎng)絡(luò)結(jié)構(gòu),使用具有多個(gè)分支的多尺度注意力塊,可以自動(dòng)生成權(quán)重來(lái)調(diào)整網(wǎng)絡(luò),取得了較好的視覺(jué)效果。現(xiàn)有典型算法如ESRGAN、RCAN、EDSR,訓(xùn)練網(wǎng)絡(luò)所用的高-低分辨率圖像對(duì)數(shù)據(jù)集,是通過(guò)已有的圖像作為高分辨率圖像,然后通過(guò)雙三次降采樣(BiCubic)[21]生成特定倍數(shù)的低分辨率圖像所生成,會(huì)丟失與頻率相關(guān)的軌跡細(xì)節(jié),導(dǎo)致超分辨率成像過(guò)于平滑和模糊。

針對(duì)雙三次降采樣生成圖像對(duì)的不足,本文首先考慮接近天然高-低分辨率圖像對(duì)數(shù)據(jù)集的構(gòu)造問(wèn)題。本文設(shè)計(jì)核估計(jì)網(wǎng)絡(luò)對(duì)CT 圖像做預(yù)處理,包括學(xué)習(xí)CT 圖像內(nèi)部像素塊分布、探尋圖像特異性、注入噪聲等,用源圖像ICT降質(zhì)生成低分辨率圖像ILR;進(jìn)而構(gòu)造接近天然圖像對(duì)的高-低分辨率圖像對(duì)(IHR,ILR);然后,本文借鑒ESRGAN[12]、Patch-GAN[22]和VGG-19[23]等網(wǎng)絡(luò)的設(shè)計(jì)思路,構(gòu)建了包括超分辨生成器、超分辨鑒別器和超分辨特征提取器的超分辨率生成對(duì)抗網(wǎng)絡(luò);最后,利用訓(xùn)練所得生成對(duì)抗網(wǎng)絡(luò)的生成器處理CT 圖像,以獲取4 倍的高分辨率CT 圖像。所設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)被稱為預(yù)降質(zhì)超分辨率生成對(duì)抗網(wǎng)絡(luò)(predegraded super resolution generative adversarial networks,DeSRGAN),其結(jié)構(gòu)和操作流程如圖1 所示。

圖1 預(yù)降質(zhì)超分辨率分析網(wǎng)絡(luò)結(jié)構(gòu)流程圖

1 高-低分辨率圖像對(duì)數(shù)據(jù)預(yù)處理

1.1 降質(zhì)模型

自然的高-低分辨率CT 圖像之間的對(duì)應(yīng)關(guān)系,可以近似地表示為

其中,DEs和Nin分別表示降質(zhì)核和注入噪聲,s表示縮放因子,↓s表示下采樣。尋求貼切于自然圖像對(duì)的DEs和Nin是獲取更真實(shí)的高-低分辨率圖像對(duì)的關(guān)鍵步驟,這決定了超分辨率分析所生成圖像的質(zhì)量。

1.2 注入噪聲

雖然噪聲是注入在降采樣后的圖像中,由于降采樣會(huì)抑制源圖像的高頻分量,為了讓噪聲分布更自然,可從源圖像ICT(即高分辨率圖像IHR)中提取噪聲塊。在噪聲提取過(guò)程中,需要關(guān)注2 個(gè)參數(shù),即噪聲塊的最小均值mmin和最大方差dmax。這2 個(gè)參數(shù)的設(shè)置,沒(méi)有固定的選擇模式,取決于不同應(yīng)用場(chǎng)景的圖像對(duì)的實(shí)際情況。本文通過(guò)多組測(cè)試對(duì)比,并基于測(cè)試結(jié)果選擇合適的噪聲提取參數(shù)。本文從訓(xùn)練數(shù)據(jù)集(SETtrain)隨機(jī)選取源圖像ICT提取噪聲圖塊,提取一定數(shù)量的噪聲圖塊去構(gòu)建噪聲塊數(shù)據(jù)集(SETnoise),噪聲注入過(guò)程通過(guò)從SETnoise數(shù)據(jù)集隨機(jī)選取噪聲圖塊并應(yīng)用于式(1)來(lái)執(zhí)行。

1.3 核估計(jì)降質(zhì)網(wǎng)絡(luò)

為了更加貼切于自然圖像對(duì),本文使用生成對(duì)抗網(wǎng)絡(luò)(稱之為核估計(jì)網(wǎng)絡(luò))訓(xùn)練生成式(1)中所用的降質(zhì)核DEs。因?yàn)闆](méi)有可用于對(duì)照和監(jiān)督的高-低分辨率圖像對(duì)數(shù)據(jù)集(僅有由源圖像ICT構(gòu)成的訓(xùn)練數(shù)據(jù)集SETtrain),核估計(jì)網(wǎng)絡(luò)使用無(wú)監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練降質(zhì)核DEs。核估計(jì)網(wǎng)絡(luò)的每一次訓(xùn)練僅使用一個(gè)圖片,訓(xùn)練結(jié)束后將核估計(jì)生成器提取為1 個(gè)降質(zhì)核DEs。每次訓(xùn)練所用圖片均從訓(xùn)練數(shù)據(jù)集SETtrain隨機(jī)選取,經(jīng)過(guò)多次訓(xùn)練生成一定數(shù)量的降質(zhì)核,放在一起構(gòu)成降質(zhì)核數(shù)據(jù)集(SETker),降質(zhì)過(guò)程是通過(guò)從SETker數(shù)據(jù)集隨機(jī)選取降質(zhì)核DEs應(yīng)用于式(1)來(lái)執(zhí)行的。

核估計(jì)網(wǎng)絡(luò)的處理流程如圖2 所示,隨機(jī)選取的源圖像ICT輸入核估計(jì)網(wǎng)絡(luò)后,一方面源圖像ICT經(jīng)由核估計(jì)生成器降采樣為s倍的圖像Ide,另一方面在源圖像ICT中隨機(jī)位置裁切出和Ide相同大小的圖像Icr。鑒別器的目標(biāo)是區(qū)分降質(zhì)圖Ide和裁切圖Icr的內(nèi)部像素塊在多個(gè)尺度上的分布是否一致。核估計(jì)網(wǎng)絡(luò)的目標(biāo)函數(shù)定義為

圖2 核估計(jì)網(wǎng)絡(luò)處理流程圖

其中G和D表示核估計(jì)生成器和核估計(jì)鑒別器,其中l(wèi)K為損失函數(shù),下標(biāo)K 指代核估計(jì)降質(zhì),可展開表示為

其中,ki,j表示降質(zhì)核中每個(gè)節(jié)點(diǎn)的參數(shù)值;mi,j是節(jié)點(diǎn)權(quán)重的常數(shù)掩碼,mi,j隨著與ki,j中心的距離的增長(zhǎng)呈指數(shù)增長(zhǎng);(x0,y0) 表示中心的索引。αS、αM、αSQ、αCE為常系數(shù),下標(biāo)i,j為像素的橫縱坐標(biāo)索引值,對(duì)于(256×256)像素的圖像而言,i,j的取值范圍為[1,256]區(qū)間的整數(shù)。

本質(zhì)上,核估計(jì)生成器是一個(gè)圖像降采樣模型。為了能確?？焖偈諗?同時(shí)避免生成物理上無(wú)意義的優(yōu)化解,生成器網(wǎng)絡(luò)全部采用線性激活單元,采用多層線性卷積層結(jié)構(gòu)。核估計(jì)生成器的實(shí)現(xiàn)結(jié)構(gòu)如圖3 所示。訓(xùn)練完成后,將生成器網(wǎng)絡(luò)中的降質(zhì)功能層提取出來(lái)作為降質(zhì)核。

圖3 多層線性卷積層組成的核估計(jì)生成器網(wǎng)絡(luò)結(jié)構(gòu)

核估計(jì)鑒別器的目標(biāo)是鑒別生成器輸出圖像與源圖裁切圖像的像素分布是否一致。核估計(jì)鑒別器采用多層非池化卷積層結(jié)構(gòu),網(wǎng)路結(jié)構(gòu)如圖4 所示,同時(shí)搭配譜歸一化、批歸一化以及ReLU 激活函數(shù)。鑒別器的輸出為一個(gè)熱圖,熱圖中的點(diǎn)代表像素從原始像素塊分布中提取周圍的像素塊的可能性,鑒別器的損失函數(shù)定義為熱圖和標(biāo)簽圖之間的逐像素均方誤差。

圖4 多層無(wú)池化卷積層組成的鑒別器網(wǎng)絡(luò)結(jié)構(gòu)

2 超分辨網(wǎng)絡(luò)

本文采用生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)由低分辨率至4 倍的高分辨率圖像的超分辨率分析,將該網(wǎng)絡(luò)稱為超分辨網(wǎng)絡(luò)。通過(guò)高-低分辨率圖像對(duì)數(shù)據(jù)預(yù)處理,得到相對(duì)更接近天然的圖像對(duì),并以此為數(shù)據(jù)集訓(xùn)練超分辨網(wǎng)絡(luò)。超分辨網(wǎng)絡(luò)采用生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu),與常見(jiàn)的生成對(duì)抗網(wǎng)絡(luò)不同,本文在生成器、鑒別器的基礎(chǔ)上增加了特征提取器,以便于引入感知損失函數(shù)以增強(qiáng)圖像的低頻特征的視覺(jué)效果。超分辨特征提取器的結(jié)構(gòu)參考VGG-19 模型,超分辨生成器的結(jié)構(gòu)參考ESRGAN 模型,超分辨鑒別器參考PatchGAN 模型。

超分辨網(wǎng)絡(luò)的損失函數(shù)由逐像素?fù)p失函數(shù)lX[26]、感知損失函數(shù)lC和對(duì)抗損失函數(shù)lA等3 個(gè)分量組成,可表示為

其中,αX、αC、αA為常系數(shù)。逐像素?fù)p失函數(shù)lX使用L1 距離,評(píng)估生成圖像G(ILR) 與真實(shí)圖像IHR之間的逐像素內(nèi)容損失:

感知損失函數(shù)lC評(píng)估圖像之間的內(nèi)容和樣式上的感知差異,感知損失函數(shù)lC由內(nèi)容相關(guān)的特征重構(gòu)損失函數(shù)lF和樣式重構(gòu)損失函數(shù)lT組成:

其中,λF、λT為常系數(shù),φk(I) 表示圖像I輸入感知特征提取器后,在第k層卷積層所得到的特征圖。假設(shè)該特征圖的形狀為Ck×Hk×Wk(通道數(shù)×高×寬),表示平方Frobenius 范數(shù),式中h、w、c分別代表像素點(diǎn)在特征圖中的高、寬、通道數(shù)的索引值,其取值取決于特征圖的形狀。對(duì)抗損失函數(shù)lA用于增強(qiáng)生成圖像的紋理細(xì)節(jié),使其看起來(lái)更逼真:

參考ESRGAN 模型,超分辨生成器采用如圖5所示的RRDB(residual-in-residual dense block)結(jié)構(gòu),在預(yù)處理的高-低分辨率圖像對(duì)數(shù)據(jù)集上訓(xùn)練它,可將CT 圖像最大放大至4 倍。圖6 中Conv 表示卷積層,搭配Leacky-ReLU 激活函數(shù),Upsample 表示2 倍插值上采樣,β和θ為常數(shù)系數(shù)。

圖5 超分辨生成器的結(jié)構(gòu)

圖6 超分辨生成器(SR-GAN-D)的結(jié)構(gòu)

本文發(fā)現(xiàn)使用ESRGAN 處理CT 圖像時(shí)有幾方面的不足,包括產(chǎn)生較多的偽影,對(duì)局部特征的支持較弱以及訓(xùn)練所支持的圖像尺寸受限。經(jīng)過(guò)分析與測(cè)試,將ESRGAN 的鑒別器更換為PatchGAN 的鑒別器結(jié)構(gòu)可以解決上述問(wèn)題。參考PatchGAN 模型,采用如圖7所示結(jié)構(gòu)的超分辨鑒別器。超分辨鑒別器中的所有卷積層使用相同的接收域,確保每一層的輸出值僅與局部固定區(qū)域的像素塊相關(guān),這樣可以強(qiáng)化網(wǎng)絡(luò)對(duì)局部特征的感知。圖中Conv 表示卷積層,同時(shí)搭配批歸一化和Leacky-ReLU 激活函數(shù)。

圖7 超分辨特征提取器(SR-GAN-F)的結(jié)構(gòu)

引入感知損失函數(shù)lc可以增強(qiáng)生成圖像的低頻特征,進(jìn)而令生成的圖像看起來(lái)更真實(shí)。為此本文在生成對(duì)抗網(wǎng)絡(luò)中增加超分辨特征提取器。參考VGG-19模型,超分辨特征提取器的結(jié)構(gòu)如圖7所示。圖中Conv 表示卷積層,同時(shí)搭配最大池化操作和Re-LU 激活函數(shù)。

3 實(shí)驗(yàn)與結(jié)果

本文所提出方法面向CT 醫(yī)學(xué)圖像,使用QIN LUNG CT[24]數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試模型,該數(shù)據(jù)集掃描來(lái)自于接受癌癥手術(shù)的術(shù)前診斷患者,包含47 個(gè)病人的3954 張512×512 分辨率圖像和基于此構(gòu)建訓(xùn)練集(DS_TR)和驗(yàn)證集(DS_VA)的高分辨率圖像部分。QIN LUNG CT 數(shù)據(jù)集采用由文獻(xiàn)[25,26]收集的數(shù)據(jù),為保護(hù)患者隱私已刪除所有個(gè)人識(shí)別信息。雖然天然的圖像對(duì)的獲取非常的困難,難以找到具有足夠數(shù)量的圖像的訓(xùn)練數(shù)據(jù)集,但為了可以通過(guò) 峰值信噪比(peak signal-to-noise ratio,PSNR)、結(jié)構(gòu)相似性(structural similarity,SSIM)等指標(biāo)評(píng)價(jià)超分辨率分析方法的優(yōu)劣,找到了一組具有60 對(duì)(512×512,128×128)高低分辨率圖像對(duì)的數(shù)據(jù)集作為測(cè)試集(DS_TE)。測(cè)試時(shí)將128×128 分辨率圖像放大4 倍,與對(duì)應(yīng)的512×512 分辨率圖像評(píng)測(cè)PSNR、SSIM 等指標(biāo)。另外,本文更關(guān)心的是無(wú)高分辨率參照?qǐng)D像的場(chǎng)景,將測(cè)試集中的512×512 分辨率圖像放大4 倍,采用無(wú)參考圖像質(zhì)量評(píng)估(IQA)指標(biāo)來(lái)評(píng)測(cè)生成圖像的質(zhì)量。本文采用的無(wú)參考圖像質(zhì)量評(píng)估(IQA)指標(biāo)包括無(wú)參考圖像評(píng)價(jià)指標(biāo)(natural image quality evaluator,NIQE),無(wú)參考的空間域圖像質(zhì)量評(píng)估算法(blind/reference less image spatial quality evaluator,BRISQUE)和無(wú)參考圖像質(zhì)量評(píng)價(jià)(blind image quality evaluation using perception based features,PIQE)。評(píng)價(jià)值可通過(guò)Matlab 中的相應(yīng)函數(shù)niqe、brisque 和piqe 計(jì)算,評(píng)價(jià)指標(biāo)采用[0,100]的正實(shí)數(shù),低分值表示高感知質(zhì)量。

在訓(xùn)練前的數(shù)據(jù)預(yù)處理階段,對(duì)比方法RCAN、EDSR、ESRGAN 均通過(guò)BiCubic 方法生成特定倍數(shù)的訓(xùn)練集(DS_TR)和驗(yàn)證集(DS_VA)的低分辨率圖像,DeSRGAN 方法如前文所述通過(guò)核估計(jì)網(wǎng)絡(luò)和噪聲注入生成相應(yīng)的低分辨率圖像。對(duì)比方法BiCubic 不需要訓(xùn)練,可直接插值放大圖像,不需要數(shù)據(jù)預(yù)處理操作。

文中所涉及的算法實(shí)現(xiàn)的硬件環(huán)境包括Intel i7-6700 CPU,64 GB 內(nèi)存,和NVDIA GeForce RTX2080S顯卡。BiCubic 方法通過(guò)Matlab 函數(shù)直接插值放大圖像,DeSRGAN、RCAN、EDSR、ESRGAN 方法在Pytorch 環(huán)境下實(shí)現(xiàn),均使用了github 庫(kù)中“xinntao/BasicSR”項(xiàng)目所提供的模塊,DeSRGAN 方法還使用了github 庫(kù)中“sefibk/KernelGAN”項(xiàng)目中的的模塊。

DeSRGAN 方法中的核估計(jì)網(wǎng)絡(luò)和超分辨網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)定如前文所述,網(wǎng)絡(luò)中所涉及的卷積層的參數(shù)設(shè)置如表1 所示。表中in_channels 代表輸入通道數(shù),out_channels 代表輸出通道數(shù),kernel_size 代表卷積核的尺寸,stride 代表步長(zhǎng),padding 代表輸入數(shù)據(jù)各維度各邊上要補(bǔ)齊0 的層數(shù)。

表1 DeSRGAN 方法中卷積層的參數(shù)設(shè)置

核估計(jì)網(wǎng)絡(luò)的損失函數(shù)的常系數(shù)設(shè)定為αs=0.5、αm=0.5、αsq=5、αce=1,生成器和鑒別器采用相同的Adam 優(yōu)化器,參數(shù)設(shè)定為β1=0.5、β2=0.999,網(wǎng)絡(luò)迭代訓(xùn)練3000 代次,學(xué)習(xí)速率設(shè)定為0.002,并且每750 次迭代縮減10 倍。超分辨網(wǎng)絡(luò)的損失函數(shù)的常系數(shù)設(shè)定為αx=0.01、αc=1、αa=0.005,生成器和鑒別器采用相同的Adam 優(yōu)化器,參數(shù)設(shè)定為β1=0.9,β2=0.999,網(wǎng)絡(luò)迭代訓(xùn)練90 000 代次,學(xué)習(xí)速率設(shè)定為0.0001。在圖像對(duì)預(yù)處理的噪聲提取過(guò)程中,噪聲塊的最小均值和最大方差2 個(gè)參數(shù)的設(shè)置選用mmin=12 和dmax=96。

RCAN 方法采用文獻(xiàn)[18]的設(shè)定方案,生成器采用Adam 優(yōu)化器,參數(shù)設(shè)定為β1=0.9、β2=0.99,網(wǎng)絡(luò)迭代訓(xùn)練300 000 代次,學(xué)習(xí)速率設(shè)定為0.0001;EDSR 方法采用文獻(xiàn)[15]的設(shè)定方案,生成器采用Adam 優(yōu)化器,參數(shù)設(shè)定為β1=0.9、β2=0.99,網(wǎng)絡(luò)迭代訓(xùn)練400 000 代次,學(xué)習(xí)速率設(shè)定為0.0001;ESRGAN 方法采用文獻(xiàn)[14]的設(shè)定方案,生成器和鑒別器采用相同的Adam 優(yōu)化器,參數(shù)設(shè)定為β1=0.9、β2=0.99,網(wǎng)絡(luò)迭代訓(xùn)練300 000代次,學(xué)習(xí)速率設(shè)定為0.0001。

實(shí)際應(yīng)用中,更多的場(chǎng)景是提升現(xiàn)有的高分辨率的圖像的分辨率,超分辨率分析生成的圖像不存在對(duì)比參照的原圖像。因?yàn)闆](méi)有參照的原圖像,超分辨率分析生成的圖像的質(zhì)量的評(píng)測(cè),需要借助無(wú)參考圖像質(zhì)量評(píng)估(IQA)指標(biāo),例如NIQE、BRISQUE 和PIQE。除BiCubic 方法不需要訓(xùn)練,RCAN、EDSR、ESRGAN 和DeSRGAN 等方法在前述參數(shù)設(shè)定條件下,分別訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練完成后,分別將測(cè)試集(DS_TE)中的512×512 分辨率圖像超分辨率分析至2048×2048 分辨率圖像。表2 中記錄了各方法所生成圖像的NIQE、BRISQUE 和PIQE 等指標(biāo)的最小值和平均值。圖8、9 和10 給出了所有生成圖的無(wú)參考圖像質(zhì)量評(píng)估指標(biāo)的分布情況。

表2 NIQE、BRISQUE 和PIQE 等指標(biāo)的最小值和平均值

圖8 生成圖的NIQE 評(píng)估指標(biāo)的分布

表2 和圖8～10 中的NIQE、BRISQUE 和PIQE等指標(biāo)通過(guò)Matlab 軟件評(píng)測(cè),評(píng)估值區(qū)間為[0,100]的正實(shí)數(shù),越低的分值表示越高的感知質(zhì)量。從表2 和圖8中的NIQE 指標(biāo)的分布情況可以看出,在空間域自然場(chǎng)景統(tǒng)計(jì)模型的統(tǒng)計(jì)規(guī)律性測(cè)量上,DeSRGAN 方法在大部分測(cè)試圖片的評(píng)估中具有最好的得分,只有少部分測(cè)試圖的得分近似于RCAN和EDSR 方法。從表2 和圖9 中 的BRISQUE 指標(biāo)的分布情況可以看出,在局部歸一化亮度系數(shù)的場(chǎng)景統(tǒng)計(jì)方面,DeSRGAN 方法在評(píng)估中幾乎全部測(cè)試圖都具有最好的得分,ESRGAN 在個(gè)別測(cè)試圖上具有近似的得分,但ESRGAN 的分布穩(wěn)定,在大部分測(cè)試圖上的得分差于其他方法。從表2 和圖10 中的PIQE 指標(biāo)的分布情況可以看出,在局部特征的圖像質(zhì)量評(píng)估方面,BiCubi、EDSR、RCAN 方法得分情況近似,ESRGAN 方法較優(yōu),DeSRGAN 方法得分最優(yōu)。綜合來(lái)看,DeSRGAN 方法在無(wú)參考圖像質(zhì)量評(píng)估指標(biāo)的評(píng)測(cè)中具有最好的表現(xiàn)。另外,圖11 給出了各個(gè)方法生成圖的視覺(jué)對(duì)比,從直觀的視覺(jué)感官上可以看出,BiCubi、EDSR、RCAN 方法偏向于模糊和平滑,ESRGAN 和DeSRGAN 更清晰的同時(shí)也生成了更多的細(xì)節(jié),EDSR、RCAN、ESRGAN 在高光邊緣部分具有較多的毛刺偽影。綜合來(lái)看,DeSRGAN 方法在視覺(jué)效果上也具有明顯優(yōu)勢(shì)。

圖9 生成圖的BRISQUE 評(píng)估指標(biāo)的分布

圖10 生成圖的PIQE 評(píng)估指標(biāo)的分布

圖11 生成圖的視覺(jué)直觀對(duì)比

4 結(jié)論

本文面向計(jì)算機(jī)斷層成像技術(shù),研究了從CT設(shè)備生成的低分辨率圖像重構(gòu)高分辨率圖像的方法。相較于新近提出的RCAN、EDSR、ESRGAN 等方法,本文采用不同的高-低分辨率圖像對(duì)生成辦法,通過(guò)降質(zhì)網(wǎng)絡(luò)和注入噪聲獲得與真實(shí)圖像同域的低分辨率圖像,進(jìn)而構(gòu)造接近天然圖像對(duì)的訓(xùn)練數(shù)據(jù)集。本文借鑒ESRGAN、PatchGAN 和VGG-19等深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)思路,構(gòu)建包括了超分辨生成器、超分辨鑒別器和超分辨特征提取器的超分辨率生成對(duì)抗網(wǎng)絡(luò)(DeSRGAN)。本文提出的DeSRGAN 方法,通過(guò)無(wú)參考圖像質(zhì)量評(píng)估,在空間域自然場(chǎng)景統(tǒng)計(jì)模型的統(tǒng)計(jì)規(guī)律性測(cè)量、局部歸一化亮度系數(shù)的場(chǎng)景統(tǒng)計(jì)以及局部特征等方面均優(yōu)于傳統(tǒng)的BiCubic 方法和新近提出的RCAN、EDSR、ESRGAN 等方法。同時(shí),在直觀的視覺(jué)對(duì)比上,DeSRGAN 方法也具有更清晰的細(xì)節(jié)和更好感知效果。所以,本文提出的DeSRGAN 方法利用現(xiàn)有的高分辨率CT 圖像數(shù)據(jù)集,通過(guò)自我降質(zhì)構(gòu)建訓(xùn)練數(shù)據(jù)集完成訓(xùn)練,將高分辨率CT 圖像進(jìn)一步生成擴(kuò)大4倍的圖像,更高的清晰度將直接提升醫(yī)生對(duì)患者診斷的準(zhǔn)確度,具有重要的臨床意義。