基于形變估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)尼t(yī)學(xué)CT圖像層間超分辨率算法

摘 要：針對(duì)醫(yī)學(xué)斷層圖像層間分辨率較低的問題，提出了基于形變估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)尼t(yī)學(xué)CT圖像層間超分辨率算法用于生成切片間圖像，從而提高層間分辨率。首先利用U－Net對(duì)相鄰兩幅圖像作多尺度特征提取與融合；其次，為了處理層間圖像的復(fù)雜形變，使用基于自適應(yīng)協(xié)作流的變形扭曲模塊來實(shí)現(xiàn)相鄰切片間的雙向形變估計(jì)，設(shè)計(jì)層級(jí)信息遞進(jìn)融合模塊對(duì)金字塔特征層進(jìn)行特征聚合，對(duì)生成圖進(jìn)行運(yùn)動(dòng)補(bǔ)償；最后經(jīng)過后處理網(wǎng)絡(luò)以減少異常像素點(diǎn)。該算法在兩種CT數(shù)據(jù)集上進(jìn)行驗(yàn)證，平均PSNR值分別達(dá)到了35.59 dB和30.76 dB，輸出圖能較好地恢復(fù)圖像細(xì)節(jié)。與現(xiàn)有的一些方法對(duì)比，相關(guān)實(shí)驗(yàn)證明了該算法的有效性。

關(guān)鍵詞： 層間超分辨率；卷積神經(jīng)網(wǎng)絡(luò)；三維醫(yī)學(xué)圖像；形變估計(jì)

中圖分類號(hào)： TP391.41文獻(xiàn)標(biāo)志碼：A 文章編號(hào)： 1001－3695（2024）04－040－1234－05

doi： 10.19734/j.issn.1001－3695.2023.07.0345

Medical CT images inter－slice super－resolution algorithm based on deformation estimation and motion compensation

Zheng Zhizhen， Zheng Qianying， Yu Jinling

Abstract：Aiming at the problem of low interlayer resolution in medical tomographic images， this paper proposed an interlayer super－resolution algorithm based on deformation estimation and motion compensation. The method aimed to enhance interlayer resolution by generating interslice images. Firstly， the algorithm employed U－Net for multi－scale feature extraction and fusion of two adjacent images. To handle the complex deformation of interlayer images， it estimated slice bidirectional deformation by utilizing a warping module based on adaptive collaboration of flows. Multi－scale information fusion module performed feature aggregation onpyramid feature layers， to compensate for the motion of the generated map. Finally， it employed a post－processingnetwork to reduce pixel outliers. The results on two CT datasets show that the PSNR of the proposed algorithm reaches 35.59 dB and 30.76 dB， the output effectively restores image details. Comparative experiments with existing methods demonstrate the effectiveness of the proposed algorithm. Key words：inter－slice super－resolution; convolutional neural network; 3D－medical images; deformation estimation

0 引言醫(yī)學(xué)斷層成像的分辨率從空間上可以分為二維空間分辨率以及層間分辨率。由于物理成像系統(tǒng)的硬件限制、輻射劑量、掃描時(shí)長(zhǎng)以及噪聲等因素的影響，成像的分辨率受到了一定的限制［1］。在成像系統(tǒng)性能受限的情況下，要想獲取到具有更高分辨率的圖像，就需要更大射線劑量或更長(zhǎng)掃描時(shí)間，然而在CT成像中，大劑量輻射或長(zhǎng)時(shí)間掃描是不符合實(shí)際情況的，可能會(huì)損害機(jī)體的免疫系統(tǒng)，對(duì)人體造成潛在的影響。因此在圖像處理方面，對(duì)CT圖像的分辨率進(jìn)行提升成為了一個(gè)值得研究的方向［2］。關(guān)于傳統(tǒng)的平面超分辨率（super resolution， SR）方法，對(duì)于CT圖像而言，就是對(duì)某一二維切片進(jìn)行超分重建。Dong 等人［3］首先將深度學(xué)習(xí)引入SR任務(wù)，以三層卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)實(shí)現(xiàn)了低分辨率圖像到高分辨率圖像的映射學(xué)習(xí)。隨著ResNet與DenseNet的提出，殘差結(jié)構(gòu)與密集連接的思想也被應(yīng)用于SR問題上［4］。 近年來，更多高效的超分網(wǎng)絡(luò)被提出，通過使用特征信息蒸餾［4］、參數(shù)共享策略［5］與注意力機(jī)制［6］等，使得計(jì)算效率得到了提升。其中注意力機(jī)制著重從不同的角度實(shí)現(xiàn)對(duì)于圖像某一部分特征信息的加強(qiáng)或抑制，在一定程度上有利于SR任務(wù)的特征表達(dá)。然而對(duì)于醫(yī)學(xué)斷層圖像，平面超分重建無法獲得清晰可靠的相鄰橫斷面圖像。 在三維CT圖像中，切片的層內(nèi)采樣分辨率遠(yuǎn)大于層間分辨率?？臻g位置上相鄰的二維切片間具有一定的運(yùn)動(dòng)連續(xù)性。為了獲取具有更窄間距的二維切片，本文算法借鑒了視頻插幀的思想，利用在空間位置上相鄰兩層圖像來恢復(fù)出中間層的二維切片，以提高CT圖像的層間分辨率，該任務(wù)定義為醫(yī)學(xué)CT圖像層間超分辨率重建。解決醫(yī)學(xué)斷層圖像插值的一類方法是非剛性配準(zhǔn)。非剛性配準(zhǔn)主要分為基于空間仿射變換的配準(zhǔn)，如多項(xiàng)式法、樣條函數(shù)法等，基于各種物理模型的配準(zhǔn)，如粘性流體模型、彈性模型和光流模型等。He 等人［7］利用了圖像塊間的自相似性構(gòu)造高斯過程回歸模型， 分塊逐步構(gòu)建插入層的數(shù)據(jù)，該方法耗時(shí)較長(zhǎng)，且重建質(zhì)量不夠理想。Heinrich等人［8］結(jié)合梯度方向與光流對(duì)多模態(tài)醫(yī)學(xué)圖像進(jìn)行非剛性配準(zhǔn)。然而上述基于光流場(chǎng)的配準(zhǔn)，并不能確保計(jì)算的光流場(chǎng)是同構(gòu)的。文獻(xiàn)［9］采用CLG－TV光流估計(jì)配準(zhǔn)算法與幀間非局部自相似性生成CT中間切片，但該算法在兩幅圖像組織形態(tài)變化過大時(shí)無法很好地處理。醫(yī)學(xué)斷層圖像的層間超分辨率可以同自然視頻圖像幀插值歸于序列圖像插值問題。近年來，基于深度學(xué)習(xí)的視頻插幀算法得到了關(guān)注，Niklaus等人［10］提出了一種基于空間自適應(yīng)卷積核的算法來跟蹤圖像中每個(gè)像素的運(yùn)動(dòng)，該方法的重建質(zhì)量超過了傳統(tǒng)的以光流方程為基礎(chǔ)的插幀算法。然而該方法對(duì)于大于計(jì)算卷積核的運(yùn)動(dòng)估計(jì)的效果欠佳。文獻(xiàn)［11］中提出了SloMo算法，該算法憑借U－Net架構(gòu)計(jì)算輸入圖之間的雙向光流，將輸入的兩幅圖像根據(jù)深度神經(jīng)網(wǎng)絡(luò)推理出的光流場(chǎng)進(jìn)行扭曲和線性融合。Lee 等人［12］提出AdaCoF模型，該模型利用空間自適應(yīng)可變形卷積作像素級(jí)的輸出預(yù)測(cè)，該方法在處理大型復(fù)雜運(yùn)動(dòng)上具有優(yōu)勢(shì)，但欠缺保存上下文信息的能力。與自然圖像場(chǎng)景相比，醫(yī)學(xué)圖像層間的形態(tài)變化與組織運(yùn)動(dòng)情況顯得更為復(fù)雜多變和難以估計(jì)。本文提出了一種基于形變估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)膱D像層間超分辨率算法?；贒S－Conv操作的雙向形變估計(jì)模塊對(duì)模型處理大的形變提供了較高自由度，使得模型可以追蹤更大的像素運(yùn)動(dòng)范圍。然而其在保留更精細(xì)的紋理邊緣與細(xì)節(jié)方面的能力上是缺失的，同時(shí)還會(huì)殘留一些偽影。于是增加一個(gè)級(jí)聯(lián)的特征金字塔層級(jí)信息融合模塊，為產(chǎn)生的輸出作進(jìn)一步的融合和完善，以產(chǎn)生更貼合原有真實(shí)圖像的組織形態(tài)與特征。

1 本文方法對(duì)于一組空間密集采樣的CT數(shù)據(jù)，可將其定義為

一般地，按照解剖學(xué)上的劃分，將x軸定義為矢狀軸，y軸定義為冠狀軸，z軸定義為垂直軸，則垂直軸切片表示為

沿著垂直軸方向上的切片是一組離散序列圖像，設(shè)z 軸切片數(shù)量為N。圖像層間超分辨率的目的是通過深度神經(jīng)網(wǎng)絡(luò)尋求一組變換，使得

為了獲取真實(shí)的參考圖像對(duì)網(wǎng)絡(luò)輸出的合成圖作指標(biāo)量化與視覺評(píng)價(jià)，如圖1所示，對(duì)一組密集采樣的三維CT圖像數(shù)據(jù)作間隔抽取，例如對(duì)于垂直空間上連續(xù)的三張橫斷面切片，將切片Iz 與Iz+1作為輸入圖，將切片Iz+1/2作為參考圖像，并依此類推得到多組訓(xùn)練數(shù)據(jù)。

本文實(shí)現(xiàn)CT圖像層間超分辨率的主要方法是通過輸入相鄰的兩張切片到深度神經(jīng)網(wǎng)絡(luò)變換，使得網(wǎng)絡(luò)能夠輸出具有可信度的兩切片中間位置切片。在訓(xùn)練與測(cè)試中，本文采用真實(shí)薄層CT的連續(xù)斷層切片劃分成三元組，Iz與Iz+1作為輸入圖，將網(wǎng)絡(luò)合成圖Iout與真實(shí)中間切片Iz+1/2進(jìn)行對(duì)比評(píng)估，以驗(yàn)證模型性能。對(duì)于CT斷層圖像，其層間序列圖像具有一定的運(yùn)動(dòng)連續(xù)性，故可以通過神經(jīng)網(wǎng)絡(luò)從相鄰兩切片中恢復(fù)出中間層切片信息，提高層間分辨率。本文方法恢復(fù)中間切片分為兩步，即形變估計(jì)與運(yùn)動(dòng)補(bǔ)償。形變估計(jì)是對(duì)雙向輸入圖提取特征后，網(wǎng)絡(luò)對(duì)組織結(jié)構(gòu)形態(tài)變化的初步預(yù)估；運(yùn)動(dòng)補(bǔ)償則是在估計(jì)圖的基礎(chǔ)上根據(jù)全局特征對(duì)局部進(jìn)行補(bǔ)償，以增強(qiáng)圖像質(zhì)量。

1.1 網(wǎng)絡(luò)框架本文提出了一種基于形變估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)尼t(yī)學(xué)CT圖像層間超分辨率網(wǎng)絡(luò)（deformation estimation and motion compensation for inter－slice super－resolution of medical image，DEMC－Net），如圖2所示。DEMC－Net是一個(gè)端到端的可訓(xùn)練網(wǎng)絡(luò)，主要由四個(gè)部分構(gòu)成：U－Net結(jié)構(gòu)作為主干網(wǎng)絡(luò)的核估計(jì)網(wǎng)絡(luò)、層間雙向形變估計(jì)網(wǎng)絡(luò)（bidirectional deformation estimation module，BDEM）、圖像運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)和后處理優(yōu)化模塊（post－processing optimization module，PPOM）。

對(duì)于輸入圖像Iz與Iz+ 其表示在空間垂直方向上相鄰的兩張橫斷面切片，Iout表示網(wǎng)絡(luò)最終合成輸出的圖像。層間雙向形變估計(jì)網(wǎng)絡(luò)對(duì)雙向的輸入圖各作一次形變估計(jì)，得到前向估計(jì)圖與后向估計(jì)圖，通過遮擋圖，從兩張估計(jì)圖中選擇有效的像素，合成一張初步中間估計(jì)圖。圖像運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)是由結(jié)合了強(qiáng)化空間注意力機(jī)制（enhance spatial attention， ESA）的層級(jí)信息遞進(jìn)融合模塊 （hierarchical information progressive fusion module，HIPFM）所實(shí)現(xiàn)的，ESA強(qiáng)化了層間圖像合成中更感興趣的區(qū)域，自適應(yīng)地為其分配權(quán)重，將金字塔特征圖作遞進(jìn)融合得到輸出圖，與形變估計(jì)圖融合，使得估計(jì)圖獲得運(yùn)動(dòng)補(bǔ)償部分的像素增強(qiáng)。最后經(jīng)過一個(gè)殘差結(jié)構(gòu)的后處理優(yōu)化模塊，將生成圖中的異常像素點(diǎn)作優(yōu)化處理，得到輸出的中間層橫斷面切片圖像。

1.2 基于自適應(yīng)協(xié)作流的雙向形變估計(jì)模塊BDEM自適應(yīng)協(xié)作流是文獻(xiàn)［12］中提出的一種通用的圖像扭曲變形模塊，其關(guān)鍵組件為一種空間自適應(yīng)可變形卷積操作（deformable separated convolution， DS－Conv）。該組件用于實(shí)現(xiàn)從一幅輸入圖像到一幅輸出圖像的扭曲變形映射。該卷積操作設(shè)計(jì)源于可變形卷積的啟發(fā)。對(duì)于可變形卷積而言，（i， j）位置的像素，其尺寸為K的可變形卷積核對(duì)應(yīng)的K2個(gè)采樣點(diǎn)，都具有一個(gè)位置偏移向量，即

首先，為了讓可變形卷積具有更大的感受野，且提升卷積核搜索的范圍，DS－Conv在可變形卷積基礎(chǔ)上加入了偏移矢量 d 。對(duì)于DS－Conv操作，可描述為

其中：K表示可變形卷積核的大小。對(duì)于輸入圖Iin的（i， j） 位置處的像素進(jìn)行預(yù)測(cè)時(shí)，Wm，n（i， j）為該點(diǎn)像素的內(nèi)核權(quán)重。與可變形卷積不同之處在于，在不同參考像素位置處，DS－Conv是不共享權(quán)重的，即每個(gè)像素點(diǎn)都具有其對(duì)應(yīng)的權(quán)重參數(shù)。BDEM中采用兩組DS－Conv分別對(duì)Iz與Iz+1作形變估計(jì)，得到兩張指向中間層的形變估計(jì)圖，然后使用一個(gè)遮擋對(duì)兩張估計(jì)圖進(jìn)行融合，得到I′。該過程可以表示為

其中：M表示一個(gè)可學(xué)習(xí)的遮擋層；Τf、Τb分別表示前向估計(jì)與后向估計(jì)計(jì)算； J 為全一矩陣。對(duì)于DS－Conv操作，該運(yùn)算所需參數(shù)需要由若干子網(wǎng)絡(luò)來表示，其中子網(wǎng)絡(luò)根據(jù)輸入特征估計(jì)DS－Conv的參數(shù)。故子網(wǎng)絡(luò)的映射表達(dá)能力對(duì)于BDEM的性能有一定的影響。encoder－decoder結(jié)構(gòu)可以在保留信息的同時(shí)去除冗余信息，相較于簡(jiǎn)單的重復(fù)規(guī)模卷積層的堆疊，可有效改善其作為參數(shù)層時(shí)的表達(dá)能力。BDEM中對(duì)輸入作雙向估計(jì)，其所需參數(shù)包括圖權(quán)重以及水平、豎直方向上的卷積核偏移向量圖，總計(jì)需要六個(gè)子網(wǎng)絡(luò)估計(jì)塊?？紤]到參數(shù)量與性能的平衡，本文將U－Net進(jìn)行裁剪得到Mini－Unet作為子網(wǎng)絡(luò)，以映射生成所需的參數(shù)。

1.3 結(jié)合ESA的金字塔層級(jí)信息遞進(jìn)融合模塊HIPFM由于經(jīng)過BDEM估計(jì)的誤差或者遮擋層的影響，融合得到的圖像細(xì)節(jié)上仍有缺失與不平滑，并可能出現(xiàn)偽影，所以結(jié)合ESA的HIPFM以融合更多上下文信息，補(bǔ)償通過遮擋初步合成的圖，HIPFM結(jié)構(gòu)如圖3所示。

由于醫(yī)學(xué)圖像相對(duì)自然圖像的場(chǎng)景更單一，高層、低層語義特征對(duì)于醫(yī)學(xué)圖像都很重要。前置特征提取網(wǎng)絡(luò)U－Net在上采樣傳播過程中，構(gòu)建出特征金字塔層，特征金字塔可以視為卷積層在提取特征過程中不同程度上的抽象表示，通過有效地組合這些層間信息， 修復(fù)像素強(qiáng)度不足的區(qū)域，為初步估計(jì)圖作進(jìn)一步的運(yùn)動(dòng)補(bǔ)償。在HIPFM的融合過程中，特征圖融合由底逐級(jí)向上融合，即先從底層特征圖開始，與上一級(jí)尺度的特征圖作一次融合，將融合結(jié)果作為下一次融合的低級(jí)特征圖輸入。由于不同層級(jí)特征圖對(duì)于遞進(jìn)融合網(wǎng)絡(luò)的貢獻(xiàn)程度是不同的，所以引入注意力機(jī)制。本文采用RFANet中［13］提出的ESA注意力。ESA引入了深度殘差的設(shè)計(jì)，以強(qiáng)制特征關(guān)注到更加感興趣的區(qū)域，將網(wǎng)絡(luò)層中突出的特征進(jìn)行聚合。ESA注意力同時(shí)還具有足夠輕量化的特點(diǎn)，可以方便地集成到其他模型中。HIPFM融合基本單元如圖4所示。對(duì)于每一級(jí)低層特征與高層特征的融合過程，可以描述為

其中： fesa表示ESA注意力模塊； fup表示特征圖上采樣層； f1×1表示卷積核大小為1×1的卷積層計(jì)算；xl（1）為第一次融合后得到的特征層，將xl（1）作為下一級(jí)輸入的低層特征圖與特征金字塔中的更高層進(jìn)行下一次融合，按照此規(guī)則進(jìn)行迭代，直至融合到最高尺度層級(jí)。

1.4 后處理優(yōu)化模塊PPOM由于經(jīng)過多重特征圖的混合生成過程，生成圖像可能會(huì)出現(xiàn)一些異常像素點(diǎn)，影響了輸出圖像的質(zhì)量效果，所以在網(wǎng)絡(luò)末端引入后處理優(yōu)化模塊來提高生成質(zhì)量。將BDEM模塊輸出的前向、后向估計(jì)圖以及生成的中間估計(jì)圖作為PPOM的輸入，在PPOM的輸出加上中間層圖像，此設(shè)計(jì)使得后處理優(yōu)化模塊強(qiáng)制學(xué)習(xí)網(wǎng)絡(luò)生成圖與真實(shí)參考圖之間的殘差。該模塊可以在一定程度上提高生成圖像的指標(biāo)。

1.5 損失函數(shù)設(shè)計(jì)在圖像生成任務(wù)中，內(nèi)容損失與感知損失聯(lián)合使用是常見的做法，這樣可以在圖像擬合程度與視覺感知效果上取得一個(gè)較好的平衡。本文模型訓(xùn)練采用的聯(lián)合損失函數(shù)為

首先，本文算法采用一種帶有懲罰項(xiàng)的L1損失作為基礎(chǔ)內(nèi)容損失，該損失函數(shù)可以改善L1損失有時(shí)生成的圖像過于平滑的問題［14］。該損失定義為

在模型訓(xùn)練過程中，設(shè)定α= β=0.0 γ=0.001。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)本文實(shí)驗(yàn)使用兩個(gè)公共數(shù)據(jù)集：a）安德森腫瘤中心可變形圖像配準(zhǔn)實(shí)驗(yàn)室（DIR－LAB）開源的4D肺部CT數(shù)據(jù)集［16］，該數(shù)據(jù)集中五組CT數(shù)據(jù)的層內(nèi)分辨率為0.97～1.16 mm，層間分辨率均為2.5 mm；b）IEEE8023的20組為研究新型冠狀病毒（COVID－19）收集的肺部CT數(shù)據(jù)集［17］，該數(shù)據(jù)集的層內(nèi)分辨率為0.6836～0.7246 mm，層間分辨率均為1 mm。原始數(shù)據(jù)經(jīng)過預(yù)處理后，訓(xùn)練集由1 000組CT圖像組成，兩種數(shù)據(jù)集總計(jì)測(cè)試了100組圖像。本文采用三種指標(biāo)來對(duì)生成圖與真實(shí)圖像進(jìn)行定量評(píng)估，分別是峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM）及可學(xué)習(xí)感知圖像塊相似度（learned perceptual image patch similarity，LPIPS）。PSNR通過計(jì)算均方誤差來衡量生成圖與原圖的差異，SSIM根據(jù)結(jié)構(gòu)、亮度和對(duì)比度來判斷相似度，其公式如下：

將兩幅圖像輸入到SqueezeNet中，輸出歸一化處理后記為yl0hw、yl1hw，經(jīng)過權(quán)重w點(diǎn)乘后計(jì)算L2距離得到LPIPS。其值越低，代表輸入的兩幅圖像越相似。LPIPS較傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)指標(biāo)在人類視覺感知效果上具有更好的一致性。其公式為

2.2 實(shí)驗(yàn)設(shè)置與訓(xùn)練細(xì)節(jié)

本文采用對(duì)薄層CT的橫斷面序列圖像進(jìn)行間隔抽取來獲取訓(xùn)練集，例如對(duì)于三元組I0、I1與I2，將I0、I2輸入到網(wǎng)絡(luò)，I1作為參考圖，進(jìn)行有監(jiān)督訓(xùn)練。訓(xùn)練使用的CT圖像統(tǒng)一裁剪成256×256，在數(shù)據(jù)增廣方面，隨機(jī)對(duì)不同的三元組內(nèi)圖像統(tǒng)一執(zhí)行旋轉(zhuǎn)90°、垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)操作，保持三元組CT橫斷面圖像對(duì)齊。本文訓(xùn)練采用的優(yōu)化器為Adamax，動(dòng)量參數(shù)β1與β2分別設(shè)置為0.9、0.999。初始學(xué)習(xí)率lr設(shè)置為0.00 每隔50輪迭代lr衰減一半，總的訓(xùn)練輪數(shù)設(shè)置為200。本文算法使用設(shè)計(jì)的聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練，具體實(shí)現(xiàn)在1.5節(jié)中闡述。本文實(shí)驗(yàn)使用的服務(wù)器運(yùn)行Windows 10操作系統(tǒng)，CPU配置為Intel Core i9－11900K，GPU為NVIDIA RTX 3080Ti，運(yùn)行內(nèi)存為32 GB， 本文算法采用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)，環(huán)境中的Python版本為3.9，使用PyCharm用于訓(xùn)練與測(cè)試。

2.3 消融實(shí)驗(yàn)為了驗(yàn)證本文提出各模塊的作用，對(duì)DEMC－Net設(shè)計(jì)了如下的消融實(shí)驗(yàn)。首先是驗(yàn)證BDEM模塊直接輸出合成圖的效果，BDEM－S代表使用了Mini－UNet作為子網(wǎng)絡(luò)BDEM的實(shí)驗(yàn)。在BDEM－S的基礎(chǔ)上，逐次添加HIPFM模塊、結(jié)合ESA的HIPFM模塊，以及PPOM模塊。

消融實(shí)驗(yàn)在測(cè)試集上的指標(biāo)結(jié)果如表1所示。結(jié)果表明，設(shè)計(jì)的各個(gè)模塊對(duì)于生成圖的質(zhì)量均有不同程度的貢獻(xiàn)，可以提升指標(biāo)性能。其中HIPFM模塊使得兩類測(cè)試集的PSNR值分別提高了0.408 dB與0.428 dB。這說明基于特征金字塔層的HIPFM模塊可以有效地綜合上下文信息，為BDEM模塊的輸出作進(jìn)一步的補(bǔ)償與修復(fù)。將ESA引入到網(wǎng)絡(luò)設(shè)計(jì)中，ESA能夠自適應(yīng)地為網(wǎng)絡(luò)層間富含低頻或高頻信息的特征圖進(jìn)行信息增強(qiáng)或抑制，ESA機(jī)制使得特征圖減少了信息丟失，使得網(wǎng)絡(luò)更容易捕獲到輸入CT圖像到生成CT圖的映射關(guān)系。本文算法通過添加后處理模塊PPOM，綜合多個(gè)處理模塊輸出的特征層信息，有效地對(duì)異常像素點(diǎn)進(jìn)行修復(fù)，同時(shí)一定程度提高了生成圖像的客觀評(píng)價(jià)指標(biāo)。

2.4 對(duì)比與分析

本文選取了六個(gè)較有代表性的算法，包括Phase－Based［18］、 SepConv［10］、RRIN［19］、AdaCoF［12］、CDFI［20］與EDSC［21］。其中Phase－Based是基于相位的插幀算法，SepConv、RRIN、AdaCoF、CDFI與EDSC是近年來基于深度學(xué)習(xí)的插幀算法。以上算法在本數(shù)據(jù)集上的定量評(píng)估結(jié)果如表2所示。

本文采用輸入兩幅相鄰CT切片經(jīng)過神經(jīng)網(wǎng)絡(luò)來生成中間層切片的方法來獲取更多切片，使得切片間具有更小的層間距離以提高層間分辨率。從表2可以看出，基于深度學(xué)習(xí)的層間插值方法在指標(biāo)上大幅超過了基于相位變換的方法，證明了神經(jīng)網(wǎng)絡(luò)算法在CT圖像層間超分辨率重建中的效果。SepConv中可變形卷積的提出，提高了模型追蹤不規(guī)則邊緣的能力，使得合成圖像的質(zhì)量得到了大幅提升，也帶來了指標(biāo)上的提高。AdaCoF方法通過自適應(yīng)形變卷積實(shí)現(xiàn)了對(duì)復(fù)雜運(yùn)動(dòng)的估計(jì)，然而其帶來的是較為冗余的參數(shù)量問題。DEMC－Net在PSNR與SSIM兩項(xiàng)指標(biāo)上實(shí)現(xiàn)了最優(yōu)性能，其在DIR－LAB數(shù)據(jù)集上分別達(dá)到了35.593 dB與0.938 0。同時(shí)較低的LPIPS值說明了生成圖像與真實(shí)圖的視覺感官的一致性。本文通過計(jì)算模型浮點(diǎn)運(yùn)算數(shù)FLOPs與參數(shù)量Params來衡量網(wǎng)絡(luò)的復(fù)雜度。表2中的數(shù)據(jù)表明，DEMC－Net在可接受的運(yùn)算量與參數(shù)量的情況下，取得了性能與復(fù)雜度上的平衡。圖5是不同算法對(duì)某一組切片進(jìn)行中間層生成的效果展示，其中右下角是對(duì)圖中紅框范圍內(nèi)圖像的細(xì)節(jié)放大展示。Phase－Based方法生成的圖像較為模糊，不能滿足基本要求。SepConv方法使用卷積神經(jīng)網(wǎng)絡(luò)來合成中間圖，其客觀指標(biāo)超過了傳統(tǒng)的基于相位的方法Phase－Based，然而其輸出的圖像視覺效果仍然較差。CDFI與EDSC生成的圖像在小組織的邊緣細(xì)節(jié)紋理上仍有缺失與模糊。結(jié)果顯示，本文方法生成的中間層切片得到了更接近真實(shí)切片的組織細(xì)節(jié)與邊緣，得到了相對(duì)光滑且清晰的圖像，具有良好的視覺感官效果。

為了進(jìn)一步驗(yàn)證本文方法的有效性，在測(cè)試集中選取了六組圖像用于可視化展示，如圖6所示。其中第一、四行分別表示相鄰切片Iz與Iz+ 第二行Iz+1/2（gt）表示被抽取的真實(shí)中間層切片，第三行表示使用本文方法生成的中間層切片。圖6顯示本文方法產(chǎn)生了較為貼近真實(shí)圖的切片，實(shí)現(xiàn)了層間超分辨率的目的。本文方法生成的中間層CT切片圖像中，肺實(shí)質(zhì)與血管的邊緣輪廓清晰可見，且不同位置的CT切片合成圖都具有一致的生成質(zhì)量穩(wěn)定性，與真實(shí)切片圖像具有極高的相符度。本文算法不僅在定量指標(biāo)上取得了最優(yōu)的結(jié)果，并且在人眼視覺感受方面同樣顯示出良好的效果。

3 結(jié)束語

本文針對(duì)三維醫(yī)學(xué)CT圖像數(shù)據(jù)體中，圖像層內(nèi)分辨率遠(yuǎn)大于層間分辨率的問題，為了實(shí)現(xiàn)在更低輻射劑量與更快掃描速度的條件下，達(dá)到輸出更高層間分辨率圖像的目的，提出了一種基于形變估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)尼t(yī)學(xué)CT圖像層間超分辨率網(wǎng)絡(luò)，利用空間位置上連續(xù)的兩張切片合成出中間層的切片。以DS－Conv為基礎(chǔ)的形變估計(jì)模塊通過融合雙向的形變估計(jì)圖得到較為精確的預(yù)測(cè)圖，結(jié)合ESA的HIPFM模塊為初步生成圖補(bǔ)全細(xì)節(jié)信息，實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償。與其他算法相比，本文算法合成出的圖像具有較高的客觀指標(biāo)評(píng)價(jià)與較好的視覺感知效果。由于醫(yī)學(xué)CT圖像具有復(fù)雜多變的組織運(yùn)動(dòng)，所以可考慮引入更多層的切片，給予網(wǎng)絡(luò)更多的先驗(yàn)信息。同時(shí)可嘗試在現(xiàn)有網(wǎng)絡(luò)設(shè)計(jì)基本不變的情況下，對(duì)網(wǎng)絡(luò)進(jìn)行模型剪枝，以達(dá)到降低網(wǎng)絡(luò)參數(shù)的目的，提升模型的處理效率。

參考文獻(xiàn)：

［1］Isaac J S，Kulkarni R. Super resolution techniques for medical image processing ［C］//Proc of International Conference on Technologies for Sustainable Development. Piscataway，NJ：IEEE Press，2015： 1－6.

［2］Yang Hujun，Wang Zhongyang，Liu Xinyao，et al. Deep learning in medical image super resolution： a review ［J］.Applied Intelligence， 2023， 53 （18）： 20891－20916.

［3］Dong Chao，Loy C C，He Kaiming，et al. Image super－resolution using deep convolutional networks ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ，2015， 38 （2）： 295－307.

［4］Li Y，Sixou B，Peyrin F. A review of the deep learning methods for medical images super resolution problems ［J］.IRBM ，202 42 （2）： 120－133.

［5］Tai Ying，Yang Jian，Liu Xiaoming. Image super－resolution via deep recursive residual network ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 2790－2798.

［6］盤展鴻，朱鑒，遲小羽，等. 基于特征融合和注意力機(jī)制的圖像超分辨率模型 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022， 39 （3）： 884－888. （Pan Zhanhong，Zhu Jian，Chi Xiaoyu，et al. Image super－resolution model based on feature fusion and attention mechanism ［J］.Application Research of Computers ，2022， 39 （3）： 884－888.）

［7］He He，Siu W C. Single image super－resolution using Gaussian process regression ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2011： 449－456.

［8］Heinrich M P，Schnabel J，Gleeson F，et al. Non－rigid multimodal medical image registration using optical flow and gradient orientation ［C］// Proc of Conference on Medical Image Analysis and Understanding.2010： 141－145.

［9］林毓秀，劉慧，劉紹玲，等. 三維CT層間圖像超分辨重建與修復(fù) ［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020， 32 （6）： 919－929. （Lin Yuxiu，Liu Hui，Liu Shaoling，et al. Super－resolution reconstructionand repair of 3D CT interslice images ［J］.Journal of Computer－ Aided Design amp; Computer Graphics ，2020， 32 （6）： 919－929.）

［10］Niklaus S，Mai Long，Wang O. Revisiting adaptive convolutions for video frame interpolation ［C］// Proc of IEEE/CVF Winter Confe－rence on Applications of Computer Vision. Piscataway，NJ： IEEE Press，2021： 1098－1108.

［11］Jiang Huaizu，Sun Deqing，Jampani V，et al. Super slomo： high quality estimation of multiple intermediate frames for video interpolation ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 9000－9008.

［12］Lee H，Kim T，Chung T，et al. AdaCoF： adaptive collaboration of flows for video frame interpolation ［C］// Proc of IEEE/CVF Confe－rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 5315－5324.

［13］Liu Jie，Zhang Wenjie，Tang Yuting，et al. Residual feature aggregation network for image super－resolution ［C］// Proc of IEEE Confe－rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 2356－2365.

［14］Liu Ziwei，Yeh R A，Tang Xiaoou，et al. Video frame synthesis using deep voxel flow ［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2017： 4473－4481.

［15］Wang Xintao，Yu Ke，Wu Shixiang，et al. ESRGAN： enhanced super－resolution generative adversarial networks ［C］// Proc of European Conference on Computer Vision. Cham： Springer，2018： 63－79.

［16］Castillo R，Castillo E，Guerra R，et al. A framework for evaluation of deformable image registration spatial accuracy using large landmark point sets ［J］.Physics in Medicine amp; Biology ，2009， 54 （7）： 1849－1870.

［17］Cohen J P，Morrison P，Dao L，et al. Covid－19 image data collection： prospective predictions are the future ［EB/OL］. （2020－06－22） . https：//arxiv. org/pdf/2006. 11988. Pdf.

［18］Wadhwa N，Rubinstein M，Durand F，et al. Phase－based video motion processing ［J］.ACM Trans on Graphics ，2013， 32 （4）： 1－10.

［19］Li Haopeng，Yuan Yuan，Wang Qi. Video frame interpolation via residue refinement ［C］// Proc of IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2020： 2613－2617.

［20］Ding Tianyu，Liang Luming，Zhu Zhihui，et al. CDFI： compression－driven network design for frame interpolation ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca－taway，NJ： IEEE Press，2021： 7997－8007.

［21］Cheng Xianhang，Chen Zhenzhong. Multiple video frame interpolation via enhanced deformable separable convolution ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ，202 44 （10）： 7029－7045.

收稿日期：2023－07－20；修回日期：2023－09－11 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（62271151）；福建省科技廳重點(diǎn)產(chǎn)業(yè)引導(dǎo)項(xiàng)目（2020H0007）

作者簡(jiǎn)介：鄭智震（1999—），男，福建莆田人，碩士研究生，CCF會(huì)員，主要研究方向?yàn)橛?jì)算機(jī)視覺、醫(yī)學(xué)圖像處理；鄭茜穎（1970—），女（通信作者），福建福州人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)槿斯ぶ悄堋⒂?jì)算機(jī)視覺（zqy@fzu.edu.cn）；俞金玲（1983—），女，福建福州人，教授，博導(dǎo)，博士，主要研究方向?yàn)榘雽?dǎo)體以及拓?fù)浣^緣體的自旋相關(guān)光電流.