基于自注意力連接UNet的磁共振成像去吉布斯偽影算法

劉 陽，陸志揚(yáng)，王 駿，施 俊

（上海大學(xué) 通信與信息工程學(xué)院，上海 200444）

0 引言

吉布斯偽影是磁共振成像（Magnetic Resonance Imaging，MRI）中常見的一種環(huán)狀偽影，當(dāng)磁共振掃描高頻采樣信號(hào)不足時(shí)，傅里葉變換成像后就會(huì)產(chǎn)生吉布斯偽影［1-2］。吉布斯偽影的出現(xiàn)會(huì)改變組織結(jié)構(gòu)的強(qiáng)度、形狀和解剖細(xì)節(jié)，影響醫(yī)生對(duì)疾病的診斷［3］。

針對(duì)吉布斯偽影，傳統(tǒng)方法采用小波變換、總變分方法、亞像素移位和自適應(yīng)濾波等技術(shù)實(shí)現(xiàn)去偽影［4-7］。但濾波處理方法往往需要復(fù)雜的參數(shù)調(diào)整或預(yù)處理，導(dǎo)致其很難在醫(yī)學(xué)圖像處理中得到廣泛應(yīng)用［8］。亞像素移位可以在不使用部分傅里葉編碼情況下減少吉布斯偽影，但是由于欠采樣產(chǎn)生的模糊效應(yīng)和傅里葉級(jí)數(shù)近似產(chǎn)生的吉布斯偽影之間相互作用，這些效應(yīng)的組合很難明確建模［9］。

近年來，深度學(xué)習(xí)（Deep Learning，DL）作為一種機(jī)器學(xué)習(xí)（Machine Learning，ML）方法在磁共振成像處理中得到了廣泛的關(guān)注，許多DL 網(wǎng)絡(luò)被提出，用于去除MRI 中的噪聲和偽影。由于高斯噪聲的非相干性和位置無關(guān)性，常利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）自身小感受野的特性進(jìn)行圖像去噪。通過構(gòu)建非線性模型靈活地去除圖像中的吉布斯偽影和噪聲，對(duì)含吉布斯偽影的MRI 進(jìn)行并行化和高效處理［10-11］。例如，GAS-CNN（Gibbs-ringing Artifact Suppression Convolutional Neural Network）通過從自然圖像到MRI 的知識(shí)轉(zhuǎn)移來抑制吉布斯偽影，利用自然圖像訓(xùn)練MRI進(jìn)行微調(diào)［10］；GRACNN（Gibbs-Ringing Artifact reduction using CNN）通過學(xué)習(xí)圖像的偽影部分來提取偽影信息，得到無偽影圖像，獲得了比傳統(tǒng)算法更優(yōu)的實(shí)驗(yàn)結(jié)果［11］。這種單尺度CNN 對(duì)改善噪聲很有效，但對(duì)分布于整張圖像的吉布斯偽影的去除，則需要更大感受野的網(wǎng)絡(luò)來改善［12］。

UNet 通常用于圖像分割，利用多尺度特征模塊進(jìn)行特征的提取和恢復(fù)，具有較大的感受野［13］。其中，跳連接可以幫助編碼-解碼過程恢復(fù)完整的空間分辨率，將編碼端子網(wǎng)絡(luò)特征與解碼端子網(wǎng)絡(luò)特征進(jìn)行直接串聯(lián)融合。許多基于UNet 的改進(jìn)算法，通過改變跳連接的連接方式減小編碼端和解碼端特征之間的語義差距，提升了網(wǎng)絡(luò)的性能。例如，UNet++使用了嵌套的密集跳躍連接代替普通跳躍連接，縮小了編碼端和解碼端子網(wǎng)絡(luò)特征之間的語義差距［14］；UCTransNet（U-Net with a proposed CTrans module）設(shè)計(jì)了一個(gè)多尺度通道融合的子模塊來引導(dǎo)融合的多尺度通道信息有效連接到解碼器，來消除編解碼之間的語義差異［15］。CNN卷積運(yùn)算的固有局限性限制了感受野的擴(kuò)大，而Transformer利用注意力機(jī)制模擬數(shù)據(jù)間的長(zhǎng)期依賴關(guān)系，可以學(xué)習(xí)到特征之間明確的全局和遠(yuǎn)程語義交互信息［16］。因此考慮在UNet 跳連接處加入Transformer 模塊［17-18］，通過自注意力連接的方式進(jìn)行編解碼端特征融合，進(jìn)一步擴(kuò)大網(wǎng)絡(luò)的感受野，同時(shí)利用UNet 良好的編解碼能力捕捉更多的偽影信息。

自蒸餾（Self-distillation）是一種無需教師模型的知識(shí)蒸餾方式，其中知識(shí)是在網(wǎng)絡(luò)本身中蒸餾出來的［19］。例如，基于階段的自蒸餾方法Metadistiller，將知識(shí)從深層階段轉(zhuǎn)移到淺層階段［20］。目前自蒸餾在分類任務(wù)中可以替代過參數(shù)化的教師模型，實(shí)現(xiàn)模型壓縮和快速推理［21］。而自蒸餾技術(shù)在圖像重建任務(wù)中的應(yīng)用還處于起步階段。為了提升網(wǎng)絡(luò)自身性能，增強(qiáng)網(wǎng)絡(luò)在小樣本條件下對(duì)圖像邊緣和精細(xì)結(jié)構(gòu)的處理能力，提高UNet 解碼端的重建精度，本文將自蒸餾訓(xùn)練與UNet 圖像恢復(fù)模塊相結(jié)合，通過自蒸餾訓(xùn)練，使得深層網(wǎng)絡(luò)輸出的更精細(xì)化特征指導(dǎo)淺層輸出特征，提升網(wǎng)絡(luò)在MRI 重建和去偽影方面的性能，獲得更精確的無偽影輸出圖像和更高的評(píng)價(jià)指標(biāo)。

針對(duì)MRI 去除吉布斯偽影任務(wù)，本文提出了一種基于自蒸餾訓(xùn)練的自注意力連接UNet（Self-attention connection UNet based on Self-Distillation training，SD-SacUNet）算法。首先設(shè)計(jì)了一種基于自注意力連接模塊的UNet 以加強(qiáng)編碼-解碼端的特征融合，提高特征提取能力；然后設(shè)計(jì)了一種基于圖像重建的自蒸餾訓(xùn)練方式，以提高UNet 解碼端圖像恢復(fù)精度，進(jìn)一步提升去偽影效果。

本文的主要工作如下：

1）將自注意力連接模塊引入經(jīng)典的UNet，提出一種新的SD-SacUNet，在UNet 編解碼網(wǎng)絡(luò)兩端之間加入自注意力連接模塊進(jìn)行自注意力機(jī)制的計(jì)算，將處理后的編碼端特征與解碼端特征合并，有效融合編解碼兩端不同的語義特征，利用Transformer 強(qiáng)大的全局交互能力，獲取更精細(xì)的網(wǎng)絡(luò)輸出結(jié)果，得到清晰的無偽影輸出圖像。

2）提出了一種基于圖像重建任務(wù)的自蒸餾訓(xùn)練方法，在SD-SacUNet 的編碼器中間層特征輸出之間計(jì)算損失函數(shù)，將深層特征的有用信息用于指導(dǎo)淺層特征的訓(xùn)練，獲取更高的訓(xùn)練精度，提升網(wǎng)絡(luò)整體的特征表達(dá)能力。

1 本文方法

1.1 總體流程

本文提出的SD-SacUNet 的總體結(jié)構(gòu)如圖1 所示。該算法將UNet 編碼端每個(gè)下采樣層的輸出特征分別輸入各自對(duì)應(yīng)的自注意力連接模塊進(jìn)行自注意力機(jī)制的運(yùn)算，而后與解碼特征進(jìn)行連接；在UNet 解碼端加入瓶頸層用于調(diào)節(jié)特征尺度來進(jìn)行自蒸餾訓(xùn)練，利用深層特征指導(dǎo)淺層特征的訓(xùn)練，編碼器深層的精細(xì)化特征通過自蒸餾路徑傳遞給淺層，以指導(dǎo)淺層網(wǎng)絡(luò)的訓(xùn)練。

圖1 SD-SacUNet總體結(jié)構(gòu)Fig.1 Overall structure of SD-SacUNet

具體內(nèi)容如下：

1）網(wǎng)絡(luò)架構(gòu)：在傳統(tǒng)UNet 基礎(chǔ)上加入了自注意力連接模塊，將UNet 的編碼端劃分為不同的子塊，通過下采樣和特征映射，編碼端特征被投影到更高維度。轉(zhuǎn)換后的子塊通過Transformer 模塊以及子塊合并操作進(jìn)行特征學(xué)習(xí)和維度恢復(fù)，而后與解碼特征合并，參與解碼階段的圖像恢復(fù)過程。

2）自蒸餾訓(xùn)練：在UNet解碼端圖像恢復(fù)階段進(jìn)行自蒸餾訓(xùn)練，利用瓶頸層建立深層特征與淺層特征信息交互的通道，從而讓深層重建階段更精細(xì)的特征來指導(dǎo)淺層的特征訓(xùn)練，提高整體解碼階段的特征重建精度，獲得更好的去偽影重建效果。自蒸餾訓(xùn)練時(shí)加入的瓶頸層將在測(cè)試階段去除。

1.2 自注意力連接模塊設(shè)計(jì)

本文所提出的SD-SacUNet 中的自注意力連接模塊由子塊嵌套操作、兩個(gè)Swin Transformer（Hierarchical Vision Transformer using Shifted Windows）［17］塊以及子塊融合操作組成，替代了原有UNet 中的跳連接操作，目的是縮小編碼特征和解碼特征之間的語義差距，有利于在特征恢復(fù)階段，解碼端網(wǎng)絡(luò)充分利用編碼端特征進(jìn)行特征重建與恢復(fù)。自注意力連接模塊能夠擴(kuò)大感受野，有利于捕捉全局信息，幫助克服卷積操作感受野較小的局限性。對(duì)特征進(jìn)行自注意力編碼，網(wǎng)絡(luò)根據(jù)特征感興趣的區(qū)域進(jìn)行特征融合，輔助解碼端的特征重建。自注意力連接模塊主要結(jié)構(gòu)如圖2 所示。

圖2 自注意力連接模塊Fig.2 Self-attention connection module

自注意力連接模塊首先將輸入的編碼端特征進(jìn)行子塊嵌套操作，具體由兩步組成：分別為對(duì)特征進(jìn)行分塊和將分塊后的子塊特征進(jìn)行線性變化并嵌入位置向量信息。隨后，處理好的子塊被送入兩個(gè)連續(xù)的Swin Transformer 塊中進(jìn)行注意力機(jī)制的運(yùn)算。兩個(gè)Swin Transformer 塊分別計(jì)算普通窗口注意力和移位窗口注意力，以此達(dá)到將注意力的計(jì)算限制在每個(gè)窗口內(nèi)的目的。移位窗口操作可以使不同窗口之間的特征能夠進(jìn)行信息交互，兼顧全局特征和控制計(jì)算的復(fù)雜度。最后通過子塊融合操作，將子塊進(jìn)行合并和上采樣，恢復(fù)子塊分辨率與輸入的編碼特征相同，并與解碼端特征進(jìn)行合并操作。此處的合并操作保留了UNet 跳連接中的串聯(lián)操作，將自注意力連接模塊的輸出特征與解碼端特征進(jìn)行直接的串聯(lián)融合。通過網(wǎng)絡(luò)的自我學(xué)習(xí)將有用信息進(jìn)行傳遞，而不花費(fèi)更多的計(jì)算成本［13］。

子塊嵌套操作是將編碼端輸出的特征圖進(jìn)行不重疊的子塊劃分和位置編碼。SD-SacUNet 編碼端的輸出共分為4層，其中第n層特征尺寸為為了方便闡述，將其定義為(Cn，hn，wn)。首先進(jìn)行降采樣操作來降低計(jì)算量，降采樣因子設(shè)為2。因此輸入Swin Transformer 模塊的標(biāo)記特征大小為

Swin Transformer 塊最主要的特點(diǎn)是在傳統(tǒng)Transformer的多頭自注意力機(jī)制的基礎(chǔ)上，增加局部關(guān)注和移位窗口機(jī)制。Swin Transformer 模塊由層標(biāo)準(zhǔn)化（Layer Normalization，LN）層、多頭自注意力（Multi-head Self-Attention，MSA）層、殘差連接和多層感知器（MultiLayer Perceptron，MLP）模塊組成，其中MLP 模塊中含有兩個(gè)GELU（Gaussian Error Linear Unit）非線性激活全連接層。使用的兩個(gè)Swin Transformer 模塊采用了不同的注意力模塊。第一個(gè)模塊采用了常規(guī)窗口多頭自注意力模塊（Multi-head Self-Attention modules with regular Windows，W-MSA），W-MSA 將輸入特征劃分為不重疊的窗口，在每個(gè)窗口內(nèi)分別計(jì)算自注意力得分；第二個(gè)模塊為移位窗口多頭自注意力模塊（Multi-head Self-Attention modules with Shifted Windows，SW-MSA），移位窗口每次移動(dòng)，通過對(duì)移位窗口計(jì)算注意力，能獲得特征圖之間的遠(yuǎn)程依賴信息，使它兼顧了局部和全局的注意力。注意力得分定義為：

其中：Q、K、V∈分別代表查詢矩陣、鍵矩陣和值矩陣；d代表查詢矩陣和鍵矩陣的維度；B代表偏差矩陣。

子塊融合操作是將前面嵌套操作降采樣的特征圖利用反卷積進(jìn)行上采樣，還原其原有分辨率，因此在經(jīng)過自注意力連接模塊處理后的特征與同級(jí)解碼器特征尺寸相同，可以直接進(jìn)行特征融合。經(jīng)過注意力機(jī)制融合的特征保留了編碼器提取特征的細(xì)節(jié)部分，并且在網(wǎng)絡(luò)的訓(xùn)練過程中，注意力機(jī)制會(huì)調(diào)整編解碼連接部分網(wǎng)絡(luò)的權(quán)重，使后續(xù)特征能夠得到有效融合，避免了編解碼器兩端特征由于語義上的差異帶來的網(wǎng)絡(luò)性能的下降。同時(shí)解碼器在重建圖像的過程中充分利用網(wǎng)絡(luò)提取的有用信息，得到具有精準(zhǔn)細(xì)節(jié)的重建圖像，避免了過度平滑問題。

1.3 自蒸餾模塊設(shè)計(jì)

重建任務(wù)的自蒸餾模塊設(shè)計(jì)主要是為了從網(wǎng)絡(luò)內(nèi)部提供知識(shí)進(jìn)行蒸餾訓(xùn)練，提升訓(xùn)練的效果。在重建任務(wù)中，網(wǎng)絡(luò)在去除偽影的同時(shí)可以保留和恢復(fù)更多的圖像細(xì)節(jié)，使得結(jié)果圖像結(jié)構(gòu)邊緣清晰，具有清楚的輪廓結(jié)構(gòu)。由于UNet解碼端是一個(gè)圖像分辨率逐漸擴(kuò)大的過程，解碼端深層的特征圖尺寸更大，含有的細(xì)節(jié)信息更加豐富，利用這一特點(diǎn)來指導(dǎo)淺層特征的訓(xùn)練，可以使得淺層特征圖進(jìn)一步提升細(xì)節(jié)，從而使得整體網(wǎng)絡(luò)輸出結(jié)果保留更多圖像細(xì)節(jié)。在網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，自蒸餾方法可以將深層特征圖信息傳遞給淺層。此外，在測(cè)試階段，將用作自蒸餾訓(xùn)練的瓶頸層去除，因此不會(huì)對(duì)網(wǎng)絡(luò)帶來額外參數(shù)量的提升。

SD-SacUNet 的解碼部分共有四個(gè)圖像恢復(fù)模塊。為了使得淺層網(wǎng)絡(luò)更好地學(xué)習(xí)深層網(wǎng)絡(luò)的知識(shí)，訓(xùn)練網(wǎng)絡(luò)時(shí)在每個(gè)圖像恢復(fù)模塊后各增加一個(gè)瓶頸（Bottle Neck）層。添加瓶頸層可以調(diào)整特征大小與后一層輸出特征相一致，減少各層輸出之間的影響，通過計(jì)算與后一層特征之間的損失函數(shù)，使得深層解碼特征的知識(shí)逐步過渡給淺層。在圖像恢復(fù)過程中，特征恢復(fù)從淺層得以加強(qiáng)。在解碼端輸出至全連接層恢復(fù)完整無偽影圖像的過程中，特征被進(jìn)一步精煉，在上采樣恢復(fù)時(shí)也排除了冗余噪聲過多的干擾，更好地保留圖像細(xì)節(jié)。自蒸餾訓(xùn)練的損失函數(shù)定義計(jì)算解碼端相鄰特征之間的歐氏距離，如式（2）所示：

其中：ni＇代表經(jīng)過瓶頸層進(jìn)行上采樣的淺層網(wǎng)絡(luò)特征；ni+1表示下一層解碼端網(wǎng)絡(luò)輸出特征，通過計(jì)算二者之間的損失函數(shù)，將深層特征信息傳遞到淺層。

總的自蒸餾損失定義為各層損失函數(shù)之和，如式（3）所示：

其中：Lsd代表自蒸餾損失。按照本文網(wǎng)絡(luò)架構(gòu)，m=4，計(jì)算UNet 解碼器端5 層中間輸入的損失。

1.4 模型訓(xùn)練

如圖1 所示，MRI 重建去偽影的訓(xùn)練目標(biāo)是通過一個(gè)SD-SacUNet 編解碼模型，學(xué)習(xí)輸入的含吉布斯偽影圖像與無偽影原圖之間的映射關(guān)系。本文中用到的損失函數(shù)均為L(zhǎng)2歐氏距離損失，以此來衡量預(yù)測(cè)輸出的無偽影圖與真實(shí)標(biāo)簽圖之間的差異。通過計(jì)算反向梯度優(yōu)化參數(shù)，指導(dǎo)圖像重建模型的訓(xùn)練過程。

其中：Lres代表重建損失；yi表示網(wǎng)絡(luò)的標(biāo)簽，即無偽影圖像；為網(wǎng)絡(luò)重建輸出的預(yù)測(cè)；n為訓(xùn)練的樣本數(shù)量。

訓(xùn)練網(wǎng)絡(luò)的總損失定義為重建損失與自蒸餾損失的和，如公式（5）所示：

其中：α和β兩個(gè)超參數(shù)用來調(diào)節(jié)損失函數(shù)的數(shù)量級(jí)，使得每種損失函數(shù)得到充分的訓(xùn)練和優(yōu)化。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與預(yù)處理

本文采用CC359 數(shù)據(jù)庫［22］驗(yàn)證所提出的SD-SacUNet 算法的有效性。CC359 數(shù)據(jù)庫為單通道線圈數(shù)據(jù)，數(shù)據(jù)采集于臨 床MRI 掃描儀（Discovery MR750，General Electric（CE）Healthcare，Waukesha，WI），共含有35 個(gè)全采樣的T1 加權(quán)MRI 數(shù)據(jù)。該數(shù)據(jù)集為復(fù)數(shù)圖像集，可以反向轉(zhuǎn)換生成復(fù)數(shù)k空間樣本。將數(shù)據(jù)集進(jìn)行兩個(gè)方向（切片編碼和相位編碼）上的欠采樣時(shí)，可作為2D 數(shù)據(jù)集。

本文按照五折交叉驗(yàn)證的方法將數(shù)據(jù)集劃分為訓(xùn)練集28 個(gè)病例，每個(gè)病例切片45 張，共1 440 張圖像；測(cè)試集有7個(gè)病例，共315 張圖像。由于吉布斯偽影是由高頻數(shù)據(jù)缺失導(dǎo)致的，制作成對(duì)的輸入和標(biāo)簽圖像的時(shí)候，將全采樣圖像通過傅里葉變換到k空間域，此時(shí)為高頻中心，通過頻移得到低頻中心傅里葉變換圖，通過一個(gè)遮罩將外圍部分高頻數(shù)據(jù)置0，再進(jìn)行傅里葉反變換得到的圖像就含有吉布斯偽影，其中吉布斯偽影和噪聲的影響程度與遮罩的大小有關(guān)。

2.2 實(shí)驗(yàn)設(shè)計(jì)

為了比較本文所提出的SD-SacUNet 算法的有效性，選取了如下經(jīng)典的網(wǎng)絡(luò)和目前在醫(yī)學(xué)圖像處理領(lǐng)域與本文工作類似的先進(jìn)網(wǎng)絡(luò)進(jìn)行對(duì)比，本文對(duì)比實(shí)驗(yàn)設(shè)置如下：

市場(chǎng)需求一旦發(fā)生變化，訂貨量會(huì)隨之變動(dòng)，即q>q*或q

1）UNet［13］：作為本文算法的基準(zhǔn)進(jìn)行對(duì)比和消融實(shí)驗(yàn)。

2）UNet++［14］：對(duì)于UNet 中的跳連接進(jìn)行了改進(jìn)，在編解碼器之間加入了嵌套的多尺度融合模塊。

3）GRACNN［11］：深度學(xué)習(xí)去吉布斯偽影的經(jīng)典方法，先提取偽影，再從原圖中將偽影減去得到無偽影圖像的方法。

4）UCTransNet［15］：一種利用Transformer 進(jìn)行多尺度通道交叉融合代替UNet 跳連接的網(wǎng)絡(luò)模型，應(yīng)用于分割領(lǐng)域。

5）SwinIR（Image Restoration using Swin Transformer）［18］：基于Swin Transformer 模塊進(jìn)行圖像恢復(fù)任務(wù)的算法。

6）Uformer［23］：一種利用Transformer 塊構(gòu)造的U 形網(wǎng)絡(luò)，主要用于圖像恢復(fù)任務(wù)。

此外，本文還對(duì)SD-SacUNet 算法本身進(jìn)行了消融實(shí)驗(yàn)，分別驗(yàn)證了自蒸餾方法和SacUNet 結(jié)構(gòu)的有效性。本文設(shè)置四組消融實(shí)驗(yàn)，具體如下：

1）UNet：采用常規(guī)訓(xùn)練方法訓(xùn)練UNet，不添加額外的損失函數(shù)。

2）SD-UNet：采用自蒸餾方法進(jìn)行訓(xùn)練的UNet。

3）SacUNet：采用常規(guī)訓(xùn)練方法訓(xùn)練SacUNet，不添加額外損失函數(shù)。

4）SD-SacUNet：采用自蒸餾方法進(jìn)行訓(xùn)練SacUNet。

所有算法的實(shí)驗(yàn)均采用五折交叉驗(yàn)證，取五折實(shí)驗(yàn)結(jié)果的平均值，并計(jì)算方差得到最終的實(shí)驗(yàn)數(shù)據(jù)。在網(wǎng)絡(luò)層數(shù)和超參數(shù)的選擇上盡可能地設(shè)置為與本文算法相同或近似，以防止參數(shù)不統(tǒng)一導(dǎo)致的結(jié)果差異。

實(shí)驗(yàn)結(jié)果定量評(píng)價(jià)主要使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）判斷MRI 進(jìn)行去偽影重建后的輸出結(jié)果。其中：PSNR 旨在降低噪聲，是評(píng)價(jià)圖像重建質(zhì)量的標(biāo)準(zhǔn)；SSIM 關(guān)注圖像的可見結(jié)構(gòu)，從亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面衡量，是視覺質(zhì)量的度量。利用這兩個(gè)指標(biāo)可以定量判斷網(wǎng)絡(luò)處理后的圖像質(zhì)量，數(shù)值越大，重建效果越好。實(shí)驗(yàn)結(jié)果定性評(píng)估使用可視化圖像顯示重建后的無偽影圖像。

2.3 實(shí)現(xiàn)細(xì)節(jié)

在網(wǎng)絡(luò)編碼器部分，每個(gè)特征提取模塊均由最大池化層，卷積層和線性整流函數(shù)（Rectified Linear Unit，ReLU）激活層構(gòu)成，其中，卷積層和激活層將重復(fù)兩次，輸入特征經(jīng)過特征提取模塊的處理后，其通道數(shù)翻倍，特征面積不斷縮小，感受野不斷擴(kuò)大。輸入端的卷積層將圖像通道數(shù)為1 變化為32，后接的4 個(gè)特征提取模塊輸出通道數(shù)分別為64，128，256，512。Swin Transformer 模塊的窗口大小按照特征圖由大到小設(shè)置為16，8，4，2。解碼器端的圖像恢復(fù)模塊通過反卷積進(jìn)行上采樣，后接卷積層和激活層，在對(duì)自注意力連接塊輸出進(jìn)行合并后，將再進(jìn)行一次卷積和激活的操作。解碼器后跟全連接層，將通道數(shù)由32 合并為1 通道的圖像輸出，即為無偽影重圖像。自蒸餾瓶頸層在訓(xùn)練階段參與網(wǎng)絡(luò)的訓(xùn)練，并在測(cè)試階段去除。

本文將輸入圖像裁剪為160×256 像素，去除了非組織區(qū)域。采用PyTorch 框架進(jìn)行實(shí)驗(yàn)，利用Adam 優(yōu)化器進(jìn)行反向傳播。

2.4 實(shí)驗(yàn)結(jié)果定量分析

表1 和表2 分別給出了對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)的定量結(jié)果。通過對(duì)比實(shí)驗(yàn)，可以看出：UNet++通過嵌套的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)UNet 的跳連接進(jìn)行了改進(jìn)，獲得了比UNet 更好的實(shí)驗(yàn)結(jié)果。經(jīng)典的去吉布斯偽影網(wǎng)絡(luò)GRACNN 通過設(shè)計(jì)的CNN 結(jié)構(gòu)提取偽影信息，本文的SD-SacUNet 比GRACNN 在PSNR 指標(biāo)上高出0.77 dB，SSIM 也提高了0.018 3。與其他兩個(gè)基于UNet 與Transformer 的算法UCTransNet 和Uformer相比，在PSNR上分別高出了0.35 dB、0.10 dB，SSIM 分 別提升 了0.004 1、0.000 6。與基于Swin Transformer 模塊的圖像恢復(fù)算法SwinIR 相比，兩項(xiàng)指標(biāo)分別提高了0.14 dB、0.003 3。總的來說，本文算法結(jié)果在PSNR 和SSIM 這兩個(gè)圖像重建指標(biāo)上均有所提升，圖像重建效果相較于一些經(jīng)典算法框架取得了一定進(jìn)步。

表1 CC359數(shù)據(jù)集在不同算法中的重建結(jié)果Tab.1 Reconstruction results of different algorithms on CC359 dataset

表2 CC359數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Tab.2 Ablation experimental results on CC359 dataset

表2 所作消融實(shí)驗(yàn)將SD-UNet 與UNet 進(jìn)行對(duì)比，PSNR高出了0.19 dB，SSIM 提升了0.014，通過對(duì)比得出自蒸餾訓(xùn)練方法在圖像重建任務(wù)可以在一定程度上提升精度。通過將SacUNet 和UNet 進(jìn)行對(duì)比，兩項(xiàng)指標(biāo)分別提升了0.88 dB、0.026 8，由此可以得出基于自注意力連接的UNet 比傳統(tǒng)的UNet 具有更高的重建水平。SD-SacUNet 在兩項(xiàng)指標(biāo)中均獲得了明顯的提升，說明基于自蒸餾訓(xùn)練的自注意力連接UNet 結(jié)構(gòu)改進(jìn)均有效，提升了網(wǎng)絡(luò)整體對(duì)于MRI 去吉布斯偽影重建的效果。

2.5 實(shí)驗(yàn)結(jié)果定性分析

本文在處理網(wǎng)絡(luò)輸入圖像的過程中去除了一部分的高頻信息，因此，輸入圖像不僅含有吉布斯偽影，還含有一定程度影響圖像重構(gòu)細(xì)節(jié)的噪聲。根據(jù)可視化結(jié)果圖3，以及表1 和表2 定量結(jié)果進(jìn)行綜合分析，UNet、UNet++與GRACNN這類基于CNN 的方法在去除吉布斯偽影的同時(shí)，邊緣區(qū)域存在一定的模糊，甚至是不正確的紋理。由于PSNR 指標(biāo)并不高，圖像中仍存在部分噪聲，對(duì)于局部組織結(jié)構(gòu)重建產(chǎn)生不良影響，并且重建后的圖像過于平滑，可能損失一部分結(jié)構(gòu)的細(xì)節(jié)信息。基于Transformer 經(jīng)典模塊的算法，如Uformer 和SwinIR 以及基于UNet 與Transformer 相結(jié)合的算法，如UCTransNet，這三個(gè)算法均取得了比較好的去偽影重建效果，這說明了此類利用CNN 和Transformer 相結(jié)合的算法擁有良好的特征提取能力，證明了二者結(jié)合的有效性。與Uformer、SwinIR 等基于多個(gè)堆疊的Transformer 基本模塊的圖像恢復(fù)算法相比，本文算法僅在UNet 編解碼特征融合階段加入了Transformer 子模塊，通過將UNet 與Transformer模塊相結(jié)合的方式，降低了參數(shù)量，節(jié)省了大量的運(yùn)算空間，并且通過自蒸餾訓(xùn)練，提高了重建結(jié)果。

圖3 不同算法在CC359數(shù)據(jù)集上的去偽影重建效果Fig.3 Reconstruction results of different algorithms with removal of Gibbs artifacts on CC359 dataset

通過細(xì)節(jié)比對(duì)（例如圖3 中箭頭所指區(qū)域），可以看出本文算法SD-SacUNet 可以很好地去除吉布斯偽影，恢復(fù)高頻細(xì)節(jié)并減輕模糊瑕疵，在保證原始結(jié)構(gòu)的同時(shí)，獲得更清晰的結(jié)構(gòu)和自然的紋理，并且不產(chǎn)生新的偽影，邊緣清晰，對(duì)不平滑的邊緣也有一定的理解能力，具有較高的對(duì)比度和清晰度。定量和定性分析證明了本文算法架構(gòu)在MRI 去偽影重建的特征表示方面是高效的。

3 結(jié)語

本文提出一種利用自注意力連接模塊替換UNet 原有跳連接的網(wǎng)絡(luò)結(jié)構(gòu)，采用了自蒸餾方法進(jìn)行訓(xùn)練，應(yīng)用于MRI去除吉布斯偽影的重建任務(wù)。通過UNet 編碼結(jié)構(gòu)完成對(duì)特征的提取，自注意力連接模塊將編碼端不同深度輸出特征進(jìn)行注意力機(jī)制的計(jì)算。完成自注意力建模的特征與解碼器輸出特征進(jìn)行融合，在解碼階段幫助圖像的重建。在圖像恢復(fù)過程中，自蒸餾訓(xùn)練利用深層精細(xì)化特征指導(dǎo)淺層網(wǎng)絡(luò)的訓(xùn)練，提升了訓(xùn)練效果。通過實(shí)驗(yàn)對(duì)比表明，本文算法在去除吉布斯偽影的同時(shí)，能夠保留圖像的細(xì)節(jié)，網(wǎng)絡(luò)結(jié)構(gòu)比較簡(jiǎn)單，沒有采用復(fù)雜的嵌套結(jié)構(gòu)對(duì)不同尺度的特征進(jìn)行融合和分配，保留了同分辨率特征的細(xì)節(jié)信息。與傳統(tǒng)圖像處理方法相比，深度學(xué)習(xí)算法運(yùn)行速度快，不需要復(fù)雜的先驗(yàn)知識(shí)和邊緣檢測(cè)等技術(shù)，具有更高的魯棒性，在臨床大規(guī)模應(yīng)用也有很大優(yōu)勢(shì)，可以幫助醫(yī)生輔助診斷。具有一定的研究意義和臨床應(yīng)用價(jià)值。

本文算法仍然需要進(jìn)一步優(yōu)化，通過改變注意力機(jī)制的運(yùn)算方法，減小計(jì)算量，在目前UNet 與Transformer 相結(jié)合的研究熱點(diǎn)中，進(jìn)一步挖掘其融合的可行性。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的處理可以考慮與注意力機(jī)制相結(jié)合，實(shí)時(shí)調(diào)整網(wǎng)絡(luò)節(jié)點(diǎn)權(quán)重，以便在UNet 特征提取階段，在獲取更高級(jí)語義特征的同時(shí)保留更多的細(xì)節(jié)傳遞到解碼器，進(jìn)一步優(yōu)化重建圖像細(xì)節(jié)。在子塊融合時(shí)，可以考慮多分辨率信息的交互，或者基于注意力機(jī)制建立新型的特征融合方式，關(guān)注在特征融合方式上的多樣化。