USformer-Net：基于U-Net 和Swin Transformer 的腦部MRI 圖像質(zhì)量評價(jià)方法

李沛釗，王同罕，賈惠珍，吳 通

（東華理工大學(xué)信息工程學(xué)院，江西南昌 330013）

0 引 言

腦部磁共振成像（Magnetic Resonance Imaging,MRI）是一種利用磁場和射頻信號產(chǎn)生人體內(nèi)部結(jié)構(gòu)圖像的技術(shù)，它在診斷和評估腦部疾病方面具有重要的臨床價(jià)值，相較于其他醫(yī)學(xué)成像方法的優(yōu)勢在于其無創(chuàng)無輻射、分辨率高、對軟組織的對比度好、能夠提供多種平面和三維的圖像等[1]。但是由于成像設(shè)備的技術(shù)局限性、人為的操作失誤以及患者的主觀運(yùn)動，可能導(dǎo)致圖像出現(xiàn)噪聲、模糊、失真、偽影等現(xiàn)象，從而降低圖像的可讀性和可診斷性[2]。

圖像質(zhì)量評價(jià)方法分為兩類：主觀評估，由人類進(jìn)行判斷；客觀評估，使用數(shù)學(xué)算法進(jìn)行計(jì)算[3]?？陀^評估進(jìn)一步分為三類：全參考（Full-Reference Image Quality Assessment, FR-IQA），其中存在一個(gè)完美的參考圖像用于與測試圖像進(jìn)行比較；半?yún)⒖迹≧educed-Reference Image Quality Assessment, RR-IQA），其中包含參考圖像的部分信息；無參考（No-Reference Image Quality Assessment, NR-IQA），在沒有參考圖像的情況下對圖像質(zhì)量進(jìn)行評估[4]。由于很少有完美圖像可作為圖像評估的參考，因此，NR-IQA 是醫(yī)學(xué)圖像最適合的評估方法。

目前，已經(jīng)有許多針對不同類型和模態(tài)的醫(yī)學(xué)圖像質(zhì)量評價(jià)方法被提出。文獻(xiàn)[5]通過提取無監(jiān)督的顯著性圖特征和有監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)特征，并將兩者結(jié)合起來訓(xùn)練SVM（Support Vector Machine）分類器進(jìn)行視網(wǎng)膜圖像質(zhì)量評估。文獻(xiàn)[6]利用圖像中的空氣背景評價(jià)三維MRI 圖像質(zhì)量。文獻(xiàn)[7]首先提出的基于卷積神經(jīng)網(wǎng)絡(luò)的無參考圖像質(zhì)量評價(jià)模型。文獻(xiàn)[8]提出DeepBIQ 網(wǎng)絡(luò)，基于分類任務(wù)預(yù)訓(xùn)練和遷移學(xué)習(xí)的思路得到圖像質(zhì)量評價(jià)模型。文獻(xiàn)[9]提出了一種基于機(jī)器學(xué)習(xí)算法的監(jiān)督學(xué)習(xí)方法，用數(shù)值觀測器對人類觀測器進(jìn)行建模，以評估圖像質(zhì)量。

早期的MRI 無參考圖像質(zhì)量評價(jià)算法大多針對特定形變，但是由于需要大量的特征提取和統(tǒng)計(jì)數(shù)據(jù)造成運(yùn)行速度偏慢[10]。文獻(xiàn)[11]對IQA 使用了兩級MRI 融合度量，其中兩個(gè)圖像被融合以改進(jìn)失真檢測。為了開發(fā)自動深度學(xué)習(xí)方法，文獻(xiàn)[12]引入了一種半監(jiān)督技術(shù)，使用均值學(xué)習(xí)方法和感興趣區(qū)域一致性，該技術(shù)專門用于胎兒大腦MRI 圖像的無參考圖像質(zhì)量評價(jià)。此外，文獻(xiàn)[13]使用半監(jiān)督學(xué)習(xí)來解決圖像分割任務(wù)中創(chuàng)建噪聲注釋的問題。

Transformer[14]是一種深度學(xué)習(xí)體系結(jié)構(gòu)，已經(jīng)在自然語言處理領(lǐng)域取得了突破性的進(jìn)展，涉及識別、合成等多方面任務(wù)。文獻(xiàn)[15]利用皮膚鏡圖像檢測黑色素瘤，他們提議將SWN Transformer 與無參數(shù)注意模塊SimAM 相結(jié)合。文獻(xiàn)[16]提出了一種金字塔醫(yī)療Transformer，它通過處理多分辨率圖像來捕獲多范圍關(guān)系。文獻(xiàn)[17]在編碼器中添加了選通軸向Transformer層，利用整體圖像和補(bǔ)丁對應(yīng)地學(xué)習(xí)全局和局部特征?；赥ransformer 的方法也被應(yīng)用于各種醫(yī)學(xué)圖像處理任務(wù)[18]。

本文在現(xiàn)有的醫(yī)學(xué)圖像質(zhì)量評價(jià)方法和思路的基礎(chǔ)上，首先創(chuàng)建了包含7 023 張圖像且?guī)в兄饔^評價(jià)標(biāo)簽的數(shù)據(jù)集，并提出了一種全新的自動評估腦部MRI 圖像質(zhì)量的模型USformer - Net（U - Net and Swin Transformer based Neural Network）。該模型可自動評估患者的影像資料，以確保圖像滿足臨床診斷的要求。本文提出的USformer-Net 模型在腦部MRI 圖像質(zhì)量評價(jià)流程中通過圖像分割有效地選擇了臨床醫(yī)生感興趣區(qū)域，即具有實(shí)際臨床診斷價(jià)值的區(qū)域，忽略了一些無關(guān)區(qū)域的噪聲、失真等對整幅圖像評價(jià)過程的影響，具有很好的實(shí)際使用價(jià)值和臨床診斷意義。

本文主要貢獻(xiàn)有：給出了一種腦部MRI 圖像質(zhì)量評價(jià)新途徑，分割并提取患者M(jìn)RI 圖像中腦部主要結(jié)構(gòu)區(qū)域，減少了無關(guān)區(qū)域圖像質(zhì)量對評價(jià)結(jié)果的影響，使其更加符合臨床醫(yī)生、放射科醫(yī)生進(jìn)行診斷的現(xiàn)實(shí)意義；提出了腦部MRI 圖像評價(jià)模型USformer-Net，在準(zhǔn)確率上相較于其他方法有顯著提升；創(chuàng)建了帶有主觀評價(jià)標(biāo)簽的腦部MRI 圖像數(shù)據(jù)集，提高了腦部MRI 圖像質(zhì)量評價(jià)領(lǐng)域數(shù)據(jù)集的質(zhì)量，有助于進(jìn)一步發(fā)展和改進(jìn)MRI 圖像質(zhì)量評價(jià)算法。

1 模型設(shè)計(jì)及數(shù)據(jù)集構(gòu)建

1.1 數(shù)據(jù)集構(gòu)建

1.1.1 數(shù)據(jù)集預(yù)處理

本文使用的數(shù)據(jù)集是基于公開且已經(jīng)授權(quán)使用的“Brain Tumor Dataset”數(shù)據(jù)集進(jìn)行整理得到，該數(shù)據(jù)集最初由美國匹茲堡大學(xué)醫(yī)學(xué)中心的兩位神經(jīng)外科醫(yī)生（Dr.Katrin Bauer 和Dr.Stefan Bauer）和他們的團(tuán)隊(duì)收集和整理，從中提取到了7 023 張人類腦部MRI 圖像?；颊咴趲в邢嗫仃嚲€圈的3.0T MR 裝置上進(jìn)行掃描。

為了解決數(shù)據(jù)集中圖像類別不平衡的問題，同時(shí)提高模型的泛化能力和魯棒性，本文對數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)。本文使用Matlab 中的imnoise 函數(shù)在原始圖像上添加了三種不同的噪聲：高斯白噪聲；椒鹽噪聲和散斑噪聲，其模擬了圖像傳感器或傳輸過程中的隨機(jī)錯(cuò)誤；偽影噪聲，其模擬了MRI 成像過程中由于設(shè)備或患者運(yùn)動等因素引起的條紋或鬼影現(xiàn)象。通過噪聲程度的調(diào)節(jié)，分別模擬了模糊失真、噪聲失真、對比度失真和壓縮失真4種常見的失真情況。最終效果如圖1所示。

圖1 不同類型的噪聲

1.1.2 數(shù)據(jù)集主觀質(zhì)量評價(jià)

為了評估數(shù)據(jù)集的質(zhì)量和可診斷性，邀請了三位經(jīng)驗(yàn)豐富的臨床醫(yī)生和放射科醫(yī)生對處理后的7 023 張圖像進(jìn)行了主觀評價(jià)，每位醫(yī)生按照以下標(biāo)準(zhǔn)對每張圖像進(jìn)行了分類：圖像是否包含了腦部的主要結(jié)構(gòu)；圖像中的主要結(jié)構(gòu)、解剖結(jié)構(gòu)、解剖細(xì)節(jié)是否清晰可見；圖像是否能夠滿足臨床診斷的需求。圖像被分為三個(gè)等級：完美、一般和較差。圖2 列舉了成像質(zhì)量較差以及較好的兩幅腦部MRI 圖像。其中圖2a）為質(zhì)量較差的MRI圖像，圖2b）為質(zhì)量較好的MRI 圖像。最終三位醫(yī)生的評價(jià)結(jié)果如表1 所示。

表1 數(shù)據(jù)集主觀評價(jià)結(jié)果

圖2 不同成像質(zhì)量的腦部MRI 圖像

為了確定每張圖像的最終標(biāo)簽，本文采用了以下規(guī)則：如果某張圖像被三位醫(yī)生中的至少兩位標(biāo)注為同一類別，那么該圖像就被歸為該類別；如果某張圖像被三位醫(yī)生分別標(biāo)注為不同的類別，那么醫(yī)生們會再次對該圖像進(jìn)行評價(jià)并進(jìn)行討論，直到達(dá)成一致或者有兩位醫(yī)生同意某一標(biāo)簽。最終得到的數(shù)據(jù)集如表2 所示。

表2 主觀評價(jià)實(shí)驗(yàn)結(jié)果

1.1.3 數(shù)據(jù)集標(biāo)簽一致性檢驗(yàn)

Fleiss′ kappa 系數(shù)是一種用于評估多個(gè)評分者對多個(gè)分類的標(biāo)注一致性的統(tǒng)計(jì)量，它的取值范圍為-1～1，其中0 表示隨機(jī)一致性，1 表示完全一致性，小于0 表示評分者的一致性程度低于隨機(jī)。Fleiss′ kappa 系數(shù)通常用于評估醫(yī)學(xué)圖像、自然語言處理、心理學(xué)等領(lǐng)域中評價(jià)結(jié)果的一致性[19]。計(jì)算公式如下：

式中：po是觀察者之間的觀察一致性的概率，po=其中N是觀察者的數(shù)量，pi是第i個(gè)分類的比例；pe是預(yù)期的一致性概率，它是基于觀察者的總體分類概率計(jì)算得出的，其中pj是第j個(gè)分類的總體比例。最終的一致性結(jié)果為0.81，表明醫(yī)生們對圖像質(zhì)量的評價(jià)具有較高的一致性，證明了主觀評價(jià)實(shí)驗(yàn)后得到的數(shù)據(jù)集的可靠性。

1.2 模型設(shè)計(jì)

本文提出的USformer-Net 模型包含圖像分割模塊以及圖像質(zhì)量評價(jià)模塊兩個(gè)模塊。在圖像分割模塊使用了醫(yī)學(xué)圖像領(lǐng)域當(dāng)下流行且具有良好效果的U-Net分割網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)；圖像質(zhì)量評價(jià)模塊使用了基于Transformer 改進(jìn)的Swin-Transformer 作為主干網(wǎng)絡(luò)。這種融合方式結(jié)合了U-Net 和Swin Transformer 的優(yōu)勢，利用U-Net 進(jìn)行圖像分割，提取出腦部MRI 圖像中臨床醫(yī)生感興趣的主要區(qū)域。利用Swin Transformer 進(jìn)行圖像質(zhì)量評價(jià)，利用其全局最大池、卷積神經(jīng)網(wǎng)絡(luò)和自注意力模塊提取出圖像的質(zhì)量特征，并進(jìn)行分類和預(yù)測。為了使該模型在腦部MRI 圖像質(zhì)量評價(jià)更加有效，對兩個(gè)主干網(wǎng)絡(luò)進(jìn)行了相應(yīng)的更改，在1.2.1 節(jié)與1.2.2 節(jié)對這兩個(gè)網(wǎng)絡(luò)分別進(jìn)行了詳細(xì)介紹。USformer-Net 整體模型架構(gòu)如圖3 所示。

圖3 USformer-Net 整體模型架構(gòu)

1.2.1 基于U-Net的圖像分割模型

U-Net[20]是一種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割模型，它借鑒了自動編碼器的思想，將輸入圖像映射到輸出圖像。U-Net 包含兩條路徑：一條是收縮路徑（編碼器），用于提取輸入圖像的特征；另一條是擴(kuò)展路徑（解碼器），用于恢復(fù)輸入圖像的細(xì)節(jié)和空間信息。

隨著醫(yī)療圖像分割領(lǐng)域更加深入的研究，發(fā)現(xiàn)傳統(tǒng)的U-Net 網(wǎng)絡(luò)在腦部MRI 圖像分割精度以及部署過程中存在一定的欠缺[21]，于是在本文提出的USformer-Net模型中對分割網(wǎng)絡(luò)中的解碼編碼結(jié)構(gòu)進(jìn)行了更改，使其在滿足較高分割精度的同時(shí)實(shí)現(xiàn)輕量化。在模型的編碼部分對輸入圖像進(jìn)行了大小為4×4 的無重疊片劃分，嵌入層將特征維度映射到任意維度。其中網(wǎng)絡(luò)具有4 個(gè)卷積塊，網(wǎng)絡(luò)的每個(gè)卷積塊包含2 個(gè)卷積層，其內(nèi)核大小為3×3。每個(gè)卷積塊的濾波器大小在每個(gè)層之后變化，其中濾波器大小以16 的步長遞增。卷積塊的每一層由校正線性單元（ReLU）激活，同時(shí)在這些層之間應(yīng)用批歸一化步驟。改進(jìn)后的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)后的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 基于Swin Transformer 的圖像評價(jià)模型

Swin Transformer 是一種可用于圖像質(zhì)量評估的新型深度學(xué)習(xí)模型[22]。它結(jié)合了全局最大池、卷積神經(jīng)網(wǎng)絡(luò)和自注意力模塊，利用這些技術(shù)來檢測圖像質(zhì)量和特征[23]。Swin Transformer 的結(jié)構(gòu)分為三個(gè)主要模塊：全局最大池、CNN 和自注意力模塊。

首先，Swin Transformer 使用全局最大池化（GMP）模塊從輸入圖像中提取特征，它采用不同的池大小和步長將原始圖像分解成多個(gè)子圖像，從而提取出更多的特征信息。

其次，Swin Transformer 使用CNN 模塊將圖像特征轉(zhuǎn)換成更高級的特征。該模塊使用多個(gè)CNN 層以提取出更多的特征，并有助于改進(jìn)圖像識別的準(zhǔn)確性。

最后，Swin Transformer 使用自注意力模塊來檢測圖像中的質(zhì)量特征。相對于傳統(tǒng)的Transformer 模型，Swin Transformer 模型具有更高效的計(jì)算、更好的可擴(kuò)展性以及更好的可解釋性。Swin Transformer網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Swin Transformer 網(wǎng)絡(luò)結(jié)構(gòu)

為了使Swin Transformer 模型更適用于腦部MRI 圖像質(zhì)量評價(jià)任務(wù)，本文對該模型進(jìn)行了相應(yīng)的改進(jìn)。改進(jìn)后的模型結(jié)構(gòu)如圖6 所示。

圖6 改進(jìn)后的模型結(jié)構(gòu)

將特征金字塔（FPN）、興趣區(qū)域匹配（ROI Align）及全連接網(wǎng)絡(luò)（FC）結(jié)合在Swin Transformer 骨干特征提取網(wǎng)絡(luò)中，每個(gè)FPN 階段的輸出代表不同尺寸的特征圖，經(jīng)過上采樣后與上一特征圖融合，獲得包含不同尺寸缺陷特征的新特征圖。ROI Align 則將特征圖經(jīng)過池化綜合轉(zhuǎn)換為向量，再經(jīng)過全連接網(wǎng)絡(luò)進(jìn)行分類預(yù)測，獲取檢測結(jié)果。

特征金字塔是一種用于多尺度目標(biāo)檢測的技術(shù)，可以在不同尺度上提取圖像特征，從而提高模型對于不同尺度物體的識別準(zhǔn)確率。興趣區(qū)域匹配網(wǎng)絡(luò)是一種用于準(zhǔn)確地對圖像中的興趣區(qū)域進(jìn)行特征提取的方法。興趣區(qū)域匹配網(wǎng)絡(luò)可以幫助模型準(zhǔn)確地提取圖像中不同區(qū)域的特征，從而提高評價(jià)的準(zhǔn)確性。全連接網(wǎng)絡(luò)是一種用于分類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以對輸入的特征進(jìn)行分類。全連接網(wǎng)絡(luò)可以幫助模型將提取的特征進(jìn)行更加準(zhǔn)確的分類，從而得出最終的評價(jià)結(jié)果。相較于原始Swin Transformer 網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)具有更好的特征提取能力、更好的感受野、更好的檢測性能以及更好的泛化性能。

2 實(shí)驗(yàn)及其結(jié)果分析

將分割后并提取的三類圖像按照7∶2∶1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集。模型評價(jià)指標(biāo)選取了敏感性（Sensitivity）、特異性（Specificity）、準(zhǔn)確率（Accuracy）、精度（Precision）、召回率（Recall）和F1評分（F1-score）。計(jì)算公式分別如下：

式中：TP 為真陽性樣本的數(shù)量；即模型預(yù)測為正，實(shí)際為正的樣本數(shù)量；FP 為預(yù)測為正，實(shí)際為負(fù)的樣本數(shù)量；FN 為預(yù)測為負(fù)，實(shí)際為正的樣本數(shù)量；TN 為預(yù)測為負(fù)，實(shí)際為負(fù)的樣本數(shù)量。

2.1 分割實(shí)驗(yàn)

從數(shù)據(jù)集中提取了1 022 張圖像（三類圖像以隨機(jī)數(shù)目包含其中），使用標(biāo)注工具進(jìn)行人工標(biāo)注腦部區(qū)域，生成了1 022 個(gè)Json 文檔，并按照7∶2∶1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集輸入到改進(jìn)后的U-Net 網(wǎng)絡(luò)中。分割效果如圖7 所示。

圖7 腦部MRI 圖像分割效果圖

最終效果顯示該模型能很好地分割并提取人類腦部MRI 圖像中的感興趣區(qū)域，使接下來的評估實(shí)驗(yàn)不用受到無關(guān)背景的影響。

2.2 圖像質(zhì)量評價(jià)結(jié)果

圖8 是在本文創(chuàng)建數(shù)據(jù)集集中進(jìn)行訓(xùn)練和測試時(shí)的準(zhǔn)確率和損失變化。從圖中可以看出，隨著訓(xùn)練輪數(shù)的增加，準(zhǔn)確率不斷提高，損失率逐漸降低，最終趨于平穩(wěn)，在測試集上達(dá)到最佳效果。

圖8 數(shù)據(jù)集的訓(xùn)練過程

本文將改進(jìn)后的網(wǎng)絡(luò)模型與當(dāng)下應(yīng)用于醫(yī)學(xué)圖像質(zhì)量評價(jià)的主流模型ResNet-50[24]、Swin Transformer、Transformer、DenseNet121[25]以及MRI 圖像質(zhì)量評價(jià)模型CNNS[26]使用相同數(shù)據(jù)集的結(jié)果進(jìn)行了對比，對比結(jié)果如表3、表4 所示。

表3 USformer-Net 性能表現(xiàn)%

表4 主流模型性能表現(xiàn)

由表3 可知，該模型對完美質(zhì)量圖像、一般質(zhì)量圖像和較差質(zhì)量圖像的分類準(zhǔn)確率分別為86.95%、87.49%和88.08%，平均分類準(zhǔn)確率為87.84%。該模型在Precision、Recall 和F1-Score 上的平均值也分別達(dá)到了91.84%、92.05%和91.99%。模型整體效果比較出色，能應(yīng)用于具體的臨床環(huán)境中。從表4 可知，在腦部MRI 圖像質(zhì)量評價(jià)任務(wù)中，本文提出的模型相較于其他主流模型，在平均分類準(zhǔn)確率上有所提升。

3 結(jié) 論

醫(yī)學(xué)圖像質(zhì)量評價(jià)是一個(gè)主觀問題，沒有唯一的標(biāo)準(zhǔn)來評估醫(yī)學(xué)圖像是否可用于臨床診斷。同時(shí)，由于圖像的可變性，腦部MRI 質(zhì)量評估是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，目前還沒有廣泛接受的模型和自動化程序用于此研究。另外，一個(gè)有效的質(zhì)量評估模型需要大量特定數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)，現(xiàn)有的公開數(shù)據(jù)集并不能完全滿足醫(yī)學(xué)圖像質(zhì)量評價(jià)領(lǐng)域的研究，這也導(dǎo)致了該領(lǐng)域的研究進(jìn)展緩慢。

在本文的研究中，首先創(chuàng)建了一個(gè)豐富的帶有主觀評價(jià)標(biāo)簽的腦部MRI 圖像數(shù)據(jù)集，改善了醫(yī)學(xué)圖像質(zhì)量評價(jià)領(lǐng)域數(shù)據(jù)集不充足的現(xiàn)狀。本文提出了一種結(jié)合U-Net 和Swin Transformer 評估腦部MRI 圖像質(zhì)量的新方法。與現(xiàn)有的腦部MRI 圖像質(zhì)量評價(jià)方法相比，本文提出的方法更多關(guān)注醫(yī)學(xué)圖像的特殊性，側(cè)重于感興趣區(qū)域的提取與評價(jià)。從最終評價(jià)結(jié)果來看，本文提出的腦部MRI 圖像自動評價(jià)模型USformer-Net 的性能也更加優(yōu)異。

致謝：此次圖像主觀評價(jià)實(shí)驗(yàn)的數(shù)據(jù)結(jié)果獲取得到了來自四川省人民醫(yī)院、西南醫(yī)科大學(xué)附屬醫(yī)院的黃鈺愷、羅毅偉、范家瑞三位臨床醫(yī)生的幫助，在此表示衷心的感謝。

注：本文通訊作者為王同罕。