基于EfficientNetV2和ASPP的脊柱MRI圖像分割

蔡 標(biāo)，楊 成，徐 晴，陸 翼，仇胥斌*，常 珊*

（1. 江蘇理工學(xué)院生物信息與醫(yī)藥工程研究所，常州 213001；2. 蘇州大學(xué)附屬第三醫(yī)院，常州 213001）

0 引言

脊柱是由26 塊椎骨組成，包括頸椎7 塊、胸椎12 塊、腰椎5 塊、骶骨1 塊和尾骨1 塊［1］。在目前生活節(jié)奏快和工作壓力大的情況，人群易發(fā)脊椎關(guān)節(jié)錯(cuò)位、椎間盤(pán)突出和骨質(zhì)增生等疾?。?-4］。在脊柱疾病的預(yù)防和治療中，因?yàn)殡娮佑?jì)算機(jī)斷層掃描（computed tomography，CT）和核磁共振成像（magnetic resonance imaging，MRI）技術(shù)的便捷性和可靠性，CT 和MRI經(jīng)常被使用［5］。針對(duì)脊柱的檢查，在骨骼的臨床診斷中，CT成像對(duì)骨骼比較敏感，但由于CT相較于MRI 具有很強(qiáng)的輻射性，所以在針對(duì)特定人群如孕婦的臨床治療中，MRI 具有零輻射的優(yōu)勢(shì)［6］。目前針對(duì)脊柱MRI 圖像的分割任務(wù)較少，所以MRI圖像的分割任務(wù)具有一定的意義［7］。

隨著醫(yī)療技術(shù)的發(fā)展，醫(yī)學(xué)圖像分割越來(lái)越被需要。利用計(jì)算機(jī)得到醫(yī)學(xué)圖像分割結(jié)果，很大程度上減少醫(yī)學(xué)工作者的工作量和提高其工作效率。隨著人工智能的發(fā)展，很多機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法用于脊柱圖像分割中，其中U-Net 和FCN 網(wǎng)絡(luò)模型具有代表性。Kola?ík 等［8］在U-Net和3D U-Net的基礎(chǔ)上，增加了殘差連接和密集連接，提出了Residual-U-Net 和Dense-U-Net 網(wǎng)絡(luò)用于分割大腦和脊柱圖像，實(shí)驗(yàn)結(jié)果證明，殘差連接和密集連接能較好地提高U-Net的分割精度。Han 等［9］結(jié)合空洞卷積和自動(dòng)編碼器在語(yǔ)義分割上的優(yōu)勢(shì)，提出Spine-GAN 實(shí)現(xiàn)對(duì)脊柱圖像的分割任務(wù)，再對(duì)253名患者的脊柱MRI圖像進(jìn)行驗(yàn)證，Spine-GAN 實(shí)現(xiàn)了準(zhǔn)確的分割，比傳統(tǒng)的U-Net 和FCN 提高了近10%的像素精度。Rak 等［10］將卷積神經(jīng)網(wǎng)絡(luò)和殘差連接相結(jié)合，在兩個(gè)公開(kāi)數(shù)據(jù)集上通過(guò)五折交叉驗(yàn)證，Dice 系數(shù)分別為93.8%和96.0%。這個(gè)結(jié)果比之前工作的Dice提高了5.7%和8.6%，值得一提的是，新的網(wǎng)絡(luò)在計(jì)算時(shí)間上也有很大的優(yōu)勢(shì)。Xie 等［11］為了解決醫(yī)學(xué)二維圖像分割領(lǐng)域中不同組織之間的低對(duì)比度、高相似性和不同比例等問(wèn)題，提出CHI-Net 上下文分層集成網(wǎng)絡(luò)。CHI-Net 主要由密集擴(kuò)張卷積（DDC）和堆疊殘差池（SRP）兩個(gè)關(guān)鍵模塊組成，在特定的數(shù)據(jù)集上，該網(wǎng)絡(luò)優(yōu)于主流的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)。

2019 年，Tan 等［12］對(duì)圖像分類模型的網(wǎng)絡(luò)深度、網(wǎng)絡(luò)寬度和輸入圖片分辨率大小三個(gè)方向進(jìn)行了細(xì)致的研究，在EfficientNet 的基礎(chǔ)上提出EfficientNetV2 網(wǎng)絡(luò)，和當(dāng)時(shí)比較流行的分類網(wǎng)絡(luò)相比較，在參數(shù)量和模型精度上有很大的提升。網(wǎng)絡(luò)中主要使用卷積層、BatchNorm層、激活函數(shù)、池化層和殘差連接等，針對(duì)不同的圖片分辨率大小設(shè)置不同的網(wǎng)絡(luò)深度和網(wǎng)絡(luò)寬度。2018 年，Chen 等［13］提出帶孔空間金字塔池化模塊（ASPP）和編碼-解碼結(jié)構(gòu)的圖像分割網(wǎng)絡(luò)DeepLabV3+，ASPP通過(guò)使用不同比率的空洞卷積和1*1卷積，將網(wǎng)絡(luò)的感受野擴(kuò)大的同時(shí)又不增加過(guò)多的參數(shù)量。利用不同的特征提取網(wǎng)絡(luò)作為編碼器，使用雙線性插值操作作為解碼器，最終完成了醫(yī)學(xué)圖像分割任務(wù)，在沒(méi)有任何后處理的情況下完成89%的測(cè)試集精度。

1 材料與方法

1.1 數(shù)據(jù)集

數(shù)據(jù)集是第二屆中國(guó)圖像與圖形學(xué)會(huì)圖像與圖形技術(shù)挑戰(zhàn)賽的公開(kāi)數(shù)據(jù)集（https://www.spinesegmentation-challenge.com），共有172張帶標(biāo)簽的脊柱MRI 數(shù)據(jù)。由于數(shù)據(jù)集中數(shù)據(jù)的尺寸不一，只使用其中119 例數(shù)據(jù)，其尺寸均為12×880×880，這樣可以避免對(duì)原始數(shù)據(jù)的尺寸調(diào)整導(dǎo)致分割精度的下降，如圖1 所示。最終，針對(duì)數(shù)據(jù)集中的骶骨S、腰椎L1～L5、胸椎T11～T12 共八個(gè)分割對(duì)象進(jìn)行脊柱MRI 圖像分割任務(wù)。

1.2 數(shù)據(jù)預(yù)處理

為了減少計(jì)算量，同時(shí)不降低精度，將數(shù)據(jù)和標(biāo)簽左右兩側(cè)的背景刪除，并將脊柱原始數(shù)據(jù)尺寸由12×880×880 統(tǒng)一為12×464×880。具體操作如圖1所示，只保留脊柱圖像中非零的數(shù)據(jù)。由于只有部分?jǐn)?shù)據(jù)中存在T9～T10 的圖像和標(biāo)簽，忽略部分?jǐn)?shù)據(jù)中存在的胸椎T9～T10，將標(biāo)簽中的T9～T10進(jìn)行刪除。

1.3 算法流程

為了解決脊柱MRI 圖像分割的部分問(wèn)題，本文提出基于EfficientNetV2 和ASPP 的分割網(wǎng)絡(luò)，用于脊柱圖像的分割任務(wù)，如圖2所示，原始脊柱圖像數(shù)據(jù)首先經(jīng)過(guò)上文的數(shù)據(jù)預(yù)處理后，經(jīng)簡(jiǎn)化的EfficientNetV2 網(wǎng)絡(luò)后，利用ASPP 和1*1卷積進(jìn)一步提取特征并拼接起來(lái)，最后經(jīng)過(guò)上采樣操作得到與預(yù)處理后的數(shù)據(jù)尺寸一致，尺寸為12×448×880。

圖2 簡(jiǎn)化的EfficientNetV2和ASPP網(wǎng)絡(luò)示意圖

由于EfficientNetV2 在圖像分類任務(wù)中的出色表現(xiàn)，所以本文使用EfficientNetV2 網(wǎng)絡(luò)完成特征提取任務(wù)，在EfficientNetV2 網(wǎng)絡(luò)家族中，EfficientNetV2（S/M/L）網(wǎng)絡(luò)較為復(fù)雜，本文選擇使用簡(jiǎn)化后的EfficientNetV2_S 網(wǎng)絡(luò)，保留5 個(gè)Stage，將每個(gè)Stage 的Layers 設(shè)置為1，具體的網(wǎng)絡(luò)參數(shù)見(jiàn)表1。

表1 簡(jiǎn)化的EfficientNetV2參數(shù)概述

ASPP 模塊具體結(jié)構(gòu)如圖3 所示，主要由1個(gè)1*1 卷積、1 個(gè)全局池化操作和3 個(gè)空洞卷積組成，使用的空洞卷積比率為6、12、18，每個(gè)1*1 卷積后都有BatchNorm 層（BN）和ReLU 激活函數(shù)。

圖3 ASPP網(wǎng)絡(luò)示意圖

在上采樣的過(guò)程中，上采樣選擇雙線性插值而不是反卷積操作，可以減少學(xué)習(xí)參數(shù)量和計(jì)算時(shí)間。

1.4 評(píng)價(jià)指標(biāo)

本文選用比較常見(jiàn)的評(píng)價(jià)指標(biāo)，DSC和IoU。公式如下：

其中：Vgt為真實(shí)標(biāo)簽所包含的像素點(diǎn)的集合；Vpre為模型預(yù)測(cè)的像素點(diǎn)的集合。

2 實(shí)驗(yàn)設(shè)置

2.1 設(shè)備選擇和模型參數(shù)設(shè)置

本文使用Python 語(yǔ)言PyTorch 框架編寫(xiě)，在8 張Tesla K80 的電腦上進(jìn)行訓(xùn)練模型并測(cè)試，模型選擇交叉熵?fù)p失函數(shù)，使用隨機(jī)梯度下降優(yōu)化器（SGD），使用ReLU 激活函數(shù)，批大?。˙atch Size）為4。學(xué)習(xí)率為0.001，學(xué)習(xí)率按照公式（3）的策略變化，訓(xùn)練輪次（epoch）為100。

其中：Iri為第i訓(xùn)練批次的學(xué)習(xí)率；Iri-1為第i-1訓(xùn)練批次的學(xué)習(xí)率。

2.2 實(shí)驗(yàn)結(jié)果

為了和其他的分割方法進(jìn)行比較，在119例MRI 圖像中我們隨機(jī)選擇19 例作為測(cè)試集，對(duì)原始數(shù)據(jù)進(jìn)行相同的數(shù)據(jù)預(yù)處理，執(zhí)行U-Net、DeepLabV3+和nnU-Net 模型后，我們得到了各個(gè)方法的DSC和IoU評(píng)價(jià)指標(biāo)，見(jiàn)表2。在8 個(gè)脊柱圖像分割目標(biāo)中，DSC評(píng)價(jià)指標(biāo)中有4個(gè)取得最優(yōu)成績(jī)，IoU評(píng)價(jià)指標(biāo)中有3 個(gè)取得最優(yōu)成績(jī)。經(jīng)過(guò)5 倍交叉驗(yàn)證后，得到各方法的平均DSC評(píng)價(jià)指標(biāo)和IoU評(píng)價(jià)指標(biāo)，如圖4 所示，本文方法在DSC評(píng)價(jià)指標(biāo)和IoU評(píng)價(jià)指標(biāo)均優(yōu)于U-Net、nnU-Net和DeepLabV3+網(wǎng)絡(luò)。

表2 各方法脊柱分割的平均DSC（%）和IoU（%）

圖4 各方法的平均DSC評(píng)分

3 結(jié)語(yǔ)

本文提出一種基于簡(jiǎn)化后的EfficientNetV2和ASPP 模塊的脊柱MRI圖像分割方法，利用雙線性插值操作完成上采樣操作，該方法與UNet、nnU-Net 和DeepLabV3+主流分割方法相比，具有較優(yōu)的分割能力。