基于MDRA-Net 算法的肝臟CT 圖像分割方法

李永進

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引言

計算機斷層掃描（Computed Tomography，CT）因其非侵入性、高分辨率以及低成本等特點，成為目前檢測和評估診斷肝臟疾病的首選成像方式[1]。目前，臨床對肝臟圖像的分割基本是由專業(yè)醫(yī)生手動、逐片完成，不僅費時費力，還可能出現(xiàn)因醫(yī)生過度疲勞而誤判的情況[2]。隨著人工智能的發(fā)展，基于深度學習的肝臟圖像分割方法在肝部醫(yī)學圖像分割中取得重大進展[3]。其中，基于全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）架構(gòu)提出的“U”型網(wǎng)絡(luò)模型（U-Net）成為醫(yī)學影像分割的主流方法[4]。PATRICK 等人[5]使用級聯(lián)U-Net 對肝臟腫瘤數(shù)據(jù)進行粗分割。HAN 等人[6]提出了2.5D P-UNet 用于肝臟和肝臟腫瘤分割。LI 等人[7]開發(fā)了H-Dense U-Net 模型，結(jié)合2D U-Net 和3D U-Net 模型，提高了肝臟和肝臟腫瘤的分割精度。

與傳統(tǒng)方法相比，基于深度學習的分割方法在肝臟圖像分割能力上有了很大的提升，但仍有一定的局限性?；赨-Net 的分割方法隨著網(wǎng)絡(luò)的不斷下采樣操作，會對肝臟圖像小區(qū)域的分割產(chǎn)生不利影響，并且隨著網(wǎng)絡(luò)深度的增加，容易引起梯度消失問題。理論上，采用3D 分割網(wǎng)絡(luò)可獲得更多圖像的上下文信息，但由于內(nèi)存限制，切片數(shù)量多等問題會導致實際的模型訓練存在困難。針對上述肝臟圖像分割方法存在的一些問題，本文提出了基于U-Net 改進的多尺度空洞殘差和注意力機制網(wǎng)絡(luò)（Multi-Dilated Residual Attention-Net，MDRANet）肝臟圖像分割方法。利用多個級聯(lián)殘差模塊來提取肝臟圖像特征，在殘差模塊中加入空洞卷積獲得更大的感受野，之后通過通道和空間注意力機制模塊（scSE）獲得同時具有重要通道特征和重要空間特征的肝臟圖像特征信息，從而提高肝臟圖像的分割效果。

1 網(wǎng)絡(luò)模型與算法

1.1 多殘差連接模塊

為了很好地解決網(wǎng)絡(luò)深度增加導致的梯度彌散或梯度爆炸等問題，HE 等人[8]提出一個ResNet 深度殘差結(jié)構(gòu)。該網(wǎng)絡(luò)的連接方式能夠顯著緩解模型退化及梯度消失等一系列問題。受到殘差網(wǎng)絡(luò)ResNet 及其變體[9]在醫(yī)學圖像分割中表現(xiàn)出的優(yōu)良特性的啟發(fā)，本文提出了多殘差連接模塊（Multi-Res-Blocks，MRB），如 圖1 所示，該模塊由4 個殘差塊組成，每個殘差塊由一個ReLU+BN+3×3 卷積操作，每個殘差塊再以逐步增加殘差塊的殘差連接方式連接起來。MRB 可以充分發(fā)揮殘差網(wǎng)絡(luò)的恒等映射等優(yōu)點，進一步提升網(wǎng)絡(luò)對肝臟圖像的分割性能。

圖1 多殘差連接模塊圖

1.2 注意機制模塊

ROY 等人[10]受到SENet[11]的啟發(fā)，提出了3種基于SE 模塊的變體結(jié)構(gòu)，即通道壓縮空間激勵模塊cSE、空間壓縮通道激勵模塊sSE 以及將cSE和sSE 模塊并列組合形成的scSE 模塊。通過對輸入肝臟圖像特征分別做通道和空間上特征提取并進行相加，將得到同時具有重要通道特征和重要空間特征的肝臟特征圖，促使神經(jīng)網(wǎng)絡(luò)學習更有意義的肝臟特征信息。

1.3 級聯(lián)多尺度空洞殘差模塊

在肝臟圖片分割過程中，為了提取和連接多尺度特征信息，本文使用了與GoogleNet 的Inceptionlike blocks 結(jié)構(gòu)[12-13]類似的模塊。為了增加感受野，使用具有級聯(lián)結(jié)構(gòu)的空洞卷積[14-15]來代替普通卷積。在保證一定分辨率的情況下，空洞卷積可以在不增加參數(shù)數(shù)量或計算量的情況下引入豐富的多尺度信息[9]。與inception block 并行結(jié)構(gòu)不同，級聯(lián)多尺度空洞殘差模塊（Cascade Dilated Multiresidual Blocks，CDMB）使用4 個分支的級聯(lián)結(jié)構(gòu)，每個分支使用空洞率分別為1，3，6，9 的3×3 卷積，再連接BN 和RELU，之后進行Add 操作進行特性融合。這種結(jié)構(gòu)可以對輸入肝臟圖片進行多層次的特征信息提取。此外，還在模塊中添加了殘差連接并引入1×1卷積層，這可以讓網(wǎng)絡(luò)多學習一些額外的肝臟圖片信息。級聯(lián)多尺度空洞殘差模塊的結(jié)構(gòu)如圖2 所示。

圖2 級聯(lián)多尺度空洞殘差模塊

1.4 模型結(jié)構(gòu)

本文將MRB、CDMB、scSE 等模塊與U-Net結(jié)構(gòu)進行融合，得到多尺度空洞殘差和注意力機制（Multi-Dilated Residual Attention-Net，MDRA-Net）算法模型。如圖3 所示，MDRA-Net 肝臟圖像分割算法模型由編碼和解碼兩部分組成。編碼部分負責特征提取，解碼部分負責特征定位。編碼部分第一層由3×3 卷積塊、MRB 模塊以及最大池化層組成，第二層至第四層由CDMB 模塊、MRB 模塊以及最大池化層組成，其中CDMB 用來增加網(wǎng)絡(luò)寬度，使網(wǎng)絡(luò)能對肝臟特征進行多尺度信息提取，接著使用MRB 模塊來學習含有多尺度特征信息的肝臟圖像以及提升網(wǎng)絡(luò)深度，保證網(wǎng)絡(luò)模型穩(wěn)定，最大程度地降低圖像分辨率。過渡層由CDMB 模塊和3×3卷積塊組成。解碼部分由UpSample+scSE 模塊和CDMB 模塊組成，每次UpSample 上采樣將通道數(shù)減少一半，用于恢復特征圖尺寸大小，scSE 模塊對來自skip-connection 的淺層肝臟特征和UpSample 的深層肝臟特征信息進行concat 操作后的肝臟特征進行重要通道和空間特征增強，完成后輸入CDMB 模塊提取多尺度信息，最后通過一個1×1 卷積輸出分割結(jié)果。

圖3 MDRA-Net 肝臟圖像分割算法模型

2 實 驗

2.1 數(shù)據(jù)集和數(shù)據(jù)預處理

本文采用兩個公共數(shù)據(jù)集進行分割實驗。實驗中，數(shù)據(jù)集按照8∶2的比例劃分為訓練集、測試集。公共數(shù)據(jù)集LiTS17（獲取路徑https://competitions.codalab.org/competitions/17094#results）由131 組3D腹部CT 掃描圖像組成，每張CT 圖像和標簽的尺寸為512×512，面內(nèi)分辨率為0.55～1.0 mm，層間距為0.45～6.0 mm。實驗中，采用范圍為[-200，200]的Hu 值進行截斷[16]，此Hu 值范圍包含了99%的肝臟區(qū)域，并將切片大小從512×512 調(diào)整到256×256，去除無真實數(shù)據(jù)（ground truth）及對應(yīng)的肝臟圖片后進一步直方圖均衡化和歸一化，最后一共得到14 400 張肝臟圖進行訓練。

2.2 實驗設(shè)置

實驗使用Pycharm 作為編譯器，編程語言為Python，實驗框架為Keres2.4.3和TensorFlow2.4.0，硬件環(huán)境為Intel（R）Core（TM）i7-10700F CPU@2.90 GHz，內(nèi)存為64 GB，顯卡為NVIDIA GeForce GTX 3060，操作系統(tǒng)為64 位Windows10。實驗采用Adam 優(yōu)化器更新參數(shù)，學習率為0.001，采用Dice Loss 作為損失函數(shù)，batchsize 設(shè)置為4，epochs 最大值設(shè)置為100。

2.3 評價指標

對于肝臟圖像分割的評估，采用3 個最常用的評價指標[16]，包括DICE 系數(shù)、體積重疊誤差（Volume Overlap Error，VOE）、相對體積誤差（Relative Volume Difference，RVD）。假設(shè)A是肝臟的分割結(jié)果，B是ground truth，3 個指標的定義分別如下。

（1）DICE 系數(shù)，表示分割結(jié)果與標記之間的重復率：

（2）體積重疊誤差（VOE）：

（3）相對體積誤差（RVD）：

2.4 實驗結(jié)果分析

2.4.1 實驗結(jié)果

實驗中，所有模型算法的訓練數(shù)據(jù)和預處理方式均與本文提出的MDSA-Net 方法保持一致。肝臟圖像的分割結(jié)果如圖4 所示。圖4 中，A 列是原始肝臟圖像，B 列是金標準圖像，C 列是采用U-Net模型算法的分割結(jié)果，D 列是采用ResNet 模型算法的分割結(jié)果，E 列是采用MultiResUnet 模型算法的分割結(jié)果，F(xiàn) 列是采用本文的MDSA-Net 模型算法的分割結(jié)果。其中，U-Net 模型算法只能分割出肝臟的大概輪廓，在第三行樣本的細節(jié)分割上，特征會有很大程度的缺失；ResNet 模型算法可以分割出肝臟的整體結(jié)構(gòu)，但在第二行樣本上沒有很好地分割出中間的空洞區(qū)域；MultiResUnet 模型算法在第二行樣本上雖然分割出了空洞區(qū)域，但是分割出的形狀卻明顯不一致；而本文采用的MDSA-Net模型能夠很好地對肝臟的一些細微結(jié)構(gòu)進行分割，更接近于金標準。

圖4 幾種算法在LiTS17 數(shù)據(jù)集上的分割結(jié)果

LiTS 數(shù)據(jù)集上的實驗結(jié)果指標如表1 所示。本文改進的模型算法在LiTS17 數(shù)據(jù)集上的DICE 評估結(jié)果為98.689%，VOE 評估結(jié)果為0.025，RVD 評估結(jié)果為0.012。3 個評價指標均優(yōu)于其他對比的模型算法的指標結(jié)果，說明本文的模型算法在肝臟圖像分割上相較于其他模型算法具有更好的分割能力。

表1 LiTS 數(shù)據(jù)集上的實驗結(jié)果指標對比

2.4.2 本文算法與其他方法的分割指標對比

為了評估本文模型算法在肝臟圖像分割的有效性和可行性，將MDSA-Net 與其他在LiTS17 上表現(xiàn)優(yōu)異的深度學習方法進行比較，比較結(jié)果如表2 所示。數(shù)據(jù)顯示，與其他方法相比，本文方法在主要的評價指標DICE 和VOE 上取得了較高值，且在其他輔助評價指標RVD 上也取得了不錯的結(jié)果，在肝臟分割上的效果優(yōu)于大多數(shù)深度學習方法。因此證明，本文方法在肝臟圖像的分割上比較高效。

表2 MDSA-Net 與其他方法在LiTS17 數(shù)據(jù)集上的指標比較

3 結(jié)語

本文將殘差網(wǎng)絡(luò)、空洞殘差結(jié)構(gòu)以及scSE 結(jié)構(gòu)引入U-Net 中，提出了一種多尺度空洞殘差和注意力機制的網(wǎng)絡(luò)MDRA-Net 用于肝臟CT 圖像分割，提高了網(wǎng)絡(luò)對上下文肝臟特征的提取能力并增強了特征的傳輸。實驗結(jié)果表明，本文的分割算法具有較高的準確性，整體上優(yōu)于其他肝臟分割算法，可以更好地分割肝臟的細微結(jié)構(gòu)。然而，本文方法還存在一定的不足，MDRA-Net 網(wǎng)絡(luò)雖然能夠更好地提取肝臟CT 圖像的細節(jié)特征，但是網(wǎng)絡(luò)參數(shù)量較大，需要較高的計算成本。在后續(xù)的工作中，將會考慮如何降低計算成本，更好地輔助肝臟疾病診療工作。