適用于鼻咽癌原發(fā)灶三維自動化分割的MCAS-UNet 網(wǎng)絡(luò)

王天，梁淑芬，秦傳波，解競一，馮躍

（五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020）

鼻咽癌（Nasopharyngeal Carcinoma，NPC）是指發(fā)生于鼻咽腔壁的惡性腫瘤.現(xiàn)階段，放射治療是治療鼻咽癌的主要方法.在實際臨床診斷中，從CT 或MRI 等醫(yī)學(xué)圖像中準確分割鼻咽癌原發(fā)灶（Gross Target Volume of Nasopharynx Cancer，GTVnx）對于放射治療具有重要意義.但目前，該任務(wù)通常由放射科醫(yī)師通過逐片手工標注的方式來完成，該方式不僅繁瑣、耗時耗力，而且還面臨著因操作人員自身經(jīng)驗和專業(yè)水平的差異，導(dǎo)致勾畫病灶區(qū)域的準確性難以保證.

近年來，深度學(xué)習(xí)方法越來越廣泛地應(yīng)用于醫(yī)學(xué)圖像分析中.全卷積網(wǎng)絡(luò)（FCN）[1]、UNet[2]、VNet[3]和DeepMedic[4]等是常用于分割任務(wù)的學(xué)習(xí)模型.然而，鼻咽癌原發(fā)灶實現(xiàn)準確的自動化分割仍然具有重大挑戰(zhàn).首先，CT 影像的鼻咽癌原發(fā)灶與周邊軟組織的對比度低，不容易識別.其次，它的邊界模糊，放射科醫(yī)師也難以準確地勾畫目標靶區(qū)，這可能會出現(xiàn)有噪聲的標注.第三，鼻咽癌原發(fā)灶在CT 影像中占比非常小，這就存在背景與分割目標之間極度不平衡的問題.此外，CT 影像各向異性的問題會使相鄰切片的目標靶區(qū)形狀發(fā)生較大變化.

為解決上述問題，本文提出了一種應(yīng)用2.5D 卷積神經(jīng)網(wǎng)絡(luò)（CNN），并結(jié)合通道、空間、Self Attention 等綜合注意力機制，來更好地提取小目標靶區(qū)的特征信息，以期進一步提高分割的整體相似度和邊緣分割效果.

1 MCAS-UNet 模型的體系結(jié)構(gòu)

本文方法由4 個主要部分組成：1）基于HU 截斷、強度歸一化和圖像裁剪的數(shù)據(jù)預(yù)處理；2）2.5D UNet 結(jié)合提出改進的通道和空間注意力模塊（Modified Channel and Spatial Attention Block，MCAS）進行高效的分割鼻咽癌腫瘤靶區(qū)（GTVnx）；3）將Criss-Cross Attention 模塊[5]擴展到3D，并加入到編碼器的最后一層，進一步優(yōu)化腫瘤靶區(qū)的整體分割效果；4）在解碼器端引入注意門（AG），融合低層和高層語義信息，對相關(guān)特征信息作進一步補償，優(yōu)化邊緣分割效果.

如圖1 所示，網(wǎng)絡(luò)以UNet 為基礎(chǔ)架構(gòu)，共使用了9 個（1×3×3）卷積塊，每塊包括兩個帶有批次處理歸一化層（Batch Normalization，BN）與泄漏線性整流單元（Leaky ReLU）的卷積層.除第一個卷積塊外，每個卷積塊前面都有一個MCAS 注意力模塊，用來捕捉小目標的鼻咽癌原發(fā)灶位置和空間信息.網(wǎng)絡(luò)使用三次最大池化下采樣操作，并采用反卷積進行上采樣.最后一層則由（1×3×3）卷積層和softmax 函數(shù)組成.網(wǎng)絡(luò)使用3×3×3 卷積與1×3×3 卷積結(jié)合的2.5D 卷積神經(jīng)網(wǎng)絡(luò)，解決目前單獨使用2D 和3D 卷積神經(jīng)網(wǎng)絡(luò)存在的問題.同時，在編碼器的最后一層加入擴展后3D 交叉注意力（Criss-Cross Attention）模塊，進一步優(yōu)化腫瘤靶區(qū)的整體分割效果.最后，在解碼器端引入注意門（AG），融合低層和高層語義信息，對低級語義信息做進一步補償，改善邊緣分割效果.

圖1 整體網(wǎng)絡(luò)架構(gòu)

1.1 數(shù)據(jù)和預(yù)處理

數(shù)據(jù)集來自MICCA（IMedical Image Computing and Computer Assisted Intervention Society）2019年StructSeg 挑戰(zhàn)賽，共包括50 名鼻咽癌患者的CT 圖像.實驗中將公開庫訓(xùn)練圖片按 40 :10 隨機劃分訓(xùn)練和測試集.

在數(shù)據(jù)預(yù)處理階段，首先將所有圖像的強度值截斷到 [- 2 00，7 0 0]HU 值的范圍內(nèi)以增加目標區(qū)域的對比度，然后通過歸一化處理將圖像的強度值映射在[0，1]范圍，去除因奇異樣本數(shù)據(jù)引起的不好影響，同時加快訓(xùn)練收斂速度.

為了保持相同的分辨率，將所有圖像在x、y和z方向上的像素間距均勻插值到1 mm ×1 mm×3 mm.圖像在x、y的方向上尺寸為512 ×512，這包含了大量的背景和儀器區(qū)域，一定程度上影響模型對于小目標分割的效果.所以，需要根據(jù)先驗信息減小圖像尺寸來除去一定的無效信息.為了更好地學(xué)習(xí)目標區(qū)域相關(guān)特征，并兼顧位置信息和生理結(jié)構(gòu)信息，本文通過從頭頸部區(qū)域采樣圖像區(qū)域用于訓(xùn)練.預(yù)處理前后的對比圖如圖2 所示.

圖2 數(shù)據(jù)預(yù)處理圖

1.2 2.5D 卷積神經(jīng)網(wǎng)絡(luò)

UNet 是近年來備受關(guān)注的一種編解碼網(wǎng)絡(luò)，其編碼器部分的工作原理與傳統(tǒng)的分類 CNN 相似，它以減少空間信息為代價，連續(xù)地聚集語義信息.由于在分割過程中，語義和空間信息對網(wǎng)絡(luò)的成功都至關(guān)重要，因此必須以某種方式恢復(fù)丟失的空間信息.UNet 通過解碼器來實現(xiàn)這一點，解碼器接收來自“U”底部的語義信息，并將其與通過跳過連接直接從編碼器獲得的更高分辨率特征圖進行重新組合[6].與其他分割網(wǎng)絡(luò)（如FCN 和DeepLab 迭代[7]）不同，UNet 能夠很好地分割精細結(jié)構(gòu).但是，2D UNet 無法有效提取3D 影像上下文切片信息.3D UNet 通常需要將3D 圖像上采樣到一個統(tǒng)一值，來平衡三維的物理感受野，這樣就會受到可用 GPU 內(nèi)存量的限制，并可能進一步對網(wǎng)絡(luò)深度有所限制，降低模型的性能.同時，如果數(shù)據(jù)集是各向異性的，則常規(guī) 3D 分割方法的性能一般會有所下降[8].因此，本文應(yīng)用2.5D 的網(wǎng)絡(luò)結(jié)構(gòu)，來解決2D 和3D 網(wǎng)絡(luò)存在的問題，更好地處理CT 影像的鼻咽癌原發(fā)灶分割任務(wù).

1.3 注意力模塊

標準CNN 通過不斷堆疊卷積層和池化層，獲得足夠大的感受野和上下文語義信息，但其對形變程度較大的小目標靶區(qū)容易造成假陽性（False-Positive，F(xiàn)P）預(yù)測問題.為了解決這個問題，Oktay等[9]提出了一種簡單而有效的機制，即注意門（Attention Gate，AG），它將注意力集中在目標區(qū)域，同時抑制不相關(guān)區(qū)域的特征.SENet[10]開創(chuàng)了通道注意力的先河，核心是一個擠壓和激勵塊（Squeeze and Excitation，SE），用于收集全局信息、捕獲通道關(guān)系和提高表示能力.但是，在擠壓模塊中，僅通過全局平均池化提取通道特征過于簡單，無法捕獲復(fù)雜的全局信息.在激勵模塊中，通過通道降維來降低模型復(fù)雜度的策略無法直接建模權(quán)重向量和輸入之間的對應(yīng)關(guān)系，從而降低了結(jié)果的質(zhì)量.對此，Wang 等[11]提出了高效通道注意力（Efficient Channel Attention for Deep Convolutional Neural Networks，ECA-Net），該方法使用不降維的一維卷積來確定通道之間的相互作用.Woo 等[12]提出了注意模塊（Convolutional Block Attention Module，CBAM），按照先通道注意操作再空間注意操作來提取特征信息.為了解決位置信息的重要性和建模全局依賴關(guān)系這些問題，Hou 等[13]提出了協(xié)調(diào)注意力（Coordinate Attention，CA），它將位置信息嵌入到通道注意中，從而使網(wǎng)絡(luò)能夠以較小的計算成本關(guān)注更大的重要區(qū)域.

1.4 MCAS 注意力模塊

在鼻咽癌分割任務(wù)中，目標靶區(qū)的形態(tài)變化多樣，同時自身目標又小，導(dǎo)致分割精度較低.通道和空間注意力有助于網(wǎng)絡(luò)在整個圖像上下文中專注于學(xué)習(xí)小目標區(qū)域[12].因此，本文提出了一個改進的通道和空間注意力模塊MCAS 來提高鼻咽癌目標靶區(qū)區(qū)域的分割精度.

如圖3 所示，給定一個中間特征映射F∈RC×D×H×W作為輸入，MCAS 沿著兩個獨立的維度（通道和空間）順序推理通道注意映射MC∈RC×D×H×W和空間注意力映Ms∈R1×D×H×W，然后將注意映射乘以輸入特征映射以進行自適應(yīng)特征細化.同時引入殘差結(jié)構(gòu)，促進信息傳播，防止梯度消失.

圖3 MCAS 注意力模塊

其中?表示逐元素相乘，F(xiàn)＇是最終的輸出特征（output features）.

1.4.1 通道注意力

如圖4 所示，在通道注意力模塊中，為解決全局池化造成的位置信息丟失，首先利用x、y、z3個方向的全局平均池化和全局最大池化，分別將橫軸、縱軸和豎軸方向上的輸入特征聚合為3 個獨立的方向感知特征映射，將輸入特征圖的位置信息嵌入到通道注意力的聚合特征向量.這3 個嵌入方向特定信息的特征圖被分別編碼到3 個注意圖中，每個注意圖捕獲輸入特征圖沿一個空間方向的長期依賴關(guān)系.然后通過逐元素相乘將這3 種注意圖應(yīng)用于輸入特征圖，加強感興趣區(qū)域的表示.ECA-Net[10]證明了避免降維和適當(dāng)?shù)目缤ǖ澜换τ趯W(xué)習(xí)有用的通道特征具有重要作用.因此，將全連接層替換為卷積核為3 的一維卷積，通過不降維的局部跨通道交互策略降低模型復(fù)雜度的同時保持性能.

圖4 通道注意力模塊

其中，C1D k是卷積核為k的一維卷積，k默認為3.

1.4.2 空間注意力

在空間注意力模塊中，我們利用特征間的空間信息生成空間注意映射.空間注意是側(cè)重相關(guān)信息“在哪里”，與通道注意是相互補充的.為了計算空間注意力權(quán)值，使用全局平均池化和全局最大池化整合特征映射的通道信息來產(chǎn)生兩個3D 映射：Favg∈R1×D×H×W和.之后，將它們拼接并卷積，生成3D 空間注意力映射.相關(guān)計算如下：

其中，F(xiàn)表示輸入特征，f3×3×3表示核大小為3×3×3的三維卷積.

1.5 擴展的3D Criss-Cross Attention 模塊和注意門（AG）的應(yīng)用

如圖5 所示，將2D Criss-Cross Attention[5]擴展至3D，利用自注意機制使任一位置的單一特征能夠感知其他所有位置的特征，從而獲取全圖像的上下文信息.傳統(tǒng)的基于non-local 的注意力機制需要生成較多的注意力圖來評估像素對之間的關(guān)系，注意力圖計算每個像素點與全部像素點之間的關(guān)聯(lián)性，空間的復(fù)雜度為(D×H×W)×(D×H×W)，而3D Criss-Cross Attention 只計算每個像素點與其所在的三維空間相鄰像素的關(guān)聯(lián)性，通過循環(huán)兩次，將空間的復(fù)雜度降為(D×H×W-2)×(D×H×W).而且，卷積神經(jīng)網(wǎng)絡(luò)對形變程度較大的小目標靶區(qū)容易造成假陽性預(yù)測，CNN+AG 則可以解決此類問題，因此在解碼器端引入注意門（AG），逐步抑制無關(guān)背景區(qū)域中的特征響應(yīng)，優(yōu)化邊緣分割效果.

圖5 3D Criss-Cross Attention 模塊

2 實驗設(shè)置

2.1 實驗環(huán)境和評估指標

實驗所用計算機為Windows 10 系統(tǒng)，顯卡為NVIDIA Quadro GV100.深度學(xué)習(xí)框架是Pytorch 1.1.0，優(yōu)化器為Adam，權(quán)重衰減為 1×1 0-5，批次大小為8.網(wǎng)絡(luò)使用Dice 損失函數(shù)進行訓(xùn)練[3]，初始學(xué)習(xí)率設(shè)置為 1 ×1 0-4，每1 000 次迭代后學(xué)習(xí)率衰減為原始的0.9 倍.數(shù)據(jù)增強方法采用隨機裁剪和隨機翻轉(zhuǎn).采用平均對稱表面距離（Average Symmetric Surface Distance，ASSD）、Dice 系數(shù)、相對體積誤差（Relative Volume Error，RVE）和豪斯多夫距離（Hausdorff Distance，HD）4 個定量評估指標客觀全面的評估分割結(jié)果.

2.2 實驗結(jié)果與分析

2.2.1 不同方法的實驗對比分析

在鼻咽癌的公開數(shù)據(jù)集上分別與5 種先進方法進行比較，包括3D UNet[2]、VNet[3]、2.5D UNet[14]，Attention U-Net[9]、文獻[15]，定量和定性結(jié)果如表1、圖6 和圖7 所示.結(jié)合表1 可以看出，RVE指標比5 種對比網(wǎng)絡(luò)分別提升了67.36%，17%，17.27%，34.86%，10.53%.ASSD 指標分別提升了2.843 mm，2.182 mm，0.459 mm，0.13 mm；Dice 系數(shù)指標分別提升了7.92%，3.77%，2.67%，3.75%，1.53%；hausdorff 分別提升了34.86 mm，25.98 mm，17.30 mm，19.17 mm，1.47 mm.在各項指標上均優(yōu)于對比網(wǎng)絡(luò).結(jié)合圖6 和圖7 可以看出，所提方法對小目標的鼻咽癌目標靶區(qū)具有良好的處理能力.

表1 不同網(wǎng)絡(luò)分割結(jié)果比較

圖6 不同網(wǎng)絡(luò)分割結(jié)果3D 重建標簽圖

圖7 不同網(wǎng)絡(luò)分割結(jié)果可視化圖

2.2.2 多種注意力的實驗對比

為了探討本文注意力模塊(MCAS)的性能，將目前先進的不同注意力方法分別與2.5D UNet 骨干網(wǎng)絡(luò)在同一條件下相結(jié)合，進行實驗對比.從表2 可以看出，加入所本文的注意力MCAS 模塊后，Dice、ASSD 和hausdorff 的多項評估指標都達到最高，證明MCAS 注意力模塊不僅可以提高網(wǎng)絡(luò)的性能，而且對小目標的鼻咽癌目標靶區(qū)分割效果良好.

表2 多種注意力實驗對比

2.2.3 消融實驗

本文在同一條件下對所提網(wǎng)絡(luò)展開了逐步的消融實驗，實驗結(jié)果如表3 所示.首先，2.5D UNet骨干在編解碼層結(jié)合所提 MCAS 注意模塊，在各項指標都有明顯提升，達到了分割鼻咽癌原發(fā)灶（GTVnx）的良好效果.在此基礎(chǔ)上，在編碼器-解碼器結(jié)構(gòu)的瓶頸處加入3D Criss-Cross Attention模塊，更好地提取小目標腫瘤靶區(qū)的特征信息，進一步優(yōu)化了腫瘤靶區(qū)的整體分割效果.然而，對比表3 的第二第三行結(jié)果可知，該方法雖然提升了整體分割結(jié)果的相似度（Dice 系數(shù)），但是忽略了大量的低級語義信息，對邊緣分割效果較差.因此，在解碼器端引入注意門（AG），融合低層和高層語義信息，對相關(guān)特征信息做進一步補償，優(yōu)化邊緣分割效果，最終的輸出結(jié)果達到了57.54%（RVE）、2.592 mm（ASSD）、66.22%（Dice）、10.05 mm（hausdorff）的分割性能，較骨干網(wǎng)絡(luò)在各項指標上分別提升了17.27%（RVE）、0.495 mm（ASSD）、2.67%（Dice）、和17.3 mm（hausdorff）.

表3 消融實驗分析

3 結(jié)語

針對鼻咽癌原發(fā)灶（GTVnx）三維自動化分割問題，本文提出了一種基于2.5D UNet 骨干結(jié)合多種注意力的方法.通過消融實驗與對比實驗證明，所提方法有效地解決了自動分割中鼻咽目標靶區(qū)小、CT 影像各向異性以及靶區(qū)與周圍軟組織對比度低的問題，提高了診斷的效率和準確率，可最大程度上避免漏診和誤診.但由于數(shù)據(jù)量較少，一定程度上限制了算法的性能.下一步研究將考慮進行半監(jiān)督或者無監(jiān)督學(xué)習(xí)方法，并進一步解決數(shù)據(jù)量不足的問題.