基于深度學(xué)習(xí)的息肉分割網(wǎng)絡(luò)GLIA-Net

任莉莉，邊璇，王光磊，王洪瑞

（1.河北大學(xué)附屬醫(yī)院 腫瘤內(nèi)科，河北 保定 071002；2.河北大學(xué) 電子信息工程學(xué)院，河北 保定 071002）

0 概述

結(jié)直腸癌是威脅人類健康的主要疾病之一［1］?；颊邞?yīng)定期接受臨床醫(yī)生的結(jié)腸鏡檢查，及時發(fā)現(xiàn)息肉，從而降低結(jié)直腸息肉的癌變發(fā)生概率［2］。在結(jié)腸鏡檢查中，由于息肉的位置、形狀、尺寸不同以及息肉與其周圍黏膜之間的邊界較模糊，因此對息肉的準(zhǔn)確分割面臨巨大的挑戰(zhàn)。

近年來，卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域中占據(jù)了重要的地位［3-4］。隨著對內(nèi)窺鏡圖像研究的不斷深入，研究人員將深度卷積神經(jīng)網(wǎng)絡(luò)作為息肉分割網(wǎng)絡(luò)模型，并提出改進的息肉分割網(wǎng)絡(luò)模型。SAFAROV 等提出A-DenseUNet［5］，以U-Net［6］為基礎(chǔ)架構(gòu)，結(jié)合多尺度編碼信息與不同空洞率卷積、注意力機制對息肉進行分割。WEI 等提出針對息肉分割的淺層注意力網(wǎng)絡(luò)［7］，以提高息肉的分割準(zhǔn)確性。劉佳偉等提出一種改進的雙U 型網(wǎng)絡(luò)［8］，以DoubleU-Net［9］為基礎(chǔ)架構(gòu)，引入注意力機制來提高息肉的分割精度。王亞剛等針對腸道息肉分割提出一種改進DeepLabv3+網(wǎng)絡(luò)［10］，通過優(yōu)化數(shù)據(jù)處理階段和網(wǎng)絡(luò)結(jié)構(gòu)來提高腸道息肉的檢測率。然而，在內(nèi)窺鏡檢查過程中，需要較優(yōu)的方法來分割和檢測息肉區(qū)域［11］。為提高息肉分割性能，以上這些方法多側(cè)重于構(gòu)建更復(fù)雜的結(jié)構(gòu)，引入大量參數(shù)，導(dǎo)致計算量大幅提升，從而影響網(wǎng)絡(luò)的計算效率。

本文提出全局與局部交互式注意力網(wǎng)絡(luò)GLIA-Net。將U-Net 作為網(wǎng)絡(luò)架構(gòu)，在其雙層卷積后加入交互式注意力融合模塊，并引入注意力機制，以兼顧局部與全局信息，使網(wǎng)絡(luò)具有空間與通道、局部與全局語義信息的處理能力。結(jié)合高效通道注意力（Efficient Channel Attention，ECA）［12］和外部注意力（External Attention，EA）［13］的優(yōu)點，在保證計算效率的同時提高分割精度。

1 本文算法

本文算法流程如圖1所示，將Kvasir數(shù)據(jù)集（https：//datasets.simula.no/kvasir/）分為訓(xùn)練和測試兩部分，在訓(xùn)練階段將數(shù)據(jù)集劃分為訓(xùn)練集與驗證集。在訓(xùn)練集中對原始圖像進行中心裁剪、歸一化等預(yù)處理，并將預(yù)處理后的圖像輸入到網(wǎng)絡(luò)中。其中GLIA-Net 中深色模塊為雙層卷積，淺色模塊為GLIA模塊，經(jīng)過GLIA-Net處理后得到的輸出結(jié)果與標(biāo)簽進行交叉熵損失計算，計算結(jié)果用于網(wǎng)絡(luò)的反向傳播，實現(xiàn)對網(wǎng)絡(luò)的訓(xùn)練。利用驗證集篩選出最優(yōu)網(wǎng)絡(luò)模型并將模型保存用于測試。在測試集中的數(shù)據(jù)經(jīng)過歸一化預(yù)處理后加載到最優(yōu)網(wǎng)絡(luò)模型中，用于損失值、平均交并比和準(zhǔn)確率等指標(biāo)的計算。

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

1.1 GLIA-Net 網(wǎng)絡(luò)

GLIA-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，包括編碼和解碼部分。其中深色模塊為雙層卷積，淺色模塊為GLIA 模塊，GLIA 模塊位于雙層卷積之后，并在此結(jié)構(gòu)上添加了殘差連接［14］，殘差連接將經(jīng)過GLIA模塊處理后的特征圖與進入雙層卷積之前的特征圖進行融合。GLIA 模塊結(jié)構(gòu)如圖2 中虛線框所示，主要由高效通道注意力模塊和外部注意力模塊組成。高效通道注意力模塊側(cè)重局部注意力且處理通道方向上特征圖的關(guān)系，外部注意力模塊側(cè)重全局注意力且處理每一個像素點之間關(guān)系。該結(jié)構(gòu)融合了高效通道注意力與外部注意力的優(yōu)勢，在實現(xiàn)局部與全局、通道與空間特征圖處理的同時減少因引入注意力機制帶來的計算量與參數(shù)量，在增強網(wǎng)絡(luò)特征表達能力的基礎(chǔ)上保證了模型的計算效率。

圖2 GLIA-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of GLIA-Net network

1.1.1 高效通道注意力模塊

高效通道注意力模塊是基于SENet［15］的變體結(jié)構(gòu)，ECA 模塊的結(jié)構(gòu)如圖3 所示。相比其他基于SENet 的變體，ECA 模塊的結(jié)構(gòu)更簡潔，將全連接替換為一維卷積的操作，減少了注意力計算的參數(shù)量，高效快速地提取注意力向量。一維卷積的局部連接形式也為之后的全局注意力計算提供了充分的局部特征信息，有效提升模型的特征表達能力。

圖3 高效通道注意力模塊結(jié)構(gòu)Fig.3 Structure of efficient channel attention module

輸入的特征圖經(jīng)過ECA 的全局平均池化后，得到特征圖維度RC×1×1，并將其壓縮重塑為維度RC×1，通過卷積核大小為3 的一維卷積，經(jīng)過Sigmoid 函數(shù)激活，獲得每個通道的的權(quán)重，再將此時的特征圖維度RC×1重塑成維度RC×1×1的注意力向量，將重塑后得到的注意力向量與原特征圖相乘得到注意力特征圖。

1.1.2 外部注意力模塊

外部注意力模塊結(jié)構(gòu)如圖4 所示，是自注意力機制的變體。該結(jié)構(gòu)解決了自注意力機制［16］存在的2 個問題：1）計算量太大，并且計算復(fù)雜度與像素的平方相關(guān)聯(lián)；2）在單個樣本內(nèi)捕獲長距離依賴關(guān)系，缺乏對不同樣本之間潛在關(guān)聯(lián)的考慮。EA 通過2 個可學(xué)習(xí)的外部單元將模型的計算復(fù)雜度與像素數(shù)量由平方關(guān)系降低為線性關(guān)系，同時2 個外部記憶單元對整個數(shù)據(jù)集共享，使得模型在進行注意力計算的過程中隱式地考慮了不同樣本之間的關(guān)聯(lián)關(guān)系，實現(xiàn)了不同樣本之間數(shù)據(jù)的交流。

圖4 外部注意力模塊結(jié)構(gòu)Fig.4 Structure of external attention module

在EA 模塊中，輸入的特征圖通過一次卷積進行特征提取后維度為RC×H×W，將其重塑為RC×N（N=H×W）輸入到第1 個線性層（外部注意力機制Mk）進行一維卷積操作，再進行Softmax 激活處理，經(jīng)歸一化處理后進入第2 個線性層（外部注意力機制Mv）進行一維卷積操作，將卷積后的特征圖維度RC×N（N=H×W）重塑回RC×H×W，此時將得到的特征圖卷積與輸入特征圖進行特征融合，得到特征圖A∈RC×H×W，最后將其進行RELU［17］激活操作得到輸出結(jié)果，如式（1）和式（2）所示：

其中：M為整個訓(xùn)練數(shù)據(jù)集的內(nèi)部儲存單元。在模塊構(gòu)建過程中，2 個儲存單元Mk和Mv分別替換自注意力機制運算過程中的鍵和值。輸入特征圖F與Mk的轉(zhuǎn)置進行矩陣相乘后經(jīng)過歸一化得到A，特征圖A為經(jīng)過計算得到注意力特征圖，最后，通過A與Mv的矩陣相乘，得到經(jīng)過注意力機制處理后的輸出特征圖Fout。這種注意力機制使得網(wǎng)絡(luò)在學(xué)習(xí)過程中更加關(guān)注對分割有利的特征。

1.2 特征圖提取

為驗證GLIA 模塊的有效性，本文將實驗數(shù)據(jù)分別輸入到U-Net 和GLIA-Net 中進行處理。U-Net 和GLIA-Net 特征提取流程如圖5 所示（彩色效果見《計算機工程》官網(wǎng)HTML 版）。采用CAM［18］對U-Net和GLIA-Net 中最后一個卷積層的輸出特征圖進行處理，得到兩組熱力圖。熱力圖中紅色區(qū)域為圖像中的正常組織區(qū)域，藍色區(qū)域為息肉區(qū)域，黃色箭頭指向位置為息肉邊緣與周圍其他組織的臨界區(qū)域，藍色箭頭指向位置為息肉內(nèi)部區(qū)域。從圖5 可以看出，相比U-Net，GLIA-Net 處理的特征圖經(jīng)過CAM 合成熱力圖中的冷色區(qū)域輪廓與原圖上息肉輪廓具有一致性，黃色箭頭指向的冷色區(qū)域輪廓邊界更加清晰準(zhǔn)確，說明息肉與周圍臨界組織區(qū)分度大，類間的不一致性得到增強。與此同時，相比原圖上息肉輪廓內(nèi)部區(qū)域，U-Net 網(wǎng)絡(luò)對應(yīng)的熱力圖中藍色箭頭指向的區(qū)域存在明顯缺失，像素值強度較低，不能有效識別息肉部分。而GLIA-Net 網(wǎng)絡(luò)對應(yīng)的熱力圖中藍色箭頭指向的息肉內(nèi)部像素值強度高，在息肉內(nèi)部區(qū)域具有較高的識別度，說明息肉內(nèi)部組織區(qū)域的區(qū)分度低，類內(nèi)的一致性得到增強。類間不一致性和類內(nèi)一致性的增強使得網(wǎng)絡(luò)輸出結(jié)果中誤分割的像素點減少，以提升網(wǎng)絡(luò)的分割準(zhǔn)確率。

圖5 U-Net 和GLIA-Net 特征提取流程Fig.5 Feature extraction procedure of U-Net and GLIA-Net

從圖5 可以看出，本文提出的GLIA 模塊與殘差網(wǎng)絡(luò)的結(jié)合可以使類間不一致性和類內(nèi)一致性得到有效增強，從而在息肉分割任務(wù)中將息肉與其他組織進行明顯區(qū)分，在保持息肉邊緣分割完整的同時減少息肉內(nèi)部的誤分割，進而提升網(wǎng)絡(luò)的分割性能。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)預(yù)處理與實驗細節(jié)

本文實驗數(shù)據(jù)集采用包含胃腸道圖像的數(shù)據(jù)集Kvasir，其中訓(xùn)練集600 張，驗證集200 張，測試集200 張。為節(jié)約計算成本，本文實驗對輸入圖像進行中心裁剪，圖像尺寸為512×512 像素。本文實驗框架為Pytroch，設(shè)置的最大訓(xùn)練輪數(shù)為50，采取提前停止訓(xùn)練的策略防止過擬合現(xiàn)象的發(fā)生，采用Adam優(yōu)化方法，初始學(xué)習(xí)率為0.000 1，并且每隔5 輪訓(xùn)練將學(xué)習(xí)率降低1/2。實驗均在Quadro RTX 8000 平臺上進行訓(xùn)練測試。

2.2 評估指標(biāo)

本文引入RRVD、DDice、IIoU、VVOE、SSP、SSE、PPC、ACC評價指標(biāo)來評估網(wǎng)絡(luò)的各項性能。DDice和IIoU用于衡量相似度，DDice∈（0，1），IIoU∈（0，1），DDice和IIoU值越接近1，網(wǎng)絡(luò)分割性能越好。VVOE與RRVD用于衡量錯誤率，RRVD越接近0 代表分割性能越好。SSP表示特異性，用于衡量網(wǎng)絡(luò)對非感興趣區(qū)域的正確判斷能力，SSE表示敏感度，用于衡量網(wǎng)絡(luò)對于感興趣區(qū)域的分割性能，PPC表示準(zhǔn)確率。評價指標(biāo)如式（3）～式（9）所示：

其中：A和B分別表示預(yù)測標(biāo)簽圖和真實標(biāo)簽圖中像素值為1 的像素個 數(shù)；TTP、TTN、FFP與FFN分別表示真陽性、真陰性、假陽性與假陰性。

2.3 消融實驗

在實驗環(huán)境相同的情況下，本文對基準(zhǔn)網(wǎng)絡(luò)U-Net、增加EA 的UNet-EA 和引入GLIA 模塊的GLIA-Net進行消融實驗。本文消融實驗結(jié)果如表1 所示。從表1 可以看出，UNet-EA 網(wǎng)絡(luò)與基準(zhǔn)網(wǎng)絡(luò)U-Net 相比IoU 和Dice 平均提升5.6%和4.1%，GLIA-Net 相比于基準(zhǔn)網(wǎng)絡(luò)U-Net 的IoU 和Dice 平均提升了6.7%和5.1%，由此證明了GLIA 模塊的有效性。GLIA-Net的IoU 和Dice 分別為69.4%和80.7%，相比基準(zhǔn)網(wǎng)絡(luò)分別提升6.7%和5.1%，說明GLIA-Net 可以有效提升息肉分割的精度。

表1 消融實驗結(jié)果Table 1 Ablation experiment results %

2.4 實驗對比

為驗證本文所提網(wǎng)絡(luò)的有效性，本文將GLIA-Net與ExfuseNet［19］、SegNet［20］、ResUNet［21］等網(wǎng)絡(luò)進行對比。不同網(wǎng)絡(luò)的評價指標(biāo)對比如表2 所示，本文提出的GLIA-Net 具有較優(yōu)的性能指標(biāo)。

表2 不同網(wǎng)絡(luò)的評價指標(biāo)對比Table 2 Evaluation indexs comparison among different networks %

圖6 所示為不同網(wǎng)絡(luò)的精確度和收斂速度曲線對比，橫軸為網(wǎng)絡(luò)訓(xùn)練的輪次，縱軸為訓(xùn)練精度。從圖6 可以看出，GLIA-Net 的精確度最優(yōu)，且相比其他網(wǎng)絡(luò)能夠更快趨于水平。因此，GLIA-Net 在息肉分割精確度和收斂速度均優(yōu)于其他網(wǎng)絡(luò)。另外，U-Net被認為是醫(yī)學(xué)圖像分割中經(jīng)典的網(wǎng)絡(luò)，在本次實驗中其參數(shù)量為17.27×106，而GLIA-Net 的參數(shù)量為26.03×106，DeepLabv3+的參數(shù)量為 54.94×106，ExfuseNet 的參數(shù)量為86.07×106，SegNet 的參數(shù)量為29.44×106，R2U-Net 的參數(shù)量為39.09×106。本文提出的網(wǎng)絡(luò)在盡量減少參數(shù)的情況下提高了網(wǎng)絡(luò)計算效率且取得了更加顯著的分割效果，充分證明了GLIA-Net 在息肉分割任務(wù)中的優(yōu)越性。

圖6 不同網(wǎng)絡(luò)的精確度對比Fig.6 Precision comparison among different networks

本文在U-Net 網(wǎng)絡(luò)框架中的雙層卷積后添加GLIA 模塊，在GLIA 模塊中，高效通道注意力模塊是通道方向上特征圖關(guān)系進行建模，側(cè)重局部注意力，對通道維度上像素之間的關(guān)系進行處理。外部注意力模塊是對每一個像素點之間的關(guān)系進行建模，側(cè)重全局注意力，并處理空間維度上像素之間的關(guān)系。在兩者結(jié)合的基礎(chǔ)上，通過添加卷積操作和殘差連接，以實現(xiàn)局部與全局，通道與空間的特征圖處理。

圖7 所示為GLIA-Net、UNet++、UNet3+、Deep Labv3+網(wǎng)絡(luò)的分割結(jié)果對比（彩色效果見《計算機工程》官網(wǎng)HTML 版）。圖7 中紅色區(qū)域是網(wǎng)絡(luò)誤分割的像素點。從圖7 可以看出，在GLIA-Net 對息肉區(qū)域進行分割時，無論是息肉邊緣還是內(nèi)部區(qū)域，誤分割像素點明顯少于其他3 組網(wǎng)絡(luò)分割結(jié)果，且息肉邊緣區(qū)域的分割結(jié)果相似度更高，息肉內(nèi)部分割區(qū)域更加清晰準(zhǔn)確，沒有出現(xiàn)缺失現(xiàn)象。對息肉和腫瘤的自動分割在臨床診斷中起著重要的作用，GLIA-Net 對Kvasir 數(shù)據(jù)集上息肉的自動準(zhǔn)確分割避免了手動分割的主觀性和差異性，為放射科醫(yī)生節(jié)省大量的時間，給醫(yī)生對疾病的診斷和治療提供幫助。

圖7 不同網(wǎng)絡(luò)的分割結(jié)果Fig.7 Segmentation results of different networks

3 結(jié)束語

本文提出一種用于分割胃腸息肉的網(wǎng)絡(luò)GLIA-Net，在U-Net 編碼和解碼部分的雙層卷積后加入GLIA模塊，以捕捉圖像中息肉的各種特征信息［26］。通過GLIA 模塊提取額外的局部與全局相結(jié)合的語義信息，增強網(wǎng)絡(luò)的特征提取能力，同時在GLIA 模塊后加入殘差連接，提升網(wǎng)絡(luò)的魯棒性。在Kvasir 數(shù)據(jù)集上的實驗結(jié)果表明，GLIA-Net 在胃腸道息肉分割任務(wù)中的交并比和Dice 分別為69.4%和80.7%，相比UNet++、UNet3+、ResUNet 等網(wǎng)絡(luò)，具有較優(yōu)的分割性 能。下一步將結(jié)合Transformer［27］與U-Net，設(shè)計輕量級的息肉分割網(wǎng)絡(luò)，以提高分割準(zhǔn)確率和分割效率，有效輔助醫(yī)生對胃腸道疾病進行診斷和治療。