基于深度學(xué)習(xí)的肺癌影像輔助診斷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

摘? 要：肺癌對(duì)人類生命安全構(gòu)成巨大的威脅，因此該文針對(duì)CT圖像上出現(xiàn)的肺部結(jié)節(jié)特征不明顯、形態(tài)大小不一且邊界模糊不清的問題展開探討，并給出基于A-VNET的系統(tǒng)針對(duì)肺部結(jié)節(jié)的劃分方式。在該系統(tǒng)中設(shè)計(jì)了V-net框架，引入注意力機(jī)制，以突出某一局部位置的顯著特點(diǎn)，從而改善模型的分割特性。在LUNA16數(shù)據(jù)集上做了分割實(shí)驗(yàn)，該方法A-Vnet的F1分?jǐn)?shù)比V-Net高2%，顯著地提升了肺結(jié)節(jié)的分割精度。

關(guān)鍵詞：V-Net；注意力機(jī)制；LUNA16；肺結(jié)節(jié)

中圖分類號(hào)：TP391；R734.2? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）04-0032-04

Design and Implementation of Lung Cancer Image Auxiliary Diagnosis System

Based on Deep Learning

LIU Mengjie

（Taiyuan Normal University， Jinzhong? 030619， China）

Abstract： Lung cancer poses a great threat to human life safety. Therefore， this paper discusses the problems of unclear features， different shapes and sizes， and blurred boundaries of lung nodules on CT images， and gives the classification method of lung nodules by A-VNET-based system. V-net framework is designed in the system， and Attention Mechanism is introduced to highlight the salient features of a local location， so as to improve the segmentation characteristics of the model. A segmentation experiment is conducted on LUNA16 dataset. The F1 score of A-Vnet is 2% higher than that of V-Net， which significantly improves the segmentation accuracy of lung nodules.

Keywords： V-Net; Attention Mechanism; LUNA16; lung nodule

0? 引? 言

每年有數(shù)百萬人死于肺癌。肺結(jié)節(jié)是肺癌的早期征兆。對(duì)于肺癌患者來說，早期的肺結(jié)節(jié)檢測和分割有重要意義。為了支持肺癌的診斷和治療，推動(dòng)對(duì)CT圖像上肺結(jié)節(jié)檢測的研究非常重要。然而CT影像數(shù)量日益劇增，而具有豐富臨床經(jīng)驗(yàn)的醫(yī)生數(shù)量卻不多，導(dǎo)致醫(yī)生超負(fù)荷工作，這不僅導(dǎo)致了醫(yī)生壓力的增大，也增大了肺癌的誤診率。為了解決這一棘手問題，計(jì)算機(jī)輔助的肺癌診斷系統(tǒng)應(yīng)運(yùn)而生。但傳統(tǒng)的模型由于CT影像中肺結(jié)節(jié)體積小、形狀大小不一、邊緣模糊的特點(diǎn)，現(xiàn)有的方法難以提取邊緣特征的信息，導(dǎo)致后續(xù)的分割精度難以提高。

目前，結(jié)節(jié)的分割主要有兩種方式：傳統(tǒng)方法和深度學(xué)習(xí)兩種方法。由于傳統(tǒng)方法由于對(duì)人工依賴性較強(qiáng)。并且對(duì)于密度不均、邊界模糊的肺結(jié)節(jié)分割效果不夠精準(zhǔn)的原因，研究者們開始致力于深度學(xué)習(xí)方法對(duì)肺結(jié)節(jié)進(jìn)行分割的研究。2014年，Berkeley團(tuán)隊(duì)提出了完全卷積網(wǎng)絡(luò)（Full Curvation Network， FCN），緊接著圖像分割任務(wù)中就推廣使用了這種端對(duì)端的神經(jīng)網(wǎng)絡(luò)。2015年，Thomas Brox等人設(shè)計(jì)出U-net模型，它是一種對(duì)稱的編解碼模型，在醫(yī)學(xué)影像的分割上有很好的效果。2016年，RefineNet橫空出世，使用殘差連接在降低參數(shù)量的前提下，提高了分割的精確度。2019年，F(xiàn)austo Milletari將殘差網(wǎng)絡(luò)和3D U-net相結(jié)合，提出了三維圖像分割網(wǎng)絡(luò)Vnet。

綜上所訴，現(xiàn)有方法在對(duì)肺結(jié)節(jié)的分割過程中主要追求的是高精度，但往往因?yàn)榉指罹W(wǎng)絡(luò)的分割特性無法保留肺結(jié)節(jié)邊緣的結(jié)構(gòu)特征，而邊緣信息的完整性對(duì)后續(xù)分割有著重要影響。因此，本文期望研究出一種可以保留更多邊緣信息的端到端分割模型，從而進(jìn)行更高效準(zhǔn)確的肺結(jié)節(jié)分割。

1? 研究方法

1.1? 論文主要研究內(nèi)容

針對(duì)肺傳統(tǒng)肺結(jié)節(jié)分割模型精度低的問題，結(jié)合醫(yī)學(xué)影像數(shù)據(jù)集樣本數(shù)量小，且正負(fù)樣本數(shù)量不平衡的特征，本文選擇在醫(yī)學(xué)影像分割領(lǐng)域取得良好效果并且網(wǎng)絡(luò)深度較淺的V-Net模型進(jìn)行深入學(xué)習(xí)。由于V-Net的編解碼對(duì)稱結(jié)構(gòu)，可以很好的兼顧高層抽樣的特征信息和底層信息，可以在一定程度上幫助我們解決體積小、形狀多變的所導(dǎo)致的分割困難問題。由于肺結(jié)節(jié)邊緣模糊常與其他組織粘連的特點(diǎn)，僅僅使用原始的V-Net網(wǎng)絡(luò)，并不能達(dá)到令人滿意的分割精度，并且還可能會(huì)導(dǎo)致梯度消失結(jié)節(jié)提取不完全。

為了進(jìn)一步提高分割精度，本文在V-Net基礎(chǔ)上做出改進(jìn)，設(shè)計(jì)出一種可以自動(dòng)關(guān)注分割重點(diǎn)的A-Vnet網(wǎng)絡(luò)，即引入了Attention機(jī)制的V-Net網(wǎng)絡(luò)。在本文中，注意力機(jī)制被用于網(wǎng)絡(luò)的連接跳過部分，以提取上下文信息并抑制特征圖中的不相關(guān)區(qū)域。突出某一與目標(biāo)區(qū)域相關(guān)的局部區(qū)域的特征，極大地減少了假陽性，有效的提升了分割精度。

1.2? 相關(guān)工作

1.2.1? 肺結(jié)節(jié)分割過程框架

本文使用的肺結(jié)節(jié)分割過程如圖1所示。將數(shù)據(jù)進(jìn)行預(yù)處理再輸入模型。首先，提取肺節(jié)點(diǎn)掩碼圖，再通過肺結(jié)節(jié)掩膜提取肺結(jié)節(jié)實(shí)質(zhì)，剔除無關(guān)的背景以及其他組織區(qū)域。來自不同機(jī)器的數(shù)據(jù)會(huì)產(chǎn)生不同的體素間距，對(duì)所有切片厚度不小于1 mm的CT圖像進(jìn)行重采樣操作。對(duì)等間隔處理后的數(shù)據(jù)進(jìn)行歸一化處理。論文還捕捉到了圖像的三維體積。圖中的肺結(jié)節(jié)至少包含一個(gè)。體積塊大小為96×96×16（長×寬×深）最后，將幾個(gè)體積塊插入模型網(wǎng)格中，網(wǎng)格輸出相同大小的二值分割結(jié)果。

1.2.2? A-Vnet網(wǎng)絡(luò)結(jié)構(gòu)

由于醫(yī)學(xué)影像數(shù)據(jù)集中樣本較少的特點(diǎn)，在訓(xùn)練時(shí)使用過深的網(wǎng)絡(luò)，不僅容易出現(xiàn)過擬合現(xiàn)象，還面臨梯度消失的難題。因此本文采用模型深度較淺的V-Net網(wǎng)絡(luò)作為基礎(chǔ)模型。V-Net網(wǎng)絡(luò)作為一個(gè)整體是對(duì)稱的編碼器-解碼器。網(wǎng)絡(luò)的左側(cè)為Encoder，在輸入原始圖像后，Encoder通過逐層卷積提取其特征。為了保留更多的邊緣信息，本文拋棄了傳統(tǒng)網(wǎng)絡(luò)中的層池化，選擇用帶步長的卷積核進(jìn)行下采樣。經(jīng)過下采樣后的特征圖，豐富了通道信息但分辨率減半，輸入給下一層的編碼模塊。原始CT圖像在編碼器部分經(jīng)過多次下采樣操作，得到一個(gè)具有豐富高維特征信息的特征圖。網(wǎng)絡(luò)右側(cè)是一個(gè)Decoder，將Encoder中經(jīng)過多次下采樣的特征圖作為其輸入，并對(duì)其進(jìn)行上采樣以恢復(fù)Encoder中下采樣操作丟失的特征信息，并且使用反卷積重采樣擴(kuò)展了特征圖的分辨率并降低了通道維度。Decoder需要對(duì)特征圖進(jìn)行與Encoder下采樣次數(shù)相同的多次上采樣，并且每一層生成的特征圖與Encoder對(duì)應(yīng)的特征圖拼接。這樣的步驟可以補(bǔ)充下采樣所導(dǎo)致?lián)p失的大量邊緣特征信息，對(duì)提高后續(xù)分割精度有正面影響。

在A-VNet的解碼器的每一階段都包括了多次卷積操作，為了保護(hù)細(xì)節(jié)信息網(wǎng)絡(luò)加入了殘差塊結(jié)構(gòu)，起到了原始特征信息恒等映射的作用，每一個(gè)解編碼塊的階段輸入，都會(huì)添加到該階段的卷積層輸出，使輸入的特征圖信息被輸入到更高層的網(wǎng)絡(luò)中。V-Net對(duì)于醫(yī)學(xué)影像的特征提取有良好效果，但靈敏度不夠，并且肺結(jié)節(jié)的形狀和尺寸多變，因此，本文增加了注意力用來抑制不相關(guān)區(qū)域，突出針對(duì)肺結(jié)節(jié)分割任務(wù)的相關(guān)區(qū)域的特征，整體設(shè)計(jì)如圖2所示。深度路線上每一層都需要將解碼器輸出的特征信息和上一層編碼部分的特征信息通過連接結(jié)合起來。

該網(wǎng)絡(luò)不僅通過編解碼器生成相結(jié)合的特征圖，兼顧深度抽象的特征信息和底層特征信息，而且同時(shí)加入注意力機(jī)制過濾跨層連接傳遞來的信息，抑制與分割任務(wù)不相關(guān)的背景區(qū)域的特征的響應(yīng)，它解決了網(wǎng)絡(luò)無法對(duì)長距離的上下文交互和空間依賴性進(jìn)行建模的問題。

1.2.3? Attention機(jī)制模塊

注意機(jī)制深受大腦視覺注意機(jī)理的影響，其本質(zhì)是讓網(wǎng)絡(luò)能夠自動(dòng)的對(duì)重點(diǎn)信息加強(qiáng)，并抑制無關(guān)信息。Google團(tuán)隊(duì)通過在RNN模型中添加了Attention模塊，進(jìn)行了圖像識(shí)別工作，使Attention的機(jī)理受到了大量研究人員的重視。后來，Bahdanau也將類似的注意力機(jī)理運(yùn)用到了機(jī)器翻譯中，將該理論推上了頂峰。

本文考慮到Attention機(jī)制參數(shù)少、速度快、并且可以分配權(quán)重的優(yōu)點(diǎn)，結(jié)合分割任務(wù)中大部分像素是背景以及其他組織區(qū)域的像素，以及目標(biāo)區(qū)域即肺結(jié)節(jié)只占小部分像素的特點(diǎn)。將其結(jié)合在V-net網(wǎng)絡(luò)的跳躍連接部分，利用其可以分配權(quán)重來抑制不相關(guān)特征信息的特點(diǎn)針對(duì)肺結(jié)節(jié)邊界模糊所造成的致使特征圖在噪聲較多的問題，通過對(duì)肺結(jié)節(jié)類特征和使其他組織類的特征采用不同權(quán)重分配的方法，讓肺結(jié)節(jié)類的特征被模型重點(diǎn)學(xué)習(xí)，而注意力機(jī)制的具體結(jié)構(gòu)如圖3所示。

該注意力模塊在模型中一共有四處，每一處的注意力機(jī)制都需要被輸入解碼器上一層的輸出的特征圖g和解碼器部分輸出的特征圖 。由圖3可知，注意力模塊分為3個(gè)部分：首先需要對(duì)特征圖g和特征圖xl用1×1×1卷積核進(jìn)行卷積操作，通道維度被擠壓后得到Wl和Wl-1特征。然后，對(duì)其相加后經(jīng)過Relu層和sigmoid激活函數(shù)，讓權(quán)值固定在0～1之間，就得到了注意力權(quán)值矩陣α，即注意力系數(shù)。最后，將特征圖g和特征圖xl通過與α點(diǎn)乘，得到了一個(gè)包含特征信息重要程度的特征圖。該特征圖中加強(qiáng)了對(duì)分割任務(wù)貢獻(xiàn)度大的特征，抑制了不相關(guān)區(qū)域的特征，對(duì)分割結(jié)果有正向作用。

1.2.4? 損失函數(shù)

為使訓(xùn)練更傾向于目標(biāo)挖掘，損失函數(shù)的選擇必須考慮到醫(yī)學(xué)影像數(shù)據(jù)集中分割目標(biāo)和非目標(biāo)區(qū)域的不平衡分布情況，應(yīng)當(dāng)選用可以抑制這種不平衡數(shù)據(jù)的損失函數(shù)。而dice loss的求值過程中，對(duì)預(yù)測結(jié)果和實(shí)際結(jié)果求交并集的操作，可以視為一個(gè)將無關(guān)背景區(qū)域屏蔽掉的掩碼操作，具有解決圖像不均衡問題的能力，尤為適合目標(biāo)過小的肺結(jié)節(jié)分割。計(jì)算公式如式（1）所示：

（1）

其中，|X∩Y|表示模型輸出的預(yù)測的肺結(jié)節(jié)分割圖像與真實(shí)肺結(jié)節(jié)圖像的交集，|X|和|Y|分別表示每個(gè)表示預(yù)測的肺結(jié)節(jié)分割圖像中的像素個(gè)數(shù)和真實(shí)肺結(jié)節(jié)圖像中的像素個(gè)數(shù)。

2? 結(jié)果與分析

2.1? 實(shí)驗(yàn)數(shù)據(jù)

本試驗(yàn)的數(shù)據(jù)來自肺結(jié)節(jié)檢測數(shù)據(jù)集LUNA16，選取每位病人的CT圖像中包含肺結(jié)節(jié)區(qū)域的3張連續(xù)切片作為訓(xùn)練的正樣本，其他不包含肺結(jié)節(jié)的切片作為負(fù)樣本。在預(yù)處理階段，為了突出肺結(jié)節(jié)實(shí)質(zhì)，我們需要對(duì)原始的CT圖像進(jìn)行直方圖均值化、二值化、數(shù)學(xué)形態(tài)學(xué)處理以生成掩膜，再通過肺結(jié)節(jié)掩膜提取出ROI圖像，獲得對(duì)應(yīng)于肺CT數(shù)據(jù)塊中肺結(jié)節(jié)的標(biāo)簽。將數(shù)據(jù)集按照8：2分為訓(xùn)練集和測試集。

該數(shù)據(jù)集注釋了有關(guān)肺結(jié)節(jié)的位置和直徑等信息。根據(jù)CT圖像的特定結(jié)構(gòu)，針對(duì)LUNA16數(shù)據(jù)集，在不發(fā)生變形的前提下，對(duì)訓(xùn)練集中的肺結(jié)節(jié)圖像使用反轉(zhuǎn)和平移等方式進(jìn)行數(shù)據(jù)增強(qiáng)。由于本次分割任務(wù)的目標(biāo)肺結(jié)節(jié)體積過小，但與分割任務(wù)不相關(guān)的背景區(qū)域卻占據(jù)了很大比例，使正負(fù)樣本數(shù)量進(jìn)一步出現(xiàn)不平衡現(xiàn)象。因此除了通過數(shù)據(jù)增強(qiáng)增加正樣本數(shù)據(jù)量，還要對(duì)數(shù)據(jù)進(jìn)行裁剪，裁剪掉無關(guān)的背景區(qū)域，以減少干擾。

2.2? 實(shí)驗(yàn)參數(shù)

在肺結(jié)節(jié)分割的訓(xùn)練過程中，訓(xùn)練迭代次數(shù)（epochs）設(shè)置為2 800。由于Adam算法可以自適應(yīng)調(diào)整學(xué)習(xí)速度的大小，對(duì)計(jì)算機(jī)內(nèi)存要求不高，且用其作為優(yōu)化器可以使模型的訓(xùn)練速度得到有效提高，因此，本文采用優(yōu)化算法訓(xùn)練Adam模型，初始學(xué)習(xí)率設(shè)置為0.001。圖4給出了本節(jié)實(shí)驗(yàn)的肺結(jié)節(jié)分割的效果圖，其中圖4（a）是模型的損失下降圖，圖4（b）是模型精確度的上升圖。從圖4（a）可以看出，訓(xùn)練在1 100個(gè)epoch之后，損失下降速度明顯變慢，在1 200個(gè)epoch之后逐漸趨于平穩(wěn)不再下降。本實(shí)驗(yàn)采用提前終止策略，驗(yàn)證期間損失最小的模型被選為最優(yōu)模型。

2.3? 實(shí)驗(yàn)結(jié)果

肺結(jié)節(jié)提取的最終結(jié)果成為正確分割肺結(jié)節(jié)像素的依據(jù)，為了總結(jié)分割模型的預(yù)測結(jié)果，本文采用基于混淆矩陣的精度評(píng)價(jià)指標(biāo)。對(duì)真實(shí)的分類類別和模型的預(yù)測值進(jìn)行分類。對(duì)類別進(jìn)行匯總，混淆矩陣如表1所示。

在肺結(jié)節(jié)的實(shí)際檢測中，選擇F1-score和recall speed作為檢測準(zhǔn)確率的評(píng)價(jià)標(biāo)準(zhǔn)，表1中正類代表肺結(jié)節(jié)，負(fù)類代表背景。其中：

（1）準(zhǔn)確度（precision）指準(zhǔn)確分類為肺結(jié)節(jié)的樣本數(shù)量與分類為肺結(jié)節(jié)的樣本數(shù)量之比，即預(yù)測樣本為真肺結(jié)節(jié)的比例。其計(jì)算方法如式（2）：

（2）

（2）召回率（Recall）表示分類為肺結(jié)節(jié)的樣本數(shù)量與測試集中實(shí)際分類為肺結(jié)節(jié)的樣本數(shù)量之比，即測試集中正確分類的肺結(jié)節(jié)類別的數(shù)量，計(jì)算方法如式（3）：

（3）

（3）F1-分?jǐn)?shù)是兼顧上述兩指標(biāo)的分割指標(biāo)，使兩個(gè)指標(biāo)在平衡狀態(tài)下同時(shí)達(dá)到最高，計(jì)算方法如式（4）：

（4）

圖5展示了使用A-Vnet網(wǎng)絡(luò)進(jìn)行肺結(jié)節(jié)分割的分割效果，其中圖5（a）展示的16個(gè)肺結(jié)節(jié)尺寸各異，是只經(jīng)過預(yù)處理后的原始肺部CT圖像，將其輸入本文所提出的改進(jìn)網(wǎng)絡(luò)A-Vnet分割網(wǎng)絡(luò)后，得出的分割結(jié)果如圖5（b）所示。該檢測結(jié)果直接明了地展示了A-Vnet對(duì)于小目標(biāo)肺結(jié)節(jié)分割效果，不僅對(duì)不同尺寸的肺結(jié)節(jié)具有很高的敏感性，并能很好地處理邊緣分割。為了比較肺結(jié)節(jié)分割效果，驗(yàn)證在最優(yōu)值下，本文改進(jìn)的網(wǎng)絡(luò)比其他網(wǎng)絡(luò)具有更多的優(yōu)勢。比較、分析他們的F1-score和recall，結(jié)果如表2所示，我們模型的F1系數(shù)達(dá)到了85.5%，召回率提高到了91.4%。

3? 結(jié)? 論

針對(duì)現(xiàn)存的肺結(jié)節(jié)分割網(wǎng)絡(luò)中無法有效利用各層特征信息的問題，本文對(duì)比研究了Attention機(jī)制對(duì)肺部結(jié)節(jié)分割性能的影響，設(shè)計(jì)出了一種具有分配權(quán)重功能的編解碼網(wǎng)絡(luò)A-Vnet。在LUNA16數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相比于其他算法，A-Vnet網(wǎng)絡(luò)的F1-分?jǐn)?shù)提高了2%，召回率提高到了91.4%，較為客觀的說明了該模型的精確度。在下一階段將采用Transformer的圖像配準(zhǔn)方法，用Transformer提取全局和局部特征以生成變形場，得到端到端的肺結(jié)節(jié)分割模型。

參考文獻(xiàn)：

[1] 周清華，范亞光，王穎，等.中國肺部結(jié)節(jié)分類、診斷與治療指南：2016年版 [J].中國肺癌雜志，2016，19（12）：793-798.

[2] ARMATO S G，GIGER M L，MORAN C J，et al. Computerized detection of pulmonary nodules on CT scans [J].Radiographics，1999，19（5）：1303-1311.

[3] 魏穎，徐心和，賈同，等.基于多尺度形態(tài)學(xué)濾波的 CT圖像疑似肺結(jié)節(jié)提取 [J].東北大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，29（3）：312-315.

[4] 劉慧，張彩明，鄧凱，等.改進(jìn)局部自適應(yīng)的快速 FCM 肺結(jié)節(jié)分割方法 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（10）：1727-1736.

[5] 陳業(yè)航，李智，馮寶，等.基于改進(jìn)的活動(dòng)輪廓模型的胸膜接觸型肺結(jié)節(jié)分割 [J].儀器儀表學(xué)報(bào)，2019，40（11）：107-116.

[6] MILLETARI F，NAVAB N，AHMADI S A. V-Net： Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation [C]//2016 Fourth International Conference on 3D Vision（3DV）.Stanford：IEEE，2016：565-571.

[7] 高慧明.基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)檢測及良惡性分類方法研究 [D].太原：太原理工大學(xué)，2019.

[8] MNIH V，HEESS N，GRAVES A，et al. Recurrent Models of Visual Attention [J/OL].? arXiv：1406.6247 [cs.LG].[2022-09-18].https：//arxiv.org/abs/1406.6247v1.

[9] OKTAY O，SCHLEMPER J，F(xiàn)OLGOC L L，et al. Attention U-Net： Learning Where to Look for the Pancreas [J/OL].arXiv：1804.03999 [cs.CV].[2022-09-18].https：//arxiv.org/abs/1804.03999.

[10] 陳銘，梅雪，朱文俊，等.一種新型MobileUnet網(wǎng)絡(luò)的肺結(jié)節(jié)圖像分割方法 [J].南京工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，44（1）：76-81+91.

[11] 李傳林，黃風(fēng)華，胡威，等.基于Res＿AttentionUnet的高分辨率遙感影像建筑物提取方法 [J].地球信息科學(xué)學(xué)報(bào)，2021，23（12）：2232-2243.

[12] 門靖茹，王澤榮，張富春，等.基于多尺度改進(jìn)的V-Net肺結(jié)節(jié)分割方法研究 [J].延安大學(xué)學(xué)報(bào)：自然科學(xué)版，2022，41（1）：115-120.

[13] 高一鳴.基于Gmac模型的肺結(jié)節(jié)分割 [D].武漢：華中科技大學(xué)，2011.

作者簡介：劉夢潔（1997—），女，漢族，河南南陽人，碩士研究生在讀，研究方向：圖像處理。

收稿日期：2022-10-03