基于密集殘差連接的肺結(jié)節(jié)檢測方法*

胥 陽，佘青山*，楊 勇，張建海

(1.杭州電子科技大學(xué)自動化學(xué)院(人工智能學(xué)院)，浙江 杭州 310018；2.浙江省腦機(jī)協(xié)同智能重點(diǎn)實(shí)驗室，浙江 杭州 310018)

癌癥是對人生命健康的一大威脅，其中，肺癌是一種發(fā)病率與致死率較高的癌癥[1]。肺癌的癥狀在早期并不明顯，當(dāng)發(fā)現(xiàn)較為明顯的癥狀時，病人的肺癌已到中后期，此時病人的肺癌治愈率已大幅降低，基本無法治愈。因此，在肺癌的早期發(fā)現(xiàn)肺癌的癥狀并治愈肺癌顯得十分重要。在肺癌早期，肺癌的癥狀以肺部出現(xiàn)結(jié)節(jié)為特征，這些結(jié)節(jié)的大小不一；其形狀也各不相同，有實(shí)性結(jié)節(jié)、部分實(shí)性結(jié)節(jié)、磨玻璃結(jié)節(jié)；結(jié)節(jié)的位置也不一定，有的在肺內(nèi)部與其他組織沒有接觸，有的附著在肺內(nèi)部的血管與組織上，有的在肺的內(nèi)表面上。醫(yī)學(xué)上對肺結(jié)節(jié)的檢測多使用計算機(jī)斷層掃描(Computed Tomography，CT)[2]來對肺部成像，再由有經(jīng)驗的醫(yī)師查看肺部的CT 圖像判斷病人肺部是否含有結(jié)節(jié)。由于CT掃描的成像特點(diǎn)是會形成大量的肺部掃描切片，查看肺部的CT 成像對醫(yī)師來說是一個很大的挑戰(zhàn)[3]。

隨著計算機(jī)技術(shù)的發(fā)展，計算機(jī)輔助診斷(Computer Aided Diagnosis，CAD)[4]應(yīng)運(yùn)而生，計算機(jī)輔助診斷系統(tǒng)通過運(yùn)行特定程序幫助醫(yī)生查看CT 圖像，緩解了醫(yī)生負(fù)擔(dān)[5]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以及深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域的進(jìn)步[6-11]，使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[6]分析醫(yī)學(xué)圖像已成為一種趨勢[12-13]。在使用深度學(xué)習(xí)檢測肺結(jié)節(jié)的領(lǐng)域，已有許多學(xué)者提出了很多優(yōu)秀的方法，這些方法在結(jié)構(gòu)上可以大體分為兩大類:一類是端到端的，利用單個網(wǎng)絡(luò)完成對CT 圖像中肺結(jié)節(jié)的檢測；另一類是使用兩個網(wǎng)絡(luò)，第一個網(wǎng)絡(luò)檢測肺結(jié)節(jié)，由于單個網(wǎng)絡(luò)檢測出的肺結(jié)節(jié)含有較多的假陽結(jié)節(jié)，然后通過第二個網(wǎng)絡(luò)去掉這些假陽結(jié)節(jié)，降低結(jié)果的假陽性[14]。鑒于CT圖像的3 維特性，許多方法使用3D CNN 檢測肺結(jié)節(jié)。對比研究表明，基于3D CNN 的檢測肺結(jié)節(jié)方法在精度上優(yōu)于2D CNN 方法[15]。Setio 等[16]提出一種多個視角的肺結(jié)節(jié)檢測網(wǎng)絡(luò)，將肺結(jié)節(jié)不同方向的2 維切片輸入網(wǎng)絡(luò)，將結(jié)果融合輸出以檢測肺結(jié)節(jié)。Song 等[17]提出的中心匹配策略的肺結(jié)節(jié)檢測網(wǎng)絡(luò)，無需設(shè)計邊界框的參數(shù)，可以自動檢測肺結(jié)節(jié)的大小與位置。Kim 等[18]提出一種端到端的多尺度漸進(jìn)方法，通過學(xué)習(xí)肺結(jié)節(jié)不同上下文級別的多尺度特征檢測肺結(jié)節(jié)。Ding 等[19]提出使用Faster R-CNN 算法檢測肺結(jié)節(jié)，在網(wǎng)絡(luò)中加入反卷積結(jié)構(gòu)，檢測CT 掃描軸向切片上的肺結(jié)節(jié)。Zhu等[20]提出了一個端到端的一階段的肺結(jié)節(jié)檢測模型，通過在U-Net 框架上融入提出的雙路模塊檢測肺結(jié)節(jié)。Liao 等[5]引入泄露噪聲或門(Leaky Noisy-OR Gate)的機(jī)制檢測肺結(jié)節(jié)，基于檢測結(jié)果的置信度選擇前五個結(jié)節(jié)，并通過區(qū)域建議網(wǎng)絡(luò)得出結(jié)節(jié)信息。Harsono 等[21]提出了結(jié)合遷移學(xué)習(xí)得到的RetinaNet 網(wǎng)絡(luò)，用于肺結(jié)節(jié)檢測與分類。

以這些檢測網(wǎng)絡(luò)為代表的肺結(jié)節(jié)檢測方法，在計算機(jī)輔助診斷肺結(jié)節(jié)方面都取得了較好的進(jìn)步，但這些肺結(jié)節(jié)檢測方法多為順序堆疊卷積核的卷積網(wǎng)絡(luò)，在檢測網(wǎng)絡(luò)中沒有實(shí)現(xiàn)對肺結(jié)節(jié)特征的復(fù)用，并且不同深度間的特征沒有信息交流，從而對肺結(jié)節(jié)檢測準(zhǔn)確率低[22]。對此，本文提出基于密集殘差連接的肺結(jié)節(jié)檢測模型。本模型在3D U-Net 網(wǎng)絡(luò)[23]中引入密集連接、殘差連接與注意力機(jī)制[24]，實(shí)現(xiàn)檢測網(wǎng)絡(luò)對肺結(jié)節(jié)特征的充分利用，實(shí)現(xiàn)對肺結(jié)節(jié)特征的多尺度提取，提高對結(jié)節(jié)特征的利用效率，從而提高肺結(jié)節(jié)的檢測精度，解決肺結(jié)節(jié)檢測結(jié)果假陽率高的問題。

1 數(shù)據(jù)集與方法

1.1 數(shù)據(jù)集

本文實(shí)驗選擇的數(shù)據(jù)集為LUNA16 數(shù)據(jù)集[25]。LUNA16 數(shù)據(jù)集包含888 份CT 圖像與1 186 個有標(biāo)注結(jié)節(jié)，這些結(jié)節(jié)標(biāo)注文件由3 到4 位醫(yī)生共同認(rèn)定。數(shù)據(jù)集中CT 圖像的切片厚度小于2.5 mm，分辨率為0.46 mm～0.98 mm。此數(shù)據(jù)集中，結(jié)節(jié)的直徑分布為3 到30 mm，但多集中于3 mm～10 mm 內(nèi)。

1.1.1 數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集中原始的肺部CT 掃描圖像中不僅包含肺結(jié)節(jié)檢測區(qū)域的肺實(shí)質(zhì)，同時還包括肺部周圍的其他無關(guān)組織。為節(jié)約計算資源，提高檢測效率，在檢測結(jié)節(jié)之前需要利用圖像形態(tài)學(xué)的方法將關(guān)組織去除。處理肺實(shí)質(zhì)包括以下幾個步驟:

步驟1 由于模型檢測所用到的CT 圖像是由不同掃描儀器得到，為了消除不同CT 圖像間的差異，重采樣所有CT 圖像的體素到1 mm×1 mm×1 mm。

步驟2 根據(jù)人體組織CT 掃描成像的特點(diǎn)，將CT 圖像的亨氏單位(Hounsfield Unit，HU)閾值按數(shù)值保留[-1200，600]區(qū)間的數(shù)據(jù)，超出此區(qū)間的體素則一律填充-1 200 或600。將圖像8 位數(shù)字圖像數(shù)據(jù)歸一化到0 到255。

步驟3 將CT 圖像對應(yīng)掩碼膨脹，對CT 圖像使用新掩碼后，將掩碼外數(shù)據(jù)統(tǒng)一設(shè)置為170，表示肺實(shí)質(zhì)的外部為水。

步驟4 得到處理后的肺實(shí)質(zhì)，以*.npy 文件形式保存。

肺實(shí)質(zhì)處理前后CT 圖像變化的一個例子如圖1所示。圖1 中，第一行為原始的CT 圖像，第二行為處理后的CT 圖像?？梢钥闯?，在經(jīng)過了一系列處理后，CT 圖像去除了肺實(shí)質(zhì)以外的無關(guān)區(qū)域與組織，同時增強(qiáng)了肺實(shí)質(zhì)內(nèi)部細(xì)節(jié)，使得CT 圖像更加清晰，便于檢測。

圖1 肺實(shí)質(zhì)處理前后對比圖

1.2 基于密集連接的肺結(jié)節(jié)檢測方法

在基于深度學(xué)習(xí)的肺結(jié)節(jié)檢測網(wǎng)絡(luò)中，大多為全卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)使用卷積核對特征圖卷積得出需要的結(jié)節(jié)信息。肺結(jié)節(jié)檢測模型多以U-Net 網(wǎng)絡(luò)為主干，采用卷積與下采樣，逐步提取低維到高維的特征，利用轉(zhuǎn)置卷積將特征圖恢復(fù)到適合的尺寸，最后得出對應(yīng)的結(jié)節(jié)信息。然而這種模型計算量大并且不能復(fù)用網(wǎng)絡(luò)中大量的肺結(jié)特征，同時，堆疊普通卷積核在模型網(wǎng)絡(luò)深度很深時會出現(xiàn)梯度消失的問題[22]，這會導(dǎo)致網(wǎng)絡(luò)無法進(jìn)行反向傳播，無法訓(xùn)練。He 等[26]在 2016 年提出殘差網(wǎng)絡(luò)(Residual Network，ResNet)模型，模型的核心思想為在普通卷積層前后增加一路快捷連接，卷積層的輸出與快捷連接的輸出在元素層面相加作為ResNet 的輸出，通過增加快捷連接通路，在原有的卷積層出現(xiàn)梯度消失的情況下網(wǎng)絡(luò)仍然能夠傳播。但是ResNet 的殘差連接依舊是對輸入的特征采取順序操作，沒有能夠充分地利用不同深度的特征。Huang 等[27]在2017 年提出一個全新的名為密集網(wǎng)絡(luò)(Densely Connected Convolutional Network，DenseNet)的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)可以將各個層的特征利用起來，使用拼接操作將之前各個層的特征作為下一層的輸入，這種方式充分地利用不同層的特征，其數(shù)學(xué)表達(dá)為

式中:hi[·]表示第i層的拼接操作，xi，i＝1，2，…，n表示特征圖。

鑒于密集連接與殘差連接各自的優(yōu)點(diǎn)，本文提出結(jié)合密集連接與殘差連接同時融入注意力機(jī)制的密集殘差模塊。

1.2.1 密集殘差模塊

為了提高網(wǎng)絡(luò)中對結(jié)節(jié)特征的利用效率，本文提出了一個由密集連接、殘差連接與注意力機(jī)制構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。在主干通路上有3 組3D 卷積，卷積核大小為3，每組卷積塊包含卷積層、歸一化層與線性整流單元(Rectified Linear Units，ReLU)。3 組卷積塊采用密集連接的方式輸入，卷積塊之前各層卷積塊的輸出拼接后作為下一個卷積塊的輸入，圖中曲線箭頭表示各個層的特征圖。三個卷積塊后是注意力結(jié)構(gòu)，注意力結(jié)構(gòu)可以對特征圖進(jìn)行權(quán)重分配，增加與結(jié)節(jié)檢測相關(guān)的特征圖的權(quán)重，減小與結(jié)節(jié)檢測無關(guān)的特征圖的權(quán)重。經(jīng)過權(quán)重分配的特征圖與傳入密集模塊的初始特征圖在元素層面相加后作為密集模塊的輸出。

圖2 密集殘差模塊

密集模塊中的注意力結(jié)構(gòu)具體見圖3，在通道維度上使用全局平均池化(Global Average Pooling，GAP)壓縮輸入的特征圖到通道維度的向量，然后經(jīng)過兩層全連接層(Fully Connected Layers，F(xiàn)C)學(xué)習(xí)得到注意力系數(shù)，使用Sigmoid 激活函數(shù)將系數(shù)映射到0 到1 的范圍，最后得到一組與輸入特征圖通道數(shù)對應(yīng)的注意力系數(shù)。注意力系數(shù)與輸入的特征圖在通道維度相乘，得到注意力權(quán)重分配后的特征圖。

1.2.2 肺結(jié)節(jié)檢測網(wǎng)絡(luò)

肺結(jié)節(jié)檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，網(wǎng)絡(luò)的主要部分可分為數(shù)據(jù)預(yù)處理、特征提取與檢測。特征圖左下角為特征圖大小，右上角為通道數(shù)。由于檢測的CT 圖片的通道數(shù)為1，不便于深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征提取，利用數(shù)據(jù)預(yù)處理塊提升通道，便于后續(xù)提取特征。特征提取模塊利用搭建的針對性的網(wǎng)絡(luò)結(jié)構(gòu)提取結(jié)節(jié)特征。檢測模塊可以輸出特定的數(shù)據(jù)格式，得到輸入CT 圖像中肺結(jié)節(jié)位置與概率信息。

圖4 肺結(jié)節(jié)檢測網(wǎng)絡(luò)

如圖4 所示，網(wǎng)絡(luò)的輸入是在肺實(shí)質(zhì)中截取的包含肺結(jié)節(jié)的3 維CT 圖像塊，圖像塊的邊長為96。數(shù)據(jù)預(yù)處理塊包含2 個核大小為3 的3D 卷積層，兩個卷積層的層數(shù)都為24。特征提取模塊在傳統(tǒng)的3D U-Net 網(wǎng)絡(luò)即編碼解碼結(jié)構(gòu)的基礎(chǔ)上改進(jìn)，使用1.2.1 提出的密集殘差模塊代替普通卷積塊。

編碼部分由4 個核大小為2 的3D 最大池化層與4 組密集殘差模塊交錯排列組成，前兩組分別包含2 個密集殘差塊，后兩組分別包含3 個密集殘差塊。解碼部分為兩組核大小為2 的3D 轉(zhuǎn)置卷積層與2 組密集殘差組交錯排列，兩組密集殘差組中均包含2 個密集殘差塊。采用跳躍連接方式連接編碼部分與解碼部分，在編碼部分的第二組與第三組密集殘差模塊的輸出與解碼部分的第二組與第一組轉(zhuǎn)置卷積層輸出拼接。同時為了融合網(wǎng)絡(luò)中的不同深度與尺度的特征信息，在跳躍連接處設(shè)置特征信息增強(qiáng)機(jī)制，具體為編碼部分第二組密集殘差模塊的輸出與第三組密集殘差模塊的輸出經(jīng)轉(zhuǎn)置卷積后拼接，然后經(jīng)過一包含3 個密集殘差塊的密集殘差組，共同作為第二組密集殘差模塊的跳躍連接與解碼部分相連接。特征提取模塊后接Dropout 操作，以0.5的概率對網(wǎng)絡(luò)隨機(jī)失活以降低網(wǎng)絡(luò)過擬合。檢測模塊包含兩個核大小為1 的3D 卷積層，通道數(shù)為64與15。受區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)[10]啟發(fā)，在網(wǎng)絡(luò)中，特征圖的每個位置上都有3 個不同大小的邊界框，邊界框的長度根據(jù)結(jié)節(jié)直徑的分布確定，分別為5 mm、10mm 和20 mm[28]。輸出的結(jié)果為輸入檢測網(wǎng)絡(luò)的特征圖中包含結(jié)節(jié)的位置坐標(biāo)與概率，分別為結(jié)節(jié)的概率p與結(jié)節(jié)在CT圖像中坐標(biāo)(x，y，z)與直徑大小d。

1.2.3 損失函數(shù)

本結(jié)節(jié)檢測模型的損失計算包含兩個部分，一是檢測區(qū)域內(nèi)是否包含結(jié)節(jié)，即預(yù)測肺結(jié)節(jié)概率p的損失，采用分類損失，二是檢測區(qū)域內(nèi)結(jié)節(jié)的位置(x，y，z)與結(jié)節(jié)直徑d的回歸損失。在本模型中，使用檢測區(qū)域與標(biāo)注結(jié)節(jié)區(qū)域的交并比(Intersection over Union，IoU)[29]區(qū)分正負(fù)樣本，如果兩者區(qū)域的交并比大于0.5，標(biāo)記為正，如果兩者區(qū)域的交并比小于0.02，標(biāo)記為負(fù)，其余則被忽略不被標(biāo)記。分類損失采用二值交叉熵?fù)p失函數(shù)，回歸損失采用Smooth L1 損失函數(shù)。

分類損失函數(shù)定義為:

式中:p表示模型預(yù)測的概率，p*表示標(biāo)簽的分類概率。當(dāng)為正樣本標(biāo)簽時p*＝1，負(fù)樣本標(biāo)簽時p*＝0。

回歸損失定義如下:

式中:L(ti，)表示Smooth L1 損失函數(shù)。

Smooth L1 損失函數(shù)定義如下:

式中:ti表示模型預(yù)測的結(jié)節(jié)回歸坐標(biāo)組t中參數(shù)，表示標(biāo)簽標(biāo)注的結(jié)節(jié)回歸坐標(biāo)組t*中參數(shù)。

t與t*分別為預(yù)測的結(jié)節(jié)回歸坐標(biāo)組與標(biāo)注的結(jié)節(jié)回歸坐標(biāo)組，定義如下:

式中:(x，y，z，d)表示模型預(yù)測的結(jié)節(jié)3 維位置信息與直徑，(x*，y*，z*，d*)為標(biāo)簽中標(biāo)注的結(jié)節(jié)3 維位置信息與直徑，(xa，ya，za，da)為邊界框的3 維位置信息與直徑。

模型的總損失為:

式中:Lcls表示分類損失，Lreg表示回歸損失。

2 實(shí)驗設(shè)計與結(jié)果

2.1 實(shí)驗設(shè)計

2.1.1 實(shí)驗數(shù)據(jù)處理

CT 圖像的數(shù)據(jù)量十分龐大，如果一次將整個CT 圖像輸入網(wǎng)絡(luò)，對顯存的消耗很大。本次實(shí)驗在訓(xùn)練階段選擇截取較小的包含結(jié)節(jié)的立方塊輸入網(wǎng)絡(luò)，在保證檢測精度的同時減少對硬件消耗。具體做法為以數(shù)據(jù)集標(biāo)注文件的結(jié)節(jié)坐標(biāo)為中心，截取邊長為96 的立方塊作為正樣本。在CT 圖像內(nèi)的非肺結(jié)節(jié)區(qū)域，截取同樣尺寸的立方塊作為負(fù)樣本。為了解決數(shù)據(jù)的正負(fù)樣本不平衡的問題，對正樣本進(jìn)行隨機(jī)偏置，在0～360°內(nèi)隨機(jī)翻轉(zhuǎn)和以0.75～1.25 之間系數(shù)進(jìn)行縮放作為數(shù)據(jù)增強(qiáng)手段擴(kuò)充正樣本；同時為了平衡數(shù)據(jù)集中結(jié)節(jié)多為小結(jié)節(jié)的問題，對直徑在10 mm～20 mm 和20 mm 以上的結(jié)節(jié)進(jìn)行直接復(fù)制的方式，擴(kuò)充中直徑結(jié)節(jié)與大直徑結(jié)節(jié)的數(shù)量，平衡結(jié)節(jié)的直徑分布。在模型的測試階段，CT 圖像中依次截取邊長為128 的小立方塊輸入網(wǎng)絡(luò)。為了不遺漏可能出現(xiàn)在立方塊邊界的結(jié)節(jié)，每個立方塊間重疊16 個像素。最后將得到的結(jié)果按立方塊的位置還原到原來CT 圖像中。在檢測階段，使用非極大值抑制(Non-Maximum Suppression，NMS)[30]得到最優(yōu)的預(yù)測結(jié)果。

2.1.2 實(shí)驗設(shè)置

本實(shí)驗所用的操作系統(tǒng)為Ubuntu18.04 系統(tǒng)，CPU 為Intel(R)Xeon(R)Gold 6154，內(nèi)存為64 GB，顯卡為3 塊顯存為12 GB 的NVIDIA TITAN V 顯卡。網(wǎng)絡(luò)模型使用 Python3.6 搭建，框架為Pytorch1.1。優(yōu)化方法選擇隨機(jī)梯度下降，初始學(xué)習(xí)率為0.01，權(quán)重衰減為1×10-4，批大小為18，模型迭代次數(shù)為100 次。為了加速訓(xùn)練，減小在損失全局最優(yōu)點(diǎn)處的震蕩，在訓(xùn)練過程中逐步減小學(xué)習(xí)率，具體為在訓(xùn)練的前1/3 輪時學(xué)習(xí)率為0.01，在1/3 到2/3 輪時，設(shè)置學(xué)習(xí)率為0.001，之后學(xué)習(xí)率為0.000 1。

由于LUNA16 數(shù)據(jù)集分為10 個子集，故訓(xùn)練與測試使用10 折交叉驗證法。選擇子集9 為測試集，子集0 到8 作為訓(xùn)練集，然后是子集8 為測試集，其余子集為訓(xùn)練集，依次類推。將所有子集的測試結(jié)果匯總，得到最終結(jié)果。

2.1.3 評價標(biāo)準(zhǔn)

實(shí)驗選擇無限制受試者操作特征(Free-Response Receiver Operating Characteristic，F(xiàn)ROC)[25]驗證模型性能。該曲線的橫坐標(biāo)為結(jié)節(jié)檢測的假陽率，以0.125、0.25、0.5、1、2、4、8 這七個假陽率點(diǎn)為代表?？v坐標(biāo)為結(jié)節(jié)檢測的敏感度，即預(yù)測結(jié)節(jié)的正樣本數(shù)占數(shù)據(jù)集總正樣本數(shù)的比重。在FROC 曲線中，七個假陽率點(diǎn)上敏感度的平均值稱為競爭性能指標(biāo)(Challenge Performance Metric，CPM)[25]。計算公式為:

式中:s表示對應(yīng)下標(biāo)位置上的敏感度。

2.2 結(jié)果

2.2.1 方法對比

為了驗證本文提出的模型檢測肺結(jié)節(jié)的有效性，現(xiàn)將本文提出的方法與近年來具有代表性的肺結(jié)節(jié)檢測方法進(jìn)行比較。表1 記錄了不同的檢測模型在LUNA16 數(shù)據(jù)集上的檢測結(jié)果，具體為在0.125、0.25、0.5、1、2、4、8 這7 個假陽性上的敏感度，以及它們的平均值(CPM)。

表1 與其他肺結(jié)節(jié)檢測模型對比

從表1 可以看出，本文提出的模型在LUNA16數(shù)據(jù)集上的檢測結(jié)果在目前具有代表性的肺結(jié)節(jié)檢測模型中取得較好的結(jié)果，在0.125、0.25、0.5、1、2、4、8 這7 個假陽性上的平均敏感度大幅領(lǐng)先對比的其他同類型模型，僅次于張福玲等[28]在2021 年提出的模型。張福玲等提出肺結(jié)節(jié)檢測模型在特征的解碼路徑上使用特征金字塔的方式將不同深度與尺寸的特征融合在一起，共同作為檢測結(jié)果由預(yù)測層輸出。本文提出的模型在特征解碼后只將最后的特征圖由預(yù)測層輸出，雖然模型中有將不同深度與尺度的特征圖進(jìn)行融合的機(jī)制，從最后的結(jié)果看沒有張福玲等提出的模型效果好。這表明該模型仍有需要提高之處。

2.2.2 結(jié)果可視化

為了更加直觀展現(xiàn)肺結(jié)節(jié)檢測，圖5 展示密集殘差檢測模型對肺部CT 圖像的檢測結(jié)果。選擇結(jié)節(jié)中心所在的橫斷面展示結(jié)果，以矩形邊框定位結(jié)節(jié)。圖5 中的第一行為檢測結(jié)果中的真陽性結(jié)節(jié)，第二行為假陽性結(jié)節(jié)，假陽性結(jié)節(jié)具有與真陽性結(jié)節(jié)相似特征。從圖中看出，本文提出的檢測方法可以有效檢測出多種大小與不同形狀的肺結(jié)節(jié)，對在肺實(shí)質(zhì)中不同位置處的結(jié)節(jié)均具有較好檢測能力，對實(shí)性結(jié)節(jié)與部分實(shí)性結(jié)節(jié)檢測結(jié)果較好。

圖5 肺結(jié)節(jié)檢測結(jié)果圖

2.2.3 消融實(shí)驗

為驗證提出的跳躍連接信息增強(qiáng)機(jī)制、密集連接與注意力機(jī)制對肺結(jié)節(jié)檢測性能的提升，在LUNA16 數(shù)據(jù)集上進(jìn)行消融實(shí)驗。在基線方法的基礎(chǔ)上依次加入改進(jìn)措施進(jìn)行比較，數(shù)據(jù)處理與實(shí)驗設(shè)置均同2.1.1 與2.1.2，實(shí)驗結(jié)果如表2 所示。消融實(shí)驗具體為:①model1:基線方法，普通殘差3D UNet，網(wǎng)絡(luò)層數(shù)同1.2.2，在編碼解碼部分間使用直接跳躍連接的模型；②model2:在model1 模型的編碼解碼部分間使用轉(zhuǎn)置卷積信息增強(qiáng)，融合不同尺度的特征；③model3:在model2 模型的基礎(chǔ)上在殘差單元后加入注意力機(jī)制；④model4:使用本文提出的密集殘差肺結(jié)節(jié)檢測模型。

表2 消融實(shí)驗對比

圖6 所示為消融實(shí)驗結(jié)果的FROC 曲線，方塊線為model1 模型的FROC 的結(jié)果，圓形線為model2模型的FROC 的結(jié)果，上三角形線則是model3 模型的FROC 的結(jié)果，下三角形線則是model4 模型的FROC 的結(jié)果。

圖6 消融實(shí)驗的FROC 曲線

結(jié)合表2 與圖6 可以看出，model2 相比model1在7 個不同的假陽率點(diǎn)處的敏感度均有提升，尤其在1、2、4、8 這4 個點(diǎn)上的提升較為明顯，其平均敏感度提升了1.5%。這表明，在model2 跳躍連接處中新增的用于連接不同深度與尺度特征的信息增強(qiáng)機(jī)制對模型的性能起到了不小的提升。model3 相對于model2 在7 個不同假陽性點(diǎn)處的敏感度也有相當(dāng)?shù)奶嵘?，?.25、0.5、1、2、4、8 這6 個點(diǎn)上提升明顯，其平均敏感度提升了2.5%。這表明利用在模型中加入注意力機(jī)制可以有效提取肺結(jié)節(jié)的特征信息，進(jìn)而提升檢測模型的性能。model4 相對于model3 在0.125、0.25、0.5 這3 個點(diǎn)上提升明顯，其平均敏感度提升了1.4%。這表明利用在模型中加入密集連接有助于提取肺結(jié)節(jié)的特征信息，提升檢測模型的性能。

3 討論

本研究提出了一個新的深度學(xué)習(xí)模型檢測CT圖像中的肺結(jié)節(jié)，模型以3D U-Net 網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，引入密集連接、殘差連接和注意力機(jī)制，以端到端的方式檢測肺結(jié)節(jié)。模型在LUNA16 數(shù)據(jù)集上進(jìn)行了一系列實(shí)驗，實(shí)驗結(jié)果表明，所提出的模型可以較好地檢測CT 圖像中的肺結(jié)節(jié)。

利用深度學(xué)習(xí)檢測肺結(jié)節(jié)已取得許多進(jìn)展[14]，但大多數(shù)檢測網(wǎng)絡(luò)通過順序增加卷積核增強(qiáng)網(wǎng)絡(luò)對特征的提取能力，網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)增加同時存在大量特征，導(dǎo)致訓(xùn)練難度增大[22]。本研究在基線模型中引入密集連接與殘差連接，對網(wǎng)絡(luò)中大量的肺結(jié)節(jié)特征復(fù)用，同時可以實(shí)現(xiàn)不同深度上的特征之間的信息交流，從而更加全面地提取肺結(jié)節(jié)特征信息。不同的特征圖對于檢測肺結(jié)節(jié)的重要性不同，為了更好地檢測肺結(jié)節(jié)，提升模型檢測能力，本研究在模型中引入注意力機(jī)制，通過對特征圖一系列操作，對不同特征圖賦予不同權(quán)重，增強(qiáng)模型對與肺結(jié)節(jié)有關(guān)的特征的提取。為了整體網(wǎng)絡(luò)框架下實(shí)現(xiàn)不同深度與尺度特征的交流融合，在網(wǎng)絡(luò)編碼與解碼部分間通過轉(zhuǎn)置卷積與拼接操作實(shí)現(xiàn)網(wǎng)絡(luò)不同深度與尺度間特征的交流，增強(qiáng)模型對肺結(jié)節(jié)的檢測能力。為驗證模型對肺結(jié)節(jié)的檢測性能，在LUNA16數(shù)據(jù)集上，以10 倍交叉驗證實(shí)驗。在表2 中通過與基線模型的對比實(shí)驗結(jié)果可以得出，所提出的幾處改進(jìn)均可增強(qiáng)模型對肺結(jié)節(jié)的檢測性能，提升模型對肺結(jié)節(jié)的敏感度。表1 中通過與其他表現(xiàn)出色的肺結(jié)節(jié)檢測模型的對比，所提出的密集殘差肺結(jié)節(jié)檢測模型可以對肺部CT 圖像中的肺結(jié)節(jié)取得較好的結(jié)果。本研究提出的密集殘差模型對肺結(jié)節(jié)的敏感度稍遜于張福玲等[28]提出的模型，主要在于其提出的模型中對肺結(jié)節(jié)特征使用特征金字塔機(jī)制，將不同尺度的特征圖共同作為輸出，這樣可以融合不同層次的特征圖，而本文提出模型只將最頂層特征作為輸出，會忽略一些細(xì)節(jié)信息，這種設(shè)計可在之后的研究中探討借鑒。

CT 圖像的數(shù)據(jù)標(biāo)注依賴于有經(jīng)驗的醫(yī)師，這使得有標(biāo)注的CT 圖像數(shù)據(jù)收集困難，訓(xùn)練樣本較少。遷移學(xué)習(xí)可以通過在大樣本數(shù)據(jù)集上預(yù)訓(xùn)練得到具有一定特征提取能力的網(wǎng)絡(luò)，在小樣本的醫(yī)學(xué)圖像數(shù)據(jù)上小規(guī)模訓(xùn)練便可實(shí)現(xiàn)較好的檢測能力。未來的研究將探討通過遷移學(xué)習(xí)實(shí)現(xiàn)CT 圖像數(shù)據(jù)的檢測。

4 結(jié)論

本研究提出了一種密集殘差肺結(jié)節(jié)檢測方法，在3D U-Net 基礎(chǔ)上引入密集連接、殘差連接與注意力機(jī)制，較好實(shí)現(xiàn)了對CT 圖像中的肺結(jié)節(jié)的檢測與定位。大多數(shù)的肺結(jié)節(jié)檢測方法，通過順序堆疊卷積核構(gòu)建網(wǎng)絡(luò)，沒有充分利用網(wǎng)絡(luò)中的特征，同時不同層間的特征沒有信息交流，對肺結(jié)節(jié)檢測不夠精確。對此，本研究在網(wǎng)絡(luò)中引入密集連接、殘差連接與注意力機(jī)制改進(jìn)檢測網(wǎng)絡(luò)，同時在跳躍連接中融合不同尺度的特征。實(shí)驗結(jié)果表明，本研究相對于原始方法的幾處改進(jìn)可以增強(qiáng)網(wǎng)絡(luò)對肺結(jié)節(jié)敏感性，平均敏感度提高了5.5%，與其他結(jié)節(jié)檢測算法相比，也取得了較好表現(xiàn)。

在未來工作中，針對有標(biāo)注肺結(jié)節(jié)數(shù)據(jù)較少的問題，將結(jié)合遷移學(xué)習(xí)，將深度學(xué)習(xí)模型從其他領(lǐng)域圖像數(shù)據(jù)中學(xué)習(xí)到的檢測知識，運(yùn)用到肺結(jié)節(jié)檢測中，進(jìn)一步提高結(jié)節(jié)檢測精確度[34]。