多模式特征融合網(wǎng)絡(luò)肺結(jié)節(jié)良惡性分類方法

尹智賢，夏克文，武盼盼

1.河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津 300401

2.天津師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，天津 300387

由于侵襲性以及早期難以發(fā)現(xiàn)等特征，肺癌仍然是發(fā)病率和致死率最高的癌癥之一。2022 年國家癌癥中心發(fā)布的最新一期全國癌癥統(tǒng)計(jì)數(shù)據(jù)顯示，2016年我國新發(fā)肺癌約82.8 萬例，占總新發(fā)癌癥病例（406.4 萬）的20.4%，高居癌癥發(fā)病率榜首[1]。美國癌癥協(xié)會發(fā)布的2022年美國癌癥年度報(bào)告預(yù)測，平均每天會有350人死于肺癌[2]。數(shù)據(jù)顯示，原位期、局部期和晚期肺癌的5年生存率分別為60%、33%和6%。因此，早診斷、早治療對于提高肺癌患者生存率至關(guān)重要。早期肺癌多以結(jié)節(jié)征狀存在，對結(jié)節(jié)良惡性的準(zhǔn)確診斷成為肺癌預(yù)防和治療的重要手段。病理學(xué)診斷是鑒別肺結(jié)節(jié)良惡性的基本依據(jù)。但其具有侵襲性，且耗時的問題。CT 掃描作為一種非侵入方法為肺結(jié)節(jié)診斷提供了有效補(bǔ)充。放射科醫(yī)生通常逐層讀取肺部CT圖像來確定受試者是否含有惡性結(jié)節(jié)。然而，僅憑CT 形態(tài)學(xué)表現(xiàn)來區(qū)分結(jié)節(jié)良惡性仍然存在巨大的挑戰(zhàn)，這通常高度依賴于放射科醫(yī)生的經(jīng)驗(yàn)。此外，放射科醫(yī)生在高負(fù)荷狀態(tài)下的疲勞或圖像質(zhì)量差可能導(dǎo)致的誤判為人工閱片帶來了嚴(yán)重困擾。因此，開發(fā)一種計(jì)算機(jī)輔助方法自動診斷肺結(jié)節(jié)良惡性具有重要臨床意義。

當(dāng)前針對肺結(jié)節(jié)良惡性分類的方法大致分為兩類：基于影像組學(xué)的方法和基于深度學(xué)習(xí)的方法。前者根據(jù)任務(wù)需求，人工提取特征，例如結(jié)節(jié)的強(qiáng)度、形狀、紋理、密度等，然后訓(xùn)練支持向量機(jī)（support vector machine，SVM）、隨機(jī)森林（random forest，RF）、K近鄰（k-nearest neighbor，KNN）等傳統(tǒng)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)結(jié)節(jié)良惡性自動分類。Jacobs等[3]在傳統(tǒng)的強(qiáng)度、形狀、紋理特征外，引入新的上下文特征，為亞實(shí)性肺結(jié)節(jié)構(gòu)建了一個含128個特征的集合以提升模型分類性能。Farag等[4]利用Gabor 濾波器、多分辨率LBP 以及融合LBP 的有符號距離提取了3 種類型的特征作為良惡性結(jié)節(jié)的特征描述符以指導(dǎo)KNN 和SVMs 的訓(xùn)練。Li 等[5]基于灰度共生矩陣、局部二進(jìn)制模式（local binary pattern，LBP）和Gabor濾波方法，結(jié)合強(qiáng)度、幾何和紋理特征，構(gòu)建具有鑒別性的特征向量，利用改進(jìn)的RF 分類器實(shí)現(xiàn)肺結(jié)節(jié)良惡性分類。Vanbang等[6]提出一種基于密度分布的特征提取方法，利用K-均值聚類計(jì)算肺結(jié)節(jié)像素值與聚類中心關(guān)系實(shí)現(xiàn)特征提取，進(jìn)而使用隨機(jī)森林分類器實(shí)現(xiàn)結(jié)節(jié)良惡性的鑒別。朱英亮等[7]利用改進(jìn)的灰度-梯度共生矩陣提取了灰度熵、灰度分布不均勻性、混合熵等14 種紋理特征，利用改進(jìn)的ReliefF 算法進(jìn)行特征選擇，最終使用K-means 算法實(shí)現(xiàn)肺結(jié)節(jié)良惡性分類。雖然以上方法能夠達(dá)到較好的分類效果，但需要人工設(shè)計(jì)特征提取器，且訓(xùn)練樣本大時易發(fā)生欠擬合現(xiàn)象。

近年來，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像處理領(lǐng)域有了長足發(fā)展，相比于傳統(tǒng)的基于人工設(shè)計(jì)特征提取器的肺結(jié)節(jié)分類方法，基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法表現(xiàn)出更為優(yōu)異的分類性能，并將用戶從繁瑣的手工特征提取中解脫出來。Zhang等[8]為捕獲更多的高維語義信息引入了殘差網(wǎng)絡(luò)[9]，從不同尺度提取結(jié)節(jié)特征來提升模型分類精度。Xie 等[10]利用遷移學(xué)習(xí)，將在ImageNet 上預(yù)訓(xùn)練的三個ResNet-50模型轉(zhuǎn)移到肺部CT圖像中，以分別表征肺結(jié)節(jié)的整體外觀、體素值異質(zhì)性和形狀異質(zhì)性，有效地提升了分類精度。在此基礎(chǔ)上通過將三維結(jié)節(jié)分解為九個固定視圖來學(xué)習(xí)三維肺結(jié)節(jié)特征，聯(lián)合訓(xùn)練了九個基于ResNet-50的模型實(shí)現(xiàn)了肺結(jié)節(jié)良惡性分類精度的提升[11]。但該方法需要訓(xùn)練多個模型，計(jì)算開銷大。Sahu等[12]從多個視角獲取結(jié)節(jié)橫截面，設(shè)計(jì)了一種輕量的，基于多視圖采樣的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）分類結(jié)構(gòu)。雖然該方法具有優(yōu)異的分類性能，但一定程度上忽略了圖像的全局特征。Al-Shabi等[13]研究了兼顧圖像局部和全局特征的神經(jīng)網(wǎng)絡(luò)模型（例如Densenet[14]和Resnet[9]）在肺結(jié)節(jié)良惡性分類任務(wù)中的應(yīng)用，并以殘差網(wǎng)絡(luò)為骨干網(wǎng)絡(luò)，結(jié)合注意力機(jī)制[15]提出了一種能夠使用全局特征提取器分析結(jié)節(jié)形狀和大小，使用局部特征提取器分析結(jié)節(jié)密度和結(jié)構(gòu)的新方法來預(yù)測結(jié)節(jié)惡性程度。雖然該方法在曲線下面積（area under the curve，AUC）指標(biāo)上有了明顯提升，但是在預(yù)測精度上還有欠缺。Wang 等[16]設(shè)計(jì)了不同尺度的濾波器提取結(jié)節(jié)局部特征，并構(gòu)建多路徑CNN結(jié)構(gòu)，充分挖掘結(jié)節(jié)全局特征，實(shí)現(xiàn)了結(jié)節(jié)良惡性的精確診斷。湯寧等[17]從特征工程角度出發(fā)，對不同尺度、不同模式下肺結(jié)節(jié)圖像對CNN 模型分類性能的影響進(jìn)行了深入分析，提出了一種二維空間下的多尺度、多視圖融合方法。孫浩天等[18]針對CT圖像樣本分辨率差異性問題，將標(biāo)準(zhǔn)三維卷積進(jìn)行拆分，構(gòu)建兩種三維各向異性卷積以避免分辨率不同所帶來的影響，并提出裁剪-非局部池化模塊實(shí)現(xiàn)對結(jié)節(jié)區(qū)域和全局信息的兼顧，從而取得了不錯的分類結(jié)果。Shi等[19]針對良、惡性肺結(jié)節(jié)樣本不均衡問題，通過引入遷移學(xué)習(xí)策略，利用標(biāo)記結(jié)節(jié)和未標(biāo)記結(jié)節(jié)緩解樣本不平衡問題，提出了一種基于迭代特征匹配的半監(jiān)督方法以利用無病理信息的數(shù)據(jù)。

盡管以上基于深度學(xué)習(xí)的方法能夠在肺結(jié)節(jié)良惡性分類任務(wù)中表現(xiàn)出良好的性能，但依舊存在一些不足。例如，基于多視圖的分類方法需要大量的數(shù)據(jù)預(yù)處理操作，而基于多尺度的分類模型則需要同時訓(xùn)練多個模型，計(jì)算開銷較大。此外，研究發(fā)現(xiàn)，當(dāng)結(jié)節(jié)較小時，其周圍組織會對結(jié)節(jié)良惡性判定帶來干擾，此時所訓(xùn)練的模型易對該類結(jié)節(jié)產(chǎn)生誤判。針對以上問題，本文設(shè)計(jì)了一種基于改進(jìn)MobileNet V3[20]特征融合的肺結(jié)節(jié)良惡性分類方法來挖掘更多有用特征以提高算法的分類性能。本文主要工作如下：

（1）探討兩種圖像模式，即帶周圍組織的原始肺結(jié)節(jié)圖像和不帶周圍組織的肺結(jié)節(jié)圖像對卷積神經(jīng)網(wǎng)絡(luò)模型分類性能的影響。

（2）構(gòu)建一種雙路徑特征融合模型，在得到不同圖像模式的判別性特征后進(jìn)行特征融合，使得模型能夠在充分挖掘帶組織的原始肺結(jié)節(jié)圖像信息的同時，有效提取肺結(jié)節(jié)區(qū)域的顯著性特征，實(shí)現(xiàn)模型分類性能的提升。

（3）刪除原MobileNet V3-small 骨干網(wǎng)絡(luò)中最后四組bneck 模塊，使模型參數(shù)量、計(jì)算復(fù)雜度和網(wǎng)絡(luò)推理時間的大幅降低。引入convolutional block attention module（CBAM）[21]和ShuffleNet[22]通道混洗（channel shuffle）機(jī)制提升語義信息的提取效果和特征表達(dá)能力。

1 模型構(gòu)建

1.1 總體結(jié)構(gòu)設(shè)計(jì)

本文構(gòu)建的多模式特征融合網(wǎng)絡(luò)肺結(jié)節(jié)良惡性分類模型如圖1所示。模型分為三個部分：

圖1 本文所提網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.1 Scheme of proposed network in this paper

第一部分（圖1 中的Part 1）是數(shù)據(jù)預(yù)處理模塊，該模塊旨在制作合適的輸入數(shù)據(jù)，由于同時使用原CT 圖像和結(jié)節(jié)區(qū)域圖像訓(xùn)練網(wǎng)絡(luò)，因此需要將結(jié)節(jié)區(qū)域分割出來，本文利用U-Net[23]網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)實(shí)現(xiàn)結(jié)節(jié)區(qū)域的提取。

第二部分（圖1中的Part 2）是分類模型的特征提取及融合模塊，該部分能夠充分挖掘結(jié)節(jié)的全局信息以及結(jié)節(jié)自身的判別性特征，該模塊分為上下對稱的兩個基于MobileNet V3 的子網(wǎng)絡(luò)，但本文刪除了MobileNet V3的分類器以及最后四組bneck模塊，由于兩個子網(wǎng)絡(luò)結(jié)構(gòu)相同，本文以其中一個子網(wǎng)絡(luò)為例列舉其具體參數(shù)，見表1。其中Input 表示輸入圖像或特征圖的尺寸，Operator 對應(yīng)圖1 中特征提取網(wǎng)絡(luò)的卷積層、bneck 模塊、池化層，及卷積核大小，Exp size 為bneck 中第一層1×1卷積升維的通道數(shù)，Out是bneck輸出特征圖的通道數(shù)，CBAM 表示該層是否使用CBAM 模塊，NL 為非線性激活函數(shù)（nonlinearity，NL），表示該層所使用的激活函數(shù)類型，HS 和RE 分別為HardSwish 函數(shù)和Relu 函數(shù)，s表示步長。

表1 特征提取子網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Parameters setting of feature extraction subnetwork

第三部分（圖1 中的Part 3）是分類模塊，由兩個全連接層（FC）組成，這兩個全連接層的輸入和輸出通道數(shù)分別為（576，1 024）和（1 024，2）。最終通過訓(xùn)練，在判別性特征的引導(dǎo)下得出結(jié)節(jié)的良惡性分類結(jié)果。

1.2 基于U-Net的數(shù)據(jù)預(yù)處理模塊

當(dāng)結(jié)節(jié)較小或不明顯時容易被復(fù)雜周圍組織所干擾，因此提出了在使用含有周圍組織的CT 圖像訓(xùn)練的同時，再訓(xùn)練一個針對結(jié)節(jié)區(qū)域的特征提取網(wǎng)絡(luò)，以抑制復(fù)雜背景對于結(jié)節(jié)良惡性判斷的干擾。本文采用UNet 網(wǎng)絡(luò)對結(jié)節(jié)區(qū)域進(jìn)行提取，為了減小模型的計(jì)算開銷，調(diào)整了U-Net 的通道數(shù)，令corigin和cnew分別為調(diào)整前、后卷積層輸出通道數(shù)，那么調(diào)整后網(wǎng)絡(luò)的卷積層輸出通道數(shù)為：

如上式所示，所有卷積核輸出通道數(shù)縮小為原卷積核輸出通道數(shù)的四分之一，詳細(xì)參數(shù)見表2。其中，c×f2表示特征的輸入、輸出尺寸，c和f2分別表示特征的通道數(shù)和特征圖尺寸。ConvBlock 為U-Net 在Encoder 過程中每個階段的卷積操作，每個ConvBlock包含兩個卷積層，卷積結(jié)構(gòu)統(tǒng)一采用3×3的卷積核，padding和stride均設(shè)置為1。采用一個2×2 的maxpooling 作為下采樣模塊。UpConv 為Decoder 過程中每個階段的上采樣模塊，包含一個上采樣層和兩個卷積層。采樣層使用雙線性插值，卷積層的設(shè)置同ConvBlock。U-Net 的輸入為1×642的肺結(jié)節(jié)圖像，因此最后使用一個卷積層將64通道的特征圖映射為1×642的分割結(jié)果。

表2 本文所用U-Net與原U-Net網(wǎng)絡(luò)參數(shù)對比Table 2 Comparison between parameters of U-Net used in this paper and original U-Net

從表2 不難看出，當(dāng)本文所采用的U-Net 網(wǎng)絡(luò)的通道數(shù)c縮小為同一階段的原始U-Net網(wǎng)絡(luò)的1/4時，網(wǎng)絡(luò)整體的參數(shù)量和計(jì)算復(fù)雜度顯著降低。此外，為了盡量減小分割結(jié)果對后續(xù)訓(xùn)練精度的影響，將U-Net生成的結(jié)節(jié)掩碼進(jìn)行了膨脹（Dilate），以保證分割結(jié)果包含完整的結(jié)節(jié)區(qū)域。膨脹操作使用python 的cv2 庫中的dilate函數(shù)，kernel設(shè)置為2×2。

1.3 基于改進(jìn)MobileNet V3 的特征提取與融合模塊

特征工程是深度學(xué)習(xí)模型的重要內(nèi)容，良好的特征表示可以使模型用更少的資源更高效地解決問題。常見的基于深度學(xué)習(xí)的特征工程方法是從原始的肺結(jié)節(jié)CT 圖像中提取所需特征，但當(dāng)結(jié)節(jié)較小時其周圍組織易對模型訓(xùn)練產(chǎn)生干擾。為提取更具判別性的特征，緩解結(jié)節(jié)較小時周圍組織所帶來的負(fù)面影響，本文還引入了另一圖像模式作為訓(xùn)練集，即從含有大量組織的原始CT 圖像中提取出對應(yīng)的肺結(jié)節(jié)區(qū)域。一方面，將帶周圍組織的原始肺結(jié)節(jié)圖像作為輸入，有效提取原CT 圖像的全局信息。另一方面，將提取的不帶周圍組織的肺結(jié)節(jié)區(qū)域作為輸入，有效挖掘病灶區(qū)域的判別性特征。最后通過特征融合，使得模型能夠在充分挖掘帶組織的原始肺結(jié)節(jié)圖像信息的同時，有效提取肺結(jié)節(jié)區(qū)域的顯著性特征，以彌補(bǔ)結(jié)節(jié)較小時，網(wǎng)絡(luò)過多關(guān)注其周圍組織的從而產(chǎn)生誤判的問題，從而實(shí)現(xiàn)模型分類性能的提升。

本文以輕量級網(wǎng)絡(luò)MobileNet V3-small 為骨干網(wǎng)絡(luò)，剔除了最后兩層的全連接層，構(gòu)建了上下對稱的特征提取框架（如圖1 Part 2所示）。其中，上面網(wǎng)絡(luò)的輸入圖像模式是64×64 尺寸的原始肺結(jié)節(jié)CT 切片，下面網(wǎng)絡(luò)的輸入圖像模式是對應(yīng)的分割后的肺結(jié)節(jié)圖像。兩種模式的輸入圖像分別經(jīng)過上、下兩個網(wǎng)絡(luò)后輸出對應(yīng)的特征圖，經(jīng)平均池化操作（average pooling，Avg-Pool）后在通道維度上拼接。由于MobileNet V3網(wǎng)絡(luò)以RGB 圖像作為輸入，而CT 圖像為灰度圖像，因此在將CT 圖像輸入網(wǎng)絡(luò)之前，復(fù)制CT 圖像以生成RGB 通道圖像。

本文雖采用MobileNet V3-small 為骨干網(wǎng)絡(luò)做特征提取，但是對其中的結(jié)構(gòu)做了一定的修改。首先，為了降低模型的參數(shù)量和計(jì)算開銷，刪除了最后四組bneck 模塊。其次，原bneck 使用通道注意力（channel attention）實(shí)現(xiàn)了對不同通道的增強(qiáng)或抑制，卻忽略了某一通道下不同特征在特定任務(wù)中的權(quán)重差異。本文引入CBAM 機(jī)制代替原通道注意力，其在通道注意力的基礎(chǔ)上增添了空間注意力機(jī)制，這樣在兼顧通道信息的同時，能夠在空間維度上抑制不必要特征，圖2 中的紅色矩形框部分即為CBAM結(jié)構(gòu)。NL，即nonlinearity，表示非線性激活函數(shù)，具體使用哪個激活函數(shù)參見表1。此外，借鑒ShuffleNet 通道混洗（channel shuffle）思想，在bneck 和特征融合過程中引入了channel shuffle 模塊，通過對特征圖的維度進(jìn)行變換，捕捉通道之間的特征關(guān)系，實(shí)現(xiàn)信息在不同通道之間的交互，以更好地獲得結(jié)節(jié)分類的判別性特征。

圖2 改進(jìn)后的bneck結(jié)構(gòu)Fig.2 Structure of improved bneck

1.4 分類模塊

分類模塊（如圖1Part 3所示）以混洗后的特征為輸入。實(shí)現(xiàn)對輸入樣本良惡性的判別，實(shí)質(zhì)就是一個二分類問題。經(jīng)過混洗后的特征輸入到由兩個全連接層（即圖1 中的兩個FC 層）組成的分類器中，最終得到良惡性分類結(jié)果。這里并未在第二個全連接層后添加sigmoid函數(shù)將結(jié)果映射到0，1之間，分類模塊的輸出對應(yīng)的是良、惡性的評分。

2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集及預(yù)處理

數(shù)據(jù)集采用LIDC-IDRI[24]，該數(shù)據(jù)集由胸部醫(yī)學(xué)圖像文件（如CT、X 光片）和對應(yīng)的診斷結(jié)果病變標(biāo)注組成，共收錄了1 018 個研究實(shí)例，對于每個實(shí)例中的圖像，都由4位經(jīng)驗(yàn)豐富的胸部放射科醫(yī)師進(jìn)行兩階段的診斷標(biāo)注，并對大于等于3 mm 的結(jié)節(jié)標(biāo)注出三維輪廓坐標(biāo)，且進(jìn)行影像學(xué)特征評估，其中結(jié)節(jié)的惡性程度由放射科醫(yī)生在等級1～5之間進(jìn)行評判，評分越高則結(jié)節(jié)的惡性程度越高。由于患者的CT圖像是由多名醫(yī)師共同標(biāo)注，所以同一個結(jié)節(jié)可能會有多個不同的惡性度評分。因此，參照文獻(xiàn)[17，25]，對同一結(jié)節(jié)的惡性度評分取平均，結(jié)節(jié)評分大于3 定義為惡性，小于3 為良性，等于3代表惡性程度不確定，舍棄此類樣本。最終從數(shù)據(jù)集中挑選出了1 559例結(jié)節(jié)，其中良性結(jié)節(jié)921例，惡性結(jié)節(jié)638例，具體樣本分布見表3。

表3 不同樣本的數(shù)據(jù)分布Table 3 Data distribution of different samples

本文所設(shè)計(jì)的網(wǎng)絡(luò)針對的是2D的CT圖像，首先根據(jù)專家標(biāo)注結(jié)果提取包含肺結(jié)節(jié)區(qū)域的64×64 的圖像塊，對于每個結(jié)節(jié)，選取肺結(jié)節(jié)面積最大的切片作為代表構(gòu)建數(shù)據(jù)集，并隨機(jī)選取10%作為測試，90%用于訓(xùn)練和驗(yàn)證。各類實(shí)驗(yàn)及工程實(shí)踐證明，訓(xùn)練一個高性能的神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)，因此數(shù)據(jù)增強(qiáng)方法被研究人員廣泛使用。本文亦對訓(xùn)練數(shù)據(jù)集做了增廣，方法如下：結(jié)節(jié)在肺部以3D形態(tài)存在，本文僅提取了其中一個橫截面為代表，因此，可以將其他切片中標(biāo)注好的結(jié)節(jié)提取出來加入訓(xùn)練數(shù)據(jù)中，以達(dá)到數(shù)據(jù)增強(qiáng)的目的。需要注意的是，在處理惡性結(jié)節(jié)時，過濾了結(jié)節(jié)面積較小的切片，以免對網(wǎng)絡(luò)的訓(xùn)練帶來干擾。數(shù)據(jù)增強(qiáng)后訓(xùn)練集和驗(yàn)證集的結(jié)節(jié)數(shù)量為7 235 個，其中80%用來訓(xùn)練，20%用來驗(yàn)證，增強(qiáng)后訓(xùn)練集和驗(yàn)證集總樣本數(shù)量分布見表3。模型采用五折交叉驗(yàn)證進(jìn)行訓(xùn)練，取平均值作為最終結(jié)果。

2.2 模型評價(jià)指標(biāo)

為評估模型性能，采用準(zhǔn)確率（accuracy，ACC）、敏感性（sensitivity，SEN）、特異性（specificity，SPE）、精確率（precision，PRE）、F1 值來評估模型的分類性能，其計(jì)算公式如下所示：

其中，TP、TN、FN和FP分別表示真陽性、真陰性、假陰性和假陽性結(jié)節(jié)。同時，為了更直觀地評估模型性能，引入了受試者工作特征（receiver operating characteristic，ROC）曲線及其曲線下面積（area under the curve of ROC，AUC）。

3 實(shí)驗(yàn)結(jié)果與分析

本文組織了一系列實(shí)驗(yàn)來驗(yàn)證所提網(wǎng)絡(luò)的性能。首先，探究不同輸入圖像模式對卷積神經(jīng)網(wǎng)絡(luò)模型分類性能的影響。其次，將本文方法與其他幾種現(xiàn)有分類方法相對比，以直觀體現(xiàn)所提方法的有效性。最后，描述了實(shí)驗(yàn)結(jié)果并進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)仿真所用計(jì)算機(jī)硬件配置為Intel Core i7-9700K 處理器，NVIDIA RTX 2070S 顯卡，內(nèi)存16 GB，在開源框架Pytorch 上實(shí)現(xiàn)網(wǎng)絡(luò)模型并進(jìn)行訓(xùn)練。

3.1 訓(xùn)練參數(shù)設(shè)置

采用隨機(jī)梯度下降（stochastic gradient descent，SGD）算法作為優(yōu)化器進(jìn)行梯度更新，動量設(shè)置為0.9，權(quán)重衰減系數(shù)5×10-4。設(shè)置輸入數(shù)據(jù)的批量大小batch size為16，迭代次數(shù)為100，初始學(xué)習(xí)率為0.01，并采用余弦退火學(xué)習(xí)率調(diào)整每次迭代的學(xué)習(xí)率，損失函數(shù)采用交叉熵函數(shù)（cross entropy）。

3.2 不同圖像模式對模型訓(xùn)練的影響

圖1可以看出本文所提方法是雙分支的網(wǎng)絡(luò)模型，兩條支路采用相同的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但其輸入圖像模式不同。Path 1的輸入是包含周圍組織信息的64×64大小的肺結(jié)節(jié)CT 切片，Path 2 的輸入是對Path 1 輸入圖像進(jìn)行結(jié)節(jié)區(qū)域提取后的同尺寸的結(jié)節(jié)圖像。本文評估了這兩種圖像模式下卷積神經(jīng)網(wǎng)絡(luò)的分類性能，見表4?？梢钥闯鲚斎雸D像模式的不同，使得分類模型在不同分類指標(biāo)上確有差異，但總體來看，這兩種模式的性能相當(dāng)。相比之下本文方法融合了Path 1、Path 2兩種模式，以多模型多角度特征融合方式充分利用兩種模式的優(yōu)點(diǎn)，最終實(shí)現(xiàn)分類性能的顯著提升。

表4 不同圖像模式下模型的分類結(jié)果Table 4 Classification results of models in different image modes 單位：%

為進(jìn)一步觀察不同圖像模式下誤判圖像對模型訓(xùn)練的影響，利用文獻(xiàn)[26]提出的類激活圖（gradientweighted class activation mapping，Grad-CAM）繪制相應(yīng)圖像的熱力圖來觀察給定類別條件下模型所關(guān)注的區(qū)域。圖3（a）、（c）分別展示了結(jié)節(jié)1 和結(jié)節(jié)2 的原始CT 圖像模式在Path 1 路徑下的熱度圖，圖3（b）、（d）則是對應(yīng)提取出的結(jié)節(jié)圖像模式在Path 2 路徑下的熱度圖，每幅子圖中從左到右分別是輸入圖像，及其在特征提取網(wǎng)絡(luò)類激活熱力圖。其中，圖3（a）為結(jié)節(jié)1 在Path 1 中被錯誤判定為惡性（即假陽性FP），圖3（b）、（c）和（d）為結(jié)節(jié)被模型正確分類為惡性（即真陽性TP）。

圖3 不同路徑下真陽性和假陽性結(jié)節(jié)類激活圖Fig.3 Class activation mapping of TP and FP nodules under different paths

由圖3（a）和（b）可以看出，針對同一結(jié)節(jié)，單獨(dú)使用Path 1 或Path 2 可能會得到不同的判別結(jié)果。對于結(jié)節(jié)1，不難看出相比周圍組織，其面積較小，此時Path 1易對結(jié)節(jié)周圍組織信息產(chǎn)生過多關(guān)注，從而會對結(jié)節(jié)良惡性判斷產(chǎn)生干擾。反觀結(jié)節(jié)2可以看出，其面積相對較大，在復(fù)雜背景中較為顯著，此時Path 1 能夠有效排除周圍組織影響，準(zhǔn)確聚焦結(jié)節(jié)區(qū)域。觀察這兩個結(jié)節(jié)在Path 2 的類激活圖發(fā)現(xiàn)，由于對結(jié)節(jié)區(qū)域進(jìn)行了提取，此時模型能夠不受周圍組織干擾準(zhǔn)確聚焦結(jié)節(jié)區(qū)域，從而得到有效的判別性特征以實(shí)現(xiàn)結(jié)節(jié)的正確分類。

針對以上結(jié)節(jié)面積較小，分類時易受周圍組織影響的問題，本文提出了一種雙路徑特征融合的肺結(jié)節(jié)良惡性分類模型，構(gòu)建了Path 1 和Path 2 兩條特征提取路徑，有效挖掘帶周圍組織的CT 圖像模式和不帶周圍組織的肺結(jié)節(jié)圖像模式的信息。即，既能從原CT 圖像模式中獲取全局信息，也能夠有效解決結(jié)節(jié)面積較小時特征提取網(wǎng)絡(luò)難以對小結(jié)節(jié)的判別性特征進(jìn)行提取的問題。最終的特征融合使得網(wǎng)絡(luò)能夠得到最終的判別性特征，為結(jié)節(jié)的良惡性分類提供堅(jiān)實(shí)基礎(chǔ)。

3.3 與其他分類方法比較

為進(jìn)一步驗(yàn)證本文所提模型的性能，與其他模型進(jìn)行了對比，各對比方法見表3。為確保實(shí)驗(yàn)結(jié)果的公平性，對比方法所采用的數(shù)據(jù)集與本文所構(gòu)建的數(shù)據(jù)集相同。

文獻(xiàn)[10]充分利用結(jié)節(jié)的形狀、體素值等信息，使用多種類型特征進(jìn)行決策級融合實(shí)現(xiàn)了算法精度上的提升，然而該模型計(jì)算復(fù)雜度較高，參數(shù)量龐大，且無法高效利用結(jié)節(jié)的有用特征以提升模型性能。文獻(xiàn)[13]通過引入注意力和殘差機(jī)制能夠有效挖掘結(jié)節(jié)圖像的全局和局部信息，雖然模型參數(shù)量較小，但較多的網(wǎng)絡(luò)分支使得該方法計(jì)算復(fù)雜度較高，而且面臨著周圍組織信息干擾較大時無法有效提取結(jié)節(jié)特征的問題。而本文構(gòu)建了雙路徑的特征提取網(wǎng)絡(luò)，既能充分利用原CT圖像信息，又能針對結(jié)節(jié)區(qū)域進(jìn)行關(guān)鍵信息的挖掘，此外，CBAM 模塊和channel shuffle 的引入使得網(wǎng)絡(luò)能夠更有針對性地提取兩種輸入圖像模式的判別性特征，在一定程度上提升網(wǎng)絡(luò)的分類性能，從表5中不難看出相比前兩種方法本文所提方法的表現(xiàn)更佳。而且，本文以輕量型網(wǎng)絡(luò)MobileNet V3 為骨干網(wǎng)絡(luò)，這能夠在保證分類精度的同時盡可能地降低網(wǎng)絡(luò)復(fù)雜度，提高模型工作效率。

表5 不同模型分類性能比較Table 5 Comparison of classification performance of different models 單位：%

另外，還與本文所借鑒模型MobileNet V3-small、ShuffleNet V2-x0.5，以及采用傳統(tǒng)殘差結(jié)構(gòu)的ResNet-50進(jìn)行了對比。不難發(fā)現(xiàn)，本文方法在各項(xiàng)評價(jià)指標(biāo)中表現(xiàn)更優(yōu)。與ResNet-50 相比，文獻(xiàn)[10]使用了三個ResNet-50從三個角度提取結(jié)節(jié)特征并實(shí)現(xiàn)了模型性能的提升，這同樣印證了前文所說的多模型多角度特征融合方式在模型分類精度提升上的重要作用。需要注意的是，表5 中MobileNet V3-small 與表4 中的Path 1 在分類指標(biāo)得分上有所差別。這是因?yàn)榍罢呤褂玫氖窃季W(wǎng)絡(luò)結(jié)構(gòu)，而后者則在此基礎(chǔ)上有所變動，因此結(jié)果會存在一定差異。雖然原始MobileNet V3能夠在各項(xiàng)分類指標(biāo)上獲得不錯的分?jǐn)?shù)，但本文方法能夠通過有效挖掘不同輸入圖像模式的判別性特征實(shí)現(xiàn)更好的結(jié)節(jié)分類結(jié)果。為更直觀地對比各個模型性能，繪制了各模型的ROC曲線，如圖4所示?？梢钥闯霰疚乃岱椒ǖ那€明顯高于其他分類模型，且AUC值最大。綜合表5和圖4，本文所提方法無論是在分類精度，還是其他度量指標(biāo)中均表現(xiàn)出較強(qiáng)競爭力，進(jìn)一步證明本文所提方法的有效性。

圖4 各分類模型的ROC曲線Fig.4 ROC curve of each classification model

此外，本文從推理時所耗費(fèi)的平均推理時間（即推理一張CT 圖像時所耗時間）、浮點(diǎn)運(yùn)算數(shù)（floating point operations，F(xiàn)LOPs）和模型的參數(shù)量三個方面對表5 中的各模型進(jìn)行了考察，結(jié)果見表6。FLOPs 即模型計(jì)算量，可以用來衡量算法或者模型的復(fù)雜度，在一定程度上可以反映模型的時間復(fù)雜度。參數(shù)量則反映出模型的空間復(fù)雜度。通過表6 可以看出本文方法在這三個指標(biāo)上均表現(xiàn)出較強(qiáng)競爭力。對比Path 1 和MobileNet V3-small，可以看出最后四個bneck 模塊的刪除使得網(wǎng)絡(luò)的平均推理時間、FLOPs和參數(shù)量均有顯著降低，即使本文構(gòu)建雙路徑的特征提取網(wǎng)絡(luò)，其在平均推理時間和參數(shù)量上也優(yōu)于原MobileNet V3 網(wǎng)絡(luò)。值得注意的是，雖然FLOPs 代表模型的計(jì)算復(fù)雜度，理解上講，該指標(biāo)越高模型的計(jì)算開銷越大，耗時越長，但比較本文方法與MobileNet V3 來看，雖然本文方法的FLOPs 較大，但是其平均推理時間反而更低，這一現(xiàn)象在文獻(xiàn)[10]和文獻(xiàn)[13]之間也能觀察到。這說明FLOPs雖然是反應(yīng)模型計(jì)算復(fù)雜度的重要指標(biāo)，但是不能完全衡量網(wǎng)絡(luò)的推理時間，網(wǎng)絡(luò)推理時間還受其他因素制約，例如網(wǎng)絡(luò)結(jié)構(gòu)，這也是本文引入網(wǎng)絡(luò)平均推理時間這一度量指標(biāo)的原因。

表6 各模型平均推理時間、FLOPs、參數(shù)量對比Table 6 Comparison of average inferencing time，F(xiàn)LOPs and parameters of each model

為更直觀地考察各模型訓(xùn)練過程，本文展示了模型訓(xùn)練過程中的損失（loss）和分類精度（accuracy）的變化情況，見圖5和圖6。為公平比較各模型的收斂情況，初始學(xué)習(xí)率均設(shè)置為0.01，batch size為16，采用余弦退火學(xué)習(xí)率調(diào)整每次迭代的學(xué)習(xí)率?？梢钥闯?，隨著迭代次數(shù)（epoch）的增加，各模型的Loss值不斷下降，證明各模型在趨于收斂。隨著模型的不斷收斂，其分類性能即準(zhǔn)確率不斷提升，直至趨于穩(wěn)定，見圖6。

圖5 各分類模型訓(xùn)練過程損失曲線Fig.5 Training loss curve of each classification model

圖6 各分類模型訓(xùn)練過程精度曲線Fig.6 Training accuracy curve of each classification model

對比本文方法與Xie 等提出的文獻(xiàn)[10]和Al-Shabi等所提文獻(xiàn)[13]的Loss值變化發(fā)現(xiàn)，本文所提方法的收斂速度最快，且通過圖6可以發(fā)現(xiàn)本文方法在訓(xùn)練過程中其訓(xùn)練精度一直處于領(lǐng)先。值得注意的是，雖然文獻(xiàn)[13]在收斂時的訓(xùn)練精度低于文獻(xiàn)[10]所提的方法，但通過表5可以發(fā)現(xiàn)前者的性能反而略優(yōu)，這從側(cè)面說明了融合全局-局部注意力機(jī)制的方法能夠更有效地挖掘圖像有用特征以實(shí)現(xiàn)模型性能的提升，且訓(xùn)練過程中的精度高低不能完全反映在測試集上。觀察本文方和文獻(xiàn)[10]所提方法發(fā)現(xiàn)，這兩種方法的收斂速度均低于其所借鑒的網(wǎng)絡(luò)，這在文獻(xiàn)[10]和其所借鑒網(wǎng)絡(luò)ResNet-50之間更為明顯，這從側(cè)面反映出網(wǎng)絡(luò)參數(shù)的多少、網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)等原因也可能會成為網(wǎng)絡(luò)收斂速度的影響因素。

3.4 消融實(shí)驗(yàn)

本文分別對比了不加入channel shuffle 和CBAM模塊的模型A，僅加入CBAM 模塊的模型B，僅加入channel shuffle 模塊的模型C，bneck 數(shù)為11（即原MobileNet V3-small的設(shè)定值）時的模型D，本文方法在單通道輸入圖像下的模型E，以及本文方法的分類性能，實(shí)驗(yàn)結(jié)果如表7所示。

表7 消融實(shí)驗(yàn)結(jié)果對比Table 7 Comparison of ablation experimental results單位：%

當(dāng)分別引入CBAM 或channel shuffle模塊時，綜合6個評價(jià)指標(biāo)來看，模型分類性能均有所提升。如前文所述，模型B 中的CBAM 模塊相較于原MobieNet V3-small 中的注意力模塊多了空間注意力機(jī)制，這樣模型能夠在關(guān)注通道信息的同時對與分類任務(wù)相關(guān)區(qū)域進(jìn)行重點(diǎn)挖掘。因此，相較于模型A，模型B 表現(xiàn)更佳。channel shuffle模塊的引入使得模型能夠?qū)⑻卣鲌D之間的信息進(jìn)行融合，將每一個組卷積的特征分散到不同的組之后，再進(jìn)行下一個組卷積，這樣輸出的特征就能夠包含每一個組的特征，從而增強(qiáng)了特征的表達(dá)能力。因此模型C 能夠在一定程度上提升模型的分類性能。模型D 與本文方法的唯一區(qū)別就是bneck 數(shù)量為11，當(dāng)bneck減少時，雖然分類結(jié)果有所波動，但綜合所有指標(biāo)來看，基本能夠達(dá)到令人滿意的效果。此外，當(dāng)bneck為11 時模型的FLOPs 為11.98×109，參數(shù)量為3.04×106，平均推理一張圖像的時間為16 ms。因此，相比模型在時間和空間復(fù)雜度上的優(yōu)化，某些分類指標(biāo)略微減小是能夠接受的。最后，比較了單通道圖像和RGB 圖像對于本文方法的區(qū)別，通過實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)訓(xùn)練集圖像為單通道時，本文方法的性能略遜。這可能是MobileNet 系列的模型設(shè)計(jì)采用ImageNet數(shù)據(jù)集。由于該數(shù)據(jù)集所含圖像為RGB自然圖像，所以網(wǎng)絡(luò)的bneck模塊以及整體網(wǎng)絡(luò)結(jié)構(gòu)在設(shè)計(jì)當(dāng)初會更側(cè)重于處理RGB圖像。因此本文在將CT 圖像輸入網(wǎng)絡(luò)之前，復(fù)制CT 圖像以生成RGB通道圖像。

4 結(jié)束語

本文提出了一種多模式特征融合網(wǎng)絡(luò)肺結(jié)節(jié)良惡性分類方法。該方法通過構(gòu)建一種雙路徑特征融合網(wǎng)絡(luò)，在充分挖掘結(jié)節(jié)CT圖像全局信息的同時，有效提取結(jié)節(jié)區(qū)域的特征。相比僅利用原始CT圖像進(jìn)行模型訓(xùn)練的方法，雙路徑特征提取網(wǎng)絡(luò)能夠充分挖掘不同圖像模式的判別性信息，有效解決結(jié)節(jié)面積較小時其周圍組織信息對判別結(jié)果產(chǎn)生干擾的問題。此外，為了進(jìn)一步提升模型對有用特征的提取，采用CBAM 注意力模塊替代原通道注意力模塊，在保留模型對通道信息關(guān)注的基礎(chǔ)上引入空間注意力對分類任務(wù)相關(guān)區(qū)域進(jìn)行重點(diǎn)挖掘，并引入channel shuffle 技術(shù)實(shí)現(xiàn)特征圖之間的通道信息融合以提升特征表達(dá)能力。最后，探討了降低模型復(fù)雜度對模型分類性能的影響，為模型的實(shí)際部署提供支撐。實(shí)驗(yàn)結(jié)果表明，在LIDC-IDRI 數(shù)據(jù)集上，本文方法在較小時間復(fù)雜度和空間復(fù)雜度的情況下，在幾乎所有評估指標(biāo)上均表現(xiàn)出較強(qiáng)競爭力。在未來的工作中，將探索結(jié)節(jié)的三維特征在結(jié)節(jié)良惡性分類中的作用，并進(jìn)一步探索肺結(jié)節(jié)類型的多分類問題，從而為醫(yī)師提供更可靠的決策支持。