深度學(xué)習(xí)在肺結(jié)節(jié)輔助診斷中的應(yīng)用

馮妍妍，魏德健，倪 偉

1.山東中醫(yī)藥大學(xué) 智能與信息工程學(xué)院，濟南250355

2.肥城市人民醫(yī)院 信息管理科，山東 肥城271600

2020 年全球新增癌癥病例1 930 萬例，新增癌癥致死病例1 000 萬例。其中，肺癌仍然是全球相關(guān)癌癥死亡的主要原因[1]。在我國，2020年肺癌位居癌癥發(fā)病率第二，死亡率首位[2]。研究表明，診斷滯后是導(dǎo)致高死亡率的主要原因。早期診斷肺癌的首要手段是采用多種篩查方法鑒別肺結(jié)節(jié)，并對其進行良惡性分類。放射科醫(yī)生對肺結(jié)節(jié)分類是一個非常繁瑣耗時的過程，極易出現(xiàn)漏診或誤診。因此，醫(yī)生需要計算機輔助來提高診斷效率，降低診斷成本。

近年來，隨著計算機斷層掃描（CT）成像技術(shù)[3]的不斷發(fā)展，深度學(xué)習(xí)在CT 肺結(jié)節(jié)診斷中的表現(xiàn)引起了學(xué)者們的極大關(guān)注[4]。傳統(tǒng)的模式識別方法不易提取特征，需要放射科醫(yī)生做大量的研究工作，而深度學(xué)習(xí)可以通過修改超參數(shù)對提取的紋理、形態(tài)等特征進行選擇與組合，使用最優(yōu)組合來提高肺結(jié)節(jié)的分類精度與診斷速度。因此，深度學(xué)習(xí)在計算機輔助診斷相關(guān)研究領(lǐng)域中的重要性日益增加。對于肺結(jié)節(jié)診斷，文獻[5-11]是近期發(fā)表的幾篇優(yōu)秀的綜述，但是都未對肺結(jié)節(jié)分類的深度學(xué)習(xí)方法進行系統(tǒng)地概述。為了給肺結(jié)節(jié)輔助診斷相關(guān)研究領(lǐng)域的未來工作提供參考，本文主要從數(shù)據(jù)集介紹、肺結(jié)節(jié)良惡性分類和惡性等級分類的深度學(xué)習(xí)方法三個方面進行介紹，總結(jié)了2019—2021 年在肺結(jié)節(jié)分類中提出的深度學(xué)習(xí)算法及其應(yīng)用效果，指出目前存在的問題，并對未來發(fā)展趨勢進行展望。

1 數(shù)據(jù)集介紹

肺部數(shù)據(jù)庫是計算機輔助診斷肺結(jié)節(jié)的重要組成部分。為了對肺結(jié)節(jié)診斷的深度學(xué)習(xí)方法進行總結(jié)與比較，本章介紹了近幾年肺結(jié)節(jié)輔助診斷相關(guān)工作中較常用的數(shù)據(jù)集。

1.1 LIDC-IDRI

The Lung Image Database Consortium（LIDC-IDRI）[12]

是最權(quán)威的公共肺癌篩查數(shù)據(jù)庫之一。LIDC-IDRI 數(shù)據(jù)集共包含來自1 010名患者的1 018個胸部螺旋CT掃描，圖像數(shù)據(jù)以DICOM 格式存儲，像素值大小為512×512，圖像厚度范圍為0.5～5 mm。LIDC-IDRI 數(shù)據(jù)集的每個案例都由數(shù)百張圖像和一個可擴展標記語言（extensible markup language，XML）的文件組成。XML文件記錄了4位經(jīng)驗豐富的放射科醫(yī)生注釋的結(jié)果，包含了已識別的肺病變詳細信息。專家將檢測到的肺病變按形態(tài)特征分為三類，即結(jié)節(jié)（直徑≥3 mm）、微結(jié)節(jié)（直徑<3 mm）和非結(jié)節(jié)，并將標注后的結(jié)節(jié)分為四個類別，包括未知、良性、原發(fā)性肺癌和轉(zhuǎn)移性病變。由于該數(shù)據(jù)集為研究者提供了一個準確評估計算機輔助診斷性能的機會，因此被廣泛使用。

1.2 LUNA16

Lung Nodule Analysis 2016（LUNA16）[13]數(shù)據(jù)集是數(shù)據(jù)集LIDC-IDRI 的一個子集，共包含888 張胸部CT圖像。放射科醫(yī)生在肺結(jié)節(jié)CT掃描中共做了36 378個注釋，至少由1、2、3 或4 名放射科醫(yī)生注釋的結(jié)節(jié)個數(shù)分別為2 290、1 602、1 186和777。LUNA16選取放射科醫(yī)生（至少4 名放射科醫(yī)生中的3 名）注釋的1 186 個結(jié)節(jié)作為參考標準中的陽性樣本，即算法應(yīng)該檢測到的病變。在當前研究領(lǐng)域，該數(shù)據(jù)集的使用也越來越廣泛。

1.3 NLST

National Lung Screening Trial（NLST）[14]美國國家篩查試驗數(shù)據(jù)庫于2009年收集，由低劑量CT圖像和胸片構(gòu)成，旨在確定相對于傳統(tǒng)胸部X 線攝影篩查，通過低劑量螺旋CT 篩查肺癌能否降低高危人群的肺癌死亡率。該數(shù)據(jù)集提供超過75 000 張CT 篩查的圖像和1 200張肺癌患者的病理圖像，包括參與者篩查結(jié)果、診斷程序、是否患有肺癌和死亡率的數(shù)據(jù)。

1.4 DSB

Data Science Bowl 2017（DSB）[15]數(shù)據(jù)庫來源于Kaggle 組織的大型競賽，該數(shù)據(jù)集由2 101 例患者胸腔的軸向CT 掃描組成，每個樣本包含100 到400 張CT 圖像，圖像數(shù)據(jù)以DICOM格式存儲，且包含掃描的具體參數(shù)及切片厚度等詳細信息。DSB 數(shù)據(jù)集雖然提供了患者的CT 掃描圖像以及癌癥狀態(tài)，但是沒有提供肺結(jié)節(jié)的位置和大小。目前，該數(shù)據(jù)集還未公開使用。

1.5 JSRT

Japanese Society of Radiology Technology（JSRT）[16]

數(shù)據(jù)庫是日本放射技術(shù)學(xué)會發(fā)布的標準公共數(shù)字圖像數(shù)據(jù)庫。JSRT數(shù)據(jù)庫由3位放射科醫(yī)生標注結(jié)節(jié)，包含從14 個醫(yī)療中心選擇的247 張CT 圖像，其中154 張有結(jié)節(jié)，93 張無結(jié)節(jié)。每張CT 圖像大小為2 048×2 048，灰度像素為4 096，肺結(jié)節(jié)直徑為5～40 mm。所有肺部CT均由放射科醫(yī)生根據(jù)患者的年齡、診斷結(jié)果、結(jié)節(jié)坐標進行標記。當肺圖像數(shù)據(jù)不足時，JSRT 數(shù)據(jù)集上的肺成像模型可以提供有效、嚴格的計算機輔助診斷。

1.6 DLCST

Danish Lung Cancer Screening Trial（DLCST）[17]

丹麥肺癌篩查試驗數(shù)據(jù)庫包括來自718 名患者的1 152個結(jié)節(jié)，其中不包括良性鈣化的結(jié)節(jié)。DLCST 數(shù)據(jù)庫共由2位經(jīng)驗豐富的放射科醫(yī)生對肺癌高風(fēng)險患者CT進行評估，并通過手動測量的方法將尺寸小于3 mm 的結(jié)節(jié)設(shè)定為評估陽性結(jié)果的下限。目前，該數(shù)據(jù)集已公開使用。

1.7 Ali Tianchi

Ali-Tianchi contest dataset（Ali Tianchi）[18]由阿里云、英特爾等聯(lián)合舉辦的天池醫(yī)療大賽提供，包括1 600名患者的2 000例CT掃描。結(jié)節(jié)由3位放射科醫(yī)生標記，信息標記形式與LUNA16相同。所有CT的最大切片厚度限制為2 mm。結(jié)節(jié)尺寸分布為：50%的結(jié)節(jié)在5～10 mm，其他的在10～30 mm。文件以mhd 格式保存。該數(shù)據(jù)集基于中國患者的樣本，有助于進一步驗證擬議系統(tǒng)在當?shù)嘏R床研究中的性能。

1.8 LUNGx

LUNGx[19]挑戰(zhàn)賽是由SPIE、AAPM 和NCI 等聯(lián)合贊助的肺結(jié)節(jié)分類科學(xué)挑戰(zhàn)賽。該比賽的目的是對肺結(jié)節(jié)樣本進行良惡性分類。CT 圖像分為兩個階段，校準階段的CT 掃描10 次，每5 次顯示一個良性結(jié)節(jié)或一個惡性結(jié)節(jié)，測試階段數(shù)據(jù)集包含來自60個CT的73個結(jié)節(jié)。該數(shù)據(jù)集目前已公開使用。表1 總結(jié)了肺結(jié)節(jié)輔助診斷常用數(shù)據(jù)集。

表1 肺結(jié)節(jié)輔助診斷常用數(shù)據(jù)集Table 1 Common datasets for auxiliary diagnosis of pulmonary nodules

2 肺結(jié)節(jié)良惡性分類的深度學(xué)習(xí)方法

基于計算機輔助診斷（CAD）系統(tǒng)對肺結(jié)節(jié)良惡性分類是早期診斷肺癌的關(guān)鍵步驟。肺結(jié)節(jié)判斷良惡性的特征指標包括大小、形狀、鈣化程度等。圖1是文獻[20]提出的良惡性結(jié)節(jié)原始圖像。本章從無監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)三個方面介紹結(jié)節(jié)良惡性分類中常用的深度學(xué)習(xí)方法，主要有棧式去噪自編碼器（stacked denoising autoencoder，SDAE）、深度置信網(wǎng)絡(luò)（deep belief network，DBN）、生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）和遷移學(xué)習(xí)。其中SDAE、DBN和GAN屬于無監(jiān)督學(xué)習(xí)，CNN 和RNN 屬于有監(jiān)督學(xué)習(xí)。本章將從以上深度學(xué)習(xí)方法來分析最新的研究成果以及在肺結(jié)節(jié)分類中的應(yīng)用情況。

圖1 良惡性結(jié)節(jié)原始圖像Fig.1 Original image of benign and malignant nodule

2.1 基于SDAE的分類研究

自動編碼器（AE）屬于無監(jiān)督學(xué)習(xí)，其訓(xùn)練過程不需要大量標記數(shù)據(jù)。在此基礎(chǔ)上，去噪自動編碼器（DAE）為防止過擬合對輸入層數(shù)據(jù)加入噪音，提供了強大的噪聲消除功能。雖然增強了模型的魯棒性，但是DAE 的全連接層會引入大量的網(wǎng)絡(luò)參數(shù)。SDAE 是由多個DAE 堆疊而成的深度架構(gòu)，增強了網(wǎng)絡(luò)的泛化性能。Lu 等人[21]選擇3 層SDAE 網(wǎng)絡(luò)對肺結(jié)節(jié)進行良惡性分類，在一定程度上改善了分類效果。羅嘉瀅等人[22]提出一種基于多特征的廣義深度自編碼網(wǎng)絡(luò)，能夠全面地提取肺結(jié)節(jié)特征，并選擇特征融合策略進行分類，分類準確率達94.72%。

由上述分析可知，雖然該網(wǎng)絡(luò)模型參數(shù)量大，訓(xùn)練困難，但是模型訓(xùn)練不需要大量的標注樣本，緩解了標記數(shù)據(jù)缺乏的問題，仍有一定的研究價值。

2.2 基于DBN的分類研究

DBN 是概念上的兩層神經(jīng)網(wǎng)絡(luò)，包括多層受限玻爾茲曼機（RBM）和多層感知（MLP）。每一層都有神經(jīng)元序列、輸入層和隱藏層。DBN 模型中隱藏層及各層節(jié)點的數(shù)量直接影響結(jié)節(jié)的分類精度，需要設(shè)置實驗對其數(shù)量進行研究。

張華麗等人[23]提出了一種基于DBN的肺結(jié)節(jié)良惡性分類網(wǎng)絡(luò)模型。該模型是由輸入層、4個RBM和輸出層堆疊而成的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。在DBN網(wǎng)絡(luò)結(jié)構(gòu)中，輸入層為RBM1 的可見層，相鄰兩層單元節(jié)點以全連接的方式相互關(guān)聯(lián)，每層的單元節(jié)點沒有連接，最后通過Softmax層對結(jié)節(jié)特征進行分類。模型使用LUNA16的部分樣本和合作醫(yī)院提供的肺部CT 圖像進行訓(xùn)練，分類準確率為89.39%。在此基礎(chǔ)上，張婷等人[24]提出了一種改進的DBN網(wǎng)絡(luò)模型。一般的預(yù)訓(xùn)練與微調(diào)方法會使模型中的隱藏單元表現(xiàn)得比較相似，這將對網(wǎng)絡(luò)分類性能產(chǎn)生負面影響。針對此問題，文獻[24]將極限學(xué)習(xí)機[25]（extreme learning machine，ELM）的優(yōu)點應(yīng)用于DBN 模型訓(xùn)練中，ELM 學(xué)習(xí)速度快，泛化性能好，與通常所用的反向微調(diào)參數(shù)、遞歸貪婪等學(xué)習(xí)框架相比，可以有效地改善DBN的分類性能。

圖2 DBN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 DBN network structure diagram

由上述分析可知，DBN模型的輸入要求一維向量，需要從壓縮后的CT 圖像提取特征信息，并拉伸成一維向量送入DBN模型中進行良惡性分類。雖然分類精度不高，且輸入數(shù)據(jù)具有平移不變性，但是改進的DBN在一定程度上改善了原始DBN 的分類性能，仍有一定的研究價值。

2.3 基于GAN的分類研究

生成對抗網(wǎng)絡(luò)（GAN）由兩個神經(jīng)網(wǎng)絡(luò)構(gòu)成，一個生成器，一個鑒別器，二者相互博弈，最終達到納什平衡。由于結(jié)節(jié)種類多樣且分布不均勻，原始GAN 網(wǎng)絡(luò)對肺結(jié)節(jié)分類時會存在穩(wěn)定性不足的問題[26]。研究者針對此問題，對原始GAN進行改進，提出多鑒別器生成對抗網(wǎng)絡(luò)（MDGAN）和深度卷積生成對抗網(wǎng)絡(luò)（DCGAN）。

Kuang 等人[27]使用無監(jiān)督學(xué)習(xí)識別肺結(jié)節(jié)，提出了一種多鑒別器生成對抗網(wǎng)絡(luò)（MDGAN）。該研究方法主要分為三個步驟：首先，建立一個用無標記良性肺結(jié)節(jié)圖像訓(xùn)練的生成模型；其次，采用編碼器建立原始圖像的空間映射；最后，計算GAN鑒別器特征損失對肺結(jié)節(jié)進行評估。模型訓(xùn)練使用數(shù)據(jù)集LIDC-IDRI的1 375個結(jié)節(jié)，實驗結(jié)果顯示良惡性分類準確率為95.32%。李莉等人[28]針對穩(wěn)定性不足的問題，提出了一種改進的深度卷積生成對抗網(wǎng)絡(luò)（DCGAN），運用半監(jiān)督FCM聚類方法對原始結(jié)節(jié)圖像信息進行特征提取和量化，引入加權(quán)損失函數(shù)最大限度增加了模型識別精確度。

由上述分析可知，生成對抗網(wǎng)絡(luò)的生成模型用以學(xué)習(xí)真實樣本的潛在分布，判別模型用以鑒別樣本是否為生成數(shù)據(jù)。大量研究通過對原始GAN 進行改進，提高網(wǎng)絡(luò)模型的圖像生成能力和判別能力，解決穩(wěn)定性不足的問題。但是在改進的GAN 網(wǎng)絡(luò)中，生成樣本與原始樣本仍有較大的差距，需要大量的時間進行訓(xùn)練，引入半監(jiān)督FCM 方法幫助生成更高質(zhì)量的樣本數(shù)據(jù)，降低網(wǎng)絡(luò)復(fù)雜度。GAN 模型訓(xùn)練不需要大量的標記數(shù)據(jù)。但是，上述文獻主要針對孤立性肺結(jié)節(jié)的良惡性判斷，對于背景復(fù)雜的結(jié)節(jié)或者粘連性結(jié)節(jié)的識別與分類仍需要進一步研究。

2.4 基于CNN的分類研究

對于無監(jiān)督學(xué)習(xí)，有監(jiān)督學(xué)習(xí)是一種目的明確的訓(xùn)練方式，更多研究者傾向于使用有監(jiān)督學(xué)習(xí)的方法對肺結(jié)節(jié)進行良惡性分類。卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基本結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層、輸出層五部分組成。本節(jié)介紹的卷積神經(jīng)網(wǎng)絡(luò)有二維卷積神經(jīng)網(wǎng)絡(luò)（two dimension convolutional neural network，2D-CNN）和三維卷積神經(jīng)網(wǎng)絡(luò)（three dimension convolutional neural network，3D-CNN）。

2.4.1 2D-CNN

2D-CNN的含義包括兩個方面，CNN的卷積核為二維卷積核或者是CNN 的輸入為二維切片圖像。雖然2D-CNN框架會損失結(jié)節(jié)的立體信息，但有些方法利用相鄰切片之間的關(guān)系仍能保留結(jié)節(jié)的三維信息。

Hua 等人[29]在2015 年首次將2D-CNN 應(yīng)用于肺結(jié)節(jié)分類中，實驗結(jié)果表明分類效果優(yōu)于傳統(tǒng)的分類方法。但是肺結(jié)節(jié)體積微小，放射異質(zhì)性[30]可能導(dǎo)致一些結(jié)節(jié)不可見。為了解決此問題，文獻[31]將領(lǐng)域知識納入肺結(jié)節(jié)良惡性分類，提出了一個基于多視圖知識的卷積神經(jīng)網(wǎng)絡(luò)模型（MV-KBC），實現(xiàn)了端到端的訓(xùn)練方式。在此基礎(chǔ)上，Zuo 等人[32]使用知識轉(zhuǎn)移[33]方法轉(zhuǎn)移和重構(gòu)了一個多分辨率二維卷積神經(jīng)網(wǎng)絡(luò)（2D-CNN）。知識轉(zhuǎn)移可以將知識從源模型轉(zhuǎn)移到目標領(lǐng)域，即在目標領(lǐng)域保留源模型的主要結(jié)構(gòu)。該網(wǎng)絡(luò)模型可以將肺結(jié)節(jié)候選區(qū)域映射為不同分辨率和尺度的特征，因此可以成功識別一些由放射學(xué)異質(zhì)性引起的不太明顯的結(jié)節(jié)。在數(shù)據(jù)集LUNA16與生成樣本集上進行測評，準確度為97.33%，結(jié)果表明分類效果優(yōu)于大多數(shù)的分類方法，但是仍無法獲取切片之間的上下文信息。

一個完整的肺結(jié)節(jié)通常分布在多個切片上，2DCNN方法在獲取切片之間的上下文信息時很有限。為此，Lei 等人[34]嘗試將肺結(jié)節(jié)的體積圖像采集到二維網(wǎng)絡(luò)（2D-CNN）中，以簡化處理。通過引入軟激活映射（SAM）方法分析細粒度肺結(jié)節(jié)形狀和邊緣特征，使用編碼-解碼結(jié)構(gòu)提取特征。該模型僅使用了440個參數(shù)，與三維模型相比，降低了模型復(fù)雜度。但是肺結(jié)節(jié)形狀和大小復(fù)雜多樣，卷積神經(jīng)網(wǎng)絡(luò)由于內(nèi)核較小無法檢測到全局特征，而特征金字塔網(wǎng)絡(luò)（FPN）可以在不同層次上建立特征之間的關(guān)系，包含局部特征和全局上下文[35]。受對象檢測中特征金字塔網(wǎng)絡(luò)的啟發(fā)，文獻[4]提出了一種用于細粒度分類任務(wù)的網(wǎng)絡(luò)，通過建立特征層次之間的關(guān)系來預(yù)測惡性結(jié)節(jié)的概率。

由上述分析可知，由于醫(yī)學(xué)圖像大部分為三維圖像，故2D-CNN 的改進工作主要圍繞如何使用2D 卷積核獲取3D空間信息展開，可以適當減少3D網(wǎng)絡(luò)分類的計算成本。在2D-CNN結(jié)構(gòu)中，上述文獻提出的主要改進包括：（1）引入知識轉(zhuǎn)移方法，成功識別一些由放射性異質(zhì)引起的不太明顯的結(jié)節(jié)；（2）納入領(lǐng)域知識，融合多視圖子模型，實現(xiàn)端到端的訓(xùn)練方式；（3）開發(fā)軟激活映射方法（SAM）分析細粒度結(jié)節(jié)特征，降低模型復(fù)雜度；（4）建立不同層次特征之間的關(guān)系獲取特征最優(yōu)表示。2D-CNN主要采用二維切片的方法進行分類，不能有效利用CT 圖像三維信息，但是具有網(wǎng)絡(luò)結(jié)構(gòu)簡單和計算時間短等優(yōu)點。基于2D-CNN 的結(jié)節(jié)良惡性分類方法結(jié)果比較如表2所示。

表2 基于2D-CNN的肺結(jié)節(jié)分類方法結(jié)果比較Table 2 Comparison of results of lung nodule classification methods based on 2D-CNN

2.4.2 3D-CNN

相比2D-CNN，3D-CNN 使用三維卷積核。相比二維圖像，三維圖像包含更多的潛在特征信息，有助于提高分類精度并做出正確的診斷結(jié)果。本小節(jié)通過對文獻的整理與歸納，進一步細分為兩類：單路徑CNN和多路徑CNN。

（1）單路徑

單路徑CNN 的核心思想是各網(wǎng)絡(luò)串行連接，即將上一個網(wǎng)絡(luò)的輸出作為下一個網(wǎng)絡(luò)的輸入。

文獻[39]提出了一種基于結(jié)節(jié)級別的3D-CNN 算法，研究了數(shù)據(jù)擴充技術(shù)和網(wǎng)絡(luò)訓(xùn)練代價函數(shù)的修改，用以解決數(shù)據(jù)中良性和惡性樣本不平衡的問題。該文獻的貢獻是對3D CNN結(jié)構(gòu)進行綜合評估，主要評估了三種不同輸入大小和層數(shù)的3D CNN架構(gòu)，研究結(jié)果表明輸入大小為32×32×32像素、2塊卷積層和2塊池化層效果最好。在數(shù)據(jù)集LIDC-IDRI測試中準確度為91.88%。在3D-CNN 的基礎(chǔ)上，文獻[40]使用密集連接結(jié)構(gòu)與擴張卷積提取多尺度特征，文獻[41]使用深度學(xué)習(xí)導(dǎo)向策略（HONORS）過濾引導(dǎo)金字塔網(wǎng)絡(luò)（F-GPN），不僅能夠提取局部、全局特征，還能獲取結(jié)節(jié)之間的復(fù)雜關(guān)系。但是結(jié)節(jié)之間的尺度相差較大，且不同結(jié)節(jié)的分辨率不同。文獻[42]針對多尺度結(jié)構(gòu)問題，將局部-全局神經(jīng)網(wǎng)絡(luò)融合來預(yù)測結(jié)節(jié)的惡性程度。該方法使用殘差卷積和非局部卷積提取局部、全局特征。研究所提出的方法AUC為0.956 2，結(jié)果表明局部-全局神經(jīng)網(wǎng)絡(luò)有助于增強多尺度特征的提取能力。針對肺結(jié)節(jié)分辨率不同的問題，文獻[20]提出一種基于三維各向異性卷積的分類網(wǎng)絡(luò)，將標準三維卷積拆分為1×1×k和k×k×1 兩種各向異性卷積，緩解了圖像分辨率不同對肺結(jié)節(jié)分類的影響。文獻[43]采用插值方法解決分辨率不同的問題，但是該方法會導(dǎo)致分辨率降低。

由上述分析可知，單路徑3D-CNN能夠充分地提取結(jié)節(jié)的特征信息。在3D-CNN基礎(chǔ)上，上述文獻提出的改進工作主要包括：①改進網(wǎng)絡(luò)訓(xùn)練代價函數(shù)及數(shù)據(jù)擴充技術(shù)，解決數(shù)據(jù)不平衡的問題；②改進密集塊結(jié)構(gòu)，優(yōu)化特征提?。虎垡霐U張卷積，增加內(nèi)核大小，提取潛在的有效特征；④引入導(dǎo)向策略，提取局部、全局特征及結(jié)節(jié)之間的復(fù)雜關(guān)系。雖然這些改進方案在一定程度上改善了分類效果，但是3D卷積核相比2D卷積核會增加網(wǎng)絡(luò)的復(fù)雜度及訓(xùn)練時間，在一定程度上增加了計算成本。

（2）雙路徑

雙路徑網(wǎng)絡(luò)（dual path network，DPN）首次提出是在2017 年ILSVRC 物體檢測競賽中，通過High Order RNN（HORNN）框架將ResNet 和DenseNet 進行了融合[44]。在DPN 基礎(chǔ)上，研究者提出的雙路徑CNN 核心思想包括兩個方面：①多網(wǎng)絡(luò)結(jié)構(gòu)并行，各網(wǎng)絡(luò)分工不同；②多分類器并行，各分類器分類效果不同。

受雙路徑網(wǎng)絡(luò)（DPN）在物體識別和結(jié)節(jié)分類中成功的啟發(fā)，Jiang等人[45]提出了一種基于注意機制的肺結(jié)節(jié)三維雙向特征級融合網(wǎng)絡(luò)。引入空間注意學(xué)習(xí)機制解決了肺結(jié)節(jié)在整個3D 空間中表達不均勻的問題，進一步平衡了真陽性率（TPR）與假陽性率（FPR）。但對于邊緣條件復(fù)雜的肺結(jié)節(jié)，多尺度結(jié)構(gòu)、多分辨率和殘差連接問題并未得到有效的解決，對肺結(jié)節(jié)的分類效果并不是很理想。為了解決此問題，文獻[46-47]在雙路徑CNN中嵌入擠壓、激發(fā)（SE）單元，用以提取上下文特征和空間特征。文獻[47]還引入RAN 模塊保證獲取特征的完整性，過濾冗余特征。模型在數(shù)據(jù)集LIDC上測評，F(xiàn)1-score 達到了91.0%，表明了雙路徑CNN 在獲取結(jié)節(jié)特征方面具有很大的優(yōu)勢。Polat 等人[48]構(gòu)建了混合3D-CNN，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。該網(wǎng)絡(luò)結(jié)構(gòu)雙路徑形式體現(xiàn)在分類層。全連接層的輸出被分別輸入到基于Softmax和基于RBF的SVM分類器。但是與文獻[49-50]相比，混合的兩種CNN結(jié)構(gòu)不同，分別是3D-AlexNet和3D-GoogleNet，增強了特征表達能力。但是，所提出的方法主要用于肺部孤立結(jié)節(jié)（SPNS）的良惡性分類。針對粘連性的肺結(jié)節(jié)，文獻[51]提出的雙路徑模型同時處理結(jié)節(jié)目標和上下文圖像。這兩種路徑代表不同的深度特征提取策略，即監(jiān)督模型與無監(jiān)督模型。該網(wǎng)絡(luò)模型將提取的結(jié)節(jié)內(nèi)部特征與背景屬性結(jié)合起來訓(xùn)練，成功識別肺結(jié)節(jié)的復(fù)雜特征，為獲取更多的特征信息提供了方向。但是，異質(zhì)性與復(fù)雜性使得可以評估的粘連性結(jié)節(jié)數(shù)量太小。因此，需要更加重視收集新數(shù)據(jù)。同時，也可以在可視化和解釋性技術(shù)上做更多的努力，使模型更加透明，從而更容易應(yīng)用于臨床實踐。

圖3 3D-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 3D-CNN network structure diagram

上述文獻表明了雙路徑3D-CNN 在獲取結(jié)節(jié)特征方面的巨大優(yōu)勢。在此基礎(chǔ)上，Zhao等人[52]引入多任務(wù)學(xué)習(xí)的方法，構(gòu)建了一個新的雙路徑CNN 模型。該模型結(jié)合了多流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、殘差網(wǎng)絡(luò)結(jié)構(gòu)和多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，因此稱之為多流多任務(wù)網(wǎng)絡(luò)（MSMTCNN），網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。由三部分組成：①兩個不同尺度的三維圖像塊（S1 和S2）作為模型的輸入，使用多流CNN實現(xiàn)初始特征提?。虎趯⑷诤系娜S特征映射輸入微調(diào)后的三維殘差網(wǎng)絡(luò)（ResNet-22）提取深度特征；③多任務(wù)學(xué)習(xí)與肺結(jié)節(jié)的屬性分類相結(jié)合，網(wǎng)絡(luò)結(jié)構(gòu)包括9個全連接層，第一個全連接層FC0用于區(qū)分肺結(jié)節(jié)良惡性。其余8個全連接層分別對應(yīng)8個屬性分類。多尺度特征融合使網(wǎng)絡(luò)關(guān)注結(jié)節(jié)背景信息，提高了網(wǎng)絡(luò)的泛化能力，多任務(wù)學(xué)習(xí)將不同屬性的分級融合到分類任務(wù)中，提高網(wǎng)絡(luò)的分類性能。盡管多任務(wù)學(xué)習(xí)可以發(fā)現(xiàn)不同任務(wù)之間的內(nèi)部關(guān)系，但是手動調(diào)整多任務(wù)損失函數(shù)的權(quán)重組合顯然是不明智的。與2D-CNN 相比，雖然獲得了更好的分類性能，但也存在著網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜和計算成本高的缺點。

圖4 3D-MSMT-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 3D-MSMT-CNN network structure diagram

由上述分析可知，雙路徑CNN 的改進主要采用多網(wǎng)絡(luò)結(jié)構(gòu)的形式，各網(wǎng)絡(luò)分工不同，能夠獲取結(jié)節(jié)的局部、全局特征等信息，并將其與屬性等信息進行融合，增強了肺結(jié)節(jié)的特征表達能力，從而有效地提高網(wǎng)絡(luò)的分類性能。在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，上述文獻做出的主要改進包括：①引入擠壓、激發(fā)模塊，模型在特征提取過程中自動集中于結(jié)節(jié)所在區(qū)域，并篩選重要通道；②引入剩余注意網(wǎng)絡(luò)，過濾冗余特征；③引入空間注意機制，解決了結(jié)節(jié)在整個3D空間中表達不均勻的問題，且增強肺結(jié)節(jié)預(yù)測的穩(wěn)健性；④引入殘差卷積、多任務(wù)學(xué)習(xí)提高分類精度。雖然這些改進方案在一定程度上改善了分類效果，但是多個網(wǎng)絡(luò)的集成會導(dǎo)致計算復(fù)雜和訓(xùn)練時間長等問題。

綜上所述，基于CNN 的方法是肺結(jié)節(jié)良惡性分類中最常用的方法，也是目前深度學(xué)習(xí)中應(yīng)用最廣泛的方法。與傳統(tǒng)的SDAE、DBN 方法相比，CNN 具有較強的特征提取能力，但仍存在以下問題需要解決：①數(shù)據(jù)集中CT 圖像分辨率不同，影響分類精度；②網(wǎng)絡(luò)模型的可解釋性差；③粘連性結(jié)節(jié)、背景復(fù)雜的結(jié)節(jié)分類效果并不理想，且該類結(jié)節(jié)數(shù)量太小，不能進行更全面的評估；④模型的泛化能力低，對于多任務(wù)學(xué)習(xí)分類效果并不理想；⑤網(wǎng)絡(luò)模型在訓(xùn)練過程中容易出現(xiàn)過擬合現(xiàn)象，目標函數(shù)優(yōu)化困難。基于3D-CNN的結(jié)節(jié)良惡性分類方法結(jié)果比較如表3所示，基于CNN肺結(jié)節(jié)良惡性分類方法的改進及模型分類效果如表4所示。

表3 基于3D-CNN的肺結(jié)節(jié)分類方法結(jié)果比較Table 3 Comparison of results of lung nodule classification methods based on 3D-CNN

表4 基于CNN分類方法的改進及模型分類效果Table 4 Main improvement of CNN-based classification method and model classification effect

2.5 基于RNN的分類研究

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）主要用于解決序列數(shù)據(jù)問題。與CNN 相比，RNN 神經(jīng)元的輸入包括輸入層與上一時刻神經(jīng)元的共同輸出。由于肺結(jié)節(jié)的良惡性會隨著時間發(fā)生改變，尤其對于惡性結(jié)節(jié)需要隨訪觀察，因此使用RNN 實現(xiàn)肺結(jié)節(jié)在不同時間點的分類。

為了評估肺結(jié)節(jié)在不同時間點（通常間隔一年進行三次掃描）的表現(xiàn)，文獻[37]提出了一種用于單時間點肺結(jié)節(jié)良惡性分類的卷積循環(huán)網(wǎng)絡(luò)（CNN-RNN，CRN），RNN通過順序處理數(shù)據(jù)來隱式地編碼二維切片的三維信息，將特征序列壓縮簡化，但仍可以保留結(jié)節(jié)良惡性分類的語義特征。但是CRN模型只考慮了單時間點結(jié)節(jié)分類，未涉及到多時間點的研究。文獻[38]針對多時間點研究的問題，對CRN模型進行改進，將遞歸模塊替換為切片注意機制，不局限于遞歸模塊的順序處理機制，對肺結(jié)節(jié)進行單時間點和多時間點分類，以探索時間信息對結(jié)節(jié)惡性程度預(yù)測的價值。實驗結(jié)果表明，多時間點分類與單時間點相比，幾乎每個性能的指標都有所提高。在此基礎(chǔ)上，Ni等人[53]提出一種改進型RNN，網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。該網(wǎng)絡(luò)包含三個輕量卷積層和三個池化層，移除全連接層，直接與LSTM 連接。該網(wǎng)絡(luò)采用三個大小不同的卷積核提取結(jié)節(jié)特征以減少噪聲對訓(xùn)練網(wǎng)絡(luò)的影響。LSTM 用以學(xué)習(xí)結(jié)節(jié)特征之間的相關(guān)信息。該混合網(wǎng)絡(luò)模型的參數(shù)量明顯減少，實現(xiàn)了小樣本訓(xùn)練的靈活性。

圖5 基于改進型RNN的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Network structure diagram based on improved RNN

由上述分析可知，RNN模型可對序列內(nèi)容建模，對肺結(jié)節(jié)進行不同時間點的分類研究，但是RNN不具備特征學(xué)習(xí)能力且易出現(xiàn)梯度消失與梯度爆炸的問題。改進型RNN雖然解決了該問題，但仍需要較長的訓(xùn)練時間。

2.6 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指在解決特定任務(wù)時學(xué)習(xí)模型所產(chǎn)生的存儲知識可應(yīng)用于解決不同任務(wù)的一種方法。在醫(yī)學(xué)領(lǐng)域，缺乏可靠標記的大規(guī)模數(shù)據(jù)集，為了緩解卷積神經(jīng)網(wǎng)絡(luò)由于醫(yī)學(xué)圖像數(shù)量少而導(dǎo)致的模型訓(xùn)練困難，遷移學(xué)習(xí)是一種穩(wěn)健且可取的策略。

Wang等人[54]使用inception-v3遷移學(xué)習(xí)模型自動提取肺部圖像數(shù)據(jù)特征，使用不同的分類器（Softmax、Logistic、SVM）對是否存在肺結(jié)節(jié)進行分類，并與深度卷積神經(jīng)網(wǎng)絡(luò)模型的分類效果進行比較。研究選擇JSRT數(shù)據(jù)集，靈敏性和特異性分別為95.41%和80.09%，該模型的特異性和敏感性之間存在較大差距，仍需要進一步的研究。Huang等人[55]使用遷移學(xué)習(xí)區(qū)分暫時性和持續(xù)性肺結(jié)節(jié)，Apostolopoulos 等人[56]主要針對孤立性肺結(jié)節(jié)進行早期診斷，證明了遷移學(xué)習(xí)是提取胸部CT圖像代表性成像標志物的有效策略，解決了誤報率高、訓(xùn)練時間長等問題。

由上述分析可知，遷移學(xué)習(xí)緩解了卷積神經(jīng)網(wǎng)絡(luò)由于醫(yī)學(xué)圖像數(shù)量少而導(dǎo)致的模型訓(xùn)練困難，極其適用于小數(shù)據(jù)集分類任務(wù)。

3 肺結(jié)節(jié)惡性等級分類的深度學(xué)習(xí)方法

肺結(jié)節(jié)的分類任務(wù)有兩種：（1）將樣本分為良性或惡性；（2）對肺結(jié)節(jié)的惡性等級分類。圖6是文獻[58]提出的五個等級的結(jié)節(jié)原始圖像。目前對結(jié)節(jié)的良惡性分類已經(jīng)取得了較好的分類效果，應(yīng)用于良惡性分類的深度學(xué)習(xí)技術(shù)越來越多的被應(yīng)用于惡性等級分類中，如深度卷積生成對抗網(wǎng)絡(luò)（deep convolutional generative adversarial networks，DCGAN）、多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale convolutional neural networks，MCNN）、U型網(wǎng)絡(luò)（U-Net）和集成學(xué)習(xí)。本章將探討以上深度學(xué)習(xí)方法在肺結(jié)節(jié)惡性等級分類中的最新應(yīng)用成果。

圖6 五等級結(jié)節(jié)原始圖像Fig.6 Original image of five-grade nodules

3.1 DCGAN

徐久強等人[65]首次使用深度卷積生成對抗網(wǎng)絡(luò)（DCGAN）對肺結(jié)節(jié)惡性等級進行分類。LIDC-IDRI數(shù)據(jù)庫中將肺結(jié)節(jié)惡性等級分為5 級：（1）良性；（2）疑似良性；（3）未知；（4）疑似惡性；（5）惡性[66]。研究選擇該數(shù)據(jù)集和合作醫(yī)院的11 954 個肺結(jié)節(jié)CT 圖像，其中選擇等級1～5 的結(jié)節(jié)個數(shù)分別為570、2 119、2 914、2 532和3 819個。改進的DCGAN模型具有較強能力的判別模型和良好分類能力的生成模型，等級分類準確率達70.89%。但是在圖像生成過程中，輸入的均勻分布會增加圖像生成的難度，影響模型的分類性能。

3.2 MCNN

Wang 等人[58]提出一個3D 多尺度卷積神經(jīng)網(wǎng)絡(luò)（MCNN）對肺結(jié)節(jié)進行等級分類。惡性程度等級標準與文獻[66]相同。與原始DenseNet相比，該研究在每個DenseNet末尾使用全局池化層，不僅減少了參數(shù)量還緩解了過擬合問題。結(jié)果表明，對于五個等級的識別準確率分別達到了73.1%、38.3%、88.9%、49.4%、87.4%，其準確度比原始3D DenseNet 提高了6 個百分點。但是一些小結(jié)節(jié)由于體積小無法提取特征信息，即使采用多尺度的方法，2級和4級的分類精度仍然很低。

3.3 U-Net

U-Net基本原理是采用編碼-解碼結(jié)構(gòu)和跳躍連接，實現(xiàn)少量圖像的端到端訓(xùn)練[67]。由于惡性結(jié)節(jié)的存在并不一定意味著癌癥，因此需要對結(jié)節(jié)的惡性等級分類，即根據(jù)病例預(yù)測患癌概率（病例1：兩個大腫瘤，患癌概率高；病例2：幾個中等大小的結(jié)節(jié)且具有顯著的癌癥特征，患癌概率中等；病例3：假陰性病例，均無明顯結(jié)節(jié)，患癌概率低；病例4：假陽性病例，均有可疑結(jié)節(jié)，患癌概率不確定；病例5：幾個小結(jié)節(jié)，無患癌概率）。Liao等人[68]提出的改進型U-Net 由兩個模塊組成，一個用于識別可疑結(jié)節(jié)，另一個根據(jù)輸出結(jié)果選擇結(jié)節(jié)，并將其與噪聲等相結(jié)合，評估受試者患癌概率。在實驗中，通過改變閾值預(yù)測患癌概率（如果預(yù)測概率高于閾值，則分類為癌癥）。閾值設(shè)置為0.5時，訓(xùn)練集和測試集的準確率分別為85.96%和81.42%。閾值設(shè)置為1 時，訓(xùn)練集和測試集的分類準確率分別為73.73%和69.76%。

3.4 集成學(xué)習(xí)

Xiao 等人[69]使用集成學(xué)習(xí)對肺結(jié)節(jié)進行惡性等級分類。通過加權(quán)投票規(guī)則預(yù)測等級，即根據(jù)分類精度對分類器分配不同的權(quán)重，獲得一個綜合分類器對結(jié)節(jié)惡性特征進行評分，最后進行等級分類。研究選擇LIDC數(shù)據(jù)集的1 018張具有臨床信息的CT圖像，醫(yī)生使用特定數(shù)字對結(jié)節(jié)的惡性等級進行量化，并根據(jù)數(shù)據(jù)集的定義將量化范圍設(shè)置為1～5。該研究對多類結(jié)節(jié)的分類準確率達93.1%。

綜上所述，準確評估肺結(jié)節(jié)的惡性等級對評估患癌概率很重要。雖然上述文獻所提出的網(wǎng)絡(luò)模型成功地完成了結(jié)節(jié)的等級分類，但分類精度仍然很低。因此，肺結(jié)節(jié)惡性等級分類的深度學(xué)習(xí)方法仍需進一步研究。

4 算法分析與比較

深度學(xué)習(xí)在肺結(jié)節(jié)輔助診斷中的應(yīng)用已成為醫(yī)學(xué)圖像處理領(lǐng)域的研究熱點。本文對各深度學(xué)習(xí)模型的主要思想、性能優(yōu)缺點和分類任務(wù)進行了系統(tǒng)概述。為了使讀者對肺結(jié)節(jié)分類的深度學(xué)習(xí)方法有深刻的理解，本章進行了對比分析，如表5所示。

表5 基于深度學(xué)習(xí)的肺結(jié)節(jié)分類方法總結(jié)Table 5 Summary of deep learning-based classification of pulmonary nodules

5 總結(jié)與展望

本文闡釋了深度學(xué)習(xí)方法在肺結(jié)節(jié)良惡性分類及惡性等級分類中的應(yīng)用。對于肺結(jié)節(jié)良惡性分類，深度學(xué)習(xí)方法已經(jīng)取得了較優(yōu)的分類效果。從無監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)三大方面對神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用效果進行了總結(jié)。對于肺結(jié)節(jié)惡性等級分類，深度學(xué)習(xí)算法的分類性能仍有待提升。在肺結(jié)節(jié)輔助診斷領(lǐng)域的研究難點總結(jié)如下：（1）肺結(jié)節(jié)標注樣本的缺乏，易導(dǎo)致網(wǎng)絡(luò)模型訓(xùn)練困難等問題；（2）不同掃描儀存在不同的成像方式，導(dǎo)致數(shù)據(jù)集中圖像特征的異質(zhì)性；（3）網(wǎng)絡(luò)模型的泛化性能還有待提升；（4）構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的可解釋性較差；（5）深度學(xué)習(xí)對肺結(jié)節(jié)惡性等級分類的準確率有待進一步提高；（6）基于深度學(xué)習(xí)的診斷方法未能大范圍應(yīng)用于臨床實踐。

在未來研究中，對肺結(jié)節(jié)良惡性分類及惡性等級分類做出以下展望：（1）開發(fā)基于少量樣本的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)算法，解決數(shù)據(jù)不足問題；（2）研究掃描儀設(shè)置的影響，如重建技術(shù)和參數(shù)等，減少醫(yī)療掃描儀的放射異質(zhì)性和肺結(jié)節(jié)多樣性；（3）嘗試學(xué)習(xí)多模態(tài)數(shù)據(jù)之間的關(guān)系，如電子病歷、CT 圖像等，提高輔助診斷系統(tǒng)的可解釋性；（4）進一步探索肺結(jié)節(jié)多時間點分類的深度學(xué)習(xí)方法，提高診斷準確率及診斷過程的合理性；（5）將計算機輔助診斷系統(tǒng)與醫(yī)院現(xiàn)有的信息系統(tǒng)進行集成，將其充分應(yīng)用到臨床實踐中；（6）深度學(xué)習(xí)輔助診斷系統(tǒng)在進行肺結(jié)節(jié)分類的同時，也可以加入其他疾病的檢測，提升模型的泛化能力，提高臨床決策支持系統(tǒng)的通用性。

深度學(xué)習(xí)應(yīng)用于肺結(jié)節(jié)的良惡性分類效果顯著，有希望解決肺結(jié)節(jié)良惡性及惡性等級的精確分類。但是，目前仍存在上述總結(jié)的一些問題：如圖像數(shù)據(jù)缺乏、未能大范圍應(yīng)用于臨床實踐等。研究解決這些問題，是未來肺結(jié)節(jié)良惡性分類的重要方向。