基于三維卷積神經(jīng)網(wǎng)絡深度學習的肺結(jié)節(jié)良惡性的鑒別診斷

王風，王磊，李囡，楊志

北京大學腫瘤醫(yī)院暨北京市腫瘤防治研究所核醫(yī)學科，惡性腫瘤發(fā)病機制及轉(zhuǎn)化研究教育部重點實驗室，北京 100036；*通訊作者 楊志 pekyz@163.com

最新癌癥統(tǒng)計數(shù)據(jù)顯示，癌癥的發(fā)病率和病死率呈上升趨勢，而肺癌居癌癥病死率的首位[1]。低劑量CT篩查可有效降低肺癌的病死率[2-4]；但影像學檢查并不能區(qū)別某些具有相似影像學表現(xiàn)的肺部疾病。肺部結(jié)節(jié)良惡性的鑒別診斷往往需要進行有創(chuàng)性的穿刺活檢加以確認[5]。隨著計算機軟硬件的提升和大數(shù)據(jù)分析方法的進步，以深度學習為代表的人工智能技術已經(jīng)進入醫(yī)學影像診斷領域。人工智能輔助診斷通過對醫(yī)學圖像進行識別和分類，發(fā)現(xiàn)影像專業(yè)醫(yī)師無法鑒別或忽略的影像學特征，使醫(yī)學影像診斷更加準確客觀，進而提高影像學檢查的鑒別診斷效能[6-10]。

深度學習方法已經(jīng)成功運用于關節(jié)軟骨像分割[11]、肺結(jié)節(jié)良惡性輔助診斷[12]、前列腺癌評分[13]、胃癌診斷評估[14]以及乳腺癌篩查[15]等多種疾病診斷的研究中。本文使用美國癌癥協(xié)會發(fā)布的LIDC-IDRI影像數(shù)據(jù)[16]，開發(fā)三維（3D）卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）深度學習模型用于肺部結(jié)節(jié)和非結(jié)節(jié)的鑒別診斷以及惡性程度預測，通過訓練、測試并驗證模型的準確度、特異度和敏感度，從而為開發(fā)出最優(yōu)診斷模型提供參考。

1 研究方法

1.1 3D CNN深度學習模型建立 卷積神經(jīng)網(wǎng)絡是一種深層模型（多層的神經(jīng)網(wǎng)絡）。它與普通深層網(wǎng)絡的不同在于其使用權值共享網(wǎng)絡結(jié)構(gòu)。這一方面使之更類似于生物神經(jīng)網(wǎng)絡；另一方面也減少了權值等待估計參數(shù)的數(shù)量，從而改善了網(wǎng)絡模型的復雜度。從結(jié)構(gòu)上看，CNN主要由卷積層、子采樣層和全連接層組成，可訓練濾波器和局部鄰域池化操作交替地應用于原始輸入圖像，以此形成越來越復雜的特征層次結(jié)構(gòu)。既往大多數(shù)研究基于臨床 CT圖片訓練對肺結(jié)節(jié)良惡性分類的模型時，主要應用CNN識別病灶的單張圖片，是典型的二維卷積神經(jīng)網(wǎng)絡（2D CNN）[17]。然而，這種方法并未考慮病灶橫跨多個連續(xù)圖片中的相關、漸變等信息。為有效地將病灶分析中連續(xù)圖片全貌信息進行結(jié)合，本研究使用在CNN的卷積層中執(zhí)行3D CNN的方法，從而在識別肺結(jié)節(jié)良惡性的同時捕捉其立體空間的區(qū)分特征（圖1）。

圖1 3D CNN深度學習模型判斷肺結(jié)節(jié)良惡性的框架

1.2 3D CNN模型網(wǎng)絡架構(gòu)的搭建 在輸入數(shù)據(jù)相同位置上執(zhí)行多種卷積計算，可提取出多種類型的特征；基于3D卷積設計出各種3D CNN架構(gòu)來分析連續(xù)多張圖片數(shù)據(jù)。本文設計并比較了4種3D CNN網(wǎng)絡架構(gòu)，從相鄰的病灶圖片中生成多個信道，并在每個信道中執(zhí)行卷積等操作以獲得不同的特征表示（圖2～5）。

圖2展示的3D CNN-1架構(gòu)中，以樣本病灶質(zhì)心為中心、大小為47×47的連續(xù)5張切片圖像作為3D CNN的輸入。第1層卷積后得到32個特征圖，圖像的尺寸仍然保持 47×47的維度。然后經(jīng)過 1項Maxpooling操作后，圖像尺寸減少為23×23。再次重復 1次卷積和 Maxpooling操作，圖像尺寸減少為11×11。為防止過擬合，上述操作后緊跟1項dropout操作（隨機舍棄50%神經(jīng)元）。然后用Flatten層展開所有數(shù)據(jù)后進入全連接層（神經(jīng)元個數(shù)128）。上述整個過程中，3D卷積核的數(shù)量保持不變。然后再經(jīng)過一次dropout操作（隨機舍棄50%的神經(jīng)元）進入全連接層（神經(jīng)元個數(shù)128），最后使用softmax函數(shù)進行肺結(jié)節(jié)分類判斷。

圖2 3D CNN-1模型網(wǎng)絡結(jié)構(gòu)

圖3展示了3D CNN-2架構(gòu)。該架構(gòu)與3D CNN-1的不同之處在于網(wǎng)絡層數(shù)加深。3D CNN-2架構(gòu)在重復了最初2次卷積和Maxpooling操作后，又增加了3層卷積+1次Maxpooling操作的設計，圖像尺寸也進一步減小為5×5。

圖3 3D CNN-2模型網(wǎng)絡結(jié)構(gòu)

圖4展示了3D CNN-3架構(gòu)。該架構(gòu)較3D CNN-2網(wǎng)絡層數(shù)進一步加深，開始 2次 3D卷積 1次Maxpooling操作后連接3次3D卷積1次Maxpooling操作，然后再做4次3D卷積1次Maxpooling操作后才開始1項dropout操作（隨機舍棄50%神經(jīng)元）。dropout操作后的網(wǎng)絡結(jié)構(gòu)設計與上面的模型一致。

圖4 3D CNN-3模型網(wǎng)絡結(jié)構(gòu)

圖5展示了3D CNN-4架構(gòu)。該架構(gòu)與前面3個3D CNN架構(gòu)的區(qū)別為：①這一架構(gòu)借鑒了殘差網(wǎng)絡restnet設計每隔幾層輸出，并與幾層前的輸入合并作為下一層的輸入，以減少因網(wǎng)絡層級加深帶來的梯度彌散等問題；②卷積核的個數(shù)每隔幾層做一次增加操作；③中間卷積過程并未進行Maxpooling操作。

圖5 3D CNN-4模型網(wǎng)絡結(jié)構(gòu)

1.3 三維卷積神經(jīng)網(wǎng)絡模型訓練和驗證 將3DCNN的訓練集數(shù)據(jù)劃分為由 80%的包含結(jié)節(jié)組成的訓練組和剩下20%的測試組，每次訓練開始時隨機進行分配。訓練持續(xù)20～100個epoch，batch size為20～64。在每個epoch結(jié)束后，如模型損失得到改善，模型權重的檢查點將被保存。本文最終保留了測試部分中具有最高精度的3個檢查點的模型權重。為減少過度擬合，本研究采用數(shù)據(jù)增強策略，其中每個輸入圖像在X和Y方向上隨機移位達30%，并隨機在0°和180°之間旋轉(zhuǎn)。訓練結(jié)束后，本研究使用“驗證”集評估模型的最終表現(xiàn)；使用以Tensorflow為后端的Keras包用于CNN模型的訓練、測試和驗證。

1.4 數(shù)據(jù)來源和處理 本研究使用美國癌癥協(xié)會發(fā)布的 LIDC-IDRI影像數(shù)據(jù)，LIDC-IDRI數(shù)據(jù)集包含1018名患者的CT影像和診斷數(shù)據(jù)，圖像結(jié)節(jié)由4位放射科醫(yī)師進行標記和分類：“非結(jié)節(jié)”“結(jié)節(jié)<3 mm”和“結(jié)節(jié)≥3 mm”，其中“結(jié)節(jié)≥3 mm”每個結(jié)節(jié)均給予惡性程度的評分。1分：“極不可能”；2分：“不太可能”；3分：“不確定”；4分：“中度可能”；5分：“非?？赡堋?。其相對應的數(shù)據(jù)集表示為 S1、S2、S3、S4、S5，S0表示為非結(jié)節(jié)數(shù)據(jù)集[16]。

本研究設計并測試了2種情景下的模型性能：一是模型對結(jié)節(jié)與非結(jié)節(jié)的鑒別區(qū)分能力測試（S0比S1-5），共處理了1067個結(jié)節(jié)、1056個非結(jié)節(jié)；二是模型對結(jié)節(jié)良惡性的預測能力（S1比S45），將S1數(shù)據(jù)集結(jié)節(jié)指定為良性類，將惡性腫瘤結(jié)節(jié)=4或5的結(jié)節(jié)（S45）指定為惡性類，共處理了250個S1結(jié)節(jié)和270個S45結(jié)節(jié)。模型建立過程中，數(shù)據(jù)將被隨機分配到完全獨立的訓練和測試集中，其中80%用于訓練、20%用于測試。最后以驗證集的受試者工作特征（ROC）曲線下面積（AUC）的準確度、敏感度和特異度表征各模型的效果。

2 結(jié)果

2.1 肺部結(jié)節(jié)和非結(jié)節(jié)的鑒別診斷 在區(qū)分結(jié)節(jié)與非結(jié)節(jié)（S0比S1-5）的情景下，獲得4個3D CNN深度學習模型的ROC曲線及性能，見圖6和表1。其中 3D CNN-3模型具有最高的 ROC曲線下面積（0.959），同時具有最高的特異度（0.946）。3D CNN-1模型取得了最高的準確度（0.904）和敏感度（0.913）。

2.2 肺部結(jié)節(jié)惡性程度的預測能力 在進一步鑒別診斷肺部結(jié)節(jié)良惡性（S1比S45）的情景下獲得4組3D CNN深度學習模型的ROC曲線及性能，見圖7和表2。其中3D CNN-3模型的ROC曲線下面積最高（0.981），同時具有最高的敏感度（0.936）。3D CNN-1模型獲得最高的準確度（0.921）和特異度（0.949）。

圖6 各模型的肺部結(jié)節(jié)非結(jié)節(jié)鑒別ROC曲線（S0比S1-5）

表1 各模型的肺部結(jié)節(jié)非結(jié)節(jié)鑒別的ROC曲線性能（S0比S1-5）

圖7 各模型的肺部結(jié)節(jié)惡性程度預測能力的ROC曲線（S1比S45）

表2 各模型的肺結(jié)節(jié)惡性程度預測能力的ROC曲線性能（S1比S45）

3 討論

Causey等[18]提出的卷積網(wǎng)絡深度學習模型CNN 47取得了較高的AUC值，顯著高于既往文獻報道結(jié)果。本文將CNN 47作為對照模型與本模型進行比較。在結(jié)節(jié)與非結(jié)節(jié)的區(qū)分（S0比S1-5）情景下，3D CNN-3模型AUC（0.959）高于CNN47對照模型的AUC（0.949）；鑒別診斷肺部結(jié)節(jié)良惡性（S1比S45）的情景下，3D CNN-3模型AUC（0.981）亦高于CNN47對照模型的 AUC（0.974）。本文設計的模型性能均優(yōu)于參照模型。

3D CNN-1模型較CNN47及其他網(wǎng)絡層數(shù)最少，其與本文的樣本規(guī)模較為適配，利于在參數(shù)空間充分尋優(yōu)。同時其使用最大池化避免了平均池化的模糊效果，使其在ACC上表現(xiàn)最優(yōu)。3D CNN-3模型較CNN 47模型的優(yōu)點在于使用多個連續(xù)的更小觀察窗，使得在相同感知野的情況下，提升了網(wǎng)絡深度，在一定程度上提升了神經(jīng)網(wǎng)絡的效果。2個3×3的卷積層串聯(lián)相當于1個5×5的卷積層，3層3×3的卷積層相當于7×7的卷積層。將1個具有較大感受野的卷積替換成多個具有較小感受野的卷積串聯(lián)，其擁有更多的非線性變換，從而對特征的學習能力更強。而3D CNN-4模型再加深網(wǎng)絡，其深層網(wǎng)絡帶來的梯度不穩(wěn)定，網(wǎng)絡退化的問題存在，出現(xiàn)網(wǎng)絡加深，性能反而下降的情況。

通過以上模型的性能比較可說明網(wǎng)絡結(jié)構(gòu)并非越深越好。模型加深可能出現(xiàn)某些淺層的學習能力下降，限制深層網(wǎng)絡學習的情況，故應針對不同的場景選取合適的網(wǎng)絡。

本文開發(fā)了一種有效的深度學習方法用于CT圖像肺部結(jié)節(jié)的鑒別診斷。3D CNN-3卷積神經(jīng)網(wǎng)絡模型在CT圖像肺部結(jié)節(jié)的良惡性鑒別診斷和惡性程度預測能力方面具有良好的性能，從而輔助影像科醫(yī)師提高閱片效率，幫助準確診斷。