神經(jīng)網(wǎng)絡(luò)在CT肺結(jié)節(jié)的分類應(yīng)用進(jìn)展

王遠(yuǎn)航，唐 震

(1.安徽理工大學(xué)，安徽 淮南 232001;2.上海市奉賢區(qū)中心醫(yī)院，上海 201400)

兩性最常見的癌癥診出率和癌癥死亡率就是肺癌,根據(jù)國際癌癥研究機(jī)構(gòu)提供的2018年全球癌癥發(fā)病率和死亡率,全年肺癌死亡人數(shù)超過200萬[1]。由于我國人口基數(shù)龐大,醫(yī)療資源分布尚需協(xié)調(diào),這迫切需要一種高效的診斷方式以加快診斷速度,減少診斷工作的負(fù)擔(dān)。神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)影像學(xué)領(lǐng)域的應(yīng)用是一個(gè)熱點(diǎn),在影像學(xué)診斷方面發(fā)揮著至關(guān)重要的作用[2]它是一種模仿人類神經(jīng)元之間的沖動(dòng)聯(lián)系所提出的一個(gè)概念,它的實(shí)現(xiàn)主要利用編程軟件構(gòu)建算法,或著利用軟件黑箱[3]來操作。四種在中國相對主流人工智能肺結(jié)節(jié)輔助檢測系統(tǒng)[4]有上海的依圖、北京的推想科技和圖瑪深維、深圳的因賽德斯。誤差逆向傳播算法[5]訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),應(yīng)用最為廣泛。最基本的人工神經(jīng)網(wǎng)絡(luò)主要結(jié)構(gòu)分為三層其中由輸入層、隱含層、和輸出層,輸入層則是由提取的肺結(jié)節(jié)特征向量作為參數(shù)輸入,每個(gè)病例的特征維度個(gè)數(shù)作為輸入層輸入神經(jīng)元的個(gè)數(shù),隱含層則是根據(jù)經(jīng)驗(yàn)所定,如果隱含層越多訓(xùn)練出的模型相對精度會(huì)更準(zhǔn)確,訓(xùn)練所花費(fèi)的時(shí)長越多。

1 CT圖像特征提取

利用常規(guī)的人工神經(jīng)網(wǎng)絡(luò)以肺結(jié)節(jié)特征作為特定參數(shù)輸入訓(xùn)練[6],特征資料則是由影像診斷醫(yī)師得出,選取某些特征作為輸入?yún)?shù)。如年齡、性別、結(jié)節(jié)有無毛刺、是否為毛玻璃樣結(jié)節(jié)等,卷積神經(jīng)網(wǎng)絡(luò)則是對原圖像的卷積池化作為參數(shù)輸入訓(xùn)練。通過編程,調(diào)整卷積核參數(shù)大小,對原圖像進(jìn)行圖像數(shù)字化轉(zhuǎn)換。

2 人工神經(jīng)網(wǎng)絡(luò)

肺結(jié)節(jié)與神經(jīng)網(wǎng)絡(luò)的最初的交叉結(jié)合,就是運(yùn)用人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練,算法為誤差反向傳播算法。通過對數(shù)據(jù)進(jìn)行歸一化處理,利用編程軟件內(nèi)置的神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行實(shí)驗(yàn)分析,沈慧聰?shù)萚6]通過手動(dòng)輸入?yún)?shù)將肺結(jié)節(jié)若干特征按照若有為1若無為0的方法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型,測得肺癌診斷準(zhǔn)確率為80%。同時(shí)人工神經(jīng)網(wǎng)絡(luò)還有改進(jìn)的算法如采用遺傳算法[7]與神經(jīng)網(wǎng)絡(luò)相結(jié)合,與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比,通過與遺傳算法相結(jié)合的神經(jīng)網(wǎng)絡(luò)具有更高的準(zhǔn)確率。

3 卷積神經(jīng)網(wǎng)絡(luò)

與人工神經(jīng)網(wǎng)絡(luò)相比,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)則是脫離人工篩選特征取而代之的是圖像灰度數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。最基本的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),用卷積核(肺結(jié)節(jié)特征)將原圖卷積得到特征圖譜然后通過修正線性單元將負(fù)數(shù)變0再將它池化(取矩陣最大值降低計(jì)算量)最后用反向誤差算法訓(xùn)練模型。

3.1 階段性卷積神經(jīng)網(wǎng)絡(luò)由于肺結(jié)節(jié)在(computed tomography,CT)圖像上的異質(zhì)性如鈣化結(jié)節(jié)、空洞結(jié)節(jié)和磨玻璃密度結(jié)節(jié),均反映了肺結(jié)節(jié)在形態(tài)、質(zhì)地和強(qiáng)度上的異質(zhì)性。此外,由于肺結(jié)節(jié)與其周圍組織之間的高度相似性對于近胸膜結(jié)節(jié)由于肺結(jié)節(jié)在強(qiáng)度上與肺壁幾乎相同,因此很難自動(dòng)定位其準(zhǔn)確位置。對于直徑小于6 mm的小肺結(jié)節(jié),其與周圍噪聲的強(qiáng)度相似,很難區(qū)分。Cao Haichao[8]等針對這一問題提出了一種兩級卷積神經(jīng)網(wǎng)絡(luò)(A Two-Stage Convolutional Neural Networks,TSCNN)。該網(wǎng)絡(luò)體系結(jié)構(gòu)分為兩個(gè)階段：基于改進(jìn)的U-Net的候選結(jié)節(jié)檢測階段和基于(3D Convolutional Neural Networks,3DCNN)的假陽性減少階段。第一階段的目的是獲得可能存在肺結(jié)節(jié)的感興趣區(qū)；第二階段的目的是減少第一階段獲得的候選結(jié)節(jié)中的假陽性。準(zhǔn)確率為0.925。侵襲性是鑒別肺亞實(shí)性結(jié)節(jié)惡性程度的重要參考指標(biāo)。這些結(jié)節(jié)可分為非典型腺瘤樣增生、原位腺癌、微創(chuàng)腺癌或浸潤性腺癌。由于訓(xùn)練數(shù)據(jù)的不足及其類間相似度和類內(nèi)變異的存在,使神經(jīng)網(wǎng)絡(luò)分類具有一定的挑戰(zhàn)性。為了應(yīng)對這些挑戰(zhàn),Jun Wang[9]等人提出了一個(gè)兩階段的深度學(xué)習(xí)策略：先驗(yàn)特征學(xué)習(xí),然后是自適應(yīng)增強(qiáng)學(xué)習(xí)?；?DCNN的弱分類器。在所有弱分類器之間共享CNN層,弱分類器都可以集成到一個(gè)網(wǎng)絡(luò)中來減少計(jì)算量。分類精度為(73.4±1.4)%,AUC(81.3±2.2)%實(shí)驗(yàn)證明,自適應(yīng)升壓學(xué)習(xí)可以顯著提高分類性能,而先驗(yàn)特征學(xué)習(xí)可以顯著減小深度模型的總尺寸。Man Tan[10]等在第一階段,設(shè)計(jì)了一種混合損耗的基于分割的3DCNN來分割結(jié)節(jié)。根據(jù)分割網(wǎng)絡(luò)生成的概率圖,采用閾值法和連通分量分析法生成候選結(jié)節(jié)。在第二階段由三種基于3DCNN的分類來減少誤報(bào),它們具有相同的結(jié)構(gòu),但輸入不同。實(shí)驗(yàn)結(jié)果最高的檢測靈敏度為97.5%,平均每次掃描只有1次假陽性。Qi Dou[11]等嘗試解決醫(yī)療數(shù)據(jù)集中難易樣本不平衡問題,并探索本地化注釋對正則化學(xué)習(xí)的好處在第一個(gè)階段,目的是候選人篩選,建立了一個(gè)(3D fully convolutional network,FCN),通過在線樣本過濾方案進(jìn)行有效訓(xùn)練,快速地篩選候選結(jié)節(jié)。在第二階段,目的是假陽性減少,設(shè)計(jì)了一個(gè)混合損耗殘差網(wǎng)絡(luò),它利用位置和大小信息作為重要的線索來指導(dǎo)結(jié)節(jié)的識別過程,靈敏度90.6%,CPM 0.839。Yang An[12]等提出了一種新的兩階段卷積神經(jīng)網(wǎng)絡(luò),由兩個(gè)CNN構(gòu)成,第一個(gè)CNN是一個(gè)基本的CNN,它的功能是對輸入的CT圖像進(jìn)行細(xì)化,提取出模糊的CT圖像。第一個(gè)CNN的輸出被輸入到另一個(gè)CNN,一個(gè)GoogLeNet的簡化版本,以增強(qiáng)對復(fù)雜CT圖像的更好識別 準(zhǔn)確率為89.6%。

3.2 敏捷卷積神經(jīng)網(wǎng)絡(luò)為了克服小型醫(yī)學(xué)圖像數(shù)據(jù)庫和結(jié)節(jié)體積小的挑戰(zhàn),提高利用CT圖像進(jìn)行肺結(jié)節(jié)分類的性能。Xinzhuo Zhao等[13]提出了一種敏捷卷積神經(jīng)網(wǎng)絡(luò)框架,將LeNet的層設(shè)置與AlexNet的參數(shù)設(shè)置相結(jié)合,構(gòu)造出LeNet與AlexNet的混合CNN。適用于小醫(yī)療數(shù)據(jù)集和小目標(biāo)的肺結(jié)節(jié)分類。精度和AUC分別達(dá)到0.822和0.877。

3.3 特征融合卷積神經(jīng)網(wǎng)絡(luò)Xuechen Li[14]等通過肺場分割和肋骨抑制對(Chest X Ray,CXR)圖像進(jìn)行預(yù)處理。然后對肺野中的提取每個(gè)像素,訓(xùn)練3個(gè)不同分辨率的CNN。最后,采用特征融合的方法對不同分辨率下提取的所有信息進(jìn)行融合。模糊控制系數(shù)和模糊控制系數(shù)分別為0.982和0.987。該方法具有臨床應(yīng)用的潛力。

3.4 3D卷積神經(jīng)網(wǎng)絡(luò)Raunak Dey[15]等提出了四種雙通道卷積神經(jīng)網(wǎng)絡(luò),包括基本的3DCNN、新型的多輸出網(wǎng)絡(luò)、三維DenseNet和增強(qiáng)型的多輸出三維DenseNet目的是從3D圖像到肺結(jié)節(jié)直接歸類CNN,其中三維多輸出DenseNet在端到端肺結(jié)節(jié)診斷任務(wù)上達(dá)到了目前最先進(jìn)的分類精度,與使用二維切片或多視圖近似三維圖像相比,在切片厚度一致的情況下,直接對三維體積進(jìn)行處理可以得到更好的分類結(jié)。訓(xùn)練好一個(gè)模型需要學(xué)習(xí)大量的帶注釋的數(shù)據(jù),這對于醫(yī)學(xué)成像問題來說往往很難獲得。Marysia Winkels[16]等使用3D旋轉(zhuǎn)平移群卷積神經(jīng)網(wǎng)絡(luò)(3D CNNs with group convolutions,3DG-CNNs)取代常規(guī)卷積神經(jīng)網(wǎng)絡(luò),被證實(shí)可以顯著提高CNN的樣本復(fù)雜度。3DG-CNNs能夠減少肺結(jié)節(jié)監(jiān)測的假陽性問題。與常規(guī)卷積神經(jīng)網(wǎng)絡(luò)相比3DG-CNNs在肺部惡性腫瘤的檢測中更有效率和準(zhǔn)確性,在收斂速度方面更快。對于每一個(gè)數(shù)據(jù)集大小的測試,3DG-CNNs獲得了FROC評分,接近CNN在10倍以上數(shù)據(jù)的訓(xùn)練。ANUM MASOOD等[17]開發(fā)了一種基于云計(jì)算的3DCNN,為放射科醫(yī)師在肺癌診斷決策中提供第二意見,準(zhǔn)確度為98.51。2DCNN模型在小數(shù)據(jù)集中可以獲得較好的分類性能,并且在不同數(shù)據(jù)集之間具有很好的一致性。然而,3D-CNN模型更適合于小而不平衡的數(shù)據(jù)集。它極大地?cái)U(kuò)展了訓(xùn)練集的能力,為不平衡數(shù)據(jù)集的分類提供了很多好處。肺結(jié)節(jié)數(shù)據(jù)集的AUC為0.71。

3.5 基于CNN的轉(zhuǎn)移學(xué)習(xí)Sarfaraz Hussein等[18]第一次在3DCNN上使用轉(zhuǎn)移學(xué)習(xí)的方法。Fangfang Han等[19]通過VGG16架構(gòu)提高遷移學(xué)習(xí)能力。并且發(fā)現(xiàn)傳輸卷積層越多,分類效果越好。從大的數(shù)據(jù)集中轉(zhuǎn)移學(xué)習(xí)可以為小的和不平衡的數(shù)據(jù)集提供額外的信息。Zhenghao Shi[20]等利用CNN模型VGG-16作為特征提取器來獲取結(jié)節(jié)特征,并使用支持向量機(jī)(Support Vector Machines,SVM)進(jìn)行結(jié)節(jié)分類。首先將所有層從ImageNet中一個(gè)預(yù)先訓(xùn)練好的VGG-16模型轉(zhuǎn)移到目標(biāo)網(wǎng)絡(luò)中。然后,調(diào)整最后的全連接層,將計(jì)算機(jī)視覺任務(wù)訓(xùn)練的CNN模型調(diào)整為肺結(jié)節(jié)分類任務(wù)。然后利用訓(xùn)練數(shù)據(jù)對初始的CNN濾波權(quán)值進(jìn)行優(yōu)化最后,利用在微調(diào)CNN中學(xué)習(xí)到的特征訓(xùn)練SVM分類器用于最終分類。靈敏度為87.2%。

4 展望

在人工智能不斷得發(fā)展并且與醫(yī)學(xué)影像的有機(jī)結(jié)合,經(jīng)過改進(jìn)神經(jīng)網(wǎng)絡(luò)診斷準(zhǔn)確率越來越高當(dāng)準(zhǔn)確率與人工診斷的準(zhǔn)確率持平的時(shí)候,有人工智能代替影像診斷的可能性。Yongsik Sim,MD[21]等通過對比研究,當(dāng)CNN軟件獨(dú)立分析X線片時(shí),每張圖像的總體靈敏度和假陽性分別為67.3%和0.2%。當(dāng)放射科醫(yī)生使用CNN軟件重新檢查X線片時(shí),平均靈敏度提高了5.2%。得出放射科醫(yī)師使用深卷積網(wǎng)絡(luò)軟件在胸部X線片上檢測惡性肺結(jié)節(jié)的表現(xiàn)優(yōu)于未使用深卷積網(wǎng)絡(luò)軟件的。David R Baldwin等[22]通過英國指南中推薦的布魯克大學(xué)模型與肺癌預(yù)測CNN算法進(jìn)行比較,CNN評分具有更好的區(qū)分能力,可以在不遺漏癌癥的情況下識別出更大比例的良性結(jié)節(jié)。當(dāng)然局限性還是很明顯的,人種差異數(shù)據(jù)將會(huì)帶來準(zhǔn)確率不一,訓(xùn)練數(shù)據(jù)難獲取,數(shù)據(jù)不平衡。也有許多方法比如應(yīng)用生成式對抗網(wǎng)絡(luò)[23]生成的圖像而不是數(shù)據(jù)擴(kuò)充來也可以提高分類精度。在未來人工智能是否可以發(fā)展到取代肺結(jié)節(jié)診斷的工作,值得可慮。