基于CNN遷移學(xué)習(xí)的甲狀腺結(jié)節(jié)檢測(cè)方法

葉 晨，趙作鵬，馬小平，胡延軍，劉 翼，趙海含

1.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116

2.中國(guó)礦業(yè)大學(xué) 信息與控制工程學(xué)院，江蘇 徐州 221116

1 引言

甲狀腺結(jié)節(jié)是指多種原因?qū)е录谞钕賰?nèi)出現(xiàn)一個(gè)或多個(gè)組織結(jié)構(gòu)異常的團(tuán)塊，是人群中最常見的結(jié)節(jié)性病變之一，總發(fā)病率平均在19%～46%[1]。在臨床上，在做胸部CT掃描的同時(shí)會(huì)產(chǎn)生頸部和肩部即包含甲狀腺的CT圖像，因此在數(shù)據(jù)上支持醫(yī)生在診斷胸部疾病的同時(shí)檢查甲狀腺。醫(yī)院每天接待大量患者，產(chǎn)生大量CT圖像，醫(yī)生可能由于工作的緊迫以及經(jīng)驗(yàn)的不足，無法找出所有潛在的甲狀腺結(jié)節(jié)患者。

為了輔助醫(yī)生發(fā)現(xiàn)潛在的甲狀腺患者以減輕工作量并減少漏診及誤診率，近年來大量研究者在計(jì)算機(jī)輔助診斷方向上做了許多研究。傳統(tǒng)的計(jì)算機(jī)輔助診斷方法通常是對(duì)各種醫(yī)療圖像如超聲圖像、CT圖像、MRI圖像、X光片、病理切片染色圖像等進(jìn)行處理，并設(shè)計(jì)相應(yīng)的算法進(jìn)行疾病目標(biāo)分類[2]或目標(biāo)分割[3]。如Singh和Jindal[4]首先在甲狀腺結(jié)節(jié)超聲圖像中提取出13個(gè)灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）特征，然后利用支持向量機(jī)對(duì)甲狀腺結(jié)節(jié)進(jìn)行分類，最大分類精度為84.62%。Nugroho等人[5]通過分析超聲圖像中結(jié)節(jié)的邊緣特征來分類甲狀腺結(jié)節(jié)，最終準(zhǔn)確率為92.30%。盡管以上研究在超聲圖像上取得了不錯(cuò)的成果，但是由于甲狀腺CT圖像復(fù)雜度高、甲狀腺區(qū)域小等特點(diǎn)，上述方法并不適用于CT圖像。如彭文獻(xiàn)等人[6]的研究所示，基于CT圖像統(tǒng)計(jì)紋理特征的識(shí)別方法僅有76%的準(zhǔn)確率。此外，以上方法都是在一系列人工參與的預(yù)處理后從醫(yī)學(xué)圖像中提取特征進(jìn)行分類。如何提取有效的特征以及如何將特征與分類器集成是兩大難點(diǎn)，而且如何在眾多特征中選擇最重要的特征也是一項(xiàng)挑戰(zhàn)。

為了解決上述困難，本文引入深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。CNN是一種經(jīng)典的深度學(xué)習(xí)模型[7-9]，在各種視覺識(shí)別任務(wù)（如物體檢測(cè)和圖像分類[9]）中被廣泛使用并且表現(xiàn)優(yōu)異。最近，CNN在醫(yī)學(xué)領(lǐng)域進(jìn)行了探索，如通過CNN[10-11]在乳腺癌組織學(xué)圖像中進(jìn)行有絲分裂檢測(cè)，使用無監(jiān)督預(yù)訓(xùn)練CNN[12]對(duì)肺組織分類和通過多尺度CNN對(duì)肺結(jié)節(jié)進(jìn)行分類[13]。但是，一般CNN由數(shù)百萬個(gè)節(jié)點(diǎn)和權(quán)重組成，而且通常數(shù)量越多，CNN的性能越好，這意味著只有大型數(shù)據(jù)集才能支持其訓(xùn)練過程。由于難以獲得高質(zhì)量的大型數(shù)據(jù)集，CNN在醫(yī)學(xué)領(lǐng)域的應(yīng)用遇到諸多限制。初步研究表明，遷移學(xué)習(xí)可以通過將訓(xùn)練有素的深層模型應(yīng)用于其他圖像數(shù)據(jù)集來進(jìn)行特征提取，從而克服這一問題，因?yàn)镃NN本質(zhì)上是學(xué)習(xí)捕捉視覺對(duì)象的固有特征[14-16]。本文根據(jù)兩種不同結(jié)構(gòu)CNN的特點(diǎn)以及遷移學(xué)習(xí)的思想，設(shè)計(jì)出融合簡(jiǎn)單CNN與VGG-16的網(wǎng)絡(luò)。本文的主要貢獻(xiàn)有以下幾方面：

（1）第一次將CNN應(yīng)用于甲狀腺CT圖像以及甲狀腺結(jié)節(jié)檢測(cè)任務(wù)。

（2）提出了一種新的甲狀腺結(jié)節(jié)檢測(cè)方法，應(yīng)用遷移學(xué)習(xí)并融合了兩種不同的CNN結(jié)構(gòu)。

2 融合兩種CNN的甲狀腺結(jié)節(jié)檢測(cè)方法

2.1 方法概述

本文將深度卷積網(wǎng)絡(luò)應(yīng)用于甲狀腺CT圖像，同時(shí)根據(jù)遷移學(xué)習(xí)的思想，利用在ImageNet數(shù)據(jù)集上訓(xùn)練完畢的VGG-16網(wǎng)絡(luò)[17]提取CT圖像的特征并對(duì)VGG-16進(jìn)行微調(diào)，以獲得更好的檢測(cè)效果。另外本文將兩個(gè)結(jié)構(gòu)不同的CNN融合為一個(gè)網(wǎng)絡(luò)CNNf（Fusion of CNN1 and CNN2）以兼顧二者的特點(diǎn)并提高性能。首先，對(duì)CT圖像數(shù)據(jù)集進(jìn)行簡(jiǎn)單的預(yù)處理。其次，用數(shù)據(jù)集訓(xùn)練CNN以及對(duì)VGG-16進(jìn)行微調(diào)。最后，融合兩個(gè)CNN的結(jié)構(gòu)。

2.2 數(shù)據(jù)來源和預(yù)處理

本文所使用的甲狀腺CT圖像由當(dāng)?shù)匾患裔t(yī)院提供。這些CT圖像來自于421位患者共4 013張，其中有102位患者確診為患有甲狀腺結(jié)節(jié)，共有599張CT圖像，319位患者的甲狀腺是健康無結(jié)節(jié)的，共有3 414張圖像。這些圖像最終診斷依據(jù)是細(xì)針穿刺活檢（FNA），除非患者接受手術(shù)，否則FNA結(jié)果將用作基礎(chǔ)事實(shí)，因此可以認(rèn)為這些數(shù)據(jù)是準(zhǔn)確無誤的。

不同于傳統(tǒng)方法在超聲圖像上進(jìn)行的繁瑣預(yù)處理過程，本文僅對(duì)原始CT圖像進(jìn)行簡(jiǎn)單剪裁以減少儀器設(shè)備和人體其余組織所帶來的干擾，如圖1所示。根據(jù)甲狀腺在CT圖像中所占的比例，按220×200和350×350兩種尺寸對(duì)原始圖像進(jìn)行裁剪。

圖1 CT圖像的裁剪

2.3 CNNf結(jié)構(gòu)

不同的CNN架構(gòu)可以學(xué)習(xí)不同的特性，淺層網(wǎng)絡(luò)適合學(xué)習(xí)低級(jí)特性，深層網(wǎng)絡(luò)經(jīng)充分訓(xùn)練后可以學(xué)習(xí)到高級(jí)特性。而且隨著網(wǎng)絡(luò)層數(shù)的增加，CNN可以學(xué)習(xí)更復(fù)雜的功能。因此，本文為了融合淺層和深層網(wǎng)絡(luò)提出CNNf（見圖2），CNNf由CNN1和CNN2并聯(lián)組成，圖像數(shù)據(jù)由輸入端同時(shí)輸入CNN1與CNN2，經(jīng)兩個(gè)網(wǎng)絡(luò)處理后通過融合層（Sumlayer）融合，最后由Softmax層輸出結(jié)果。這種結(jié)構(gòu)可以利用CNN1捕獲細(xì)微的低級(jí)特征，利用CNN2捕獲甲狀腺結(jié)節(jié)的復(fù)雜高級(jí)特征，從而可以從甲狀腺CT圖像中學(xué)習(xí)多個(gè)特征級(jí)別。

圖2 CNNf的結(jié)構(gòu)

圖2中淺層網(wǎng)絡(luò)CNN1詳細(xì)結(jié)構(gòu)如圖3所示。此網(wǎng)絡(luò)利用四層卷積層對(duì)輸入的圖像進(jìn)行特征提取，最后由兩層全連接層和Softmax層進(jìn)行分類。

具體而言，第一層卷積層擁有32個(gè)大小為3×3的卷積核，卷積步長(zhǎng)為1，輸出為198×198×32的特征圖。第二層和第三層卷積層參數(shù)相同，擁有64個(gè)大小為3×3的卷積核，步幅為一個(gè)像素，分別生成64個(gè)97×97和64個(gè)46×46的特征圖。最后一層卷積層擁有128個(gè)卷積核，大小為3×3，步幅為1，輸出128個(gè)21×21大小的特征圖。所有卷積層采用的激活函數(shù)均為線性整流函數(shù)（ReLu）。

另外，CNN1中還使用了其他類型的層。在每個(gè)卷積層后都會(huì)經(jīng)過窗口大小為2×2，步幅為2的最大池化層處理，處理后特征圖尺寸減少一半。此外，在所有池化層之后都應(yīng)用批規(guī)范層（Batch Normalization）[18]，該層在每個(gè)Batch上將前一層的激活值重新規(guī)范化，即使得其輸出數(shù)據(jù)的均值接近0，其標(biāo)準(zhǔn)差接近1，作用為加速收斂，控制過擬合，降低網(wǎng)絡(luò)對(duì)初始化權(quán)重的敏感性，允許使用較大的學(xué)習(xí)率。

在四個(gè)卷積層后有一層Flatten層，將輸入的特征圖“壓平”至一維，用于從卷積層過渡到全連接層。之后為三層全連接層，前兩層之間有Dropout層[19]，之后有批規(guī)范層，用于控制過擬合，節(jié)點(diǎn)數(shù)均為64，使用ReLu激活函數(shù)；最后一層節(jié)點(diǎn)為2，使用Softmax函數(shù)來生成標(biāo)簽預(yù)測(cè)。

圖3 CNN1的詳細(xì)結(jié)構(gòu)

CNNf中CNN2為VGG-16的微調(diào)。VGG-16[17]在2014年由牛津大學(xué)的視覺幾何組（Visual Geometry Group）提出。該網(wǎng)絡(luò)共有五段卷積塊，每段之后緊接著最大池化層，最后為三層全連接層，節(jié)點(diǎn)數(shù)分別為4 096、4 096和1 000。本文只使用VGG-16的卷積部分，頂部三層全連接層替換為節(jié)點(diǎn)數(shù)為128的全連接層。CNN2詳細(xì)結(jié)構(gòu)如圖4所示。

2.4 CNNf訓(xùn)練方法

由于CT圖像數(shù)據(jù)集中正負(fù)樣本不均衡，達(dá)到了正∶負(fù)=1∶6的比例，導(dǎo)致訓(xùn)練過程中網(wǎng)絡(luò)的收斂速度慢，性能下降等問題。因此，本文對(duì)較少的正樣本進(jìn)行過采樣，使之與負(fù)樣本數(shù)量一致或近似。

為了減少數(shù)據(jù)量少帶來的過擬合影響，本文用ImageNet數(shù)據(jù)集中的一組2.5萬幅自然圖像對(duì)CNN1進(jìn)行預(yù)訓(xùn)練。通過30次迭代來初始化CNN1的權(quán)重，隨后用預(yù)處理過的CT圖像訓(xùn)練第一個(gè)網(wǎng)絡(luò)。同時(shí)，在把數(shù)據(jù)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練前進(jìn)行實(shí)時(shí)的數(shù)據(jù)增強(qiáng)，如隨機(jī)剪切、隨機(jī)旋轉(zhuǎn)等。

圖4 CNN2的詳細(xì)結(jié)構(gòu)

對(duì)于CNN2，本文在載入由ImageNet數(shù)據(jù)集訓(xùn)練過的權(quán)重后，為了在之后使用CT圖像數(shù)據(jù)對(duì)VGG-16卷積層部分進(jìn)行微調(diào)時(shí)不破壞卷積層的權(quán)重，采取先凍結(jié)卷積層并訓(xùn)練頂層的全連接層，再對(duì)VGG-16最后的卷積塊進(jìn)行微調(diào)的訓(xùn)練方法。本文只對(duì)最后的卷積塊進(jìn)行微調(diào)而不是整個(gè)網(wǎng)絡(luò)，目的是為了防止過擬合，因?yàn)檎麄€(gè)網(wǎng)絡(luò)具有極高的熵容量，對(duì)于小數(shù)據(jù)集來說具有很高的過擬合傾向。之所以不選擇前面三個(gè)卷積模塊是因?yàn)榈讓拥木矸e模塊學(xué)習(xí)到的是低級(jí)的、具體的特征，而頂層的卷積模塊處理的則是高級(jí)抽象的特征。

為了方便兩個(gè)CNN進(jìn)行融合，其圖像輸入尺寸大小相同，均為（200，200，3），讀取方式為RGB模式。

3 實(shí)驗(yàn)仿真與結(jié)果

3.1 參數(shù)選擇

訓(xùn)練過程中，CNN1采用的目標(biāo)函數(shù)為多類交叉熵函數(shù)（Categorical Crossentropy），優(yōu)化方法為Adam[20]。其中Adam的學(xué)習(xí)率設(shè)置為0.001，一階矩估計(jì)的指數(shù)衰減率設(shè)置為0.9，二階矩估計(jì)的指數(shù)衰減率為0.999。CNN2采用的目標(biāo)函數(shù)同樣是多類交叉熵函數(shù)，不同的是在對(duì)頂層預(yù)訓(xùn)練時(shí)采用Adam優(yōu)化算法，之后對(duì)CNN2進(jìn)行微調(diào)時(shí)采用帶動(dòng)量的隨機(jī)梯度下降優(yōu)化算法（Stochastic Gradient Descent，SGD）。其中SGD的學(xué)習(xí)率設(shè)置為0.000 01，動(dòng)量參數(shù)為0.9，目的是慢慢調(diào)整訓(xùn)練好的權(quán)重而不破壞權(quán)重。

3.2 實(shí)驗(yàn)平臺(tái)

所有實(shí)驗(yàn)都是在一臺(tái)筆記本電腦上進(jìn)行的。該電腦擁有一顆Intel Core i7-4710MQ（2.5 GHz）CPU處理器，8 GB RAM，一個(gè)2 GB的Nvidia Geforce GTx860m圖形處理器，操作系統(tǒng)為64位Windows 10。運(yùn)行環(huán)境為Python和以TensorFlow為后端的Keras。

3.3 評(píng)價(jià)指標(biāo)

本文檢測(cè)性能通過準(zhǔn)確性、敏感性、特異性和接收者操作特征（ROC）[21]進(jìn)行評(píng)估。靈敏度為有結(jié)節(jié)正確識(shí)別為有結(jié)節(jié)的百分比。特異性表示正確識(shí)別為健康的健康甲狀腺的百分比。準(zhǔn)確度衡量正確分類甲狀腺的百分比。

3.4 不同網(wǎng)絡(luò)結(jié)構(gòu)的性能

本文首先研究了不同網(wǎng)絡(luò)結(jié)構(gòu)的影響，詳細(xì)配置在表1中進(jìn)行了描述。這些網(wǎng)絡(luò)結(jié)構(gòu)的分類性能以平均分類準(zhǔn)確性、靈敏度和特異性以及標(biāo)準(zhǔn)偏差（表2）表示。圖5展示了不同網(wǎng)絡(luò)結(jié)構(gòu)的ROC曲線，結(jié)果表明，兩種CNN的融合可以顯著提高網(wǎng)絡(luò)的性能。

3.5 與其他方法比較

為了對(duì)CNNf進(jìn)行全面而準(zhǔn)確的評(píng)估，本文與彭文獻(xiàn)等人[22]采用基于一階紋理特征的方法進(jìn)行比較。從表2可以看出，本文方法在準(zhǔn)確率、靈敏度方面都勝過手工提取特征的方法。表3給出了不同方法的ROC曲線下面積AUC，可以發(fā)現(xiàn)本文方法在所有方法里效果最好。

表1 CNN1與CNN2的詳細(xì)結(jié)構(gòu)

表2 不同方法的性能

圖5 不同方法的ROC曲線

4 討論

本文CNN被用于解決甲狀腺結(jié)節(jié)檢測(cè)問題，是一種典型的基于深度學(xué)習(xí)的結(jié)節(jié)檢測(cè)方法。雖然目前已有一些基于深度學(xué)習(xí)的醫(yī)學(xué)圖像的研究，并且在甲狀腺結(jié)節(jié)超聲圖像上也有研究[23]，但是本文首次嘗試使用CNN在甲狀腺CT圖像上進(jìn)行檢測(cè)。與傳統(tǒng)方法[4-6]相比，CNN可以從二維甲狀腺CT圖像中自動(dòng)提取有效特征，而無需設(shè)計(jì)任何視覺特征提取的算法。具體來說，CNN可以充分利用每一幅圖像的圖像特征，如邊緣、紋理、顏色等自動(dòng)地訓(xùn)練出合適的卷積濾波器（filter），對(duì)圖像進(jìn)行特征提取。

表3 不同方法的性能

由表2所示，本文采用融合深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)以提高性能的方法是有效的。通過整合CNN1捕獲細(xì)微的低級(jí)特征和CNN2捕獲的復(fù)雜高級(jí)特征，使CNNf從甲狀腺CT圖像中學(xué)習(xí)到多個(gè)級(jí)別的特征。最終準(zhǔn)確率從90.83%和88.63%提升到91.60%。但是相應(yīng)地也會(huì)提高計(jì)算成本，以32個(gè)圖像為一批用GPU進(jìn)行分類的時(shí)間從平均0.502 s增加到0.546 s。這點(diǎn)影響在實(shí)際應(yīng)用中可以忽略不計(jì)。

為了評(píng)估本文方法的泛化性能，實(shí)驗(yàn)中利用來自于不同CT成像系統(tǒng)的4 013張圖像進(jìn)行了10次五折交叉驗(yàn)證。從表2可以看出，基于CNN的方法可以有效地檢測(cè)出甲狀腺結(jié)節(jié)。另外本文選取了一些分類正確與錯(cuò)誤的圖像進(jìn)行分析，圖6（a）（b）（c）顯示本文方法對(duì)于那些結(jié)節(jié)不明顯、微小、難以診斷的圖像也有著良好的分類效果，但是目前對(duì)于那些甲狀腺微?。ㄈ鐖D6（d）所示）以及有過多血管軟組織干擾（如圖6（e）所示）的情況還無法有效識(shí)別。另外在健康甲狀腺圖像中，骨頭軟骨等組織也會(huì)干擾CNNf的判斷，分類為患病一側(cè)（如圖6（f）所示），因此本文所采取的方法還需要進(jìn)一步研究。

圖6 實(shí)驗(yàn)結(jié)果

此外，為了評(píng)估基于CNN的方法與傳統(tǒng)方法相比的優(yōu)勢(shì)，本文與基于一階紋理特征的方法進(jìn)行比較。表2所示的結(jié)果表明，不管是單獨(dú)的CNN還是CNNf都優(yōu)于基于一階紋理特征的SVM。這表明CNN可以學(xué)習(xí)出有效的特征來分辨健康與不健康的甲狀腺圖像。

目前，在CNNf中沒有設(shè)計(jì)超參數(shù)的分析方法（例如學(xué)習(xí)率和動(dòng)量參數(shù)、卷積單位數(shù)、卷積核大小等），它們主要是通過經(jīng)驗(yàn)獲得的。另外對(duì)于深度卷積網(wǎng)絡(luò)，提供更多的數(shù)據(jù)對(duì)幫助網(wǎng)絡(luò)獲得更好的泛化性能以及減少過擬合問題是非常必要的。目前本文所擁有的數(shù)據(jù)集還不足以獲得更高的準(zhǔn)確性，未來需要更進(jìn)一步地研究以獲得更好的性能。

5 結(jié)束語

基于CT圖像的甲狀腺結(jié)節(jié)檢測(cè)方法對(duì)于找出潛在的甲狀腺疾病患者有著重要作用。但是傳統(tǒng)方法需要進(jìn)行繁瑣的預(yù)處理以及精心設(shè)計(jì)的特征提取方法。本文提出一種基于CNN的檢測(cè)方法，它由兩個(gè)分別訓(xùn)練好的CNN融合而成。表2和表3所示的結(jié)果表明，基于CNN的方法可以很好地解決甲狀腺結(jié)節(jié)檢測(cè)問題。本文在將深度學(xué)習(xí)應(yīng)用到甲狀腺CT圖像中為初步研究，所使用的數(shù)據(jù)集并不能充分覆蓋或代表臨床實(shí)踐中的實(shí)際情況，將來隨著更多臨床數(shù)據(jù)的獲得，將構(gòu)建更深的CNN以獲得更好的性能，甚至區(qū)分甲狀腺中不同的疾病。