DenseNet-centercrop：一個用于肺結(jié)節(jié)分類的卷積網(wǎng)絡(luò)

劉一璟，張旭斌，張建偉，周哲磊，馮元力，陳為，2*

（1.浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院CAD&CG 國家重點(diǎn)實(shí)驗(yàn)室，浙江杭州310058；2.浙江大學(xué)附屬第一醫(yī)院，浙江杭州310006；3.浙江大學(xué)數(shù)學(xué)科學(xué)學(xué)院，浙江杭州310027）

0 引言

肺癌是一種高致死率的惡性腫瘤[1]。通過CT圖像正確判斷肺結(jié)節(jié)的良惡性有助于早期發(fā)現(xiàn)，盡早治療。為輔助醫(yī)生對肺結(jié)節(jié)惡化階段與風(fēng)險(xiǎn)因子的評估，對肺結(jié)節(jié)良惡性進(jìn)行自動分類非常重要[2]。

對肺結(jié)節(jié)良惡性進(jìn)行自動分類的方法已有不少，現(xiàn)有的基于圖像的方法一般通過檢測[3-4]、特征提取[5-8]、分割[9-11]以及標(biāo)記結(jié)節(jié)類別[12-14]來實(shí)現(xiàn)。OROZO 等[8]通過計(jì)算肺結(jié)節(jié)圖像的Daubechies 波變換提取特征，并將特征送入支持向量機(jī)，分離出惡性結(jié)節(jié)；MEHDI 等[15]提出了稱為Ipris的新影像組學(xué)方法以捕捉結(jié)節(jié)外觀從內(nèi)到外的紋理變化，使用支持向量機(jī)并利用Ipris 特征對肺結(jié)節(jié)進(jìn)行分類；FARAG 等[16]分別使用了Gabor 濾波器、多分辨率局部二值模式與有向距混合局部二值模式來提取肺結(jié)節(jié)特征，利用支持向量機(jī)和k最鄰近2種分類器對肺結(jié)節(jié)進(jìn)行分類。

也有一些基于深度學(xué)習(xí)的方法給出了較好的結(jié)果。CIOMPI 等[17]提出了基于多流多尺度二維卷積網(wǎng)絡(luò)的分類框架，通過分析任意數(shù)量二維截面圖來學(xué)習(xí)肺結(jié)節(jié)的三維表示；ZHAO 等[18]構(gòu)建了一個LeNet與AlexNet的混合二維卷積網(wǎng)絡(luò)，通過訓(xùn)練此網(wǎng)絡(luò)進(jìn)行肺結(jié)節(jié)的良惡性分類；QIANG 等[19]提出了一種基于ELM算法的深度監(jiān)督自動編碼器結(jié)構(gòu)，使用2個該結(jié)構(gòu)模型，并利用肺結(jié)節(jié)的CT圖像與PET圖像，將模型混合得到分類結(jié)果。

盡管基于深度學(xué)習(xí)的方法通常表現(xiàn)良好，但由于肺結(jié)節(jié)在形態(tài)上的變化范圍較大，而這些方法大多尺寸固定，較難提升分類性能。此外，大部分肺結(jié)節(jié)尺寸較小，多次池化操作后易丟失其細(xì)節(jié)形態(tài)特征；且由于肺結(jié)節(jié)CT圖像中存在大量無關(guān)的背景信息，常用的深度網(wǎng)絡(luò)難以捕捉關(guān)鍵特征。

針對以上問題，本文提出了一種基于DenseNet的新穎的網(wǎng)絡(luò)：DenseNet-centercrop。該網(wǎng)絡(luò)在DenseNet 結(jié)構(gòu)中引入中心剪裁操作，在不同稠密塊間建立間接跨連接，增加了大量多尺度特征。圖1展示的為DenseNet-centercrop中一個稠密塊的結(jié)構(gòu)。DenseNet-centercrop為一個端到端的肺結(jié)節(jié)良惡性分類網(wǎng)絡(luò)，不需要肺結(jié)節(jié)的分割標(biāo)注，較完整地保留了DenseNet 原本的結(jié)構(gòu)，從而很大程度上保留了參數(shù)效率高、特征復(fù)用度高、輕量化等DenseNet的優(yōu)點(diǎn)，中心剪裁的引入使其更適用于肺結(jié)節(jié)分類，DenseNet-centercrop可以自然地繼承DenseNet中的瓶頸層、壓縮過渡層結(jié)構(gòu)，參數(shù)進(jìn)一步減少而網(wǎng)絡(luò)性能不受影響。

圖1 DenseNet-centercrop中一個增長率k=3的稠密塊結(jié)構(gòu)Fig.1 The architecture of a dense block with a growth rate of k=3 in DenseNet-centercrop

1 方 法

1.1 DenseNet

DenseNet (HUANG 等[20])中的稠密連接機(jī)制在一個稠密塊中完成，當(dāng)此過程結(jié)束后，稠密塊中的所有層產(chǎn)生的特征圖在通道數(shù)維上被合并，然后由過渡層傳輸?shù)较乱粋€稠密塊。

給定一個有Lk層的稠密塊Bk,其中第l層將以以下方式產(chǎn)生輸出xkl:

其中，[·]操作表示將特征圖在通道數(shù)上合并,變量中的上下標(biāo)k和l分別表示所在稠密塊的編號與所在層的編號，是3個連續(xù)操作的組合函數(shù)：批量正則化(BN)、線性整流單元(ReLU)和一個3′3′3卷積(Conv)。

稠密連接后，稠密塊Bk把所有的特征圖由過渡層傳遞至下一個稠密塊Bk+1：

其中，xk+10表示稠密塊Bk+1的輸入，Tk(·)表示稠密塊Bk與Bk+1間的過渡層，其由一個批量正則化層，一個1′1′1卷積層和2′2′2最大池化層組成。

1.2 中心剪裁

在DenseNet中，過渡層被引入用于連接2個相鄰的稠密塊，這意味著稠密連接機(jī)制實(shí)際上獨(dú)立地存在于每個稠密塊中，通向淺層特征圖的連接在經(jīng)過過渡層時會被切斷，導(dǎo)致在深稠密塊中不存在通往淺稠密塊的跨連接。本文引入中心剪裁操作來解決此問題。給定張量x0，中心剪裁將切割出每個通道上三維特征圖的中心部分，將輸出張量記為，則的寬高深均為x0的一半，通道數(shù)與x0相同。在中心剪裁之后，xc0會被傳輸?shù)较乱粋€稠密塊中，建立起2個稠密塊的跨連接，在下一個稠密塊中，xc0仍然會被中心剪裁，并依此類推。在中心剪裁的迭代中，不同稠密塊之間都建立起了間接的跨連接。

在預(yù)處理后，肺結(jié)節(jié)位于樣本圖像的中心，本文將中心剪裁用于稠密塊的所有特征圖，不僅可以便捷快速地去除無關(guān)的背景信息，而且保證了卷積與池化始終保持在樣本圖像的肺結(jié)節(jié)區(qū)域，且無須額外的參數(shù)和計(jì)算。此外，將中心剪裁引入DenseNet，可以在單網(wǎng)絡(luò)中產(chǎn)生大量的多尺度特征，這有別于使用多個平行網(wǎng)絡(luò)來產(chǎn)生多尺度特征的結(jié)構(gòu)，如MCNN(SHEN 等[21])等。

1.3 DenseNet-centercrop

1.3.1 結(jié)構(gòu)

DenseNet-centercrop的定義如下：

在式(2)中，DenseNet通過過渡層Tk將傳入稠密塊Bk+1，在2個稠密塊中增加一個中心剪裁分支，將中心剪裁與Tk的輸出在通道數(shù)維上合并后傳入稠密塊Bk+1：

其中，C(·)為中心剪裁操作為稠密塊Bk+1的輸入。圖2為此方法的展示。

1.3.2 繼承DenseNet

為了減少模型的參數(shù)，DenseNet-centercrop 使用DenseNet中用于壓縮模型的結(jié)構(gòu)。

瓶頸層。在經(jīng)過數(shù)個DenseNet-centercrop 稠密塊的傳遞后，特征圖的數(shù)量會變得相當(dāng)大。因此本文將1′1′1卷積引入DenseNet-centercrop，在3′3′3卷積之前作為瓶頸層用于控制輸入特征圖的數(shù)量，從而削減網(wǎng)絡(luò)參數(shù)量。將含有瓶頸層的DenseNet-centercrop 稱為DenseNet-centercrop-B，這里的瓶頸層對應(yīng)BN-ReLU-Conv(1′1′1)的序列，在實(shí)驗(yàn)中，瓶頸層輸出2k個特征圖，k為增長率。

圖2 DenseNet-centercrop 在DenseNet的過渡層處加入新的分支以引入中心剪裁操作Fig.2 Centercrop operation of DenseNet-centercrop add a new branch at the transition layer of DenseNet

壓縮過渡層。類似于DenseNet，在DenseNetcentercrop 過渡層中壓縮特征圖的數(shù)量。如果過渡層接收到m個特征圖，則輸出[θm]個特征圖，0<θ￡1為壓縮因子，控制壓縮的比率，如果θ<1，過渡層將對輸入特征圖進(jìn)行壓縮。這里稱θ<1的DenseNet-centercrop為DenseNet-centercrop-C，在實(shí)驗(yàn)中將θ設(shè)為0.8。若瓶頸層和壓縮過渡層都被用于DenseNet-centercrop，則稱為DenseNetcentercrop-BC。

2 實(shí) 驗(yàn)

對DenseNet-centercrop 進(jìn)行了一系列肺結(jié)節(jié)良惡性分類實(shí)驗(yàn)。首先，通過實(shí)驗(yàn)調(diào)整DenseNetcentercrop的參數(shù)配置，然后，比較DenseNet與DenseNet-centercrop 當(dāng)前最佳方法的表現(xiàn)。實(shí)驗(yàn)以準(zhǔn)確率和AUC(area under roc curve)作為評估指標(biāo)。

2.1 數(shù)據(jù)集

將LIDC-IDRI 作為肺結(jié)節(jié)良惡性分類數(shù)據(jù)集。LIDC-IDRI 包含1 012個胸腔CT掃描，并給出了肺結(jié)節(jié)的位置信息及良惡性標(biāo)注。

由4位有豐富經(jīng)驗(yàn)的胸腔放射科醫(yī)生對肺結(jié)節(jié)進(jìn)行良惡性評估，評估的分?jǐn)?shù)為從1到5的整數(shù)，分?jǐn)?shù)越高則肺結(jié)節(jié)為惡性越明顯。每個肺結(jié)節(jié)的標(biāo)簽有3類:良性、惡性和不確定。若肺結(jié)節(jié)的平均評估分值高于3，則將其劃為惡性；平均評估分值低于3，則劃為良性；等于3 則劃為不確定。最終得到2 637個肺結(jié)節(jié)樣本，其中有1 361個良性樣本，640個為惡性樣本，636個為不確定樣本。不確定樣本沒有用于實(shí)驗(yàn)。

數(shù)據(jù)集中的CT圖像分辨率存在差異，為了消除差異，每個CT 都用樣條插值進(jìn)行預(yù)處理,處理后每張CT圖片在三個維度上都有固定的0.5 mm/voxel分辨率，根據(jù)位置標(biāo)注，以肺結(jié)節(jié)為中心從被處理后的CT圖像中提取尺寸為64 mm×64 mm×64 mm的數(shù)據(jù)作為模型輸入，肺結(jié)節(jié)的直徑在3～30 mm，因此，每個肺結(jié)節(jié)都可以完整地包含在樣本內(nèi)。

為了提高網(wǎng)絡(luò)的泛化能力,將常用的數(shù)據(jù)增強(qiáng)方法引入訓(xùn)練集。包含步距在[－2,2]內(nèi)的隨機(jī)平移、隨機(jī)翻轉(zhuǎn)以及增加噪聲，噪聲為隨機(jī)整數(shù)，遵循[－76,78]均勻分布。在訓(xùn)練樣本送入網(wǎng)絡(luò)前進(jìn)行增強(qiáng)與歸一化處理。

2.2 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集包含樣本的總數(shù)為2 001，隨機(jī)并均勻地將其分為5個子集用于訓(xùn)練和測試模型。

首先，調(diào)整DenseNet-centercrop的參數(shù)，包括稠密塊的數(shù)量、稠密塊中層的數(shù)量以及增長率k。稠密塊的數(shù)量n在{2,3,4,5}中調(diào)整,層的數(shù)量l在{2,4,8}中調(diào)整，增長率k則在{8,12,16}中調(diào)整。

然后，給出在固定參數(shù)配置下DenseNet,DenseNet-centercrop,DenseNet-centercrop-BC的五折交叉驗(yàn)證結(jié)果，同時給出每個模型的參數(shù)量。最后，與其他方法進(jìn)行廣泛比較。

網(wǎng)絡(luò)使用無窮范數(shù)下的適應(yīng)動量估計(jì)(Adamax)(KINGMA 等[22])進(jìn)行訓(xùn)練，動量參數(shù)設(shè)置為β1=0.9，β2=0.99，初始學(xué)習(xí)率為0.004 5，每60輪次迭代后學(xué)習(xí)率減半。為了改善過擬合問題，使用正則系數(shù)為8×10-4的l2范數(shù)，參數(shù)正則化項(xiàng)被加入損失中。為了進(jìn)一步提高網(wǎng)絡(luò)的泛化能力，每個3×3×3卷積層后都會增加dropout層，并將dropout的概率設(shè)置為0.2。將focal loss (LIN 等[23])選為損失函數(shù)，并設(shè)置α=0.64，γ=2.45。這里α代表惡性樣本的損失權(quán)重，1-α為良性樣本的損失權(quán)重,γ為對簡單樣本的權(quán)重衰減率。

2.3 DenseNet-centercrop 參數(shù)配置

在相同的4個子集上訓(xùn)練不同參數(shù)配置下的DenseNet-centercrop，然后在同一個子集上評估模型的性能。測試集包含126個惡性樣本和274個良性樣本，訓(xùn)練集包含514個惡性樣本和1 087個良性樣本。

稠密塊數(shù)量。固定增長率(growth rate)為k=12，不同稠密塊數(shù)量下的分類表現(xiàn)見表1，稠密塊數(shù)量分別設(shè)置為{2，3,4,5}，其中，第一個稠密塊的層數(shù)固定為2，其余稠密塊的層數(shù)固定為4。當(dāng)稠密塊數(shù)量為4時，模型取得了較高的準(zhǔn)確率和AUC值。

表1 DenseNet-centercrop在不同稠密塊數(shù)下的表現(xiàn)Table1 Performance of DenseNet-centercrop with different dense block numbers

稠密塊層數(shù)。固定增長率k=12，稠密塊數(shù)量n=4，前2個稠密塊的層數(shù)分別固定為2和4，針對剩余2個稠密塊的層數(shù)進(jìn)行實(shí)驗(yàn)，層數(shù)在{2,4,8}中選定，如表2所示,當(dāng)4個稠密塊層數(shù)分別為(2,4,8,4)時，DenseNet-centercrop 擁有最 好的表現(xiàn)。

表2 DenseNet-centercrop在不同層數(shù)配置下的表現(xiàn)Table2 Performance of DenseNet-centercrop with different layer number configurations

增長率。固定稠密塊數(shù)量n=4，層數(shù)配置為(2,4,8,4)，調(diào) 整DenseNet-centercrop和DenseNetcentercrop-BC中的增長率k后的實(shí)驗(yàn)結(jié)果如表3所示，DenseNet-centercrop 在增長率為12時擁有較好的表現(xiàn)，而DenseNet-centercrop-BC 在增長率為16時得到較優(yōu)的結(jié)果。

2.4 對比實(shí)驗(yàn)

通過五折交叉驗(yàn)證評估在固定參數(shù)配置下DenseNet-centercrop,DenseNet-centercrop-BC,DenseNet,DenseNet-BC 在肺結(jié)節(jié)良惡性分類中的性能。數(shù)據(jù)集被隨機(jī)均勻地分為5個子集，在每次驗(yàn)證中，一個子集被選作測試集，模型則在剩余的4個子集上進(jìn)行訓(xùn)練。最后，將本文提出的網(wǎng)絡(luò)模型與當(dāng)前最好方法進(jìn)行了比較。

表3 DenseNet-centercrop與DenseNet-centercrop-BC 在不同增長率下的表現(xiàn)Table3 Performance of DenseNet-centercrop and DenseNet-centercrop-BC with different growth rates

DenseNet和DenseNet-BC的參數(shù)配置與對應(yīng)的DenseNet-centercrop和DenseNet-centercrop-BC相同，稠密塊數(shù)n=4，各自層數(shù)為(2,4,8,4),增長率分別為k=12和k=16。

表4 DenseNet與DenseNet-centercrop對 比Table4 Comparison between DenseNet and DenseNetcentercrop

表5 DenseNet-centercrop與現(xiàn)有方法對比Table5 Comparison between DenseNet-centercrop and other methods

表4為DenseNet-centercrop與DenseNet的結(jié)果比較，DenseNet-centercrop與DenseNetcentercrop-BC 較擁有相同參數(shù)配置的DenseNet和DenseNet-BC 在精度上分別提升了4.9%和3.25%，其中DenseNet-centercrop-BC的分類精度和AUC分值最高。本文模型與其他方法的對比結(jié)果如表5所示，由表5知，DenseNet-centercrop-BC的分類精度與AUC分值最好，精度較現(xiàn)有最好方法提升了0.37%～7.22%，AUC分值高達(dá)0.9313。

3 討 論

DenseNet-centercrop 以清晰、直觀的方式改進(jìn)了DenseNet，在稠密塊之間增加了新的分支以引入中心剪裁操作，提高了DenseNet 在肺結(jié)節(jié)良惡性診斷中的適用性，這也導(dǎo)致了兩者間明顯的性能區(qū)別。

中心剪裁有效性。1.2節(jié)指出了中心剪裁操作對于DenseNet的重要性。簡單來說，中心剪裁在不同稠密塊之間建立了間接的跨連接并且豐富了多尺度特征。通過DenseNet和DenseNet-centercrop的對比實(shí)驗(yàn)，驗(yàn)證了中心剪裁的有效性。DenseNetcentercrop與DenseNet的唯一不同在于是否含有中心剪裁操作，從表4中可以看到，DenseNetcentercrop 在分類精度上較DenseNet有明顯提升，在表5中，DenseNet-centercrop 超過了當(dāng)前的最好方法，表明中心剪裁在肺結(jié)節(jié)分類任務(wù)上對于DenseNet 性能提升的重要性。

模型緊湊性。盡管DenseNet-centercrop 引入中心剪裁的方式是直觀清晰的，但在引入中心剪裁后，不可避免地增加了DenseNet的參數(shù)數(shù)量。在表4中，DenseNet-centercrop較DenseNet的分類精度提升了4.9%，同時參數(shù)量也擴(kuò)增了149%左右，這在一定程度上影響了DenseNet的參數(shù)高效性，但在引入瓶頸和壓縮過渡層結(jié)構(gòu)后，DenseNetcentercrop-BC 在提升DenseNet-BC 性能的同時，僅將其參數(shù)量擴(kuò)增了52%，且其表現(xiàn)優(yōu)于DenseNetcentercrop。

4 結(jié) 語

提出了一種新的卷積網(wǎng)絡(luò)DenseNet-centercrop用于解決肺結(jié)節(jié)診斷性分類。DenseNetcentercrop 充分利用了肺結(jié)節(jié)CT圖像的特點(diǎn)，并自然地繼承了DenseNet良好的性質(zhì)。在LIDC-IDRI數(shù)據(jù)集上的實(shí)驗(yàn)表明，DenseNet-centercrop 較DenseNet 學(xué)習(xí)到更準(zhǔn)確的模型，且參數(shù)量無明顯增加，在肺結(jié)節(jié)良惡性分類上超過了現(xiàn)有的最好方法。

衷心感謝浙江大學(xué)睿醫(yī)人工智能研究中心對本文工作的支持和付出！