基于深度混合卷積模型的肺結(jié)節(jié)檢測方法

戚永軍，顧軍華，張亞娟，王 鋒，田澤培

（1.省部共建電工裝備可靠性與智能化國家重點實驗室（河北工業(yè)大學(xué)），天津 300132；2.河北省電磁場與電器可靠性重點實驗室（河北工業(yè)大學(xué)），天津 300132；3.北華航天工業(yè)學(xué)院信息技術(shù)中心，河北廊坊 065000；4.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401；5.河北省大數(shù)據(jù)計算重點實驗室（河北工業(yè)大學(xué)），天津 300401）

（*通信作者電子郵箱jhgu_hebut@163.com）

0 引言

肺結(jié)節(jié)是肺癌早期最常見的癥狀，準(zhǔn)確檢測肺結(jié)節(jié)是診斷肺癌的關(guān)鍵步驟，國內(nèi)外相關(guān)研究表明，如果能實現(xiàn)早發(fā)現(xiàn)、早治療，肺癌患者5年生存率可由14%提高至49%［1-2］。然而，肺結(jié)節(jié)檢測面臨諸多挑戰(zhàn)：肺部計算機斷層掃描（Computed Tomography，CT）圖像具有較高的維度，肺結(jié)節(jié)外形與周圍組織（如血管）很相似，此外，肺結(jié)節(jié)尺寸很小，但其變化尺度大，例如，在LUNA16［3］數(shù)據(jù)集中，肺結(jié)節(jié)直徑的變化在3 mm～40 mm，而且肺結(jié)節(jié)類型多樣，類間差別小。

傳統(tǒng)的檢測方法常常將檢測過程分成若干個階段，每個階段使用不同的算法。這種分治法雖然可以使每個階段達(dá)到最優(yōu)，但整個過程不一定能達(dá)到最優(yōu)。此外，傳統(tǒng)檢測方法通常采用人工設(shè)計特征的方法，需要相應(yīng)領(lǐng)域的算法知識，通用性不強，限制了特征表達(dá)能力。

隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域取得成功和多個公開肺部影像數(shù)據(jù)集的出現(xiàn)，基于二維（Two Dimensional，2D）圖像的深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）肺結(jié)節(jié)檢測方法開始廣泛應(yīng)用，特別是在圖片分辨率較高、對比度較明顯的CT 圖像上，取得了較高的檢測精度。由于2D 圖像僅僅是CT 序列的橫斷面圖像，不可避免會丟失信息，影響檢測精度，為了充分利用CT圖像的信息，一些工作［4-6］利用CT圖像的冠狀位、矢狀位等多個視角的2D 圖像分別提取特征，然后進(jìn)行特征融合。由于肺結(jié)節(jié)是三維（Three Dimensional，3D）的病灶，無論哪個視角的2D 截面都有可能破壞其空間延續(xù)性并損失3D 空間信息。例如，在3D 層面上血管和肺結(jié)節(jié)一目了然，而在2D 層面上兩者的橫截面卻非常相似，直覺上3D 模型更適合肺結(jié)節(jié)檢測。因此一些工作［7-10］嘗試使用3D CNN 模型，并在檢測精度上取得了不錯的效果，但3D CNN 模型參數(shù)量大、計算復(fù)雜度高、存儲空間消耗大、過擬合風(fēng)險的高［11］，很難訓(xùn)練出泛化效果良好的模型。此外，3D 數(shù)據(jù)標(biāo)注比2D 數(shù)據(jù)標(biāo)注成本更高，且很難找到具有3D 標(biāo)簽的肺CT 圖像數(shù)據(jù)集。

因此，本文提出了一種深度混合卷積模型，目的是在不損失檢測精度前提下，使模型具有更高的檢測效率和更強的泛化能力。主要工作概括如下：

1）提出一種用于肺結(jié)節(jié)檢測的混合卷積模型，制定了混合卷積規(guī)則，實現(xiàn)了在不損失檢測精度的前提下減少參數(shù)量，并提高了模型的泛化能力和檢測效率；

2）通過構(gòu)建3D 殘差模塊和3D 反卷積模塊，實現(xiàn)多層級特征融合，進(jìn)一步提升檢測精度；

3）在廣泛認(rèn)可的公共數(shù)據(jù)集上驗證和評估了所提出的模型，與基線方法相比，該模型在檢測精度和效率方面具有良好的性能。

1 相關(guān)研究

傳統(tǒng)的肺結(jié)節(jié)檢測方法將檢測過程劃分成若干個階段，每個階段使用不同的算法，一般分為圖像預(yù)處理、生成候選結(jié)節(jié)、假陽性減少三個階段。生成候選結(jié)節(jié)是主要階段，主要采用分割或過濾兩種方法產(chǎn)生候選肺結(jié)節(jié)圖像，該階段會產(chǎn)生大量的假陽性結(jié)節(jié)圖像，然后在假陽性減少階段對候選結(jié)節(jié)進(jìn)行特征抽取，使用分類器排除假陽性結(jié)節(jié)。Javaid 等［12］使用直方圖閾值法和形態(tài)學(xué)運算進(jìn)行結(jié)節(jié)檢測與分割，之后使用支持向量機（Support Vector Machine，SVM）進(jìn)行結(jié)節(jié)分類。Li 等［13］提出基于Hessian 矩陣的選擇增強濾波器用來增強CT圖像中的圓、直線區(qū)域，對疑似結(jié)節(jié)進(jìn)行檢測。Metin 等［14］提出一種基于聚類的肺結(jié)節(jié)檢測算法，利用K 均值聚類實現(xiàn)肺實質(zhì)分割，然后利用基于規(guī)則的方法區(qū)分肺結(jié)節(jié)與其他內(nèi)部結(jié)果，最后使用線性判別分析（Linear Discriminant Analysis，LDA）算法降低假陽性。

隨著深度學(xué)習(xí)的發(fā)展，深度CNN 在肺結(jié)節(jié)檢測領(lǐng)域得到廣泛的應(yīng)用。Yaniv 等［15］首次將基于ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練的模型應(yīng)用到了醫(yī)學(xué)圖像識別領(lǐng)域，在433 個醫(yī)學(xué)圖像的數(shù)據(jù)集上進(jìn)行測試，取得很好的性能。Ypsilantis 等［16］提出了ReCTnet 網(wǎng)絡(luò)模型，使用卷積神經(jīng)網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)提取切片圖像特征，并利用長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模塊學(xué)習(xí)切片之間的依賴性，證明利用這種依賴性能顯著提高了檢測肺結(jié)節(jié)的敏感度。

數(shù)據(jù)集中的2D 圖像是由CT 掃描的橫斷面圖像構(gòu)成的圖像序列，會不可避免地丟失一些信息。因此，為了獲得更好的檢測性能，一些工作嘗試從CT 切片的多個視圖中提取特征。Roth 等［17］對候選結(jié)節(jié)圖像進(jìn)行二維正交采樣，生成多角度切片的二維圖像，然后訓(xùn)練一個深CNN 分類器，提高肺結(jié)節(jié)檢測精度。Setio 等［5］設(shè)計了三種不同的檢測模型，同時檢測實性結(jié)節(jié)、亞實性結(jié)節(jié)、實性大結(jié)節(jié)等三種類型的肺結(jié)節(jié)，并利用全連接融合的方法提高檢測結(jié)果的準(zhǔn)確性。

基于多視圖的網(wǎng)絡(luò)模型雖然能進(jìn)一步豐富2D 圖像的信息，但仍不能很好地利用圖像上下文之間的信息，因此一些工作提出了3D CNN 模型。Zhu 等［7］提出將3D CNN 和期望最大化（Expectation Maximization，EM）思想相結(jié)合，將弱監(jiān)督學(xué)習(xí)方法應(yīng)用到肺結(jié)節(jié)檢測任務(wù)中。Dou 等［8］基于肺結(jié)節(jié)的尺寸不同特點，將數(shù)據(jù)按照三種尺寸進(jìn)行分類，選用三種3D CNN模型，最后將輸出結(jié)果按照比例融合。呂曉琪等［18］設(shè)計了3D CNN 模型，輸入尺寸是以結(jié)節(jié)為中心的32×32×32的肺結(jié)節(jié)圖像塊，Zhu 等［19］設(shè)計了兩個3D CNN 模型分別用于結(jié)節(jié)的檢測和分類。這些方法都驗證了3D CNN 能夠更加充分地利用肺結(jié)節(jié)的三維空間信息，有效地降低假陽性率。

綜上所述，深度CNN 模型與傳統(tǒng)檢測方法相比不受領(lǐng)域知識限制，能自動提取圖像特征，更合適在大規(guī)模數(shù)據(jù)集中使用，適用性更廣，檢測精度更高；2D CNN模型更容易找到預(yù)訓(xùn)練網(wǎng)絡(luò)模型和標(biāo)注數(shù)據(jù)集，模型參數(shù)相對不大，泛化能力強，效率更高，但不能充分利用CT 圖像上下文信息，檢測精度受限；3D CNN 模型能充分利用上下文信息，更容易得到好的檢測效果，但需要付出更多的計算能力和存儲空間，承受更高的過擬合風(fēng)險。因此，本文通過構(gòu)造一個深度混合卷積神經(jīng)網(wǎng)絡(luò)模型來尋求檢測效率和精度之間的平衡。

2 深度混合卷積模型

2.1 模型概述

網(wǎng)絡(luò)模型如圖1 所示。模型由4 部分組成：特征提取模塊、特征融合模塊、混合卷積模塊和肺結(jié)節(jié)檢測模塊。

輸入圖像首先進(jìn)入由1 個3D 卷積層和2 個3D 殘差塊組成的特征提取模塊，然后抽取的特征圖進(jìn)入特征融合模塊，先在3D殘差塊中進(jìn)行卷積操作，接著進(jìn)行反卷積操作將其尺寸升至相鄰特征圖的大小后再進(jìn)行特征融合。融合后的特征圖進(jìn)入混合卷積模塊進(jìn)行深度特征提取，最后進(jìn)入肺結(jié)節(jié)檢測模塊進(jìn)行肺結(jié)節(jié)檢測。

圖1 深度混合卷積神經(jīng)網(wǎng)絡(luò)模型Fig.1 Deep mixed convolutional neural network model

2.2 特征提取模塊

CNN 模型的深度是非常重要的，深度網(wǎng)絡(luò)可以提取到豐富的圖像特征，但網(wǎng)絡(luò)層級達(dá)到一定數(shù)量之后，會引發(fā)梯度消失或者彌散問題，導(dǎo)致深度網(wǎng)絡(luò)無法訓(xùn)練［20］。為了解決這個問題，He 等［21］提出了由多個殘差塊組成的深度殘差網(wǎng)絡(luò)，每個殘差塊由一個簡單的網(wǎng)絡(luò)塊和跳躍連接組成，詳細(xì)結(jié)構(gòu)如圖2（a）所示。假設(shè)F（x）是原始網(wǎng)絡(luò)輸出，增加跳躍連接后的實際輸出為H（x）=F（x）+x，網(wǎng)絡(luò)對F（x）的擬合轉(zhuǎn)換為對H（x）的擬合。如果F（x）=0，則H（x）=x，這種結(jié)構(gòu)保證了恒等變換，讓網(wǎng)絡(luò)朝著恒等映射的方向收斂，能有效解決網(wǎng)絡(luò)過深帶來的梯度消失問題。為此，把2D 殘差模塊改為3D 殘差模塊，同時，在3D 卷積層之后增加3D 批歸一化（Batch Normalization，BN）層，BN 有利于加快網(wǎng)絡(luò)收斂。為了獲得更好的特征，在跳躍連接中添加了3D 卷積和3D 批歸一化操作，如圖2（b）所示。

圖2 2D和3D殘差塊Fig.2 2D residual block and 3D residual block

與2D 卷積不同，3D 卷積需要在三維窗口上進(jìn)行卷積操作，以便得到相應(yīng)的輸出值。卷積核大小為3×3×3，步長為1，填充為1。卷積過程如圖3 所示，卷積核依次按步長大小在X、Y、Z三個方向上滑動。

圖3 3D卷積過程Fig.3 3D convolution process

2.3 特征融合模塊

深度CNN 中淺層主要抽取圖像的中、低級特征，如肺結(jié)節(jié)圖像的邊緣信息、形狀、灰度值等，深層主要抽取圖像的高級特征，如類別信息等。特征融合模塊將得到的深層特征圖經(jīng)過卷積核為2×2×2、步長為2 的反卷積操作，使其與相鄰特征圖尺寸相同后再進(jìn)行特征融合。本文使用的特征融合方法是向量拼接，假設(shè)有兩個特征向量v1和v2，兩向量融合可以表示為v=[v1，v2]，如圖4 所示。反卷積本質(zhì)是一種特殊的正向卷積，先對特征圖補充0 擴大其尺寸后再進(jìn)行正向卷積。卷積核的參數(shù)與正向卷積核一樣通過訓(xùn)練得到。

圖4 特征融合模塊Fig.4 Feature fusion module

2.4 混合卷積模塊

肺結(jié)節(jié)的本質(zhì)是3D 圖像，直觀上，3D CNN 對肺結(jié)節(jié)的中、低級特征表示能力更強，而高層語義特征2D CNN 就可以很好地表達(dá)。基于這樣的想法，先在模型淺層使用3D CNN精確提取特征，然后在深層使用2D CNN 進(jìn)行語義識別，達(dá)到在不損失檢測精度的前提下減少模型參數(shù)量的目的。

3D CT 圖像是由多張相鄰CT 切片堆疊而成。如圖5 所示，左圖為多張相鄰2D CT 切片堆疊的3D 圖像，右圖為一張2D CT切片。令X軸與Y軸構(gòu)成的平面表示2D切平面，Z軸是同一序列的連續(xù)切片圖像的堆疊方向。

圖5 三維CT圖像Fig.5 3D CT images

基于這一點，假設(shè)3D 特征圖可表示為B×C×D×W×H的5維張量，B是批處理數(shù)量，C是通道數(shù)，D是深度（相當(dāng)于圖像的Z軸方向），W是寬度（相當(dāng)于圖像的X軸方向），H是高度（相當(dāng)于圖像的Y軸方向）。由于Z軸代表了2D 切片圖像的堆疊方向，結(jié)合3D 圖像的組成方式，不破壞圖像的原始信息以及符合卷積的過程，對3D 特征圖的D維進(jìn)行拆分。通過矩陣變換將3D 特征圖的5 維張量變?yōu)? 維張量B′×D×W×H，其中B′=B×C，使其符合2D CNN 的維度要求，然后按照維度D進(jìn)行分解，分別進(jìn)行2D卷積，之后將得到的特征圖按通道拼接。經(jīng)過矩陣變換得到的維度與輸入張量的維度相同，以便進(jìn)行最后的肺結(jié)節(jié)檢測。圖6 給出了這個過程的混合卷積規(guī)則，其中2D 卷積層由2個Convolution-BN-ReLU 單元組合形成，卷積核均為3×3，步長為1。Convolution-BN-ReLU 的組合有利于在混合卷積的情況下加快網(wǎng)絡(luò)收斂，還能有效解決梯度消失問題，促進(jìn)梯度在反向傳播中的傳遞。

圖6 混合卷積模塊Fig.6 Mixed convolution module

2.5 肺結(jié)節(jié)檢測模塊

本文參照Ren 等［22］的工作實現(xiàn)肺結(jié)節(jié)檢測，共設(shè)計了3種不同比例的錨框（Anchor Box），用于檢測不同尺寸的肺結(jié)節(jié)。錨框的損失函數(shù)由分類損失和回歸損失兩部分組成。用（gx，gy，gz，gr）表示真值框（Ground Truth），用（ax，ay，az，ar）表示錨框。前三個元素表示矩形框中心點的坐標(biāo)，最后一個元素表示結(jié)節(jié)的直徑。令模型分類預(yù)測的概率為，真實標(biāo)簽為p（p∈{0，1}，0 表示負(fù)樣本，1 表示正樣本），則分類損失函數(shù)可由等式（1）表示：

真值框的位置定義為：

其中：

錨框總的損失函數(shù)如等式（8）所示：

其中：λ是權(quán)重，用于平衡分類損失和回歸損失，此處設(shè)置為1。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集

本次實驗使用的數(shù)據(jù)來自ISBI（International Symposium on Biomedical Imaging）2016 中的肺結(jié)節(jié)大賽LUNA16。該數(shù)據(jù)集包含了888 個病例的CT 掃描，肺結(jié)節(jié)直徑范圍為3 mm～40 mm。本文參考Liao 等［23］的工作，對輸入CT 圖像進(jìn)行預(yù)處理。首先，根據(jù)HU（Hounsfield Unit）的閾值進(jìn)行肺實質(zhì)分割，對掩碼進(jìn)行膨脹操作，去除肺部的空洞。然后，根據(jù)數(shù)據(jù)標(biāo)簽獲得肺結(jié)節(jié)的質(zhì)心位置，以肺結(jié)節(jié)的質(zhì)心為中心，向X、Y、Z三個方向進(jìn)行延伸，切割出96×96×96 的小塊圖像，作為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集。訓(xùn)練集劃分為10 份，每份所含有的CT 圖像數(shù)量相同，訓(xùn)練階段其中8 份作為訓(xùn)練數(shù)據(jù)，1 份作為驗證集，1 份作為測試集，實驗采用10 折交叉驗證的方式，即每次實驗都會得到相應(yīng)的正確率，10 次結(jié)果的平均值作為算法精度的估計。

3.2 結(jié)果與討論

本文共設(shè)計了三類實驗：一是混合卷積模塊相關(guān)的實驗，主要驗證混合卷積模塊在模型中部署位置和3D 特征圖的分組卷積等因素對模型的影響；二是和3D模型的參數(shù)量和檢測性能的比較；三是和肺結(jié)節(jié)檢測基線方法的比較。

本文采用無限制受試者操作特征（Free-response Receiver Operating Characteristic，F(xiàn)ROC）曲線驗證檢測模型的性能，自變量是每次掃描CT 切片中平均假陽性的數(shù)量（False Positives Per Scan，F(xiàn)PPS），RFPPS∈{0.125，0.25，0.5，1，2，4，8}，因變量是檢出率或稱作敏感度Sen（Sensitivity），其與真陽性TP（True Positive）和假陰性FN（False Negative）之間的關(guān)系如式（9）所示：

FROC 曲線不僅反映了每次掃描假陽性結(jié)節(jié)數(shù)與敏感度的關(guān)系，還反映了模型的綜合搜索能力。

3.2.1 與混合卷積模塊相關(guān)的實驗

在混合卷積模塊中（見圖6），依次將D拆分為2、4、6、8、12和24組，實驗結(jié)果如表1所示。

表1 分組卷積的敏感度Tab.1 Sensitivities of block convolutions

表1 中的結(jié)果表明，檢測精度隨著組數(shù)的增加而提高，但當(dāng)組數(shù)大于8 時，檢測精度不但沒有提高，模型也出現(xiàn)了不能收斂的現(xiàn)象。主要原因是組數(shù)的增加導(dǎo)致特征通道數(shù)的減少，從而增強了相鄰CT 切片之間特征的相關(guān)性，同時也容易產(chǎn)生特征冗余。經(jīng)過多次實驗，發(fā)現(xiàn)當(dāng)組數(shù)為4 時，模型的性能最好。

為了驗證混合卷積模塊最優(yōu)的部署位置，建立了三種網(wǎng)絡(luò)結(jié)構(gòu)：2MC3、3MC2 和M2C。其中：混合卷積模塊部署在網(wǎng)絡(luò)淺層時定義為2MC3；混合卷積模塊部署在深層時定義為3MC2；以特征融合為界限，將混合卷積模塊放在特征融合之前，先將深層特征進(jìn)行2D CNN 語義特征提取，再進(jìn)行特征融合操作，部署位置定義為M2C。實驗結(jié)果如表2 所示，可以看到3MC2模型的敏感度最高。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的敏感度Tab.2 Sensitivities of different network structures

3.2.2 與3D模型的比較

在本節(jié)中，將本文模型與DeepLung［19］中提到的Res18FasterR-CNN 模型進(jìn)行比較。該模型是多個3D 殘差塊堆疊而成的類似U 型網(wǎng)絡(luò)的模型，本文模型對其主要的改進(jìn)是將網(wǎng)絡(luò)深層的3D 殘差模塊替換成混合卷積模塊。這樣改進(jìn)的優(yōu)點是：3D CNN 從3D 視角提取肺結(jié)節(jié)特征，2D CNN 從2D 視角（即CT 圖像切片）提取肺結(jié)節(jié)特征，兩者結(jié)合得到圖像特征更加豐富，從而能提高模型的精度。

圖7是兩種模型比較的FROC曲線，有效說明了混合卷積模型的有效性。表3是兩模型參數(shù)量的比較。

圖7 可以看出本文模型的綜合性能比Res18FasterR-CNN要高，但在假陽性小于0.5 時兩者敏感度相差不多，甚至Res18FasterR-CNN 要好一些，原因可能是3D 模型對肺結(jié)節(jié)圖像的局部細(xì)節(jié)具有更強的特征表示能力，對檢測精度要求特別高的情況下，3D模型表現(xiàn)得更好。

圖7 本文模型與Res18FasterR-CNN模型的FROC曲線Fig.7 FROC curves of proposed model and Res18FasterR-CNN model

由表3 可以看到，本文模型的參數(shù)數(shù)量約為Res18 FasterR-CNN 的1/2，并且模型的訓(xùn)練時間和測試時間均比Res18FasterR-CNN 模型短，因此本文提出的混合模型在不損失檢測精度的前提下，具有較高的檢測效率和較強的泛化能力。

表3 模型參數(shù)的比較Tab.3 Comparison of model parameters

3.2.3 與基線方法的比較

為了進(jìn)一步驗證提出模型的有效性，分別與包括2D 和3D 模型的來自文獻(xiàn)［6］、文獻(xiàn)［5］、文獻(xiàn)［8］和文獻(xiàn)［19］共四種肺結(jié)節(jié)檢測模型進(jìn)行比較。為保持公平性，所有模型都在相同數(shù)據(jù)集上進(jìn)行了實驗。實驗結(jié)果如表4所示。

表4 各模型在不同假陽性數(shù)量下的敏感度Tab.4 Sensitivities under different false positives of different models

從表4 中可以看到，本文模型在不同假陽性數(shù)量上都比參與對比的模型獲得更好性能，與3D 模型相比，能獲得較高靈敏度的同時，具有更少的參數(shù)，節(jié)省了計算和存儲空間。

4 結(jié)語

本文通過在深度神經(jīng)網(wǎng)絡(luò)的淺層和深層分別部署3D CNN 模塊和2D CNN 模塊來構(gòu)建混合卷積肺結(jié)節(jié)檢測模型。由于淺層特征主要是圖像局部細(xì)節(jié)特征，3D CNN提取特征的能力更強，而深層特征主要是圖像語義特征2D CNN 就可以很好地工作，并且通過反卷積模塊融合不同層級的特征，通過混合卷積模塊融合2D 和3D 的圖像特征，使該模型在肺結(jié)節(jié)檢測任務(wù)中同時具備2D 模型的檢測效率和3D 模型的檢測精度。在LUNA16 數(shù)據(jù)集上的大量實驗結(jié)果表明，與參與對比的模型相比，本文模型在檢測精度和效率方面取得了更好的表現(xiàn)。