基于深度學(xué)習(xí)的CT圖像肺氣管分割

程立英, 王曉偉, 劉祖琛, 汪 浩, 覃文軍

(1. 沈陽師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院, 沈陽 110034;2. 東北大學(xué) 醫(yī)學(xué)影像智能計算教育部重點實驗室, 沈陽 110189)

0 引 言

肺氣管是重要的生物標(biāo)志,基于肺部CT圖像的肺氣管分割目前仍然沒有很好的解決方案。肺氣管樹的三維圖像的建立,不僅可以作為肺氣管相關(guān)疾病診斷的依據(jù),還可以定位肺氣管疾病所在位置,方便醫(yī)生檢查和手術(shù),以避免其他部位不必要的損傷。低級氣管分支的管壁完整且分界線清晰,所以比較容易分割,但隨著氣管的不斷衍生,氣管壁逐漸變薄,氣管和肺實質(zhì)之間的區(qū)別變小,分割時容易出現(xiàn)泄漏現(xiàn)象[1-2]。區(qū)域生長方法是肺氣管分割領(lǐng)域中的代表性方法,它是按照事先定義的某種生長準(zhǔn)則將像素或區(qū)域聚合成一個連通的區(qū)域[3]。Fabijanska[4]提出了一種二次區(qū)域生長法來減少細(xì)氣管的泄漏。Ginneken等[5]提出基于多閾值區(qū)域生長法,為主氣管和不同階數(shù)支氣管設(shè)定不同的生長規(guī)則,使區(qū)域生長時能夠適用于不同位置的氣管樹。裴宏亮等[6]提出一種改進(jìn)的區(qū)域生長算法,使用直方圖均衡化原理對區(qū)域生長算法進(jìn)行改進(jìn),突出肺氣管壁邊界信息進(jìn)而提取肺氣管。龔華堯[7]采用基于遲滯閾值的區(qū)域生長法分割出最佳閾值下的肺氣管樹。除區(qū)域生長法之外,基于規(guī)則的肺氣管分割方法還包括形態(tài)學(xué)方法。Aykac等[8]提出形態(tài)學(xué)的灰度重建算法,使用四鄰域低通濾波器消除噪聲,在二維軸向切片上采取圓形結(jié)構(gòu)元素來獲取肺氣管的潛在區(qū)域,依據(jù)區(qū)域的連貫性進(jìn)行三維肺氣管樹的重建。但傳統(tǒng)方法只能夠分割大致的支氣管,對于部分細(xì)支氣管不能很好地識別[2]。

基于深度學(xué)習(xí)的肺氣管分割方法尤其是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的肺氣管分割方法是近年來的研究重點,已有大量研究將深度神經(jīng)網(wǎng)絡(luò)用于CT圖像的肺氣管分割任務(wù)中。Jin等[9]首先訓(xùn)練3D全卷積網(wǎng)絡(luò)提取肺氣管,然后基于圖的方法進(jìn)行優(yōu)化。Zhao等[10]訓(xùn)練了3D和2D神經(jīng)網(wǎng)絡(luò)分別用于在水平和垂直方向檢測肺氣管,然后提出了基于線性規(guī)劃的跟蹤方法,以得到2類檢測結(jié)果的最佳結(jié)合方式。張琳[11]提出一種基于自監(jiān)督遷移學(xué)習(xí)的肺氣管分割算法,解決了氣管標(biāo)注圖像中前景和背景體素數(shù)量不平衡的問題。王繼偉等[12]提出一種基于改進(jìn)對抗生成網(wǎng)絡(luò)模型的肺氣管圖像分割方法,無需人工交互即可獲得形態(tài)學(xué)結(jié)構(gòu)復(fù)雜(肺氣管)的三維目標(biāo)。李康[13]基于深度學(xué)習(xí)方法解決了肺氣管不同分叉點的檢測難度不同的問題。程立英等[14]提出了基于U-net神經(jīng)網(wǎng)絡(luò)的肺部 CT 圖像的肺實質(zhì)分割方法。上述方法雖然在肺氣管分割上有了突破性進(jìn)展,但對于細(xì)小氣管的分割精度仍有待提高。

本文研究了深度學(xué)習(xí)算法在肺部CT圖像中肺氣管分割的應(yīng)用效果,分別對U-net網(wǎng)絡(luò)及其優(yōu)化后的變體Unet++、Attention-Unet等網(wǎng)絡(luò)模型進(jìn)行了肺氣管分割實驗。實驗數(shù)據(jù)表明,基于深度學(xué)習(xí)的Attention-Unet網(wǎng)絡(luò)不僅能夠提高肺氣管分割的速度和精度,并有效防止泄漏,從而更有助于提升肺部疾病診斷的準(zhǔn)確性。

1 模型介紹

1.1 U-net網(wǎng)絡(luò)模型

2015年,U型網(wǎng)絡(luò)結(jié)構(gòu)在圖像分割領(lǐng)域大放異彩[15],U-net被大量地應(yīng)用在分割領(lǐng)域,它是在全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN)的基礎(chǔ)上構(gòu)建的,解決了FCN無法存儲和確認(rèn)上下文的位置信息的問題。U-net結(jié)構(gòu)最早在2006年被Hinton提出,encoder-decoder結(jié)構(gòu)具有深遠(yuǎn)意義,其基本原理是對輸入圖像進(jìn)行下采樣編碼來將之前的圖像變成更小的特征,再經(jīng)過解碼還原之前輸入的圖像。據(jù)此,只需要存儲相關(guān)特征和解碼器就可以存儲一幅圖片。U-net的主要創(chuàng)新點在于將低級特征圖與后面的高級特征圖進(jìn)行了融合,并且結(jié)構(gòu)的對稱性使得特征融合更為徹底,使得圖片信息損失較少。下采樣低分辨率用于物體識別,上采樣高分辨率用于分割定位,再通過融合操作填補(bǔ)信息。

1.2 基于U-net優(yōu)化的網(wǎng)絡(luò)模型

1.2.1 Unet++網(wǎng)絡(luò)分割算法

Unet++[16]在U-net的基礎(chǔ)上對skip connection進(jìn)行改進(jìn),避免U-net中的encoder的淺層特征與decoder的深層特征結(jié)合產(chǎn)生語義鴻溝(semantic gap),從而產(chǎn)生高度靈活的特征融合方案。如圖1所示,Unet++通過不同深度的U-net的有效集成來緩解未知的網(wǎng)絡(luò)深度。更改后的Unet++具有以下特點。首先,U-net可以部分共享一個編碼器,并且可以通過深度監(jiān)督(deep supervision)同時進(jìn)行共同學(xué)習(xí)。這種設(shè)計不僅能夠提高分割性能,還可以簡化模型。其次,Unet++不受跳接限制,重新設(shè)計的跳接按照不同比例將圖像特征與對應(yīng)的解碼器中的節(jié)點進(jìn)行特征融合。

圖1 Unet++網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Unet++ architecture

1.2.2 Attention-Unet網(wǎng)絡(luò)分割算法

Attention-Unet在U-net中引入注意力機(jī)制,在對編碼器每個分辨率上的特征與解碼器中對應(yīng)特征進(jìn)行拼接之前,使用了一個注意力模塊,重新調(diào)整了編碼器的輸出特征。該模塊生成一個門控信號,用來控制不同空間位置處特征的重要性,如圖2中Attention Gate所示。Attention-Unet和U-net的不同在于解碼部分,編碼提取部分先進(jìn)行了Attention Gate再進(jìn)行了decoder。Attention Gate和多階段CNNs相比,能夠減少對目標(biāo)學(xué)習(xí)無關(guān)部分的學(xué)習(xí),同時增加對目標(biāo)學(xué)習(xí)有關(guān)部分的學(xué)習(xí),Attention Gate需要訓(xùn)練的模型少且不用額外的參數(shù),可以抑制不相關(guān)背景的響應(yīng),節(jié)省對感興趣區(qū)域的裁剪。而soft attention的使用,對于無關(guān)區(qū)域響應(yīng)的抑制和減少冗余的跳轉(zhuǎn)連接有較好的作用。將Attention Gate合并到U-net架構(gòu)中,以突出通過跳轉(zhuǎn)連接的顯著特征skip connection,從而消除跳轉(zhuǎn)連接中不相關(guān)和有噪聲的響應(yīng)帶來的問題。

圖2 Attention-Unet網(wǎng)絡(luò)架構(gòu)Fig.2 Attention-Unet architecture

2 總體分割過程

結(jié)合肺氣管樹的特點,本文在Attention-Unet的基礎(chǔ)上對網(wǎng)絡(luò)進(jìn)行優(yōu)化,設(shè)計了一個針對肺部CT圖像的肺氣管分割網(wǎng)絡(luò)模型,總體結(jié)構(gòu)如圖3所示。在肺部CT圖像預(yù)處理方面,本文采用了一種高效簡單的肺部CT圖像預(yù)處理方案。通過形態(tài)學(xué)處理和平滑操作,降低噪聲對肺部CT圖像中感興趣區(qū)域的影響,使分割的肺部區(qū)域中包含完整的肺紋理,接著初步提取出肺實質(zhì)組織的輪廓,為后續(xù)的肺氣管分割提供有效的作用域,以減小冗余數(shù)據(jù)的干擾。在肺氣管分割方面,將預(yù)訓(xùn)練的結(jié)果輸入到Attention-Unet中,模型Attention Gate可以抑制模型學(xué)習(xí)與任務(wù)無關(guān)的部分,同時增強(qiáng)學(xué)習(xí)與任務(wù)相關(guān)的特征,從而有效地提取氣管結(jié)構(gòu)。

圖3 肺氣管分割流程圖Fig.3 Flow chart of pulmonary trachea segmentation

2.1 肺部CT圖像的預(yù)處理

原始的肺部CT圖像可能受患者的移動或者CT掃描時環(huán)境干擾等影響,導(dǎo)致CT圖像中存在著多種不同的噪聲。為了降低噪聲的干擾,增強(qiáng)肺實質(zhì)和周圍組織之間的差異,保證提取的肺實質(zhì)數(shù)據(jù)的真實性和可靠性,在對肺部CT圖像進(jìn)行分割等操作前,需要對其進(jìn)行預(yù)處理操作。

本文采用形態(tài)學(xué)運(yùn)算和平滑操作對圖像進(jìn)行預(yù)處理。形態(tài)學(xué)的基本思想是利用一種特殊的結(jié)構(gòu)元來測量或提取輸入圖像中相應(yīng)的形狀或特征,以便進(jìn)一步進(jìn)行圖像分析和目標(biāo)識別。圖像膨脹是形態(tài)學(xué)處理的常用方法,其原理是使用一個自定義的結(jié)構(gòu)元素,在待處理的二值圖像上進(jìn)行類似于“濾波”的滑動操作,然后將二值圖像對應(yīng)的像素點與結(jié)構(gòu)元素的像素進(jìn)行對比,得到的并集為膨脹后的圖像像素,圖像區(qū)域的邊緣可能會變得平滑,區(qū)域的像素將會增加,不相連的部分可能會連接起來,以便后續(xù)處理。

2.2 肺實質(zhì)提取與肺氣管的分割

由于肺實質(zhì)區(qū)域和周圍區(qū)域存在較明顯的CT值差異,本文先對肺實質(zhì)區(qū)域進(jìn)行提取,以減少后續(xù)工作量,提高分割精度與效率(圖4)。

圖4 基于U-net的肺實質(zhì)分割流程圖Fig.4 Flow chart of pulmonary parenchymal segmentation based on U-net

將提取出肺實質(zhì)的數(shù)據(jù)輸入Attention-Unet模型中進(jìn)行肺氣管的分割,Attention-Unet的Attention Gate內(nèi)部結(jié)構(gòu)如圖5所示,其中g(shù)是解碼部分的矩陣,xl是編碼(左邊)的矩陣,x經(jīng)過乘以系數(shù)(完成Attention)和g一起concat,進(jìn)入下一層解碼。這里Resampler重采樣器把特征圖重采樣到原來的大小。數(shù)學(xué)公式:

圖5 Attention Gate內(nèi)部結(jié)構(gòu)圖Fig.5 Attention Gate internal structure diagram

3 實驗結(jié)果和分析

對于模型的訓(xùn)練,使用Adma作為優(yōu)化器,并使用默認(rèn)參數(shù)在100epoch內(nèi)訓(xùn)練U-net,Unet++和Attention-Unet。本文神經(jīng)網(wǎng)絡(luò)算法主要采用Python 3.6語言編程,PyCharm Community Edition 2020.2.3x64平臺下運(yùn)行,實驗配置電腦為64位Windows 10操作系統(tǒng),處理器為Intel(R) Core(TM) i5-8250U CPU@1.60GHz 1.80GHz。

3.1 實驗數(shù)據(jù)及評價指標(biāo)

本文使用的實驗數(shù)據(jù)來自EXACT09網(wǎng)站(http:∥image.diku.dk/)用于競賽的肺部CT圖像序列,這些肺部CT圖像序列來自世界各地不同團(tuán)隊的掃描儀。CT圖像序列的文件格式均為DICOM,單張切片的厚度在0.6～1.25 mm,單個圖像序列厚度在260～670層左右,每張切片的大小都是 512×512 px。數(shù)據(jù)集按照8∶2劃分為訓(xùn)練集與測試集,經(jīng)5倍交叉驗證得到實驗結(jié)果。

本文選取Miou,Dice和Aver_hd 3個指標(biāo)進(jìn)行評價:

1) Miou為平均交并比: 計算真實值和預(yù)測值2個集合之間交集和并集的比例。

2) Dice為相似系數(shù): 2倍的真實值和預(yù)測值相交的面積占總面積的比值。

3) Aver_hd為豪斯多夫距離: 主要是用來度量邊界的分割準(zhǔn)確度,能夠度量2個點集間的最大不匹配程度。

3.2 肺實質(zhì)分割實驗結(jié)果

為比較不同算法對肺實質(zhì)分割的效果,本文將U-net,Unet++和Attention-Unet的結(jié)果進(jìn)行比較。分割示例圖分別如圖6至圖8所示。

inputpredictmask

inputpredictmask

inputpredictmask

從表1的結(jié)果看,U-net,Attention-Unet能夠較好地分割肺實質(zhì)且加了注意力機(jī)制的U-net網(wǎng)絡(luò)分割效果更好,但Unet++由于存在邊緣識別能力較弱的問題,在沒有預(yù)處理的情況下對肺實質(zhì)的分割效果不夠理想。

表1 肺實質(zhì)分割結(jié)果評價表

3.3 肺氣管分割實驗結(jié)果

Unet++的分割效果如圖9所示,Attention-Unet的分割效果如圖10所示,肺氣管分割評價情況見表2,對比結(jié)果可以明顯看出,由于肺部氣管分割區(qū)域較小等原因,Unet++網(wǎng)絡(luò)存在明顯的漏分割現(xiàn)象,結(jié)果和真實數(shù)據(jù)之間仍然有一些差距,網(wǎng)絡(luò)仍有待改進(jìn)。但提出的Attention-Unet網(wǎng)絡(luò)用于肺氣管分割效果較好,較為細(xì)小的血管也可以完整分割出來,解決了支氣管泄漏問題,分割效果良好。

表2 肺氣管分割結(jié)果評價表

inputpredictmask

inputpredictmask

4 結(jié) 論

本文從分析圖像分割技術(shù)出發(fā),通過對U-net網(wǎng)絡(luò)進(jìn)行改進(jìn), 提出了一種基于Attention-Unet的肺部CT圖像肺氣管分割方法,并將分割結(jié)果與U-net及其變體進(jìn)行對比分析。訓(xùn)練后的模型能夠直接對原始圖像進(jìn)行自動分割,Attention-Unet網(wǎng)絡(luò)由于結(jié)構(gòu)的優(yōu)化更新,加入了注意力機(jī)制,提高了模型對數(shù)據(jù)的適應(yīng)性,在相同的數(shù)據(jù)集測試下相對于U-net和Unet++表現(xiàn)出較好的效果。此算法簡單、有效地提取出完整的肺支氣管,解決了支氣管泄漏的問題,具有較好的魯棒性。