基于級(jí)聯(lián)式三維卷積神經(jīng)網(wǎng)絡(luò)的肝腫瘤自動(dòng)分割

李淵強(qiáng)，吳宇靂，楊孝平

1.南京理工大學(xué)理學(xué)院，江蘇南京210094；2.南京大學(xué)數(shù)學(xué)系，江蘇南京210094

前言

肝腫瘤是世界范圍內(nèi)最常見(jiàn)的癌癥之一，且近年來(lái)發(fā)病率越來(lái)越高［1］。對(duì)于癌癥，早期診斷和治療是提高生存率的關(guān)鍵，醫(yī)學(xué)影像學(xué)技術(shù)對(duì)此提供了很大的幫助。在許多不同的成像方式中，計(jì)算機(jī)斷層掃描（Computed Tomography,CT）因能提供相對(duì)較高分辨率的解剖學(xué)信息而被廣泛應(yīng)用于肝臟疾病的診斷。從CT圖像中對(duì)肝臟和腫瘤進(jìn)行三維分割是肝癌早期診斷、規(guī)劃治療和監(jiān)測(cè)的重要前提。然而，在臨床實(shí)踐中，醫(yī)師常通過(guò)人工交互的方法來(lái)分割肝腫瘤，人工分割不僅數(shù)據(jù)量大、費(fèi)時(shí)費(fèi)力，而且不同醫(yī)師對(duì)同一病例的診斷分割是有差異的。由于對(duì)精確、有效的腫瘤描繪的需要，使得發(fā)展半自動(dòng)或自動(dòng)的腫瘤精準(zhǔn)分割方法尤為迫切。

對(duì)于肝腫瘤，不同病人的腫瘤在形狀、大小和位置方面有較大的差異，此外，大部分腫瘤與周?chē)８谓M織的對(duì)比度較低、邊界模糊，這導(dǎo)致三維肝腫瘤分割仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。目前提出的肝腫瘤分割方法主要包括聚類(lèi)、圖割、水平集以及機(jī)器學(xué)習(xí)，且較多方法基于二維分割。Anter等［2］提出一種自適應(yīng)區(qū)域生長(zhǎng)的腫瘤自動(dòng)分割方法，應(yīng)用帶標(biāo)記點(diǎn)的分水嶺算法檢測(cè)區(qū)域生長(zhǎng)的初始種子點(diǎn)。也有研究者提出一種基于隨機(jī)游走的監(jiān)督學(xué)習(xí)方法，用于肝腫瘤自動(dòng)分割［3］。主動(dòng)輪廓模型，如水平集算法，也是常用的分割技術(shù)。但是，為了獲得精確的分割結(jié)果，需要較好的初始化和能量函數(shù)，特別是對(duì)于具有不均勻灰度和弱邊界的腫瘤。Li等［4］提出結(jié)合先驗(yàn)信息的水平集模型來(lái)分割腫瘤。Wu等［5］使用改進(jìn)的模糊聚類(lèi)方法以及圖割來(lái)實(shí)現(xiàn)肝腫瘤的半自動(dòng)分割。深層卷積神經(jīng)網(wǎng)絡(luò)被提出以來(lái)，在解決目標(biāo)識(shí)別、分類(lèi)和分割等計(jì)算機(jī)視覺(jué)任務(wù)方面已經(jīng)得到科學(xué)技術(shù)界的廣泛關(guān)注，最重要的是，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明其對(duì)于變化的圖像外觀是高度魯棒的，Chlebus等［6］提出基于深度學(xué)習(xí)的肝腫瘤自動(dòng)分割算法，并用形狀約束模型進(jìn)行后處理。在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，為了得到更加精準(zhǔn)的分割結(jié)果，也采用了基于形狀先驗(yàn)的后處理方法［7］。為了通過(guò)輸入圖像的信息量來(lái)確保分割精度，Christ等［8］同時(shí)將MR圖像作為網(wǎng)絡(luò)輸入，增加腫瘤的信息，Sun等［9］等采用不同期的CT圖像同時(shí)作為輸入來(lái)增加腫瘤的信息。Li等［10］提出一種二維和三維結(jié)合的分割方法，在利用三維空間信息同時(shí)通過(guò)二維分割實(shí)現(xiàn)精細(xì)分割。為了保證分割精度，Baazaoui等［11］提出一種基于熵的半自動(dòng)分割方法，可以分割單個(gè)和多個(gè)病灶。本研究提出級(jí)聯(lián)式的深度學(xué)習(xí)模型來(lái)自動(dòng)分割肝腫瘤，不需要進(jìn)行其他后處理就可以實(shí)現(xiàn)腫瘤的全自動(dòng)分割，并且網(wǎng)絡(luò)模型參數(shù)較少，有利于實(shí)際應(yīng)用。本研究主要針對(duì)提出的網(wǎng)絡(luò)框架，包括定位網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，以及實(shí)驗(yàn)結(jié)果進(jìn)行分析。

1 方法

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)是一種特殊的深度學(xué)習(xí)模型，通過(guò)深層的非線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)任意復(fù)雜函數(shù)的逼近。深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)多層信息表示，利用低層的特征構(gòu)建高層的特征，以級(jí)聯(lián)方式形成深層特征。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層和全連接層，其中卷積層運(yùn)算如式（1）所示。

其中，Xl為第l層輸出；Wl,l+1為權(quán)重參數(shù)；Bl為偏置量；f表示激活函數(shù)；*表示卷積操作。

卷積層用來(lái)提取圖像特征，并通過(guò)權(quán)值共享的形式減少網(wǎng)絡(luò)參數(shù)；池化層通過(guò)下采樣的方式整合特征，減少參數(shù)，在一定程度上保持特征平移和旋轉(zhuǎn)不變性；全連接層可以將二維特征圖轉(zhuǎn)變成一維特征向量，并且可以改變向量長(zhǎng)度。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)一個(gè)像素進(jìn)行分類(lèi)，需要將以該像素為中心的像素塊作為網(wǎng)絡(luò)輸入進(jìn)行訓(xùn)練和測(cè)試，這種方法需要不斷滑動(dòng)窗口選取像素塊，需要較大的存儲(chǔ)空間，而且對(duì)整張圖像分類(lèi)是需要遍歷所有的像素點(diǎn)，計(jì)算效率低下，此外，像素塊的大小影像了感受野的大小，通常像素塊會(huì)比整張圖像小很多，這會(huì)導(dǎo)致像素塊只能提取局部特征，造成最終結(jié)果不準(zhǔn)確。

Long等［12］提出把全卷積神經(jīng)網(wǎng)絡(luò)用于圖像語(yǔ)義分割，在圖像分割應(yīng)用中，全卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)端對(duì)端訓(xùn)練，在不添加預(yù)處理的情況下也可以達(dá)到較高的精度。他們工作的主要思想是用完全卷積層替換傳統(tǒng)卷積網(wǎng)絡(luò)最后的全連接層，使得最后的卷積層特征圖可以通過(guò)反卷積被放大到輸入圖像大小。和傳統(tǒng)的卷積網(wǎng)絡(luò)結(jié)構(gòu)相比，全卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)整張圖像像素級(jí)的預(yù)測(cè)而不是基于像素塊進(jìn)行分類(lèi)。Ronneberger等［13］針對(duì)圖像分割提出U-Net結(jié)構(gòu)，其在神經(jīng)網(wǎng)絡(luò)的不同隱層之間增加了跳躍連接，使得深層網(wǎng)絡(luò)可以應(yīng)用淺層網(wǎng)絡(luò)特征，利用語(yǔ)義和空間信息進(jìn)行訓(xùn)練，結(jié)合了圖像的淺層特征和深層特征，并通過(guò)先下采樣后上采樣的結(jié)構(gòu)減少了網(wǎng)絡(luò)計(jì)算，加快了訓(xùn)練時(shí)間。?i?ek 等［14］將 U-net用于3D數(shù)據(jù)的分割，更好地保留了數(shù)據(jù)的空間信息。

1.2 肝臟分割

在U-Net網(wǎng)絡(luò)結(jié)構(gòu)中，對(duì)圖像分割過(guò)程中會(huì)對(duì)圖像先下采樣，然后再上采樣，通過(guò)池化層降低分辨率和損失原圖信息的方式擴(kuò)大感受野，這樣必然會(huì)造成信息的丟失，導(dǎo)致最終分割精度不足。但是不使用池化層會(huì)導(dǎo)致感受野變小，模型學(xué)習(xí)不到全局信息。為了能有效擴(kuò)大感受野而不增加計(jì)算量，Yu等［15］提出擴(kuò)張卷積，在不降低圖像分辨率的情況下可以有效擴(kuò)大感受野，避免信息丟失。擴(kuò)張卷積的結(jié)構(gòu)如圖1a所示，左側(cè)為標(biāo)準(zhǔn)卷積核，擴(kuò)張率為1；右側(cè)為擴(kuò)張率為2的擴(kuò)張卷積核，即在標(biāo)準(zhǔn)卷積核中根據(jù)擴(kuò)張率添加0，增大卷積核大小，以此來(lái)增大卷積操作后特征圖的感受野?？梢钥闯鼍矸e操作計(jì)算量是不變的，而且經(jīng)過(guò)擴(kuò)張卷積操作后，感受野相對(duì)于標(biāo)準(zhǔn)卷積操作擴(kuò)大了。

一般理論上認(rèn)為網(wǎng)絡(luò)層數(shù)越多，提取細(xì)節(jié)和抽象能力越強(qiáng)，但是實(shí)驗(yàn)發(fā)現(xiàn)層數(shù)越多，越容易出現(xiàn)梯度爆炸或梯度消失的情況，雖然正則化可以解決這個(gè)問(wèn)題，但是會(huì)導(dǎo)致網(wǎng)絡(luò)退化，網(wǎng)絡(luò)層數(shù)增多，準(zhǔn)確度反而下降。He等［16］提出殘差網(wǎng)絡(luò)解決這個(gè)問(wèn)題，其基本思想是在標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)上添加一個(gè)跳過(guò)這些層的連接，殘差結(jié)構(gòu)塊如圖1b所示，其中Conv為卷積操作，一般殘差塊可以包含多個(gè)卷積層，而本研究提出的網(wǎng)絡(luò)中每個(gè)殘差塊包含兩個(gè)擴(kuò)張卷積層。結(jié)合以上對(duì)全卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)以及高分辨率網(wǎng)絡(luò) HighResNet［17-18］的成功應(yīng)用，本研究提出肝臟分割網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 網(wǎng)絡(luò)模塊Fig.1 Network module

肝臟分割網(wǎng)絡(luò)模型是基于三維數(shù)據(jù)構(gòu)建的，相比于二維分割，三維分割能更有效地利用空間信息，使分割結(jié)果更加精準(zhǔn)。因?yàn)镃T原始數(shù)據(jù)大小為512×512×N，直接將原圖作為輸入計(jì)算所需內(nèi)存會(huì)很大，故在此，首先將數(shù)據(jù)縮放成64×64×64大小作為網(wǎng)絡(luò)輸入。在肝臟分割網(wǎng)絡(luò)中，一共使用了3種不同擴(kuò)張率的殘差塊，擴(kuò)張率分別為1、2、4。所提出的網(wǎng)絡(luò)結(jié)構(gòu)一共21層，結(jié)構(gòu)如表1所示，其中第一層是標(biāo)準(zhǔn)的卷積層，接下來(lái)是殘差塊，每一個(gè)殘差塊由兩個(gè)相同擴(kuò)張率的卷積層構(gòu)成，Conv2和Conv3是標(biāo)準(zhǔn)的卷積層。在網(wǎng)絡(luò)中一共使用了9個(gè)殘差塊，通過(guò)擴(kuò)張卷積的方式增大感受野，而不需要對(duì)圖像進(jìn)行下采樣，在保證信息不丟失的同時(shí)集成了全局信息。通過(guò)網(wǎng)絡(luò)分割結(jié)果即可確定肝臟在CT圖像中的位置。

1.3 腫瘤分割

與肝臟分割相比，腫瘤的特異性更強(qiáng)，不同病人之間的差異性也更大，為了減少腹部其他臟器的干擾，通過(guò)肝臟定位分割結(jié)果可以將肝臟區(qū)域提取出來(lái)，只在較小的肝臟區(qū)域內(nèi)分割腫瘤。在實(shí)驗(yàn)中發(fā)現(xiàn)直接在肝臟區(qū)域做二分類(lèi)分割腫瘤效果不好，因此，采用三分類(lèi)方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，分為背景、正常肝組織和腫瘤這3部分，并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)重新進(jìn)行設(shè)計(jì)，與分割成兩類(lèi)相比，精度得到了較大的提升。

表1 肝臟分割網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Structural parameters of liver segmentation network

與肝臟分割類(lèi)似，提取肝臟區(qū)域后縮放成64×64×64大小作為腫瘤分割網(wǎng)絡(luò)的輸入，這樣可以有效減少所需內(nèi)存，腫瘤分割網(wǎng)絡(luò)結(jié)構(gòu)如表2所示，網(wǎng)絡(luò)結(jié)構(gòu)一共19層，采用4種不同擴(kuò)張率，一共8個(gè)ResBlock模塊，相比肝臟分割網(wǎng)絡(luò)使用了更大的擴(kuò)張率，這是因?yàn)槟[瘤在位置、大小和形狀方面都有較強(qiáng)的特異性，需要更多的信息來(lái)精準(zhǔn)分割，使用大的擴(kuò)張卷積能有效擴(kuò)大感受野，應(yīng)用到全局特征分割腫瘤。

表2 肝腫瘤分割網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.2 Structural parameters of liver tumor segmentation network

2 實(shí)驗(yàn)結(jié)果和評(píng)價(jià)

在實(shí)驗(yàn)中所用數(shù)據(jù)來(lái)自南京大學(xué)附屬鼓樓醫(yī)院和2017年MICCAI公開(kāi)比賽LiverTumor Segmentation Challenge（LiTS），該比賽數(shù)據(jù)集為評(píng)價(jià)肝臟和肝腫瘤分割的公認(rèn)標(biāo)準(zhǔn)數(shù)據(jù)集，其中訓(xùn)練集包括130個(gè)數(shù)據(jù)，并且公開(kāi)了由專(zhuān)家勾勒的肝臟和腫瘤的金標(biāo)準(zhǔn)；測(cè)試集包括70個(gè)數(shù)據(jù)，未公開(kāi)金標(biāo)準(zhǔn)，可通過(guò)上傳分割結(jié)果進(jìn)行評(píng)分。

在CT圖像中，像素點(diǎn)CT值范圍為［-1 000,1 000］，但是軟組織CT值約為［20,70］，為了減少干擾，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。根據(jù)臨床經(jīng)驗(yàn)，選取CT值［-160,240］部分區(qū)域，即窗位為40，窗寬為400，令CT值小于-160的像素值等于-160，大于240的等于240，然后將像素值線性壓縮到［0,255］，這樣既保留肝臟區(qū)域信息，也能有效去除其他組織干擾。因?yàn)樯疃葘W(xué)習(xí)是以數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)模型，因此數(shù)據(jù)量的大小對(duì)于模型訓(xùn)練極為重要。對(duì)于醫(yī)學(xué)圖像，數(shù)據(jù)獲取是比較難的，為了增加訓(xùn)練數(shù)據(jù)集，本實(shí)驗(yàn)采用隨機(jī)截取、旋轉(zhuǎn)以及白化的方式進(jìn)行數(shù)據(jù)增廣。

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中所使用的損失函數(shù)為：

Dice計(jì)算公式如式（3）所示，體積重疊誤差（Volume Overlap Error，VOE）如式（4）所示：

其中，A、B分別為數(shù)據(jù)金標(biāo)準(zhǔn)和算法分割結(jié)果。Dice主要作為分割問(wèn)題的評(píng)判標(biāo)準(zhǔn)，用作損失函數(shù)，有利于提升分割精度。在第一步肝臟分割中，肝臟分割結(jié)果平均Dice分?jǐn)?shù)為0.924，肝臟分割結(jié)果在邊界上略有不足，但對(duì)于定位肝臟已經(jīng)足夠了。在肝臟分割結(jié)果上向各個(gè)方向擴(kuò)張25個(gè)像素以保證提取到所有肝臟區(qū)域，然后將此區(qū)域作為腫瘤分割網(wǎng)絡(luò)的輸入進(jìn)行腫瘤分割，最后根據(jù)肝臟定位坐標(biāo)可以將腫瘤分割結(jié)果放到原圖對(duì)應(yīng)位置。

為了定量分析腫瘤分割結(jié)果，采用Dice及體積重疊誤差進(jìn)行分析，結(jié)果見(jiàn)表3。相比于文獻(xiàn)［19］、［20］，本研究提出方法有較高的Dice分?jǐn)?shù)，為0.663，且網(wǎng)絡(luò)結(jié)構(gòu)較簡(jiǎn)單，參數(shù)量少，可以在20 s內(nèi)完成腫瘤的三維分割。

表3 腫瘤分割結(jié)果比較Tab.3 Comparison of tumor segmentation results

為了進(jìn)一步驗(yàn)證本研究提出的網(wǎng)絡(luò)的穩(wěn)定性，對(duì)鼓樓醫(yī)院提供的數(shù)據(jù)進(jìn)行分割，醫(yī)院的數(shù)據(jù)由多名醫(yī)師共同進(jìn)行標(biāo)定。分割結(jié)果的平均Dice分?jǐn)?shù)為0.71。圖2展示了一個(gè)分割病例，第一張為原圖；第二張為二維分割結(jié)果，其中紅色為金標(biāo)準(zhǔn)，綠色為分割結(jié)果；第三張和第四張分別為金標(biāo)準(zhǔn)和分割結(jié)果的三維重建結(jié)果?？梢钥闯?，網(wǎng)絡(luò)分割結(jié)果只是在邊緣細(xì)節(jié)與金標(biāo)準(zhǔn)有差異，整體腫瘤分割是準(zhǔn)確的，這對(duì)醫(yī)生有較大的參考價(jià)值。

3 總結(jié)

本研究提出一種級(jí)聯(lián)式的三維卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行肝腫瘤分割。通過(guò)級(jí)聯(lián)式的網(wǎng)絡(luò)首先對(duì)肝臟進(jìn)行定位，然后在肝臟區(qū)域中進(jìn)行腫瘤分割，能有效避免其他器官的干擾并減少計(jì)算時(shí)間。在網(wǎng)絡(luò)結(jié)構(gòu)中使用擴(kuò)張卷積，使得網(wǎng)絡(luò)架構(gòu)不需要進(jìn)行下采樣，避免信息損失，能有效利用全局信息，有更高的效率。此外，該網(wǎng)絡(luò)模型無(wú)需后處理，直接對(duì)三維數(shù)據(jù)體進(jìn)行分割，相比于二維分割及人工交互式分割，三維分割能有效減少人工操作復(fù)雜度，實(shí)現(xiàn)腫瘤的快速分割。實(shí)驗(yàn)結(jié)果也證實(shí)了本模型對(duì)肝腫瘤分割的有效性。

醫(yī)學(xué)圖像數(shù)據(jù)采集困難，本實(shí)驗(yàn)采用數(shù)據(jù)量較少，并且未對(duì)腫瘤種類(lèi)進(jìn)行分類(lèi)，后期可以繼續(xù)增加數(shù)據(jù)量，對(duì)腫瘤進(jìn)行分類(lèi)，以進(jìn)一步完善模型，達(dá)到更高的分割精度。

圖2 腫瘤分割圖像對(duì)照Fig.2 Comparison of tumor segmentation images