基于生成對抗網(wǎng)絡(luò)的肝臟CT圖像分割

鄧鴻 鄧雅心 丁廷波 嚴(yán)中紅 王富平 陳忠敏

0 引言

醫(yī)學(xué)圖像分割的目的是從醫(yī)學(xué)圖像中分離出目標(biāo)區(qū)域，例如臟器、組織，再通過數(shù)字圖像處理的手段實現(xiàn)可視化、圖形引導(dǎo)手術(shù)、虛擬內(nèi)徑等[1]。在腹部成像，肝臟分割具有直接潛在臨床應(yīng)用：(1)自動肝臟體積測量，肝臟體積是肝外科手術(shù)一個重要的預(yù)后指標(biāo)[2]，也是確定肝腫瘤放射栓塞的放射劑量的重要參數(shù)[3]；(2) 肝臟3D重建，肝臟3D重建能幫助外科手術(shù)制定手術(shù)計劃[4]。同時肝臟分割也能應(yīng)用到許多新興的應(yīng)用，如多回波磁共振(magnetic resonance ,MR)檢查質(zhì)子密度脂肪級(quantification of proton density fat fraction，PDFF)的量化，以協(xié)助診斷非酒精性脂肪肝病(nonalcoholic fatty liver disease，NAFLD)和肝形態(tài)學(xué)評估的管理，以幫助檢測肝硬化[5]。

目前，肝臟圖像的分割方法可以分為人工分割、半自動分割和自動分割。人工分割需要具有經(jīng)驗的影像科醫(yī)生依據(jù)經(jīng)驗對肝臟CT圖像進(jìn)行手工劃分，這種方法不僅耗時而且會因為醫(yī)師的主觀意愿而導(dǎo)致分割結(jié)果的差異性較大。半自動分割方法主要是根據(jù)CT圖像中的灰度和梯度信息對肝臟進(jìn)行分割，包括水平集法[6]、閾值插入法[7]、區(qū)域生長法[8]等，這些方法都需要人手工地設(shè)置參數(shù)，參數(shù)設(shè)置的不同會導(dǎo)致分割效果不同，同時這些方法如果是處理肝臟灰度值比較均勻的圖像可能會出現(xiàn)欠分割或過分割現(xiàn)象[6-8]。自動分割方法主要指依賴于神經(jīng)網(wǎng)絡(luò)的一些方法，比如FCN[9]和Unet[10]網(wǎng)絡(luò)；Shelhamer等提出的FCN網(wǎng)絡(luò)因為其使用卷積層來替代了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最后一層的全連接層，因此FCN網(wǎng)絡(luò)可以接收任意大小圖片的輸入從而實現(xiàn)圖像分割端到端的訓(xùn)練。同時它使用增大了數(shù)據(jù)尺寸的反卷積層，能夠輸出精細(xì)的結(jié)構(gòu)；結(jié)合不同深度層結(jié)果的跳級結(jié)構(gòu)可以提高圖像分割的魯棒性和精確性。Unet網(wǎng)絡(luò)基于FCN網(wǎng)絡(luò)的基礎(chǔ)上提出，融合了所有池化層的特征，使得該網(wǎng)絡(luò)可以使用較少的訓(xùn)練圖像就可以得到比較精準(zhǔn)的分割結(jié)果。FCN網(wǎng)絡(luò)和UNET網(wǎng)絡(luò)已經(jīng)可以分割出肝臟的大體位置，但是對于肝臟邊緣的分割結(jié)果較差。

Vorontsov等[11]提出了對肝臟和肝臟病變區(qū)域進(jìn)行級聯(lián)分割的模型，該模型使用兩個級聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)，一個網(wǎng)絡(luò)負(fù)責(zé)對肝臟區(qū)域進(jìn)行分割，另一個網(wǎng)絡(luò)負(fù)責(zé)對病變區(qū)域進(jìn)行分割。該網(wǎng)絡(luò)對于肝臟的分割效果欠佳，是因為沒有考慮到相鄰層的信息。Li 等[12]提出了一種混合緊密連接型Unet,該模型由兩部分組成，分別為2D和3D的Unet，2D部分負(fù)責(zé)提取切片內(nèi)的特征，3D部分負(fù)責(zé)對切片的Z軸的信息特征進(jìn)行分層整合，該網(wǎng)絡(luò)可以用于肝臟和肝臟腫瘤的分割。但是因為該模型運用了3D卷積網(wǎng)絡(luò)，使得其變得不容易訓(xùn)練而且對硬件的需求較高?？梢钥吹皆趯Ω闻K腫瘤進(jìn)行分割時，研究者們都會先對肝臟組織進(jìn)行分割，然后將只含有肝臟組織的圖像送入到腫瘤分割網(wǎng)絡(luò)進(jìn)行腫瘤的分割。因此對于肝臟區(qū)域分割的準(zhǔn)確與否也會影響到后續(xù)的腫瘤分割的精確度[11-12]。

生成式對抗網(wǎng)絡(luò)[13]是2014年由Good-fellow等提出。生成對抗網(wǎng)絡(luò)主要包括兩個模塊：生成器模塊(generative model)和判別器模塊(discriminative model)，在訓(xùn)練過程中，生成網(wǎng)絡(luò)的目標(biāo)就是盡量生成真實的圖片去欺騙判別網(wǎng)絡(luò)。而判別網(wǎng)絡(luò)的目標(biāo)是把生成網(wǎng)絡(luò)生成的圖片和真實的圖片區(qū)分開。這樣，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成了一個動態(tài)的“博弈過程”。通過在Unet的訓(xùn)練中引入生成式對抗網(wǎng)絡(luò)，可以使得Unet網(wǎng)絡(luò)預(yù)測的分割結(jié)果更加接近于真實標(biāo)注的圖像。

基于上述內(nèi)容，本文將生成對抗網(wǎng)絡(luò)和Unet結(jié)合為Gan-Unet網(wǎng)絡(luò)對肝臟CT序列圖像進(jìn)行分割訓(xùn)練，從而使得肝臟自動分割預(yù)測的結(jié)果更加清晰、分割準(zhǔn)確度進(jìn)一步提高。同時，在進(jìn)行對抗訓(xùn)練時探索了不同的距離約束函數(shù)對于分割結(jié)果的影響。

1 方法

1.1 分割網(wǎng)絡(luò)

本文參考條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial nets，CGAN)[14]搭建肝臟圖像分割網(wǎng)絡(luò)，其框架示意圖如圖1所示，整個網(wǎng)絡(luò)由一對互相對抗的生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)組成。

生成器采用Unet網(wǎng)絡(luò)對肝臟CT圖像進(jìn)行圖像分割預(yù)測，具體結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)包含收縮路徑和擴張路徑兩部分，兩部分結(jié)構(gòu)是對稱的，收縮路徑主要通過卷積和池化操作對輸入的CT圖像進(jìn)行不同尺度上的特征提取。收縮路徑部分每一層都使用2次3×3的卷積核對圖像進(jìn)行卷積，再通過池化層將圖像大小縮小一半繼續(xù)進(jìn)行相同的卷積操作，共進(jìn)行4次下采樣操作。在擴張路徑部分，通過上采樣操作從最底層開始對圖像進(jìn)行恢復(fù)。通過Concat操作對采樣恢復(fù)的圖像和收縮路徑對應(yīng)層的圖像進(jìn)行融合，將融合后的圖像通過2個3×3卷積后繼續(xù)重復(fù)上述操作最終將圖像還原到輸出大小，最后通過一個1×1的卷積層得到最后輸出的分割結(jié)果預(yù)測圖。整個網(wǎng)絡(luò)在特征提取的時候卷積核大小設(shè)置為3×3是為了在可以最小化神經(jīng)網(wǎng)絡(luò)的復(fù)雜性的同時又能保證網(wǎng)絡(luò)的預(yù)測分割準(zhǔn)確率[15]。

判別器采用由5個卷積層組成的神經(jīng)網(wǎng)絡(luò)，如圖3所示。輸入層通過Concat操作把真實的圖像標(biāo)簽和預(yù)測的圖像標(biāo)簽結(jié)合在一起輸入卷積網(wǎng)絡(luò)，再通過4個步長為2的4×4卷積層卷積，將得到的結(jié)果最后經(jīng)步長為1的4×4的卷積層進(jìn)行卷積得到輸出結(jié)果。

1.2 分割網(wǎng)絡(luò)訓(xùn)練過程

整個分割網(wǎng)絡(luò)的訓(xùn)練過程如下，首先通過生成器預(yù)測生成一張肝臟區(qū)域圖片，然后將生成器預(yù)測的肝臟分割圖和真實肝臟標(biāo)簽圖片一起送入判別器中進(jìn)行判別。如果生成的肝臟分割圖和實際的分割圖一樣，那么判別器就會輸出一個接近于1的數(shù)，否則輸出一個接近于0的數(shù)。生成器再根據(jù)判別器的輸出繼續(xù)去生成預(yù)測分割圖像，最終判別器不能區(qū)分出送進(jìn)這個網(wǎng)絡(luò)的到底是來自于生成器的圖片還是真實的肝臟分割圖片，這個網(wǎng)絡(luò)就達(dá)到了一種納什均衡的狀態(tài)，也就完成了分割網(wǎng)絡(luò)的訓(xùn)練。

1.3 分割網(wǎng)絡(luò)損失函數(shù)

生成對抗網(wǎng)絡(luò)的目的是讓生成器產(chǎn)生的圖像可以去欺騙判別器，讓判別器不能夠區(qū)分送進(jìn)網(wǎng)絡(luò)圖片的真實性。故整個網(wǎng)絡(luò)的優(yōu)化目標(biāo)：

Σln[1-D(label|G(x))]

(1)

式中：G和D分別代表生成器和判別器模型；D(label|x)代表肝臟分割標(biāo)簽圖送入判別器網(wǎng)絡(luò)計算后的輸出；G(x)代表的是通過生成器生成的預(yù)測分割圖；D(label|G(x))代表生成器網(wǎng)絡(luò)生成的預(yù)測分割圖送入到判別器網(wǎng)絡(luò)計算后的輸出。

整個網(wǎng)絡(luò)的對抗訓(xùn)練目標(biāo)是通過最小化生成器的損失函數(shù)Gloss[見式(2)],從而最大化判別器的輸出。最終當(dāng)網(wǎng)絡(luò)達(dá)到納什均衡以后整個網(wǎng)絡(luò)就會表現(xiàn)出比較好的結(jié)果。

Gloss=μ1∑lnD(label|G(x))+

μ2∑Distance(G(x)-label)

(2)

式中：Distance()表示距離約束函數(shù)；μ1，μ2分別表示生成器損失函數(shù)和距離約束函數(shù)所占的權(quán)重。

2 實驗設(shè)置

2.1 數(shù)據(jù)集的獲取與處理

本次實驗訓(xùn)練集采用的肝臟CT圖像序列來自于LiTS(Liver Tumor Segmentation Challenge)[16]競賽中公開的肝臟腫瘤數(shù)據(jù)集，該數(shù)據(jù)集總共采集了131例病患的腹部CT掃描圖像，并且由具有經(jīng)驗的放射科醫(yī)師對肝臟和腫瘤區(qū)域進(jìn)行標(biāo)注。原始的CT數(shù)據(jù)和標(biāo)注數(shù)據(jù)都以nii格式保存。通過ITK-SNAP軟件可以打開此文件進(jìn)行查看(圖4)?？梢钥吹皆嫉腃T序列文件可以在橫斷面、矢狀面以及冠狀面進(jìn)行重建成像，在重建后，在橫斷面圖像的大小為固定的512×512，在矢狀面和冠狀面的圖像大小都會根據(jù)掃描的情況不同而變化，同時切片的數(shù)量根據(jù)每位患者的情況是不定的，一般從幾百到上千張不等。故本次實驗選取橫斷面的CT圖像作為訓(xùn)練數(shù)據(jù)。

由于本文使用的是2D神經(jīng)網(wǎng)絡(luò)，故輸入網(wǎng)絡(luò)的圖像也應(yīng)該為2D圖像。本文通過Python中的nibabel庫將原始的nii圖像切分為2D圖像，同時將CT圖像的窗寬窗位設(shè)置為[400，60]，得到橫斷面的切片圖像并保存。得到的訓(xùn)練集CT圖像如圖5所示。訓(xùn)練集中的標(biāo)注圖像對肝臟及肝臟腫瘤進(jìn)行了標(biāo)注，在圖像上用不同的灰度值分別表示肝臟和腫瘤[圖6(a)]，本次實驗因為只對肝臟進(jìn)行分割，通過閾值化將肝臟腫瘤部分的灰度值設(shè)置為與肝臟灰度值相同[圖6(b)]。經(jīng)處理后，共有58 638張CT切片圖像；其中超過一半以上的圖片都是未含有肝臟的CT圖像，如果把這些不含肝臟的圖片全部送入網(wǎng)絡(luò)訓(xùn)練，因為其標(biāo)注圖像的像素值全為0，在訓(xùn)練時如果選取的這個batch圖像均為不含肝臟的圖像，就會導(dǎo)致loss為零或者過大從而導(dǎo)致訓(xùn)練的不穩(wěn)定，同時若含有太多的負(fù)樣本可能對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練導(dǎo)致過擬合或欠擬合現(xiàn)象。故本次實驗從LiTS數(shù)據(jù)轉(zhuǎn)換的切片中按照正負(fù)樣本比例9∶1選取了18 962張含有肝臟的CT圖像和2 033張不含肝臟的圖像作為訓(xùn)練數(shù)據(jù)集。

圖5 調(diào)節(jié)窗寬窗位至[400,60]的CT訓(xùn)練數(shù)據(jù)Figure 5 CT training data after adjusting window width and window level to [400,60]

圖6 處理后的標(biāo)注圖像Figure 6 Annotated image after processing

本次實驗采用的測試集來自于CHAOS[17]公開的肝臟CT數(shù)據(jù)集。CHAOS數(shù)據(jù)集中CT圖像包含帶有標(biāo)注的20例訓(xùn)練集和不帶標(biāo)注的20例測試集數(shù)據(jù)，本次實驗使用其中的20例帶有標(biāo)注的訓(xùn)練集數(shù)據(jù)作為分割網(wǎng)絡(luò)的測試集。CHAOS數(shù)據(jù)其原始格式是dicom文件。通過Python的Pydiocm庫對原始文件讀取后調(diào)整窗寬窗位為[400,60]，最后得到2 874張帶有標(biāo)注的CT圖像。

2.2 肝臟圖像分割評價指標(biāo)

本文采用Dice、IoU、PA、RVD以及RSSD對肝臟分割網(wǎng)絡(luò)進(jìn)行評價。

2.2.1 Dice系數(shù)

(3)

式中：Ground是專家手動標(biāo)注的金標(biāo)準(zhǔn)圖像；Predict為分割網(wǎng)絡(luò)預(yù)測出來的圖像；Dice的取值范圍為[0,1]，Dice越接近1，分割網(wǎng)絡(luò)預(yù)測的結(jié)果與金標(biāo)準(zhǔn)就愈加重合。

2.2.2 交并比

(4)

式中：Ground 是專家手動標(biāo)注的金標(biāo)準(zhǔn)圖像；Predict為預(yù)測圖像。IoU分?jǐn)?shù)和Dice一樣評價預(yù)測圖像和真實圖像之間的重合度。

2.2.3 像素精確度

(5)

根據(jù)標(biāo)注圖像和預(yù)測圖像之間的關(guān)系，式中TP(true positive)代表預(yù)測值為1，真實值為1的部分；TN(true negative)代表預(yù)測值為0，真實值為0的部分；FP(false positive)代表預(yù)測值為1，真實值為0的部分；FN(false negative)表預(yù)測值為0，真實值為1的部分。PA計算的是預(yù)測分割途中預(yù)測正確的像素占圖像總像素的比例，該比值越接近1，說明網(wǎng)絡(luò)預(yù)測的準(zhǔn)確性越高。

2.2.4 相對體積誤差

(6)

式中：Vground代表通過真實標(biāo)注三維重建后的肝臟體積；Vpredict代表網(wǎng)絡(luò)預(yù)測的分割圖通過三維重建后的體積?？梢钥闯鲈撌降闹翟浇咏?，表示分割網(wǎng)絡(luò)預(yù)測的結(jié)果更加接近于真實的肝臟。肝臟體積對于肝臟精準(zhǔn)外科手術(shù)和精準(zhǔn)放療是一個很重要的參數(shù)[18]。這個參數(shù)影響著治療計劃的制定以及患者術(shù)后的預(yù)后。所以使用相對體積誤差對分割網(wǎng)絡(luò)進(jìn)行評價具有重大意義。

2.2.5 相對表面積誤差

(7)

式中：Sground代表通過真實標(biāo)注三維重建后的肝臟表面積；Spredict代表網(wǎng)絡(luò)預(yù)測的分割圖通過三維重建后的表面積。通過表面積的差異，可以清楚地了解到三維重建后肝臟表面的粗糙程度。同樣，該式越接近于0，代表預(yù)測結(jié)果和真實的標(biāo)注結(jié)果愈加接近。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及超參數(shù)設(shè)計

本實驗采用的硬件配置：(1) CPU Intel(R) Core(TM) i5-7600K CPU @ 3.80 GHz；(2) NVIDIA RTX 2080Ti;(3) 內(nèi)存16 GB ;(4) 操作系統(tǒng):Windows10。

本實驗主要探究不同網(wǎng)絡(luò)結(jié)構(gòu)對肝臟分割效果的影響，故將訓(xùn)練時的一些超參數(shù)如優(yōu)化方法、訓(xùn)練周期數(shù)、Dropout率等根據(jù)經(jīng)驗以及實際的硬件配置設(shè)置為相同，如表1。

表1 超參數(shù)設(shè)置Table 1 Hyperparameter settings

3.2 GanUnet與Unet的訓(xùn)練與結(jié)果分析

為了對比GanUnet與傳統(tǒng)Unet的分割效果，在分割網(wǎng)絡(luò)訓(xùn)練時，GanUnet網(wǎng)絡(luò)的Gloss中選取生成器自身部分的loss，即在式(2)中將μ2設(shè)置為0，μ1為1；Unet網(wǎng)絡(luò)的loss函數(shù)采用交叉熵(Cross Entropy)作為損失函數(shù)。在訓(xùn)練時，每訓(xùn)練一個周期將訓(xùn)練模型的結(jié)果保存。在訓(xùn)練結(jié)束后，將測試集的CT圖像序列輸入到每個周期訓(xùn)練的模型中得到預(yù)測圖像，統(tǒng)計測試集在每個訓(xùn)練周期上的Dice系數(shù)、IoU分?jǐn)?shù)和PA分?jǐn)?shù)的平均值。并在20組中選取結(jié)果最好的一組肝臟預(yù)測圖片。將所得的預(yù)測圖片在原始CT圖像上提取出對應(yīng)的部分后得到每一位患者肝臟分割圖。通過3D Slicer軟件對得到的肝臟分割圖進(jìn)行三維重建后計算RVD和RSSD分?jǐn)?shù)。得到的結(jié)果如下(統(tǒng)計結(jié)果去掉最大值和最小值以防止誤差過大)。

從圖7可以看出，提出的網(wǎng)絡(luò)在Dice和IoU上某些周期是高于Unet的，且提出的網(wǎng)絡(luò)在PA指標(biāo)上明顯高于Unet。這證明本文搭建的網(wǎng)絡(luò)在表現(xiàn)性能上是優(yōu)于Unet的。GanUnet 3個指標(biāo)出現(xiàn)的波動情況是由于生成對抗網(wǎng)絡(luò)訓(xùn)練的特性導(dǎo)致的，同時受限于計算機性能，不能夠保存每一步訓(xùn)練的結(jié)果，所以每個周期最后一步保存的模型可能是性能比較差的，以至于結(jié)果出現(xiàn)了波動。綜合3個指標(biāo)來看，本文提出網(wǎng)絡(luò)的性能是優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)。

圖7 GanUnet與Unet在測試集上Dice、IoU和PA的表現(xiàn)Figure 7 Performance of the test set Dice，IoU and PA in GanUnet and Unet

從表2可以看出，本文搭建的GanUnet網(wǎng)絡(luò)，在4個評價指標(biāo)上均優(yōu)于傳統(tǒng)的Unet分割方法，Dice系數(shù)相較于Unet提升了1.1%；IoU系數(shù)提升了1.8%；PA提升了3.5%；RVD降低了48.3%，RSSD降低了23.6%。使用的方法在Dice、IoU和PA上的提升不是很大，但是在RVD和RSSD上看來，都有較高的提升。故從評價指標(biāo)上來看，本文使用的方法均優(yōu)于傳統(tǒng)的Unet方法。從圖8可以看出，Unet網(wǎng)絡(luò)能識別出肝臟所在區(qū)域的大體位置并進(jìn)行分割，但是Unet網(wǎng)絡(luò)對于肝臟邊界的識別能力不足，導(dǎo)致預(yù)測分割圖的邊緣表現(xiàn)十分粗糙。本文使用的網(wǎng)絡(luò)，很好地解決了Unet對于肝臟邊緣識別不準(zhǔn)確而導(dǎo)致的邊緣分割粗糙的問題，使得預(yù)測圖像更加接近標(biāo)注圖像。

表2 GanUnet與Unet指標(biāo)定量分析Table 2 GanUnet and Unet quantitative analysis

圖8 使用不同方法的分割效果Figure 8 Segmentation results with different methods

3.3 加入距離約束函數(shù)對GanUnet的影響

為了進(jìn)一步的提高GanUnet的肝臟分割效果，在GanUnet網(wǎng)絡(luò)的Gloss中加入距離約束函數(shù)L1、L2、SmoothL1對肝臟分割效果圖進(jìn)行約束。即在式(2)中μ1=μ2=1，將Distance函數(shù)分別替換為L1、L2范數(shù)和SmoothL1距離約束函數(shù)得到如下的損失函數(shù)：

Gloss_l1=ΣlnD(label|G(x))+Σ|G(x)-label|(8-1)

Gloss_smoothL1=ΣlnD(label|G(x))+ΣSmoothL1(x)

(8-3-1)

(8-3-2)

同樣的對L1、L2以及SmoothL1都訓(xùn)練20個周期，統(tǒng)計測試集在每個訓(xùn)練周期上的Dice系數(shù)、IoU分?jǐn)?shù)和PA分?jǐn)?shù)。并在20組中選取結(jié)果最好的一組肝臟預(yù)測圖片。將所得的預(yù)測圖片在原始CT圖像上提取出對應(yīng)的部分后得到每位患者的肝臟分割圖，將其進(jìn)行三維重建后計算出RVD和RSSD。

從圖9可以看出，L1、L2以及SmoothL1約束后的GanLoss的表現(xiàn)性能都要優(yōu)于單獨的Gloss，同時在引入了約束函數(shù)后，網(wǎng)絡(luò)的訓(xùn)練會變得更加的穩(wěn)定，波動沒有那么大。其中加入L2約束函數(shù)后的性能是在這幾種方法中表現(xiàn)最好的。從表3可以看出，在訓(xùn)練時將Gloss通過L1、L2以及SmoothL1距離函數(shù)約束后，5個評價指標(biāo)都有一定程度的提高，說明網(wǎng)絡(luò)的分割性能有進(jìn)一步的提升。其中Gloss+L2的分割效果要優(yōu)于其他3種方法，可能的原因是L2距離函數(shù)計算的是兩幅圖像距離平方的差距，對于分割網(wǎng)絡(luò)來說，標(biāo)注的圖像很大一部分區(qū)域都是為0的，只有含有肝臟區(qū)域的部分為1，用L2范數(shù)計算標(biāo)注圖像和預(yù)測圖像之間差異的方法會體現(xiàn)出更大的差異；而L1和 SmoothL1函數(shù)在這個任務(wù)中大部分計算的是標(biāo)注圖像和預(yù)測圖像之間的L1范數(shù)，差異較小。在Dice系數(shù)、IoU、PA、RVD和RSSD上，Gloss+L2相較于單一的Gloss分別提高了1.7%，3.4%，0.2%，38.1%，58.7%?？梢钥吹郊尤隠2約束后，一些二維評價指標(biāo)的上升幅度不是很大，但是三維的評價指標(biāo)RVD和RSSD都有明顯的提高，說明加入L2距離函數(shù)對于分割性能有一定的提升。

表3 不同方法的評價指標(biāo)定量分析Table 3 Quantitative analysis of evaluation indexes of different methods

圖9 引入距離約束函數(shù)后測試集的表現(xiàn)Figure 9 The performance of the test set after introducing the distance constraint function

4 討論與結(jié)論

肝臟CT圖像分割現(xiàn)在依然是一個值得研究的問題，一般的肝臟分割方法包括手動分割、半自動分割和自動分割。自從Unet網(wǎng)絡(luò)被提出來后，研究人員基于Unet提出了一系列的改進(jìn)方法。這些改動大多都是基于網(wǎng)絡(luò)本身的改動，例如將簡單的卷積層換為深度殘差網(wǎng)絡(luò)[19]或者空洞卷積[20]，融合不同的損失函數(shù)[21]。這些方法雖然對分割效果有一定的提高，但是仍不理想。也有研究人員為了取得更好的分割效果基于Unet改造出了3D的Unet，但是3D-Unet網(wǎng)絡(luò)對于計算機硬件的要求高，并且不容易訓(xùn)練。故本文從訓(xùn)練方式上改進(jìn)Unet，使用基于生成對抗網(wǎng)絡(luò)的Unet。GanUnet使得肝臟邊緣的分割變得更加平滑和清晰。該網(wǎng)絡(luò)在Dice系數(shù)、IoU系數(shù)、PA、RVD和RSSD這些評價指標(biāo)上都優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)，特別是在三維評價指標(biāo)RVD和RSSD上GanUnet都明顯優(yōu)于Unet網(wǎng)絡(luò)，RVD和RSSD分別提高了48.3%和23.6%。同時，為了進(jìn)一步提高GanUnet的分割效果，引入了L1、L2和SmoothL1 距離約束函數(shù)對Gloss進(jìn)行改造。結(jié)果表明L2距離約束函數(shù)可以進(jìn)一步提高分割網(wǎng)絡(luò)的效果，Dice、IoU和PA分別達(dá)到了94.9%、91.3%、99.4%，相比于Unet的Dice、IoU和PA為92.3%、86.7%、95.8%有一定的提升；在三維指標(biāo)中，相對體積誤差、相對表面積誤差為0.026、0.079，相比于Unet的0.042、0.191有明顯的下降。該網(wǎng)絡(luò)預(yù)測結(jié)果的三維重建效果明顯優(yōu)于傳統(tǒng)的Unet網(wǎng)絡(luò)，肝臟體積這個參數(shù)對于肝臟的精準(zhǔn)外科手術(shù)是非常重要的。

本文使用的網(wǎng)絡(luò)分割結(jié)果在三維重建后更接近于標(biāo)準(zhǔn)肝臟體積，因此可以運用到肝臟的三維打印[22]和肝臟精準(zhǔn)手術(shù)的術(shù)前規(guī)劃[4]等。本文從訓(xùn)練方式改進(jìn)Unet取得了一定效果，可以看到對抗訓(xùn)練方式不僅可以提高分割的精度，同時也能夠提高圖像分割的細(xì)節(jié)，這個對于醫(yī)學(xué)輔助診斷治療是非常重要的。在對抗訓(xùn)練中引入L1、L2和SmoothL1約束函數(shù)對Gloss進(jìn)行約束后還可以進(jìn)一步提高分割精度，可以看出不同的約束函數(shù)可能會適應(yīng)于不同的任務(wù)。本文存在的不足：實驗突出了GanUnet相較于傳統(tǒng)Unet的優(yōu)越性，但沒有進(jìn)一步訓(xùn)練調(diào)參找出最優(yōu)的超參數(shù)。后續(xù)研究方向：可以針對GanUnet通過數(shù)據(jù)集增強、超參數(shù)調(diào)優(yōu)以及引入其他約束函數(shù)對Gloss進(jìn)行改造來進(jìn)一步提高肝臟分割效果。