基于新型深度全卷積網(wǎng)絡(luò)的肝臟CT影像三維區(qū)域自動(dòng)分割

孫明建 徐 軍* 馬 偉 張玉東

1(南京信息工程大學(xué)江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京 210044) 2(江蘇省人民醫(yī)院放射科， 南京 210029)

引言

肝臟分割對(duì)于肝腫瘤肝段切除及肝移植體積測(cè)量具有重要的臨床價(jià)值。因此，為了輔助醫(yī)生對(duì)肝臟疾病進(jìn)行診斷和治療，需要對(duì)肝臟區(qū)域進(jìn)行精準(zhǔn)的分割。但肝臟的手動(dòng)三維分割非常耗時(shí)，而且工作量大，因此亟需一種自動(dòng)分割肝臟的方法。然而，肝臟分割面臨著很多挑戰(zhàn)：一是在CT(computed tomography)圖像中，肝臟的灰度值與周?chē)K器的灰度值非常相近(如胃、胰腺、腎臟和肌肉)；二是病人的個(gè)體差異，導(dǎo)致肝臟大小和形狀都不同；三是掃描儀器的參數(shù)設(shè)置不同，導(dǎo)致CT圖像之間的灰度值有所差別，肝臟的位置也有所不同。

研究人員為了解決這個(gè)問(wèn)題，提出了很多肝臟分割的方法，大致分為傳統(tǒng)的分割方法和基于深度學(xué)習(xí)的分割方法。傳統(tǒng)方法包括利用形狀先驗(yàn)、灰度分布以及邊界和區(qū)域信息來(lái)描述肝臟特征并劃定其邊界的統(tǒng)計(jì)變形模型[1-4]，基于形狀約束的可變形圖割方法和水平集方法[5-7]，基于灰度等級(jí)和紋理的方法[8]；深度學(xué)習(xí)的方法主要包括利用級(jí)聯(lián)的Unet結(jié)構(gòu)分割肝臟以及肝臟結(jié)節(jié)的方法[9]，使用三維深度監(jiān)督網(wǎng)絡(luò)分割肝臟的方法[10]。傳統(tǒng)方法主要使用手工提取的特征，這種提取方式獲得的特征數(shù)量較少，容易將相似于肝臟灰度值的臟器錯(cuò)認(rèn)為是肝臟；而深度學(xué)習(xí)方法能充分運(yùn)用大量的訓(xùn)練樣本，使肝臟的分割結(jié)果優(yōu)于傳統(tǒng)方法的分割結(jié)果。此外，很多深度學(xué)習(xí)方法使用二維卷積網(wǎng)絡(luò)，無(wú)法充分利用CT影像的三維空間信息[18]；還有部分深度學(xué)習(xí)方法使用三維卷積，但沒(méi)有高效地結(jié)合CT影像的淺層和深層特征[19-20]。

本研究提出了一種全新的網(wǎng)絡(luò)結(jié)構(gòu)3DUnet-C2，該網(wǎng)絡(luò)對(duì)文獻(xiàn)[16]中提出的3DUnet進(jìn)行了改進(jìn)。原始的3DUnet主要分為特征圖提取和特征圖重構(gòu)這兩個(gè)過(guò)程。在特征圖提取過(guò)程中，使用卷積層進(jìn)行特征提取，使用最大池化層進(jìn)行特征維度降低，通過(guò)不斷加深網(wǎng)絡(luò)層數(shù)，從而能提取更深層的特征。在特征圖重構(gòu)過(guò)程中，通過(guò)反卷積層來(lái)放大特征圖，將該特征圖與前層等大小的特征圖通過(guò)級(jí)聯(lián)層進(jìn)行結(jié)合，接著再使用卷積層從中提取更有效的特征，最后使用softmax分類(lèi)器輸出，從而實(shí)現(xiàn)了對(duì)肝臟的分割。本研究提出的3DUnet-C2網(wǎng)絡(luò)對(duì)3DUnet網(wǎng)絡(luò)進(jìn)行了修改，主要的改進(jìn)包括：網(wǎng)絡(luò)層數(shù)更深，能提取更多更深層的特征；對(duì)將要級(jí)聯(lián)的特征圖分別進(jìn)行卷積操作，使特征圖能夠更加高效地進(jìn)行組合；網(wǎng)絡(luò)結(jié)構(gòu)中沒(méi)有使用batch normalization[17]。該結(jié)構(gòu)充分利用了三維空間信息，并有效結(jié)合了CT圖像的淺層和深層特征，從而提升了分割效果。在3DUnet-C2分割結(jié)果的基礎(chǔ)上，運(yùn)用三維條件隨機(jī)場(chǎng)[11]優(yōu)化肝臟的輪廓，使肝臟分割結(jié)果得到進(jìn)一步提升。

本研究的內(nèi)容安排如下：第1部分介紹深度全卷積網(wǎng)絡(luò)模型對(duì)肝臟的分割，第2部分介紹實(shí)驗(yàn)設(shè)計(jì)以及實(shí)驗(yàn)結(jié)果，第3、4部分是對(duì)研究工作的討論和總結(jié)。

1 方法

1.1 肝臟分割模型

本研究提出一個(gè)全新的肝臟分割模型，整個(gè)流程如圖1所示。主要的設(shè)計(jì)思路是對(duì)圖像進(jìn)行預(yù)處理，去除一些無(wú)用信息，提升肝臟區(qū)域的對(duì)比度，然后將圖像裁剪放縮成128×128×128的尺寸，之后再輸入到深度全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而得到肝臟的分割模型。將每個(gè)圖像送入已經(jīng)訓(xùn)練好的深度全卷積網(wǎng)絡(luò)中以獲取各自的概率圖，再將概率圖送入三維條件隨機(jī)場(chǎng)中來(lái)學(xué)習(xí)三維條件隨機(jī)場(chǎng)所需要的參數(shù)。在測(cè)試階段，對(duì)一張肝臟CT圖像首先進(jìn)行預(yù)處理，將圖像放縮成128×128×128的尺寸，之后利用訓(xùn)練好的深度全卷積網(wǎng)絡(luò)分割肝臟，從而得到對(duì)應(yīng)的概率圖譜，接著再將概率圖譜送入到三維條件隨機(jī)場(chǎng)中得到肝臟的分割結(jié)果，最后將分割結(jié)果恢復(fù)到原始圖像的尺寸。

1.1.1預(yù)處理

本研究使用數(shù)據(jù)的圖像尺寸滿足形式(512,512,w)，w在74～986之間，數(shù)據(jù)的體素間距滿足形式(a,b,c)，a與b取值相同，都在0.556 6～1之間，c在0.699 9～5之間。

圖1 基于3DUnet-C2-CRF模型的肝臟分割模型的流程Fig.1 A flow chart of a liver segmentation model based on the 3DUnet-C2-CRF model

圖2 3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The structure of proposed 3DUnet-C2

由于體素間距不是固定的，所以需要將體素間的距離統(tǒng)一處理成(1×1×1)mm的大小。CT圖像各個(gè)器官的CT值都有一個(gè)固定的范圍，肝臟的CT值一般處在60～70 hu之間，而本研究使用數(shù)據(jù)的肝臟CT值一般在0～170 hu之間，所以采用的窗寬值為400 hu，窗位值為100 hu；然后將圖像尺寸大于400的進(jìn)行剪裁，小于400的在圖像周?chē)畛鋱D像中的最小值，將圖像尺寸變化到400×400×400；再對(duì)圖像進(jìn)行縮小，使得圖像的尺寸變?yōu)?28×128×128；最后再對(duì)圖像進(jìn)行歸一化處理，以加速深度全卷積網(wǎng)絡(luò)的收斂。

1.1.2新模型

本研究提出的全新的深度全卷積網(wǎng)絡(luò)(FCN)3DUnet-C2-CRF包括兩個(gè)部分，即3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)和CRF。3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。級(jí)聯(lián)層為圖2中灰色和白色方塊疊放一起的層，白色小塊是由淺層特征通過(guò)1次卷積得到，灰色小塊是由深層特征通過(guò)1次卷積得到，這2個(gè)卷積操作就是3DUnet-C2中的C2。

3DUnet-C2網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積層、池化層、線性糾正函數(shù)的激活函數(shù)[12]、反卷積層、級(jí)聯(lián)層。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的輸入是一個(gè)單通道的三維圖像，通過(guò)不斷提取特征對(duì)每個(gè)體素進(jìn)行分類(lèi)，從而得到最終的分割結(jié)果。

基于局部感受野的概念，卷積層利用每個(gè)卷積核提取輸入特征圖上所有位置的特定特征，實(shí)現(xiàn)同一個(gè)輸入特征圖上的權(quán)值共享。為了提取不同的特征，就使用不同的卷積核進(jìn)行卷積操作。為使特征更加有效，在卷積層后引入非線性映射。非線性映射包括sigmoid、tanh、softsign和ReLU，本研究選用ReLU作為激活函數(shù)。因?yàn)樵诰W(wǎng)絡(luò)反向傳播時(shí)，ReLU能加速網(wǎng)絡(luò)的收斂，減少網(wǎng)絡(luò)訓(xùn)練時(shí)間。

池化層是對(duì)每個(gè)特征圖進(jìn)行下采樣操作。本研究使用的是最大池化方法，該方法能在保留主要特征的同時(shí)，減少參數(shù)和計(jì)算量，提高模型的泛化能力。

反卷積層是對(duì)特征圖填補(bǔ)后做卷積操作。反卷積除了進(jìn)行特征的提取外，還能放大特征圖的尺寸。

級(jí)聯(lián)層是將兩個(gè)特征圖進(jìn)行組合的操作。本研究對(duì)將要級(jí)聯(lián)的兩個(gè)特征圖分別進(jìn)行卷積操作，這就相當(dāng)于給兩個(gè)特征圖加了不同的權(quán)重，然后將卷積過(guò)后的特征圖進(jìn)行級(jí)聯(lián)。

最后的輸出層使用的激活函數(shù)為sigmoid，使用該函數(shù)會(huì)輸出單通道的概率圖譜。由于損失函數(shù)使用了dice-coef-loss，所以在將概率圖譜與醫(yī)生標(biāo)記進(jìn)行比較時(shí)，標(biāo)簽值為0的背景將不會(huì)被計(jì)算到損失中，這也避免了類(lèi)別不均衡的情況。與此同時(shí)，也能加快網(wǎng)絡(luò)的收斂。

本研究使用的損失函數(shù)是dice-coef-loss，具體如下：

(1)

式中，I、J、K分別代表長(zhǎng)寬高，T代表人工標(biāo)記，P代表預(yù)測(cè)結(jié)果，i、j、k是圖像上對(duì)應(yīng)位置的坐標(biāo)點(diǎn)，S表示平滑系數(shù)(這里S=1)。

dice-coef-loss作為損失函數(shù)，能夠加速網(wǎng)絡(luò)收斂，提升分割結(jié)果。

本研究使用了Adadelta[13]作為優(yōu)化函數(shù)，它能夠?qū)W(xué)習(xí)率進(jìn)行自適應(yīng)約束，還能加速網(wǎng)絡(luò)的收斂。

1.1.3后處理

盡管3DUnet-C2能夠生成一個(gè)高質(zhì)量的概率圖譜，但是如果僅僅使用閾值來(lái)得到最終的分割結(jié)果，往往肝臟的邊界分割是不精確的。考慮到3DUnet-C2已經(jīng)包含了空間信息在其中，所以本研究采用了三維條件隨機(jī)場(chǎng)3DCRF的方法來(lái)優(yōu)化分割結(jié)果。

CRF模型的能量損失函數(shù)為

(2)

式中：一元?jiǎng)莺瘮?shù)fi(xi)=-lnP(xi|I)，P(xi|I)是全卷積網(wǎng)絡(luò)輸出的概率圖譜；fij(xi,xj)為二元?jiǎng)莺瘮?shù)，具體公式如下：

(3)

當(dāng)xi≠xj時(shí)，μ(xi,xj)=1，否則μ(xi,xj)=0；|pi-pj|表示體素間的距離，|Ii-Ij|表示原圖強(qiáng)度值的差異。使用隨機(jī)搜索算法來(lái)優(yōu)化w1、w2、θα、θβ和θγ這些參數(shù)。

1.2 實(shí)驗(yàn)設(shè)計(jì)

1.2.1實(shí)驗(yàn)數(shù)據(jù)

本研究使用的數(shù)據(jù)在ISBI2017 Liver Tumor Segmentation Challenge上獲得，具體是由IBBM(Image-based Biomedical Modeling Group)和慕尼黑工業(yè)大學(xué)研究所放射科等組織所提供(https://competitions.codalab.org/competitions/15595)。在原始的數(shù)據(jù)集中，剔除了25張標(biāo)記不精確的CT圖像，最后選取100張包含醫(yī)生標(biāo)記的CT圖像。該數(shù)據(jù)格式均為NIfTI格式，從中隨機(jī)選取了70個(gè)病例作為訓(xùn)練集，10個(gè)病例作為驗(yàn)證集，20個(gè)病例作為測(cè)試集。由于訓(xùn)練集樣本數(shù)量較少，本研究使用了旋轉(zhuǎn)和鏡像等方法對(duì)70張整幅三維CT圖像數(shù)據(jù)集進(jìn)行了有效的擴(kuò)充，最終將訓(xùn)練集擴(kuò)充到399張CT圖像。為了使數(shù)據(jù)在當(dāng)前的設(shè)備環(huán)境之下有效，對(duì)所有肝臟CT圖像進(jìn)行了預(yù)處理。

1.2.2實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用的硬件設(shè)備如下：處理器，Intel(R) Core(TM) i7-6 700 K CPU @ 4 GHz；內(nèi)存(RAM)，32.0 GB；獨(dú)立顯卡，GeForce GTX Titan X；系統(tǒng)類(lèi)型，Ubuntu 14.04；開(kāi)發(fā)工具，Python和Keras框架；讀圖軟件，Slicer3D[17]。

1.2.3實(shí)驗(yàn)設(shè)置

3DUnet-C2結(jié)構(gòu)中使用的卷積核大小都為3×3×3，卷積的步長(zhǎng)為1×1×1，每個(gè)卷積層所使用的卷積核數(shù)量如圖2所示。緊跟在卷積層后的激活函數(shù)選用的是非飽和非線性函數(shù)ReLU，因?yàn)镽eLU收斂速度更快，且不容易發(fā)生梯度消失的情況。最大池化層的大小為2×2×2，步長(zhǎng)為2×2×2。最后的輸出層使用的卷積核大小為1×1×1，激活函數(shù)為sigmoid。該網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)端到端的網(wǎng)絡(luò)結(jié)構(gòu)，輸入和輸出大小相同，都為128×128×128。

本研究共進(jìn)行了2組實(shí)驗(yàn)，一組使用70個(gè)樣本訓(xùn)練，另一組使用擴(kuò)充后的399個(gè)樣本訓(xùn)練。在兩組實(shí)驗(yàn)中，都使用3DUnet Vent和3DUnet-C2網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而得到相應(yīng)的分割模型。在訓(xùn)練過(guò)程中，為了使網(wǎng)絡(luò)能夠收斂，采用了一種新的初始化參數(shù)方法。首先選取一部分結(jié)構(gòu)簡(jiǎn)單、成像質(zhì)量較好的數(shù)據(jù)，然后通過(guò)預(yù)處理，選取圖像中的肝臟區(qū)域，并將其裁剪放縮至128×128×128，再分別送入3DUnet Vent和3DUnet-C2結(jié)構(gòu)中訓(xùn)練迭代30次，得到對(duì)應(yīng)的模型權(quán)重。使用對(duì)應(yīng)的模型權(quán)重來(lái)初始化3DUnet Vent和3DUnet-C2網(wǎng)絡(luò)。所有的數(shù)據(jù)都是隨機(jī)選取然后送入深度全卷積網(wǎng)絡(luò)中，但是由于深度全卷積網(wǎng)絡(luò)的層數(shù)比較深、參數(shù)非常多，所以訓(xùn)練時(shí)每次只送入一個(gè)樣本到深度全卷積網(wǎng)絡(luò)中。

1.3 實(shí)驗(yàn)評(píng)估方法

在實(shí)驗(yàn)測(cè)試階段，使用20個(gè)測(cè)試病例對(duì)模型進(jìn)行評(píng)估。具體使用了如下5個(gè)評(píng)價(jià)指標(biāo)：體積重疊誤差(volume overlap error，VOE)、相對(duì)體積差異(relative volume difference，RVD)、平均對(duì)稱(chēng)面距離(average symmetric surface distance，ASSD)、最大對(duì)稱(chēng)表面的距離(maximum symmetric surface distance，MSSD)、Dice系數(shù)，這些都是常用的肝臟分割的評(píng)估指標(biāo)[14]。

2 實(shí)驗(yàn)結(jié)果

使用本研究提出的3DUnet-C2網(wǎng)絡(luò)、文獻(xiàn)[15]中的3DUnet網(wǎng)絡(luò)和文獻(xiàn)[21]中提出的Vnet網(wǎng)絡(luò)，分別在70個(gè)樣本和399個(gè)樣本上進(jìn)行訓(xùn)練，得到的分割模型在10個(gè)驗(yàn)證樣本(包括病例：108，110，112，113，114，116，118，119，121，124)上的Dice得分，如表1所示?？梢钥闯?，不管是使用70個(gè)樣本訓(xùn)練，還是使用399個(gè)樣本訓(xùn)練，3DUnet-C2模型的Dice得分總是比3DUnet模型和Vnet模型的得分高，表明3DUnet-C2的分割效果更好，魯棒性更強(qiáng)。該結(jié)果表明，本方法對(duì)肝臟分割有效。從表1中的結(jié)果可以看出，擴(kuò)充數(shù)據(jù)集能提升模型的分割效果，這也進(jìn)一步證實(shí)了深度卷積網(wǎng)絡(luò)是以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)的方法，數(shù)據(jù)集的大小能直接影響模型的能力。

表1 在驗(yàn)證集上Dice得分的平均值和標(biāo)準(zhǔn)差Tab.1 The mean and standard deviation of the Dice score on the validation set

使用3DUnet-C2網(wǎng)絡(luò)、3DUnet網(wǎng)絡(luò)和Vnet網(wǎng)絡(luò)在399個(gè)樣本上訓(xùn)練得到的模型，對(duì)20個(gè)測(cè)試樣本(包括病例：2，11，18，19，26，27，49，53，59，64，66，70，73，75，94，97，100，105，109，111)進(jìn)行肝臟分割，具體評(píng)估指標(biāo)如表2所示。從表2的各項(xiàng)指標(biāo)中可以看出，本研究提出的方法優(yōu)于3DUnet和Vnet方法。比較3DUnet-C2與3DUnet-C2-CRF發(fā)現(xiàn)，在加入三維條件隨機(jī)場(chǎng)后，肝臟分割的大多數(shù)指標(biāo)都有所提升，這也證實(shí)了三維條件隨機(jī)場(chǎng)能優(yōu)化肝臟分割邊界。

圖3比較了醫(yī)生標(biāo)記與3DUnet、Vnet、3DUnet-C2的三維分割結(jié)果之間的異同。發(fā)現(xiàn)3DUnet-C2和Vnet都比3DUnet的結(jié)果好，而3DUnet-C2與Vnet結(jié)果效果相近。

表2 在測(cè)試集上的各項(xiàng)指標(biāo)的平均值和標(biāo)準(zhǔn)差Tab.2 The mean and standard deviation of the indexes on the test set

圖3 三維肝臟分割結(jié)果(每行從左至右分別是病例18，27，59，97，111)。(a)病例標(biāo)記；(b)3DUnet的分割結(jié)果；(c)Vnet的分割結(jié)果；(d)3DUnet-C2的分割結(jié)果Fig.3 3D liver segmentation results(from left to right, each row is case 18, 27, 59, 97, 111). (a) is the case marker; (b) is the 3DUnet segmentation result; (c) is the segmentation result of Vnet; (d) is the segmentation result of 3DUnet-C2

3DUnet、3DUnet-C2和3DUnet-C2-CRF的分割結(jié)果如圖4所示，(a)和(d)是3DUnet方法得到的肝臟分割結(jié)果，(b)和(e)是3DUnet-C2方法得到的肝臟分割結(jié)果，(c)和(f)是3DUnet-C2-CRF方法得到的肝臟分割結(jié)果。其中，(a)～(c)是病例111的肝臟分割結(jié)果，(d)～(f)是病例94的肝臟分割結(jié)果。比較圖4中的(a)～(c)可以看出，對(duì)于簡(jiǎn)單樣本，所有深度全卷積網(wǎng)絡(luò)都能很好分割出肝臟。而比較(d)～(f)可以看出，對(duì)于難樣本，不同網(wǎng)絡(luò)的分割能力展現(xiàn)出了差異。對(duì)比圖4中(d)的藍(lán)色實(shí)線區(qū)域和(e)同位置的分割結(jié)果，發(fā)現(xiàn)3DUnet-C2的分割效果明顯優(yōu)于3DUnet的肝臟分割結(jié)果。與此同時(shí)，觀察(e)黃色虛線區(qū)域的肝臟分割結(jié)果，了解到3DUnet-C2還是會(huì)將非肝臟區(qū)域認(rèn)定為肝臟區(qū)域，表明本方法的分割能力還有進(jìn)一步優(yōu)化的空間。(e)黃色虛線區(qū)域在使用三維條件隨機(jī)場(chǎng)優(yōu)化后，得到了3DUnet-C2-CRF的肝臟分割結(jié)果(f)，這表明三維條件隨機(jī)場(chǎng)具有優(yōu)化肝臟分割邊界的能力。

圖4 不同模型的分割結(jié)果(每行從左到右分別是CT影像的矢狀面，冠狀面，橫向面；綠線表示醫(yī)生的手動(dòng)標(biāo)記，紅線表示運(yùn)用不同自動(dòng)分割模型得到的結(jié)果)。(a)～(c) 病例1用3DUnet、3DUnet-C2、3DUnet-C2-CRF模型；(d)～(f) 病例2用3DUnet、3DUnet-C2、3DUnet-C2-CRF模型((d)中藍(lán)色實(shí)線區(qū)域?yàn)?DUnet錯(cuò)分割區(qū)域，(e)中黃色虛線區(qū)域?yàn)榉歉闻K區(qū)域經(jīng)過(guò)CRF優(yōu)化后得到更好的分割結(jié)果)Fig.4 Segmentation results of different models(In each row the pictures from left to right are the sagittal, coronal, and transverse planes of the CT image. The green line shows the doctor’s manual markings, and the red line shows the results obtained using different automatic segmentation models). (a)～(c) Case 1 with 3DUnet, 3DUnet-C2, 3DUnet-C2-CRF models; (d)～(f) Case 2 with 3DUnet, 3DUnet-C2, 3DUnet-C2-CRF models (Blue solid coil out area in (d) is 3DUnet wrong segmentation area. The non-liver area in the yellow circle in (e) is optimized by CRF for better segmentation results)

3 討論

以下對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行討論。在3DUnet-C2訓(xùn)練過(guò)程中，首先使用70個(gè)樣本訓(xùn)練得到網(wǎng)絡(luò)模型，然后用該模型初始化網(wǎng)絡(luò)，之后使用該網(wǎng)絡(luò)訓(xùn)練399個(gè)樣本，得到最終的模型，發(fā)現(xiàn)該模型的分割結(jié)果優(yōu)于使用簡(jiǎn)單模型初始化訓(xùn)練得到的模型。這也表明了使用較好的網(wǎng)絡(luò)模型參數(shù)進(jìn)行初始化，能夠提升網(wǎng)絡(luò)的分割效果。

在最初設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)中使用了batch normalization層，網(wǎng)絡(luò)收斂很快，但是分割結(jié)果并不好。因此嘗試舍棄掉batch normalization層，發(fā)現(xiàn)分割結(jié)果得到了明顯提升。從實(shí)驗(yàn)結(jié)果可以推斷，batch normalization將求解空間進(jìn)行了壓縮，使得收斂速度變快，但是損失了分割精度。

從表2中列出的4個(gè)評(píng)價(jià)指標(biāo)性能可以看出，本研究的方法在肝臟三維區(qū)域分割的性能要比3DUnet好很多，稍優(yōu)于Vnet的性能。3DUnet方法主要分為特征圖提取和特征圖重構(gòu)這2個(gè)過(guò)程。在特征圖提取過(guò)程中，使用卷積層進(jìn)行特征提取，使用最大池化層進(jìn)行特征維度降低，通過(guò)不斷加深網(wǎng)絡(luò)層數(shù)，從而提取更深層的特征。在特征圖重構(gòu)過(guò)程中，通過(guò)反卷積層來(lái)放大特征圖，將該特征圖與前層等大小的特征圖通過(guò)級(jí)聯(lián)層進(jìn)行結(jié)合，接著再使用卷積層從中提取更有效的特征，最后使用softmax分類(lèi)器輸出，從而實(shí)現(xiàn)對(duì)肝臟的分割。本研究提出的3DUnet-C2方法對(duì)3DUnet網(wǎng)絡(luò)進(jìn)行了修改，主要包括：使網(wǎng)絡(luò)層數(shù)更深，能提取更多更深層的特征；對(duì)將要級(jí)聯(lián)的特征圖分別進(jìn)行了卷積操作，使特征圖能夠更加高效地進(jìn)行組合；網(wǎng)絡(luò)結(jié)構(gòu)中沒(méi)有使用batch normalization[16]。這些結(jié)構(gòu)的改變帶來(lái)了分割準(zhǔn)確性的大幅度提升，也進(jìn)一步驗(yàn)證了本方法對(duì)肝臟區(qū)域三維分割的有效性。

除此之外，在肝臟分割的問(wèn)題中，本研究還使用了三維條件隨機(jī)場(chǎng)來(lái)優(yōu)化肝臟分割結(jié)果。從圖4中可以看出，三維條件隨機(jī)場(chǎng)可以有效降低假陽(yáng)性率，剔除部分非肝臟區(qū)域，還可以優(yōu)化肝臟分割的邊界輪廓。但三維條件隨機(jī)場(chǎng)并不能一直提升肝臟分割效果，這表明三維條件隨機(jī)場(chǎng)對(duì)肝臟分割結(jié)果的優(yōu)化能力有限。

4 結(jié)論

本研究提出了一種基于深度全卷積網(wǎng)絡(luò)的肝臟分割方法。該方法首先對(duì)圖像進(jìn)行預(yù)處理，剔除一些無(wú)用信息；再將預(yù)處理后的圖像送入深度全卷積網(wǎng)絡(luò)中，得到肝臟分割的概率圖；最后將概率圖輸入三維條件隨機(jī)場(chǎng)中，從而得到最終的肝臟分割結(jié)果。通過(guò)實(shí)驗(yàn)數(shù)據(jù)的測(cè)試，所提出的3DUnet-C2-CRF模型與原始的3DUnet模型相比4個(gè)評(píng)價(jià)指標(biāo)均占優(yōu)，與Vnet相比主要指標(biāo)均占優(yōu)。這表明，本研究提出的模型能夠更加準(zhǔn)確地分割肝臟區(qū)域。為進(jìn)一步提升肝臟分割的準(zhǔn)確率，后面還有很多工作需要做，比如：在數(shù)據(jù)上，增加訓(xùn)練的樣本數(shù)，對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的擴(kuò)充；在算法上，修改網(wǎng)絡(luò)結(jié)構(gòu)，使深度網(wǎng)絡(luò)能充分利用CT影像的三維空間信息。未來(lái)，在肝臟分割的基礎(chǔ)上，將嘗試對(duì)肝臟結(jié)節(jié)的分割。

(致謝：非常感謝周超、郎彬師兄對(duì)本人實(shí)驗(yàn)代碼上的指導(dǎo))