基于深度學(xué)習(xí)的弱監(jiān)督肝臟分割算法

王澤輝 張 冰* 李垣江 黃煒嘉 張正言 楊 魏

1(江蘇科技大學(xué)電子信息學(xué)院 江蘇 鎮(zhèn)江 212003) 2(江蘇省人民醫(yī)院介入科 江蘇 南京 210029)

0 引 言

目前，肝硬化已成為全球第14大死因，而肝細(xì)胞癌由于其發(fā)病隱匿、腫瘤發(fā)展快的特點(diǎn)的死亡率在惡性腫瘤死亡率排第3位[1]。最新數(shù)據(jù)顯示，我國(guó)肝癌的年死亡率在惡性腫瘤死亡順位中占第2位，在城市和農(nóng)村中成為致死的最主要癌癥之一[2]。因此，肝臟疾病必須要做到早發(fā)現(xiàn)早治療。隨著計(jì)算機(jī)圖像處理技術(shù)的不斷發(fā)展，計(jì)算機(jī)斷層掃描(computed tomography, CT)成為臨床中最為常用的一種影像學(xué)檢查方法，它不僅可以及時(shí)地發(fā)現(xiàn)和定位肝臟腫瘤，而且對(duì)于前期的手術(shù)規(guī)劃以及后期的康復(fù)治療都有極為重要的作用[3]。然而，腹部CT圖像中肝臟毗鄰其他組織器官，其邊界位置分辨難度往往較大，如圖1所示。

圖1 腹部CT圖像

在肝臟分割方面，主要分為傳統(tǒng)分割方法與基于深度學(xué)習(xí)的分割方法[4]。傳統(tǒng)的方法有區(qū)域生長(zhǎng)法、分水嶺算法等，雖在分割上效果顯著，但在操作方法上人為干預(yù)較多以及缺乏可移植性。李靜等[5]基于GrabCut的方法對(duì)肝臟實(shí)現(xiàn)分割，雖取得較好的效果，但是需要通過(guò)人工交互模式找出肝臟區(qū)域。王榮淼等[6]通過(guò)改進(jìn)聚類(lèi)算法，改變核函數(shù)使得最終肝臟分割輪廓更加準(zhǔn)確，盡管如此，初始點(diǎn)的選擇仍需要人為干預(yù)。不難發(fā)現(xiàn)，基于傳統(tǒng)方法的肝臟圖像分割依賴(lài)初始區(qū)域的選擇，并不能實(shí)現(xiàn)肝臟區(qū)域自動(dòng)分割。近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)在圖像語(yǔ)義分割、對(duì)象檢測(cè)等方面的研究取得了一定的進(jìn)展。Shelhamer等[7]提出的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks ，F(xiàn)CN)用于圖像的分割，在提取特征時(shí)保留了多層特征，再通過(guò)反卷積的方式恢復(fù)圖像的所屬類(lèi)別。張杰妹等[8]通過(guò)改進(jìn)FCN的方法，在肝臟分割上獲得了較好的準(zhǔn)確率，但是全監(jiān)督學(xué)習(xí)下對(duì)數(shù)據(jù)集的標(biāo)注不僅數(shù)據(jù)量大，而且要求精確度高。在數(shù)據(jù)量方面，對(duì)圖像的標(biāo)注需要花費(fèi)時(shí)間，例如在CityScapes數(shù)據(jù)庫(kù)精標(biāo)條件下，一幅圖片的標(biāo)注就需要1.5 h。在圖像標(biāo)注精度方面，由于標(biāo)注工作者大多是跨領(lǐng)域工作，其知識(shí)領(lǐng)域或存在欠缺，尤其針對(duì)醫(yī)學(xué)圖像的像素級(jí)的標(biāo)注，面對(duì)多學(xué)科的交叉問(wèn)題時(shí)無(wú)法標(biāo)注出目標(biāo)對(duì)象所在的精確位置，導(dǎo)致樣本數(shù)據(jù)集存在缺陷。除此之外，深度卷積神經(jīng)網(wǎng)絡(luò)在一定程度上缺乏解釋性，為解決此問(wèn)題，Zhou等[9]提出的圖像特征定位法對(duì)網(wǎng)絡(luò)的分類(lèi)做出了解釋?zhuān)摲椒ㄟ€使得輸出的圖像具有卓越定位性，為弱監(jiān)督的圖像分割帶來(lái)了可能。Xu等[10]將弱監(jiān)督圖像語(yǔ)義分割形式化為潛在的結(jié)構(gòu)化預(yù)測(cè)框架中的多實(shí)例學(xué)習(xí)，對(duì)圖形模型中類(lèi)的存在與否以及對(duì)超像素的語(yǔ)義標(biāo)簽的分配進(jìn)行編碼。姜濤等[11]使用基于目標(biāo)識(shí)別的方法，在肝臟分割問(wèn)題上用矩形區(qū)域代替了精確標(biāo)注，但是其目標(biāo)識(shí)別的范圍內(nèi)也包含了背景信息，干擾因素較多，仍無(wú)法做到精確的定位。

現(xiàn)階段，對(duì)于肝臟圖像的語(yǔ)義分割大多是基于全監(jiān)督學(xué)習(xí)的。為了解決這一問(wèn)題，本文提出一種基于深度學(xué)習(xí)的弱監(jiān)督肝臟分割方法，該方法使用深度學(xué)習(xí)和傳統(tǒng)分割相結(jié)合的方式。用邊框標(biāo)注的弱監(jiān)督學(xué)習(xí)代替像素級(jí)標(biāo)注的全監(jiān)督學(xué)習(xí)，大幅度節(jié)省了時(shí)間，同時(shí)，由于只需要標(biāo)注肝臟的大致邊框，無(wú)需專(zhuān)業(yè)領(lǐng)域知識(shí)；通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)肝臟的深度特征，自動(dòng)準(zhǔn)確地定位肝臟區(qū)域，通過(guò)改進(jìn)的區(qū)域生長(zhǎng)法結(jié)合條件隨機(jī)場(chǎng)對(duì)目標(biāo)區(qū)域擴(kuò)張，從而實(shí)現(xiàn)肝臟的自動(dòng)分割。

1 Grad-CAM算法

CAM(Class Activation Mapping，CAM)算法[9]可以實(shí)現(xiàn)定位深度神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)到的特征，CAM一般的做法是將最后的特征層進(jìn)行全局平均(Global Average, GA)，并用與GA類(lèi)別數(shù)目大小的全連接層代替最后的全連接層，所帶來(lái)的問(wèn)題是需要改動(dòng)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)再次訓(xùn)練，顯而易見(jiàn)，只要改動(dòng)網(wǎng)絡(luò)都需要重新訓(xùn)練模型的方法無(wú)疑是費(fèi)時(shí)費(fèi)力的。Grad-CAM在CAM的基礎(chǔ)上進(jìn)行了改進(jìn)，用梯度全局平均來(lái)計(jì)算每幅特征的權(quán)重，從數(shù)學(xué)角度來(lái)說(shuō)，Grad-CAM與CAM再計(jì)算結(jié)果上是一致的，而Grad-CAM優(yōu)點(diǎn)是不需要改變網(wǎng)絡(luò)結(jié)構(gòu)以及不需要重新訓(xùn)練網(wǎng)絡(luò)。

(1)

(2)

式中：Z為特征圖的像素個(gè)數(shù)。

(3)

式中：Ak是第k個(gè)特征圖；ReLU為激活函數(shù)。

2 區(qū)域擴(kuò)張和邊界收斂

2.1 區(qū)域生長(zhǎng)法

為了肝臟的擴(kuò)張能達(dá)到較好的分割效果，本文運(yùn)用了區(qū)域生長(zhǎng)的方法。在特征圖權(quán)重最大的區(qū)域選出隨機(jī)化初始點(diǎn)作為種子點(diǎn)，以種子點(diǎn)為基礎(chǔ)在圖像上擴(kuò)張。其中每個(gè)種子點(diǎn)分別向周?chē)?個(gè)方向擴(kuò)張，如圖2所示，當(dāng)臨近的像素點(diǎn)與種子點(diǎn)滿足某種條件時(shí)，即判定該點(diǎn)為同類(lèi)點(diǎn)，并將該點(diǎn)作為新的種子點(diǎn)以此方法繼續(xù)擴(kuò)張直至整幅圖像。

圖2 區(qū)域生長(zhǎng)的8個(gè)方向

2.2 邊界收斂

區(qū)域擴(kuò)張可能會(huì)導(dǎo)致分割邊界產(chǎn)生過(guò)分割的情況，本文使用條件隨機(jī)場(chǎng)以限制區(qū)域的過(guò)分割情況。條件隨機(jī)場(chǎng)是一種無(wú)向圖判別模型，圖像中每個(gè)像素都為無(wú)向圖的頂點(diǎn)，像素間的連接關(guān)系為頂點(diǎn)的連線[12]。一般來(lái)講，在圖像中具有相似位置和顏色的兩個(gè)像素點(diǎn)，是同一類(lèi)的可能性較大。根據(jù)這個(gè)原理，每個(gè)像素點(diǎn)會(huì)被賦予不同的標(biāo)簽，從而目標(biāo)與背景在邊界處合理分開(kāi)。令G=(V,E)表示一個(gè)無(wú)向圖，Y=Yv,v∈V，Y中元素與無(wú)向圖G中的頂點(diǎn)一一對(duì)應(yīng)。按照全連接的CRF，其能量函數(shù)公式如式(4)所示。

(4)

式中：ψu(yù)(xi)表示每個(gè)像素屬于各個(gè)類(lèi)別的概率；ψp(xi,xj)表示像素之間的灰度值差異和空間距離，能量函數(shù)越小，對(duì)應(yīng)的肝臟分界就越準(zhǔn)確。

3 算法設(shè)計(jì)

本文方法的流程如圖3所示。首先對(duì)CT圖像的肝臟所處位置進(jìn)行邊框標(biāo)記，利用VGG16網(wǎng)絡(luò)學(xué)習(xí)肝臟特征，并使用Grad-CAM算法粗略定位肝臟區(qū)域，然后通過(guò)區(qū)域生長(zhǎng)的方法將所得區(qū)域進(jìn)一步擴(kuò)張，并利用條件隨機(jī)場(chǎng)限制邊界，最后經(jīng)過(guò)圖像后處理平滑邊界實(shí)現(xiàn)肝臟的自動(dòng)分割。

圖3 整體流程

3.1 邊框標(biāo)記

本文主要研究具有邊框標(biāo)記的弱監(jiān)督的肝臟語(yǔ)義分割，數(shù)據(jù)集對(duì)深度學(xué)習(xí)的準(zhǔn)確率有著直接的影響。為此為了盡可能地學(xué)習(xí)到肝臟特征，并且在測(cè)試集上有較好的效果，本文在選擇劃分肝臟區(qū)域時(shí)將數(shù)據(jù)集盡可能的豐富，例如，當(dāng)有些圖片邊框涉及到脊椎時(shí)，也要在其他圖像中只標(biāo)注到肝臟區(qū)域而避開(kāi)脊椎區(qū)域，這樣做可以避免讓網(wǎng)絡(luò)學(xué)習(xí)到錯(cuò)誤的對(duì)象，從而對(duì)圖像產(chǎn)生誤判。標(biāo)注軟件使用LabelImg，對(duì)肝臟區(qū)域進(jìn)行標(biāo)記，且標(biāo)注過(guò)程無(wú)需過(guò)多專(zhuān)業(yè)知識(shí)。如圖4所示，通過(guò)標(biāo)注的多樣性使得數(shù)據(jù)集變得豐富，理論上一幅帶邊框的數(shù)據(jù)標(biāo)注只需消耗7 s。

圖4 帶邊框標(biāo)注的樣本

3.2 Grad-CAM實(shí)現(xiàn)肝臟定位

本文借助VGG16網(wǎng)絡(luò)，通過(guò)遷移學(xué)習(xí)的方式，實(shí)現(xiàn)特征的提取與學(xué)習(xí)。VGG16的網(wǎng)絡(luò)主要包括卷積層、池化層以及全連接層，同時(shí)在全連接層數(shù)增加了DropOut層防止過(guò)擬合。

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)邊框標(biāo)注的樣本，網(wǎng)絡(luò)可以識(shí)別肝臟所在位置。如圖5(a)所示，網(wǎng)絡(luò)學(xué)習(xí)到肝臟特征，并用矩形框標(biāo)記出。通過(guò)將標(biāo)記框轉(zhuǎn)換為矩形數(shù)據(jù)，如圖5(b)所示，對(duì)于語(yǔ)義分割來(lái)講是遠(yuǎn)遠(yuǎn)不夠的，主要包含兩個(gè)問(wèn)題：第一是框內(nèi)依然包括很多的背景噪聲，無(wú)法精確定位肝臟所在區(qū)域；第二是肝臟輪廓不明確，無(wú)法區(qū)分肝臟明確的邊界信息。因此，為了提取肝臟準(zhǔn)確輪廓的像素級(jí)信息，需要進(jìn)一步提取深度網(wǎng)絡(luò)學(xué)習(xí)的特征。

圖5 不同類(lèi)型的標(biāo)記數(shù)據(jù)

為得到肝臟精確位置，首先將邊框標(biāo)記的肝臟的數(shù)據(jù)集代入網(wǎng)絡(luò)訓(xùn)練生成分類(lèi)模型，利用此模型識(shí)別新的肝臟圖片，并用Grad-CAM生成特征圖。本文的Grad-CAM算法流程如圖6所示，輸入需要預(yù)測(cè)的圖片，將其送入卷積神經(jīng)網(wǎng)絡(luò)，此時(shí)會(huì)生成n類(lèi)的特征圖，將此特征圖經(jīng)過(guò)全連接層后會(huì)輸出n個(gè)類(lèi)別，并對(duì)其取最大值，此時(shí)取出概率最大的類(lèi)別的特征圖記為c(本文得到目標(biāo)對(duì)象為肝臟)，對(duì)c進(jìn)行反向傳播求其對(duì)應(yīng)的權(quán)重，得到當(dāng)前特征在n個(gè)類(lèi)別上的權(quán)重值矩陣，再對(duì)此權(quán)重矩陣做全局平局得到最后的特征值。將特征值與特征圖求加權(quán)和再經(jīng)過(guò)ReLU函數(shù)便得到了模型分類(lèi)的依據(jù)，將其轉(zhuǎn)化便得到特征熱力圖。在特征熱力圖中顏色越深代表此處越有可能是肝臟區(qū)域，從圖6中可以看出熱力圖所呈現(xiàn)出的特征出基本在肝臟區(qū)域，這證明了訓(xùn)練網(wǎng)絡(luò)的有效性，但是所識(shí)別的區(qū)域有限，不滿足分割需求，仍需要進(jìn)一步操作。

圖6 Grad-CAM算法流程

3.3 區(qū)域生長(zhǎng)法與條件隨機(jī)場(chǎng)

通過(guò)上述操作，還需要對(duì)肝臟區(qū)域的像素進(jìn)一步擴(kuò)張，通過(guò)條件隨機(jī)場(chǎng)對(duì)邊界的限制以達(dá)到較好的分割效果。

3.3.1改進(jìn)的區(qū)域生長(zhǎng)法

(1) 顏色特征。一般來(lái)講，區(qū)域生長(zhǎng)法對(duì)于噪聲比較敏感。為了更好地適應(yīng)肝臟區(qū)域的擴(kuò)張，本文在區(qū)域擴(kuò)張的決策上做出了改進(jìn)。在腹部CT圖像中，肝臟部分存在很多血管，甚至還有腫瘤等差異較大的像素值，往往會(huì)遺漏這些像素點(diǎn)，因此在做出每一個(gè)像素點(diǎn)決策時(shí)不應(yīng)該只是單純的判斷與閾值的大小。假設(shè)當(dāng)前像素點(diǎn)與種子點(diǎn)的差值大于閾值，首先不是將其排除在外，而是以當(dāng)前點(diǎn)為中心在其鄰域內(nèi)選擇n×n的窗口大小，并且用周?chē)鷑2-1個(gè)像素的平均值做為當(dāng)前點(diǎn)的像素值，再次與閾值進(jìn)行比較，若再次大于閾值則將該點(diǎn)排除在外，否則選定該點(diǎn)作為目標(biāo)點(diǎn)(但不作為生長(zhǎng)點(diǎn))。這樣的決策方法可以一定程度上消除由于噪聲帶來(lái)的干擾，從視覺(jué)角度來(lái)看，即圖像中的不連續(xù)區(qū)域會(huì)大大減少。

圖7 多種子的擴(kuò)張

除此之外，為了防止單個(gè)種子點(diǎn)帶來(lái)偶然的像素差異過(guò)大而導(dǎo)致區(qū)域生長(zhǎng)范圍過(guò)小，本文選取一定范圍內(nèi)多個(gè)種子點(diǎn)進(jìn)行區(qū)域擴(kuò)張，從而有效減少了因像素變化過(guò)于激烈?guī)?lái)的欠分割問(wèn)題。如圖7所示，在熱力圖像素最大值的范圍內(nèi)自動(dòng)選擇一個(gè)區(qū)域?qū)崿F(xiàn)擴(kuò)張。定義種子點(diǎn)為x，其對(duì)應(yīng)的像素值為f(x)，閾值為c，當(dāng)前像素點(diǎn)為y，其對(duì)應(yīng)的像數(shù)值為f(y)，則當(dāng)前像素點(diǎn)的計(jì)算公式為：

(5)

(2) 紋理特征。單單從顏色差異判斷是有缺陷的，當(dāng)圖像顏色變化過(guò)于激烈會(huì)引起誤判。因此，針對(duì)這一問(wèn)題，本文從肝臟紋理特征出發(fā)，通過(guò)灰度共生矩陣(Gray-level Co-occurrence Matrix, GLCM)的紋理特征結(jié)合區(qū)域生長(zhǎng)的方法，進(jìn)一步精確生長(zhǎng)區(qū)域。具體步驟如下：

第一步：對(duì)種子點(diǎn)所在的a×a范圍內(nèi)生成灰度共生矩陣，灰度共生矩陣中元素表達(dá)形式如式(6)所示。

(6)

其中l(wèi)為偏移量，?為矩陣生成的角度，?={0°,45°,90°,135°}、P(x,y,l,?)表示確定坐標(biāo)為(x,y)的像素為m，統(tǒng)計(jì)該像素點(diǎn)與坐標(biāo)在(x+dθ0,y+dθ1)的n像素點(diǎn)出現(xiàn)次數(shù)的矩陣。

第二步：計(jì)算灰度共生矩陣的特征，將所有種子點(diǎn)的特征指標(biāo)平均化。本文主要選擇的特征指標(biāo)為：對(duì)比度(contrast)與自相關(guān)(correlation)。

第三步：在顏色特征無(wú)判讀的點(diǎn)上，選擇c×c大小范圍，按照第一、二步的方法生成灰度共生矩陣后計(jì)算特征指標(biāo)，通過(guò)判斷特征指標(biāo)與種子點(diǎn)的特征指標(biāo)是否接近進(jìn)而判斷是否在該點(diǎn)進(jìn)行區(qū)域生長(zhǎng)。

3.3.2條件隨機(jī)場(chǎng)

在上述區(qū)域生長(zhǎng)法后，會(huì)出現(xiàn)過(guò)分割的現(xiàn)象，為解決此問(wèn)題，本文利用條件隨機(jī)場(chǎng)以到達(dá)防止過(guò)分割，通過(guò)學(xué)習(xí)數(shù)據(jù)的顏色分布特征，建立無(wú)向圖模型，并判別模型來(lái)學(xué)習(xí)不同類(lèi)別標(biāo)簽的后驗(yàn)條件概率分布，通過(guò)最大化該后驗(yàn)概率來(lái)得到圖像中各個(gè)像素對(duì)應(yīng)的最佳標(biāo)簽。具體方法是，首先將圖像上的像素點(diǎn)隨機(jī)賦予標(biāo)簽，然后隨機(jī)取點(diǎn)并計(jì)算其與周?chē)c(diǎn)的顏色能量函數(shù)，如若與周?chē)c(diǎn)的類(lèi)別相同則減小能量，否則增加能量，再根據(jù)能量大小修改標(biāo)簽，能量函數(shù)如式(4)所示，通過(guò)迭代上述過(guò)程，可以判別肝臟區(qū)域的總體邊界信息。最后將區(qū)域生長(zhǎng)法限制在條件隨機(jī)場(chǎng)生成的邊界內(nèi)，以保證分割圖像的邊界。

3.4 圖像后處理

通過(guò)上述方法得到了肝臟區(qū)域的圖像，但是圖像中有許多未標(biāo)記的孔狀區(qū)域。為了最大程度還原肝臟分割的邊緣細(xì)節(jié)，保證處理前后圖片邊緣的一致性，采用了描繪輪廓的方法。高斯模糊可以減少圖像噪聲以及降低圖像的細(xì)節(jié)層次。圖像二值化是常用的圖像變換操作，可以方便提取圖像中的信息，同時(shí)在進(jìn)行計(jì)算機(jī)識(shí)別時(shí)可以增加識(shí)別效率。輪廓算法根據(jù)輸入的圖像的連通區(qū)域找出確定外邊界和孔邊界，取出所有的外邊界實(shí)現(xiàn)提取輪廓。中值濾波是一種常用的去噪聲模型，其原理是用卷積框中像素的中值代替中心值。

如圖8所示，本文通過(guò)高斯模糊，圖像二值化，提取輪廓等形態(tài)學(xué)算法來(lái)處理內(nèi)部存在孔的問(wèn)題，針對(duì)最后邊界優(yōu)化則用了中值濾波的方法使得圖像邊界變得平滑。

圖8 圖像后處理流程

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

為了驗(yàn)證算法的有效性，本文使用公開(kāi)的3Dircadb數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。該數(shù)據(jù)集共有20位檢查者(10名男性，10名女性)的CT掃描影像，共計(jì)2 821幅，其中，75%的檢查者患有肝癌。

本文隨機(jī)選擇數(shù)據(jù)庫(kù)中16套CT 掃描影像作為訓(xùn)練數(shù)據(jù)，剩下的4套作為測(cè)試集。本文也加入了由江蘇省人民醫(yī)院提供的腹部CT掃描圖像用作測(cè)試，一共13套，共計(jì)200幅圖片。將上述CT圖像數(shù)據(jù)集的窗口大小設(shè)置為40，窗口寬度設(shè)置為300，并將其轉(zhuǎn)成JPG格式，通過(guò)LabelImg標(biāo)注軟件標(biāo)注出圖像中肝臟位置，如圖4所示，并保存為訓(xùn)練集。

實(shí)驗(yàn)環(huán)境如下: Windows 10 64位操作系統(tǒng)，32 GB內(nèi)存，AMD3600 CPU處理器， NVIDIA GeForce GTX 1080Ti顯卡。軟件工具有：Python 3.6.0，PyTorch(GPU版)。

4.2 評(píng)價(jià)指標(biāo)

為進(jìn)一步證明方法的可行性，本文從體積重疊誤差(VOE)、相對(duì)體積誤差(RVD)、平均對(duì)稱(chēng)面距離(ASD)、最大對(duì)稱(chēng)表面距離(MSD)、重合率(DICE)這五個(gè)指標(biāo)進(jìn)行統(tǒng)計(jì)分析。設(shè)算法分割結(jié)果和專(zhuān)家標(biāo)注結(jié)果為X、Y，其對(duì)應(yīng)的表面分別為I、J，則上述指標(biāo)定義如下：

(1) 體積重疊誤差(VOE)。體積重疊誤差是實(shí)際的分割結(jié)果體積與真實(shí)分割結(jié)果體積的誤差，該值越小，表明肝臟分割的結(jié)果越準(zhǔn)確，其計(jì)算公式如下：

(7)

(2) 相對(duì)體積誤差(RVD)。相對(duì)體積誤差是判斷真實(shí)分割的結(jié)果與預(yù)期分割的結(jié)果是處于欠分割還是過(guò)分割狀態(tài)，其計(jì)算公式如下：

(8)

(3) 平均對(duì)稱(chēng)面距離(ASD)。平均對(duì)稱(chēng)面距離表示兩個(gè)分割結(jié)果表面最短距離的平均值，結(jié)果越小證明分割效果越好，當(dāng)分割結(jié)果與專(zhuān)家標(biāo)注一致時(shí)，此時(shí)ASD為0，其計(jì)算公式如下：

(9)

式中：i、j分別為I、J上的任意點(diǎn)，d(i,j)表示點(diǎn)i與點(diǎn)j之間的歐氏距離，CI、CJ表示在分別在I、J上的點(diǎn)數(shù)。

(4) 最大對(duì)稱(chēng)表面距離(MSD)。最大對(duì)稱(chēng)表面距離也叫豪斯多夫距離，其測(cè)量的是兩個(gè)表面上所有點(diǎn)最小歐氏距的最大值，MSD越小表示算法性能越好，計(jì)算公式如下：

(10)

式中：d(i,j)表示點(diǎn)i與點(diǎn)j之間的歐氏距離。

(5) 重合率(DICE)。DICE是醫(yī)學(xué)圖像中的常見(jiàn)指標(biāo)，代表的是真實(shí)值和預(yù)測(cè)值重疊的部分與他們和的比值，范圍在[0,1]之間，DICE的值越大代表分割的結(jié)果越精確，其計(jì)算公式如下：

(11)

4.3 目標(biāo)定位

本文使用VGG-16 Image Net作為基本的網(wǎng)絡(luò)模型，數(shù)據(jù)集為公共庫(kù)3Dircadb，初始化圖像大小為512×512，使用隨機(jī)梯度下降法更新參數(shù)，每個(gè)批次迭代10～20幅圖像，初始學(xué)習(xí)率設(shè)為0.000 1，沖量遺忘因子設(shè)置為0.9，驗(yàn)證數(shù)據(jù)集為總數(shù)據(jù)集的10%，迭代200個(gè)批次，網(wǎng)絡(luò)迭代過(guò)程如圖9所示。藍(lán)色表示在驗(yàn)證上的準(zhǔn)確率，紅色表示損失值函數(shù)，其中在驗(yàn)證集上準(zhǔn)確率達(dá)到了98%。

圖9 損失值和驗(yàn)證集準(zhǔn)確率

通過(guò)深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，結(jié)合Grad-CAM的反向算法，通過(guò)將網(wǎng)絡(luò)學(xué)習(xí)到的特征顯示，并通過(guò)熱力圖疊加展示，效果如圖10所示?？梢钥闯?，肝臟的位置已經(jīng)被確定。

圖10 熱力圖定位肝臟

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.13Dircadb數(shù)據(jù)庫(kù)

將測(cè)試圖像輸入到網(wǎng)絡(luò)中，通過(guò)Grad-CAM定位算法后進(jìn)行區(qū)域的擴(kuò)張和收斂以及后處理操作，所得結(jié)果如圖11所示。本文在公開(kāi)的3Dircadb數(shù)據(jù)集選擇了兩幅CT腹部掃描，其中最左側(cè)為輸入的原始CT圖像，經(jīng)過(guò)分割后得到第三幅圖像，最右側(cè)是將手工標(biāo)注和自動(dòng)分割圖像疊加到原圖上，其中紅色的輪廓為手工標(biāo)注的輪廓。

圖11 分割結(jié)果

可以看出，兩組CT圖像的形態(tài)都不一樣，第一組圖像是肝臟與心臟毗鄰；第二組圖像則為肝臟與胃相鄰。兩組圖在定位到肝臟區(qū)域后，對(duì)肝臟區(qū)域進(jìn)行了精確的分割。第二組圖像中由于存在像素差異較小的鄰近組織，圖像邊緣部分存在略微粗糙的現(xiàn)象，但整體上來(lái)講，本文的方法與手工標(biāo)注結(jié)果相比基本上覆蓋了所有的肝臟區(qū)域。通過(guò)第四列手工標(biāo)注與本文方法疊加原圖可以看出整體的分割取得了不錯(cuò)效果，實(shí)驗(yàn)結(jié)果表明本文方法的可行性。

圖12為本文方法與其他常用的深度學(xué)習(xí)方法SegNet模型[13]、U-Net模型[14]、FCN模型[7]與本文的算法對(duì)比。SegNet在整體上分割效果欠缺，且邊緣粗糙，出現(xiàn)斷裂現(xiàn)象；U-Net雖然包含了肝臟區(qū)域，但也存在過(guò)分割問(wèn)題；FCN模型整體較好，但是觀其細(xì)節(jié)，邊緣粗糙，存在鋸齒狀邊緣；相比之下，本文模型對(duì)肝臟部分保留完整，且在微弱的邊緣部分保留了更多的細(xì)節(jié)。

圖12 不同算法分割結(jié)果

盡管通過(guò)視覺(jué)觀察比較直接，但是其易受人主觀因素的影響，故仍需對(duì)分割結(jié)果進(jìn)行定量評(píng)價(jià)。將本文的方法應(yīng)用于肝臟分割，輸入腹部CT圖像，在3Dircadb數(shù)據(jù)集中選出15名病人，每位病人選擇多幅圖像，計(jì)算上述幾種評(píng)價(jià)指標(biāo)的平均值，如表1所示。

表1 本文方法在3Dircadb數(shù)據(jù)集上的分割性能與專(zhuān)家標(biāo)注數(shù)據(jù)對(duì)比

對(duì)表1實(shí)驗(yàn)結(jié)果取平均值，得到本文的分割性能：VOE為9.73%、RVD為5.49%、ASD為1.23 mm、MSD為11.59 mm、DICE為94.88%。

將本文的方法與U-Net[14]、CFCN[15]、形狀約束法[16]、水平集法[17]對(duì)比，如表2所示，本文通過(guò)弱監(jiān)督學(xué)習(xí)下的肝臟語(yǔ)義分割方法，通過(guò)弱監(jiān)督形式加改進(jìn)的區(qū)域生長(zhǎng)算法在圖像在指標(biāo)在整體上比其他算法有了一定的提升。

表2 三種方法在3Dircadb上的指標(biāo)對(duì)比

表2中，U-Net算法與CFCN都是基于全卷積神經(jīng)網(wǎng)絡(luò)的算法，即通過(guò)上采樣代替原有的全連接層，但是兩者都是基于全監(jiān)督學(xué)習(xí)的，需要大量高質(zhì)量數(shù)據(jù)集支撐，在訓(xùn)練效率上不及其他幾種方法。相比于其他的方法，本文的方法在平均對(duì)稱(chēng)表面距離和最大對(duì)稱(chēng)表面距離相對(duì)于其他三種方法有了一定的提升。從相對(duì)體積誤差上來(lái)看，存在少許過(guò)分割，但是相比于形狀約束法有了一定的提升。在圖像重合率上達(dá)到了94.88%，比CFCN和U-Net方法有所提高。體積重疊誤差上相較于形狀約束法稍有欠缺，但考慮到本文的方法是基于弱監(jiān)督學(xué)習(xí)下的肝臟分割，目標(biāo)檢測(cè)的區(qū)域有限，在無(wú)標(biāo)注數(shù)據(jù)的情況下也能做到分割性能上的保持，表明了基于弱監(jiān)督的分割方法的有效性。

4.4.2自建數(shù)據(jù)集

為進(jìn)一步證明本文方法在肝臟分割的適用性，本文在自建的數(shù)據(jù)庫(kù)上進(jìn)行測(cè)試。測(cè)試結(jié)果如圖13所示，可以看出，所測(cè)試的腹部CT掃描圖中肝臟形態(tài)不相同，但都在整體上保持了與手工標(biāo)注的一致性以及在邊緣處表現(xiàn)出良好的精度。通過(guò)實(shí)驗(yàn)證明，本文方法在自建數(shù)據(jù)集上仍具有較好的分割效果。

圖13 分割結(jié)果

通過(guò)計(jì)算本文方法在自建數(shù)據(jù)集上的參數(shù)，如表3所示，VOE為8.89%，RVD為4.57%，ASD為0.96 mm，MSD為9.81 mm，DICE為95.28%，5個(gè)指標(biāo)上比在公共庫(kù)上有了進(jìn)一步的提升，其中在RVD上的小幅度提升說(shuō)明了過(guò)分割的程度在下降。ASD和MSD的提升則說(shuō)明分割邊界在變好。通過(guò)公共數(shù)據(jù)集與本文數(shù)據(jù)集的疊加驗(yàn)證，從而說(shuō)明本文方法具有一般性。

表3 本文方法在自建數(shù)據(jù)集上的指標(biāo)

5 結(jié) 語(yǔ)

本文提出一種弱監(jiān)督肝臟語(yǔ)義分割方法，采用了深度學(xué)習(xí)的方式與傳統(tǒng)分割相結(jié)合的方法，在不丟失分割精確度的情況下，通過(guò)標(biāo)簽的弱監(jiān)督來(lái)代替全監(jiān)督學(xué)習(xí)，省去了圖像的精標(biāo)注，大大節(jié)省了圖像標(biāo)注的時(shí)間成本。通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)肝臟特征，同時(shí)采用了Grad CAM算法定位肝臟所在區(qū)域，最后通過(guò)優(yōu)化的局部區(qū)域的擴(kuò)張和限制邊界生長(zhǎng)的方法實(shí)現(xiàn)肝臟的自動(dòng)分割。與其他肝臟分割的優(yōu)勢(shì)在于：

(1) 目標(biāo)分類(lèi)網(wǎng)絡(luò)使用遷移學(xué)習(xí)的方法，使得模型收斂更快，加速了訓(xùn)練的過(guò)程從而減少了訓(xùn)練的成本。

(2) 使用框型標(biāo)注數(shù)據(jù)，并通過(guò)網(wǎng)絡(luò)學(xué)習(xí)的特征通過(guò)Grad CAM算法定位到肝臟，與人工標(biāo)記數(shù)據(jù)來(lái)比，節(jié)約了大量的時(shí)間成本。

本文在未來(lái)還需改進(jìn)和完善和改進(jìn)分類(lèi)網(wǎng)絡(luò)，使之更好地解決由于形態(tài)的差異的存在，導(dǎo)致一個(gè)CT序列中的有些肝臟圖像會(huì)產(chǎn)生誤判現(xiàn)象。