基于條件能量對抗網(wǎng)絡(luò)的肝臟和肝腫瘤分割

閆 諳，王衛(wèi)衛(wèi)

西安電子科技大學 數(shù)學與統(tǒng)計學院，西安710071

肝癌是最致命的癌癥之一，其致死率在惡性腫瘤中位居第三[1]。肝臟和肝腫瘤影像的分割在臨床診斷中具有重要意義。傳統(tǒng)肝臟和肝腫瘤分割方法包括圖割[2]、區(qū)域增長[3]、水平集[4]、形變模型[5]等。這些方法大多依賴于人工設(shè)計特征，由于肝臟區(qū)域結(jié)構(gòu)或紋理等特征的復雜性，人工設(shè)計的特征不能完全描述醫(yī)學圖像特征，導致分割精度不佳。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[6]可以從數(shù)據(jù)中自動學習圖像特征，取得了很好的分割效果，是目前用于肝臟和肝腫瘤分割的主要神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。2015年，Long等人提出了全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[7]，F(xiàn)CN將VGG網(wǎng)絡(luò)[8]的全連接層替換為卷積層，首次將CNN應(yīng)用于語義分割中。2016年，Ben-Cohen等人[9]首次使用FCN解決肝臟和肝腫瘤分割問題。Unet[10]以FCN為主干充分挖掘了圖像的多尺度特征。Seo等人[11]在Unet的基礎(chǔ)上增加了殘差路徑提升了肝臟和肝腫瘤的分割精度。上述神經(jīng)網(wǎng)絡(luò)在分割過程中通過對像素獨立分類來實現(xiàn)肝臟和肝腫瘤的自動分割，但是存在一定缺陷，主要表現(xiàn)為目標邊界和小體積目標分割精度不佳。造成這一缺陷的原因是沒有充分考慮像素類別之間的高階一致性[12]。為充分利用鄰域內(nèi)像素類別的相關(guān)性，Dense CRF[13]將條件隨機場（Conditional Random Field，CRF）作為FCN的后處理，將FCN的輸出作為一階勢函數(shù)，利用二階勢函數(shù)描述像素之間的類別關(guān)系，提升了分割效果。DenseCRF的結(jié)果表明利用高階關(guān)系可以提升分割精度。

然而使用數(shù)學方法描述像素類別之間的二階以上關(guān)系十分困難，并且難以求解。因此，本文使用一個卷積網(wǎng)絡(luò)用于像素分類實現(xiàn)肝臟和肝腫瘤分割，使用另外一個網(wǎng)絡(luò)學習像素類別的高階關(guān)系，并將兩個網(wǎng)絡(luò)形成生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）[14]結(jié)構(gòu)，通過對抗訓練的方法從樣本中學習特征，提升肝臟和肝腫瘤的分割精度。為將GANs結(jié)構(gòu)用于肝臟和肝腫瘤分割，并減少GANs訓練中出現(xiàn)的梯度消失和梯度爆炸等問題，本文基于能量生成對抗網(wǎng)絡(luò)（Energy-Based Generative Adversarial Network，EBGAN）[15]和條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）[16]提出了條件能量對抗網(wǎng)絡(luò)。具體地，將Unet[10]作為EBGAN框架中的生成器，將自編碼器（Auto-Encoder，AE）作為判別器。Unet用于生成肝臟和肝腫瘤的分割結(jié)果，自編碼器用于計算分割結(jié)果與真實標注的能量差異值，將該差異值作為損失值對生成器進行訓練。在生成器與判別器的對抗訓練過程中，判別器作為一種損失函數(shù)可以從圖像中學習像素類別之間的高階相關(guān)性，從而提升小目標和目標邊界分割精度[12，17]。在EBGAN的基礎(chǔ)上使用原始醫(yī)學圖像作為條件約束，以提升Unet輸出的分割精度。本文提出的方法實現(xiàn)了端到端訓練，不需要后處理。在LiTS 2017數(shù)據(jù)集和3DIRCADb公開數(shù)據(jù)集上對提出的方法進行驗證，實驗結(jié)果表明該方法在肝臟和肝腫瘤分割任務(wù)上具有一定的有效性和一般性。

1 相關(guān)算法

本章主要介紹一些相關(guān)算法，包括GANs[14]、EBGAN[15]和CGAN[16]。

1.1 GANs

GANs由生成器和判別器組成，可通過求解如下最大最小博弈問題來訓練GANs網(wǎng)絡(luò)：

其中，D(?)和G(?)表示判別器和生成器，z表示從噪聲分布pz中隨機采樣的噪聲，x表示從真實分布pr中采樣得到的真實樣本。由生成器生成的圖像輸入到判別器中接受真假判別，判別器輸出概率值越接近1說明生成器的生成效果越好。當且僅當生成分布pg等于真實分布pr時，最大最小博弈問題達到最優(yōu)。GANs存在以下不足之處，訓練不穩(wěn)定，判別器不能預訓練以及生成數(shù)據(jù)內(nèi)容不可控。

1.2 EBGAN

GANs是基于概率的模型，生成分布與真實分布的支撐集之間可能沒有交集，使得KL散度沒有定義，最終導致梯度消失或梯度爆炸，因此GANs存在一定訓練難度。而EBGAN以能量理論為模型，不再考慮生成分布、真實分布以及分布之間的距離，而是將判別器視為能量函數(shù)。能量函數(shù)將輸入映射為一個能量值，并通過能量值的高低來評估生成器的生成能力，若生成數(shù)據(jù)能量值較低，說明生成器生成的樣本接近真實數(shù)據(jù)。

EBGAN將能量函數(shù)作為判別器，為判別器結(jié)構(gòu)和損失函數(shù)的設(shè)計提供了更大的靈活性?；谶呺H損失，EBGAN的判別器和生成器的目標函數(shù)如下：

其中，LD和LG分別表示判別器和生成器的目標函數(shù)，m為大于0的超參數(shù)，[]?+=max(0,?)。與傳統(tǒng)GANs不同，EBGAN的判別器可以使用真實數(shù)據(jù)預訓練。

1.3 CGAN

為控制生成器的生成內(nèi)容，CGAN將類別標簽等額外信息作為約束條件引入到生成器和判別器中。CGAN的目標函數(shù)為：

其中，y表示條件變量。在某種程度上，CGAN可被視為一個有監(jiān)督模型，條件變量可被視為監(jiān)督信息。

2 本文方法

Unet等基于CNN的分割網(wǎng)絡(luò)通過獨立預測每個像素點的類別標簽來實現(xiàn)對肝臟和肝腫瘤的自動分割。然而，這些分割網(wǎng)絡(luò)忽略了相鄰像素類別之間的高度相關(guān)性。盡管Dense CRF[13]通過二階勢函數(shù)來考慮像素類別之間的一致性，但是高階一致性更有利于提高分割精度。與定義復雜的高階勢函數(shù)不同，對抗網(wǎng)絡(luò)可以直接從數(shù)據(jù)中學習像素類別之間的高階一致性[12，17]。

鑒于EBGAN的優(yōu)點，本文采用EBGAN進行肝臟和肝腫瘤分割。EBGAN的生成器和判別器均采用基于CNN的網(wǎng)絡(luò)結(jié)構(gòu)。對于生成器，為充分利用輸入圖像的多尺度特征，本文使用Unet[10]；對于判別模型，本文使用自編碼器。本文的網(wǎng)絡(luò)與EBGAN的主要區(qū)別在于使用原始醫(yī)學圖像作為條件約束來控制預測分割結(jié)果的內(nèi)容；此外，將交叉熵損失和dice損失[18]加入到目標函數(shù)中，使得預測分割結(jié)果與真實標注盡可能接近，同時避免樣本不均衡問題。本文方法不需任何后處理。

2.1 模型結(jié)構(gòu)

本文使用Unet和一個改進的自編碼器作為生成器和判別器，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。以原始醫(yī)學圖像作為輸入，生成器用于產(chǎn)生對應(yīng)的預測分割結(jié)果。將真實標注和預測分割結(jié)果輸入到判別器中，計算重構(gòu)圖像與真實標注之間的重構(gòu)誤差。此外，將原始醫(yī)學圖像作為條件約束輸入到判別器中。

圖1 提出的網(wǎng)絡(luò)結(jié)構(gòu)

2.2 生成器

本文使用的Unet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該結(jié)構(gòu)由一個收縮路徑和一個擴張路徑構(gòu)成，這種結(jié)構(gòu)可以充分利用圖像的多尺度特征來獲取分割結(jié)果。收縮路徑用于提取不同尺度的特征，擴張路徑用于將這些特征恢復至與原始圖像相同的分辨率。

圖2 Unet的模型結(jié)構(gòu)

Unet以原始醫(yī)學圖像作為輸入，輸出對應(yīng)的預測分割結(jié)果。在特征提取階段，通過最大池化對原始圖像進行4次下采樣以提取不同尺度特征。每個尺度上的特征提取均由兩次重復卷積，批歸一化和LeakyReLU實現(xiàn)。此外，通道的數(shù)量在每一次最大池化后加倍。Unet對收縮路徑最后一個尺度上的特征進行了4次上采樣。通道數(shù)量在每次上采樣過程中減半。由于在每一次下采樣過程中都會丟失圖像上下文信息，因此引入跳躍連接來連接擴張路徑和收縮路徑對應(yīng)尺度上的特征，以保留圖像上下文信息。為了限制數(shù)值范圍，Unet的最后一層添加了softmax激活函數(shù)。

為訓練Unet，最小化如下目標函數(shù)：

其中，xraw和xlab分別表示原始醫(yī)學圖像及其對應(yīng)的真實標注。xpre表示Unet對原始醫(yī)學圖像的分割結(jié)果。x?pre表示Unet輸出的分割結(jié)果經(jīng)判別器產(chǎn)生的重構(gòu)圖像。式（4）中的目標函數(shù)采用LCE、Ldice和Lrec的加權(quán)形式。μ、λ和β為對應(yīng)項的權(quán)重。LCE表示交叉熵，用于減少Unet的分割結(jié)果與真實標注之間的差異。Ldice表示dice損失，用于避免樣本不均衡問題。Ldice的具體形式為：

Lrec是來自判別器的重構(gòu)誤差。在原始醫(yī)學圖像的條件約束下，將Unet的分割結(jié)果輸入到判別器中，使用判別器輸出與真實標注計算Lrec。在Unet與判別器的對抗訓練過程中，通過減小Lrec使Unet從數(shù)據(jù)中學習像素類別之間的高階關(guān)系。

2.3 判別器

本文使用與自編碼器相似的結(jié)構(gòu)作為判別器，如圖3所示。自編碼器由編碼器和解碼器組成，編碼器用于提取特征，解碼器用于從提取的特征中重構(gòu)出圖像。特征提取部分主要由4個重復的卷積組成，每個卷積后接一個批歸一化和LeakyReLU。此外，使用4次最大池化進行下采樣。當圖像特征提取完成后，對應(yīng)地使用4次上采樣從提取的特征中重構(gòu)出圖像。

圖3 AE的模型結(jié)構(gòu)

為訓練判別器，最小化如下目標函數(shù)：

其中，xlab表示與原始輸入圖像對應(yīng)的真實標注，表示將真實標注輸入到自編碼器后得到的重構(gòu)圖像，Lrec為xlab與之間的重構(gòu)誤差。在原始醫(yī)學圖像的條件約束下，本文中的判別器僅使用真實標注進行訓練，目的是令判別器只充分學習真實標注的特征。在此情況下，判別器為真實樣本分配較低能量值，為生成樣本分配較高能量值。

3 實驗

3.1 數(shù)據(jù)集和預處理

本文在MICCAI 2017肝臟腫瘤分割（LiTS）數(shù)據(jù)集[19]和3DIRCADb公開數(shù)據(jù)集[20]上驗證提出的方法。LiTS 2017數(shù)據(jù)集包含131個訓練樣本和70個測試樣本。3DIRCADb數(shù)據(jù)集包含20個樣本。隨機從LiTS 2017的訓練樣本中抽取90%作為訓練集，剩余的10%作為驗證集。為進一步證明提出方法的有效性和一般性，在3DIRCADb數(shù)據(jù)集上驗證提出的方法。所有樣本的分辨率均為512×512，但通道數(shù)目各不相同。

訓練模型之前需要對數(shù)據(jù)進行預處理。數(shù)據(jù)的預處理包括通道篩選、CT值截取、數(shù)據(jù)增廣以及歸一化。為避免樣本不均衡，從訓練集中篩選出17 227個帶有標注的通道作為最終訓練集。CT值通常用來判斷病理組織的性質(zhì)和類型。為去除干擾細節(jié)，將所有CT值截斷至[?200，250]HU范圍內(nèi)。為避免訓練樣本不足造成的過擬合，使用仿射變換和對比度變換對數(shù)據(jù)集進行了擴充。將輸入醫(yī)學圖像的每個像素值歸一化至[0，1]范圍內(nèi)，方法如下：

其中，Pij表示任意原始像素點的像素值，Pmin和Pmax表示一個輸入圖像內(nèi)所有像素值的最小值和最大值，P?ij表示歸一化后的像素值。

3.2 評估方法

本文采用全局Dice、平均Dice、體積重疊誤差（VOE）以及相對體積差異（RVD）作為評估指標。全局Dice是通過將所有樣本合并為一個單獨的樣本來計算的，平均Dice是對所有樣本的Dice求平均來計算的。給定2個二值分割圖A和B，Dice，VOE和RVD的計算方式如下：

全局Dice和平均Dice的值均在[0，1]之間，并且值越接近1越說明分割效果好。VOE與RVD的值為0時說明分割效果最理想。

3.3 實驗設(shè)置

本文使用Pytorch框架在單臺NVDIA 2080ti GPU上對提出的方法進行訓練和驗證。生成器使用的是原始Unet。在本文中，自編碼器由4個重復的卷積組成，卷積核大小為3×3，通道數(shù)量為32，64，128，256，256，128，64，32。此外，將所有Leaky ReLU的負斜率設(shè)置為0.1。公式（4）和公式（6）分別作為訓練Unet和自編碼器的損失函數(shù)。本文施加條件約束的方式為將真實標注與預測分割結(jié)果分別與原始醫(yī)學圖像拼接，然后輸入到判別器中。

3.4 對比實驗與分析

為證明提出方法的有效性，設(shè)置3組對比實驗分別用于驗證本文方法對于提升Unet分割性能的有效性，施加條件約束的有效性以及本文方法相比于其他改進GANs的優(yōu)勢。以上3組實驗均在相同實驗設(shè)置下完成。所有對比實驗的訓練輪數(shù)均為100輪，利用LiTS 2017的訓練集對模型進行訓練，訓練使用的樣本數(shù)量均為17 227個，初始學習率為1E?4，優(yōu)化器為Adam。本文的損失函數(shù)采用了交叉熵損失、dice損失和重構(gòu)誤差的加權(quán)形式。各損失項的計算方法是將肝臟器官、肝臟腫瘤和背景視作3個類別分別計算損失值，然后將各損失值進行加權(quán)求和作為該損失項整體損失值。對樣本中腫瘤、器官區(qū)域和背景區(qū)域占據(jù)圖像體積的比例進行統(tǒng)計作為確定超參數(shù)的依據(jù)，并結(jié)合實驗過程最終將肝臟、肝腫瘤和背景的加權(quán)系數(shù)分別設(shè)置為0.09、0.9和0.01。為便于在[0，1]范圍內(nèi)觀察并對比各項損失值，將損失函數(shù)中損失項的超參設(shè)置為μ=λ=β=1。圖4和圖5分別為3組對比實驗的dice損失曲線和交叉熵損失曲線。

圖4 dice損失曲線

圖5 交叉熵損失曲線

3.4.1 條件EBGAN的有效性

本文將Unet嵌入到改進的EBGAN中，通過對抗訓練，提升模型的分割性能。為了與未使用對抗的Unet對比，采用交叉熵損失和dice損失訓練獨立的Unet。根據(jù)公式（5）和公式（8）可以看出，dice損失曲線不僅可以反映訓練過程中損失值的變換規(guī)律，還可以體現(xiàn)出Dice指標的提升情況。由圖4中的dice損失曲線觀察發(fā)現(xiàn)，本文方法的損失曲線低于Unet，說明本文方法的分割精度高于Unet。交叉熵損失曲線反映了像素分類情況，由圖5可知本文方法的交叉熵損失值低于Unet，說明本文方法的分類效果略有提升。圖6展示了本文方法和Unet在LiTS驗證集上的分割結(jié)果。通過觀察可知，Unet有時無法分割出輸入圖像中的小體積腫瘤，并且對于目標邊緣處的分割效果不佳。從表1中的評估指標也可看出，本文方法與Unet相比對于肝臟分割的平均Dice和全局Dice分別提升了0.8個百分點和0.6個百分點，對于肝腫瘤分割的平均Dice和全局Dice均提升了2.5個百分點。本文將Unet神經(jīng)網(wǎng)絡(luò)嵌入到條件能量生成對抗網(wǎng)絡(luò)的框架下，通過對抗訓練學習像素類別之間的高階一致性，有效提升了小體積目標和目標邊界的分割精度。

圖6 原始Unet及本文方法在LiTS驗證集上的分割結(jié)果（灰色區(qū)域表示器官，白色區(qū)域表示腫瘤）

表1 本文方法以及對比方法在LiTS驗證集上的分割結(jié)果%

3.4.2 條件約束的有效性

為證明條件約束在本文方法中的重要性，將本文方法與無條件約束的EBGAN進行對比。由于原始圖像包含較為精確的位置信息，因此本文將原始圖像與對應(yīng)的Unet輸出相拼接后作為判別器輸入，加強判別器學習圖像高階結(jié)構(gòu)信息的能力。由圖4和圖5可知，本文方法的dice損失曲線和交叉熵損失曲線均優(yōu)于無條件約束的EBGAN。對比表1中的驗證指標可知，本文方法的分割性能優(yōu)于無條件約束的EBGAN。

3.4.3 與其他改進GANs的對比

將相同設(shè)置的Unet分別嵌入到CGAN[16]和WGANGP[21]的框架下以與本文方法進行對比。以Unet作為模型的生成器，并將原始輸入圖像作為CGAN和WGAN-GP判別器的約束條件。將條件約束下的WGAN-GP記為WGAN-GP-C。由圖4和圖5可以看出，本文方法的損失曲線始終低于CGAN和WGAN-GP-C，并且CGAN和WGAN-GP-C的損失曲線均出現(xiàn)了波動，而本文方法的損失曲線平滑下降。EBGAN的判別器使用能量模型代替?zhèn)鹘y(tǒng)GANs的概率模型，能量模型相對于概率模型的優(yōu)勢是判別器可以預訓練[15]，并且訓練過程比較穩(wěn)定。對比表1中的評估指標可知，本文方法的分割性能優(yōu)于CGAN和WGAN-GP-C。

3.5 方法的一般性驗證

3DIRCADb數(shù)據(jù)集相比于LiTS 2017數(shù)據(jù)集具有更高的復雜性和多樣性。3DIRCADb數(shù)據(jù)集中包含20個樣本，其中15個樣本中同時包含肝臟和腫瘤。為證明本文方法的一般性，利用3DIRCADb數(shù)據(jù)集中的這15個樣本對使用LiTS數(shù)據(jù)集訓練好的模型進行驗證。3DIRCADb數(shù)據(jù)集采用的評估指標是Dice、VOE和RVD，其中Dice是指LiTS數(shù)據(jù)集中使用的平均Dice。圖7展示了本文方法在3DIRCADb數(shù)據(jù)集上的分割效果。從圖7中可以看出，當原始輸入圖像中腫瘤的體積較小或者與肝臟的對比度較低時，Unet出現(xiàn)腫瘤漏檢的情況。對于體積較大的腫瘤，Unet分割出的腫瘤體積小于真實標注。肝臟分割的結(jié)果顯示，Unet出現(xiàn)了小體積空洞。此外，Unet在目標邊界的分割效果不佳。相比于Unet，本文提出的基于條件能量對抗網(wǎng)絡(luò)的分割方法可以完整分割出輸入圖像中所包含的腫瘤，并且分割邊界接近真實標注。為進一步展現(xiàn)本文方法的分割性能，表2中列出了其他方法在3DIRCADb上取得的分割指標。

圖7 3DIRCADb數(shù)據(jù)集上的分割結(jié)果

4 結(jié)束語

肝臟和肝腫瘤分割在肝癌臨床診斷中具有重要意義。為解決肝臟和肝腫瘤分割問題，本文提出了條件能量對抗網(wǎng)絡(luò)結(jié)構(gòu)，將Unet嵌入到EBGAN的架構(gòu)中作為模型的生成器，用于學習像素特征得到每個像素的類別信息；基于能量理論構(gòu)建判別器并將原始圖像作為條件約束輸入到判別器中，通過學習像素類別之間的高階一致性，提升小體積目標和目標邊界的分割精度，并通過實驗驗證了本文提出方法的有效性。

表2 本文方法與其他方法在3DIRCADb數(shù)據(jù)集上的對比%