基于ResUnet對(duì)抗網(wǎng)絡(luò)的腦瘤圖像分割方法

羅耀

(廣東機(jī)電職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)與設(shè)計(jì)學(xué)院，廣東 廣州 510550)

0 引言

將腦瘤從圖像中分離出來(lái)是圖像醫(yī)學(xué)和人工智能醫(yī)學(xué)的重要分支。腦瘤可以分布在大腦的任意區(qū)域，幾乎可以變成任意大小和形狀，使得人工分割的時(shí)候容易產(chǎn)生誤差。同時(shí)，由于病人人數(shù)激增，產(chǎn)生大量亟待處理的磁共振成像MRI(Magnetic Resonance Imaging)等影像資料。為提高效率和準(zhǔn)確率，同時(shí)減輕工作人員的工作負(fù)擔(dān)和工作壓力，使用計(jì)算機(jī)技術(shù)設(shè)計(jì)一款輔助軟件分擔(dān)他們的工作是非常必要的。

隨著計(jì)算機(jī)科學(xué)的發(fā)展，機(jī)器學(xué)習(xí)成為醫(yī)學(xué)圖像分割的重要研究方向。從監(jiān)督的角度看，這些機(jī)器學(xué)習(xí)分割方法可分為：非監(jiān)督學(xué)習(xí)方法、半監(jiān)督學(xué)習(xí)方法和監(jiān)督學(xué)習(xí)方法。非監(jiān)督學(xué)習(xí)方法屬于傳統(tǒng)方法，按照原理大致分為：基于閾值的方法、基于區(qū)域的方法、基于像素的方法和基于形態(tài)學(xué)的方法。優(yōu)點(diǎn)是簡(jiǎn)單，計(jì)算速度快，對(duì)算力要求不高，對(duì)樣本數(shù)的要求也不高。缺點(diǎn)是不太準(zhǔn)確。監(jiān)督學(xué)習(xí)方法的方法眾多，從復(fù)雜性和可解釋性來(lái)分，有比較簡(jiǎn)單并容易解釋的svm，rf和crf等方法，也有較復(fù)雜的不易解釋神經(jīng)網(wǎng)絡(luò)[1]等方法。較非監(jiān)督學(xué)習(xí)方法來(lái)說(shuō)，監(jiān)督學(xué)習(xí)方法較準(zhǔn)確，缺點(diǎn)是所用樣本較多，對(duì)算力的要求較高，計(jì)算速度也較慢。半監(jiān)督學(xué)習(xí)方法則需要在以上二者之間進(jìn)行權(quán)衡，努力尋找優(yōu)缺點(diǎn)間的平衡點(diǎn)。

基于ResUnet對(duì)抗網(wǎng)絡(luò)的腦瘤圖像分割方法(以下簡(jiǎn)稱(chēng)對(duì)抗法)為了保證準(zhǔn)確率采用監(jiān)督學(xué)習(xí)的方法，融合了ResUnet和對(duì)抗網(wǎng)絡(luò)的技術(shù)，為進(jìn)一步提高準(zhǔn)確率使用混合濾波器對(duì)輸入圖像進(jìn)行預(yù)處理。

1 方法描述

對(duì)抗法由兩部分組成，一部分是預(yù)處理部分，另一部分是對(duì)抗網(wǎng)絡(luò)。其中對(duì)抗網(wǎng)絡(luò)分為生成器和判別器[2-3]，生成器中內(nèi)嵌ResUnet。

1.1 預(yù)處理

通過(guò)預(yù)處理可以對(duì)圖像起到去噪、去冗余以及增強(qiáng)的作用。通過(guò)對(duì)比度受限的自適應(yīng)直方圖均衡化(CLAHE)、高斯濾波與Gabor濾波相結(jié)合進(jìn)行預(yù)處理可以獲得比較好的預(yù)處理效果。直方圖均衡化能比較好地突出圖像的細(xì)節(jié)，但是可能使得圖像對(duì)比度嚴(yán)重失真。通過(guò)使用CLAHE，提高圖像的局部對(duì)比度，起到了增強(qiáng)圖像的作用，同時(shí)避免因過(guò)度調(diào)整對(duì)比度造成的圖像失真。為盡可能去除更多的噪音，采用二維旋轉(zhuǎn)高斯濾波的方法，以水平方向?yàn)槠瘘c(diǎn)，每旋轉(zhuǎn)10度做一次高斯濾波。高斯濾波器在去除噪音的同時(shí)也使得圖像變得模糊，特別是圖像的邊界變得模糊。為了使得圖像中的邊界變得清晰，使用了Gabor濾波器。Gabor濾波器利用Gabor小波對(duì)紋理和邊緣較高敏感性，突出圖像中的邊緣。具體細(xì)節(jié)如圖1所示。

圖1 預(yù)處理圖

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)抗法目標(biāo)是實(shí)現(xiàn)像素到像素的直接輸出。腦部磁共振圖像MRI經(jīng)預(yù)處理后進(jìn)入生成器。內(nèi)嵌于生成器的ResUnet分成編碼器(encoder)和解碼器(decoder)，如圖2所示。

圖2 對(duì)抗法結(jié)構(gòu)圖

編碼器各模塊處理過(guò)程中，首先使用自然分布的方法對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理(BN)，在激活層中使用relu函數(shù)抑制或激活部分信號(hào)。在卷積層中，使用VGGNet卷積網(wǎng)絡(luò)處理圖像，一張磁共振圖像有 512×512 個(gè)像素點(diǎn)，在dicom文件中每個(gè)像素由2字節(jié)表示，圖像中每個(gè)像素都是整數(shù)，由于圖片為單通道，畫(huà)圖渲染出來(lái)為黑白圖。按照VGGNet的思想使用多個(gè)較小卷積核(3×3)的卷積層代替一個(gè)卷積核較大的卷積層，一方面可以減少參數(shù)，另一方面可以增加網(wǎng)絡(luò)的擬合能力。編碼器各模塊結(jié)構(gòu)，按從上至下編號(hào),如表1所示。

表1 編碼器結(jié)構(gòu)表

在解碼器中，反卷積層是stride為2的卷積的逆運(yùn)算，它可以將圖像擴(kuò)大一倍。連接層將對(duì)應(yīng)層的圖像連接融合在一起，起到降低計(jì)算量的作用。解碼器各模塊結(jié)構(gòu),按從下至上編號(hào),如表2所示。

表2 解碼器結(jié)構(gòu)表

由解碼器輸出的圖像和按金標(biāo)準(zhǔn)分割的圖像在判別器中進(jìn)行比較，當(dāng)判別器不能分辨金標(biāo)準(zhǔn)分割圖與編碼器輸出圖的區(qū)別時(shí)訓(xùn)練結(jié)束，否則不斷優(yōu)化生成器，同時(shí)判別器不斷進(jìn)化提高自己的判別能力。

ResUnet是Unet和殘缺網(wǎng)絡(luò)的結(jié)合體。對(duì)于一個(gè)給定的圖像Imagei,經(jīng)過(guò)網(wǎng)絡(luò)模塊處理后得到目標(biāo)值為Yi，設(shè)網(wǎng)絡(luò)參數(shù)為Net，圖像Imagei經(jīng)過(guò)網(wǎng)絡(luò)后的實(shí)際值為F(Imagei;Net)。由此可以給出網(wǎng)絡(luò)的損失函數(shù)如式(1)。

(1)

1.3 網(wǎng)絡(luò)訓(xùn)練

對(duì)抗法屬于監(jiān)督式學(xué)習(xí)，以金標(biāo)準(zhǔn)作為標(biāo)簽來(lái)調(diào)整整個(gè)網(wǎng)絡(luò)的參數(shù)，以便網(wǎng)絡(luò)在訓(xùn)練過(guò)程中快速收斂，從而達(dá)到獲得病灶圖像的目的。網(wǎng)絡(luò)主體采用GAN模型，訓(xùn)練網(wǎng)絡(luò)的過(guò)程是一個(gè)對(duì)抗博弈的過(guò)程。

首先以判別器的損失函數(shù)為指引，采用動(dòng)量隨機(jī)梯度下降算法和反饋算法先訓(xùn)練判別器。訓(xùn)練判別器時(shí)，先將生成器的權(quán)值參數(shù)固定，優(yōu)化判別器D的過(guò)程就是最小化交叉熵的過(guò)程，其損失函數(shù)如式(2)。

(2)

其中，Pdata(x)為x的概率分布函數(shù)；Pz(z)(噪聲分布)為z的概率分布函數(shù);E(·)為數(shù)學(xué)期望。將式(2)整理成連續(xù)空間上的表達(dá)式，如式(3)。

(3)

給定生成器G，最小化表達(dá)式(3)，目標(biāo)函數(shù)LOSTD(θD,θG)在D(x)取以下的DG(x)值時(shí)得到最小值，如式(4)。

(4)

判別器的目標(biāo)是，當(dāng)數(shù)據(jù)來(lái)源于真實(shí)數(shù)據(jù)時(shí)，判別器的輸出值即D(x)趨近于1，當(dāng)數(shù)據(jù)來(lái)源于生成器生成的數(shù)據(jù)G(z)時(shí)，判別器的輸出值即D(G(z))趨近于零。

判別器訓(xùn)練好后固定判別器，訓(xùn)練生成器。判別器和生成器之間是一個(gè)零合博弈的過(guò)程，他們的損失函數(shù)互為相反數(shù)。判別器內(nèi)嵌了一個(gè)ResUnet,所以判別器的優(yōu)化過(guò)程也是一個(gè)ResUnet的優(yōu)化過(guò)程。優(yōu)化過(guò)程通過(guò)采用梯度下降的方法使得式(1)中的損失函數(shù)值LOST(Net)達(dá)到最小值，并求得當(dāng)損失函數(shù)達(dá)到最小值的時(shí)候網(wǎng)絡(luò)參數(shù)Net的值。

就整體而言，整個(gè)網(wǎng)絡(luò)的優(yōu)化問(wèn)題就是一個(gè)極小化生成器極大化判別器的問(wèn)題，GAN網(wǎng)絡(luò)的目標(biāo)函數(shù)為式(5)。

(5)

2 實(shí)驗(yàn)

驗(yàn)證對(duì)抗法可行性的程序用Python語(yǔ)言編寫(xiě)完成。

2.1 數(shù)據(jù)集

驗(yàn)證過(guò)程所使用的數(shù)據(jù)集是由廣東某大醫(yī)院提供的膠質(zhì)腦損傷的MRI圖像。此數(shù)據(jù)集收錄了49個(gè)病患的病例，每個(gè)病例中包含若干個(gè)切片圖像，總共1 127個(gè)切片圖像。每個(gè)病例都由專(zhuān)業(yè)醫(yī)生對(duì)腫瘤部位進(jìn)行了標(biāo)注。為了進(jìn)行精確標(biāo)注，數(shù)據(jù)集使用二進(jìn)制的mask圖形進(jìn)行標(biāo)注，每張切片圖像的大小為512×512個(gè)像素。

2.2 實(shí)驗(yàn)過(guò)程

為驗(yàn)證對(duì)抗法在MRI圖像上分割腦瘤的有效性，特將此方法與區(qū)域生長(zhǎng)法(Region Growing，下文簡(jiǎn)稱(chēng)RG)和模糊C均值法(Fuzzy C Means，下文簡(jiǎn)稱(chēng)FCM)的結(jié)果進(jìn)行比較。

在使用區(qū)域生長(zhǎng)法得出分割圖像的時(shí)候，首先請(qǐng)醫(yī)生幫忙在最有可能出現(xiàn)腫瘤的地方設(shè)置種子點(diǎn)，然后運(yùn)行算法得到分割圖像；在使用模糊C均值法分割圖像時(shí)，為方便實(shí)驗(yàn)將聚類(lèi)類(lèi)別設(shè)置為2 ，收斂系數(shù)設(shè)置為0.000 1。

實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 3種方法分割腦瘤結(jié)果對(duì)比圖

其中,A列是醫(yī)院提供的原始MRI圖像;B列是由區(qū)域生長(zhǎng)法產(chǎn)生的圖像;C列是由模糊C均值法生成的圖像;D列是對(duì)抗法生成的圖像;E列是由專(zhuān)家提供的金標(biāo)準(zhǔn)。

從圖3的結(jié)果來(lái)看使用區(qū)域生長(zhǎng)法分割圖像時(shí)，當(dāng)圖像灰度值變化不大時(shí)效果較好，一旦腫瘤質(zhì)地不均勻效果就不好；使用模糊C均值法分割圖像時(shí)，當(dāng)腫瘤與背景區(qū)別不大時(shí)效果欠佳。使用對(duì)抗法分割出來(lái)的圖像比前面兩種都要全，細(xì)節(jié)把握的也比較理想。

2.3 定量分析

經(jīng)過(guò)上述的實(shí)驗(yàn)后，發(fā)現(xiàn)單純使用傳統(tǒng)方式分割圖像，未必得到滿(mǎn)意的效果，究竟傳統(tǒng)方法和對(duì)抗法得到的分割圖與金標(biāo)準(zhǔn)誰(shuí)更相似，特用以下幾個(gè)評(píng)價(jià)指標(biāo)對(duì)這些圖像進(jìn)行客觀評(píng)價(jià)，即將區(qū)域生長(zhǎng)法RG[4]、模糊C均值法FCM[5]和對(duì)抗法(GAN)分割出來(lái)的圖像與金標(biāo)準(zhǔn)相比較。這幾個(gè)標(biāo)準(zhǔn)分別是：峰值性噪比PSNR(Peak Signal-to-Noise Ratio)、結(jié)構(gòu)相似性SSIM(Structural Similarity Index)及COSIN相似度(余弦相似度)。評(píng)價(jià)結(jié)果如表3所示。

表3 三種方法結(jié)果評(píng)價(jià)表(廣東某大醫(yī)院提供數(shù)據(jù))

其中，PSNR 是使用最廣泛最普遍的一種圖像客觀評(píng)價(jià)指標(biāo)，它是基于對(duì)應(yīng)像素點(diǎn)間的誤差，即基于誤差敏感的圖像質(zhì)量評(píng)價(jià)。PSNR值越大，圖像越接近。第二個(gè)尺度是SSIM，它用于評(píng)估兩張圖片整體上的相似性。具體而言，SSIM分別從亮度、對(duì)比度和結(jié)構(gòu)3方面度量圖像的相似性，取值范圍為[0，1]，值越大相似性越高。第三個(gè)尺度是COSIN，它通過(guò)測(cè)量?jī)蓚€(gè)向量夾角的余弦值來(lái)度量不同圖像之間的相似性，取值范圍為[-1，1]，值越大相似性越高。從表3數(shù)據(jù)可以看出，對(duì)抗法優(yōu)于區(qū)域生長(zhǎng)法和模糊C均值法。

3 總結(jié)

預(yù)處理是對(duì)抗法重要的一步，它保證了圖像分割的質(zhì)量。對(duì)抗法將GAN網(wǎng)絡(luò)與ResUnet網(wǎng)絡(luò)融合。GAN的特點(diǎn)可以保持圖像較高分辨率，ResUnet網(wǎng)絡(luò)具有跳過(guò)若干層再連接的特點(diǎn)，這一特點(diǎn)不僅簡(jiǎn)化了訓(xùn)練，而且簡(jiǎn)化了整個(gè)神經(jīng)網(wǎng)絡(luò)，大幅度減少了計(jì)算量。通過(guò)實(shí)驗(yàn)和數(shù)據(jù)驗(yàn)證，對(duì)抗法相對(duì)于傳統(tǒng)分割算法有一定的先進(jìn)性。