U3+GAN: 基于U-Net3+融合GAN方法對眼底視網(wǎng)膜血管分割的研究

孫順旺

摘要：在眼部疾病的自動(dòng)檢測中，視網(wǎng)膜眼底血管分割是不可缺少的一環(huán)。視網(wǎng)膜血管結(jié)構(gòu)復(fù)雜，粗細(xì)血管交織縱橫，特別是在沉積物和病變區(qū)域，能否高精度地分割視網(wǎng)膜血管的宏觀和微觀結(jié)構(gòu)對疾病的判定和治療起著關(guān)鍵的作用。本文提出了一種多尺度對抗生成分割網(wǎng)絡(luò)模型，用于更加準(zhǔn)確的分割視網(wǎng)膜眼底血管。網(wǎng)絡(luò)的生成器為U-Net3+網(wǎng)絡(luò)結(jié)構(gòu)，在進(jìn)行低級語義和高級語義提取后，分別輸入兩個(gè)自編碼鑒別器以更好地捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語義，并更加精準(zhǔn)的進(jìn)行微小的毛細(xì)血管分割。作為生成性對抗網(wǎng)絡(luò)，生成器和鑒別器在不斷的迭代過程中，可以更好的保存像素級別的宏、微觀血管分割結(jié)果。在公共數(shù)據(jù)集 DRIVE上，我們對網(wǎng)絡(luò)進(jìn)行了定量評估，并與最新的研究成果進(jìn)行了比較。該網(wǎng)絡(luò)能有效地實(shí)現(xiàn)難以捉摸的血管分割，在特異性、準(zhǔn)確率和精確率方面都在比較高的水平。U3+GAN架構(gòu)的性能和計(jì)算效率在臨床視網(wǎng)膜血管分割應(yīng)用存在巨大的潛力。

關(guān)鍵詞：眼底視網(wǎng)膜血管分割、深度學(xué)習(xí)、多尺度對抗網(wǎng)絡(luò)、U-Net3+、醫(yī)學(xué)影像分析

引言

近年來，隨著電子設(shè)備的普及，伴隨而來的也有越來越多的眼部疾病，視網(wǎng)膜血管提供了豐富的幾何特征，如血管直徑、分支和分布關(guān)系等。這些特征反映臨床病理，可以用于診斷高血壓、糖尿病視網(wǎng)膜病變、黃斑水腫和巨細(xì)胞病毒性視網(wǎng)膜炎（Cytomegalovirus Retinitis[1]） [2，3]。但是，通過手工分割血管耗時(shí)耗力，血管自動(dòng)分割在醫(yī)學(xué)診斷過程中起著越來越重要的作用。在深度圖像處理浪潮中，相比傳統(tǒng)自動(dòng)分割算法，深度學(xué)習(xí)有很大優(yōu)勢，在改善血管分割性能方面也有了新的提升，基于深度圖像的眼底血管分割的應(yīng)用，在臨床方面有很好的應(yīng)用場景，吸引著許多科研人員的關(guān)注。

迄今，已經(jīng)出現(xiàn)了許多機(jī)器學(xué)習(xí)在眼底視網(wǎng)膜血管分割方面的應(yīng)用，主流的方法包括K近鄰分類器（KNN）與支持向量機(jī)（SVM），其大多數(shù)都是基于手工分類的方。像這樣的經(jīng)典機(jī)械學(xué)習(xí)分類方法只能針對特定場景進(jìn)行設(shè)定分類模型，不能學(xué)習(xí)新的特征，在適應(yīng)新的眼底圖片的性能上，泛化能力較差。近些年來，基于U-Net的網(wǎng)絡(luò)架構(gòu)的視網(wǎng)膜血管分割應(yīng)用比較廣泛。U-Net 由捕獲上下文信息的編碼器和實(shí)現(xiàn)精確定位的解碼器組成，因此也衍生出許多作品，如Deformable-UNet， IterNet和最近的SA-UNet等等。這些架構(gòu)在宏觀分割上可以取得更好的效果，然而，在提升更高精度和細(xì)小分割時(shí)，他們的效果不太理想。最近，李蘭蘭等人的相關(guān)研究表明GAN系列架構(gòu)用于視網(wǎng)膜血管分割是很好的選擇。

GAN網(wǎng)絡(luò)是由生成器（G網(wǎng)絡(luò)）與鑒別器（D網(wǎng)絡(luò)）組成，G和D構(gòu)成了一個(gè)動(dòng)態(tài)的“博弈過程”。在圖像分割領(lǐng)域，GAN網(wǎng)絡(luò)模型的G網(wǎng)絡(luò)用來分割，而D網(wǎng)絡(luò)用來進(jìn)行對G網(wǎng)絡(luò)生成出的分割圖片進(jìn)行鑒別校正。本文提出一種新的GAN網(wǎng)絡(luò)模型來進(jìn)行眼底血管的分割，網(wǎng)絡(luò)的主要基于圖1的RV-GAN[2]架構(gòu)。在此基礎(chǔ)上，我們改變了生成器（G網(wǎng)絡(luò)）的整體架構(gòu)，并采用最新的分割網(wǎng)絡(luò)U-Net3+[15]作為基礎(chǔ)的G網(wǎng)絡(luò)，同時(shí)，我們保留了RV-GAN的多尺度鑒別器（D網(wǎng)絡(luò)）以及Loss損失函數(shù)，我們把此網(wǎng)絡(luò)命名為“U3+GAN”（如圖2 RV-GAN網(wǎng)絡(luò)結(jié)構(gòu)）。此網(wǎng)絡(luò)結(jié)構(gòu)既保證了U網(wǎng)絡(luò)宏觀上血管分割的精度，也可以讓GAN架構(gòu)實(shí)現(xiàn)更細(xì)致、更高精度的微小血管分割。

本文章的主要工作總結(jié)如下：首先，我們提出了一種深度對抗網(wǎng)絡(luò)模型，利用對抗原則通過D網(wǎng)絡(luò)進(jìn)行監(jiān)督篩選，以此增強(qiáng)G網(wǎng)絡(luò)（即U-Net3+[15]）的分割能力，并且D網(wǎng)絡(luò)是基于多尺度輸入融合的兩個(gè)U型網(wǎng)絡(luò)組成，它與G網(wǎng)絡(luò)同為U形結(jié)構(gòu)，形成了一個(gè)對稱結(jié)構(gòu)，使G網(wǎng)絡(luò)和D網(wǎng)絡(luò)擁有同等對抗的能力，從而使G網(wǎng)絡(luò)可以更加細(xì)致地分割血管細(xì)節(jié)，提高對細(xì)小血管的分割精度。其次，U3+GAN利用U-Net3+的網(wǎng)絡(luò)全尺度融合架構(gòu)，其G網(wǎng)絡(luò)可以提取出大量細(xì)粒度的細(xì)節(jié)和粗粒度的語義，隨后傳入到D網(wǎng)絡(luò)之中進(jìn)行細(xì)致的多尺度鑒別，通過匹配相應(yīng)的加權(quán)損失函數(shù)，進(jìn)行梯度下降，降低損失并提高精度。最后，我們通過大量的實(shí)驗(yàn)，驗(yàn)證了網(wǎng)絡(luò)的有效性。

1方法

本文從最近的眼底視網(wǎng)膜血管分割研究中，受到V-GAN、RV-GAN和U-Net3+的啟發(fā)，我們通過融合了U-Net3+與RV-GAN的網(wǎng)絡(luò)模型，提出了一種新的U3+GAN架構(gòu)。在本小結(jié)中，我們將重點(diǎn)介紹此方案的一些實(shí)現(xiàn)細(xì)節(jié)，如圖2，我們的GAN網(wǎng)絡(luò)模型有兩個(gè)主干網(wǎng)絡(luò)，分別為生成分割圖像的G網(wǎng)絡(luò)（Generator）和擁有鑒別監(jiān)督功能的D網(wǎng)絡(luò)（Discriminator）。G網(wǎng)絡(luò)基于U-Net3+框架實(shí)現(xiàn)，D網(wǎng)絡(luò)基于RV-GAN的多尺度編解碼U形D網(wǎng)絡(luò)來實(shí)現(xiàn)，我們將他們組合并加以改進(jìn)，獲得了很好的分割結(jié)果。

1.1生成器（G網(wǎng)絡(luò)）

U-Net3+提出了全尺度跳躍連接，使每一個(gè)解碼器都融合了來自編碼器中的小尺度，同尺度以及大尺度的特征圖，從而獲得全尺度下的細(xì)粒度語義和粗粒度語義。

如圖3（來自U-Net3+）所示，第三層解碼器是由底層解碼器（Decoder）的特征圖和所有的編碼器（Encoder）特征圖融合而成，在中間部分，此網(wǎng)絡(luò)做了最大池化縮小編碼器和的特征圖分辨率，編碼器最下兩層和的特征圖通過雙線性插值上采用，從而擴(kuò)大分辨率。在統(tǒng)一了特征圖分辨率之后，它又進(jìn)行了U-Net式的通道維度拼接融合，得到了320個(gè)通道的特征圖，最后通過33卷積、BN和ReLU操作的得到了的圖像。

在研究醫(yī)學(xué)影像分割方面，U-Net3+引入了深度監(jiān)督（Deep supervision）和特定的損失函數(shù)，精細(xì)的捕獲大尺度和精細(xì)結(jié)構(gòu)的界限;并結(jié)合如圖4的分類指導(dǎo)模塊（CGM）限制了過度分割，很大程度提升了分割的性能。在訓(xùn)練時(shí)候U-Net3+比U-Net++擁有更少的參數(shù)，在此諸多優(yōu)點(diǎn)的基礎(chǔ)上，我們參考V-GAN中以U-Net架構(gòu)實(shí)現(xiàn)G網(wǎng)絡(luò)，使用U-Net3+網(wǎng)絡(luò)作為我們GAN網(wǎng)絡(luò)模型的生成器（G網(wǎng)絡(luò)），因此它擁有全尺度融合的特點(diǎn)，不但可以通過編碼器提取一些局部微小的血管特征，例如：微小分支，微型毛細(xì)血管和堵塞信息等，也可以通過解碼器學(xué)習(xí)到全局的粗粒度語，例如：動(dòng)脈血管，靜脈血管大體位置與結(jié)構(gòu)。

1.2鑒別器（D網(wǎng)絡(luò)）

對于D網(wǎng)絡(luò)，為了使生成器具有更精準(zhǔn)的提取信息能力，我們結(jié)合RV-GAN提出的多尺度U型的鑒別器，這樣使U3+GAN既具有了多尺度融合信息的特點(diǎn)，也具備了和G網(wǎng)絡(luò)有同等對抗能力的U型網(wǎng)絡(luò)。在D網(wǎng)絡(luò)輸入的圖像中，我們分別將G網(wǎng)絡(luò)生成的高層語義信息及較低層的特征信息傳入D網(wǎng)絡(luò)的兩個(gè)鑒別器當(dāng)中。對于傳入的底層信息我們通過MaxPooling2D模塊進(jìn)行下采樣縮小圖像分辨率，更好的提取底層信息，然后通過3X3卷積濾波模塊，最后通過Activation模塊進(jìn)行tanh處理得到底層D網(wǎng)絡(luò)的輸入圖片，用于幫助對抗網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練。我們將這兩個(gè)鑒別器分別定義為和，如圖2中的Discriminator架構(gòu)部分所示。

1.3整體和局部損失函數(shù)

在鑒別器網(wǎng)絡(luò)中，我們發(fā)現(xiàn)RV-GAN基于Patch-GAN[16]提出的多尺度編解碼鑒別器的損失有很多優(yōu)點(diǎn)，為此我們根據(jù)他們的不同編解碼損失構(gòu)建了自己的D網(wǎng)絡(luò)損失函數(shù)，每一個(gè)編碼器和解碼器提取出來的特征，都有一定的權(quán)重，介于[0：1]之間，并且總和為1，通過公式（1）和公式（2）進(jìn)行計(jì)算。

2實(shí)驗(yàn)（Experiments）

2.1 數(shù)據(jù)集

我們的模型是基于TensorFlow2.0來實(shí)現(xiàn)的，數(shù)據(jù)集為DRIVE[19]，圖像尺寸為TIF（565，584）。依據(jù)RV-GAN對數(shù)據(jù)集的處理方法，我們使用數(shù)據(jù)集中的每 5 倍交叉驗(yàn)證來訓(xùn)練U3+GAN 網(wǎng)絡(luò)。并使用重疊的圖像補(bǔ)丁，步幅為 32，圖像大小為（128，128），用于訓(xùn)練學(xué)習(xí)和驗(yàn)證。最后，我們得到了來自DRIVE 數(shù)據(jù)集16 張圖片尺寸為（20，20）的 4200張圖片，DRIVE 數(shù)據(jù)集帶有用于測試圖像的官方 FoV 掩碼，使得實(shí)驗(yàn)效率更高。

2.2? 超參數(shù)設(shè)置

對于U3+GAN訓(xùn)練，我們使用Hinge loss[17，18]。我們選擇了=0.5和=0.5（公式（1），公式（2））、 =10（公式（5）），=10（公式（6）），=10（公式（7）），并使用學(xué)習(xí)速率 = 0.0002，?= 0.5 和，?= 0.999為Adam 優(yōu)化器 [20]。對生成器和鑒別器進(jìn)行 100 次迭代，批量大小為8的訓(xùn)練。最后，我們在 RTX2070 GPU 上訓(xùn)練U3+GAN模型，耗時(shí)36個(gè)小時(shí)。

2.3 評價(jià)指標(biāo)

以二分類為例，評價(jià)指標(biāo)如表1所示：

在表2中，我們和近年來一些較好的架構(gòu)進(jìn)行了比較，從較早的Azzopardi[21]等人提出的分割模型，到現(xiàn)在YANG[28]提出的級聯(lián)結(jié)構(gòu)+多任務(wù)分割+融合網(wǎng)絡(luò)模型，在多種指標(biāo)的對比中，我們在SP、PR、ACC上面獲得了較好的性能。雖然我們SE指標(biāo)較低，分?jǐn)?shù)為0.7025，但是在SP指標(biāo)上我們獲得了0.9918的分?jǐn)?shù)，已經(jīng)領(lǐng)先了現(xiàn)有的大部分架構(gòu)。GAN 網(wǎng)絡(luò)的鑒別器可以鑒別生成器生成的分割圖片與真實(shí)圖片的不同，和其他的U型網(wǎng)絡(luò)相比多了一個(gè)校正錯(cuò)誤的老師，所以會(huì)表現(xiàn)出更好的性能，因此我們認(rèn)為將GAN架構(gòu)的網(wǎng)絡(luò)用在眼底視網(wǎng)膜血管分割上是很有潛力的研究方向。

如上圖5、6所示，我們的模型與不同的網(wǎng)絡(luò)進(jìn)行了對比，圖5中，局部圖片為使用32步重疊補(bǔ)丁的第69與104步圖片;圖6中局部圖片為相同步重疊補(bǔ)丁的35與100步圖片，圖片大小為（128，128）。從上兩圖中可以看出，對于單獨(dú)的編解碼U-Net模型（U-Net模型來自Github），U-Net提取的信息比較粗糙，雖然宏觀上可以較好的分割視網(wǎng)膜血管，但是在局部更加細(xì)微的結(jié)構(gòu)上分割的比較模糊，并且?guī)в泻芏嗟脑胍?。對于SA-UNet來說，在細(xì)節(jié)的分割方面出現(xiàn)了比金標(biāo)準(zhǔn)更多的毛細(xì)血管分支，并且血管交織部分并沒有精細(xì)的分割出來。而GAN網(wǎng)絡(luò)具有更加優(yōu)異的表現(xiàn)，GAN網(wǎng)絡(luò)擁有一個(gè)鑒別器，可以更好的校驗(yàn)生成器的分割結(jié)果，在圖的GAN分割圖中，可以看出我們的表現(xiàn)與RV-GAN網(wǎng)絡(luò)架構(gòu)不相上下。另外由于本文的G網(wǎng)絡(luò)結(jié)合了U-Net3+全尺度融合的方法，可以更好的提取粗粒度的宏觀特征與細(xì)粒度的微觀細(xì)節(jié)特征，所以此網(wǎng)絡(luò)相對擁有更好的分割準(zhǔn)確率，相比U-Net的架構(gòu)，我們對于毛細(xì)血管與動(dòng)脈的粗血管有更精準(zhǔn)的分割，比如分支、重疊、連續(xù)細(xì)小的部分血管。本文結(jié)構(gòu)與RV-GAN在測試集（圖5）上分割結(jié)果上相差不大，僅有一些細(xì)小的分支血管沒有分割清晰;并且我們發(fā)現(xiàn)RV-GAN返回原來的訓(xùn)練集上測試，反而結(jié)果沒有預(yù)期的精確，在圖7中的最后兩幅分割圖，我們可以看出在一些細(xì)小的分支結(jié)構(gòu)和連續(xù)毛細(xì)血管，RV-GAN均出現(xiàn)了未分割與分割間斷的情況，U3+GAN具有一定的優(yōu)勢性。綜合各項(xiàng)評價(jià)指標(biāo)，結(jié)果表明本文的U3+GAN模型能夠更好地提取毛細(xì)血管和樹狀結(jié)構(gòu)，并且對于宏觀粗血管也可以更精準(zhǔn)的分割，其分割結(jié)果比其他模型更為理想。

3結(jié)論

在這項(xiàng)工作中，我們提出了一種基于GAN框架的視網(wǎng)膜眼底血管分割的方法，該方法結(jié)合了U-Net3+和RVGAN的多尺度D網(wǎng)絡(luò)以更好地捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語義。實(shí)驗(yàn)結(jié)果表明，此模型網(wǎng)絡(luò)可以更精準(zhǔn)的分割眼底視網(wǎng)膜血管，在SP、PR、ACC的指標(biāo)上獲得了更高的得分。在研究中我們發(fā)現(xiàn)，針對GAN架構(gòu)網(wǎng)絡(luò)結(jié)合對Loss函數(shù)的改進(jìn)在圖像分割領(lǐng)域擁有更大的潛力。最后，為了更有效的將這種框架應(yīng)用到視網(wǎng)膜血管分割的實(shí)驗(yàn)中，我們希望可以讓此框架可以拓展到其他數(shù)據(jù)集中，并且可以用來分割眼底視網(wǎng)膜產(chǎn)生的異物與病變區(qū)域。

參考文獻(xiàn)

[1]Son J ，? Park S J ，? Jung K H . Retinal Vessel Segmentation in Fundoscopic Images with Generative Adversarial Networks[J].? 2017.

[2]Kamran S A ，? Hossain K F ，? Tavakkoli A ， et al. RV-GAN： Segmenting Retinal Vascular Structure in Fundus Photographs using a Novel Multi-scale Generative Adversarial Network[J]. arXiv e-prints， 2021.

[3]Chen C， Chuah JH， Raza A， Wang Y. Retinal vessel segmentation using deep learning： a review. IEEE Access. 2021 Aug 3.

[4]Soares JV， Leandro JJ， Cesar RM， Jelinek HF， Cree MJ. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification. IEEE Transactions on medical Imaging. 2006 Aug 21;25（9）：1214-22.

[5]李蘭蘭， 張孝輝， 牛得草， 胡益煌， 趙鐵松， 王大彪. 深度學(xué)習(xí)在視網(wǎng)膜血管分割上的研究進(jìn)展. 計(jì)算機(jī)科學(xué)與探索. 2021 Jun 17;15（11）：2063-76.