基于生成對(duì)抗網(wǎng)絡(luò)的眼底圖像生成方法

郭繼峰 龐志奇 李 星 楊 帆 岳 琪

(東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院 黑龍江 哈爾濱 150040)

0 引 言

針對(duì)眼底圖像數(shù)據(jù)樣本分布不均(帶病癥圖像數(shù)量遠(yuǎn)小于正常眼底圖像數(shù)量)問題，傳統(tǒng)的數(shù)據(jù)集擴(kuò)充方法主要有翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、添加噪聲等數(shù)據(jù)增強(qiáng)技術(shù)，以及對(duì)病癥圖像進(jìn)行過采樣，但只能對(duì)現(xiàn)有數(shù)據(jù)集進(jìn)行擴(kuò)充，擴(kuò)充結(jié)果對(duì)現(xiàn)有數(shù)據(jù)集具有很強(qiáng)的依賴性。在Ian Goodfellow提出GAN后，大量學(xué)者把GAN[1]用于擴(kuò)充數(shù)據(jù)集，且已有很多成功案例，但也存在細(xì)節(jié)丟失、生成樣本單一等不足。GAN在擴(kuò)充數(shù)據(jù)集應(yīng)用中，可大致分為兩方面，一種是基于無監(jiān)督學(xué)習(xí)的GAN及其改進(jìn)模型DCGAN[2]等，理論上可以生成豐富的圖片數(shù)據(jù)，但實(shí)際訓(xùn)練過程卻十分艱難，且Mode Collapse問題十分嚴(yán)重，生成效果也大多不盡如人意。之后Guibas等[3]提出的兩步生成眼底血管圖像的方法可以生成較高質(zhì)量的圖像，但仍然存在Mode Collapse問題，且訓(xùn)練過程不穩(wěn)定。另一種是把無監(jiān)督學(xué)習(xí)的GAN改進(jìn)為有監(jiān)督的CGAN[4]以及改進(jìn)的pix2pix，其中具有代表性的就是Appan等[5]提出的生成帶病組織的眼底血管圖像方法，這種方法能夠生成高質(zhì)量的圖像，但過于依賴成對(duì)的數(shù)據(jù)集，在成對(duì)數(shù)據(jù)集又十分有限的情況下，難以生成豐富的眼底圖像。

為了改進(jìn)以上方法的不足，本文提出基于改進(jìn)的CycleGAN[6]的生成方法。實(shí)驗(yàn)表明，該模型能夠在不配對(duì)的兩個(gè)數(shù)據(jù)集X、Y下進(jìn)行訓(xùn)練，生成圖像的質(zhì)量?jī)?yōu)于無監(jiān)督GAN，相比有監(jiān)督的pix2pix模型，該模型能夠生成更加豐富的圖片。把生成的圖像添加到視網(wǎng)膜出血檢測(cè)模型的訓(xùn)練集中，相比其他方法生成的圖像，本方法生成的圖像能夠大幅度提升模型檢測(cè)能力，有效緩解樣本分布不均問題。該方法為解決眼底血管圖像樣本不足和樣本分布不均提供了一條新思路。

1 相關(guān)理論

GAN是CGAN、WGAN[7]、CycleGAN的基礎(chǔ)，本文改進(jìn)的CycleGAN對(duì)比前幾種結(jié)構(gòu)，具有訓(xùn)練穩(wěn)定、收斂速度快且生成圖像質(zhì)量高的優(yōu)點(diǎn)。

1.1 GAN

GAN是由一個(gè)生成器G和一個(gè)判別器D組成，其中生成器以隨機(jī)噪聲作為輸入，輸出生成的圖像，不斷學(xué)習(xí)真實(shí)數(shù)據(jù)X的分布；判別器以生成器生成的圖像和真實(shí)圖像作為輸入，輸出樣本屬于真實(shí)圖像的概率。二者交替訓(xùn)練，最后達(dá)到全局最優(yōu)[8-10]。其目標(biāo)函數(shù):

Ez～pz(z)[log(1-D(G(z)))]

(1)

式中：pdata(x)是真實(shí)圖像的數(shù)據(jù)分布；pz(z)是隨機(jī)噪聲的數(shù)據(jù)分布；E表示數(shù)學(xué)期望。

1.2 CGAN

由于原始GAN過于自由，難以控制，CGAN應(yīng)運(yùn)而生。在生成器和判別器的輸入端都加入一個(gè)條件，使GAN變?yōu)楸O(jiān)督學(xué)習(xí)，從而提高生成圖像的質(zhì)量。其目標(biāo)函數(shù)：

Ez～pz(z)[log(1-D(G(z|y)))]

(2)

式中：y表示輸入到生成器和判別器的條件。

1.3 CycleGAN

CycleGAN本質(zhì)上是由兩個(gè)GAN組成的環(huán)形網(wǎng)絡(luò)，每個(gè)GAN共享兩個(gè)生成器且各自擁有一個(gè)判別器，可以實(shí)現(xiàn)x和y之間的相互映射。設(shè)生成器G實(shí)現(xiàn)X→Y的映射，判別器DY判別y是生成樣本還是真實(shí)樣本。則生成器G與判別器DY的目標(biāo)函數(shù)為:

LGAN(G,DY,X,Y)=Ey～pdata(y)[logDY(y)]+

Ex～pdata(x)[log(1-DY(G(x)))]

(3)

類似地，設(shè)生成器F實(shí)現(xiàn)Y→X的映射，判別器DX判別x是生成樣本還是真實(shí)樣本。則生成器F與判別器Dx的目標(biāo)函數(shù):

LGAN(F,DX,Y,X)=Ex～pdata(x)[logDX(x)]+

Ey～pdata(y)[log(1-DX(F(y)))]

(4)

CycleGAN中還包括一個(gè)cycle-loss，用來保證生成圖像保留原圖像的特征，且防止多個(gè)原始圖像映射成一個(gè)生成圖像。cycle-loss：

(5)

總的損失函數(shù)：

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+

LGAN(F,DX,Y,X)+λLcyc(G,F)

(6)

式中：λ表示cycle-loss的調(diào)節(jié)權(quán)重。

2 基于生成對(duì)抗網(wǎng)絡(luò)的眼底圖像生成

2.1 整體框架

本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的眼底圖像生成方法包括三個(gè)網(wǎng)絡(luò)：CGAN、WGAN、本文改進(jìn)的CycleGAN。本文算法的整體框架如圖1所示，具體流程包括以下三個(gè)階段。

(1) 利用圖像分割技術(shù)[11]從原始圖像中分割出血管樹和出血塊，利用分割出的血管樹圖像集訓(xùn)練WGAN，利用分割出的出血塊圖像集訓(xùn)練CGAN。

(2) 利用訓(xùn)練好的WGAN和CGAN分別生成大量血管樹和出血塊，其中出血塊帶有出血病癥等級(jí)標(biāo)簽。

(3) 基于生成的血管樹、出血塊、真實(shí)病癥圖像，訓(xùn)練本文改進(jìn)的CycleGAN。該網(wǎng)絡(luò)包括兩個(gè)生成器和兩個(gè)判別器，交替訓(xùn)練生成器和判別器直至模型收斂，從而生成大量帶出血病癥的眼底圖像。

圖1 基于生成對(duì)抗網(wǎng)絡(luò)的眼底生成方法整體框架

2.2 WGAN

本網(wǎng)絡(luò)包括一個(gè)生成器G和一個(gè)判別器D，其中生成器由1個(gè)全連接層和4個(gè)反卷積層組成，以隨機(jī)噪聲z作為輸入，輸出生成血管樹；判別器由5個(gè)卷積層組成，判斷輸入數(shù)據(jù)是來自生成圖像還是真實(shí)圖像。具體框架如圖2所示。

圖2 WGAN結(jié)構(gòu)

2.3 CGAN

由于眼底出血病癥嚴(yán)重程度與出血塊的數(shù)量直接相關(guān)(其中患病等級(jí)按出血塊數(shù)量分級(jí)：0級(jí)(無出血)，1級(jí)(含1～3個(gè)出血塊)，2級(jí)(含4～5個(gè)出血塊)，3級(jí)(含大于5個(gè)出血塊))，故本文采用CGAN生成出血塊，把出血塊對(duì)應(yīng)的病變等級(jí)作為標(biāo)簽，其中CGAN模型的生成器以病變等級(jí)y和隨機(jī)噪聲z作為輸入，輸出生成的出血塊，判別器以病變等級(jí)y和真實(shí)出血塊圖像或生成出血塊圖像作為輸入，判斷輸入數(shù)據(jù)是來自生成圖像還是真實(shí)圖像。待模型穩(wěn)定后，生成大量帶有患病等級(jí)標(biāo)簽的出血塊，具體框架如圖3所示。

圖3 CGAN結(jié)構(gòu)

2.4 對(duì)CycleGAN損失函數(shù)的改進(jìn)

2.4.1引入Wassertein距離代替原損失函數(shù)

GAN訓(xùn)練困難，其中重要原因是由于梯度消失，即在接近最優(yōu)的判別器下，生成數(shù)據(jù)和真實(shí)數(shù)據(jù)沒有不可忽略重合時(shí)，優(yōu)化生成器損失函數(shù)相當(dāng)于優(yōu)化Pg與Pdata之間的JS散度，而此時(shí)此JS散度近似為常數(shù)log2，即生成器面臨梯度消失，無法繼續(xù)訓(xùn)練下去。引入Wassertein距離代替原始損失函數(shù)，解決了梯度消失問題。改進(jìn)后的目標(biāo)函數(shù)：

(7)

式中：f(x)是判別器函數(shù)，此函數(shù)需要滿足Lipschitz約束，即用譜約束實(shí)現(xiàn)Lipschitz約束。本文在兩組判別器和生成器分別引入Wassertein距離，改進(jìn)后的生成器G與判別器DY的目標(biāo)函數(shù)如式(8)所示，改進(jìn)后的生成器F與判別器DX的目標(biāo)函數(shù)如式(9)所示。

Ex～q(x)[f(G(x))]

(8)

Ey～p(y)[g(F(y))]

(9)

式中：f(y)表示判別器DX函數(shù)；g(x)表示判別器DY函數(shù)。改進(jìn)后的損失函數(shù)如式(10)所示。

λLcyc(G,F)

(10)

2.4.2用譜約束實(shí)現(xiàn)全局Lipschitz約束

利用矩陣譜范數(shù)[12]的物理意義，即任何向量在經(jīng)過矩陣變換后，長度都小于等于此向量與該矩陣譜范數(shù)乘積的長度。即：

(11)

式中：σ(W)表示權(quán)重矩陣的譜范數(shù)，x表示該層的輸入向量，δ表示x的改變量。只要控制權(quán)重矩陣的譜范數(shù)就可以實(shí)現(xiàn)Lipschitz約束，所以把譜范數(shù)當(dāng)作正則項(xiàng)加入到損失函數(shù)中，即：

(12)

式中：后半部分即為權(quán)重矩陣譜范數(shù)的正則項(xiàng)，通過對(duì)每層譜范數(shù)總和進(jìn)行懲罰，使判別器滿足Lipschitz約束。

2.4.3引入同一映射損失

同一映射損失[13]Liml衡量圖像轉(zhuǎn)變后與原圖像的差異，使模型對(duì)原圖做盡量小的改動(dòng)。由x到y(tǒng)的映射損失和由y到x的同一映射損失分別定義為：

(13)

(14)

分別用數(shù)學(xué)期望計(jì)算生成圖像與真實(shí)樣本的差異，總體同一映射損失定義為：

Liml(FX→Y,GY→X)=Liml(FX→Y)+Liml(GY→X)

(15)

2.4.4引入感知損失

本文引入感知損失用于避免生成圖像出現(xiàn)模糊和細(xì)節(jié)損失：

(16)

式中：D、W和H分別表示特征的深度、寬度和高度;φ是特征提取函數(shù)。

綜上，由式(10)、式(12)、式(15)和式(16)得出本文提出的CycleGAN改進(jìn)后的損失函數(shù)，如式(17)所示。

λimlLiml(FX→Y,GY→X)+λplLpl(FX→Y,GY→X)

(17)

式中：λiml、λpl分別表示同一映射損失和感知損失的調(diào)節(jié)權(quán)重。

2.5 對(duì)CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

2.5.1對(duì)生成器的改進(jìn)

在生成器的網(wǎng)絡(luò)結(jié)構(gòu)中加入U(xiǎn)-Net的跳級(jí)結(jié)構(gòu)[14]，用以保留不同分辨率下圖像中像素級(jí)的圖像細(xì)節(jié)。跳級(jí)結(jié)構(gòu)如圖4所示。

圖4 U-NeT網(wǎng)絡(luò)結(jié)構(gòu)

去掉BN層[15]，在此之前已有實(shí)踐證明，在超分辨率重建和圖像去霧以及高倍數(shù)生成[16]方面，已取得良好效果，去掉BN層后，計(jì)算復(fù)雜度減小，生成器效果提升，且對(duì)于本文改進(jìn)后的損失函數(shù)，BN層會(huì)影響網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，因此去掉BN層。

由于BN層可以提高網(wǎng)絡(luò)學(xué)習(xí)速度，本文為保證去掉BN層后的網(wǎng)絡(luò)仍具有較快的學(xué)習(xí)速率，故引入新型激活函數(shù)——PReLU激活函數(shù)，如式(18)所示。

PReLU=max(αx,x)

(18)

式中：α為(0,1)之間的數(shù)，且接近于0。PReLU函數(shù)是ReLU函數(shù)的改進(jìn)，能夠有效避免負(fù)數(shù)信息被弱化的情況，且PReLU函數(shù)相對(duì)于ReLU函數(shù)實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量小，更適用于本實(shí)驗(yàn)。其具體結(jié)構(gòu)如圖5所示。

圖5 去除BN層的殘差塊結(jié)構(gòu)

改進(jìn)后的生成器結(jié)構(gòu)如圖6所示，其中網(wǎng)絡(luò)編程結(jié)構(gòu)包括4個(gè)卷積層、12個(gè)殘差塊結(jié)構(gòu)、3個(gè)反卷積層，其中卷積層與對(duì)應(yīng)的反卷積層之間有跳級(jí)結(jié)構(gòu)連接。

圖6 改進(jìn)的生成器結(jié)構(gòu)

2.5.2對(duì)判別器的改進(jìn)

基于馬爾可夫的判別器(PatchGAN)只注意圖像的局部結(jié)構(gòu)，忽略了對(duì)圖像整體的認(rèn)識(shí)，從而間接影響生成器的全局學(xué)習(xí)能力。本文在判別器網(wǎng)絡(luò)中引入擴(kuò)張卷積[14]，與正常卷積層相比，擴(kuò)張卷積擁有額外的參數(shù)——擴(kuò)張率，用于表示擴(kuò)張的大小，在相同參數(shù)數(shù)量的條件下，感受野隨擴(kuò)張率的增加呈指數(shù)增長，同時(shí)保持輸出的特征映射大小不變，從而使判別器能夠隱含地學(xué)習(xí)上下文。

具有高分辨率性質(zhì)的眼底圖像，需要一個(gè)具有很大感受野的判別器，若使用通常的處理方式，則需要增加網(wǎng)絡(luò)容量，這樣不僅容易導(dǎo)致過擬合，而且對(duì)內(nèi)存要求過高。本文引入多尺度判別器[14]，即對(duì)生成圖像進(jìn)行多次降低采樣，用訓(xùn)練的多個(gè)不同尺度的判別器，判別這些圖像的真假。在本文實(shí)驗(yàn)中，利用從精細(xì)到粗糙三種判別器尺度，其中：精細(xì)尺度的判別器感受野最小，對(duì)眼底血管以及出血等局部特征更加敏感，用以引導(dǎo)生成器生成更完善的細(xì)節(jié)；中等尺度的判別器負(fù)責(zé)感受野較大，負(fù)責(zé)區(qū)域判別；粗糙尺度的判別器具有最大感受野，負(fù)責(zé)眼底圖像的全局判別。多尺度結(jié)構(gòu)如圖7所示。

圖7 多尺度結(jié)構(gòu)

圖8中展示了三個(gè)不同尺度的判別器中采用的三個(gè)不同的擴(kuò)張卷積組合。

(a) 精細(xì)尺度判別器對(duì)應(yīng)的擴(kuò)張卷積組合

(b) 中等尺度判別器對(duì)應(yīng)的擴(kuò)張卷積組合

(c) 粗糙尺度判別器對(duì)應(yīng)的擴(kuò)張卷積組合
圖8 擴(kuò)張卷積編程圖

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境：TensorFlow使用靜態(tài)計(jì)算圖機(jī)制，而Pytorch使用動(dòng)態(tài)計(jì)算圖機(jī)制，能夠動(dòng)態(tài)創(chuàng)建新的計(jì)算圖，便于本實(shí)驗(yàn)調(diào)試過程，故本文實(shí)驗(yàn)使用Pytorch框架，并使用GPU加速模型訓(xùn)練。使用計(jì)算機(jī)配置為CPU E5 2670，RAM 128 GB，顯卡NVIDIA Tesla V100 16 GB。

數(shù)據(jù)集：圖像是由2015年kaggle視網(wǎng)膜比賽訓(xùn)練集挑選得出的分辨率為3 504×2 336像素的JPG眼底圖像，共1 400幅，并由眼科專家為其標(biāo)注出血等級(jí)標(biāo)簽。分為兩組，其中一組共1 000幅圖像，作為出血檢測(cè)系統(tǒng)的訓(xùn)練集，同時(shí)作為生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練集，用于擴(kuò)充數(shù)據(jù)集，另一組共400幅，作為出血檢測(cè)系統(tǒng)的測(cè)試集。

參數(shù)設(shè)置：本文在眼底圖像生成實(shí)驗(yàn)中，設(shè)置20 000、40 000、60 000三個(gè)不同的迭代次數(shù)進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比?？紤]到PReLU函數(shù)中參數(shù)α的數(shù)量只與通道數(shù)有關(guān)，對(duì)整個(gè)模型參數(shù)總量影響不大，不會(huì)增加過擬合風(fēng)險(xiǎn)。故本文為區(qū)別于固定小參數(shù)的LReLU，設(shè)置α初始值為0.25，并在訓(xùn)練過程中動(dòng)態(tài)更新。為適應(yīng)本文大規(guī)模數(shù)據(jù)和參數(shù)的優(yōu)化，本文采用自適應(yīng)優(yōu)化算法Adam。本文為避免網(wǎng)格效應(yīng)，在設(shè)置擴(kuò)張率時(shí)為精細(xì)尺度判別器選用{1，2，3}的循環(huán)擴(kuò)張率，為中等尺度判別器選用{1，2，5}的循環(huán)擴(kuò)張率，為粗糙尺度判別器選用{1，2，7}的循環(huán)擴(kuò)張率。

3.2 出血塊和血管樹的生成

通過圖像分割技術(shù)從真實(shí)帶出血病癥的眼底血管圖像中獲得血管樹、出血塊，作為原始數(shù)據(jù)集。用WGAN、CGAN分別生成大量血管樹和出血塊，并對(duì)生成血管樹進(jìn)行去噪處理。生成效果如圖9所示。

(a) 真實(shí)圖像

(b) 分割血管樹

(c) 分割出血塊

(d) 生成血管樹

(e) 生成出血塊圖9 用分割圖像分別生成血管樹和出血塊

3.3 生成眼底血管圖像及質(zhì)量對(duì)比

出血塊和血管樹預(yù)處理：把生成的出血塊和血管樹輸入到兩個(gè)并行的U-Net網(wǎng)絡(luò)中，并把得到的輸出合并，把得到的圖像作為改進(jìn)的CycleGAN模型的域X。

本文提出的基于改進(jìn)的CycleGAN在網(wǎng)絡(luò)訓(xùn)練過程中，用真實(shí)眼底圖片作為域Y，結(jié)合域X，對(duì)模型進(jìn)行訓(xùn)練。訓(xùn)練過程中，域X與域Y間沒有指定對(duì)應(yīng)的配對(duì)關(guān)系。

分別用WGAN、CycleGAN、本文改進(jìn)的CycleGAN模型進(jìn)行眼底血管圖像生成訓(xùn)練，生成眼底圖像如圖10所示。

(a) 血管樹

(b) 出血塊

(c) 真實(shí)圖像

(d) WGAN

(e) CycleGAN

(f) 本文方法圖10 眼底圖像生成實(shí)驗(yàn)結(jié)果對(duì)比

圖10(a)-(c)分別為迭代20 000次、40 000次和60 000次的結(jié)果，通過對(duì)比發(fā)現(xiàn)，迭代次數(shù)越多，生成圖像質(zhì)量越高，40 000次后趨于穩(wěn)定，與60 000次生成效果相似。對(duì)比圖10(d)-(f)行，可以發(fā)現(xiàn)在迭代次數(shù)相同的情況下，本文方法能夠生成更加逼真的圖像。如圖10(d)所示，用WGAN生成的圖像質(zhì)量并不理想，出現(xiàn)了大量模糊，且存在Mode Collapse，無法應(yīng)用到實(shí)際中。圖10(e)給出的CycleGAN生成的圖像，血管細(xì)節(jié)出現(xiàn)丟失，且存在部分模糊。圖10(f)給出的本文方法生成的眼底血管圖像，很好地保留了域X中血管細(xì)節(jié)，并且沒有出現(xiàn)Mode Collapse。

在相同的實(shí)驗(yàn)配置和設(shè)置下，本文比較了相同迭代次數(shù)后的生成結(jié)果。表1給出了對(duì)WGAN、CycleGAN、本文改進(jìn)的CycleGAN生成的圖像用SSIM和PSNR[17]圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行比較的結(jié)果。

表1 實(shí)驗(yàn)結(jié)果質(zhì)量評(píng)估

可以看出，在眼底血管圖像生成實(shí)驗(yàn)中，在迭代次數(shù)相同的情況下，本文方法SSIM和PSNR均高于其他方法，其中在60 000次迭代后，本文生成圖像的PSNR值比傳統(tǒng)CycleGAN提高9.82%，SSIM值提高了4.17%。即本文方法比原始CycleGAN提高了最終生成圖像質(zhì)量。

收斂速度實(shí)驗(yàn)中，本文方法相比原始CycleGAN以及WGAN，提高了收斂速度。本實(shí)驗(yàn)采用Iception score評(píng)價(jià)生成圖像的質(zhì)量和多樣性，即迭代次數(shù)相同情況下，評(píng)估分?jǐn)?shù)越高，收斂速度越快，生成的圖像質(zhì)量越好，結(jié)果如圖11所示。

圖11 收斂速度比較

可以看出，在相同數(shù)據(jù)集上訓(xùn)練WGAN、CycleGAN、本文改進(jìn)的CycleGAN、本文改進(jìn)的CycleGAN能夠更快收斂。

通過質(zhì)量評(píng)價(jià)實(shí)驗(yàn)和收斂速度實(shí)驗(yàn)證明，本文改進(jìn)的CycleGAN模型相比原模型以及WGAN，在生成圖像質(zhì)量和多樣性方面都有提升，且模型收斂速度更快。

3.4 在出血檢測(cè)系統(tǒng)中的應(yīng)用

通過使用不同的訓(xùn)練集來訓(xùn)練6種不同的檢測(cè)模型，測(cè)試生成圖像在出血檢測(cè)系統(tǒng)開發(fā)中的作用。首先設(shè)計(jì)多個(gè)訓(xùn)練集組合，將真實(shí)眼底圖像集標(biāo)記為R,數(shù)據(jù)增強(qiáng)后的圖像集標(biāo)記為A，把基于成對(duì)數(shù)據(jù)集的CGAN生成的眼底圖像集標(biāo)記為C，把WGAN、傳統(tǒng)CycleGAN和本文方法生成的眼底圖像集依次標(biāo)記為W、L和S。設(shè)計(jì)的多個(gè)訓(xùn)練集組合為：(1) 僅R；(2) R+A；(3) R+A+C；(4) R+A+W；(5) R+A+L；(6) R+A+S。分別用以上六個(gè)組合訓(xùn)練出血檢測(cè)系統(tǒng)，表2中列出了在這些圖像集下出血檢測(cè)系統(tǒng)的PPV和AUC值。

表2 出血檢測(cè)系統(tǒng)性能評(píng)估

表2結(jié)果表明，與R和R+A相比，在訓(xùn)練集中添加由GAN生成的圖像能夠提高出血檢測(cè)系統(tǒng)的性能。其中R+A+S產(chǎn)生了最佳性能，PPV值(比R+A+L值)提高了0.88%，AUC值提高了3.51%。本實(shí)驗(yàn)在證明GAN生成數(shù)據(jù)在出血檢測(cè)系統(tǒng)開發(fā)中有效性的同時(shí)，驗(yàn)證了本文方法優(yōu)于現(xiàn)有模型。

4 結(jié) 語

眼底出血檢測(cè)系統(tǒng)訓(xùn)練需要大量標(biāo)記圖像，而現(xiàn)實(shí)中患病圖像獲取困難且樣本數(shù)據(jù)分布不均。本文針對(duì)樣本分布不均問題，提出改進(jìn)的cycyleGAN模型，分三步生成了患病眼底圖像：首先在真實(shí)眼底圖像中分割出血管樹和出血塊，然后利用WGAN和CGAN分別生成血管樹和出血塊并合并，最后利用改進(jìn)后的CycleGAN模型在不成對(duì)的圖像集中生成帶出血病癥的眼底血管圖像。由本文方法生成的眼底圖像PSNR值和SSIM值均高于其他對(duì)比方法，且本文改進(jìn)的CycleGAN相比WGAN和傳統(tǒng)CycleGAN收斂更快。應(yīng)用本文方法擴(kuò)充的訓(xùn)練集，能夠顯著提高出血檢測(cè)系統(tǒng)的性能，優(yōu)于現(xiàn)有技術(shù)。由此可見，本文方法在緩解眼底圖像匱乏以及樣本分布不均問題上，比現(xiàn)有技術(shù)具有更優(yōu)異的效果。本文方法包括與其結(jié)合的出血檢測(cè)系統(tǒng)正在與黑龍江省內(nèi)三所醫(yī)院眼科接觸洽談試運(yùn)行，目前能夠初步輔助醫(yī)生診斷病癥，下一步還需繼續(xù)壓縮模型、完善細(xì)節(jié)并提升性能，進(jìn)一步推進(jìn)本文方法的臨床應(yīng)用。