基于集成分類型深度神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜眼底血管圖像分割*

蔣 蕓,王發(fā)林,張 海

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

1 引言

眼底疾病種類繁多復(fù)雜,其中發(fā)病率和致盲率比較高的有白內(nèi)障、青光眼和糖尿病視網(wǎng)膜病變等[1]。眼底是唯一能夠直接觀察到血管的人體部位,其自身的變化,如血管寬度、角度和分支形態(tài)等,為疾病的早期診斷提供了依據(jù)[2]。眼底血管分析是目前診斷眼底疾病的主要方式,眼底血管分割則是疾病定量分析的必要步驟。近年來(lái),隨著計(jì)算機(jī)硬件和圖像處理技術(shù)的發(fā)展,圖像分割技術(shù)也開(kāi)始應(yīng)用到眼底圖像領(lǐng)域[3]。

目前,國(guó)內(nèi)外研究人員在眼底圖像血管分割方面已有一些研究,主要分為無(wú)監(jiān)督和有監(jiān)督2大類[4]：

(1)無(wú)監(jiān)督方法。無(wú)監(jiān)督方法事先沒(méi)有標(biāo)注訓(xùn)練樣本,在大多數(shù)情況下直接構(gòu)建模型。主要包括基于血管跟蹤的方法[5,6]、基于匹配濾波的方法[7,8]、基于形變模型的方法[9]、基于C均值聚類的方法[10,11]和基于驗(yàn)證的自適應(yīng)局部閾值化的多閾值探測(cè)方法[12]等。文獻(xiàn)[5]提出了一種視網(wǎng)膜圖像血管分割和特征提取方法,這種多尺度線跟蹤方法是從一組像素開(kāi)始,這個(gè)過(guò)程是從亮度選擇規(guī)則派生的,并在橫截面輪廓條件無(wú)效時(shí)終止。文獻(xiàn)[7]提出的基于匹配濾波的方法首次將濾波器與圖像進(jìn)行卷積,提取目標(biāo)對(duì)象,因?yàn)橐暰W(wǎng)膜血管剖面的灰度符合高斯特性,所以可以通過(guò)計(jì)算圖像濾波后的最大響應(yīng)值來(lái)進(jìn)行血管分割。在文獻(xiàn)[9]中,基于形變模型的方法思路很直觀,它用曲線來(lái)描繪出血管的邊界,邊界曲線通過(guò)能量函數(shù)的參數(shù)來(lái)定義,在邊界兩側(cè)能量變化的影響下,邊界曲線發(fā)生形變,因此使能量函數(shù)最小化就可以達(dá)到分割血管的目的。由于視網(wǎng)膜中病變部位的特征和正常血管特征極為相似,所以這些方法會(huì)導(dǎo)致檢測(cè)錯(cuò)誤。

(2)有監(jiān)督方法。與無(wú)監(jiān)督方法不同,有監(jiān)督方法需要標(biāo)注訓(xùn)練樣本以構(gòu)建最佳預(yù)測(cè)模型。有監(jiān)督方法包含：K-近鄰方法[13]、支持向量機(jī)[9,14,15]和人工神經(jīng)網(wǎng)絡(luò)[16]等。目前性能最優(yōu)的視網(wǎng)膜血管分割方法是基于深度神經(jīng)網(wǎng)絡(luò)的方法[17 - 19]。Ronneberger等人[19]提出的U_Net,首先使用卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)從原始醫(yī)學(xué)圖像中提取特征；然后將這些特征上采樣到分割圖像,大大增強(qiáng)了深度神經(jīng)網(wǎng)絡(luò)以端到端以及像素到像素的方式分割血管的能力。圖像的上下文信息被捕獲并傳播到更高分辨率的層,因此獲得更高的分割準(zhǔn)確率，但仍然無(wú)法解決細(xì)小血管處分割斷裂的問(wèn)題,分割準(zhǔn)確率有待提升,性能也有很大的改善空間。文獻(xiàn)[20]提出了一種將異構(gòu)上下文感知功能與判別性學(xué)習(xí)框架相結(jié)合的方法對(duì)視網(wǎng)膜血管進(jìn)行分割。文獻(xiàn)[21]提出了一種整體嵌套邊緣檢測(cè)的方法對(duì)視網(wǎng)膜血管進(jìn)行分割。文獻(xiàn)[22]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)與最近鄰搜索的簡(jiǎn)單組合的方法對(duì)視網(wǎng)膜血管進(jìn)行分割。文獻(xiàn)[23]提出了一種基于U-Net的遞歸卷積神經(jīng)網(wǎng)絡(luò)RCNN(Recurrent Convolutional Neural Network)以及基于U-Net模型的遞歸殘差卷積神經(jīng)網(wǎng)絡(luò)對(duì)視網(wǎng)膜血管進(jìn)行分割。

針對(duì)現(xiàn)有分割方法中準(zhǔn)確率不高,對(duì)病灶和噪聲敏感等問(wèn)題,本文利用3個(gè)深度分類神經(jīng)網(wǎng)絡(luò)對(duì)視網(wǎng)膜眼底圖像的每個(gè)像素點(diǎn)進(jìn)行二分類,從而獲得完整的視網(wǎng)膜血管二值圖像。在STARE、DRIVE和CHASE標(biāo)準(zhǔn)數(shù)據(jù)集上得到了較好的實(shí)驗(yàn)結(jié)果。本文的主要工作如下：(1)利用3個(gè)分類性能良好的網(wǎng)絡(luò)(18層殘差網(wǎng)絡(luò)、擴(kuò)寬因子為8的16層寬度殘差網(wǎng)絡(luò)和擴(kuò)寬因子為10的28層寬度殘差網(wǎng)絡(luò)),提出了一種基于分類網(wǎng)絡(luò)分割眼底血管的方法。以病理醫(yī)生標(biāo)注的兩類區(qū)域邊界附近以類信息為標(biāo)簽的像素點(diǎn)為中心,構(gòu)建包含該像素點(diǎn)上下文信息的正方形圖像塊的訓(xùn)練集。以每個(gè)正方形圖像塊包含的像素的彩色灰度值作為特征,以這些圖像塊中心像素類信息為標(biāo)簽訓(xùn)練以上3個(gè)網(wǎng)絡(luò),并獲得了良好的分類準(zhǔn)確率。(2)逐像素遍歷測(cè)試圖像生成補(bǔ)丁即固定大小的圖像塊,將這些補(bǔ)丁按一定批量輸入已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中,對(duì)每個(gè)像素進(jìn)行分類，形成完整的分割圖像。(3)利用集成學(xué)習(xí)的思想,將不同模型輸出的分割結(jié)果進(jìn)行融合,得到最終的視網(wǎng)膜血管分割圖像。

2 卷積神經(jīng)網(wǎng)絡(luò)

殘差模塊通過(guò)使用跳過(guò)連接解決了梯度消失和梯度爆炸的問(wèn)題,且它們?cè)趫D像分類方面有著良好的效果[24]。而殘差網(wǎng)絡(luò)[25]由大量的殘差模塊組成，鑒于它們良好的分類性能,本文的工作是利用集成學(xué)習(xí)[26]的思想將殘差網(wǎng)絡(luò)進(jìn)行融合，并重新構(gòu)建殘差網(wǎng)絡(luò)中的殘差模塊,從而實(shí)現(xiàn)視網(wǎng)膜血管圖像的分割。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文利用性能良好的分類神經(jīng)網(wǎng)絡(luò)對(duì)眼底圖像的每個(gè)像素點(diǎn)進(jìn)行二分類,得到分割圖像,實(shí)現(xiàn)了一種基于分類型神經(jīng)網(wǎng)絡(luò)分割眼底血管的方法。本文提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中，Res_block代表殘差模塊，WRes_8_block表示寬度為8的殘差模塊，WRes_10_block表示寬度為10的殘差模塊。

Figure 1 Structure of the proposed network 圖1 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示,該網(wǎng)絡(luò)結(jié)構(gòu)由3個(gè)獨(dú)立的個(gè)體學(xué)習(xí)器組成：1個(gè)18層殘差網(wǎng)絡(luò)、1個(gè)16層寬度殘差網(wǎng)絡(luò)(其擴(kuò)展因子為8)和1個(gè)28層寬度殘差網(wǎng)絡(luò)(其擴(kuò)展因子為10)，分別稱為resnet18、wrn_16_8和wrn_28_10。這3個(gè)個(gè)體學(xué)習(xí)器是3個(gè)結(jié)構(gòu)不同的神經(jīng)網(wǎng)絡(luò),它們的基本模塊都為殘差模塊。本文將殘差網(wǎng)絡(luò)進(jìn)行微調(diào),通過(guò)在眼底圖像中隨機(jī)提取固定大小且以中心點(diǎn)像素類型為標(biāo)簽的補(bǔ)丁圖像訓(xùn)練所提出的網(wǎng)絡(luò)；然后將測(cè)試圖像逐像素遍歷生成補(bǔ)丁,將這些補(bǔ)丁按一定批量輸入已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中；最后對(duì)每個(gè)像素進(jìn)行分類,形成完整的分割圖像。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。表1顯示了每個(gè)卷積操作塊輸出特征圖的大小、卷積塊的個(gè)數(shù)和每個(gè)卷積塊內(nèi)卷積的個(gè)數(shù)。s表示卷積操作時(shí)的步長(zhǎng)，Bn表示批次量歸一化，ReLu表示ReLu激活函數(shù),fc表示全連接操作;512-d表示輸入特征的維度為512。

(1)resnet18。該學(xué)習(xí)器由18層殘差模塊組成,殘差模塊如圖2a所示。和圖3a相比較,本文使用的3×3卷積不僅加入了批量歸一化操作,而且激活函數(shù)的位置也做了相應(yīng)的調(diào)整,同時(shí)在跳過(guò)連接過(guò)程中加入了1×1卷積和批量歸一化。xL表示第L個(gè)殘差模塊的輸入,xL+1表示第L個(gè)殘差模塊的輸出。特征圖xL在殘差模塊內(nèi)部的傳輸過(guò)程如式(1)～式(5)所示：

Figure 2 Structure comparison of residual modules in individual learners圖2 個(gè)體學(xué)習(xí)器中殘差模塊結(jié)構(gòu)對(duì)比圖

(1)

Table 1 Network parameter of individual learners表1 個(gè)體學(xué)習(xí)器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

Figure 3 Convotation module圖3 卷積模塊示意圖

(2)

(3)

(4)

最后輸出為：

(5)

(2)wrn_16_8。該學(xué)習(xí)器是由16層且擴(kuò)寬因子為8的寬度殘差模塊組成。寬度殘差模塊如圖2b所示,m為殘差模塊中卷積核的個(gè)數(shù),與圖2a和圖3a相比,寬度殘差模塊在原始?xì)埐钅K的基礎(chǔ)上增加了一個(gè)系數(shù)k,這樣寬度殘差網(wǎng)絡(luò)中寬度殘差模塊的卷積核個(gè)數(shù)就變?yōu)閙*k,令k=8,同時(shí)加入了Dropout操作(drop_rate=0.4)和批次量歸一化操作。與resnet18學(xué)習(xí)器中殘差模塊相比,ReLU激活函數(shù)的位置發(fā)生了變動(dòng)。加寬殘差模塊勢(shì)必會(huì)帶來(lái)訓(xùn)練參數(shù)的激增,為了避免殘差網(wǎng)絡(luò)陷入過(guò)擬合的陷阱,引入了Dropout,淺層寬度殘差網(wǎng)絡(luò)就可以達(dá)到深層殘差網(wǎng)絡(luò)的效果。文獻(xiàn)[27]指出這樣微調(diào)的優(yōu)點(diǎn)是：引入寬度殘差模塊,拓寬卷積核的個(gè)數(shù),能夠減少網(wǎng)絡(luò)深度，增加殘差網(wǎng)絡(luò)的寬度，降低卷積層數(shù)并加快計(jì)算速度,在相同深度的殘差網(wǎng)絡(luò)中,寬度殘差網(wǎng)絡(luò)具有更好的性能。

(3)wrn_28_10。該學(xué)習(xí)器由28層且擴(kuò)寬因子為10的寬度殘差模塊組成,寬度殘差模塊如圖2b所示。wrn_28_10與wrn_16_8的殘差模塊的不同之處是擴(kuò)展因子k=10,drop_rate=0.3。

2.2 集成學(xué)習(xí)

集成學(xué)習(xí)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)完成學(xué)習(xí)任務(wù),有時(shí)也被稱為多分類系統(tǒng)。集成學(xué)習(xí)先產(chǎn)生一組“個(gè)體學(xué)習(xí)器”,再用平均法、投票法或?qū)W習(xí)法將它們結(jié)合起來(lái)。個(gè)體學(xué)習(xí)器通常由一個(gè)現(xiàn)有的學(xué)習(xí)算法利用訓(xùn)練數(shù)據(jù)產(chǎn)生,例如C4.5決策樹(shù)算法、BP神經(jīng)網(wǎng)絡(luò)算法等。

圖4是集成學(xué)習(xí)的一般結(jié)構(gòu)。如圖4所示,所有個(gè)體學(xué)習(xí)器都是一個(gè)種類的,稱為同質(zhì)個(gè)體學(xué)習(xí)器；相反地,如果所有個(gè)體學(xué)習(xí)器不全是一個(gè)種類,則稱為異質(zhì)個(gè)體學(xué)習(xí)器。目前來(lái)說(shuō),同質(zhì)個(gè)體學(xué)習(xí)器的應(yīng)用是最廣泛的。同質(zhì)個(gè)體學(xué)習(xí)器按照個(gè)體學(xué)習(xí)器之間的依賴關(guān)系可分為2類,第一類是個(gè)體學(xué)習(xí)器之間存在強(qiáng)依賴關(guān)系,一組個(gè)體學(xué)習(xí)器需要串行生成；另一類是個(gè)體學(xué)習(xí)器之間不存在強(qiáng)依賴關(guān)系,一組個(gè)體學(xué)習(xí)器可以并行生成。本文所使用的集成學(xué)習(xí)就是由同質(zhì)個(gè)體學(xué)習(xí)器組成,并且它們之間不存在強(qiáng)依賴關(guān)系。

Figure 4 Ensemble learning 圖4 集成學(xué)習(xí)示意圖

在集成學(xué)習(xí)中,通過(guò)模型融合將每個(gè)個(gè)體學(xué)習(xí)器的結(jié)果結(jié)合起來(lái),以便得到更優(yōu)的結(jié)果。假設(shè)集成學(xué)習(xí)包含N個(gè)同質(zhì)個(gè)體學(xué)習(xí)器{h1,h2,h3,…h(huán)N},其中hi在數(shù)據(jù)x上的輸出為hi(x)。集成學(xué)習(xí)中常用的融合策略主要有平均法、投票法和學(xué)習(xí)法,本文利用平均法對(duì)個(gè)體學(xué)習(xí)器的結(jié)果進(jìn)行融合。對(duì)于數(shù)值型輸出hi(x)∈R,最常見(jiàn)的融合策略是使用平均法，一般有2種平均法，簡(jiǎn)單平均法(如式(6)所示)和加權(quán)平均法(如式(7)所示)。

(6)

(7)

2.3 訓(xùn)練及測(cè)試

目前醫(yī)療圖像的數(shù)據(jù)集都比較小,所以本文對(duì)使用的數(shù)據(jù)集采用數(shù)據(jù)增強(qiáng)的方法(包括圖像旋轉(zhuǎn)、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)等)增加數(shù)據(jù)樣本，這對(duì)提高網(wǎng)絡(luò)魯棒性、網(wǎng)絡(luò)分割準(zhǔn)確率和防止過(guò)擬合都十分重要。

本文在訓(xùn)練階段和測(cè)試階段提取圖像補(bǔ)丁的方法不同,所以將訓(xùn)練階段和測(cè)試階段分開(kāi)表示。訓(xùn)練集的構(gòu)建是非常關(guān)鍵的一個(gè)環(huán)節(jié),定義R(·)為從圖像中提取尺寸為d×d正方形圖像塊的算子。R(pxy)∈R(d)2表示以(x,y)為中心像素在原始圖像I中提取的包括像素周邊上下文像素信息的圖像塊,具體描述如下：

R(pxy)={pr n|pr n∈I},

x-d/2≤r≤x+d/2,d/2≤n≤y+d/2

(8)

其中,r,n表示像素點(diǎn)的位置坐標(biāo)。需要指出的是,由于圖像塊的尺寸是一個(gè)像素個(gè)數(shù)為偶數(shù)的正方形塊,圖像塊R(pxy)包括了中心像素pxy和它的鄰域像素的空間位置關(guān)系,因此對(duì)該像素進(jìn)行標(biāo)記和分類時(shí),該像素不是孤立存在的,而是包括了上下文像素信息的圖像塊的分類。本文的目標(biāo)是對(duì)于任意輸入的圖像塊R(pxy),構(gòu)建一個(gè)函數(shù)f(·)預(yù)測(cè)中心像素pxy的類標(biāo)簽c(pxy),具體函數(shù)映射定義為:

f:R(pxy)→c(pxy)

(9)

其中,R(pxy)的定義如式(8)所示,包含以pxy為中心像素的上下文像素灰度信息。

在訓(xùn)練階段,從訓(xùn)練圖像中隨機(jī)選取像素點(diǎn),以該像素點(diǎn)為中心提取一個(gè)32×32(d=32)的圖像塊,每個(gè)圖像塊被標(biāo)記為0或1,即將每個(gè)圖像塊都進(jìn)行分類,0屬于背景,1屬于血管。而每個(gè)圖像塊的類別是根據(jù)這個(gè)像素點(diǎn)在真實(shí)圖像對(duì)應(yīng)位置像素點(diǎn)的強(qiáng)度決定的,若該像素點(diǎn)的強(qiáng)度為1,就將這個(gè)圖像塊標(biāo)記為1；相反地,若該像素點(diǎn)的強(qiáng)度為0,就將這個(gè)圖像塊標(biāo)記為0。本文共生成20萬(wàn)個(gè)這樣的圖像塊，然后將這些圖像塊按一定的批量輸入到提出的網(wǎng)絡(luò)結(jié)構(gòu)中,對(duì)這些圖像塊進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)值和真實(shí)類標(biāo)簽來(lái)更新優(yōu)化網(wǎng)絡(luò)。為了提高訓(xùn)練網(wǎng)絡(luò)的有效性,同時(shí)避免無(wú)效數(shù)據(jù)對(duì)訓(xùn)練時(shí)間的消耗,隨機(jī)提取的像素點(diǎn)都是在對(duì)應(yīng)的專家標(biāo)注的眼球輪廓圖像的對(duì)應(yīng)位置強(qiáng)度值為1的像素點(diǎn)。對(duì)3個(gè)學(xué)習(xí)器分別單獨(dú)訓(xùn)練及優(yōu)化,并將各自的網(wǎng)絡(luò)模型保存,以便選取最優(yōu)的網(wǎng)絡(luò)模型在測(cè)試階段調(diào)用。

在測(cè)試階段,本文對(duì)每幅測(cè)試圖像逐像素生成32×32的圖像塊,將這些圖像塊按一定批量輸入已經(jīng)訓(xùn)練好的個(gè)體學(xué)習(xí)器中,得到相應(yīng)的二分類結(jié)果,然后將分類結(jié)果對(duì)應(yīng)到像素點(diǎn)上,形成視網(wǎng)膜血管分割圖。和訓(xùn)練階段相似,測(cè)試階段也是在專家標(biāo)注的眼球輪廓圖像中強(qiáng)度值為1的位置提取的像素點(diǎn)。3個(gè)學(xué)習(xí)器生成各自的預(yù)測(cè)分割圖,然后利用平均法進(jìn)行融合,得到最終的視網(wǎng)膜血管分割圖像。由于提出的方法是逐像素分類的,所以分割一幅完整的圖像所需時(shí)間較長(zhǎng)。在DRIVE、STARE和CHASE數(shù)據(jù)集上分割一幅血管圖像分別需要2 min 47 s、3 min 52 s和7 min 19 s。

本文基于深度學(xué)習(xí)開(kāi)源包PyTorch,在配置為Intel(R) Xeon(R) E5-2620 V3 2.40 GHz CPU,NVIDIA Tesla K80 GPU 和Ubuntu64 操作系統(tǒng)的服務(wù)器上實(shí)現(xiàn)了所提方法。在訓(xùn)練階段,輸入批量大小為512,補(bǔ)丁大小為32×32,使用隨機(jī)梯度下降法(SGD)優(yōu)化網(wǎng)絡(luò),初始學(xué)習(xí)率為0.1,利用階梯衰減法更新學(xué)習(xí)率,衰減因子為0.01,動(dòng)量為0.9,權(quán)重衰減系數(shù)為0.000 5,訓(xùn)練總共迭代100個(gè)周期。損失函數(shù)使用交叉熵?fù)p失函數(shù)，定義如式(10)所示：

(10)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文在3個(gè)公開(kāi)的視網(wǎng)膜眼底血管圖像數(shù)據(jù)集(STARE[32]、DRIVE[33]和CHASE[34])上對(duì)提出的方法進(jìn)行測(cè)試。STARE數(shù)據(jù)集由20幅視網(wǎng)膜眼底血管圖像和對(duì)應(yīng)的真實(shí)標(biāo)記圖像以及相應(yīng)的專家標(biāo)注眼球輪廓圖像組成,利用留一法生成訓(xùn)練集和測(cè)試集,然后對(duì)評(píng)估指標(biāo)求和平均處理得到最終的評(píng)估結(jié)果(http：//www.ces.clemson.edu/ahoover/stare/)。

DRIVE數(shù)據(jù)集由40幅視網(wǎng)膜眼底血管圖像、對(duì)應(yīng)的真實(shí)標(biāo)記圖像和相應(yīng)的專家標(biāo)注眼球輪廓圖像組成,其中序號(hào)為21～40的眼底圖像組成訓(xùn)練集,序號(hào)為1～20的圖像組成測(cè)試集(http://www.isi.uu.nl/Research/Databases/DRIVE/)。

CHASE數(shù)據(jù)集由14幅左眼眼底圖像、相應(yīng)的14幅右眼眼底圖像、對(duì)應(yīng)的真實(shí)標(biāo)記圖像和相應(yīng)的專家標(biāo)注眼球輪廓圖像組成,前10幅對(duì)應(yīng)的左、右眼眼底圖像即20幅圖像組成訓(xùn)練樣本集,后4幅對(duì)應(yīng)的左、右眼眼底圖像即8幅圖像組成測(cè)試樣本集(https://blogs.kingston.ac.uk/retinal/chasedb1/)。

3.2 性能評(píng)估指標(biāo)

為了評(píng)估本文方法對(duì)視網(wǎng)膜眼底圖像分割的效果,本文通過(guò)生成混淆矩陣對(duì)敏感性(Sensitivity)、特異性(Specificity)、準(zhǔn)確率(Accuracy)和F-measure等評(píng)估指標(biāo)進(jìn)行性能分析。各個(gè)評(píng)估指標(biāo)的計(jì)算公式分別如式(11)～式(15)所示：

敏感性(Sensitivity)表示正確分割血管像素的總數(shù)與真實(shí)血管像素的總數(shù)之比:

(11)

特異性(Specificity)表示正確分割背景像素的總數(shù)與真實(shí)背景像素的總數(shù)之比:

(12)

準(zhǔn)確率(Accuracy)表示正確分割血管和背景像素的總數(shù)之和與整幅圖像總像素之比:

(13)

F-measure表示敏感性與精準(zhǔn)率之間的比例關(guān)系:

(14)

(15)

其中,TP為正確分割的血管像素的數(shù)目,TN為被正確分割的背景像素的數(shù)目,FP為被錯(cuò)誤分割為血管像素的背景像素?cái)?shù)目,FN為被錯(cuò)誤分割為背景像素的血管像素?cái)?shù)目。

3.3 視網(wǎng)膜血管提取結(jié)果

為了驗(yàn)證以分類網(wǎng)絡(luò)進(jìn)行分割以及集成學(xué)習(xí)的有效性,本文將3個(gè)個(gè)體學(xué)習(xí)器對(duì)視網(wǎng)膜血管分割結(jié)果和融合后的視網(wǎng)膜血管分割結(jié)果做了對(duì)比。表2是STARE數(shù)據(jù)集上的結(jié)果對(duì)比,表3是DRIVE數(shù)據(jù)集上的結(jié)果對(duì)比,表4是CHASE數(shù)據(jù)集上的結(jié)果對(duì)比。

Table 2 Segmentation results of individual classifier and fusion on STARE dataset表2 STARE數(shù)據(jù)集上個(gè)體分類器與融合的分割結(jié)果

Table 3 Segmentation results of individual classifiers and fusion on DRIVE dataset表3 DRIVE數(shù)據(jù)集上個(gè)體分類器與融合的結(jié)果

Table 4 Segmentation results of individual classifiers and fusion on CHASE dataset表4 CHASE數(shù)據(jù)集上個(gè)體分類器與融合的結(jié)果

表2～表4中都包含了4種結(jié)果：(1)resnet18學(xué)習(xí)器對(duì)視網(wǎng)膜血管的分割結(jié)果；(2)wrn_16_8學(xué)習(xí)器對(duì)視網(wǎng)膜血管的分割結(jié)果；(3)wrn_28_10學(xué)習(xí)器對(duì)視網(wǎng)膜血管的分割結(jié)果；(4)3個(gè)學(xué)習(xí)器分割結(jié)果融合后的視網(wǎng)膜血管的分割結(jié)果。

Figure 5 Comparison of retinal blood vessel segmentation results on STARE,DRIVE,and CHASE datasets圖5 STARE、DRIVE和CHASE數(shù)據(jù)集上視網(wǎng)膜血管分割結(jié)果比較

表2～表4中的3個(gè)學(xué)習(xí)器的分割準(zhǔn)確率都達(dá)到了96%,95%,96%以上。同時(shí),比較表2～表4的resnet18和wrn_16_8可以看出,引入寬度因子的淺層寬度殘差網(wǎng)絡(luò)和深層殘差網(wǎng)絡(luò)效果一樣，甚至更好。比較wrn_16_8和wrn_28_10發(fā)現(xiàn),在STARE和DRIVE數(shù)據(jù)集上，wrn_28_10的準(zhǔn)確率有所提升,但在CHASE數(shù)據(jù)集上，wrn_28_10的準(zhǔn)確率反而降低,這表明一味地增加寬度殘差網(wǎng)絡(luò)的深度和寬度在某些數(shù)據(jù)集上并不能提升性能。表2～表4融合后的分割準(zhǔn)確率、F-measure和Specificity比單個(gè)分類器的準(zhǔn)確率、F-measure和Specificity都高。這表明對(duì)個(gè)體學(xué)習(xí)器的融合是有效的,不同個(gè)體學(xué)習(xí)器學(xué)習(xí)的特征經(jīng)過(guò)融合互補(bǔ)之后,性能均有所提升。為了進(jìn)一步展示該方法在視網(wǎng)膜血管分割中的優(yōu)勢(shì),本文比較了融合前后的眼底血管分割圖像,如圖5所示。第1行對(duì)應(yīng)STARE數(shù)據(jù)集，第2行對(duì)應(yīng)DRIVE數(shù)據(jù)集，第3行對(duì)應(yīng)CHASE數(shù)據(jù)集。每一行的a列對(duì)應(yīng)原始視網(wǎng)膜圖像,b列是由專家分割的視網(wǎng)膜血管圖像,c列是由resnet18學(xué)習(xí)器分割的視網(wǎng)膜血管圖像,d列是由wrn_16_8學(xué)習(xí)器分割的視網(wǎng)膜血管圖像,e列是由wrn_28_10學(xué)習(xí)器分割的視網(wǎng)膜血管圖像，f列是將個(gè)體學(xué)習(xí)器的分割圖像融合得到的視網(wǎng)膜血管圖像。圖5c、圖5d和圖5e顯示3個(gè)個(gè)體學(xué)習(xí)器都可以很好地分割視網(wǎng)膜血管圖像,但是它們?nèi)匀话恍┰肼?并且小血管的分割相對(duì)模糊。為了對(duì)細(xì)小血管進(jìn)行更準(zhǔn)確的分割,本文將個(gè)體學(xué)習(xí)器分割結(jié)果進(jìn)行了融合,圖5f表明,融合后的視網(wǎng)膜血管圖像噪聲水平更低,對(duì)細(xì)小血管的分割更加全面,而且比較清晰,有更好的魯棒性和精準(zhǔn)性。

對(duì)STARE數(shù)據(jù)集的ROC曲線分析得到AUC為0.986 6。對(duì)DRIVE數(shù)據(jù)集的ROC曲線分析得到AUC為0.980 1。對(duì)CHASE數(shù)據(jù)集的ROC曲線分析得到AUC為0.982 7。AUC是ROC曲線下各部分的面積,AUC值越大,當(dāng)前分類方法越有可能將正樣本排在負(fù)樣本前,從而能夠更好地分類。

3.4 不同分割方法結(jié)果的對(duì)比

為了進(jìn)一步檢測(cè)本文方法對(duì)視網(wǎng)膜血管分割的有效性,本文在STARE、DRIVE和CHASE數(shù)據(jù)集上分別將其與文獻(xiàn)[21-23,35-43]中的方法進(jìn)行比較,通過(guò)敏感性、特異性、準(zhǔn)確率和F-measure等幾個(gè)指標(biāo)來(lái)比較視網(wǎng)膜血管分割的性能。

表5是不同方法在STARE數(shù)據(jù)集上視網(wǎng)膜血管分割的性能指標(biāo)。與文獻(xiàn)[21,23,36,37,42]的方法相比,雖然本文方法在特異性上沒(méi)有達(dá)到最優(yōu),但準(zhǔn)確率、敏感度和F-measure相比這些方法都是最高的，尤其在敏感度這一指標(biāo)中,本文提出的方法與文獻(xiàn)[13]的方法相比更具優(yōu)勢(shì),提高了0.25%。

表6是不同方法在DRIVE數(shù)據(jù)集上視網(wǎng)膜血管分割的性能指標(biāo)。與文獻(xiàn)[21,22,36]的方法相比,本文方法在敏感度上沒(méi)有達(dá)到最優(yōu)效果，與文獻(xiàn)[20,23,35,37]的方法相比,本文方法在特異性上也沒(méi)有到達(dá)最優(yōu)效果，但均與最優(yōu)指標(biāo)相差不大。在準(zhǔn)確率和F-measure上與其他方法相比,本文方法達(dá)到了最優(yōu)。

Table 5 Retinal blood vessel segmentation results on STARE dataset表5 STARE數(shù)據(jù)集上視網(wǎng)膜血管分割結(jié)果

Table 6 Retinal blood vessel segmentation results on DRIVE dataset表6 DRIVE數(shù)據(jù)集上視網(wǎng)膜血管分割結(jié)果

表7是使用不同方法在CHASE數(shù)據(jù)集上視網(wǎng)膜血管分割的性能指標(biāo)。與文獻(xiàn)[23]的方法相比,本文方法在敏感度上沒(méi)有達(dá)到最優(yōu)效果。與文獻(xiàn)[23,35,39]的方法相比,本文方法在特異性上也沒(méi)有到達(dá)最優(yōu)效果,但與最優(yōu)指標(biāo)相差不大。但是,在準(zhǔn)確率和F-measure上與其他方法相比,本文方法達(dá)到了最優(yōu)效果。表5～表7均表明本文方法極大地提高了算法的F-measure,得到了能提取細(xì)小血管、分割結(jié)果完整度高、有臨床應(yīng)用價(jià)值的分割結(jié)果。

Table 7 Retinal blood vessel segmentation results on CHASE dataset表7 CHASE數(shù)據(jù)集上視網(wǎng)膜血管分割結(jié)果

圖6～圖8分別是在STARE、DRIVE和CHASE數(shù)據(jù)集上文獻(xiàn)[24]的方法和本文方法的分割圖像的對(duì)比,其中a列為原始視網(wǎng)膜圖像,b列為專家手動(dòng)分割標(biāo)準(zhǔn)參考圖像,c列為文獻(xiàn)[23]的方法的分割結(jié)果圖像,d列為本文方法的分割結(jié)果圖像。

Figure 6 Segmentation image comparison on STARE dataset圖6 STARE數(shù)據(jù)集上分割圖像比較

Figure 7 Segmentation image comparison on DRIVE dataset圖7 DRIVE數(shù)據(jù)集上分割圖像比較

Figure 8 Segmentation image comparison on CHASE dataset圖8 CHASE數(shù)據(jù)集上分割圖像比較

由圖6可知,圖6c中細(xì)小血管出現(xiàn)了斷裂現(xiàn)象,同時(shí)周?chē)霈F(xiàn)大量偽影,這會(huì)對(duì)臨床診斷造成嚴(yán)重的干擾。而本文方法的血管分割圖像在細(xì)小血管周?chē)鷽](méi)有出現(xiàn)大量偽影,并且只有少量的細(xì)小血管發(fā)生斷裂現(xiàn)象。由圖7可知,文獻(xiàn)[23]的方法提取的血管寬度過(guò)細(xì),許多細(xì)小血管沒(méi)有得到體現(xiàn),血管提取的完整度不高。細(xì)小血管對(duì)視網(wǎng)膜圖像有著重要的意義,丟失細(xì)小血管信息對(duì)醫(yī)療診斷十分不利。本文方法對(duì)視網(wǎng)膜血管圖像的分割更具完整性和連通性。由圖8可知,文獻(xiàn)[23]的方法提取的血管管狀結(jié)構(gòu)不明顯,在血管末端和分支處存在斷裂。本文方法提取的血管圖像在血管交叉處不易因其特殊的形態(tài)結(jié)構(gòu)而造成分割斷裂,末端血管也能很好地被分割出來(lái),斷裂的細(xì)小血管少。這也進(jìn)一步說(shuō)明本文方法具有良好的分割性能,具有更強(qiáng)的魯棒性和有效性。綜上所述,本文方法可以對(duì)視網(wǎng)膜血管圖像進(jìn)行有效精準(zhǔn)的分割。

4 結(jié)束語(yǔ)

視網(wǎng)膜眼底血管的高精準(zhǔn)分割可以成為醫(yī)生診斷眼底疾病十分重要的參考依據(jù)。本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的逐像素分割方法。利用3個(gè)以分類型神經(jīng)網(wǎng)絡(luò)為結(jié)構(gòu)的個(gè)體學(xué)習(xí)器對(duì)視網(wǎng)膜圖像每個(gè)像素點(diǎn)進(jìn)行分類來(lái)形成視網(wǎng)膜血管圖像,并將個(gè)體學(xué)習(xí)器的分割結(jié)果進(jìn)行融合得到最終的視網(wǎng)膜血管分割圖像。由于殘差網(wǎng)絡(luò)對(duì)特征值的改變特別敏感,本文利用不同結(jié)構(gòu)的殘差模塊和寬度殘差模塊,使提取的特征更加準(zhǔn)確。本文分別在STARE、DRIVE和CHASE數(shù)據(jù)集上對(duì)本文方法進(jìn)行了驗(yàn)證，準(zhǔn)確率分別達(dá)到97.36%,95.57%和96.36%,F-measure分別達(dá)到了84.98%,82.25%和79.87%。對(duì)分割血管圖像的分析和比較結(jié)果表明,本文提出的方法比其他方法更具優(yōu)勢(shì)。