基于改進(jìn)Unet的視網(wǎng)膜血管分割

徐婷宜，朱家明，宋 梟

(揚(yáng)州大學(xué)信息工程學(xué)院，江蘇 揚(yáng)州 225127)

1 引言

眼底視網(wǎng)膜是唯一可以通過無創(chuàng)眼底檢查觀察到微循環(huán)的人體部位，視網(wǎng)膜血管的直徑、粗細(xì)等很多特征變化直接反映出了一些病癥，如糖尿病、高血壓等[1]。視網(wǎng)膜血管分割是眼科疾病準(zhǔn)確可視化、診斷、早期治療和手術(shù)計劃的關(guān)鍵步驟。作為第一步，準(zhǔn)確的血管分割為后續(xù)操作奠定了關(guān)鍵基礎(chǔ)。由于血管在嘈雜背景下會發(fā)生極端變化，如小導(dǎo)管，光盤區(qū)的判別能力低等，手動分割需要手工標(biāo)記特征，既繁瑣又耗時。因此，尋求一種解決眼底圖像自動分割的方法引起了研究者極大的興趣。

2014年，Eid Emary等[2]提出了一種利用可能性模糊c均值(PFCM)聚類來克服傳統(tǒng)模糊c均值目標(biāo)函數(shù)的視網(wǎng)膜圖像自動血管分割方法。該方法用于驅(qū)動模糊聚類的優(yōu)化，但在計算過程中容易受到噪聲等外部信息的干擾，無法達(dá)到精確的分割效果。2016年，Pawel Liskowski等[3]提出一種使用在大型樣本訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)監(jiān)督分割技術(shù)。該方法提高了檢測精度，但實(shí)驗(yàn)樣本較多，計算量較大。Debamita Kumar等[4]提出一種將二維匹配濾波器應(yīng)用于眼底視網(wǎng)膜圖像，通過對比受限的自適應(yīng)直方圖均衡化檢測增強(qiáng)的血管的方法。該方法在網(wǎng)絡(luò)中引入拉普拉斯高斯 (LOG)濾波器，但實(shí)驗(yàn)網(wǎng)絡(luò)深，實(shí)驗(yàn)結(jié)果容易發(fā)生過擬合，影響分割效果。2018年，Khan等[5]提出一種改進(jìn)多尺度線檢測器分割方法。該方法提升了傳統(tǒng)尺線檢測器的去噪能力，但對于細(xì)微血管的特征采集能力比較薄弱。

為了減少視網(wǎng)膜血管分割的細(xì)節(jié)丟失，提升血管分割敏感度，使自動分割技術(shù)更好地應(yīng)用于臨床診斷，本文提出了一種添加了注意力機(jī)制(AG)的改進(jìn)Unet模型。首先，在上采樣和下采樣部分，將原始卷積模塊改為殘差卷積模塊，不僅緩解了由于網(wǎng)絡(luò)層數(shù)過深存在的梯度爆炸或梯度消失的問題[6]，還能捕獲不同層次的的視網(wǎng)膜信息，更好地表示圖像特征；其次，在網(wǎng)絡(luò)下采樣部分中引入自適應(yīng)的注意力機(jī)制，使注意力模塊在學(xué)習(xí)過程中更專注于視網(wǎng)膜中不同形狀和大小的血管，把血管和背景的權(quán)重區(qū)別開，提高了分割精度，達(dá)到分割細(xì)小血管的目的，實(shí)現(xiàn)更好的分割性能。

2 視網(wǎng)膜血管分割算法的構(gòu)建

2.1 Unet模型

Unet專為生物醫(yī)學(xué)圖像分割而設(shè)計。隨著數(shù)據(jù)擴(kuò)充數(shù)量的增加，該體系結(jié)構(gòu)可能適用于較少數(shù)量的訓(xùn)練數(shù)據(jù)集。它由編碼器和解碼器兩部分組成[7，8]。編碼路徑類似于用于分類的任何CNN類型架構(gòu)。它有助于從輸入圖像中提取更多上下文信息。有3×3卷積運(yùn)算(未填充)，具有批處理歸一化和ReLU功能，然后是2×2最大池化運(yùn)算(跨度為2)用于下采樣。對于每次下采樣，要素圖的數(shù)量都會增加一倍。解碼路徑包括特征圖的上采樣，上卷積層(3×3卷積)將特征圖的數(shù)量減半。解碼部分中的大量特征圖有助于在沒有不必要信息的情況下將從編碼部分提取的上下文信息傳播到輸出。編碼路徑的相應(yīng)裁剪特征圖與解碼路徑的3×3卷積和Relu串聯(lián)在一起。這樣做是為了提高輸出圖像的分辨率。最后，使用1×1的卷積層，將64個特征向量映射到所需的類。Unet結(jié)構(gòu)如圖1所示。

圖1 Unet結(jié)構(gòu)圖

2.2 殘差結(jié)構(gòu)

深度學(xué)習(xí)中更深的網(wǎng)絡(luò)可以提高給定任務(wù)的性能，但同時會影響訓(xùn)練，從而導(dǎo)致梯度消失。解決方案考慮殘差神經(jīng)網(wǎng)絡(luò)給出。普通單元和殘差單元之間的差異如圖2所示。圖2(a)所示的普通網(wǎng)絡(luò)用于Unet，而殘差層具有備用連接(圖2(b))。該殘差層有助于避免消失的梯度問題。殘差單元可以由式(1)定義：

H(x)=F(x)+x

(1)

圖2 網(wǎng)絡(luò)單元圖

3 網(wǎng)絡(luò)結(jié)構(gòu)與模型

3.1 Attention Gate(AG)

Attention Gate為注意力機(jī)制[9]，在醫(yī)療圖像中，需要檢測識別器官組織，忽略圖像中的無關(guān)區(qū)域，把注意力集中到對特定任務(wù)有用的顯著特征。最近的研究證明，用AG訓(xùn)練的深度學(xué)習(xí)模型隱式地提高了網(wǎng)絡(luò)的性能。AG的非典型結(jié)構(gòu)如圖3所示。

圖3 AG模型

(2)

在分割任務(wù)中，語義類型有多個，因此AGs是多維的，并且每個AG應(yīng)更加專注其分割目標(biāo)的情況。在該模型引入選通向量q(i，j)，用于確定每個通道像素的專注位置和上下文信息，以不斷改進(jìn)下層特征映射。對比乘法注意與加法注意的方式與性能，最后選擇乘法注意來獲得選通向量，并獲得了較好的分割效果。AGs的具體定義如下

(6)

σ2=F(y(i，j))=1/(1+exp-y(i，j))

(7)

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了基于改進(jìn)Unet的Res-Unet框架。它保留了Unet端對端的原始結(jié)構(gòu)，將粗糙的高層信息與精細(xì)的低層的信息結(jié)合在一起[10]。Unet網(wǎng)絡(luò)在編碼部分充分利用上下文的特征信息，在解碼部分改善背景噪聲的不良影響，以更好地回復(fù)出血管形態(tài)結(jié)果。但是Unet這種深層網(wǎng)絡(luò)模型在分割上也存在一些問題，網(wǎng)絡(luò)層數(shù)越深，越容易引起網(wǎng)絡(luò)性能退化。這種由大量網(wǎng)絡(luò)層間本身的級聯(lián)造成，并且由于眼底圖像間存在病灶區(qū)域或者拍攝角度變化等噪聲，Unet無法更好的抑制這類干擾信息，從而在血管分割上存在一定的細(xì)節(jié)丟失。

為了解決網(wǎng)絡(luò)性能退化的問題，本文在編碼器和解碼器部分都使用Resnet的模塊，它通過對堆積層的恒等映射，使堆積層在輸入特征的基礎(chǔ)上學(xué)習(xí)到新的特征，提高網(wǎng)絡(luò)性能[11]。

該編碼模塊由4組下采樣層與卷積層組成每一下采樣層包含2個并行通道，其卷積層尺寸均為3×3，初始卷積模塊的特征通道數(shù)為64，其中卷積模塊為Resnet，用以解決梯度問題，使網(wǎng)絡(luò)性能提升。解碼模塊由4組上采樣層與卷積層組成，其結(jié)構(gòu)和卷積層參數(shù)與編碼模塊相同。最高解碼層為1×1卷積層，用以輸出分割結(jié)果。在每層編碼模塊與解碼模塊之間都設(shè)置為帶有AG的跳躍連接，共4層，該模塊用以融合成像背景與血管比例，有效降低背景混沌對血管形態(tài)的影響。圖像信息經(jīng)過采集不同級別的分類過濾器并結(jié)合Resnet模塊跳躍連接的輸入圖像信息進(jìn)行解碼，注意力模塊通過增加血管權(quán)重抑制背景噪聲達(dá)到精確分割的目的。粗粒度層的過濾器用來判斷血管的大概位置和具體走勢，細(xì)粒度層獲取分叉末端等細(xì)微的特征信息進(jìn)行分類，使解碼端注意血管信息的權(quán)重比較高，而忽視噪聲背景等信息。網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)采集

DRIVE數(shù)據(jù)庫包含了40張照片，其中7張顯示了輕度早期糖尿病性視網(wǎng)膜病變的跡象。

STARE(視網(wǎng)膜的結(jié)構(gòu)化分析)由TopCon TRV-50眼底攝像頭捕獲的20個視網(wǎng)膜眼底玻片組成。數(shù)據(jù)集的一半包含健康受試者的圖像，其余包含病理病例，這使得分割更具挑戰(zhàn)性。圖5為數(shù)據(jù)庫圖像。

圖5 數(shù)據(jù)庫圖像

在預(yù)處理的完整圖像的子圖像(補(bǔ)丁)上執(zhí)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。尺寸為48*48的每個色塊是通過在整個圖像中隨機(jī)選擇其中心來獲得的。通過在20個DRIVE訓(xùn)練圖像的每一個中隨機(jī)提取5000個補(bǔ)丁，可獲得100000個補(bǔ)丁。數(shù)據(jù)集的前90%用于訓(xùn)練(90000個補(bǔ)丁)，而后10%用于驗(yàn)證(10000個補(bǔ)丁)。本文實(shí)驗(yàn)平臺為Linux平臺下的Keras框架。訓(xùn)練進(jìn)行了80個時期，最小批次為32個補(bǔ)丁。學(xué)習(xí)率為0.001，采用自適應(yīng)矩陣估計算法(Adam)優(yōu)化模型，在解碼階段使用批量隨機(jī)梯度下降法(SGD)優(yōu)化。使用Intel?CoreTMi7-9750CPU，訓(xùn)練持續(xù)約22個小時。

4.2 實(shí)驗(yàn)結(jié)果分析

表1 實(shí)驗(yàn)數(shù)據(jù)

根據(jù)表1中的內(nèi)容，DRIVE和STARE兩個數(shù)據(jù)庫在本文所提算法下的所有評價指標(biāo)均優(yōu)于原始Unet算法，基本可以實(shí)現(xiàn)分割任務(wù)，其中敏感度最低，需要進(jìn)一步提升。

圖6 DRIVE數(shù)據(jù)集分割結(jié)果

圖6為DRIVE數(shù)據(jù)庫中的test3和test15的分割結(jié)果，圖7為STARE數(shù)據(jù)庫中的img1181和img1184的分割結(jié)果。其中DRIVE數(shù)據(jù)庫中的分割優(yōu)勢更為明顯，可見本算法在背景較為純凈的圖像中效果更好。與原始Unet網(wǎng)絡(luò)的對比，本算法在血管形態(tài)復(fù)雜的情況下的分割水平適用性較好。

圖7 STARE數(shù)據(jù)集分割結(jié)果

4.3 算法改進(jìn)對比

為了進(jìn)一步說明本文算法將帶有殘差卷積模塊的編碼器和解碼器層和帶有注意力模塊的跳躍連接與Unet模型結(jié)合具有優(yōu)勢，本文將基于原始的Unet模型進(jìn)行部分調(diào)整，并在DRIVE數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對比，測試其準(zhǔn)確性、敏感性、特異性、AUC值與F1值。其中包含了Unet模型、只有殘差卷積的Unet網(wǎng)絡(luò)Res-Unet、只有注意力模塊的Att-Unet和本文分割算法。實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)對比數(shù)據(jù)

由表2可知，原始的Unet網(wǎng)絡(luò)分割效果已經(jīng)較為精準(zhǔn)，準(zhǔn)確性、敏感性和AUC值均達(dá)到90%以上，但敏感性較低，需要進(jìn)一步提升；Res-Unet利用殘差網(wǎng)絡(luò)進(jìn)行上下采樣，各項(xiàng)指標(biāo)都有了進(jìn)一步的提升，F(xiàn)1值與AUC值較低，說明網(wǎng)絡(luò)對血管細(xì)節(jié)分割的能力不強(qiáng)；Att-Unet利用注意力模型，降低噪聲的干擾，加強(qiáng)了對血管細(xì)節(jié)的分辨能力，表中可見F1值較Res-Unet有明顯提升，但準(zhǔn)確性基本沒有變化，說明該方法在提取信息的過程中存在信息丟失現(xiàn)象；本方法在準(zhǔn)確性、特異性、敏感性、AUC值與F1值都有顯著提升，說明本文的方法既能通過殘差模塊提取充分的特征信息，也可以通過注意力模塊忽略背景噪聲，將注意力集中在血管分割上，以達(dá)到相對較強(qiáng)的分割水平。分割細(xì)節(jié)如圖8所示。

表3 DRIVE數(shù)據(jù)庫算法指標(biāo)對比

圖8 分割結(jié)果圖

表4 STARE數(shù)據(jù)庫算法指標(biāo)對比

如表3、表4所示，本文根據(jù)上述所提評價指標(biāo)將本文與文獻(xiàn)[2]-[5]的分割方法在DRIVE和STARE數(shù)據(jù)集上進(jìn)行對比，從而進(jìn)一步證明本文所提算法的優(yōu)越性。

5 結(jié)論

本文提出了一種具有注意力機(jī)制的類Unet模型和一種具有權(quán)重的Res-Unet跳躍連接方案：在上下采樣的過程中將原始的卷積層改為殘差卷積進(jìn)行特征采樣，針對不同步長的粒度特征進(jìn)行累加，使細(xì)小血管的分叉處和末端的細(xì)微像素點(diǎn)抓取更準(zhǔn)確。在網(wǎng)絡(luò)解碼部分使用注意力模塊，使學(xué)習(xí)過程中更專注于視網(wǎng)膜血管的形狀和大小，忽略背景噪聲，以提高細(xì)小血管的分割精度，實(shí)現(xiàn)高精度視網(wǎng)膜血管分割。在DRIVE和STARE兩個數(shù)據(jù)集上評估了文中的方法，并將分割結(jié)果與傳統(tǒng)Unet網(wǎng)絡(luò)分割結(jié)果對比，實(shí)驗(yàn)證明本網(wǎng)絡(luò)的準(zhǔn)確性和靈敏度可以實(shí)現(xiàn)高性能的分割。