基于AFU-Net的眼底視網(wǎng)膜血管的分割

武芳，王鴻雁

（江蘇衛(wèi)生健康職業(yè)學(xué)院臨床醫(yī)學(xué)院，南京 210086）

0 引言

視網(wǎng)膜具有豐富的血管信息，血管的形態(tài)結(jié)構(gòu)對(duì)青光眼、糖尿病等疾病的診斷有重要意義，對(duì)視網(wǎng)膜血管的分割可以輔助眼科醫(yī)生進(jìn)行疾病診斷。眼底圖像數(shù)量多，圖像細(xì)節(jié)豐富，噪聲和光照情況都會(huì)影響醫(yī)生的分割結(jié)果，導(dǎo)致人工分割效率低，主觀影響大，因此研究基于計(jì)算機(jī)輔助的眼底血管自動(dòng)分割是當(dāng)前熱點(diǎn)。

1 AFU-Net網(wǎng)絡(luò)

1.1 數(shù)據(jù)準(zhǔn)備

本研究選用眼底公開數(shù)據(jù)集DRIVE，包含40張彩色眼底圖像，及其對(duì)應(yīng)的標(biāo)簽圖像和邊框圖像，其中20張為訓(xùn)練集，20張為測(cè)試集。為了增加數(shù)據(jù)集數(shù)據(jù)，避免過擬合，首先對(duì)DRIVE的訓(xùn)練集進(jìn)行了擴(kuò)充：對(duì)20組圖像執(zhí)行旋轉(zhuǎn)操作，每次旋轉(zhuǎn)30°，最后將訓(xùn)練數(shù)據(jù)集擴(kuò)充為240組圖像。有研究者證明，在圖像真彩色的三個(gè)分量中，綠色分量（G）中的血管對(duì)比度最高，本研究也沿用該方法。提取綠色分量后，圖像由三通道變?yōu)閱瓮ǖ?，通過標(biāo)準(zhǔn)化、對(duì)比度受限的自適應(yīng)直方圖均衡化和局部自適應(yīng)Gamma矯正，提高泛化能力、增強(qiáng)對(duì)比度、去除光照干擾［1］。然后再將原565×584尺寸裁剪為565×565，方便對(duì)其隨機(jī)提取，提取的圖像尺寸為48×48。

1.2 AFU-Net網(wǎng)絡(luò)

AFU-Net網(wǎng)絡(luò)是對(duì)U-Net網(wǎng)絡(luò)［2］的改進(jìn)，結(jié)構(gòu)如圖1所示，為了減少細(xì)節(jié)損失，編碼階段網(wǎng)絡(luò)采用兩次下采樣，卷積塊由兩次卷積組成，每次卷積后進(jìn)行批量歸一化和ReLU激活，中間加入隨機(jī)失活層（Dropout）操作防止過擬合，同時(shí)為了提高特征復(fù)用，在上采樣的卷積塊中使用了密集連接［3］。另外，下采樣中的最大池化用padding為valid的2×2卷積替換，同時(shí)通道數(shù)翻倍，減少由池化造成過多細(xì)節(jié)的丟失。在上采樣環(huán)節(jié)，借鑒特征金字塔（feature pyramid networks，F(xiàn)PN）［4］的思路，將不同上采樣階段的特征再融合。

圖1 AFU-Net網(wǎng)絡(luò)結(jié)構(gòu)

1.3 雙向注意力機(jī)制

在跳連環(huán)節(jié)采用雙向注意力通道，融合不同層級(jí)的特征。注意力機(jī)制［5］根據(jù)損失函數(shù)自動(dòng)學(xué)習(xí)特征通道的權(quán)重，然后依照獲得的權(quán)重去提升有用的特征通道并抑制無效或效果小的特征通道，通過SE（squeeze and excitation）實(shí)現(xiàn)。原網(wǎng)絡(luò)跳連是將編碼和解碼信息無差別融合，去噪聲干擾的能力不強(qiáng)，雙向的注意力機(jī)制將編碼和解碼中的重要信息同時(shí)提取，能夠提高對(duì)小細(xì)節(jié)及模糊部位信息的提取能力。如圖2所示，圖中x和y分別為編碼層和解碼層對(duì)應(yīng)跳連部分的輸出。以圖中上層注意力機(jī)制說明，編碼層的輸入特征圖x經(jīng)過全局最大池化后，重排列為1×1×C，此操作為Squeeze，捕獲全局信息。再將通道收縮為C/r，其中r為收縮的比例，提高網(wǎng)絡(luò)的非線性能力，是超參數(shù)。再通過1×1卷積將通道數(shù)量恢復(fù)為C，然后將其與解碼層的輸入特征圖y逐通道相乘，輸出重新標(biāo)定后的特征圖，最后將雙向標(biāo)定后的特征堆疊輸出。若x和y相同，則是自注意力，通過實(shí)驗(yàn)證明注意力比自注意力分割性能更好，具體數(shù)據(jù)在實(shí)驗(yàn)部分展示。

圖2 雙向注意力機(jī)制

2 實(shí)驗(yàn)結(jié)果

2.1 運(yùn)行環(huán)境

本實(shí)驗(yàn)基于分布式數(shù)值計(jì)算庫TensorFlow，和高層深度學(xué)習(xí)API Keras，電腦配置為64位Windows 10操作系統(tǒng)，CPU主頻3.00 GHz，內(nèi)存32 GB，顯卡為NVIDIA GeForce GTX 1080 6GB。優(yōu)化器為Adam，學(xué)習(xí)率為10-4時(shí)網(wǎng)絡(luò)穩(wěn)定收斂，為10-3時(shí)后期震蕩嚴(yán)重，所以選擇為10-4，損失函數(shù)采用交叉熵（categorical_crossentropy），批尺寸為32。

2.2 評(píng)價(jià)指標(biāo)

為了與其他研究者的算法相比較，本實(shí)驗(yàn)使用準(zhǔn)確率、精確率、F1值、特異性和靈敏度這幾個(gè)常用的評(píng)價(jià)指標(biāo)評(píng)估模型的性能，公式如表1所列。

表1 評(píng)價(jià)指標(biāo)及公式

表中TP表示輸出的是血管區(qū)域，實(shí)際也是血管區(qū)域；TN表示輸出是背景區(qū)域，實(shí)際上也是背景區(qū)域；F P表示輸出是血管區(qū)域，實(shí)際上是背景區(qū)域；FN表示輸出是背景區(qū)域，實(shí)際是血管區(qū)域。另外還有A U C為ROC曲線下的面積，面積越大，分割結(jié)果越好。

2.3 實(shí)驗(yàn)過程

（1）根據(jù)雙向互注意力機(jī)制中超參數(shù)r的選取對(duì)網(wǎng)絡(luò)性能的影響，選取最優(yōu)r值。實(shí)驗(yàn)結(jié)果比較如圖3所示，從圖中可以看出，對(duì)于有病灶的血管的分割，經(jīng)有多年影像診斷經(jīng)驗(yàn)的醫(yī)生確認(rèn)，r=16時(shí)對(duì)細(xì)小血管分割及平滑效果更好一些，所以在其他實(shí)驗(yàn)中均另r=16。

圖3 不同超參數(shù)r的實(shí)驗(yàn)結(jié)果

（2）對(duì)于單向注意力機(jī)制和雙向注意力中的輸入特征圖的選取，對(duì)x和y相同與不同的結(jié)果進(jìn)行比較，數(shù)據(jù)對(duì)比如表2，后續(xù)實(shí)驗(yàn)的雙向注意力選擇x≠y的結(jié)構(gòu)。

表2 注意力機(jī)制相關(guān)實(shí)驗(yàn)數(shù)據(jù)

（3）密集連接加入位置的實(shí)驗(yàn)對(duì)比如表3所示，僅在上采樣中加入密集連接分割效果較好，可能是下采樣環(huán)節(jié)中使用密集連接的同時(shí)把噪聲信息也傳遞的原因，后續(xù)實(shí)驗(yàn)選擇在上采樣環(huán)節(jié)加入密集連接。

表3 密集連接放置位置實(shí)驗(yàn)數(shù)據(jù)

（4）對(duì)不同模塊加載過程進(jìn)行實(shí)驗(yàn)，a為UNet結(jié)構(gòu)，b為卷積替換池化，c為特征金字塔，d為雙向注意力，e為上采樣環(huán)節(jié)加入密集連接，相關(guān)的評(píng)價(jià)指標(biāo)對(duì)比如表4。

表4 不同模塊對(duì)實(shí)驗(yàn)結(jié)果的影響

2.4 實(shí)驗(yàn)結(jié)果

在DRIVE數(shù)據(jù)集中對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較、評(píng)估。與其他研究者的局部血管分割效果對(duì)比，如圖4可見本文在細(xì)小血管提取方面有明顯的優(yōu)勢(shì)，由圖5可見，對(duì)于病灶較嚴(yán)重處血管分割效果，也基本上能把血管與病灶分離。

圖4 局部血管分割效果對(duì)比

圖5 病灶較嚴(yán)重處血管分割效果

表5 本文結(jié)果與其他作者的分割結(jié)果及第二專家的結(jié)果進(jìn)行對(duì)比

3 結(jié)語

本文提出了一種AFU-Net網(wǎng)絡(luò)自動(dòng)分割方法，利用卷積替換最大池化，融入密集連接、雙向注意力機(jī)制和特征金字塔，實(shí)驗(yàn)證明，該網(wǎng)絡(luò)有較高的準(zhǔn)確率和特異性，能夠較好的分割細(xì)小血管和病灶區(qū)域。該網(wǎng)絡(luò)的靈敏度稍低，接下來將著重于靈敏度和分割速度的提高，進(jìn)一步提升網(wǎng)絡(luò)性能。