基于注意力U-Net網(wǎng)絡(luò)的彩色眼底圖像視網(wǎng)膜血管分割

鄭麗萍 張?zhí)焓? 曹珂崯

摘? 要：彩色眼底圖像的視網(wǎng)膜血管分析可以幫助醫(yī)生診斷許多眼科和全身性疾病，具有十分重要的臨床意義。為進(jìn)一步提高視網(wǎng)膜血管的分割效果，文章提出一個(gè)基于注意力U-Net網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法，該方法使用U-Net結(jié)合通道注意力機(jī)制以提高分割準(zhǔn)確率，在公開(kāi)數(shù)據(jù)集DRIVE的靈敏度、特異性和準(zhǔn)確率分別為0.772 6，0.984 7和0.966 0，優(yōu)于現(xiàn)有的許多方法。

關(guān)鍵詞：注意力；U-Net；血管分割

中圖分類號(hào)：TP391.4? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）06-0065-04

Segmentation of Retinal Vascular in Color Fundus Images Based on Attention U-Net Network

ZHENG Liping， ZHANG Tianshu， CAO Keyin

（Jiangsu Vocational College of Electronics and Information， Huaian? 223001， China）

Abstract： Retinal vascular analysis of color fundus images can help doctors diagnose many ophthalmic and systemic diseases， which is of great clinical significance. To further improve the segmentation effect of retinal vascular， this paper proposes a retinal vascular segmentation method based on attention U-Net network， which uses U-Net and channel attention mechanism to improve segmentation accuracy， The sensitivity， specificity and accuracy of DRIVE in the open dataset are 0.772 6， 0.984 7 and 0.966 0 respectively， which are superior to many existing methods.

Keywords： attention; U-Net; vascular segmentation

0? 引? 言

眼睛是人類接受外部信息的重要器官之一，而隨著年齡的增長(zhǎng)各種眼科疾病的發(fā)病率會(huì)顯著上升。眼底的視網(wǎng)膜血管是人類全身血管系統(tǒng)中唯一可以無(wú)創(chuàng)觀察到的部分，視網(wǎng)膜血管的變化不僅可以觀察到各種眼科致盲疾病，還可以診斷身體各種全身性疾病，例如糖尿病[1]。彩色眼底圖像的視網(wǎng)膜血管分割可以幫助醫(yī)生細(xì)致的觀察到視網(wǎng)膜的寬度和分叉形態(tài)的變化，這有助于對(duì)各種眼科和全身性疾病的前期診斷[2]，避免疾病進(jìn)一步惡化。因此，使用圖像處理技術(shù)對(duì)彩色眼底圖像進(jìn)行視網(wǎng)膜血管分割具有重要的臨床意義和研究?jī)r(jià)值。圖1（a）為正常彩色眼底圖，圖1（b）為早期糖尿病彩色眼底病變圖，圖1（c）為手動(dòng)正常彩色眼底血管分割圖像。

近年來(lái)，許多國(guó)內(nèi)外學(xué)者進(jìn)行了大量彩色眼底圖像視網(wǎng)膜血管分割的研究，其中根據(jù)是否需要先驗(yàn)的標(biāo)簽信息可以分為有監(jiān)督的分割方法和無(wú)監(jiān)督的分割方法兩類。無(wú)監(jiān)督的視網(wǎng)膜血管分割方法不需要提供額外的標(biāo)簽信息，Zhang等人[3]協(xié)同使用匹配濾波對(duì)視網(wǎng)膜血管進(jìn)行分割，該方法協(xié)同使用局部和全局特征，在當(dāng)時(shí)取得了不錯(cuò)的效果。Fraz等人[4]使用4個(gè)不同方向的高斯濾波得到中心線，然后使用頂帽變換增加血管信息，最后，選出候選區(qū)域并以血管中心線上的點(diǎn)初始點(diǎn)，在候選區(qū)域使用區(qū)域生長(zhǎng)法不停填充血管。無(wú)監(jiān)督的方法雖然在前期可以減少制作標(biāo)簽的工作量，但其分割效果受到的選取人工特征的影響較大，并且泛化能力較弱。

有監(jiān)督的方法需要在前期訓(xùn)練提供相應(yīng)的標(biāo)簽信息，現(xiàn)在主流的有監(jiān)督的分割方法主要是基于深度學(xué)習(xí)的算法，Almo等人[5]利用U-Net[6]、殘差網(wǎng)絡(luò)和遞歸卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)建RU-Net和R2U-Net，在視網(wǎng)膜血管分割任務(wù)上表現(xiàn)出優(yōu)秀的性能。Soomro等人[7]設(shè)計(jì)了一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行精細(xì)視網(wǎng)膜血管分割，該方法包括預(yù)處理和后處理的過(guò)程，預(yù)處理用來(lái)處理照明不均勻，而后處理步驟用于去除背景噪聲像素。孟嫻靜等人[8]改進(jìn)了SegNet[9]進(jìn)行眼底圖像的視網(wǎng)膜血管分割，他們根據(jù)數(shù)據(jù)特征設(shè)計(jì)了不同的編碼塊和解碼塊，并在解碼的最后階段結(jié)合不同尺度的特征以提高網(wǎng)絡(luò)的性能。進(jìn)一步的研究使用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)結(jié)合注意力機(jī)制進(jìn)行視網(wǎng)膜血管分割，表現(xiàn)也十分出色，陳林等人[10]構(gòu)建了一個(gè)基于殘差模塊與CBAM注意力機(jī)制模塊的混合編-解碼網(wǎng)絡(luò)，在DRIVE、STARE和CHASE_DB1數(shù)據(jù)集上都取得了不錯(cuò)的效果，鄧小波等人[11]設(shè)計(jì)了一個(gè)雙通路卷積神經(jīng)網(wǎng)絡(luò)DPCA-Net分割視網(wǎng)膜血管，其中網(wǎng)絡(luò)的主路徑和次路徑都融合了通道注意力機(jī)制來(lái)自適應(yīng)預(yù)測(cè)潛在的關(guān)鍵特征，它在DRIVE數(shù)據(jù)集上取得了95.58%的準(zhǔn)確率。

綜上，本文構(gòu)建一個(gè)基于注意力U-Net網(wǎng)絡(luò)[6]用于實(shí)現(xiàn)彩色眼底圖像的視網(wǎng)膜血管分割，進(jìn)一步提高了視網(wǎng)膜血管分割的準(zhǔn)確性。我們通過(guò)實(shí)驗(yàn)驗(yàn)證本文提出方法的有效性，在DRIVE數(shù)據(jù)集[12]上Se為0.772 6，Sp為0.984 7，Acc為0.966 0，優(yōu)于現(xiàn)有的許多方法。

1? 相關(guān)方法

本文采用一個(gè)基于注意力U-Net網(wǎng)絡(luò)用來(lái)完成彩色眼底圖像的視網(wǎng)膜血管分割，整體網(wǎng)絡(luò)主要包骨干網(wǎng)絡(luò)U-Net和通道注意力機(jī)制兩個(gè)部分。

1.1? U-Net

U-Net[6]是由Ronneberger等人創(chuàng)建的像素級(jí)分類網(wǎng)絡(luò)，它常被用在生物醫(yī)學(xué)圖像處理當(dāng)中，本文采用U-Net作為彩色眼底圖像的視網(wǎng)膜分割任務(wù)的骨干網(wǎng)絡(luò)。U-Net的網(wǎng)絡(luò)結(jié)構(gòu)[6]如圖2所示，從圖中可以看出U-Net分為左邊的編碼階段和右邊的解碼階段兩個(gè)階段，編碼階段是由交替的卷積層（conv3×3，ReLu）和下采樣層（max pooling 2×2）組成，編碼階段用來(lái)提取圖像的高級(jí)語(yǔ)義信息，解碼階段則是由卷積層（conv3×3，ReLu）和上采樣層（up-conv 2×2）交替組成，編碼階段把編碼階段提取到的特征圖還原到原圖大小，編碼階段和解碼階段對(duì)應(yīng)的層存在跳層連接（copy and crop），它可以結(jié)合淺層信息和深層信息，降低編碼階段的下采樣所帶來(lái)的信息損失。

1.2? 通道注意力機(jī)制模塊

在彩色眼底圖像的視網(wǎng)膜分割任務(wù)當(dāng)中，每一個(gè)通道的圖像都包含不同比重的視網(wǎng)膜血管信息，因此本文在骨干網(wǎng)絡(luò)的基礎(chǔ)上建立通道注意力機(jī)制模塊，它用來(lái)自適應(yīng)的給不同的通道賦予不同的權(quán)重，即包含視網(wǎng)膜血管信息多的通道分配的權(quán)重就大，以此讓U-Net的注意力聚焦到圖像中“那些”是視網(wǎng)膜血管的部分，增加最終網(wǎng)絡(luò)的分割效果。

本文創(chuàng)建的通道注意力機(jī)制模塊如圖3所示，特征圖進(jìn)入通道注意力機(jī)制模塊時(shí)首先經(jīng)過(guò)一個(gè)最大池化與平均池化的concat操作，隨后進(jìn)入一個(gè)兩層的感知機(jī)，在感知機(jī)中第一層神經(jīng)元數(shù)為原通道數(shù)/16，第二層神經(jīng)元數(shù)為原通道數(shù)，最后通過(guò)一個(gè)sigmoid函數(shù)并乘以原特征圖得到通道注意力，經(jīng)過(guò)本文的通道注意力機(jī)制后原特征圖的通道數(shù)和大小都沒(méi)有改變，這使得本文的通道注意力機(jī)制可以方便地嵌入到各種骨干網(wǎng)絡(luò)當(dāng)中。

最終本文所使用的網(wǎng)絡(luò)是U-Net結(jié)合通道注意力機(jī)制模塊，我們?cè)赨-Net的編碼每個(gè)下采樣層之前和解碼階段的和每個(gè)上采樣層之后放入了通道注意力機(jī)制模塊，以改善模型的分割效果。

2? 數(shù)據(jù)集

2.1? 數(shù)據(jù)集介紹

本文采用視網(wǎng)膜血管公開(kāi)數(shù)據(jù)集DRIVE[12]作為本文實(shí)驗(yàn)用數(shù)據(jù)集，DRIVE數(shù)據(jù)集是2004年Niemeijer團(tuán)隊(duì)為了篩選荷蘭糖尿病患者的視網(wǎng)膜病變工作而建立的彩色眼底圖像數(shù)據(jù)集[13]，該數(shù)據(jù)集包括40張彩色視網(wǎng)膜圖像，其中7張圖像是早期糖尿病視網(wǎng)膜病變的，另外33張是正常人的彩色眼底圖像，每張圖的分辨率為565×584。DRIVE數(shù)據(jù)集本身就區(qū)分了訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集分別為20張不同的彩色眼底圖像，且每張圖像都配有專家手動(dòng)分割的血管標(biāo)簽圖像。

2.2? 數(shù)據(jù)預(yù)處理方法

彩色眼底圖像由專業(yè)團(tuán)隊(duì)專門采集而來(lái)，但由于受到相機(jī)的性能、光照和病人眼底病例結(jié)構(gòu)的不同等影響，這將導(dǎo)致每張圖的質(zhì)量大不相同，并且由于DRIVE的訓(xùn)練集只有20張圖像，對(duì)于深度學(xué)習(xí)訓(xùn)練來(lái)說(shuō)數(shù)據(jù)相對(duì)較少，以上原因都會(huì)進(jìn)一步會(huì)影響到網(wǎng)絡(luò)的最終效果，因此在網(wǎng)絡(luò)訓(xùn)練之前需要對(duì)所有訓(xùn)練用的圖像進(jìn)行預(yù)處理和數(shù)據(jù)增強(qiáng)操作。

2.2.1? 分割通道

DRIVE數(shù)據(jù)集所采集的圖像是R、G、B三通道的圖像，然而這三個(gè)通道中含有一些無(wú)用信息。圖4中（b）（c）和（d）分別為分割原圖的R、G、B三通道的圖像，可以從圖中觀察到G通道可以更清楚地看到眼底的各種細(xì)節(jié)，例如血管和滲出物。R通道圖像和B通道圖像則存在大量的噪聲，有些眼底的細(xì)節(jié)特征消失。因此，最終本文選用G通道圖像作為最終訓(xùn)練的圖像。

2.2.2? 數(shù)據(jù)增強(qiáng)

DRIVE的訓(xùn)練集只有20張圖像，而深度學(xué)習(xí)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練才能有良好的效果，因此我們?cè)谠?xùn)練集的基礎(chǔ)上進(jìn)行了旋轉(zhuǎn)和翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)操作以增加訓(xùn)練集的數(shù)據(jù)量，數(shù)據(jù)增強(qiáng)的結(jié)果如圖5所示，最終我們把訓(xùn)練集變成了原本的6倍一共120張圖像。

3? 實(shí)驗(yàn)與結(jié)果

3.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)基于PyTorch深度學(xué)習(xí)框架對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)環(huán)境為Windows 10、Cpu Intel Core i3-10100F、DDR4 3200 MHz和NVIDIA GPU 1080TI。

3.2? 評(píng)價(jià)指標(biāo)

為了驗(yàn)證我們所提出方法的有效性，本文采用靈敏度（Sensitivity， Se），特異性（Specificity， Sp）和準(zhǔn)確率（Accuracy， Acc）作為網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)算法的性能，其中Se代表分割正確的血管點(diǎn)占總正確血管點(diǎn)的比例，Sp代表分割正確的背景點(diǎn)占總正確背景點(diǎn)的比例，Acc代表分割正確的像素點(diǎn)占整個(gè)圖像像素點(diǎn)的比例，三個(gè)指標(biāo)的計(jì)算公式為：

（1）

（2）

（3）

三個(gè)公式中參數(shù)含義如下：

（1）真陽(yáng)性（TP）：血管點(diǎn)被正確分為血管點(diǎn)。

（2）假陰性（FN）：血管點(diǎn)被錯(cuò)誤的分為非血管點(diǎn)。

（3）假陽(yáng)性（FP）：非血管點(diǎn)被錯(cuò)誤的分為血管點(diǎn)。

（4）真陰性（TN）：非血管點(diǎn)被正確的分類為非血管點(diǎn)。

3.3? 實(shí)驗(yàn)結(jié)果與分析

本文首先對(duì)DRIVE的測(cè)試集進(jìn)行測(cè)試，測(cè)試結(jié)果如圖6所示，其中第一列為原圖像，第二列為專家手工標(biāo)注的圖像，第三列是網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果，從圖像中可以看出本文提出的方法可以有效分割出圖像中的視網(wǎng)膜血管，為相關(guān)疾病的診斷提供參考。

為了進(jìn)一步驗(yàn)證本文提出方法的有效性，本文與目前先進(jìn)的算法在DRIVE數(shù)據(jù)集上的結(jié)果進(jìn)行對(duì)比，如表1所示。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的方法的Acc與Sp是這些方法中最高的，分別為0.966 0和0.984 7，Se為0.772 6僅低于ALom[14]所提出的方法，這說(shuō)明本文提出的方法可以有效地分割出彩色眼底圖像的視網(wǎng)膜血管。

4? 結(jié)? 論

本文構(gòu)建了一個(gè)注意力機(jī)U-Net網(wǎng)絡(luò)用于分割彩色眼底圖像的視網(wǎng)膜血管。首先對(duì)DRIVE數(shù)據(jù)集進(jìn)行預(yù)處理，本文采用分割通道的方式取出彩色眼底圖像G通道圖像作為網(wǎng)絡(luò)的輸入圖像，隨后對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)的操作以增加數(shù)據(jù)量，隨后構(gòu)建通道注意力機(jī)制結(jié)合U-Net網(wǎng)絡(luò)進(jìn)一步提高視網(wǎng)膜分割效果，實(shí)驗(yàn)結(jié)果表明，本文提出的方法優(yōu)于目前的許多方法。

參考文獻(xiàn)：

[1] 朱承璋，鄒北驥，向遙，等.彩色眼底圖像視網(wǎng)膜血管分割方法研究進(jìn)展 [J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015，27（11）：2046-2057.

[2] BAKER M L，HAND P J，WANG J J，et al. Retinal Signs and Stroke：Revisiting the Link Between the Eye and Brain [J].Stroke，2008，39：1371-1379.

[3] ZHANG Y P，HSU W，LEE M L. Detection of Retinal Blood Vessels Based on Nonlinear Projections [J].Journal of Signal Processing Systems，2009，55：103-112.

[4] FRAZ M M，BARMAN S A，REMAGNINO P，et al. An approach to localize the retinal blood vessels using bit planes and centerline detection [J].Computer Methods Programs in Biomedicine，2012，108（2）：600-616.

[5] ALOM M Z，YAKOPCIC C，HASAN M，et al. Recurrent residual U-Net for medical image segmentation [J/OL].Journal of Medical Imaging，2019，6（1）[2022-10-18].https：//www.zhangqiaokeyan.com/academic-journal-foreign-pmc_journal-medical-imaging_thesis/040006256846.html.

[6] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].[2022-10-19].https：//arxiv.org/abs/1505.04597.

[7] SOOMRO T A，AFIFI A J，GAO J B，et al. Boosting Sensitivity of a Retinal Vessel Segmentation Algorithm with Convolutional Neural Network [C]//2017 International Conference on Digital Image Computing：Techniques and Applications （DICTA）.Sydney：IEEE，2017：1-8.

[8] 孟嫻靜，李菁，呂曉琪，等.基于改進(jìn)SegNet的眼底圖像血管分割 [J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（11）：3148-3153.

[9] BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[10] 陳林，陳亞軍，沈銳.基于殘差卷積注意力網(wǎng)絡(luò)的視網(wǎng)膜血管分割算法 [J].內(nèi)江師范學(xué)院學(xué)報(bào)，2021，36（2）：49-55.

[11] 鄧小波，劉奇，陳曦，等.基于通道注意力雙路徑架構(gòu)網(wǎng)絡(luò)分割視網(wǎng)膜血管 [J].中國(guó)醫(yī)學(xué)影像技術(shù)，2021，37（10）：1543-1547.

[12] STAAL J，ABR?MOFF M D，NIEMEIJER M，et al. Ridge-based vessel segmentation in color images of the retina [J].IEEE Transactions on Medical Imaging，2004，23（4）：501-509.

[13] NIEMEIJER M，STAAL J，GINNEKEN B V，et al. Comparative study of retinal vessel segmentation methods on a new publicly available database [EB/OL].[2022-10-18].https：//www.spiedigitallibrary.org/conference-proceedings-of-spie/5370/1/Comparative-study-of-retinal-vessel-segmentation-methods-on-a-new/10.1117/12.535349.short.

[14] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent Residual Convolutional Neural Network based on U-Net （R2U-Net） for Medical Image Segmentation [J/OL].arXiv：1802.06955 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1802.06955v2.

[15] LISKOWSKI P，KRAWIEC K. Segmenting Retinal Blood Vessels With Deep Neural Networks [J].IEEE Transactions on Medical Imaging，2016，35（11）：2369-2380.

[16] LI Q L，F(xiàn)ENG B W，XIE L P，et al. A Cross-Modality Learning Approach for Vessel Segmentation in Retinal Images [J].IEEE Transactions on Medical Imaging，2016，35（1）：109-118.

[17] YAN Z Q，YANG X，CHENG K T. Joint Segment-Level and Pixel-Wise Losses for Deep Learning Based Retinal Vessel Segmentation [J].IEEE Transactions on Biomedical Engineering，2018，65（9）：1912-1923.

作者簡(jiǎn)介：鄭麗萍（1980—），女，漢族，河南開(kāi)封人，講師，工程師，碩士，研究方向：計(jì)算機(jī)視覺(jué)等；張?zhí)焓妫?995—），男，漢族，河南商丘人，助教，碩士，研究方向：計(jì)算機(jī)視覺(jué)；曹珂崯（1994—），男，漢族，山東菏澤人，助教，碩士，研究方向：數(shù)據(jù)分析。

收稿日期：2022-11-15

基金項(xiàng)目：淮安市創(chuàng)新服務(wù)能力建設(shè)計(jì)劃-重點(diǎn)實(shí)驗(yàn)室建設(shè)項(xiàng)目（HAP201904）