空洞殘差U型網(wǎng)絡(luò)用于視網(wǎng)膜血管分割

胡揚(yáng)濤，裴 洋，林 川，李世成，易玉根

1.中國人民解放軍聯(lián)勤保障部隊(duì) 第908醫(yī)院眼科，南昌 330002

2.江西師范大學(xué) 軟件學(xué)院，南昌 330022

青光眼是世界上第一種不可逆轉(zhuǎn)的致盲性眼科疾病，也是成為世界上第二大致盲疾病。青光眼疾病的早期并沒有明顯的癥狀，往往到晚期才會暴露出來，但一旦發(fā)生將不可逆轉(zhuǎn)。由于其隱蔽性強(qiáng)、致盲率高以及危害性大，因此，眼科醫(yī)生強(qiáng)調(diào)及時(shí)進(jìn)行眼底檢查，并盡早發(fā)現(xiàn)和早治療。在臨床試驗(yàn)中，醫(yī)生通常是通過觀察視杯和視網(wǎng)膜面積的結(jié)構(gòu)變化以及視網(wǎng)膜血管的變化來篩選和診斷青光眼。然而，傳統(tǒng)的方法是將眼底圖像與醫(yī)生的主觀醫(yī)學(xué)經(jīng)驗(yàn)相結(jié)合，費(fèi)時(shí)費(fèi)力且重復(fù)性高，還極容易造成檢查結(jié)果存在差異。此外，尤其在邊遠(yuǎn)地區(qū)，受醫(yī)療設(shè)備和臨床眼科醫(yī)生的限制，患者在眼底檢查中更是容易出現(xiàn)誤診與漏診現(xiàn)象。近年來，隨著人工智能與計(jì)算機(jī)視覺技術(shù)的迅速發(fā)展和應(yīng)用，計(jì)算機(jī)輔助診斷技術(shù)將圖像處理和深度學(xué)習(xí)技術(shù)相結(jié)合，通過模擬人腦神經(jīng)元的工作模式建立網(wǎng)絡(luò)模型，實(shí)現(xiàn)對眼底疾病的智能輔助篩查和診斷[1]。計(jì)算機(jī)輔助診斷首先從眼底圖像中分割視網(wǎng)膜血管、視盤和視杯結(jié)構(gòu)，然后分析各結(jié)構(gòu)的變化以篩選青光眼疾病。因此，視網(wǎng)膜血管分割在輔助診斷過程中起著關(guān)鍵性的作用。

盡管現(xiàn)有的分割方法可以分割出視網(wǎng)膜血管的結(jié)構(gòu)，但仍存在精度低、靈敏度差和分割區(qū)域錯(cuò)誤等問題。針對上述問題，本文旨在利用深度學(xué)習(xí)技術(shù)對視網(wǎng)膜血管結(jié)構(gòu)進(jìn)行準(zhǔn)確分割，協(xié)助眼科醫(yī)生進(jìn)行青光眼診斷，防止青光眼導(dǎo)致的失明。

1 相關(guān)工作

目前研究者提出大量的血管分割方法，大概可以分為基于傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法[2]。

1.1 基于傳統(tǒng)分割方法

基于傳統(tǒng)的分割算法大致可以分為基于區(qū)域分割的方法、基于邊緣檢測的方法、基于形態(tài)學(xué)的方法、基于活動(dòng)輪廓模型的方法、基于機(jī)器學(xué)習(xí)的方法[3]。

基于區(qū)域的分割方法[4]主要根據(jù)區(qū)域特征的相似性進(jìn)行分割，即將相似性較強(qiáng)的區(qū)域像素劃分為相同區(qū)域。該類方法又可以分為基于閾值的方法和基于區(qū)域生長的方法兩大類?；陂撝档姆椒ㄊ且环N簡單且常用的方法，其思想是通過選取一定閾值，然后將每個(gè)像素與閾值作比較進(jìn)行分類。該方法被廣泛應(yīng)用于灰度圖像的分割，但其對于峰值不明顯的圖像分割效果較差。此外，閾值選擇在很大程度上影響其分割結(jié)果，因此如何選擇閾值成為核心問題。目前包括迭代閾值法、直方圖閾值法以及最大類間方差法等大量方法被提出。例如，文獻(xiàn)[5]首先對圖像背景進(jìn)行均勻化和降噪，然后采用自適應(yīng)局部閾值方法對血管圖進(jìn)行粗逼近，最后通過曲率分析和形態(tài)重建進(jìn)行細(xì)分割估計(jì)視網(wǎng)膜血管。基于區(qū)域生長的方法主要根據(jù)事先定義的生長準(zhǔn)則，以一組“種子”點(diǎn)為起點(diǎn)，逐步通過加入相鄰的像素或者區(qū)域擴(kuò)大其區(qū)域，直到達(dá)到條件停止區(qū)域擴(kuò)充。該方法簡單且無需任何先驗(yàn)知識，因此被廣泛應(yīng)用于復(fù)雜的圖像分割任務(wù)中。但由于它屬于一種迭代的方法，將會造成極大的空間與時(shí)間開銷。此外，“種子”點(diǎn)的選擇是該類方法成功的關(guān)鍵。例如，文獻(xiàn)[6]使用各向異性擴(kuò)散濾光器來平滑圖像并保持血管邊界，然后利用區(qū)域生長方法和水平集方法實(shí)現(xiàn)視網(wǎng)膜血管分割。

基于邊緣檢測的方法[7]主要是利用圖像不同區(qū)域交界處有著明顯的屬性變化的特性。該類方法首先根據(jù)一定算法確定圖像中的邊緣像素，然后將它們按照一定的規(guī)則連接起來形成特定的區(qū)域邊界，最后利用邊緣的灰度和紋理等特征的不連續(xù)性檢測邊緣，從而實(shí)現(xiàn)圖像分割。因此，該類方法的核心問題是如何確定邊緣像素。目前常用的方法包括基于一階或者二階的圖像微分算子、基于區(qū)域的Hough 變換方法、基于參數(shù)模型的擬合算子方法等[7]。

基于形態(tài)學(xué)的方法主要利用一組形態(tài)學(xué)基本運(yùn)算原則（如：腐蝕與膨脹、開閉操作、高低帽變換等），進(jìn)行緣檢測和特征提取。文獻(xiàn)[8]采用基于多方向多結(jié)構(gòu)元素的形態(tài)學(xué)進(jìn)行血管與其背景的分離，然后采用基于滯后閾值引導(dǎo)形態(tài)學(xué)操作排除二值圖像中干擾區(qū)域。文獻(xiàn)[9]提出改進(jìn)的形態(tài)學(xué)與Otsu相結(jié)合的無監(jiān)督視網(wǎng)膜血管分割算法，首先運(yùn)用高低帽變換增強(qiáng)血管與背景的對比度，然后通過修正方法消除由視網(wǎng)膜疾病引起的光照問題，最后使用Otsu閾值方法分割血管。

基于活動(dòng)輪廓模型的方法則通過設(shè)計(jì)不同的能量函數(shù)驅(qū)動(dòng)活動(dòng)輪廓線向血管邊界處演化，實(shí)現(xiàn)血管的分割。該類方法雖然精度高且穩(wěn)定，但其運(yùn)算量大，不適用于大規(guī)模數(shù)據(jù)集。文獻(xiàn)[10]提出一種新的無限活動(dòng)輪廓模型，該模型使用圖像的混合區(qū)域信息。

基于機(jī)器學(xué)習(xí)的血管分割方法主要是針對血管結(jié)構(gòu)定義不同于眼底圖像中其他區(qū)域的特征向量，然后采用有監(jiān)督、無監(jiān)督以及半監(jiān)督學(xué)習(xí)算法，將圖像像素分成血管或非血管像素，從而實(shí)現(xiàn)血管的分割[11]。文獻(xiàn)[12]提出一種基于多特征融合的有監(jiān)督視網(wǎng)膜血管提取方法，該方法首先提取不同類型的特征，然后通過隨機(jī)森林訓(xùn)練視網(wǎng)膜血管分類器，最后根據(jù)血管圖像灰度信息和連通域信息進(jìn)行后續(xù)處理得到最終的血管。文獻(xiàn)[13]給出基于極限學(xué)習(xí)機(jī)快速的血管提取方法。綜述性文獻(xiàn)[14]給出了大量基于機(jī)器學(xué)習(xí)的血管提取方法。

1.2 基于深度學(xué)習(xí)的分割方法

受深度學(xué)習(xí)在自然圖像分類、自然語言處理等領(lǐng)域的成功應(yīng)用，基于深度學(xué)習(xí)的圖像分割方法也隨之發(fā)展起來?；谏疃葘W(xué)習(xí)的圖像分割方法主要利用深度學(xué)習(xí)模型提取原始圖像的深度特征，然后結(jié)合不同的分類器實(shí)現(xiàn)血管分割[15-16]。文獻(xiàn)[17]中介紹了大量的方法，本文主要簡單回顧基于特征編碼和基于上采樣這兩類方法。

在基于特征編碼方法中，VGGNet[18]和ResNet[19]是兩種非常重要的網(wǎng)絡(luò)結(jié)構(gòu)。VGGNet主要由大小3×3的卷積核和2×2 的最大池化層疊加而成，構(gòu)建16～19 層深度的卷積神經(jīng)網(wǎng)絡(luò)，其優(yōu)點(diǎn)可以解決傳統(tǒng)網(wǎng)絡(luò)加深產(chǎn)生參數(shù)爆炸的問題。ResNet 的核心思想是引入了恒等映射，直接將原始的輸入信息傳輸?shù)较乱粚?，并在過程中只能學(xué)習(xí)前一個(gè)網(wǎng)絡(luò)輸出的殘差。因此解決了隨著深度學(xué)習(xí)網(wǎng)絡(luò)加深導(dǎo)致的梯度消失的問題。

基于上采樣方法中，全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[20]和U 型網(wǎng)絡(luò)（U-Net）[21]是兩個(gè)具有代表性的網(wǎng)絡(luò)模型。該類方法在采樣過程中會損失部分信息，從而得到更為重要的特征，因此在一定程度上通過上采樣操作可以得到更精確的分割邊界。但此過程是不可逆轉(zhuǎn)的，有時(shí)甚至?xí)?dǎo)致圖像分辨率低以及細(xì)節(jié)丟失。FCN 方法是一種反卷積-升采樣結(jié)構(gòu)，其核心思想是經(jīng)過采樣擴(kuò)大像素，再進(jìn)行卷積并通過學(xué)習(xí)獲得權(quán)值。其優(yōu)點(diǎn)是可以接受任意大小的輸入圖像，并保留其空間信息，解決了圖像語義級分割問題。但由于每個(gè)像素的上采樣都是單獨(dú)分開執(zhí)行的，因此沒有考慮像素之間的關(guān)系和缺乏空間一致性，從而導(dǎo)致部分結(jié)果模糊以及對圖像細(xì)節(jié)處理不敏感。U-Net 是FCN 的改進(jìn)網(wǎng)絡(luò)模型，它主要由收縮路徑（特征提?。┖蛿U(kuò)展路徑（上采樣）兩部分組成。收縮路徑部分用于捕獲圖像中的上下文信息，而上采樣部分則用于恢復(fù)圖像位置信息。U-Net能夠訓(xùn)練相對較少的數(shù)據(jù)樣本獲得較好的性能，因此，U-Net被廣泛應(yīng)用于醫(yī)學(xué)相關(guān)領(lǐng)域。隨著深度學(xué)習(xí)的快速發(fā)展，大量基于深度學(xué)習(xí)的血管分割方法也被提出[17]。例如：Fu 等[22]提出基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和全連通條件隨機(jī)域（Conditional Random Field，CRF）的視網(wǎng)膜血管分割方法，該方法利用CNN 和CRF 集成深度學(xué)習(xí)網(wǎng)絡(luò)用來分割視網(wǎng)膜血管。梁禮明等[23]提出一種融合DenseNet和U-Net兩個(gè)模型的視網(wǎng)膜血管分割算法，提高了視網(wǎng)膜血管的分割準(zhǔn)確性。Gu等[24]提出一種上下文編碼器網(wǎng)絡(luò)（Context Encoder Network，CE-Net）來捕獲更多高級信息用于2D醫(yī)學(xué)圖像分割。

2 空洞殘差U型網(wǎng)絡(luò)

U 型網(wǎng)絡(luò)（U-Net）[21]是一種基于像素級別的語義分割網(wǎng)絡(luò)，對醫(yī)學(xué)圖像等小型圖像數(shù)據(jù)集表現(xiàn)出較好的分割性能。因此，將U-Net 作為基本框架，能夠很好的解決小樣本問題。但U-Net 由收縮路徑和擴(kuò)張路徑兩條路徑組成，收縮路徑通過下采樣操作逐漸減小圖像的空間維度，而擴(kuò)張路徑通過上采樣操作逐漸修復(fù)對象的細(xì)節(jié)和空間維度。因此，在經(jīng)過卷積和下采樣后會存在梯度消失、結(jié)構(gòu)信息丟失、損耗等問題。針對上述問題，本文引入殘差網(wǎng)絡(luò)（ResNet）和空洞卷積（Atrous Convolution）模塊，將其整合到U-Net網(wǎng)絡(luò)中，提出一種新的網(wǎng)絡(luò)結(jié)構(gòu)稱為空洞殘差U 型網(wǎng)絡(luò)（AR-Unet），該網(wǎng)絡(luò)體系結(jié)構(gòu)如圖1所示。AR-Unet能夠在不損失信息的情況下進(jìn)一步擴(kuò)大感受野和提高物體之間的相關(guān)性，從而提高血管分割的性能。

為了清晰地對AR-Unet的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行描述，將圖1 中的AR-Unet 結(jié)構(gòu)簡化為如圖2 所示。圖2 中A 和C分別表示收縮路徑（特征提?。┖蛿U(kuò)展路徑（上采樣）部分，且每部分又分別由四個(gè)小模塊組成。不同于原始的U-Net，為了減少結(jié)構(gòu)信息丟失損耗和加快網(wǎng)絡(luò)收斂，將A 部分中每個(gè)模塊的第二個(gè)卷積模塊（Conv）替換為殘差模塊（Resnet Block）得到新的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，殘差模塊定義為如圖4 所示。B 部分將原先的卷積層模塊替換為空洞卷積模塊，擴(kuò)大感受野，提高物體間相關(guān)性，其結(jié)構(gòu)如圖5 所示。C 中的每個(gè)模塊結(jié)構(gòu)如圖6所示。

圖1 AR-Unet體系結(jié)構(gòu)

圖2 AR-Unet模型分塊圖

圖3 收縮路徑結(jié)構(gòu)圖

圖4 ResNet Block結(jié)構(gòu)圖

圖5 擴(kuò)張路徑結(jié)構(gòu)圖

圖6 空洞卷積結(jié)構(gòu)圖

3 實(shí)驗(yàn)

首先介紹三個(gè)常用的數(shù)據(jù)集和多個(gè)重要的性能評價(jià)指標(biāo)；然后，介紹實(shí)驗(yàn)平臺和實(shí)驗(yàn)參數(shù)配置；最后，設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證AR-Unet方法的性能，并且與最新方法進(jìn)行比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證AR-Unet的有效性，實(shí)驗(yàn)中采用了DRIVE[25]、STARE[26]和CHASE[27]三個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含兩組專家手動(dòng)標(biāo)記血管的圖像。本實(shí)驗(yàn)中使用第一組作為標(biāo)準(zhǔn)進(jìn)行訓(xùn)練和測試，具體信息如表1 所示，從表中可知每個(gè)數(shù)據(jù)集的圖像數(shù)量較少且分辨率高。

表1 實(shí)驗(yàn)中所采用的數(shù)據(jù)庫具體信息

3.2 評價(jià)指標(biāo)

實(shí)驗(yàn)中采用準(zhǔn)確度（Accuracy，ACC）、精度（Precision，PPV）、真陽率（True Positive Rate，TPR）、假陽率（False Positive Rate，F(xiàn)PR）、真陰率（True Negative Rate，TNR）、F-measure（F1）、Jaccard相似度和AUC等評價(jià)指標(biāo)對分割算法的性能進(jìn)行分析，其定義分別如下：

其中，真陽性數(shù)（TP）表示將正例預(yù)測為正例的數(shù)量，假陽性數(shù)（FP）表示將負(fù)例預(yù)測為正例的數(shù)量，假陰性數(shù)（FN）表示將負(fù)例預(yù)測為負(fù)例的數(shù)量，真陰性數(shù)（TN）表示將正例預(yù)測為負(fù)例的數(shù)量，SR 代表實(shí)際分割結(jié)果，GT 代表真實(shí)結(jié)果。各項(xiàng)評價(jià)指標(biāo)的值越大，說明算法性能越好。

3.3 實(shí)驗(yàn)配置及參數(shù)設(shè)置

AR-Unet 模型開發(fā)集成環(huán)境為PyCharm，基于Tesnorflow 的Keras 框架。運(yùn)行平臺為Window 系統(tǒng)，GPU 為GeForce RTX 2080，內(nèi)存32 GB。采用Adam優(yōu)化方法對參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)定為0.001，損失函數(shù)采用交叉熵。實(shí)驗(yàn)迭代訓(xùn)練次數(shù)為200 次，batch_size為4。

3.4 實(shí)驗(yàn)結(jié)果與分析

首先，本文將AR-Unet與U-Net、U-Net*兩種模型進(jìn)行比較，其中U-Net*是指在U-Net 的池化操作后增加Dropout 層，防止過擬合現(xiàn)象。實(shí)驗(yàn)結(jié)果如表2～4 所示。實(shí)驗(yàn)結(jié)果表現(xiàn)AR-Unet 在大多數(shù)指標(biāo)上都達(dá)到了最佳。在DRIVE數(shù)據(jù)集中，AR-Unet在TPR、F1和AUC三個(gè)指標(biāo)要明顯高于U-Net 和U-Net*，指標(biāo)JS 和ACC也要稍微高于U-Net 和U-Net*。在STARE 數(shù)據(jù)集中，AR-Unet在TPR、F1和AUC三個(gè)指標(biāo)要明顯高于U-Net和U-Net*，指標(biāo)PPV、JS 和ACC 也要稍微高于U-Net 和U-Net*。在CHASE 數(shù)據(jù)集中，AR-Unet 在TNR、JS、ACC和AUC四個(gè)指標(biāo)要略高于U-Net和U-Net*?？傮w而言，實(shí)驗(yàn)結(jié)果表明AR-Unet方法具有較好的視網(wǎng)膜血管分割性能。

表2 在DRIVE數(shù)據(jù)集上性能比較

表3 在STARE數(shù)據(jù)集上性能比較

表4 在CHASE數(shù)據(jù)集上性能比較

圖7～9 列出了U-Net、U-Net*和AR-Unet 三個(gè)網(wǎng)絡(luò)模型在三個(gè)數(shù)據(jù)集上的視網(wǎng)膜血管分割的可視化結(jié)果。AR-Unet可以很好地分割出了U-net和U-net*部分丟失的細(xì)微血管，并保留了更多的血管中的細(xì)節(jié)。因此，其結(jié)果進(jìn)一步驗(yàn)證了AR-Unet對于低對比度的視網(wǎng)膜血管具有一定的魯棒性。

圖7 在DRIVE數(shù)據(jù)集上的分割結(jié)果

圖8 在STARE數(shù)據(jù)集上的分割結(jié)果

圖9 在CHASE數(shù)據(jù)集上的分割結(jié)果

其次，將AR-Unet方法與當(dāng)前具有代表性的方法進(jìn)行比較。在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表5～7所示，其中對比方法的實(shí)驗(yàn)結(jié)果來自于相應(yīng)的參考文獻(xiàn)，表中“—”表示參考文獻(xiàn)沒有給出相應(yīng)的結(jié)果。實(shí)驗(yàn)結(jié)果表明，AR-Unet方法在視網(wǎng)膜血管分割任務(wù)上的性能要優(yōu)于其他對比方法。

表5 在DRIVE數(shù)據(jù)集上與其他方法的比較

表6 在STARE數(shù)據(jù)集上與其他方法的比較

表7 在CHASE數(shù)據(jù)集上與其他方法的比較

4 結(jié)束語

目前大部分方法能夠準(zhǔn)確分割出視網(wǎng)膜血管結(jié)構(gòu)，但血管分割時(shí)仍然存在部分信息丟失導(dǎo)致部分微小血管不能很好的分割出來的問題，為此，本文提出一種新的網(wǎng)絡(luò)稱為AR-Unet。首先主要通過結(jié)合U-net和殘差網(wǎng)絡(luò)，AR-Unet 網(wǎng)絡(luò)能夠很好地處理結(jié)構(gòu)信息丟失、損耗等問題。然后，通過增加空洞卷積模塊，在不損失信息的情況下，擴(kuò)大了感受野，提高物體之間的相關(guān)性，AR-Unet 網(wǎng)絡(luò)使得血管分割更加精確。在三個(gè)公開數(shù)據(jù)集上與目前具有代表性的方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表示AR-Unet 方法在大多數(shù)性能評價(jià)指標(biāo)優(yōu)于對比方法。由于醫(yī)學(xué)圖像人工標(biāo)注費(fèi)時(shí)費(fèi)力，導(dǎo)致樣本較少，通過數(shù)據(jù)增強(qiáng)也只能增加部分樣本。因此，未來工作將考慮通過生成式對抗網(wǎng)絡(luò)（GAN）來增加數(shù)據(jù)樣本。