多特征融合神經(jīng)網(wǎng)絡(luò)的眼底血管分割算法

宋姝潔，崔振超+，陳麗萍，陳向陽

1.河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院，河北 保定 071002

2.河北省機(jī)器視覺研究中心（河北大學(xué)），河北 保定 071002

視網(wǎng)膜血管自動(dòng)分割是醫(yī)學(xué)圖像處理領(lǐng)域的重點(diǎn)研究任務(wù)之一。視網(wǎng)膜血管的結(jié)構(gòu)檢測，可為糖尿病和高血壓的診斷提供重要臨床信息，對(duì)輔助醫(yī)師診斷身體疾病有著重要意義[1]。目前，視網(wǎng)膜分割標(biāo)注是以專業(yè)醫(yī)師手工標(biāo)注為主，但人工標(biāo)注存在無法批處理及主觀因素影響的弊端。因此，計(jì)算機(jī)輔助的視網(wǎng)膜血管分割是該領(lǐng)域的重要發(fā)展方向。

目前，視網(wǎng)膜血管自動(dòng)分割方法可劃分為兩類——非監(jiān)督學(xué)習(xí)方法和監(jiān)督學(xué)習(xí)方法[2]。非監(jiān)督學(xué)習(xí)方法是根據(jù)已存在的特征對(duì)圖像編碼，然后對(duì)編碼后的特征圖檢索，得到目標(biāo)圖像分割結(jié)果。最早在1989年，Chaudhuri等[3]利用高斯函數(shù)對(duì)血管圖像進(jìn)行編碼得到眼底圖像分割圖。接著，根據(jù)眼底視網(wǎng)膜血管的結(jié)構(gòu)特點(diǎn)，血管追蹤法[4]、形態(tài)學(xué)處理法[5]、圖方法[6]、形變模型[7]等方法相繼提出。但非監(jiān)督學(xué)習(xí)方法對(duì)血管特征編碼方式不全，造成視網(wǎng)膜結(jié)構(gòu)特點(diǎn)檢測不充分，導(dǎo)致分割準(zhǔn)確率下降?；诒O(jiān)督學(xué)習(xí)的分割方法是通過對(duì)手工標(biāo)注的血管訓(xùn)練得到分類器，再利用分類器對(duì)圖像進(jìn)行模型分類，區(qū)別出前景像素和背景像素?；诒O(jiān)督學(xué)習(xí)的視網(wǎng)膜分割模型方法有貝葉斯分類器、支持向量機(jī)（support vector machine,SVM）、馬氏距離分類器等。Ricci 等[8]對(duì)圖像進(jìn)行綠色通道預(yù)處理，并根據(jù)血管寬度采用SVM 分割。孟琳等[9]提出將Frangi濾波器和大津法融合對(duì)視網(wǎng)膜圖像分割。

近年來深度學(xué)習(xí)在圖像處理方面表現(xiàn)出色，基于神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法迅速成為研究熱點(diǎn)。Liskowski 等[10]使用深度神經(jīng)網(wǎng)絡(luò)分割視網(wǎng)膜血管。2015 年MICCAI中提出U-Net[11]，U-Net網(wǎng)絡(luò)中的跳躍連接將編碼器與解碼器特征連接，利用豐富的細(xì)節(jié)特征來提升邊緣血管的分割精確度，在視網(wǎng)膜數(shù)據(jù)集上訓(xùn)練結(jié)果優(yōu)異。因此，大量視網(wǎng)膜血管分割方法基于U-Net 網(wǎng)絡(luò)提出。薛文渲等[12]在U-Net中引入二次循環(huán)殘差卷積及多通道注意模型，改善細(xì)小血管分割效果。Li等[13]采用新型的殘差結(jié)構(gòu)，將注意力機(jī)制與跳躍連接結(jié)合提高分割性能。Dongye等[14]提出基于U-Net 改進(jìn)的卷積網(wǎng)絡(luò)，目的是獲取具有高分辨率特征圖，有效捕捉血管的細(xì)節(jié)信息。Hu等[15]提出空洞殘差U 型網(wǎng)絡(luò)，利用殘差網(wǎng)絡(luò)和空洞卷積結(jié)合分割視網(wǎng)膜血管，獲得了較好的分割結(jié)果。這些深度學(xué)習(xí)方法雖表現(xiàn)出一定的醫(yī)學(xué)分割性能，但由于視網(wǎng)膜血管和背景區(qū)域之間特征不明顯，算法對(duì)細(xì)小血管特征描述不足，引發(fā)在血管分叉處不易區(qū)分、丟失復(fù)雜曲度形態(tài)血管的問題。

針對(duì)目前血管分割存在的問題，提出了一種基于U-Net 的多模塊融合視網(wǎng)膜血管分割方法，該方法設(shè)計(jì)了由殘差路徑傳遞信息的非線性連接模塊和殘差連接的基于U-Net 的多模塊殘差神經(jīng)網(wǎng)絡(luò)（multiblock residual neural network，MbResU-Net）。首先，在編碼器與解碼器連接時(shí)，將跳躍連接（shortcut connect）改為殘差路徑，減少橋接高低級(jí)語義信息之間的語義差距。其次，在網(wǎng)絡(luò)結(jié)構(gòu)中引入殘差連接，將多特征連接模塊鏈接成多模塊網(wǎng)絡(luò)，緩解由網(wǎng)絡(luò)層數(shù)加深而造成的信息丟失，使深層網(wǎng)絡(luò)模型變得簡單，解決卷積神經(jīng)網(wǎng)絡(luò)對(duì)視網(wǎng)膜毛細(xì)血管特征表達(dá)不充分的問題。最后設(shè)計(jì)符合視網(wǎng)膜分割前景與背景的損失函數(shù)，使自動(dòng)化分割技術(shù)更好地應(yīng)用于臨床診斷中。

1 基于MbResU-Net的眼底血管分割

1.1 殘差路徑

U-Net 網(wǎng)絡(luò)是一種編碼-解碼結(jié)構(gòu)型的網(wǎng)絡(luò)。在編碼階段，U-Net 在卷積操作的基礎(chǔ)上，對(duì)特征層進(jìn)行4 次最大池化后得到編碼結(jié)果。U-Net網(wǎng)絡(luò)巧妙的設(shè)計(jì)是引入了跳躍連接，編碼器卷積層的輸出在進(jìn)入4 次池化前被送到解碼器中，將特征圖和解碼器上采樣操作后的輸出特征圖連接起來，將合成的特征圖傳遞到后續(xù)卷積網(wǎng)絡(luò)中，跳躍連接操作匯集了網(wǎng)絡(luò)在卷積過程中丟失的空間信息。在解碼階段，在卷積操作的基礎(chǔ)上，對(duì)特征層進(jìn)行4 次上采樣操作后得到分割結(jié)果。如圖1 所示。

Fig.1 U-Net network structure圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

在U-Net 網(wǎng)絡(luò)中，編碼器特征經(jīng)過卷積操作得到低級(jí)語義特征。相反，解碼器特征經(jīng)過卷積、下采樣和上采樣操作得到高級(jí)語義特征。因此，編碼器和解碼器同一層之間存在語義差距，如圖2（a）所示，直接連接影響分割結(jié)果。為彌補(bǔ)編碼器與解碼器同一層之間語義差距，Szegedy 等[16]在每個(gè)下采樣之前和上采樣之后使用了多個(gè)3×3 卷積，并證明兩個(gè)3×3 卷積運(yùn)算類似于5×5 卷積運(yùn)算，且為了使U-Net 網(wǎng)絡(luò)具有多分辨率分析能力，將3×3、5×5 及7×7 卷積運(yùn)算并行合并，如圖2（b）所示，用類似Inception 的卷積層使U-Net 網(wǎng)絡(luò)獲取不同尺度的特征。但并行卷積層極大地增加內(nèi)存需求，因此使用3×3 卷積對(duì)5×5 及7×7卷積進(jìn)行分解。如圖2（c）所示，本網(wǎng)絡(luò)使用融合殘差路徑組成級(jí)聯(lián)結(jié)構(gòu)，每塊由3×3 卷積和1×1 卷積以殘差的方式組合，經(jīng)過額外的非線性變化的編碼器特征可平衡與解碼器語義鴻溝。這種修改不僅降低了內(nèi)存需求，而且由于1×1 卷積層的加入，不改變UNet 在醫(yī)學(xué)圖像分割的優(yōu)秀性能，同時(shí)獲取視網(wǎng)膜血管更廣的空間信息。殘差網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析中具有巨大的潛力[17]，使用殘差連接代替直接連接，并根據(jù)特征差距的大小調(diào)節(jié)殘差路徑長度，使學(xué)習(xí)變得更容易。將這條快捷連接路徑稱為“Res Path”。3×3濾波器用于卷積層，1×1 濾波器作為殘差連接，融合形成殘差路徑放入U(xiǎn)-Net網(wǎng)絡(luò)中。

1.2 基于殘差路徑的U-Net

根據(jù)U 型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，Nabil 等[18]提出隨著U-Net 卷積操作的向下移動(dòng)，編碼器與解碼器特征映射差距強(qiáng)度逐步減小。為了進(jìn)一步提升特征的學(xué)習(xí)能力：一方面選取U-Net 編碼結(jié)構(gòu)與解碼結(jié)構(gòu)中的兩次卷積操作及上下采樣，通過減少神經(jīng)網(wǎng)絡(luò)層數(shù)，減少由神經(jīng)網(wǎng)絡(luò)操作帶來的語義鴻溝，同時(shí)訓(xùn)練參數(shù)的減少，避免圖像過擬合提升網(wǎng)絡(luò)的泛化能力。另一方面針對(duì)不同的語義鴻溝設(shè)置不同長度的殘差路徑，沿著兩個(gè)Res Path 分別使用包含4 個(gè)3×3 卷積的濾波器以及1×1卷積的殘差連接Res Path1和兩個(gè)3×3卷積的濾波器以及1×1 卷積的殘差連接Res Path2，且為使編碼器與解碼器中的特征數(shù)量平衡，設(shè)置與編碼器相同的濾波器，根據(jù)視網(wǎng)膜經(jīng)過預(yù)處理后像素小的特點(diǎn)，改進(jìn)后的U-Net 每一層的卷積核數(shù)目分別為32 和64，對(duì)應(yīng)的兩個(gè)殘差路徑濾波器選擇為32 和64。改進(jìn)后的U型網(wǎng)絡(luò)魯棒性更強(qiáng)，模塊結(jié)構(gòu)圖如圖3所示。編碼器和解碼器分別包括兩個(gè)3×3 卷積運(yùn)算和一個(gè)池化大小為2×2，步長為2 的最大池化運(yùn)算。這個(gè)序列循環(huán)兩次，每次下采樣之后，卷積層中的濾波器數(shù)量加倍。每次上采樣后特征通道減少一半。在上采樣之前，使用Res Path1 和Res Path2 將編碼器的特征輸出傳送到解碼器，然后將這些特征圖與上采樣操作后的輸出連接起來，傳入到后續(xù)卷積層中。該網(wǎng)絡(luò)結(jié)構(gòu)中輸出層使用Sigmoid 激活函數(shù)，其他卷積層使用ReLU 激活函數(shù)，將此結(jié)構(gòu)稱為ResUNet塊。

Fig.2 Res Path structure diagram圖2 Res Path 結(jié)構(gòu)圖

Fig.3 ResU-Net module diagram圖3 ResU-Net模塊圖

1.3 多模塊殘差神經(jīng)網(wǎng)絡(luò)模型

在眼底視網(wǎng)膜血管圖像中，視網(wǎng)膜圖像照明不均勻，血管與背景在顏色、紋理上的差別較小，微小或復(fù)雜血管結(jié)構(gòu)難以分辨。加深網(wǎng)絡(luò)深度更能有效提高眼底血管特征表達(dá)，但深層網(wǎng)絡(luò)會(huì)造成梯度爆炸和梯度消失的問題[18]。為了提升本文ResU-Net 細(xì)化分割目標(biāo)血管能力，采用以殘差連接形成MbResUNet 模型。殘差映射可有效解決網(wǎng)絡(luò)退化的問題。He 等[19]提出ResNet 解決了由于網(wǎng)絡(luò)深度加深造成網(wǎng)絡(luò)性能下降問題，其結(jié)果對(duì)數(shù)據(jù)的變化更加敏感。MbResU-Net 將ResU-Net 引入主干網(wǎng)絡(luò)中，通過跳躍的殘差連接方式形成多模塊、多殘差塊結(jié)構(gòu)，加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的信息傳遞和特征傳播，獲取相對(duì)較少的噪聲圖像和更多的特征信息。通過殘差模塊的設(shè)計(jì)，提取豐富的圖像特征，為之后的血管分割奠定了基礎(chǔ)。每個(gè)殘差塊的連接結(jié)果由式（1）表示。

其中，am和bm表示ResU-Net 塊的輸入和輸出；F(am,bm)表示殘差函數(shù)；H(am)表示特征映射函數(shù)，通常F(am)=bm。式（2）中，σ(Wm)表示激活函數(shù)，將連接結(jié)果通過ReLU（rectified linear units）激活函數(shù)后結(jié)果作為下一個(gè)模塊的輸入。最終得到每一塊殘差連接的輸出結(jié)果Wr={n∈N|Wm,Wm+1,…,Wn}，并將每一次的輸出結(jié)果激活后作為下一個(gè)ResU-Net塊輸入。

MbResU-Net 網(wǎng)絡(luò)融合遞進(jìn)的思想，設(shè)計(jì)了三個(gè)特征提取模塊用以加深網(wǎng)絡(luò)，在模塊中分別將淺層特征與深層特征融合，使更深的U 型網(wǎng)絡(luò)充分利用淺層特征對(duì)血管進(jìn)行學(xué)習(xí)分割。在模塊輸入前設(shè)計(jì)了Concat層，在下個(gè)模塊輸入之前將所有局部特征和全局特征融合，實(shí)現(xiàn)特征重用，使參數(shù)更少，計(jì)算效率更高，以此達(dá)到細(xì)化分割的效果，解決視網(wǎng)膜圖像中細(xì)小血管不易分割的問題。首塊ResU-Net 輸入采用1×1 卷積操作作為輸出，和特征提取模塊最大池化后的輸出連接形成下一模塊的輸入，在每一模塊輸入之前采用ReLU 激活函數(shù)將非線性特征引入網(wǎng)絡(luò)，同時(shí)將輸入映射到輸出。ReLU 函數(shù)計(jì)算簡單，但解決梯度消失和梯度爆炸的問題。在最后一層，使用1×1卷積來生成最終的分割圖。MbResU-Net 結(jié)構(gòu)圖如圖4 所示。

1.4 損失函數(shù)設(shè)計(jì)

Fig.4 MbResU-Net network structure general diagram圖4 MbResU-Net網(wǎng)絡(luò)結(jié)構(gòu)總圖

在圖像分割任務(wù)中，提升模型分割的另一個(gè)關(guān)鍵因素是損失函數(shù)的設(shè)計(jì)。損失函數(shù)用于測量預(yù)測值與真實(shí)值的一致性，并且良好的損失函數(shù)可以加快網(wǎng)絡(luò)訓(xùn)練速度，提高泛化能力。在深度學(xué)習(xí)中定義了許多損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，例如均方差、分類交叉熵、二進(jìn)制交叉熵、余弦正弦等。在本實(shí)驗(yàn)中，像素分為血管像素和背景像素，根據(jù)統(tǒng)計(jì)顯示，DRIVE數(shù)據(jù)集中的血管像素大約為453 800，背景像素大約為6 599 200。眼底圖像中只有6.8%的像素是血管，對(duì)于二進(jìn)制分割問題，交叉熵?fù)p失函數(shù)可以寫為：

其中，N是像素的數(shù)量，xk表示輸入像素k預(yù)測為前景像素概率，yk表示像素k的真實(shí)值，在此任務(wù)中血管像素為1，非血管像素為0。此類損失函數(shù)在平衡分類任務(wù)中可以發(fā)揮極好的作用，但是在視網(wǎng)膜血管分割任務(wù)中，損失函數(shù)設(shè)計(jì)沒有充分考慮眼底圖像的特征，使學(xué)習(xí)過程中傾向分割背景區(qū)域，血管像素容易丟失或僅被部分識(shí)別。受Wang 等[20]的啟發(fā)，使用基于Dice 損失函數(shù)（Ldice）和交叉熵?fù)p失函數(shù)（LCE），并向損失函數(shù)中增加代價(jià)敏感矩陣（C）。

對(duì)于二進(jìn)制分類任務(wù)，Dice 損失函數(shù)可以考慮到數(shù)據(jù)的不平衡，Dice損失函數(shù)可以表示為：

其中，φ表示拉普拉斯平滑因子，用于避免數(shù)值問題并加速訓(xùn)練中的收斂速度。但是優(yōu)化后的Dice 損失函數(shù)容易導(dǎo)致梯度消失問題，不適用于深度神經(jīng)網(wǎng)絡(luò)。另外設(shè)計(jì)了代價(jià)敏感矩陣，當(dāng)模型對(duì)視網(wǎng)膜血管分類錯(cuò)誤時(shí)代價(jià)增加，并且增加血管的關(guān)注度。代價(jià)敏感矩陣C如式（5）所示：

在公式C中，用于將血管類型預(yù)測為血管類型以及將背景預(yù)測為背景的懲罰系數(shù)都設(shè)置為1。用于預(yù)測血管的懲罰系數(shù)設(shè)置為6。將背景識(shí)別為血管不會(huì)影響結(jié)果，因此懲罰系數(shù)設(shè)置為0。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，并未根據(jù)相對(duì)于背景的視網(wǎng)膜像素?cái)?shù)來進(jìn)行不平衡調(diào)整，預(yù)測血管類別為背景類別的懲罰系數(shù)始終為6。指標(biāo)函數(shù)X表示為：

因此，所提出的融合代價(jià)交叉熵?fù)p失函數(shù)公式如式（7）所示：

最后，結(jié)合Dice 損失函數(shù)和代價(jià)交叉熵?fù)p失函數(shù)的優(yōu)勢，將此函數(shù)結(jié)合引入到血管分割任務(wù)中，MbResU-Net的損失函數(shù)公式如式（8）所示：

這種方法可以加快網(wǎng)絡(luò)的融合，并且經(jīng)過一定次數(shù)的迭代后，本網(wǎng)絡(luò)模型的參數(shù)收斂到最佳值，達(dá)到最優(yōu)分割效果。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集及實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)所用數(shù)據(jù)集為開源眼底視網(wǎng)膜血管數(shù)據(jù)集DRIVE 和CHASE DB1。DRIVE 數(shù)據(jù)集包含40幅數(shù)字視網(wǎng)膜RGB 圖像，每幅圖像剪裁后的分辨率為565×584 像素。由官方劃分為20 幅訓(xùn)練集圖像和20 幅測試集圖像，數(shù)據(jù)集中包含2 名專家手工分割結(jié)果，并存在對(duì)應(yīng)的掩膜，具有很強(qiáng)的可信度。CHASE DB1數(shù)據(jù)集包含28幅視網(wǎng)膜圖像，每幅圖像的分辨率為999×960 像素。在本實(shí)驗(yàn)中，14 幅圖像用于訓(xùn)練，14 幅圖像用于測試。該數(shù)據(jù)集中每幅圖片由一名專業(yè)醫(yī)師分割得到手工結(jié)果圖像，但是無對(duì)應(yīng)掩膜，需要手動(dòng)設(shè)置。CHASE DB1 手動(dòng)設(shè)置的二值掩碼結(jié)果如圖5 所示。本文所用實(shí)驗(yàn)平臺(tái)為：64 位Win10 操作系統(tǒng)，使用Intel?CoreTMi7-4160 GPU@ 3.60 GHz 處理器，顯卡為NVIDA 1660Ti。該方法基于TensorFlow框架實(shí)現(xiàn)。

Fig.5 Images of CAHSE DB1 database圖5 CHASE DB1 數(shù)據(jù)庫圖片

2.2 數(shù)據(jù)預(yù)處理

兩個(gè)數(shù)據(jù)庫的眼底圖像均為RGB 圖像，單通道圖像比RGB 圖像可顯示更好的血管背景對(duì)比度。因此，如圖6 所示，將原始圖像通過G 通道完成圖像的灰度轉(zhuǎn)化，接著將視網(wǎng)膜灰度圖像歸一化[21]；采用對(duì)比度受限的自適應(yīng)直方圖均衡化（contrast limited adaptive histogram equalization，CLAHE），在不放大眼底視網(wǎng)膜圖像的情況下增強(qiáng)視網(wǎng)膜血管與背景之間的對(duì)比度，使血管結(jié)構(gòu)特征更清晰；最后采用伽馬變化（gamma conversion）在不影響視網(wǎng)膜圖像中高亮血管區(qū)域的同時(shí)增亮對(duì)比度較低的血管區(qū)域。預(yù)處理后的視網(wǎng)膜圖像對(duì)比度高，血管輪廓與背景差距大且噪聲減少，更有利于血管分割。

Fig.6 Retina image preprocessing results圖6 視網(wǎng)膜圖像預(yù)處理結(jié)果

由于DRIVE 和CHASE DB1 均為小數(shù)據(jù)集，在網(wǎng)絡(luò)訓(xùn)練中容易過擬合，在訓(xùn)練模型時(shí)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)和擴(kuò)充。在訓(xùn)練模型之前對(duì)兩個(gè)數(shù)據(jù)集圖像進(jìn)行90°、120°、270°和鏡像翻轉(zhuǎn)擴(kuò)充到原來的12 倍。與此同時(shí)，從DRIVE 和CHASE DB1 數(shù)據(jù)集的輸入圖像中分別提取9 到574 像素、20 到980 像素，圖片像素分別變?yōu)?60×560、960×960，再隨機(jī)裁剪48×48 的局部分割樣本圖像，樣本塊包含數(shù)據(jù)庫中的所有圖像，用以擴(kuò)大數(shù)據(jù)量。網(wǎng)絡(luò)訓(xùn)練時(shí)，分別從DRIVE 和CHASE DB1 隨機(jī)抽取190 000 和200 000 個(gè)補(bǔ)丁塊。其中，隨機(jī)選取90%用于訓(xùn)練，10%用于驗(yàn)證。測試集不做旋轉(zhuǎn)裁剪及數(shù)據(jù)擴(kuò)充處理。局部樣本塊如圖7（a）所示，圖7（b）所示為手工標(biāo)注的標(biāo)準(zhǔn)裁剪拼接處與訓(xùn)練集相對(duì)應(yīng)的圖像。

Fig.7 Local sample block圖7 局部樣本塊

2.3 評(píng)價(jià)指標(biāo)

為了定量評(píng)估模型，使用了準(zhǔn)確率（accuracy，ACC）、靈敏度（sensitivity，Sen）、特異性（specificity，Spe）和F1-Score來評(píng)價(jià)模型的性能[22]。在該模型中，陽性是指血管，陰性是指背景?；谝暰W(wǎng)膜血管圖像真實(shí)值，每個(gè)像素在分割過程中分為正確或不正確分割，因此有四種視網(wǎng)膜血管分割結(jié)果。TP表示血管像素已正確檢測為血管；TN表示背景像素已正確檢測為背景；FP表示背景像素被錯(cuò)誤地檢測為血管；FN表示血管像素被錯(cuò)誤地檢測為背景。各指標(biāo)表達(dá)式如式（9）～（14）所示：

其中，ACC是正確檢測到的血管和背景像素?cái)?shù)量與非血管總像素之比；Sen是正確檢測到的視網(wǎng)膜血管像素與血管總像素之比；Spe是正確檢測的非血管像素與非血管總像素之比；Pre是正確檢測到的血管像素與所有檢測到血管像素之比；Rcall是正確檢測到的血管像素與所有實(shí)際檢測到血管像素之比；F1-score用來衡量模型與專家分割結(jié)果的相似度。

為了進(jìn)一步評(píng)估本模型的性能，利用了ROC 下的曲線面積（area under curve，AUC），ROC 是衡量圖像語義綜合性能分割結(jié)果的重要方法。AUC 值范圍為0～1，若AUC=1，表示非常貼合的分類器；0.5～1.0，表示優(yōu)于隨機(jī)分類器；0～0.5 表示差于隨機(jī)分類器。

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1 算法改進(jìn)前后對(duì)比

為了檢測模塊改進(jìn)后算法性能，實(shí)驗(yàn)分為兩部分。首先，將本網(wǎng)絡(luò)模塊MbResU-Net 與增加殘差路徑的U-Net 進(jìn)行對(duì)比實(shí)驗(yàn)。其次，對(duì)MbResU-Net 進(jìn)行消融實(shí)驗(yàn)。將MbResU-Net、U-Net、U-Net（Res Path）、單冗余塊-Block1、雙冗余塊-Block2 及四冗余塊-Block4 分別在DRIVE 和CHASE 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并將實(shí)驗(yàn)結(jié)果對(duì)比。對(duì)于每組實(shí)驗(yàn)，迭代次數(shù)設(shè)置為100 次，所得結(jié)果如表1 所示。

從表1中可以看出，MbResU-Net 在DRIVE 及CHASE DB1 數(shù)據(jù)集上Sen、F1、AUC、ACC值均優(yōu)于使用殘差路徑的U-Net，實(shí)驗(yàn)證明使用殘差網(wǎng)絡(luò)串行連接各模塊，解決了由深度網(wǎng)絡(luò)之間特征融合而產(chǎn)生的特征差距，更有效分割視網(wǎng)膜圖像。在消融實(shí)驗(yàn)中，單冗余塊-Block1 實(shí)驗(yàn)效果優(yōu)于U-Net 模塊。在DRIVE 數(shù)據(jù)集上，MbResU-Net 模塊比單模塊的Sen、F1、AUC、ACC值分別高0.049 6、0.015 7、0.002 6、0.010 5；在CHASE DB1 數(shù)據(jù)集上，MbResUNet 模塊比單模塊的Sen、F1、AUC、ACC值分別高0.056 4、0.029 4、0.009 0、0.019 1，且均在三模塊融合時(shí)各項(xiàng)指標(biāo)最佳。但相比較四模塊的實(shí)驗(yàn)結(jié)果分析，如圖8 所示，Block4 各項(xiàng)分割指標(biāo)均比Block1 及Block2 高，但比MbResU-Net 各項(xiàng)分割指標(biāo)略低或持平，且四個(gè)模塊的訓(xùn)練時(shí)間遠(yuǎn)多于MbResU-Net，效果與MbResU-Net 差距微小?？梢钥闯?，三模塊殘差網(wǎng)絡(luò)，即MbResU-Net，從分割統(tǒng)計(jì)結(jié)果上優(yōu)于其他四種網(wǎng)絡(luò)。

Table 1 Segmentation indicators of different modules表1 不同模塊的分割指標(biāo)

通過與專家手工標(biāo)準(zhǔn)的分割結(jié)果進(jìn)行測試和對(duì)比，本文方法可以清楚地將血管與背景區(qū)域分開。圖9 為DRIVE 數(shù)據(jù) 庫中的03_test 圖和11_test 圖 的分割結(jié)果，圖10 為CHASE DB1 數(shù)據(jù)庫中的Image_02L和Image_07R 圖的分割結(jié)果。驗(yàn)證了本文方法在血管復(fù)雜形態(tài)下的分割效果，尤其是血管分叉處分割效果優(yōu)異。以DRIVE 數(shù)據(jù)集為例，第一列為DRIVE數(shù)據(jù)集原始視網(wǎng)膜預(yù)處理圖，第二列為手工標(biāo)注分割圖，第三列為本實(shí)驗(yàn)分割圖。從實(shí)驗(yàn)對(duì)比圖來看，本文算法分割結(jié)果基本和專家手工標(biāo)準(zhǔn)圖相仿，并在復(fù)雜曲度形態(tài)血管分割上有明顯的分割效果。

Fig.8 Comparison of evaluation indicators for redundancy modules圖8 各冗余模塊評(píng)價(jià)指標(biāo)對(duì)比

Fig.9 Comparison of experimental segmentation of DRIVE dataset圖9 DRIVE 數(shù)據(jù)集實(shí)驗(yàn)分割對(duì)比圖

Fig.10 Comparison of experimental segmentation of CHASE DB1 dataset圖10 CHASE DB1 數(shù)據(jù)集實(shí)驗(yàn)分割對(duì)比圖

2.4.2 不同算法的性能評(píng)估

此外，為了更有效地分析MbResU-Net 的分割效果，將MbResU-Net 與 文 獻(xiàn)[23]、文 獻(xiàn)[24]算 法 在DRIVE 和CHASE DB1 數(shù)據(jù)集上的分割進(jìn)行定性和定量分析。如圖11 所示，在對(duì)比圖中前兩行為DRIVE 視網(wǎng)膜對(duì)比圖像，后兩行為CHASE DB1 視網(wǎng)膜對(duì)比圖像。圖11 中（a）～（b）表示數(shù)據(jù)集彩色圖、手工標(biāo)注圖，（c）表示U-Net 網(wǎng)絡(luò)分割結(jié)果，（d）表示文獻(xiàn)[18]分割結(jié)果圖，（e）為本文算法分割結(jié)果圖。圖11 第一行和第四行顯示出，由于光照強(qiáng)度不一致的影響，其他文獻(xiàn)均出現(xiàn)主血管細(xì)節(jié)分割混亂，尤其是血管與血管之間空隙模糊，而MbResU-Net 較好地解決了這個(gè)問題，由于冗余網(wǎng)絡(luò)的加入讓圖像特征訓(xùn)練得更充分，使復(fù)雜結(jié)構(gòu)血管分支更清楚。本文方法在有效解決血管合并問題的同時(shí)也提升了小細(xì)血管的分割精度。圖12 顯示了兩個(gè)數(shù)據(jù)集的分割細(xì)節(jié)。如圖12（b）的第一行與第三行局部細(xì)節(jié)圖所示，主血管區(qū)域的血管相互交錯(cuò)并且彼此相鄰，精確分割此類血管對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的要求嚴(yán)格，但文獻(xiàn)[23]與文獻(xiàn)[24]針對(duì)復(fù)雜交錯(cuò)血管分割不清楚且有分割噪聲，而本文方法對(duì)復(fù)雜曲度細(xì)節(jié)分割具有較好的效果，由圖12 的第二行和第四行所示，文獻(xiàn)[23]僅用U-Net中的普通卷積層，特征提取能力弱，隨著網(wǎng)絡(luò)深度的增加，不斷的池化操作導(dǎo)致?lián)p失大量的局部細(xì)節(jié)信息。相比之下，本文方法使用殘差路徑加深網(wǎng)絡(luò)深度，捕獲各種視網(wǎng)膜細(xì)小形狀的能力更強(qiáng)。MbResUNet 在某些連接區(qū)域中提取的血管細(xì)節(jié)比文獻(xiàn)[24]更多，在細(xì)小血管分割中獲得更理想的分割結(jié)果。因此，基于初始模塊的多模塊融合提取卷積神經(jīng)網(wǎng)絡(luò)能夠使細(xì)小的視網(wǎng)膜血管特征更具區(qū)分性。

Fig.11 Comparison of segmentation of different algorithms on DRIVE and CHASE DB1 datasets圖11 不同算法在DRIVE 和CHASE DB1 數(shù)據(jù)集上的分割對(duì)比圖

Fig.12 Detail comparison of segmentation results圖12 局部細(xì)節(jié)分割對(duì)比圖

Table 2 Performance indicators of different algorithms on DRIVE dataset表2 DRIVE 數(shù)據(jù)集不同算法的性能指標(biāo)

Table 3 Performance indicators of different algorithms on CHASE DB1 dataset表3 CHASE DB1 數(shù)據(jù)集不同算法的性能指標(biāo)

為了綜合測試MbResU-Net 在視網(wǎng)膜血管分割領(lǐng)域的性能，將本文網(wǎng)絡(luò)與文獻(xiàn)[25-31]在各項(xiàng)指標(biāo)下進(jìn)行比較，統(tǒng)計(jì)結(jié)果如表2 和表3 所示?；贒RIVE 數(shù)據(jù)集進(jìn)行對(duì)比，本文準(zhǔn)確率ACC達(dá)到了0.964 8，Sen值為0.798 7，F(xiàn)1 值為0.822 3，AUC值為0.979 1；基于CHASE DB1 數(shù)據(jù)集進(jìn)行對(duì)比，本文準(zhǔn)確率ACC達(dá)到0.972 6，Sen值為0.797 2，F(xiàn)1 值為0.812 3，AUC值為0.982 4。各項(xiàng)指標(biāo)均優(yōu)于文獻(xiàn)[31]。對(duì)于CHASE DB1 數(shù)據(jù)集，本文模型訓(xùn)練得到的AUC和F1 值最高，Sen比文獻(xiàn)[29]低0.001 8，Spe值比文獻(xiàn)[31]低0.001 5。但綜合表中各項(xiàng)指標(biāo)結(jié)果來看，本文所提出的MbResU-Net 網(wǎng)絡(luò)，可以有效完成眼底圖像的血管分割任務(wù)，獲得較高的性能指標(biāo)，有良好的穩(wěn)定性和抗干擾能力。具體來說，Li 等[25]提取大小為16×16 樣本塊，在訓(xùn)練過程中會(huì)大量檢測到無血管區(qū)域，影響最終的訓(xùn)練效果。Orlando等[26]在網(wǎng)絡(luò)中使用全連接條件隨機(jī)場模型，但標(biāo)記血管時(shí)仍是一個(gè)挑戰(zhàn)。近些年提出應(yīng)用于視網(wǎng)膜分割的卷積神經(jīng)網(wǎng)絡(luò)方法，Alom 等[27]在U-Net 的每個(gè)3×3 卷積操作后增加循環(huán)殘差塊，Wu 等[28]采用多尺度級(jí)聯(lián)的U-Net 網(wǎng)絡(luò)模塊訓(xùn)練網(wǎng)絡(luò)。Wang 等[29]在U-Net 網(wǎng) 絡(luò)中增加inception 進(jìn)行特 征融合。Dan 等[30]在U-Net 網(wǎng)絡(luò)中使用多尺度特征融合的方式對(duì)視網(wǎng)膜進(jìn)行分割。雖然這些方法性能有所提高，但訓(xùn)練過程復(fù)雜。盡管在部分指標(biāo)上達(dá)到先進(jìn)的性能，但在實(shí)際應(yīng)用中并不實(shí)用。本模型可以實(shí)現(xiàn)高精確度的自動(dòng)化分割，為眼科提供例如彎曲度、交叉病變結(jié)構(gòu)、軟硬滲出液等重要信息。該模型可有效提升醫(yī)生對(duì)患者進(jìn)行早期診斷的效率。MbResU-Net 有利于細(xì)小血管分割，因此，在糖尿病性視網(wǎng)膜分級(jí)檢測上有一定的發(fā)展前景，但需要針對(duì)不同糖尿病視網(wǎng)膜血管病變程度對(duì)網(wǎng)絡(luò)進(jìn)行改進(jìn)，旨在提升醫(yī)學(xué)圖像更準(zhǔn)確的分割結(jié)果。

3 結(jié)論

本文提出了一種用于激光掃描眼底鏡圖像的視網(wǎng)膜血管分割的殘差神經(jīng)網(wǎng)絡(luò)。一方面在快捷連接中添加殘差路徑，語義差距是由低層次的編碼器與更深層次的解碼器連接處理引起的，因此將殘差路徑引入到網(wǎng)絡(luò)中，使特征表達(dá)更精準(zhǔn)。另一方面，為了減少語義差距，縮短卷積操作次數(shù)用以減少噪聲，平衡編碼操作與解碼操作后的語義特征，由此提高特征傳播的魯棒性。利用多模塊連接傳遞特征減少參數(shù)數(shù)量并使特征重用。將改進(jìn)后的U-Net 網(wǎng)絡(luò)作為一個(gè)殘差模塊，將殘差網(wǎng)絡(luò)與多個(gè)U-Net 網(wǎng)絡(luò)模塊結(jié)合建立多特征融合機(jī)制加強(qiáng)信息傳播，并減少參數(shù)數(shù)量實(shí)現(xiàn)特征重用，充分利用ResNet 的跳躍連接，提高深度網(wǎng)絡(luò)結(jié)構(gòu)的信息傳播能力，針對(duì)視網(wǎng)膜血管前后對(duì)背景像素占比設(shè)計(jì)損失函數(shù)，加快網(wǎng)絡(luò)收斂，提升圖像分割的準(zhǔn)確度。實(shí)驗(yàn)表明，本文算法在DRIVE 和CHASE DB1 這兩個(gè)眼底數(shù)據(jù)庫上能分割出細(xì)小血管和復(fù)雜曲度血管，相較U-Net 分割方法有一定程度的提升，展示出較好的醫(yī)學(xué)圖像分割性能。