基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法

張志昂，廖光忠

基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法

張志昂1*，廖光忠2

（1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065； 2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室（武漢科技大學(xué)），武漢 430065）（ ? 通信作者電子郵箱zzacc1551490@163.com）

針對傳統(tǒng)視網(wǎng)膜血管分割算法存在血管分割精度低和病灶區(qū)域誤分割等缺點(diǎn)，提出一種基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法（MFEU-Net）。首先，為解決梯度消失問題，設(shè)計(jì)一種改進(jìn)的特征信息增強(qiáng)殘差模塊（FIE-RM）替代U-Net的卷積塊；其次，為擴(kuò)大感受野并提高對血管信息特征的抽取能力，在U-Net的底部引入多尺度密集空洞卷積模塊；最后，為減少編解碼過程中的信息損失，在U-Net的跳躍連接處構(gòu)建多尺度通道增強(qiáng)模塊。在DRIVE（Digital Retinal Images for Vessel Extraction）和CHASE_DB1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與在視網(wǎng)膜血管分割方面表現(xiàn)次優(yōu)的算法CS-Net（Channel and Spatial attention Network）相比，MFEU-Net的F1分?jǐn)?shù)分別提高了0.35和1.55個(gè)百分點(diǎn)，曲線下面積（AUC）分別提高了0.34和1.50個(gè)百分點(diǎn)，這驗(yàn)證了MFEU-Net可以有效提高對視網(wǎng)膜血管分割的準(zhǔn)確性和魯棒性。

視網(wǎng)膜血管分割；U-Net；多尺度信息；密集空洞卷積；殘差網(wǎng)絡(luò)；病灶區(qū)域

0 引言

眼底中蘊(yùn)含了大量的微小血管，可以利用設(shè)備直接觀察視網(wǎng)膜中的血管系統(tǒng)，為醫(yī)生的后續(xù)治療方案提供幫助。視網(wǎng)膜血管的形狀變化［1］在一定程度上直接反映了身體健康狀況，如糖尿病病人、青光眼患者等視網(wǎng)膜的細(xì)微變化可以較好地反映器官的健康狀況。為了提供更好的治療方案，準(zhǔn)確分割視網(wǎng)膜血管尤為重要。只有準(zhǔn)確地分割出微小血管，才能進(jìn)行進(jìn)一步的診斷，因此使用高精度的視網(wǎng)膜血管分割算法幫助疾病治療十分重要。

目前，國內(nèi)外研究者提出了大量的視網(wǎng)膜血管分割算法［2］，這些分割算法主要分為兩類：無監(jiān)督算法［3］和有監(jiān)督算法［4］。無監(jiān)督算法旨在不借助注釋或者其他提示信息，只根據(jù)血管本身存在的特征實(shí)現(xiàn)對視網(wǎng)膜血管的準(zhǔn)確分割，主要步驟包括閾值、濾波、形態(tài)變換和反變化。因此，無監(jiān)督算法也可分為基于匹配濾波的算法［5］、基于血管形態(tài)的算法和基于血管跟蹤的算法。為了提高細(xì)小血管的檢出率，Contejean等［6］使用改進(jìn)的弗蘭吉（Frangi）濾波器和補(bǔ)丁降噪器減少視網(wǎng)膜圖像中明亮區(qū)域和病變區(qū)域?qū)ρ芊指畹挠绊?，?shí)現(xiàn)視網(wǎng)膜血管分割；但Frangi濾波器會(huì)使圖像整體平滑，導(dǎo)致忽略一些對比度低的血管。Graham等［7］從血管跟蹤的角度出發(fā)，考慮細(xì)小血管的分支點(diǎn)和血管之間的交叉點(diǎn)，提出一種基于貝葉斯理論和多尺度檢查的視網(wǎng)膜血管分割算法，但該算法過于重視分支點(diǎn)的存在，忽略了主干血管的位置信息。

有監(jiān)督算法旨在依據(jù)大量經(jīng)過手動(dòng)注釋的樣本構(gòu)建算法，使得算法可以自動(dòng)提取視網(wǎng)膜血管信息，完成視網(wǎng)膜血管分割。Jainish等［8］提出一種全新的視網(wǎng)膜預(yù)處理方法，利用自適應(yīng)直方圖均衡化和魯棒距離變換預(yù)處理視網(wǎng)膜圖像，可以提高視網(wǎng)膜血管的分割準(zhǔn)確率；但該算法利用圖像不同區(qū)域的色素差異預(yù)處理，難以處理低對比度的視網(wǎng)膜血管。一種完全對稱式的編碼解碼算法U-Net［9］被提出，該算法使用通道拼接融合技術(shù)恢復(fù)編碼過程中丟失的血管特征信息，但該算法直接將編碼結(jié)果融入解碼器會(huì)不可避免地造成血管信息丟失。Wang等［10］提出AttU-Net（Attention U-Net），該算法是在U-Net中的跳躍連接處引入注意力門控機(jī)制遏制背景像素對分割結(jié)果的影響；但是該算法只是修改編解碼的融合方式，未考慮血管本身存在的多尺度信息，因此在對細(xì)小血管的分割方面存在分割精度低的缺點(diǎn)。Mou等［11］提出CS-Net（Channel and Spatial attention Network），該算法是在U-Net的底部設(shè)計(jì)了一種并聯(lián)的空間注意力和通道注意力模塊，實(shí)現(xiàn)對視網(wǎng)膜血管的精準(zhǔn)分割，但該算法未考慮編解碼過程存在的信息損失，因此在細(xì)小血管的分割方面存在誤分割現(xiàn)象。

雖然，以上算法在分割血管特征信息方面取得了不錯(cuò)的效果，但上述方法大多存在以下問題：1）算法對細(xì)小血管的分割準(zhǔn)確率較低，極易在細(xì)小血管的分割過程中出現(xiàn)誤分、漏分等現(xiàn)象；2）算法的魯棒性較低，在血管分割中容易受到病變區(qū)域的影響，產(chǎn)生大量背景噪聲；3）難以充分捕獲血管的邊界信息，導(dǎo)致血管邊界分割不精準(zhǔn)。

針對以上視網(wǎng)膜血管分割算法存在的問題，本文提出一種基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法（Multi-scale Feature Enhanced retinal vessel segmentation algorithm based on U-Net， MFEU-Net）。首先，通過圖像亮度變換等手段對視網(wǎng)膜圖像預(yù)處理，再使用圖像翻轉(zhuǎn)、裁剪、平移等方式擴(kuò)充數(shù)據(jù)。其次，在U-Net的基礎(chǔ)上，MFEU-Net使用特征信息增強(qiáng)殘差模塊（Feature Information Enhancement Residual Module， FIE-RM）代替?zhèn)鹘y(tǒng)的卷積塊，實(shí)現(xiàn)對血管特征信息的增強(qiáng)處理；為了擴(kuò)大算法的感受野，提高抽取血管多尺度特征信息的能力，在U-Net的底部引入多尺度密集空洞增強(qiáng)模塊（Multi-scale Channel Enhancement module， MCE）。最后，為了消除噪聲干擾并增強(qiáng)血管信息傳輸能力，在跳躍連接處構(gòu)建一種多尺度通道增強(qiáng)模塊，提高算法對細(xì)小血管的分割精度。

1 網(wǎng)絡(luò)構(gòu)建

1.1　網(wǎng)絡(luò)總體架構(gòu)

本文提出的基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法（MFEU-Net）的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。MFEU-Net在U-Net的基礎(chǔ)上改進(jìn)，使用了4層編碼和解碼結(jié)構(gòu)，使用FIE-RM替換傳統(tǒng)的卷積塊，增強(qiáng)血管的細(xì)微特征信息，防止網(wǎng)絡(luò)出現(xiàn)過擬合和梯度消失，并進(jìn)行通道維度變換，將輸入圖像的特征通道數(shù)改為32，增加血管分割特征通道；其次，利用最大池化進(jìn)行下采樣操作；為了提取血管的多尺度特征信息，在網(wǎng)絡(luò)底部引入多尺度密集空洞卷積模塊（Multi-scale Dense Atrous Convolution module， MDAC）提取編碼層最后一層的特征輸出；再次，為了減少在編解碼過程造成的信息損失，在跳躍連接處構(gòu)建一種多尺度通道增強(qiáng)模塊（MCE），以準(zhǔn)確分割細(xì)小血管；接著，通過轉(zhuǎn)置卷積進(jìn)行上采樣操作以恢復(fù)圖像細(xì)節(jié)和空間尺寸；最后，將最后一層解碼層的輸出傳送至帶有Sigmoid激活函數(shù)的1×1卷積，獲取最終預(yù)測的視網(wǎng)膜血管分割圖像，實(shí)現(xiàn)對視網(wǎng)膜血管的高精度分割。

圖1　MFEU-Net總體網(wǎng)絡(luò)結(jié)構(gòu)

1.2　特征信息增強(qiáng)殘差模塊

傳統(tǒng)卷積模塊難以針對性地訓(xùn)練血管像素，因此本文參考?xì)埐钅K和空間注意模塊，設(shè)計(jì)了FIE-RM，基本結(jié)構(gòu)如圖2所示，主要包括卷積層、BatchNorm層、DropBlock層、ReLU（Rectified Linear Unit）層和Softmax層。DropBlock層進(jìn)一步優(yōu)化DropOut層，解決了DropOut層無法丟失激活單元的問題，可以使網(wǎng)絡(luò)更加關(guān)注血管特征。為了實(shí)現(xiàn)對血管特征信息的充分抽取，使用了4種不同尺度的卷積塊多尺度抽取視網(wǎng)膜血管特征。假定輸入的視網(wǎng)膜眼底圖像∈R×H×W，其中、和為圖像尺寸。首先將輸入的眼底圖像數(shù)據(jù)由3×3的卷積層進(jìn)行信息抽取，生成新的特征映射∈R×H×W，再使用1×3卷積、3×1卷積、3×3卷積和5×5卷積對進(jìn)行多路徑空間信息抽取，同時(shí)填充抽取結(jié)果使得輸出尺寸與輸入尺寸保證一致，并將輸出結(jié)果合并生成∈R×H×W。其次使用兩個(gè)不同的AdaptiveAvgPool2d層進(jìn)行平均行池化和列池化，產(chǎn)生兩個(gè)不同的輸出∈R×H×1和∈R×1×W，使用Softmax函數(shù)產(chǎn)生每個(gè)像素對應(yīng)的行權(quán)重和列權(quán)重。最后將權(quán)重結(jié)果相乘，得到每個(gè)像素對應(yīng)的空間權(quán)重圖∈R×H×W，將權(quán)重圖與特征映射相乘，通過殘差連接與連接，計(jì)算過程如下：

其中：xi代表輸入的圖像數(shù)據(jù)；h（xi）表示函數(shù)映射；pool1是對行平均池化；pool2是對列平均池化；Conv表示卷積操作；xi+1表示經(jīng)過特征信息增強(qiáng)殘差模塊處理后的操作結(jié)果。引入殘差模塊的主要目的是使權(quán)重更新非零，解決算法難以更新，甚至隨網(wǎng)絡(luò)層數(shù)的增加性能衰減的問題。因此，使用FIE-RM模塊替換傳統(tǒng)U-Net中的卷積模塊，增強(qiáng)血管的細(xì)微特征信息，有效地提取細(xì)小血管特征。

1.3　多尺度密集空洞卷積模塊

為了捕獲不同尺度的血管特征信息，本文結(jié)合傳統(tǒng)的并聯(lián)、串聯(lián)和擴(kuò)張卷積的優(yōu)點(diǎn)構(gòu)造了MDAC，如圖3所示。

圖3　多尺度密集空洞卷積模塊

在MDAC中，假設(shè)輸入特征圖為∈R×H×W，首先，將進(jìn)行下采樣操作，生成低分辨率特征圖∈R×H/2×W/2。其次，分別對和進(jìn)行密集空洞卷積操作。空洞卷積以串聯(lián)方式堆疊，由于U-Net底部的輸入血管圖像的尺寸較小，因此在此處對的密集空洞卷積模塊設(shè)置4個(gè)分支，每個(gè)分支不僅作為下一分支的輸入，還作為最終結(jié)果的一部分進(jìn)行融合。隨著分支的空洞卷積數(shù)量的增加，各個(gè)模塊的空洞率（Rate）從1到2和3，每個(gè)分支的感受野分別為3、5、7、9。由于是下采樣的結(jié)果，因此對的密集空洞卷積模塊設(shè)置3個(gè)分支，各個(gè)分支的感受野大小分別為3、7、9。最后，將經(jīng)過密集空洞卷積模塊的輸出進(jìn)行上采樣生成∈R×H×W與輸入大小保持一致，將和經(jīng)過密集空洞卷積的輸出進(jìn)行拼接，并使用一個(gè)1×1卷積校正通道維度，得到輸出結(jié)果∈R×H×W。通過引入MDAC模塊可以在擴(kuò)大感受野的同時(shí)不遺漏細(xì)小血管信息，從而實(shí)現(xiàn)視網(wǎng)膜血管的精準(zhǔn)分割。

1.4　多尺度通道增強(qiáng)模塊

盡管使用FIE-RM取代傳統(tǒng)的卷積塊可以緩解梯度消失和增強(qiáng)血管特征，引入了MDAC在算法底部抽取血管的多尺度信息，但在編解碼過程中，如果直接將編碼結(jié)果與解碼結(jié)果相連，仍會(huì)不可避免地造成通道血管信息損失。因此，本文構(gòu)建了MCE，MCE通過使用不同的編碼層作為輔助手段增加與當(dāng)前解碼層對應(yīng)的編碼層中的血管通道特性信息，實(shí)現(xiàn)對編碼結(jié)果的高效傳輸，它的數(shù)學(xué)定義如下：

其中：upsample代表利用轉(zhuǎn)置卷積上采樣；downsample代表利用最大池化進(jìn)行下采樣操作；1、2和3分別代表不同階段的編碼器輸出；1、2和3代表經(jīng)過多尺度通道增強(qiáng)模塊后的操作結(jié)果。

MCE如圖4所示，假設(shè)當(dāng)前層的輸入特征圖為∈R×H×W，首先利用最大池化進(jìn)行下采樣或者使用轉(zhuǎn)置卷積進(jìn)行上采樣操作，將不同編碼層的輸出數(shù)據(jù)維度保持一致。其次，為了充分利用不同層次的編碼輸出，將其余層次的編碼輸出直接融合后，使用3×3的卷積層抽取融合結(jié)果的空間信息；為了生成通道注意力機(jī)制，在3×3卷積層后連接平均池化（avgpool）和最大池化（maxpool）層，生成∈R×H/2×W/2和∈R×H/2×W/2。再次，將轉(zhuǎn)置之后與矩陣相乘生成∈R，再對使用Softmax函數(shù)，生成通道注意力特征圖∈R，對和進(jìn)行矩陣乘法生成全新的矩陣特征圖。最后，使用殘差連接將與全新的矩陣特征圖融合，生成輸出特征圖∈R。原理計(jì)算公式如下：

其中：和表示經(jīng)過平均池化和最大池化生成的特征映射，x和y表示不同的特征通道；Jy表示輸入特征圖；N表示特征通道數(shù)。通過使用MCE減少編解碼過程造成的信息損失，增強(qiáng)細(xì)微血管的通道特征，提取更多的細(xì)小血管特征，并減少背景噪聲的干擾。

2 實(shí)驗(yàn)與結(jié)果分析

2.1　實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文實(shí)驗(yàn)環(huán)境為：Window 10操作系統(tǒng)、CPU Intel Core i5-12400f 2.5 GHz、16 GB RAM和NVIDIA GTX 1080Ti。使用DRIVE（Digital Retinal Images for Vessel Extraction）［9］和CHASE_DB1［9］公開眼底圖像數(shù)據(jù)集測試本文算法的有效性。

DRIVE數(shù)據(jù)集由40張分辨率為565×584像素的彩色視網(wǎng)膜眼底圖像組成，訓(xùn)練集和測試集各包含20張視網(wǎng)膜圖像。其中，包含7張視網(wǎng)膜圖像采樣自糖尿病病人，剩余圖像均沒有任何病理表現(xiàn)。CHASE_DB1數(shù)據(jù)集由20張分辨率為990×96像素的彩色視網(wǎng)膜圖像組成。由于CHASE_DB1并沒有明確劃分測試集和訓(xùn)練集，為了保障實(shí)驗(yàn)的公平性與可靠性，本文采用4折交叉驗(yàn)證隨機(jī)劃分?jǐn)?shù)據(jù)集，最終數(shù)據(jù)集被劃分為擁有21張的彩色視網(wǎng)膜圖像的訓(xùn)練集和擁有剩余7張彩色視網(wǎng)膜圖像的測試集。每張圖像由兩位專家手動(dòng)分割，本文將第一位專家手動(dòng)注釋的圖像作為分割標(biāo)準(zhǔn)，另一位專家手動(dòng)注釋的圖像則用于實(shí)驗(yàn)結(jié)果評估，即金標(biāo)準(zhǔn)。

2.2　網(wǎng)絡(luò)參數(shù)設(shè)置

在深度學(xué)習(xí)框架PyTorch1.7.1上訓(xùn)練MFEU-Net，首先將DRIVE和CHASE_DB1數(shù)據(jù)集調(diào)整圖像格式，將DRIVE數(shù)據(jù)集下的圖像調(diào)整為長寬均為576像素的視網(wǎng)膜眼底圖像，將CHASE_DB1數(shù)據(jù)集下的圖像調(diào)整為長寬均為960像素的視網(wǎng)膜眼底圖像，并利用骰子損失函數(shù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，提升收斂速度。本文對各卷積層的權(quán)值進(jìn)行Kaiming初始化，使用Adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，初始學(xué)習(xí)率設(shè)置1×10-3，批處理大小為2，每訓(xùn)練20次將學(xué)習(xí)率衰減為原來的1/10；動(dòng)量系數(shù)設(shè)置為0.9，權(quán)值衰減系數(shù)設(shè)置為0.000 2，batch_size設(shè)置為16，迭代總數(shù)為200，此外，將DropBlock中的塊大小block_size設(shè)置為7。

2.3　數(shù)據(jù)預(yù)處理

公開眼底數(shù)據(jù)集的視網(wǎng)膜血管圖像中存在光照不均、噪聲干擾和對比度低的缺點(diǎn)，為了提高算法的血管分割效果，在擴(kuò)充數(shù)據(jù)前先預(yù)處理眼底圖像。首先，將原始的RGB圖像轉(zhuǎn)化為單通道的灰度圖像；其次，為了進(jìn)一步地規(guī)范圖像并限制圖像，利用對比度受限制的自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization， CLAHE）［12］改善圖像灰度細(xì)節(jié)；最后，采用局部自適應(yīng)伽馬變換（Gamma）［13］矯正圖像亮度，抑制偽影干擾。

由于眼底視網(wǎng)膜圖像的數(shù)量有限，難以充分訓(xùn)練網(wǎng)絡(luò)，本文對眼底視網(wǎng)膜數(shù)據(jù)集進(jìn)行擴(kuò)充，通過隨機(jī)翻轉(zhuǎn)、平移、裁剪實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充，防止網(wǎng)絡(luò)出現(xiàn)過擬合。

2.4　評價(jià)指標(biāo)和損失函數(shù)

視網(wǎng)膜血管分割將眼底視網(wǎng)膜圖像的每個(gè)像素點(diǎn)分類為血管和背景部分，因此視網(wǎng)膜血管分割本質(zhì)上是二分類問題。本文使用了靈敏度（Sensitivity）、查準(zhǔn)率（Precision）、F1分?jǐn)?shù)1（F1 Score）、準(zhǔn)確率（Accuracy）和ROC（Receiver Operating Characteristic）曲線下面積（Area Under Curve， AUC）指標(biāo)，評估本文算法的性能，評估公式如下：

其中：、、和分別表示真陽性、假陽性、真陰性和假陰性。靈敏度代表血管像素被正確分類的概率，查準(zhǔn)率表示預(yù)測為血管像素中的真實(shí)血管像素的比例，F(xiàn)1分?jǐn)?shù)表示算法的輸出結(jié)果與給出的分割圖像標(biāo)準(zhǔn)之間的相似程度，準(zhǔn)確率表示所有的像素被正確分類的概率。由于背景的像素占比較大，難以在血管邊界處準(zhǔn)確定義像素類別，因此本文使用骰子損失函數(shù)取代傳統(tǒng)的交叉熵?fù)p失函數(shù)，骰子損失函數(shù)的定義為：

其中：表示視網(wǎng)膜血管圖像的像素總數(shù)；w表示像素的真實(shí)類別；w表示像素的預(yù)測結(jié)果；為平滑系數(shù)，可以解決極端情況下分母為0導(dǎo)致算法無法收斂的問題。骰子損失函數(shù)可以使視網(wǎng)膜血管分割算法重點(diǎn)挖掘血管像素，從而實(shí)現(xiàn)對血管的精準(zhǔn)分割。

2.5　算法對比

為了驗(yàn)證MFEU-Net的優(yōu)越性，將它與4種視網(wǎng)膜血管分割算法對比，對比算法包括U-Net［9］、ResU-Net（Residual U-Net）［14］、AttU-Net［10］和CS-Net［11］，采用相同的實(shí)驗(yàn)條件和訓(xùn)練策略在DRIVE和CHASE_DB1數(shù)據(jù)集上進(jìn)行視網(wǎng)膜血管分割實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。從圖5中可以發(fā)現(xiàn)，U-Net作為視網(wǎng)膜血管分割網(wǎng)絡(luò)的經(jīng)典算法，僅能分割血管的大致走向與分布，但在分割血管交叉處容易出現(xiàn)主血管斷裂與誤分割的現(xiàn)象。在U-Net的基礎(chǔ)上，ResU-Net將卷積塊替換為殘差卷積，可以在對血管主干網(wǎng)絡(luò)精細(xì)抽取的同時(shí)不會(huì)出現(xiàn)過擬合，性能優(yōu)于傳統(tǒng)的U-Net，但對一些細(xì)小血管的提取準(zhǔn)確率較低，容易得到帶有假陽性的血管區(qū)域。AttU-Net在跳躍連接處提出一種注意力門控（Attention Gates， AGs）機(jī)制實(shí)現(xiàn)對帶有噪聲的背景區(qū)域印制的同時(shí)加大對血管區(qū)域的關(guān)注程度，在提取主干網(wǎng)絡(luò)的同時(shí)可以降低背景噪聲的影響，但在細(xì)小血管的分割方面仍存在誤分割。CS-Net在U-Net的底部提出了并聯(lián)的通道和空間注意力模塊，將血管局部信息與全局信息統(tǒng)一，以實(shí)現(xiàn)血管的高精度分割，可以精確地分割血管主干和細(xì)小血管，并在對細(xì)小血管的分割方面也有著較高的精度，但在對邊緣血管分割時(shí)會(huì)出現(xiàn)誤分割。MFEU-Net的分割結(jié)果整體與專家手動(dòng)分割的血管圖像保持一致，相較于其他對比算法，在細(xì)小血管的分割處不會(huì)出現(xiàn)斷連的情況，保障了血管的連通性，降低了背景噪聲的影響。因此MFEU-Net可以精細(xì)地保留血管的結(jié)構(gòu)信息，并且具有一定的抗干擾能力，可以實(shí)現(xiàn)對視網(wǎng)膜血管的高精度分割。

2.5.1不同算法分割細(xì)節(jié)對比

為了進(jìn)一步驗(yàn)證MFEU-Net的性能優(yōu)勢，與U-Net、ResU-Net、AttU-Net和CS-Net視網(wǎng)膜血管分割算法進(jìn)行了分割圖像的局部區(qū)域?qū)Ρ龋瑢Ρ冉Y(jié)果如圖6所示。U-Net可以分割主干血管，但在血管交叉處和細(xì)小血管區(qū)域的分割精度較低；ResU-Net相較于U-Net對細(xì)小血管的分割效果有一定提升，但極易出現(xiàn)斷連現(xiàn)象；AttU-Net可以逐漸分割邊界血管的大體形狀，但分割出現(xiàn)斷連；CS-Net可以在準(zhǔn)確分割主干血管的同時(shí)準(zhǔn)確分割細(xì)小血管，但在血管連接處仍出現(xiàn)斷連的現(xiàn)象；MFEU-Net可以在準(zhǔn)確分割主干血管和細(xì)小血管的同時(shí)，做到血管不斷連，極大地保證了分割出的視網(wǎng)膜血管的完整性。通過以上不同算法的分割細(xì)節(jié)對比實(shí)驗(yàn)，說明本文利用FIE-RM替代傳統(tǒng)的卷積可以使圖像信息盡量完整，能有效突出血管關(guān)鍵信息；MDAC可以擴(kuò)大感受野提高分割精度，促進(jìn)主干血管和細(xì)小血管的融合；MCE可以使算法充分利用不同層次的編碼信息，有助于消除血管特征圖的背景噪聲和冗余信息，驗(yàn)證了MFEU-Net在視網(wǎng)膜血管分割方面具有較高的準(zhǔn)確率和抗干擾性。

圖5　不同算法的分割結(jié)果

2.5.2不同算法分割效果對比

為了驗(yàn)證MFEU-Net對U-Net改進(jìn)的有效性，與不同的改進(jìn)U-Net算法進(jìn)行對比實(shí)驗(yàn)。分別在DRIVE和CHASE_DB1數(shù)據(jù)集上測試靈敏度、查準(zhǔn)率、準(zhǔn)確率、F1分?jǐn)?shù)和AUC指標(biāo)，實(shí)驗(yàn)結(jié)果如表1所示。MFEU-Net的各個(gè)指標(biāo)均達(dá)到了最優(yōu)結(jié)果，與表現(xiàn)次優(yōu)的CS-Net相比，MFEU-Net的F1分?jǐn)?shù)分別提高了0.35、1.55個(gè)百分點(diǎn)，AUC分別提高了0.34、1.50個(gè)百分點(diǎn)，表明了MFEU-Net的有效性，充分驗(yàn)證了MFEU-Net相較于其他對比視網(wǎng)膜血管分割算法在血管分割方面精度更高，可以準(zhǔn)確地分割細(xì)小血管，有效地降低背景像素對血管分割的影響，具有良好的血管分割能力和魯棒性。

2.6　與先進(jìn)算法分割效果對比

為了更清晰地驗(yàn)證本文算法在視網(wǎng)膜血管分割方面的優(yōu)越性能，將MFEU-Net與近年來在DRIVE和CHASE_DB1數(shù)據(jù)集上的性能表現(xiàn)較好的先進(jìn)算法進(jìn)行對比實(shí)驗(yàn)。在DRIVE數(shù)據(jù)集上，與DUNet（Deformable U-Net）［15］、CE-Net（Context Encoder Network）［16］、IterNet［17］、SA-UNet（Spatial Attention U-Net）［18］和RV-GAN［19］進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。在CHASE_DB1數(shù)據(jù)集上與R2U-Net（Recurrent Residual convolutional neural network based on U-Net）［20］、VGN（Vessel Graph Network）［21］、SA-UNet、DUNet和RV-GAN進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

在DRIVE數(shù)據(jù)集上，MFEU-Net在準(zhǔn)確率、查準(zhǔn)率、F1分?jǐn)?shù)和AUC值上分別取得了最優(yōu)結(jié)果，表明MFEU-Net可以在準(zhǔn)確地識別出細(xì)小血管存在的同時(shí)做到不誤判像素的分類，在視網(wǎng)膜血管分割方面具有優(yōu)越的性能。與MFEU-Net相比，DUNet的靈敏度提升了0.06個(gè)百分點(diǎn)，但在其余指標(biāo)中均低于MFEU-Net，表明DUNet可以做到大致不遺漏血管像素，但容易分割出未經(jīng)專家標(biāo)注的血管像素，導(dǎo)致更大的假陽性。在CHASE_DB1數(shù)據(jù)集上，MFEU-Net在準(zhǔn)確率、靈敏度、F1分?jǐn)?shù)和AUC值上達(dá)到了最優(yōu)結(jié)果，表明MFEU-Net的誤分割概率小，有較小的假陽性。與MFEU-Net相比，SA-UNet的查準(zhǔn)率提升了0.13個(gè)百分點(diǎn)，但其余指標(biāo)都低于MFEU-Net，這是由于SA-UNet容易將血管像素誤分類為背景的像素，導(dǎo)致更大的假陰性。在與其他先進(jìn)算法的對比實(shí)驗(yàn)中，MFEU-Net在視網(wǎng)膜血管分割方面具有較高的精準(zhǔn)率和魯棒性，充分說明了MFEU-Net在視網(wǎng)膜血管分割方面的高效性。

表2　DRIVE數(shù)據(jù)集上本文算法與先進(jìn)算法的對比

表3　CHASE_DB1數(shù)據(jù)集上本文算法與先進(jìn)算法的對比

2.7　算法復(fù)雜度評估

MFEU-Net基于U-Net改進(jìn)，使用了4層編碼和解碼結(jié)構(gòu)。FIE-RM模塊共含有24層3×3卷積、12層1×3卷積、12層3×1卷積和12層5×5卷積，MDAC共含有10層3×3卷積和5層1×1卷積，MCE共含有3層3×3卷積塊，下采樣和轉(zhuǎn)置卷積模塊的參數(shù)量較少，因此MFEU-Net的時(shí)間復(fù)雜度主要受FIE-RM、MDAC和MCE這3個(gè)模塊的參數(shù)量與計(jì)算量的影響。對于同樣采用U-Net架構(gòu)的視網(wǎng)膜血管分割算法，它的時(shí)間復(fù)雜度相同。表4展示了不同基于U-Net改進(jìn)的視網(wǎng)膜血管分割算法在DRIVE和CHASE_DB1數(shù)據(jù)集上的占用內(nèi)存和運(yùn)行時(shí)間?？梢钥闯鯢IE-RM、MDAC和MCE這3個(gè)模塊對占用內(nèi)存和預(yù)測時(shí)間的影響較少，但可以有效地提高視網(wǎng)膜血管的分割精度。相較于CE-Net和CS-Net，本文算法在運(yùn)行時(shí)間和內(nèi)存占用上有小幅增加，但增加幅度均不超過3.00個(gè)百分點(diǎn)。

表4　不同算法的占用內(nèi)存和運(yùn)行時(shí)間對比

注：M1代表U-Net，“√”代表引入相應(yīng)模塊，M4即MFEU-Net。

2.8　消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法中各個(gè)模塊的有效性，分別在DRIVE和CHASE_DB1數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。

表5　消融實(shí)驗(yàn)結(jié)果

可以發(fā)現(xiàn)，M1在視網(wǎng)膜血管分割方面已經(jīng)取得了不錯(cuò)的精度，但分割效果仍需進(jìn)一步地提升；M2相較于M1在各項(xiàng)指標(biāo)上均有不同程度的提升，表明FIE-RM可以提高血管分割精準(zhǔn)度；M3相較于M2，分割效果得到進(jìn)一步提升，說明MDAC可以抽取血管的多尺度信息；M4相較于M3，各個(gè)指標(biāo)均有一定程度的提高，表明MCE可以通過融合不同層次的編碼信息消除背景噪聲的影響，從而實(shí)現(xiàn)對細(xì)小血管的高精度分割。上述實(shí)驗(yàn)結(jié)果表明，MFEU-Net具有一定的有效性和合理性。M1～M4的性能呈現(xiàn)上升趨勢，可以說明本文所提出的各個(gè)模塊對U-Net算法的改進(jìn)有效。M4的AUC值最高，表明MFEU-Net在視網(wǎng)膜血管分割方面具有較高的準(zhǔn)確率，可以準(zhǔn)確分割出主干血管和細(xì)小血管的存在，并且可以保持分割血管的連通性。綜上，MFEU-Net是一種具有較強(qiáng)的魯棒性和準(zhǔn)確性的視網(wǎng)膜血管分割算法。

3 結(jié)語

針對傳統(tǒng)的視網(wǎng)膜血管分割算法小血管分割不足和抗干擾性低的問題，本文提出了一種基于U-Net的多尺度特征增強(qiáng)視網(wǎng)膜血管分割算法（MFEU-Net），使用FIE-RM替換傳統(tǒng)的卷積塊，實(shí)現(xiàn)對血管特征信息的高效提取；同時(shí)，提出MDAC通過擴(kuò)大感受野抽取血管的多尺度特征信息；最后，在跳躍連接處構(gòu)建了MCE，融合不同層次的編碼信息消除背景噪聲的影響，實(shí)現(xiàn)了對細(xì)小血管的高精度分割。實(shí)驗(yàn)結(jié)果表明，MFEU-Net在DRIVE和CHASE_DB1數(shù)據(jù)集上可以分割出平滑連續(xù)的血管形狀，保證血管的連續(xù)性和完整性，與先進(jìn)算法進(jìn)行對比實(shí)驗(yàn)，MFEU-Net在視網(wǎng)膜血管分割方面具有更好的性能，可以有效地分割出細(xì)小血管，但對低對比度圖像的分割過程中仍存在血管分割斷裂和誤分割現(xiàn)象，今后將進(jìn)一步提高算法的分割性能。

[1] CHEN C， CHUAH J H， ALI R， et al. Retinal vessel segmentation using deep learning： a review［J］. IEEE Access， 2021， 9： 111985-112004.

[2] YAN Z， YANG X， CHENG K T. A three-stage deep learning model for accurate retinal vessel segmentation［J］. IEEE Journal of Biomedical and Health Informatics， 2019， 23（4）： 1427-1436.

[3] SINAGA K P， YANG M S. Unsupervised k-means clustering algorithm［J］. IEEE Access， 2020， 8： 80716-80727.

[4] HE Z， XIA K， LI T， et al. A constrained graph-based semi-supervised algorithm combined with particle cooperation and competition for hyperspectral image classification［J］. Remote Sensing， 2021， 13（2）： No.193.

[5] MCGUIRE B A， LOOMIS R A， BURKHARDT A M， et al. Detection of two interstellar polycyclic aromatic hydrocarbons via spectral matched filtering［J］. Science， 2021， 371（6535）： 1265-1269.

[6] CONTEJEAN A， LEPORRIER J， CANOU?E， et al. Comparing dynamics and determinants of severe acute respiratory syndrome coronavirus 2 transmissions among healthcare workers of adult and pediatric settings in central Paris［J］. Clinical Infectious Diseases， 2021， 72（2）： 257-264.

[7] GRAHAM S， EPSTEIN D， RAJPOOT N. Dense steerable filter CNNs for exploiting rotational symmetry in histology images［J］. IEEE Transactions on Medical Imaging， 2020， 39（12）： 4124-4136.

[8] JAINISH G R， JIJI G W， INFANT P A. A novel automatic retinal vessel extraction using maximum entropy based EM algorithm［J］. Multimedia Tools and Applications， 2020， 79（31/32）： 22337-22353.

[9] SIDDIQUE N， PAHEDING S， ELKIN C P， et al. U-net and its variants for medical image segmentation： a review of theory and applications［J］. IEEE Access， 2021， 9： 82031-82057.

[10] WANG S， LI L， ZHUANG X. AttU-NET： attention U-Net for brain tumor segmentation［C］// Proceedings of the 2021 International MICCAI Brainlesion Workshop， LNCS 12963. Cham： Springer， 2022： 302-311.

[11] MOU L， ZHAO Y， CHEN L， et al. CS-Net： channel and spatial attention network for curvilinear structure segmentation［C］// Proceedings of the 2019 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11764. Cham： Springer， 2019： 721-730.

[12] 路皓翔，劉振丙，郭棚躍，等. 多尺度卷積結(jié)合自適應(yīng)雙區(qū)間均衡化的圖像增強(qiáng)［J］. 光子學(xué)報(bào)， 2020， 49（10）：No.1010002.（LU H X， LIU Z B， GUO P Y， et al. Multi-scale convolution combined with adaptive bi-interval equalization for image enhancement［J］. Acta Photonica Sinica， 2020， 49（10）： No.1010002.）

[13] 吳正平，岑帥紅. 基于自適應(yīng)gamma校正估計(jì)的圖像去霧算法［J］. 液晶與顯示， 2022， 37（1）：106-115.（WU Z P， CEN S H. Image dehazing algorithm based on adaptive gamma correction estimation［J］. Chinese Journal of Liquid Crystals and Displays， 2022， 37（1）：106-115.）

[14] AlGHAMDI M， ABDEL-MOTTALEB M， COLLADO-MESA F. DU-Net： convolutional network for the detection of arterial calcifications in mammograms［J］. IEEE Transactions on Medical Imaging， 2020， 39（10）： 3240-3249.

[15] JIN Q， MENG Z， PHAM T D， et al. DUNet： a deformable network for retinal vessel segmentation［J］. Knowledge-Based Systems， 2019， 178： 149-162.

[16] GU Z， CHENG J， FU H， et al. CE-Net： context encoder network for 2D medical image segmentation［J］. IEEE Transactions on Medical Imaging， 2019， 38（10）： 2281-2292.

[17] LI L， VERMA M， NAKASHIMA Y， et al. IterNet： retinal image segmentation utilizing structural redundancy in vessel networks［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2020： 3645-3654.

[18] GUO C， SZEMENYEI M， YI Y， et al. SA-UNet： spatial attention U-Net for retinal vessel segmentation［C］// Proceedings of the 25th International Conference on Pattern Recognition. Piscataway： IEEE， 2021： 1236-1242.

[19] KAMRAN S A， HOSSAIN K F， TAVAKKOLI A， et al. RV-GAN： segmenting retinal vascular structure in fundus photographs using a novel multi-scale generative adversarial network［C］// Proceedings of the 2021 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 12908. Cham： Springer， 2021：34-44.

[20] ALOM M Z， HASAN M， YAKOPCIC C， et al. Recurrent residual convolutional neural network based on U-Net （R2U-Net） for medical image segmentation［EB/OL］. （2018-05-29） ［2022-07-13］.https：//arxiv.org/pdf/1802.06955.pdf.

[21] SHIN S Y， LEE S， YUN I D， et al. Deep vessel segmentation by learning graphical connectivity［J］. Medical Image Analysis， 2019， 58： No.101556.

Multi-scale feature enhanced retinal vessel segmentation algorithm based on U-Net

ZHANG Zhiang1*， LIAO Guangzhong2

（1，，430065，；2?（），430065，）

Aiming at the shortcomings of traditional retinal vessel segmentation algorithm such as low accuracy of vessel segmentation and mis-segmentation of focal areas， a Multi-scale Feature Enhanced retinal vessel segmentation algorithm based on U-Net （MFEU-Net） was proposed. Firstly， in order to solve the vanishing gradient problem， an improved Feature Information Enhancement Residual Module （FIE-RM） was designed to replace the convolution block of U-Net. Secondly， in order to enlarge the receptive field and improve the extraction ability of vascular information features， a multi-scale dense atrous convolution module was introduced at the bottom of U-Net. Finally， in order to reduce the information loss in the process of encoding and decoding， a multi-scale channel enhancement module was constructed at the skip connection of U-Net. Experimental results on Digital Retinal Images for Vessel Extraction （DRIVE） and CHASE_DB1 datasets show that compared with CS-Net （Channel and Spatial attention Network）， the suboptimal algorithm in retinal vessel segmentation， MFEU-Net has the F1 score improved by 0.35 and 1.55 percentage points respectively， and the Area Under Curve （AUC） improved by 0.34 and 1.50 percentage points respectively. It is verified that MFEU-Net can improve the accuracy and robustness of retinal vessel segmentation effectively.

retinal vessel segmentation; U-Net; multi-scale information; dense atrous convolution; residual network; focal area

This work is partially supported by Key Research and Development Program of Wuhan （2022012202015070）.

ZHANG Zhiang， born in 1999， M. S. candidate. His research interests include semantic segmentation， medical image processing.

LIAO Guangzhong， born in 1969， M. S.， associate professor. His research interests include internet of things， information safety.

1001-9081（2023）10-3275-07

10.11772/j.issn.1001-9081.2022091437

2022?09?28；

2022?11?28；

武漢市重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2022012202015070）。

張志昂（1999—），男，江蘇徐州人，碩士研究生，主要研究方向：語義分割、醫(yī)學(xué)圖像處理； 廖光忠（1969—），男，貴州貴陽人，副教授，碩士，CCF會(huì)員，主要研究方向：物聯(lián)網(wǎng)、信息安全。

TP391

A

2022?12?13。