基于全尺度跳躍連接的視網(wǎng)膜血管分割算法

任子暉， 蔡蔓利， 繆小波， 李航

(中國礦業(yè)大學信息與控制工程學院， 徐州 221000)

視網(wǎng)膜血管作為人體唯一無創(chuàng)傷就可以提取到的微小血管，對于某些疾病的早期預防、診斷具有重要的意義。眼類疾病、心血管類疾病以及糖尿病等都與視網(wǎng)膜血管的形態(tài)變化密切相關[1]，以糖尿病為例，通過醫(yī)學臨床研究發(fā)現(xiàn)，視網(wǎng)膜血管的病變極大程度上代表了糖尿病的病變程度[2]，因此，通過對視網(wǎng)膜血管的觀察，可以獲得糖尿病病變的信息。因此，對視網(wǎng)膜血管結構的準確檢測和分析可以說是大規(guī)模人群預防多種疾病的重要任務。但是，由于眼底圖像的噪聲多、對比度低、微小血管變化不均勻等問題，使視網(wǎng)膜血管的精準分割成為一項難題。

眼底圖像一般是由醫(yī)務人員進行人工觀察，由于眼底圖像信息量十分巨大且相當難以處理，加上觀察結果受醫(yī)務人員的經(jīng)驗與精力受制，導致診斷的準確率易于波動，進而出現(xiàn)誤診等醫(yī)療事故[3]。隨著計算機圖像處理技術的發(fā)展，為視網(wǎng)膜血管分割提供了一種高準確性及特異性的圖像分割方法，所以，研究一種準確的、便捷的視網(wǎng)膜微血管分割算法對于醫(yī)學診斷是尤為重要的。

視網(wǎng)膜血管的分割算法主要分為無監(jiān)督和有監(jiān)督兩大類[4]，然而近幾年來，基于神經(jīng)網(wǎng)絡的視網(wǎng)膜血管分割算法更為流行，越來越多的學者將深度學習和神經(jīng)網(wǎng)絡運用到視網(wǎng)膜微血管的分割中。文獻[5]提出了一種遞歸卷積神經(jīng)網(wǎng)絡和遞歸殘差卷積神經(jīng)網(wǎng)絡，命名為R2U-net網(wǎng)絡，該算法綜合了U-Net、殘差網(wǎng)絡和遞歸卷積神經(jīng)網(wǎng)絡的功能，提供了更好的分割性能。文獻[6] 提出一種混合的5D特征作為血管像素與非血管像素的表達，從而能夠簡單快速地將視網(wǎng)膜血管從背景中分割開來。文獻[7]提出了一種包含一組計算效率較高的馬氏距離分類器的級聯(lián)分割網(wǎng)絡來分割視網(wǎng)膜血管。文獻[8]提出了一種多尺度融合的全卷積神經(jīng)網(wǎng)絡(full-convolutional neural network, FCN)的視網(wǎng)膜微血管分割算法。文獻[9]提出了一種基于多尺度多路徑的全卷積神經(jīng)網(wǎng)絡的視網(wǎng)膜血管分割方法，此算法利用不同空洞率的空洞卷積代替池化層和上采樣操作，在不增加參數(shù)的情況下增加感受野，避免細節(jié)信息的丟失，并提高了細小血管的提取能力。文獻[10]提出了一種名為D-net的DCNN(dilated multi-scale convolutional neural network)結構，通過在編碼階段降低下采樣因子來減少微小血管特征信息的丟失。文獻[11]針對視網(wǎng)膜血管存在偽影與尺度結構復雜等難題，提出了一種基于多尺度濾波的有監(jiān)督學習視網(wǎng)膜血管分割算法，該算法通過巧妙地選取不同屬性的多尺度濾波器，有效地克服了單一特征或者濾波器存在的微血管分割不足與血管連通性不佳等問題，還可以進一步使分割方法更加穩(wěn)健。文獻[12]提出了以一種基于改進的U-net視網(wǎng)膜血管圖像分割算法，此算法引入了Inception模塊以改善深層網(wǎng)絡優(yōu)化困難的問題，并在解碼階段引入注意力機制，充分結合U-net網(wǎng)絡的跳躍結構。

目前，由于視網(wǎng)膜微血管的細小血管在分割過程中容易丟失，分割精度和靈敏度有待提高，針對以上問題，本文中提出一種基于改進的U-net3+[13](a full-scale connected U-net for medical image segmentation)網(wǎng)絡的視網(wǎng)膜微血管分割算法。首先利用U-net3+網(wǎng)絡中全尺度跳躍連接以及可變卷積網(wǎng)絡提取到足夠多的視網(wǎng)膜血管特征，可變卷積可以根據(jù)圖像的幾何變化來改變感受野變化的大小，由此可以提高算法的穩(wěn)定性和適應性，加上更加全面的跳躍連接融合更多的血管特征，從而達到提升算法性能的效果。針對醫(yī)學圖像融合存在偽影、邊緣保持性弱等問題，文獻[14]提出了一種參數(shù)自適應的脈沖耦合神經(jīng)網(wǎng)絡(pulse coupled neural network, PCNN)圖像融合方法，此算法能更多地保留源圖像的信息，邊緣保持能力更強，融合圖像對比度高，視覺效果更佳。基于此，采用SFAM(scale-wise feature aggregation module)模塊來優(yōu)化算法的特征融合部分，SFAM模塊中的通道注意力機制與PCNN算法的參數(shù)自適應的性能具有異曲同工之妙，通道注意力機制通過賦予不同特征不同權重，尤其是重要且細小的血管特征信息的權重，進而實現(xiàn)捕捉更多有效信息，提高算法的分割性能。

1 基于全尺度跳躍連接的U-net網(wǎng)絡

1.1 全尺度跳躍連接

傳統(tǒng)的U-net網(wǎng)絡僅有4條跳躍連接，網(wǎng)絡構架如圖1所示，此種連接方式只能將相同尺度的特征融合起來，容易造成細節(jié)信息的丟失，導致分割精度不夠。

圖1 U-net網(wǎng)絡體系Fig.1 U-net network architecture

圖2 U-net3+的跳躍連接方式Fig.2 Skip connection of U-net3+

(1)

式(1)中：C表示卷積操作；D、U分別表示下采樣和上采樣；F表示尺度特征聚合模塊SFAM。

1.2 可變卷積網(wǎng)絡

無論是傳統(tǒng)U-net網(wǎng)絡，還是U-net3+網(wǎng)絡，采用的卷積都是固定的卷積核，缺乏適應不同視網(wǎng)膜微血管形狀和走向的能力，因此采用可變卷積[14]來改進U-net3+網(wǎng)絡?？勺兙矸e是在二維域進行操作的，它并沒有改變卷積的計算操作，而是在卷積操作的作用區(qū)域上增加了一個可學習的參數(shù)，即二維偏移量，這樣就可以自由地改變采樣網(wǎng)絡的形狀，以3×3的卷積核為例，圖3展示了普通卷積和可變卷積采樣點的位置分布。其中，圖3(a)代表傳統(tǒng)卷積核的采樣點，圖3(b)代表引入一種隨機偏移向量的卷積核的采樣點，圖3(c)與圖3(d)是圖3(b)的特殊情況，引入規(guī)則性偏移向量的卷積核采樣點，表明可變卷積可以在不同尺度、不同旋轉角度下推廣。

圖3 采樣點的位置分布Fig.3 Location distribution of sampling points

在傳統(tǒng)卷積中，對特征圖的每一位置p0的計算公式為

(2)

式(2)中：R定義了感受野的大小和擴張，R∈{(-1,-1),(-1,0),(-1,1),…,(1,1)}，取整數(shù)；pn為卷積中任意一個像素點；Δpn為像素點pn的位置偏移量；w(pn)為像素點pn的權重；x為輸入層像素點的集合。

可變卷積中引入偏移量{Δpn|n=1,2,…,N}(N=|R|)，同樣的位置p0變?yōu)?/p>

(3)

可變卷積網(wǎng)絡在固定采樣網(wǎng)格中引入二維偏移量，并通過雙線性插值將帶有偏移量的像素點集中到一起，實現(xiàn)不規(guī)則圖像特征的提取，其實現(xiàn)過程如圖4所示。因此，改進后的網(wǎng)絡就可以根據(jù)血管的不同形狀和不同尺度進行建模，通過訓練學習視網(wǎng)膜血管的局部特征，這樣就可以很好地適應血管的幾何形變以及病變部位，得到高分割精度的分割結果圖。

圖4 可變卷積的實現(xiàn)過程Fig.4 Process of deformable convolution

1.3 特征融合

雖然全尺度的跳躍連接融合了更多的尺度特征以及細小血管的特征信息，但是為了進一步避免噪聲影響，提高視網(wǎng)膜微血管的分割精度，本文中采用含有通道注意力機制[15]的尺度特征聚合模塊SFAM[16]來提升算法的特征融合性能。通過注意力機制可以有效地給予不同通道的特征圖不同權重，體現(xiàn)出不同通道特征圖的重要性。其模型結構如圖5所示。

圖5 SFAM模塊的結構體系Fig.5 Architecture of SFAM

通道注意力機制分成擠壓(squeeze)、激勵(excitation)以及注意(attention)3個部分。擠壓部分就是指在得到多尺度特征圖像后采用全局平均池化對每個特征圖像進行壓縮，使其C個特征圖像最后變成1×1×C的實數(shù)數(shù)列，進行最簡單的全局平均池化操作，從而使其具有全局的感受野，以便網(wǎng)絡底層也能夠利用全局信息。全局平均池化的數(shù)學表達式為

(4)

式(4)中：Zc表示全局信息；uc、H、W是特征圖及其高和寬；(i,j)是像素坐標。

激勵是指使用兩個全連接神經(jīng)網(wǎng)絡，對擠壓后的結果進行一個非線性變換，類似于循環(huán)神經(jīng)網(wǎng)絡中門的機制，通過設置參數(shù)為每一個特征通道生成權重，其中參數(shù)被學習用來顯式地建模特征通道之間的相關性。激勵函數(shù)為

Fex(z,W)=σ[g(z,W)]=σ[W2δ(W1z)]

(5)

式(5)中：σ是ReLU函數(shù)，ReLU解決了梯度消失的問題，而且計算速度快，減少了參數(shù)互相依存的關系；δ是Sigmoid激活函數(shù)，Sigmoid激活函數(shù)把權重值限制在[0,1]，激勵部分就是通過訓練學習這兩個權重得到一維的激勵權重來激活每一層通道。

最后將激勵權重值Sc(特征圖C個通道的權重信息)乘以輸入特征的二維矩陣uc，完成在通道維度上對原始特征的重標定，即把激勵權重值看作是完成特征選擇后的每一個特征通道的重要性，得到最后的特征圖Xc，公式為

Xc=Fscale(uc,Sc)=ucSc

(6)

式(6)中：Fscale為尺度聚合函數(shù)。

此機制結構就是通過控制權重的大小，將重要的視網(wǎng)膜血管特征增強，并減弱不重要的特征，從而使提取的特征信息更具有指向性。

1.4 損失函數(shù)

U-net++網(wǎng)絡[17]就已經(jīng)用到了深度監(jiān)督，對每個嵌套的子網(wǎng)絡進行監(jiān)督，其監(jiān)督方式如圖6所示。從全尺度方面考慮，U-net3+網(wǎng)絡將每一個解碼器模塊的側輸出都與金標準進行比較，計算兩者之間的損失(loss)，從而實現(xiàn)全尺度的深度監(jiān)督，如圖7所示。

圖6 U-net++的深度監(jiān)督Fig.6 Deep supervision of U-net++

圖7 U-net3+的深度監(jiān)督Fig.7 Deep supervision of U-net3+

為了進一步增強算法對視網(wǎng)膜微血管的邊界的識別能力，實現(xiàn)血管邊界的精確分割，將U-net3+網(wǎng)絡中損失函數(shù)進行優(yōu)化，更好地實現(xiàn)深度監(jiān)督。采用一種混合損失函數(shù)，針對性地解決像素分割、區(qū)域塊分割邊界分割的任務?；趯ocal loss、dice loss、MS-SSIM loss的研究，本文中的混合損失函數(shù)由這3個損失函數(shù)組成，定義為

Lmix=Lfocal+Ldice+LMISS-SSIM

(7)

focal loss是對標準交叉熵函數(shù)的一種改進，用于像素級別的分割任務重，其主要作用就是將重點放在分類困難的樣本上，解決了難易樣本數(shù)量不平衡的問題，至于哪些是難分類樣本哪些是易分類樣本，都由網(wǎng)絡的輸出和標準之間的偏差決定，這就實現(xiàn)了網(wǎng)絡自適應調(diào)整，提高了網(wǎng)絡的實用性。dice loss是一種用于評估兩個樣本的相似性的度量函數(shù)。dice系數(shù)是分割效果的一個評判指標，其公式相當于預測結果區(qū)域和標簽區(qū)域的交并比，所以它是把一個類別的所有像素作為一個整體去計算loss的，針對于區(qū)域塊分割任務來監(jiān)督網(wǎng)絡學習目標。MS-SSIM loss是針對血管邊界分割任務的，提高算法對于視網(wǎng)膜中細小血管邊界的學習能力。

2 數(shù)據(jù)集與圖像預處理

2.1 數(shù)據(jù)集

DRIVE[18]數(shù)據(jù)集包含40張彩色視網(wǎng)膜圖像，被分為訓練組和測試組，每組20張圖像，每張圖像都對應兩個眼科專家手動分割的標記結果和專門的掩膜圖像，每張圖像的像素為565×584。DRIVE數(shù)據(jù)集于2004年發(fā)布，是Diemeijer團隊根據(jù)荷蘭糖尿病視網(wǎng)膜病變篩查工作建立的彩色視網(wǎng)膜圖像庫，這些圖像來自453名25～90歲的個體，其中7幅為含有早期糖尿病病灶的眼底圖像，33幅為正常人的眼底圖像。

2.2 圖像預處理

視網(wǎng)膜微血管彩色圖像存在照明不均勻、血管與背景對比度低等問題，導致難以獲取細小血管的特征信息，所以本文中將對輸入網(wǎng)絡的視網(wǎng)膜微血管彩色圖像進行預處理。通過分別提取彩色圖像的三通道灰度圖像，如圖8所示，發(fā)現(xiàn)血管與綠色通道灰度圖像背景的對比度最好，所以本文中使用綠色通道的視網(wǎng)膜微血管灰度圖像。

圖8 三通道灰度圖像Fig.8 Three channel gray image

然后采用匹配濾波抑制圖像的背景，增強目標血管的灰度，突出細小血管，為了保證視網(wǎng)膜微血管圖像的仿射不變性，提高計算精度，還需要對濾波后的圖像進行歸一化處理，公式為

(8)

式(8)中：I(x,y)是輸入圖像；L(x,y)和C(x,y)分別是像素點(x,y)的光照強度漂移因子和對比度漂移因子；I′(x,y)是歸一化后的圖像。

最后采用對比度受限的自適應直方圖均衡化[19]再次進行圖像處理，在不放大圖像噪聲的前提下增強視網(wǎng)膜微血管與背景之間的對比度。預處理后的圖像效果如圖9所示。

圖9 預處理效果圖Fig.9 Effect of pretreatment

3 實驗結果與分析

3.1 視網(wǎng)膜血管分割性能指標

視網(wǎng)膜微血管分割任務可以看作是二分類的像素級任務，一類為目標血管類(正類)，一類為背景類(負類)。根據(jù)分割結果與真實值(ground truth, GT)比較可得真陽性(TP)、假陽性(FP)、真陰性(TN)、假陰性(FN)。本文選用四種常用的評價指標來評估所提算法的性能，包括準確率(Acc)、靈敏度(Sen)、特異性(Spe)和AUC。指標含義如表1所示。

表1 視網(wǎng)膜血管分割性能指標Table 1 Retinal vascular segmentation performance index

3.2 實驗結果

使用DRIVE數(shù)據(jù)集進行算法測試，為了評價改進算法的分割性能，將改進算法的視網(wǎng)膜血管分割結果圖與專家手動分割的標簽圖進行比較，尤其是對于細小血管的視覺效果的比較，從而進一步討論視網(wǎng)膜血管圖像中像素點的分類效果，從表2可以看出，改進算法分割的結果圖與專家手動分割的標簽圖基本保持一致，保留了更多的細小血管。

表2 實驗結果與標簽對比Table 2 Comparison between experimental results and labels

在視覺上，改進算法在微血管像素的識別上具有較好的表現(xiàn)，同時還能有效地識別眼底視盤，隨機抽取5幅實驗結果圖與標簽圖像進行對比，把正確識別為血管像素占總像素的比值作為對比標準，對比結果如圖10和圖11所示?？梢?，改進算法的分割圖像與標簽最大相差2.7%, 最小相差0.1%, 平均相差1.46%, 改進后的算法具有較好的血管識別正確度, 識別出的血管像素數(shù)比較接近于標準數(shù)據(jù)。

圖10 血管像素數(shù)對比Fig.10 Comparison of blood vessel pixels

圖11 血管像素與總像素比值對比Fig.11 Comparison of vascular pixel to total pixel ratio

近幾年大多視網(wǎng)膜血管分割算法都存在毛細血管分割不足的問題，改進算法利用全尺度跳躍連接和可變卷積提取更多的細小血管，取得了較好的效果，將改進算法的分割圖與其他文獻算法進行對比，對比結果如圖12所示。

圖12 不同算法實驗圖對比Fig.12 Contrast of segmentation images with different algorithms

3.3 分割性能分析

從分割結果圖可以看出，改進算法有著較好的分割性能，為了進一步分析分割性能，本文中從準確率(Acc)、靈敏度(Sen)、特異性(Spe)以及AUC 4個方面進行評價，如表3所示，本文算法在這4個評價指標上的結果分別是97.63%、78.84%、98.76%、97.08%，同時與其他研究者提出的分割算法相比較，本文算法也有較好的表現(xiàn)。

表3 不同算法在DRIVE數(shù)據(jù)集上的測試結果Table 3 Results of different algorithms on drive dataset

文獻[19]在準確度表現(xiàn)出較好的性能，達到了98.10%，該算法是基于多尺度匹配濾波的改進算法，在傳統(tǒng)的單一尺度的高斯匹配濾波基礎上，分別采用兩個尺度的高斯匹配濾波器增強圖像特征，最后使用二維最大熵閾值分割算法對增強后的圖像進行二值化處理，得到最后的分割圖。但是，該算法在特異性上的表現(xiàn)相對本文算法相對欠優(yōu)，只有95.90%。

算法利用全尺度跳躍連接捕獲更多的特征信息，提高了分割精度，而且通過引入通道注意力機制的SFAM特征融合模塊和可變卷積，有效保留了更多的細小血管的特征信息，與其他算法相比，表現(xiàn)出了優(yōu)異的效果。表4展示了一處微細的毛細血管的分割效果對比情況。

表4 局部分割Table 4 Segmentation of small part vessels

為了突出算法優(yōu)化的有效性，將改進算法與傳統(tǒng)的U-net網(wǎng)絡算法、未改進的U-net3+網(wǎng)絡算法相比較，在準確率上，改進算法比傳統(tǒng)的U-net網(wǎng)絡和net3+網(wǎng)絡分別提高了2.35%、0.99%，不僅準確率有所提高，特應性和敏感度都得到了一定的提升。指標數(shù)據(jù)對比如表5所示，各分割效果圖的對比如表6所示。

表5 評價指標對比Table 5 Comparison of evaluating indicator

表6 實驗結果圖與標簽圖對比Table 6 Comparison between experimental result and label

相對于傳統(tǒng)的U-net網(wǎng)絡，U-net3+網(wǎng)絡在視網(wǎng)膜微血管分割上效果明顯提升，改進后的U-net3+網(wǎng)絡又有了進一步的提升，血管像素與背景像素獲得了較好的區(qū)分，分割圖像在視覺上獲得了一定的提升，分割精度也有明顯提高，圖13為3種U-net網(wǎng)絡準確率(Acc)的迭代曲線。

圖13 Acc迭代曲線圖Fig.13 Iterative curve of Acc

4 結論

針對視網(wǎng)膜微血管分割精度不夠、細小特征容易丟失等問題，提出基于改進的U-net3+網(wǎng)絡的視網(wǎng)膜血管分割算法。通過在眼底圖像數(shù)據(jù)集DRIVE上進行測試，并與其他網(wǎng)絡算法進行比較，由此得到以下結論。

(1)全尺度跳躍連接方式可以從多尺度中探索到足夠的特征信息，使網(wǎng)絡提取到更多的血管特征，從而使分割結果更接近于標簽圖像。

(2)使用可變卷積代替?zhèn)鹘y(tǒng)的固定卷積，通過其靈活可變的感受野，解決由于視網(wǎng)膜血管分布復雜、走向混亂導致的細小血管難以捕捉的問題。

(3)通過通道注意力機制使得重要的血管特征得到增強，對于血管特征的提取更有指向性，從而進一步提高算法的分割精度。

(4)通過一系列的比較，展現(xiàn)了改進算法的優(yōu)越性和較高的分割性能。