一種淺層非對稱結(jié)構(gòu)的視網(wǎng)膜血管分割網(wǎng)絡

王 耀，顧 德

(江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122)

0 引言

糖尿病是由血液中葡萄糖的積累引起的[1]。糖尿病使人面臨各種疾病的風險，如腎衰竭、視力喪失、牙齒出血、神經(jīng)衰竭、下肢癲癇發(fā)作、中風、心力衰竭等[2]。糖尿病性神經(jīng)病變是由腎單位的破壞引起的，而糖尿病性視網(wǎng)膜病變是由腦神經(jīng)元損傷引起的，這會導致視網(wǎng)膜感染，并可在早期階段逐漸損害視力[3]。因此，糖尿病患者必須進行全面的眼科檢查，在此期間必須由眼科醫(yī)生檢查視網(wǎng)膜。光學相干斷層掃描、眼底熒光素血管造影、裂隙燈生物顯微鏡檢查和眼底成像是識別患眼的一些方法[4]。

根據(jù)世界衛(wèi)生組織進行的調(diào)查，糖尿病[5]是第七大致命疾病。此外，通過補充統(tǒng)計，糖尿病患者人數(shù)大幅增加，攀升至4.22億。數(shù)據(jù)顯示，18歲以上的糖尿病患者人數(shù)從4.7%增加到8.5%，而一些最貧窮的人更容易患糖尿病。葡萄糖水平的最大升高對血管有顯著影響，導致眼睛血液滲出，人體視覺系統(tǒng)減弱[6]。另一方面，人類天生具有治愈疾病的能力。當大腦識別到血液泄漏時，它會刺激周圍組織來處理這種情況。因此，它會導致新血管的零星形成，但由此產(chǎn)生的細胞是貧血的[7]。

視網(wǎng)膜眼底圖像分析是一種有用的醫(yī)療處理操作。眼科醫(yī)生可以使用視網(wǎng)膜血管分割來幫助他們診斷各種眼部問題[8]。因此，包括糖尿病視網(wǎng)膜病變、高血壓、動脈粥樣硬化和黃斑變性在內(nèi)的疾病可以改變動脈的形態(tài)，從而改變其直徑、曲折度和分支角度。醫(yī)生通過觀察眼底血管的彎曲度、長度、寬度、分叉情況等來獲得眼底疾病的臨床病理特征[9]。將視網(wǎng)膜眼底圖像中的視網(wǎng)膜血管進行精確分割將有助于醫(yī)生更加容易識別這些臨床病例特征，使醫(yī)生更好的幫助病人進行眼底病變的診斷[10]。視網(wǎng)膜血管形狀復雜、分支較多，對其進行精確分割需要專業(yè)醫(yī)生將圖片中的每一個像素點進行正確歸類，這使得人工分割血管非常耗時。由于眼底圖像質(zhì)量以及病變產(chǎn)生的一些疾病特征使得部分區(qū)域血管不明顯，人為分割容易出錯。通過分割算法將視網(wǎng)膜眼底圖像中的血管進行精確分割能夠幫助醫(yī)生分析復雜的視網(wǎng)膜眼底圖像，減少了醫(yī)生的診斷時間和誤診幾率，計算機化分割策略近年來引起了科學工作者極大的興趣，許多細分方法已經(jīng)被提出[11-13]。然而，現(xiàn)有的視網(wǎng)膜血管分割方法存在靈敏度較差，細小血管難以被分割的問題。

關于視網(wǎng)膜血管分割算法大體可分為基于傳統(tǒng)算法和基于深度學習算法兩大類。傳統(tǒng)算法包含閾值分割法、基于線檢測器檢測法、形態(tài)學法等。文獻[14]提出了一種基于線檢測器的血管檢測方法，用于識別主要血管區(qū)域，然后應用馬爾可夫模型檢測去除噪聲后的視網(wǎng)膜血管。文獻[15]提出了一種基于多尺度圖像增強與底帽變換相結(jié)合的混合方法，其中分割任務是基于形態(tài)學操作執(zhí)行的。文獻[16]提出了一種基于概率補丁的降噪器來緩解阻礙血管分割的噪聲，其中使用了改進的Frangi濾波器和降噪器。另一種是基于深度學習的方法，文獻[17]基于深度學習技術設計了一種具有編碼-解碼結(jié)構(gòu)的U-Net全卷積神經(jīng)網(wǎng)絡模型，U-Net網(wǎng)絡分為編碼階段和解碼階段，這兩個階段結(jié)構(gòu)是對稱的，在兩個階段之間通過跳躍層將相應的特征進行連接，這使得網(wǎng)絡可以對圖片進行像素級的分割，在數(shù)據(jù)集圖片數(shù)量較少的情況下也能獲得較好的分割性能。文獻[18]提出了密集殘差網(wǎng)絡(DRNet)分割視網(wǎng)膜圖像中的血管。在DRNet中，采用了一種雙殘差塊的殘差結(jié)構(gòu)來增加網(wǎng)絡的深度，使得網(wǎng)絡可以獲得更加復雜的語義信息。

傳統(tǒng)的語義分割網(wǎng)絡使用相同數(shù)量的編碼器和解碼器，同時保持對稱的架構(gòu)設計。這增加了網(wǎng)絡的整體深度和可訓練參數(shù)的數(shù)量。此外，傳統(tǒng)網(wǎng)絡使用多個池化層來減小特征圖的大小，使得最終的特征圖尺寸變得太小，無法表示原始特征圖中的微小目標。在視網(wǎng)膜血管分割過程中，傳統(tǒng)的編碼解碼架構(gòu)將導致大量微小血管無法被正確分割而使算法的靈敏度變得很低。為了避免分割后細小血管像素模糊、丟失等現(xiàn)象，提升血管分割靈敏度和精確度，本文設計了一種新的視網(wǎng)膜血管分割算法。該網(wǎng)絡將殘差通道注意力模塊(RCA，residual channel attention)和多尺度空洞卷積模塊(MDC，multiscale dilated convolution)相結(jié)合作為特征提取模塊。網(wǎng)絡中通過兩次Strided Conv操作來將特征圖尺寸減半，相比于傳統(tǒng)網(wǎng)絡中多次使用池化操作減小特征圖尺寸的操作，Strided Conv在將特征圖尺寸減少的同時，還可以提取特征圖中的信息，整個網(wǎng)絡也只使用了兩次Strided Conv操作，減少了因特征圖尺寸改變所導致的特征圖信息丟失現(xiàn)象。值得注意的是，為了減少網(wǎng)絡深度加深導致的信息丟失的問題，整個網(wǎng)絡使用了兩次特征通道融合操作，將不同網(wǎng)絡深度的特征信息進行通道層融合，減少了原始特征圖中因為多次卷積操作而丟失的信息，每一次特征圖尺寸減半操作都需要對應尺寸擴張操作將特征圖尺寸，由于本網(wǎng)絡只使用了兩次尺寸減半操作，因此減少了整個網(wǎng)絡的權重參數(shù)。網(wǎng)絡權重參數(shù)的數(shù)量為7.2 MB，相比于傳統(tǒng)網(wǎng)絡參數(shù)數(shù)量更少。

1 模塊設計及網(wǎng)絡結(jié)構(gòu)

1.1 殘差通道注意力模塊(RCA)

深度學習領域中的注意力機制(attention mechanism)和人類的視覺選擇性注意力機制類似，往往關注于已收集信息的某些特定部分?？紤]到該機制在辨別和聚焦方面的優(yōu)勢，注意力機制已廣泛應用于各種人工智能領域。然而，大多數(shù)致力于獲得更好性能的方法不可避免地增加了模型的復雜性。文獻[19]提出了一種有效的通道注(ECA)模塊，使用1D卷積來避免壓縮和激勵塊中的降維操作，這大大降低了模型的復雜性，同時保持了優(yōu)異的性能。然而，在ECA模塊中，僅僅使用平均池化會丟失大量信息，為了減少信息丟失，本文采用平均池化和最大池化來獲得更精細的通道注意模塊，通道注意機制通過自動學習來學習每個特征通道的重要性，并使用獲得的重要性來增強重要特征，抑制對視網(wǎng)膜血管分割任務不重要的特征，從而進一步增強網(wǎng)絡對于血管的辨別能力。通道注意機制(CA)通過自動學習來學習每個特征通道的重要性，由于眼底視網(wǎng)膜圖像中亮度不均勻、血管形狀以及病理噪聲等都會對血管的分割造成干擾，CA通過增大含有血管像素的特征圖通道的權重來增加網(wǎng)絡對血管像素的學習能力，抑制視網(wǎng)膜眼底圖像中噪聲的干擾。

圖1 CA模塊

(1)

(2)

Pr=σ(Pm1D+Pa1D)

(3)

Po=Multiply(P，Pr)

(4)

為了解決神經(jīng)網(wǎng)絡中層數(shù)加深所導致的梯度消失和梯度爆炸等問題，更好地發(fā)揮注意力機制的作用，網(wǎng)絡采取殘差網(wǎng)絡(ResNet，residual network)[20]模塊相結(jié)合的方式構(gòu)造了如圖2所示的殘差通道注意力模塊(RCA)，使用批量歸一化(batchnormalization)、ReLU激活、3×3卷積層和Spatialdropout來構(gòu)造殘差學習塊，然后在最后引入通道注意力模塊來增加殘差模塊所提取特征圖中重要特征通道的權重值。

圖2 RCA模塊

1.2 多尺度空洞卷積模塊(MDC)

受到文獻[21]啟發(fā)，為了捕獲到更加完整的視網(wǎng)膜血管邊緣特征，本文構(gòu)建了如圖3所示的多尺度空洞卷積模塊(MDC)。多尺度空洞卷積模塊采用殘差網(wǎng)絡結(jié)構(gòu)，首先使用一個3×3的普通卷積進行初步的特征提取，然后利用批量歸一化和ReLU激活函數(shù)濾掉其他冗余信息。為了獲得不同范圍的特征信息，在多尺度空洞卷積模塊中使用3種不同感受野的卷積核來對視網(wǎng)膜血管特征圖進行邊界信息的提取；然后將3個空洞卷積的輸出進行通道拼接。拼接后 的信息經(jīng)過一次1×1的卷積將通道數(shù)變?yōu)楹洼斎胪ǖ酪粯樱詈笈c通過殘差結(jié)構(gòu)將原始輸入的特征圖進行維度拼接與特征融合，在提升血管特征提取精度的同時，還可以獲得豐富的血管邊界特征信息。普通卷積感受野范圍有限，如果需要增大感受野則需要增大卷積核對大小，但這又會大大增加網(wǎng)絡的參數(shù)數(shù)量，使用空洞卷積可以在不增加參數(shù)量的情況下增加卷積核的感受野，但是連續(xù)使用相同空洞率的空洞卷積會造成網(wǎng)格(gridding)效應等問題，為了解決 “網(wǎng)格化”問題，本文參考了文獻[22]的方法，使用了一個空洞率r=[1，3，5]，卷積核大小為3×3的多尺度空洞卷積，多尺度空洞卷積可以在不改變卷積參數(shù)量的前提下，通過增大空洞率來提升卷積核的感受野。同時，多尺度空洞卷積的特征提取能夠覆蓋更多的像素點，可以提取到不同尺寸視網(wǎng)膜血管的特征，能夠獲得視網(wǎng)膜血管更遠距離的上下文信息，得到更加細致的血管邊界特征。

圖3 MDC模塊

1.3 網(wǎng)絡結(jié)構(gòu)

本文設計了一種的新的視網(wǎng)膜血管分割網(wǎng)絡。如圖4所示，網(wǎng)絡以殘差通道注意力模塊(RCA)和多尺度空洞卷積模塊(MDC)相結(jié)合來作為特征提取模塊提取眼底圖像的血管信息，這不僅可以解決加深網(wǎng)絡所導致的網(wǎng)絡退化問題，同時可以使網(wǎng)絡捕獲到多尺度的血管信息，增加特征圖中重要信息的權重。網(wǎng)絡通過兩次跨步卷積將特征圖進行兩次尺寸減半，再進行一次特征提取操作，之后通過一次反卷積操作將特征圖尺寸擴大一倍。將第一次尺寸減半操作的輸出繼續(xù)進行一次特征提取操作，然后將此次特征提取的輸出與第一次特征提取的輸出和第一次反卷積的輸出進行通道融合，然后通過1×1卷積操作壓縮融合的特征圖通道數(shù)，將通道壓縮后的特征圖再進行一次特征提取操作，然后進行第二次反卷積操作，此時，特征圖經(jīng)過第二次反卷積操作的輸出尺寸與網(wǎng)絡輸入圖像的尺寸一樣，將它們進行特征融合來獲得網(wǎng)絡深層與淺層的特征，然后將此次融合的特征進行1×1卷積和特征提取操作，然后通過1×1卷積對其進行通道壓縮，最后經(jīng)過sigmoid函數(shù)對其分類得到最終預測血管圖。網(wǎng)絡中每一次卷積后都經(jīng)過一次數(shù)據(jù)歸一化和ReLU操作來緩解梯度消失。網(wǎng)絡中特征提取通道數(shù)最深為64層。

圖4 網(wǎng)絡結(jié)構(gòu)

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集與預處理

本文使用了兩個公開可用的數(shù)據(jù)集，即DRIVE和CHASE-DB1。DRIVE數(shù)據(jù)集由40個RGB圖像組成，每幅圖像的像素為584×565，每張圖像帶有視網(wǎng)膜血管的像素級專家注釋。這些圖像是使用佳能 CR5眼底相機捕獲的。DRIVE數(shù)據(jù)集提供了20個訓練圖像和20個測試圖像的預定義官方數(shù)據(jù)拆分。CHASE-DB1數(shù)據(jù)集包括28個RGB圖像，每幅圖像的像素大小為999×960，每張圖像帶有視網(wǎng)膜血管的像素級專家注釋。這些圖像是使用NidekNM-200D眼底相機捕獲的。CHASE-DB1數(shù)據(jù)集提供了20個訓練圖像和8個測試圖像的預定義官方數(shù)據(jù)拆分。為了適應本文網(wǎng)絡模型，將DRIVE、CHASE-DB1數(shù)據(jù)集圖片的大小擴大為592×592、1 008×1 008，并將圖像中非眼球部分用零填充。為了獲得更合理的結(jié)果，本文在評估時將分割結(jié)果裁剪為初始寸。為了增強網(wǎng)絡的魯棒性，本文采用隨機旋轉(zhuǎn)和水平、垂 直和對角線翻轉(zhuǎn)的方式來增加DRIVE、CHASE-DB1數(shù)據(jù)集的訓練圖像。

2.2 損失函數(shù)

二元交叉熵(BCE，binary cross entropy)損失函數(shù)是二分類問題中常用的一個Loss損失函數(shù)，其公式為：

(5)

式中，gi為像素點的二元標簽0或者1，pi為像素點i輸出屬于gi標簽的概率。

2.3 參數(shù)設置

本文實驗環(huán)境為云服務器，顯卡為RTX 3090。模型在TensorFlow 2.5.0框架上進行實驗，batch size設為4，選擇Adam作為優(yōu)化算法，訓練總輪次為100，前75次學習率設置為10-3，后25次學習率設置為10-4。

2.4 評價指標

為了定量分析模型的分割結(jié)果，并能夠更好地與其他網(wǎng)絡進行對比.本文采用準確率(accuracy)、靈敏度(sensitivity)、特異性(specificity)、和AUC(area under ROC curve)值作為評判標準。AUC的值越接近1，表示模型的分割能力越好。準確率、靈敏度、特異性的定義如下：

(6)

(7)

(8)

式中，TP表示正確分割的血管像素點數(shù)；TN表示正確分割的背景像素點數(shù)；FP表示錯誤分割的血管像素點數(shù)；FN表示錯誤分割的背景像素點數(shù)。

2.5 實驗結(jié)果

本實驗在DRIVE、CHASE-DB1數(shù)據(jù)集上對本文網(wǎng)絡分割結(jié)果進行驗證。分割結(jié)果如圖5所示，圖中第1～2行為DRIVE數(shù)據(jù)集圖像，第3～4行為CHASE-DB1數(shù)據(jù)集圖像，圖(a)～(d)分別為原圖、標簽、本文算法所分割的結(jié)果和分割細節(jié)對比圖。由圖可知，本算法可以很好地將視網(wǎng)膜眼底圖像中的血管分割出來，針對傳統(tǒng)網(wǎng)絡無法識別分割的血管末端細小血管，本文算法也可以將其精確識別分割出來。值得注意的是，本文算法在DRIVE和CHASE-DB1數(shù)據(jù)集上測試結(jié)果所得精確度分別達到了0.968 5和0.973 9，靈敏度分別達到了0.840 3和0.865 0，這表明本文算法不僅可以精確識別眼底圖像中的像素點，同時能夠精確識別視網(wǎng)膜眼底圖像中的細小血管。

圖5 不同數(shù)據(jù)集分割結(jié)果

在DRIVE和CHASE-DB1數(shù)據(jù)集測試的ROC曲線如圖6所示，圖6(a)和(b)為分別在DRIVE數(shù)據(jù)集和CHASE-DB1上測試得到的ROC曲線。在兩個數(shù)據(jù)集上AUC的值分別達到了0.986 3和0.989 9，表明血管存在誤分割的可能性較小。

圖6 不同數(shù)據(jù)集ROC曲線

2.6 算法對比

為了驗證本文改進模型在眼底視網(wǎng)膜血管分割上的分割性能的優(yōu)越性，將本文方法在DRIVE和CHASE-DB1公共眼底圖像數(shù)據(jù)集上進行測試，以Accuracy、Sensitivity、Specificity，和AUC作為評價指標與近年相關算法做對比。表1和表2分別展示了在DRIVE和CHASE-DB1所示將本文所提算法在DRIVE和CHASE-DB1數(shù)據(jù)集上的性測試結(jié)果與目前先進的算法進行對比，其中最優(yōu)指標加粗表示。相較于原始的UNet分割結(jié)果，在DRIVE數(shù)據(jù)集下的測試結(jié)果，本文算法在精確度、敏感度、特異性和AUC值4個評價指標分別提升了1.27%，4.62%，0.1%和0.16%，在CHASE-DB1數(shù)據(jù)集上分別提升了1.31%，4.74%，1.08%和0.34%，其中在兩個數(shù)據(jù)集的測試中，精確度均提升了1個百分點以上，靈敏度均提升了4個百分點以上，其中，由于CHASE-DB1數(shù)據(jù)集的分辨率999×960，比DRIVE數(shù)據(jù)集的584×565高，所以在CHASE-DB1數(shù)據(jù)集的測試精確度和靈敏度均比DRIVE數(shù)據(jù)集更高，對于分割網(wǎng)絡中尺寸減半所導致的細小血管消失問題，所受到的影響更小，這也證明了更高的分辨率對于視網(wǎng)膜眼底圖像血管分割效果有益，因此本文所設計的網(wǎng)絡中只使用兩次尺寸減半操作，通過通道連接將不同深度的特征信息融合對于提升視網(wǎng)膜眼底圖像血管分割的精確度和靈敏度是有效的，相比近年來的其他算法的分割結(jié)果，本文算法在精確度，靈敏度和AUC值也均取得了最高值，因此對于視網(wǎng)膜血管分割，本文所題方法更具優(yōu)勢。

表1 DRIVE數(shù)據(jù)集上的平均性能指標評估結(jié)果

表2 CHASE-DB1數(shù)據(jù)集上的平均性能指標評估結(jié)果

3 結(jié)束語

為了避免分割后細小血管像素模糊、丟失等現(xiàn)象，提升血管分割靈敏度和精確度，本文設計了一種新的視網(wǎng)膜血管分割算法。將RCA和MDC模塊相結(jié)合作為網(wǎng)絡的特征提取模塊。網(wǎng)絡中特征圖尺寸減半和尺寸擴大操作均只使用了2次，減少了網(wǎng)絡因特征圖尺寸改變所導致的微小血管的丟失現(xiàn)象，特征圖的通道數(shù)最多為64層，網(wǎng)絡權重參數(shù)只有7.2 MB。與此同時，網(wǎng)絡通過融合操作使得深層特征圖與對應尺寸的淺層特征圖進行通道融合，減少了因為網(wǎng)絡深度加深所導致的信息丟失問題。實驗結(jié)果表明，本文算法結(jié)構(gòu)有效提高了靈敏度和精確度，能夠減少視網(wǎng)膜眼底圖像中微小血管無法被分割的情況，相比其他算法對視網(wǎng)膜血管分割更具優(yōu)勢。