自適應(yīng)特征融合級聯(lián)Transformer視網(wǎng)膜血管分割算法

梁禮明，盧寶賀，龍鵬威，陽 淵

江西理工大學(xué)電氣工程與自動化學(xué)院，江西 贛州 341000

1 引言

視網(wǎng)膜血管圖像包含豐富的幾何結(jié)構(gòu)，如血管直徑、分支角度和長度等，眼科醫(yī)生可通過觀察視網(wǎng)膜血管結(jié)構(gòu)信息來預(yù)防和診斷高血壓、糖尿病和動脈粥樣硬化等疾病。但眼底血管拓?fù)浣Y(jié)構(gòu)錯綜復(fù)雜，在醫(yī)學(xué)提取上較為困難。因此研究一種能高效且自動的視網(wǎng)膜血管分割算法對臨床病理診斷具有重要意義[1-4]。

當(dāng)下視網(wǎng)膜血管分割方法主要分為傳統(tǒng)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)方法。其中傳統(tǒng)機(jī)器學(xué)習(xí)方法包括基于形態(tài)學(xué)處理、基于匹配濾波和小波變換等，此類方法通常不需先驗標(biāo)記信息，而是利用數(shù)據(jù)之間的相似性進(jìn)行分析。Marios 等[5]構(gòu)建一種多尺度線跟蹤方法，利用血管方向?qū)傩院托螒B(tài)學(xué)重建以實現(xiàn)視網(wǎng)膜血管分割，該方法減少了背景圖像噪聲影響，但無法充分利用血管信息，導(dǎo)致血管紋理模糊。Azzopardi 等[6]設(shè)計選擇性響應(yīng)濾波器實現(xiàn)視網(wǎng)膜血管的分割，該方法提高了分割交叉血管的能力，但分割結(jié)果易受圖像噪聲影響。王曉紅等[7]采用多尺度二維Gabor 小波變換方法對視網(wǎng)膜圖像進(jìn)行分割，用不同方法提取粗細(xì)血管。此類方法先對視網(wǎng)膜圖像進(jìn)行預(yù)處理，其次對預(yù)處理圖像進(jìn)行閾值處理以實現(xiàn)視網(wǎng)膜血管分割。近年來，基于深度學(xué)習(xí)的方法被較多學(xué)者引入視網(wǎng)膜血管分割任務(wù)，并取得優(yōu)秀的分割效果。深度學(xué)習(xí)方法是端到端的學(xué)習(xí)方式，可以自動提取圖像底層和高層特征信息，相較于傳統(tǒng)分割方法避免了人工特征提取的過程，同時減少了分割主觀性，其泛化能力明顯優(yōu)于傳統(tǒng)方法。如全卷積網(wǎng)絡(luò)[8]通過在編碼器路徑中應(yīng)用卷積、激活函數(shù)和池化層，并在解碼器中采用卷積層和上采樣，實現(xiàn)像素級語義分割。編解碼網(wǎng)絡(luò)結(jié)構(gòu)UNet[9]性能已在諸多醫(yī)學(xué)語義分割任務(wù)中領(lǐng)先，腦腫瘤分割[10]和腎腫瘤分割[11]中U-Net 均取得較好成效。Li 等[12]提出動態(tài)通道卷積網(wǎng)絡(luò)(dynamic-channel graph convolutional network,DCGCN)，將視網(wǎng)膜圖像通道映射到拓?fù)淇臻g，并在拓?fù)鋱D上合成每個通道特征，進(jìn)而提升視網(wǎng)膜血管的信息利用率。Wang等[13]構(gòu)建多尺度上下文感知網(wǎng)絡(luò)(context-aware network,CA-Net)，為通道分配不同權(quán)重，使網(wǎng)絡(luò)能夠充分捕獲血管上下文信息。Yang 等[14]設(shè)計強(qiáng)化神經(jīng)P 型雙通道擴(kuò)張卷積網(wǎng)絡(luò)(spiking neural P-type dualchannel dilated convolutional network,SDDC-Net)實現(xiàn)視網(wǎng)膜血管分割，將強(qiáng)化神經(jīng)P 卷積神經(jīng)元集成到經(jīng)典編解碼結(jié)構(gòu)中，并在編碼部分使用擴(kuò)張卷積以提升感受野。雖然上述方法在視網(wǎng)膜分割任務(wù)中總體上取得了較好的血管分割效果，但仍存在一定缺陷，如文獻(xiàn)[9]邊緣檢測能力較弱，易受到病理偽影干擾且網(wǎng)絡(luò)運行效率較低；文獻(xiàn)[12]忽略了全局上下文信息，會在一定程度上丟失血管輪廓信息；文獻(xiàn)[13]血管邊界檢測能力較弱，出現(xiàn)微小血管紋理模糊問題；文獻(xiàn)[14]采用擴(kuò)張卷積擴(kuò)大感受野，但會造成血管局部特征信息丟失。

針對上述挑戰(zhàn)，本文提出自適應(yīng)特征融合級聯(lián)Transformer 視網(wǎng)膜血管分割算法(adaptive feature fusion cascade Transformer retinal vessel segmentation algorithm,AFCT-Net)，其主要工作為：①在編碼部分設(shè)計自適應(yīng)增強(qiáng)注意模塊，提升不同通道之間信息交互能力，同時剔除圖像背景噪聲信息降低病理偽影干擾，增強(qiáng)血管圖像非線性能力；②在編解碼底端加入級聯(lián)群體Transformer 模塊，有效聚合上下文血管特征信息，充分捕捉微小血管局部特征；③在解碼部分引入門控特征融合模塊，捕獲編解碼層不同尺寸空間特征信息，提升特征利用率及算法魯棒性。

2 本文算法

2.1 算法設(shè)計

針對視網(wǎng)膜血管分割任務(wù)面臨視盤邊界誤分割、病理偽影干擾和微小血管分割不完全等問題，本文基于U 型網(wǎng)絡(luò)構(gòu)建一種自適應(yīng)特征融合級聯(lián)Transformer 視網(wǎng)膜血管分割算法，其結(jié)構(gòu)如圖1 所示。AFCT-Net 由特征增強(qiáng)網(wǎng)絡(luò)、自適應(yīng)增強(qiáng)編碼、門控特征融合解碼及底端級聯(lián)群體Transformer 模塊四部分組成。首先對視網(wǎng)膜數(shù)據(jù)集原圖像以滑窗裁剪為特征圖像塊的方式進(jìn)行數(shù)據(jù)集擴(kuò)充，以保證模型的充分訓(xùn)練與預(yù)測；其次進(jìn)行圖像灰度化、直方圖均衡化和Gamma 校正等操作進(jìn)行數(shù)據(jù)集圖像增強(qiáng)，提升血管紋理對比度；再次自適應(yīng)增強(qiáng)編碼對其編碼整合，提升不同通道之間信息交互能力和降低計算冗余；此外在網(wǎng)絡(luò)底端設(shè)計級聯(lián)群體Transformer 模塊將編碼信息進(jìn)行多尺度融合，促進(jìn)血管局部信息的有機(jī)提?。蛔詈蠼?jīng)門控特征融合部分整合編碼信息，實現(xiàn)對血管特征圖像的細(xì)粒度還原，并通過SoftMax 函數(shù)得到血管分割二值圖像。

圖1 自適應(yīng)特征融合級聯(lián)Transformer 視網(wǎng)膜血管分割算法Fig.1 Adaptive feature fusion cascade Transformer retinal vessel segmentation algorithm

2.2 級聯(lián)群體Transformer 模塊

Transformer[15]模型由Google 公司在2017 年提出，并應(yīng)用于自然語言處理，隨后Vision Transformer[16]出現(xiàn)并應(yīng)用于圖像分割領(lǐng)域，其具有較強(qiáng)的全局歸納建模能力，能夠有效聚合上下文信息并擺脫模型對大規(guī)模數(shù)據(jù)的增廣依賴。Liu[17]等構(gòu)建級聯(lián)群體注意模塊，可以為具有不同特征的注意力頭提供反饋，減少計算冗余，增強(qiáng)抗過擬合能力。為了建立血管特征長短距離依賴，提升微小血管提取能力，本文受文獻(xiàn)[17]和文獻(xiàn)[18]啟發(fā)，融合構(gòu)建級聯(lián)群體Transformer 模塊(cascaded group Transformer module,CGT)，其結(jié)構(gòu)如圖2 所示。

圖2 級聯(lián)群體Transformer 模塊Fig.2 Cascade group Transformer module

CGT 模塊由級聯(lián)群體注意模塊(cascaded group attention module,CGA)、layer norm 和前饋神經(jīng)網(wǎng)絡(luò)(feed forward network,FFN)組成。在視網(wǎng)膜血管分割領(lǐng)域中，圖像經(jīng)過編碼后往往很模糊，需借助上下文信息才能增加分割準(zhǔn)確性，故上下文建模對于視網(wǎng)膜分割任務(wù)至關(guān)重要，因此本文算法在編解碼底部加入Transformer 模塊，又因CGA 模塊可以解決因為注意頭之間高度相似性引起的計算冗余問題，從而提升網(wǎng)絡(luò)訓(xùn)練及測試效率，故結(jié)合兩者優(yōu)點融合構(gòu)建為CGT 模塊，其中CGA 模塊結(jié)構(gòu)如圖3 所示。

圖3 級聯(lián)群體注意模塊Fig.3 Cascade group attention module

CGA 首先將視網(wǎng)膜血管特征分解，將不同的血管語義信息提供給每個注意頭，從而明確分解頭部之間注意力計算，解決計算冗余問題；其次QKV 層學(xué)習(xí)具有豐富信息的血管特征投影來提高模塊能力，在Q 投影之后應(yīng)用交互層以捕獲視網(wǎng)膜血管局部與全局特征信息；最后將每個頭部的輸出添加到后續(xù)頭部以逐步細(xì)化視網(wǎng)膜血管特征，其數(shù)學(xué)表達(dá)式可表述為

其中：Xi=[Xi1,Xi2,......,Xin]，1≤j≤h，h是頭部總數(shù)，是映射輸入特征分割到不同子空間的投影層，是將級聯(lián)輸出特征投影變回與輸入一致維度的線性層。

此類級聯(lián)設(shè)計有兩個優(yōu)點：一是將不同的血管語義提供給每個注意頭，以提高其多樣性；二是級聯(lián)注意力頭可以增加網(wǎng)絡(luò)深度，從而在不引入任何額外參數(shù)情況下提高模型容量。編解碼底部引入級聯(lián)群體注意模塊，使其在高維空間中有更多通道來學(xué)習(xí)表示，以此防止血管信息特征丟失，減少冗余參數(shù)，加快推理速度，提高模型效率。

2.3 自適應(yīng)增強(qiáng)注意模塊

注意力機(jī)制在圖像分割領(lǐng)域取得了較大成功，Hu 等[19]設(shè)計擠壓激勵模塊(squeeze excitation,SE)模塊，加強(qiáng)了高低分辨率特征之間的語義聯(lián)系，排除了非血管噪聲干擾。針對眼底視網(wǎng)膜血管圖像多通道特性及非血管背景噪聲干擾問題。本文受文獻(xiàn)[19]啟發(fā)設(shè)計自適應(yīng)增強(qiáng)注意模塊(adaptive enhanced attention module,AEA)，其結(jié)構(gòu)如圖4 所示。

圖4 自適應(yīng)增強(qiáng)注意模塊Fig.4 Adaptive enhanced attention module

其中：S表示Sigmoid 操作，λ表示自適應(yīng)平均池化(adaptive AvgPool)，σ表示ReLU 激活函數(shù)，Con表示卷積操作，BN表示BatchNorm 操作，δ表示Leaky ReLU 操作，表示第i層輸入特征圖，表示第一次Sigmoid 之后得到的特征圖，表示第i層輸出特征圖。

2.4 門控特征融合模塊

在視網(wǎng)膜血管分割任務(wù)中，血管特征利用率對分割結(jié)果至關(guān)重要。Ni 等[20]提出特征聚合網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以融合不同解碼層的高級特征提高特征利用率，以減少血管語義信息損失。為了充分利用編解碼部分特征以提升血管分割光滑度，本文引入門控特征融合模塊[21](gated feature fusion module,GFF)，其結(jié)構(gòu)如圖5 所示。

圖5 門控特征融合模塊Fig.5 Gated feature fusion module

GFF 模塊由復(fù)位門和選擇門組成，輸入端xi是未解碼圖像，需要復(fù)位門來抑制視網(wǎng)膜圖像非血管背景噪聲，而選擇門能夠?qū)i和di的語義信息融合。該模塊首先自適應(yīng)選擇di的有用特征，實現(xiàn)xi和di的語義融合以整合編解碼部分血管特征信息；其次經(jīng)過卷積和Sigmoid 激活后分別得到Ri和Ti值，其計算公式如下：

其中：WR和WT分別表示以di和xi的串接為輸入的卷積過程，S表示Sigmoid 函數(shù)，Ri和Ti分別表示復(fù)位柵極值和選擇柵極值。

特征信息經(jīng)過復(fù)位門后與原始圖像xi特征相乘再與di拼接并卷積得到整合特征ei；通過選擇門實現(xiàn)整合特征(ei)與原始分割特征(di)之間自適應(yīng)互補(bǔ)特征融合。ei表示經(jīng)過選擇門的特征與原始特征融合卷積后的特征，其數(shù)學(xué)表達(dá)為

其中：W表示卷積過程，可以使重新整合的特征與輸入di具有相同維度，fout表示輸出特征圖。

3 實驗結(jié)果分析

3.1 實驗環(huán)境與數(shù)據(jù)集

仿真平臺為PyCharm，使用Python3.9.0 程序語言在Pytorch 框架搭建而成，計算機(jī)配置為11th Gen Intel(R) Core(TM) i7-11800H CPU，16 GB 內(nèi)存，NVIDIA GeForce RTX 3060 GPU，采用64 位windows11 操作系統(tǒng)，眼底圖像數(shù)據(jù)集來自公共數(shù)據(jù)集DRIVE、CHASE_DB1 和STARE。DRIVE 數(shù)據(jù)集中包括圖像像素為565 pixel×584 pixel 的20 幅訓(xùn)練集圖片和20 幅測試集圖片。CHASE_DB1 數(shù)據(jù)集包括28 張視網(wǎng)膜樣本圖像，前20 個樣本圖像用于訓(xùn)練，其余8 個樣本圖像用于測試，每幅圖像的大小為999 pixel×960 pixel，二值視野 (FOV) Mask 和分割Ground truth 通過手工方法獲得。STARE 數(shù)據(jù)集包含20 幅眼底圖像，圖像分辨率為605 pixel×700 pixel，由于該數(shù)據(jù)集沒有設(shè)置訓(xùn)練集及測試集，故采用五折交叉驗證的方法進(jìn)行實驗。另外，三個數(shù)據(jù)集中均包括病變眼底圖像與正常眼底圖像，血管結(jié)構(gòu)復(fù)雜多變且對比度低，每張圖像包含兩位專家手工標(biāo)注的金標(biāo)準(zhǔn)圖像，表明以上數(shù)據(jù)集對視網(wǎng)膜血管分割任務(wù)具有一定挑戰(zhàn)性，故選用以上三個數(shù)據(jù)集進(jìn)行實驗并將第一位專家的金標(biāo)準(zhǔn)圖作為實驗參考標(biāo)準(zhǔn)。

3.2 實驗數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)集在采集時存在血管前景與非血管背景對比度低等問題，為了充分捕獲視網(wǎng)膜血管特征信息及提升分割準(zhǔn)確率，需對數(shù)據(jù)集圖像進(jìn)行預(yù)處理。如圖6 所示，本文首先對數(shù)據(jù)集進(jìn)行圖像灰度化處理，減小內(nèi)存占用降低計算冗余，突出目標(biāo)區(qū)域；其次歸一化眼底視網(wǎng)膜灰度圖像，避免視網(wǎng)膜圖像像素亮度分布不均勻；再次對灰度圖像進(jìn)行限制對比度直方圖均衡化，減少光照不均勻?qū)σ暰W(wǎng)膜分割的干擾；最后將圖像進(jìn)行Gamma 校正，提升圖像視盤部分和血管部分對比度，增強(qiáng)較暗血管部分可視度。

圖6 視網(wǎng)膜圖像預(yù)處理Fig.6 Retinal image preprocessing

3.3 圖像擴(kuò)充與參數(shù)設(shè)置

在網(wǎng)絡(luò)訓(xùn)練中需要大量數(shù)據(jù)來擬合模型參數(shù)，而DRIVE、CHASE_DB1 和STARE 數(shù)據(jù)集較小，較小訓(xùn)練集樣本不足以代表整個數(shù)據(jù)集統(tǒng)計特征，會導(dǎo)致模型在新數(shù)據(jù)上表現(xiàn)不如預(yù)期，模型訓(xùn)練會出現(xiàn)過擬合現(xiàn)象且泛化能力不足，需對數(shù)據(jù)集進(jìn)行擴(kuò)充。本文對圖片以滑窗方式進(jìn)行裁剪，以64×64 的滑窗將預(yù)處理之后的眼底圖像以及金標(biāo)準(zhǔn)圖像裁剪為10000 個特征圖像塊，損失函數(shù)采用交叉熵函數(shù)，初始學(xué)習(xí)率設(shè)置為 0.0005，batch_size 設(shè)置為6，number of epoches 設(shè)置為20，訓(xùn)練過程采取早停機(jī)制，若連續(xù)10 輪無最佳權(quán)重保存，則停止訓(xùn)練，本文算法在STARE 數(shù)據(jù)集中訓(xùn)練時間為每輪1 min 16 s，測試時間為52 s；在DRIVE 數(shù)據(jù)集中訓(xùn)練時間為每輪1 min 17 s，測試時間為2 min 48 s；在CHASE_DB1 數(shù)據(jù)集中訓(xùn)練時間為每輪1 min 17 s，測試時間為3 min 53 s。預(yù)處理圖像局部特征圖像塊和訓(xùn)練集對應(yīng)的金標(biāo)準(zhǔn)局部特征圖像塊，如圖7 所示。

圖7 血管局部特征圖像塊Fig.7 Local feature image blocks of blood vessels

3.4 評價指標(biāo)

眼底視網(wǎng)膜圖像分為兩類：血管前景類和非血管背景類。血管前景類即需要檢測分割的目標(biāo)血管，稱作正類；非血管背景類即其他剩余部位，稱作負(fù)類。為了更清晰地展現(xiàn)出本文算法性能優(yōu)異性，將本文算法視網(wǎng)膜分割結(jié)果與專家手工分割結(jié)果進(jìn)行對比。對于血管前景像素特征，本文算法分割結(jié)果與專家手工分割值相同的比例稱為真陽率(TP)，相反則稱之為假陽率(FP)；對于非血管背景像素特征，本文算法分割結(jié)果與專家手工分割值相同的比例為真陰率(TN)，相反為假陽率(FN)。

本文計算準(zhǔn)確率 (accuracy,Acc)、靈敏度(sensitivity,Sen)、F1 分?jǐn)?shù)(F1-score,F1)、特異性(specificity,Spe)和受試者工作特性曲線(area under curve,AUC)，其具體公式分別為

3.5 不同分割算法之間對比

3.5.1 分割結(jié)果圖客觀分析

為了更好地體現(xiàn)本文算法在視網(wǎng)膜血管分割工作中的分割性能，在公開數(shù)據(jù)集 DRIVE、CHASE_DB1 和STARE 上進(jìn)行驗證，并同文獻(xiàn)[9]及文獻(xiàn)[22-24]算法進(jìn)行比較，均采用相同環(huán)境進(jìn)行訓(xùn)練以及測試。將本文分割結(jié)果與U-Net 和Attention U-Net 和Dense U-Net 和FR U-Net 進(jìn)行對比，其中文獻(xiàn)[9]為U-Net算法、文獻(xiàn)[22]為Attention U-Net 算法、文獻(xiàn)[23]為Dense U-Net 算法以及文獻(xiàn)[24]為FR U-Net 算法。

圖8 第一行、第二行為DRIVE 數(shù)據(jù)集中圖像，第三行第四行為CHASE_DB1 數(shù)據(jù)集中圖像，第五行、第六行為STARE 數(shù)據(jù)集中圖像。由第一行健康視網(wǎng)膜圖像知，本文算法和Dense U-Net 對病理信息有較好抑制效果，U-Net 對主血管分割時出現(xiàn)血管斷裂問題，Attention U-Net 和Dense U-Net 出現(xiàn)微小血管分割不完全問題，F(xiàn)R U-Net 受到病理偽影影響嚴(yán)重，將病理信息作為血管分割，假陽性過高；由第二行病變視網(wǎng)膜圖像可知U-Net、Dense U-Net 及FR U-Net出現(xiàn)微小血管分割斷裂和血管缺口，U-Net 和Attention U-Net 出現(xiàn)丟失大量微小血管信息，因此靈敏度較低；根據(jù)第三行、第四行分割圖像可以看出算法對主血管均有較好分割效果，重點關(guān)注微小血管分割情況，除本文算法外其他算法均出現(xiàn)不同程度誤分割和未分割情況；由第五行STARE 數(shù)據(jù)集分割圖像中可以看出本文算法較其他算法分割的微小血管數(shù)量較多且不易斷裂，并能準(zhǔn)確區(qū)分背景與目標(biāo)，根據(jù)第六行STARE 數(shù)據(jù)集病理圖像分割結(jié)果可以看出，UNet、Dense U-Net 和FR U-Net 錯將病理信息分割為血管信息，且受病理信息影響血管周圍較雜亂，而本文算法能夠剔除病變斑點，減少血管缺失問題。

實驗說明，本文算法在血管分割方面表現(xiàn)良好，能系統(tǒng)地捕捉血管形態(tài)結(jié)構(gòu)信息，并且有更少假陽性血管，使視網(wǎng)膜血管分割圖更清晰同時噪聲更小，表明本文算法的有效性以及合理性。

3.5.2 分割局部圖客觀分析

為了更加直觀展示本文算法與文獻(xiàn)[9]及文獻(xiàn)[22-24]算法的分割差別，圖9 詳細(xì)展示了各算法視網(wǎng)膜局部分割圖，從DRIVE 數(shù)據(jù)集、CHASE_DB1 數(shù)據(jù)集和STARE 數(shù)據(jù)集中分別隨機(jī)取出一幅圖進(jìn)行局部放大進(jìn)行細(xì)節(jié)對比。

圖9 不同算法視網(wǎng)膜血管局部分割圖像Fig.9 Image of retinal blood vessel local segmentation by different algorithms

觀察圖9 知，在第一行DRIVE 數(shù)據(jù)集圖像分割細(xì)節(jié)圖中，U-Net 出現(xiàn)主血管分割斷裂問題。Attention U-Net 主血管分割受到病理偽影影響較大，非血管背景像素分辨不明。Dense U-Net 出現(xiàn)微小血管未分割及血管分割斷裂問題。FR U-Net 和本文算法分割效果較好，但本文算法相較于FR U-Net 算法主血管與微細(xì)血管能夠平滑連接。在第二行CHASE_DB1數(shù)據(jù)集圖像分割細(xì)節(jié)圖中，重點將微小血管進(jìn)行細(xì)節(jié)放大對比，觀察對比圖發(fā)現(xiàn)U-Net、Attention U-Net、Dense U-Net 和FR U-Net 均出現(xiàn)血管紋理信息缺失問題，微小血管分割出現(xiàn)不同程度斷裂或未分割問題。在第三行STARE 數(shù)據(jù)集圖像分割細(xì)節(jié)圖中，U-Net和Attention U-Net 出現(xiàn)血管分割斷裂問題，且除本文算法外其他算法均出現(xiàn)微細(xì)血管分割不完全問題。最后放大觀察血管周圍細(xì)節(jié)圖可以看出U-Net、Dense U-Net 和FR U-Net 受病理信息影響較嚴(yán)重，血管周圍較雜亂，而本文算法和Attention U-Net 能夠剔除病理斑點，更好地分割血管信息。

綜上所述，本文算法相較于其他算法有較大改進(jìn)，能充分捕捉血管語義信息，從而在病變較嚴(yán)重且對比度較低的眼底圖像中分割出更多微小血管，分割血管情況總體與金標(biāo)準(zhǔn)一致，說明本文算法在視網(wǎng)膜血管分割任務(wù)中的穩(wěn)健性。

3.5.3 性能指標(biāo)比較

為了定量分析實驗結(jié)果，以此評估本文算法，從評估指標(biāo)進(jìn)行數(shù)據(jù)分析，均采用同一實驗環(huán)境進(jìn)行對比實驗，其實驗結(jié)果分別如表1、表2 和表3 所示。表1 統(tǒng)計了不同算法在DRIVE 數(shù)據(jù)集各項指標(biāo)，表2統(tǒng)計了不同算法在CHASE_DB1 數(shù)據(jù)集各項指標(biāo)，表3 統(tǒng)計了不同算法在STARE 數(shù)據(jù)集五折交叉驗證各項平均指標(biāo)，其中標(biāo)粗為最優(yōu)指標(biāo)。圖10 和圖11分別展示了不同算法在DRIVE 和CHASE_DB1 數(shù)據(jù)集P-R 曲線及ROC 曲線對比圖。AUC 指標(biāo)與ROC相關(guān)，AUC 范圍為 0～1，AUC 值越接近1，模型預(yù)測能力就越好，而AUC 值越低，表示預(yù)測模型錯誤分類率越高。圖12 展示了本文算法在DRIVE 數(shù)據(jù)集以及CHASE_DB1 數(shù)據(jù)集上的訓(xùn)練過程損失趨勢。DRIVE 數(shù)據(jù)集訓(xùn)練損失值維持在0.095 左右，CHASE_DB1 數(shù)據(jù)集損失值維持在0.085 左右，波動幅度較小，表明網(wǎng)絡(luò)已趨于收斂。本文算法在DRIVE 數(shù)據(jù)集及CHASE_DB1 數(shù)據(jù)集經(jīng)過三次訓(xùn)練，但結(jié)果相差甚微，故選用三次測試中指標(biāo)較高的一次作為實驗結(jié)果。

表1 DRIVE 數(shù)據(jù)集不同算法性能指標(biāo)/%Table 1 Performance metrics of different algorithms for the DRIVE dataset/%

表2 CHASE_DB1 數(shù)據(jù)集不同算法性能指標(biāo)/%Table 2 Performance metrics of different algorithms for the CHASE-DB1 dataset/%

表3 STARE 數(shù)據(jù)集不同算法性能指標(biāo)/%Table 3 Performance metrics of different algorithms for the STARE dataset/%

圖10 不同算法在DRIVE 數(shù)據(jù)集P-R 曲線與ROC 曲線對比圖Fig.10 Comparison between P-R curve and ROC curve of different algorithms in DRIVE dataset

圖12 DRIVE 數(shù)據(jù)集和CHASE_DB1 數(shù)據(jù)集中訓(xùn)練損失曲線圖Fig.12 Plot of training loss curves in DRIVE dataset and CHASE_DB1 dataset

在DRIVE 數(shù)據(jù)集中，F(xiàn)R U-Net 靈敏度高于本文0.13%，Attention U-Net 特異性高于本文0.06%，但本文算法準(zhǔn)確率、F1 指數(shù)、ROC 曲線下面積均為最優(yōu)。在STARE 數(shù)據(jù)集中，除特異性外本文算法其余指標(biāo)均為最優(yōu)。在CHASE_DB1 數(shù)據(jù)集中Attention UNet 特異性高于本文0.11%，Attention U-Net 和Dense U-Net 有較好抗過擬合性能，適合視網(wǎng)膜分割及其他訓(xùn)練數(shù)據(jù)相對匱乏的任務(wù)，但Attention U-Net 參數(shù)量較大，網(wǎng)絡(luò)較為復(fù)雜，需要訓(xùn)練以及測試時間較長。FR U-Net 利用多分辨率卷積交互機(jī)制進(jìn)行水平和垂直擴(kuò)展，對特異性有一定提升，但本文算法其他指標(biāo)均優(yōu)于FR U-Net。說明本文算法性能提升明顯、分割效果理想。

3.5.4 與近年先進(jìn)算法對比

為了進(jìn)一步說明本文算法在視網(wǎng)膜血管分割中的作用，將本文所提算法與近年來相關(guān)算法進(jìn)行比較，如表4、表5 和表6 所示，其中標(biāo)粗為最優(yōu)指標(biāo)，其數(shù)據(jù)均來自原文。

表4 DRIVE 數(shù)據(jù)集對比結(jié)果/%Table 4 Comparison results of DRIVE dataset/%

表5 CHASE_DB1 數(shù)據(jù)集對比結(jié)果/%Table 5 Comparison results of CHASE_DB1 dataset/%

表6 STARE 數(shù)據(jù)集對比結(jié)果/%Table 6 Comparison results of STARE dataset/%

由表4 可知，在DRIVE 數(shù)據(jù)集中文獻(xiàn)[28]算法通過定向濾波器捕獲微小血管，靈敏度高于本文算法0.22%，但本文算法其他指標(biāo)均優(yōu)于文獻(xiàn)[28]算法，準(zhǔn)確率及特異性均有明顯提升，其余算法分割結(jié)果均低于本文算法。說明本文算法能準(zhǔn)確分割視網(wǎng)膜血管，總體穩(wěn)健性較強(qiáng)。由表5 可知在CHASE_DB1 數(shù)據(jù)集中文獻(xiàn)[26]靈敏度高于本文算法0.9%，文獻(xiàn)[27]通過非線性連接模式，使低級特征和高級語義特征集成更加高效，靈敏度有一定提升，但本文算法其他指標(biāo)均優(yōu)于文獻(xiàn)[27]。文獻(xiàn)[25]將Transformer 引入到跳躍連接中，對特征進(jìn)行重新編碼，但其指標(biāo)均低于本文。說明本文算法性能優(yōu)越魯棒性強(qiáng)，在視網(wǎng)膜分割任務(wù)中可靠性高。由表6 可知在STARE 數(shù)據(jù)集中文獻(xiàn)[29]以及文獻(xiàn)[30]靈敏度高于本文算法，文獻(xiàn)[29]開發(fā)多尺度多項特征學(xué)習(xí)模塊來有效聚合上下文信息，提升分割微細(xì)血管的能力。文獻(xiàn)[30]通過注意力模塊捕獲全局信息，并通過特征融合過程增強(qiáng)特征，靈敏度為最優(yōu)值，但本文算法其他指標(biāo)均為最優(yōu)，且在DRIVE 和CHASE_DB1 數(shù)據(jù)集中指標(biāo)均高于文獻(xiàn)[29]和文獻(xiàn)[30]，表明本文算法泛化能力較強(qiáng)。

3.6 消融實驗分析

為了更好地驗證本文算法所提各個模塊性能，在DRIVE、CHASE_DB1 和STARE 數(shù)據(jù)集上均進(jìn)行消融實驗，其中STARE 數(shù)據(jù)集采用五折交叉驗證的方法進(jìn)行消融實驗，其結(jié)果如表7、表8 和表9 所示。其中S1 表示U-Net；S2 表示在S1 解碼部分加入門控特征融合模塊；S3 表示在S2 編碼部分加入自適應(yīng)增強(qiáng)注意模塊；S4 表示在S3 編碼底端加入級聯(lián)群體Transformer 模塊，即本文設(shè)計算法。

表7 DRIVE 數(shù)據(jù)集消融實驗分析/%Table 7 Analysis of ablation experiments on the DRIVE dataset/%

表8 CHASE_DB1 數(shù)據(jù)集消融實驗分析/%Table 8 Analysis of ablation experiments on the CHASE-DB1 dataset/%

表9 SATRE 數(shù)據(jù)集消融實驗分析/%Table 9 Analysis of ablation experiments on the STARE dataset/%

在DRIVE 數(shù)據(jù)集消融實驗中S2 各項指標(biāo)相較于U-Net 網(wǎng)絡(luò)均有提升，在S3 中Spe 與AUC 達(dá)到最優(yōu)，ACC 指標(biāo)也較好，但Sen 較低，在S4 中整體指標(biāo)達(dá)到最優(yōu)，ACC 和Sen 均達(dá)到最優(yōu)；在CHASE_DB1 數(shù)據(jù)集消融實驗中S2 除Sen 和F1 指數(shù)外其他指標(biāo)均有不同程度提升，S3 中除Spe 外其他指標(biāo)均有提升，但Sen 指標(biāo)仍低于U-Net 算法，S4 中整體達(dá)到最優(yōu)；在STARE 數(shù)據(jù)集消融實驗中，S4 除Spe外指標(biāo)均達(dá)到最優(yōu)，但ACC 及AUC 提升較小。

綜上所述，GFF 能處理好視網(wǎng)膜分割任務(wù)中多尺度問題，提升正確分割微小血管的能力，但會對Sen有一定影響；加入AEA 模塊后除DRIVE 數(shù)據(jù)集中Sen 指標(biāo)降低外其他指標(biāo)均有提升，說明AEA 模塊能夠消除背景噪聲并降低病理偽影干擾；最后加入CGT 模塊，Sen 指標(biāo)相較于未加入CGT 模塊均有較大提升，表明CGT 模塊能夠增加捕獲微小血管局部特征的能力。消融實驗表明AFCT-Net 有效且合理。

4 結(jié)束語

眼底視網(wǎng)膜血管分割是醫(yī)學(xué)領(lǐng)域一項重要研究，是人工分析向自動診斷跨越的重要過程，本文針對視網(wǎng)膜血管分割中存在末端微小血管缺失、病理偽影干擾及血管前景與非血管背景對比度低等問題，提出自適應(yīng)特征融合級聯(lián)Transformer 視網(wǎng)膜血管分割算法。首先AEA 模塊可以將不同通道特征信息充分利用，提高分割結(jié)果準(zhǔn)確率且降低計算冗余；其次GFF 模塊將編解碼語義信息融合，提升特征復(fù)用率，增強(qiáng)血管光滑度；最后CGT 模塊在編解碼底層充分聚合上下文血管語義信息，使主血管與微小血管能夠平滑連接。本文在分割對比度較低病理圖像時仍出現(xiàn)血管輕微斷裂問題，未來如何精確分割病灶處血管仍是視網(wǎng)膜血管分割需要進(jìn)一步解決的問題。