邊界注意力輔助的動態(tài)圖卷積視網(wǎng)膜血管分割

呂佳，王澤宇，梁浩城

1 重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331；

2 重慶師范大學(xué)重慶國家應(yīng)用數(shù)學(xué)中心，重慶 401331

1 引言

視網(wǎng)膜血管的健康狀況是診斷眼部疾病乃至全身性疾病?？紤]的因素之一，尤其是視網(wǎng)膜血管的萎縮狀況或病變層次等是明確疾病嚴(yán)重程度的關(guān)鍵。視網(wǎng)膜血管分割是獲取這些關(guān)鍵信息的必要步驟，良好的分割結(jié)果有助于準(zhǔn)確地診斷眼部疾病[1-2]。然而，由于視網(wǎng)膜血管復(fù)雜的網(wǎng)狀結(jié)構(gòu)，人工分割存在費(fèi)時費(fèi)力和易受主觀因素影響等弊端，因此自動分割視網(wǎng)膜血管受到了廣泛關(guān)注[3]。在視網(wǎng)膜血管自動分割任務(wù)中，一方面，由于視網(wǎng)膜圖像具有血管和背景對比度低、背景噪聲多等特性，導(dǎo)致血管標(biāo)注不正確或不完整等問題；另一方面，由于醫(yī)學(xué)數(shù)據(jù)的收集受到個人隱私、收集成本等因素限制，使得可用于訓(xùn)練的數(shù)據(jù)很少。這些均限制了模型的泛化性，當(dāng)面對臨床噪聲多的數(shù)據(jù)時，模型容易遺漏血管像素或誤分割噪聲。而提升模型泛化性的關(guān)鍵在于能最大限度地學(xué)習(xí)血管的特征信息[4]。

近年來，U 型網(wǎng)絡(luò)(U-shape network,U-Net)采用跳躍連接融合多尺度特征的方式，在數(shù)據(jù)量少的醫(yī)學(xué)圖像處理任務(wù)中取得不錯的效果[5]，自然地被應(yīng)用于視網(wǎng)膜血管分割任務(wù)。然而，U-Net 在訓(xùn)練過程中會忽略視網(wǎng)膜血管的特性，無法充分提取血管的特征信息，導(dǎo)致分割結(jié)果易產(chǎn)生較多斷連的毛細(xì)血管。為此，研究者針對視網(wǎng)膜血管分割任務(wù)對U-Net 進(jìn)行了諸多改進(jìn)。Jin 等人[6]將可變形卷積引入到U-Net 中，利用可變形卷積捕獲多尺度局部上下文依賴，進(jìn)一步豐富了特征信息，改善了視網(wǎng)膜血管分割的效果；Wu等人[1]利用視網(wǎng)膜血管尺度變化大的特點(diǎn)，設(shè)計(jì)了尺度感知特征聚合模塊和自適應(yīng)特征融合模塊，有效提取了視網(wǎng)膜血管的多尺度特征，并引導(dǎo)了相鄰層次特征之間的融合；Zhang 等人[7]結(jié)合多核池化和空洞卷積來改進(jìn)U-Net，通過選擇不同的擴(kuò)張速率，得到了更大的感受野，獲取到更多的局部上下文信息。盡管這些方法從不同的角度利用了視網(wǎng)膜血管的特征信息，卻忽略了視網(wǎng)膜血管的全局結(jié)構(gòu)信息，而獲取結(jié)構(gòu)信息已被證明是提高圖像分割性能的有效方法[8]。

圖卷積網(wǎng)絡(luò)(Graph convolution network,GCN)是一種基于圖(graph)的特征提取網(wǎng)絡(luò)，具有較好的結(jié)構(gòu)信息獲取能力[9]。Shin 等人[10]將GCN 與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)級聯(lián)，從CNN 輸出的分割圖中提取血管骨架來構(gòu)造圖，進(jìn)一步獲取血管的結(jié)構(gòu)信息，提高了視網(wǎng)膜血管的分割性能；Meng 等人[11]利用注意力優(yōu)化模塊聚合GCN 和CNN，選擇視網(wǎng)膜圖像中視盤和視杯的輪廓點(diǎn)構(gòu)造圖，以此融合結(jié)構(gòu)信息來提升視盤和視杯的分割性能。然而，上述方法構(gòu)造的圖是獨(dú)立于分類任務(wù)的靜態(tài)圖，難以降低真實(shí)數(shù)據(jù)受噪聲的干擾度，導(dǎo)致圖的質(zhì)量較低。由于GCN 的性能高度依賴于圖的質(zhì)量，因此靜態(tài)圖限制了GCN 的性能[12]。本文采取動態(tài)圖的圖構(gòu)造方法[13]來克服靜態(tài)圖不能調(diào)整圖的問題，以此捕獲視網(wǎng)膜圖像更充分的全局結(jié)構(gòu)信息。動態(tài)圖的原理在于圖的鄰接矩陣權(quán)重能通過反向傳播學(xué)習(xí)調(diào)整，以此輸出更靈活有效的圖。

雖然采用動態(tài)圖卷積豐富了視網(wǎng)膜血管的全局結(jié)構(gòu)信息，但在上下采樣過程中，血管的淺層邊界信息仍會被稀釋。為了強(qiáng)化邊界信息，Zhang 等人[14]將原始分割任務(wù)轉(zhuǎn)換為多分類任務(wù)，使得模型能更多地關(guān)注血管邊界信息，但該模型需要針對粗細(xì)血管的邊界區(qū)域進(jìn)行額外標(biāo)注，流程過于繁瑣。Zhang 等人[15]提出一種只關(guān)注血管邊界的門控卷積來強(qiáng)調(diào)血管邊界，雖然模型省去了邊界分類的流程，但增加了計(jì)算復(fù)雜度。而本文采用了一種高效的邊界注意力網(wǎng)絡(luò)來強(qiáng)化視網(wǎng)膜血管的淺層邊界信息，其不僅輕量化還能提升視網(wǎng)膜血管的分割性能。

綜上所述，針對視網(wǎng)膜血管分割任務(wù)中毛細(xì)血管斷連的問題，本文利用動態(tài)圖卷積為U-Net 添補(bǔ)了全局結(jié)構(gòu)信息，并采取輕量化的邊界注意力網(wǎng)絡(luò)保留了邊界信息，從而達(dá)到充分提取視網(wǎng)膜血管特征信息的目的，提升了視網(wǎng)膜血管的分割質(zhì)量。本文主要貢獻(xiàn)為：1) 提出一種邊界注意力輔助的動態(tài)圖卷積視網(wǎng)膜血管分割網(wǎng)絡(luò)，通過捕獲視網(wǎng)膜血管的全局結(jié)構(gòu)信息和邊界信息，改善毛細(xì)血管斷連的情況；2) 提出基于U-Net 的多尺度動態(tài)圖卷積，增強(qiáng)動態(tài)圖卷積捕獲全局結(jié)構(gòu)信息的能力；3) 引入輕量化的邊界注意力網(wǎng)絡(luò)，使模型更加關(guān)注視網(wǎng)膜血管的邊界區(qū)域，以減少邊界信息的丟失。

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

視網(wǎng)膜圖像因受光照不均勻以及各種病變因素的影響，背景噪聲多且部分血管像素模糊，導(dǎo)致利用簡單跳躍連接以及上下采樣操作的U-Net 丟失了視網(wǎng)膜血管的大部分全局結(jié)構(gòu)信息和邊界信息，無法更有效地區(qū)分視網(wǎng)膜圖像中的噪聲和血管像素，因而造成毛細(xì)血管分割遺漏或斷連的問題。針對上述問題，本文提出邊界注意力輔助的動態(tài)圖卷積視網(wǎng)膜血管分割網(wǎng)絡(luò)-邊界注意力輔助的動態(tài)圖卷積U 型網(wǎng)絡(luò)(boundary attention assisted dynamic graph convolution U-Net,BDGU-Net)。該網(wǎng)絡(luò)利用動態(tài)圖卷積，將血管的特征信息存儲在動態(tài)圖中進(jìn)行推理，這樣不僅有效地區(qū)分了高度相似的噪聲和毛細(xì)血管，而且為U-Net提供了更細(xì)致的全局結(jié)構(gòu)信息。此外，該模型借助邊界注意力網(wǎng)絡(luò)來加強(qiáng)上下采樣過程中被稀釋的淺層邊界信息，以提高模型的分割能力。BDGU-Net 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要包括主干網(wǎng)絡(luò)、邊界注意力網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)。

圖1 邊界注意力輔助的動圖卷積U 型網(wǎng)絡(luò)Fig.1 Boundary attention assisted dynamic graph convolution U-shaped network

主干網(wǎng)絡(luò)包括編碼器以及解碼器。在編碼器中，特征圖每經(jīng)過一次下采樣，其尺度減小一半、通道數(shù)增加一倍。在解碼器中，特征圖每經(jīng)過一次上采樣，其尺度增加一半、通道數(shù)減少一倍，并與編碼器相同尺度的特征圖進(jìn)行跳躍連接，再經(jīng)過該尺度動態(tài)圖卷積獲取其結(jié)構(gòu)信息。文獻(xiàn)[16]證明，小尺度的特征圖包含了較豐富的語義信息，大尺度的特征圖保留了較足夠的結(jié)構(gòu)信息，故不同尺度的特征圖之間可以相互補(bǔ)充。因而BDGU-Net 將動態(tài)圖卷積自底向上地應(yīng)用于解碼器中不同尺度的血管特征圖。具體地，本模型將1/8 大小的特征圖輸入動態(tài)圖卷積，加強(qiáng)該尺度的結(jié)構(gòu)信息，再將其與原始特征信息相加融合，執(zhí)行上采樣操作，以使融合結(jié)構(gòu)信息的特征圖傳遞至下一解碼層中，從而豐富大尺度特征圖的結(jié)構(gòu)信息。1/4 大小、1/2 大小以及原圖大小的特征圖同樣采取上述操作，最終捕獲到視網(wǎng)膜血管更充分的全局結(jié)構(gòu)信息。特別地，原圖大小的特征圖不再進(jìn)行上采樣操作，而是直接利用1×1 卷積操作輸出對應(yīng)類別數(shù)。邊界注意力網(wǎng)絡(luò)主要借助邊界注意力損失引導(dǎo)主干網(wǎng)絡(luò)定位邊界區(qū)域，可以被視為一種中間監(jiān)督。特征融合網(wǎng)絡(luò)可以更好地融合主干網(wǎng)絡(luò)和邊界注意力網(wǎng)絡(luò)分別提供的語義信息和邊界信息，模型得以保留更多的血管像素。

2.2 動態(tài)圖卷積

U-Net 通過簡單地融合編碼器和解碼器相同尺度特征圖的方式，整合了視網(wǎng)膜血管粗粒度的全局結(jié)構(gòu)信息，即丟失了毛細(xì)血管或復(fù)雜形態(tài)的血管的結(jié)構(gòu)信息，導(dǎo)致U-Net 區(qū)分噪聲和血管像素的能力較差。本方法在U-Net 解碼器中嵌入動態(tài)圖卷積來增強(qiáng)模型辨別背景和血管像素的能力，使整體的分割性能提高。動態(tài)圖的原理[17]如圖2 所示。首先將解碼器提取的血管特征信息構(gòu)造為加權(quán)鄰接矩陣表示的圖結(jié)構(gòu)，在前向傳播的過程中，聚合不同關(guān)聯(lián)度的鄰居信息，以此更新中心節(jié)點(diǎn)的特征。后在損失函數(shù)反向傳播的過程中，利用梯度更新自動學(xué)習(xí)節(jié)點(diǎn)之間的依賴關(guān)系，調(diào)整鄰接矩陣，在增加同類別節(jié)點(diǎn)特征關(guān)聯(lián)度的同時，降低噪聲節(jié)點(diǎn)和血管節(jié)點(diǎn)間的特征關(guān)聯(lián)度，這樣能更容易區(qū)分血管像素和背景像素，從而為模型提供細(xì)粒度的全局結(jié)構(gòu)信息。動態(tài)圖卷積分為動態(tài)圖構(gòu)造和圖卷積計(jì)算兩個步驟，如圖3(a)所示。

圖2 動態(tài)圖原理Fig.2 Principle of dynamic graph

圖3 動態(tài)圖卷積計(jì)算過程和特征融合網(wǎng)絡(luò)。(a) 動態(tài)圖卷積計(jì)算過程；(b) 特征融合網(wǎng)絡(luò)Fig.3 Dynamic graph convolution calculation process and Feature fusion network.(a) Dynamic graph convolution calculation process;(b) Feature fusion network

第一步，動態(tài)圖構(gòu)造。給定圖G=(V,A)，其中V∈RN×C為圖節(jié)點(diǎn)矩陣，N表示圖節(jié)點(diǎn)數(shù)目，C表示圖節(jié)點(diǎn)特征的維數(shù)；A∈RN×N為鄰接矩陣，表示各節(jié)點(diǎn)間的連接關(guān)系。給定U-Net 解碼器輸出的原始特征X∈RW×H×C，W、H和C分別為特征圖的寬、高和通道數(shù)，首先利用Reshape 函數(shù)將X轉(zhuǎn)換為圖節(jié)點(diǎn)矩陣X′∈RWH×C，再利用1×1 卷積和點(diǎn)積運(yùn)算(Dot-product)構(gòu)造鄰接矩陣。鄰接矩陣的計(jì)算公式[13]為

式中：?表示點(diǎn)積；θ(·)包含1×1 卷積和Reshape 函數(shù)，θ(X)∈RWH×C；Wθ和Wρ表示鄰接矩陣的權(quán)重；diag(ρ())是對角矩陣，表示二維特征圖的通道注意力系數(shù)，∈R1×1×C是X經(jīng)過全局平均池化后的特征，ρ包括1×1 卷積和激活函數(shù)Sigmoid。最后利用Softmax 函數(shù)歸一化鄰接矩陣。

第二步，圖卷積計(jì)算。構(gòu)造動態(tài)圖(A,X′)后，利用圖卷積公式推理對應(yīng)的結(jié)構(gòu)信息。圖卷積公式[9]為

式中：σ為激活函數(shù)，W∈RD×D為原始空間的參數(shù)矩陣。

2.3 邊界注意力網(wǎng)絡(luò)

雖然本模型利用動態(tài)圖卷積擴(kuò)展了U-Net 提取的特征信息，但在主干網(wǎng)絡(luò)上下采樣的過程中，血管的邊界信息仍被逐漸弱化，限制了模型的分割性能。文獻(xiàn)[18]提出了一種邊界注意力網(wǎng)絡(luò)，其不僅輕量化且能輸出高質(zhì)量的人像分割圖像，故本文遵循其思路設(shè)計(jì)了一種邊界注意力網(wǎng)絡(luò)來加強(qiáng)視網(wǎng)膜血管的邊界信息。該網(wǎng)絡(luò)通過卷積操作將主干網(wǎng)絡(luò)的輸出投影設(shè)為2 通道，將其作為邊界注意力圖。邊界注意力損失(Boundary attention loss,BA Loss)引導(dǎo)邊界注意力圖定位邊界區(qū)域，邊界區(qū)域的標(biāo)注利用傳統(tǒng)的無監(jiān)督形態(tài)學(xué)方法提取。然后將輸入的圖像與邊界注意力圖拼接成3 通道圖(原始視網(wǎng)膜圖像經(jīng)過圖像預(yù)處理后變?yōu)閱瓮ǖ?，再經(jīng)過一個卷積序列提取淺層的細(xì)節(jié)信息，卷積序列包括一個1×1 卷積、批歸一化以及激活函數(shù)。

2.4 特征融合網(wǎng)絡(luò)

語義特征是高層次的特征，邊界特征是低層次的特征，它們之間在特征表示層次上存在差異，不能簡單地通過元素值的累加或通道的拼接來組合它們。故引入文獻(xiàn)[19]的特征融合方法，對于不同層次的兩種特征，先將它們的通道拼接，后傳遞到一個卷積序列中，再利用全局池化、兩個1×1 卷積以及激活函數(shù)來計(jì)算卷積序列輸出特征的權(quán)重向量，然后將權(quán)重向量和卷積序列的輸出相乘后相加，起到血管像素特征選擇和結(jié)合的作用，讓模型的分割目標(biāo)聚焦在血管像素上。該模塊結(jié)構(gòu)如圖3(b)所示。

2.5 損失函數(shù)

考慮到視網(wǎng)膜血管分割是二分類問題，故采用二分類交叉熵作為BDGU-Net 的損失函數(shù)：

本文的損失函數(shù)是分割損失(segmentation loss,Seg Loss)、邊界注意力損失的加權(quán)和，如式(5)所示，實(shí)驗(yàn)表明α=0.6，β=0.4時效果最好。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本實(shí)驗(yàn)采用Python 語言編程，基于PyTorch 框架實(shí)現(xiàn)，模型在配備64 G 內(nèi)存的Intel Xeon Silver 4114 CPU 和NVIDIA TITAN V 顯卡的計(jì)算機(jī)上運(yùn)行，部署環(huán)境為Windows10 操作系統(tǒng)。網(wǎng)絡(luò)訓(xùn)練輪次總數(shù)設(shè)置為50 輪，batch size 設(shè)置為32，采用優(yōu)化算法Adam 訓(xùn)練整體網(wǎng)絡(luò)結(jié)構(gòu)，初始學(xué)習(xí)率設(shè)置為0.0005，并利用余弦退火策略輔助訓(xùn)練。

3.2 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

為了驗(yàn)證BDGU-Net 的有效性，選用DRIVE、CHASEDB1 和STARE 三個公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)集的示例如圖4 所示。DRIVE 數(shù)據(jù)集來自荷蘭的一個糖尿病視網(wǎng)膜病變篩查項(xiàng)目，包含40 張分辨率為565 pixels×584 pixels 的RGB 圖像，其中33 張圖像未顯示任何糖尿病視網(wǎng)膜病變跡象，7 張圖像顯示輕度早期糖尿病視網(wǎng)膜病變跡象；CHASEDB1 數(shù)據(jù)集是由Kinston 大學(xué)公開的小規(guī)模數(shù)據(jù)集，從14 名兒童的左右眼拍照采集獲得，共包含28 張分辨率為999 pixels×960 pixels 的RGB 圖像；STARE 數(shù)據(jù)集是由加州大學(xué)圣地亞哥分校提供的，包含20 張分辨率為605 pixels×700 pixels 的RGB 圖像，其中10 張圖像為正常眼底圖像，其余10 張圖像存在不同程度的病變。

圖4 視網(wǎng)膜圖像Fig.4 Retina image

上述三種視網(wǎng)膜圖像受光照或眼部疾病的影響，圖像中的血管像素不清晰，本文采用圖像預(yù)處理策略[6]來突顯血管特征，這樣更有利于模型提取血管像素的特征。先把原始的RGB 圖像轉(zhuǎn)換為灰度圖像，對灰度圖像歸一化后再對其采用對比度受限自適應(yīng)直方圖均衡化(CLAHE)來增強(qiáng)血管與背景之間對比度，最后采用伽馬校正增亮圖像中亮度較低的血管區(qū)域。此外，實(shí)驗(yàn)中還對訓(xùn)練數(shù)據(jù)集進(jìn)行增強(qiáng)和擴(kuò)充，將訓(xùn)練集中的輸入圖像、圖像真實(shí)標(biāo)注以及邊界標(biāo)注對應(yīng)隨機(jī)裁剪為尺寸為48 pixels×48 pixels 的切片，再對圖像隨機(jī)旋轉(zhuǎn)，最終預(yù)處理結(jié)果示例見圖5。兩種數(shù)據(jù)集分別切片20000 張，前90%用于訓(xùn)練，后10%用于驗(yàn)證。

圖5 數(shù)據(jù)預(yù)處理結(jié)果圖。(a) 預(yù)處理圖像切片；(b) 真實(shí)標(biāo)注切片F(xiàn)ig.5 Data preprocessing results.(a) Pre-processed image slices;(b) Ground truth slices

3.3 評價指標(biāo)

為了定量評估本文的模型，使用F1 (F1-Score,F1)、靈敏度(SEnsitivity,SE)、特異性(SPecificity,SP)、準(zhǔn)確性(ACCuracy,ACC)、AUC (Area Under Curve,AUC)這5 個常用指標(biāo)來評價模型的性能，前4 個指標(biāo)計(jì)算公式如表1 所示。表1 中的TP、FP、FN 和TN 分別是真陽性(正確分割的血管像素)，假陽性(錯誤分割的血管像素)、假陰性(錯誤分割的背景像素)和真陰性(正確分割的背景像素)。F1 計(jì)算公式中的PR 表示TP 占TP 和FP 總和的比例。AUC是ROC 曲線下的面積，以SP 為橫坐標(biāo)，SE 為縱坐標(biāo)，其值越接近1，表明模型真實(shí)性越高。

表1 評價指標(biāo)Table 1 Evaluation indexes

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文采取的多尺度動態(tài)圖卷積的有效性以及邊界注意力網(wǎng)絡(luò)的輔助作用，分別在DRIVE、CHASEDB1 和STARE 三個數(shù)據(jù)集上設(shè)計(jì)了3 組消融實(shí)驗(yàn)，并用U-Net 對這些方法的分割性能進(jìn)行定量比較，實(shí)驗(yàn)結(jié)果見表2。圖6 對3 組消融實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果進(jìn)行可視化，同時在整張圖中選擇并放大了一些細(xì)節(jié)，以便更好地觀察微小血管和噪聲的分割結(jié)果。

表2 消融實(shí)驗(yàn)結(jié)果Table 2 Ablation experiments results

圖6 消融實(shí)驗(yàn)效果對比圖。(a) 原圖及原圖細(xì)節(jié)；(b) 真實(shí)標(biāo)注；(c) U-Net；(d) DGU-Net；(e) BU-Net；(f) BDGU-NetFig.6 Comparison of ablation results.(a) Original image and details;(b) Ground truth;(c) U-Net;(d) DGU-Net;(e) BU-Net;(f) BDGU-Net

從表2 和圖6 可得到如下觀察結(jié)果：

1) 本方法在STARE 和CHASEDB1 兩個數(shù)據(jù)集上性能提升較明顯。與STARE 數(shù)據(jù)集上的U-Net 相比，僅引入多尺度動態(tài)圖卷積的U-Net (multiscale dynamic graph convolution U-Net,DGU-Net)的SP、ACC 和AUC 指標(biāo)分別增加了0.45%、0.12%、0.15%，僅引入邊界注意力的U-Net(boundary attention U-Net,BU-Net)相比U-Net 雖無顯著的提升，但其F1、SE指標(biāo)相比DGU-Net 分別增加了0.21%、3.07%。此外，將兩者結(jié)合的BDGU-Net 平衡了DGU-Net 和BUNet 的SE、SP 指標(biāo)之間的差異，相比U-Net 的F1、SP、ACC、AUC 指標(biāo)分別增加了0.89%、0.37%、0.24%、0.24%。在CHASEDB1 數(shù)據(jù)集上，BDGUNet 比U-Net 的F1、SE、ACC、AUC 指標(biāo)分別提升了0.28%、0.94%、0.02%、0.02%。

2) 本方法在DRIVE 數(shù)據(jù)集上性能相較于U-Net提升有限。DGU-Net 的SP 指標(biāo)增加了0.12%，BUNet 的SE 指標(biāo)增加了0.22%，BDGU-Net 除SE 指標(biāo)比U-Net 低0.3%外，其它指標(biāo)均略高于U-Net。STARE 和CHASEDB1 數(shù)據(jù)集與DRIVE 數(shù)據(jù)集相比，噪聲較多，有用的特征更難提取。因此BDGU-Net 在復(fù)雜的、噪聲較多的數(shù)據(jù)集上擁有更好的表現(xiàn)效果。

3) 單獨(dú)引入動態(tài)圖卷積或邊界注意力的網(wǎng)絡(luò)存在局限性。DGU-Net 在三個數(shù)據(jù)集上的SE 指標(biāo)都相對較低，BU-Net 則是在SP 指標(biāo)上相對較低。因?yàn)樵诒O(jiān)督訓(xùn)練中，通常難在SE 指標(biāo)和SP 指標(biāo)之間取得平衡，如果提高分割的靈敏度，可能會有更多背景中的非血管像素被識別為血管像素，這是以降低特異性和影響整體準(zhǔn)確性為代價的。反之，如果提高分割的特異性，可能會有較多的血管像素被遺漏，也會影響整體的分割準(zhǔn)確性。將動態(tài)圖卷積和邊界注意力結(jié)合起來的BDGU-Net 則能平衡分割的靈敏度和特異性，使分割的整體準(zhǔn)確性得到提高。如圖6(d)、圖6(e)和圖6(f)所示，DGU-Net 能較好地識別噪聲而不能更好地保證血管的連通性；BU-Net 則相反，其能分割出更多的血管，而噪聲的判別能力弱；BDGU-Net 通過結(jié)合動態(tài)圖卷積和邊界注意力，使得分割出的結(jié)果既能較好地保證血管的連通性又能區(qū)分出噪聲。

4) 本文還比較了消融實(shí)驗(yàn)中不同網(wǎng)絡(luò)對單張眼底圖像分割的平均處理時間，BDGU-Net 在可接受的時間消耗范圍內(nèi)進(jìn)一步提高了分割的精度。

3.4.2 損失函數(shù)權(quán)重對比實(shí)驗(yàn)

由于本文方法的損失函數(shù)包括BA loss 和Seg loss，為了得到一組較好的損失權(quán)重α和β，在已有的經(jīng)驗(yàn)基礎(chǔ)上，設(shè)定了4 組權(quán)重系數(shù)在DRIVE 數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。由表3 可以看出來，α=0.4，β=0.6 時，網(wǎng)絡(luò)的分割靈敏度和特異性較平衡，使該模型在F1 和AUC 指標(biāo)上表現(xiàn)略好，因此本文將第3 組權(quán)重系數(shù)作為實(shí)驗(yàn)超參數(shù)。

表3 不同α和β 系數(shù)取值分析Table 3 Value analysis of different α and β coefficients

3.4.3 與其它網(wǎng)絡(luò)的性能對比

為了綜合地評估BDGU-Net 的分割性能，將BDGU-Net 與其它網(wǎng)絡(luò)進(jìn)行比較，其中包括非專家觀測者在三個數(shù)據(jù)集上的結(jié)果，以便顯示自動分割算法的優(yōu)勢。結(jié)果分為兩個方面進(jìn)行展示，一個是指標(biāo)對比，見表4，另一個是可視化對比，見圖7。

從表4 可知，在DRIVE 數(shù)據(jù)集上，Iternet 通過mini-UNet 的多次迭代來加深網(wǎng)絡(luò)，有效提高了血管分割結(jié)果的連通性，SE 提高至83.70%，而SP 比本方法低0.15%，且ACC 也略低于本方法；MLADUNet 采用多層次注意力模塊來利用底層詳細(xì)信息，有效提高了網(wǎng)絡(luò)區(qū)別噪聲的能力，SP 提高至97.88%，而SE 比本方法低0.31%。在CHASEDB1 數(shù)據(jù)集上，Res2Unet 結(jié)合多尺度策略和通道注意力機(jī)制，并使用后處理方式，有效提高SE 至84.44%，而本方法的SP 相較其高了0.6%，ACC 和AUC 也略高于Res2Unet。在STARE 數(shù)據(jù)集上，Yang等[22]提出有效的損失函數(shù)針對粗細(xì)血管進(jìn)行精確分割，使SE 提高至79.46%，而SP 比本方法低0.79%，ACC 也低了0.46%。從整體來看，本方法的SP 指標(biāo)表現(xiàn)較好，而SE 指標(biāo)略遜于其它網(wǎng)絡(luò)，ACC 和AUC 指標(biāo)與Iternet 相差不大。結(jié)合圖7(c)、圖7(d)、圖7(e)、圖7(f)的對比可知，Iternet 和Res2Unet 的血管分割結(jié)果的連通性較好，而MLA-DUNet 和BDGU-Net 區(qū)分背景中噪聲的能力更強(qiáng)。值得注意的是，在血管結(jié)構(gòu)較復(fù)雜的區(qū)域，BDGU-Net 也能較好地保證分割血管的連通性。綜上，BDGU-Net 既能保持分割血管的連通性又能更好地區(qū)分背景中的噪聲，可以有效地完成視網(wǎng)膜血管分割任務(wù)，表現(xiàn)出較好的泛化性和抗干擾能力。

表4 不同網(wǎng)絡(luò)在DRIVE、CHASEDB1 和STARE 數(shù)據(jù)集的指標(biāo)對比Table 4 Index comparison of different networks in DRIVE,CHASEDB1 and STARE datasets

圖7 不同網(wǎng)絡(luò)效果對比圖。(a) 原圖及原圖細(xì)節(jié)；(b) 真實(shí)標(biāo)注；(c) Iternet；(d) MLA-DU-Net；(e) Res2Unet；(f) BDGU-NetFig.7 Comparison of ablation results.(a) Original image and details;(b) Ground truth;(c) Iternet;(d) MLA-DU-Net;(e) Res2Unet;(f) BDGU-Net

4 結(jié)論

本文從U-Net 丟失了大部分全局結(jié)構(gòu)信息和邊界信息，難以進(jìn)一步提取血管特征信息，造成毛細(xì)血管分割遺漏和斷連的問題出發(fā)，提出一種基于改進(jìn)UNet 的邊界注意力輔助的動態(tài)圖卷積視網(wǎng)膜血管分割模型。該模型在原始空間采用多尺度動態(tài)圖卷積，捕獲特征圖更細(xì)致的全局結(jié)構(gòu)信息，同時利用簡單高效的邊界注意力網(wǎng)絡(luò)輔助主干網(wǎng)絡(luò)來增強(qiáng)邊界細(xì)節(jié)信息，從而達(dá)到改善視網(wǎng)膜血管分割斷連或噪聲誤分類的目的。然而，在實(shí)驗(yàn)過程中，為了使邊界注意力網(wǎng)絡(luò)輕量化，只采用單層的神經(jīng)網(wǎng)絡(luò)提取淺層的細(xì)節(jié)信息，使得邊界注意力網(wǎng)絡(luò)表達(dá)有限，缺乏對血管邊界信息更準(zhǔn)確的把握。因此，提高本模型分割視網(wǎng)膜血管邊界的精準(zhǔn)性將是我們下一步的工作方向。