骨架圖引導(dǎo)的級(jí)聯(lián)視網(wǎng)膜血管分割網(wǎng)絡(luò)

姜大光，李明鳴，陳羽中，丁文達(dá)，彭曉婷，李瑞瑞

1) 北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100029 2) 北京鷹瞳科技發(fā)展股份有限公司，北京 100089 3) 北京富通東方科技有限公司，北京 100010

視網(wǎng)膜血管分割是醫(yī)學(xué)圖像處理[1?2]的一個(gè)重要分支，是眼底圖像分析的基礎(chǔ)，在眼底疾病篩查和診斷中發(fā)揮著重要的作用. 許多類型的眼底病變都會(huì)導(dǎo)致視網(wǎng)膜血管形狀、數(shù)量、結(jié)構(gòu)發(fā)生改變，例如：高血壓性視網(wǎng)膜病變會(huì)引起視網(wǎng)膜血管直徑、曲折度和分岔角度發(fā)生變化[3]；糖尿病性視網(wǎng)膜病變會(huì)帶來(lái)視網(wǎng)膜靜脈的擴(kuò)張[4]；而年齡相關(guān)的黃斑變性最終導(dǎo)致脈絡(luò)膜毛細(xì)血管萎縮和形成大量新生血管.

視網(wǎng)膜血管形態(tài)結(jié)構(gòu)復(fù)雜、狹長(zhǎng)且空間跨度大，血管間常常會(huì)交錯(cuò)重疊. 這讓視網(wǎng)膜血管的有效表征和特征提取任務(wù)變得富有挑戰(zhàn). 不僅如此，血管末端常分岔出更細(xì)微的血管，呈現(xiàn)出較大的尺度變化，也使得許多跟早期疾病篩查相關(guān)的不規(guī)律彎折和多角度交錯(cuò)等現(xiàn)象不易被觀察到.經(jīng)典機(jī)器學(xué)習(xí)方法[5?7]的分類特征需要手動(dòng)設(shè)計(jì)和提取，非常依賴研究人員的領(lǐng)域相關(guān)知識(shí)，特征的優(yōu)劣很大程度影響模型效果. 基于特定算子的目標(biāo)形態(tài)檢測(cè)方法[8?10]往往只針對(duì)特定的場(chǎng)景和條件，難以進(jìn)一步提高血管分割的準(zhǔn)確性.

近年來(lái)，得益于深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法成為一個(gè)研究熱點(diǎn). 許多工作采用全卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成這一任務(wù)，例如：Zhang和Chung[11]使用UNet[12]實(shí)現(xiàn)端到端的視網(wǎng)膜血管分割；Guo等[13]則采用ResNet[14]來(lái)更好地提取高維抽象特征.一些研究人員觀察到血管分割任務(wù)中所存在的數(shù)據(jù)不平衡、細(xì)節(jié)特征易丟失等問(wèn)題，從網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略等角度提出改進(jìn)的方法，通過(guò)將注意力機(jī)制[15?16]、空洞卷積[17?20]、長(zhǎng)短期記憶網(wǎng)絡(luò)模塊[21]和深監(jiān)督學(xué)習(xí)[22]等技術(shù)適配到視網(wǎng)膜血管分割網(wǎng)絡(luò)中，來(lái)加強(qiáng)網(wǎng)絡(luò)的特征提取能力.這些研究工作有效地提升了血管分割性能，但是在醫(yī)學(xué)臨床應(yīng)用中還有許多亟待解決的問(wèn)題，特別地，細(xì)小血管的分割準(zhǔn)確性和結(jié)構(gòu)完整性是一個(gè)難點(diǎn)，需要進(jìn)一步提升和加強(qiáng). 一方面，細(xì)小血管在圖像中所占的像素比例少，在訓(xùn)練中可能得不到有效的關(guān)注和充分的監(jiān)督；另一方面，卷積神經(jīng)網(wǎng)絡(luò)本身缺乏對(duì)結(jié)構(gòu)關(guān)聯(lián)特征有效建模和表征的能力，不能對(duì)血管形狀拓?fù)潢P(guān)系很好地表示和利用.

為了使血管脈絡(luò)能夠被更完整和清晰地分割出來(lái)，從而輔助醫(yī)生實(shí)現(xiàn)微小病變發(fā)現(xiàn)或者準(zhǔn)確疾病分級(jí)診斷，本文從血管形狀拓?fù)潢P(guān)系的表示和利用角度出發(fā)，探索多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，提出骨架圖引導(dǎo)的級(jí)聯(lián)視網(wǎng)膜血管分割網(wǎng)絡(luò)框架. 該框架包含兩個(gè)級(jí)聯(lián)的沙漏狀網(wǎng)絡(luò)模塊，并采用層次化的方式傳遞特征. 方法引入了一個(gè)提取骨架圖的輔助任務(wù)，并設(shè)計(jì)了基于圖的結(jié)構(gòu)平滑正則損失函數(shù)，幫助更好地刻畫(huà)物體的拓?fù)浜蛶缀侮P(guān)聯(lián)特性. 不僅如此，方法將骨架圖和層次化特征通過(guò)融合機(jī)制傳遞到第二個(gè)網(wǎng)絡(luò)模塊，引導(dǎo)整體視網(wǎng)膜血管的分割.本文在DRIVE、STARE和CHASEDB1這3個(gè)著名公開(kāi)的視網(wǎng)膜血管分割數(shù)據(jù)集上驗(yàn)證了提出的網(wǎng)絡(luò)框架，與該領(lǐng)域近3年最新的8種方法相比，該框架得到的結(jié)果的準(zhǔn)確性最高.同時(shí)通過(guò)消融實(shí)驗(yàn)，本文定量分析了提取骨架的輔助任務(wù)、基于圖的結(jié)構(gòu)平滑正則損失函數(shù)以及骨架提取任務(wù)和血管分割任務(wù)使用不同網(wǎng)絡(luò)實(shí)現(xiàn)時(shí)對(duì)分割任務(wù)的影響. 綜上所述，本文的主要?jiǎng)?chuàng)新點(diǎn)如下：（1）提出了一個(gè)多任務(wù)級(jí)聯(lián)網(wǎng)絡(luò)框架.能夠?qū)⒉煌娜蝿?wù)級(jí)聯(lián)在一起同時(shí)訓(xùn)練，提高模型的準(zhǔn)確性和泛化性.該框架與選取的主干網(wǎng)絡(luò)無(wú)關(guān)，具有靈活的適用性；（2）設(shè)計(jì)了一個(gè)骨架圖提取的輔助任務(wù)，提出基于血管標(biāo)注的弱監(jiān)督骨架圖提取方法，方法采用偽標(biāo)注與基于圖的結(jié)構(gòu)平滑正則損失函數(shù)相結(jié)合來(lái)準(zhǔn)確提取骨架；（3）提出骨架引導(dǎo)的準(zhǔn)確血管分割的方法，通過(guò)自適應(yīng)特征選擇機(jī)制來(lái)有效融合的拓?fù)浣Y(jié)構(gòu)特征.

1 國(guó)內(nèi)外相關(guān)工作

長(zhǎng)期以來(lái)，國(guó)內(nèi)外研究者提出了大量的血管分割方法. 傳統(tǒng)的方法包含：概率圖模型[23]、線檢測(cè)器[24]、Gabor小波變換[7]和手工特征結(jié)合有監(jiān)督分類器[5,25?26]的方法. 2016年以后，得益于深度學(xué)習(xí)技術(shù)的快速發(fā)展，涌現(xiàn)出大量基于深度卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法.Maninis等[27]采用VGG網(wǎng)絡(luò)[28]提取特征，并將不同層次特征相融合作為分類特征，完成逐像素分類.Zhang等[29]、Guo等[13,30]、Mou等[31]分別在他們的工作中使用了UNet，并加入了空間和通道注意力機(jī)制，使網(wǎng)絡(luò)能夠更好地關(guān)注到有效目標(biāo)區(qū)域.Jiang等[32]、Hatamizadeh等[33]、Gu等[34]在全卷積網(wǎng)絡(luò)中使用了空洞卷積金字塔，能夠提取不同尺度的目標(biāo)特征，豐富了特征層的上下文信息.Zhang和Chung[11]、Mo和Zhang[35]使用了深監(jiān)督的訓(xùn)練方式，對(duì)網(wǎng)絡(luò)不同深度的隱層特征施加監(jiān)督信號(hào)，有利于梯度在網(wǎng)絡(luò)深層傳遞，使網(wǎng)絡(luò)能夠更有效地提取深層特征.

視網(wǎng)膜眼底圖像分割比普通視覺(jué)圖像分割難度更大，主要表現(xiàn)在：眼底照樣本少、尺度變化大、內(nèi)容細(xì)節(jié)豐富和結(jié)構(gòu)信息敏感.一些方法采用特殊的損失函數(shù)設(shè)計(jì)來(lái)更好地提取特征.這類方法的基本思路是對(duì)占比少且難學(xué)習(xí)的像素施加更大的損失權(quán)重，例如：細(xì)血管或血管邊緣像素，使網(wǎng)絡(luò)在訓(xùn)練中能夠更有效地挖掘這些樣本的特征. Hu等[36]通過(guò)對(duì)交叉熵?fù)p失函數(shù)設(shè)置權(quán)重來(lái)平衡前景和背景、粗與細(xì)血管間的訓(xùn)練損失.Yan等[37]結(jié)合血管的長(zhǎng)度和管壁直徑設(shè)計(jì)損失函數(shù)，加大對(duì)細(xì)血管的訓(xùn)練權(quán)重.這些精心設(shè)計(jì)的損失函數(shù)能夠有效提升血管分割的精度，但對(duì)于不同的數(shù)據(jù)分布，需要對(duì)此多次手工調(diào)整參數(shù)，不具備很好的適用性.

為了更好地提取細(xì)血管和結(jié)構(gòu)信息，另一些方法則采用多任務(wù)網(wǎng)絡(luò)設(shè)計(jì)，即：設(shè)置一個(gè)或者多個(gè)相關(guān)子任務(wù)來(lái)協(xié)助更好地完成血管分割. 例如：使用一個(gè)邊緣分割的子任務(wù)[38]或使用一個(gè)血管連接點(diǎn)提取的子任務(wù)[39].也有研究人員嘗試將血管分割的任務(wù)進(jìn)行分解.Zhang等[40]就將血管特征提取分解為血管結(jié)構(gòu)特征提取和紋理特征提取，并設(shè)置兩個(gè)子任務(wù)，使用淺層網(wǎng)絡(luò)提取低層的紋理特征，使用深層網(wǎng)絡(luò)提取高層的結(jié)構(gòu)特征.Zheng等[41]對(duì)血管進(jìn)行細(xì)粒度的分類，分為細(xì)血管、血管邊緣和粗血管三個(gè)部分，使用多任務(wù)網(wǎng)絡(luò)對(duì)這些子類進(jìn)行分類. Zou等[42]根據(jù)位置分布將血管分成五個(gè)部分分別進(jìn)行處理，采用局部回歸的技術(shù)促使在分割結(jié)果中保留更多的細(xì)血管.采用了由粗到細(xì)的串行多任務(wù)分割學(xué)習(xí)框架，粗分割網(wǎng)絡(luò)的輸出結(jié)果連接到細(xì)分割網(wǎng)絡(luò)的輸入，進(jìn)行進(jìn)一步優(yōu)化. 遺憾的是，上述這些方法難以有效利用子任務(wù)網(wǎng)絡(luò)之間的多層次特征的相關(guān)性，缺乏任務(wù)間的協(xié)同機(jī)制，造成的特征層信息冗余會(huì)導(dǎo)致整個(gè)任務(wù)性能的降低.

2 多任務(wù)級(jí)聯(lián)視網(wǎng)膜血管分割網(wǎng)絡(luò)

本文提出的骨架圖引導(dǎo)的多任務(wù)級(jí)聯(lián)視網(wǎng)膜分割框架如圖1所示，該框架由骨架提取輔助任務(wù)、特征級(jí)聯(lián)模塊和血管分割主任務(wù)3部分組成.骨架提取輔助任務(wù)和血管分割主任務(wù)分別由兩個(gè)編碼-解碼結(jié)構(gòu)的沙漏型網(wǎng)絡(luò)實(shí)現(xiàn).骨架提取網(wǎng)絡(luò)能夠?qū)ρ艿闹行木€逐像素標(biāo)記，輸出血管骨架圖；血管分割網(wǎng)絡(luò)將眼底圖像劃分為血管區(qū)域和非血管區(qū)域.兩個(gè)網(wǎng)絡(luò)之間采用多個(gè)自適應(yīng)特征融合模塊連接，模塊在訓(xùn)練中學(xué)習(xí)到如何將骨架提取網(wǎng)絡(luò)挖掘到的多層次結(jié)構(gòu)信息和分割網(wǎng)絡(luò)的血管特征進(jìn)行融合，增強(qiáng)分割血管的結(jié)構(gòu)完整性.

圖1 骨架圖引導(dǎo)的視網(wǎng)膜血管分割網(wǎng)絡(luò)框架Fig.1 Skeleton map-guided retinal vessel segmentation framework

該框架中的兩個(gè)網(wǎng)絡(luò)的主干結(jié)構(gòu)是一致的，但整個(gè)框架與主干網(wǎng)絡(luò)的選擇無(wú)關(guān)，可根據(jù)具體分割任務(wù)靈活設(shè)置.在本文中，主干網(wǎng)絡(luò)選擇使用ResNet34[14]. ResNet34具有4個(gè)編碼層，深層編碼特征對(duì)應(yīng)著更大的感受野，具有更大范圍的結(jié)構(gòu)信息，淺層編碼特征則蘊(yùn)含著較為精細(xì)的局部結(jié)構(gòu)信息，每個(gè)編碼層的空間分辨率均為上層編碼層的1/4.網(wǎng)絡(luò)末端的全連接層被替換為若干個(gè)轉(zhuǎn)置卷積層和上采樣層，用于恢復(fù)空間分辨率，構(gòu)成了解碼路徑.編碼層的特征通過(guò)跳躍連接傳遞至具有相同空間分辨率的解碼層，彌補(bǔ)在下采樣中丟失的空間信息.

2.1 基于偽標(biāo)注的骨架圖提取

骨架，也稱為“中心線”，是一種基于結(jié)構(gòu)的目標(biāo)描述符，能夠?qū)ρ苓@類拓?fù)浣Y(jié)構(gòu)清晰和有效地表示（如圖2）.

圖2 血管骨架Fig.2 Vessel skeleton

觀察發(fā)現(xiàn)，單任務(wù)血管分割模型對(duì)結(jié)構(gòu)特征感知不足，提取出來(lái)血管存在部分丟失、斷裂的現(xiàn)象. 本文提出的框架包含一個(gè)骨架提取的輔助任務(wù)，通過(guò)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)準(zhǔn)確提取骨架信息.由于缺乏骨架的標(biāo)注數(shù)據(jù)，因此本文采用骨架化算法[43]從血管標(biāo)注中生成骨架的偽標(biāo)注來(lái)作為監(jiān)督信息.

2.1.1 偽標(biāo)注生成方法

生成偽標(biāo)注采用一種稱為快速并行細(xì)化的算法[43]，它通過(guò)迭代的方式，逐步將二值圖像中的目標(biāo)輪廓去除，僅保留目標(biāo)中心線像素. 第n次迭代后每個(gè)像素點(diǎn)的值取決于在第n?1次迭代后其自身的值以及其8鄰域內(nèi)其他像素的值.每輪迭代包括兩步，第一步刪除像素8鄰域內(nèi)的東南邊界點(diǎn)和西北角點(diǎn)，第二步刪除西北邊界點(diǎn)和東南角點(diǎn). 整個(gè)算法的處理流程如圖3所示.

圖3 快速并行細(xì)化算法流程圖Fig.3 Flowchart of the fast, parallel thinning algorithm

2.1.2 基于圖的結(jié)構(gòu)平滑正則損失

為了使模型提取的骨架結(jié)構(gòu)更加完整，在訓(xùn)練骨架提取網(wǎng)絡(luò)時(shí)，引入了一個(gè)基于圖的結(jié)構(gòu)平滑正則項(xiàng)作為損失函數(shù)[44].該損失函數(shù)使模型輸出的類內(nèi)預(yù)測(cè)概率的分布更加均勻，在閾值二值化時(shí)有利于保留完整的血管，減少分割圖中背景噪聲和血管斷裂的現(xiàn)象. 設(shè)血管為前景類，非血管為背景類，在一個(gè)局部區(qū)域中，標(biāo)注中正類像素的集合為, 負(fù)類像素的集合為, 網(wǎng)絡(luò)把像素i預(yù)測(cè)為正類的概率為. 前景和背景的損失項(xiàng)表示為:

2.2 骨架圖引導(dǎo)的視網(wǎng)膜血管分割

本文將來(lái)自骨架提取網(wǎng)絡(luò)中包含結(jié)構(gòu)信息多尺度特征通過(guò)本文設(shè)計(jì)的特征融合機(jī)制與視網(wǎng)膜血管分割網(wǎng)絡(luò)中的特征以適當(dāng)?shù)臋?quán)重進(jìn)行像素級(jí)融合，加強(qiáng)特征層的結(jié)構(gòu)信息響應(yīng). 融合后的特征作為血管分割網(wǎng)絡(luò)中的編碼特征分別以采樣和跳躍連接的方式前向傳播.

受注意力門控[45]的啟發(fā)，本文設(shè)計(jì)了自適應(yīng)特征融合模塊(SAFF).注意力門控（圖 4（a））的思路是利用深層特征包含的關(guān)鍵語(yǔ)義信息過(guò)濾淺層特征包含的冗余信息和噪聲，輸出表現(xiàn)為淺層特征的線性映射；自適應(yīng)特征融合模塊（圖4（b））則是對(duì)血管特征進(jìn)行結(jié)構(gòu)信息補(bǔ)充，輸出為兩個(gè)特征的仿射組合.具體地，自適應(yīng)特征融合模塊的輸入分別為骨架提取網(wǎng)絡(luò)的解碼層特征RC×H×W和血管分割網(wǎng)絡(luò)中相同尺度的編碼層特征fves∈ RC×H×W.特征融合模塊會(huì)計(jì)算出值域?yàn)榈娜诤舷禂?shù)矩陣 α ∈[0,1]C×H×W，其上每個(gè)單元的值表示結(jié)構(gòu)特征的融合系數(shù)，融合后的新特征計(jì)算公式如下:

圖4 自適應(yīng)特征融合模塊和注意力門控的對(duì)比. （a）深層特征過(guò)濾淺層特征；（b）包含結(jié)構(gòu)信息的骨架特征和 血管特征融合Fig.4 Comparison of the self-adaptive feature fusion block and attention gating: (a) deeper features filter shallower features ; (b)vessel features fuse skeleton features containing structural information

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了說(shuō)明該方法的有效性，本文在3個(gè)公開(kāi)的視網(wǎng)膜血管分割數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，與近3年最新的方法[11,34,37,40,46?49]進(jìn)行比較.每組實(shí)驗(yàn)的結(jié)果為模型10次訓(xùn)練結(jié)果的平均值. 本文提出的方法采用Python語(yǔ)言編程，基于PyTorch框架實(shí)現(xiàn)，模型在配備16 G內(nèi)存和英偉達(dá)GTX1080Ti顯卡的計(jì)算機(jī)上運(yùn)行.網(wǎng)絡(luò)訓(xùn)練輪次總數(shù)設(shè)置為20，優(yōu)化算法使用Adam，使用0.001作為學(xué)習(xí)率. 基于圖的結(jié)構(gòu)平滑正則損失的局部區(qū)域設(shè)置為邊長(zhǎng)為30個(gè)像素的正方形，權(quán)重系數(shù)設(shè)置為0.000001.

3.2 數(shù)據(jù)介紹

DRIVE[50]數(shù)據(jù)集包含40張分辨率為565×584的RGB三通道彩色眼底圖像；STARE[51]數(shù)據(jù)集包含20張分辨率為700×605的RGB三通道圖像；CHASEDB1[52]數(shù)據(jù)集包含 28張分辨率為 999×960的RGB三通道圖像，從14個(gè)孩童的左右眼拍照采集.

DRIVE數(shù)據(jù)集提供了各包含20張圖片的訓(xùn)練集和測(cè)試集，本文選取了訓(xùn)練集中的第1張圖片作為驗(yàn)證，其余19張圖片用作訓(xùn)練. 對(duì)于STARE數(shù)據(jù)集，本文采用了Yan等[37]、Wang等[49]使用的留一法劃分方式，1張圖片用作測(cè)試，其余19張用于訓(xùn)練，20張圖片輪流作為測(cè)試圖片進(jìn)行實(shí)驗(yàn)，計(jì)算20次實(shí)驗(yàn)中各項(xiàng)指標(biāo)的平均值作為結(jié)果. 對(duì)于CHASEDB1數(shù)據(jù)集，實(shí)驗(yàn)采用了和Yan等[37]、Wang等[49]、Li等[46]、Wang 等[48]相同的劃分方式，前20張用作訓(xùn)練，其余8張用于測(cè)試.3個(gè)數(shù)據(jù)集中的訓(xùn)練圖片分別采用旋轉(zhuǎn)和翻轉(zhuǎn)的方式進(jìn)行擴(kuò)充，緩解由于訓(xùn)練數(shù)據(jù)太少導(dǎo)致的模型過(guò)擬合現(xiàn)象.由于CHASEDB1數(shù)據(jù)集的圖片分辨率較高，這個(gè)數(shù)據(jù)集中的圖片切片為720×720的圖像塊.

3.3 評(píng)價(jià)方法

本文使用了F1值、敏感性(Se)、準(zhǔn)確率(Acc)、特征曲線ROC下的面積(AUC)這4個(gè)常用的指標(biāo)對(duì)提出的方法定量評(píng)估. 從二值分割圖和標(biāo)注圖中統(tǒng)計(jì)出被正確分類為正類(TP)、被正確分類為負(fù)類(TN)、被誤分類為正類(FP)、被誤分類為負(fù)類(FN)這四類像素的數(shù)目并進(jìn)而計(jì)算出指標(biāo)值，如下所示:

特征曲線從使用不同閾值得到的二值化分割圖計(jì)算出的敏感性和假正率(F P/(FP+TN)×100%)做出，計(jì)算此曲線與坐標(biāo)軸圍成的面積得到AUC值.

3.4 實(shí)驗(yàn)結(jié)果

本文提出的方法在3個(gè)數(shù)據(jù)集上與其他方法的對(duì)比結(jié)果如表1所示，在所有指標(biāo)上基本達(dá)到了領(lǐng)先.方法在3個(gè)數(shù)據(jù)集上的F1值分別為83.1%、85.8%和82.0%，在所有對(duì)比方法中達(dá)到了最高；敏感值分別為83.7%、86.4%和84.5%，同樣達(dá)到了領(lǐng)先. 雖然方法DS[11]的敏感值在DRIVE數(shù)據(jù)集上高于本文的方法，但對(duì)于醫(yī)學(xué)數(shù)據(jù)，F(xiàn)1值是更為重要的指標(biāo).它不僅包含著敏感性信息，還考慮了精確度，F(xiàn)1值越高意味著識(shí)別出的血管更為齊全，而且準(zhǔn)確. 本文提出的方法在3個(gè)數(shù)據(jù)集上的F1值比其他方法平均高出2.6%，證明了該方法能夠更加準(zhǔn)確地識(shí)別出更多血管.同時(shí)，AUC值在3個(gè)數(shù)據(jù)集分別為98.8%、99.1%和99.1%，平均比其他方法高出0.3%；Acc值分別為97.1%、97.1%和97.7%，平均比其他方法高出0.9%.考慮到眼底圖像中非血管區(qū)域和粗血管占比較大，細(xì)血管和噪聲樣本的占比較小，模型對(duì)這類小樣本的分割性能提升反映在這兩個(gè)指標(biāo)上的變化不明顯，因此盡管指標(biāo)值只有略微提升，但同樣能夠說(shuō)明方法對(duì)細(xì)小血管的識(shí)別準(zhǔn)確率更高，同時(shí)減少了對(duì)噪聲樣本的誤分類.

表1 本文提出的方法和近期的先進(jìn)方法在F1值、敏感性Se、準(zhǔn)確率Acc、AUC的比較結(jié)果Table 1 Comparison results between our proposed method and the recent advanced methods of the F1 score, Sensitivity, Accuracy, and AUC

3.5 消融實(shí)驗(yàn)

為了進(jìn)一步說(shuō)明框架中各個(gè)組成部分的效果，本文進(jìn)行了消融實(shí)驗(yàn).

第一組消融實(shí)驗(yàn)驗(yàn)證了骨架的輔助任務(wù)和基于圖的結(jié)構(gòu)平滑正則損失分別起到的作用. 首先，實(shí)驗(yàn)使用單任務(wù)分割網(wǎng)絡(luò)ResNet34作為基準(zhǔn)，在DRIVE和CHASEDB1訓(xùn)練集上訓(xùn)練，計(jì)算出在驗(yàn)證集上的指標(biāo). 然后，網(wǎng)絡(luò)遞增加入了提取骨架的輔助任務(wù)，使用二元交叉熵?fù)p失函數(shù)訓(xùn)練，評(píng)估該子任務(wù)對(duì)分割性能的影響. 最后，骨架提取網(wǎng)絡(luò)的訓(xùn)練損失中再次遞增加入了基于圖的結(jié)構(gòu)平滑正則項(xiàng)，評(píng)估該損失的效果. 在3個(gè)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果如表2所示，實(shí)驗(yàn)曲線圖如圖5所示. 實(shí)驗(yàn)結(jié)果表明：使用提取骨架的輔助任務(wù)的分割模型在兩個(gè)驗(yàn)證集上的F1值分別達(dá)到了85.0%和81.8%，Se達(dá)到了85.5%和83.6%，相比于單任務(wù)分割網(wǎng)絡(luò)有大幅提升，并且模型在訓(xùn)練中收斂速度較快，說(shuō)明骨架特征能夠提供給分割網(wǎng)絡(luò)充分的拓?fù)浜蛶缀涡畔?，使網(wǎng)絡(luò)能夠準(zhǔn)確分割出更完整的血管結(jié)構(gòu)，而且減小了單任務(wù)網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)難度；使用結(jié)構(gòu)平滑正則損失后，F(xiàn)1值和AUC值比單獨(dú)使用二元交叉熵平均提高了0.1%，Se提升了0.8%，說(shuō)明該損失能夠促使模型準(zhǔn)確提取出更多細(xì)小血管的骨架，同時(shí)也證明了提取出更精確的骨架能夠進(jìn)一步提高血管分割的效果.

圖5 消融實(shí)驗(yàn)中每輪訓(xùn)練后在不同驗(yàn)證集上的F1值. （a）DRIVE；（b）CHASEDB1Fig.5 F1 on the validation set after each training iteration in ablation experiments: (a) DRIVE; (b) CHASEDB1

表2 第一組消融實(shí)驗(yàn)結(jié)果Table 2 Results of the first ablation experiments

第二組消融實(shí)驗(yàn)驗(yàn)證了框架中主干網(wǎng)絡(luò)的普適性，實(shí)驗(yàn)將骨架提取網(wǎng)絡(luò)和血管分割網(wǎng)絡(luò)的編碼路徑共同替換為ResNet18和VGG16中去除全連接層的部分. 框架在兩個(gè)數(shù)據(jù)集訓(xùn)練完成后，計(jì)算在測(cè)試集上的指標(biāo)，結(jié)果如表3所示.3種主干網(wǎng)絡(luò)在2個(gè)數(shù)據(jù)集上的指標(biāo)都較高，說(shuō)明該框架具有靈活的適用性.在F1指標(biāo)上，ResNet34高于ResNet18和VGG16實(shí)驗(yàn)組，可以推斷出效果越好的單任務(wù)網(wǎng)絡(luò)應(yīng)用在該框架下會(huì)取得一定程度的提升. 使用ResNet34作為主干網(wǎng)絡(luò)的實(shí)驗(yàn)組在兩個(gè)數(shù)據(jù)集的訓(xùn)練損失如圖6所示.

圖6 框架在 DRIVE（a）和 CHASEDB1（b）數(shù)據(jù)集上的訓(xùn)練損失Fig.6 Training loss of the framework on the DRIVE (a) and CHASEDB1 (b) datasets

表3 第二組消融實(shí)驗(yàn)結(jié)果Table 3 Results of the second ablation experiments

4 結(jié)論

本文提出了一種骨架圖引導(dǎo)的多任務(wù)級(jí)聯(lián)視網(wǎng)膜血管分割框架，能夠克服視網(wǎng)膜血管分割中存在的細(xì)小血管提取不完整、分割不準(zhǔn)確的問(wèn)題.從而輔助醫(yī)生開(kāi)展早期眼底病變篩查.提出的框架與主干網(wǎng)絡(luò)結(jié)構(gòu)無(wú)關(guān)，也可以靈活擴(kuò)展到其他與拓?fù)浣Y(jié)構(gòu)相關(guān)的分割任務(wù).