基于編碼解碼結(jié)構(gòu)的微血管減壓圖像實(shí)時(shí)語義分割

白瑞峰，江 山 ，孫海江，劉心睿,3

（1. 中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 吉林 長(zhǎng)春 130033；2. 中國(guó)科學(xué)院大學(xué), 北京 100049；3. 吉林大學(xué)第一醫(yī)院 神經(jīng)腫瘤外科, 吉林 長(zhǎng)春 130021）

1 引 言

三叉神經(jīng)痛和面肌痙攣是最常見的腦神經(jīng)疾病，三叉神經(jīng)痛主要表現(xiàn)為三叉神經(jīng)分布區(qū)出現(xiàn)短暫的、類似電擊的疼痛，輕微的觸碰即可誘發(fā)[1]，面肌痙攣表現(xiàn)為單側(cè)面部肌肉無痛性和反復(fù)性不自主抽搐[2]，嚴(yán)重影響患者的生活質(zhì)量。微血管減壓術(shù)(Microvascular Decompression，MVD)因手術(shù)創(chuàng)傷小，療效顯著，成為目前治療三叉神經(jīng)痛和面肌痙攣?zhàn)畛Ｓ玫氖中g(shù)方式。

一般腦血管圖像的獲取途徑有電子計(jì)算機(jī)斷層掃描血管造影(CTA)、數(shù)字減影血管造影(DSA)、磁共振血管造影(MRA)等。其中，CTA 方案最為常見，NAZIR 等人[3]通過殘差映射解決網(wǎng)絡(luò)收斂問題，提出了一種高效的從CTA 圖像中自動(dòng)分割腦血管的融合網(wǎng)絡(luò)，但CTA 的局限性在于小血管成像不夠清晰，使得診斷準(zhǔn)確率較低[4]。DSA是診斷的“金標(biāo)準(zhǔn)”，為提高DSA 中較小血管的分割準(zhǔn)確性，PATEL 等人[5]提出了一種通過使用多分辨率輸入來增強(qiáng)架構(gòu)視野的專用卷積神經(jīng)網(wǎng)絡(luò)DeepMedic，但是DSA 是有創(chuàng)檢查且存在放射性暴露等問題，且費(fèi)用較為昂貴，不適合初期篩查，臨床應(yīng)用的局限性較大[6]。MRA 易受血管走向、血管壁鈣化等的影響，且血管細(xì)小時(shí)成像效果較差[7]，為改善小血管的分割效果，通過引入反向邊緣注意網(wǎng)絡(luò)關(guān)注缺失的腦血管邊緣特征和細(xì)節(jié)信息[8]，或通過集成 3D U-Net、多尺度方法以及深度監(jiān)督方法鑒別腦部時(shí)間飛躍磁共振血管成像（TOF-MRA）中的小血管，引導(dǎo)網(wǎng)絡(luò)中間層更好地生成判別性特征，有效地避免了梯度爆炸和梯度消失的問題，提高了模型的收斂性，從而實(shí)現(xiàn)對(duì)腦血管的分割[9-10]。與傳統(tǒng)CTA、DSA、MRA 等獲取腦血管圖像的方法相比，通過內(nèi)窺鏡獲取真彩微血管減壓(MVD)圖像更簡(jiǎn)單方便，而且對(duì)真彩MVD 圖像的處理具有更大的發(fā)展前景。

由于腦血管自身結(jié)構(gòu)的復(fù)雜性，早期腦血管分割算法主要基于強(qiáng)度模式識(shí)別，腦血管的分割方法主要有非局部均值分割方法[11]、閾值分割方法[12]、區(qū)域增長(zhǎng)分割方法[13]和水平集方法[14-15]。隨著卷積神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域的廣泛應(yīng)用[16]和持續(xù)優(yōu)化[17]，卷積神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像的分割也呈現(xiàn)出了井噴式的發(fā)展，性能顯著優(yōu)于傳統(tǒng)分割方法。大多數(shù)先進(jìn)的語義分割網(wǎng)絡(luò)是基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）[18]和U-Net[19]網(wǎng)絡(luò)的，其中，ZHANG M 等人[20]提出了一種基于U-Net 的深度學(xué)習(xí)方法，結(jié)合預(yù)處理方法，在DSA 圖像中跟蹤和分割腦血管。XIA L K 等人[21]將Inception-ResNet 和維度擴(kuò)展的U-Net++相結(jié)合，實(shí)現(xiàn)了最大化多尺度特征的提取，對(duì)于MRA 分割性能優(yōu)異。MENG C 等人[22]設(shè)計(jì)了編碼器-解碼器架構(gòu)，通過定義一個(gè)多尺度模塊來分割不同直徑的腦血管。

本文引入了真彩色MVD 圖像，MVD 圖像中腦血管的分割面臨著腦血管類內(nèi)過于相似、腦血管邊界與其他腦組織邊界不夠明顯的問題，使得腦血管分割困難，腦神經(jīng)亦是如此。針對(duì)上述問題，本文提出了一種新穎的基于深度學(xué)習(xí)的實(shí)時(shí)語義分割網(wǎng)絡(luò)，稱為U-MVDNet，該網(wǎng)絡(luò)具有更加高效的編碼結(jié)構(gòu)和更加精細(xì)的解碼結(jié)構(gòu)。為訓(xùn)練和評(píng)估所提出的U-MVDNet 網(wǎng)絡(luò)效果，與吉林大學(xué)第一醫(yī)院積極展開合作，構(gòu)建了一個(gè)包含3 087張MVD 圖像的數(shù)據(jù)集。這些圖像具有標(biāo)準(zhǔn)的Ground truth 注釋，為實(shí)時(shí)推斷術(shù)中腦血管、腦神經(jīng)的位置提供指導(dǎo)。借助于實(shí)時(shí)準(zhǔn)確分割的幫助，醫(yī)生可以快速確定腦血管和腦神經(jīng)的最佳位置，節(jié)省了大量時(shí)間，減輕術(shù)者的工作量，有效輔助醫(yī)生進(jìn)行快速診斷，達(dá)到專業(yè)醫(yī)生甚至超越專業(yè)醫(yī)生的水平。對(duì)本文方法與其他幾種先進(jìn)的實(shí)時(shí)語義分割方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法取得了良好的性能。

2 U-MVDNet 架構(gòu)構(gòu)建

本章首先對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行整體描述。然后，詳細(xì)介紹輕型深度瓶頸模塊(LABM)和特征融合模塊(FFM)，并闡述這兩個(gè)模塊的有效性。

2.1 網(wǎng)絡(luò)架構(gòu)

基于輕型非對(duì)稱瓶頸模塊和特征融合模塊設(shè)計(jì)了U-MVDNet 體系結(jié)構(gòu)，如圖1 所示，其中“C”表示級(jí)聯(lián)操作。為了得到推理速度較快、mIoU 較高和輕量級(jí)的網(wǎng)絡(luò)模型，分析U-MVDNet 模型的最優(yōu)設(shè)計(jì)。U-MVDNet 的架構(gòu)細(xì)節(jié)如表1 所示。

圖1 U-MVDNet 架構(gòu)Fig. 1 Architecture of U-MVDNet

表1 U-MVDNet 架構(gòu)細(xì)節(jié)Tab.1 Architecture details of proposed U-MVDNet

在U-MVDNet 網(wǎng)絡(luò)模型中編碼器由 3×3卷積層和輕型深度瓶頸塊(LAB block)構(gòu)成。其中，步長(zhǎng)為2 的 3×3卷積層構(gòu)成了下采樣塊。下采樣操作縮小了特征圖，擴(kuò)大了感受野，能提取到更多的上下文信息。LAB block 中包含幾個(gè)連續(xù)的LABM，便于稠密特征的提取。第一個(gè)、第二個(gè)和第 三個(gè)LAB block 分別 由n個(gè) 、m個(gè) 和l個(gè)LABM 組成。為了加強(qiáng)空間關(guān)系和特征傳播，引入了模塊拼接方法，實(shí)現(xiàn)高級(jí)特征與低級(jí)特征間的融合。在LABM 中引入擴(kuò)張卷積，獲取到較大感受野和更復(fù)雜的特征，LAB block1、LAB block2和LAB block3 的擴(kuò)張率分別為2、4 和8，擴(kuò)張率的選擇符合本文特定的微血管數(shù)據(jù)集，并且需獲得適應(yīng)于該數(shù)據(jù)集的感受野。

對(duì)于解碼器，本文使用3 個(gè)FFM 來聚合低級(jí)特征和高級(jí)特征，逐步恢復(fù)分辨率。最后，采用1×1卷積層和2 倍上采樣完成分割。相較于大多數(shù)語義分段模型中使用的解碼器結(jié)構(gòu)來說，一般通過4 倍或8 倍上采樣得到分割預(yù)測(cè)圖，本文采用的2 倍上采樣，可以保留更多的特征信息，使邊界信息更加完整，語義信息更加清晰。

本文模型屬于端到端的深度學(xué)習(xí)體系結(jié)構(gòu)，而且不依賴于任何主干，U-MVDNet 的內(nèi)存消耗極低，參數(shù)量不足66 萬。

2.2 輕型非對(duì)稱瓶頸模塊(LABM)

對(duì)于實(shí)時(shí)語義分割來說，在保證精度的前提下提升網(wǎng)絡(luò)速度，就不可避免地要利用小的輸入圖像或輕量級(jí)的基礎(chǔ)模型，本文通過對(duì)ResNet[23]中瓶頸模塊(見圖2(a))的觀察，設(shè)計(jì)了輕型非對(duì)稱瓶頸模塊(LABM)(見圖2(b))，LABM 兼具了瓶頸模塊和因式卷積的優(yōu)點(diǎn)。圖2 中的“w”表示輸入通道數(shù)，“DConv”表示深度擴(kuò)張卷積。

圖2 （a）ResNet 瓶頸設(shè)計(jì)及（b）輕型非對(duì)稱瓶頸模塊Fig. 2 (a) ResNet bottleneck design and (b) LABM

圖2(b)所示的瓶頸模塊由1×1卷 積層、3×1深度卷積層、1×3深 度卷積層和最終1×1點(diǎn)卷積層組成，并在輸入通道數(shù)與輸出通道數(shù)相同時(shí)利用了殘差連接。通道數(shù)在通過第一次1×1卷積層時(shí)減少為原來的1/4，之后通過3×1和1×3深度卷積層時(shí)通道數(shù)保持不變，最后由1×1點(diǎn)卷積層恢復(fù)到原始通道數(shù)。與標(biāo)準(zhǔn)卷積相比，深度卷積減少了大量的計(jì)算成本，并與點(diǎn)卷積的組合非常有效。

在每個(gè)LABM 的開頭使用了1×1卷積層，通道數(shù)減少了 3/4，與ResNet 網(wǎng)絡(luò)模型中的數(shù)千個(gè)通道相比，本文模型中的最大通道數(shù)只有128 個(gè)，有效保存了大量的空間信息，減少了網(wǎng)絡(luò)模型的運(yùn)行時(shí)間和內(nèi)存需求，提高了推理速度。

為進(jìn)一步減少參數(shù)量，將卷積分解應(yīng)用于深度卷積，得到更加輕量級(jí)的結(jié)構(gòu)。ALVAREZ J 等人[24]提出了標(biāo)準(zhǔn)卷積層可以用1D 濾波器進(jìn)行分解。設(shè)W∈RC×dh×dv×U表示典型2D 卷積層的權(quán)重，C表示輸入特征圖的數(shù)量，U表示輸出特征圖的數(shù)量，dh×dv表示每個(gè)特征圖的內(nèi)核大小(通常dh=dv≡d)。設(shè)b∈RU，表示每個(gè)濾波器的偏置項(xiàng)的向量。分解層的第i個(gè)輸出屬于下式輸入的函數(shù)，本文中為：

2.3 特征融合模塊(FFM)

語義分割模型通常是由一個(gè)基于前端的編碼器和一個(gè)基于后端的解碼器網(wǎng)絡(luò)組成的綜合體。編碼器由多個(gè)卷積層組成，用來獲取圖像的總體特征和局部特征，其中的卷積層和池化層會(huì)逐漸縮減輸入數(shù)據(jù)的空間維度，從而降低特征維度。解碼器則是由多個(gè)反卷積或上池化組成，逐步恢復(fù)目標(biāo)的細(xì)節(jié)和空間維度，將編碼器學(xué)習(xí)到的低分辨率特征從語義上映射到高分辨率的像素空間，進(jìn)行像素分類。通常，采用雙線性上采樣或者幾個(gè)簡(jiǎn)單的卷積構(gòu)成的解碼器忽略了低層次信息，導(dǎo)致分割精度低。

高級(jí)特征包含語義信息，低級(jí)特征包含豐富的空間細(xì)節(jié)。由于語義層次和空間細(xì)節(jié)的差異，簡(jiǎn)單的低級(jí)特征和高級(jí)特征難以有效的融合。因此，可以在低級(jí)特征中引入語義信息，在高級(jí)特征中引入空間細(xì)節(jié)，實(shí)現(xiàn)增強(qiáng)特征融合。本文編碼器由LAB block 和下采樣模塊構(gòu)成，通過該編碼器得到了充分的語義信息，但是由于下采樣操作導(dǎo)致大量空間位置信息丟失，為保證邊界分割的質(zhì)量，選擇將包含豐富空間信息的低級(jí)特征嵌入到高級(jí)特征。

FFM 結(jié)構(gòu)采用了U 型結(jié)構(gòu)，如圖3 所示，用來融合具有空間信息的低級(jí)特征和語義信息的高級(jí)特征。低級(jí)特征首先經(jīng)過了1×1卷積層，并利用批量歸一化處理來平衡特征尺度，然后由通道平均池化壓縮低級(jí)特征和sigmoid 激活函數(shù)來生成單通道注意力圖，緊接著將其與3×3卷積后的高級(jí)特征相乘。這里需要注意的是，對(duì)于U-MVDNet中初始FFM 的高級(jí)特征并不進(jìn)行上采樣處理，而是直接與單通道注意力圖相乘，而對(duì)后續(xù)的2 個(gè)FFM 需要對(duì)高級(jí)特征進(jìn)行上采樣后，再與單通道注意圖相乘。最后，通過元素加法對(duì)高級(jí)特征與相乘后得到的加權(quán)特征進(jìn)行融合。簡(jiǎn)而言之，F(xiàn)L∈RCL×HL×WL和FH∈RCH×HH×WH分別是FFM 中輸入的低級(jí)和高級(jí)特征。FFM 的計(jì)算如下：

圖3 特征融合模塊流程圖Fig. 3 Flow chart of feature fusion module

其中，σ 表示sigmoid 函數(shù)，A vgPool表示平均池化操作，BN表示批量歸一化的處理，f1×1表 示1×1卷積層，f3×3表示 3×3 卷積層， ?表示逐元素相乘，+表示逐元素相加，F(xiàn)∈RCL×HL×WL表示最終的輸出特征圖。

低級(jí)特征生成的空間注意力圖反映了每個(gè)像素的重要性，包含豐富的空間信息，可指導(dǎo)特征學(xué)習(xí)，利用空間細(xì)節(jié)來細(xì)化邊界。FFM 模塊提取了空間注意力圖，并將其嵌入到高級(jí)特征中，之后與包含豐富語義信息的高級(jí)特征進(jìn)行有效融合。

3 實(shí)驗(yàn)與分析

在本章中，將在吉林大學(xué)第一醫(yī)院提供的MVD 數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]皮膚鏡圖像數(shù)據(jù)集上評(píng)估所提出的網(wǎng)絡(luò)。首先，介紹MVD數(shù)據(jù)集和ISIC 2016 + PH2 數(shù)據(jù)集，以及訓(xùn)練實(shí)施方案；然后，在MVD 驗(yàn)證集上進(jìn)行消融實(shí)驗(yàn)，以證明所提出方法的有效性；之后，在MVD 測(cè)試集上分別與其他實(shí)時(shí)語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比，以驗(yàn)證提出網(wǎng)絡(luò)的分割效果，同時(shí)在ISIC 2016 + PH2測(cè)試集上驗(yàn)證提出網(wǎng)絡(luò)的泛化能力；最后，在嵌入式終端下完成對(duì)比，并報(bào)告了MVD 測(cè)試集下的分割精度和速度結(jié)果。

3.1 數(shù)據(jù)集

3.1.1 MVD 數(shù)據(jù)集

在醫(yī)學(xué)領(lǐng)域，醫(yī)學(xué)圖像普遍具有語義簡(jiǎn)單、數(shù)據(jù)量少和難以獲取的特點(diǎn)，而且，針對(duì)基于深度學(xué)習(xí)的醫(yī)學(xué)圖像的分割需要醫(yī)生進(jìn)行專業(yè)的標(biāo)注。本項(xiàng)研究涉及60 例患者，其中，男23 例，女37 例，年齡為40～70 歲。微血管減壓數(shù)據(jù)是由ZEISS 生產(chǎn)的OPMI@ VARIO 700 型號(hào)手術(shù)顯微鏡采集得到。選擇在釋放腦脊液到縫合硬膜這段時(shí)間內(nèi)獲取的3 087 張MVD 圖像，并由專家們手動(dòng)標(biāo)注。然后參考PASVOL VOC 2012 數(shù)據(jù)集格式，得到用于語義分割網(wǎng)絡(luò)訓(xùn)練的MVD 數(shù)據(jù)集。該數(shù)據(jù)集有9 個(gè)類別(當(dāng)添加背景時(shí)，包含10 個(gè)類別)。類別名稱及其相應(yīng)顏色見表2（彩色版見期刊電子版）。

表2 醫(yī)學(xué)術(shù)語縮寫及對(duì)應(yīng)顏色Tab.2 Abbreviations of medical terms and corresponding color

MVD 數(shù)據(jù)集屬于微血管減壓術(shù)術(shù)中場(chǎng)景數(shù)據(jù)集，包含了3 087 張精細(xì)注釋的MVD 圖像。實(shí)驗(yàn)隨機(jī)選取1806 張用于訓(xùn)練，973 張用于驗(yàn)證，308 張用于測(cè)試，圖像的分辨率為7 68×576。

3.1.2 ISIC 2016 + PH2 數(shù)據(jù)集

ISIC 2016 + PH2 數(shù)據(jù)集包含了兩個(gè)來自不同中心的樣本，用于評(píng)估皮膚病灶分割的準(zhǔn)確性。其中，ISIC 2016 包含了900 個(gè)訓(xùn)練樣本和379 個(gè)驗(yàn)證樣本。PH2 數(shù)據(jù)集包含200 個(gè)樣本。本文將ISIC 2016 數(shù)據(jù)集用于網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證，PH2 數(shù)據(jù)集上完成網(wǎng)絡(luò)模型測(cè)試。

3.2 實(shí)驗(yàn)設(shè)置

訓(xùn)練方案實(shí)施：選用單NVIDIA GTX 2080Ti，并在CUDA 10.1、cuDNN 7.6 和Pytorch1.7 下完成網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練參數(shù)如表3 所示。訓(xùn)練中采用了隨機(jī)水平翻轉(zhuǎn)、隨機(jī)高斯模糊、隨機(jī)裁剪和標(biāo)準(zhǔn)化策略來增廣數(shù)據(jù)，且對(duì)提出的網(wǎng)絡(luò)未進(jìn)行任何預(yù)訓(xùn)練。在數(shù)據(jù)集上進(jìn)行了100 輪的訓(xùn)練，最后使用相應(yīng)的評(píng)估指標(biāo)來評(píng)估分割精度。

表3 訓(xùn)練參數(shù)Tab.3 Training parameters

3.3 消融實(shí)驗(yàn)

本節(jié)設(shè)計(jì)了一系列消融實(shí)驗(yàn)來證明本文提出網(wǎng)絡(luò)U-MVDNet 的有效性，且消融實(shí)驗(yàn)都是在單NVIDIA GTX 2080Ti 下完成的。這些消融研究基于MVD 數(shù)據(jù)集中的訓(xùn)練集進(jìn)行訓(xùn)練，在MVD驗(yàn)證集上完成評(píng)估，觀察該網(wǎng)絡(luò)中各成分的影響。

擴(kuò)張率消融實(shí)驗(yàn)：設(shè)計(jì)了具有3 種不同擴(kuò)張率的LAB block，分別為L(zhǎng)AB block1、LAB block2和LAB block3，這3 個(gè)LAB block 構(gòu)成本文的編碼器。選取合適的感受野可以學(xué)習(xí)到更好的多尺度特征，當(dāng)感受野過大時(shí)，會(huì)導(dǎo)致小目標(biāo)的丟失。本文對(duì)3 個(gè)LAB block 分別設(shè)置了不同的擴(kuò)張率進(jìn)行比較，擴(kuò)張率分別為2、4、8 和4、8、16。如表4 所示，針對(duì)MVD 圖像，擴(kuò)張率選擇為2，4，8 時(shí)更有效。

表4 不同擴(kuò)張率組合的LABM 編碼器結(jié)果Tab.4 Results of LABM encoder with different combinations of dilation rates

級(jí)聯(lián)消融實(shí)驗(yàn)：在LAB block 中，將LAB block 的輸入特征與輸出特征進(jìn)行級(jí)聯(lián)操作。如表5 所示，其中，“Params”表示參數(shù)量，“FLOPs”指的是計(jì)算量。在n=2，m=2，l=4時(shí)，LAB block中加入級(jí)聯(lián)操作后準(zhǔn)確度提高了0.73 %，準(zhǔn)確度達(dá)到73.08%，效果更優(yōu)。級(jí)聯(lián)操作應(yīng)用于編碼器，有效增加了信息流。

表5 不同設(shè)置下的LABM 編碼器結(jié)果Tab.5 Results of LABM encoder with different settings

編碼器深度消融實(shí)驗(yàn)：對(duì)LAB block1、LAB block 2 和LAB block 3 分別使用不同數(shù)量的LABM來改變編碼器的深度。由表6 可以看出，m和l的值對(duì)精確度的影響比n更 大，m和l分別疊加4 個(gè)LABM 時(shí)可以獲得精細(xì)的分割結(jié)果。當(dāng)n，m和l都提高到4 時(shí)，F(xiàn)LOPs 明顯變大，但分割精度降低了。因此，在分割精度和計(jì)算復(fù)雜度之間做權(quán)衡，最終選擇n為 2，m為4，l為4。

表6 輸入尺寸為512×512 時(shí)，不同深度的編碼器結(jié)果Tab.6 Results of encoder with different depths whenthe input size is 512×512

解碼器消融實(shí)驗(yàn)：在U-MVDNet 中，通過LAB block 來提取特征，選擇使用FFM 來融合特征。從表7 可以看出，沿通道平均池化操作能夠提高準(zhǔn)確性，確保有效的獲取空間細(xì)節(jié)。這表明通過FFM 將空間細(xì)節(jié)嵌入到高級(jí)特征中可以有效提高精度，得到更好的像素級(jí)預(yù)測(cè)。

表7 不同構(gòu)成要素的FFM 解碼器結(jié)果Tab.7 Results of FFM decoder with different components

mIoU 性能消融實(shí)驗(yàn)：為了探索擴(kuò)張卷積對(duì)mIoU 性能的影響，設(shè)計(jì)了2 個(gè)對(duì)比實(shí)驗(yàn)。在第一個(gè)實(shí)驗(yàn)中，去除了U-MVDNet 中的所有擴(kuò)張卷積，在另一個(gè)實(shí)驗(yàn)中，將U-MVDNet 開頭的3×3標(biāo)準(zhǔn)卷積，設(shè)置為擴(kuò)張率為2 的擴(kuò)張卷積。如表8所示，當(dāng)移除所有的擴(kuò)張卷積時(shí)，mIoU 有明顯的降低(范圍從77.34%到75.61%)。當(dāng)用擴(kuò)張率為2 的擴(kuò)張卷積替換標(biāo)準(zhǔn)卷積時(shí)，mIoU 也出現(xiàn)了下降，從77.34%降到76.81%。實(shí)驗(yàn)結(jié)果證明，擴(kuò)張卷積對(duì)mIoU 性能有顯著影響。

表8 U-MVDNet 的擴(kuò)張率對(duì)mIoU 的影響Tab.8 Effect of dilation of U-MVDNet on mIoU

3.4 實(shí)驗(yàn)對(duì)比

為驗(yàn)證U-MVDNet 的分割性能，分別在MVD數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

3.4.1 MVD 數(shù)據(jù)集測(cè)試實(shí)驗(yàn)

本文結(jié)合LAB block 和FFM 搭建了完整的網(wǎng)絡(luò)，并在MVD 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。首先，使所有網(wǎng)絡(luò)在MVD 訓(xùn)練集、批量尺寸為8、交叉熵?fù)p失函數(shù)和小批量SGD 下完成100 輪的訓(xùn)練。然后，在單NVIDIA GTX 2080Ti 下進(jìn)行測(cè)試，評(píng)估768×576分辨率下的推理速度，并與CGNet[28]、EDANet[29]和ContextNet[30]進(jìn)行比較，這3 種網(wǎng)絡(luò)都屬于實(shí)時(shí)語義分割網(wǎng)絡(luò)，能夠以小的參數(shù)量得到準(zhǔn)確的分割結(jié)果。

從表9 可以看出，U-MVDNet 擁有約66 萬個(gè)參數(shù)，參數(shù)量最小，接近于EDANet[29]，分割精度相較于EDANet[29]提高了1.78 %。除此之外，ContextNet[30]是最快的實(shí)時(shí)網(wǎng)絡(luò)之一，比本文網(wǎng)絡(luò)稍快，然而，該網(wǎng)絡(luò)的分割精確度為75.81%，比U-MVDNet 減少了0.48 %，而且參數(shù)比U-MVDNet 多出22 萬個(gè)。通過不同分割網(wǎng)絡(luò)的比較可以發(fā)現(xiàn)，U-MVDNet 在保證精度的前提下仍具有較快的推理速度，并在參數(shù)量和準(zhǔn)確率上明顯優(yōu)于其他實(shí)時(shí)語義分割方法。同時(shí)，為了便于觀察，本文截取了所有網(wǎng)絡(luò)100 輪的訓(xùn)練和驗(yàn)證損失，如圖4（彩圖見期刊電子版）所示，MVD 驗(yàn)證集上的可視化結(jié)果如圖5（彩圖見期刊電子版）所示，從訓(xùn)練和驗(yàn)證損失曲線可以看出，U-MVDNet 相比于其他網(wǎng)絡(luò)，損失衰減的更快更平穩(wěn)。

圖4 損失曲線圖Fig. 4 Loss curves

表9 MVD 測(cè)試集實(shí)驗(yàn)結(jié)果Tab.9 Experimental results on MVD test set

如圖5 所示，在第一列中，只有本文所提出的U-MVDNet 可準(zhǔn)確定位“aica”的分割邊界，目標(biāo)輪廓清晰。在第二列和第三列中，CGNet[28]有明顯的多像素混合問題，并且在第二列中CGNet[28]、EDANet[29]、ContextNet[30]沒有準(zhǔn)確定位“cn10”的分割邊界，存在明顯的目標(biāo)輪廓分割缺失。在第三列中，只有U-MVDNet 準(zhǔn)確分割出了“aica”。第四列和第五列中，U-MVDNet 對(duì)“pica”的分割優(yōu)于其他網(wǎng)絡(luò)，分割更接近真值。綜上所述，本文提出的方法分割性能更高，包含的特征信息更多。

圖5 MVD 驗(yàn)證集上的可視化對(duì)比結(jié)果Fig. 5 The visual comparison results of different methods on MVD validate set

3.4.2 U-MVDNet 先進(jìn)性分析

本文使用ISIC 2016 挑戰(zhàn)賽的數(shù)據(jù)集和PH2數(shù)據(jù)集來進(jìn)一步評(píng)估U-MVDNet 的先進(jìn)性。實(shí)驗(yàn)中，將ISIC 2016 數(shù)據(jù)集設(shè)置為訓(xùn)練集，PH2 數(shù)據(jù)集設(shè)置為測(cè)試集，并在與U-MVDNet 相同的環(huán)境下進(jìn)行實(shí)驗(yàn)。同時(shí)，使用Jaccard 系數(shù)(JAC)、Dice 系數(shù)(DIC)、準(zhǔn)確性(ACC) 、特異性(SPE)、靈敏度(SEN)來評(píng)估U-MVDNet 對(duì)皮膚病灶的分割性能。

在測(cè)試集上，U-MVDNet 分別與DeepLabv3[31]和CA-Net[32]進(jìn)行了比較，結(jié)果如表10 所示。UMVDNet 的參數(shù)量?jī)H為DeepLabv3 和CA-Net 參數(shù)量的1/4 和1 /88，但除了靈敏度之外，其他的評(píng)價(jià)指標(biāo)均達(dá)到了最優(yōu)，且具有最快的推理速度。圖6（彩圖見期刊電子版）展示了皮膚病灶分割結(jié)果的典型案例。通過觀察可以發(fā)現(xiàn)，U-MVDNet的結(jié)果更接近于實(shí)際情況，能夠突出顯示一些邊界不明確的小區(qū)域，具有穩(wěn)定的分割性能。

表10 ISIC 2016+PH2 測(cè)試集實(shí)驗(yàn)結(jié)果Tab.10 Experimental results on ISIC 2016 +PH2 test set

圖6 ISIC 2016 + PH2 測(cè)試集上的可視化對(duì)比Fig. 6 The visual comparison results of different methodson ISIC 2016 + PH2 test set

3.5 嵌入式終端測(cè)試

本節(jié)將訓(xùn)練后的模型移植到嵌入式平臺(tái)NVIDIA Jetson AGX Xavier 中進(jìn)行測(cè)試。平臺(tái)的詳細(xì)硬件參數(shù)如表11 所示。在嵌入式終端中將本文方法與CGNet[28]、EDANet[29]、ContextNet[30]在不同分辨率的情況下進(jìn)行對(duì)比，并顯示出各網(wǎng)絡(luò)最終的分割精度。

表11 兩種不同的硬件環(huán)境Tab.11 Two different hardware environments

使用MVD 測(cè)試集在嵌入式終端上驗(yàn)證本文所提出U-MVDNet 性能。從表12 可以看出，當(dāng)分辨率為 640×480時(shí)，本文所提方法在NVIDIA Jeston AGX Xavier 上實(shí)現(xiàn)了24.2 frame/s 的處理速度，達(dá)到了實(shí)時(shí)處理速度，并在分割精度上優(yōu)于其他分割方法。

表12 不同分辨率下的測(cè)試結(jié)果Tab.12 Test results by different methods with different resolutions

4 討 論

以往的研究中，很少對(duì)MVD 中的血管和神經(jīng)進(jìn)行實(shí)時(shí)準(zhǔn)確分割。本研究采用了新型的編碼解碼結(jié)構(gòu)，該結(jié)構(gòu)具有分割速度快和分割精度高的特點(diǎn)，可準(zhǔn)確快速地完成對(duì)MVD 中的血管和神經(jīng)的分割。與以往的實(shí)時(shí)語義分割研究相比，編碼器的結(jié)構(gòu)更加簡(jiǎn)潔，具有更少的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)，但能夠獲得更多的上下文信息，解碼器更有效地融合了高級(jí)和低級(jí)特征。

MVD 中，術(shù)者通常是根據(jù)對(duì)照組和經(jīng)驗(yàn)來判斷血管和神經(jīng)，但是術(shù)中骨窗直徑僅為2.5 cm，手術(shù)空間小，在術(shù)中會(huì)有少量的出血，以及隨時(shí)出現(xiàn)的腦脊液，影響術(shù)者操作，為術(shù)者帶來諸多不便，導(dǎo)致術(shù)中可能出現(xiàn)許多不確定性因素，甚至是風(fēng)險(xiǎn)的發(fā)生。本文提出的方法實(shí)現(xiàn)了腦血管和腦神經(jīng)的快速準(zhǔn)確分割，減輕術(shù)者精神壓力，為術(shù)者快速?zèng)Q策和判斷提供了依據(jù)，有利于術(shù)中減少對(duì)腦脊液的釋放，避免過度牽拉神經(jīng)及血管，有效地減少了手術(shù)創(chuàng)傷，減少了術(shù)后并發(fā)癥的發(fā)生。

5 結(jié) 論

針對(duì)MVD 圖像，為提高實(shí)時(shí)語義分割的速度和準(zhǔn)確性，本文提出了U 型輕量級(jí)快速語義分割網(wǎng)絡(luò)U-MVDNet，該網(wǎng)絡(luò)由編碼器和解碼器構(gòu)成。具體來說，設(shè)計(jì)了一種新穎的輕型非對(duì)稱瓶頸模塊(LABM)來提取上下文信息，基于該模塊設(shè)計(jì)得到了編碼器。解碼器采用了特征融合模塊(FFM)來聚合不同的特征。消融實(shí)驗(yàn)表明，LAB block 有效提取了上下文特征，F(xiàn)FM 有效地融合了深層上下文特征和淺層空間特征。選取MVD測(cè)試集進(jìn)行測(cè)試和對(duì)比，結(jié)果顯示：U-MVDNet 在單NVIDIA GTX 2080Ti 上以140 frame/s 的速度獲得了76.29%的mIoU，相較于其他對(duì)比網(wǎng)絡(luò)，U-MVDNet 分割精度最高、參數(shù)量最少，并且在嵌入式平臺(tái)上能夠?qū)崿F(xiàn)實(shí)時(shí)(24 frame/s)語義分割，分割精度也優(yōu)于其他分割方法。本文所提出方法在一定程度上解決了微血管減壓圖像實(shí)時(shí)語義分割網(wǎng)絡(luò)的參數(shù)量大、分割精度低的問題。