白瑞峰,江 山 ,孫海江,劉心睿,3
(1. 中國科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所, 吉林 長(zhǎng)春 130033;2. 中國科學(xué)院大學(xué), 北京 100049;3. 吉林大學(xué)第一醫(yī)院 神經(jīng)腫瘤外科, 吉林 長(zhǎng)春 130021)
三叉神經(jīng)痛和面肌痙攣是最常見的腦神經(jīng)疾病,三叉神經(jīng)痛主要表現(xiàn)為三叉神經(jīng)分布區(qū)出現(xiàn)短暫的、類似電擊的疼痛,輕微的觸碰即可誘發(fā)[1],面肌痙攣表現(xiàn)為單側(cè)面部肌肉無痛性和反復(fù)性不自主抽搐[2],嚴(yán)重影響患者的生活質(zhì)量。微血管減壓術(shù)(Microvascular Decompression,MVD)因手術(shù)創(chuàng)傷小,療效顯著,成為目前治療三叉神經(jīng)痛和面肌痙攣?zhàn)畛S玫氖中g(shù)方式。
一般腦血管圖像的獲取途徑有電子計(jì)算機(jī)斷層掃描血管造影(CTA)、數(shù)字減影血管造影(DSA)、磁共振血管造影(MRA)等。其中,CTA 方案最為常見,NAZIR 等人[3]通過殘差映射解決網(wǎng)絡(luò)收斂問題,提出了一種高效的從CTA 圖像中自動(dòng)分割腦血管的融合網(wǎng)絡(luò),但CTA 的局限性在于小血管成像不夠清晰,使得診斷準(zhǔn)確率較低[4]。DSA是診斷的“金標(biāo)準(zhǔn)”,為提高DSA 中較小血管的分割準(zhǔn)確性,PATEL 等人[5]提出了一種通過使用多分辨率輸入來增強(qiáng)架構(gòu)視野的專用卷積神經(jīng)網(wǎng)絡(luò)DeepMedic,但是DSA 是有創(chuàng)檢查且存在放射性暴露等問題,且費(fèi)用較為昂貴,不適合初期篩查,臨床應(yīng)用的局限性較大[6]。MRA 易受血管走向、血管壁鈣化等的影響,且血管細(xì)小時(shí)成像效果較差[7],為改善小血管的分割效果,通過引入反向邊緣注意網(wǎng)絡(luò)關(guān)注缺失的腦血管邊緣特征和細(xì)節(jié)信息[8],或通過集成 3D U-Net、多尺度方法以及深度監(jiān)督方法鑒別腦部時(shí)間飛躍磁共振血管成像(TOF-MRA)中的小血管,引導(dǎo)網(wǎng)絡(luò)中間層更好地生成判別性特征,有效地避免了梯度爆炸和梯度消失的問題,提高了模型的收斂性,從而實(shí)現(xiàn)對(duì)腦血管的分割[9-10]。與傳統(tǒng)CTA、DSA、MRA 等獲取腦血管圖像的方法相比,通過內(nèi)窺鏡獲取真彩微血管減壓(MVD)圖像更簡(jiǎn)單方便,而且對(duì)真彩MVD 圖像的處理具有更大的發(fā)展前景。
由于腦血管自身結(jié)構(gòu)的復(fù)雜性,早期腦血管分割算法主要基于強(qiáng)度模式識(shí)別,腦血管的分割方法主要有非局部均值分割方法[11]、閾值分割方法[12]、區(qū)域增長(zhǎng)分割方法[13]和水平集方法[14-15]。隨著卷積神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域的廣泛應(yīng)用[16]和持續(xù)優(yōu)化[17],卷積神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像的分割也呈現(xiàn)出了井噴式的發(fā)展,性能顯著優(yōu)于傳統(tǒng)分割方法。大多數(shù)先進(jìn)的語義分割網(wǎng)絡(luò)是基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[18]和U-Net[19]網(wǎng)絡(luò)的,其中,ZHANG M 等人[20]提出了一種基于U-Net 的深度學(xué)習(xí)方法,結(jié)合預(yù)處理方法,在DSA 圖像中跟蹤和分割腦血管。XIA L K 等人[21]將Inception-ResNet 和維度擴(kuò)展的U-Net++相結(jié)合,實(shí)現(xiàn)了最大化多尺度特征的提取,對(duì)于MRA 分割性能優(yōu)異。MENG C 等人[22]設(shè)計(jì)了編碼器-解碼器架構(gòu),通過定義一個(gè)多尺度模塊來分割不同直徑的腦血管。
本文引入了真彩色MVD 圖像,MVD 圖像中腦血管的分割面臨著腦血管類內(nèi)過于相似、腦血管邊界與其他腦組織邊界不夠明顯的問題,使得腦血管分割困難,腦神經(jīng)亦是如此。針對(duì)上述問題,本文提出了一種新穎的基于深度學(xué)習(xí)的實(shí)時(shí)語義分割網(wǎng)絡(luò),稱為U-MVDNet,該網(wǎng)絡(luò)具有更加高效的編碼結(jié)構(gòu)和更加精細(xì)的解碼結(jié)構(gòu)。為訓(xùn)練和評(píng)估所提出的U-MVDNet 網(wǎng)絡(luò)效果,與吉林大學(xué)第一醫(yī)院積極展開合作,構(gòu)建了一個(gè)包含3 087張MVD 圖像的數(shù)據(jù)集。這些圖像具有標(biāo)準(zhǔn)的Ground truth 注釋,為實(shí)時(shí)推斷術(shù)中腦血管、腦神經(jīng)的位置提供指導(dǎo)。借助于實(shí)時(shí)準(zhǔn)確分割的幫助,醫(yī)生可以快速確定腦血管和腦神經(jīng)的最佳位置,節(jié)省了大量時(shí)間,減輕術(shù)者的工作量,有效輔助醫(yī)生進(jìn)行快速診斷,達(dá)到專業(yè)醫(yī)生甚至超越專業(yè)醫(yī)生的水平。對(duì)本文方法與其他幾種先進(jìn)的實(shí)時(shí)語義分割方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明,本文所提出的方法取得了良好的性能。
本章首先對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行整體描述。然后,詳細(xì)介紹輕型深度瓶頸模塊(LABM)和特征融合模塊(FFM),并闡述這兩個(gè)模塊的有效性。
基于輕型非對(duì)稱瓶頸模塊和特征融合模塊設(shè)計(jì)了U-MVDNet 體系結(jié)構(gòu),如圖1 所示,其中“C”表示級(jí)聯(lián)操作。為了得到推理速度較快、mIoU 較高和輕量級(jí)的網(wǎng)絡(luò)模型,分析U-MVDNet 模型的最優(yōu)設(shè)計(jì)。U-MVDNet 的架構(gòu)細(xì)節(jié)如表1 所示。
圖1 U-MVDNet 架構(gòu)Fig. 1 Architecture of U-MVDNet
表1 U-MVDNet 架構(gòu)細(xì)節(jié)Tab.1 Architecture details of proposed U-MVDNet
在U-MVDNet 網(wǎng)絡(luò)模型中編碼器由 3×3卷積層和輕型深度瓶頸塊(LAB block)構(gòu)成。其中,步長(zhǎng)為2 的 3×3卷積層構(gòu)成了下采樣塊。下采樣操作縮小了特征圖,擴(kuò)大了感受野,能提取到更多的上下文信息。LAB block 中包含幾個(gè)連續(xù)的LABM,便于稠密特征的提取。第一個(gè)、第二個(gè)和第 三個(gè)LAB block 分別 由n個(gè) 、m個(gè) 和l個(gè)LABM 組成。為了加強(qiáng)空間關(guān)系和特征傳播,引入了模塊拼接方法,實(shí)現(xiàn)高級(jí)特征與低級(jí)特征間的融合。在LABM 中引入擴(kuò)張卷積,獲取到較大感受野和更復(fù)雜的特征,LAB block1、LAB block2和LAB block3 的擴(kuò)張率分別為2、4 和8,擴(kuò)張率的選擇符合本文特定的微血管數(shù)據(jù)集,并且需獲得適應(yīng)于該數(shù)據(jù)集的感受野。
對(duì)于解碼器,本文使用3 個(gè)FFM 來聚合低級(jí)特征和高級(jí)特征,逐步恢復(fù)分辨率。最后,采用1×1卷積層和2 倍上采樣完成分割。相較于大多數(shù)語義分段模型中使用的解碼器結(jié)構(gòu)來說,一般通過4 倍或8 倍上采樣得到分割預(yù)測(cè)圖,本文采用的2 倍上采樣,可以保留更多的特征信息,使邊界信息更加完整,語義信息更加清晰。
本文模型屬于端到端的深度學(xué)習(xí)體系結(jié)構(gòu),而且不依賴于任何主干,U-MVDNet 的內(nèi)存消耗極低,參數(shù)量不足66 萬。
對(duì)于實(shí)時(shí)語義分割來說,在保證精度的前提下提升網(wǎng)絡(luò)速度,就不可避免地要利用小的輸入圖像或輕量級(jí)的基礎(chǔ)模型,本文通過對(duì)ResNet[23]中瓶頸模塊(見圖2(a))的觀察,設(shè)計(jì)了輕型非對(duì)稱瓶頸模塊(LABM)(見圖2(b)),LABM 兼具了瓶頸模塊和因式卷積的優(yōu)點(diǎn)。圖2 中的“w”表示輸入通道數(shù),“DConv”表示深度擴(kuò)張卷積。
圖2 (a)ResNet 瓶頸設(shè)計(jì)及(b)輕型非對(duì)稱瓶頸模塊Fig. 2 (a) ResNet bottleneck design and (b) LABM
圖2(b)所示的瓶頸模塊由1×1卷 積層、3×1深度卷積層、1×3深 度卷積層和最終1×1點(diǎn)卷積層組成,并在輸入通道數(shù)與輸出通道數(shù)相同時(shí)利用了殘差連接。通道數(shù)在通過第一次1×1卷積層時(shí)減少為原來的1/4,之后通過3×1和1×3深度卷積層時(shí)通道數(shù)保持不變,最后由1×1點(diǎn)卷積層恢復(fù)到原始通道數(shù)。與標(biāo)準(zhǔn)卷積相比,深度卷積減少了大量的計(jì)算成本,并與點(diǎn)卷積的組合非常有效。
在每個(gè)LABM 的開頭使用了1×1卷積層,通道數(shù)減少了 3/4,與ResNet 網(wǎng)絡(luò)模型中的數(shù)千個(gè)通道相比,本文模型中的最大通道數(shù)只有128 個(gè),有效保存了大量的空間信息,減少了網(wǎng)絡(luò)模型的運(yùn)行時(shí)間和內(nèi)存需求,提高了推理速度。
為進(jìn)一步減少參數(shù)量,將卷積分解應(yīng)用于深度卷積,得到更加輕量級(jí)的結(jié)構(gòu)。ALVAREZ J 等人[24]提出了標(biāo)準(zhǔn)卷積層可以用1D 濾波器進(jìn)行分解。設(shè)W∈RC×dh×dv×U表示典型2D 卷積層的權(quán)重,C表示輸入特征圖的數(shù)量,U表示輸出特征圖的數(shù)量,dh×dv表示每個(gè)特征圖的內(nèi)核大小(通常dh=dv≡d)。設(shè)b∈RU,表示每個(gè)濾波器的偏置項(xiàng)的向量。分解層的第i個(gè)輸出屬于下式輸入的函數(shù),本文中為:
語義分割模型通常是由一個(gè)基于前端的編碼器和一個(gè)基于后端的解碼器網(wǎng)絡(luò)組成的綜合體。編碼器由多個(gè)卷積層組成,用來獲取圖像的總體特征和局部特征,其中的卷積層和池化層會(huì)逐漸縮減輸入數(shù)據(jù)的空間維度,從而降低特征維度。解碼器則是由多個(gè)反卷積或上池化組成,逐步恢復(fù)目標(biāo)的細(xì)節(jié)和空間維度,將編碼器學(xué)習(xí)到的低分辨率特征從語義上映射到高分辨率的像素空間,進(jìn)行像素分類。通常,采用雙線性上采樣或者幾個(gè)簡(jiǎn)單的卷積構(gòu)成的解碼器忽略了低層次信息,導(dǎo)致分割精度低。
高級(jí)特征包含語義信息,低級(jí)特征包含豐富的空間細(xì)節(jié)。由于語義層次和空間細(xì)節(jié)的差異,簡(jiǎn)單的低級(jí)特征和高級(jí)特征難以有效的融合。因此,可以在低級(jí)特征中引入語義信息,在高級(jí)特征中引入空間細(xì)節(jié),實(shí)現(xiàn)增強(qiáng)特征融合。本文編碼器由LAB block 和下采樣模塊構(gòu)成,通過該編碼器得到了充分的語義信息,但是由于下采樣操作導(dǎo)致大量空間位置信息丟失,為保證邊界分割的質(zhì)量,選擇將包含豐富空間信息的低級(jí)特征嵌入到高級(jí)特征。
FFM 結(jié)構(gòu)采用了U 型結(jié)構(gòu),如圖3 所示,用來融合具有空間信息的低級(jí)特征和語義信息的高級(jí)特征。低級(jí)特征首先經(jīng)過了1×1卷積層,并利用批量歸一化處理來平衡特征尺度,然后由通道平均池化壓縮低級(jí)特征和sigmoid 激活函數(shù)來生成單通道注意力圖,緊接著將其與3×3卷積后的高級(jí)特征相乘。這里需要注意的是,對(duì)于U-MVDNet中初始FFM 的高級(jí)特征并不進(jìn)行上采樣處理,而是直接與單通道注意力圖相乘,而對(duì)后續(xù)的2 個(gè)FFM 需要對(duì)高級(jí)特征進(jìn)行上采樣后,再與單通道注意圖相乘。最后,通過元素加法對(duì)高級(jí)特征與相乘后得到的加權(quán)特征進(jìn)行融合。簡(jiǎn)而言之,F(xiàn)L∈RCL×HL×WL和FH∈RCH×HH×WH分別是FFM 中輸入的低級(jí)和高級(jí)特征。FFM 的計(jì)算如下:
圖3 特征融合模塊流程圖Fig. 3 Flow chart of feature fusion module
其中,σ 表示sigmoid 函數(shù),A vgPool表示平均池化操作,BN表示批量歸一化的處理,f1×1表 示1×1卷積層,f3×3表示 3×3 卷積層, ?表示逐元素相乘,+表示逐元素相加,F(xiàn)∈RCL×HL×WL表示最終的輸出特征圖。
低級(jí)特征生成的空間注意力圖反映了每個(gè)像素的重要性,包含豐富的空間信息,可指導(dǎo)特征學(xué)習(xí),利用空間細(xì)節(jié)來細(xì)化邊界。FFM 模塊提取了空間注意力圖,并將其嵌入到高級(jí)特征中,之后與包含豐富語義信息的高級(jí)特征進(jìn)行有效融合。
在本章中,將在吉林大學(xué)第一醫(yī)院提供的MVD 數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]皮膚鏡圖像數(shù)據(jù)集上評(píng)估所提出的網(wǎng)絡(luò)。首先,介紹MVD數(shù)據(jù)集和ISIC 2016 + PH2 數(shù)據(jù)集,以及訓(xùn)練實(shí)施方案;然后,在MVD 驗(yàn)證集上進(jìn)行消融實(shí)驗(yàn),以證明所提出方法的有效性;之后,在MVD 測(cè)試集上分別與其他實(shí)時(shí)語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比,以驗(yàn)證提出網(wǎng)絡(luò)的分割效果,同時(shí)在ISIC 2016 + PH2測(cè)試集上驗(yàn)證提出網(wǎng)絡(luò)的泛化能力;最后,在嵌入式終端下完成對(duì)比,并報(bào)告了MVD 測(cè)試集下的分割精度和速度結(jié)果。
3.1.1 MVD 數(shù)據(jù)集
在醫(yī)學(xué)領(lǐng)域,醫(yī)學(xué)圖像普遍具有語義簡(jiǎn)單、數(shù)據(jù)量少和難以獲取的特點(diǎn),而且,針對(duì)基于深度學(xué)習(xí)的醫(yī)學(xué)圖像的分割需要醫(yī)生進(jìn)行專業(yè)的標(biāo)注。本項(xiàng)研究涉及60 例患者,其中,男23 例,女37 例,年齡為40~70 歲。微血管減壓數(shù)據(jù)是由ZEISS 生產(chǎn)的OPMI@ VARIO 700 型號(hào)手術(shù)顯微鏡采集得到。選擇在釋放腦脊液到縫合硬膜這段時(shí)間內(nèi)獲取的3 087 張MVD 圖像,并由專家們手動(dòng)標(biāo)注。然后參考PASVOL VOC 2012 數(shù)據(jù)集格式,得到用于語義分割網(wǎng)絡(luò)訓(xùn)練的MVD 數(shù)據(jù)集。該數(shù)據(jù)集有9 個(gè)類別(當(dāng)添加背景時(shí),包含10 個(gè)類別)。類別名稱及其相應(yīng)顏色見表2(彩色版見期刊電子版)。
表2 醫(yī)學(xué)術(shù)語縮寫及對(duì)應(yīng)顏色Tab.2 Abbreviations of medical terms and corresponding color
MVD 數(shù)據(jù)集屬于微血管減壓術(shù)術(shù)中場(chǎng)景數(shù)據(jù)集,包含了3 087 張精細(xì)注釋的MVD 圖像。實(shí)驗(yàn)隨機(jī)選取1806 張用于訓(xùn)練,973 張用于驗(yàn)證,308 張用于測(cè)試,圖像的分辨率為7 68×576。
3.1.2 ISIC 2016 + PH2 數(shù)據(jù)集
ISIC 2016 + PH2 數(shù)據(jù)集包含了兩個(gè)來自不同中心的樣本,用于評(píng)估皮膚病灶分割的準(zhǔn)確性。其中,ISIC 2016 包含了900 個(gè)訓(xùn)練樣本和379 個(gè)驗(yàn)證樣本。PH2 數(shù)據(jù)集包含200 個(gè)樣本。本文將ISIC 2016 數(shù)據(jù)集用于網(wǎng)絡(luò)模型的訓(xùn)練和驗(yàn)證,PH2 數(shù)據(jù)集上完成網(wǎng)絡(luò)模型測(cè)試。
訓(xùn)練方案實(shí)施:選用單NVIDIA GTX 2080Ti,并在CUDA 10.1、cuDNN 7.6 和Pytorch1.7 下完成網(wǎng)絡(luò)訓(xùn)練,訓(xùn)練參數(shù)如表3 所示。訓(xùn)練中采用了隨機(jī)水平翻轉(zhuǎn)、隨機(jī)高斯模糊、隨機(jī)裁剪和標(biāo)準(zhǔn)化策略來增廣數(shù)據(jù),且對(duì)提出的網(wǎng)絡(luò)未進(jìn)行任何預(yù)訓(xùn)練。在數(shù)據(jù)集上進(jìn)行了100 輪的訓(xùn)練,最后使用相應(yīng)的評(píng)估指標(biāo)來評(píng)估分割精度。
表3 訓(xùn)練參數(shù)Tab.3 Training parameters
本節(jié)設(shè)計(jì)了一系列消融實(shí)驗(yàn)來證明本文提出網(wǎng)絡(luò)U-MVDNet 的有效性,且消融實(shí)驗(yàn)都是在單NVIDIA GTX 2080Ti 下完成的。這些消融研究基于MVD 數(shù)據(jù)集中的訓(xùn)練集進(jìn)行訓(xùn)練,在MVD驗(yàn)證集上完成評(píng)估,觀察該網(wǎng)絡(luò)中各成分的影響。
擴(kuò)張率消融實(shí)驗(yàn):設(shè)計(jì)了具有3 種不同擴(kuò)張率的LAB block,分別為L(zhǎng)AB block1、LAB block2和LAB block3,這3 個(gè)LAB block 構(gòu)成本文的編碼器。選取合適的感受野可以學(xué)習(xí)到更好的多尺度特征,當(dāng)感受野過大時(shí),會(huì)導(dǎo)致小目標(biāo)的丟失。本文對(duì)3 個(gè)LAB block 分別設(shè)置了不同的擴(kuò)張率進(jìn)行比較,擴(kuò)張率分別為2、4、8 和4、8、16。如表4 所示,針對(duì)MVD 圖像,擴(kuò)張率選擇為2,4,8 時(shí)更有效。
表4 不同擴(kuò)張率組合的LABM 編碼器結(jié)果Tab.4 Results of LABM encoder with different combinations of dilation rates
級(jí)聯(lián)消融實(shí)驗(yàn):在LAB block 中,將LAB block 的輸入特征與輸出特征進(jìn)行級(jí)聯(lián)操作。如表5 所示,其中,“Params”表示參數(shù)量,“FLOPs”指的是計(jì)算量。在n=2,m=2,l=4時(shí),LAB block中加入級(jí)聯(lián)操作后準(zhǔn)確度提高了0.73 %,準(zhǔn)確度達(dá)到73.08%,效果更優(yōu)。級(jí)聯(lián)操作應(yīng)用于編碼器,有效增加了信息流。
表5 不同設(shè)置下的LABM 編碼器結(jié)果Tab.5 Results of LABM encoder with different settings
編碼器深度消融實(shí)驗(yàn):對(duì)LAB block1、LAB block 2 和LAB block 3 分別使用不同數(shù)量的LABM來改變編碼器的深度。由表6 可以看出,m和l的值對(duì)精確度的影響比n更 大,m和l分別疊加4 個(gè)LABM 時(shí)可以獲得精細(xì)的分割結(jié)果。當(dāng)n,m和l都提高到4 時(shí),F(xiàn)LOPs 明顯變大,但分割精度降低了。因此,在分割精度和計(jì)算復(fù)雜度之間做權(quán)衡,最終選擇n為 2,m為4,l為4。
表6 輸入尺寸為512×512 時(shí),不同深度的編碼器結(jié)果Tab.6 Results of encoder with different depths whenthe input size is 512×512
解碼器消融實(shí)驗(yàn):在U-MVDNet 中,通過LAB block 來提取特征,選擇使用FFM 來融合特征。從表7 可以看出,沿通道平均池化操作能夠提高準(zhǔn)確性,確保有效的獲取空間細(xì)節(jié)。這表明通過FFM 將空間細(xì)節(jié)嵌入到高級(jí)特征中可以有效提高精度,得到更好的像素級(jí)預(yù)測(cè)。
表7 不同構(gòu)成要素的FFM 解碼器結(jié)果Tab.7 Results of FFM decoder with different components
mIoU 性能消融實(shí)驗(yàn):為了探索擴(kuò)張卷積對(duì)mIoU 性能的影響,設(shè)計(jì)了2 個(gè)對(duì)比實(shí)驗(yàn)。在第一個(gè)實(shí)驗(yàn)中,去除了U-MVDNet 中的所有擴(kuò)張卷積,在另一個(gè)實(shí)驗(yàn)中,將U-MVDNet 開頭的3×3標(biāo)準(zhǔn)卷積,設(shè)置為擴(kuò)張率為2 的擴(kuò)張卷積。如表8所示,當(dāng)移除所有的擴(kuò)張卷積時(shí),mIoU 有明顯的降低(范圍從77.34%到75.61%)。當(dāng)用擴(kuò)張率為2 的擴(kuò)張卷積替換標(biāo)準(zhǔn)卷積時(shí),mIoU 也出現(xiàn)了下降,從77.34%降到76.81%。實(shí)驗(yàn)結(jié)果證明,擴(kuò)張卷積對(duì)mIoU 性能有顯著影響。
表8 U-MVDNet 的擴(kuò)張率對(duì)mIoU 的影響Tab.8 Effect of dilation of U-MVDNet on mIoU
為驗(yàn)證U-MVDNet 的分割性能,分別在MVD數(shù)據(jù)集和ISIC 2016[26]+ PH2[27]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
3.4.1 MVD 數(shù)據(jù)集測(cè)試實(shí)驗(yàn)
本文結(jié)合LAB block 和FFM 搭建了完整的網(wǎng)絡(luò),并在MVD 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。首先,使所有網(wǎng)絡(luò)在MVD 訓(xùn)練集、批量尺寸為8、交叉熵?fù)p失函數(shù)和小批量SGD 下完成100 輪的訓(xùn)練。然后,在單NVIDIA GTX 2080Ti 下進(jìn)行測(cè)試,評(píng)估768×576分辨率下的推理速度,并與CGNet[28]、EDANet[29]和ContextNet[30]進(jìn)行比較,這3 種網(wǎng)絡(luò)都屬于實(shí)時(shí)語義分割網(wǎng)絡(luò),能夠以小的參數(shù)量得到準(zhǔn)確的分割結(jié)果。
從表9 可以看出,U-MVDNet 擁有約66 萬個(gè)參數(shù),參數(shù)量最小,接近于EDANet[29],分割精度相較于EDANet[29]提高了1.78 %。除此之外,ContextNet[30]是最快的實(shí)時(shí)網(wǎng)絡(luò)之一,比本文網(wǎng)絡(luò)稍快,然而,該網(wǎng)絡(luò)的分割精確度為75.81%,比U-MVDNet 減少了0.48 %,而且參數(shù)比U-MVDNet 多出22 萬個(gè)。通過不同分割網(wǎng)絡(luò)的比較可以發(fā)現(xiàn),U-MVDNet 在保證精度的前提下仍具有較快的推理速度,并在參數(shù)量和準(zhǔn)確率上明顯優(yōu)于其他實(shí)時(shí)語義分割方法。同時(shí),為了便于觀察,本文截取了所有網(wǎng)絡(luò)100 輪的訓(xùn)練和驗(yàn)證損失,如圖4(彩圖見期刊電子版)所示,MVD 驗(yàn)證集上的可視化結(jié)果如圖5(彩圖見期刊電子版)所示,從訓(xùn)練和驗(yàn)證損失曲線可以看出,U-MVDNet 相比于其他網(wǎng)絡(luò),損失衰減的更快更平穩(wěn)。
圖4 損失曲線圖Fig. 4 Loss curves
表9 MVD 測(cè)試集實(shí)驗(yàn)結(jié)果Tab.9 Experimental results on MVD test set
如圖5 所示,在第一列中,只有本文所提出的U-MVDNet 可準(zhǔn)確定位“aica”的分割邊界,目標(biāo)輪廓清晰。在第二列和第三列中,CGNet[28]有明顯的多像素混合問題,并且在第二列中CGNet[28]、EDANet[29]、ContextNet[30]沒有準(zhǔn)確定位“cn10”的分割邊界,存在明顯的目標(biāo)輪廓分割缺失。在第三列中,只有U-MVDNet 準(zhǔn)確分割出了“aica”。第四列和第五列中,U-MVDNet 對(duì)“pica”的分割優(yōu)于其他網(wǎng)絡(luò),分割更接近真值。綜上所述,本文提出的方法分割性能更高,包含的特征信息更多。
圖5 MVD 驗(yàn)證集上的可視化對(duì)比結(jié)果Fig. 5 The visual comparison results of different methods on MVD validate set
3.4.2 U-MVDNet 先進(jìn)性分析
本文使用ISIC 2016 挑戰(zhàn)賽的數(shù)據(jù)集和PH2數(shù)據(jù)集來進(jìn)一步評(píng)估U-MVDNet 的先進(jìn)性。實(shí)驗(yàn)中,將ISIC 2016 數(shù)據(jù)集設(shè)置為訓(xùn)練集,PH2 數(shù)據(jù)集設(shè)置為測(cè)試集,并在與U-MVDNet 相同的環(huán)境下進(jìn)行實(shí)驗(yàn)。同時(shí),使用Jaccard 系數(shù)(JAC)、Dice 系數(shù)(DIC)、準(zhǔn)確性(ACC) 、特異性(SPE)、靈敏度(SEN)來評(píng)估U-MVDNet 對(duì)皮膚病灶的分割性能。
在測(cè)試集上,U-MVDNet 分別與DeepLabv3[31]和CA-Net[32]進(jìn)行了比較,結(jié)果如表10 所示。UMVDNet 的參數(shù)量?jī)H為DeepLabv3 和CA-Net 參數(shù)量的1/4 和1 /88,但除了靈敏度之外,其他的評(píng)價(jià)指標(biāo)均達(dá)到了最優(yōu),且具有最快的推理速度。圖6(彩圖見期刊電子版)展示了皮膚病灶分割結(jié)果的典型案例。通過觀察可以發(fā)現(xiàn),U-MVDNet的結(jié)果更接近于實(shí)際情況,能夠突出顯示一些邊界不明確的小區(qū)域,具有穩(wěn)定的分割性能。
表10 ISIC 2016+PH2 測(cè)試集實(shí)驗(yàn)結(jié)果Tab.10 Experimental results on ISIC 2016 +PH2 test set
圖6 ISIC 2016 + PH2 測(cè)試集上的可視化對(duì)比Fig. 6 The visual comparison results of different methodson ISIC 2016 + PH2 test set
本節(jié)將訓(xùn)練后的模型移植到嵌入式平臺(tái)NVIDIA Jetson AGX Xavier 中進(jìn)行測(cè)試。平臺(tái)的詳細(xì)硬件參數(shù)如表11 所示。在嵌入式終端中將本文方法與CGNet[28]、EDANet[29]、ContextNet[30]在不同分辨率的情況下進(jìn)行對(duì)比,并顯示出各網(wǎng)絡(luò)最終的分割精度。
表11 兩種不同的硬件環(huán)境Tab.11 Two different hardware environments
使用MVD 測(cè)試集在嵌入式終端上驗(yàn)證本文所提出U-MVDNet 性能。從表12 可以看出,當(dāng)分辨率為 640×480時(shí),本文所提方法在NVIDIA Jeston AGX Xavier 上實(shí)現(xiàn)了24.2 frame/s 的處理速度,達(dá)到了實(shí)時(shí)處理速度,并在分割精度上優(yōu)于其他分割方法。
表12 不同分辨率下的測(cè)試結(jié)果Tab.12 Test results by different methods with different resolutions
以往的研究中,很少對(duì)MVD 中的血管和神經(jīng)進(jìn)行實(shí)時(shí)準(zhǔn)確分割。本研究采用了新型的編碼解碼結(jié)構(gòu),該結(jié)構(gòu)具有分割速度快和分割精度高的特點(diǎn),可準(zhǔn)確快速地完成對(duì)MVD 中的血管和神經(jīng)的分割。與以往的實(shí)時(shí)語義分割研究相比,編碼器的結(jié)構(gòu)更加簡(jiǎn)潔,具有更少的卷積神經(jīng)網(wǎng)絡(luò)層數(shù),但能夠獲得更多的上下文信息,解碼器更有效地融合了高級(jí)和低級(jí)特征。
MVD 中,術(shù)者通常是根據(jù)對(duì)照組和經(jīng)驗(yàn)來判斷血管和神經(jīng),但是術(shù)中骨窗直徑僅為2.5 cm,手術(shù)空間小,在術(shù)中會(huì)有少量的出血,以及隨時(shí)出現(xiàn)的腦脊液,影響術(shù)者操作,為術(shù)者帶來諸多不便,導(dǎo)致術(shù)中可能出現(xiàn)許多不確定性因素,甚至是風(fēng)險(xiǎn)的發(fā)生。本文提出的方法實(shí)現(xiàn)了腦血管和腦神經(jīng)的快速準(zhǔn)確分割,減輕術(shù)者精神壓力,為術(shù)者快速?zèng)Q策和判斷提供了依據(jù),有利于術(shù)中減少對(duì)腦脊液的釋放,避免過度牽拉神經(jīng)及血管,有效地減少了手術(shù)創(chuàng)傷,減少了術(shù)后并發(fā)癥的發(fā)生。
針對(duì)MVD 圖像,為提高實(shí)時(shí)語義分割的速度和準(zhǔn)確性,本文提出了U 型輕量級(jí)快速語義分割網(wǎng)絡(luò)U-MVDNet,該網(wǎng)絡(luò)由編碼器和解碼器構(gòu)成。具體來說,設(shè)計(jì)了一種新穎的輕型非對(duì)稱瓶頸模塊(LABM)來提取上下文信息,基于該模塊設(shè)計(jì)得到了編碼器。解碼器采用了特征融合模塊(FFM)來聚合不同的特征。消融實(shí)驗(yàn)表明,LAB block 有效提取了上下文特征,F(xiàn)FM 有效地融合了深層上下文特征和淺層空間特征。選取MVD測(cè)試集進(jìn)行測(cè)試和對(duì)比,結(jié)果顯示:U-MVDNet 在單NVIDIA GTX 2080Ti 上以140 frame/s 的速度獲得了76.29%的mIoU,相較于其他對(duì)比網(wǎng)絡(luò),U-MVDNet 分割精度最高、參數(shù)量最少,并且在嵌入式平臺(tái)上能夠?qū)崿F(xiàn)實(shí)時(shí)(24 frame/s)語義分割,分割精度也優(yōu)于其他分割方法。本文所提出方法在一定程度上解決了微血管減壓圖像實(shí)時(shí)語義分割網(wǎng)絡(luò)的參數(shù)量大、分割精度低的問題。