基于三路徑網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割方法

蔣清婷 葉海良 曹飛龍

醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像處理和分析領(lǐng)域中復(fù)雜、重要的任務(wù)之一[1-2].臨床醫(yī)生通常利用成像技術(shù)觀察圖像中器官等病變的情況,以便在疾病的早期階段進(jìn)行干預(yù)[3].然而,醫(yī)學(xué)圖像本身往往存在邊緣模糊的問題,使邊緣分割的效果不夠理想,給臨床醫(yī)生的診斷帶來巨大的障礙[4-5].因此,醫(yī)學(xué)圖像邊緣的精準(zhǔn)分割是一個(gè)極具前景的研究方向.

近年來,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)在醫(yī)學(xué)圖像分割任務(wù)中取得重大進(jìn)展.特別是,2015年Ronneberger等[6]提出U-Net,已成為后續(xù)許多醫(yī)學(xué)圖像分割方法研究的基準(zhǔn)網(wǎng)絡(luò)[7-8].Zhou等[9]構(gòu)造UNet++,設(shè)計(jì)密集跳躍連接,更好地利用不同尺度下解碼器的特征.Gu等[10]引入空洞卷積,提出CE-Net(Context Encoder Network).

然而,上述方法在編碼與解碼過程中都連續(xù)采樣,容易導(dǎo)致空間信息和細(xì)節(jié)信息的丟失,不利于醫(yī)學(xué)圖像的邊緣分割[11].為此,研究人員提出基于注意力機(jī)制的邊緣細(xì)化方法[12-14]和基于CNN的邊緣分割方法.Zhou等[15]提出CFA-Net(Cross-Level Feature Aggregation Network),設(shè)計(jì)兩個(gè)分割網(wǎng)絡(luò),整合語義信息和邊界信息.Fan等[16]提出PraNet(Parallel Reverse Attention Network),引入反注意力模塊,關(guān)注病變區(qū)域外的邊緣部分.Cao等[17]提出TSD-BA(Two-Stage Decoding Network with Boundary Attention),利用粗預(yù)測(cè)作為先驗(yàn),進(jìn)一步挖掘邊界特征.然而,上述方法僅考慮單獨(dú)添加先驗(yàn)指導(dǎo)信息,未考慮特征通道之間的不平衡性,效果相對(duì)較弱,很難保證邊緣形狀分割的連續(xù)性.

近年來,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, GNN)在遠(yuǎn)程信息推理方面顯示出巨大的潛力,已逐漸應(yīng)用于醫(yī)學(xué)圖像的分割任務(wù)中[18].對(duì)于CNN很難保證目標(biāo)形狀連續(xù)性的問題,GNN將形狀的連續(xù)性編碼為圖的約束,確保網(wǎng)絡(luò)預(yù)測(cè)的連續(xù)性[19].Shin等[20]使用CNN和GNN的組合進(jìn)行視網(wǎng)膜血管分割.Meng等[21]提出邊界感知圖卷積網(wǎng)絡(luò), 用于醫(yī)學(xué)圖像分割.進(jìn)一步,Meng等[22]又提出一種基于GNN的區(qū)域和邊界聚合網(wǎng)絡(luò).Wang等[23]提出CGRNet(Contour Guided Graph Reasoning Network).Liu等[24]提出MFBGR(Multi-scale Feature Boundary Graph Rea-soning Network for Polyp Segmentation).然而,上述方法均通過圖表示學(xué)習(xí)對(duì)邊界特征進(jìn)行推理,忽略非目標(biāo)邊界信息的干擾,容易造成目標(biāo)邊緣推理的錯(cuò)誤.

為了更好地解決上述問題,本文針對(duì)醫(yī)學(xué)圖像分割任務(wù),提出基于邊緣選擇圖推理的三路徑網(wǎng)絡(luò)(Triplet-Path Network Based on Edge Selection Graph Reasoning, ESG-TNet),借鑒由粗化到細(xì)化的策略,實(shí)現(xiàn)逐步分割的思想.具體來說,ESG-TNet包括目標(biāo)定位路徑、邊緣選擇路徑和細(xì)化路徑.在目標(biāo)定位路徑中,構(gòu)造多尺度特征融合模塊(Multi-scale Fea-ture Fusion Module, MFFM),融合高層特征,生成一個(gè)粗全局位置圖.在邊緣選擇路徑中,設(shè)計(jì)邊緣選擇圖推理模塊(Edge Selection Graph Reasoning Module, ESGM),選擇突出的關(guān)鍵目標(biāo)邊緣特征進(jìn)行圖推理,生成初始邊緣分割圖.在細(xì)化路徑中,將粗全局位置圖作為初始指導(dǎo)圖添加到淺層特征中,構(gòu)建漸進(jìn)式組級(jí)細(xì)化模塊(Progressive Group Refinement Module, PGRM),進(jìn)一步挖掘結(jié)構(gòu)信息和細(xì)節(jié)信息.此外,本文引入融合加權(quán)Focal Tversky 損失和加權(quán)交并比損失的復(fù)合損失,緩解類不平衡的影響.

1 基于邊緣選擇圖推理的三路徑網(wǎng)絡(luò)

本文提出基于邊緣選擇圖推理的三路徑網(wǎng)絡(luò)(ESG-TNet),整體框架如圖1所示.

圖1 本文方法流程圖

ESG-TNet包括目標(biāo)定位路徑、邊緣選擇路徑和細(xì)化路徑.目標(biāo)定位路徑包含多尺度特征融合模塊(MFFM),聚合主干網(wǎng)絡(luò)中最后三層的高級(jí)特征,實(shí)現(xiàn)初始的粗全局位置圖.邊緣選擇路徑包含邊緣選擇圖推理模塊(ESGM),選擇突出的目標(biāo)邊緣特征進(jìn)行圖推理,生成初始目標(biāo)邊緣特征圖.細(xì)化路徑將目標(biāo)定位路徑中得到的粗全局位置圖作為初始指導(dǎo)先驗(yàn)添加到淺層特征中,通過漸進(jìn)式組級(jí)細(xì)化模塊(PGRM)采取自下而上的方式進(jìn)一步細(xì)化.

本文選擇Res2Net-50[25]作為ESG-TNet的主干網(wǎng)絡(luò).Res2Net-50由1個(gè)卷積層、4個(gè)多層殘差卷積塊和1個(gè)全連接層組成.本文使用前5個(gè)卷積模塊,捕獲5個(gè)不同分辨率的特征圖.對(duì)于輸入尺寸為H×W×C的圖像X,在主干網(wǎng)絡(luò)中提取5個(gè)不同層次的特征圖,分別表示為F1,F2,…,F5,分辨率分別為

其中Ci表示第i個(gè)特征通道數(shù).

1.1 多尺度特征融合模塊

由于醫(yī)學(xué)圖像的低層特征存在復(fù)雜的背景區(qū)域,容易導(dǎo)致不準(zhǔn)確的目標(biāo)分割.因此,本文設(shè)計(jì)多尺度特征融合模塊(MFFM),聚合高層特征,較準(zhǔn)確地定位目標(biāo)區(qū)域.故將該過程稱為目標(biāo)定位路徑,具體流程如圖2所示.

圖2 MFFM流程圖

為了不增加計(jì)算成本,對(duì)最后三層的輸入特征Fi進(jìn)行降維操作,每個(gè)分支使用1×1卷積核,將通道數(shù)減少到32,即

F′i=σ(Wi*Fi),i=3,4,5,

其中,Wi表示1×1的卷積核,*表示卷積操作,σ(·)表示ReLU函數(shù).

本文使用連續(xù)的卷積和拼接操作融合相鄰兩個(gè)分支的特征,可得

i=3,4,

其中Γi、Qi和Qi+1表示3×3的卷積核.

MFFM整合多層高級(jí)特征,有效實(shí)現(xiàn)語義特征的融合,較準(zhǔn)確地定位目標(biāo)區(qū)域.

1.2 邊緣選擇圖推理模塊

在目標(biāo)定位路徑中,MFFM聚集最高的三層特征,實(shí)現(xiàn)粗全局位置圖.然而,低級(jí)特征通常也包含大量的邊界信息,有利于目標(biāo)邊界的分割.現(xiàn)有方法往往忽略這點(diǎn),同時(shí)還忽略非目標(biāo)邊界信息的干擾,容易造成邊緣分割的錯(cuò)誤.

因此,本文提出邊緣選擇圖推理模塊(ESGM),突出低級(jí)特征中的目標(biāo)邊界信息,改善醫(yī)學(xué)圖像邊緣分割的質(zhì)量,此過程稱為邊緣選擇路徑.ESGM流程圖如圖3所示.

具體地,首先將低層特征F1和F2經(jīng)過一個(gè)1×1卷積層,動(dòng)態(tài)考慮不同通道中同一空間位置信息的重要性,并根據(jù)相應(yīng)的重要性對(duì)所有邊緣信息進(jìn)行聚合,即

Ei=δ(Zi*Fi),i=1,2,

其中,δ(·)表示Sigmoid函數(shù),Zi表示1×1的卷積核.然后,設(shè)置多個(gè)閾值過濾信息,確定邊緣信息的位置.假設(shè)ESGM包含N個(gè)路徑,每個(gè)路徑都使用一個(gè)閾值,第j個(gè)路徑的邊緣置信圖如下：

i=1,2;j=1,2,…,N,

其中,(m,n)表示空間坐標(biāo),τj表示第j個(gè)路徑對(duì)應(yīng)的閾值.

通常確定相關(guān)信息的準(zhǔn)則是：只有當(dāng)Ei每個(gè)位置的元素大于或等于閾值時(shí),該位置才被識(shí)別為目標(biāo)邊緣位置.一般而言：設(shè)置一個(gè)較低的閾值意味著判斷條件不嚴(yán)格,可保留豐富的邊緣信息,但容易引入背景噪聲;設(shè)置一個(gè)高閾值意味著判斷標(biāo)準(zhǔn)十分嚴(yán)格,可收集有限且可靠的邊緣信息,但往往會(huì)丟棄一些潛在的邊緣信息,導(dǎo)致邊緣信息的不完整.這兩種設(shè)置在某種程度上是互補(bǔ)的.因此,本文考慮一個(gè)融合低、中和高三路徑信息的邊緣選擇,綜合考慮較低、適中和較高閾值的優(yōu)勢(shì),便于獲得較好的初始目標(biāo)邊緣.

圖3 ESMG流程圖

轉(zhuǎn)換成

再投影到一個(gè)新的節(jié)點(diǎn)特征

Vi=PiXi∈RNi×Ci,i=1,2,

其中Pi∈RNi×Li表示投影矩陣.

2)圖推理.從Vi中學(xué)習(xí)節(jié)點(diǎn)之間的連通性,得到鄰接矩陣：

Ai=(Bi*Vi)(Bi*Vi)T∈RNi×Ni,i=1,2,

其中Bi表示1×1的卷積核.同時(shí),利用圖卷積算子在節(jié)點(diǎn)之間傳播消息.根據(jù)文獻(xiàn)[26],圖卷積算子的定義為

Θi表示可學(xué)習(xí)的參數(shù).

與1)類似,仍采用投影矩陣Pi實(shí)現(xiàn).

綜上所述,ESGM不僅考慮邊緣特征的篩選,過濾大量背景噪聲的干擾,還利用圖推理網(wǎng)絡(luò)保證邊緣形狀的連續(xù)性,有效提升分割性能.

1.3 漸進(jìn)式組級(jí)細(xì)化模塊

在目標(biāo)定位路徑中,MFFM聚集最高的三層特征,捕獲粗全局位置圖.這些高級(jí)特征圖中具有豐富的語義信息,有利于目標(biāo)定位,但忽略結(jié)構(gòu)和細(xì)節(jié)信息.為此,本文構(gòu)建漸進(jìn)式組級(jí)細(xì)化模塊(PGRM),將粗預(yù)測(cè)圖作為初始指導(dǎo)先驗(yàn)添加到淺層中,通過弱、中和強(qiáng)三種漸進(jìn)式指導(dǎo)方式逐步挖掘醫(yī)學(xué)圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息,此過程稱為細(xì)化路徑.通過這種方式,網(wǎng)絡(luò)可識(shí)別更多醫(yī)學(xué)圖像的空間結(jié)構(gòu)和細(xì)節(jié)信息,并逐步交互細(xì)化.PGRM流程圖如圖4所示.

本文設(shè)計(jì)一個(gè)反向指導(dǎo)策略,通過Sigmoid函數(shù)和反向操作,得到反向指導(dǎo)先驗(yàn)：

其中,Down(·)表示下采樣操作,E表示元素全為1的矩陣.

圖4 PGRM流程圖

或

經(jīng)過PGRM細(xì)化后,得到最終的分割預(yù)測(cè)：

綜上所述,PGRM實(shí)現(xiàn)結(jié)構(gòu)信息和細(xì)節(jié)信息的細(xì)化,多階段的細(xì)化模塊更有利于提升分割性能.

1.4 復(fù)合損失

受像素位置感知損失[28]的啟發(fā),本文提出一個(gè)復(fù)合損失,定義為

L=LwFTL+LwIoU.

其中：LwFTL表示用于局部約束的加權(quán)Focal Tversky損失,可緩解醫(yī)學(xué)圖像的類不平衡問題;LwIoU表示用于全局約束的加權(quán)交并比損失.具體地,加權(quán)Focal Tversky損失定義為

LwIoU旨在優(yōu)化全局約束,不受不平衡分布的影響,定義為

本文中所有的輸出分割圖都被上采樣到與分割標(biāo)簽圖G相同的大小,因此,總損失

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證ESG-TNet的有效性,選擇結(jié)腸鏡圖像CVC-ClinicDB[30]、CVC-ColonDB[31]和乳腺超聲圖像BUS-B[32]這3個(gè)醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).

CVC-ClinicDB數(shù)據(jù)集是一個(gè)公共的結(jié)腸鏡數(shù)據(jù)庫(kù),包含612幅結(jié)腸鏡圖像,每幅圖像尺寸為384×288,病變平均占比為9.3%±7.76%.CVC-ColonDB數(shù)據(jù)集包含380幅結(jié)腸鏡圖像,每幅圖像尺寸為574×500,病變平均占比為7.45%±10.8%.2個(gè)數(shù)據(jù)集的訓(xùn)練集和測(cè)試集比例與PraNet[16]一致,均為9∶1.

BUS-B數(shù)據(jù)集包含163幅乳腺超聲圖像,每幅圖像都含有一個(gè)或多個(gè)病變區(qū)域,每幅圖像的尺寸是變化的,病變平均占比為4.84%±5.45%.與Atten-tion UNet[33]一樣,該數(shù)據(jù)集隨機(jī)將75%的樣本用于訓(xùn)練,剩余25%的樣本用于測(cè)試.

2.2 實(shí)驗(yàn)設(shè)置

本文使用縮放、翻轉(zhuǎn)、直方圖匹配和旋轉(zhuǎn)四種方式進(jìn)行數(shù)據(jù)增強(qiáng),所有的輸入圖像尺寸統(tǒng)一調(diào)整為256×256.優(yōu)化器采用Adam(Adaptive Moment Es-timation)[34],初始學(xué)習(xí)率設(shè)置為1e-4,每20輪衰減一半.這3個(gè)數(shù)據(jù)集均訓(xùn)練100個(gè)迭代周期,批大小設(shè)置為10.

所有實(shí)驗(yàn)均在NVIDIA RTX 2080Ti GPU上基于Pytorch框架實(shí)現(xiàn).漸進(jìn)式組級(jí)細(xì)化模塊(PGRM)中分組為g0=1,g1=4,g2=32.在邊緣選擇中,經(jīng)驗(yàn)性設(shè)置超參數(shù)τ1=0.3,τ2=0.5,τ3=0.7.在損失函數(shù)中,經(jīng)驗(yàn)性設(shè)置超參數(shù)γ=4,η=1.5.

本文采用DSC(Dice Score)[35]、交并比(Inter-section over Union, IoU)、精確度和召回率作為評(píng)價(jià)指標(biāo)[36-37].

2.3 實(shí)驗(yàn)結(jié)果對(duì)比

為了驗(yàn)證ESG-TNet的醫(yī)學(xué)圖像分割性能,本文選擇如下對(duì)比方法.

1)經(jīng)典方法：U-Net[6]、UNet++[9].

2)基于注意力機(jī)制的方法：基于三重交互關(guān)注網(wǎng)絡(luò) (Triplet Interactive Attention Network, TIAN)[7]、SANet (Shallow Attention Network)[12]、AAU-Net (Adap-tive Attention U-Net)[13]、PVT-CASCADE (Pyramid Vi-sion Transformer and Cascaded Attention Decoder)[14].

3)基于邊緣分割的方法：CFA-Net[15]、PraNet[16]、TSD-BA[17].

4)基于卷積神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)結(jié)合的方法：CGRNet[23].

各方法在3個(gè)數(shù)據(jù)集上的指標(biāo)值對(duì)比如表1～表3所示,表中結(jié)果為5次實(shí)驗(yàn)的平均值,黑體數(shù)字表示最優(yōu)值.各方法可視化效果對(duì)比如圖5～圖7所示.

表1 各算法在CVC-ClinicDB數(shù)據(jù)集上的定量對(duì)比

表2 各算法在CVC-ColonDB數(shù)據(jù)集上的定量對(duì)比

表3 各算法在BUS-B數(shù)據(jù)集上的定量對(duì)比

從表1可以看出,在CVC-ClinicDB數(shù)據(jù)集上,ESG-TNet在DSC、IoU和召回率指標(biāo)上實(shí)現(xiàn)最優(yōu),在精確度指標(biāo)上取得第三優(yōu).盡管PraNet的精確度為94.85%,但召回率只有91.86%,這意味著該結(jié)果的假陰性較高、真陽(yáng)性較低,造成分割錯(cuò)誤.因此,只有較高的精度不足以表明其良好的分割性能,而本文的損失函數(shù)有助于精確度和召回率之間的平衡.圖5中對(duì)比方法存在不能正確識(shí)別病變區(qū)域的情況,但ESG-TNet不僅能準(zhǔn)確識(shí)別病變區(qū)域,還能較好地保證邊緣分割的形狀.

從表2可以看出,在CVC-ColonDB數(shù)據(jù)集上,ESG-TNet在DSC、IoU和召回率指標(biāo)上實(shí)現(xiàn)最優(yōu),在精確度指標(biāo)上實(shí)現(xiàn)第三優(yōu).對(duì)比其它方法,ESG-TNet分別在DSC、IoU和召回率指標(biāo)上至少提升0.85%,0.28%和1.21%.從圖6可看出,對(duì)比方法不能有效定位病變區(qū)域的位置,在區(qū)域邊界分割上存在嚴(yán)重的分割不足,難以分割正確的區(qū)域邊界.

從表3可以看出,在BUS-B數(shù)據(jù)集上,ESG-TNet在所有指標(biāo)上均實(shí)現(xiàn)最優(yōu).由于該數(shù)據(jù)集存在嚴(yán)重的邊緣模糊問題,很難區(qū)分區(qū)域和背景,導(dǎo)致分割困難.從圖7可看出,對(duì)比方法幾乎難以分割區(qū)域及區(qū)域的邊界,而ESG-TNet能較好地定位病變區(qū)域的位置,保證相對(duì)清晰和完整的病變區(qū)域的邊界形狀,較好地克服該數(shù)據(jù)集的分割挑戰(zhàn).

(a)輸入圖像 (b)真實(shí)標(biāo)簽 (c)U-Net (d)UNet++ (e)PraNet (f)TIAN

(g)SANet (h)CGRNet (i)TSD-BA (j)AAU-Net (k)PVT-CASCADE (l)ESG-TNet

(a)輸入圖像 (b)真實(shí)標(biāo)簽 (c)U-Net (d)UNet++ (e)PraNet (f)TIAN

(a)輸入圖像 (b)真實(shí)標(biāo)簽 (c)U-Net (d)UNet++ (e)PraNet (f)TIAN

(g)SANet (h)CGRNet (i)TSD-BA (j)AAU-Net (k)PVT-CASCADE (l)ESG-TNet

總之：從定量的角度出發(fā),ESG-TNet在各評(píng)價(jià)指標(biāo)上都有顯著改善;從可視化的角度出發(fā),ESG-TNet不僅可實(shí)現(xiàn)病變區(qū)域的準(zhǔn)確識(shí)別,還可較好地保證病變區(qū)域邊界的相對(duì)完整.這都得益于ESG-TNet中的3個(gè)模塊：1)MFFM結(jié)合高層次特征,初步實(shí)現(xiàn)較好的目標(biāo)定位;2)ESGM利用底層特征豐富的邊界信息,經(jīng)過選擇和圖推理,保證較好的邊界形狀;3)PGRM逐層細(xì)化,進(jìn)一步完善粗分割的結(jié)構(gòu)信息和細(xì)節(jié)信息,得到最終較完美的分割結(jié)果.

2.4 消融實(shí)驗(yàn)結(jié)果

為了驗(yàn)證ESG-TNet中3個(gè)模塊的有效性,建立如下不同的組合模型進(jìn)行消融實(shí)驗(yàn).

1)模型1.移除ESG-TNet中所有模塊,僅有ESG-

TNet的主干網(wǎng)絡(luò).

2)模型2.移除ESG-TNet中ESGM和PGRM,即在模型1的基礎(chǔ)上加入MFFM.

3)模型3.移除ESG-TNet中的PGRM, 即在模型2的基礎(chǔ)上加入ESGM.

4)ESG-TNet.在模型3的基礎(chǔ)上加入PGRM.

具體消融實(shí)驗(yàn)結(jié)果如圖8所示.從圖可看出,在3個(gè)數(shù)據(jù)集上,模型2中所有指標(biāo)值均優(yōu)于模型1.這表明MFFM對(duì)分割性能的提升有一定的作用.在模型2的基礎(chǔ)上,模型3的DSC、IoU和召回率指標(biāo)均實(shí)現(xiàn)較大提升,特別是在CVC-ColonDB數(shù)據(jù)集上,DSC、IoU和召回率指標(biāo)都增長(zhǎng)超過3%,這表明ESGM能促進(jìn)有效的分割.相比模型3,ESG-TNet中所有指標(biāo)均實(shí)現(xiàn)顯著的提升,特別是在DSC指標(biāo)上提升超過4%,在IoU和召回率指標(biāo)上提升超過6%,這表明PGRM可極大提升分割性能.

綜上所述,在3個(gè)數(shù)據(jù)集上,MFFM、ESGM和PGRM都起到積極作用,有利于提升醫(yī)學(xué)圖像分割的性能.

(a)DSC (b)IoU

(c)精確度 (d)召回率

2.5 超參數(shù)討論

本節(jié)在CVC-ClinicDB數(shù)據(jù)集上討論初始目標(biāo)邊緣選擇中的閾值組合和損失函數(shù)中超參數(shù)的選擇.記τ1,τ2和τ3分別表示用于設(shè)置較低、適中和較高的閾值組合,本文經(jīng)驗(yàn)性選擇3種組合進(jìn)行實(shí)驗(yàn),具體指標(biāo)值如表4所示,表中黑體數(shù)字表示最優(yōu)值.

由表4可見,當(dāng)τ1=0.3,τ2=0.5,τ3=0.7時(shí),分割性能最優(yōu),因此,本文選擇τ1=0.3,τ2=0.5,τ3=0.7進(jìn)行實(shí)驗(yàn).類似地,在另兩個(gè)數(shù)據(jù)集上也經(jīng)驗(yàn)性地選取τ1=0.3,τ2=0.5,τ3=0.7進(jìn)行實(shí)驗(yàn).

表4 不同的閾值組合選取對(duì)ESG-TNet性能的影響

本文還進(jìn)一步討論普通單一閾值法和無初始目標(biāo)邊緣選擇對(duì)ESG-TNet性能的影響,具體指標(biāo)值對(duì)比如表5和表6所示,表中黑體數(shù)字表示最優(yōu)值.

從表5可看出,相比普通的單一閾值法,ESG-TNet具有較好的性能提升.同時(shí),從表6可看出,初始目標(biāo)邊緣選擇有助于后續(xù)整體算法性能提升.

表5 ESG-TNet與單一閾值法在CVC-ClinicDB數(shù)據(jù)集上的性能對(duì)比

表6 有無初始目標(biāo)邊緣選擇對(duì)ESG-TNet性能的影響

此外,損失函數(shù)中超參數(shù)γ和η用于調(diào)整像素比例.本文經(jīng)驗(yàn)性地選擇γ=1,2,3,4,5,6和η=0.5,1,1.5,2,2.5,3,在CVC-ClinicDB數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).具體指標(biāo)值如圖9所示.

(a)DSC (b)IoU

(c)精確度 (d)召回率

由圖9可見,當(dāng)γ=4和η=1.5時(shí),ESG-TNet分割效果最優(yōu).因此,本文選擇γ=4和η=1.5.類似地,在另兩個(gè)數(shù)據(jù)集也經(jīng)驗(yàn)性選取γ=4和η=1.5進(jìn)行實(shí)驗(yàn).

3 結(jié) 束 語

本文提出基于邊緣選擇圖推理的三路徑網(wǎng)絡(luò)(ESG-TNet),該網(wǎng)絡(luò)分別用于目標(biāo)定位、邊緣選擇和細(xì)節(jié)細(xì)化.具體地：多尺度特征融合模塊聚合高層次特征,實(shí)現(xiàn)目標(biāo)定位;邊緣選擇圖推理模塊精準(zhǔn)選擇突出的目標(biāo)邊緣特征,進(jìn)行圖推理;漸進(jìn)式組級(jí)細(xì)化模塊用于細(xì)化結(jié)構(gòu)信息和細(xì)節(jié)信息.此外,本文引入融合加權(quán)Focal Tversky損失和加權(quán)交并比損失的復(fù)合損失,減輕類不平衡的影響.在3個(gè)類不平衡的公共數(shù)據(jù)集上的一系列實(shí)驗(yàn)表明,ESG-TNet實(shí)現(xiàn)較優(yōu)的分割性能.但是,ESG-TNet還存在可繼續(xù)探索的空間,如可嘗試?yán)迷獙W(xué)習(xí)策略進(jìn)行超參數(shù)的自適應(yīng)選擇,今后可考慮在這些方面展開研究.