中圖分類號(hào):TP391.41;R739.41 文獻(xiàn)標(biāo)識(shí)碼:A DOI:10.7535/hbkd.2025yx04005
Graph convolution-based adaptive feature fusion method for MRI brain tumor segmentation
ZHANG Ye1,ZHANG Muqing2,YUAN Xuegang1,NIU Datian1 (1.School of Science,Dalian Minzu University,Dalian,Liaoning1166oo,China; 2.School of Computer Science and Enginering,Dalian Minzu University,Dalian,Liaoning l166oo,China)
Abstract:Toaddress theisues ofinsuffcient global information capture and inadequatedeep semantic information fusion in the U-Netmodel for MRIbrain tumor segmentation,anovel braintumor segmentation network,ASGU-Net was proposed.
The algorithm wasbasedon 3D U-Net,incorporating agraph convolution inferencemodule tocaptureadditional long-range contextualfeatures.Aditionally,dynamicsnakeconvolution(DSConv)was introduced inthe encoder-decodertobetter accommodate the varied shapes of tumors,enhancing edge feature extractionand improving segmentation acuracy. Furthermore,anadaptivespatial featurefusion(ASFF)modulewas introduced in the decoder toenhance the feature fusion efect byintegrating semantic informationcaptured by multipleencoderblocks.Theevaluationonthepubliclyavailable BraT 2019—2021 datasets shows that the Dice values for whole tumor,tumor core and enhanced tumor are 90.70%/90.70% 1 91.00% , 84.90%/84.00%/88.80% and 77.30%/77.40%/82.50% ,respectively. The experimental results demonstrate the effectiveessofASGU-NetinthebraintumorsegmentationtaskASGU-Netcaneectiveladdressstheissuesofiadequateglobal informationcaptureand feature fusion,providing effective reference for high-precisionautomatedbrain tumorsegmentation.
KeyWords:computer neuralnetwork;brain tumor segmentation;3D U-Net;graph convolution inferencebotteneck layer; dynamic snake convolution;adaptive spatial feature fusion
腦腫瘤是腦部異常細(xì)胞形成的腫塊,嚴(yán)重威脅人類的健康與生命。精確的腦腫瘤自動(dòng)化分割在臨床診斷、治療方案制定以及術(shù)后監(jiān)測(cè)中起著至關(guān)重要的作用。因此,開發(fā)腦腫瘤高精度自動(dòng)化分割方法已經(jīng)成為醫(yī)療圖像分析領(lǐng)域的重要研究方向[]。
隨著深度學(xué)習(xí)的迅猛發(fā)展,眾多與醫(yī)療圖像分割相關(guān)的研究取得了顯著進(jìn)展,基于卷積神經(jīng)網(wǎng)絡(luò)的方法在醫(yī)療圖像分割領(lǐng)域得到了廣泛應(yīng)用。文獻(xiàn)[2]提出編解碼器構(gòu)成的U-Net網(wǎng)絡(luò)成為腦腫瘤分割任務(wù)的主流架構(gòu),但橫向連接操作融合低級(jí)特征圖與高級(jí)特征圖時(shí)會(huì)出現(xiàn)局部信息不連續(xù)和空間信息減少等問題。文獻(xiàn)[3]提出在編碼器特征和解碼器特征間采用加性注意力機(jī)制來進(jìn)一步提升網(wǎng)絡(luò)的分割性能。文獻(xiàn)_4-5分別在三維U-Net中集成殘差模塊和跨階段模塊,增強(qiáng)網(wǎng)絡(luò)提取特征信息的能力。但純卷積結(jié)構(gòu)不擅長(zhǎng)捕獲全局語義信息。Transformer模型近年來在捕獲全局特征上展現(xiàn)出巨大的潛力,引起了研究者的關(guān)注。研究者們提出的基于 Transformer 模型的網(wǎng)絡(luò)有 PMTrans[6]、MultiTrans[7]、SwinTransformer[8]等。盡管 Transformer具有學(xué)習(xí)長(zhǎng)距離依賴關(guān)系的能力,但其高計(jì)算復(fù)雜性對(duì)模型效率和內(nèi)存占用帶來了重大挑戰(zhàn),因此,研究人員嘗試引入圖卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[9]提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤分割方法,利用圖推理模塊獲得鄰居節(jié)點(diǎn)信息以提升腦腫瘤分割精度。文獻(xiàn)[10]則創(chuàng)新性地提出了一種雙圖推理單元的方法,通過將空間推理模塊和信道推理模塊并行處理,以關(guān)注圖像中豐富的空間信息和上下文依賴關(guān)系。文獻(xiàn)[11]提出M2GCNet網(wǎng)絡(luò)通過邊捕獲像素之間的潛在關(guān)系。但是腦腫瘤邊界不規(guī)則、病變區(qū)域密集且連續(xù)擴(kuò)散,現(xiàn)有方法沒有考慮腦腫瘤形態(tài)各異的特點(diǎn)且沒有很好地利用編解碼過程中產(chǎn)生的深層語義信息。
本文針對(duì)現(xiàn)有腦腫瘤分割方法在MRI腦腫瘤分割任務(wù)上存在的全局信息捕獲不足和深層語義信息融合不充分問題,提出一種基于圖卷積的自適應(yīng)特征融合網(wǎng)絡(luò)(adaptive spatial and graph-convolutional U-Net,ASGU-Net)。通過將圖卷積推理瓶頸層嵌入U(xiǎn)-Net架構(gòu),利用鄰居節(jié)點(diǎn)信息進(jìn)行空間推理,以捕獲額外的遠(yuǎn)程上下文特征;利用動(dòng)態(tài)蛇形卷積(dynamic snake convolution,DSConv)的特性,通過改變卷積核形狀引導(dǎo)模型關(guān)注關(guān)鍵特征,從而更貼合形態(tài)各異的腦腫瘤分割任務(wù);為進(jìn)一步提升特征融合效果,設(shè)計(jì)自適應(yīng)空間特征融合(adaptive spatial feature fusion,ASFF)模塊融合編碼器階段的深層語義信息以提升分割性能。
1基于圖卷積的自適應(yīng)特征融合方法
1.1 總體結(jié)構(gòu)
ASGU-Net模型總體結(jié)構(gòu)如圖1所示。ASGU-Net主體上采用了經(jīng)典的編解碼器結(jié)構(gòu),通過構(gòu)建圖卷積推理瓶頸層,利用圖卷積推理模塊(graph convolutional reasoning module,GCRM)對(duì)節(jié)點(diǎn)信息的強(qiáng)大處理能力,更好地捕獲圖像中的空間信息和上下文特征。此外,為了更貼合腦腫瘤形態(tài)各異的特點(diǎn),使用DSConv來替代傳統(tǒng)卷積模塊,通過動(dòng)態(tài)調(diào)整卷積核的形狀和大小實(shí)現(xiàn)更精細(xì)的特征提取??紤]到經(jīng)典的編解碼器結(jié)構(gòu)易忽略其在編解碼操作時(shí)提取的深層語義信息,引人ASFF模塊融合每個(gè)解碼器提取的深層語義信息,通過融合不同尺度的特征提升分割的準(zhǔn)確性。
1.2 圖卷積推理瓶頸層
圖卷積推理瓶頸層通過在U-Net瓶頸層嵌人全局推理模塊以輔助兩階段框架[12]??紤]到U-Net在進(jìn)行腦腫瘤圖像特征提取時(shí)可能存在空間信息損失和空間信息利用不充分等問題,嵌入圖卷積推理瓶頸層來對(duì)下采樣提取的特征進(jìn)行全局推理。該模塊巧妙地結(jié)合了多尺度池化算子和GCRM,旨在利用GCRM對(duì)節(jié)點(diǎn)信息的強(qiáng)大處理能力,更好地理解和提取圖像中的空間信息和上下文特征。通過聚合鄰居節(jié)點(diǎn)信息,該模塊可以增強(qiáng)特征表示,從而提高分割結(jié)果的準(zhǔn)確性和穩(wěn)定性。
GCRM將輸入拆分為4個(gè)不同路徑,具體過程如圖2所示。其中,有3個(gè)路徑分別與不同內(nèi)核大小的池化層相對(duì)應(yīng),池化層內(nèi)核的大小分別為 2×2×2.3×3×3 和 5×5×5 。這3個(gè)路徑負(fù)責(zé)將不同腦腫瘤層的特征編碼為全局特征圖,然后這些特征圖被送入 3×3×3 卷積和GCRM進(jìn)行處理。
在GCRM中,首先將原始特征投影到節(jié)點(diǎn)空間,然后對(duì)節(jié)點(diǎn)空間特征進(jìn)行圖卷積操作以提取全局節(jié)點(diǎn)特征。為了將全局節(jié)點(diǎn)特征與原始特征相融合,在融合之前將它們反向投影回原始特征空間。這使得GCRM能夠處理長(zhǎng)距離空間上下文信息。在進(jìn)行GCRM操作之后,通過雙線性插值對(duì)全局特征進(jìn)行上采樣以匹配原始輸入特征圖的大小。最后,重新組合這4條路徑并連接各要素,形成完整的圖卷積推理瓶頸層。
1.3 DSConv模塊
在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中,卷積運(yùn)算的感受野是固定的,在一定程度上限制了網(wǎng)絡(luò)的適應(yīng)性和泛化能力。針對(duì)腦腫瘤分割任務(wù)中腦腫瘤形態(tài)各異的特點(diǎn),采用DSConv代替?zhèn)鹘y(tǒng)的卷積模塊。目的是引入變形偏移,為卷積核提供更大的靈活性,從而在卷積操作中實(shí)現(xiàn)更精細(xì)的特征提取[13],其結(jié)構(gòu)如圖3所示。通過動(dòng)態(tài)調(diào)整卷積核的形狀和大小,DSConv能夠更好地適應(yīng)不同形狀、大小和分布的輸人數(shù)據(jù),從而提高腦腫瘤分割的準(zhǔn)確性和魯棒性。
執(zhí)行DSConv以有效提取腦腫瘤圖像局部特征的方法如下。設(shè)定標(biāo)準(zhǔn)三維卷積 K 的中心坐標(biāo)為 (xi ,(20 yi,zi) ,對(duì)于 3×3×3 卷積核,膨脹率設(shè)置為1,可以表示為
K={(x-1,y-1,z-1),(x-1,y,z),…,(x+1,y+1,z+1)},
為使卷積核能夠更加靈活地關(guān)注目標(biāo)的復(fù)雜幾何特征,引入偏移變量 Δ={δ|δ∈[-1,1]} 。然而,允許模型自由學(xué)習(xí)這些偏移可能會(huì)使感受野偏離目標(biāo)。為解決這一問題,DSConv需要在 x 軸、 .y 軸和 z 軸方向上調(diào)整卷積核。 K 中每個(gè)網(wǎng)格的具體位置表示為 Ki±c=(xi+c,yi+c,zi+c) ,其中 c={0,1,2,3,4} 表示與中心網(wǎng)格的水平距離。每個(gè)網(wǎng)格位置 Ki±c 的選擇是一個(gè)累計(jì)過程,距離中心網(wǎng)格的位置取決于前一個(gè)網(wǎng)格的位置加偏移量。同時(shí),為確保卷積核符合線性形態(tài)結(jié)構(gòu),引入偏移量的累積和,用于逐步構(gòu)建卷積核中每個(gè)網(wǎng)格的坐標(biāo)位置。
對(duì)于 Ψx 軸方向,坐標(biāo)為
對(duì)于 軸方向,坐標(biāo)為
對(duì)于 z 軸方向,坐標(biāo)為
由于偏移量 通常為非整數(shù),卷積核的采樣位置位于特征圖的非整數(shù)坐標(biāo)點(diǎn),而特征圖僅在離散的整數(shù)網(wǎng)格上定義。因此,為在連續(xù)位置上獲取特征值,采用雙線性插值進(jìn)行計(jì)算,如式(5)所示:
式中: K 表示式(2)—(4)的分?jǐn)?shù)位置; K′ 枚舉所有整數(shù)空間位置; B 是雙線性插值核,可以分解為3個(gè)一維核,如式(6)所示,其中 b 表示一維插值函數(shù)。
B(K,K′)=b(Kx,Kx′)?b(Ky,Ky′)?b(Kz,Kz′)
基于對(duì)上述數(shù)學(xué)公式的分析,DSConv可以分別在 x 軸 .y 軸和 z 軸方向上進(jìn)行動(dòng)態(tài)調(diào)整,從而使模型更準(zhǔn)確地捕獲關(guān)鍵特征,提高模型的分割精度。
1.4 ASFF
U-Net網(wǎng)絡(luò)采用U型結(jié)構(gòu)和跳躍連接融合特征,但忽略了卷積層間的空間關(guān)系,導(dǎo)致特征融合效果不佳。為優(yōu)化特征融合,引人ASFF技術(shù)來增強(qiáng)多尺度特征融合和表達(dá),同時(shí)減少不相關(guān)特征的干擾[14]。它使模型學(xué)習(xí)保留有用的信息,過濾掉無用的信息。ASFF通過自適應(yīng)地學(xué)習(xí)每層特征圖的相應(yīng)權(quán)重將特征圖與獲得的權(quán)重相乘進(jìn)行融合,自動(dòng)找出最合適的融合特征以解決腦腫瘤圖像分割中的多尺度特征融合問題??臻g濾波可減少信息沖突,抑制梯度反向傳播中的不一致性,提升腦腫瘤圖像分割的準(zhǔn)確性和可靠性,為臨床實(shí)踐提供有效輔助。
如圖4所示,ASFF的核心思想在于自適應(yīng)地學(xué)習(xí)每個(gè)尺度上特征映射的融合空間權(quán)重。這一過程包含2個(gè)關(guān)鍵步驟:相同的方式重新縮放與自適應(yīng)融合。這與以往采用元素求和或拼接的方法來集成多層次特征的方式有所不同。
設(shè) xijn-l 表示位置 (i,j) 在特征映射上從第 n 層調(diào)整到第 ξl 層,將相應(yīng)層次的特征融合如下:
yijl=αijl?xij1l+βijl?xij2l+γijl?xij3l,
其中 yijl 表示由ASFF得到的新特征圖,以ASFF-3為例, x1?x2?x3 是Level1、Level2、Level3的特征,然后使它們分別與參數(shù) α3?β3?γ3 相乘,結(jié)果相加得到特征融合后的特征ASFF-3。 αijl、βijl、γijl 是3個(gè)特征層的權(quán)重參數(shù),通過Softmax函數(shù)使其滿足
αijl+βijl+γijl=1,
并且滿足 αijl,βijl,γijl∈[0,1] 。定義:
分別以 λαijl?λβijl 和 λγijl 為控制參數(shù),e為自然對(duì)數(shù)的底數(shù),用于構(gòu)建 Softmax 函數(shù)以歸一化融合權(quán)重,利用 Softmax 函數(shù)定義 αijl、βijl、γijl 。使用 1×1 的卷積層分別計(jì)算來自 x1l、x2l、x3l 的 λαl、λβl 和 λγl 的權(quán)重標(biāo)量映射,故它們可以通過標(biāo)準(zhǔn)的反向傳播進(jìn)行學(xué)習(xí)。該方法在每個(gè)尺度上對(duì)不同層次的特征進(jìn)行自適應(yīng)聚合。通過將ASFF技術(shù)集成到腦腫瘤圖像分割模型中提高多尺度特征融合的效果,充分利用高層次特征的語義信息增強(qiáng)模型在腦腫瘤圖像分割任務(wù)中對(duì)分割目標(biāo)特征的表達(dá)能力,有效抑制無效特征對(duì)分割任務(wù)的干擾,從而提高模型的分割精度。
2數(shù)據(jù)集與評(píng)估指標(biāo)
2.1 數(shù)據(jù)集
BraTS挑戰(zhàn)賽旨在通過提供3D多模態(tài)MRI數(shù)據(jù)集來評(píng)估腦腫瘤語義分割的最新方法,該數(shù)據(jù)集帶有專家醫(yī)生體素級(jí)的真實(shí)標(biāo)簽注釋。該挑戰(zhàn)賽自2012年起連續(xù)舉辦10年,本研究選用了2019年、2020年和2021年的3個(gè)數(shù)據(jù)集用于驗(yàn)證所提出的方法。
BraTS2019數(shù)據(jù)集包含335個(gè)病例樣本,其中高級(jí)別腦腫瘤圖像259個(gè),低級(jí)別76個(gè),驗(yàn)證集含125個(gè)未知樣本。BraTS2020數(shù)據(jù)集樣本數(shù)量增加至369個(gè),其中高級(jí)別腦腫瘤圖像293個(gè),低級(jí)別76個(gè),驗(yàn)證集含125個(gè)未知樣本。BraTS2021數(shù)據(jù)集同樣提供了大量標(biāo)注的腦腫瘤MRI圖像數(shù)據(jù)。其中訓(xùn)練集包含993例高級(jí)別膠質(zhì)瘤病例和 258例低級(jí)別膠質(zhì)瘤病例,驗(yàn)證集中有219例未知腫瘤樣本。每個(gè)數(shù)據(jù)樣本的尺寸均為 240× 240×155 ,包含4種模態(tài)的MRI序列[15]:T1加權(quán)(T1)、T1對(duì)比增強(qiáng)加權(quán)(T1ce)、T2 加權(quán)(T2)和流體衰減反轉(zhuǎn)恢復(fù)(Flair)以及專家精確標(biāo)注圖像(Ground Truth),如圖5所示,其中黃色為增強(qiáng)型腫瘤,紅色為壞死腫瘤核心,綠色為腫瘤周圍水腫及浸潤(rùn)組織,黑色為背景。本文在訓(xùn)練集上訓(xùn)練網(wǎng)絡(luò),驗(yàn)證集上評(píng)估模型性能,并將分割結(jié)果上傳到CBICA網(wǎng)站與標(biāo)準(zhǔn)結(jié)果對(duì)比,進(jìn)行客觀的性能評(píng)估。計(jì)算方程如下:
不同模態(tài)的MRI圖像提供腫瘤不同區(qū)域的重要信息,綜合利用這些信息能夠全面理解腫瘤的性質(zhì)和結(jié)構(gòu),進(jìn)而為臨床診斷和治療提供準(zhǔn)確和可靠的依據(jù)。T1加權(quán)圖像和T1ce圖像主要揭示不含腫瘤周圍水腫的腫瘤核心區(qū)域。而T2加權(quán)圖像和Flair圖像則更多地展示腫瘤周圍的水腫區(qū)域,即整個(gè)腫瘤。這種跨模態(tài)的圖像信息不僅有助于減少信息的不確定性,還能顯著提高臨床診斷和模型分割的精度。
2.2 評(píng)估指標(biāo)
評(píng)估網(wǎng)絡(luò)模型性能時(shí),采用 Dice 相似系數(shù)(Dice similarity coeficient,DSC)和 Hausdorff 距離(Haus-dorff distance,HD)作為評(píng)估指標(biāo)。DSC評(píng)估圖像相似度,HD用于衡量圖像邊界最大間距。這種雙指標(biāo)評(píng)估體系能夠更加全面、準(zhǔn)確地反映模型在腦腫瘤圖像分割中的性能。
1)DSC取值范圍為[0,1],0表示不含公共元素,1表示完全重疊,其計(jì)算公式如下:
式中: nTP 代表正確預(yù)測(cè)為腫瘤的體素個(gè)數(shù); nFP 代表錯(cuò)誤預(yù)測(cè)為腫瘤的體素個(gè)數(shù); nFN 代表錯(cuò)誤預(yù)測(cè)為非腫瘤的體素個(gè)數(shù)。
2)HD對(duì)分割的邊界比較敏感,能夠體現(xiàn)邊緣的分割精度,其計(jì)算公式如下
式中:sup和inf分別對(duì)應(yīng)取上限和取下限的操作; T 和 P 則分別代表真實(shí)的值域和預(yù)測(cè)的值域。在這2個(gè)區(qū)域內(nèi), t 和 ΠP 代表各自的點(diǎn),而 d(t,p) 是用于計(jì)算這2點(diǎn)之間距離的函數(shù)。為了降低離群值對(duì)結(jié)果的影響,通常會(huì)采取將計(jì)算得到的數(shù)值乘以 95% 的策略,這一指標(biāo)被稱作Hausdorff95。
3實(shí)驗(yàn)結(jié)果與分析
3.1實(shí)驗(yàn)環(huán)境與配置
基于Pytorch 框架開發(fā)了ASGU-Net 模型,并利用 Intel Xeon Gold 6330CPU與 Nvidia RTX 3090GPU 進(jìn)行高效訓(xùn)練。設(shè)定迭代1000次,批處理大小為4,采用Adam優(yōu)化器動(dòng)態(tài)調(diào)整學(xué)習(xí)率。實(shí)施指數(shù)型
衰減學(xué)習(xí)率策略,初始學(xué)習(xí)率設(shè)為 10-3 ,動(dòng)量為0.95,權(quán)重衰減系數(shù)為 1×10-5 ,確保模型優(yōu)化效果。
3.2 預(yù)處理
在腦腫瘤圖像分割預(yù)處理中,由于BraTS數(shù)據(jù)集樣本包含不同模態(tài)圖像,灰度和對(duì)比度存在顯著差異,進(jìn)而影響分割精度和穩(wěn)定性,為此,采用Z-score歸一化和轉(zhuǎn)換進(jìn)行標(biāo)準(zhǔn)化處理,以減少模態(tài)和樣本間的灰度差異。同時(shí),由于樣本量有限,應(yīng)用圖像增強(qiáng)技術(shù)(如隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn))來擴(kuò)充數(shù)據(jù)集,增強(qiáng)模型泛化能力和魯棒性。針對(duì)干擾背景過多的問題,采用數(shù)據(jù)裁剪策略,將圖像裁剪至 4×128×128×128 尺寸作為網(wǎng)絡(luò)輸入,以提高分割準(zhǔn)確性和效率。
本研究在BraTS2020驗(yàn)證集上將消融實(shí)驗(yàn)與原始分割網(wǎng)絡(luò)進(jìn)行對(duì)比,在BraTS2019—2021數(shù)據(jù)集上將ASGU-Net與其他模型進(jìn)行深人比較并展示可視化分割結(jié)果,以證明ASGU-Net在腦腫瘤圖像分割中的優(yōu)越性能和泛化能力。
3.3消融實(shí)驗(yàn)結(jié)果
為驗(yàn)證所提ASGU-Net模型在腦腫瘤分割任務(wù)中的有效性,本研究在BraTS2020訓(xùn)練集上進(jìn)行腦腫瘤圖像訓(xùn)練,使用訓(xùn)練好的模型對(duì)BraTS2O2O驗(yàn)證集數(shù)據(jù)進(jìn)行分割,實(shí)驗(yàn)結(jié)果如表1所示。
首先,將圖卷積推理瓶頸層嵌人U-Net中構(gòu)建GU-Net,并與原始模型進(jìn)行對(duì)比。結(jié)果顯示GU-Net在ET和WT上的DSC分別提升了0.7和O.4個(gè)百分點(diǎn),TC略有下降,證明了圖卷積推理瓶頸層在捕捉遠(yuǎn)程上下文信息方面的優(yōu)勢(shì)。
其次,在GU-Net模型中分別引入ASFF 機(jī)制和DSConv。實(shí)驗(yàn)結(jié)果表明:加入ASFF 機(jī)制后使GU-Net模型的DSC平均值提升了0.27個(gè)百分點(diǎn);加人DSConv后性能進(jìn)一步提升,DSC平均值較GU-Net提升了0.6個(gè)百分點(diǎn)。這表明2個(gè)模塊在改進(jìn)模型性能方面具有顯著效果,尤其是在細(xì)粒度特征提取和多尺度特征融合的任務(wù)中。
最后,將DSConv與ASFF機(jī)制整合到GU-Net模型中獲得ASGU-Net模型。在 BraTS2020驗(yàn)證集上,ASGU-Net模型在ET、WT和TC的DSC值分別達(dá)到了 77.40%.90.70% 和 84.00% ,相較于baseline,ASGU-Net的平均性能有明顯提升,充分驗(yàn)證了ASGU-Net模型在腦腫瘤分割任務(wù)中的優(yōu)越性和有效性,表明該模型能夠在復(fù)雜的醫(yī)學(xué)圖像分割任務(wù)中提供更高的精度和魯棒性。
3.4與代表性方法對(duì)比
為全面驗(yàn)證所提出的ASGU-Net模型的優(yōu)越性和有效性,選取目前被公認(rèn)為經(jīng)典和最新的改進(jìn)模型作為參照對(duì)象。在實(shí)驗(yàn)設(shè)置中,將 ASGU-Net與這些代表性的腦腫瘤分割方法分別在BraTS2019、BraTS2020和BraTS2021驗(yàn)證集上進(jìn)行對(duì)比,結(jié)果如表2—4所示。
表3BraTS2020驗(yàn)證集上的對(duì)比實(shí)驗(yàn)結(jié)果
由表2數(shù)據(jù)可知,在BraTS2O19驗(yàn)證集上ASGU-Net在ET、WT和 TC的DSC 指標(biāo)分別為 77.30% 、90.70% 和 84.90% ,其平均DSC 值為 84.30% 。與其他網(wǎng)絡(luò)相比,ASGU-Net網(wǎng)絡(luò)呈現(xiàn)出顯著優(yōu)勢(shì)。黃敬騰等[23]提出的FS Inv-Res U-Net 在ET上的DSC 僅略高于ASGU-Net 1.1個(gè)百分點(diǎn)。LIU等[2]提出的CANet在TC上DSC 達(dá)到最優(yōu),然而在ET上的DSC卻比ASGU-Net低1.4個(gè)百分點(diǎn),且其平均DSC 也低于ASGU-Net1.1個(gè)百分點(diǎn)。此外,在Hausdorff95 指標(biāo)中,ASGU-Net在ET、WT和TC上的表現(xiàn)分別為3.17、4.93和 6.01mm ,其平均值為 4.70mm 。綜合評(píng)估,ASGU-Net在ET、WT和TC的分割結(jié)果中分別位列第3、第1和第2,其平均DSC值在所有對(duì)比方法中表現(xiàn)最佳。
在BraTS202O驗(yàn)證集的對(duì)比實(shí)驗(yàn)中,ASGU-Net在ET、WT和TC的DSC指標(biāo)分別為 77.40% 、90.70%.84.00% ,平均值 84.03% ,在WT、TC和平均值上領(lǐng)先于其他網(wǎng)絡(luò)。雖然ZHANG等[18]的AugTrausU-Net 在ET上最優(yōu),但平均DSC值低于 ASGU-Net 0.6 個(gè)百分點(diǎn)。在 Hausdorf95指標(biāo)中,ASGU-Net在ET、WT、TC上分別為35.28、4.17和 6.07mm ,平均值為 15.17mm ,排名第4、第1和第1,平均值排名第3。綜上,ASGU-Net在腦腫瘤圖像分割任務(wù)中具有較為明顯的競(jìng)爭(zhēng)力。該網(wǎng)絡(luò)不僅可以準(zhǔn)確區(qū)分腫瘤的不同區(qū)域,而且其在多個(gè)評(píng)估指標(biāo)上都取得顯著的分割效果。
根據(jù)表4中的BraTS2021驗(yàn)證集對(duì)比實(shí)驗(yàn)結(jié)果,ASGU-Net模型在ET、WT和TC的DSC分別為82.50%.91.00% 和 88.80% ,其平均 DSC 為 87.43% ,表現(xiàn)優(yōu)異。ASGU-Net模型在Hausdorff95指標(biāo)上分別為18.10、6.31和 8.76mm ,其平均值為 11.06mm ,領(lǐng)先于其他模型。通過與先進(jìn)模型的對(duì)比分析,ASGU-Net在BraTS2021數(shù)據(jù)集上的綜合性能較為突出,這進(jìn)一步證明了本文所提出的方法在醫(yī)學(xué)圖像分割任務(wù)中的有效性。
3.5 結(jié)果可視化
為更直觀地展現(xiàn)ASGU-Net在腦腫瘤分割任務(wù)中的競(jìng)爭(zhēng)力,在BraTS2O21訓(xùn)練集中選取代表性的圖像進(jìn)行結(jié)果可視化,并選取真實(shí)值圖像(GT)、U-NETR、nnU-Net和TransBTS等先進(jìn)網(wǎng)絡(luò)進(jìn)行可視化對(duì)比分析,如圖6所示。圖中使用藍(lán)色線框標(biāo)注了ASGU-Net在分割結(jié)果中相較于其他先進(jìn)網(wǎng)絡(luò)表現(xiàn)更優(yōu)的區(qū)域。圖中黃色為增強(qiáng)型腫瘤,紅色為壞死腫瘤核心,綠色為腫瘤周圍水腫及浸潤(rùn)組織,黑色為背景。通過細(xì)致觀察可發(fā)現(xiàn),在第1行右上方的綠色水腫區(qū)域,ASGU-Net的分割結(jié)果明顯比U-NETR、nnU-Net 和TransBTS等先進(jìn)網(wǎng)絡(luò)更接近真實(shí)值圖像。此外,第2行左上方的綠色水腫區(qū)域以及第3行右側(cè)的綠色水腫和黃色增強(qiáng)腫瘤區(qū)域等位置也表明ASGU-Net表現(xiàn)優(yōu)越。這說明,ASGU-Net能夠更有效地捕捉腫瘤的復(fù)雜結(jié)構(gòu)特征。綜上所述,所提出的ASGU-Net網(wǎng)絡(luò)能夠精準(zhǔn)地分割腦腫瘤的病變子區(qū)域,在腦腫瘤分割任務(wù)中展現(xiàn)出顯著優(yōu)勢(shì)。
4結(jié)語
基于三維U-Net和圖卷積的自適應(yīng)特征融合網(wǎng)絡(luò)模型ASGU-Net,通過引入圖卷積推理瓶頸層、DSConv以及ASFF機(jī)制,提升了腦腫瘤分割的準(zhǔn)確性和魯棒性。仿真與實(shí)驗(yàn)結(jié)果表明,ASGU-Net能夠更為精確地捕獲腦腫瘤的復(fù)雜結(jié)構(gòu)特征,并顯著提升模型在BraTS2019—2021數(shù)據(jù)集上的分割性能。模型的精確建模對(duì)于腦腫瘤分割任務(wù)的進(jìn)一步優(yōu)化和模型性能分析具有重要參考價(jià)值。
本文僅針對(duì)腦腫瘤分割問題進(jìn)行了模型設(shè)計(jì)與實(shí)驗(yàn)驗(yàn)證,未來將探討引人更先進(jìn)的圖卷積模型,并結(jié)合多模態(tài)數(shù)據(jù)進(jìn)一步提升模型的精度與泛化能力,為實(shí)現(xiàn)腦腫瘤的高精度自動(dòng)化分割提供更有效的解決方案。
參考文獻(xiàn)/References:
[1]吳昌霖,楊關(guān),林予松.基于密集多尺度空洞卷積的腦膠質(zhì)瘤圖像語義分割方法[J].計(jì)算機(jī)應(yīng)用與軟件,2023,,40(1):234-240. WUChanglin,YANGGuan,IYusong.Semanticsegmentationmethodofgliomaimagebasedondensemulti-scaledilatedconvolution [J].Computer Applications and Software,2023,40(1):234-240.
[2]RONNEBERGERO.FISCHER P,BROX T.U-Net:Convolutional Networksfor Biomedial Image Segmentation[M].Cham:Springer, 2015:234-241.
[3]孫家闊,張榮,郭立君,等.多尺度特征融合與加性注意力指導(dǎo)腦腫瘤 MR圖像分割[J].中國(guó)圖象圖形學(xué)報(bào),2023,28(4):1157-1172. SUNJiakuo,ZHANGRong,GUOLijunetal.MultisalefaturefusionandaditiveatentionguidebraintumorMRimagesegmntation [J].Journal of Image and Graphics,2023,28(4):1157-1172.
[4]SUNJindong,PENGYanjun,LIDapeng,etal.Segmentationof the MultimodalBrainTumorImagesUsingRes-U-Net[M.Cham: Springer,2021:263-273.
[5]夏峰,邵海見,鄧星.融合跨階段深度學(xué)習(xí)的腦腫瘤MRI圖像分割[J].中國(guó)圖象圖形學(xué)報(bào),2022,27(3):873-884. XIAFeng,SHAO HaijianDENG Xing.Crosstagedeep-learning-based MRIfused imagesofhumanbraintumorsegmentatioJ.Jour nal of Image and Graphics,2022,27(3):873-884.
[6]ZHANGZhuangzhuang,ZHANG Weixiong.Pyramid Medical Transformerfor MedicalImage SegmentationEB/OL].(202-04-29) [2024-09-19].https://doi.org/10.48550/arXiv.2104.14702.
[7]ZHANG Yanhua,BALESTRA G,ZHANGKe,etal.MultTrans:Multi-branchtransformernetwork formedical imagesegmentation[J]. Computer Methods and Programs in Biomedicine,2024.DOI:10.1016/j.cmpb.2024.108280.
[8]LIU Ze,LINYutong,CAOYue,etal.Swin transformer:Hierarchical visiontransformerusingshifted Windows[C]/2021 IEEE/CVF International Conference on Computer Vision(ICCV).Montreal:IEEE,2021:9992-10002.
[9]SAUERESSIGCBERKLEYA,KANGE,etalExploringGraph-BasedNeural NetworksforAutomaticBrain TumorSegmentation[M]. Cham:Springer,2021:18-37.
[10]MAQihang,ZHOUSiuan,LIChengyeetal.DualgrapheasoningunitforbaintumorsegmentationC21IE4thIteatioal Conference on Big Data and Artificial Intelligence(BDAI.Qingdao:IEEE,2021;204-208.
[1]ZHOUTongxue.M2GCNetMulti-modalgraphconvolutionnetworkforprecisebraintumorsegmentationacross multileMRIsequences [J].IEEE Transactions on Image Processing,2024,33:4896-4910.
12]LJiaJtulialesttgokfttal in peripapillary OCT images[J].Biomedical Optics Express,2021,12(4):2204-2220.
[13]QIYaoleiHEYutigQXiaomingetalDamicsakeconvolutioasedotopologalgeometricostraintsftubulartrucre mentation[C]//2023 IEEE/CVF International Conference on Computer Vision(ICCV).Paris:IEEE,2023:6047-6056.
[14]LIUSongtao,HUANGDi,WANGYunhong.LearningSatialFusionforSingle-ShotObjectDetection[EB/OL].(2019-11-5)20240- 19]. https://doi.org/10.48550/arXiv.1911.09516.
[15]ZHAOLia,JAKebi.MultiscaleCNNsforbantumorsegmentationanddiagnosisJ].ComputationalandMathematicalMetodin Medicine,2016.DOI:10.1155/2016/8356294.
[16]VALANARASUJMJ,SINDAGI VA,HACIHALIOGLU I,et al.KiU-Net:Overcompleteconvolutionalarchitectures forbiomedical image and volumetric segmentation[J].IEEE Transactions on Medical Imaging,2O22,41(4):965-976.
[17]SHENGing,LUogei,ZHAGJaia,etalSecod-orderReUNtfotomaticraintumogmentatJ.atati cal Biosciences and Engineering,2021,18(5):4943-4960.
[18]ZHNGMuqing,LIUDongwei,SUNQiule,etal.Augmentedtransformernetwork forMRIbraintumorsegmentationJ.Journalof King Saud University-Computer and Information Sciences,2024.DOI:10.1016/j. jksuci. 2024.101917.
[19]CHENChen,LIU Xiaopeng,DNGMeng,etal.3DDlated Multi-FiberNetworkforReal-Time Brain TumorSegmentationinMRIM]. Cham:Springer,2019:184-192.
[20]ROSAS-GONZALEZ S,BRGU-SEKOU T,HIDANE M,et al.Asymmetric ensembleof asymmetric U-Netmodels forbraintumorseg mentation with uncertaintyestimation[J].Frontiers inNeurology,2021.DOI:1o.3389/fneur.2021.609646.
[21]LIUZhihua,TONGLei,CHENLong,etal.CANet:ContextawarenetworkforbraingliomasegmentationJ].IEEETransactionson Medical Imaging,2021,40(7):1763-1777.
[22]張睦卿,韓雨童,陳柏年,等.基于多尺度偽影生成對(duì)抗網(wǎng)絡(luò)的磁共振成像腦腫瘤分割方法[J].光子學(xué)報(bào),2023,52(8):194-205. ZHANG Muqing,HANYutong,CHEN Bainian,et al.Magnetic resonance imaging braintumorsegmentation using multiscale ghost generative adversarial network[J].Acta Photonica Sinica,2023,52(8):194-205.
[23]黃敬騰,李鏘,關(guān)欣.一種用于腦腫瘤分割的改進(jìn)U形網(wǎng)絡(luò)[J].工程科學(xué)學(xué)報(bào),2023,45(6):1003-1012. HUANG Jingteng,LIQiang,GUANXin.AnimprovedU-shaped networkforbraintumorsegmentationJ].ChineseJournalofEngineer ing,2023,45(6):1003-1012.
[24]ZHAO Changchen,ZHAO Zhiming,ZENGQingrun,etal.MVP U-Net:Muli-View Pointwise U-Netfor Brain Tumor Segmentation [M].Cham:Springer,2021:93-103.
[25]WANGJingdong,SUNKeCHENGTnhng,etal.DeephigresoutionrepresentationlearingforvisualecognitioJ].IEEraa tions on Pattern Analysis and Machine Intelligence,2021,43(1o):3349-3364.
[26]GUAN Xi,YANG Guang,YEJianming,etal.3DAGSE-VNet:Anautomatic brain tumor MRIdata segmentationframework[J].BMC Medical Imaging,2022.DOI:10.1186/s12880-021-00728-8.
[27]LUOZhengrong,JIAZhongdao,YUANZhimin,etal.HDC-Net:Herarchicaldecoupledconvolutionnetwork forbraintumorsgmentation[J].IEEE Journal of Biomedical and Health Informatics,2021,25(3):737-745.
[28]PENGYanjunSUJindong.TemultimodalMRIbraintumorsegmentationbasedonAD-Net[J.BomedicalSignalProcesingandCon trol,2023.DOI:10.1016/j.bspc.2022.104336.
[29]WANG Sihan,LILei,ZHUANG Xiahai.AttU-NET:AtentionU-Net forBrain Tumor Segmentation[M].Cham:Springer,2022: 302-311.
[30]ISENSEEF,JAGER PF,F(xiàn)ULL P M,et al.nnU-Net for Brain Tumor Segmentation[M].Cham:Springer,2021:118-132.
[31]RAZA R,IJAZ BAJWA U,MEHMOODY,etal.dResU-Net:3DdeepresidualU-Netbasedbrain tumorsegmentation frommultimodal MRI[J]. Biomedical Signal Processing and Control,2023.DOI:10.1016/j.bspc.2022.103861.
[32]PEIRISH,CHENZhaolin,EGANG,etal.Reciprocal AdversarialLearingforBrain TumorSegmentation:ASolutiontBraTChallenge 2021 Segmentation Task[M].Cham:Springer,2022:171-181.
[3]HATAMZADEHA,TANGYucheng,NATHV,et al.UNETR:Transformersfor3Dmedical image segmentation[C]/202 IEEE/CVF Winter Conference on Applications of Computer Vision(WACV).Waikoloa:IEEE,2022:1748-1758.
[34]WANG WenxuanCHENChen,DING Meng,et al.TransBTS:Multimodal Brain Tumor Segmentation Using TransformerM].Cham: Springer,2021:109-119.
[35]CAOHu,WANGYueyue,CHENWantingetal.Swin-Unet:Unet-LikePureTransformerforMedicalImage SegmentationM.Cham: Springer,2022:205-218.