變分自編碼的分層解耦卷積腦腫瘤分割網(wǎng)絡(luò)

李?鏘，蘇雅夢，關(guān)?欣

變分自編碼的分層解耦卷積腦腫瘤分割網(wǎng)絡(luò)

李?鏘，蘇雅夢，關(guān)?欣

(天津大學(xué)微電子學(xué)院，天津 300072)

三維卷積神經(jīng)網(wǎng)絡(luò)處理圖像分割精度高，可以保留更多空間信息，有效解決標簽不平衡問題，但存在參數(shù)量大的缺點．針對目前三維腦腫瘤分割網(wǎng)絡(luò)內(nèi)存資源占用大、硬件設(shè)備要求高、計算效率低的問題，將傳統(tǒng)3D U-Net網(wǎng)絡(luò)中的3D卷積替換為分層解耦卷積，能夠降低空間環(huán)境的計算復(fù)雜度和內(nèi)存占用量，在不提高計算量的前提下顯著提高分割精度，提高網(wǎng)絡(luò)性能．為解決傳統(tǒng)自編碼器不能自主生成數(shù)據(jù)的問題，使用結(jié)合深度學(xué)習(xí)和統(tǒng)計學(xué)習(xí)的變分自編碼器，在編碼器結(jié)果中加入高斯噪聲，使得編碼器對結(jié)果具有魯棒性，在編碼器中加入概率分布防止過擬合，提高算法的泛化性能．采用三線性插值在三維離散采樣數(shù)據(jù)的張量積網(wǎng)格上進行線性插值，有效避免線性方程組不斷增大導(dǎo)致計算時間過長的問題．通過對損失函數(shù)加權(quán)混合，避免梯度彌散時出現(xiàn)學(xué)習(xí)速率下降現(xiàn)象，解決小區(qū)域分割不平衡問題，減少局部性能最優(yōu)，使網(wǎng)絡(luò)保持較高運算速度的同時有效提高分割精度，在有限內(nèi)存空間最大化網(wǎng)絡(luò)特征提取能力．在腦腫瘤公開數(shù)據(jù)集BraTS2019上的實驗結(jié)果表明，該網(wǎng)絡(luò)在增強型腫瘤、全腫瘤、腫瘤核心上的Dice 值分別可達78.02%、90.05%和83.14%，參數(shù)量僅為0.30×106，能夠準確、高效地分割出腦腫瘤中各病灶區(qū)域，節(jié)約硬件設(shè)備的算力和內(nèi)存資源，為臨床應(yīng)用提供可能性．

信號與信息處理；腦腫瘤分割；變分自編碼器；三線性插值；分層解耦卷積

腦腫瘤是起源于顱內(nèi)局部組織細胞增殖形成的新生物，半數(shù)以上的腦腫瘤為惡性腫瘤，嚴重威脅患者的生命和健康[1]．最常見的腦腫瘤是膠質(zhì)瘤，其源自腦組織中的支持性組織膠細胞，根據(jù)世界衛(wèi)生組織(WHO)的分類方法[2]可分為低級別膠質(zhì)瘤(LGG)和高級別膠質(zhì)瘤(HGG)．放射科醫(yī)師手工分割腦腫瘤費時且受主觀影響，利用醫(yī)學(xué)影像技術(shù)可以輔助診斷患者癥狀并給予治療．磁共振成像(MRI)是一種用于觀察大腦是否有病變的腦部檢查，包括4種常見的模態(tài)圖像：流體衰減反演恢復(fù)模態(tài)圖像(FLAIR)、t1加權(quán)圖像(T1)、對比度增強t1加權(quán)圖像(T1ce)和t2加權(quán)圖像(T2)．不同的模態(tài)圖像具有不同的特點，能夠幫助放射科醫(yī)生提取不同類型的腫瘤信息[3]，例如，T1ce模態(tài)圖像可以觀察增強的腫瘤(enhanced tumor，ET)，T2模態(tài)圖像可以識別ET和由壞死和非增強腫瘤組成的腫瘤核心(tumor core，TC)，在T2和FLAIR模態(tài)圖像中，TC的水腫和全腫瘤(whole tumor，WT)表現(xiàn)更為直觀．因此，研究半自動或全自動腦腫瘤分割對于腦腫瘤與正常組織的定量分析和評價具有重要意義[4]．

近年來，卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割領(lǐng)域得到了廣泛應(yīng)用[5-6]．其中，U-Net在各種醫(yī)學(xué)圖像任務(wù)中取得了巨大的成功．Ronneberger等[7]提出的U-Net網(wǎng)絡(luò)能夠在樣本數(shù)據(jù)集相對較小的情況下獲得較好的分割結(jié)果，成為醫(yī)學(xué)圖像分割的主流方法．在此基礎(chǔ)上，Dong等[8]采用2D U-Net網(wǎng)絡(luò)架構(gòu)，在提高計算效率的同時降低內(nèi)存使用量，但存在空間上下文缺乏一致性的缺點．?i?ek等[9]使用3D U-Net網(wǎng)絡(luò)分割腦腫瘤，將整個三維圖像輸入網(wǎng)絡(luò)進行訓(xùn)練，該過程不需要進行切片操作，可以有效增強數(shù)據(jù)，獲得較好的分割結(jié)果．Chen等[10]利用網(wǎng)絡(luò)間的信息流引入多路復(fù)用模塊，減少了時間和空間網(wǎng)絡(luò)的計算量，但降低了網(wǎng)絡(luò)的上下文信息．Isensee等[11]降低傳統(tǒng)3D U-Net上采樣部分的特征維數(shù)，使編碼器可以訓(xùn)練更多特征，提高了分割精度，但存在內(nèi)存占用過多、對網(wǎng)絡(luò)性能要求高等問題．Myronenko[12]使用變分自編碼器用于重建原始輸入圖像，提高分割圖像的魯棒性，但其網(wǎng)絡(luò)參數(shù)量較大，訓(xùn)練時間長，且對硬件設(shè)備要求較高．Nazabal等[13]使用變分自編碼器利用分布補全缺失數(shù)據(jù)，通過區(qū)分連續(xù)、離散以及數(shù)字符號，以及處理分類值和序數(shù)值等離散值，提高數(shù)據(jù)信息的完整度．

受上述工作啟發(fā)，本文提出一種結(jié)合變分自編碼器(variational auto encoder，VAE)的分層解耦卷積(hierarchical decoupled convolution，HDC)腦腫瘤分割網(wǎng)絡(luò)HV-Net，旨在平衡網(wǎng)絡(luò)的分割精度和參數(shù)量．首先，在編碼階段，使用變分自編碼重采樣塊將深度學(xué)習(xí)和統(tǒng)計學(xué)習(xí)相結(jié)合，用概率分布來表示每個潛在特征，有效防止了過擬合問題，提高了算法的泛化性能．其次，為了改善圖像內(nèi)存占用過多和對網(wǎng)絡(luò)性能要求高的問題，本文提出使用分層解耦卷積塊取代3D卷積，可以在空間和信道維度上對標準卷積進行解耦，降低空間環(huán)境的計算復(fù)雜度和內(nèi)存占用量.為了提高卷積解碼的速度，使用三線性插值(trilinear interpolation)代替編碼卷積塊中的傳統(tǒng)插值，對三維離散采樣數(shù)據(jù)的張量積網(wǎng)格進行三線性插值．最后，為了處理部分較小的腦腫瘤，采用加權(quán)混合損失函數(shù)避免達到局部極小值和出現(xiàn)稀疏類別不平衡問題．

1?網(wǎng)絡(luò)模型

1.1?完整網(wǎng)絡(luò)框架

本文采用減少信道的3D U-Net架構(gòu)作為網(wǎng)絡(luò)主要架構(gòu)，并提出使用一種新型的輕量級分層解耦卷積塊取代傳統(tǒng)的3D卷積．網(wǎng)絡(luò)由周期性下移操作(period down-shuffling，PDS)、3D卷積層、分層解耦卷積模塊和上采樣組成，并添加變分自編碼器分支用于重建輸入圖像，每個HDC模塊有分層組卷積(hierarchical group convolution，HGC)和1×3×3的卷積層兩部分．上采樣由解碼卷積塊組成，每個解碼卷積塊有3個卷積單元；周期性下移操作在第1階段用作下采樣，將大小為in×××的高分辨率輸入張量in重新排列為大小為out×/2×/2×/2的低分辨率張量out，其中××是in的空間大小，in為通道數(shù)．經(jīng)過PDS操作后，輸出空間大小out縮為輸入空間的0.5倍，而輸出通道數(shù)out是in的8倍．此外，在下采樣部分，每個編碼卷積塊都有一次三線性插值[14]運算，同時加入變分自編碼器重建輸入圖像．完整的網(wǎng)絡(luò)框架如圖1所示．在空間域中，通過將3D空間卷積分解為工作在軸向視圖、冠狀視圖和矢狀視圖3種不同視圖上的兩個互補2D卷積來引入視圖解耦卷積，以便在最小化感知的情況下降低空間復(fù)雜性，視圖解耦卷積示意如圖2所示．在通道域中，對軸向視圖的2D卷積應(yīng)用了一種新的分層組解耦卷積視圖，即在具有分層連接特征通道的子組上應(yīng)用平行軸向視圖卷積達到近似3D卷積效果．

圖1?結(jié)合變分自編碼器的解耦卷積腦腫瘤分割網(wǎng)絡(luò)示意

圖2?視圖解耦卷積示意

1.2?分層解耦卷積模塊

本文提出使用的分層解耦卷積模塊[15]結(jié)構(gòu)如圖3所示，在對多視圖和多尺度空間上下文進行編碼時，將標準卷積在空間和通道維度上解耦，大大減少計算量．

圖3?分層解耦卷積模塊示意

該模塊具有相互連接的多分支結(jié)構(gòu)，同時采用一次和二次卷積，一次卷積應(yīng)用于并行分支的主卷積，可以更好地在3D體積的焦點視圖上分層提取多尺度特征，而二次卷積遵循多分支模塊，通過一次卷積來混合多尺度輸出，其在互補視圖上允許大量輸入，能更好地獲得遠距離空間上下文特征，此外，模塊中加入額外下采樣，從而能允許大量輸入并更好地獲得遠距離的空間上下文．HDC模塊顯著減少了用于子序列處理的數(shù)據(jù)量的大小，同時不考慮下移因素，能利用輸入中所有可用的信息．筆者將HDC直接應(yīng)用到輸入數(shù)據(jù)，其輸出將被用作子序列CNN的輸入，同時在上采樣的解碼卷積塊中使用三線性插值替代傳統(tǒng)線性插值方式，利用被插值位置距離最近的2×2×2個立方體的已知像素點來計算缺失值，提高計算效率，減小計算時間．三線性插值函數(shù)示意如圖4所示．

圖4?三線性插值函數(shù)示意

1.3?變分自編碼器

變分自編碼器[16]本質(zhì)是在常規(guī)自編碼器[17]的基礎(chǔ)上增加一個編碼器，將對應(yīng)計算均值的編碼器結(jié)果加上高斯噪聲，使得解碼器對噪聲具有魯棒性．為保證計算均值編碼器的結(jié)果具有零均值，加入KL loss(Kullback-Leibler loss)作為編碼器的正則項；另一個對應(yīng)計算方差的編碼器用來動態(tài)調(diào)節(jié)噪聲的強度．變分自編碼器的結(jié)構(gòu)如圖5所示，其中編碼器部分用概率分布來表示每一個潛在的特征，能夠有效防止過擬合，提高算法的泛化性能；解碼器分支在接收編碼器輸出的同時產(chǎn)生原始輸入的重建圖像．

圖5?變分自編碼示意

此外，變分自編碼器為每個樣本構(gòu)造專屬的正態(tài)分布，使得所有的后驗分布趨向于標準正態(tài)分布，有效防止了噪聲為低噪聲，KL loss增加，從而重建誤差下降，更容易擬合；反之，如果重建誤差小于KLloss，即解碼器已經(jīng)得到一定訓(xùn)練，KL loss減少，噪聲就會增加，重建誤差又開始增加，擬合就更加困難，此時解碼器會提升生成能力來平衡重建過程．

使用變分自編碼器對輸入圖像進行重建時，從編碼器末端輸出開始，本文將輸入減少到256的低維空間，從具有給定均值和標準的高斯分布中抽取樣本，并按照與解碼器相同的架構(gòu)重建為輸入圖像維度，不使用來自編碼器的跳躍連接，本文使用變分自編碼器作為網(wǎng)絡(luò)分支用于原始圖像重建，其結(jié)構(gòu)如表1所示，其中conv代表卷積操作，ReLU為激活函數(shù)，GN代表群組歸一化(group normalization)，F(xiàn)C代表全連接層(fully connected-layer)．

表1?變分自編碼器分支結(jié)構(gòu)

Tab.1?Structureof variational autoencoding branch

1.4?加權(quán)混合損失函數(shù)

為了獲得分割圖像更高置信度的清晰邊界，解決腦腫瘤在整個腦部MRI圖像中占比小的問題，本文網(wǎng)絡(luò)提出使用一種加權(quán)混合損失函數(shù)[18]以減小分割圖像與標注圖像之間的差異，同時也解決損失函數(shù)因為腦腫瘤過小達到局部最小值的問題，避免了稀疏類別不平衡．

焦點損失(focal loss)函數(shù)在交叉熵損失(cross entropy loss)函數(shù)基礎(chǔ)上進行修改，解決了目標檢測中正負樣本比例嚴重失衡的問題，其表達式為

(3)

式中：為骰子損失函數(shù)；為標簽的類別總數(shù)；為某個樣本的總像素點數(shù)；p為第個像素點的概率分布；p為第個元素被預(yù)測為類別的概率；g為p對應(yīng)的標簽值．將每個類的dice loss求和取平均，可得到最后的Dice系數(shù)．

由于腦腫瘤區(qū)域存在高度不平衡的細分，因此本文還使用了廣義骰子損失(generalized dice loss，GDL)函數(shù)．GDL數(shù)學(xué)表達式為

式中w為不同的標簽集屬性提供不變性，定義為

每個標簽之間的貢獻將通過其體積的倒數(shù)進行校正.

基于以上，當目標區(qū)域存在高度不平衡的細分時，待分割區(qū)域占據(jù)整個影像的一小部分，容易造成性能上的局部最優(yōu)，本文提出加權(quán)混合損失函數(shù)來平衡這種問題，以提高分割精度．其中平衡因子和用來平衡焦點損失和GDL的權(quán)值，實驗表明＝0.3和＝0.7時效果較好．

2?實驗與結(jié)果

2.1?實驗環(huán)境與數(shù)據(jù)集

本文的實驗環(huán)境為CPU Intel? Core i9-9900X 3.5GHz，GPU Nvidia RTX2080Ti (11GB)×4，Ubuntu 16.04 操作系統(tǒng)，使用了開源Pytorch深度學(xué)習(xí)框架．本文參數(shù)設(shè)置如表2所示，批處理量為8，最大訓(xùn)練迭代次數(shù)為500．

實驗數(shù)據(jù)來自于BraTS2019數(shù)據(jù)集[20]，其中訓(xùn)練集有335個病例，包含259個HGG患者樣本，76個LGG患者樣本，驗證集包含127個無標簽患者樣本. 每個病例都有4種模態(tài)，每種模態(tài)的圖像大小均為240×240×155×1，真值標簽由專業(yè)醫(yī)師共同手動標定，醫(yī)師將腦腫瘤區(qū)域分為背景(background，標記為0)、壞死核心和非增強腫瘤(necrotic and non-enhancing tumor，標記為1)、水腫區(qū)域(peritumoral edema，標記為2)和增生性腫瘤(enhancing tumor，標記為4)4類．

表2?實驗參數(shù)設(shè)置

Tab.2?Settings of experimental parameters

2.2?實驗評價指標

通常以Dice相似系數(shù)、Jaccard相似系數(shù)和豪斯多夫(Hausdorff)距離評價分割有效性，以網(wǎng)絡(luò)的參數(shù)量(parameter)和浮點計算量(floating point of operations，F(xiàn)LOPs)評價網(wǎng)絡(luò)復(fù)雜度．

Jaccard相似系數(shù)可用來比較預(yù)測腫瘤區(qū)域和實際腫瘤區(qū)域兩個集合的差異性，Dice相似系數(shù)可用來計算預(yù)測腫瘤區(qū)域和實際腫瘤區(qū)域兩個集合的相似性，是分割精度的主要決定因素，表達式為

豪斯多夫距離可用來評價圖像邊緣點的最大不匹配程度，數(shù)學(xué)表達式為

式中：為預(yù)測結(jié)果集；為醫(yī)師標記的標簽集；、分別為兩個集合中的元素．

網(wǎng)絡(luò)的參數(shù)量對應(yīng)算法的空間復(fù)雜度，浮點計算量對應(yīng)算法的時間復(fù)雜度，參數(shù)量和浮點計算量FP的表達式為

式中：k、k和k分別為卷積核的深度、高度和寬度；in和out分別為輸入和輸出通道數(shù)；、和分別為圖像的深度、高度和寬度．

2.3?實驗結(jié)果與分析

本文的腦腫瘤圖像分割實驗均在BraTS2019數(shù)據(jù)集上進行，并在該數(shù)據(jù)集的在線服務(wù)器上進行測試以驗證網(wǎng)絡(luò)的有效性．

為驗證本文使用的加權(quán)混合損失函數(shù)參數(shù)對網(wǎng)絡(luò)性能和分割結(jié)果的影響，設(shè)置5組不同的取值進行5次實驗．表3展示了在參數(shù)不同取值下，本文網(wǎng)絡(luò)在數(shù)據(jù)集上的分割精度，可以看出當＝0.3、＝0.7時在測試集中的ET、WT、TC 3個指標上結(jié)果為78.02%、90.05%和83.14%，較其他取值時的結(jié)果均有提升．在＝0.1、＝0.9的ET區(qū)沒有顯著差異，在WT和TC兩個區(qū)域上差距較大．

本文使用3D U-Net作為實驗的基準網(wǎng)絡(luò)，依次加入不同改進模塊驗證其分割效果．由表4可以看出，使用分層解耦卷積后，網(wǎng)絡(luò)的整體性能均有所提高，尤其在參數(shù)量方面，網(wǎng)絡(luò)參數(shù)量由16.21×106縮至0.29×106，即基準網(wǎng)絡(luò)3D U-Net參數(shù)量是HDC-Net的50倍，說明使用分層解耦卷積能很大程度降低計算成本．加入變分自編碼器后，WT的值提升了1.43%，表明VAE能夠?qū)幋a器產(chǎn)生正則作用，提升整體分割效果．使用三線性插值網(wǎng)絡(luò)對TC和ET的分割效果提升了1.13%和1.01%，提高網(wǎng)絡(luò)對較小腦腫瘤的分割效果．融合所有改進模塊即為本文所提的HV-Net．

表3?網(wǎng)絡(luò)在不同參數(shù)下的性能對比

Tab.3　　Comparison of network performance under dif-ferent parameters

表4?不同模塊對網(wǎng)絡(luò)分割性能影響

Tab.4?Comparison of different modules of HV-Net

為驗證本文提出的網(wǎng)絡(luò)性能和分割結(jié)果，將本文所提網(wǎng)絡(luò)分別與3D U-Net[9]、3D ESPNet[21]、Deep-Medic[22]，MFNet和DMFNet[23]等深度學(xué)習(xí)算法對腦腫瘤圖像分割結(jié)果進行對比，對比結(jié)果如表5所示．由表5結(jié)果可知，本文提出的網(wǎng)絡(luò)在ET、WT、TC上的Dice值別達到了78.02%、90.05%和83.14%，網(wǎng)絡(luò)的參數(shù)量僅有0.30×106．實驗結(jié)果表明，本文所提網(wǎng)絡(luò)能夠在算法的分割精度保持較高的情況下，較為有效地降低網(wǎng)絡(luò)參數(shù)量．

表5?不同算法在腦腫瘤圖像分割中的性能對比

Tab.5?Comparison of different algorithms in brain tumor image segmentation

圖6為部分病例使用本文網(wǎng)絡(luò)的分割結(jié)果，分別為膠質(zhì)瘤在大腦水平面、矢狀面和冠狀面視圖．通過流體衰減反演恢復(fù)模態(tài)圖像和t1加權(quán)圖像可以看出腦腫瘤各個區(qū)域的邊界，其中GT(ground truth)代表真實標簽，與真實標簽對比可知本文網(wǎng)絡(luò)在該病例TC和ET的預(yù)測結(jié)果與真實標簽相差較?。?/p>

圖6?分割結(jié)果

3?結(jié)?語

本文提出一種結(jié)合變分自編碼器的分層解耦卷積腦腫瘤分割網(wǎng)絡(luò)，提高MRI序列中對腦腫瘤各個區(qū)域的檢測精度．通過使用變分自編碼器，對編碼器起到正則的效果，利用三線性插值極大地減小了插值計算的總量，解決因為插值計算導(dǎo)致網(wǎng)絡(luò)計算量增大的問題，同時，本文提出一種加權(quán)混合損失函數(shù)，提高小目標分割精度，使得在訓(xùn)練過程中能夠提高分割效果．

在BraTS2019數(shù)據(jù)集實驗結(jié)果表明，本文所提出的網(wǎng)絡(luò)在增強型腫瘤、全腫瘤、腫瘤核心上平均Dice值得分別達到了78.02%、90.05%和83.14%，參數(shù)量僅為0.30×106．從最終的分割精度和算法整體復(fù)雜度來看，本文網(wǎng)絡(luò)優(yōu)于經(jīng)典3D U-Net[9]、3D ESPNet[21]、DeepMedic[22]、MFNet和DMFNet[23]等算法，具有計算量小、運行速度快、分割精度高等優(yōu)點，能夠為臨床醫(yī)師分割腦腫瘤提供有效參考．

［1］ Menze B H，Andras J，Stefan B，et al. The multimodal brain tumor image segmentation benchmark (BRATS) [J]. IEEE Transactions on Medical Imaging，2015，34(10)：1993-2024 .

［2］ Louis D N，Perry A，Reifenberger G，et al. The 2016 World Health Organization classification of tumors of the central nervous system：A summary[J]. Acta Neuropathologica，2016，131(6)：803-820 .

［3］ Naceur M B. Fully automatic brain tumor segmentation using end-to-end incremental deep neural networks in MRI images[J]. Computer Methods and Programs in Biomedicine，2018，166：39-49 .

［4］ Wang J，Gao J，Ren J，et al. DFP-ResUNet：Convolutional neural network with a dilated convolutional feature pyramid for multimodal brain tumor segmentation[J]. Computer Methods and Programs in Biomedicine，2021，208：106208.

［5］ 李?鏘，武昱忻，關(guān)?欣，等. 基于 SRD 感受野自調(diào)節(jié)的肺炎病灶檢測[J]. 天津大學(xué)學(xué)報(自然科學(xué)與工程技術(shù)版)，2021，54(5)：508-516.

Li Qiang，Wu Yuxin，Guan Xin，et al. Pneumonia focus detection based on SRD with receptive field self-regulation[J]. Journal of Tianjin University(Science and Technology)，2021，54(5)：508-516(in Chinese).

［6］ ZhangH L，LiQ，GuanX，et al. An improved three-dimensional dual-path brain tumor image segmentation network[J]. Acta Optica Sinica，2021，41(3)：60-67.

［7］ Ronneberger O，F(xiàn)ischer P，Brox T. U-net：Convolu-tional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich，Ger-many，2015：234-241.

［8］ Dong H，Yang G，Liu F，et al. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks[C]//Annual Conference on Medical Image Understanding and Analysis. Edinburgh，UK，2017：506-517.

［9］ ?i?ek ?，Abdulkadir A，Lienkamp S S，et al. 3D U-Net：Learning dense volumetric segmentation from sparse annotation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens，Greece，2016：424-432.

［10］ Chen Y，Kalantidis Y，Li J，et al. Multi-fiber networks for video recognition[C]//Proceedings of the European Conference on Computer Vision (ECCV). Munich，Germany，2018：352-367.

［11］ Isensee F，Kickingereder P，Wick W，et al. No new-net[C]//International MICCAI Brainlesion Workshop. Granada，Spain，2018：234-244.

［12］ Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization[C]//International MICCAI Brainlesion Workshop. Granada，Spain，2018：311-320.

［13］ Nazabal A，Olmos P M，Ghahramani Z，et al. Handling incomplete heterogeneous data using VAES[J]. Pattern Recognition，2020，107：107501.

［14］ Rajon D A，Bolch W E. Marching cube algorithm：Review and trilinear interpolation adaptation for image-based dosimetric models[J]. Computerized Medical Imaging and Graphics，2003，27(5)：411-435 .

［15］ Luo Z，Jia Z，Yuan Z，et al. HDC-Net：Hierarchical decoupled convolution network for brain tumor segmentation[J]. IEEE Journal of Biomedical and Health Informatics，2020，25(3)：737-745 .

［16］ Han K，Wen H，Shi J，et al. Variational autoencoder：An unsupervised model for encoding and decoding fMRI activity in visual cortex[J]. NeuroImage，2019，198：125-136 .

［17］ Hinton G E，Zemel R S. Autoencoders：Minimum description length and helmholtz free energy[J]. Advances in Neural Information Processing Systems，1994，6：139 .

［18］ Ding S，Zhang X，An Y，et al. Weighted linear loss multiple birth support vector machine based on information granulation for multi-class classification[J]. Pattern Recognition，2017，67：32-46 .

［19］ Milletari F，Navab N，Ahmadi S A. V-net：Fully convolutional neural networks for volumetric medical image segmentation[C]//2016 Fourth International Conference on 3D Vision (3DV). Palo Alto，USA，2016：565-571.

［20］ Henry T，Carré A，Lerousseau M，et al. Brain tumor segmentation with self-ensembled，deeply-supervised 3D U-net neural networks：A BraTS 2020 challenge solution[C]//International MICCAI Brainlesion Workshop. Lima，Peru，2020：327-339.

［21］ Nuechterlein N，Mehta S. 3D-ESPNet with pyramidal refinement for volumetric brain tumor image segmentation[C]//International MICCAI Brainlesion Workshop. Granada，Spain，2018：245-253.

［22］ Kao P Y，Ngo T，Zhang A，et al. Brain tumor segmentation and tractographic feature extraction from structural MR images for overall survival prediction[C]// International MICCAI Brainlesion Workshop. Granada，Spain，2018：128-141.

［23］ Chen C，Liu X，Ding M，et al. 3D dilated multi-fiber network for real-time brain tumor segmentation in MRI[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen，China，2019：184-192.

A Variational Autoencoding-Hierarchical Decoupled Convolutional Brain Tumor Segmentation Network

Li Qiang，Su Yameng，Guan Xin

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

Three-dimensional convolutional neural networks have the advantages of high segmentation accuracy，can effectively solve the unbalanced label problem，and retain more spatial information. However，they involve complex calculations and several parameters. In view of the 3D brain tumor segmentation network’s high memory resource usage，high-hardware requirements，and the problem of low efficiency of computation，we propose a pseudo 3D U-Net module to replace the traditional 3D convolution with a novel hierarchical decoupled convolution module，which significantly reduces the usage of memory and computation，minimizes the perception while reducing the computational complexity of the space environment，segments the 3D stereo image at once，and significantly improves the segmentation accuracy without increasing the computational cost. To solve the problem that the hidden layer output of the traditional autoencoder is easily to be chaotic and cannot generate data independently，we propose a variational autoencoder that combines deep learning and statistical learning. Gaussian noise is added to the encoder result to make the encoder robust to the result，and the probability distribution is added to the encoder to prevent over-fitting and improve the generalization performance of the algorithm. We use trilinear interpolation to perform linear interpolation on the tensor product grid of 3D discrete sampling data，which effectively avoids the long calculation time caused by the continuous increase in the linear equation system during the calculation. By weighing and mixing the three-loss functions，this study prevent the learning rate decrease caused by the gradient dispersion in a gradient descent calculation，solves the imbalance of small region segmentation，and ensures that the algorithm can effectively improve the segmentation accuracy while maintaining a high computing speed. This study uses the brain tumor open datasetBraTS2019 for testing，and the average Dice_ET，Dice_WT，and Dice_TC reached 78.02%，90.05%，and 83.14%，respectively，with only 0.30×106of the parameters. The results show that this network can accurately and efficiently segment each lesion region of a brain tumor，save the computing power and memory resources of hardware equipment，and provide the potential for clinical application.

signal and information processing；brain tumor segmentation；variational autoencoder；trilinear interpolation；hierarchical decoupled convolution

10.11784/tdxbz202203042

TP391.41

A

0493-2137(2023)07-0767-08

2022-03-21；

2022-05-30.

李?鏘（1974—??），男，博士，教授，liqiang@tju.edu.cn.

關(guān)?欣，guanxin@tju.edu.cn.

國家自然科學(xué)基金資助項目(62071323，61471263，61872267)；天津市自然科學(xué)基金資助項目(16JCZDJC31100)；天津大學(xué)自主創(chuàng)新基金資助項目(2021XZC-0024).

Supported by the National Natural Science Foundation of China(No.62071323，No.61471263，No.61872267)，the National Natural Science Foundation of Tianjin，China(No.16JCZDJC31100)，the Seed Foundation of Tianjin University(No.2021XZC-0024).

(責(zé)任編輯：孫立華)