基于跨模態(tài)空間匹配的多模態(tài)肺部腫塊分割網(wǎng)絡(luò)

李家忻 陳后金 彭亞輝 李艷鳳

(北京交通大學(xué)電子信息工程學(xué)院 北京 100044)

1 引言

在多模態(tài)任務(wù)特別是在多序列(該文稱多模態(tài))磁共振圖像中，結(jié)構(gòu)性成像呈現(xiàn)目標(biāo)內(nèi)部豐富的紋理信息，與之互補(bǔ)的，功能性成像呈現(xiàn)目標(biāo)與背景的對(duì)比度信息，因此多模態(tài)學(xué)習(xí)對(duì)于腫塊分割任務(wù)具有重要意義。然而磁共振成像(Magnetic Resonance Imaging， MRI)掃描時(shí)間較長(zhǎng)，且結(jié)構(gòu)性成像和功能性成像呈現(xiàn)結(jié)構(gòu)信息存在差異(如T2權(quán)重磁共振圖像，T2W和擴(kuò)散權(quán)重磁共振圖像，DWI)，因此掃描圖像通常存在運(yùn)動(dòng)偽影、呼吸偽影，以及模態(tài)間局部結(jié)構(gòu)信息不一致等問題[1]。對(duì)于基于特征融合的多模態(tài)肺部腫塊分割算法，解決模態(tài)間空間結(jié)構(gòu)失配問題是進(jìn)行多模態(tài)特征像素級(jí)融合的前提[2]。

現(xiàn)有多模態(tài)圖像分割算法有兩種方式：圖像配準(zhǔn)與多模態(tài)分割兩階段算法和基于跨模態(tài)空間匹配的多模態(tài)分割算法。第1種多模態(tài)圖像分割算法，須經(jīng)過傳統(tǒng)圖像配準(zhǔn)方法如剛性配準(zhǔn)[3，4]、FFD非剛性配準(zhǔn)[5]進(jìn)行多模態(tài)分割網(wǎng)絡(luò)輸入的預(yù)處理?；诙嗄Ｌ卣魅诤系亩嗄B(tài)分割網(wǎng)絡(luò)，早期相關(guān)工作主要關(guān)注輸入圖像融合和輸出特征圖融合[6]。由于輸入級(jí)融合和輸出級(jí)融合對(duì)多模態(tài)特征融合不足，Dolz等人[6]針對(duì)腦組織的分割問題，提出特征級(jí)融合超密集連接分割網(wǎng)絡(luò)，將不同層的多模態(tài)特征圖分別進(jìn)行通道堆疊，作為下一層卷積網(wǎng)絡(luò)的輸入，以增強(qiáng)對(duì)不同尺度多模態(tài)特征的融合?；谔卣骷?jí)融合策略，Li等人[7]以殘差U-Net作為骨干分割網(wǎng)絡(luò)，將雙路U-Net不同層的多模態(tài)特征圖進(jìn)行通道堆疊后，進(jìn)行下采樣進(jìn)入下一層網(wǎng)絡(luò)。這種采用特征級(jí)多模態(tài)融合的U-Net分割網(wǎng)絡(luò)，在腫塊分割任務(wù)上取得較好表現(xiàn)。然而以上基于像素強(qiáng)度的圖像配準(zhǔn)算法存在局部區(qū)域誤匹配的問題[8]，且圖像配準(zhǔn)與圖像分割兩階段算法配準(zhǔn)迭代時(shí)間較長(zhǎng)[9]。

除了圖像配準(zhǔn)和多模態(tài)分割兩階段算法之外，基于跨模態(tài)空間匹配的多模態(tài)目標(biāo)分割算法是另一種策略。對(duì)于未配準(zhǔn)的多來(lái)源輸入，通過輪廓模型對(duì)兩輸入的預(yù)測(cè)分割掩模進(jìn)行配準(zhǔn)[10，11]。在解決心臟多序列磁共振成像中的失配問題時(shí)，在兩模態(tài)的虛擬共同空間中，對(duì)多變量混合模型進(jìn)行分割操作，同時(shí)在這個(gè)共同空間中進(jìn)行多模態(tài)配準(zhǔn)[12]，最終同時(shí)完成多模態(tài)心臟磁共振圖像的配準(zhǔn)和分割。在半監(jiān)督多模態(tài)圖像分割任務(wù)中，DAFNet[13]將不同模態(tài)圖像解耦出解剖信息和模態(tài)信息。利用空間變換網(wǎng)絡(luò)[14]對(duì)解耦出的解剖因子進(jìn)行空間匹配，在半監(jiān)督和無(wú)監(jiān)督的情況下，利用對(duì)抗訓(xùn)練實(shí)現(xiàn)圖像重建，最終實(shí)現(xiàn)多模態(tài)分割目標(biāo)。這些多模態(tài)配準(zhǔn)和分割聯(lián)合算法存在模型復(fù)雜度高、配準(zhǔn)與分割誤差累計(jì)、模態(tài)重建對(duì)圖像信噪比要求高等缺點(diǎn)。

針對(duì)以上兩類現(xiàn)有多模態(tài)分割算法的不足，本文提出一種基于跨模態(tài)空間匹配的多模態(tài)分割網(wǎng)絡(luò)。采用深度監(jiān)督學(xué)習(xí)策略對(duì)空間匹配模塊、分割模塊和特征融合模塊進(jìn)行多損失函數(shù)聯(lián)合約束，具有模型復(fù)雜度低、易訓(xùn)練、高分割精度的特點(diǎn)。可以更好地解決T2W和DWI圖像肺部腫塊區(qū)域空間失配的問題，提高多模態(tài)特征像素融合準(zhǔn)確度，獲得更高的肺部腫塊分割精度。

章節(jié)安排如下：第2節(jié)介紹所提出算法的理論和模型結(jié)構(gòu)，以及空間匹配和分割聯(lián)合訓(xùn)練的算法和過程。第3節(jié)介紹實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)設(shè)置以及評(píng)價(jià)指標(biāo)。第4節(jié)給出實(shí)驗(yàn)結(jié)果與分析。第5節(jié)對(duì)所提出算法和實(shí)驗(yàn)結(jié)果進(jìn)行總結(jié)。

2 方法

現(xiàn)有部分多模態(tài)肺部磁共振圖像腫塊分割須采用模態(tài)間配準(zhǔn)圖像，針對(duì)兩階段多模態(tài)配準(zhǔn)和分割效率較低的問題，提出多模態(tài)空間匹配和肺部腫塊分割聯(lián)合神經(jīng)網(wǎng)絡(luò)。如圖1所示，該網(wǎng)絡(luò)采用雙路殘差U型分割網(wǎng)絡(luò)[15]作為分割主干網(wǎng)絡(luò)。在分割網(wǎng)絡(luò)基礎(chǔ)上，將參考圖像支路和浮動(dòng)圖像支路的分割掩模應(yīng)用于空間變換網(wǎng)絡(luò)，對(duì)目標(biāo)腫塊區(qū)域進(jìn)行匹配。再將空間變換網(wǎng)絡(luò)(Spatial Transformer Networks， STN)學(xué)習(xí)得到的變形場(chǎng)應(yīng)用于兩模態(tài)特征圖，以獲得局部區(qū)域匹配的多模態(tài)特征圖。最后通過特征融合模塊對(duì)已匹配的多模態(tài)特征圖進(jìn)行通道融合和特征提取，得到分割結(jié)果。采用多階段訓(xùn)練和深度監(jiān)督[16]的學(xué)習(xí)策略實(shí)現(xiàn)空間結(jié)構(gòu)匹配與腫塊分割任務(wù)的聯(lián)合訓(xùn)練，對(duì)分割模塊、空間匹配模塊和特征融合模塊分別采用不同損失函數(shù)進(jìn)行約束，以高效實(shí)現(xiàn)多模態(tài)特征融合腫塊分割的端到端訓(xùn)練。下面將在3個(gè)小節(jié)分別介紹模型各模塊構(gòu)成及其訓(xùn)練策略。

圖1 多模態(tài)空間匹配分割聯(lián)合訓(xùn)練模型

2.1 訓(xùn)練分割模塊

2.2 訓(xùn)練空間變換模塊

圖2 空間變換網(wǎng)絡(luò)

2.3 訓(xùn)練特征融合模塊

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用肺部磁共振圖像實(shí)驗(yàn)數(shù)據(jù)集，獲取于廣州醫(yī)科大學(xué)第一附屬醫(yī)院。通過飛利浦Achieva 3.0 T核磁共振系統(tǒng)掃描獲得包括T2W和DWI等序列圖像。實(shí)驗(yàn)選擇橫斷面T2W序列和DWI序列圖像作為兩種模態(tài)輸入，對(duì)多模態(tài)肺部腫塊分割模型進(jìn)行訓(xùn)練和測(cè)試。同時(shí)針對(duì)多模態(tài)圖像分割任務(wù)，T2W圖像和DWI圖像采用相同層坐標(biāo)系和相同層間距的系統(tǒng)設(shè)置進(jìn)行掃描，以得到空間位置相匹配的T2W-DWI圖像對(duì)。該數(shù)據(jù)集由57名患者的355張肺部橫斷面圖像組成，經(jīng)過腫塊邊緣手工標(biāo)記結(jié)果的篩選，所有圖像均包含直徑不小于3 cm的腫塊。原始T2W-DWI圖像對(duì)經(jīng)過預(yù)處理操作，統(tǒng)一為512像素×512像素分辨率和0.94 mm×0.94 mm物理分辨率。為平衡訓(xùn)練效率和計(jì)算負(fù)載，將T2WDWI圖像裁剪為以腫塊區(qū)域?yàn)橹行牡?56像素×256像素分辨率圖像。經(jīng)以上預(yù)處理操作后的數(shù)據(jù)集，按照五折交叉驗(yàn)證分為訓(xùn)練集和測(cè)試集。為了克服數(shù)據(jù)量較小的局限，訓(xùn)練集數(shù)據(jù)經(jīng)過翻轉(zhuǎn)、旋轉(zhuǎn)等方法擴(kuò)增至原有訓(xùn)練集的8倍。

3.2 實(shí)驗(yàn)設(shè)置

3.3 評(píng)價(jià)指標(biāo)

采用4個(gè)指標(biāo)評(píng)估分割算法的性能：DSC(Dice Similarity Coefficient)、精確度(Pre)、靈敏度(Sen)和Hausdorff距離(Hausdorff Distance，HD)。DSC表示預(yù)測(cè)腫塊區(qū)域和真實(shí)手工標(biāo)記腫塊區(qū)域的重疊面積相似度。Pre表明像素預(yù)測(cè)結(jié)果準(zhǔn)確性。Sen計(jì)算所有像素預(yù)測(cè)正確的比率。Hausdorff距離描述了預(yù)測(cè)區(qū)域和標(biāo)記區(qū)域輪廓的相似度。其定義為其中，A和B分別表示預(yù)測(cè)腫塊分割掩模和真實(shí)腫塊分割掩模。由于圖像分割任務(wù)的目標(biāo)是基于像素的二值分類問題，因此背景像素被分類為0，目標(biāo)像素被分類為1。因此，HD測(cè)量預(yù)測(cè)的預(yù)測(cè)腫塊分割掩模與真實(shí)腫塊分割掩模的總距離。為了去除異常值，采用了Hausdorff距離的第95百分位(HD95)。

表1 多階段訓(xùn)練超參數(shù)設(shè)置

4 實(shí)驗(yàn)結(jié)果與分析

4.1 聯(lián)合模型有效性驗(yàn)證實(shí)驗(yàn)

為驗(yàn)證空間結(jié)構(gòu)匹配和分割聯(lián)合模型的有效性，將所提出的MMSASegNet與該模型的基準(zhǔn)分割框架雙路殘差U型網(wǎng)絡(luò)(Dual-path Res-UNet)進(jìn)行消融實(shí)驗(yàn)對(duì)比。Dual-path Res-UNet沒有多模態(tài)空間匹配模塊以及與分割模塊聯(lián)合訓(xùn)練的訓(xùn)練機(jī)制。實(shí)驗(yàn)結(jié)果如表2所示，加粗字體數(shù)字為對(duì)比算法在同一評(píng)價(jià)指標(biāo)的最佳測(cè)試結(jié)果。由表2可以看出在DSC指標(biāo)上，MMSASegNet比Dual-path Res-UNet 提高0.026，性能提高3.14%，標(biāo)準(zhǔn)差降低0.022。在精確度和靈敏度指標(biāo)上分別比Dual-path Res-UNet提高0.027，0.01，分別提高3.23%，1.16%。Hausdorff距離下降0.18像素，表現(xiàn)提高5.64%。上述結(jié)果表明，提出方法中的空間匹配模塊和匹配分割聯(lián)合訓(xùn)練策略具有有效性。

4.2 與其他多模態(tài)分割算法對(duì)比實(shí)驗(yàn)

為與現(xiàn)有多模態(tài)分割神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，將特征級(jí)融合多模態(tài)分割網(wǎng)絡(luò)HDUNet[7]與圖像級(jí)融合的單模態(tài)U型分割網(wǎng)絡(luò)[17]分別在相同測(cè)試集上進(jìn)行實(shí)驗(yàn)。同時(shí)為了對(duì)比本文提出的MMSASegNet采用STN空間匹配模塊對(duì)其分割模型分割性能的影響，將測(cè)試集圖像經(jīng)過傳統(tǒng)非剛性配準(zhǔn)方法進(jìn)行跨模態(tài)配準(zhǔn)，得到配準(zhǔn)后圖像作為以上兩個(gè)對(duì)比方法的測(cè)試數(shù)據(jù)，表3這兩組采用已配準(zhǔn)圖像的實(shí)驗(yàn)被記為HDUNet with registration， Image-fusion Res-UNet with registration。另外與1階段跨模態(tài)配準(zhǔn)和多模態(tài)分割算法DAFNet進(jìn)行對(duì)比。測(cè)試集數(shù)據(jù)上各方法的分割結(jié)果如表3所示，各個(gè)評(píng)價(jià)指標(biāo)下的最佳結(jié)果用加粗字體表示?？梢钥闯觯瑢?duì)于T2W-DWI多模態(tài)圖像對(duì)數(shù)據(jù)集，HDUNet采用傳統(tǒng)非剛性配準(zhǔn)方法進(jìn)行配準(zhǔn)后的測(cè)試數(shù)據(jù)，DSC下降0.012(1.45%)，精確度下降0.037(4.46%)，靈敏度上升0.021(2.41%)，HD95增大0.81像素(4.47%)。對(duì)于Image-fusion Res-UNet，采用傳統(tǒng)非剛性配準(zhǔn)數(shù)據(jù)后，DSC提高0.012(1.55%)，精確度提高0.025(3.11%)，靈敏度下降0.003(0.37%)，HD95下降0.22像素(1.12%)。以上實(shí)驗(yàn)結(jié)果與4.1節(jié)的消融實(shí)驗(yàn)結(jié)果對(duì)比表明，傳統(tǒng)非剛性配準(zhǔn)方法在T2WDWI圖像對(duì)數(shù)據(jù)上不能很好地進(jìn)行腫塊區(qū)域的空間匹配，導(dǎo)致較差的模型分割性能。本文提出的MMSASegNet與以上5組實(shí)驗(yàn)結(jié)果相比，各項(xiàng)評(píng)價(jià)指標(biāo)有明顯提升，取得平均值最大、標(biāo)準(zhǔn)差最小的DSC和最小的95% Hausdorff距離。在Hausdorff距離上，基于像素級(jí)融合的HDUNet模型和基于圖像級(jí)融合的Res-UNet模型，都對(duì)腫塊區(qū)域的輪廓相似度更加敏感，且在網(wǎng)絡(luò)正向傳播過程中，腫塊區(qū)域輪廓的差異會(huì)不斷積累，導(dǎo)致MMSASegNet取得遠(yuǎn)低于4個(gè)對(duì)比實(shí)驗(yàn)的95%Hausdorff距離，低HD95表明該模型的腫塊預(yù)測(cè)邊緣與真實(shí)腫塊輪廓距離的最大偏離值最小，預(yù)測(cè)分割輪廓整體與真實(shí)腫塊輪廓相似度更高。另一種1階段跨模態(tài)配準(zhǔn)與多模態(tài)分割算法DAFNet，在測(cè)試集上取得較差分割結(jié)果，主要原因是其基于結(jié)構(gòu)信息和模態(tài)信息的解耦與重建，其解耦和重建效果直接影響分割與空間匹配的效果。而此數(shù)據(jù)集中DWI模態(tài)圖像分辨率較低，信噪比較低，解耦和重建效果較差。在模型復(fù)雜度方面，與兩階段配準(zhǔn)分割算法采用傳統(tǒng)配準(zhǔn)方法，與采用神經(jīng)網(wǎng)絡(luò)的1階段算法模型復(fù)雜度可比性不高，在表3中以橫線表示，不參與比較。與DAFNet相比，MMSASegNet參數(shù)量幾乎相同，訓(xùn)練時(shí)間大幅減少，測(cè)試時(shí)間更短。與另外兩種多模態(tài)分割方法相比，MMSASegNet參數(shù)量更多，訓(xùn)練時(shí)間略長(zhǎng)，但測(cè)試時(shí)間更短，且取得更好的分割精度。以上實(shí)驗(yàn)證明，本文提出MMSASegNet以較低的模型復(fù)雜度，可以實(shí)現(xiàn)較高的分割精度。

表3 對(duì)比實(shí)驗(yàn)在測(cè)試集的測(cè)試結(jié)果（即五折交叉驗(yàn)證結(jié)果的平均值）

對(duì)比方法在測(cè)試集分割性能定性分析結(jié)果如圖3所示，每一行代表一組測(cè)試集圖像及其分割掩模。紅色區(qū)域表示預(yù)測(cè)腫塊分割結(jié)果和人工標(biāo)記腫塊分割結(jié)果。從3組不同腫塊特點(diǎn)圖像分割結(jié)果可以看出，多模態(tài)空間匹配和分割聯(lián)合模型在T2W模態(tài)圖像上分割肺部腫塊輪廓，可以取得更好的性能表現(xiàn)。在第1行圖像腫塊分割結(jié)果中，圖3(d)、圖3(e)列基于多路殘差U型網(wǎng)絡(luò)，預(yù)測(cè)分割結(jié)果存在假陽(yáng)性區(qū)域，如圖中黃色方框所示。如圖中圖3(f)、圖3(g)列黃色方框所示，HDUNet在配準(zhǔn)多模態(tài)圖像和未配準(zhǔn)多模態(tài)圖像上，分割預(yù)測(cè)結(jié)果存在假陰性像素。如圖3(i)列第3行黃色方框所示，Imagefusion Res-UNet在胸腔邊緣預(yù)測(cè)出假陽(yáng)性像素。從圖3的腫塊分割定性分析可以看出，MMSASegNet的腫塊分割結(jié)果，與人工標(biāo)記腫塊區(qū)域的面積重合度最高，輪廓相似度最高，對(duì)假陽(yáng)性像素和假陰性像素取得最平衡的抑制效果。

圖3 肺部腫塊分割結(jié)果定性分析

5 結(jié)束語(yǔ)

本文網(wǎng)絡(luò)采用多階段訓(xùn)練和深度監(jiān)督學(xué)習(xí)策略，對(duì)多模態(tài)腫塊區(qū)域空間匹配與多模態(tài)腫塊融合、分割進(jìn)行有效訓(xùn)練，以較低的模型復(fù)雜度，獲得更高的肺部腫塊分割精度。實(shí)驗(yàn)結(jié)果證明，與現(xiàn)有其他多模態(tài)目標(biāo)分割網(wǎng)絡(luò)相比，本文方法在肺部腫塊測(cè)試集上分割精度更高，對(duì)于兩模態(tài)腫塊區(qū)域結(jié)構(gòu)差異較大的圖像對(duì)，可以取得更好的腫塊區(qū)域空間匹配結(jié)果，因而獲得更好的多模態(tài)特征圖融合結(jié)果，取得面積重合度最高，輪廓差異度最低的腫塊分割結(jié)果。本文算法對(duì)于多損失函數(shù)的損失權(quán)重需要經(jīng)驗(yàn)獲得，后續(xù)將探索空間匹配和分割模塊的影響機(jī)制，以自適應(yīng)分配損失權(quán)重，優(yōu)化多目標(biāo)訓(xùn)練效率。