基于深度學(xué)習(xí)對前列腺及前列腺癌MRI 分割的研究進(jìn)展

朱靜逸，李海慶，金倞，3，耿道穎，，3

前列腺癌早期病灶在影像學(xué)上難以被發(fā)現(xiàn)，超過半數(shù)的前列腺癌病人到晚期才確診，早期精準(zhǔn)篩查對于該病的干預(yù)治療十分重要[1]。MRI 對前列腺癌具有較高的軟組織分辨力，能很好地區(qū)分正常及病變組織，而基于深度學(xué)習(xí)的計(jì)算機(jī)輔助診斷系統(tǒng)可以幫助放射科醫(yī)生提高閱片效率并降低誤診、漏診率。其中，對前列腺及前列腺癌病灶分割是前列腺癌計(jì)算機(jī)輔助診斷中的一項(xiàng)關(guān)鍵技術(shù)，精確地對前列腺分割對于前列腺癌的精準(zhǔn)診療、預(yù)后預(yù)測具有重要的臨床價值。

1 前列腺及前列腺癌病灶分割的常用MRI 數(shù)據(jù)集

目前，常用于前列腺分割及前列腺癌篩查的MRI 公開數(shù)據(jù)集包括PROMISE12（Pro12）、I2CVB、PROSTATEx Challenge （Pro -Ex）、PROSTATEx -2 Challenge（Pro-Ex2）、NCI-ISBI-2013（NCI-13）和QIN-PROSTATE Repeatability（QIN-Pro）等。數(shù)據(jù)集可以分為3 類，第1 類僅完成前列腺腺體分割任務(wù)，如Pro-12、NCI-13、QIN-Pro；第2 類僅進(jìn)行前列腺癌分類或者分級，如I2CVB；第3 類可以同時實(shí)現(xiàn)分割與分類，如Pro-Ex 和Pro-Ex2，這2 個數(shù)據(jù)集由經(jīng)驗(yàn)豐富的病理學(xué)專家對數(shù)據(jù)進(jìn)行5 級Gleason 等級標(biāo)注，用于識別前列腺癌病灶并對前列腺癌病變進(jìn)行分級。詳見表1。

表1 常用的前列腺及前列腺癌分割的MRI 公開數(shù)據(jù)集

2 基于深度學(xué)習(xí)的前列腺及前列腺癌MRI 影像分割研究

基于深度學(xué)習(xí)的前列腺分割，首先要將前列腺M(fèi)RI 數(shù)據(jù)進(jìn)行清洗、增強(qiáng)等預(yù)處理，然后通過深度學(xué)習(xí)框架進(jìn)行特征提取，對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，通過不斷調(diào)整參數(shù)優(yōu)化得到最優(yōu)的訓(xùn)練模型，將數(shù)據(jù)載入模型中完成對前列腺腺體或前列腺癌病灶的分割。目前常用于前列腺M(fèi)RI 影像分割的深度學(xué)習(xí)方法可以分為5 類，包括卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）、U-Net、分辨率增強(qiáng)、對抗生成（generative adversarial net，GAN）和Transformer。

2.1 CNN CNN 是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。CNN 的基本結(jié)構(gòu)包括輸入層、卷積層、池化層、激活函數(shù)層和全連接層五部分。Wang 等[2]基于CNN提出組織形變網(wǎng)絡(luò)（tissue deformation network，TDN）用于診斷前列腺癌，結(jié)果發(fā)現(xiàn)使用TDN 方法對特征提取和分類更加準(zhǔn)確。Song 等[3]構(gòu)建了一個基于補(bǔ)丁的深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN），結(jié)合多參數(shù)MRI 數(shù)據(jù)來分辨有無前列腺癌組織。Cheng 等[4]提出基于短連接的整體嵌套網(wǎng)絡(luò)（holistically nested net，HNN）用以分割前列腺腺體及中央帶，分割兩者的Dice 相似系數(shù)（Dice similarity cofficient，DSC）分別為0.92 和0.90。Arif等[5]分析了低風(fēng)險(xiǎn)前列腺癌病人的多參數(shù)MRI，利用一個3D CNN 模型來分割并識別前列腺中的病灶。在近幾年的研究中，Anneke 等[6]提到的3D Multistream CNN 分割方法的分割效能最好，在Pro-Ex 數(shù)據(jù)集上分割前列腺的DSC 可達(dá)0.939。該方法采用多平面3D CNN 的架構(gòu)，可同時處理多個平面（橫斷面、冠狀面、矢狀面）的MRI 影像用以提升前列腺分割的分辨力，并且提高了分割前列腺的準(zhǔn)確度。目前，基于CNN 的分割技術(shù)用于前列腺的分割效能均較好（均DSC＞0.85），但其缺點(diǎn)是池化層會丟失有價值的信息，忽略整體和局部之間的關(guān)聯(lián)性，且訓(xùn)練模型需要大樣本量。

2.2 U-Net U-Net 是一種優(yōu)秀的圖像分割方法，其網(wǎng)絡(luò)結(jié)構(gòu)是對稱的，形似英文字母U，故而被稱為U-Net。就整體而言，U-Net 是一個編碼-解碼結(jié)構(gòu)，編碼部分用于特征提取，解碼部分用于上采樣。與CNN 不同之處在于CNN 是圖像級的分割，而U-Net是像素級的分割，其輸出的是每個像素點(diǎn)的類別。Hassanzadeh 等[7]引入了基于8 種不同短連接結(jié)構(gòu)的3D 全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）方法對前列腺M(fèi)RI 影像進(jìn)行分割，分割DSC達(dá)到0.873。Rundo 等[8]采用了一種新的USE-Net 的分割方法，在U-Net 編碼器和解碼器架構(gòu)中都使用了注意力感知（squeeze-and-excitation，SE）模塊，該方法在多個數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試，結(jié)果表明SE 模塊能夠重新校準(zhǔn)自適應(yīng)特征，因而具有出色的跨數(shù)據(jù)集泛化性，在對前列腺中央帶和外周帶的分割DSC 分別達(dá)到0.915 和0.76。Astono 等[9]采用簡單的2D U-Net 方法在基于MRI T2WI 影像的非公開數(shù)據(jù)集中進(jìn)行分析，在前列腺腺體和外周帶分割DSC 分別達(dá)到0.87 和0.89。Silva 等[10]開發(fā)了粗分割方法，該方法應(yīng)用線性迭代聚類結(jié)合局部紋理的算法和概率圖譜深度CNN 中的空間知識以及粒子群優(yōu)化方法，分割前列腺組織。Baldeon-Calisto 等[11]提出了一種AdaRes U-Net 的新方法，實(shí)現(xiàn)了帶有殘差學(xué)習(xí)框架的U-Net，提升了對MRI 中前列腺的分割性能（分割DSC 達(dá)到0.848）。Zhou 等[12]采用一種新穎的3D U-Net 方法用于前列腺M(fèi)RI 分割，該模型具有3 個關(guān)鍵結(jié)構(gòu)，包括分辨率感知卷積下采樣層、殘差批量歸一化結(jié)構(gòu)和case-wise 損失函數(shù)，分割DSC 達(dá)到0.91。上述研究中的U-Net 在執(zhí)行圖像分割任務(wù)的同時都可以保留細(xì)節(jié)信息，在處理小目標(biāo)或者細(xì)節(jié)復(fù)雜的圖像時，分割效能較為良好。

2.3 分辨率增強(qiáng)技術(shù) 分辨率增強(qiáng)技術(shù)是指通過特定的算法將低分辨率圖像恢復(fù)成相應(yīng)的高分辨率圖像，并將低分辨率圖像重建出高分辨率圖像的過程。該技術(shù)旨在克服或補(bǔ)償由于圖像采集系統(tǒng)或采集環(huán)境本身的限制所導(dǎo)致的圖像模糊、質(zhì)量低下、興趣區(qū)不明顯等問題。分辨率增強(qiáng)技術(shù)包括基于插值的超分辨率增強(qiáng)技術(shù)和基于子像素卷積放大圖像尺寸等技術(shù)。Jia 等[13]提出了一種稱為混合鑒別網(wǎng)絡(luò)（hybrid discriminative network，HD-Net）的方法，在HD-Net 中能夠?qū)崿F(xiàn)金字塔卷積塊和殘差細(xì)化塊，通過收集前列腺區(qū)域的多尺度空間上關(guān)聯(lián)信息，將多尺度特征結(jié)合起來將傳播損耗最小化，分割DSC 達(dá)到0.95。Zhu 等[14]提出一種邊界加權(quán)域自適應(yīng)神經(jīng)網(wǎng)絡(luò)（boundary-weighted domain adaptive neural network，BOWDA-Net），用來解決前列腺M(fèi)RI影像邊界模糊的問題，將高級轉(zhuǎn)移學(xué)習(xí)方法用于BOWDA-Net 能夠解決MRI 斷面數(shù)量少的問題，邊界損失函數(shù)有助于在MRI 影像中對前列腺進(jìn)行精確的邊界分割，分割DSC 達(dá)到0.925。Khan 等[15]對MRI 數(shù)據(jù)集的影像進(jìn)行中心裁剪和歸一化，并提取二維圖像以獲取更好的分割結(jié)果，分割DSC 達(dá)到0.928。Liu 等[16]提出了一種用于醫(yī)學(xué)圖像的新型形狀感知元學(xué)習(xí)（shape-aware meta-learning，SAML）方法，該方法能夠通過模型訓(xùn)練期間的域變化提升模型的魯棒性，還能利用形狀感知損失函數(shù)對元優(yōu)化過程進(jìn)行正則化處理，該方法分割DSC 達(dá)到0.876。Yaniv 等[17]將3D 光模塊替代了3D 卷積模塊來改進(jìn)V-Net 網(wǎng)絡(luò)，在不影響分割結(jié)果的情況下，新網(wǎng)絡(luò)減少了參數(shù)，提升了分割的效率（DSC 為0.86）。Singh等[18]采用了基于圖譜的方法，結(jié)合部分體積校正算法對前列腺的移行帶和外周帶進(jìn)行分割，最后利用3D Chan-Vase 輪廓方法進(jìn)行形態(tài)學(xué)操作，從而獲得前列腺的分割區(qū)域。Liu 等[19]將多站點(diǎn)網(wǎng)絡(luò)用于前列腺分割，該方法能夠利用網(wǎng)絡(luò)主干中的特定域的批量規(guī)一化層來平衡站點(diǎn)間的數(shù)據(jù)異構(gòu)性，并從多站點(diǎn)數(shù)據(jù)中學(xué)習(xí)高級圖像信息來實(shí)現(xiàn)分割方法的改進(jìn)，分割DSC 達(dá)到0.915。Ghavami 等[20]評估了6 種不同深度CNN 模型用于前列腺T2WI 影像分割的效能，其中HighRes3dNet 方法分割的DSC 最高，達(dá)到0.89。Zhu 等[21]使用形態(tài)學(xué)方法和分水嶺變換對擴(kuò)散加權(quán)成像（DWI）圖像進(jìn)行粗分割，利用粗分割的輸出獲取興趣區(qū)（ROI），將ROI 調(diào)整為192 mm×192 mm 像素，然后輸入級聯(lián)的U-Net 架構(gòu)用于前列腺M(fèi)RI 影像的分割，分割DSC 達(dá)到0.87。Zavala-Romero 等[22]提出了一種用于前列腺M(fèi)RI 影像分區(qū)分割的3D 多流U-Net，首先對數(shù)據(jù)集的圖像進(jìn)行歸一化處理，然后利用線性插值來實(shí)現(xiàn)MRI 影像的像素值重新分布，數(shù)據(jù)集的預(yù)處理增強(qiáng)了前列腺M(fèi)RI 影像的分割效果，分割DSC 為0.893。

近年來，基于U-Net 的方法和基于分辨率增強(qiáng)的方法在Pro-12 數(shù)據(jù)集上記錄的最佳DSC 分?jǐn)?shù)為0.95[13]，這是在公開數(shù)據(jù)集記錄的最高DSC 值。

2.4 GAN GAN 屬于深度學(xué)習(xí)方法，是近年來復(fù)雜分布上無監(jiān)督學(xué)習(xí)最具前景的方法之一[23]。該網(wǎng)絡(luò)以隨機(jī)變量作為輸入，并應(yīng)用轉(zhuǎn)換函數(shù)生成與目標(biāo)分布相似的分布數(shù)據(jù)。該方法包含2 個模塊，生成模型和判別模型，通過2 個模塊對抗學(xué)習(xí)產(chǎn)生相對好的輸出結(jié)果。

Kohl 等[24]提出了一種將全卷積網(wǎng)絡(luò)與對抗性訓(xùn)練結(jié)合的GAN 模型，在CNN 中使用對抗性損失可以更好地檢測前列腺癌區(qū)域。Zhang 等[25]提出了用于前列腺癌分割的雙重注意對抗的GAN 網(wǎng)絡(luò)，將U-Net 作為網(wǎng)絡(luò)主體生成預(yù)測的輸入圖像掩碼，通過一個具有對抗性學(xué)習(xí)的鑒別器網(wǎng)絡(luò)來區(qū)分生成器預(yù)期掩碼和真實(shí)掩碼，使得網(wǎng)絡(luò)效率提高得更多。Nie 等[26]提出了基于GAN 方法的前列腺M(fèi)RI 分割框架，該框架由分段網(wǎng)絡(luò)、置信度網(wǎng)絡(luò)和難度感知衰減機(jī)制組成，置信度網(wǎng)絡(luò)能夠生成提供分割區(qū)域信息的置信圖，難度感知衰減機(jī)制通過將信心學(xué)習(xí)與對抗性學(xué)習(xí)相結(jié)合來改進(jìn)分割過程，分割DSC達(dá)到0.909。Girum 等[27]構(gòu)建了一種深度生成模型神經(jīng)網(wǎng)絡(luò)（deep generative model-driven net，DGMNet）用于前列腺M(fèi)RI 的分割，分割DSC 達(dá)到0.93。Cem Birbiri 等[28]評估了cGAN、Cycle GAN 和U-Net 在前列腺T2WI 分割中的作用，其中cGAN 在mp-MRI數(shù)據(jù)集的DSC 方面表現(xiàn)最好，分割DSC 達(dá)到0.76。

基于GAN 的前列腺分割在公開數(shù)據(jù)集Pro-12上分割效能最佳的方法是SegDGAN，該方法中包括一個由密集連接塊組成的完全卷積生成網(wǎng)絡(luò)，以及一個具有多尺度特征提取的判別網(wǎng)絡(luò)，將其用于前列腺分割具有很好的分割效能，DSC 為0.925；同時，該方法采用了平均絕對誤差和DSC 系數(shù)來優(yōu)化目標(biāo)函數(shù)，從而提高了分割精度[29]。

2.5 Transformer 在前列腺M(fèi)RI 影像特征提取過程中往往存在較為明顯的噪聲，為特征提取帶來了一定難度。Transformer 作為近期應(yīng)用較為普遍的分割方法，比CNN 在自然圖像的分割上表現(xiàn)出更強(qiáng)的性能，同時對輸入的干擾有更好的魯棒性。Zhang等[30]提出了一種用于前列腺分割的并行分支架構(gòu)的TransFuse 方法，該方法可以有效地捕獲影像間依賴關(guān)系和低級空間細(xì)節(jié)，能夠提升傳統(tǒng)CNN 方法對前列腺分割的準(zhǔn)度。Hung 等[31]采用Transformer 方法建立了一種交叉切片注意力變換器（cross-slice attention transformer，CAT）模塊用于3D 前列腺區(qū)域分割，該模塊可以合并到任何現(xiàn)有的基于跳躍連接的網(wǎng)絡(luò)架構(gòu)中，以分析其他解剖層面的遠(yuǎn)程信息。Pollastri 等[32]提出了基于長距離自監(jiān)督方法的Transformer 模型，能夠?qū)⒉煌馄蕦用嫔鲜占纳舷挛男畔⒑喜⒃谝黄饋順?gòu)建重要的特征信息，該方法可以提高前列腺M(fèi)RI 分割的精度。從2020 年開始，基于Transformer 的方法在醫(yī)學(xué)影像分割領(lǐng)域普遍應(yīng)用，現(xiàn)已逐漸應(yīng)用于前列腺M(fèi)RI 影像分割，但是相關(guān)研究仍較少。在近期的研究中，基于CAT 模塊的前列腺分割效果最好，其DSC 分?jǐn)?shù)最高可以達(dá)到0.904[32]。盡管Transformer 分割方法為近年的研究熱門，但目前其在前列腺中的分割效能明顯不如傳統(tǒng)前列腺M(fèi)RI 分割方法，相關(guān)可供參考的前列腺研究仍較少。

3 小結(jié)

綜上所述，在網(wǎng)絡(luò)架構(gòu)中結(jié)合CNN 和Transformer 各自的優(yōu)勢可以做到揚(yáng)長避短地提升分割效率，基于Transformer 和CNN 結(jié)合的前列腺M(fèi)RI 分割方法將是未來前列腺影像分割的重點(diǎn)研究領(lǐng)域。相對于自然圖像，醫(yī)學(xué)影像的標(biāo)注主要依靠放射科醫(yī)生和病理科醫(yī)生手工標(biāo)注，前列腺癌計(jì)算機(jī)輔助診斷研究的挑戰(zhàn)主要還是具有精準(zhǔn)標(biāo)注的公開數(shù)據(jù)集仍然較少，因此未來應(yīng)建立更多精準(zhǔn)標(biāo)注的公開數(shù)據(jù)集，以利于對前列腺癌計(jì)算機(jī)輔助診斷的研究。