孫成女 劉志偉 呂發(fā)金
(1.重慶醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院,超聲醫(yī)學(xué)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室 重慶市 400016)
(2.重慶醫(yī)科大學(xué)附屬第一醫(yī)院放射科 重慶市 400016)
子宮肌瘤是由子宮平滑肌細(xì)胞增生而成,是一種常見(jiàn)于女性生殖系統(tǒng)中的良性腫瘤[1]。據(jù)統(tǒng)計(jì),我國(guó)育齡女性子宮肌瘤患病率已高達(dá)25%[2]。臨床上常用的子宮肌瘤檢查方法包括超聲檢查、宮腔鏡檢查和磁共振成像(MRI)檢查。其中MRI 由于其成像質(zhì)量高、優(yōu)越的軟組織對(duì)比度,被認(rèn)為是檢測(cè)和定位子宮肌瘤最準(zhǔn)確的成像技術(shù)[3]。子宮肌瘤的傳統(tǒng)治療方法(如子宮切除術(shù)和子宮肌瘤切除術(shù))具有手術(shù)時(shí)間長(zhǎng)、可能引起術(shù)后并發(fā)癥等缺點(diǎn),微創(chuàng)治療越來(lái)越受到人們的關(guān)注[4]。高強(qiáng)度聚焦超聲(HIFU)是一種新興的無(wú)創(chuàng)治療子宮肌瘤的熱消融技術(shù),該手術(shù)在實(shí)時(shí)超聲(稱(chēng)為超聲引導(dǎo)聚焦超聲手術(shù)(USgFUS))或磁共振成像(稱(chēng)為磁共振成像引導(dǎo)聚焦超聲手術(shù)(MRgFUS))引導(dǎo)下,依靠超聲的機(jī)械能和熱能消融目標(biāo)組織[5]。在HIFU 治療前,需要分割子宮及子宮肌瘤為手術(shù)規(guī)劃提供輔助。在HIFU 治療后,需要分割消融后的子宮肌瘤以測(cè)量非灌注體積來(lái)獲得關(guān)于療效的第一定量反饋。因此,子宮及子宮肌瘤的自動(dòng)分割對(duì)于HIFU 手術(shù)計(jì)劃和療效評(píng)估是至關(guān)重要的。圖1 顯示了HIFU 治療前后的子宮肌瘤MR 圖像。
圖1:HIFU 治療前后的子宮肌瘤MR 圖像
目前,子宮及子宮肌瘤分割工作通常依賴(lài)于放射科醫(yī)生進(jìn)行手動(dòng)分割,這個(gè)過(guò)程不僅繁瑣耗時(shí)且具有主觀性,依賴(lài)于醫(yī)生的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)水平。因此,為了幫助醫(yī)生提高子宮肌瘤MRI圖像分割的準(zhǔn)確性和效率,開(kāi)發(fā)一種快速且準(zhǔn)確的子宮肌瘤自動(dòng)分割方法在臨床應(yīng)用中具有重要的價(jià)值。目前在醫(yī)學(xué)圖像分割領(lǐng)域常用的分割方法可分為兩大類(lèi):傳統(tǒng)分割方法和深度學(xué)習(xí)分割方法,具體如圖2所示。傳統(tǒng)的醫(yī)學(xué)圖像分割方法主要包括:閾值法、水平集法、邊緣檢測(cè)法、模糊C 均值法及區(qū)域生長(zhǎng)法。這些方法大多依賴(lài)于手工設(shè)計(jì)的特征實(shí)現(xiàn)分割任務(wù),同時(shí)自我學(xué)習(xí)能力較弱,對(duì)噪聲、灰度不均勻等干擾敏感[6]。近年來(lái),得益于不斷提高的計(jì)算機(jī)性能和持續(xù)增長(zhǎng)的可用數(shù)據(jù)量,深度學(xué)習(xí)技術(shù)得到飛速發(fā)展,主要包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)、自編碼神經(jīng)網(wǎng)絡(luò) (AENN)和深度置信網(wǎng)絡(luò)(DBN)。特別是CNN,因其具有自學(xué)習(xí)和泛化能力被廣泛地應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域,并在醫(yī)學(xué)圖像分析中有明顯優(yōu)于傳統(tǒng)方法的潛力[7-8]。本文接下來(lái)的部分首先介紹了基于傳統(tǒng)方法的子宮肌瘤MRI圖像分割,其次闡述了基于深度學(xué)習(xí)方法的子宮肌瘤MRI圖像分割,最后對(duì)子宮肌瘤分割方法進(jìn)行了總結(jié)并對(duì)其未來(lái)的發(fā)展趨勢(shì)進(jìn)行展望。
圖2:醫(yī)學(xué)圖像分割方法
水平集算法是一種基于能量泛函的圖像分割方法。其基本思想是將二維曲線(xiàn)隱式表達(dá)為三維連續(xù)函數(shù)曲面的零水平集,并利用圖像的相關(guān)信息為其定義能量泛函。通過(guò)三維曲面的演化來(lái)達(dá)到演化其內(nèi)部隱含曲線(xiàn)的目的,從而實(shí)現(xiàn)目標(biāo)分割。該算法并不試圖跟蹤演化后的曲線(xiàn)位置,而是通過(guò)不斷更新水平集函數(shù),使得零水平集不斷變化,實(shí)現(xiàn)了二維曲線(xiàn)的演化。只要始終保持水平集函數(shù)為一個(gè)有效函數(shù),其內(nèi)部隱含的曲線(xiàn)便可以發(fā)生任意拓?fù)浣Y(jié)構(gòu)的變化,解決了參數(shù)法無(wú)法實(shí)現(xiàn)拓?fù)浣Y(jié)構(gòu)改變的問(wèn)題。因此,自該方法提出以來(lái),便成為了國(guó)內(nèi)外學(xué)者的研究重點(diǎn)。
Yao 等人[9]提出了一種基于水平集算法的子宮肌瘤半自動(dòng)分割方法。首先使用快速行進(jìn)水平集對(duì)MRgFUS 治療后的子宮肌瘤MR 圖像進(jìn)行粗略分割。隨后利用拉普拉斯水平集從初始分割結(jié)果中搜素局部最小值來(lái)進(jìn)行分割細(xì)化。在13 名子宮肌瘤患者組成的MR 圖像數(shù)據(jù)集中,該方法得到Sensitivity 均值為84.6%,Specificity 均值為84.3%。
Ben-Zadok 等人[10]提出了一種子宮肌瘤分割的兩步走半自動(dòng)分割方法,首先是基于水平集算法進(jìn)行子宮肌瘤的初始分割,隨后是允許用戶(hù)進(jìn)行反饋的交互式手動(dòng)細(xì)化。
Khotanlou 等人[11]同樣提出了一種子宮肌瘤的兩步走半自動(dòng)分割方法。第一步使用Chan-Vese 水平集方法進(jìn)行粗略的半自動(dòng)分割子宮肌瘤。第二步使用形狀先驗(yàn)?zāi)P蛯?duì)分割結(jié)果進(jìn)行細(xì)化。所提出方法的分割結(jié)果與醫(yī)生的手動(dòng)分割進(jìn)行對(duì)比,得到的DSC 均值為87.70%。
模糊C 均值(FCM)算法是一種基于劃分的聚類(lèi)算法,它的主要思想是根據(jù)特定的目標(biāo)函數(shù),將大量無(wú)標(biāo)簽的數(shù)據(jù)劃分成不同的簇,使得被劃分到同一簇的對(duì)象之間相似度最大,而不同簇之間的相似度最小。FCM 算法因其算法簡(jiǎn)單、收斂速度快和可以處理大數(shù)據(jù)等特點(diǎn),應(yīng)用最為廣泛且成功。
Fallahi 等人[12]提出一種基于FCM 算法的新方法用于子宮肌瘤患者T1W 和T1W 增強(qiáng)MR 圖像的子宮分割和體積測(cè)量。首先在T1W 增強(qiáng)MR 圖像上使用FCM 算法對(duì)子宮進(jìn)行初始分割。由于FCM 初始分割結(jié)果可能不是完全連接的,并且可能包含其他區(qū)域像素,如解剖學(xué)模糊性的結(jié)腸。因此,作者隨后使用兩種形態(tài)學(xué)操作(填充運(yùn)算和開(kāi)運(yùn)算)來(lái)改善初始分割結(jié)果。
最后,作者使用MIPAV 軟件包將T1W 圖像配準(zhǔn)到T1W 增強(qiáng)MR 圖像上,在配準(zhǔn)后,將分割結(jié)果作為掩碼應(yīng)用到T1 圖像上并使用直方圖閾值化來(lái)去除冗余部分。他們?cè)?0 名子宮肌瘤患者的T1W 和T1W 增強(qiáng)MR 圖像上進(jìn)行方法評(píng)估,得到的DSC 均值為80%。
后來(lái),F(xiàn)allahi 等人[13]在前文的基礎(chǔ)上提出了一種多發(fā)性子宮肌瘤的兩步走自動(dòng)分割方法。第一步是使用FCM 算法分割T1W 增強(qiáng)MR 圖像和配準(zhǔn)后T1W MR 圖像中的子宮,并使用一些形態(tài)學(xué)操作來(lái)細(xì)化分割結(jié)果。在第二步中,通過(guò)在配準(zhǔn)的T2W MR 圖像上應(yīng)用新的可能性模糊C 均值(MPFCM)算法進(jìn)行子宮分割,并利用基于知識(shí)的圖像處理方法對(duì)子宮肌瘤進(jìn)行分割。MPFCM 算法使用體素及其鄰域的信息、隸屬度和典型性進(jìn)行分裂,不僅解決了FCM 的隸屬度函數(shù)不隨著類(lèi)中心的距離而減少問(wèn)題,而且目標(biāo)函數(shù)充分考慮了空間信息,并在大數(shù)據(jù)集的情況下也能正常工作。該方法在5 名患者組成的數(shù)據(jù)集中取得了DSC 均值為79.91%。
此外,為了提高經(jīng)MRgFUS 治療后的子宮肌瘤區(qū)域分割效率和準(zhǔn)確性,Militello 等人[14]提出了一種基于無(wú)監(jiān)督模糊C 均值聚類(lèi)和迭代最優(yōu)值選擇算法的子宮肌瘤全自動(dòng)分割方法。首先應(yīng)用FCM 算法分割子宮區(qū)域,并應(yīng)用一些形態(tài)學(xué)操作移除冗余部分。隨后使用自適應(yīng)閾值方法從已分割的子宮區(qū)域中識(shí)別出子宮肌瘤。所提出的方法在15 例不同子宮肌瘤患者的MR 圖像上進(jìn)行測(cè)試,得到的DSC 均值為88.67%,HD 均值為2.988 像素。
區(qū)域生長(zhǎng)算法是根據(jù)預(yù)先定義的準(zhǔn)則將像素或子區(qū)域聚集成更大區(qū)域的過(guò)程。其基本思想是以一組生長(zhǎng)點(diǎn)為起點(diǎn),該生長(zhǎng)點(diǎn)可以是單個(gè)像素,也可以是某個(gè)小區(qū)域,將與該生長(zhǎng)點(diǎn)性質(zhì)相似的相鄰像素或區(qū)域與之合并,形成新的生長(zhǎng)點(diǎn),重復(fù)此過(guò)程直到不能生長(zhǎng)為止。可以將灰度值、紋理和顏色等圖像信息作為生長(zhǎng)點(diǎn)和相似區(qū)域的相似性判斷依據(jù)。
Militello 等人[15]提出一種半自動(dòng)多種子區(qū)域生長(zhǎng)方法用于MRgFUS 治療后的子宮肌瘤區(qū)域分割。首先對(duì)輸入圖像應(yīng)用平均濾波進(jìn)行去噪。接著利用區(qū)域生長(zhǎng)算法對(duì)子宮肌瘤區(qū)域進(jìn)行分割。最后運(yùn)用一些后處理操作來(lái)消除分割結(jié)果中的空洞,并計(jì)算消融后子宮肌瘤體積用于MRgFUS 治療的初步評(píng)估。
由于在該方法中用戶(hù)必須手動(dòng)選擇種子點(diǎn),Rundo 等人[16]提出了一種基于直接區(qū)域檢測(cè)模型的新方法用于MR 圖像中的子宮肌瘤分割。此方法分為三個(gè)階段,第一階段對(duì)輸入圖像進(jìn)行歸一化處理。第二階段應(yīng)用區(qū)域分割和合并方法進(jìn)行種子區(qū)域自動(dòng)選擇和檢測(cè)。第三階段則通過(guò)自適應(yīng)多種子區(qū)域生長(zhǎng)算法分割子宮肌瘤。所提出的方法可以實(shí)現(xiàn)多發(fā)肌瘤的自動(dòng)分割,在14 例子宮肌瘤患者的矢狀位方向T1W增強(qiáng)MR 圖像上得到的分割結(jié)果為DSC 均值為87.57%。
圖3 展示了幾種不同的傳統(tǒng)方法分割子宮肌瘤MR 圖像示例。雖然上述的這些傳統(tǒng)分割方法都取得了較好的分割效果,但是仍然存在一些問(wèn)題。水平集算法作為一個(gè)基于梯度的方法,對(duì)大多數(shù)圖像中常見(jiàn)的噪聲和差的圖像對(duì)比度非常敏感。模糊C 均值法強(qiáng)烈依賴(lài)于初始化數(shù)據(jù)的好壞并容易陷入局部鞍點(diǎn)。區(qū)域生長(zhǎng)法需要用戶(hù)提供初始種子點(diǎn)用來(lái)迭代合并具有相似強(qiáng)度的鄰域像素??偠灾瑐鹘y(tǒng)分割方法大部分利用圖像的灰度、顏色、紋理和形狀等表層特征對(duì)圖像進(jìn)行分割,對(duì)于需要大量深層特征的復(fù)雜分割任務(wù)而言并不適用。同時(shí)傳統(tǒng)分割方法中的圖像特征提取主要依賴(lài)于人工設(shè)計(jì)的特征提取器,并且調(diào)參需要具有專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)。
圖3:用于子宮肌瘤MR 圖像分割的傳統(tǒng)分割方法示例
近年來(lái),隨著數(shù)據(jù)量的持續(xù)增長(zhǎng)和計(jì)算機(jī)性能(CPU、GPU)的不斷提高,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù),具有從原始形式數(shù)據(jù)中自動(dòng)學(xué)習(xí)分層特征表示的良好能力,消除了對(duì)手動(dòng)特征的需求,被廣泛地應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域,并取得了優(yōu)異的結(jié)果[7-8]。Ronneberger 等人[17]在2015年提出了U-Net,如圖4(a)所示,它是一個(gè)端到端對(duì)稱(chēng)的編解碼結(jié)構(gòu),包括一個(gè)用于特征提取的收縮路徑(編碼器)和用于精確定位的擴(kuò)展路徑(解碼器),并引入跳躍連接將編碼器功能和解碼器功能串聯(lián)在一起以提高網(wǎng)絡(luò)的分割性能,成為了醫(yī)學(xué)圖像分割領(lǐng)域最常用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)之一。
在深度學(xué)習(xí)方法應(yīng)用在子宮及子宮肌瘤MR 圖像分割方面,Kurata 等人[18]最早利用包含各種子宮疾病的T2W MR 圖像,評(píng)估優(yōu)化的U-Net,如圖4(b)所示,進(jìn)行全自動(dòng)子宮分割的臨床可行性。即使用LeakyReLU 函數(shù)代替原始U-Net 網(wǎng)絡(luò)中ReLU 函數(shù)作為非線(xiàn)性變換的激活函數(shù),以避免ReLU 函數(shù)輸入為負(fù)數(shù)的區(qū)域梯度為0,導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)停止。同時(shí),在網(wǎng)絡(luò)中加入dropout 層來(lái)改善神經(jīng)網(wǎng)絡(luò)的泛化問(wèn)題。此外,將原始U-Net 網(wǎng)絡(luò)中的四次下采樣增加到八次下采樣,以進(jìn)一步提高網(wǎng)絡(luò)的分割性能。研究納入122 例女性患者(子宮內(nèi)膜癌14 例,宮頸癌15 例,子宮肌瘤55 例),結(jié)果表明改良的U-Net 進(jìn)行全自動(dòng)子宮分割在臨床上是可行的,所提出模型的分割性能不受子宮疾病存在的影響。
然而,Kurata 等人[18]提出的優(yōu)化的U-Net 只是對(duì)原始U-Net 進(jìn)行小范圍修改,網(wǎng)絡(luò)學(xué)習(xí)能力欠佳。因此,Tang等人[19]提出了另一種改進(jìn)的U-Net(Attention ResNet101-UNet,AR-UNet),如圖4(c)所示,來(lái)分割子宮肌瘤T2W MR 圖像。該網(wǎng)絡(luò)使用深度神經(jīng)網(wǎng)絡(luò)ResNet101[20]代替原始U-Net 的編碼器部分來(lái)加深網(wǎng)絡(luò)以進(jìn)一步提取圖像的語(yǔ)義信息。并在上采樣和下采樣特征圖拼接之前添加Attetnion Gate[21]來(lái)加強(qiáng)網(wǎng)絡(luò)對(duì)子宮肌瘤區(qū)域特征關(guān)注,抑制無(wú)關(guān)區(qū)域特征激活,從而提高網(wǎng)絡(luò)的分割性能。研究使用了93 例子宮肌瘤患者的T2W 矢狀位方向MRI 圖像,隨機(jī)選取80 例患者作為訓(xùn)練集,13 例患者作為測(cè)試集,得到DSC 均值為90.44%。
此外,Zhang 等人[22]受U-Net 網(wǎng)絡(luò)中的編解碼器結(jié)構(gòu)啟發(fā),提出了一個(gè)名為HIFUNet 的2D 編解碼模型,如圖4(d)所示,進(jìn)行MRI 圖像中子宮區(qū)域的多類(lèi)別分割(子宮、子宮肌瘤和脊柱)。網(wǎng)絡(luò)的編碼器部分使用預(yù)訓(xùn)練的ResNet101[20]網(wǎng)路進(jìn)行特征提取,并結(jié)合深度多重空洞卷積(DMAC)和全局卷積網(wǎng)絡(luò)(GCN)來(lái)擴(kuò)大有效感受野以捕獲更多的上下文信息并提高計(jì)算效率。DMAC 使用五個(gè)具有不同膨脹率的3×3 大小卷積核對(duì)輸入圖像進(jìn)行特征提取以獲得不同的特征,并將所有的特征與輸入圖像融合作為最終輸出圖像。GCN 使用兩個(gè)一維卷積核的組合代替單個(gè)二維卷積核用于跳躍連接層以進(jìn)一步提高網(wǎng)絡(luò)的計(jì)算效率。該模型在297 例子宮肌瘤患者的術(shù)前矢狀位方向T2W MR 圖像上進(jìn)行訓(xùn)練和測(cè)試,其中260 例作為訓(xùn)練集,37 例作為測(cè)試集。測(cè)試集分割結(jié)果為子宮的DSC 均值為82.37%,子宮肌瘤的DSC 均值為83.51%,脊柱的DSC 均值為85.01%。
圖4:用于子宮肌瘤MRI圖像分割的深度學(xué)習(xí)模型
本文總結(jié)了傳統(tǒng)方法和深度學(xué)習(xí)方法在子宮及子宮肌瘤MRI圖像分割領(lǐng)域的應(yīng)用。兩種分割方法具有各自的優(yōu)點(diǎn)和不足:相比于手動(dòng)分割,傳統(tǒng)分割方法提高了醫(yī)生的工作效率,然而大部分方法依然需要人工在圖像處理過(guò)程中進(jìn)行干預(yù)?;谏疃葘W(xué)習(xí)的自動(dòng)分割方法則實(shí)現(xiàn)了圖像端到端的分割,能夠針對(duì)當(dāng)前問(wèn)題從現(xiàn)有數(shù)據(jù)中自動(dòng)學(xué)習(xí)合適的特征表示以識(shí)別子宮肌瘤,速度快且精度高。但是目前應(yīng)用在子宮肌瘤分割中的深度學(xué)習(xí)方法主要是基于2D UNet 及其變體網(wǎng)絡(luò),并基于3D 體積的2D 切片來(lái)執(zhí)行分割任務(wù),沒(méi)有充分考慮器官的空間結(jié)構(gòu)以及利用體積信息,分割精度有待進(jìn)一步提升。
基于目前子宮及子宮肌瘤MRI圖像自動(dòng)分割方法,提出了未來(lái)可能的發(fā)展方向。
(1)3D 卷積可以充分利用MRI 圖像的體積信息以提高網(wǎng)絡(luò)的分割性能,將3D 深度學(xué)習(xí)模型應(yīng)用于子宮肌瘤分割是未來(lái)一個(gè)值得研究的方向。
(2)就圖像預(yù)處理和后處理而言,傳統(tǒng)分割方法具有簡(jiǎn)單高效的特點(diǎn),因此將傳統(tǒng)分割方法與深度學(xué)習(xí)方法相結(jié)合會(huì)有一個(gè)很好的發(fā)展前景。
(3)目前用于子宮肌瘤分割的深度學(xué)習(xí)模型都是基于有監(jiān)督學(xué)習(xí),需要大量帶注釋的醫(yī)學(xué)圖像進(jìn)行訓(xùn)練。未來(lái)半監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)也將會(huì)成為一個(gè)值得研究的方向,這對(duì)于減輕標(biāo)注者的工作量具有重要意義。