金海燕,張 錦,王海鵬,肖照林*,王 剛,陳 晶,張 雨,白志明
(1.西安理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,陜西 西安 710048;2.陜西省網(wǎng)絡(luò)計(jì)算與安全技術(shù)重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710048;3.海口市人民醫(yī)院,海南 ???570208;4.海南大學(xué),海南 ???570228)
前列腺增生、前列腺炎、前列腺癌[1]等一直是全世界男性所面臨的常見(jiàn)疾病。前列腺癌臨床檢測(cè)方法包括特異性抗原檢測(cè)(Prostate-Specific Antigen,PSA)、穿刺活檢、前列腺B超和核磁共振成像(Magnetic Resonance Imaging,MRI)[2]檢查等。前列腺疾病的影像分析主要采用核磁共振加權(quán)(T2 Weighted,T2W)成像和彌散加權(quán)成像(Diffusion Weighted Imaging,DWI)兩種, 其中T2W(T2 Weighted)圖像細(xì)節(jié)較為清晰,適合觀察病變組織;而DWI(Diffusion Weighted Imaging)成像邊緣細(xì)節(jié)雖比T2W成像模糊,但更適合觀察正常細(xì)胞和癌細(xì)胞的放射吸收率差別。
針對(duì)核磁共振影像前列腺組織的輪廓線分割問(wèn)題,學(xué)者們提出了多種典型的分割方法。文獻(xiàn)[3]提出將多圖譜分割與橢球形狀先驗(yàn)相結(jié)合,以橢球先驗(yàn)作為前列腺輪廓線的形態(tài)約束條件,從而實(shí)現(xiàn)多圖譜的前列腺輪廓準(zhǔn)確分割。依據(jù)前列腺輪廓包膜組織與周?chē)渌M織的差異,可采用曲線擬合法[4]、微分法[5]等進(jìn)行輪廓線圖像分割。此外,隨著監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)理論的發(fā)展,提出將前列腺圖像逐像素的鄰域提取特征向量,并將特征向量作為神經(jīng)網(wǎng)絡(luò)輸入,從而將前列腺組織分割轉(zhuǎn)化為二分類(lèi)問(wèn)題。針對(duì)T2W成像結(jié)果,提出將目標(biāo)圖像與帶狀掃描數(shù)據(jù)進(jìn)行注冊(cè),并提取注冊(cè)結(jié)果的雙圖譜特征,最終采用模糊C均值聚類(lèi)方法實(shí)現(xiàn)對(duì)前列腺組織過(guò)渡區(qū)與外圍區(qū)的有效分割。上述方法需要對(duì)前列腺組織的特征進(jìn)行向量化描述或顯示建模,其前列腺輪廓線分割結(jié)果的優(yōu)劣依賴(lài)于特征提取的質(zhì)量。
近年來(lái),深度學(xué)習(xí)理論在醫(yī)學(xué)圖像處理領(lǐng)域取得了許多顯著成果。其中,在卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[6]的基礎(chǔ)上,已發(fā)展出了如反卷積網(wǎng)絡(luò)[7]、對(duì)抗生成網(wǎng)絡(luò)[8]、DeepLab網(wǎng)絡(luò)[9]等多種不同的網(wǎng)絡(luò)結(jié)構(gòu)。針對(duì)1.5T和3.0T通量的T2W圖像,文獻(xiàn)[10]提出采用全卷積的U-Net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行前列腺組織分割,并在由40位患者的數(shù)據(jù)集上取得了準(zhǔn)確的輪廓分割結(jié)果。同樣是采用具有編碼器-解碼器結(jié)構(gòu)的U-Net[11]網(wǎng)絡(luò),文獻(xiàn)[12]在U-Net[13]網(wǎng)絡(luò)中加入壓縮-激勵(lì)模塊(Squeeze-and-Excitation blocks),提出了更具泛化性的T2W前列腺組織分割新網(wǎng)絡(luò)。文獻(xiàn)[14]提出采用具有雙向遞歸卷積層的網(wǎng)絡(luò),將MRI(Magnetic Resonance Imaging)圖像中不同切片層間信息作為序列輸入,以補(bǔ)充單個(gè)切片層輪廓線信息的不足,從而提高了對(duì)T2W圖像上前列腺組織的分割精度。文獻(xiàn)[15]提出了一種在DWI中通過(guò)一組全卷積神經(jīng)網(wǎng)絡(luò)全自動(dòng)描繪前列腺和前列腺過(guò)渡區(qū)的算法,在三維DWI體積內(nèi)檢測(cè)包含部分前列腺的切片,并自動(dòng)分割前列腺及其過(guò)渡區(qū),并取得了較高的分割精度。文獻(xiàn)[16]對(duì)MRI切片進(jìn)行激活映射,生成對(duì)應(yīng)的粗概率圖,引入相似度模型對(duì)其細(xì)化,并輸入殘差U-Net網(wǎng)絡(luò)得到更加精準(zhǔn)的前列腺分割結(jié)果。文獻(xiàn)[17]使用非負(fù)矩陣分解精確DWI分割區(qū)域,從分割區(qū)域估計(jì)以表觀擴(kuò)散系數(shù)(ADC)體積形式存在的鑒別特征,并采用遷移學(xué)習(xí)檢測(cè)和識(shí)別前列腺癌。文獻(xiàn)[18]采用Dense UNet網(wǎng)絡(luò)對(duì)MRI序列進(jìn)行訓(xùn)練分割,可以將無(wú)需手動(dòng)分析且獨(dú)立于其他MRI序列的定量成像標(biāo)記,有助于前列腺癌的檢測(cè)和分類(lèi)。文獻(xiàn)[19]提出的MRI兼容性生成對(duì)抗網(wǎng)絡(luò),其多尺度判別器由兩個(gè)結(jié)構(gòu)相同但輸入大小不同的判別器組成,目標(biāo)函數(shù)包含對(duì)抗損失與特征匹配損失,可以使網(wǎng)絡(luò)穩(wěn)定訓(xùn)練并獲得更好的收斂性。
綜上所述,目前針對(duì)前列腺組織T2W圖像的輪廓線分割已有一些相關(guān)研究工作,然而直接在DWI圖像的前列腺輪廓線分割結(jié)果仍研究較少。因此,該文提出采用U-Net網(wǎng)絡(luò)直接對(duì)DWI圖像進(jìn)行前列腺組織輪廓線分割。與現(xiàn)有邊緣分割算法不同,該方法通過(guò)對(duì)輪廓線控制點(diǎn)的特征學(xué)習(xí),實(shí)現(xiàn)對(duì)前列腺組織輪廓線控制點(diǎn)的準(zhǔn)確檢測(cè),進(jìn)而采用曲線保凸擬合方法生成輪廓線分割結(jié)果。由于采用控制點(diǎn)學(xué)習(xí)的策略,該方法在已標(biāo)注的小樣本數(shù)據(jù)集上就可以對(duì)U-Net網(wǎng)絡(luò)進(jìn)行充分訓(xùn)練,且能夠有效應(yīng)對(duì)DWI影像的模糊邊緣問(wèn)題。主要貢獻(xiàn)包括以下兩點(diǎn):
(1)基于醫(yī)生對(duì)前列腺DWI圖像邊緣的標(biāo)注結(jié)果,提出一種輪廓線控制點(diǎn)學(xué)習(xí)樣本的自動(dòng)生成方法。
(2)提出一種對(duì)前列腺組織輪廓控制點(diǎn)的特征學(xué)習(xí)方法。該方法避免從較模糊DWI圖像直接提取邊緣,優(yōu)勢(shì)在于僅需少量前列腺輪廓的已標(biāo)注樣本就可對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,且具有較高的輪廓線提取精度。
針對(duì)DWI圖像的弱梯度變化問(wèn)題,提出一種基于控制點(diǎn)學(xué)習(xí)的前列腺輪廓線檢測(cè)方法,其核心思想是避免直接檢測(cè)邊緣,而將可決定前列腺核體外包絡(luò)形狀的特征點(diǎn)(為了與其他圖像特征點(diǎn)進(jìn)行區(qū)分,下文稱(chēng)之為控制點(diǎn))作為檢測(cè)重點(diǎn)。由此,將模糊邊緣檢測(cè)問(wèn)題轉(zhuǎn)化為對(duì)少量的關(guān)鍵特征點(diǎn)的檢測(cè)問(wèn)題。
與經(jīng)典特征點(diǎn)檢測(cè)算法不同,該文采用神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)方式對(duì)輪廓線控制點(diǎn)進(jìn)行檢測(cè)。臨床醫(yī)生手工標(biāo)注的DWI圖像數(shù)據(jù)采用三通道的RGB文件格式保存。其中,前列腺輪廓線標(biāo)注為紅色,該文以醫(yī)生標(biāo)注結(jié)果為前列腺輪廓的真值圖,即Ground Truth (GT)圖。在真值圖中依據(jù)紅通道標(biāo)注結(jié)果確定前列腺組織輪廓線,其像素集合Q為:
Q={(x,y)|R(x,y)=255}
(1)
其中,R(x,y)代表像素坐標(biāo)(x,y)處紅色通道的值。該文選取Q集合像素點(diǎn)固定比例作為控制點(diǎn)樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練,其數(shù)量用Nr表示。為了控制樣本點(diǎn)間距,采用X方向的均勻采樣方式,間距D計(jì)算如公式(2)。
(2)
式中,xmax和xmin分別是Q集合中像素X坐標(biāo)的最大值和最小值。因此,所選的控制點(diǎn)集合C為:
(3)
控制點(diǎn)生成算法如下所示:
輸入:經(jīng)醫(yī)生手工標(biāo)注的DWI圖像I
輸出:前列腺輪廓控制點(diǎn)集合C
Step1:讀入圖像I,利用式(1)提取醫(yī)生標(biāo)注的前列腺輪廓像素集合Q
Step2:通過(guò)輪廓像素集合Q的數(shù)量,確定控制點(diǎn)樣本數(shù)量Nr
Step3:從Q集合選取像素點(diǎn),得到控制點(diǎn)集合C
Step3.1:通過(guò)集合Q確定其X方向像素的極值xmax與xmin
Step3.2:利用式(2)計(jì)算X方向均勻采樣距離D
Step3.3:在X方向上每次移動(dòng)D提取Y方向前列腺輪廓的上下邊界ytop與ybottom
每張DWI圖像可生成Nr個(gè)控制點(diǎn),當(dāng)已標(biāo)注的DWI圖像為K張時(shí),可學(xué)習(xí)樣本共Nr×k個(gè)控制點(diǎn)。相較于直接學(xué)習(xí)輪廓線的方法,控制點(diǎn)學(xué)習(xí)樣本數(shù)量為其N(xiāo)r倍,且控制點(diǎn)特征相比于輪廓線更為簡(jiǎn)單,故該文的控制點(diǎn)學(xué)習(xí)策略較適合小樣本數(shù)據(jù)集,對(duì)已標(biāo)注的前列腺輪廓線數(shù)據(jù)量要求較低。
(4)
假設(shè)θ存在先驗(yàn)分布g(控制點(diǎn)的特征),則控制點(diǎn)學(xué)習(xí)可認(rèn)為是以下最大后驗(yàn)概率估計(jì)問(wèn)題。
(5)
為了對(duì)C集合的概率分布進(jìn)行量化,以標(biāo)注控制點(diǎn)特征概率擴(kuò)散方式形成量化的可學(xué)習(xí)樣本。因此,任意像素點(diǎn)是輪廓線控制點(diǎn)的概率p(x,y),可看作是控制點(diǎn)集合C中各點(diǎn)的擴(kuò)散結(jié)果。
(6)
其中,γ(p(x,y),pci)為依據(jù)兩點(diǎn)距離的擴(kuò)散衰減函數(shù)。
γ(p(x,y),pci)=(1/a)‖p(x,y)-pci‖2
(7)
其中,a為擴(kuò)散衰減系數(shù)。依據(jù)控制點(diǎn)集合C,采用公式(6)和(7)可計(jì)算已標(biāo)注圖像中所有像素點(diǎn)可作為控制點(diǎn)的概率。由于概率值很小的樣本點(diǎn)沒(méi)有學(xué)習(xí)和參考的意義,因此當(dāng)p(x,y)<0.5時(shí),將p(x,y)概率置為0,由此得到真值圖中控制點(diǎn)的概率圖P。P中概率即為控制點(diǎn)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)輸入及預(yù)期輸出。
對(duì)控制點(diǎn)訓(xùn)練及檢測(cè)方法的總體流程如圖1所示。如表1所示,所用U-Net型卷積神經(jīng)網(wǎng)絡(luò)的卷積層與反卷積層各4層,‘Conv2d’表示二維卷積操作,‘Concat’表示concatenate操作,‘BN’表示batch normalization操作,‘Pool’表示pooling操作。
圖1 文中方法的總體流程示意
表1 前列腺控制點(diǎn)學(xué)習(xí)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)
一組訓(xùn)練數(shù)據(jù)中,包括用于輸入網(wǎng)絡(luò)的原始DWI圖像I,以及被當(dāng)作預(yù)期輸出的控制點(diǎn)概率圖P??紤]到預(yù)測(cè)控制點(diǎn)概率圖P'控制點(diǎn)的概率和分布對(duì)擬合輪廓線較為重要,故設(shè)計(jì)了如下的損失函數(shù)。
L=λ1L1+λ2L2
(8)
L1=(P'(x,y)-P(x,y))m
(9)
式中,損失值L分別由控制點(diǎn)的概率差異損失L1和分布損失L2以及權(quán)重λ1和λ2加權(quán)構(gòu)成,如圖2所示,λ1和λ2由設(shè)置多組參數(shù)系數(shù)進(jìn)行實(shí)驗(yàn)對(duì)比獲得。概率損失L1計(jì)算預(yù)測(cè)控制點(diǎn)與預(yù)期控制點(diǎn)的概率差異,m為概率圖差異的冪次方。 由于公式(7)導(dǎo)致控制點(diǎn)的擴(kuò)散效應(yīng),目標(biāo)點(diǎn)周?chē)袼攸c(diǎn)作為控制點(diǎn)的概率也較高,故將控制點(diǎn)的空間分布也作為損失函數(shù)的計(jì)算項(xiàng)。
圖2 概率差異損失與分布損失的示意
(10)
實(shí)驗(yàn)所使用的數(shù)據(jù)集為海口市人民醫(yī)院泌尿外科醫(yī)生所標(biāo)注的10組臨床前列腺DWI造影數(shù)據(jù)(具體見(jiàn)2.1節(jié))。為了更好地利用已標(biāo)注數(shù)據(jù)集,在訓(xùn)練階段還對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行增強(qiáng)(Data Augmentation),包括垂直翻轉(zhuǎn)、45°旋轉(zhuǎn)和-45°旋轉(zhuǎn)。由此,可將原始數(shù)據(jù)集由400張擴(kuò)充至1 600張,并將該1 600張作為訓(xùn)練數(shù)據(jù)集,額外100張作為測(cè)試數(shù)據(jù)集。網(wǎng)絡(luò)訓(xùn)練階段,該文采用多輪次迭代的隨機(jī)輸入模式訓(xùn)練樣本。每次迭代(Epoch)過(guò)程前,對(duì)樣本再次進(jìn)行隨機(jī)排序。
在輪廓線預(yù)測(cè)階段,對(duì)于任意輸入的DWI圖像,采用上文所述的U-Net卷積網(wǎng)絡(luò)計(jì)算,將會(huì)得到一張預(yù)測(cè)的概率圖P',P'中的每個(gè)像素點(diǎn)值代表該點(diǎn)可作為輪廓線控制點(diǎn)的概率。但是,上述神經(jīng)網(wǎng)絡(luò)模型仍將預(yù)測(cè)出大量候選的控制點(diǎn)。該文采用腐蝕和二值化操作再次縮減候選點(diǎn)數(shù)量,最終使得保留的候選點(diǎn)數(shù)量接近Nr,進(jìn)而利用保凸擬合方法生成最終的輪廓線。
實(shí)驗(yàn)采用??谑腥嗣襻t(yī)院泌尿外科醫(yī)生所標(biāo)注的10組臨床前列腺DWI造影數(shù)據(jù),每組樣本包含8-14位患者的DWI分層核磁共振掃描影像,每位患者DWI數(shù)據(jù)包含40張左右的軸向切片,其中的前列腺輪廓已由醫(yī)生采用圖1的方式手動(dòng)標(biāo)注。數(shù)據(jù)集中DWI圖像分辨率為256×256像素。使用垂直翻轉(zhuǎn)、45°旋轉(zhuǎn)和-45°旋轉(zhuǎn)的方式,將原始數(shù)據(jù)集由400張擴(kuò)充至1 600張,并將該1 600張作為訓(xùn)練數(shù)據(jù)集,額外100張作為測(cè)試數(shù)據(jù)集。
該文采用Python3.7及PyTorch 1.2版本構(gòu)建U-Net深度神經(jīng)網(wǎng)絡(luò)。訓(xùn)練過(guò)程中,為了確保良好的收斂性并降低收斂速度,將初始學(xué)習(xí)率設(shè)置為0.000 5,并逐Epoch遞減為前一次的0.2倍。訓(xùn)練中Batch size設(shè)置為1,采用Adam優(yōu)化器進(jìn)行網(wǎng)絡(luò)優(yōu)化迭代。
為了測(cè)試算法提取前列腺輪廓線結(jié)果的質(zhì)量,實(shí)驗(yàn)分別采用相似性系數(shù)(Dice Similarity Coefficient,DSC)、豪斯多夫距離(Hausdorff Distance,HD)、平均對(duì)稱(chēng)表面距離(Average Symmetric Surface Distance,ASD)三種評(píng)價(jià)指標(biāo)對(duì)結(jié)果進(jìn)行定量評(píng)價(jià)。
在測(cè)試數(shù)據(jù)集上,首先比較采用相同網(wǎng)絡(luò)結(jié)構(gòu)直接提取輪廓線的方法[20]與文中方法,結(jié)果如表2所示。
表2 不同輪廓線檢測(cè)方法的結(jié)果對(duì)比
相較于輪廓線的提取方法,文中方法檢測(cè)輪廓線更為準(zhǔn)確。在訓(xùn)練數(shù)據(jù)集越來(lái)越少的情況下,文中方法的結(jié)果明顯優(yōu)于直接提取輪廓線方法的結(jié)果。這樣證明了所提的檢測(cè)輪廓線控制點(diǎn)策略在小樣本數(shù)據(jù)上優(yōu)于直接檢測(cè)輪廓線的特征。
圖3顯示了多組不同病患DWI原始圖像、醫(yī)生手工標(biāo)注結(jié)果、文中網(wǎng)絡(luò)的輸出結(jié)果及擬合的前列腺輪廓線。從圖3中可以看出,文中方法預(yù)測(cè)的控制點(diǎn)擬合的閉合輪廓線基本覆蓋了前列腺組織,且在不同病患數(shù)據(jù)上的輪廓線擬合效果與醫(yī)生標(biāo)注形狀非常接近。當(dāng)前列腺組織較大且邊緣圓滑時(shí),文中方法檢測(cè)效果較好;當(dāng)前列腺組織較小且邊緣扁平時(shí),檢測(cè)結(jié)果與標(biāo)注結(jié)果存在明顯差異。表3統(tǒng)計(jì)了對(duì)應(yīng)圖3的3種量化評(píng)價(jià)指標(biāo),其中DSC重合率結(jié)果均高于80%.
(a)原始DWI圖像 (b)手工標(biāo)注前列腺輪廓線 (c)網(wǎng)絡(luò)輸出的概率圖 (d)輪廓線擬合結(jié)果圖3 多組不同患者數(shù)據(jù)上的前列腺輪廓線提取結(jié)果
表3 不同病例的前列腺輪廓線檢測(cè)結(jié)果
表4給出了不同分割方法在本數(shù)據(jù)集上的數(shù)值評(píng)價(jià)結(jié)果,對(duì)比方法包括:U-Ne[20]、FCNt[21]、SegNet[22]、ResUNet[23]、ResUNet++[24]、RAUNet[25]、CaraNet[26]、PraNet[27]。由表4的數(shù)值結(jié)果可以看出,其余醫(yī)學(xué)圖像網(wǎng)絡(luò)分割方法雖然也可以分割出DWI前列腺輪廓,但其分割精度仍存在提升空間。文中方法分割的DWI前列腺輪廓在DSC、HD兩個(gè)重要指標(biāo)上均優(yōu)于其它方法,DSC值為85.3%,已達(dá)到MRI分割結(jié)果的較高水平,驗(yàn)證了該方法對(duì)DWI前列腺分割的準(zhǔn)確性.
表4 不同深度學(xué)習(xí)網(wǎng)絡(luò)的前列腺輪廓線檢測(cè)結(jié)果
圖4中6組數(shù)據(jù),分別在同一幅圖像上可視化了文中方法預(yù)測(cè)得到的前列腺組織輪廓線與醫(yī)生手工標(biāo)注輪廓線的差異。
圖4 6張測(cè)試數(shù)據(jù)集的輪廓區(qū)域可視化對(duì)比(淺灰色部分為醫(yī)生標(biāo)注,深灰色部分為文中預(yù)測(cè),白色部分為兩者重疊)
由圖4可見(jiàn),文中方法預(yù)測(cè)的輪廓線與醫(yī)生標(biāo)注的輪廓線具有很高的相似度。為了體現(xiàn)不同輪廓線檢測(cè)方法提取前列腺區(qū)域的差異,在圖5中可視化對(duì)比幾種方法分割出的前列腺形狀。從圖中可以看出,文中方法由DWI圖像提取出的前列腺形狀最接近醫(yī)生手工標(biāo)注的結(jié)果,進(jìn)一步證明了所提方法對(duì)輪廓線控制點(diǎn)檢測(cè)的準(zhǔn)確性。
(a)醫(yī)生標(biāo)注 (b)FCN (c)U-Net (d)SegNet (e)ResUNet (f)ResUNet++ (g)RAUNet (h)CaraNet (i)ParNet (j)文中方法圖5 不同方法檢測(cè)前列腺區(qū)域形狀的對(duì)比結(jié)果
提出了一種基于控制點(diǎn)特征深度學(xué)習(xí)的前列腺組織輪廓線檢測(cè)方法。與現(xiàn)有依據(jù)邊緣直接檢測(cè)輪廓線的方法不同,該文采用U-Net神經(jīng)網(wǎng)絡(luò)檢測(cè)控制點(diǎn),進(jìn)而使用曲線保凸擬合生成最終輪廓線。提出了適合控制點(diǎn)特征學(xué)習(xí)的概率損失與分布損失,將控制點(diǎn)檢測(cè)建模為一個(gè)最大后驗(yàn)概率估計(jì)問(wèn)題,故神經(jīng)網(wǎng)絡(luò)輸出為一張各個(gè)像素點(diǎn)作為輪廓線控制點(diǎn)的概率圖。相較于直接學(xué)習(xí)輪廓線特征,控制點(diǎn)特征學(xué)習(xí)較為簡(jiǎn)單且所需的醫(yī)生標(biāo)注數(shù)據(jù)量較低,故該方法較適合僅具有小樣本標(biāo)注數(shù)據(jù)的任務(wù)。在真實(shí)的臨床病患數(shù)據(jù)集上,采用DSC、HD、AS三種指標(biāo)對(duì)比了多種現(xiàn)有的輪廓線提取方法,結(jié)果表明該方法擬合的前列腺輪廓線更接近與醫(yī)生標(biāo)注的結(jié)果,從而證明了該方法的有效性。 進(jìn)一步而言,在病患前列腺形狀發(fā)生較大變化時(shí),該方法的分割效果有待提升,這反映出該方法較依賴(lài)于醫(yī)生標(biāo)注數(shù)據(jù)集,若考慮更加精準(zhǔn)的控制點(diǎn)擬合曲線方案則可提升分割結(jié)果。此外,目前該方法僅考慮DWI掃描單層圖像上的控制點(diǎn)特征及其二維分布特性,后續(xù)將進(jìn)一步考慮多層DWI圖像中控制點(diǎn)的三維分布,或可進(jìn)一步提高控制點(diǎn)檢測(cè)的精度。