謝紫薇,魯大營(yíng),李志琦,孔晨曦,吳 熙,張 俊
(曲阜師范大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,山東 曲阜 273100)
甲狀腺結(jié)節(jié)是一種生長(zhǎng)在甲狀腺內(nèi)的異常腫塊,惡性結(jié)節(jié)是甲狀腺癌的早期癥狀,去年的報(bào)道中指出甲狀腺癌的患病率已升至全球第九位[1]。因?yàn)榧谞钕俳Y(jié)節(jié)患病率的迅速增長(zhǎng)和超聲圖像的低價(jià)、無輻射等特性,超聲圖像被廣泛應(yīng)用于甲狀腺結(jié)節(jié)的檢測(cè)。但是,在甲狀腺的超聲圖像中,甲狀腺結(jié)節(jié)的外形與周圍組織結(jié)構(gòu)相似,且有鈣化點(diǎn)陰影等因素,導(dǎo)致圖像中結(jié)節(jié)部位與背景邊界模糊,精確分割甲狀腺結(jié)節(jié)的難度較大。以往的手動(dòng)分割方式過于依賴醫(yī)生們的狀態(tài)和閱歷,主觀性過強(qiáng),因此,需要一種自動(dòng)分割結(jié)節(jié)的方法輔助醫(yī)生進(jìn)行病情診斷。
甲狀腺結(jié)節(jié)的分割方法主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法。
傳統(tǒng)方法包括利用能夠變形到物體邊界的曲線或曲面獲取結(jié)節(jié)邊緣輪廓的基于活動(dòng)輪廓模型的方法[2-7]、將圖像看作浮雕表面的基于分水嶺變換的方法[8-11]和通過迭代聚合相鄰像素來提取感興趣目標(biāo)區(qū)域的基于區(qū)域的方法[12-13]。Tsantis等人[2]首次將活動(dòng)輪廓模型算法應(yīng)用于甲狀腺超聲結(jié)節(jié)圖像分割,在最后一步使用梯度矢量流描繪結(jié)節(jié)輪廓。后來Chan等人[3]從無邊緣活動(dòng)輪廓的全局分割模型得到了可變背景活動(dòng)輪廓,雖然與無邊緣活動(dòng)輪廓相比圖像分割效果有所提升,但是在有噪聲的圖像中分割結(jié)節(jié)的表現(xiàn)不佳。隨后,Iakovidis等人[4]和Savelonas等人[5]提出的方法都結(jié)合了區(qū)域圖像強(qiáng)度和紋理局部二值模式分布,還有Kollorz等人[7]使用的基于局部邊緣的活動(dòng)輪廓的方法?;顒?dòng)輪廓模型方法的廣泛應(yīng)用主要是由于這些模型能夠提供亞像素精度的靈活閉合曲線,但是它對(duì)于參數(shù)變化敏感且計(jì)算成本高。
Beucher等人[8]首次提出基于分水嶺變換的方法,Kollorz等人[10]和Ponraj等人[11]先后利用電力流域?qū)谞钕俳Y(jié)節(jié)進(jìn)行了分割,分水嶺可以視為一種無監(jiān)督的聚類算法,但是它因圖像噪聲、梯度局部不規(guī)則產(chǎn)生的過度分割問題卻給分割任務(wù)帶來了極大的阻礙。基于區(qū)域的方法是Chang等人[12]首次將區(qū)域增長(zhǎng)作為甲狀腺超聲圖像分割的補(bǔ)充算法,此類方法初始區(qū)域設(shè)置不同,結(jié)果也大不相同,導(dǎo)致無法廣泛使用。Zhao等[13]提出的甲狀腺結(jié)節(jié)圖像分割算法是基于歸一化模型的,同樣不具備擴(kuò)展性。
基于深度學(xué)習(xí)的方法[14-30]在擴(kuò)展性和自動(dòng)化程度等方面相比于傳統(tǒng)方法都有所提高,在近幾年受到研究者們的推崇。Ma等人[15]首次將卷積神經(jīng)網(wǎng)絡(luò)用于分割甲狀腺超聲圖像,將甲狀腺結(jié)節(jié)分割問題當(dāng)作一個(gè)塊分類問題,獲得了不錯(cuò)的分割效果,但是方法復(fù)雜度較高。Li等人[17]提出的8層全卷積模型FCN-TN將Long等人發(fā)表的全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network,F(xiàn)CN)[18]用于甲狀腺結(jié)節(jié)的超聲圖像分割,在甲狀腺圖像上實(shí)現(xiàn)了像素級(jí)的分割,然而會(huì)導(dǎo)致分割效率低和過擬合的問題。在對(duì)圖像分割進(jìn)程具有重要意義的U-Net[19]和U-Net++[20]相繼發(fā)表后,以編碼路徑-跳躍連接-解碼路徑組成的U型結(jié)構(gòu)為基礎(chǔ)架構(gòu)的方法層出不窮,比如王波等人[21]、何穎等人[22]和Kumar等人[23]的模型,U-Net在FCN的基礎(chǔ)上實(shí)現(xiàn)了端到端的分割,U-Net++在它的基礎(chǔ)上使用密集連接將來自編碼端的淺層低級(jí)語義和解碼端的深度語義更緊密的結(jié)合。但是上述模型中的卷積操作對(duì)小體積的結(jié)節(jié)分割能力有限,Wu等人[24]受空洞卷積[25]和Chen等人[26]的啟發(fā),結(jié)合空洞空間卷積池化金字塔技術(shù)對(duì)甲狀腺進(jìn)行分割,模型分割的準(zhǔn)確性得到一定提升。
隨著Attention U-Net模型[27]的出現(xiàn),注意力機(jī)制走進(jìn)研究者們的視野。Attention U-Net[27]引入注意力門結(jié)構(gòu),上一級(jí)的特征通過下一級(jí)的特征來監(jiān)督,隨著模型訓(xùn)練次數(shù)的增加,限制圖像中背景部分的激活值。PSANet(Point-wise Spatial Attention Network)[28]在特征映射方面是將各個(gè)位置與其他每個(gè)位置都建立聯(lián)系幫助預(yù)測(cè)自己,導(dǎo)致計(jì)算量過大。壓縮和激勵(lì)網(wǎng)絡(luò)(Squeeze-and-Excitation Networks,SENet)[29]則從特征之間的依賴關(guān)系入手以改進(jìn)U型結(jié)構(gòu)模型,調(diào)整通道特征的權(quán)重,提高了分割模型對(duì)于通道域特征的敏感程度,但是SENet[29]是先降維再映射到高維度,一定程度上破壞了權(quán)重和通道的相應(yīng)關(guān)系,計(jì)算速度也會(huì)下降,Wang等人提出的輕量級(jí)通道注意力ECANet[30]的改進(jìn)緩解了這一問題。Dual attention network(DANet)[31]結(jié)合空間注意力與通道注意力,從兩種維度上提取了像素之間的依賴關(guān)系,最后將兩者的結(jié)果整合得到最終結(jié)果,但是矩陣計(jì)算多,復(fù)雜度高。
鑒于以上的問題,該文提出了一種用于甲狀腺超聲圖像的結(jié)節(jié)分割方法,稱為DCA-UNet++(Dilated convolution and efficient Channel Attention UNet++),主要貢獻(xiàn)如下:(1)采用擴(kuò)張卷積(Dilated Convolution,DC)模塊,在不降低分辨率的情況下提高模型獲取上下文信息的能力,全面準(zhǔn)確地分割結(jié)節(jié)區(qū)域;(2)在特征提取階段,構(gòu)建高效通道注意力(Efficient Channel Attention,ECA)模塊,靈活調(diào)節(jié)各通道特征的權(quán)重,增強(qiáng)甲狀腺圖像中結(jié)節(jié)區(qū)域的有益信息提取,遏抑非結(jié)節(jié)(背景)區(qū)域的無益信息提??;(3)設(shè)計(jì)混合雙損失函數(shù)保障模型的收斂性能,提升分割準(zhǔn)確度,并在公開的DDTI(Digital Database Thyroid Image)數(shù)據(jù)集上進(jìn)行訓(xùn)練測(cè)試并與其他先進(jìn)方法進(jìn)行對(duì)比,驗(yàn)證該模型提升了甲狀腺結(jié)節(jié)分割精度。
在整個(gè)甲狀腺部位的超聲圖像中,非結(jié)節(jié)區(qū)域占比遠(yuǎn)大于結(jié)節(jié)區(qū)域,且非結(jié)節(jié)區(qū)域與結(jié)節(jié)區(qū)域彼此粘連,由此出現(xiàn)了結(jié)節(jié)輪廓形態(tài)分割不準(zhǔn)確和背景像素過多的類不均衡問題。為緩解上述問題,該文提出了DCA-UNet++方法,DCA-UNet++整體架構(gòu)如圖1所示,基礎(chǔ)架構(gòu)由多個(gè)密集連接的編碼部分(正方形)、跳躍連接、解碼部分(圓形)組成。不同的是,DCA-UNet++模型在編碼部分不僅包括卷積層(連續(xù)2組3×3的2D卷積)、批標(biāo)準(zhǔn)化(Batch Normalization,BN)、修正線性單元(Rectified Linear Unit,ReLU)激活函數(shù)、下采樣,還包括擴(kuò)張卷積模塊和高效通道注意力模塊。
圖1 DCA-UNet++整體結(jié)構(gòu)
考慮到甲狀腺超聲圖像中甲狀腺結(jié)節(jié)所占區(qū)域較小、位置不確定,再加上語義分割模型在深層提取語義信息時(shí)池化操作損失的分辨率在后續(xù)解碼階段很難完全恢復(fù),該文在DCA-UNet++模型的深層處采取擴(kuò)張卷積模塊(DC模塊),結(jié)構(gòu)如圖2所示,其中包括兩部分,分別由3×3卷積、BN、ReLU函數(shù)和擴(kuò)張率為2的擴(kuò)張卷積、BN、ReLU函數(shù)組成。該模塊在保持分辨率的基礎(chǔ)上增大感受野,捕獲有關(guān)甲狀腺結(jié)節(jié)更豐富的上下文信息,精確定位結(jié)節(jié)所在位置。
圖2 DC模塊結(jié)構(gòu)
擴(kuò)張卷積,又名空洞卷積,它引入了一個(gè)超參數(shù)擴(kuò)張率l,該參數(shù)定義了卷積核在處理數(shù)據(jù)時(shí)各值的間距,在標(biāo)準(zhǔn)的卷積操作中l(wèi)=1。文中具體的擴(kuò)張卷積操作定義為:
式中,O是輸出特征,x、y表示特征點(diǎn)的位置,N是卷積核數(shù),i、j表示卷積核的位置,I是輸入特征,F(xiàn)表示卷積。
圖3的(a)(b)分別表示l=1、2的擴(kuò)張卷積,其中白色圓點(diǎn)是卷積核,黑色部分是對(duì)應(yīng)的感受野范圍。可以看出,擴(kuò)張卷積在保持卷積核數(shù)量不變的同時(shí),感受野增大。這樣可以在不犧牲甲狀腺圖像信息的前提下,保留空間層面的結(jié)節(jié)特征,提升DCA-UNet++識(shí)別并分割小區(qū)域結(jié)節(jié)的效果。
圖3 擴(kuò)張卷積感受野示意圖
以擴(kuò)張卷積模塊增加DCA-UNet++的感受野,是在空間維度融合了更多甲狀腺結(jié)節(jié)的特征。但是通道維度的特征仍然是以同等的重要性在DCA-UNet++中提取傳遞,其中也包括甲狀腺超聲圖像中非結(jié)節(jié)區(qū)域的特征,即背景區(qū)域的有害信息。為使DCA-UNet++在特征提取階段更關(guān)注于結(jié)節(jié)區(qū)域的通道維度特征,在編碼階段構(gòu)建高效通道注意力模塊(ECA模塊)來分配通道權(quán)重。
當(dāng)甲狀腺圖像經(jīng)過卷積層后,會(huì)產(chǎn)生與卷積核數(shù)對(duì)應(yīng)數(shù)量的通道,每個(gè)通道分別存儲(chǔ)著不同的特征,調(diào)整各個(gè)通道之間的重要程度以保障有益信息的傳遞至關(guān)重要。這項(xiàng)工作由Hu等人首度關(guān)注,Hu等人提出的SE塊結(jié)構(gòu)[27]如圖4(a)所示,SE塊分為壓縮和激勵(lì)兩個(gè)階段。在壓縮階段,輸入特征圖經(jīng)過全局平均池化得到維度是R1×1×C的輸出特征圖;接著在激勵(lì)階段經(jīng)過圖5(a)所示的兩個(gè)不同全連接層,兩個(gè)全連接層的輸出特征圖維度分別是R1×1×C/r(r是降維系數(shù))和R1×1×C,在此過程中完成了先降維后升維的操作;再經(jīng)過Sigmoid激活函數(shù)得到特征描述符,維度為R1×1×C,將其與輸入特征圖進(jìn)行矩陣相乘得到最終輸出特征圖。
圖4 SE塊和ECA模塊結(jié)構(gòu)
圖5 全連接層和局部通道交互結(jié)構(gòu)
SE塊中的降維操作會(huì)破壞權(quán)重值和通道的直接對(duì)應(yīng)關(guān)系,而且通道間的全局交互降低分割效率。為了解決上述問題,ECA模塊在SE塊的基礎(chǔ)上進(jìn)行改進(jìn),結(jié)構(gòu)如圖4(b)所示,H、W、C分別表示輸入特征圖的高、寬和通道數(shù)。原理是輸入特征圖經(jīng)過全局平均池化得到維度是R1×1×C的輸出特征圖;接著通過局部跨通道交互得到維度為R1×1×C的輸出特征圖;再經(jīng)過Sigmoid激活函數(shù)得到維度為R1×1×C的通道特征權(quán)重分配,將其與原輸入特征圖進(jìn)行矩陣相乘得到下一層加權(quán)的輸入特征圖,完成對(duì)甲狀腺圖像通道層面特征的重新標(biāo)定。
ECA模塊中最關(guān)鍵的是局部跨通道交互操作,其結(jié)構(gòu)如圖5(b)所示。顧名思義局部跨通道交互是指該通道與自己相近的部分通道顯式地建立依賴關(guān)系,其中建立依賴的通道數(shù)用λ表示,即通道xi的權(quán)重僅由其與λ個(gè)“鄰居”決定,計(jì)算公式如(2)所示:
(2)
為了使局部通道交互更加高效,令所有信道共享相同的學(xué)習(xí)參數(shù)。這樣該局部通道交互操作可視為具有超參數(shù)λ大小的卷積核的快速一維卷積,卷積核λ的大小由公式(3)自適應(yīng)確定,其中|P|odd是指最接近P的奇數(shù),α和γ是需要被設(shè)定的系數(shù),該文分別將其設(shè)定為1和2。維度為R1×1×C的通道特征權(quán)重分配經(jīng)公式(4)取得,其中C1D指的是一維卷積,σ是Sigmoid激活函數(shù)。
(3)
ω=σ(C1Dλ(x))
(4)
一方面,ECA模塊使用局部跨通道交互減少參數(shù)量,幾乎沒有給DCA-UNet++增加多余計(jì)算量。表1是相同條件下ECA模塊與其他注意力模塊的參數(shù)量比較。另一方面,ECA模塊免除降維,維護(hù)了甲狀腺圖像中權(quán)重值和通道之間的直接對(duì)應(yīng)關(guān)系,有效提取并保留了通道維度的特征。最后,在編碼部分的每一步都加入ECA模塊,兼顧了低層特征和高層特征通道層次的提取,給結(jié)節(jié)特征分配更大權(quán)重,自適應(yīng)扼制了甲狀腺超聲圖像中非結(jié)節(jié)區(qū)域有害信息的提取傳遞,促進(jìn)DCA-UNet++更關(guān)注于結(jié)節(jié)區(qū)域的信息。
表1 不同注意力模塊參數(shù)量的比較
甲狀腺結(jié)節(jié)的語義分割實(shí)際上是將超聲圖像中的像素逐個(gè)分類,這類問題常使用交叉熵?fù)p失函數(shù)(Cross Entropy Loss),但是在甲狀腺超聲圖像中結(jié)節(jié)所占部分較少,背景(非結(jié)節(jié)區(qū)域)像素過多,所以存在正負(fù)類不均衡的問題。該文在交叉熵?fù)p失函數(shù)的基礎(chǔ)上混合使用Dice損失函數(shù)(Dice Loss)來緩解此問題。交叉熵?fù)p失函數(shù)的公式為:
(5)
式中,n表示像素點(diǎn)數(shù)量,p(x)表示實(shí)際輸出概率值,q(x)表示專家標(biāo)簽概率值。Dice損失函數(shù)的公式為:
(6)
式中,n表示像素點(diǎn)數(shù)量,λ表示分類類別數(shù)量,文中設(shè)為2(結(jié)節(jié)區(qū)域與非結(jié)節(jié)區(qū)域)。文中將wλ設(shè)為1/λ,p(x)表示實(shí)際輸出概率值,q(x)表示專家標(biāo)簽概率值。最終損失函數(shù)是LCE和LDice之和。
該文在公開數(shù)據(jù)集DDTI(Digital Database Thyroid Image)上進(jìn)行實(shí)驗(yàn)與分析,該數(shù)據(jù)集包含347張甲狀腺B型超聲圖像,對(duì)應(yīng)于299名甲狀腺疾病患者的病例,其中包括由至少兩名專業(yè)放射科醫(yī)生對(duì)可疑甲狀腺病變的完整注釋和診斷描述,以xml形式保存在數(shù)據(jù)集中。首先,將JPG格式的圖像轉(zhuǎn)為PNG格式,并使用letterbox方法將圖像縮放到同一大小,其次用代碼將xml文件與圖像結(jié)合得到專家標(biāo)簽。再次,將數(shù)據(jù)集以7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。最后,由于數(shù)據(jù)集數(shù)據(jù)量較少,在數(shù)據(jù)集中的圖像進(jìn)入正式訓(xùn)練之前,采用隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)等操作將數(shù)據(jù)集擴(kuò)充至472張圖片及對(duì)應(yīng)的專家標(biāo)簽,其中包括訓(xùn)練集及驗(yàn)證集425張,測(cè)試集47張。
實(shí)驗(yàn)的硬件條件是Windows10系統(tǒng)服務(wù)器,顯卡是NVIDIA Tesla P100-PCIE。實(shí)驗(yàn)環(huán)境是Tensorflow-gpu2.4、Anaconda3.6、pytorch1.8框架。在所有實(shí)驗(yàn)中,輸入圖像大小是560*360,batch size大小為4,模型優(yōu)化器為自適應(yīng)矩估計(jì)[33],初始學(xué)習(xí)率是0.01,設(shè)置每迭代一次學(xué)習(xí)率下降10%,迭代次數(shù)是50。
在實(shí)驗(yàn)中采用召回率Recall、精確率Precision、平均交互比mIou、F1-Score和整體精度OA等性能指標(biāo)對(duì)DCA-UNet++進(jìn)行多方位評(píng)價(jià),其中平均交互比是表示模型分割的結(jié)果和真實(shí)標(biāo)簽的重合部分平均值。下面給出各個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式:
(7)
(8)
(9)
(10)
(11)
公式(9)中,k+1是包含空類在內(nèi)的類別數(shù)。公式(7)~(11)中,TP(True Positive)表示預(yù)測(cè)為結(jié)節(jié)且預(yù)測(cè)正確,TN(True Negative)表示預(yù)測(cè)為非結(jié)節(jié)且預(yù)測(cè)正確,F(xiàn)P(False Positive)表示預(yù)測(cè)為結(jié)節(jié)且預(yù)測(cè)錯(cuò)誤,F(xiàn)N(False Negative)表示預(yù)測(cè)為非結(jié)節(jié)且預(yù)測(cè)錯(cuò)誤。所有指標(biāo)取值范圍都在0~1之間,越靠近1,結(jié)果越好。
3.4.1 各模塊消融實(shí)驗(yàn)
整個(gè)實(shí)驗(yàn)首先利用數(shù)據(jù)集中的訓(xùn)練集進(jìn)行模型訓(xùn)練,驗(yàn)證集評(píng)估模型,之后在測(cè)試集上進(jìn)行測(cè)試,得到最終的分割結(jié)果。DCA-UNet++模型是在U-Net++的基礎(chǔ)上,在編碼部分融合ECA模塊,同時(shí)使用DC模塊,以提升模型性能。為驗(yàn)證ECA模塊和DC卷積模塊對(duì)甲狀腺結(jié)節(jié)分割的影響,將U-Net++、只增加ECA模塊的模型CA-UNet++、添加ECA模塊和DC模塊的模型DCA-UNet++進(jìn)行10-fold交叉驗(yàn)證實(shí)驗(yàn),實(shí)驗(yàn)均采用混合雙損失函數(shù),實(shí)驗(yàn)結(jié)果如表2所示。
表2 ECA模塊與DC模塊對(duì)模型分割性能的影響
在編碼部分添加ECA模塊之后,各個(gè)評(píng)價(jià)指標(biāo)均有所提升,其中mIou和Recall較之U-Net++的對(duì)應(yīng)指標(biāo)分別提升了5.36%和1.06%。由此可以看出,添加ECA模塊的確有利于分割結(jié)節(jié)性能的提升。
添加DC模塊之后,模型的感受野增大,各方面的性能指標(biāo)有所提升。但是其中召回率提高的同時(shí)精確度卻有所下降,其可能原因有二。其一,甲狀腺超聲圖像中往往同時(shí)存在著大結(jié)節(jié)和小結(jié)節(jié),擴(kuò)張卷積的感受野無法兼顧。其二,多個(gè)甲狀腺超聲圖像中存在著多結(jié)節(jié),這種情況下容易出現(xiàn)欠分割的問題,為了彌補(bǔ)以往模型欠分割的表現(xiàn)而看重對(duì)結(jié)節(jié)的查全導(dǎo)致了召回率增大的同時(shí)精確率有所下降。
3.4.2 與其他方法對(duì)比實(shí)驗(yàn)
由于甲狀腺的公開數(shù)據(jù)集不易獲取,限制了其他模型性能評(píng)估的數(shù)據(jù)來源。所以,為了驗(yàn)證文中方法的有效性,在同等環(huán)境配置和同一數(shù)據(jù)集上對(duì)各個(gè)模型進(jìn)行了復(fù)現(xiàn)實(shí)驗(yàn)和指標(biāo)對(duì)比,DCA-UNet++與不同方法的實(shí)驗(yàn)定量結(jié)果對(duì)比如表3所示。
表3 各類方法在DDTI數(shù)據(jù)集上的分割效果對(duì)比
由表3可以看出,與U-Net++相比,DCA-UNet++的mIou增加了6.76%、Recall增加了1.83%、F1-Score增加了0.16%、OA增加了0.39%。而與經(jīng)典模型U-Net相比,DCA-UNet++在mIou、Recall和OA方面分別增長(zhǎng)了2.94%、0.10%、0.02%,而與Attention U-Net模型相比,DCA-UNet++分別增長(zhǎng)了2.01%、0.95%、0.14%。另外,由表中數(shù)據(jù)看出,相較于U-Net和Attention U-Net,U-Net++在少數(shù)方面表現(xiàn)欠佳,是因?yàn)镈DTI數(shù)據(jù)集里因?yàn)榧谞钕俳Y(jié)節(jié)超聲圖像中的噪聲眾多,密集連接的高維計(jì)算使U-Net++網(wǎng)絡(luò)容易受到噪聲的干擾,且雖然U-Net的指標(biāo)不錯(cuò),但是分割結(jié)果有全黑的情況。最后在評(píng)價(jià)指標(biāo)上來看,DCA-UNet++克服了U-Net++的缺點(diǎn)并進(jìn)一步提升了甲狀腺結(jié)節(jié)超聲圖像的分割效果,但是相較于Attention U-Net,DCA-UNet++在精確度和F1-Score方面有所下降,原因可能有二:一是因?yàn)榛€模型U-Net++高維計(jì)算導(dǎo)致結(jié)節(jié)圖像中的噪聲影響增大。二是因?yàn)樵谕粓D像中存在不止一個(gè)大小不一的結(jié)節(jié),為緩解此現(xiàn)象帶來的欠分割問題,加大查全結(jié)節(jié)的力度導(dǎo)致召回率上升而精確度下降,上升幅度小于下降幅度,從而帶來了相較于基線U-Net++模型的性能提升,而較Attention U-Net有一定的下降。
3.4.3 實(shí)驗(yàn)結(jié)果可視化
為了進(jìn)一步直觀驗(yàn)證文中方法的效果,在分割的DDTI甲狀腺結(jié)節(jié)超聲圖像數(shù)據(jù)集中選取4幅與U-Net、Attention U-Net、U-Net++進(jìn)行可視化對(duì)比,4幅圖像有不同的輪廓邊緣、對(duì)比度和結(jié)節(jié)數(shù)量,如圖6所示。其中(a)是原始圖像,(b)是專家標(biāo)注的真實(shí)標(biāo)簽,(c)~(f)分別是U-Net、Attention U-Net、U-Net++和DCA-UNet++(文中方法)的分割結(jié)果。
圖6 各類方法在DDTI數(shù)據(jù)集上的分割效果可視化
第一行的圖像中甲狀腺結(jié)節(jié)輪廓較為明顯,但是圖像中結(jié)節(jié)區(qū)域和非結(jié)節(jié)區(qū)域?qū)Ρ榷鹊?,U-Net模型的結(jié)果顯然低于其他方法,整體上文中方法的結(jié)果是最與專家標(biāo)簽契合的,尤其是結(jié)節(jié)右側(cè)邊緣部分。第二行結(jié)節(jié)輪廓清晰且圖像對(duì)比度高,4種模型都可以較為準(zhǔn)確地分割結(jié)節(jié),但是四周的邊緣部分仍是文中方法最為吻合專家標(biāo)簽,保留了更多細(xì)節(jié)信息。第三行圖像中存在2個(gè)結(jié)節(jié),U-Net和Attention U-Net模型對(duì)于左結(jié)節(jié)、右結(jié)節(jié)有欠分割現(xiàn)象,U-Net++存在漏分割問題,相比之下文中方法分割結(jié)果更完整。第四行圖像中結(jié)節(jié)輪廓不明顯且圖像對(duì)比度低,分割難度大,4種模型表現(xiàn)都欠佳,其中文中方法有效分割范圍最大,準(zhǔn)確率較高。
甲狀腺結(jié)節(jié)是人體中生長(zhǎng)的異常腫塊,常見于成人體內(nèi)。早期的自動(dòng)分割與評(píng)估有助于后續(xù)的診斷和治療,但是結(jié)節(jié)和周圍組織的粘連還有超聲圖像中的陰影噪聲等問題會(huì)影響結(jié)節(jié)的分割。該文提出了一種新的甲狀腺結(jié)節(jié)醫(yī)學(xué)圖像語義分割模型DCA-UNet++,借助擴(kuò)張卷積模塊、ECA模塊和混合雙損失函數(shù)改善了甲狀腺結(jié)節(jié)超聲圖像中由于結(jié)節(jié)區(qū)域小、背景像素噪聲多帶來的分割困難問題。DCA-UNet++在DDTI甲狀腺結(jié)節(jié)B型超聲圖像數(shù)據(jù)集上進(jìn)行了測(cè)試評(píng)估,結(jié)果表明DCA-UNet++與其他方法相比確實(shí)提高了分割結(jié)果的準(zhǔn)確性。但是面對(duì)甲狀腺結(jié)節(jié)超聲圖像中多結(jié)節(jié)的問題,還是存在分割不完整、邊緣不平滑的情況,將來還有必要進(jìn)行更深層次的研究。在接下來的研究工作中,可以使用生成對(duì)抗網(wǎng)絡(luò)GAN來處理甲狀腺結(jié)節(jié)的分割,提高分割的性能和精度。