基于Concat-UNet 的食管癌腫瘤醫(yī)學(xué)影像分割研究

劉文，亓文霞，仲?lài)?guó)強(qiáng)，王佳佳，王大寒

（1.中國(guó)海洋大學(xué) 信息科學(xué)與工程學(xué)部，山東 青島 266100；2.德州市人民醫(yī)院 腫瘤科，山東 德州 253000；3.廈門(mén)理工學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，福建 廈門(mén) 361024）

0 概述

我國(guó)是世界上食管癌病死率較高的國(guó)家，其發(fā)病率在各類(lèi)腫瘤中居第3位，病死率居第4位［1-2］。食管癌在我國(guó)不同地區(qū)的發(fā)病率有明顯差異，受某些誘導(dǎo)因素的影響，有高發(fā)病率地區(qū)和低發(fā)病率地區(qū)。因此，對(duì)高發(fā)病區(qū)域進(jìn)行食管癌腫瘤的篩查診斷是非常有效的防控手段［3］。

食管癌的診治是醫(yī)生借助電子計(jì)算機(jī)斷層掃描（CT）、核磁共振成像（MRI）等技術(shù)對(duì)生成的醫(yī)學(xué)影像進(jìn)行分析。由于人工閱片的工作量非常龐大，因此醫(yī)生可能會(huì)因長(zhǎng)時(shí)間閱片產(chǎn)生疲勞感，影響對(duì)病灶的判斷，增大漏診、誤診的風(fēng)險(xiǎn)。此外，疾病的檢出率很大程度上依賴(lài)于影像科醫(yī)生的主觀經(jīng)驗(yàn)，易受本人生理、心理等狀態(tài)的影響，存在一定的診斷偏差，從而影響診斷結(jié)果的準(zhǔn)確性［4-6］。因此，根據(jù)食管癌醫(yī)學(xué)影像進(jìn)行腫瘤檢測(cè)和準(zhǔn)確分割，是進(jìn)行病灶切除手術(shù)的前提，同時(shí)深度學(xué)習(xí)自動(dòng)化處理方式也對(duì)輔助醫(yī)生診斷治療有重要意義。

近年來(lái)，基于深度學(xué)習(xí)的醫(yī)學(xué)影像分析在醫(yī)療領(lǐng)域取得了一定的成果，在自動(dòng)識(shí)別可疑病灶、對(duì)病灶進(jìn)行量化診斷等方面取得新進(jìn)展［6］。但是，受數(shù)據(jù)集大小以及數(shù)據(jù)標(biāo)注準(zhǔn)確性等因素的影響，現(xiàn)有研究往往將肺癌、乳腺癌等常見(jiàn)癌癥作為檢測(cè)目標(biāo)。然而，采用深度學(xué)習(xí)診斷腫瘤的方式并不具有跨病種的泛化能力，即對(duì)某一疾病診斷效果好的深度學(xué)習(xí)網(wǎng)絡(luò)通常不適用于其他疾病。因此，研究人員嘗試對(duì)傳統(tǒng)腫瘤檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn)，以適用于診斷新的疾病。

本文設(shè)計(jì)基于U-Net 的圖像分割網(wǎng)絡(luò)，以精準(zhǔn)分割食管癌腫瘤。通過(guò)構(gòu)建Conv_concat 模塊，并引入2 個(gè)跳躍連接，增強(qiáng)圖像特征信息的傳遞性，在Conv_concat 模塊的每一個(gè)卷積層后都增加批量歸一化（Batch Normalization，BN）層［7］，提升網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性。在此基礎(chǔ)上，結(jié)合BCEWithLogits 和Dice損失函數(shù)的優(yōu)點(diǎn)，改進(jìn)網(wǎng)絡(luò)的損失函數(shù)，從而提高訓(xùn)練效率和分割準(zhǔn)確率。

1 相關(guān)工作

1.1 圖像分割網(wǎng)絡(luò)

圖像分割技術(shù)是能夠精確地把腫瘤從影像中分割出。早期，醫(yī)學(xué)圖像分割方法主要有基于邊緣的圖像分割［8］、基于區(qū)域的圖像分割等［9］。之后，研究人員提出基于圖論的圖像分割方法，將目標(biāo)圖像映射為帶權(quán)的無(wú)向圖，進(jìn)而把圖像分割問(wèn)題轉(zhuǎn)換為圖的最小割（MIN-CUT）問(wèn)題，因此只需保證子圖間的相似度最小，而內(nèi)部的相似度最大即可［10-12］。

為了對(duì)存在不確定性或模糊性的圖像進(jìn)行準(zhǔn)確分割，研究人員將機(jī)器學(xué)習(xí)中的聚類(lèi)方法應(yīng)用于圖像分割問(wèn)題，產(chǎn)生了一系列基于像素聚類(lèi)的分割算法，例如，k 均值聚類(lèi)算法［13］、譜聚類(lèi)［14］、均值漂移［15］以及用于超像素聚類(lèi)的簡(jiǎn)單線性迭代聚類(lèi)算法［16］等。這種特征空間聚類(lèi)法在一定程度上滿足了研究人員對(duì)圖像分割的需求。文獻(xiàn)［17］提出一種基于k均值聚類(lèi)的圖像分割算法，并進(jìn)行腦部核磁共振圖像的分割，能較準(zhǔn)確地分割出腦部核磁共振成像中的灰質(zhì)和白質(zhì)，噪聲和灰度不均勻的圖像上也能在較短的時(shí)間內(nèi)得到更準(zhǔn)確的結(jié)果。文獻(xiàn)［18］提出使用核函數(shù)將原始數(shù)據(jù)從低維空間映射到高維空間，并在高維空間中利用圖割理論對(duì)CT 圖像的肝區(qū)腫瘤進(jìn)行分割，提取疑似腫瘤區(qū)域，以解決傳統(tǒng)圖割模型依賴(lài)人機(jī)交互且對(duì)復(fù)雜區(qū)域建模困難等問(wèn)題。但是，對(duì)于圖像內(nèi)部結(jié)構(gòu)復(fù)雜的物體，僅通過(guò)圖像像素點(diǎn)的顏色、亮度、紋理等低層次的視覺(jué)特征進(jìn)行圖像分割，實(shí)際效果往往與預(yù)期相差較大。

為了解決這個(gè)問(wèn)題，研究人員結(jié)合圖像中的高層語(yǔ)義信息，使用語(yǔ)義分割來(lái)輔助圖像分割。為實(shí)現(xiàn)圖像像素級(jí)別的分割，研究人員對(duì)圖像的每個(gè)像素進(jìn)行分類(lèi)，使得每個(gè)像素都具有高階的語(yǔ)義信息，從而提高分割的準(zhǔn)確率。LONG［19］等提出全卷積網(wǎng)絡(luò)（FCN），將目標(biāo)識(shí)別網(wǎng)絡(luò)中的全連接層替換成卷積層和池化層，從而把分類(lèi)網(wǎng)絡(luò)轉(zhuǎn)換成能夠進(jìn)行圖像分割的全卷積網(wǎng)絡(luò)，不僅實(shí)現(xiàn)了像素級(jí)的稠密估計(jì)目的，而且能夠進(jìn)行端到端的網(wǎng)絡(luò)訓(xùn)練。TONG［20］提出一種新的分割模型，將形狀表示模型集成到FCN 中以提升CT 圖像器官分割的精度，但是FCN 本身具有一定的局限性，例如感受野太小，無(wú)法獲取全局信息，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)性能受到限制。

針對(duì)這些問(wèn)題，研究人員在FCN 編碼解碼結(jié)構(gòu)的基礎(chǔ)上，對(duì)其局限性做了相應(yīng)的改進(jìn)。RONNEBERGER［21］等提出U-Net 網(wǎng)絡(luò)架構(gòu)對(duì)醫(yī)學(xué)圖像進(jìn)行分割，該網(wǎng)絡(luò)把編碼解碼2 個(gè)過(guò)程設(shè)計(jì)為1 個(gè)對(duì)稱(chēng)的U 型結(jié)構(gòu)，并在不同層之間增加跳躍連接［22］操作，實(shí)現(xiàn)了高維特征與低維特征的融合，使得像素定位更加準(zhǔn)確，分割精度更高。BROSCH［23］等在U-Net 網(wǎng)絡(luò)下采樣的第一層和上采樣的最后一層之間加入跳躍連接操作，在一定程度上提高了分割精度，在分割腦部MRI 中的腦白質(zhì)病灶中取得了較優(yōu)的效果。文獻(xiàn)［24］使用內(nèi)卷U-Net 對(duì)肺部CT 數(shù)據(jù)進(jìn)行分割。內(nèi)卷U-Net 使用內(nèi)卷積代替?zhèn)鹘y(tǒng)的卷積操作，同時(shí)該方法使用注意力機(jī)制學(xué)習(xí)圖像長(zhǎng)范圍的依賴(lài)關(guān)系，以提高圖像分割精度。文獻(xiàn)［25］針對(duì)食管癌的X 射線，通過(guò)U-Net 結(jié)合圖像插值算法處理U-Net 分割輪廓圖小部分不連續(xù)的問(wèn)題。

深度圖像分割網(wǎng)絡(luò)一般都是在FCN 的編碼解碼結(jié)構(gòu)基礎(chǔ)上構(gòu)建的。針對(duì)在FCN 的池化和上采樣過(guò)程中信息丟失的問(wèn)題，CHEN 等在DeepLab 系列［26-28］網(wǎng)絡(luò)中使用空洞卷積，并提出ASPP（Atrous Spatial Pyramid Pooling）模塊，使其在不增加參數(shù)量的前提下擴(kuò)大特征圖的視野，增強(qiáng)對(duì)感受野和分辨率的控制，有利于提取全局信息，提高分割準(zhǔn)確率。LIU等［29］基于池化的全局特征，利用ParseNet實(shí)現(xiàn)全局特征與局部特征融合的圖像分割，從而提高分割精度。BADRINARAYANAN等［30］提出SegNet 網(wǎng)絡(luò)，通過(guò)引入池化層索引來(lái)提高分割精度。SegNet 和FCN 的原理相似，不同之處在于解碼器使用從編碼器傳輸?shù)膶?duì)應(yīng)位置最大池化層，對(duì)其輸入進(jìn)行非線性上采樣，從而使得上采樣不需要學(xué)習(xí)即可生成稀疏特征映射，通過(guò)可訓(xùn)練的卷積核進(jìn)行卷積操作，以生成密集的特征圖，最后使用Softmax 進(jìn)行像素級(jí)別分類(lèi)。ROMER等［31］提出輕量級(jí)的語(yǔ)義分割網(wǎng)絡(luò)ERFNet，ERFNet 一方面使用了1×1 的卷積核減少網(wǎng)絡(luò)計(jì)算參數(shù)量，從而加快網(wǎng)絡(luò)速度，另一方面采用與ResNet［32］主干網(wǎng)絡(luò)相同的殘差連接方式提升模型精度。

1.2 U-Net 網(wǎng)絡(luò)

在醫(yī)學(xué)圖像分割領(lǐng)域中，U-Net 網(wǎng)絡(luò)具有較高的訓(xùn)練效率以及能夠適用少量訓(xùn)練樣本的特征，備受研究人員的關(guān)注。U-Net 的設(shè)計(jì)主要針對(duì)醫(yī)學(xué)影像的分割，其網(wǎng)絡(luò)結(jié)構(gòu)與FCN 類(lèi)似。在FCN 編碼解碼結(jié)構(gòu)的基礎(chǔ)上，U-Net 網(wǎng)絡(luò)將原來(lái)的直線型網(wǎng)絡(luò)結(jié)構(gòu)變成了一個(gè)對(duì)稱(chēng)的U 型結(jié)構(gòu)，只需要較小的數(shù)據(jù)集就可以完成精準(zhǔn)的圖像分割。在U-Net 網(wǎng)絡(luò)中還增加跳躍連接結(jié)構(gòu)，實(shí)現(xiàn)了圖像的低層信息與高層信息在特征提取過(guò)程中的融合，從而提高分割精度。U-Net 包括編碼結(jié)構(gòu)、解碼結(jié)構(gòu)和跳躍連接結(jié)構(gòu)。

U-Net 的編碼結(jié)構(gòu)實(shí)現(xiàn)了圖像特征的提取，該結(jié)構(gòu)由2 種操作重復(fù)疊加組成：1）卷積操作，由2 個(gè)連續(xù)的卷積塊構(gòu)成，每個(gè)卷積層的后面都要經(jīng)過(guò)修正線性單元ReLU［33］激活層，用于提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性；2）最大池化操作，能夠降低空間分辨率，提取抽象的高維特征，以提升網(wǎng)絡(luò)的魯棒性。U-Net 的解碼結(jié)構(gòu)與編碼結(jié)構(gòu)相對(duì)應(yīng)，也包含卷積操作和上采樣操作，采用ConvTranspose［23］方法進(jìn)行上采樣，通過(guò)2×2 的反卷積逐步恢復(fù)圖像的分辨率，最終輸出分割結(jié)果的熱力圖。

U-Net 通過(guò)在編碼與解碼之間增加跳躍連接，對(duì)FCN 進(jìn)行改進(jìn)，將編碼結(jié)構(gòu)每一層產(chǎn)生的特征圖融合到解碼結(jié)構(gòu)對(duì)應(yīng)層的上采樣過(guò)程中，實(shí)現(xiàn)低層信息與高層信息的融合。在融合過(guò)程中，編碼結(jié)構(gòu)的卷積操作會(huì)導(dǎo)致邊界像素丟失。因此，U-Net 融合2 個(gè)特征圖的大小并不相同，對(duì)編碼結(jié)構(gòu)的特征圖進(jìn)行裁剪，再進(jìn)行拼接。由于每次融合前都要先進(jìn)行裁剪，因此最后輸出圖像的大小比原圖小很多。但是由于增加了跳躍連接操作，因此圖像的分割精度得到顯著提高。

2 本文方法

本文以U-Net 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，通過(guò)改進(jìn)卷積塊、損失函數(shù)，加入早停機(jī)制等方法構(gòu)建適用于食管癌腫瘤分割的Concat-UNet 網(wǎng)絡(luò)。

與U-Net 網(wǎng)絡(luò)類(lèi)似，Concat-UNet 網(wǎng)絡(luò)也包含編碼、解碼和跳躍連接3 種主要結(jié)構(gòu)。Concat-UNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。編碼結(jié)構(gòu)包含Conv_concat 模塊和最大池化層，Conv_concat 可以有效融合特征，最大池化層通過(guò)保留有效特征，丟棄不明顯的特征來(lái)實(shí)現(xiàn)下采樣。解碼結(jié)構(gòu)包含Conv_concat 模塊和上采樣，使用與U-Net 相同的上采樣方法恢復(fù)圖片的分辨率，彌補(bǔ)在池化過(guò)程中丟失的細(xì)節(jié)信息，1×1卷積會(huì)根據(jù)分類(lèi)需求對(duì)圖片中的像素進(jìn)行分類(lèi)，以得到最終的結(jié)果。

圖1 Concat-UNet 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of Concat-UNet network

2.1 Conv_concat 模塊

Concat-UNet 通過(guò)改進(jìn)U-Net 的卷積塊，構(gòu)建新的Conv_concat 模塊。改進(jìn)后的卷積Conv_concat 模塊結(jié)構(gòu)如圖2 所示。U-Net 網(wǎng)絡(luò)中的卷積塊結(jié)構(gòu)如圖3 所示。

圖2 改進(jìn)的Conv_concat 模塊結(jié)構(gòu)Fig.2 Structure of improved Conv_concat module

圖3 U-Net 網(wǎng)絡(luò)中的卷積塊結(jié)構(gòu)Fig.3 Structure of convolution block in U-Net network

從圖2 和圖3 可以看出，相較于原始U-Net 網(wǎng)絡(luò)的卷積塊，Conv_concat 模塊做了2 個(gè)方面的改進(jìn)：1）將每次卷積產(chǎn)生的特征圖與最初輸入Conv_concat模塊的特征圖進(jìn)行融合，并將融合結(jié)果作為下一次卷積的輸入，這種改進(jìn)方法增強(qiáng)了特征的傳遞性，在訓(xùn)練過(guò)程減少圖像特征損失，從而提高分割精度，但是卷積操作會(huì)損失圖像邊緣信息，導(dǎo)致卷積前后圖像大小不一致，因此為了使Conv_concat 模塊中卷積前后的特征圖相融合，在卷積前先對(duì)特征圖進(jìn)行邊緣填充，以保證卷積前后特征圖分辨率的一致性，從而解決U-Net 最終輸出圖片比原圖片小的問(wèn)題；2）Conv_concat 模塊在每一個(gè)卷積層后面都增加了一個(gè)批量歸一化層，BN 的主要作用是把每批次中的數(shù)據(jù)正態(tài)化，從而減少網(wǎng)絡(luò)對(duì)初始化參數(shù)的依賴(lài)。對(duì)于任意輸入的X=[x1，x2，…，xn]，經(jīng)過(guò)BN 層后會(huì)得到歸一化的XBN=[y1，y2，…，yn]，其中，xi為X中的原始數(shù)據(jù)，yi為X中經(jīng)過(guò)BN 層歸一化后的數(shù)據(jù)，n為訓(xùn)練X中的圖像數(shù)量。

為了避免網(wǎng)絡(luò)優(yōu)化受特征分布的影響，網(wǎng)絡(luò)還需要對(duì)正態(tài)化后的數(shù)據(jù)x*進(jìn)行反變換，即通過(guò)偏移以及尺度縮放將其變回原始的分布狀態(tài)。反變換如式（1）所示：

其中：γi為方差；βi為均值。γi和βi都是可學(xué)習(xí)的參數(shù)。

為提高網(wǎng)絡(luò)的泛化能力，本文引入早停機(jī)制，通過(guò)找出并保存訓(xùn)練過(guò)程中最優(yōu)的網(wǎng)絡(luò)參數(shù)，無(wú)需反復(fù)訓(xùn)練，從而避免網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象。

早停機(jī)制的示意圖如圖4 所示，當(dāng)Concat-UNet網(wǎng)絡(luò)在訓(xùn)練集上的得分逐漸增大時(shí)，在驗(yàn)證集上的得分反而降低，說(shuō)明該網(wǎng)絡(luò)有發(fā)生過(guò)擬合的趨勢(shì)。當(dāng)Concat-UNet 網(wǎng)絡(luò)連續(xù)P次（P為耐心值，即已經(jīng)等待的次數(shù)）出現(xiàn)此種情況，則應(yīng)引發(fā)早停機(jī)制。若當(dāng)前的得分S>(Smax+d)，S為當(dāng)前得分，Smax為驗(yàn)證集上的最高得分，d為變化的閾值。在圖4 中第40 輪迭代前面的部分，則更新Smax和Vmin（驗(yàn)證集上的最小損失），將P清零并保存該網(wǎng)絡(luò)參數(shù)，繼續(xù)訓(xùn)練下一輪。否則，如圖4 中第40 輪迭代，其他參數(shù)保持不變，P值增大，繼續(xù)訓(xùn)練下一輪。若在P內(nèi)出現(xiàn)更高的得分時(shí)，如圖4 中第65 輪迭代，則更新相關(guān)參數(shù)并保存網(wǎng)絡(luò)，將P值清零，繼續(xù)訓(xùn)練。若在P內(nèi)得分沒(méi)有提高，如圖4 的第80 輪迭代，則引發(fā)早停機(jī)制，Concat-UNet網(wǎng)絡(luò)訓(xùn)練結(jié)束。最終保存的結(jié)果是第80 輪迭代的最優(yōu)網(wǎng)絡(luò)參數(shù)。

圖4 早停機(jī)制示意圖Fig.4 Schematic diagram of early stopping mechanism

2.2 損失函數(shù)

在醫(yī)學(xué)圖像分割領(lǐng)域中，常用的損失函數(shù)有二值交叉熵（Binary Cross Entropy，BCE）、BCEWithLogits、Dice 等，這些損失函數(shù)都各有優(yōu)點(diǎn)和局限性。本文結(jié)合BCEWithLogits 和Dice 損失函數(shù)的優(yōu)點(diǎn)，設(shè)計(jì)新的的損失函數(shù)。

2.2.1 BCEWithLogits 損失函數(shù)

傳統(tǒng)方法使用BCE 損失函數(shù)來(lái)計(jì)算二分類(lèi)交叉熵，要求樣本必須在［0，1］之間，若使用Sigmoid 函數(shù)來(lái)實(shí)現(xiàn)，易導(dǎo)致計(jì)算結(jié)果不穩(wěn)定，并且存在梯度消失的問(wèn)題。針對(duì)該問(wèn)題，本文使用BCEWithLogits 損失函數(shù)，將Sigmoid 函數(shù)和BCE 損失函數(shù)集合到一個(gè)類(lèi)中，使計(jì)算結(jié)果更加穩(wěn)定，有利于梯度的穩(wěn)定回傳，避免出現(xiàn)梯度消失的問(wèn)題。BCEWithLogits 損失函數(shù)如式（2）所示：

其中：xi為訓(xùn)練樣本；yi為對(duì)應(yīng)的樣本標(biāo)簽，yi∈{0，1}，正樣本取值為1，負(fù)樣本取值為0；n為樣本數(shù)量；σ(xi)為Sigmoid 函數(shù)，將x映射到（0，1）的區(qū)間。

該損失函數(shù)會(huì)對(duì)每個(gè)類(lèi)別進(jìn)行平等的評(píng)估，不利于類(lèi)別不平衡分割網(wǎng)絡(luò)的優(yōu)化。前景像素（腫瘤區(qū)域）遠(yuǎn)小于背景像素（非腫瘤區(qū)域），因此背景像素會(huì)在損失函數(shù)中占主導(dǎo)地位，使該網(wǎng)絡(luò)偏向優(yōu)化背景。

2.2.2 Dice 損失函數(shù)

Dice 系數(shù)表征了2 個(gè)樣本重疊部分的情況，取值范圍為［0，1］，取值為1 表示完全重疊。Dice 系數(shù)如式（3）所示：

其中：GGT為標(biāo)簽圖真值；PPR為預(yù)測(cè)圖精確度；|GGT|和|PPR|分別為2 個(gè)樣本各自的元素總數(shù)，相對(duì)于分割任務(wù)就是統(tǒng)計(jì)每個(gè)像素（pixels）。

根據(jù)Dice 系數(shù)，可求得Dice 損失函數(shù)，如式（4）所示：

Dice 損失函數(shù)通過(guò)加大前景區(qū)域的權(quán)重來(lái)避免網(wǎng)絡(luò)陷入損失函數(shù)的局部最小值，即避免發(fā)生過(guò)擬合現(xiàn)象。因此，Dice 損失函數(shù)較適用于樣本極度不平衡的情況。

根據(jù)式（4）可求得Dice 損失函數(shù)關(guān)于PPR的梯度形式為：

當(dāng)GGT和PPR的加和較小時(shí)，梯度值會(huì)發(fā)生劇烈變化，導(dǎo)致訓(xùn)練非常不穩(wěn)定，不利于網(wǎng)絡(luò)的優(yōu)化。盡管Dice 損失函數(shù)解決了類(lèi)別不平衡對(duì)網(wǎng)絡(luò)訓(xùn)練產(chǎn)生干擾的問(wèn)題，但是它有時(shí)會(huì)變得不可信，不利于反向傳播。

基于以上分析可知，BCEWithLogits 和Dice 損失函數(shù)都有優(yōu)點(diǎn)和局限性，因此，BCEWithLogits 和Dice 相結(jié)合的損失函數(shù)如式（6）所示：

其中：λ為0～1 之間的浮點(diǎn)數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證Concat-UNet 網(wǎng)絡(luò)對(duì)食管癌腫瘤進(jìn)行快速精準(zhǔn)分割的有效性，本文在真實(shí)CT 影像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與U-Net、SegNet、U-Net_LI、ERFNet 網(wǎng)絡(luò)在同樣的實(shí)驗(yàn)環(huán)境下進(jìn)行對(duì)比。

3.1 數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集是從醫(yī)院獲取的真實(shí)CT 影像，包含原始數(shù)據(jù)以及醫(yī)生已標(biāo)注的數(shù)據(jù)，數(shù)據(jù)格式為DICOM，切片大小為512×512 像素。為了便于數(shù)據(jù)讀取及網(wǎng)絡(luò)訓(xùn)練，本文需對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理。

食管癌腫瘤大致位于胸部CT 影像的中間部分且所占比例很小，如果直接使用原始大小的CT 影像進(jìn)行訓(xùn)練，網(wǎng)絡(luò)易受類(lèi)別不平衡的干擾，影響模型的訓(xùn)練和最終的分割效果。因此，本文根據(jù)食管癌腫瘤的位置統(tǒng)一將圖片裁剪為256×256 像素，制作標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)簽，數(shù)據(jù)標(biāo)簽同樣為256×256 像素的二值化png 格式的圖片，處理后的圖片只包含食管癌腫瘤區(qū)域和背景區(qū)域，其中，腫瘤區(qū)域的值為1，背景區(qū)域的值為0。最后，將數(shù)據(jù)集劃分為兩部分，一部分用于網(wǎng)絡(luò)的訓(xùn)練，另一部分用于網(wǎng)絡(luò)的測(cè)試，在訓(xùn)練時(shí)按照7∶3 的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集。

3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)使用深度學(xué)習(xí)框架PyTorch在云環(huán)境中進(jìn)行訓(xùn)練，云環(huán)境使用Google 提供的Colaboratory。在訓(xùn)練過(guò)程中為了能夠在模型收斂的情況下得到最優(yōu)的模型，同時(shí)在數(shù)據(jù)量較少的情況下降低過(guò)擬合現(xiàn)象的發(fā)生。在實(shí)驗(yàn)過(guò)程中引入早停機(jī)制，最終的迭代次數(shù)不是人為設(shè)定的而是由驗(yàn)證集上的損失值決定，最大迭代次數(shù)設(shè)置為400。受數(shù)據(jù)集以及實(shí)驗(yàn)環(huán)境的限制，訓(xùn)練過(guò)程中的batch size 大小設(shè)定為6。本文選擇自適應(yīng)參數(shù)的優(yōu)化算法RMSProp，學(xué)習(xí)率初始化為0.05，早停機(jī)制中的耐心值為40。

3.3 評(píng)價(jià)指標(biāo)

醫(yī)學(xué)圖像分割領(lǐng)域有很多評(píng)價(jià)指標(biāo)，它們能夠從不同的角度對(duì)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。針對(duì)食管癌腫瘤的分割，本文將腫瘤區(qū)域視為正樣本，將非腫瘤區(qū)域視為負(fù)樣本，根據(jù)樣例真實(shí)類(lèi)別與預(yù)測(cè)類(lèi)別的組合劃分為真正例（True Positive，TP）、假正例（False Positive，F(xiàn)P）、真反例（True Negative，TN）、假反例（False Negative，F(xiàn)N）。

本文采用精確率（P）、召回率（R）、F1-Score、Dice 系數(shù)（Dice）作為評(píng)價(jià)指標(biāo)。

1）精確率（P），計(jì)算所有預(yù)測(cè)結(jié)果為正（正樣本被預(yù)測(cè)為正TTP、負(fù)樣本被預(yù)測(cè)為正FFP）的樣本中預(yù)測(cè)正確的概率（正樣本被預(yù)測(cè)為正TTP），如式（7）所示：

在腫瘤分割問(wèn)題中，精確率表征預(yù)測(cè)的腫瘤區(qū)域中真正腫瘤所占的比例。

2）召回率（R），計(jì)算所有預(yù)測(cè)結(jié)果正確（正樣本被預(yù)測(cè)為正TTP、負(fù)樣本被預(yù)測(cè)為負(fù)FFN）的樣本中預(yù)測(cè)為正樣本（正樣本被預(yù)測(cè)為正TTP）的概率，如式（8）所示：

在腫瘤分割問(wèn)題中，召回率表征所有腫瘤區(qū)域中預(yù)測(cè)成功的樣本所占比例。

3）F1-Score，是精確率和召回率的調(diào)和平均數(shù)，如式（9）所示：

精確率主要是預(yù)測(cè)腫瘤區(qū)域中預(yù)測(cè)正確的概率，它是基于預(yù)測(cè)的腫瘤區(qū)域進(jìn)行評(píng)估，而忽略了真正的腫瘤區(qū)域。召回率只關(guān)注真正腫瘤區(qū)域中有多少樣本被正確預(yù)測(cè)出來(lái)，它是基于真正的腫瘤區(qū)域進(jìn)行評(píng)估，忽略了預(yù)測(cè)區(qū)域中預(yù)測(cè)錯(cuò)誤的樣本。因此，精確率和召回率的評(píng)估都不夠全面。在對(duì)腫瘤圖像預(yù)測(cè)時(shí)，精確率和召回率同等重要，F(xiàn)1-Score 既考慮了預(yù)測(cè)的腫瘤區(qū)域，又考慮了真正的腫瘤區(qū)域，評(píng)估結(jié)果比較全面。

4）Dice 系數(shù)，將精確率和召回率相結(jié)合的評(píng)估指標(biāo)。根據(jù)式（3）可知，Dice 系數(shù)既考慮了預(yù)測(cè)的腫瘤區(qū)域，又考慮了真正的腫瘤區(qū)域，評(píng)估結(jié)果比較全面，在實(shí)驗(yàn)過(guò)程中將Dice 系數(shù)作為網(wǎng)絡(luò)評(píng)估指標(biāo)。

3.4 結(jié)果分析

食管癌腫瘤定位的關(guān)鍵是能夠?qū)δ[瘤區(qū)域進(jìn)行精確的分割。為驗(yàn)證Concat-UNet 網(wǎng)絡(luò)的分割效果及腫瘤區(qū)域的定位情況，本文與SegNet、ERFNet、U-Net 以及文獻(xiàn)［25］提出的U-Net_LI 網(wǎng)絡(luò)進(jìn)行對(duì)比，評(píng)估基準(zhǔn)網(wǎng)絡(luò)U-Net 和Concat-UNet 的網(wǎng)絡(luò)性能以及其他網(wǎng)絡(luò)的Dice 系數(shù)、精確率、召回率以及F1-Score。

3.4.1 網(wǎng)絡(luò)性能對(duì)比

為了更直觀地對(duì)比U-Net 網(wǎng)絡(luò)與Concat-UNet網(wǎng)絡(luò)訓(xùn)練時(shí)的性能，本文分別記錄這2 個(gè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中訓(xùn)練集上的損失值和驗(yàn)證集上的得分情況。隨著訓(xùn)練迭代次數(shù)的增大，U-Net 和Concat-UNet 網(wǎng)絡(luò)訓(xùn)練過(guò)程中損失值的對(duì)比如圖5和圖6 所示。

圖5 U-Net 網(wǎng)絡(luò)的損失值Fig.5 Loss values of the U-Net network

圖6 Concat-UNet 網(wǎng)絡(luò)的損失值Fig.6 Loss values of the Concat-UNet network

從圖5 和圖6 可以看出，相比U-Net，Concat-UNet網(wǎng)絡(luò)在訓(xùn)練過(guò)程中曲線下降趨勢(shì)更加平穩(wěn)，說(shuō)明Concat-UNet 更加穩(wěn)定，模型更容易收斂，具有較優(yōu)的數(shù)據(jù)泛化性能。

隨著測(cè)試迭代次數(shù)的增大，U-Net 和Concat-UNet網(wǎng)絡(luò)訓(xùn)練過(guò)程中Dice 系數(shù)的對(duì)比如圖7 和圖8 所示。從圖7和圖8 可以看出，Concat-UNet 的Dice 系數(shù)曲線較U-Net 的Dice 系數(shù)曲線更平穩(wěn)。此外，在訓(xùn)練趨于穩(wěn)定時(shí)對(duì)應(yīng)驗(yàn)證集上的得分較U-Net也有明顯的提高，即網(wǎng)絡(luò)的分割效果有所提升。Concat-UNet 通過(guò)在Conv_concat 模塊中引入2 個(gè)跳躍連接，使數(shù)據(jù)在經(jīng)過(guò)網(wǎng)絡(luò)卷積模塊后丟失更少的有用信息，有利于圖像特征的提取，在一定程度上提高了分割精度，同時(shí)在卷積模塊后引入的BN 層也使網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定。

圖7 U-Net 網(wǎng)絡(luò)的Dice 系數(shù)變化曲線Fig.7 Dice coefficient change curve of the U-Net network

圖8 Concat-UNet 網(wǎng)絡(luò)的Dice 系數(shù)變化曲線Fig.8 Dice coefficient change curve of the Concat-UNet network

3.4.2 腫瘤分割結(jié)果對(duì)比

從測(cè)試集中選取5 張不同的CT 影像，SegNet、ERFNet、U-Net、U-Net_LI、Concat-UNet網(wǎng)絡(luò)對(duì)影像中的腫瘤特征進(jìn)行提取，提取結(jié)果如圖9 所示。圖9（a）是原始的CT 影像經(jīng)過(guò)處理后得到的訓(xùn)練圖像，圖9（b）中的白色位置為腫瘤。從圖9 可以看出，SegNet 對(duì)腫瘤特征的識(shí)別效果較差，這是由于SegNet 在解碼器上采樣過(guò)程中的輸入直接使用了編碼器對(duì)應(yīng)位置的最大池化層輸出，沒(méi)有為網(wǎng)絡(luò)學(xué)習(xí)一個(gè)新的參數(shù)層，而對(duì)于食管癌的CT 圖像，腫瘤區(qū)域與周?chē)鷧^(qū)域的邊界并不明顯，這是造成SegNet分割效果較差的原因。ERFNet 提取效果相對(duì)原始的腫瘤區(qū)域形狀不太貼合，檢測(cè)的腫瘤區(qū)域邊緣不平滑且出現(xiàn)少許鋸齒狀邊緣，并且對(duì)腫瘤的邊緣噪聲更加敏感。U-Net 提取的腫瘤區(qū)域邊緣較為平滑，相對(duì)于原始腫瘤區(qū)域更大，在第3 列的示例中還出現(xiàn)了誤檢的情況，表示U-Net 對(duì)數(shù)據(jù)的泛化性較差。U-Net_LI 網(wǎng)絡(luò)主要解決圖像分割中的輪廓圖小部分不連續(xù)問(wèn)題，能更好地處理腫瘤區(qū)域的邊緣，使得分割的腫瘤邊緣更平滑，但也會(huì)損失細(xì)節(jié)信息。Concat-UNet 網(wǎng)絡(luò)提取的腫瘤區(qū)域與原始腫瘤區(qū)域在形狀和大小上更為貼合，并且在第3 列的示例中相對(duì)于U-Net 不會(huì)出現(xiàn)誤檢的情況。因此，Concat-UNet 在檢測(cè)精確度和準(zhǔn)確度方面要優(yōu)于其他網(wǎng)絡(luò)。

圖9 不同網(wǎng)絡(luò)的腫瘤分割結(jié)果對(duì)比Fig.9 Segmentation results comparison among different networks

3.4.3 評(píng)估結(jié)果對(duì)比

本文在220 個(gè)樣例的數(shù)據(jù)集上對(duì)5 種網(wǎng)絡(luò)均重復(fù)訓(xùn)練5 次，根據(jù)同一測(cè)試集上的測(cè)試結(jié)果保存最優(yōu)的網(wǎng)絡(luò)參數(shù)，然后分別用最優(yōu)的SegNet、ERFNet、U-Net、U-Net_LI、Concat-UNet 網(wǎng)絡(luò)對(duì)同一個(gè)測(cè)試集進(jìn)行腫瘤分割，并計(jì)算5 種網(wǎng)絡(luò)在評(píng)價(jià)指標(biāo)Dice、P、R以及F1-Score 上的均值，評(píng)估結(jié)果如表1 所示。從表1 可以看出，SegNet 召回率最低，表示所有腫瘤區(qū)域中預(yù)測(cè)成功的樣本比例較低。ERFNet 相較于SegNet 具有較優(yōu)的結(jié)果，能較好地權(quán)衡精確率與召回率，但是各項(xiàng)指標(biāo)都低于Concat-UNet。U-Net 網(wǎng)絡(luò)的召回率與精確率相差很大，召回率很高，但精確率很低，這表明U-Net 網(wǎng)絡(luò)的腫瘤提取不夠準(zhǔn)確。U-Net_LI 在精確率上較U-Net 有明顯提升，但效果仍不及Concat-UNet。Concat-UNet網(wǎng)絡(luò)在保證召回率適中的情況下相比U-Net 網(wǎng)絡(luò)精確度提升了11.64 個(gè)百分點(diǎn)，實(shí)現(xiàn)了精確率與召回率的平衡。因此，Concat-UNet 網(wǎng)絡(luò)在綜合評(píng)估指標(biāo)Dice 和F1-Score上也有明顯的提升。綜合4 種評(píng)估結(jié)果，Concat-UNet 網(wǎng)絡(luò)的整體表現(xiàn)優(yōu)于其他網(wǎng)絡(luò)。

表1 不同網(wǎng)絡(luò)的評(píng)估指標(biāo)對(duì)比Table 1 Evaluation indexs comparison among different networks %

3.4.4 腫瘤區(qū)域的精準(zhǔn)分割

為了更直觀地看出食管癌腫瘤在CT 影像上的位置，本文對(duì)Concat-UNet 網(wǎng)絡(luò)預(yù)測(cè)后的二值化圖片進(jìn)行處理，通過(guò)輪廓提取與標(biāo)注完成CT 影像上食管癌腫瘤的分割任務(wù)。Concat-UNet網(wǎng)絡(luò)的腫瘤分割可視化結(jié)果如圖10所示。從圖10可以看出，Concat-UNet網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對(duì)腫瘤區(qū)域的精準(zhǔn)分割。

圖10 Concat-UNet 腫瘤分割的可視化結(jié)果Fig.10 Visualization results of Concat-UNet tumor segmentation

3.4.5 不同損失函數(shù)的影響

本文采用的損失函數(shù)L=λ×LBCEWithLogits+(1-λ)×LDice（λ=0.6）。在BCE 的基礎(chǔ)上，增加了一定比例的Dice 損失函數(shù)，緩解了樣本不均衡對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，但是Dice 損失函數(shù)容易使訓(xùn)練不穩(wěn)定。因此，本文探究Dice 損失函數(shù)的比例對(duì)評(píng)估結(jié)果的影響。

在Concat-UNet網(wǎng)絡(luò)上分別進(jìn)行4 組實(shí)驗(yàn)，將每組實(shí)驗(yàn)中Dice 損失函數(shù)所占的比例逐漸增大，在同一個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，再對(duì)同一個(gè)測(cè)試集進(jìn)行評(píng)估，評(píng)估結(jié)果如表2所示。當(dāng)λ取0.6時(shí)，Concat-UNet網(wǎng)絡(luò)的Dice、P和F1-Score 的值最大，腫瘤分割效果最好。

表2 不同比例的Dice 損失函數(shù)對(duì)Concat-UNet 網(wǎng)絡(luò)評(píng)估結(jié)果的影響Table 2 Influence of different proportions of Dice loss function on evaluation results of Concat-UNet network %

4 結(jié)束語(yǔ)

本文提出圖像分割網(wǎng)絡(luò)Concat-UNet。在卷積塊中引入跳躍連接和批量歸一化層，并改進(jìn)損失函數(shù)，以提高特征學(xué)習(xí)的效率和網(wǎng)絡(luò)的優(yōu)化效果。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)U-Net 網(wǎng)絡(luò)，Concat-UNet 能夠精準(zhǔn)地對(duì)影像中的食管癌腫瘤進(jìn)行分割標(biāo)注，為今后食管癌腫瘤的診斷工作提供一種新的解決方法。下一步將CT 影像切片的2D 圖像改進(jìn)為3D 影像，結(jié)合CT 影像中的3D 空間信息識(shí)別并提取腫瘤區(qū)域。此外，將本文工作應(yīng)用到實(shí)際的醫(yī)學(xué)影像系統(tǒng)中，構(gòu)建CT 影像拍片、標(biāo)注、診斷一體式智能醫(yī)學(xué)影像系統(tǒng)也是下一步的重點(diǎn)研究方向。