融合U-Net 3+和ACM的醫(yī)學(xué)圖像分割模型

劉國奇 ，宋一帆，蔣 優(yōu)，茹琳媛

(1. 河南師范大學(xué)計算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453007； 2.“教學(xué)資源與教育質(zhì)量評估大數(shù)據(jù)”省工程實驗室，河南 新鄉(xiāng) 453007)

1 引言

醫(yī)學(xué)圖像中的器官和病變位置的自動分割，是臨床研究的重要步驟。準(zhǔn)確的輪廓提取是計算機(jī)輔助診斷在臨床診療中能否提供可靠依據(jù)的關(guān)鍵之一[1，2]。

很多醫(yī)學(xué)圖像都存在灰度不均與和邊緣不清晰的問題，比如皮膚鏡圖像和胸部X光圖像均存在目標(biāo)區(qū)域和非目標(biāo)區(qū)域?qū)Ρ榷鹊?，以及灰度不均勻和邊緣不清晰的問題。皮膚鏡檢查是常用的皮膚病變檢測手段，對于皮膚病變的精確分割可以幫助醫(yī)生快速定位病變區(qū)域。然而皮膚鏡圖像的病變和未病變區(qū)域的對比度低、灰度不均勻、邊緣不清晰和尺度不一致等問題給計算機(jī)輔助診斷帶來了挑戰(zhàn)。此外，胸部X光片是常用的肺部疾病檢測手段[3]。逐漸增高的肺部疾病發(fā)病率，使得精確分割肺部區(qū)域變得更加重要。然而在胸部X光片圖像分割時面臨與上述皮膚鏡圖像相似的問題。

近年來，許多圖像分割算法被提出，活動輪廓模型(Active Contour Model，ACM)是經(jīng)典的圖像分割方法之一，也是目前醫(yī)療圖像分割的常用方法。典型的活動輪廓模型是Chan和Vese[4]提出的模型(Chan-Vese，CV)，它是由輪廓線內(nèi)外兩個區(qū)域像素強(qiáng)度的全局差異驅(qū)動的。該模型對噪聲不敏感，對模糊和具有不連續(xù)邊緣的圖像具有較好的魯棒性。但是該模型對于具有弱邊緣和灰度不均勻圖像的分割效果不理想。

為了解決這一問題，Li等人[5]提出一種基于局部區(qū)域的用于灰度不均勻圖像分割的模型(Local Intensity Clustering Property，LIC)。它利用圖像不均勻的特性定義能量函數(shù)，能同時分割圖像和估計偏置場。但是該模型每次演化都需要估計偏置場，時間復(fù)雜度高，并且對初始輪廓敏感。Huang等人[6]提出一種基于自適應(yīng)尺度參數(shù)的非均勻圖像快速水平集分割方法(Fast Level Set with Adaptive Scale Parameter，F(xiàn)LSAS)，在圖像域內(nèi)推導(dǎo)出最優(yōu)分割平面，并設(shè)計了一種新的自適應(yīng)尺度參數(shù)以準(zhǔn)確估計偏置場，提高了輪廓的演化速度。然而此類模型只考慮了圖像的局部信息，所以這類模型對初始輪廓敏感，而且容易陷入局部極小值。

針對上述模型的問題，Li等人[7]提出距離正則化水平集演化方法(Distance Regularized Level Set Evolution，DRLSE)，能夠保持期望的水平集函數(shù)的形狀，有限差分格式可以使用較大的時間步長來減少迭代次數(shù)，同時保證了足夠的數(shù)值精度。Zhi等人[8]使用顯著性項作為外部能量，提出一種層次結(jié)構(gòu)水平集演化模型(Saliency Driven Region-edge-based Top Down Level Set，SDREL)，增強(qiáng)了模型從復(fù)雜背景中提取目標(biāo)的能力，對初始化不敏感，并且具有較快的收斂速度。但該模型依賴顯著項，受圖像灰度方差的影響較大，難以處理灰度不均勻圖像。Liu等人[9]提出基于全局和局部符號壓力的活動輪廓模型(A Novel Active Contour Model Guided by Global and Local Signed Energy-Based Pressure Force，GLSEPF)，通過計算曲線內(nèi)、外能量的能量差以及局部鄰域內(nèi)逐像素的能量差，可以處理不均勻和有噪聲的圖像。但該模型只考慮了圖像的灰度信息，對于背景較復(fù)雜的自然圖像分割效果不理想。

隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNNs)的發(fā)展，涌現(xiàn)出許多分割模型，使得卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割中得到廣泛應(yīng)用[10，11]。Ronneberger等人[12]提出U-net網(wǎng)絡(luò)結(jié)構(gòu)，在醫(yī)學(xué)圖像分割領(lǐng)域表現(xiàn)優(yōu)秀，許多研究者采用U-net網(wǎng)絡(luò)結(jié)構(gòu)做醫(yī)學(xué)圖像分割[13]，并在U-net網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上進(jìn)行改進(jìn)。Zhou等人[14]提出U-Net++網(wǎng)絡(luò)結(jié)構(gòu)，通過設(shè)計具有嵌套和密集跳躍連接的結(jié)構(gòu)，實現(xiàn)精度提升。然而，它沒有充分利用多尺度中的信息，仍然有很大的改進(jìn)空間。于是，Huang等人[15]提出U-Net 3+網(wǎng)絡(luò)結(jié)構(gòu)，它利用全尺度的跳躍連接和深度監(jiān)督，充分利用多尺度特征從而提高分割精度。

卷積神經(jīng)網(wǎng)絡(luò)對于總體分割結(jié)果有了顯著提升，但網(wǎng)絡(luò)模型訓(xùn)練需要大量數(shù)據(jù)集[16]。并且，這些算法的結(jié)果普遍存在分割邊緣粗糙的問題。雖然使用深度學(xué)習(xí)方法，可以找到目標(biāo)的位置和大致輪廓，但是并不能精確定位一些目標(biāo)的邊緣。對于醫(yī)學(xué)圖像中常見的目標(biāo)弱邊緣和不均勻的問題，神經(jīng)網(wǎng)絡(luò)的方法很難找到精確的目標(biāo)邊界。

針對活動輪廓模型對初始輪廓敏感、在復(fù)雜背景圖像上分割不精確，以及U-Net 3+網(wǎng)絡(luò)在小樣本數(shù)據(jù)上的分割精度不理想的問題。本文結(jié)合兩種方法的優(yōu)點(diǎn)，提出了一種融合端到端卷積神經(jīng)網(wǎng)絡(luò)和活動輪廓模型的醫(yī)學(xué)圖像自動分割方法。本文的主要貢獻(xiàn)如下：

1)提出一種新的能量函數(shù)，它由擬合能量項、保真項和正則項組成。首先通過U-Net 3+網(wǎng)絡(luò)獲得先驗信息，使用得到的先驗信息作為擬合能量項構(gòu)造新的能量函數(shù)，約束曲線演化，有效提高模型對噪聲和初始輪廓的魯棒性。

2)利用邊緣停止函數(shù)作為擬合能量項和保真項的權(quán)重，引入圖像邊緣信息，補(bǔ)充神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中弱化的邊緣特征，優(yōu)化分割結(jié)果。

3)在皮膚病變和胸部X光圖像上與現(xiàn)有分割方法進(jìn)行實驗對比，驗證了提出模型的有效性。

2 相關(guān)模型

2.1 CV模型

使用I表示一個輸入圖像，用水平集函數(shù)φ(x，y)表示圖像區(qū)域Ω上的曲線為

C={(x，y)|φ(x，y)=0}

(1)

對于目標(biāo)分割任務(wù)來說，需要找到一個邊界曲線C，將目標(biāo)從背景中分離出來。圖像的前景區(qū)域和背景區(qū)域即曲線C的內(nèi)部和外部分別被表示為{(x，y)∈ΩI|φ(x，y)>0}和{(x，y)∈ΩI|φ(x，y)<0}。

使用平滑的Heaviside函數(shù)

(2)

其中，ε是一個正常數(shù)。

H(φ(x，y))的導(dǎo)數(shù)為

(3)

在CV模型中，通過演化曲線C來最小化能量函數(shù)

E(c1，c2，C)=μ·Length(C)+ν·Area(C)

(4)

(5)

(6)

其中，Length(C)和Area(C)分別是曲線C的長度和曲線C內(nèi)的面積，μ、λ1、λ2是正參數(shù)，用于調(diào)節(jié)各部分權(quán)重，c1和c2分別是曲線C內(nèi)部和外部區(qū)域的平均灰度值。

根據(jù)式(4)求E對φ的變分導(dǎo)數(shù)，可以得到

(7)

CV模型使用圖像全局信息，對噪聲不敏感。CV模型使用曲線C內(nèi)部和外部的平均灰度值，對于目標(biāo)邊緣檢測收縮率高。但是醫(yī)學(xué)圖像邊緣模糊，CV模型會忽略模糊邊緣。CV模型對于目標(biāo)和背景灰度值相似的圖像分割效果不佳，并且存在收斂速度慢、效率低、對初始輪廓位置敏感的問題。

2.2 U-Net 3+

U-Net 3+采用端到端的網(wǎng)絡(luò)結(jié)構(gòu)，分為下采樣階段和上采樣階段，引入全尺度跳躍連接和深度監(jiān)督充分利用多尺度特征。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。全尺度跳躍連接結(jié)合不同尺度特征圖中的高級與低級語義信息；而深度監(jiān)督從多尺度聚合特征圖中學(xué)習(xí)層次表示。因此，U-Net 3+網(wǎng)絡(luò)結(jié)構(gòu)適用于醫(yī)學(xué)圖像中不同尺度的目標(biāo)。但由于采用多個上采樣操作，導(dǎo)致弱化目標(biāo)邊緣特征，使得分割結(jié)果邊界粗糙。

圖1 U-Net 3+網(wǎng)絡(luò)結(jié)構(gòu)

3 提出的模型

本節(jié)詳細(xì)介紹提出的方法，該方法的流程圖如圖2所示。本文融合端到端卷積神經(jīng)網(wǎng)絡(luò)和活動輪廓模型提出一個新的能量函數(shù)，引入擬合能量項約束曲線演化。首先通過U-Net 3+網(wǎng)絡(luò)模型獲得先驗結(jié)果，把該結(jié)果作為能量函數(shù)的擬合能量項限制曲線演化。新的能量函數(shù)定義如下

E(φ)=g(EFit(φ)+Elm age(φ))+ERegular(φ)

(8)

3.1 擬合能量項

傳統(tǒng)的活動輪廓模型不能很好處理灰度不均勻圖像，且曲線在演化過程中，易受到噪聲的干擾，導(dǎo)致曲線不能朝著目標(biāo)邊界的方向演化。本文使用由神經(jīng)網(wǎng)絡(luò)得到的先驗信息作為擬合能量項約束曲線演化，使模型能夠解決灰度不均勻問題且提高對噪聲的魯棒性。該能量項定義如下

(9)

(10)

(11)

使用擬合能量項可以加速模型收斂，增強(qiáng)模型對噪聲的魯棒性，并且能夠克服傳統(tǒng)模型對初始輪廓敏感的問題。

3.2 Elm age(φ)能量項

使用CV模型中的一部分作為提出能量函數(shù)的保真項Elm age(φ)：

(12)

其中，I是輸入的原始圖像，c1和c2分別是曲線C內(nèi)部和外部區(qū)域的平均灰度值：

(13)

(14)

保真項結(jié)合權(quán)重g能夠更好地利用圖像邊緣信息，使曲線朝著目標(biāo)輪廓的方向演化，有助于處理具有弱邊界的圖像。

3.3 正則化項

ERegular(φ)是所提出能量函數(shù)的內(nèi)部能量，由長度正則項和梯度正則項這兩部分組成

ERegular(φ)=μL(φ)+νP(φ)

(15)

其中，

(16)

(17)

第二項P(φ)用來刻畫活動輪廓模型與符號距離函數(shù)之間的差異。正則化項能夠使曲線始終保持平滑。

3.3 能量函數(shù)數(shù)值求解

能量的最小化可以看作是沿著能量下降的一種演化，隨著時間參數(shù)t的變化，曲線演化可以定義為：

=-λ1g(I-c1)2+λ2g(I-c2)2-β1g(F-f1)2

(18)

對于t∈{1，2，…，T}，φ(x，y)根據(jù)式(19)更新：

(19)

最后，所提模型的算法展示在算法1中。

算法1 提出模型的算法流程

輸入：原始圖像I，設(shè)置參數(shù)λ1、λ2，β1、β2

輸出：分割結(jié)果φT

a)通過U-Net 3+網(wǎng)絡(luò)得到先驗信息U

b)設(shè)置初始輪廓φ0，通過式(7)計算邊緣停止函數(shù)g

c)通過式(10)和(11)計算u1和u2

d)通過式(13)和(14)計算c1和c2

e)根據(jù)式(19)演化

f)檢查是否滿足演化終止條件，如果達(dá)到演化終止條件，則停止演化，輸出分割結(jié)果φT；否則，轉(zhuǎn)向步驟c)。

圖2 本文提出方法的流程圖

4 實驗結(jié)果與分析

4.1 參數(shù)設(shè)置與度量方法

本文在具有Intel(R) Core(TM) i7-8700 CPU @ 3.70GHz處理器、8GB NVIDIA GeForce GTX 1080Ti GPU的設(shè)備上進(jìn)行實驗。實驗統(tǒng)一將數(shù)據(jù)集分辨率設(shè)置為512×512。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段，使用Adam優(yōu)化算法更新網(wǎng)絡(luò)權(quán)重，網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為0.001，動量(momentum)設(shè)置為0.9，epoch為40。本文提出的能量函數(shù)使用λ1=λ2=1，β1=β2=1。對比模型的參數(shù)均為默認(rèn)值。

實驗通過Dice系數(shù)、Jaccard相似度、精確度(Precision)和召回率(Recall)四項指標(biāo)對現(xiàn)有模型和本文提出模型的性能進(jìn)行評估

(20)

其中，TP、FP、TN和FN分別為真陽性、假陽性、真陰性和假陰性。令GT、RS和N分別表示Ground Truth、分割結(jié)果和圖像中的總像素數(shù)，則

(21)

以上四個指標(biāo)：Dice系數(shù)、Jaccard相似度、精確度和召回率的值越高，說明分割效果越好。

4.2 皮膚鏡病變圖像實驗結(jié)果

實驗所用的數(shù)據(jù)為ISIC2017皮膚鏡病變圖像，該數(shù)據(jù)集由國際皮膚成像合作組織(The International Skin Imaging Collaboration，ISIC)提供[17]。本文所提出的模型在皮膚鏡病變圖像上的分割結(jié)果如圖3所示。提出模型的分割結(jié)果用紅色曲線表示，Ground Truth用綠色曲線表示。圖3中各圖像分割結(jié)果對應(yīng)的評價指標(biāo)如表1所示。

圖3 本文提出的模型在皮膚鏡病變圖像上的分割結(jié)果

表1 本文提出模型的定量實驗結(jié)果

序號1到6分別對應(yīng)圖3中的皮膚病變圖像。

所提模型和其它網(wǎng)絡(luò)模型的可視化對比結(jié)果如圖4所示。從左到右，第1列是原始圖像及對應(yīng)的Ground Truth，第2列到第5列分別是U-Net網(wǎng)絡(luò)模型、U-Net++網(wǎng)絡(luò)模型、U-Net 3+網(wǎng)絡(luò)模型及本文所提出方法的分割結(jié)果。皮膚病變圖像普遍存在目標(biāo)與背景灰度不均勻的問題，并且病變區(qū)域顏色和正常皮膚顏色相近，特別是病變區(qū)域存在弱邊界，給目標(biāo)分割帶來了難度。本文所提出的方法能夠有效解決圖像灰度不均勻和弱邊緣的問題，可視化結(jié)果如圖4第5列。表2給出了所提模型與其它網(wǎng)絡(luò)模型的定量比較結(jié)果?？梢钥闯?，與其它方法相比，本文所提模型具有更高的平均Dice值，為0.9123，與U-Net、U-Net++和U-Net 3+模型相比，分別提高了7.11%、13.84%和3.36%。結(jié)果表明，本文提出的模型能較好地分割灰度不均勻和弱邊緣的圖像。該模型的結(jié)果會受到U-Net 3+分割結(jié)果的影響，但模型中的約束項會使這種影響最小化。如圖4第4列，先驗分割結(jié)果粗糙且不精確，但在最后一列中，本文提出的模型將輪廓改進(jìn)為精確的邊界。

表2 不同方法對300幅皮膚病變圖像進(jìn)行定量比較實驗

圖4 提出模型和其它網(wǎng)絡(luò)模型的可視化對比結(jié)果

圖5給出了CV模型、LIC模型、FLSAS模型、DRLSE模型、SDREL模型、GLSEPF模型和本文提出模型的可視化比較結(jié)果。第1行到第10行顯示了10張不同的皮膚病變圖像，第1列顯示了原始圖像以及綠線標(biāo)注的Ground Truth。第2列是本文提出模型的結(jié)果。第3列是CV模型的結(jié)果，由于CV模型假設(shè)曲線內(nèi)部和外部平均灰度值分別相等，因此受目標(biāo)與背景灰度影響較大，例如(e)行，圖像背景顏色與目標(biāo)邊緣類似，導(dǎo)致曲線過度向內(nèi)演化；(f)行的圖像中目標(biāo)周圍存在干擾信息，使曲線無法繼續(xù)向目標(biāo)邊緣演化。第4列和第5列分別是LIC模型和FLSAS模型的結(jié)果，由于模型基于圖像局部信息，忽略目標(biāo)弱邊緣，如(b)行所示。因此這兩種模型無法準(zhǔn)確地找到目標(biāo)的位置，如FLSAS 模型的第(h)行。第6列是DRLSE模型的結(jié)果，該模型能夠處理圖像灰度不均勻的問題，但對于弱邊緣問題明顯不夠好，如(c)行所示。SDREL模型的結(jié)果在第7列給出，該模型也存在與前面模型相似的問題，對噪聲敏感，如(f)行所示。最后一列顯示了GLSEPF模型的結(jié)果，該模型對初始化敏感，如圖(a)到(d)所示，模型陷入局部最優(yōu)。而本文提出的模型通過使用卷積神經(jīng)網(wǎng)絡(luò)提供的先驗信息，能夠準(zhǔn)確定位皮膚病變位置，得到平滑準(zhǔn)確的分割結(jié)果。本文提出的模型與其它方法的定量比較結(jié)果如表3所示?？梢钥闯觯疚奶岢瞿Ｐ偷钠骄鵇ice值、Jaccard相似度、Precision和Recall四項指標(biāo)均高于其它六種模型。與CV模型、LIC模型、FLSAS模型、DRLSE模型、SDREL模型和GLSEPF模型相比，本文提出模型的平均Dice值分別提高了28.69%、42.65%、55.19%、17.48%、18.09%、40.68%、25.56%。

圖5 其它模型和本文所提模型在皮膚病變數(shù)據(jù)集上的可視化比較結(jié)果

表4和表5給出了上述模型在曲線演化部分的計算時間。表4中序號1到10分別對應(yīng)圖5中第(a)到(j)行的十張圖片。CV模型演化需要的時間相對較長，而本文提出的模型、LIC模型和SDREL模型所需的計算時間相對較少。雖然這三種模型的計算時間相差不大，但我們的模型結(jié)果明顯優(yōu)于LIC模型和SDREL模型。表5給出了上述模型在70張皮膚病變圖像上的平均計算時間。本文提出模型的平均計算時間相對最少，而且由表3可以看出該模型分割效果優(yōu)于上述其它模型。

表3 不同模型對70張皮膚病變圖像進(jìn)行定量比較實驗

表4 本文提出的模型與其它活動輪廓模型在曲線演化部分的計算時間(單位：秒)

表5 不同模型在70張皮膚病變圖像上的平均計算時間(單位：秒)

圖6 本文所提模型在不同初始輪廓下的分割結(jié)果

圖6顯示了本文提出模型對初始輪廓位置魯棒性測試的實驗結(jié)果。圖6(a)中初始輪廓設(shè)置在目標(biāo)內(nèi)部；圖6(b) 中初始輪廓設(shè)置在目標(biāo)和背景交界處；圖6(b) 中初始輪廓設(shè)置在目標(biāo)外部。圖6第1列、第3列和第5列顯示了原始圖像及不同位置的初始輪廓；第2列、第4列和第6列顯示了本文所提模型的分割結(jié)果。

4.3 胸部X光片圖像實驗結(jié)果

實驗所用胸部X光片數(shù)據(jù)集來自結(jié)核病標(biāo)準(zhǔn)數(shù)字圖像數(shù)據(jù)庫，由美國馬里蘭州國家醫(yī)學(xué)圖書館與中國深圳廣東醫(yī)學(xué)院深圳第三人民醫(yī)院合作創(chuàng)建[18-20]。該數(shù)據(jù)集總共有566張圖像，數(shù)據(jù)標(biāo)注由烏克蘭國立技術(shù)大學(xué)“伊戈爾·西科斯基基輔理工學(xué)院”的信息與計算機(jī)工程學(xué)院計算機(jī)工程系的老師和學(xué)生提供。圖7顯示了本文所提模型與其它模型對胸部X光片數(shù)據(jù)集進(jìn)行實驗的可視化比較結(jié)果。第1列顯示了胸部X光片原始圖像以及綠線標(biāo)注的Ground Truth；第2列是本文提出模型的分割結(jié)果；第3到8列分別顯示了CV模型、LIC模型、DRLSE模型、FLSAS模型、SDREL模型和GLSEPF模型的分割結(jié)果。這些模型的平均Dice值、Jaccard相似度、Precision和Recall如表6所示。量化評估顯示本文模型的分割精度優(yōu)于傳統(tǒng)的活動輪廓模型；雖然最新的模型FLSAS、SDREL和GLSEPF的分割精度有所提高，但評價指標(biāo)顯示分割準(zhǔn)確率依然低于本文提出的方案。本文提出模型的平均Dice值、Jaccard相似度、Precision均高于其它模型，Recall僅次于DRLSE模型。這是因為，DRLSE模型將兩個目標(biāo)分割成一個，并且分割區(qū)域完全包圍這兩個目標(biāo)，在計算Recall時具有優(yōu)勢。但該模型的其它評價指標(biāo)均低于本文提出的模型。

表6 不同模型對60張胸部X光片圖像進(jìn)行定量比較實驗

圖7 其它模型和本文所提模型在胸部X光片數(shù)據(jù)集上的可視化比較結(jié)果

5 結(jié)論

本文通過卷積神經(jīng)網(wǎng)絡(luò)獲得先驗信息，使用得到的先驗信息作為擬合能量項構(gòu)造新的能量函數(shù)，從而提出一種將卷積神經(jīng)網(wǎng)絡(luò)與活動輪廓模型方法相融合的圖像分割算法。所提出的擬合能量項適用于一般的活動輪廓模型，并將提出的模型應(yīng)用于皮膚病變和胸部X光片圖像分割。實驗結(jié)果顯示，該模型在皮膚病變和胸部X光片圖像上相較其它方法更精確。定量實驗結(jié)果表明，該模型的分割結(jié)果優(yōu)于經(jīng)典的和最新的活動輪廓模型，對神經(jīng)網(wǎng)絡(luò)的分割結(jié)果有一定的改進(jìn)。