一種基于局部和全局?jǐn)M合的混合多相水平集分割模型及算法

(山東科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，山東 青島 266590)

多相分割是近年來圖像分割領(lǐng)域研究的新問題。相對(duì)于傳統(tǒng)的兩相分割模型[1-6]將圖像分為前景和背景，多相分割方法用多個(gè)水平集驅(qū)使輪廓線按照一定規(guī)則將圖像分為多個(gè)區(qū)域，在處理復(fù)雜多目標(biāo)圖像的分割上具有明顯的優(yōu)勢[7-9]。將兩相活動(dòng)輪廓模型擴(kuò)展到多相分割領(lǐng)域，能夠顯著提升分割效果[10-11]。在水平集方法中，運(yùn)用多種圖像統(tǒng)計(jì)信息以及不同能量模型間的加權(quán)融合能有效擴(kuò)大分割能力[12]。Wang等[13]將CV模型[1]與LBF模型結(jié)合并擴(kuò)展到多相水平集，在MR圖像分割中取得了不錯(cuò)的結(jié)果。Boutiche等[14]將LGD模型[6]和CV模型結(jié)合起來并做了改進(jìn)，在處理灰度不均勻圖像和抗噪性上更具有優(yōu)勢。

近年來，基于深度學(xué)習(xí)的圖像分割技術(shù)獲得廣泛關(guān)注。Mask RCNN[20]模型是基于Faster RCNN模型架構(gòu)提出的新的卷積網(wǎng)絡(luò)，該模型速度更快，在有效檢測目標(biāo)的同時(shí)能夠完成高質(zhì)量的語義分割。

醫(yī)學(xué)圖像分割需要很高的分割準(zhǔn)確度和很強(qiáng)的分割目標(biāo)性，為了更準(zhǔn)確地獲得目標(biāo)輪廓邊界并同時(shí)處理成像過程帶來的噪聲，提出一種基于局部和全局?jǐn)M合的混合水平集分割模型(hybrid multiphase model driven by local and global Fitting energy，HMDLG)及算法,在多相分割框架中綜合運(yùn)用包括梯度、方差、均值多種灰度統(tǒng)計(jì)信息檢測分割目標(biāo)，能根據(jù)圖像區(qū)域特性調(diào)節(jié)分割閾值。實(shí)驗(yàn)結(jié)果表明，該模型能更加準(zhǔn)確地處理目標(biāo)的拓?fù)浣Y(jié)構(gòu)。

1 圖像分割模型

1.1 拉普拉斯主動(dòng)輪廓模型

拉普拉斯算子是圖像邊緣檢測的方法之一。Zhang等[15]利用圖像拉普拉斯算子與水平集函數(shù)結(jié)合，能準(zhǔn)確的定位弱目標(biāo)邊界。能量項(xiàng)表示為：

(1)

其中，α對(duì)噪聲起到一個(gè)調(diào)節(jié)作用，Δ是拉普拉斯運(yùn)算符。上式對(duì)應(yīng)的梯度下降流方程為：

(2)

1.2 LCV模型

Wang等[5]將局部統(tǒng)計(jì)信息納入到CV模型中，以改善對(duì)圖像局部區(qū)域紋理的分割效果，提出了LCV模型。LCV模型的全局項(xiàng)表示如下：

(3)

其中，u0(x,y)表示圖像的灰度，c1和c2分別表示曲線內(nèi)部和外部圖像灰度均值。

作為對(duì)全局項(xiàng)的修正，LCV模型使用局部統(tǒng)計(jì)信息構(gòu)建局部項(xiàng)，定義如下:

(4)

其中g(shù)k是一個(gè)k×k大小的均值卷積算子。d1和d2分別是不同圖像中g(shù)k×u0(x,y)在輪廓線C內(nèi)外的灰度均值。

1.3 LGDF模型

Wang等[6]利用圖像的局部區(qū)域信息，提出了基于局部高斯分布擬合能量的活動(dòng)輪廓模型(LGDF模型)，利用圖像的局部區(qū)域方差和均值作為灰度信息統(tǒng)計(jì)量。

假設(shè)在圖像區(qū)域Ω中，Ωi表示第i個(gè)目標(biāo)區(qū)域，Ox是以x為中心的區(qū)域，每個(gè)子領(lǐng)域Ωi∩Ox的圖像灰度概率密度函數(shù)為高斯分布，定義為：

(5)

其中fi(x)和σi(x)分別為局部均值和標(biāo)準(zhǔn)差。引入高斯核函數(shù)并最小化能量函數(shù)可得到：

(6)

2 基于全局和局部能量擬合的HMDLG模型的算法實(shí)現(xiàn)

HMDLG模型算法首先預(yù)處理圖像，然后返回預(yù)分割的結(jié)果作為初始輪廓。多相水平集由帶有局部特性的全局項(xiàng)和局部項(xiàng)加權(quán)構(gòu)成，其中由特征向量加權(quán)的拉普拉斯擬合函數(shù)和深度自適應(yīng)分割項(xiàng)組成的全局項(xiàng)能夠精確地分割目標(biāo)邊緣輪廓，引入局部均值和方差作為統(tǒng)計(jì)量的高斯核函數(shù)作為局部項(xiàng)能更好地處理灰度不均勻區(qū)域，全局項(xiàng)和局部項(xiàng)的比重由加權(quán)函數(shù)調(diào)節(jié)。

2.1 圖像邊緣的去噪增強(qiáng)和快速預(yù)分割

HMDLG模型算法使用多尺度細(xì)節(jié)提升方法[16]增強(qiáng)圖像細(xì)節(jié)。首先用標(biāo)準(zhǔn)差，分別為σ1=1.0，σ2=1.0，σ3=4.0的3個(gè)高斯核函數(shù)對(duì)原圖像I做卷積處理得到3個(gè)濾波結(jié)果：

(7)

然后用差值提取不同層次的圖像細(xì)節(jié)信息，表示如下：

(8)

最后加權(quán)不同的圖層信息得到新的圖像灰度：

I=(1-w1×sgn(D1))×D1+w2×D2+w3×D3。

(9)

其中w1=0.5，w2=0.5，w3=0.25。

LCV模型中構(gòu)造了擴(kuò)展的線性結(jié)構(gòu)張量，易導(dǎo)致邊界模糊。因此這里采用非線性擴(kuò)散張量，在不同的方向上自適應(yīng)利用不同的擴(kuò)散系數(shù)，在平滑過程中盡可能多地保留圖像特征：

(10)

其中，Iσ=I(t,x)*Kρ，Kρ為高斯核函數(shù)。結(jié)構(gòu)張量表示為：

(11)

Jρ的兩個(gè)正交特征向量與相應(yīng)的特征值分別為υ1，υ2和μ1，μ2。取擴(kuò)散張量D(Jρ)的特征值為：

(12)

為了降低不同初始輪廓線對(duì)結(jié)果帶來的影響，用基于二維最大熵和改進(jìn)的遺傳算法結(jié)合[17]快速獲得初始輪廓線。二維最大熵算法采用像素灰度和鄰域平均灰度構(gòu)成的二維直方圖搜索閾值，充分利用了像素的灰度分布信息和像素間的空間相關(guān)信息獲得最佳閾值。改進(jìn)的遺傳算法對(duì)選擇、交叉、變異等算子進(jìn)行了優(yōu)化，運(yùn)用到二維最大熵算法中大大地減少了計(jì)算量，提高了速度。

2.2 HMDLG分割模型的組成框架

HMDLG模型使用雙水平集進(jìn)行四相圖像分割，定義水平集函數(shù)Φ1，Φ2，分割4個(gè)互不重疊的區(qū)域：{Φ1>0，Φ2>0}，{Φ1>0，Φ2<0}，{Φ1<0，Φ2>0}，{Φ1<0，Φ2<0}。

模型中Heaviside函數(shù)和Dirac函數(shù)正則化的表達(dá)式如下：

(13)

(14)

其中ε是個(gè)小的正常數(shù)，Hε(x)和δε(x)的ε取值為1。

在圖像域Ω里，四項(xiàng)分割的4個(gè)子域用Heaviside函數(shù)描述為；

(15)

HMDLG模型總的能量泛函定義為：

(16)

其中，p(Φi)和L(Φi)分別為正則化項(xiàng)和長度項(xiàng)，υ和μ分別為對(duì)應(yīng)的權(quán)重系數(shù)，εLGLF(Φi)為基于區(qū)域的能量擬合項(xiàng)。

區(qū)域正則化項(xiàng)p(Φi)：模型使用距離正則化能量擬合項(xiàng)[18]來保持水平集演化穩(wěn)定

(17)

長度項(xiàng)L(Φi)：模型使用水平集的長度項(xiàng)用來平滑目標(biāo)輪廓

(18)

(19)

這里Gσ是標(biāo)準(zhǔn)差為σ的高斯濾波器，m取值為4。代入(18)式中，得

(20)

基于區(qū)域能量的擬合項(xiàng)εLGLF(Φi)：使用圖像灰度信息構(gòu)造能量項(xiàng)對(duì)目標(biāo)進(jìn)行分割。

在HMDLG模型的多相分割的框架中，基于區(qū)域的能量擬合項(xiàng)εLGAF(Φi)表示為：

(21)

其中

(22)

式中的ri(i=1,2,3,4)表示由全局和局部統(tǒng)計(jì)信息擬合的能量項(xiàng)。

2.3 基于多種局部特征變量加權(quán)重構(gòu)的拉普拉斯全局?jǐn)M合項(xiàng)

在全局項(xiàng)中，用加權(quán)重構(gòu)的拉普拉斯能量分割目標(biāo)整體輪廓，并且定位弱邊界。HMDLG模型在圖像中選取以像素x為中心的P*P鄰域，并將其所有灰度值從小到大排列為x1,x2，…,xn, 通過3種特征變量以特定的系數(shù)加權(quán)組合，得到一組新的數(shù)據(jù)矩陣u0new(x)作為處理后的圖像灰度矩陣:

u0new(x)=MED(x)+τ1IQR(x)+τ2MAD(x)，τ1,τ2∈[0,1]。

(23)

其中，

(24)

IQR(x)=Q3(x)-Q1(x)，

(25)

(26)

在u0new(x)中，中位數(shù)信息可以處理圖像中的異常值點(diǎn)，四分位距和平均絕對(duì)偏差能夠銳化目標(biāo)的弱邊界，提高分割精度。將得到的u0new(x)作為拉普拉斯擬合能量(公式2)的輸入矩陣，得到：

(27)

2.4 基于深度自適應(yīng)分割的區(qū)域能量全局?jǐn)M合項(xiàng)

HMDLG模型通過最小化LCV模型的全局項(xiàng)(公式3)，得到梯度下降流方程并改寫得到表達(dá)式：

(28)

由公式(28)可看出演化過程中LCV模型把輪廓線內(nèi)外的圖像灰度均值(cm+cn)/2作為硬閾值判斷水平集演化的方向。HMDLG模型用統(tǒng)計(jì)函數(shù)min(cm,cn)+λ×abs(cm-cn)近似代替圖像灰度值u0,得到新的表達(dá)式方程：

(29)

其中λ為分割深度系數(shù)，即控制演化偏向于cm和cn的程度，當(dāng)λ=0.5時(shí)，公式(28)和公式(29)的結(jié)果近似。在λ的取值過程中，如果人為地根據(jù)圖像大體估測，并不能取得良好的分割結(jié)果，HMDLG模型利用圖像的局部和全局統(tǒng)計(jì)信息構(gòu)建了一個(gè)統(tǒng)計(jì)函數(shù)來計(jì)算λ：

(30)

其中，cm和cn為輪廓內(nèi)外的全局灰度均值，fm和fn為輪廓內(nèi)外的局部灰度均值，α和β為全局和局部的權(quán)重系數(shù)，且α∈(1,2，…,n)，β∈(0,1，…,n)，ω為補(bǔ)充調(diào)節(jié)系數(shù)。

由于圖像存在灰度不均勻問題，如果既要保證對(duì)圖像細(xì)節(jié)的分割，又要減少出現(xiàn)過分割或誤分割的現(xiàn)象，則需要全局和局部灰度信息的共同調(diào)節(jié)。HMDLG模型通過構(gòu)造帶有深度系數(shù)λ的能量函數(shù)來有效調(diào)節(jié)控制全局和局部統(tǒng)計(jì)信息的權(quán)重，從而提升分割的精度。

LCV模型的全局項(xiàng)式(29)，LCV模型的局部項(xiàng)以及新的拉普拉斯能量項(xiàng)式(27)共同構(gòu)建的新能量模型為：

(31)

2.5 基于局部方差和均值統(tǒng)計(jì)的局部擬合項(xiàng)

HMDLG模型采用局部高斯方差和均值作為統(tǒng)計(jì)量的LGDF模型局部分割項(xiàng)，表示如下：

(32)

2.6 MLGLF模型的梯度下降流方程

在HMDLG模型的多相分割框架中，由式(22)可得基于區(qū)域的能量擬合項(xiàng)：

m,n=1,2,3,4。

(33)

其中θ(x)是系數(shù)調(diào)節(jié)方程，圖像局部窗口灰度信息計(jì)算獲得[14]，表達(dá)式為:

θ(x)=γaverage(CN(x))(1-CN(x))，

(34)

(35)

式(34)～(35)中，γ是正整數(shù),Mmax和Mmin分別為圖像局部窗口最大和最小的像素值。Mg是圖像的灰度極大值，取值為255。

式(33)中，圖像的局部均值fi(x)和方差σi(x)表示如下：

(36)

(37)

圖像的全局均值ci(x)和差分圖像均值di(x)分別表示為:

(38)

(39)

其中Mi(x)是4個(gè)分割子域，由公式(15)計(jì)算得出。

將總能量方程最小化，求解下列兩個(gè)拉格朗日梯度下降流方程：

(40)

(41)

3 算法實(shí)現(xiàn)步驟

HMDLG模型算法首先對(duì)分割圖像進(jìn)行紋理增強(qiáng)和去噪，通過預(yù)分割得到初始輪廓Φ1和Φ2，然后進(jìn)行分割。在判斷水平集演化是否停止時(shí)，通過設(shè)定固定的迭代次數(shù)并引入一個(gè)邊界停止函數(shù)[19]：當(dāng)?shù)螖?shù)大于20次，并且雙水平集演化輪廓線同時(shí)滿足有5個(gè)或者5個(gè)以上的迭代結(jié)果重合時(shí)中斷演化過程。

HMDLG模型算法的主要步驟如下：

預(yù)處理：采用公式(7)～(12)對(duì)圖像預(yù)處理；

預(yù)分割：預(yù)分割得到初始輪廓Φ1和Φ2；

k=0；

for(i=1;i<=n;i++)

依次通過式(36)～(39)計(jì)算ci,fi,σi,di；

通過式(34)和(35)計(jì)算θ(x)；

通過式(33)計(jì)算rm-rn；

通過式(22)計(jì)算S1(x)和S2(x)；

根據(jù)式(40)和(41)迭代Φ1,Φ2；

end for

k=k+1；

end while。

4 實(shí)驗(yàn)結(jié)果與分析

將HMDLG模型應(yīng)用于醫(yī)學(xué)圖像和自然圖像分割，并與最新的多相混合分割模型和機(jī)器學(xué)習(xí)模型的分割結(jié)果進(jìn)行比較。實(shí)驗(yàn)電腦配置為COREi 7 CPU，8GB RAM。多相水平集實(shí)驗(yàn)環(huán)境為MATLAB7.10.0(R2010a)，系統(tǒng)為Windows 10，深度學(xué)習(xí)實(shí)驗(yàn)測試環(huán)境為Python 3.5,Tensorflow 1.5.0，系統(tǒng)為Ubuntu 16.04。HMDLG模型參數(shù)設(shè)置：ε=1，σ=3，υ=1，Δt=0.1,μ=0.001×2552，τ1=τ2=0.5。α,β,ω根據(jù)圖像特點(diǎn)選取。

實(shí)驗(yàn)1用一組核磁共振醫(yī)學(xué)圖像進(jìn)行分割實(shí)驗(yàn),將HMDLG模型的實(shí)驗(yàn)結(jié)果與Wang等[13]和Boutiche等[14]提出的多相分割模型的結(jié)果進(jìn)行對(duì)比，如圖1所示。

圖1 MR圖像的分割實(shí)驗(yàn)結(jié)果 Fig. 1 Segmentation results of MR images

由圖 1看出，HMDLG模型在3組MR圖像的分割中均取得了最好的結(jié)果。3組模型對(duì)目標(biāo)輪廓都能完成有效分割，但是對(duì)部分邊界和區(qū)域的分割效果有差異。Wang等[13]提出的模型使用CV和LBF方法相融合，對(duì)圖像的局部分割不夠細(xì)致，特別是對(duì)細(xì)小組織區(qū)域的處理較差。Boutiche等[14]提出的模型局部采用LGDF方法進(jìn)行構(gòu)建，在灰度不均勻區(qū)域的分割結(jié)果更好，但在某些局部區(qū)域的分割仍然不夠精確。HMDLG模型取得了最好的分割結(jié)果，在分割的精細(xì)度上領(lǐng)先于其他兩組模型。

實(shí)驗(yàn)2用一組自然圖像的灰度圖像繼續(xù)進(jìn)行實(shí)驗(yàn)，將HMDLG模型的實(shí)驗(yàn)結(jié)果與深度學(xué)習(xí)Mask R-CNN模型[20]和Boutiche等[14]提出的多相分割模型的結(jié)果進(jìn)行對(duì)比，如圖2所示。

圖2 自然圖像的分割實(shí)驗(yàn)結(jié)果 Fig. 2 Segmentation results of natural images

本實(shí)驗(yàn)中Mask R-CNN模型使用COCO數(shù)據(jù)集進(jìn)行訓(xùn)練，測試圖像均來自COCO數(shù)據(jù)集所屬類別的單目標(biāo)灰度圖像?；谏疃葘W(xué)習(xí)的Mask R-CNN模型通過空間特征量化提取對(duì)目標(biāo)作為整體進(jìn)行語義分割，能正確地進(jìn)行目標(biāo)檢測并獲取整體輪廓。多相水平集模型對(duì)單幅圖像的分割速度更快，利用圖像灰度統(tǒng)計(jì)，函數(shù)對(duì)目標(biāo)外部邊界和內(nèi)部拓?fù)浣Y(jié)構(gòu)分割處理，在后續(xù)目標(biāo)特征分析中發(fā)揮更大價(jià)值。正確率高。從圖2的分割結(jié)果可以看出，Mask R-CNN模型對(duì)目標(biāo)邊界的定位出現(xiàn)了或多或少的偏差，兩組多相水平集模型在目標(biāo)邊界的分割處理上更為精確，但出現(xiàn)了背景區(qū)域的過分割現(xiàn)象。其中，HMDLG模型的分割結(jié)果最好；Boutiche等[14]提出的模型的分割結(jié)果不夠準(zhǔn)確，比如未分割出車胎，目標(biāo)內(nèi)部和背景的處理稍差。

為了衡量各個(gè)方法分割精度差異，下面采用定量的方法進(jìn)行數(shù)值分析。采用遺傳相似系數(shù)(dice similarity coefficient, DSC)作為評(píng)價(jià)分割精度的指標(biāo)，原始圖像的目標(biāo)真值通過專家人工分割得到，使用的標(biāo)注工具為LabelMe，為了避免偶然性，對(duì)每一幅圖像的分割目標(biāo)分別由兩個(gè)實(shí)驗(yàn)人員人工勾畫三次，取結(jié)果坐標(biāo)的平均值作為目標(biāo)真值。分割結(jié)果由本模型和兩組對(duì)照實(shí)驗(yàn)得到，然后求得各模型與目標(biāo)真值分割結(jié)果的相似系數(shù)。DSC指標(biāo)定義為

(42)

其中S1和S2分別表示目標(biāo)真值和分割模型的結(jié)果(自然圖像不考慮背景影響，只計(jì)算目標(biāo)及附近區(qū)域)，N(?)表示封閉集合的元素?cái)?shù)目。DSC值越接近1，表示分割結(jié)果越準(zhǔn)確。

上述各組圖像的分割實(shí)驗(yàn)結(jié)果的DSC值如表1所示，表1中3組醫(yī)學(xué)圖像與圖1中9組圖像順序?qū)?yīng)，3組自然圖像與圖2中3組圖像順序?qū)?yīng)。

表1 各圖像分割結(jié)果的DSC值Tab. 1 The DSC value of all image segmentation results

另外，對(duì)于模型中錯(cuò)誤分割和未分割的區(qū)域，本文采用過分割率OR和誤分割率UR來進(jìn)一步分析:

(43)

(44)

其中，Os表示過分割的圖像結(jié)果區(qū)域，Us表示欠分割的圖像結(jié)果區(qū)域(自然圖像不考慮背景影響，只計(jì)算目標(biāo)及附近區(qū)域)。表1中的各組圖像的結(jié)果如表2所示。

表 2 各圖像分割結(jié)果的過分割率Os和欠分割率UsTab. 2 The over-segmentation rate Os and under-segmentation rate Us of each image segmentation result

從表1和表2中的量化數(shù)據(jù)可以看出，HMDLG模型與水平集模型的結(jié)果對(duì)比顯示，HMDLG模型對(duì)目標(biāo)內(nèi)部的分割效果更好，如核磁共振圖像內(nèi)部各組織邊界的劃分更準(zhǔn)確，自然圖像目標(biāo)內(nèi)部的錯(cuò)分割區(qū)域更少；與Mask R-CNN模型的結(jié)果對(duì)比顯示，HMDLG模型的優(yōu)勢在于目標(biāo)外部的邊界的劃分，Mask R-CNN模型側(cè)重于目標(biāo)的檢測，語義分割對(duì)邊界區(qū)域的定位更為粗糙。

5 總結(jié)

本研究提出了一種混合多相水平集分割模型及其算法，用于分割核磁共振醫(yī)學(xué)圖像和單目標(biāo)自然圖像中的灰度圖像。水平集模型有效利用了圖像區(qū)域統(tǒng)計(jì)信息和梯度信息，用帶有深度系數(shù)的區(qū)域分割項(xiàng)和多特征變量加權(quán)重構(gòu)的拉普拉斯函數(shù)處理復(fù)雜的拓?fù)浣Y(jié)構(gòu)并實(shí)現(xiàn)自適應(yīng)分割，多種能量函數(shù)的加權(quán)融合有效地增強(qiáng)了模型的魯棒性。實(shí)驗(yàn)表明HMDLG模型適用于需要精確分割的目標(biāo)圖像，并能有效地處理目標(biāo)的拓?fù)浣Y(jié)構(gòu)，精確定位目標(biāo)邊緣。