基于顯著性區(qū)域檢測和水平集的圖像快速分割算法

葉 鋒 李婉茹 陳家禎 鄭子華

?

基于顯著性區(qū)域檢測和水平集的圖像快速分割算法

葉 鋒*李婉茹 陳家禎 鄭子華

(福建師范大學(xué)數(shù)學(xué)與計算機學(xué)院 福州 350007)

為了實現(xiàn)含有復(fù)雜背景和弱邊界圖像的快速準(zhǔn)確分割，傳統(tǒng)的水平集常采用重新初始化的方法，但是這種方法存在計算量大、分割不準(zhǔn)確等問題。因此，結(jié)合顯著性區(qū)域，該文提出一種基于邊緣信息與區(qū)域局部信息結(jié)合的變水平集圖像快速分割方法。首先用元胞自動機模型檢測出圖像的顯著性區(qū)域，得到圖像的初始化邊界曲線。然后，采用改進(jìn)的距離正規(guī)化水平集演化(Distance Regularized Level Set Evolution, DRLSE)模型把圖像的局部信息結(jié)合到變分能量方程中，用改進(jìn)的能量方程去指導(dǎo)曲線的演化。實驗結(jié)果表明，與DRLSE模型相比，提出的算法平均消耗的時間只需要前者的2.76%，且具有較高的分割準(zhǔn)確性。

圖像分割；水平集方法；顯著性檢測；距離正規(guī)化水平集演化

1 引言

近幾年，基于水平集方法的活動輪廓模型在計算機視覺和圖像分割中有了廣泛的應(yīng)用。Kass等人[1]于1987年提出活動輪廓模型(Active Contour Model, ACM)并首次應(yīng)用于圖像分割中?；顒虞喞▍?shù)輪廓模型(Parametric ACM)和幾何輪廓模型(Geometric ACM)這兩種。2001年，Chan等人[2]提出了一種C-V(Chan Vese)模型，這種模型在能量函數(shù)中加入包含曲線長度和局部區(qū)域面積的懲罰項，該模型對含有噪聲的圖像效果比較好，但是對于灰度不均勻圖像，基于圖像的全局信息的C-V模型，往往不能有很好的分割效果。為了克服傳統(tǒng)的水平集演化需要重復(fù)初始化，Li等人[3]提出了一種無需重新初始化的距離正規(guī)化水平集演化(DRLSE)模型，雖然這種方法避免了重新初始化，但是在分割背景信息復(fù)雜或灰度不均勻的圖像時，會導(dǎo)致分割曲線偏離目標(biāo)區(qū)域，從而出現(xiàn)錯誤的分割。2010年，Zhang等人[4]提出了一個新的基于區(qū)域的活動輪廓模型的局部圖像擬合LIF(Local Image Fitting)模型。該模型通過引入局部圖像擬合能量來捕獲圖像局部信息，該模型可以對灰度不均勻的圖像取得較好的效果。2016年，Agarwal等人[5]提出一種基于偏置場校正模糊C均值的水平集方法，能很好地處理醫(yī)學(xué)圖像。2017年，于海平等人[6]提出一種基于多特征的距離正則化水平集快速分割方法。該模型不僅對初始化信息敏感度降低，而且提高了圖像分割速度。

顯著性檢測是當(dāng)前計算機領(lǐng)域一個研究熱點。Itti等人[7]提出的基于自下而上的視覺注意力模型，對圖像的顏色、方向等進(jìn)行提取，得到圖像的單一顯著圖。Guo等人[8]提出的通過計算圖像的四元傅里葉變換的相位譜，得到圖像的顯著圖。Borji等人[9]在2014年提出的顯著性區(qū)域檢測算法分類方式，這種模型是通過繪出物體的輪廓，檢測出顯著物體?？梢娮韵露系哪Ｐ褪沁@幾年的趨勢，這也是本文選用自下而上模型的一個依據(jù)。

針對DRLSE模型和LIF模型的優(yōu)缺點，本文通過顯著性區(qū)域檢測，獲取圖像的的顯著圖得到初始演化曲線?；谏鲜龇治?，利用圖像的梯度信息和局部信息，本文提出一種新的能量函數(shù)，引入DRLSE模型和LIF模型能量因子這種方法，更好地解決背景與目標(biāo)灰度不明顯的圖像分割問題。實驗結(jié)果表明：提出的模型比距離正規(guī)化模型的收斂速度更快。

2 基于元胞自動機的初始輪廓提取算法

2.1 元胞自動機算法原理

2.2 初始輪廓提取算法

3 水平集模型分析

3.1 LIF模型

局部擬合函數(shù)的能量公式為

最小化能量泛函數(shù)得到最終演化公式如式(5)：

3.2 DRLSE模型

DRLSE模型避免了人工初始化這一復(fù)雜的過程大大縮短了時間，保證了演化的精確度和準(zhǔn)確度。同時，為了克服擴散率趨于無窮大的問題，該模型加入了懲罰項，并糾正了水平集函數(shù)與符號距離之間的偏差，提高了曲線的演化速度[20]。其距離正規(guī)化的能量泛函數(shù)表達(dá)式為

所以結(jié)合式(8)、式(9)、式(10)以最快下降速度過程為梯度流，得到最終的演化曲線：

4 改進(jìn)的水平集分割算法

4.1 改進(jìn)的能量函數(shù)

局部擬合能量項是基于兩個窗口函數(shù)，當(dāng)這兩個窗口的局部亮度信息分別與曲線內(nèi)外部的亮度均值相等時，局部擬合項就和真實的圖像信息相近，此時的曲線正好達(dá)到目標(biāo)輪廓的位置，但是LIF模型對初始輪廓曲線比較敏感，初始輪廓曲線如果離目標(biāo)區(qū)域太遠(yuǎn)的話，就是陷入局部最小值的狀態(tài)，DRLSE模型是基于圖像的全局信息的，但是這種模型對初始輪廓不敏感，初始輪廓可以是任意的形狀，但是它容易產(chǎn)生過分割和欠分割的現(xiàn)象。

根據(jù)上節(jié)對兩種模型的優(yōu)缺點分析，并結(jié)合局部信息和梯度信息，引入LIF模型和DRLSE模型因子，本文提出的能量泛函數(shù)為

對于圖像，水平集演化方程離散為有限差分方程：

使用本文改進(jìn)的能量函數(shù)的水平集模型與DRLSE模型同時對圖片分割。兩種模型分割時所使用的初始輪廓曲線以及迭代次數(shù)都是相同的，分割結(jié)果以達(dá)到最終的穩(wěn)定狀態(tài)為準(zhǔn)(即使增加迭代次數(shù)分割結(jié)果也不會改變的狀態(tài))。結(jié)果表明，與DRLSE模型相比，使用新能量函數(shù)的水平集模型的分割更接近待分割目標(biāo)的邊界。如圖1，使用DRLSE模型分割烏龜，由于烏龜附近的土壤區(qū)域的梯度達(dá)到局部最大，即使增加迭代次數(shù)，演化曲線都不能再繼續(xù)演化。使用本文提出的能量函數(shù)模型演化曲線時，當(dāng)快達(dá)到目標(biāo)輪廓時，這時候DRLSE模型已經(jīng)不起作用了，而此時局部擬合項則起到主要的作用。只有到達(dá)真正的目標(biāo)區(qū)域，演化曲線才停止。使用DRLSE模型時鴨子出現(xiàn)欠分割現(xiàn)象。這種情況下，通過后文提出的基于顯著性的模型去分割，分割的效果會更好。

圖1 兩種能量函數(shù)水平集模型分割結(jié)果

4.2 改進(jìn)模型算法

本文引入顯著性區(qū)域檢測獲取初始輪廓曲線，使初始輪廓曲線更接近目標(biāo)輪廓，既避免了手動選取初始輪廓這一步驟。結(jié)合元胞自動機檢測出顯著性區(qū)域，根據(jù)圖像的顯著性區(qū)域又得到演化的初始輪廓曲線，而后使用改進(jìn)的的能量函數(shù)指導(dǎo)曲線的演化。改進(jìn)模型算法流程如圖2所示，具體實現(xiàn)步驟如下：

(5)判斷是否滿足迭代次數(shù)，不滿足則返回(2)繼續(xù)演化曲線，如果滿足，這時的演化曲線就是最終的演化曲線，也就是最終的分割曲線。

改進(jìn)的模型結(jié)合元胞自動機原理，快速定位出初始輪廓曲線，避免了人工選取的步驟，減少了時間，使得新的水平集模型準(zhǔn)確地朝著目標(biāo)移動，取得了較好的效果。

5 實驗結(jié)果及分析

5.1 兩種模型分割結(jié)果的比較

圖3給出了DRLSE模型、本文改進(jìn)模型的5種分割實例。從左到右依次是原始圖像，DRLSE模型的初始輪廓，DRLSE模型迭代2510次分割結(jié)果，本文模型的迭代11次分割結(jié)果?？梢钥闯?，圖3中，對十字架的分割只停留在十字架周圍的土壤區(qū)域上，沒有準(zhǔn)確地停留在十字架周圍，對小狗的分割有一部分停留在小狗身邊的地面上，對葉子的分割停留在灰色葉子的周圍，對玩具的分割停留在玩具狗的椅子上，對蝴蝶的分割停留在蝴蝶旁邊的葉子上。由于DRLSE模型是基于梯度信息的，對初始輪廓的選取比較敏感，未能將十字架與十字架灰度相接近的土壤區(qū)分，導(dǎo)致了分割結(jié)果不準(zhǔn)確的現(xiàn)象?？梢园l(fā)現(xiàn)，用改進(jìn)的模型排除了十字架周圍土壤、小狗周圍地面的影響，可以有效快速地分割圖像，不僅運行時間短，而且分割精度高。由于DRLSE模型是手動選取初始分割曲線，所以初始分割曲線必須在待分割目標(biāo)的外側(cè)，或是內(nèi)側(cè)，導(dǎo)致分割的時間加大。本文提出的方法用基于元胞自動機原理的顯著性模型找到待分割目標(biāo)大致的輪廓并將其作為初始分割曲線，大大節(jié)約了時間，提高了算法的效率。

表1給出了圖3中5種示例圖的兩種模型分割圖像的時間，改進(jìn)的模型與DRLSE模型相比較分割時間大幅縮減：平均消耗的時間只需要前者的2.76%。這是由于改進(jìn)的模型利用顯著性的優(yōu)勢，找到顯著性的同時，可以提取待分割區(qū)域的邊緣信息，大大縮短了演化時間。

圖4是使用PASCAL VOC數(shù)據(jù)集對比兩種算法的分割結(jié)果，從分割結(jié)果可以看出DRLSE模型分割結(jié)果遠(yuǎn)不如本文算法的分割結(jié)果。圖4中，DRLSE模型幾乎沒有分割出目標(biāo)區(qū)域，但是本文模型幾乎都分割出目標(biāo)區(qū)域了。

圖3 兩種模型分割結(jié)果

圖4 兩種模型在PASCAL VOC數(shù)據(jù)集上的分割結(jié)果

表1兩種模型的分割時間(s)

5.2 圖像分割效果評價

圖像分割的客觀評價標(biāo)準(zhǔn)：精度是精確性的度量，在圖像分割中表示被正確分割的像素與分割總像素的比例，Dice重合率是分割結(jié)果中正確的像素占真實GT圖總的像素的比例。精確率=TP/(TP +FP), Dice重合率=SEG∩GT/GT。其中TP和FP分別表示正確分割的像素和錯誤分割的像素個數(shù)，TP+FP表示分割的總像素。在本文中，使用這兩個指標(biāo)來評價算法的性能。表2描述的是使用兩種算法對圖3中5種示例的分割結(jié)果的Dice重合率和精確率。

精確率越高表示分割的結(jié)果中正確率越高，Dice重合率表示分割的結(jié)果越接近真實的GT圖，也表示分割的結(jié)果越好，對圖3中的5幅圖片的兩種指標(biāo)的平均值作比較，從結(jié)果可以看出改進(jìn)的模型的Dice重合率，精確度都比DRLSE模型的結(jié)果要高20%以上。

5.3 多目標(biāo)分割效果分析

本文提出的模型對單目標(biāo)的分割具有很好的效果，針對多目標(biāo)的分割，本文提出的模型也可以達(dá)到快速準(zhǔn)確地分割。圖5是使用改進(jìn)的算法對多目標(biāo)的分割結(jié)果。圖5的4幅圖片每張都含有兩個或兩個以上的目標(biāo)，從圖中可以看出，這些目標(biāo)有的相連，有的不相連。本文模型對飛機的分割可以準(zhǔn)確定位出每個飛機的邊界，對花的分割，可以排除葉子的影響，直接把花朵分割出來。從結(jié)果可以看出。本文模型不但對單目標(biāo)可以實現(xiàn)精確分割，而且對多目標(biāo)也可以實現(xiàn)精確地分割，也有比較好的分割效果。

圖6是使用本文提出的方法對不同圖片處理的結(jié)果。這組圖片既存在背景信息復(fù)雜的圖片，也存在弱邊界的圖片。實驗結(jié)果展示了本文提出的算法的分割結(jié)果。從圖中可以看出，本文提出的方法對背景復(fù)雜及灰度不均勻的圖片具有較好的分割效果，這8幅圖片迭代11次的平均時間是5.04 s, DRLSE模型的迭代2510次的分割平均時間是173.50 s，本文算法分割的時間相比DRLSE模型的分割時間大約節(jié)約了97%，而且圖6的分割結(jié)果精確率大都大于98%，分割時間大大縮短了，效果也提高了，從而說明本文算法對背景信息復(fù)雜以及灰度不均勻的圖像的分割效果比較理想。雖然本文算法節(jié)約了時間，但是對于圖6的第7張圖中的嬰兒的臉部分割不是太精確。這是由于顯著性檢測出的初始輪廓有誤差，導(dǎo)致了分割不是太精確。

表2兩種模型的兩種評價指標(biāo)(%)

本文算法在DRLSE模型的基礎(chǔ)上加入了局部信息LIF模型，LIF模型很好地把細(xì)節(jié)信息作為能量項。DRLSE模型把梯度信息加入到能量方程中作為懲罰項，不僅控制了演化的速度、方向，也很好地把演化曲線停留在目標(biāo)區(qū)域邊界上。改進(jìn)的模型利用了上述兩種模型優(yōu)點，改進(jìn)新的能量函數(shù)很好地保證了分割的精度。在此之前，利用元胞自動機獲得的顯著圖作為初始演化曲線，避免了DRLSE模型的手動選取初始演化曲線這一弊端，大大節(jié)約了時間，因此新的模型不僅縮短了時間，而且分割精度高，有比較好的效果。

6 結(jié)束語

本文提出的局部信息與梯度信息結(jié)合的水平集方法，能夠有效地分割背景信息復(fù)雜及弱邊界的圖像。改進(jìn)的算法結(jié)合顯著性檢測的優(yōu)勢，很容易獲得圖像的邊緣信息，也就是基于目標(biāo)區(qū)域的梯度信息。該模型很好地把背景區(qū)域的信息排除掉，使初始曲線開始于目標(biāo)區(qū)域的邊緣附近，大大節(jié)約了演化的時間，提高分割的準(zhǔn)確度，使最終曲線很好地位于目標(biāo)區(qū)域。而且，改進(jìn)模型無論在時間上，還是在分割性能上大幅優(yōu)于DRLSE模型，對于多種類型的圖片，該模型具有較高的計算效率和準(zhǔn)確性。接下來，將在本文基礎(chǔ)上進(jìn)一步優(yōu)化顯著圖算法，提出更為快速精確的顯著圖模型，提高本算法的適用性。

[1] KASS M, WITKIN A, and TERZOPOULOS D. Snakes Active contour models[C]. IEEE International Conference on Computer Vision, London, UK, 1987: 259-268.

[2] CHAN T F and VESE L A. Active contours without edges[J]., 2001, 10(2): 266-277. doi: 10.1109/83.902291.

[3] LI Chunming, XU Chenyang, GUI Changfeng,. Distance regularized level set evolution and its application to image segmentation[J].2010, 19(12): 3243-3254. doi: 10.1109/TIP.2010.2069690.

[4] ZHANG Kaihua, SONG Huihui, and ZHANG Lei. Active contours driven by local image fitting energy[J]., 2010, 43(4): 1199-1206. doi: 10.1016/j.patcog. 2009.10.010.

[5] AGARWAL Pankhuri, KUMAR Sandeep, SINGH Rahul,A combination of bias-field corrected fuzzy C-means and level set approach for brain MRI image segmentation[C]. Soft Computing and Machine Intelligence (ISCMI), Hong Kong, China, 2015: 23-24. doi: 10.1109/ISCMI.2015.16.

[6] 于海平, 何發(fā)智, 潘一騰, 等. 一種基于多特征的距離正則化水平集快速分割方法[J]. 電子學(xué)報, 2017, 45(3): 534-539. doi: 10.3969/j.issn.372-2112.2017.003.004.

YU Haiping, HE Fazhi, PAN Yiteng,A fast distance regularized level set method for segmentation based on multi- features[J].,2017, 45(3): 534-539. doi: 10.3969/j.issn.372-2112.2017.003.004.

[7] ITTI L, KOCH C, and NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[8] GUO Chenlei, MA Qi, and ZHANG Liming. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]. IEEE Conference on Computer Vision and Pattern Recognition, Washington, DC, USA, 2008: 1-8. doi: 10.1109/ CVPR.2008.4587715.

[9] BORJI Ali, CHENG Mingming, JIANG Huaizu,. Salient object detection: A benchmark[J]., 2015, 24(12): 5706-5722. doi: 10.1109/TIP. 2015.2487833.

[10] QUO Jingfan, REN Tongwei, and BEI Jia. Salient object detection for RGB-D image via saliency evolution[C]. IEEE International Conference on Multimedia and Expo, Seattle, WA, USA, 2016: 1-6. doi: 10.1109/ICME.2016.7552907.

[11] NAQVI S S, BROENE W N, and HOLLITT C. Salient object detection via spectral matting[J]., 2016, 51(C): 209-224. doi: 10.1016/j.patcog.2015.09.026.

[12] PENG Houwen, LI Bing, LIN GHaibin,. Salient object detection via structured matrix decomposition[J]., 2016, 39(4): 818-832. doi: 10.1109/TPAMI.2016.2562626.

[13] WANG Linzhao, WANG Lijun, LU Huchuan,. Saliency detection with recurrent fully convolutional Networks[C]. European Conference on Computer Vision, TIWAKI Corporation, Iwaki, Japan, 2016: 825-841. doi: 10.1007/978- 3-319-46493-0_50.

[14] KAPOOR A, BISWAS K, and HANMANDLU M. An evolutionary learning based fuzzy theoretic approach for salient object detection[J]., 2017, 33(5): 665-685. doi: 10.1007/s00371-016-1216-1.

[15] SUN Jingang, LU Huchuan, and LIU Xiuping. Saliency region detection based on Markov absorption probabilities[J].,2015, 24(5): 1639-1649. doi:10.1109/TIP.2015.2403241.

[16] LEE Gayoung, TAI Yuwing, and KIM Junmo. Deep saliency with encoded low level distance map and high level features [C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, USA, 2016: 660-668.

[17] CHOPARD Bastien and DROZ Michel. Book review: Cellular automata modeling of physical systems[J]., 1999, 97(5/6): 1031-1032. doi: 10.1023/A: 1017270215844.

[18] QIN Yao, LI Huchuan, XU Yiqun,. Saliency detection via sellular automata[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 110-119. doi: 10.1109/CVPR.2015.7298606.

[19] ACHANTA Radhakrishna, SHAJI Appu, SMITH Smith,. SLIC superpixels compared to state-of-the-artsuperpixel methods[J]., 2012, 34(11): 2274-2282. doi: 10.1109/ TPAMI.2012.120.

[20] 鄭偉, 張晶, 楊虎. 改進(jìn)邊界指示函數(shù)的水平集活動輪廓模型[J]. 激光技術(shù), 2016, 40(1): 126-130. doi: 10.7510/jgjs.issn. 1001-3806.2016.01.028.

ZHENG Wei, ZHANG Jing, and YANG Hu. The level set active contour model with improved boundary indicator function[J]., 2016, 40(1): 126-130. doi: 10.7510/jgjs.issn. 1001-3806.2016.01.028.

Image Fast Segmentation Algorithm Based on Saliency Region Detection and Level Set

YE Feng LI Wanru CHEN Jiazhen ZHENG Zihua

(,,350007,)

In order to achieve fast and accurate segmentation of images with complicated background and weak boundaries, the re-initialization method is often adopted in the traditional level set function. However, this method has many problems such as large computation and inaccurate segmentation. Thus, combined with the saliency detection algorithm, a new image segmentation method of variable level set based on the combination of edge information and regional local information is proposed. Firstly, the saliency region of the image is detected by the cellular automata model to obtain initial boundary curve of the image. Then, an improved distance normalized level set evolution (Distance Regularized Level Set Evolution, DRLSE) model is used to combine the local information of the image into the variational energy equation, and the evolution of the curve is guided by the improved energy equation. Compared with the DRLSE, the experimental results show that the average time of the proposed algorithm only needs 2.76% of the former with further improvements in the accuracy of image segmentation.

Image segmentation; Level set method; Saliency detection; Distance Regularized Level Set Evolution (DRLSE)

The National Natural Science Foundation of China (61671077), The Natural Science Foundation of Fujian Province (2017J01739), The Scientific Research Fund of Fujian Education Department (JA15136), The Teaching Reform Project of Fujian Normal University (I201602015)

TP391

A

1009-5896(2017)11-2661-08

10.11999/JEIT170214

2017-03-17；

2017-08-14

國家自然科學(xué)基金(61671077)，福建省自然科學(xué)基金(2017J01739)，福建省教育廳項目(JA15136)，福建師范大學(xué)教學(xué)改革研究項目(I201602015)

改回日期：2017-07-11；

*通信作者：葉鋒 yefeng@fjnu.edu.cn

葉 鋒： 男，1978年生，講師，博士后，研究方向為視頻圖像處理.

李婉茹： 女，1991年生，碩士生，研究方向為圖像處理.

陳家禎： 女，1971年生，副教授，研究方向為視頻圖像處理.

鄭子華： 女，1976年生，副教授，研究方向為視頻圖像處理.