活動(dòng)輪廓模型影像分割方法綜述

李妍

(武漢大學(xué)測繪學(xué)院，武漢 430079)

1 引 言

影像分割在影像處理和計(jì)算機(jī)視覺領(lǐng)域有著重要的應(yīng)用。最近20年左右一些新的影像分割方法不斷涌現(xiàn)，其中活動(dòng)輪廓模型方法在近10年來得到了廣泛的關(guān)注?；顒?dòng)輪廓模型源于Kass等提出的Snake模型[1]。早期的活動(dòng)輪廓模型演化曲線由于采用顯式參數(shù)表達(dá)(因而稱為參數(shù)活動(dòng)輪廓模型)導(dǎo)致其無法解決區(qū)域的拓?fù)渥兓瘑栴}，因而限制了該方法的使用。后來Osher和Sethian提出了水平集的方法[2]，將演化曲線(面)用隱式水平集的方式進(jìn)行表達(dá)，稱為幾何活動(dòng)輪廓模型，或者水平集方法。引入水平集函數(shù)的最大優(yōu)點(diǎn)是能夠自然地處理曲線(面)的拓?fù)渥兓?，因而可以檢測多個(gè)物體的邊緣。因此水平集方法從很大程度上推動(dòng)了活動(dòng)輪廓模型影像分割方法的發(fā)展，使得該方法成為圖像分割領(lǐng)域的一大新的分支。目前用到的活動(dòng)輪廓模型方法都基本都屬于幾何活動(dòng)輪廓模型，由于其在輪廓的表達(dá)中引入了水平集函數(shù)，在具體能量泛函最小化的解算中用到了變分理論，因而也被稱為變分水平集方法。

幾何活動(dòng)輪廓模型進(jìn)行影像分割的基本思想是利用水平集理論和影像的邊緣(梯度)或者區(qū)域的灰度信息構(gòu)造能量泛函并給定一個(gè)初始輪廓，然后利用變分理論對偏微分方程進(jìn)行迭代計(jì)算實(shí)現(xiàn)初始輪廓的變形演化，最終達(dá)到能量泛函最小化，此時(shí)對應(yīng)的輪廓曲線即是分割的目標(biāo)邊界。圖1概況了活動(dòng)輪廓模型的一些基本分類情況。

本文主要從能量泛函的表達(dá)和解算、分割區(qū)域的數(shù)目、能量泛函的構(gòu)造、能量泛函數(shù)據(jù)項(xiàng)中包含的基本信息和其他信息等方面對活動(dòng)輪廓模型進(jìn)行總結(jié)和概括，并重點(diǎn)介紹一些經(jīng)典的能量泛函模型，同時(shí)涵蓋了活動(dòng)輪廓模型的一些最新研究進(jìn)展。

圖1 影像分割的活動(dòng)輪廓模型方法基本分類圖

2 能量泛函包含的基本信息

幾何活動(dòng)輪廓模型中最常用的基本信息有梯度信息和區(qū)域的灰度信息。利用梯度信息時(shí)稱為邊緣活動(dòng)輪廓模型，而利用區(qū)域的整體灰度信息時(shí)稱為區(qū)域活動(dòng)輪廓模型。

2.1 邊緣活動(dòng)輪廓模型

邊緣活動(dòng)輪廓模型有多種，此處僅以應(yīng)用范圍最廣的Snake模型和測地線活動(dòng)輪廓模型為代表進(jìn)行簡單介紹。

2.1.1 Snake模型[1]

Snake模型是最早的活動(dòng)輪廓模型，其基本思想在感興趣區(qū)域附近給出一條初始輪廓曲線(可變形曲線)，然后使得曲線在能量泛函逐漸遞減的引導(dǎo)下在圖像中發(fā)生變形并不斷逼近目標(biāo)輪廓。模型中的變形曲線用參量表示為C(s)=(x(s),y(s)),s∈[0,1]，其能量泛函為：

(1)

其中C′和C″分別代表變形曲線對參數(shù)s的一階和二階偏導(dǎo)。式(1)的梯度下降流為：

(2)

作為最早的活動(dòng)輪廓模型，Snake模型存在許多不足，如分割結(jié)果對曲線的初始位置和形狀較敏感；通常不能改變輪廓線的拓?fù)浣Y(jié)構(gòu)以分割多個(gè)目標(biāo)或具有復(fù)雜拓?fù)浣Y(jié)構(gòu)的目標(biāo)；外力場的作用范圍小；很難將顏色、紋理或者運(yùn)動(dòng)信息等其他信息納入模型等。

2.1.2 測地線活動(dòng)輪廓模型[3]

測地線活動(dòng)輪廓模型利用了光學(xué)中的Fermat原理，即光在不均勻介質(zhì)中傳播時(shí)，“光線”將不是沿直線，而是按最短光程的方式確定其路徑。利用這一原理，可用如下能量泛函的最小化來確定活動(dòng)輪廓：

(3)

式中L(C)表示閉合曲線C的弧長，g為邊緣指示函數(shù)，作用是使輪廓曲線到達(dá)目標(biāo)邊界時(shí)停止演化，其定義如下：

(4)

最小化式(3)所對應(yīng)的梯度下降方程為：

(5)

基于邊緣的活動(dòng)輪廓模型主要是利用目標(biāo)的邊緣信息來進(jìn)行影像分割，進(jìn)而提取目標(biāo)邊界。當(dāng)影像沒有明顯的邊緣或者邊緣較弱，同時(shí)又缺乏明顯的紋理特征時(shí)，這一類型的影像分割方法就很難得到理想的效果。因此在該方法發(fā)展的同時(shí)也出現(xiàn)了另一個(gè)研究方向——基于區(qū)域的活動(dòng)輪廓模型。

2.2 區(qū)域活動(dòng)輪廓模型

早期的基于區(qū)域的活動(dòng)輪廓模型以Mumford-Shah模型[4]為代表，但該模型只是一個(gè)理論框架，實(shí)際求解非常困難。后來Chan和Vese將該模型簡化，并利用水平集函數(shù)提出了無邊緣活動(dòng)輪廓模型[5](簡稱Chan-Vese模型)，其能量泛函可以表示為：

(6)

其中Hε(φ)和δε(φ)分別階躍函數(shù)H(φ)和狄拉克函數(shù)δ(φ)的C∞規(guī)則近似項(xiàng)：

(7)

在實(shí)際數(shù)值計(jì)算時(shí)通常取ε=1。式(6)對應(yīng)的梯度下降方程為：

(8)

由于Chan-Vese模型簡單且易實(shí)現(xiàn)，因而后來的許多研究都是在該模型的基礎(chǔ)上進(jìn)行改進(jìn)的。

基于區(qū)域的幾何活動(dòng)輪廓模型使用圖像的區(qū)域特征作為分割條件，因此對弱邊緣的分割效果優(yōu)于基于邊緣的方法，而且能夠同時(shí)實(shí)現(xiàn)影像的去噪和分割。但是該方法忽略了對圖像的細(xì)節(jié)和局部邊緣信息，因此分割效果受到一定的影響。對此，通常有兩種解決方案：①在能量模型中引入局部信息(見本文第四部分的論述)；②是將影像的邊緣特征、區(qū)域特征以及統(tǒng)計(jì)特征等各種特征集于一體，從而構(gòu)建分割效果更佳的混合模型。所以，之后又出現(xiàn)了混合型活動(dòng)輪廓模型。

2.3 混合型活動(dòng)輪廓模型

混合型活動(dòng)輪廓模型[6-7]集成了影像的局部邊緣信息和區(qū)域的綜合信息，因而可以更加有效地實(shí)現(xiàn)影像的分割。Bresson等[8]提出了一種聯(lián)合邊界、區(qū)域和形狀信息的變分模型，并且利用幾何形狀先驗(yàn)知識(shí)以及全局和局部影像信息，得到了很好的分割結(jié)果。然而，該模型的先驗(yàn)知識(shí)由PCA模型獲得，需要大量的訓(xùn)練樣本。Allili和Ziou[9]提出了一種聯(lián)合邊緣和區(qū)域極化信息的分割模型，該模型可以分割紋理信息非常強(qiáng)的影像。Zhang等[10]利用測地線模型和Chan-Vese模型，提出了一種SBGFRLS(Selective Binary and Gaussian Filtering Regularized Level Set) 模型。該模型可以有效提取照度均勻的影像，但對于照度不均勻的影像分割效果不佳。Tian等[11]提出了一種包含邊緣項(xiàng)、區(qū)域項(xiàng)和規(guī)則項(xiàng)的混合模型，該模型能夠分割普通場景(包括亮度不均勻影像)。

3 多相影像分割

上述給出的模型主要是針對影像中只有目標(biāo)和背景兩類地物的簡單場景，因而只適用于兩相影像分割。在很多情況下，由于影像中的場景比較復(fù)雜，背景和目標(biāo)之間的分離不能簡單地用兩相分割來處理，因此必須要將兩相影像分割模型拓展到多相影像分割?；顒?dòng)輪廓模型中多相影像分割方法大致可以分為以下3種類型：

①類似于二叉樹的形式，采取自上而下的策略，先進(jìn)行整幅影像的兩相分割，再對子區(qū)域進(jìn)行兩相分割，如此迭代往復(fù)直到影像全部分割完畢[12]；

②對一個(gè)水平集函數(shù)分層以達(dá)到多相分割的目的[13]；

③用多個(gè)水平集函數(shù)進(jìn)行多相分割[14-15]。

由于篇幅所限，這里僅對應(yīng)用和研究較多的第3種類型稍加敘述。根據(jù)分割區(qū)域數(shù)目和采用水平集函數(shù)數(shù)目的不同，可以得到如表1所示的不同多相分割方案。由于多相影像分割中，每次迭代計(jì)算時(shí)均需要將所有水平集函數(shù)進(jìn)行更新，因而迭代計(jì)算量會(huì)隨著水平集函數(shù)數(shù)目的增加而大大增加，因此從計(jì)算效率的角度講，方案2的計(jì)算效率最高。令χi(x)為區(qū)域Ωi的特征函數(shù)，n為分割的區(qū)域數(shù)目。這里給出方案2對應(yīng)的能量泛函公式：

嘉賓席里卻少了掌聲相應(yīng)。剛才梅宏圖的開場白，把大家搞得一頭霧水，面面相覷。新聞界的同行們？啥意思？一個(gè)搞房地產(chǎn)的問題商人，不會(huì)連“同行”是什么意思也搞不清楚吧？他奶奶的個(gè)小腳，這年頭，咋凈是專家出自文盲富翁起于草莽的怪現(xiàn)象層出不窮呢？

(9)

表1 多區(qū)域分割方案表(單位：個(gè))

無論采用哪種分割方案，能量函數(shù)中的特征函數(shù)χi必須滿足以下兩個(gè)條件才能避免重疊或者漏分問題：

而且通常與兩相影像分割類似，均可以利用梯度下降方程進(jìn)行迭代計(jì)算，從而實(shí)現(xiàn)初始輪廓隨時(shí)間的演化，最終實(shí)現(xiàn)影像的多相分割。

4 能量泛函中包含的其他信息

在Chan-Vese模型中主要用到了區(qū)域的灰度均值信息，對于含有一定噪聲的影像或者紋理影像該模型分割效果不佳，因而研究人員又在此基礎(chǔ)上提出了一系列的改進(jìn)方法，即將灰度分布的統(tǒng)計(jì)信息、紋理信息等影像特征納入能量泛函的數(shù)據(jù)項(xiàng)中，以改善變分水平集影像分割效果。

4.1 灰度分布統(tǒng)計(jì)信息

將統(tǒng)計(jì)信息融入幾何活動(dòng)輪廓模型中使得影像分割的應(yīng)用可以擴(kuò)展到紋理影像和運(yùn)動(dòng)序列影像的分割。Zhu和Yuille[7]給出了MS模型及其貝葉斯最大后驗(yàn)概率MAP估計(jì)之間的聯(lián)系的證明，而Paragios和Deriche[6]則給出了應(yīng)用MAP模型進(jìn)行最優(yōu)化分割的計(jì)算方法。

假定影像分為兩區(qū)域，各區(qū)域滿足高斯統(tǒng)計(jì)分布，令

(10)

(11)

其對應(yīng)的梯度下降方程為：

(12)

此外，Michailovich等[17]，Mitiche和Ayed[18]均研究了基于影像區(qū)域數(shù)據(jù)分布差異最大化進(jìn)行影像兩區(qū)域分割的數(shù)學(xué)模型。

4.2 紋理信息

對于紋理信息比較豐富的影像，將紋理描述子引入幾何活動(dòng)輪廓的能量泛函模型中將大大提高影像分割的效果。在水平集紋理影像分割中利用得比較多的紋理描述子有LBP(Local Binary Patterns)紋理[19-20]、Gabor紋理[21-22]、結(jié)構(gòu)張量[23-24]等。

綜上所述，除了影像亮度信息之外，影像的很多特征都可以引入變分水平集能量泛函中來代替像元本身的灰度信息，從而使得活動(dòng)輪廓模型用于影像分割時(shí)具有非常好的可擴(kuò)展性。這些特征可以是一個(gè)標(biāo)量(如影像亮度)、一個(gè)矢量(如像元顏色或者時(shí)空影像梯度)，或者一個(gè)張量(例如結(jié)構(gòu)張量或者擴(kuò)散張量)等。

4.3 局部信息

當(dāng)影像存在弱邊緣或者影像上照度不均時(shí)，通?；顒?dòng)輪廓模型的分割效果會(huì)受到影響，最終導(dǎo)致分割錯(cuò)誤。針對這一問題，研究人員提出了各種改進(jìn)能量函數(shù)的方法，將影像的局部信息與全局信息結(jié)合起來，從而能夠更好地分割弱邊緣或者照度不均導(dǎo)致的模糊邊界。例如將局部信息引入Chan-Vese模型的能量泛函中以提高演化曲線對弱邊界的捕獲能力[25-26]。此外，Salah等[27]將核函數(shù)引入能量泛函的數(shù)據(jù)項(xiàng)中；Bernard等[28]用B樣條基函數(shù)的線性組合來表達(dá)零水平集，用該方法進(jìn)行曲線演化時(shí)速度非?？?。

5 全局凸分割模型及其求解

前面介紹的能量泛函都是非凸函數(shù)，因而在具體解算過程中存在兩個(gè)根本性的問題：①能量泛函非凸使得分割結(jié)果易受初始輪廓的影響而陷入局部極值；②能量泛函均采用梯度下降方法求解，迭代次數(shù)多、計(jì)算量大，導(dǎo)致分割時(shí)間長，分割效率低下。雖然人們提出了窄帶法和快速步進(jìn)算法[29]從一定程度上改善了第2個(gè)問題，但能量泛函非凸的問題依然存在。

近些年來研究人員對經(jīng)典Chan-Vese模型進(jìn)行了各種改進(jìn)[30-31]。其中較成功的是Chan等提出的全局凸分割GCS(Global Convex Segmentation，GCS)模型[30]，其相應(yīng)的能量泛函為：

(13)

Goldstein等提出用Split Bregman算法對GCS模型進(jìn)行快速求解[32-33]。其基本思想是引入矢量變量d以及Bregman迭代因子b，從而將能量泛函最小化問題分解為兩個(gè)變量u和d的最優(yōu)化問題：

(14)

(15)

首先固定d，則式(14)所對應(yīng)的最優(yōu)化問題對于u的歐拉-拉格朗日方程為

(16)

對式(16)，可以用中心差分計(jì)算其中的拉普拉斯算子，用向后差分計(jì)算散度算子，從而得到式(16)的數(shù)值解方案為：

ui,j=max{min{βi,j,1},0}

(17)

然后固定水平集函數(shù)u，可以利用收縮算子求式(14)相對于d的最小值從而得到d的迭代計(jì)算式：

(18)

全局凸分割模型的出現(xiàn)較好地解決了經(jīng)典Chan-Vese模型的非凸問題，Split Bregman快速算法則大大減少了全局凸分割模型的迭代次數(shù)和計(jì)算時(shí)間。但該模型只適用于兩相影像分割，對于多相影像分割尚需進(jìn)一步的研究。

6 結(jié)束語

利用影像的各種特征，將局部亮度擴(kuò)展到局部特征，使得變分水平集的框架可以擴(kuò)展到紋理影像分割、運(yùn)動(dòng)目標(biāo)分割等，從而大大開拓了變分水平集影像分割的應(yīng)用領(lǐng)域。從最初的簡單影像分割到醫(yī)學(xué)影像分割[34-36]，到目前的雷達(dá)影像等遙感影像分割[37-39]、動(dòng)態(tài)影像目標(biāo)跟蹤[40-42]等，基于活動(dòng)輪廓模型的影像分割方法的應(yīng)用領(lǐng)域正在不斷擴(kuò)大。

參考文獻(xiàn)：

[1] KASS M，WITKIN A，TERZOPOULOS D.Snakes：Active contour models[J].International Journal of Computer Vision，1988，1(4)：321-331.

[2] OSHER S，SETHIAN J A.Fronts propagating with curvature-dependent speed：Algorithms based on Hamilton-Jacobi formulations[J].Journal of Computational Physics，1988，79(1)：12-49.

[3] CASELLES V，KIMMEL R，SAPIRO G.Geodesic active contours[J].International Journal of Computer Vision，1997，22(1)：61-79.

[4] MUMFORD D，SHAH J.Optimal approximations by piecewise smooth functions and associated variational problems[J].Communications on Pure and Applied Mathematics，1989，42(5)：577-685.

[5] CHAN T F，VESE L A.Active contours without edges[J].IEEE Transactions on Image Processing，2001，10(2)：266-277.

[6] PARAGIOS N，DERICHE R.Geodesic active regions and level set methods for supervised texture segmentation[J].International Journal of Computer Vision，2002，46(3)：223-247.

[7] ZHU S C，YUILLE A.Region competition：Unifying snakes，region growing，and Bayes/MDL for multiband image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(9)：884-900.

[8] BRESSON X，VANDERGHEYNST P，THIRAN J-P.A variational model for object segmentation using boundary information and shape prior driven by the Mumford-Shah functional[J].International Journal of Computer Vision，2006，68(2)：145-162.

[9] ALLILI M S，ZIOU D.Globally adaptive region information for automatic color-texture image segmentation[J].Pattern Recognition Letters，2007，28(15)：1946-1956.

[10] ZHANG K，ZHANG L，SONG H，et al.Active contours with selective local or global segmentation：A new formulation and level set method[J].Image and Vision Computing，2010，28(4)：668-676.

[11] TIAN Y，DUAN F，ZHOU M，et al.Active contour model combining region and edge information[J].Machine Vision and Applications，2013，24(1)：47-61.

[12] CHUNG G，VESE L A.Energy minimization based segmentation and denoising using a multilayer level set approach[C].Energy Minimization Methodsin Computer Vision and Pattern Recognition，Lecture Notes in Computer Science，2005(3757)：439-455.

[13] GAO S，BUI T D.Image segmentation and selective smoothing by using Mumford-Shah model[J].IEEE Transactions on Image Processing，2005，14(10)：1537-1549.

[14] VESE L A，CHAN T.A multiphase level set framework for image segmentation using the Mumford and Shah model[J].International Journal of Computer Vision，2002，50(3)：271-293.

[15] HONG-KAI Z，CHAN T，MERRIMAN B，et al.A variational level set approach to multiphase motion[J].Journal of Computational Physics，1996，127(12)，179-195.

[16] ROUSSON M，DERICHE R.A variational framework for active and adaptative segmentation of vector valued images[C].Proceedings of IEEE Worksho Pon Motion and Video Computing，2002：56-61.

[17] MICHAILOVICH O，RATHI Y，TANNENBAUM A.Image segmentation using active contours driven by the Bhattacharyya gradient flow[J].IEEE Transactions on Image Processing，2007，16(11)：2787-2801.

[18] MITICHE A，AYED I B.Variational and level set methods in image segmentation[M].Springerverlag Berlin Heidelberg，2011.

[19] QING X，JIE Y，SIYI D.Texture segmentation using LBP embedded region competition[J].Electronic Letters on Computer Vision and Image Analysis，2005，5(1)：41-47.

[20] SAVELONAS M，IAKOVIDIS D，MAROULIS D.An LBP-based active contour algorithm for unsupervised texture segmentation[C].IEEE 18th International Conference on Pattern Recognition，2006(2)：279-282.

[21] SANDBERG B，CHAN T，VESE L.A level-set and gabor-based active contour algorithm for segmenting textured images[R].UCLA Department of Mathematics CAM Report，2002.

[22] 張立和，朱莉莉，米曉莉.結(jié)合Gabor紋理特征的局域化多通道水平集分割方法[J].電子學(xué)報(bào)，2011，20(7)：1569-1574.

[23] ROUSSON M，BROX T，DERICHE R.Active unsupervised texture segmentation on a diffusion based feature space[C].Proceedings of.IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition，2003(2)：699-704.

[24] 王曉峰.水平集方法及其在圖像分割中的應(yīng)用研究[D].中國科學(xué)技術(shù)大學(xué)，2009.

[25] LANKTON S，TANNENBAUM A.Localizing region-based active contours[J].IEEE Transactions on Image Processing，2008，17(11)：2029-2039.

[26] LIU S，PENG Y.A local region-based Chan-Vese model for image segmentation[J].Pattern Recognition，2012，45(7)：2769-2779.

[27] BEN SALAH M，MITICHE A，BEN AYED I.Effective level set image segmentation with a kernel induced data term[J].IEEE Transactions on Image Processing，2010，19(1)：220-232.

[28] BERNARD O，F(xiàn)RIBOULET D，THEVENAEP，et al.Variational B-spline level-set：A linear filtering approach for fast deformable model evolution[J].IEEE Transactions on Image Processing，2009，18(6)：1179-1191.

[29] SETHIAN J A.Level set methods and fast marching methods：Evolving interfaces in computational geometry，fluid mechanics，computer vision，and materials science[M].Cambridge University Press，1999.

[30] CHAN T F，ESEDOGLU S，NIKOLOVA M.Algorithms for finding global minimizers of image segmentation and denoising models[J].SIAM Journal on Applied Mathematics，2006，66(5)：1632-1648.

[31] BRESSON X，ESEDOGLU S，VANDERGHEYNST P，et al.Fast global minimization of the active contour/snake model[J].Journal of Mathematical Imaging and Vision，2007，28(2)：151-167.

[32] GOLDSTEIN T，OSHER S.The split bregman method for l1-regularized problems[J].SIAM Journal on Imaging Sciences，2009，2(2)：323-343.

[33] GOLDSTEIN T，BRESSON X，OSHER S.Geometric applications of the split Bregman method：Segmentation and surface reconstruction[J].Journal of Scientific Computing，2010，45(1-3)：272-293.

[34] 董建園，郝重陽，齊敏.基于策略演化水平集的醫(yī)學(xué)圖像快速分割[J].中國圖象圖形學(xué)報(bào).2009，14(8)：1689-1695.

[35] 高燕華，劉玉歡，喻罡.多尺度非參數(shù)化水平集的超聲心動(dòng)圖分割[J].西安交通大學(xué)學(xué)報(bào)，47(2)：1-7.

[36] WANG L，LI C，SUN Q，et al.Active contours driven by local and global intensity fitting energy with application to brain MR image segmentation[J].Computerized Medical Imaging and Graphics，2009，33(7)，520-531.

[37] AYED I B，MITICHE A，BELHADJ Z.Multiregion level-set partitioning of synthetic aperture radar images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(5)：793-800.

[38] 賀志國.基于活動(dòng)輪廓模型的SAR圖像分割算法研究[D].國防科技大學(xué)，2008：22-41.

[39] 楊耘，馬洪超，林穎，等.多水平集演化的高分辨率遙感影像分割[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2008，33(6)：588-591.

[40] MANSOURI A-R，KONRAD J.Multiple motion segmentation with level sets[J].IEEE Transactions on Image Processing，2003：12(2)，201-220.

[41] CREMERS D，SOATTO S.Motion competition：A variational approach to piecewise parametric motion segmentation[J].International Journal of Computer Vision，2005，62(3)：249-265.

[42] 于慧敏，徐藝，劉繼忠，等.基于水平集的多運(yùn)動(dòng)目標(biāo)時(shí)空分割與跟蹤[J].中國圖象圖形學(xué)報(bào)，2007，12(7)：1218-1223.