基于局部直方圖信息的相似圖像組分割模型

李歡麗, 徐海平， 王美清

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院， 福建 福州 350116)

0 引言

圖像分割是圖像處理和計(jì)算機(jī)視覺(jué)中最重要的任務(wù)之一[1]. 它的目的是將圖像中感興趣的對(duì)象與其余部分相分離， 以便為更高層圖像處理服務(wù). 隨著分割技術(shù)研究的不斷深入， 研究者發(fā)現(xiàn)， 對(duì)于語(yǔ)義復(fù)雜的圖像， 只利用單張圖像自身信息的分割方法很難準(zhǔn)確分割出令人滿(mǎn)意的區(qū)域.

為解決這一問(wèn)題， 文獻(xiàn)[2]提出組相似活動(dòng)輪廓模型(active contours with group similarity, ACGS)[2]， 針對(duì)多張目標(biāo)形狀相似的圖像同時(shí)進(jìn)行分割， 利用相似圖像之間的冗余信息來(lái)彌補(bǔ)單張圖像信息的不足， 有效解決了單張圖像中目標(biāo)形狀有缺失或被遮擋情形時(shí)的分割問(wèn)題. 該模型用CV模型[3]中的能量項(xiàng)作為單張圖像數(shù)據(jù)項(xiàng)， 用形狀矩陣的秩作為圖像組相似性約束項(xiàng). 由于CV模型只適用于分割變化緩慢的均勻圖像， 所以ACGS模型對(duì)具有紋理變化的形狀相似圖像組分割效果較差. 此外， ACGS模型對(duì)初始輪廓的位置也很敏感.

針對(duì)ACGS模型上述的局限性， 文獻(xiàn)[4]提出加權(quán)組相似活動(dòng)輪廓模型， 該模型通過(guò)給每張圖像賦予一個(gè)權(quán)系數(shù)， 來(lái)更好地平衡ACGS模型中單張圖像數(shù)據(jù)項(xiàng)和圖像間相似性約束項(xiàng)之間的權(quán)重問(wèn)題， 提高了ACGS模型對(duì)含噪聲相似圖像組的分割效果. 文獻(xiàn)[5]提出了用不均勻嵌入式活動(dòng)輪廓模型中的能量泛函作為ACGS模型中的單張圖像數(shù)據(jù)項(xiàng)， 一定程度上提高了ACGS模型對(duì)灰度不均勻的相似圖像組的分割效果. 文獻(xiàn)[6]提出將圖像的動(dòng)態(tài)亮度信息加入ACGS模型以更好地分割局部灰度不均的相似圖像組， 但由于仍用CV模型作為單張數(shù)據(jù)項(xiàng)， 所以該模型對(duì)具有紋理變化的相似圖像組分割效果不好.

本研究針對(duì)ACGS模型不能有效分割具有紋理變化圖像組的問(wèn)題， 提出了基于圖像局部直方圖信息的組相似活動(dòng)輪廓模型. 該模型中用基于圖像局部直方圖信息的能量項(xiàng)作為單張圖像數(shù)據(jù)項(xiàng)， 用形狀矩陣的秩作為圖像間相似性約束項(xiàng)， 既充分考慮單張圖像的紋理信息， 又考慮圖像間形狀的相似性. 在基于自然統(tǒng)計(jì)的顯著圖(saliency using natural statistics, SUN)[7]上演化CV模型實(shí)現(xiàn)輪廓的初始化， 提高了ACGS模型對(duì)初始輪廓位置的魯棒性.

1 相關(guān)背景

1.1 ACGS模型

給定一組形狀相似圖像I1, …,In， 待獲取圖像的目標(biāo)輪廓為C1, …,Cn. 基于圖像之間目標(biāo)輪廓的相似性， 文獻(xiàn)[2]提出了ACGS模型， 該模型能量泛函如下：

(1)

其中:X=[C1, …,Cn]是圖像組的形狀矩陣， 該矩陣的秩可度量圖像間的目標(biāo)形狀的相似性， 當(dāng)形狀都相同則形狀矩陣的秩為1， 若一些目標(biāo)形狀改變則矩陣的秩增加.K是個(gè)常數(shù)，K值越小圖像間的目標(biāo)輪廓越相似.Fi(Ci)是第i張圖像基于CV模型的能量項(xiàng)， 表達(dá)式為：

(2)

其中:Ω1、Ω2分別表示輪廓線(xiàn)內(nèi)外部區(qū)域；C1、C2分別為區(qū)域Ω1、Ω2內(nèi)的平均灰度值； Length(Ci)是曲線(xiàn)Ci長(zhǎng)度；λ1、λ2、μ是對(duì)應(yīng)項(xiàng)的權(quán)重.

式(1)中的約束項(xiàng)rank(X)是矩陣的秩， 是個(gè)離散算子， 難以?xún)?yōu)化， 文獻(xiàn)[2]提出用下面松弛的形式作為目標(biāo)函數(shù)：

(3)

1.2 LHBWD模型

給定一張灰度圖像I:Ω→[0, 255]， 對(duì)每個(gè)像素點(diǎn)x∈Ω， 假定Nx, r為以x為中心，r為半徑的局部區(qū)域， 定義其局部直方圖為：

(4)

相應(yīng)的累積分布函數(shù)表達(dá)式為：

(5)

其中: |·|為集合中所含元素的個(gè)數(shù).

文獻(xiàn)[8]用指數(shù)為1的Wasserstein距離衡量?jī)蓚€(gè)像素點(diǎn)x1、x2間的局部直方圖距離， 即：

(6)

LHBWD模型[8]用平均局部直方圖代替CV模型中的平均灰度， 以更好地分割具有紋理變化的單張圖像， 該模型的能量泛函為：

其中:λ1、λ2、μ為對(duì)應(yīng)項(xiàng)的權(quán)重;P1、P2分別是輪廓線(xiàn)內(nèi)部區(qū)域Ω1和外部區(qū)域Ω2的像素的平均局部直方圖;F1、F2分別是相應(yīng)的累計(jì)分布函數(shù)， 記：

(8)

該模型用平均局部直方圖代替CV模型中的平均灰度， 利用了圖像的局部信息， 能夠有效地分割具有紋理變化的單張圖像. 但當(dāng)圖像前景與背景的灰度、 紋理具有一定相似性時(shí)， LHBWD模型可能會(huì)有錯(cuò)誤的分割.

2 本研究模型

為了有效地分割具有紋理變化的形狀相似圖像組， 提出了基于局部直方圖信息的相似圖像組分割模型. 該模型將相似圖像組分割問(wèn)題轉(zhuǎn)化為如下的最優(yōu)化問(wèn)題：

(9)

2.1 SUN顯著圖上獲取初始輪廓

ACGS模型對(duì)初始輪廓位置敏感， 初始輪廓位置不同， 其最終分割效果往往也不同， 且當(dāng)初始輪廓設(shè)置不恰當(dāng)時(shí)， 甚至?xí)?dǎo)致圖像錯(cuò)誤的分割. 針對(duì)這一問(wèn)題， 引入視覺(jué)顯著性分析機(jī)制進(jìn)行初始輪廓的選取.

首先用SUN顯著性檢測(cè)算法[7]對(duì)圖像進(jìn)行顯著性分析. SUN是一種基于貝葉斯公式和自然統(tǒng)計(jì)算法的圖像顯著性檢測(cè)方法. 針對(duì)輸入的每張圖像， 首先提取圖像的顏色和亮度特征; 然后基于自然圖像統(tǒng)計(jì)特征算法、 多尺度的DOG濾波和ICA濾波得到圖像特征的概率分布; 最后用圖像特征概率的負(fù)對(duì)數(shù)函數(shù)(圖像特征的自信息代表其顯著值)得到圖像SUN顯著圖. 由于圖像特征的概率分布是基于自然圖像統(tǒng)計(jì)特征算法得到的， 使得SUN顯著圖可以較好地反映圖像紋理強(qiáng)度信息. 故選用SUN方法獲取圖像組的顯著圖.

通過(guò)SUN方法獲得的圖像顯著圖， 其顯著區(qū)域(即目標(biāo)區(qū)域)亮度高， 背景區(qū)域較暗， 兩個(gè)區(qū)域亮度對(duì)比較大. 有鑒于此， 提出用顯著圖替換CV模型中圖像的灰度圖， 即在圖像SUN顯著圖上演化CV模型， 并用演化結(jié)果作為初始輪廓. 這樣得到的初始輪廓在圖像目標(biāo)的附近， 可以有效地避免背景信息對(duì)目標(biāo)的干擾， 一定程度上也加快了模型收斂速度， 提高了模型的分割效率.

圖1為通過(guò)顯著圖檢測(cè)方法[9-11]及SUN方法[7]得到的獵豹顯著圖上分別演化CV模型獲取初始輪廓的對(duì)比圖. 第一列為三張獵豹原始圖像. 第二列到第五列分別為在獵豹COV顯著圖[9]、 SEG顯著圖[10]、 GB顯著圖[11]和SUN顯著圖上， 演化CV模型獲取的初始輪廓圖. 圖1中紫色線(xiàn)是得到的初始輪廓線(xiàn). 由圖可知， 通過(guò)這種方法獲得的初始輪廓在待分割目標(biāo)的附近， 提高了模型對(duì)初始輪廓的魯棒性. 其次， 將圖1第二、 三、 四列分別與第五列對(duì)比可知， 在獵豹SUN顯著圖上獲得的初始輪廓更接近目標(biāo)輪廓， 從而驗(yàn)證了用SUN顯著圖獲取初始輪廓的優(yōu)勢(shì).

圖1 CV模型獲取初始輪廓的對(duì)比圖Fig.1 CV model on images saliency maps

2.2 模型求解

利用Nesterov方法[12]求解式(9). 將式(9)寫(xiě)成如下等價(jià)形式：

(10)

然后， 基于前一個(gè)估計(jì)值X′， 對(duì)H(X)作二次逼近， 即：

(12)

文獻(xiàn)[13]中已證明， 當(dāng)H(X)滿(mǎn)足 Lipschitz連續(xù)且梯度可微時(shí)， 式(12)將以O(shè)(1/k)的速度收斂. 接著為了求解問(wèn)題(12)， 引入文獻(xiàn)[14]中的定理2.1. 定理內(nèi)容如下：

給定矩陣X∈Rm×n, 對(duì)于如下的優(yōu)化問(wèn)題：

(13)

其最優(yōu)解為X*=Dη(Z)， 其中

(14)

σi是向量Z的奇異值，ui，vi分別是Z左右奇異向量， (·)+=max{·， 0}，Dη(Z)稱(chēng)為奇異值閾值算子[14].

利用上述定理， 可以得到本研究模型中形狀矩陣X的迭代公式:

(15)

其中:

H(Xk)=[

hi(a)=[λ2|F(a,y)-F2(y)|dy-λ1|F(a,y)-F1(y)|dy a+βκana

(16)

a是輪廓Ci上的點(diǎn)，na,κa分別是在點(diǎn)a的法線(xiàn)向量和曲率.

為了提高方法Nesterov收斂速度[13]， 在式(15)迭代過(guò)程中， 不直接用Xk來(lái)更新Xk+1， 而是用線(xiàn)性外推法， 在Xk-1和Xk間取一個(gè)值Yk， 并用Yk更新得到Xk+1.Yk表達(dá)式為：

(17)

其中:tk是時(shí)間步長(zhǎng). 這一改進(jìn)將式(12)收斂速度提升到O(1/k2)， 證明過(guò)程請(qǐng)參考文獻(xiàn)[13].

下面給出本研究算法框架：

Step1 通過(guò)SUN顯著圖檢測(cè)方法得到圖像組中每張圖像的SUN顯著圖.

Step2 SUN顯著圖上演化CV模型得到每張圖像初始輪廓， 進(jìn)而得到圖像組的初始形狀矩陣X0.

Step3 初始化：k=0，X0=X-1， 時(shí)間步長(zhǎng)t0=t-1=1.

Step4 迭代開(kāi)始， 利用式(17)得到形狀矩陣Yk.

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本研究模型的有效性， 實(shí)驗(yàn)選取了一些經(jīng)典的圖像數(shù)據(jù)庫(kù)中的圖像組， 包括Caltech庫(kù)中的2類(lèi)(即蝴蝶和獵豹圖像組)和ETHZ形狀數(shù)據(jù)庫(kù)[15]中的酒瓶圖像組， 實(shí)驗(yàn)從每一類(lèi)中選取6幅圖像用于驗(yàn)證. 并通過(guò)CV模型、 LHBWD模型、 ACGS模型、 在SUN顯著圖上獲取初始輪廓的ACGS模型及本研究模型的實(shí)驗(yàn)結(jié)果對(duì)比圖， 得出本研究模型對(duì)于具有紋理變化的相似圖像組分割效果優(yōu)于ACGS模型. 實(shí)驗(yàn)硬件環(huán)境： CPU 3.20 GHz、 內(nèi)存 2 GB； 軟件環(huán)境： Windows XP、 Matlab2012a. 本研究模型對(duì)蝴蝶、 獵豹、 酒瓶圖像組分割實(shí)驗(yàn)中參數(shù)設(shè)置為： 權(quán)重λ1、λ2均取1， 時(shí)間步長(zhǎng)t均取1， 相似性權(quán)重γ分別為20、 5、 15， 迭代終止條件中誤差值tolerance分別為4、 1、 1， 求圖像的局部直方圖時(shí)窗口大小均取5. 分割結(jié)果詳見(jiàn)圖1～圖4.

圖2 五種模型對(duì)蝴蝶圖像組分割結(jié)果Fig.2 The segmentation results of five models for group on butterfly images

圖3 五種模型對(duì)獵豹圖像組分割結(jié)果對(duì)比圖Fig.3 The segmentation results of five models for group on cheetah images

圖4 五種模型對(duì)酒瓶圖像組分割結(jié)果對(duì)比圖Fig.4 The segmentation results of five models for group on bottle images

由圖2～4中第二行和第三行可知， 對(duì)有紋理變化的圖像， CV模型分割效果不好， 易產(chǎn)生過(guò)度分割現(xiàn)象； 而LHBWD模型通過(guò)將圖像中像素點(diǎn)的局部直方圖分布相近的歸為同一區(qū)域， 可以有效避免過(guò)度分割現(xiàn)象的產(chǎn)生. 第四行和第五行均為ACGS模型對(duì)圖像組分割結(jié)果， 不同之處為第四行模型的初始輪廓設(shè)置為以圖像中心為圓心的圓， 而第五行是通過(guò)在SUN顯著圖上實(shí)現(xiàn)初始輪廓自適應(yīng)選取， 這樣初始輪廓可從靠近目標(biāo)物體的周?chē)M(jìn)行演化， 在一定程度上可避免背景信息對(duì)目標(biāo)的干擾， 提高分割效果， 如圖2第4～5行的第2列和圖3第4～5行的第3、 4、 6列. 第六行為本研究模型分割效果， 模型中基于圖像局部直方圖信息的能量項(xiàng)作為單張數(shù)據(jù)項(xiàng)， 形狀矩陣的秩作為圖像間相似性約束項(xiàng). 充分考慮了圖像的紋理和形狀信息， 同時(shí)在圖像SUN顯著圖上演化CV模型得到圖像的初始輪廓， 提高了ACGS模型對(duì)初始輪廓位置的魯棒性. 實(shí)驗(yàn)結(jié)果表明, 對(duì)于具有紋理變化的相似圖像組， 本研究模型分割效果優(yōu)于ACGS模型， 如圖2第5～6行的第1、 3、 4列， 圖3的第5～6行的第4列， 圖4的第5～6行的第6列所示.

表1給出五種模型在三組實(shí)驗(yàn)中迭代次數(shù)和CPU時(shí)間的比較. 觀察表1可知， 三組實(shí)驗(yàn)中， 在SUN顯著圖上獲取初始輪廓的ACGS模型迭代次數(shù)和時(shí)間都不大于ACGS模型， 說(shuō)明在SUN顯著圖上進(jìn)行初始輪廓的提取是有必要的. 其次， 在參數(shù)設(shè)置都一致的情況下， 本研究模型達(dá)到收斂所需的次數(shù)均少于其余四種模型， 比如對(duì)蝴蝶、 獵豹、 酒瓶圖像組， ACGS模型分別在第32次、 第100次、 第50次收斂， 而本研究模型分別在第7次、 第33次、 第17次已經(jīng)收斂. 但是， 由于本研究模型在每次迭代過(guò)程中， 都需用到圖像的局部直方圖， 使得該模型運(yùn)行時(shí)間比ACGS模型長(zhǎng)些. 然而實(shí)驗(yàn)結(jié)果表明這種代價(jià)是值得的， 因?yàn)槲褰M實(shí)驗(yàn)中， 本研究模型收斂次數(shù)均少于ACGS模型， 且分割結(jié)果也都優(yōu)于ACGS模型.

表1 五種模型分別在三組實(shí)驗(yàn)中的迭代次數(shù)和CPU時(shí)間的比較

4 結(jié)論

本研究基于LHBWD和ACGS模型， 提出基于局部直方圖信息的相似圖像組分割模型， 并通過(guò)在SUN顯著圖上演化CV模型獲得初始輪廓. 實(shí)驗(yàn)結(jié)果表明， 與ACGS模型相比， 該模型能夠較好地分割具有紋理變化的形狀相似圖像組， 且對(duì)初始輪廓的魯棒性較強(qiáng). 但是， 由于圖像局部直方圖信息的參與使得本研究模型計(jì)算量較大， 因此下一步工作將采用不同的優(yōu)化方案來(lái)加快收斂速度.

參考文獻(xiàn)：

[1] 王大凱, 侯榆青, 彭進(jìn)業(yè). 圖像處理的偏微分方程方法[M]. 北京： 科學(xué)出版社, 2008.

[2] ZHOU X W, HUANG X J, DUNCAN J S,etal. Active contours with group similarity[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE, 2013: 2969-2976.

[3] CHAN T F, VESE L A. Active contour without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[4] LYU P, ZHAO Q, GU D. Segmenting similar shapes via weighted group similarity active contours[C]// IEEE International Conference on Image Processing. Quebec: IEEE, 2015: 4032-4036.

[5] 王嬋燦, 舒志彪. 不均勻性嵌入式活動(dòng)輪廓模型分割相似圖像組[J]. 微型機(jī)與應(yīng)用, 2015(20): 39-41.

[6] 陳學(xué)靈, 王美清. 結(jié)合動(dòng)態(tài)亮度的活動(dòng)輪廓模型分割相似圖像組[J]. 電子設(shè)計(jì)工程, 2016, 24(7): 164-167.

[7] ZHANG L, TONG M H, MARKS T K,etal. SUN: a bayesian framework for saliency using natural statistics[J]. Journal of Vision, 2008, 8(7): 1-20.

[8] NI K, BRESSON X, CHAN T,etal. Local histogram based segmentation using the wasserstein distance[J]. International Journal of Computer Vision, 2009, 84(1): 97-111.

[9] ERDEM E, ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of Vision, 2013, 13(4): 11.

[10] RAHTU E, KANNALA J, SALO M,etal. Segmenting salient objects from images and videos[C]// European Conference on Computer Vision. Berlin: Springer-Verlag, 2010: 366-379.

[11] SCH?LKOPF B, PLATT J, HOFMANN T. Graph-based visual saliency[J]. Advances in Neural Information Processing Systems, 2007, 19: 545-552.

[12] BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. Siam Journal on Imaging Sciences, 2009, 2(1): 183-202.

[13] NESTEROV Y. Gradient methods for minimizing composite objective function[J]. Core Discussion Papers, 2007, 140(1): 125-161.

[15] BRANSON S, WAH C, SCHROFF F,etal. Visual recognition with humans in the loop[C]// European Conference on Computer Vision. Berlin: Springer-Verlag, 2010: 438-451.