流形排序的交互式圖像分割

曾憲華，易榮輝，何姍姍

(1.重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065； 2.重慶郵電大學(xué) 計算智能重慶市重點實驗室，重慶 400065)

流形排序的交互式圖像分割

曾憲華1,2，易榮輝1,2，何姍姍1,2

(1.重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065； 2.重慶郵電大學(xué) 計算智能重慶市重點實驗室，重慶 400065)

摘要：針對顯著目標(biāo)檢測難以獲得有效的目標(biāo)整體檢測導(dǎo)致目標(biāo)分割困難的問題，采用一種在初始顯著圖的指導(dǎo)下添加有效交互信息的方式來獲得目標(biāo)的準(zhǔn)確分割。該方法利用邊界先驗對超像素進(jìn)行流形排序獲得初始顯著圖，參照顯著圖對不顯著的目標(biāo)部分添加目標(biāo)標(biāo)記，顯著背景部分添加背景標(biāo)記，利用標(biāo)記信息對超像素重新進(jìn)行流形排序，將獲得的顯著圖與初始顯著圖融合，對融合后的顯著圖采用自適應(yīng)閾值法來獲得目標(biāo)的分割。在BSD圖像數(shù)據(jù)庫中的實驗得到的平均正確分割率(TPR)和平均錯誤分割率(FPR)優(yōu)于經(jīng)典的最大相似合并圖像分割算法(MSRM)，表明了該算法能有效分割出正確的目標(biāo)。

關(guān)鍵詞：流形排序；交互式圖像分割；顯著目標(biāo)；目標(biāo)檢測；顯著圖；背景標(biāo)記；目標(biāo)標(biāo)記

中文引用格式：曾憲華，易榮輝，何姍姍.流形排序的交互式圖像分割[J]. 智能系統(tǒng)學(xué)報， 2016, 11(1): 117-123.

英文引用格式：ZENG Xianhua, YI Ronghui, HE Shanshan,et al. Interactive image segmentation based on manifold ranking[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 117-123.

圖像分割是圖像處理中的一個重要環(huán)節(jié)，其主要的任務(wù)是將圖像劃分為若干具有一致性的不重疊區(qū)域。圖像分割按照是否需要用戶交互處理可以分為自動圖像分割、半自動圖像分割、純手動分割。自動圖像分割在沒有用戶先驗指導(dǎo)的前提下對圖像進(jìn)行分割往往難以獲得可信賴的結(jié)果。半自動圖像分割方法主要指的是交互式圖像分割方法，通過簡單的用戶標(biāo)記，對較為復(fù)雜的圖像或者難以區(qū)分相似的前景和背景區(qū)域的圖像，具有較好的分割效果。

當(dāng)前，交互式圖像分割是一個熱點研究問題，獲得了較大的發(fā)展，其中經(jīng)典的方法，如live wire算法[1-2]、snake算法[3]、隨機(jī)游走[4-5]、圖割算法[6-7]、最大相似區(qū)域合并算法[8]等。在交互式分割算法中，用戶通過人機(jī)交互，使用鼠標(biāo)在待分割圖像中進(jìn)行一定的目標(biāo)和背景標(biāo)記，給予圖像一定的分割指導(dǎo)先驗信息，然后根據(jù)先驗信息建立分割算法模型，這樣交互式分割算法獲得的分割目標(biāo)較為精確。

受顯著目標(biāo)檢測算法啟發(fā)，當(dāng)使用顯著目標(biāo)檢測[9-12]來獲得目標(biāo)的分割時，理想情況是通過自動的方法獲得目標(biāo)的整體檢測，并能對目標(biāo)進(jìn)行有效分割。然而，當(dāng)背景環(huán)境較為復(fù)雜或者背景中有細(xì)小較為突出的物體時，顯著目標(biāo)檢測算法很容易失效，圖像中部分不顯著目標(biāo)部分被抑制，而部分顯著背景部分被突出，獲得有效完整的目標(biāo)分割將會是一件較為困難的事情。當(dāng)前，在顯著目標(biāo)檢測模型中，經(jīng)典的有Ma等[9]通過在LUV顏色空間計算像素與局部鄰域像素的差異來獲得顯著圖，然后利用模糊增長來分割出顯著區(qū)域。Gopalakrishnan等[10]提出了基于顏色和方向分布建模的顯著區(qū)域檢測算法。該算法思想是利用顏色和方向視覺特征進(jìn)行基于分布建模的顯著性度量，并生成對應(yīng)的顯著圖，然后在其中選擇一個更能體現(xiàn)目標(biāo)顯著性的作為最終顯著圖。Wei等[11]提出基于邊界先驗的顯著性檢測算法，該算法利用邊界先驗和背景先驗，將區(qū)域的顯著性定義為該區(qū)域到圖像四周的最短距離，通過對背景的檢測獲得相應(yīng)的目標(biāo)檢測。Yang等[12]提出一種基于流形排序的顯著性檢測算法，利用邊界先驗對超像素進(jìn)行流形排序獲得初始顯著圖，然后再將顯著值高的部分作為目標(biāo)先驗，再次對超像素進(jìn)行流形排序獲得顯著圖。

針對利用顯著目標(biāo)檢測算法難以獲得有效目標(biāo)整體檢測導(dǎo)致目標(biāo)分割困難的問題，本文在文獻(xiàn)[12]的基礎(chǔ)上，提出了一種基于流形排序[14-15]的交互式圖像分割(interative image segmentation based on manifold ranking, IISMR)算法。該算法主要在如下兩點進(jìn)行改進(jìn)：1)使用交互的方式對超像素進(jìn)行流形排序來增強(qiáng)不顯著的目標(biāo)部分，抑制顯著的背景部分，能有效避免不顯著的目標(biāo)部分被誤分為背景，顯著背景部分被誤分為目標(biāo)；2)采用融合初始顯著圖和交互獲得的顯著圖來增強(qiáng)背景和目標(biāo)部分的差異，并使用一種自適應(yīng)的閾值來獲得此類圖像的有效目標(biāo)分割。最后，本文算法在BSD圖像分割數(shù)據(jù)[16]中選取部分圖像進(jìn)行測試，以驗證該算法的有效性。

1流形排序

流形排序由Zhou等[14-15]提出，可以看成是對假設(shè)具有流形分布結(jié)構(gòu)的數(shù)據(jù)進(jìn)行排序處理。流形排序過程具體描述如下。

給定數(shù)據(jù)集X={x1,x2,…,xk,xk+1,…,xn}屬于Rm×n。其中x1,x2,…,xk表示選出作為標(biāo)簽的數(shù)據(jù)，那么相應(yīng)的xk+1,…,xn表示未添加標(biāo)簽需要待排序的數(shù)據(jù)。使用：X→Rn表示一個排序函數(shù)，其中可以看成是一個排序向量=[1f2…n]T，k表示每個點xk分配的排序值，令y=[y1y2…yn]T，表示一個指示向量。當(dāng)xk是添加了標(biāo)簽的數(shù)據(jù)時，yk=1；當(dāng)xk是未添加標(biāo)簽的數(shù)據(jù)時，yk=0。

首先，對數(shù)據(jù)集X構(gòu)建K近鄰(K-nearest neighbor, K-NN)圖G(V,E)，V表示數(shù)據(jù)集X，其中E表示圖邊的權(quán)值，即數(shù)據(jù)之間的關(guān)聯(lián)度。

(1)

(2)

利用排序公式進(jìn)行迭代處理，當(dāng)排序得分收斂不再發(fā)生變化時停止，排序公式如式(3)所示。

(3)

(4)

式中：I因為(1-α)對數(shù)據(jù)之間相對排序關(guān)系沒有影響，流形排序最終收斂公式可以寫成如式(5)所示。

(5)

相應(yīng)地，通過矩陣變換可以得到非標(biāo)準(zhǔn)化的流形排序公式

(6)

2基于流形排序的交互式圖像分割

本文采用顯著目標(biāo)檢測來獲得圖像的目標(biāo)分割，其中文獻(xiàn)[12]已經(jīng)表明流形排序能有效用于顯著目標(biāo)檢測。將超像素用于流形排序，能更加真實表示超像素之間相關(guān)性，通過對圖像中全局的超像素進(jìn)行流形排序能有效突出目標(biāo)中的顯著部分。但是對于目標(biāo)不顯著部分，或者顯著的背景部分，導(dǎo)致利用顯著目標(biāo)檢測來獲得完整的圖像目標(biāo)分割仍然比較困難。為了有效利用顯著圖來進(jìn)行目標(biāo)分割，通過交互的方式，突出不顯著目標(biāo)部分，抑制顯著背景部分，能較好地獲得目標(biāo)的圖像分割。

先采用簡單線性迭代聚類(simple linear interative clusterimg, SLIC)算法[13]對圖像進(jìn)行預(yù)處理，將圖像分割成許多小區(qū)域，這些由像素集合構(gòu)成小區(qū)域在顏色、亮度、紋理等特性上具有相似性，這種小區(qū)域稱之為超像素。該算法可以控制所分割的超像素數(shù)目，獲得的超像素大小具有較為一致和較好的邊界貼合度，便于后面的排序處理。

然后對超像素進(jìn)行流形排序獲得初始顯著圖，在初始顯著圖的指導(dǎo)下有針對地在目標(biāo)不顯著部分添加背景標(biāo)記信息，增強(qiáng)目標(biāo)部分的顯著性，在較顯著的背景部分添加背景標(biāo)記信息，抑制背景部分的顯著性，利用標(biāo)記信息重新對超像素進(jìn)行流形排序，將獲得的顯著圖與初始顯著圖融合，形成背景與目標(biāo)灰度差異較大的顯著圖，然后通過自適應(yīng)閾值分割獲得目標(biāo)分割，并在BSD圖像數(shù)據(jù)庫中測試，能獲得較好的目標(biāo)分割結(jié)果。該算法(IISMR)流程如圖1所示。

圖1　IISMR算法流程Fig.1　The process of IISMR

2.1流形排序獲得初始顯著圖

(7)

式中：Ai表示超像素i近鄰的超像素，SAi表示Ai的近鄰的超像素，Ci和Cj表示對應(yīng)超像素兩點在CIELAB顏色空間的均值[12]，σ是一個控制權(quán)重的因子。

將圖像四邊邊界超像素集表示為{Xt,Xb,Xl,Xr}首先將圖像頂部邊界超像素Xt作為標(biāo)簽，然后利用非標(biāo)準(zhǔn)化的超像素流形排序公式(6)，求得歸一化的排序ft(xk),k=1,2，…，n,得到相應(yīng)的顯著目標(biāo)得分ft(xk)=1-ft(xk)，然后依次使用圖像下邊界Xb，左邊界Xl，右邊界Xr作為標(biāo)簽，得到歸一化排序得分fb(xk)、fl(xk)、fr(xk)，從而得到相應(yīng)的顯著目標(biāo)得分fb(xk)、fl(xk)、fr(xk)，xk∈X并按照式(8)將4個顯著目標(biāo)得分通過融合,歸一化獲得初始顯著目標(biāo)得分F1(xk)=[f1(x1)f1(x2) …f1(xn)]T。

(8)

式中：k=1,2,…，n。將排序得分F1(xk)×255映射到灰度圖像獲得初始顯著圖S1(xk)，xk∈X。

2.2目標(biāo)和背景標(biāo)記

現(xiàn)有顯著目標(biāo)檢測算法很難做到將目標(biāo)整體部分檢測出來，因為目標(biāo)可能存在不顯著部分，背景區(qū)域存在顯著部分。這樣圖像中不顯著的目標(biāo)部分則難以檢測，而一些屬于背景中突出部分被檢測出來，難以做到對目標(biāo)進(jìn)行有效的分割。本文為了利用顯著目標(biāo)檢測算法獲得目標(biāo)的有效分割，采用人工標(biāo)記的方法來突出不顯著的目標(biāo)區(qū)域，抑制突出的背景區(qū)域，通過獲得的初始顯著圖，對初始顯著圖中不顯著的目標(biāo)部分對應(yīng)的原始圖像部分進(jìn)行目標(biāo)標(biāo)記y+，y+=[y1y2…yp]表示標(biāo)記的超像素；對初始顯著圖中顯著的背景部分對應(yīng)的原始圖像部分進(jìn)行背景標(biāo)記y-，y-=[y1y2…yq]；未標(biāo)記的超像素由y0表示。那么新定義排序指示向量y由3部分構(gòu)成，如式(9)所示。

(9)

當(dāng)超像素為目標(biāo)標(biāo)記y+時，超像素xk對應(yīng)的指示向量yk=1；當(dāng)超像素標(biāo)記為背景時y-，超像素xk對應(yīng)的指示向量yk=-1；當(dāng)超像素未標(biāo)記y0時，相應(yīng)的超像素xk對應(yīng)的指示向量yk=0。這樣設(shè)定指示向量，使其在排序處理能有效增加背景和目標(biāo)的差異，并能有效抑制背景的顯著部分，同時通過初始顯著圖來添加標(biāo)記信息，能增加標(biāo)記信息的有效性，減少重復(fù)標(biāo)記處理。

2.3顯著圖融合

(10)

將目標(biāo)和背景標(biāo)記作為相應(yīng)處理的排序得分F2(xk)×255映射到灰度圖像獲得顯著圖S2(xk)，xk∈X。為有效利用初始顯著圖，本文將初始目標(biāo)排序得分進(jìn)行融合，能讓2幅顯著圖進(jìn)行有效互補(bǔ)，使其目標(biāo)部分能較為突出，顯著性較為光滑，背景部分的顯著性得到抑制，背景與目標(biāo)間差異較大，便于通過有效的閾值分割獲得目標(biāo)，其中融合公式如式(11)所示。

(11)

式中：λ是一個平衡項，讓2個歸一化的向量在融合時盡可能突出目標(biāo)，抑制背景。經(jīng)過大量實驗表明λ=0.3較為合適。

2.4獲取目標(biāo)

本文將目標(biāo)排序得分映射到超像素對應(yīng)的顯著圖，通過融合后的顯著圖的灰度直方圖顯示，該圖像背景部分有明顯的波峰，目標(biāo)部分不光滑導(dǎo)致目標(biāo)部分的波峰不穩(wěn)定，并且離散幅度較大，常規(guī)的閾值方法難以獲得圖像的有效分割。本文采用一種結(jié)合背景波峰和最大相鄰灰度間距的方法來確定自適應(yīng)閾值。

圖像中背景部分和目標(biāo)部分灰度差異較大，同時背景部分灰度值較低，為了有效避免目標(biāo)波峰不穩(wěn)定的給確定閾值帶來的干擾，將閾值確定在某一個灰度值的子區(qū)間，然后利用背景和目標(biāo)灰度差異較大來尋找子區(qū)間中灰度值的直方圖不為0的最大間隔的2個相鄰灰度值，取這2個相鄰灰度值的平均值作為閾值。同時為了避免因背景和目標(biāo)部分波峰明顯，通過相鄰灰度子區(qū)間之差獲得的最大值不是有效的最大灰度間隔，對于這種情況本文重新限定閾值，即確定灰度子區(qū)間最大值，選擇離它最近的直方圖非0的灰度，計算兩者的灰度差。當(dāng)灰度差大于灰度子區(qū)間中直方圖的非0灰度差時，閾值則為灰度子區(qū)間的最大值。確定閾值后，將灰度圖像二值化獲得目標(biāo)分割，并將分割區(qū)域用原始目標(biāo)圖像體現(xiàn)。顯著圖中背景直方圖最大的灰度值如式(12)所示。

(12)

式中：R表示一個限定灰度;H(k)表示圖像中灰度為k的像素點個數(shù)。式(12)表示圖像中在[0,R]區(qū)間灰度值為k的像素最多，其中R=110。

直方圖中兩個相鄰的灰度值ki、kj(圖像中灰度ki、kj對應(yīng)的像素個數(shù)不為0)的最大間距如式(13)所示。

(13)

式(13)表示在灰度區(qū)間[k,R]中滿足灰度差Lij最大的像素個數(shù)不為0的兩個相鄰灰度值為ki、kj，并且ki>kj，那么閾值T=0.5(ki+kj)，當(dāng)(R-km)>max(ki-kj)時，則閾值T=R，km表示離R最近的像素個數(shù)不為0的灰度值。

2.5算法實現(xiàn)

輸入彩色圖像

輸出分割目標(biāo)

1)圖像預(yù)分割處理。首先使用SLIC算法獲得原始圖像的超像素集X={x1,x2,…,xk,xk+1,…,xn}。

2)超像素排序。構(gòu)建近鄰圖G(V,E)并通過式(7)獲得權(quán)重矩陣，通過背景先驗{Xt,Xb,Xl,Xr}利用式(6)獲得相應(yīng)的超像素歸一化排序得分向量ft(xk)，fb(xk)，fl(xk)，fr(xk)，k=1,2，…，n。

3)獲得顯著圖。利用獲得的超像素排序向量獲得相應(yīng)的顯著目標(biāo)得分ft(xk)，fb(xk)，fl(xk)，fr(xk)，k=1,2，…，n，并通過式(8)獲得初始顯著目標(biāo)得分F1(xk)，通過F1(xk)×255將其映射到灰度圖像中，得到初始顯著圖S1(xk)。

4)目標(biāo)和背景標(biāo)記。參照初始顯著圖對原始圖像添加目標(biāo)和背景標(biāo)記，并將目標(biāo)標(biāo)記的超像素指示向量y+=[y1y2…yp]標(biāo)記為1，并將背景標(biāo)記的超像素指示向量y-=[y1y2…yq]標(biāo)記為-1，其余未標(biāo)記的超像素指示向量y0標(biāo)記為0。

5)融合顯著圖。利用標(biāo)記信息得到新的顯著圖S2(xk)，將獲得的顯著圖S2(xk)與初始顯著圖S1(xk)和按照式(12)融合，得到最終顯著圖Sz(xk)。

6) 計算自適應(yīng)閾值。計算灰度k使直方圖H(k)在[0,R]取得最大值，獲得相鄰灰度值ki，kj，令其在區(qū)間[k,R]中滿足灰度差Lij最大，則閾值T=0.5(ki+kj)；當(dāng)(R-km)>max(ki-kj)時，閾值T=R。

7) 目標(biāo)獲取。通過閾值公式將融合后的圖像二值化，并將二值圖中目標(biāo)部分對應(yīng)的原始目標(biāo)部分提取出來得到分割目標(biāo)。

3實驗結(jié)果與分析

本文在BSD數(shù)據(jù)庫中選取2組圖像進(jìn)行仿真實驗，來驗證本文算法的可行性。一組是本文算法對不同特征圖像的仿真實驗；一組是通過本文算法與GC算法[6]，最大相似合并(maximal similarity based region merging, MSRM)算法[8]比較的仿真實驗。實驗通過在仿真軟件MATLAB2012b上編程實現(xiàn)。

3.1評價指標(biāo)

本文使用TPR(正確的分割率)和FPR(錯誤的分割率)2種性能指標(biāo)來客觀評價分割精度[8]。TPR表示實際分割出來的目標(biāo)輪廓中與理想分割目標(biāo)輪廓內(nèi)交集的像素點數(shù)目，和理想分割目標(biāo)輪廓內(nèi)交集的像素點數(shù)目的比值。FPR表示實際分割出來的目標(biāo)輪廓中屬于理想圖像背景部分像素的數(shù)目，和理想圖像背景的像素數(shù)目的比值。

3.2仿真實驗

先采用SLIC算法對圖像進(jìn)行預(yù)分割處理，其中預(yù)分割獲得超像素數(shù)目統(tǒng)一設(shè)為450個。本文算法為了獲得有效標(biāo)記信息，其中標(biāo)記信息是添加在超像素圖像中，這樣有助于避免錯誤標(biāo)記。圖2表示本文的算法對不同特征的圖像進(jìn)行分割的結(jié)果。其中圖2(a)表示原始圖像,圖2(b)表示添加標(biāo)記的圖像,圖2(c)表示理想分割目標(biāo),圖2(d)表示本文算法的分割結(jié)果。從圖2看以看出本文算法獲得的目標(biāo)分割結(jié)果較好，表1客觀定性地列出了本文算法對圖2中圖像分割獲得TPR和FPR，可以看出本文算法分割獲得的圖像TPR較高，F(xiàn)PR較低。

圖2　圖像分割結(jié)果Fig.2　Image segmentation results

表1列出了圖一中各種特征圖像的TPR和FPR。

表1圖像分割結(jié)果性能指標(biāo)

Table 1The performance measures of the image segmentation

情能指標(biāo)工人犀牛猩猩老人女生鳥TPR/%95.5894.4596.4998.6292.0193.15FPR/%0.310.180.180.430.060

為了進(jìn)一步驗證本文算法的可行性，這一組實驗通過對比本文算法與GC算法、MSRM算法在相同標(biāo)記信息下的分割結(jié)果，并分別使用TPR和FPR從客觀角度分析這幾種算法的性能。其中，MSRM與本文方法都采用SLIC對其進(jìn)行預(yù)分割處理，其中預(yù)分割的超像素數(shù)目都為450個。圖3表示本文算法與GC，MSRM算法的圖像對比分割結(jié)果。其中圖3(a)表示原始標(biāo)記圖像，圖3(b)表示GC算法，圖3(c)表示MSRM算法，圖3(d)表示本文算法。

圖3　圖像的分割結(jié)果Fig.3　Image segmentation results

從圖3可以看出，由于GC算法的局限性，分割效果不是特別理想，分割的目標(biāo)圖像中包含大量的細(xì)小背景部分。通過SLIC預(yù)處理的MSRM算法，需要對不同特征的目標(biāo)區(qū)域添加有效的標(biāo)記，獲得的分割結(jié)果才較為理想，如馬的后腿部因為沒有添加標(biāo)記信息，就沒有分割出來；老鷹的尾部與樹枝顏色及其相似，合并處理的時候該部分區(qū)域被認(rèn)為是背景部分，那么獲得的目標(biāo)就會存在缺失。MSRM對包含的目標(biāo)內(nèi)部區(qū)域的背景部分很容易將其作為目標(biāo)部分而合并到目標(biāo)圖像中，如瓶子的手柄部分。部分目標(biāo)區(qū)域也會被合并到背景區(qū)域中。最后，從圖3可以看出本文獲得的目標(biāo)分割效果較好，同時，本文算法獲得的目標(biāo)部分也包含少量背景部分，是因為圖像預(yù)分割的SLIC算法將部分邊界的目標(biāo)部分與圖像背景部分顏色相似的區(qū)域分為同一個超像素，超像素作為一個整體分割會導(dǎo)致小部分邊界不光滑。表2列出來圖3中3種算法的TPR和FRP值。圖中MSRM和本文算法對蘑菇的分割具有相同的TPR和FPR，這是因為它們是以相同超像素作為處理對象。最后計算了3種算法的平均TPR和FPR，可以看出本文算法具有較高的TPR和較低FPR，優(yōu)于GC、MSRM算法，有效驗證了本文算法的可行性。

表2對比圖像的分割結(jié)果性能指標(biāo)

Table 2The contrast of the image segmentation result performance indicators

圖像算法TPR/%FPR/%老鷹GC91.505.98MSRM90.200.06本文算法95.310.12馬GC85.0917.41MSRM85.730.15本文算法88.240.15黑熊GC94.571.60MSRM98.831.29本文算法98.401.21樹懶GC90.2312.40MSRM86.700.40本文算法88.800.58蘑菇GC92.941.19MSRM97.780.29本文算法97.780.29瓶子GC95.850.45MSRM98.931.48本文算法98.680.33GC(均值)91.706.51MSRM(均值)92.980.61本文方法(均值)94.530.45

4結(jié)束語

將顯著性目標(biāo)檢測用于圖像分割中，往往圖像中一些屬于背景中突出部分被檢測出來，而目標(biāo)部分則被抑制，利用這樣的顯著圖往往難以獲得目標(biāo)的有效分割。為了解決上述問題，本文利用邊界先驗對超像素進(jìn)行流形排序獲得初始顯著圖，隨后適當(dāng)利用初始顯著圖來指導(dǎo)標(biāo)記，通過交互的方式重新對超像素進(jìn)行流形排序獲得顯著圖，并將交互獲得的顯著圖與初始顯著圖融合得到背景與目標(biāo)差異較大的顯著圖，然后利用自適應(yīng)的閾值分割獲得目標(biāo)有效分割。在本文算法中，利用初始先驗顯著圖的指導(dǎo)能減少無效標(biāo)記的次數(shù)，降低交互操作的繁瑣性，最后融合初始顯著圖和利用交互獲得的顯著圖，能有效突出整體部分，抑制背景部分。同時，本文使用SLIC算法對圖像進(jìn)行預(yù)處理，SLIC算法本身存在一定的局限性，在復(fù)雜邊界區(qū)域容易將小部分目標(biāo)和背景部分作為一個超像素，而本文算法是針對超像素的整體處理，最后獲得的目標(biāo)分割可能邊界會存在不光滑現(xiàn)象，后期研究希望對這方面問題進(jìn)行有效改善。

參考文獻(xiàn):

[1]MORTENSEN E, MORSE B, BARRETT W, et al. Adaptive boundary detection using ‘live-wire’ two-dimensional dynamic programming[C]//Proceedings of Computers in Cardiology. Durham, North Carolina, UK, 1992: 635-638.

[2]HE Huiguang, TIAN Jie, LIN Yao, et al. A new interactive segmentation scheme based on fuzzy affinity and live-wire[C]//Proceedings of the 2ndInternational Conference on Fuzzy Systems and Knowledge Discovery. Changsha, China, 2005: 436-443.

[3]KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models[J]. International journal of computer vision, 1988, 1(4): 321-331.

[4]GRADY L, FUNKA-Lea G. Multi-label image segmentation for medical applications based on graph-theoretic electrical potentials[C]//Proceedings of the Computer Vision and Mathematical Methods in Medical and Biomedical Image Analysis. Prague, Czech Republic, 2004: 230-245.

[5]GRADY L, SINOP A K. Fast approximate random walker segmentation using eigenvector precomputation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA, 2008: 1-8.

[6]BOYKOV Y Y, JOLLY M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]//Proceedings of the 8thIEEE International Conference on Computer Vision. Vancouver, BC, Canada, 2001, 1: 105-112.

[7]LI Yin, SUN Jian, TANG C K, et al. Lazy snapping[J]. ACM transactions on graphics (TOG), 2004, 23(3): 303-308.

[8]NING Jifeng, ZHANG Lei, ZHANG D, et al. Interactive image segmentation by maximal similarity based region merging[J]. Pattern recognition, 2010, 43(2): 445-456.

[9]MA Yufei, ZHANG Hongjiang. Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the 11thACM International Conference on Multimedia. New York, USA, 2003: 374-381.

[10]GOPALAKRISHNAN V, HU Yiqun, RAJAN D. Salient region detection by modeling distributions of color and orientation[J]. IEEE transactions on multimedia, 2009, 11(5): 892-905.

[11]WEI Yichen, WEN Fang, ZHU Wangjiang, et al. Geodesic saliency using background priors[C]//Proceedings of the 12thEuropean Conference on Computer Vision. Florence, Italy, 2012: 29-42.

[12]YANG Chuan, ZHANG Lihe, LU Huchuan, et al. Saliency detection via graph-based manifold ranking[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Portland, OR, USA, 2013: 3166-3173.

[13]ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels, Technical Report on 149300[R]. EPFL, Lausanne, Switzerland, 2010.

[14]ZHOU Dengyong, WESTON J, GRETTON A, et al. Ranking on data manifolds[J]. Advances in neural information processing systems, 2004, 16: 169-176.

[15]ZHOU D, BOUSQUET O, LAL T N, et al. Learning with local and global consistency[J]. Advances in neural Information processing systems, 2004, 16: 321-328.

[16]ARBELAEZ P, FOWLKES C, MARTIN D. A database of human segment natural images and its application to evaluating segmentation algorithms and measuring ecological statistics [C]// Poceeding of the 18th International Conference on Computer Vision,Vancouver,B.C., Canada, 2001,416-423.

Interactive image segmentation based on manifold ranking

ZENG Xianhua1,2, YI Ronghui1,2, HE Shanshan1,2

(1. College of Computer Science and Technology, Chongqing University of Posts and Telecommunication, Chongqing 400065, China; 2. Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunication, Chongqing 400065, China)

Abstract：The unsatisfactory results of salient object detection have made object segmentation difficult. In this study, we obtain accurate object segmentation by combining effective interactive information under the guidance of an initial saliency map. This method obtains the original saliency map using priori boundaries of the manifold ranking of the superpixels, and based on the obtained saliency map, marks the object labels of the non-salient object parts and the background labels of the salient background parts. Next, the superpixels for generating the new saliency map are re-sorted by manifold ranking with label information, and the newly obtained and original saliency maps are merged. Finally, object segmentation is achieved by adopting the adaptive threshold method for the merged saliency map. Image segmentation experiments with images from the Berkeley segmentation dataset (BSD) image database demonstrate that the proposed method can correctly segment objects from images and that the true positive rate (TPR) and the false positive rate (FPR) results are better than those achieved using the classical maximal similarity-based region merging (MSRM) image segmentation algorithm.

Keywords：manifold ranking; interactive image segmentation; saliency object; object detection; saliency map; background label; object label

DOI:10.11992/tis.201505037

收稿日期：2015-05-19. 網(wǎng)絡(luò)出版日期：2015-12-29.

基金項目：國家自然科學(xué)基金重點資助項目 (U1401252)；國家自然科學(xué)基金資助項目 ( 61075019, 61379114) ;重慶市基礎(chǔ)與前沿研究計劃資助項目 (cstc2015jcyjA40036).

通信作者：曾憲華. E-mail：xianhuazeng2005@163.com.

中圖分類號：TP319.4

文獻(xiàn)標(biāo)志碼：A

文章編號：1673-4785(2016)01-0117-07

作者簡介：

曾憲華，男，1973年生，副教授，博士，中國計算機(jī)學(xué)會會員，主要研究方向為流形學(xué)習(xí)、計算機(jī)視覺等。主持國家自然科學(xué)基金、重慶自然科學(xué)基金等省級以上項目3項。發(fā)表學(xué)術(shù)論文30余篇。

易榮輝，男，1988年生，碩士研究生，主要研究方向為流形學(xué)習(xí)、圖像分割等。

何姍姍，女，1992年生，碩士研究生，主要研究方向為流形學(xué)習(xí)、圖像分割等。

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.012.html