基于顯著性和區(qū)域比較的自動(dòng)物體提取算法

劉兆瑞　趙　波　王廣偉

(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院　四川 成都 610031)

?

基于顯著性和區(qū)域比較的自動(dòng)物體提取算法

劉兆瑞趙波王廣偉

(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院四川 成都 610031)

摘要面對(duì)互聯(lián)網(wǎng)時(shí)代海量的圖像數(shù)據(jù)，如何自動(dòng)地提取物體成為一個(gè)熱點(diǎn)問題，為此提出一種結(jié)合超像素、顯著性和區(qū)域比較的自動(dòng)目標(biāo)提取算法。算法首先對(duì)圖像進(jìn)行超像素分割，得到若干子區(qū)域；其次采用顯著性檢測確定出目標(biāo)的初始區(qū)域；最后在子區(qū)域和初始區(qū)域的基礎(chǔ)上，結(jié)合空間信息和顏色特征，利用區(qū)域比較法分割出最終的目標(biāo)物體。對(duì)比實(shí)驗(yàn)結(jié)果表明，該算法能夠有效地提取出目標(biāo)，具有一定的魯棒性。

關(guān)鍵詞顯著性超像素區(qū)域比較物體提取

AUTOMATIC OBJECT EXTRACTION ALGORITHM BASED ON SALIENCE AND REGIONAL CONTRAST

Liu ZhaoruiZhao BoWang Guangwei

(School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,Sichuan,China)

AbstractFacing the massive image data in internet era, how to automatically extract the object from images becomes a hot issue. Therefore this paper proposes a novel algorithm of automatic target extraction, it combines the superpixel, salience and region contrast. First, the algorithm makes superpixel segmentation on images to get several sub-regions. Then, it uses saliency detection to determine the initial target region. At last, based on sub-regions and initial regions, it combines spatial information and colour feature and uses region comparison method to segment the final target object. Result of the contrast experiment shows that this method can extract the object effectively and has certain robustness.

KeywordsSalienceSuperpixelRegion comparisonObject extraction

0引言

目標(biāo)物體提取就是利用圖像的紋理、顏色和空間位置等信息從復(fù)雜背景中獲取需要的物體。該過程把輸入圖像轉(zhuǎn)化為目標(biāo)區(qū)域，對(duì)進(jìn)一步提取物體特征、物體檢索和分類等高層處理都是十分重要的。

隨著互聯(lián)網(wǎng)的不斷發(fā)展和大容量存儲(chǔ)設(shè)備的廣泛使用，圖像數(shù)據(jù)呈現(xiàn)幾何級(jí)數(shù)的增長，面對(duì)海量的圖像數(shù)據(jù)，如何自動(dòng)、有效地從圖像中提取目標(biāo)物體已經(jīng)成為一個(gè)極具挑戰(zhàn)性的課題。目標(biāo)提取主要分為兩類：基于單張圖像和多張圖像的目標(biāo)提取。其中，Zhang[1]利用視頻前后幀和空間信息建立分層的無回路有向圖，并利用該圖獲得物體的初始區(qū)域，最后采用GMM模型和基于graph-cuts的優(yōu)化方法提取出目標(biāo)；Djelouah[2]利用同一物體的多個(gè)視角實(shí)現(xiàn)多張圖片的協(xié)同圖割，進(jìn)而獲得所需物體。雖然基于多張圖像的目標(biāo)提取算法效果較好，但在實(shí)際圖像數(shù)據(jù)中，大部分圖像是單張存在的，無法進(jìn)行協(xié)同分割。對(duì)于單張圖像的分割，研究集中于交互式分割算法。如：Boykov[3]提出的graph cut，該方法由用戶指定前景和背景，然后將像素作為頂點(diǎn)，像素之間的關(guān)系作為邊構(gòu)造一個(gè)圖，最后采用最大流/最小割算法獲得圖像的分割結(jié)果；Rother等[4]基于graph cut設(shè)計(jì)了Grabcut算法，該算法采用高斯混合模型表示顏色概率分布，并利用概率值更新像素之間的關(guān)系，最終用graph cuts方法進(jìn)行迭代得到前景目標(biāo)。在有用戶交互的情況下，交互式分割算法表現(xiàn)出良好的性能，但該方法無法自動(dòng)處理海量圖像數(shù)據(jù)。目前，對(duì)于單張圖片的自動(dòng)分割研究較少，Achanta等[5]將顯著性檢測應(yīng)用于自動(dòng)目標(biāo)提取，該方法首先對(duì)輸入圖像進(jìn)行顯著性檢測，并利用mean-shift和自適應(yīng)閾值來獲取物體，由于該算法沒有考慮物體的空間信息，造成一些物體不能準(zhǔn)確分割。

針對(duì)以上算法的不足之處，本文提出一種結(jié)合顯著性、超像素和區(qū)域比較的自動(dòng)物體提取算法AOEA(automatic object extraction algorithm)。首先，用超像素分割和顯著性檢測獲得目標(biāo)的初始區(qū)域，實(shí)現(xiàn)了目標(biāo)自動(dòng)粗定位。然后，提出一種新的以超像素區(qū)域作為基本單位的分割算法，該算法可以對(duì)不準(zhǔn)確的粗定位區(qū)域進(jìn)行有效分割，并表現(xiàn)出較強(qiáng)的魯棒性。同時(shí)，該算法考慮了空間分布信息，彌補(bǔ)了Achanta等[5]提出的FT算法的不足。實(shí)驗(yàn)表明，該算法提高了分割的精度，能夠準(zhǔn)確地提取出目標(biāo)。

1圖像預(yù)處理

圖像預(yù)處理主要包含兩部分：顯著性檢測和對(duì)圖像進(jìn)行超像素分割。

1.1SLIC超像素分割方法

在超像素分割步驟中，采用由Achanta等人[6]提出的簡單線性迭代聚類(SLIC)算法。該方法思想簡單，運(yùn)行速度較快，利用CIELAB顏色空間和XY坐標(biāo)構(gòu)造5維的特征向量，并對(duì)圖像中的像素進(jìn)行局部聚類，生成排列緊密的超像素。然而，該算法需要手動(dòng)設(shè)定超像素區(qū)域的個(gè)數(shù)。超像素個(gè)數(shù)越多則對(duì)物體邊緣的擬合越好，局部辨別能力越強(qiáng)；超像素個(gè)數(shù)越少則每個(gè)區(qū)域包含的信息越多，算法魯棒性越強(qiáng)。本文通過實(shí)驗(yàn)測試，將每張圖片分割成100個(gè)左右的超像素塊時(shí)，可以取得較好的分割效果。部分超像素處理結(jié)果如圖1所示。

1.2基于全局對(duì)比度的顯著區(qū)域檢測(RC)

本文采用RC[7]算法對(duì)圖像進(jìn)行顯著性檢測，其為目前性能最好的顯著性檢測算法之一。RC方法對(duì)以往像素級(jí)別的顯著性計(jì)算進(jìn)行了拓展，以區(qū)域?yàn)閱挝贿M(jìn)行更大規(guī)模的顯著性計(jì)算。首先，采用efficient graph cut[8]算法將圖像分為若干個(gè)區(qū)域。然后，同時(shí)考慮區(qū)域的顏色特征和空間位置來計(jì)算該區(qū)域的全局對(duì)比度，即顯著值。該方法可以最大程度上克服噪聲的影響，使計(jì)算結(jié)果更加準(zhǔn)確。顯著值計(jì)算方法如下所示：

(1)

其中，S(ri)為區(qū)域ri的顯著值；Ds(ri,rj)為區(qū)域ri和rj的空間距離，通過兩個(gè)像素塊幾何中心的歐式距離進(jìn)行計(jì)算；w(rj)表示像素塊的權(quán)重，由像素塊包含的像素?cái)?shù)量決定；Dr(ri,rj)為ri和rj在L*a*b空間的距離；δ2為空間距離權(quán)重調(diào)節(jié)系數(shù)，一般取0.4[7]。部分顯著性處理結(jié)果如圖1所示(從左至右分別為原圖像、顯著圖和超像素處理圖)。

圖1　部分顯著性處理結(jié)果

2區(qū)域特征提取及類別初始化

超像素分割后，可以獲得若干個(gè)子區(qū)域。其中，ri表示第i個(gè)超像素區(qū)域，li作為類別標(biāo)簽，用于描述ri所屬類別。

2.1區(qū)域顏色特征

本文采用量化后的HSV特征來描述區(qū)域的顏色分布。首先，提取區(qū)域內(nèi)每個(gè)像素的HSV值；其次，采用8×3×3的量化方法[9]對(duì)HSV值進(jìn)行量化；最后，將量化后的HSV值映射到[0,72]之間的某值G，映射方法如下所示：

G=9H+3S+V

(2)

對(duì)區(qū)域內(nèi)所有的像素進(jìn)行量化映射后，獲得描述該區(qū)域顏色分布的72維直方圖Hi={h1,h2,…,h72}[10,11]。

2.2區(qū)域所屬類別初始化

對(duì)海量圖片進(jìn)行觀察分析后，我們發(fā)現(xiàn)圖像背景在四個(gè)角落(左上、左下、右上、右下)之間的差異很大，而各個(gè)角落內(nèi)部極為相似。因此，我們對(duì)基于前景和背景兩個(gè)類別的傳統(tǒng)分割算法進(jìn)行改進(jìn)，提出一種針對(duì)五個(gè)類別的區(qū)域分割算法。五個(gè)類別分別為：左上背景類(類別標(biāo)簽為1)、左下背景類(標(biāo)記為2)、右上背景類(標(biāo)記為3)、右下背景類(標(biāo)記為4)、前景類對(duì)應(yīng)0，每個(gè)類別由Classk表示：

(3)

在對(duì)區(qū)域所屬類別初始化過程中，首先對(duì)顯著圖進(jìn)行二值化處理。本文采用速度較快的最大類間方差法(OTSU)[12]進(jìn)行自適應(yīng)二值化。二值化后的亮點(diǎn)作為前景點(diǎn)，暗點(diǎn)設(shè)為背景點(diǎn)，然后判斷每一個(gè)區(qū)域中是否所有像素均為前景點(diǎn)，若成立則將li設(shè)為0(前景類)，否則設(shè)為背景類，并根據(jù)該區(qū)域幾何中心的空間位置判斷其具體屬于哪一種背景類別。初始化分類結(jié)果如圖2所示(左圖為原圖，右圖為初始分類結(jié)果，其中1,2,3,4分別對(duì)應(yīng)左上背景類、左下背景類、右上背景類、右下背景類，其余部分為前景類)。

圖2　初始化分類結(jié)果

3基于區(qū)域比較的圖像分割

基于區(qū)域比較的分割算法指通過迭代計(jì)算區(qū)域與類別的相似度來更新每個(gè)類別，最終使得類別間的差異最大(即相似度最小)。最終狀態(tài)下Class0中的區(qū)域?yàn)樘崛〕龅哪繕?biāo)物體。

以往的研究往往專注于像素之間和區(qū)域之間的相似度，對(duì)于區(qū)域和類別之間、類別與類別之間的相似度研究較少，而高層次的特征通常具有較好的穩(wěn)健性，適用網(wǎng)絡(luò)中海量的各類圖片。因此，本文提出一種適用于分割過程的區(qū)域間相似度Sim(ri,rj)計(jì)算方法，并基于Sim(ri,rj)設(shè)計(jì)了區(qū)域和類別的相似度Sim(ri,Classk)及類別之間相似度Sim(Classk1,Classk2)。其中，區(qū)域間相似度計(jì)算方法如下所示：

(4)

其中，w(rj)和Ds分別表示區(qū)域包含像素的數(shù)量和區(qū)域間的空間距離，由區(qū)域幾何中心的歐式距離表示。Cr表示余弦距離，Hi為區(qū)域的顏色直方圖。該計(jì)算方法同時(shí)考慮了區(qū)域的顏色特征、大小和空間距離，較好地體現(xiàn)了目標(biāo)屬性。此處采用余弦距離來計(jì)算顏色之間的相似度，主要考慮到w(rj)已經(jīng)計(jì)算了區(qū)域大小，則Cr只需考慮區(qū)域的顏色分布。當(dāng)采用余弦距離時(shí)，我們發(fā)現(xiàn)量化后的HSV特征能夠十分準(zhǔn)確地描述區(qū)域間的相似度，因而采用量化的HSV作為區(qū)域的顏色特征。

區(qū)域與類別的相似度和類別之間相似度的計(jì)算方法如式(5)和式(6)所示：

(5)

其中，w(Classk)為第k個(gè)類別所包含像素的數(shù)量。

Sim(Classk1,Classk2)=

(6)

其中，Nk1、Nk2分別表示兩個(gè)類別包含區(qū)域的個(gè)數(shù)。得到類別之間的相似度后，圖像分割問題可以轉(zhuǎn)化為求解各個(gè)區(qū)域的類別標(biāo)簽，使類別之間的總體相似度取得最小值。為了能夠快速求解，設(shè)計(jì)了一種簡單、有效的迭代計(jì)算方法。

算法步驟如下：

(2) 更新每個(gè)區(qū)域的類別標(biāo)簽li，更新方法如下：

4實(shí)驗(yàn)

4.1實(shí)驗(yàn)數(shù)據(jù)集

本文隨機(jī)挑選THUR15K[13]標(biāo)準(zhǔn)數(shù)據(jù)集中的10 000張圖像進(jìn)行檢測，該數(shù)據(jù)集中圖像的大小約為400×300，其中的物體種類繁多、形態(tài)各異，而且背景較為復(fù)雜，不同圖像的物體之間、背景之間也有著很大的差異，這都使得目標(biāo)提取變得極具挑戰(zhàn)性，能夠有效地檢測AOEA算法的魯棒性。同時(shí)，該數(shù)據(jù)集上的每張圖片均有人工標(biāo)注的像素級(jí)別的目標(biāo)物體，能夠很好地量化評(píng)價(jià)AOEA算法的性能。

4.2實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證AOEA算法的健壯性和空間信息的有效性，分別用FT算法、GrabCut+顯著圖的方法和本文算法進(jìn)行目標(biāo)提取。GrabCut+顯著圖的方法為本文所提，其首先對(duì)圖片進(jìn)行顯著性檢測，然后采用 OTSU算法對(duì)顯著圖進(jìn)行自適應(yīng)二值化，最后應(yīng)用GrabCut算法對(duì)前景區(qū)域進(jìn)行分割，提取目標(biāo)物體。圖3為本文算法和對(duì)比算法的目標(biāo)提取結(jié)果。

實(shí)驗(yàn)結(jié)果表明，當(dāng)顯著性檢測的結(jié)果不準(zhǔn)確時(shí)，GrabCut算法無法獲得準(zhǔn)確的初始前景區(qū)域，導(dǎo)致其能量函數(shù)的權(quán)重值與實(shí)際情況相差較大，最終將背景區(qū)域誤當(dāng)作目標(biāo)信息保留下來或誤將目標(biāo)信息刪除，提取出的目標(biāo)物體不準(zhǔn)確，如圖3(b)和(c)所示。FT算法能夠克服顯著圖效果較差的情況，能夠?qū)⒉粚儆谀繕?biāo)的背景信息準(zhǔn)確的除掉，但是沒有考慮物體的空間信息，對(duì)于一些不同部位差異較大的物體，該算法很難獲得理想的效果，往往將物體內(nèi)部區(qū)域作為背景信息除掉，如圖3(b)和(d)所示。本文算法綜合考慮了空間信息和區(qū)域信息，成功地實(shí)現(xiàn)了針對(duì)單張圖片的自動(dòng)目標(biāo)提取。AOEA將區(qū)域作為基本單位進(jìn)行目標(biāo)提取，減少了對(duì)物體細(xì)節(jié)的描述，增強(qiáng)了對(duì)物體高層特征的應(yīng)用，具備較好的魯棒性。同時(shí)，該算法考慮了物體的空間信息，一定程度上保證了目標(biāo)的完整性，能夠?qū)T算法誤劃分的目標(biāo)信息進(jìn)行正確的處理。為了定量分析AOEA進(jìn)行目標(biāo)提取的性能，我們采用準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)指標(biāo)。

圖3　目標(biāo)提取結(jié)果

(7)

(8)

(9)

表1定量評(píng)估了算法的性能。從表中數(shù)據(jù)可以看出，新提出的方法與GrabCut算法在召回率相當(dāng)?shù)那闆r下，目標(biāo)提取準(zhǔn)確率更高。同時(shí)，AOEA算法在召回率和F1值方面均取得明顯優(yōu)于FT算法的性能。

表1　算法性能

5結(jié)語

本文的主要?jiǎng)?chuàng)新點(diǎn)在于提出了一種基于區(qū)域比較的分割算法，并將該算法和顯著性相結(jié)合，實(shí)現(xiàn)了對(duì)物體的自動(dòng)提取。AOEA算法綜合考慮了區(qū)域的顏色、空間位置和大小等信息，能夠?qū)Σ粶?zhǔn)確的顯著區(qū)域進(jìn)行有效分割，取得了明顯優(yōu)于傳統(tǒng)分割算法的性能，具有較強(qiáng)的魯棒性。進(jìn)一步的研究工作包括將紋理特征和顏色特征相結(jié)合進(jìn)行分割，以及將該算法應(yīng)用到圖像檢索系統(tǒng)和基于內(nèi)容的視頻檢索中。

參考文獻(xiàn)

[1] Zhang D,Javed O,Shah M.Video object segmentation through spatially accurate and temporally dense extraction of primary object regions[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:628-635.

[2] Djelouah A,Franco J S,Boyer E,et al.Multi-view object segmentation in space and time[C]//Computer Vision (ICCV),2013 IEEE International Conference on.IEEE,2013:2640-2647.

[3] Boykov Y Y,Jolly M P.Interactive graph cuts for optimal boundary & region segmentation of objects in ND images[C]//Computer Vision,2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.IEEE,2001,1:105-112.

[4] Rother C,Kolmogorov V,Blake A.Grabcut: Interactive foreground extraction using iterated graph cuts[C]//ACM Transactions on Graphics (TOG).ACM,2004,23(3):309-314.

[5] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:1597-1604.

[6] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34(11):2274-2282.

[7] Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on.IEEE,2011:409-416.

[8] Felzenszwalb P F,Huttenlocher D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[9] Smith J R,Chang S F.Tools and Techniques for Color Image Retrieval[C]//Storage and Retrieval for Image and Video Databases (SPIE),1996,2670:2-7.

[10] Kong F H.Image retrieval using both color and texture features[C]//Machine Learning and Cybernetics,2009 International Conference on.IEEE,2009,4:2228-2232.

[11] Ma J.Content-based image retrieval with HSV color space and texture features[C]//Web Information Systems and Mining,2009.WISM 2009.International Conference on.IEEE,2009:61-63.

[12] Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[13] Cheng M M,Mitra N J,Huang X,et al.Salientshape:Group saliency in image collections[J].The Visual Computer,2014,30(4):443-453.

中圖分類號(hào)TP391.4

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.02.037

收稿日期：2014-07-11。國家自然科學(xué)基金項(xiàng)目(61373121)；四川省科技創(chuàng)新苗子工程項(xiàng)目(2012ZZ053)。劉兆瑞，碩士生，主研領(lǐng)域：計(jì)算機(jī)視覺，圖像檢索。趙波，博士生。王廣偉，講師。