基于顯著性檢測的協(xié)同圖像分割研究

李然，李記鵬，宋超

基于顯著性檢測的協(xié)同圖像分割研究

李然1，李記鵬1，宋超2

（1.四川大學(xué)計算機(jī)學(xué)院，四川 610065；2：95666部隊）

傳統(tǒng)的圖像分割往往是從一幅圖像中分割出顯著性目標(biāo)，但是隨著視覺領(lǐng)域和人工智能的不斷發(fā)展，對于分割的精度也有了更高的要求，為了提高對象分割的精度，可對多幅相似圖像的顯著性進(jìn)行綜合分析，利用它們之間的關(guān)聯(lián)性與一致性，準(zhǔn)確協(xié)同分割這些相似對象。多幅圖像協(xié)同分割（簡稱協(xié)同分割）是近年來圖像分割領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。設(shè)計一種基于視覺顯著性檢測的協(xié)同圖像分割系統(tǒng)，在得到每幅圖像的顯著性區(qū)域以后，綜合考慮多幅相似圖像的顯著性，構(gòu)建用于圖割的GMM，然后使用圖割算法對每幅圖像進(jìn)行分割，最終得到相似對象分割結(jié)果。采用FlickrMFC數(shù)據(jù)庫中的部分圖像作為實(shí)驗對象，并對實(shí)驗結(jié)果進(jìn)行較深入分析，總結(jié)未來進(jìn)一步的研究方向。

顯著性檢測；協(xié)同分割；高斯混合模型；圖割

0 引言

顯著性檢測作為計算機(jī)視覺中的一個研究方向是在模仿人類視覺系統(tǒng)中所產(chǎn)生的檢測技術(shù)。隨著計算機(jī)視覺技術(shù)的發(fā)展，有時需要利用多幅相似圖像之間的一致性，檢測出所包含相似對象，從而提高對象分割的精度，這一問題的提出促使協(xié)同圖像分割技術(shù)的產(chǎn)生。實(shí)驗證明采用協(xié)同圖像分割技術(shù)對圖像集進(jìn)行處理要比單幅圖像逐個處理的效果好，而且該方向仍具有較大的發(fā)展空間和應(yīng)用價值。

目前關(guān)于圖像的協(xié)同分割算法常見的問題是分割準(zhǔn)確度與算法速度不可兼得，通常為了保證分割的準(zhǔn)確度，可選用監(jiān)督分割方法，但是這常常需要大量人工標(biāo)記的訓(xùn)練集，不僅費(fèi)時還不具有自動性；為了提高分割算法的執(zhí)行效率，可采用半監(jiān)督或者非監(jiān)督的分割方法，但是由于缺乏上下文相關(guān)信息，分割的準(zhǔn)確度通常會下降。本文引入圖像的顯著性檢測技術(shù)，進(jìn)行圖像的協(xié)同分割，力求在保證準(zhǔn)確度的前提下，在算法速度上取得一定突破。

1 方法

1.1 顯著性檢測方法

對比分析法是研究視覺顯著性的常用方法，目前基于對比實(shí)現(xiàn)的顯著性方法大致可以分為基于局部對比的方法和基于全局對比的方法兩類。

（1）直方圖對比方法

該方法是一種基于全局對比的顯著性檢測模型，該模型首先通過顏色直方圖的對比方法計算像素級別的顯著性特征值，為了減少顏色空間的量化所產(chǎn)生的誤差，在得到像素的顯著值之后進(jìn)行一次平滑處理，得到最終的直方圖對比顯著圖即HC maps（Histogram Contrast maps）。

直方圖對比方法通過對輸入圖像的顏色進(jìn)行統(tǒng)計，最終得到一個顏色直方圖，然后使用該圖定義圖像中任意一點(diǎn)的顯著性值。假設(shè)圖像I中共有n像素點(diǎn)，我們使用Ik表示第k個像素點(diǎn)，S（Ik）表示該點(diǎn)的顯著性值。則

其中D(Ik,Ii)表示圖像I中第k個像素點(diǎn)與第i個像素點(diǎn)之間在lab顏色空間的距離，之所以使用lab空間是為了提高算法在視覺感知上的準(zhǔn)確性。將公式（1）展開后我們可以得到公式（2）：

由公式（2）我們可以很容易的得到如下結(jié)論即具有相同的顏色值得像素點(diǎn)的顯著性值相同。因此我們可以將計算像素點(diǎn)的顯著性值轉(zhuǎn)化為計算圖像中各個不同的顏色值的顯著性值。假設(shè)圖像I中共有m個不同的顏色值，如果我們用Cl表示第l個顏色值，則：

其中S(Cl)表示第l個顏色的顯著性值，pi表示第i個顏色在圖像I中的概率。通過公式（3），我們可以計算出各個顏色的顯著性值，進(jìn)而得到各個像素點(diǎn)的顯著性值。

至此我們得到了計算圖像顯著性信息的兩種方法，我們既可以采用公式（1）計算，同時也可以采用公式（3）計算。由公式（1）我們很容易得到計算顯著性的時間復(fù)雜度為O（n2）,如果我們使用公式（3）計算顯著性首先我們需要得到各個顏色在圖像I中的概率，即計算圖像的顏色直方圖，該操作的時間復(fù)雜度為O（n）,然后我們使用顏色直方圖計算各個顏色的顯著性值，該操作的時間復(fù)雜度為 O（m2）,因此 O（n）+O（m2）是使用公式（3）的時間復(fù)雜度。如果m2遠(yuǎn)小于n，則采用公式（3）的時間復(fù)雜度可以近似看為O（n）,此時該算法的效率非常理想。然而實(shí)際輸入的RGB圖像I的顏色數(shù)目是2563，該數(shù)目遠(yuǎn)遠(yuǎn)大于圖像I的像素數(shù)目n，因此我們需要減低圖像I的顏色空間的數(shù)目。

首先我們對每個通道進(jìn)行量化處理，得到12各個量化級，此時顏色數(shù)量降到123個，考慮到一般的自然圖像中有好多顏色使用的概率較小，我們將量化以后使用最為頻繁的顏色挑選出來并確保這些顏色在圖像I中所對應(yīng)的像素數(shù)目站到95%以上，剩余的不足5%的像素點(diǎn)，我們將其對應(yīng)到挑選出來的顏色集合中與其距離最近的顏色。通過該方法我們可以保證在近似為線性時間復(fù)雜度的情況下計算出圖像I的顯著性信息。

通過分析可知我們使用基于顏色直方圖對比的方法計算圖像顯著性信息時，需要對圖像的顏色進(jìn)行量化處理，然后才能計算顯著性值。由于在對圖顏色進(jìn)行量化處理時會將相近的顏色分到不同的量化級中，會產(chǎn)生一定的量化誤差，為了減小該誤差的影響我們需要在圖像I的顏色空間進(jìn)行一次平滑處理。對于圖像I中任意一個顏色c,我們選取距離它最近的m個顏色c1,c2,c3,…,cm的顯著性值取加權(quán)平均值作為顏色c最終的顯著性值，用wi表示第i個顏色的權(quán)值的得到如下公式：

實(shí)驗表明對使用公式（3）計算出來的顯著性值使用公式（5）進(jìn)行一次平滑處理可以得到效果更佳的顯著性信息。

（2）基于區(qū)域?qū)Ρ确椒?/p>

在該方法中，首先我們將待檢測圖像I采用超像素方式分割成許多較小的區(qū)域，假設(shè)我們一共分割出n個區(qū)域，ri表示第i個區(qū)域，S(ri)表示該區(qū)域的顯著性值則

其中wk是與rk的像素數(shù)目有關(guān)的一個權(quán)重值，如果rk中的像素數(shù)目多，其對應(yīng)的權(quán)值更大，以強(qiáng)調(diào)與較大區(qū)域的顏色對比，D(ri,rk)表示兩個區(qū)域之間的顏色距離，

公式（7）中n1，n2分別表示區(qū)域ri,rk中顏色的數(shù)量，pi,jpk，m分別表示第i個區(qū)域中的第j個顏色，第k個區(qū)域的第m個顏色，D(ci,j,ck，m)表示兩個顏色之間的距離。然而公式（6）在進(jìn)行顯著性計算時沒有考慮到區(qū)域之間的距離關(guān)系，因此會有一定的誤差，將距離信息融入到公式（6）中，我們可以得到更加合適的顯著性值：

其中Ds(ri,rk)表示兩區(qū)域之間的距離，在公式（8）中一共有兩個權(quán)值，一個與區(qū)域rk中的像素數(shù)目有關(guān)，一個與區(qū)域rk和待檢測區(qū)域ri之間的空間距離有關(guān)，而參數(shù)σ的大小可以控制兩個權(quán)值的相對比重。ws（ri）可以看做是待檢測區(qū)域顯著性值的一個調(diào)整參數(shù)，在具體實(shí)現(xiàn)時，實(shí)現(xiàn)將所有的像素坐標(biāo)的模值調(diào)整到[0 1]，然后計算區(qū)域ri中的所有像素點(diǎn)到圖像中心的距離，求其平均值記為dk，取ws（ri）=exp（-9dk2）,并取σ2=0.4。

在使用公式（8）計算出來各個區(qū)域的顯著性值以后，再經(jīng)過兩個步驟可以得到最終的基于區(qū)域?qū)Ρ鹊娘@著性圖，首先我們利用之前使用的空間關(guān)系估計出圖像中所有非顯著性區(qū)域，然后使用公式（5）在顏色空間進(jìn)行一次平滑處理減小誤差。

1.2 協(xié)同分割方法

目前關(guān)于圖像協(xié)同分割的方法大致可以分為基于交互、訓(xùn)練的協(xié)同分割方法和非監(jiān)督式協(xié)同分割方法。文獻(xiàn)[5]描述了完全非監(jiān)督的分割方法一般依賴于局部圖像特征，因此缺少必要的上下文信息，以準(zhǔn)確地把圖像分成同質(zhì)的區(qū)域（Coherent Regions）。另外一方面監(jiān)督圖像分割方法能夠得到較好的結(jié)果，但常常需要大量人工標(biāo)記的訓(xùn)練數(shù)據(jù)集。不僅訓(xùn)練數(shù)據(jù)比較費(fèi)時，收集比較乏味，而且大部分訓(xùn)練集只是幾個數(shù)量級的，相對于人類識別水平還是太少了。該文獻(xiàn)所提出的方法流程大致為：首先進(jìn)行全局圖像聚類，然后進(jìn)行多級超像素分割；完成預(yù)處理步驟，構(gòu)建規(guī)范化拉普拉斯算子矩陣（Normalized Laplacian Matrix），使用多級超像素加以限制，并使用圖像間和圖像內(nèi)的鏈接進(jìn)行加權(quán)；最后使用有效的優(yōu)化方法解決前K（=2）拉普拉斯矩陣的特征向量問題。文獻(xiàn)[6]所提方法不同于其他方法，在對象檢測方面，并沒有使用顯著性初始分割，而是使用的共享區(qū)域的統(tǒng)計顯著性（Statistical Saliency），這樣的好處是可以避免一些協(xié)同對象在他們所在的圖像中并不是顯著的。為了處理尺度不變性，該方法先生成原始圖像的多尺度圖像，然后利用檢測方法檢測所有尺度的圖像。對于相似場景的情況，這種方法不太合適，因為背景和對象在多幅圖像都非常相似，所以用統(tǒng)計的方法不能簡單確定出對象來。

1.3 基于顯著性的協(xié)同分割的實(shí)現(xiàn)

實(shí)現(xiàn)圖像的協(xié)同分割大致可以分為三個步驟，首先對待分割的圖像集使用1.1的方法進(jìn)行顯著性檢測，得到每幅圖像的顯著性映射圖，然后將其值調(diào)整到[0，255],取固定的閥值T=70，將每幅圖像分割成前景，背景兩部分。然后將所有圖像的前景區(qū)域，背景區(qū)域分別融合構(gòu)建前景、背景的高斯混合模型，最后使用圖割算法對所有圖像進(jìn)行協(xié)同分割。

（1）構(gòu)建高斯混合模型

高斯混合模型在工程領(lǐng)域具有廣泛的應(yīng)用，EM（Expectation Maximum）算法是訓(xùn)練高斯混合模型的傳統(tǒng)方法，后來隨著機(jī)器學(xué)習(xí)的興起于發(fā)展，相關(guān)學(xué)者將聚類分析算法與EM算法有機(jī)的結(jié)合起來提出了一種基于聚類分析的高斯混合模型的構(gòu)建方法。我們在進(jìn)行協(xié)同分割時，首先提取像素級別的特征，然后將所有圖像的前景區(qū)域特征、背景特征分別放在一起構(gòu)建用于圖割的高斯混合模型。

圖1 高斯混合模型建立流程圖

（2）協(xié)同分割流程

圖割算法是建立在圖論基礎(chǔ)上的一種交互式圖像分割算法，將圖像的分割問題轉(zhuǎn)化為帶權(quán)無向圖的切割問題，理論證明通過求解無向圖的最小分割可以得到原始圖像的最佳分割即能量最小化分割。傳統(tǒng)的圖割算法是需要用戶干預(yù)的，首先由用戶大致指定圖像中的前景區(qū)域，在這一硬性的約束下求解圖的最大流得到能量最小化分割結(jié)果。本文中由于已經(jīng)對圖像進(jìn)行了顯著性檢測，所以可以直接將顯著性檢測的結(jié)果用于圖割，分割具體實(shí)現(xiàn)步驟如下：

①對于輸入的圖像I1,I2,I3,…,In分別使用基于區(qū)域?qū)Ρ鹊姆椒ㄟM(jìn)行顯著性檢測，得到顯著性結(jié)果S1,S2,S3,…,Sn；

②分別提取圖像I1,I2,I3,…,In像素級別的特征例如lab顏色特征、稠密sift特征，并根據(jù)顯著性檢測結(jié)果分別建立5個組件的前景、背景的高斯混合模型；

③對于每幅圖像，使用建立好的高斯混合模型求解概率圖，并使用圖割算法求解其最終的分割結(jié)果。

圖2 分割流程圖

2 實(shí)驗結(jié)果與分析

本文首先對比了協(xié)同分割和獨(dú)立分割的實(shí)驗結(jié)果，然后把基于全局的直方圖對比和基于區(qū)域的對比方法用于協(xié)同分割，分析比較兩種顯著性檢測用于協(xié)同分割的效果。

圖3 分割方法對比實(shí)驗圖

通過使用FlickrMFC數(shù)據(jù)集中的部分圖像對協(xié)同分割算法進(jìn)行測試，我們發(fā)現(xiàn)當(dāng)對一個圖像相似性較強(qiáng)的圖像集進(jìn)行分割時，協(xié)同圖像分割能夠得到更加準(zhǔn)確的分割結(jié)果，因為協(xié)同分割算法建立分割模型時，不僅考慮圖像自身的顯著性信息，還會考慮該圖像與其余圖像的關(guān)聯(lián)性、一致性，進(jìn)而使用整個圖像集的顯著性進(jìn)行建模。對于第四組圖片而言，使用傳統(tǒng)的分割算法進(jìn)行分割時,只能分割出小孩，事實(shí)上蘋果相對于整個圖像集而言也是非常重要的對象；在第一組圖像中，蘋果以及人物都是重要的分割對象，當(dāng)我們使用協(xié)同分割算法進(jìn)行分割時，綜合考慮圖像集的顯著性，比較準(zhǔn)確的分割出了所有的前景，但是當(dāng)我們獨(dú)立分割該圖像時，卻只能得到部分前景信息。經(jīng)過在Flick?rMFC數(shù)據(jù)集上的測試，我們發(fā)現(xiàn)當(dāng)待分割的圖像集中的圖像就有較高的相似性時，使用協(xié)同圖像分割算法可以得到更加符合實(shí)際的結(jié)果，隨著圖像集合相似性的降低協(xié)同分割的準(zhǔn)確度會逐漸降低，當(dāng)圖像集的相似性非常低時，獨(dú)立分割圖像可能會得到更加準(zhǔn)確的效果。當(dāng)我們在選用分割算法時，除了圖像之間的相似性外，圖像中顯著性區(qū)域的分布也是應(yīng)該考慮的因素，當(dāng)圖像中的顯著性區(qū)域相對比較集中時，盡管圖像之間的相似性較高，我們獨(dú)立分割圖像也可以得到理想的效果，有時甚至可以得到比協(xié)同分割更好的結(jié)果。

圖4 基于兩種顯著性檢測方法的協(xié)同分割圖

除了將協(xié)同圖像分割與傳統(tǒng)的圖像分割算法進(jìn)行對比分析以外，我們還將基于直方圖對比的檢測結(jié)果和基于區(qū)域?qū)Ρ鹊臋z測結(jié)果分別用于協(xié)同分割。分析實(shí)驗結(jié)果我們發(fā)現(xiàn)基于直方圖對比的圖像顯著性信息用于協(xié)同圖像分割時，分割結(jié)果的錯誤率有所上升即背景標(biāo)記為前景以及前景標(biāo)記為背景的幾率增大了。實(shí)際上，基于直方圖對比的方法在進(jìn)行顯著性檢測時就具有一定的不合理性，首先以像素為基本單位進(jìn)行檢測不符合生物的視覺注意機(jī)制；其次在計算像素顯著性時考慮的因素太少，所以我們使用該方法檢測的圖像顯著性信息不準(zhǔn)確甚至?xí)鲥e，即將主要的顯著性區(qū)域標(biāo)記為次要區(qū)域，這也是將其用于協(xié)同分割錯誤率上升的原因。為了得到更加準(zhǔn)確的協(xié)同分割結(jié)果，我們選取顯著性檢測方法時首先應(yīng)該以區(qū)域為基本單位檢測顯著性以更好的符合視覺注意機(jī)制；其次應(yīng)該將影響顯著性的因素如顏色、距離、強(qiáng)度考慮完善；最后綜合考慮圖像集中每幅圖像的顯著性信息進(jìn)行聯(lián)合顯著性檢測。

3 結(jié)語

本文通過研究圖像的顯著性檢測方法，了解了對象檢測在計算視覺中的重要意義，該技術(shù)是機(jī)器視覺領(lǐng)域的一項基礎(chǔ)技術(shù)，同時也是保證對象分割準(zhǔn)確性的重要前提。通過實(shí)驗對比分析，我們發(fā)現(xiàn)使用基于區(qū)域?qū)Ρ鹊娘@著性檢測方法可以得到更加準(zhǔn)確的顯著圖。同時本文將顯著性檢測的結(jié)果用于協(xié)同分割，利用多幅圖像之間的關(guān)聯(lián)性、一致性準(zhǔn)確協(xié)同分割這些相似的對象。將實(shí)驗結(jié)果與傳統(tǒng)的單幅圖像獨(dú)立分割的結(jié)果進(jìn)行比較發(fā)現(xiàn)協(xié)同分割對于相似性較高的圖像集具有更好的分割效果。協(xié)同分割進(jìn)一步的研究方向首先應(yīng)該注重分割準(zhǔn)確度的提高，在建立高斯混合模型時我們可以通過訓(xùn)練找到最適合前景、背景的參數(shù)；其次為了提高協(xié)同分割的效率，我們后續(xù)應(yīng)該引入超像素技術(shù)。

[1]張艷邦,陳征,張芬,汪熊,彭朝洋.基于顏色和紋理特征的顯著性檢測算法.計算機(jī)應(yīng)用研究,2015:284-290.

[2]張巧榮，馮新?lián)P.利用視覺顯著性和粒子濾波的運(yùn)動目標(biāo)跟蹤.中國圖象圖形學(xué)報,2013:515-522．

[3]江曉蓮,李翠華,李雄宗.基于視覺顯著性的兩階段采樣突變目標(biāo)跟蹤算法.自動化學(xué)報,2013:1098?1107

[4]羅雷,蔣榮欣,田翔,陳耀武.融合顏色與運(yùn)動信息的視頻顯著性濾波器.華中科技大學(xué)學(xué)報（自然科學(xué)版）,2014:81-85

[5]Kim E,Li H,Huang X.A Hierarchical Image Clustering Cosegmentation Framework.In:IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2012:686-693.

[6]Faktor A,Irani M.Co-Segmentation by Composition.In:IEEE International Conference on Computer Vision.IEEE,2013:1297-1304.

Design and Implementation of Image Cosegmentation System Based on Saliency Detection

LI Ran1，LI Ji-peng1，SONG Chao2
（1.College of Computer Science,Sichuan University,Chengdu 610065；2.95666 Army）

The typical targets of image segmentation are usual some salient objects in a single image.However with the constant development of com?puter vision and artificial intelligence,puts forward a higher requirement to precision of object segmentation.To achieve this target,we need comprehensive analysis of the salient objects in these images and then segment the objects with similar or same features in these imag?es.In recent years this has been a popular and challenging topic about image segmentation namely multiple foreground segmentation and we call it as image cosegmentation.The cosegmentation method proposed is based on saliency detection.It takes all salient regions into con?sideration after getting salient regions of each image to build the Gaussian Mixture Model(GMM)used in the process of graph cut algo?rithm.Finally,after experimenting with Flickr image database,compares the outcomes of our method with the outcomes of single image seg?mentation method and analyzes the advantages and disadvantages of the proposed method to get the further research direction of this topic.

Saliency;Detection;Co-Segmentation;Gaussian;Mixture Model;Graph Cut

1007-1423（2017）24-0019-05

10.3969/j.issn.1007-1423.2017.24.005

李然（1988-），云南宣威人，本科（碩士在讀），助理工程師，研究方向為計算機(jī)視覺

李記鵬（1994-），河南夏邑人，本科（碩士在讀），研究方向為計算機(jī)視覺

宋超（1983-），山東泰安人，碩士，助理工程師，研究方向為指揮自動化

2017-06-02

2017-08-10