基于元胞自動機(jī)的低秩加權(quán)協(xié)同顯著性檢測

吳作宏，徐 巖，李曉振，徐竟?jié)?，曾建?/p>

(山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590)

E-mail：xuyan@sdust.edu.cn

1 引 言

顯著性檢測是計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)基本的且具有挑戰(zhàn)性的任務(wù)，模擬靈長類視覺系統(tǒng)的行為以捕獲場景中最顯著的前景區(qū)域，可以幫助人們快速有效地提取需要的信息.自Itti等人[1]提出顯著性概念以來，顯著性檢測已經(jīng)應(yīng)用廣泛，例如圖像分割和檢測，目標(biāo)跟蹤和識別等.大多數(shù)現(xiàn)有的顯著性檢測模型側(cè)重于檢測單幅圖像中的顯著區(qū)域，并在公共數(shù)據(jù)集上取得了較好的效果.而在大數(shù)據(jù)和互聯(lián)網(wǎng)廣泛使用的時代背景下，越來越多的視覺處理任務(wù)不在僅僅局限于單幅圖像，這就帶來了針對一組相關(guān)圖像的顯著性檢測問題.協(xié)同顯著性檢測指的是在一組相關(guān)的圖像中發(fā)現(xiàn)共同顯著目標(biāo).協(xié)同顯著性檢測技術(shù)在許多圖像處理任務(wù)中發(fā)揮了重要的作用，例如協(xié)同分割，視頻前景提取[2]等，因而越來越引起人們的注意.

協(xié)同顯著性檢測與單個圖像的顯著性檢測有所不同，它既考慮了圖像內(nèi)的視覺線索，又考慮了圖像間的視覺線索，從而彌補(bǔ)了單個圖像顯著性檢測中的不足.圖像內(nèi)的視覺線索是基于單個圖像的對比度和空間線索，而圖像間的視覺線索依賴于一組圖像之間的對應(yīng)關(guān)系.Jacobs等人[3]首次將協(xié)同顯著性檢測定義為在相似背景下的圖像中發(fā)現(xiàn)唯一目標(biāo)，但是相似背景這個條件具有一定的局限性.Chen[4]提出了基于分布的表示來表征圖像中的稀疏特征，基于一對圖像的特征分布，采用漸進(jìn)算法來增強(qiáng)預(yù)注意響應(yīng).Li[5]通過構(gòu)造協(xié)同多層圖，將單圖像顯著性圖和多圖像顯著圖進(jìn)行固定權(quán)重的線性組合.然而很難將Chen[4]和Li[5]的算法推廣到多個圖像檢測的情況.Fu[6]利用聚類的方法來學(xué)習(xí)多個圖像之間的全局對應(yīng)信息，提出了三種顯著性線索(即對比度，空間和對應(yīng))，將三種線索通過固定權(quán)重進(jìn)行組合，但是忽略了顯著性線索之間的內(nèi)在聯(lián)系.Lin[7]等人提出了一種顯著目標(biāo)完整性的檢測方法，其協(xié)同顯著性的完整檢測在簡單數(shù)據(jù)集上表現(xiàn)較好.Liu[10]提出了一種基于分層分割的協(xié)同顯著性模型，在精細(xì)分割上測量不同圖像的區(qū)域?qū)Ρ榷群拖嗨贫?，在粗糙分割上測量目標(biāo)先驗(yàn)，最后將兩者相結(jié)合得到最終的協(xié)同顯著性圖，但是忽略了顯著目標(biāo)的結(jié)構(gòu)特性，存在很多背景噪聲.Cao[12，13]提出了一個通用的顯著性框架，利用多個顯著性線索的關(guān)系來融合顯著圖，并獲得自適應(yīng)權(quán)重，以生成最終的協(xié)同顯著性圖.由于要計(jì)算多個算法的顯著性圖，計(jì)算成本大，限制了模型的應(yīng)用前景.

針對上述所存在的問題，本文提出了一種協(xié)同顯著性檢測方法，通過秩約束自適應(yīng)地融和3個顯著性圖，然后利用元胞自動機(jī)更新顯著性區(qū)域，獲得最終的協(xié)同顯著性圖.

2 基礎(chǔ)理論和方法

利用CBCS[6]，MR[8]和RBD[9]生成顯著性圖，提取協(xié)同顯著性區(qū)域計(jì)算自適應(yīng)權(quán)重；將顯著性圖與其對應(yīng)的權(quán)重相乘得到融合圖，利用元胞自動機(jī)優(yōu)化顯著圖.具體算法流程如圖1所示.

圖1 算法的流程圖

2.1 提取協(xié)同顯著區(qū)域

(1)

(2)

2.2 計(jì)算自適應(yīng)權(quán)重

(3)

其中‖·‖*是核范數(shù)，‖·‖1是1范數(shù)，λ是控制稀疏部分的權(quán)重.求解上述問題得到矩陣E，E可看作矩陣H和低秩矩陣L的誤差矩陣，引入低秩能量來構(gòu)造權(quán)重，計(jì)算如下：

(4)

上式是E的第(i-1)M+j行的2范數(shù).自適應(yīng)權(quán)重定義如下：

(5)

(6)

2.3 元胞自動機(jī)更新機(jī)制

元胞自動機(jī)[14]是一種結(jié)構(gòu)簡單而組織行為復(fù)雜的網(wǎng)格動力學(xué)模型，其時間、空間和狀態(tài)都是離散的.根據(jù)相應(yīng)的規(guī)則，元胞可以在離散時間里不斷更新自己的狀態(tài).每個元胞下一時刻的狀態(tài)由其當(dāng)前狀態(tài)和它鄰域中的元胞狀態(tài)決定.利用元胞自動機(jī)傳播機(jī)制來增強(qiáng)顯著性區(qū)域.

應(yīng)用SLIC算法將一幅圖像分割成N個超像素，每個超像素點(diǎn)作為一個元胞，其顯著性值(取值范圍在0到1之間)作為元胞的狀態(tài).元胞的鄰域包括與它相鄰的元胞以及和它相鄰的鄰域共有同一邊緣的元胞.元胞之間的影響力由它們在色彩空間的相似度決定.超像素之間的相似性由CIE LAB色彩空間的距離來衡量，超像素之間的影響因子矩陣F=[fij]N×N定義為：

(7)

其中dij表示超像素i和超像素j之間的卡方距離，σ是控制相似性力度的參數(shù)，σ2的取值為0.1，NB(i)是元胞i的鄰域.將影響因子矩陣歸一化為F*=D-1·F，其中D=diag{d1，d2，…dn}，d1=∑jfij.

決定元胞的狀態(tài)有兩個因素，即它自己當(dāng)前狀態(tài)和它鄰域的狀態(tài)，當(dāng)元胞下一時刻的狀態(tài)主要由自己當(dāng)前的狀態(tài)決定時，說明一個超像素點(diǎn)和它的鄰域有很大的差異，當(dāng)元胞下一時刻的狀態(tài)主要由它的鄰域元胞狀態(tài)決定時，說明超像素點(diǎn)和它的鄰域相似度較高.為了平衡這兩個因素，引入置信度矩陣C=diag{c1，c2，…cn}，每個元胞對自己當(dāng)前狀態(tài)的置信度為：

(8)

為了保證ci∈[b,a+b]，使用下面公式計(jì)算置信度矩陣：

(9)

其中a和b為常數(shù)，分別取值為0.7和0.1.有了影響因子矩陣和置信度矩陣，所有的元胞根據(jù)更新原則同步更新它們的狀態(tài)，更新規(guī)則如下：

COSt+1=[C*+(1-C*)·F*]·COSt

(10)

其中COSt是顯著性圖，I是單位矩陣，經(jīng)過N0個時間步，最終得到優(yōu)化后的協(xié)同顯著性圖，如圖2所示.

圖2 元胞自動機(jī)優(yōu)化后協(xié)同顯著圖對比

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)選擇廣泛使用的MSRC[16]和iCoseg[17]數(shù)據(jù)集.iCoseg數(shù)據(jù)集包含38個類別(人類、動物及自然景象等)，共有643幅圖片，其中每組包含一個或多個顯著目標(biāo).MSRC數(shù)據(jù)集包含14個類別，例如汽車、飛機(jī)和動物等等，每類大約有30幅圖像，共有418幅圖像；兩個數(shù)據(jù)集都有人工標(biāo)注的像素級的真值圖.MSRC數(shù)據(jù)集的圖像組中出現(xiàn)的顯著目標(biāo)允許使用不同的顏色和形狀，這使得協(xié)同顯著性檢測更具挑戰(zhàn)性.為了能較好地與其他算法作比較，采用了4個評估標(biāo)準(zhǔn)，包括準(zhǔn)確率(Precision)與召回率曲線(Recall)，F(xiàn)-measure，MAE以及S-measure[18].準(zhǔn)確率(Precision)、召回率(Recall)和F-measure的計(jì)算公式如下：

(11)

(12)

(13)

其中S={S1,S2,…,Sn}表示有算法生成的顯著圖，G={g1，g2,…,gn}表示人工標(biāo)注的真值圖，β為常數(shù)，β是用來確定準(zhǔn)確率對于召回率的重要性，β2>1表示召回率重要，β2<1表示準(zhǔn)確率重要，一般設(shè)置β2的值為0.3，用來強(qiáng)調(diào)準(zhǔn)確率的重要性.實(shí)驗(yàn)所涉及到的超像素分割的數(shù)量均為200.與本實(shí)驗(yàn)對比的算法包括CBCS，CSHS，SACS，MR和RBD.實(shí)驗(yàn)環(huán)境是在Intel(R) Core(TM) i7-6700 3.40GHz，內(nèi)存為16G的電腦上運(yùn)行，Matlab版本為R2016a.

3.2 實(shí)驗(yàn)結(jié)果及分析

圖3為本文的算法與其他5種算法在iCoseg數(shù)據(jù)集上的PR曲線圖，實(shí)線代表本文算法.

從圖可以看出本文算法要由于其他算法.MR算法和CBCS算法的PR曲線較低，因?yàn)槠錂z測到的顯著區(qū)域不明顯或者含有較多的背景噪聲，SACS算法采用自適應(yīng)加權(quán)框架，PR曲線較高，但本文算法的顯著目標(biāo)突出，背景干擾更少，實(shí)驗(yàn)效果比SACS算法好.

圖4是本文算法與其他5種算法在MSRC數(shù)據(jù)集上PR曲線圖.MSRC數(shù)據(jù)集中的顯著目標(biāo)的顏色和形狀不一樣，因此在某種程度上對算法要求更高，如果僅僅使用顏色特征來判別顯著區(qū)域的話，很顯然不能有效地突顯出顯著目標(biāo)，同時可能存在很多背景干擾.從圖可以看出本文算法的PR曲線要高于其他5種算法.

圖3 6種算法在iCoseg數(shù)據(jù)集上的準(zhǔn)確率與召回率曲線圖Fig.3 Precision-recall curves of six algorithms on iCoseg dataset圖4 6種算法在MSRC數(shù)據(jù)集上的準(zhǔn)確率與召回率曲線圖Fig.4 Precision-recall curves of six algorithms on MSRC dataset

為了能更好地說明問題，本文計(jì)算了在iCoseg和MSRC數(shù)據(jù)集上的F-measure，S-measure和MAE值，結(jié)果如表1所示.

表1 6種算法在iCoseg和MSRC數(shù)據(jù)集上F-measure,S-measure 和MAE

從表中可以看出本文算法的F-measure和S-measure都要高于其他算法，MAE值都要低于其他算法.具體來說，前五種算法表現(xiàn)最好的是SACS算法，在iCoseg數(shù)據(jù)集上的F-measure，S-measure和MAE的值分別為0.759，0.741和0.168.本文算法的F-measure和S-measure比SACS分別高了2.1%，2.1%，MAE比SACS的低了2.7%.在MSRC數(shù)據(jù)集上，SACS的三個指標(biāo)分別為0.771，0.671和0.247.本文算法的F-measure和S-measure比SACS分別高了1.4%，4.8%，MAE比SACS的低了5.3%.綜上所述，本文的算法總體上要優(yōu)于其他算法.

圖5是6種算法在iCoseg數(shù)據(jù)集上的部分協(xié)同顯著圖的對比.前5種方法相比較，協(xié)同顯著圖效果較好的是MR算法，RBD算法和SACS算法.這三種算法顯著目標(biāo)較為突出，但也存在很多背景干擾，可以看到單個圖像顯著性檢測方法MR根據(jù)圖的流形排序?qū)D像元素與前景線索或背景線索的相似性進(jìn)行排序，默認(rèn)圖像的邊界都是背景，所以在顯著目標(biāo)位于邊界是檢測效果不佳，RBD算法過分強(qiáng)調(diào)了圖像內(nèi)部和目標(biāo)邊緣的連接，導(dǎo)致無法檢測到像鵝身體和頸部等重要物體的邊緣.CBCS算法僅使用顏色聚類方法進(jìn)行協(xié)同顯性檢測，當(dāng)目標(biāo)外觀的顏色變化很大時，其表現(xiàn)不令人滿意.CSHS方法使用顏色直方圖來測量區(qū)域之間的相似性，但不考慮目標(biāo)的結(jié)構(gòu)特征，因此它產(chǎn)生更多的背景噪聲.而SACS算法采用加權(quán)融合框架，不僅要計(jì)算多個算法的顯著圖，且算法不夠優(yōu)越，所以顯著圖仍然存在背景噪聲.本文算法的協(xié)同顯著圖的顯著區(qū)域比較突出，而且背景噪聲也更少，比較接近真值圖.

圖5 6種算法在iCoseg數(shù)據(jù)集上的部分協(xié)同顯著圖從上到下依次為原圖，真值圖，MR，RBD，CBCS，CSHS，SACS和本文算法

圖6是6種算法在MSRC數(shù)據(jù)集上的部分協(xié)同顯著圖的對比，輸入的圖片有單一的目標(biāo)也有多目標(biāo)且顏色形狀各不同.前5種算法結(jié)果相對較好的依然是MR算法，RBD算法和SACS算法，它們都能突顯出目標(biāo)，相比較而言，MR算法背景噪聲較少，RBD算法的顯著目標(biāo)更完整.結(jié)果較差的是CBCS和CSHS算法，CBCS算法整個區(qū)域不突出，顯著目標(biāo)也不完整，相比之下，CSHS算法雖然將顯著目標(biāo)突顯出來，但是同時也將背景噪聲放大，目標(biāo)的邊緣信息無法觀察到.

圖6 6種算法在MSRC數(shù)據(jù)集上的部分協(xié)同顯著圖從上到下依次為原圖，真值圖，MR，RBD，CBCS，CSHS，SACS和本文算法

從圖中不難發(fā)現(xiàn)本文算法和其他5種方法相比效果比較好，目標(biāo)比較明顯，背景噪聲也比較少.

4 總 結(jié)

本文提出了一種基于元胞自動機(jī)的自適應(yīng)加權(quán)的協(xié)同顯著性檢測算法.該方法將3個顯著圖進(jìn)行低秩加權(quán)后，利用元胞自動機(jī)更新顯著性區(qū)域.顯著提高了協(xié)同顯著性目標(biāo)檢測的準(zhǔn)確率.在iCoseg和MSRC數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，無論從主觀上還是客觀上分析，本文所提出的方法是簡潔有效的.由于本文是利用顏色和紋理特征提取顯著性區(qū)域，對于背景比較復(fù)雜的圖片存在顯著性區(qū)域難以提取的問題，顯著性區(qū)域檢測也不夠準(zhǔn)確，仍有待提高.