融合前景先驗(yàn)和背景先驗(yàn)的顯著性目標(biāo)檢測

楊慧婷

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

顯著性檢測是識別一幅場景中最重要和最有價(jià)值的部分。它可以被應(yīng)用到許多計(jì)算機(jī)視覺應(yīng)用當(dāng)中，例如圖像檢索、圖像壓縮、內(nèi)容感知的圖像編輯以及目標(biāo)檢測。顯著性檢測模型大體上被劃分為自下而上的模型和自上而下的兩種模型。自下而上的模型是基于數(shù)據(jù)驅(qū)動的，不需要對其進(jìn)行訓(xùn)練，而自上而下的模型則是任務(wù)驅(qū)動的，且要使用帶有注釋的數(shù)據(jù)進(jìn)行訓(xùn)練。顯著性模型隨著時(shí)間的推進(jìn)劃分為了視覺注意預(yù)測模型和顯著性目標(biāo)檢測模型。不同于視覺注意預(yù)測模型在自然圖像上識別出少量的人類視覺注意點(diǎn)的目的，顯著性目標(biāo)檢測主要是要凸現(xiàn)出具有明確邊界的目標(biāo)區(qū)域，這對于后續(xù)高層次的視覺任務(wù)是大有脾益的。本文主要依據(jù)自下而上的顯著性目標(biāo)檢測模型。

近年來，基于前景先驗(yàn)的顯著性目標(biāo)檢測已經(jīng)取得了比較好的檢測效果。在衡量顯著性前景因素時(shí)，對比度是最為重要的一個(gè)因素。還有一些研究是通過提取圖像中的一些稀有特征來進(jìn)行顯著性檢測。由格式塔心理圖形-背景分配原則可知，情景線索在視覺注意點(diǎn)預(yù)測有比較優(yōu)良的表現(xiàn)，但僅僅依賴于此卻很難凸顯出整個(gè)顯著目標(biāo)。顯著性目標(biāo)檢測的另外一種有效的方式是利用圖像中的背景先驗(yàn)信息，從而有效地突出顯著性目標(biāo)。假定圖形的邊界為背景，以此有效地提取背景先驗(yàn)信息，從而利用背景先驗(yàn)信息來計(jì)算顯著圖，這種算法也存在缺陷，因?yàn)閳D像邊界并不總是背景信息，當(dāng)顯著性目標(biāo)主體碰觸到圖像邊界時(shí)會出現(xiàn)算法失效的情況。綜上，本文提出了融合前景先驗(yàn)和背景先驗(yàn)的框架，本框架可以有效使用前景信息和背景信息來進(jìn)行顯著性檢測。本文提出了一種全新的自下而上的顯著性目標(biāo)檢測模型。首先利用情景線索挖掘前景先驗(yàn)信息，使用此前景信息對前景種子定位并進(jìn)行顯著性運(yùn)算，再從圖像邊界地區(qū)提取背景先驗(yàn)種子點(diǎn)，并進(jìn)行顯著性運(yùn)算；然后融合基于前景先驗(yàn)生成的顯著圖和基于背景先驗(yàn)生成的顯著圖；最后使用測地線距離對融合的顯著圖進(jìn)行平滑，減少噪聲，均勻地突出整個(gè)顯著區(qū)域，從而得到最終顯著圖。

本文有如下幾點(diǎn)創(chuàng)新：①使用情景線索對前景先驗(yàn)信息進(jìn)行提?。虎诮⒘艘环N更加穩(wěn)定的種子選取方案，此方案對于顯著圖生成的準(zhǔn)確性有著有效的效果；③提出了融合前景先驗(yàn)和背景先驗(yàn)的顯著性目標(biāo)檢測框架。

1 本文算法

本文框架主要分為兩個(gè)并行的子過程：前景顯著性計(jì)算和背景顯著性計(jì)算。然后根據(jù)提取得到的前景種子點(diǎn)和背景種子點(diǎn)，生成兩幅顯著圖，在將兩幅顯著圖進(jìn)行融合，然后使用測地線距離對顯著圖進(jìn)行平滑，生成最終顯著圖。本文算法框架如圖1所示。

圖1 本文算法框架

1.1 基于前景先驗(yàn)的顯著圖

本節(jié)主要介紹如何找到可靠的前景種子點(diǎn)，并依此計(jì)算顯著圖。

（1）前景種子點(diǎn)估計(jì)

使用情景線索有效提取前景種子點(diǎn)。采用基于二值分割的BMS方法，充分利用圖圖像中的周圍環(huán)境因素，從而指導(dǎo)前景種子的局部化。將BMS生成的圖像稱為被包圍狀態(tài)圖SB，其中像素值表示為起被包圍度。為了更好地利用結(jié)構(gòu)信息和抽象小噪聲，采用SLIC算法將圖像分解為一組超像素。本文其他的操作也是在超像素上面進(jìn)行的。每個(gè)超像素的被包圍值，是取超像素中的像素值的SB的平均值來定義的，表示為N 是超像素的個(gè)數(shù)。

與之前的文獻(xiàn)將某些區(qū)域設(shè)定為確定的種子點(diǎn)的選取方式不同，本文提供了一個(gè)更加靈活的種子選取方案。定義了兩種不同的種子：強(qiáng)種子和弱種子。強(qiáng)種子歸屬前景/背景的可能性較大，弱種子歸屬前景/背景的可能性較小。對于前景種子，這兩種種子是通過以下兩個(gè)公式來選取的：

C+表示強(qiáng)種子的集合，C-表示弱種子的集合，i表示第i個(gè)超像素，mean(?)表示平均函數(shù)。從公式（1）（2）可以看出，環(huán)境包圍度較高的超像素更加可能被選為前景種子，這跟人類直覺是一致的。

（2）基于前景先驗(yàn)的顯著圖

利用數(shù)據(jù)固有流形結(jié)構(gòu)進(jìn)行圖像標(biāo)注的排序方法對上述計(jì)算出的前景種子點(diǎn)進(jìn)行顯著值計(jì)算。排序方法是對每個(gè)超像素和給定種子集之間的相關(guān)性進(jìn)行序。我們構(gòu)造了一個(gè)能表示整個(gè)圖像的圖，其中每個(gè)節(jié)點(diǎn)都是由SLIC計(jì)算的超像素塊。

排序過程如下所示：定義一個(gè)圖模型G=(V ，E )，V表示圖的結(jié)點(diǎn)，E表示邊，其權(quán)值由關(guān)聯(lián)矩陣定義。度矩陣定義為 D=diag{d11，…，d，nn}。

其中dii=∑jwij，排序函數(shù)則是如下公式定義：

g*結(jié)果向量存儲每個(gè)超像素的節(jié)點(diǎn)最終的排序結(jié)果。y=[ ]y1，y2，…，ynT是種子查詢向量。本文中，兩個(gè)節(jié)點(diǎn)之間的權(quán)值由下列公式定義：

其中，ci和cj表示CIE LAB顏色空間中兩個(gè)節(jié)點(diǎn)對應(yīng)的超像素的均值，σ是一個(gè)常數(shù)，用來控制權(quán)值的大小。與之前的研究定義如果i表示種子點(diǎn)強(qiáng)查詢，則yi=1，否則yi=0不同，本文把yi定義為額外查詢強(qiáng)度，也即是說，若是i表示種子點(diǎn)強(qiáng)查詢，則yi=1，i表示種子點(diǎn)弱查詢，則yi=0.5，否則yi=0?；谇熬胺N子的排序，在（1）（2）給定種子集的情況下，所有的超像素都按照公式（4）進(jìn)行排序。前景先驗(yàn)的顯著圖如圖2所示。

圖2 基于前景先驗(yàn)的顯著圖

1.2 基于背景先驗(yàn)的顯著圖

背景先驗(yàn)作為前景先驗(yàn)的補(bǔ)充，主要目的對特征分布中與背景不同的區(qū)域進(jìn)行提取。首先提取背景種子點(diǎn)，然后根據(jù)每個(gè)圖像元素與這些種子的相關(guān)性來計(jì)算它們的顯著性。本節(jié)主要介紹如何找到可靠的背景種子點(diǎn)，并依此計(jì)算顯著圖。

（1）背景種子點(diǎn)估計(jì)

與以往不同僅僅把圖像邊界上的元素當(dāng)成種子點(diǎn)的方式不同，本文把圖像邊界元素劃分為了兩類，強(qiáng)種子點(diǎn)和弱種子點(diǎn)，正如前文前景種子點(diǎn)劃分一樣。將所有邊界元素平均值表示為cˉ。每個(gè)特征向量和平均特征向量之間的歐氏距離是由dc=dist(c，cˉ)這個(gè)公式計(jì)算的，dc的平均值表示為-dc。背景種子點(diǎn)通過下列兩個(gè)公式進(jìn)行評估：

Cb+ack表示背景強(qiáng)種子點(diǎn)，Cback表示背景弱種子點(diǎn)。

（2）背景種子點(diǎn)估計(jì)基于背景先驗(yàn)的顯著圖

與前景先驗(yàn)計(jì)算顯著圖的相同，若是i表示種子點(diǎn)強(qiáng)查詢，則yi=1，i表示種子點(diǎn)弱查詢，則yi=0.5，否則yi=0。利用公式（3）計(jì)算各元素和背景種子點(diǎn)的相關(guān)性。生成的向量g*中的元素表明節(jié)點(diǎn)和背景種子點(diǎn)的相關(guān)性，其補(bǔ)集就是顯著性衡量的方式。顯著圖是通過下列公式計(jì)算：

計(jì)算基于背景先驗(yàn)的顯著圖的過程如圖3所示。

圖3 基于背景先驗(yàn)的顯著圖

1.3 利用測地線距離細(xì)化顯著圖

基于前景先驗(yàn)和基于背景先驗(yàn)的顯著圖的融合過程如下：大于兩個(gè)顯著圖顯著性元素平均值的元素值被重新標(biāo)定為顯著性元素，然后把這些新的顯著元素集成為一個(gè)集合。再把這些新的顯著元素當(dāng)作種子點(diǎn)，計(jì)算圖像節(jié)點(diǎn)與新的種子點(diǎn)之間的相關(guān)性，生成融合顯著圖Smap。

本文方法的最后一步時(shí)是測地線距離對融合之后的顯著圖進(jìn)行細(xì)化。為何采用測地線距離是基于觀察得來，即把一個(gè)像素的顯著值確定為周圍像素顯著值的加權(quán)和，其中權(quán)值與歐幾里得分布相對應(yīng)，在均勻突出顯著目標(biāo)方面有著比較好的性能。從最近的研究來看，權(quán)值可能對測地線距離比較敏感，這就為均與地增強(qiáng)突出顯著區(qū)域的目的帶來很大的可能性。

對于第 j個(gè)超像素，把它的后驗(yàn)概率表示為Scom(j)。利用測地線距離重新細(xì)化第q個(gè)超像素的顯著值的公式如下：

其中N表示圖像中超像素的總數(shù)，δqj是基于第q個(gè)和第 j個(gè)超像素由測地線距離衡量的權(quán)值。根據(jù)本文1.1（2）構(gòu)造的圖模型可知，兩個(gè)超像素之間的測地線距離dg(p，i)可以定義為兩個(gè)超像素在圖上沿其最短路徑累積的邊緣權(quán)值：

以此，可以得到圖像中任意兩個(gè)超像素之間的測地線距離。然后權(quán)值δpi被定義為其中σc表示所有dc值的偏差。在此步驟后顯著物體被均勻顯示出來，具體結(jié)果可在實(shí)驗(yàn)部分中看到。

2 實(shí)驗(yàn)

本節(jié)主要對本文提出的模型進(jìn)行實(shí)驗(yàn)和評估。

數(shù)據(jù)集。在ASD數(shù)據(jù)集和OUT-OMRON數(shù)據(jù)集上對本文模型進(jìn)行測試。ASD數(shù)據(jù)集提供了1000個(gè)帶有注解的基于對象輪廓的顯著性期望預(yù)測結(jié)果集，OUT-OMRON數(shù)據(jù)集提供了提供更為負(fù)責(zé)的5168個(gè)帶有像素級注解的顯著性期望預(yù)期結(jié)果集。

評價(jià)指標(biāo)。為了精確評估，采用了四個(gè)評價(jià)指標(biāo)：PR 曲線、F-measure、平均絕對誤差（MAE）、AUC 分?jǐn)?shù)。圖5為PR曲線，自適應(yīng)閾值的精度、召回率和F測度值，自適應(yīng)閾值定義為圖像平均顯著性的兩倍。表1和表2顯示了兩個(gè)數(shù)據(jù)集上的MAE和AUC得分。

對比。將本文提出模型與最先進(jìn)的11的模型相比較，這些模型分別是 CAS、wCtr、FT、DFRI、GBVS、IT?TI、MILPS、MR、PCA、SBD、BMS。如圖 4 可見，結(jié)果表明，本方法能更均勻地突出顯著區(qū)域，特別在PR曲線和MAE分?jǐn)?shù)這兩個(gè)評價(jià)指標(biāo)上取得了較好的效果。大體來說，此方法還是要優(yōu)于其他方法。

圖4 本文顯著性模型和其他顯著性模型的比較

圖5

表1 ASD數(shù)據(jù)集上MAE和AUC的比較

表2 DUT-OMRON數(shù)據(jù)集上MAE和AUC的比較

3 結(jié)語

本文提出了一種基于前景先驗(yàn)和背景先驗(yàn)互補(bǔ)的顯著性目標(biāo)檢測框架，主要創(chuàng)新有下列兩點(diǎn)，首先是利用環(huán)境線索對前景先驗(yàn)信息進(jìn)行了挖掘，并且結(jié)合背景先驗(yàn)信息，證明了方法的有效性；其次是提出了一種更加穩(wěn)定的種子選擇方案。在與其他方法的對比上也顯示了，本文提出方法的有效性。