基于SVM 和背景模型的顯著性目標(biāo)檢測(cè)算法

張艷邦，張 芬，張姣姣

（1.咸陽(yáng)師范學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，陜西咸陽(yáng) 712000；2.咸陽(yáng)師范學(xué)院智能信息分析與數(shù)據(jù)處理研究所，陜西 咸陽(yáng) 712000）

顯著性目標(biāo)檢測(cè)的主要任務(wù)是使計(jì)算機(jī)模擬人類視覺(jué)注意機(jī)制，自動(dòng)確定圖像中有吸引力的、有價(jià)值的目標(biāo)，而抑制其他不含重要信息的背景區(qū)域。隨著圖像和視頻數(shù)據(jù)的獲取越來(lái)越便捷，面對(duì)數(shù)據(jù)量的激增，顯著性檢測(cè)作為一種重要的圖像預(yù)處理方法，在減少計(jì)算復(fù)雜度方面起著重要作用，目前已經(jīng)廣泛應(yīng)用于許多計(jì)算機(jī)視覺(jué)任務(wù)中，如圖像分割[1-2]、目標(biāo)識(shí)別[3-4]、圖像壓縮[5]、圖像檢索[6-7]等。

由于人類視覺(jué)系統(tǒng)對(duì)顏色的敏感性，顏色特征一直是顯著性目標(biāo)檢測(cè)算法考慮的主要因素?，F(xiàn)有的顯著目標(biāo)檢測(cè)方法主要通過(guò)計(jì)算目標(biāo)區(qū)域與局部周圍區(qū)域或全局圖像場(chǎng)景的差異性來(lái)探索圖像顯著性。

1998 年，Itti 等人[8]指出人類視覺(jué)系統(tǒng)對(duì)對(duì)比度較高的有意義區(qū)域敏感，根據(jù)圖像的亮度、顏色和方向等底層特征提出了經(jīng)典的顯著性檢測(cè)模型。2009年，Achanta 等人[18]提出基于頻域的顏色和亮度特征估計(jì)中心周圍對(duì)比度。Fareed 等人[9]提出了一種利用多種顏色特征的對(duì)比度特征和分布特征的自底向上顯著性檢測(cè)方法，文中還采用了平滑函數(shù)，以提高檢測(cè)效果。在文獻(xiàn)[10]中，Cheng 等人分別計(jì)算了超像素全局對(duì)比度及局部對(duì)比度，并通過(guò)加權(quán)融合特征凸顯顯著性區(qū)域。這些無(wú)監(jiān)督的方法復(fù)雜度較低，不需要太多的運(yùn)行時(shí)間成本，而且沒(méi)有針對(duì)固定的目標(biāo)，檢測(cè)算法推廣性較好，然而，它們的檢測(cè)精度往往不能令人滿意。

幾十年來(lái)，目標(biāo)先驗(yàn)一直是顯著特征提取的重要線索?？墒?，由于目標(biāo)的多樣化，對(duì)圖像進(jìn)行顯著性檢測(cè)之前，人們往往對(duì)圖像目標(biāo)一無(wú)所知，也就無(wú)法獲取前景目標(biāo)的先驗(yàn)信息。然而，背景先驗(yàn)?zāi)Ｐ吞峁┝肆硪粭l思路，在該領(lǐng)域得到了一定的應(yīng)用。通過(guò)假設(shè)圖像的大部分窄邊界為背景區(qū)域，根據(jù)圖像像素與圖像邊界的連通性獲取圖像背景先驗(yàn)信息，計(jì)算顯著性圖。雖然這些方法可以有效地提高檢測(cè)效果，但是僅僅利用邊界區(qū)域的像素特征來(lái)直接計(jì)算像素的差異性，這種獲取目標(biāo)顯著特征的方法仍然不足以增強(qiáng)預(yù)測(cè)效果。深度學(xué)習(xí)是近幾年發(fā)展的熱點(diǎn)，利用構(gòu)架深層的神經(jīng)網(wǎng)絡(luò)可以顯著提高算法的分類或檢測(cè)性能。目前，深度學(xué)習(xí)算法在各個(gè)研究領(lǐng)域得到了廣泛應(yīng)用[11-14]。然而，為了提高深度學(xué)習(xí)算法的性能，在訓(xùn)練過(guò)程中需要大量的已標(biāo)注數(shù)據(jù)，增加網(wǎng)絡(luò)深度的層數(shù)，這對(duì)實(shí)驗(yàn)設(shè)備要求也比較高。為了降低對(duì)實(shí)驗(yàn)設(shè)備的要求，以及針對(duì)檢測(cè)目標(biāo)的不確定性，基于已有的研究成果，文中提出了結(jié)合SVM 和背景模型的顯著性目標(biāo)檢測(cè)算法。首先，將靠近圖像邊界區(qū)域的超像素特征作為圖像背景特征表示構(gòu)建初始背景模型，通過(guò)計(jì)算顏色對(duì)比度得到初始顯著圖；然后，通過(guò)選取不同的閾值，得到帶有標(biāo)注信息的前景像素和背景像素及待檢測(cè)像素；接著，采用SVM 算法對(duì)帶有標(biāo)注信息的前景像素和背景像素訓(xùn)練，學(xué)習(xí)得到前景和背景的分類模型，再結(jié)合信息熵評(píng)價(jià)特征圖，迭代優(yōu)化背景模型，進(jìn)而得到顯著性目標(biāo)。在公開(kāi)的數(shù)據(jù)庫(kù)上測(cè)試了文中算法，實(shí)驗(yàn)結(jié)果表明，文中提出的算法具有較好的檢測(cè)效果。

1 顯著性目標(biāo)檢測(cè)算法

1.1 超像素分割

文中采用簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering，SLIC)算法[15]對(duì)輸入圖像進(jìn)行超像素分割預(yù)處理。SLIC 算法與其他超像素分割算法相比計(jì)算速度較快，而且分割得到的超像素具有較好的特征一致性。與像素級(jí)表達(dá)圖像特征相比，超像素級(jí)包含了語(yǔ)義信息，描述圖像更加準(zhǔn)確，既能抑制噪聲，又可以降低計(jì)算復(fù)雜度。超像素的分割個(gè)數(shù)越多，保留的圖像細(xì)節(jié)信息越多，但是計(jì)算量增大；超像素個(gè)數(shù)越小，計(jì)算量越小，同時(shí)也丟失了部分細(xì)節(jié)信息。為了權(quán)衡算法計(jì)算量與圖像細(xì)節(jié)信息，文中在實(shí)驗(yàn)中將圖像分割為200 個(gè)超像素。

1.2 背景模型

當(dāng)拍照時(shí)，通常會(huì)把目標(biāo)放于靠近圖像中間的區(qū)域，而圖像的邊緣區(qū)域一般為人們不關(guān)心的背景區(qū)域。根據(jù)這一事實(shí)，文獻(xiàn)[16]選擇將靠近圖像邊界區(qū)域的顏色特征作為圖像背景的代表特征，顯著性特征定義為圖像內(nèi)部區(qū)域像素與邊緣區(qū)域中部分像素的特征差異，由此得到了簡(jiǎn)單有效的顯著性目標(biāo)檢測(cè)模型。

為了簡(jiǎn)化計(jì)算，文中仍然選擇靠近圖像邊緣的區(qū)域?yàn)楸尘埃@些超像素的顏色特征作為圖像背景的代表特征，然后計(jì)算其余區(qū)域的顏色特征與背景區(qū)域超像素顏色特征的差異，獲得圖像初始顯著圖。目標(biāo)存在不確定性，雖然目標(biāo)一般處于圖像內(nèi)部區(qū)域，但是也可能目標(biāo)比較大，目標(biāo)的局部位于邊緣區(qū)域，因此，圖像的邊緣也不一定完全是背景。為了避免這一現(xiàn)象引起的漏檢，在顯著性特征計(jì)算中，只選擇與對(duì)應(yīng)像素差別最小的5 個(gè)超像素，將它們間的加權(quán)和作為該超像素的顯著性特征。令S(i)表示第i個(gè)超像素的顯著性特征值：

其中，‖SP(i)-SP(j) ‖表示Lab 顏色空間中第i個(gè)超像素與第j個(gè)超像素間的歐式距離?！ぁ?為取2范數(shù)運(yùn)算。D(i,j)表示第i個(gè)超像素與第j個(gè)超像素間的歐式距離。兩個(gè)超像素距離越近，相互間影響越大；距離越遠(yuǎn)，影響越小。δ是調(diào)節(jié)參數(shù)，與圖像的大小有關(guān)，這里選擇為圖像的對(duì)角線長(zhǎng)度。

1.3 模型更新

背景模型中目標(biāo)的先驗(yàn)信息只有像素的位置信息，用圖像邊緣部分的像素特征描述圖像背景特征，對(duì)于圖像靠近內(nèi)部的區(qū)域是否也可以描述圖像背景特征呢？為了獲取圖像內(nèi)部區(qū)域中背景先驗(yàn)信息，通過(guò)選取閾值將特征圖二值化，根據(jù)不同的閾值將圖像像素分為前景、背景和待檢測(cè)區(qū)域。

特征值大于TH的超像素標(biāo)記為前景，特征值小于TL的超像素標(biāo)記為背景，其余超像素標(biāo)記為待檢測(cè)像素。TH和TL計(jì)算如下：

對(duì)于已標(biāo)注超像素的像素值，運(yùn)用SVM 分類算法建立二分類模型，對(duì)未標(biāo)注的像素進(jìn)行測(cè)試，更新圖像背景模型。

由于顯著目標(biāo)的分布集中，背景區(qū)域包圍目標(biāo)區(qū)域，分布較為分散。根據(jù)這一特點(diǎn)，文獻(xiàn)[17]提出二維信息熵可以作為衡量顯著圖優(yōu)劣的一個(gè)較好的標(biāo)準(zhǔn)。文中繼續(xù)采用該方法，對(duì)得到的顯著圖計(jì)算其二維信息熵，當(dāng)信息熵變化量小于給定閾值時(shí)，說(shuō)明背景模型漸趨于穩(wěn)定，迭代停止。文中算法流程圖如圖1 所示。

圖1 文中算法流程圖

2 實(shí)驗(yàn)結(jié)果及分析

文中方法測(cè)試的實(shí)驗(yàn)平臺(tái)是64 位的Windows10操作系統(tǒng)，內(nèi)存是8 GB，處理器是Intel(R)Core(TM)i7-7500，主頻是2.7 GHz，軟件版本是Matlab R2016a。為了綜合評(píng)價(jià)文中算法的有效性，在公開(kāi)的基準(zhǔn)數(shù)據(jù)集MSRA[18]上進(jìn)行了實(shí)驗(yàn)。MSRA 數(shù)據(jù)集是微軟亞洲研究院建立的可以定量評(píng)價(jià)視覺(jué)注意力算法效果的公開(kāi)大型圖像數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含了1 000幅自然圖像，每一幅圖像都有人工標(biāo)記的基準(zhǔn)圖。

為了測(cè)試文中算法的性能，與目前主流5 種算法：視覺(jué)注意測(cè)量算法(IT)[8]、頻率協(xié)調(diào)算法(FT)[18]、超復(fù)數(shù)傅里葉變換(HFT)[19]、測(cè)地距離(LIN)[20]以及直方圖對(duì)比度(HC)[10]進(jìn)行比較。

圖2 給出了在MSRA 數(shù)據(jù)庫(kù)中文中算法與現(xiàn)有其他5 種算法的直觀比較。圖2 中，從左到右第1 列為測(cè)試圖像，第2～7 列依次為IT、FT、LIN、HFT、HC和文中算法的檢測(cè)結(jié)果，最后1 列為基準(zhǔn)圖。HC 與其他幾個(gè)算法相比，能夠較好檢測(cè)到目標(biāo)，但是存在較多的誤檢。而文中算法對(duì)于圖像中的目標(biāo)個(gè)數(shù)是一個(gè)還是兩個(gè)、目標(biāo)位于圖像邊緣還是中心區(qū)域，都能夠較好地檢測(cè)到目標(biāo)，并抑制背景的干擾。另外，文中給出了PR[21]、ROC[22]、AUC[22]、IOU和MAE[23]方面的實(shí)驗(yàn)結(jié)果。

圖2 在MSRA 數(shù)據(jù)庫(kù)中文中算法與現(xiàn)有文獻(xiàn)直觀比較

PR 曲線是一種常用的顯著性評(píng)價(jià)指標(biāo)。每一個(gè)顯著性特征圖都被規(guī)范化為[0，255]，然后選取整數(shù)閾值從0 到255，得到256 個(gè)二進(jìn)制顯著性對(duì)象掩碼。SB(i)和GT(i)分別表示二值化特征圖對(duì)象掩碼和對(duì)應(yīng)的基準(zhǔn)值。準(zhǔn)確率和召回率分別定義為：

圖3 MSRA數(shù)據(jù)集上不同算法的PR曲線比較

ROC 曲線是描述在不同的判別閾值（從0到255）下真陽(yáng)性和假陽(yáng)性之間關(guān)系的圖形。AUC（Area Under Curve）指ROC 曲線下的面積，是ROC 曲線的定量比較，它們是評(píng)價(jià)顯著圖最常用的度量指標(biāo)。圖4 展示了在測(cè)試數(shù)據(jù)集上各種顯著性檢測(cè)方法的ROC 曲線。表1 給出了不同算法的AUC。顯然，該算法在5 種方法中表現(xiàn)出了領(lǐng)先的性能。

圖4 MSRA數(shù)據(jù)集上不同算法的ROC曲線比較

表1 MSRA數(shù)據(jù)集上不同算法的AUC比較

為了進(jìn)一步評(píng)價(jià)文中算法的性能，將其與另一種新的度量方法——聯(lián)合交集（IOU）分?jǐn)?shù)進(jìn)行了比較。

其中，Rn是通過(guò)以顯著圖的特征均值的兩倍為閾值而獲得的二值化特征圖，GTn是基準(zhǔn)圖，N表示圖像數(shù)據(jù)集中圖像的個(gè)數(shù)。

與其他度量方法相比，IOU可以表示顯著圖與基準(zhǔn)圖真值的重疊率，即它們的交并比。重疊率越高，值越高。在理想情況下，比值為1。因此，根據(jù)圖5中數(shù)據(jù)集上的IOU分?jǐn)?shù)可知，文中算法具有較好的檢測(cè)性能。

圖5 MSRA數(shù)據(jù)集上不同算法的IOU柱狀圖比較

MAE是一種簡(jiǎn)單可靠的顯著圖評(píng)價(jià)指標(biāo)，用于計(jì)算基準(zhǔn)圖和顯著圖的差異性，定義如下：

其中，S和GT分別表示顯著圖和基準(zhǔn)圖，N表示圖像數(shù)據(jù)集中圖像的個(gè)數(shù)。圖6 顯示了數(shù)據(jù)集上基于MAE的不同算法的比較。

圖6 MSRA數(shù)據(jù)集上不同算法的MAE柱狀圖比較

圖2～圖6 和表1 分別顯示了所提出的方法在PR、ROC、IOU、MAE和AUC方面與其他5 種流行方法的性能比較。從以上展示的圖和表中可以看出，文中算法具有較好的檢測(cè)效果，優(yōu)于流行的檢測(cè)算法。

3 結(jié)論

文中提出了一個(gè)融合背景模型和機(jī)器學(xué)習(xí)算法的顯著性目標(biāo)檢測(cè)模型，該模型在無(wú)人工標(biāo)注訓(xùn)練數(shù)據(jù)的情況下得到了學(xué)習(xí)較強(qiáng)的顯著目標(biāo)檢測(cè)算法。在基準(zhǔn)數(shù)據(jù)集上的綜合實(shí)驗(yàn)表明，文中方法優(yōu)于現(xiàn)有的一些顯著目標(biāo)檢測(cè)方法。由于文中只考慮了顏色特征，沒(méi)有考慮紋理、形狀等其他特征，因此對(duì)于目標(biāo)和背景顏色相近的圖像檢測(cè)效果還不是很理想。下一步將加入更多的底層特征，更充分地描述圖像內(nèi)容，以提高檢測(cè)效果。另外，還可以將提出的方法擴(kuò)展到更多的計(jì)算機(jī)視覺(jué)任務(wù)中，如協(xié)同檢測(cè)[24]、RGB-D 顯著性檢測(cè)[25]等。