基于相似性融合的顯著區(qū)域檢測(cè)方法研究

蔣益鋒 胡琳娜 劉冉冉

摘要：提出一種簡(jiǎn)單有效的基于相似性融合的顯著區(qū)域檢測(cè)方法：首先，通過最小方差量化降低顏色數(shù)，在將量化圖像分割為超像素后，融合環(huán)繞性和邊界連通性線索計(jì)算超像素的加權(quán)融合顯著值，加權(quán)系數(shù)基于融合方法的顯著相似性獲得;同時(shí)，引入融合修正以增強(qiáng)前景區(qū)域;最后，通過顯著性平滑和增強(qiáng)抑制圖像背景，得到高亮且均勻的顯著區(qū)域檢測(cè)結(jié)果。為了驗(yàn)證所提出方法的有效性，在ASD、ECSSD、ImgSal三個(gè)公開數(shù)據(jù)集上與8個(gè)現(xiàn)有方法進(jìn)行了性能比較，實(shí)驗(yàn)結(jié)果表明：所提出的融合機(jī)制可有效提升MaxF和S-measure等性能指標(biāo)，并得到更為理想的檢測(cè)結(jié)果。

關(guān)鍵詞：顯著性;顯著區(qū)域檢測(cè);相似性;融合

中圖分類號(hào)：TN911文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-7394（2021）06-0050-09

當(dāng)人類在觀察一個(gè)場(chǎng)景時(shí)，視覺系統(tǒng)可以在極短的時(shí)間內(nèi)實(shí)現(xiàn)對(duì)場(chǎng)景內(nèi)容的整體把握，并在某一時(shí)刻內(nèi)快速理解場(chǎng)景中某一區(qū)域的細(xì)節(jié)信息。隨著人眼在場(chǎng)景中的快速跳轉(zhuǎn)，人類視覺系統(tǒng)將依據(jù)場(chǎng)景內(nèi)容的重要程度從一個(gè)位置跳轉(zhuǎn)到下一個(gè)位置，直到掌握整個(gè)場(chǎng)景的主要內(nèi)容。在計(jì)算機(jī)視覺領(lǐng)域，顯著性檢測(cè)技術(shù)通常用于揭示場(chǎng)景內(nèi)容的重要程度，其主要任務(wù)可分為人眼視點(diǎn)預(yù)測(cè)[1-4]和顯著區(qū)域檢測(cè)[5-7]，從所采用的檢測(cè)手段[6]來看，可分為快速的、自底向上的、數(shù)據(jù)驅(qū)動(dòng)的顯著性檢測(cè)，以及慢速的、自頂向下的、任務(wù)驅(qū)動(dòng)的顯著性檢測(cè)。目前，顯著性檢測(cè)技術(shù)已被廣泛地應(yīng)用于圖像分割[8]、小目標(biāo)檢測(cè)[9]、目標(biāo)跟蹤[10]、視頻壓縮[11]以及視頻摘要[12]等計(jì)算機(jī)視覺領(lǐng)域。

自底向上的檢測(cè)方法采用圖像的底層特征檢測(cè)顯著區(qū)域，此類方法一般利用中心-環(huán)繞的局部特征差異或特征的全局稀缺性來計(jì)算顯著性。基于局部特征差異的方法通過從輸入圖像中抽取不同的視覺特征，并利用視覺特征的局部差異生成顯著圖;基于全局稀缺的方法通過在整個(gè)場(chǎng)景中抽取全局的稀缺特征，并利用這些稀缺特征作為顯著區(qū)域的特征表示。除了通常所采用的顏色特征外，可用于顯著性檢測(cè)的圖像特征還包括強(qiáng)度[13]、紋理[14]和頻譜[1，3]等。

受早期感知視覺系統(tǒng)和選擇性注意機(jī)制的啟發(fā)，Itti等人[1]利用高斯差和中心-環(huán)繞對(duì)比預(yù)測(cè)人眼視點(diǎn);Ma等人[15]采用模糊增長和局部對(duì)比分析計(jì)算顯著性;Hou等人[2]提出了SR方法，該方法利用頻域中的譜殘差獲得顯著圖;而Li等人[3]認(rèn)為，SR方法只利用了相位信息，導(dǎo)致僅適用于特定場(chǎng)景，因此，采用低通高斯濾波核對(duì)圖像的振幅譜進(jìn)行卷積操作，實(shí)現(xiàn)顯著性檢測(cè);Achanta等人[5]提出了FT方法，通過在Lab顏色空間中計(jì)算顏色特征距離獲得顯著區(qū)域。文獻(xiàn)[4]提出了一種采用布爾圖檢測(cè)顯著性的BMS方法，該方法認(rèn)為，基于圖像特征稀缺性的檢測(cè)方法有時(shí)會(huì)忽略全局信息并將顯著區(qū)域錯(cuò)誤地定位到高對(duì)比的區(qū)域，因此基于格式塔心理學(xué)原理，采用環(huán)繞性線索檢測(cè)顯著性。由于在注意圖的生成過程中，BMS方法去除了所有與圖像邊界連通的區(qū)域，因而會(huì)導(dǎo)致對(duì)貼邊顯著區(qū)域檢測(cè)的失效。

本文同樣關(guān)注快速的、自底向上的、數(shù)據(jù)驅(qū)動(dòng)的顯著區(qū)域檢測(cè)方法。這里所提出的基于相似性融合的顯著區(qū)域檢測(cè)方法，在最小方差量化后對(duì)量化圖像進(jìn)行超像素分割;然后，在每個(gè)超像素上基于相似性對(duì)兩種顯著性結(jié)果進(jìn)行融合并修正;最后，通過平滑和增強(qiáng)后處理得到顯著區(qū)域檢測(cè)結(jié)果。在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：所提出的方法具有較高的MaxF和S-measure指標(biāo)，并能夠得到高亮且均勻的顯著區(qū)域檢測(cè)結(jié)果。

1基于相似性融合的顯著區(qū)域檢測(cè)方法

1.1方法框架

如圖1所示為本文方法框架。首先，采用最小方差量化將輸入圖像包含的顏色數(shù)降為256 色，以得到較為緊致的超像素;然后，對(duì)量化圖像進(jìn)行超像素分割，并在每個(gè)超像素上引入加權(quán)系數(shù)，對(duì)基于BMS和RBD的顯著相似性進(jìn)行融合;在得到補(bǔ)償修正后的超像素顯著性后，進(jìn)一步通過平滑和增強(qiáng)的兩步后處理操作得到顯著區(qū)域檢測(cè)結(jié)果。

1.2顏色量化

為了降低顏色計(jì)算的復(fù)雜度并形成超像素的緊致性，本文首先將輸入圖像縮放到400像素寬度，并在RGB顏色空間中采用最小方差量化[16]將輸入圖像所包含的顏色數(shù)統(tǒng)一降低為256色;最小方差量化將RGB所屬的立方體空間自適應(yīng)地劃分為不高于256個(gè)的大小不等的小立方體空間，其中分布較為稠密的顏色區(qū)域分配得到較大的立方體空間，分布較為稀疏的顏色區(qū)域分配得到較小的立方體空間;最后，將每個(gè)小立方體中包含的所有顏色統(tǒng)一映射為該立方體的中心顏色。雖然，顏色數(shù)的減少帶來了一定的圖像失真，但由于圖像中的顏色分布在一定的局部區(qū)域內(nèi)具有極高相似性，且人眼視覺很難感知到R、G、B通道上細(xì)微的值差異;因此，為合并圖像中的顏色，并只保留少數(shù)顏色以表征圖像整體分布帶來可能。

如圖2所示為最小方差量化圖，圖2（b）是對(duì)圖2（a）采用最小方差量化得到的結(jié)果，圖2（c）顯示了量化前后的差異。其中，輸入圖像I包含了31 285種顏色?？梢钥吹剑弘m然經(jīng)過量化后顏色數(shù)只剩下256種，但人眼很難看出量化前后的顯著差異，其差異圖也僅在顯著區(qū)域的輪廓處有較為明顯的區(qū)別。如表1所示為平均絕對(duì)誤差，將輸入圖像I和量化結(jié)果V歸一化到[0，255]的整數(shù)區(qū)間，并在R、G、B三個(gè)顏色通道上計(jì)算得到兩者的平均絕對(duì)誤差（Mean Absolute Error，MAE）：

其中：i∈{1，2，3}表示R、G、B三個(gè)顏色通道;W和H分別表示圖像的寬度和高度;符號(hào)丨·丨表示絕對(duì)值計(jì)算。可以看到，最小方差量化前后得到的圖像只具有較小的MAE。

1.3基于相似性的顯著性融合

在得到經(jīng)過量化的圖像后，采用SLIC方法[17]對(duì)量化圖像進(jìn)行超像素分割，超像素個(gè)數(shù)的上限設(shè)置為200?？紤]到BMS方法對(duì)與圖像邊界連通的顯著區(qū)域檢測(cè)的失效，本文采用基于邊界連通性的RBD方法陷作為補(bǔ)充。在分別采用BMS和RBD方法計(jì)算得到顯著圖并歸一化到[0，1]的浮點(diǎn)數(shù)區(qū)間后，對(duì)每個(gè)超像素進(jìn)行逐像素的加權(quán)融合，第i個(gè)超像素內(nèi)坐標(biāo)（x，y）處像素的融合值為：

其中，符號(hào)丨·丨表示絕對(duì)值計(jì)算。

圖3示例了上述融合過程：從第一行可以看到，對(duì)于相似的顯著區(qū)域輸出，融合結(jié)果可以對(duì)前景區(qū)域進(jìn)一步增強(qiáng);而第二行中，由于BMS導(dǎo)致的顯著區(qū)域檢測(cè)失效，得到了一幅近乎全黑的顯著圖，但經(jīng)過補(bǔ)償修正后的融合結(jié)果仍然有效保留并增強(qiáng)了實(shí)際的顯著區(qū)域。

處理操作采用gamma值為2的非線性映射，將[0，0.5]區(qū)間統(tǒng)一映射到[0，1]區(qū)間，使得前景部分更趨向于1，而背景部分保持不變，以得到高亮的前景區(qū)域。如圖4所示，為平滑與增強(qiáng)后處理圖。圖4（b）是對(duì)圖3（a）進(jìn)行兩步后處理操作后得到的顯著區(qū)域檢測(cè)結(jié)果，兩者的差異如圖4（c）所示?？梢钥吹剑航?jīng)過平滑和增強(qiáng)后處理，顯著區(qū)域得到進(jìn)一步的增強(qiáng)，同時(shí)，背景部分依然保持較低的顯著值。最后，將后處理的結(jié)果縮放回原始圖像大小并歸一化，得到最終的顯著區(qū)域檢測(cè)結(jié)果。

2實(shí)驗(yàn)結(jié)果和分析

本節(jié)對(duì)文中提出方法與8個(gè)顯著性檢測(cè)方法在ASD[5，19]、ECSSD[7，20]和ImgSal[3，21]三個(gè)公開數(shù)據(jù)集上進(jìn)行算法性能比較。檢測(cè)方法為PCA[22]、GU[23]、GR[24]、GC[23]、COV[25]、BMS[4]、RPC[26]、TLLT[27]，實(shí)驗(yàn)平臺(tái)為1.80 GHz CPU、8 GB內(nèi)存，算法采用MATLAB實(shí)現(xiàn)。

2.1評(píng)估數(shù)據(jù)集

ASD數(shù)據(jù)集也稱為MSRA1000或MSRA1K數(shù)據(jù)集，是最為經(jīng)典的顯著區(qū)域檢測(cè)評(píng)估數(shù)據(jù)集，共包含1 000張圖像，并依據(jù)顯著區(qū)域輪廓標(biāo)注有二值真值圖。其中，大部分圖像只包含一個(gè)顯著區(qū)域并位于圖像的中心。ECSSD數(shù)據(jù)集增加了包括圖像背景不平滑、顯著區(qū)域與背景顏色接近、顯著區(qū)域外輪廓模糊等更為復(fù)雜的圖像結(jié)構(gòu)，但其中大部分的顯著區(qū)域依然聚集于圖像中心。ImgSal數(shù)據(jù)集在構(gòu)造時(shí)則更多地考慮了待檢測(cè)圖像本身的差異性，與ECSSD數(shù)據(jù)集相比，該數(shù)據(jù)集包括更多小尺寸的顯著區(qū)域以及更為雜亂的背景;同時(shí)，顯著區(qū)域要更為遠(yuǎn)離圖像中心。

2.2評(píng)估方法

本文采用精確率-召回率（Precision-Recall，PR）和F度量（F-measure）來評(píng)估檢測(cè)方法性能。當(dāng)?shù)玫揭环斎雸D像的顯著圖S后，將其二值化為M，并通過比較M與人工標(biāo)注圖G，計(jì)算出精確率P和召回率R：

其中，符號(hào)丨·丨表示計(jì)算前景像素的數(shù)量。但無論是精確率或召回率都無法單獨(dú)表征檢測(cè)方法的性能，因此，采用兩者的調(diào)和平均（即F度量）來評(píng)估性能，計(jì)算式為：

其中，參數(shù)β²參照文獻(xiàn)[5]的建議設(shè)置為0.3。

本文采用一組[0，255]間的固定閾值對(duì)顯著圖進(jìn)行序列化的二值分割，并對(duì)應(yīng)計(jì)算256組精確率、召回率和F度量值。除了繪制PR曲線和F曲線來直觀地展示各方法的檢測(cè)性能外，本文還計(jì)算了兩個(gè)統(tǒng)計(jì)指標(biāo)作為方法性能的定量評(píng)估。

（1）MaxF指標(biāo)。序列化二值分割產(chǎn)生的256 組F度量的最大值，該指標(biāo)表明了方法的最優(yōu)檢測(cè)性能。

（2）S-measure指標(biāo)[28]，即結(jié)構(gòu)度量指標(biāo)。該指標(biāo)可以有效度量顯著圖與人工標(biāo)注圖之間面向區(qū)域和面向物體的結(jié)構(gòu)相似性。

2.3評(píng)估結(jié)果和分析

如圖5所示，是在三個(gè)數(shù)據(jù)集上的PR曲線比較。其中，黑色曲線代表本文所提出方法。可以看到：本文方法在大部分的召回率區(qū)間都具有較高的精確率，PR曲線有效覆蓋了參與比較的其它方法。

如圖6所示，是在三個(gè)數(shù)據(jù)集上的F曲線比較。其中，黑色曲線代表本文所提出方法。在F曲線圖中，主要觀測(cè)曲線的峰值即MaxF值，該值所在的x軸坐標(biāo)即為最優(yōu)分割閾值，而在最優(yōu)分割閾值下得到的F度量值，表明了方法的最優(yōu)檢測(cè)性能。可以看到，在三個(gè)數(shù)據(jù)集上本文方法都具有最大MaxF峰值

表2和表3分別是在三個(gè)數(shù)據(jù)集上的MaxF和S-measure指標(biāo)的統(tǒng)計(jì)比較。與參與比較的8個(gè)顯著性檢測(cè)方法相比，本文方法在三個(gè)數(shù)據(jù)集上都具有最高的指標(biāo)值。從表2、表3的統(tǒng)計(jì)結(jié)果中可以看到：平均而言，三個(gè)數(shù)據(jù)集中，各檢測(cè)方法在ImgSal數(shù)據(jù)集上均得到了較低的指標(biāo)值，表明ImgSal相對(duì)于前兩個(gè)數(shù)據(jù)集具有更大的檢測(cè)難度;而在ASD數(shù)據(jù)集上，各檢測(cè)方法普遍獲得了最高的指標(biāo)值，表明該數(shù)據(jù)集的檢測(cè)難度較低。

如圖7所示，為本文提出算法與8種檢測(cè)方法得到的顯著圖的視覺比較。圖7（a）是原始的輸入圖像，其中的上面三行、中間三行、下面三行圖像，分別來自于ASD、ECSSD、ImgSal三個(gè)數(shù)據(jù)集;圖7（b）是人工標(biāo)注的真值圖;圖7（c）是本文算法的檢測(cè)結(jié)果?？梢钥吹剑合噍^于其它8種方法，本文算法檢測(cè)得到的顯著圖具有高亮且均勻的前景區(qū)域，同時(shí)，非顯著區(qū)域的圖像背景得到了有效抑制。

3結(jié)語

本文針對(duì)靜態(tài)圖像的顯著區(qū)域檢測(cè)問題，提出了一種基于顯著相似性融合的檢測(cè)方法：首先，采用最小方差量化降低顏色數(shù)，使得超像素分割得到的區(qū)域更為緊致;然后，針對(duì)基于環(huán)繞性線索對(duì)貼邊顯著區(qū)域的檢測(cè)失效，引入基于邊界連通性的方法進(jìn)行加權(quán)融合，并在每個(gè)超像素上對(duì)融合結(jié)果進(jìn)行修正，以增強(qiáng)前景區(qū)域;最后，通過顯著性平滑和增強(qiáng)的后處理操作，得到高亮且均勻的顯著區(qū)域并抑制了圖像背景。在ASD、ECSSD、ImgSal三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：所提出的方法在MaxF和S-measure兩項(xiàng)指標(biāo)上均優(yōu)于流行的8種顯著區(qū)域檢測(cè)方法;同時(shí)，本文所提出的加權(quán)融合機(jī)制簡(jiǎn)單有效，也適用于對(duì)現(xiàn)有顯著性方法的融合。下一步，將在更多數(shù)據(jù)集和現(xiàn)有檢測(cè)方法上驗(yàn)證這一融合機(jī)制，并針對(duì)具有復(fù)雜背景以及背景與顯著區(qū)域具有高度顏色相似等圖像，進(jìn)一步改進(jìn)并提升該融合方法的正確性和有效性。

參考文獻(xiàn)：

[1]張晴，李云.基于馬爾科夫鏈和物體先驗(yàn)的顯著物體檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2019，40（4）：1038-1045.

[2]李楚為，張志龍，楊衛(wèi)平.結(jié)合布爾圖和灰度稀缺性的小目標(biāo)顯著性檢測(cè)[J].中國圖象圖形學(xué)報(bào)，2020，25（2）：267-281.

[3]LI J，LEVINE M D，AN X J，et al. Visual saliency based on scale-space analysis in the frequency domain[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（4）：996-1010.

[4] ZHANG J，SCLAROFF S. Saliency detection：a boolean map approach[C]. Proceedings of the IEEE International Conference on Computer Vision，2013：153-160.

[5] ACHANTA R，HEMAMI S，EATRADA F. Frequency- tuned salient region detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2009：1597-1604.

[6]王豪聰，趙曉葉，彭力.基于前景增強(qiáng)與背景抑制的顯著性物體檢測(cè)[J].計(jì)算機(jī)工程與科學(xué)，2018，40（6）：1119- 1124.

[7]YAN Q，XU L，SHI J，et al. Hierarchical saliency detection [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：1155-1162.

[8] QIN C C，ZHANG G P，ZHOU Y C，et al. Integration of the saliency-based seed extraction and random walks for image segmentation[J]. Neurocomputing，2014，129：378-391，.

[9] LOU J，ZHU W，WANG H，et al. Small target detection combining regional stability and saliency in a color image [J]. Multimedia Tools and Applications，2017，76（13）：14781-14798.

[10] BORJI A，F(xiàn)RINTROPS，SIHITE D N，et al. Adaptive object tracking by learning background context[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2012：23-30.

[11] GUO C L，ZHANG L M. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J]. IEEE Transactions on Image Processing，2010，19（1）：185-198.

[12] LEE Y J，GHOSH J，GRAUMAN K. Discovering important people and objects for egocentric video summarization[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2012：1346-1353.

[13] ZHAI Y，SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C].Proceedings of the ACM International Conference on Multimedia，2006：815- 824.

[14] SCHARFENBERGER C，WONG A，CLAUSI D A. Structure- guided statistical textural distinctiveness for salient region detection in natural images[J]. IEEE Transactions on Image Processing，2015，24（1）：457-470.

[15]張繩富，董蓉，李勃.基于顏色先驗(yàn)的顯著性物體檢測(cè)[J].現(xiàn)代制造工程，2019（4）：122-128.

[16] HECKBERT P. Color image quantization for frame buffer display[J]. Comput Graph，1982，16（3）：297-307.

[17] ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state- of- the- art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intel- ligence，2012，34（11）：2274-2282.

[18] ZHU W，LIANG S，WEI Y，et al. Saliency optimization from robust background detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recog- nition，2014：2814-2821.

[19] LIU T，SUN J，ZHENG N N，et al. Learning to detect a salient object[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2007：1-8.

[20] SHI J P，YAN Q，XU L，et al. Hierarchical image saliency detection on extended CSSD[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（4）：717-729.

[21] LI J，LEVINE M D，AN X，et al. Saliency detection based on frequency and spatial domain analysis[C]. Proceedings of the British Machine Vision Conference ，2011：1-11.

[22] MARGOLIN R，TAL A，ZELNIK M. What makes a patch distinct？[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：1139-1146.

[23] CHENG M M，WARRELL J，LIN W Y，et al. Efficient salient region detection with soft image abstraction [C]. Proceedings of the IEEE International Conference on Computer Vision，2013：1529-1536.

[24] YANG C，ZHANG L，LU H. Graph- regularized saliency detection with convex- hull- based center prior[J].IEEE Signal Processing Letters，2013，20（7）：637-640.

[25] ERDEM E，ERDEM A. Visual saliency estimation by non- linearly integrating features using region covariances [J] Journal of Vision ，2013，13（4）：1-20.

[26] LOU J，REN M W，WANG H. Regional principal color based saliency detection[J]. PlosOne，2014，9（11）：1-13.

[27] GONG C，TAO D，LIU W，et al. Saliency propagation from simple to difficult[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：2531- 2539.

[28] FAN D P，CHENG M M，LIU Y，et al. Structure-measure：a new way to evaluate foreground maps[C]. Proceedings of the IEEE International Conference on Computer Vision，2017：4548-4557.

Research on Significant Region Detection Based on Similarity Fusion

JIANG Yifeng1，HU Linna2，LIU Ranran3

（1. Information Center，Jiangsu University of Technology，Changzhou 213001，China;2. Zijin College，Nanjing University of Science & Technology，Nanjing 210046，China;3. School of Automotive and Transportation Engineering，Jiangsu University of Technology，Changzhou 213001，China）

Abstract：In this paper，a simple and effective salient region detection method based on the similarity fusion is presented. Firstly，the color number is reduced by minimum variance quantization. After the quantized image is segmented into superpixels，the weighted fusion saliency value of superpixels is calculated by fusing the surrounding and boundary connectivity clues，and the weighted coefficients are obtained based on the significant similarity of the fusion method. In addition，a fusion correction is introduced to enhance the foreground area. Finally，high- bright and uniform detection results of salient regions are obtained by smoothing and enhancing the image background. In order to verify the effectiveness of the proposed method，eight existing methods are compared on ASD，ECSSD and ImgSal public datasets. The experimental results show that the proposed fusion mechanism can effectively improve MaxF and S-measure performance indicators，and obtain more ideal detection results.

Key words：saliency;salient region detection;similarity;fusion