面向猴臉的吸收馬爾科夫鏈圖像顯著性檢測(cè)*

張 惠， 許鵬飛

(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

面向猴臉的吸收馬爾科夫鏈圖像顯著性檢測(cè)*

張 惠， 許鵬飛

(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

傳統(tǒng)的基于吸收馬爾科夫鏈進(jìn)行圖像顯著性檢測(cè)方法只能檢測(cè)出與圖像背景差異較大的目標(biāo)，或者位于圖像中心的顯著目標(biāo)。但通常情況下，被關(guān)注的目標(biāo)并不具有這樣的條件。提出了一種面向?qū)ο蟮奈振R爾科夫鏈的顯著性檢測(cè)算法，并將其應(yīng)用于金絲猴面部的顯著性檢測(cè)中。算法在傳統(tǒng)的吸收馬爾科夫鏈進(jìn)行圖像顯著性檢測(cè)的過(guò)程中，引入懲罰因子，依據(jù)一定的先驗(yàn)信息來(lái)動(dòng)態(tài)調(diào)整吸收時(shí)間。根據(jù)超像素塊與目標(biāo)色彩信息之間的差異對(duì)顏色權(quán)重進(jìn)行相應(yīng)的獎(jiǎng)勵(lì)或懲罰，以指引算法能夠正確提取多個(gè)顯著目標(biāo)。實(shí)驗(yàn)表明：相對(duì)于傳統(tǒng)算法，算法能夠更準(zhǔn)確地檢測(cè)出被關(guān)注的顯著目標(biāo)，尤其在圖像中含有多個(gè)關(guān)注目標(biāo)時(shí)，效果更加顯著。

面向?qū)ο螅?吸收馬爾科夫鏈； 顯著性檢測(cè)； 金絲猴面部

0 引 言

顯著性檢測(cè)指在圖像中找到人們所感興趣的區(qū)域或目標(biāo)，該研究已在計(jì)算機(jī)視覺(jué)中被廣泛應(yīng)用，如基于內(nèi)容的目標(biāo)檢測(cè)[1～3[，圖像檢索[4[，圖像分割[5,6[和圖像適應(yīng)[7[等。本文主要針對(duì)中國(guó)陜西秦嶺地區(qū)生存的川金絲猴的保護(hù)與監(jiān)測(cè)問(wèn)題，利用圖像顯著性檢測(cè)的相關(guān)理論和方法在自然圖像中進(jìn)行猴臉檢測(cè)。

目前，顯著性檢測(cè)的方法主要包括自底向上和自頂向下2種模型。其中，自底向上的顯著性檢測(cè)方法依賴于一些關(guān)于顯著對(duì)象和背景的先驗(yàn)知識(shí)，并且不同的顯著方法從不同的角度來(lái)描述這些先驗(yàn)知識(shí)。例如：Itti L等人為了找到圖像中的顯著區(qū)域在不同的尺度空間計(jì)算區(qū)域?qū)Ρ榷萚8[。Bruce N等人則利用香農(nóng)自信息來(lái)測(cè)量局部顯著性特征[9[。然而，局部對(duì)比度沒(méi)有考慮全局的影響。為此，Perazzi F等人將對(duì)比度和顯著性計(jì)算統(tǒng)一到一個(gè)高維高斯濾波框架中[10[。Wei Y等人則利用圖像中背景的先驗(yàn)信息和測(cè)地線的距離信息來(lái)實(shí)現(xiàn)顯著目標(biāo)的檢測(cè)[11[。Yang C等人將顯著性檢測(cè)問(wèn)題轉(zhuǎn)換為一個(gè)基于圖模型的排序問(wèn)題[12[。面向?qū)ο蟮娘@著性檢測(cè)，一般情況下已經(jīng)獲得所檢測(cè)目標(biāo)的一些先驗(yàn)信息。因此，本文利用馬爾可夫隨機(jī)漫步的性質(zhì)和它與顯著性檢測(cè)的關(guān)系在圖像中進(jìn)行猴臉檢測(cè)。

現(xiàn)有的基于隨機(jī)漫步的顯著性檢測(cè)已有較多的研究成果。Costa L F等人通過(guò)訪問(wèn)每個(gè)節(jié)點(diǎn)的隨機(jī)漫步頻率來(lái)識(shí)別顯著地區(qū)[13[。Harel J等人通過(guò)定義一個(gè)測(cè)量模型來(lái)計(jì)算兩個(gè)節(jié)點(diǎn)之間的轉(zhuǎn)移概率以改進(jìn)文獻(xiàn)[13[中的方法[14[。Gopalakrishnan V等人通過(guò)完全連通圖和稀疏圖的擊中時(shí)間找到目標(biāo)種子,并根據(jù)目標(biāo)種子確定一些背景種子；然后，通過(guò)其他節(jié)點(diǎn)到這兩類種子的不同擊中時(shí)間計(jì)算其顯著值[15[。而在文獻(xiàn)[16[中，Wang W等人引入熵率和均衡分布來(lái)計(jì)算從一個(gè)節(jié)點(diǎn)傳遞到其他節(jié)點(diǎn)的平均信息，以用于預(yù)測(cè)視覺(jué)注意力。2013年Jiang B等人提出了一種基于吸收馬爾可夫鏈的圖像顯著性檢測(cè)方法[17[，該方法利用背景和顯著目標(biāo)的色彩差異以及顯著目標(biāo)一般處于圖像中心位置等信息進(jìn)行顯著性檢測(cè)，并取得了較好的效果。但是，目前,幾乎所有的顯著性檢測(cè)方法都是努力檢測(cè)出與圖像背景差異較大的目標(biāo)，或者位于圖像中心的顯著目標(biāo)。而在較多情況下，利用這些方法檢測(cè)出的顯著目標(biāo)并不是關(guān)注的目標(biāo)。為此，本文提出了一種面向?qū)ο蟮奈振R爾科夫鏈的顯著性檢測(cè)算法，并將其應(yīng)用于金絲猴面部的顯著性檢測(cè)中。

面向猴臉檢測(cè)的吸收馬爾科夫鏈圖像顯著性檢測(cè)方法在傳統(tǒng)的吸收馬爾科夫鏈進(jìn)行顯著性檢測(cè)的過(guò)程中，引入懲罰因子。由于金絲猴面部具有天然的色彩—淡藍(lán)色，根據(jù)這一先驗(yàn)信息來(lái)動(dòng)態(tài)調(diào)整吸收時(shí)間的顏色權(quán)重。通過(guò)計(jì)算超像素塊與目標(biāo)色彩之間的差異來(lái)對(duì)顏色權(quán)重進(jìn)行相應(yīng)的獎(jiǎng)勵(lì)或懲罰，使得與目標(biāo)先驗(yàn)信息相似的區(qū)域的顯著值不斷增大，以指引算法能夠正確提取多個(gè)關(guān)注的顯著目標(biāo)。

1 面向猴臉檢測(cè)的吸收馬爾科夫鏈顯著性檢測(cè)算法

1.1 傳統(tǒng)的基于吸收馬爾科夫鏈的顯著性檢測(cè)[17[

對(duì)于待檢測(cè)的圖像，首先利用SLIC(simple linear iterative cluster)超像素算法對(duì)其進(jìn)行超像素分割，并復(fù)制邊界節(jié)點(diǎn)作為虛擬吸收節(jié)點(diǎn)，將超像素圖像表示為圖模型G(V，E)。將所有超像素作為節(jié)點(diǎn)集合V，每一對(duì)節(jié)點(diǎn)之間的關(guān)系作為邊的集合E，每個(gè)節(jié)點(diǎn)和與其相鄰或間接相鄰的節(jié)點(diǎn)連通。設(shè)xi為超像素節(jié)點(diǎn)i在CIE LAB顏色空間中的顏色均值，σ為一個(gè)控制權(quán)重力度的常數(shù)，則鄰近節(jié)點(diǎn)i和j之間邊的顏色權(quán)重wij為

(1)

定義關(guān)聯(lián)矩陣A，為超像素節(jié)點(diǎn)的空間距離關(guān)系。在A中，將前t個(gè)節(jié)點(diǎn)表示為瞬態(tài)節(jié)點(diǎn)，后r個(gè)節(jié)點(diǎn)為吸收節(jié)點(diǎn)，并用N(i)來(lái)表示與節(jié)點(diǎn)i相關(guān)聯(lián)的節(jié)點(diǎn)的集合，則A可以通過(guò)式(2)獲得

(2)

定義D為某節(jié)點(diǎn)連接到每個(gè)節(jié)點(diǎn)的權(quán)重和的矩陣

D=diag(∑jaij)

(3)

依據(jù)w和D計(jì)算超像素圖像中各節(jié)點(diǎn)的顯著值，從而獲得顯著圖像。由于吸收馬爾科夫鏈若達(dá)到一定的穩(wěn)定狀態(tài)時(shí)，瞬態(tài)節(jié)點(diǎn)被吸收到任意吸收節(jié)點(diǎn)的概率不同，且吸收時(shí)間為被吸收之前停留在所有瞬態(tài)節(jié)點(diǎn)的時(shí)間之和。因此，基于吸收馬爾可夫鏈的顯著性檢測(cè)方法能夠綜合考慮轉(zhuǎn)移節(jié)點(diǎn)與所有吸收節(jié)點(diǎn)的關(guān)聯(lián)性，最終在顯著圖中能將目標(biāo)明顯突出于多個(gè)背景區(qū)域，且統(tǒng)一地突出目標(biāo)而抑制所有背景區(qū)域。

但是在較多的情況下，圖像中要檢測(cè)的目標(biāo)往往不止一個(gè)，而傳統(tǒng)的顯著性檢測(cè)算法主要是檢測(cè)出圖像中最顯著的目標(biāo)，而次顯著目標(biāo)與背景的某些區(qū)域的顯著值十分接近，從而導(dǎo)致后期難以檢測(cè)出圖像中所關(guān)注的目標(biāo)。例如：利用傳統(tǒng)的基于吸收馬爾可夫鏈對(duì)圖1進(jìn)行顯著性檢測(cè)，算法能夠很好地檢測(cè)出其中一只金絲猴的面部顯著性，如圖1(b)所示。但是對(duì)于另一只金絲猴，其顯著性與圖像中心部分的背景區(qū)域的顯著值非常接近，導(dǎo)致在后期難以準(zhǔn)確提取出次顯著的金絲猴及其面部信息。

圖1 基于傳統(tǒng)的馬爾科夫鏈顯著性檢測(cè)

1.2 面向?qū)ο蟮娘@著性檢測(cè)

(4)

(5)

式中 ?為懲罰因子，一般情況下，?=0.2。通過(guò)調(diào)節(jié)超像素節(jié)點(diǎn)的顏色權(quán)重，使得與先驗(yàn)信息相接近的超像素節(jié)點(diǎn)的顏色權(quán)重值逐漸增大，而與先驗(yàn)信息存在較大差異的超像素節(jié)點(diǎn)的顏色權(quán)重值相應(yīng)減小。整體上，使得圖像中所關(guān)注的目標(biāo)的顯著值明顯高于背景區(qū)域的顯著值，增大了多個(gè)對(duì)象與背景區(qū)域的顯著值差。不僅能夠使顯著目標(biāo)更顯著，同時(shí)還能避免次顯著目標(biāo)與背景相混淆的問(wèn)題，能夠檢測(cè)出圖像中存在的多個(gè)關(guān)注的目標(biāo)區(qū)域。

2 實(shí)驗(yàn)與分析

為驗(yàn)證提出算法的有效性，本文主要利用自然場(chǎng)景中的金絲猴圖像作為測(cè)試圖像。如圖2～圖6所示，為金絲猴不同的活動(dòng)場(chǎng)景，并且含有四季變換，背景復(fù)雜多變。此外，使用文獻(xiàn)[17[中的顯著性檢測(cè)算法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果圖如圖2(b)～圖6(b)所示；本文算法得到的結(jié)果圖如圖2(c)～圖6(c)所示。從實(shí)驗(yàn)結(jié)果可以看出：對(duì)于圖像中只有單個(gè)金絲猴的圖像，如圖2(a)所示，兩種算法檢測(cè)的結(jié)果相似，只是由于本文算法對(duì)于面部皮膚有先驗(yàn)信息，因此，在圖2(a)中本文算法得到結(jié)果中面部區(qū)域的顯著性較為明顯。而對(duì)于含有多個(gè)金絲猴的圖像中，兩種算法得到的結(jié)果存在較大差異，如圖3～圖5所示。傳統(tǒng)算法能夠很好地檢測(cè)出最為顯著的猴臉區(qū)域，但是對(duì)于次顯著的猴臉，難以使用較高的顯著來(lái)表示。相比之下，本文算法不僅能夠讓原本顯著的目標(biāo)更為顯著，還能夠使用相對(duì)于背景的更高顯著值來(lái)表示次顯著所關(guān)注目標(biāo)，從而實(shí)現(xiàn)了多顯著目標(biāo)的同時(shí)檢測(cè)。但是在一些特殊的情況下，本文算法也不能很好地檢測(cè)出次顯著目標(biāo)。如圖6所示，小金絲猴的面部偎依在母親的懷里，其面部皮膚區(qū)域面積較小，并且非猴臉區(qū)域存在大量與其色彩相似的區(qū)域，導(dǎo)致次顯著猴臉不能使用較高的顯著值表示。

圖2 不同顯著性檢測(cè)算法得到的顯著圖

圖3 不同顯著性檢測(cè)算法得到的顯著圖

圖4 不同顯著性檢測(cè)算法得到的顯著圖

圖5 不同顯著性檢測(cè)算法得到的顯著圖

圖6 不同顯著性檢測(cè)算法得到的顯著圖

3 結(jié) 論

本文針對(duì)傳統(tǒng)的基于馬爾可夫鏈進(jìn)行圖像顯著性檢測(cè)中存在的次顯著目標(biāo)難以準(zhǔn)確檢測(cè)的問(wèn)題，提出了一種面向?qū)ο蟮娘@著性檢測(cè)算法，并將其應(yīng)用于金絲猴面部的顯著性檢測(cè)。根據(jù)關(guān)注目標(biāo)的先驗(yàn)信息，在利用吸收馬爾可夫鏈進(jìn)行猴臉顯著性檢測(cè)的過(guò)程中，引入懲罰因子，依據(jù)圖像中的超像素節(jié)點(diǎn)的色彩信息與先驗(yàn)色彩信息之間的差異來(lái)動(dòng)態(tài)調(diào)整顏色權(quán)重，使得關(guān)注的目標(biāo)在圖像中更為顯著，同時(shí)還能夠使得次顯著目標(biāo)的顯著值相對(duì)較高，以實(shí)現(xiàn)在圖像中檢測(cè)出多個(gè)關(guān)注目標(biāo)。實(shí)驗(yàn)結(jié)果表明：本文算法在有一定的先驗(yàn)信息前提下，相對(duì)于傳統(tǒng)算法，在檢測(cè)目標(biāo)時(shí)具有更強(qiáng)的目標(biāo)性。

[1] Navalpakkam V,Itti L.An integrated model of top-down and bottom-up attention for optimizing detection speed[C[∥2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,IEEE,2006:2049-2056.

[2] 周美亮,安博文.基于紅外面陣傳感器的小目標(biāo)檢測(cè)算法[J[.傳感器與微系統(tǒng),2014,33(11):142-144.

[3] 王 睿,梁志兵,王嘉銘,等.基于多雷達(dá)的臨近空間目標(biāo)檢測(cè)前跟蹤算法[J[.傳感器與微系統(tǒng),2016,35(10):116-119.

[4] Wang X J,Ma W Y,Li X.Data-driven approach for bridging the cognitive gap in image retrieval[C[∥2004 IEEE International Conference on Multimedia and Expo，ICME’04,IEEE,2004:2231-2234.

[5] Wang L,Xue J,Zheng N,et al.Automatic salient object extraction with contextual cue[C[∥2011 IEEE International Conference on Computer Vision(ICCV),IEEE,2011:105-112.

[6] Marchesotti L,Cifarelli C,Csurka G.A framework for visual saliency detection with applications to image thumbnailing[C[∥2009 IEEE 12th International Conference on Computer Vision,IEEE,2009:2232-2239.

[7] 龍 雨,許鵬飛.基于裂縫中心線方向的土遺址裂縫寬度計(jì)算方法[J].傳感器與微系統(tǒng),2016,35(9):14-16.

[8] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[9] Bruce N,Tsotsos J.Saliency based on information maximiza-tion[J].Advances in Neural Information Processing Systems,2006,18:155-162.

[10] Perazzi F,Kr?henbühl P,Pritch Y,et al.Saliency filters:Contrast-based filtering for salient region detection[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2012:733-740.

[11] Wei Y,Wen F,Zhu W,et al.Geodesic saliency using background priors[C]∥European Conference on Computer Vision,Berlin Heidelberg:Springer,2012:29-42.

[12] Yang C,Zhang L,Lu H,et al.Saliency detection via graph-based manifold ranking[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2013:3166-3173.

[13] Costa L F,Rodrigues F A,Travieso G,et al.Characterization of complex networks:A survey of measurements[J].Advances in Physics,2007,56(1):167-242.

[14] Harel J,Koch C,Perona P.Graph-based visual saliency[C]∥Conference on Neural Information Processing Systems(NIPS),2006:5-12.

[15] Gopalakrishnan V,Hu Y,Rajan D.Random walks on graphs for salient object detection in images[J].IEEE Transactions on Image Processing,2010,19(12):3232-3242.

[16] Wang W,Wang Y,Huang Q,et al.Measuring visual saliency by site entropy rate[C]∥2010 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2010:2368-2375.

[17] Jiang B,Zhang L,Lu H,et al.Saliency detection via absorbing Markov chain[C]∥Proceedings of the IEEE International Conference on Computer Vision，2013:1665-1672.

Image saliency detection via absorbing Markov chain for monkeys’faces*

ZHANG Hui, XU Peng-fei

(School of Information Science and Technology,Northwest University,Xi’an 710127,China)

Traditional saliency detection via absorbing Markov Chain can only detect the objects which have great contrast to the background or in the center of the images.However,in fact,the objects human focus on do not usually have these features.To alleviate this problem,propose an object-oriented saliency detection algorithm via absorbing Markov and apply it to saliency detection for monkeys’ faces.This algorithm introduces a penalty factor to traditional saliency detection via Markov Chain to dynamically adjust the absorbing times relying on some prior knowledge.The reward or punishment to the color weights is made according to the differences between the colors of the superpixel points and color information of objects to detect salient objects correctly.The experimental results demonstrate that comparing with traditional algorithm,the proposed algorithm can detect the objects which are focused on correctly,and especially when there are more than one object.

object-oriented; absorbing Markov Chain; saliency detection; monkeys’faces

2017—04—10

國(guó)家自然科學(xué)基金青年科學(xué)基金資助項(xiàng)目(61502387)；西北大學(xué)科學(xué)研究基金資助項(xiàng)目(14NW27)

10.13873/J.1000—9787(2017)06—0119—03

TP 391

A

1000—9787(2017)06—0119—03

張 惠(1996-)，女，研究方向?yàn)閿?shù)字圖像處理。

許鵬飛(1987-)，男，通訊作者，講師，從事數(shù)字圖像處理研究工作，E—mail：pfxu@nwu.edu.cn。