DEL分割算法對(duì)SSLS算法的改進(jìn)

王寶艷,張 鐵,李 凱,杜松林

1(東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,沈陽(yáng) 110004) 2(東北大學(xué)秦皇島分校 通信工程學(xué)院,河北 秦皇島 066004) 3(燕山大學(xué) 信息科學(xué)與工程學(xué)院,河北 秦皇島 066004)E-mail:wangbaoyan2005@163.com

1 引 言

圖像分割與顯著目標(biāo)檢測(cè)這兩個(gè)任務(wù)具有較強(qiáng)的相關(guān)性.圖像分割是指根據(jù)灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個(gè)互不相交的區(qū)域,使得這些特征在同一區(qū)域內(nèi)表現(xiàn)出一致性或相似性,而在不同區(qū)域間表現(xiàn)出明顯的不同.通常,分割區(qū)域的個(gè)數(shù)可以通過(guò)調(diào)整算法的參數(shù)來(lái)確定.理想的分割算法不但要保證過(guò)分割(精細(xì)分割)下分割的有效性,還要考慮分割數(shù)目較小時(shí)(粗糙分割)分割的有效性.顯著目標(biāo)檢測(cè)是指將圖像中顯著的目標(biāo)檢測(cè)出來(lái).由于顯著目標(biāo)也屬于目標(biāo),若通過(guò)圖像分割算法可以將目標(biāo)有效地分割出來(lái),那么顯著目標(biāo)的檢測(cè)結(jié)果可能會(huì)因此而受益.

目前,很多學(xué)者從事基于圖像分割算法進(jìn)行顯著目標(biāo)檢測(cè)的研究[1-4],他們大都采用的是超像素分割方法.通常,用于顯著目標(biāo)檢測(cè)的超像素分割數(shù)一般控制在200或300左右,這樣的分割雖然可以保證同一超像素內(nèi)像素間的相似性,但無(wú)法保證不同超像素間的差異性.對(duì)于現(xiàn)在流行的超像素分割法[5],雖然理論上可以通過(guò)調(diào)整其參數(shù)產(chǎn)生較大的超像素分割區(qū)域,但往往得到的分割區(qū)域并不符合人的感知.除此之外,也有一些研究學(xué)者嘗試基于其他的圖像分割算法建立顯著目標(biāo)檢測(cè)模型[6-8],比如mean-shift方法[9],圖的分割方法[10]等.但由于這些算法并不能很有效地、準(zhǔn)確地分割出可感知的區(qū)域,從而導(dǎo)致最終的顯著目標(biāo)檢測(cè)效果并不理想.這也是為什么至今很多研究學(xué)者仍傾向基于分割區(qū)域數(shù)較多的超像素分割方法進(jìn)行顯著目標(biāo)檢測(cè)的原因.

盡管超像素分割被廣泛地應(yīng)用到顯著目標(biāo)檢測(cè)領(lǐng)域[1,3,11,4],但對(duì)于一些復(fù)雜圖像,緊密、小區(qū)域的超像素往往會(huì)導(dǎo)致同一顯著目標(biāo)的顯著性是分片的,不光滑的.事實(shí)上,這與算法是基于超像素分割計(jì)算的顯著性值有關(guān).因此,我們嘗試引入一種更可靠的圖像分割方法(精細(xì)和粗糙分割均有效)來(lái)提高顯著目標(biāo)的檢測(cè)結(jié)果.

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的研究在最近幾年取得了巨大的進(jìn)展,它在計(jì)算機(jī)視覺(jué)方向的廣泛應(yīng)用同樣也鼓舞一些研究者嘗試將卷積神經(jīng)網(wǎng)絡(luò)研究用于準(zhǔn)確的、有效的圖像分割上[12].這勢(shì)必會(huì)給顯著目標(biāo)檢測(cè)的研究帶來(lái)更多的啟發(fā).Liu等人[13]最近提出了一種基于深度嵌入學(xué)習(xí)的圖像分割算法(DEL),這種算法以超像素分割為基礎(chǔ),通過(guò)計(jì)算相鄰超像素間的相似性對(duì)超像素進(jìn)行合并,從而實(shí)現(xiàn)了圖像的有效分割.值得一提的是,圖像的分割區(qū)域數(shù)可以通過(guò)相似閾值進(jìn)行控制.同時(shí),此算法的運(yùn)行速度也很快.

由于顯著目標(biāo)檢測(cè)在計(jì)算機(jī)視覺(jué)方面的廣泛應(yīng)用[14-17],許多學(xué)者從事此領(lǐng)域的研究,并建立了一些經(jīng)典、有效的算法[18].Wang 等人[19]提出了SSLS算法,此算法對(duì)于一般圖像的顯著目標(biāo)檢測(cè)是比較有優(yōu)勢(shì)的.但對(duì)于復(fù)雜圖像,檢測(cè)效果不是很理想.因此,我們考慮利用有效的圖像分割算法DEL對(duì)SSLS算法進(jìn)行改進(jìn),以提高顯著目標(biāo)的檢測(cè)結(jié)果.不失一般性,這種做法同樣適用于其他顯著目標(biāo)檢測(cè)算法的改進(jìn).雖然本文提出的算法思想比較簡(jiǎn)單,但實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的檢測(cè)結(jié)果明顯優(yōu)于原來(lái)算法的檢測(cè)結(jié)果.同時(shí),相對(duì)于目前流行的顯著目標(biāo)檢測(cè)算法,本文提出的改進(jìn)算法也是有一定優(yōu)勢(shì)的.這表明,有效的圖像分割算法在一定程度上會(huì)提高顯著目標(biāo)的檢測(cè)結(jié)果.本文的創(chuàng)新點(diǎn)有三個(gè):

1)將基于深度學(xué)習(xí)的DEL分割算法引入到顯著目標(biāo)檢測(cè)中,通過(guò)DEL算法對(duì)SSLS算法進(jìn)行改進(jìn).不失一般性,這種方法同樣可以應(yīng)用到一些其他顯著目標(biāo)檢測(cè)算法的改進(jìn)上.

2)提出了多尺度顯著目標(biāo)的檢測(cè)算法,尤其是將深度特征引入到多尺度顯著性圖的融合算法中.

3)本文在三個(gè)數(shù)據(jù)集上從多個(gè)評(píng)價(jià)指標(biāo)分析改進(jìn)算法的實(shí)驗(yàn)結(jié)果.

2 相關(guān)工作

本文通過(guò)DEL分割算法對(duì)SSLS算法進(jìn)行改進(jìn),因此本節(jié)只對(duì)這兩個(gè)算法的相關(guān)內(nèi)容進(jìn)行簡(jiǎn)要介紹.

2.1 圖像分割算法

圖像分割的目的是將一幅圖像劃分成有特別意義的不相交子區(qū)域,并且每個(gè)區(qū)域具有最大的相似特性和相似意義.由于圖像類型、格式及表現(xiàn)方式的多樣性和復(fù)雜性,圖像分割目前仍有很多待解決的問(wèn)題,也依然是一個(gè)研究熱點(diǎn)[20].Shi等人[21]將圖像分割轉(zhuǎn)化為一個(gè)圖割問(wèn)題.Comaniciu等人[9]提出了Mean Shift算法.Felzenszwalb等人[10]提出了一種有效的基于圖的EGB算法.基于邊緣的gPb算法[22]通過(guò)多尺度的局部特征和譜聚類對(duì)圖像的邊緣進(jìn)行檢測(cè),然后基于分水嶺算法將這些邊緣轉(zhuǎn)化為分割問(wèn)題.

隨著卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的廣泛研究,一些研究者考慮將卷積神經(jīng)網(wǎng)絡(luò)引入到圖像分割的研究上[12,13].DEL算法以超像素分割為基礎(chǔ),利用特征嵌入學(xué)習(xí)網(wǎng)絡(luò)得到超像素間的相似性,依據(jù)相鄰超像素間的相似性,對(duì)相鄰的超像素進(jìn)行合并,實(shí)現(xiàn)圖像的分割.此算法的超像素分割區(qū)域是利用SLIC算法的GPU版本—gSLIC1得到的,每個(gè)超像素大約包含64個(gè)像素.特征嵌入學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)是基于VGG16 網(wǎng)絡(luò)[23]建立的,它將VGG16網(wǎng)絡(luò)的第5層池化層和3個(gè)全連接層刪除,同時(shí),第4層池化層的步長(zhǎng)改為1.五個(gè)Group卷積層的輸出分別同32個(gè),64個(gè),128個(gè),256個(gè)和256個(gè)3*3的卷積核做卷積,然后將卷積后的輸出分別同32個(gè),64個(gè),64個(gè),128個(gè)和128個(gè)1*1的卷積核做卷積,所得結(jié)果再進(jìn)行L2標(biāo)準(zhǔn)化.考慮到隨著網(wǎng)絡(luò)層數(shù)的加深,學(xué)習(xí)到的特征就會(huì)越來(lái)越粗糙.除此之外,由于精細(xì)的特征會(huì)包含圖像更多的細(xì)節(jié)信息,而粗糙的特征會(huì)反映更多的全局信息.因此,此網(wǎng)絡(luò)將五個(gè)Group卷積層得到的特征圖聚合,以便同時(shí)反映粗的全局信息和細(xì)的局部信息.聚合后的特征圖同256個(gè)3*3的卷積核進(jìn)行卷積.然后,將輸出結(jié)果同1*1的卷積核進(jìn)行卷積,從而得到64維的特征嵌入空間.最后,網(wǎng)絡(luò)對(duì)特征嵌入空間進(jìn)行池化操作,將每個(gè)超像素對(duì)應(yīng)的特征向量輸出.根據(jù)超像素的特征向量計(jì)算相鄰超像素之間的相似性,并與閾值作比較,將相似的超像素進(jìn)行區(qū)域合并.

2.2 基于圖的顯著目標(biāo)檢測(cè)算法

Wang等人[19]提出的SSLS算法是基于圖的顯著目標(biāo)檢測(cè)算法.在這節(jié)中,我們回顧一下這類顯著目標(biāo)檢測(cè)算法.算法有2個(gè)關(guān)鍵的環(huán)節(jié):

1)顯著種子的選取.通常,可靠的背景種子和前景種子作為顯著種子.對(duì)于背景種子的選擇,依據(jù)“背景先驗(yàn)”的知識(shí),一般選取圖像的上、下、左、右四個(gè)方向的邊界作為背景種子.然而對(duì)于一些諸如顯著目標(biāo)接觸圖像邊界等復(fù)雜圖像而言,研究學(xué)者嘗試對(duì)選取的邊界種子進(jìn)行過(guò)濾[24,25].Li等人[24]在進(jìn)行背景顯著性估計(jì)之前通過(guò)定位、排除錯(cuò)誤的邊界從而優(yōu)化了邊界對(duì)整體估計(jì)的影響.蔣寓文等人[25]利用“背景的連續(xù)性特征”提出了一種基于背景先驗(yàn)的顯著區(qū)域檢測(cè)算法.對(duì)于前景種子的選擇,不同于[3,19,26-27]通過(guò)自適應(yīng)的閾值對(duì)第一階段的顯著性圖進(jìn)行二值分割,選取顯著性值大于閾值的超像素作為前景種子,Fu等人[28]將粗糙顯著性圖與Harris和Foci凸包方法結(jié)合,二值化得到前景標(biāo)簽.Li等人[29,30]結(jié)合“中心”和“似物性采樣”等先驗(yàn)知識(shí)確定前景標(biāo)簽.Kong等人[31]采用“模式挖掘”的方法獲得的前景種子.

2)顯著模型的建立.顯著模型一般有測(cè)地距離法,隨機(jī)游走法和能量函數(shù)法.具體地,WEI等人[1]通過(guò)未標(biāo)簽節(jié)點(diǎn)與標(biāo)簽節(jié)點(diǎn)的測(cè)地距離來(lái)計(jì)算未標(biāo)簽節(jié)點(diǎn)的顯著性值.文獻(xiàn)[4,32]都是基于隨機(jī)游走法得到的顯著性圖.能量函數(shù)法將顯著目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為求能量函數(shù)最小值的一個(gè)優(yōu)化問(wèn)題[3,28-29].能量函數(shù)的構(gòu)造通常包含smoothness 和fitness項(xiàng),smoothness項(xiàng)要求相鄰節(jié)點(diǎn)的顯著性值差別不會(huì)太大,fitness項(xiàng)要求節(jié)點(diǎn)真正的顯著性值不應(yīng)當(dāng)與其初始的顯著性值有太大的偏離.除此之外,Li等人[29]構(gòu)造的能量函數(shù)又考慮了局部smoothness約束項(xiàng),這項(xiàng)要求每一個(gè)節(jié)點(diǎn)的顯著性值不應(yīng)

1http://www.robots.ox.ac.uk/～victor/gslicr/.

當(dāng)與此節(jié)點(diǎn)鄰域的平均顯著性值偏離過(guò)大.Fu等人[28]構(gòu)造的能量函數(shù)同時(shí)加入了“流形重構(gòu)”項(xiàng),這項(xiàng)的引入使得初始特征空間的“流形重構(gòu)”在新的特征空間仍舊被保持.與既有的基于圖的顯著目標(biāo)檢測(cè)算法不同的是,本文采用的SSLS算法的兩階段顯著模型是基于兩階段顯著種子所在類的不同而建立的,而且這兩個(gè)模型的關(guān)系既是互補(bǔ)的,又是相輔相成的.特別地,第 2 階段擴(kuò)散模型中匯點(diǎn)的引入,既提高了檢測(cè)效果,又增強(qiáng)了模型的魯棒性.

3 本文提出的改進(jìn)的SSLS算法

依據(jù)圖像分割與顯著目標(biāo)檢測(cè)這兩個(gè)任務(wù)的相關(guān)性,我們有理由相信,高效的圖像分割算法一定會(huì)提高顯著目標(biāo)的檢測(cè)結(jié)果.DEL算法無(wú)論是在精細(xì)尺度,還是在粗糙尺度的分割上均有很大的優(yōu)勢(shì),因此本文考慮利用DEL算法對(duì)既有的顯著目標(biāo)檢測(cè)算法進(jìn)行改進(jìn),主要介紹對(duì)SSLS算法的改進(jìn).不失一般性,算法的思想還可用于其他算法的改進(jìn).改進(jìn)的SSLS算法的一般步驟為:首先,利用SSLS算法得到圖像的初始顯著性圖;利用DEL算法得到的多尺度分割圖對(duì)初始顯著性值進(jìn)行區(qū)域化的重新分配,從而形成多尺度的顯著性圖;最后,基于DEL算法學(xué)習(xí)到的深度特征,將多尺度的顯著性圖深度融合,從而得到最終的顯著性圖.本節(jié)將對(duì)上述步驟逐一展開(kāi).

DEL算法是以超像素分割為基礎(chǔ)進(jìn)行區(qū)域合并的,不妨假設(shè)超像素集為S={S1,S2,…,SM},M為超像素的個(gè)數(shù).對(duì)于DEL算法,首先通過(guò)特征嵌入學(xué)習(xí)網(wǎng)絡(luò)得到超像素的相似性,然后經(jīng)驗(yàn)性地選取10個(gè)T的值作為區(qū)域合并閾值,通過(guò)相似性與閾值的比較,將相似的超像素合并,從而得到由細(xì)到粗的10個(gè)尺度的分割圖.假設(shè)第i個(gè)尺度分割圖的分割區(qū)域集合記為Ri=Ri1,Ri2,…,Riz,i=1,2,…,10,Z為第i個(gè)分割尺度的分割區(qū)域數(shù).值得注意的是,后一個(gè)分割圖是以前一個(gè)分割圖為基礎(chǔ),通過(guò)計(jì)算相鄰超像素的相似性,進(jìn)行合并的.

對(duì)于一幅圖像I,假設(shè)由SSLS算法得到任意像素j的顯著性值為sj(j=1,2,…,N).第i個(gè)尺度分割區(qū)域Rik的顯著性值sik定義為區(qū)域Rik所包含像素的顯著性值的平均值:

(1)

其中,sj由SSLS算法確定,|Rik|表示區(qū)域Rik所包含的像素的個(gè)數(shù).將區(qū)域的顯著性值作為區(qū)域所包含像素的顯著性值,即可得到10個(gè)不同分割尺度下的顯著性圖.圖1為兩幅圖像在不同閾值下的多尺度分割圖及顯著性圖,其中,每一幅圖像的第一行分別為原圖,改進(jìn)算法分割閾值T=0.01,0.06,0.11,0.16,0.21對(duì)應(yīng)的顯著性圖;第三行分別為由SSLS算法得到的顯著性圖,改進(jìn)算法分割閾值T=0.26,0.31,0.36,0.41,0.46對(duì)應(yīng)的顯著性圖;第二行和第四行分別表示DEL算法中閾值T分別取0.01,0.06,0.11,0.16,0.21及0.26,0.31,0.36,0.41,0.46時(shí)對(duì)應(yīng)的分割圖.如第一幅圖像的分割圖及其對(duì)應(yīng)的顯著性圖所示,隨著閾值的增加,分割區(qū)域越來(lái)越粗糙,顯著目標(biāo)猩猩被更加準(zhǔn)確、完整地分割出來(lái).但這并不意味著,相對(duì)于精細(xì)尺度,粗糙尺度的分割對(duì)顯著目標(biāo)的檢測(cè)一定是最有效的.因?yàn)閷?duì)于一些復(fù)雜的圖像,粗糙尺度的分割可能會(huì)失效,而這會(huì)直接影響到顯著目標(biāo)的檢測(cè)效果.如圖1中第二幅“楓葉”的圖像所示,顯著目標(biāo)楓葉與背景的顏色很相近,原則上,這類圖像的顯著目標(biāo)比較難檢測(cè).對(duì)于此圖像的顯著性圖,相對(duì)于粗糙尺度的分割,精細(xì)分割尺度下顯著目標(biāo)的檢測(cè)結(jié)果更令人滿意.其原因是由于從第5個(gè)分割尺度之后,圖像的分割結(jié)果就很差了,這直接影響了顯著目標(biāo)的檢測(cè).綜上分析,對(duì)于變化的圖像而言,基于單一尺度的分割圖進(jìn)行顯著目標(biāo)檢測(cè)并不是一種合理的做法.因此,本文考慮將多尺度的顯著性圖進(jìn)行融合,形成最終的顯著性圖.

圖1 不同閾值下的多尺度分割圖、顯著性圖Fig.1 Corresponding multi-scale segmentation graphs and saliency maps with various thresholds

顯著圖的融合主流方法包括線性相加進(jìn)行平均融合[33,34],直接相乘融合[35]等.Tong 等人[36]提出的顏色加權(quán)融合是一種較為新穎的思路,該方法充分考慮了超像素內(nèi)像素點(diǎn)的顏色差異,得到的顯著目標(biāo)檢測(cè)效果更好.Li等人[2]以像素點(diǎn)與其所屬超像素的顏色差異為權(quán)值,將不同尺度的顯著性值進(jìn)行加權(quán)求和.與[2]不同的是,本文提出的算法是以像素點(diǎn)與其所屬區(qū)域的深度特征差異為權(quán)值的.這里,區(qū)域是由DEL算法分割得到的,而特征是通過(guò)DEL算法中特征嵌入學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)得到的.特征嵌入學(xué)習(xí)網(wǎng)絡(luò)中得到的深度特征同時(shí)反映了圖像的局部、全局信息,因此,相對(duì)于單純的顏色特征,本文利用深度特征融合多尺度的顯著性圖,融合效果更加有效.

考慮到用于顯著性融合的深度特征是像素級(jí)別而非超像素級(jí)別的,因此需要將特征嵌入學(xué)習(xí)網(wǎng)絡(luò)中 “超像素池化”的過(guò)程略去,從而得到深度特征.不妨假設(shè)任意像素p的深度特征為xp,其顯著性值用sp表示.多個(gè)尺度的顯著性圖進(jìn)行如下的深度融合:

(2)

(3)

其中,k是區(qū)域的索引,i是區(qū)域尺度的索引,Z為第i個(gè)尺度下分割區(qū)域的個(gè)數(shù),ε是一個(gè)小的常值.xik表示區(qū)域Rik中心的特征向量,由公式(3)所確定,它是區(qū)域Rik包含的所有像素特征向量的平均值.‖xp-xik‖2表示從像素p到區(qū)域Rik中2為方便起見(jiàn)，后面將 FB-measure記為 F-measure.

心的特征距離.δ(·)為指標(biāo)函數(shù).公式(2)即為多尺度的顯著性圖經(jīng)過(guò)深度融合后得到的任意像素p的顯著性值.

值得一提的是,由于SSLS算法簡(jiǎn)單地選取圖像的四個(gè)邊界為背景種子,對(duì)顯著目標(biāo)位于邊界的圖像而言,這種做法會(huì)導(dǎo)致顯著目標(biāo)接觸邊界的區(qū)域可能不會(huì)被檢測(cè)出來(lái).然而,我們驚奇地發(fā)現(xiàn),在粗糙尺度分割下,本文改進(jìn)的SSLS算法卻可以將接觸邊界的顯著目標(biāo)完整地檢測(cè)出來(lái),而這主要是歸功于DEL算法在粗糙尺度下可以分割出符合人感知的較完整的目標(biāo).如圖1的一幅圖像所示,圖中有一只接觸邊界的猩猩,利用SSLS算法只檢測(cè)出猩猩的頭部和上半部分身體,并沒(méi)有將猩猩接觸邊界的部分檢測(cè)出來(lái).但改進(jìn)的SSLS算法在粗糙尺度分割下,卻可以將猩猩較完整地檢測(cè)出來(lái),包括接觸邊界的猩猩的下半部分身體,只不過(guò)此時(shí)的檢測(cè)會(huì)使猩猩整體對(duì)應(yīng)的顯著性值適當(dāng)?shù)慕档?由前面的分析可知,單一地利用某一尺度的顯著性圖作為最終的檢測(cè)結(jié)果是不合理的,因此我們考慮多尺度顯著性圖的融合.雖然這種做法可能會(huì)破壞顯著目標(biāo)檢測(cè)的完整性,但相對(duì)于SSLS算法,融合后的顯著性圖對(duì)于接觸邊界的顯著目標(biāo)的檢測(cè),其完整性還是有一定的改善.

4 實(shí)驗(yàn)結(jié)果

本節(jié)將主要介紹改進(jìn)的SSLS算法在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn).這三個(gè)數(shù)據(jù)集分別是ECSSD[37],DUT-OMRON[4]和PASCAL-S[38].ECSSD是一個(gè)包含了1000幅復(fù)雜場(chǎng)景的數(shù)據(jù)集.DUT-OMRON包含了5168幅圖像,這些圖像通常有一個(gè)或兩個(gè)顯著目標(biāo),且背景較復(fù)雜.PASCAL-S 包含了850幅具有多個(gè)復(fù)雜目標(biāo)和雜亂背景的自然圖像.這個(gè)數(shù)據(jù)集取自PASCAL VOC2010[39].

4.1 參數(shù)的設(shè)定及評(píng)價(jià)指標(biāo)

為了得到10個(gè)粗細(xì)尺度不同的分割圖,DEL算法中的閾值T分別取為0.01,0.06,0.11,0.16,0.21,0.26,0.31,0.36,0.41和0.46,minimum-size分別設(shè)定為0,0,0,0,3,3,4,4,4,4,初始超像素?cái)?shù)取為200.公式(2)中ε的取值設(shè)定為0.1.

本節(jié)選取3種普遍被認(rèn)可的、標(biāo)準(zhǔn)的、易于計(jì)算的評(píng)價(jià)指標(biāo)對(duì)改進(jìn)的算法進(jìn)行評(píng)價(jià),這些評(píng)價(jià)指標(biāo)分別是正確率(precision),召回率(recall),Fβ-measure.為方便起見(jiàn),記S為標(biāo)準(zhǔn)化到[0,255]的被預(yù)測(cè)的顯著圖,M為S的二值掩碼,G為顯著目標(biāo) Ground-Truth 的二值掩碼,|·|表示掩碼中非零元素的個(gè)數(shù).

正確率,召回率:通過(guò)以上M和G的定義形式來(lái)計(jì)算正確率和召回率:

(4)

Fβ-measure:只使用正確率和召回率并不能綜合地評(píng)價(jià)顯著性圖的質(zhì)量,為此,評(píng)價(jià)指標(biāo)Fβ-measure被提出來(lái),它由非負(fù)權(quán)值β2對(duì)正確率和響應(yīng)率做加權(quán)調(diào)和平均得到的:

(5)

為了更側(cè)重于考慮正確率,β2通常取為0.3,其原因是相對(duì)于召回率,正確率更加重要[40]2.

4.2 SSLS及其改進(jìn)算法的比較

本節(jié)通過(guò)三個(gè)數(shù)據(jù)集對(duì)SSLS及其改進(jìn)算法進(jìn)行評(píng)價(jià),分別是ECSSD數(shù)據(jù)集,DUT-OMRON數(shù)據(jù)集和PASCAL-S數(shù)據(jù)集.圖2分別表示SSLS及其改進(jìn)算法在三個(gè)數(shù)據(jù)集上的比較結(jié)果.圖2的左圖為P-R曲線,右圖通過(guò)正確率,響應(yīng)率和F-measure的指標(biāo)來(lái)評(píng)價(jià)原算法與改進(jìn)算法.綜合多種評(píng)價(jià)指標(biāo)分析,改進(jìn)的SSLS算法在一定程度上了提高了原算法的檢測(cè)結(jié)果.

圖2 SSLS及其改進(jìn)算法在三個(gè)數(shù)據(jù)集上的比較結(jié)果Fig.2 Comparison results of SSLS and improved SSLS for 3 datasets

圖3 改進(jìn)的SSLS算法與9種流行算法在ECSSD數(shù)據(jù)集上的P-R曲線Fig.3 P-R curves of improved SSLS and 9 state-of-the-art algorithms for ECSSD dataset

4.3 改進(jìn)的SSLS算法與既有算法的比較

除了與原算法進(jìn)行比較外,我們還選取目前流行的9種顯著目標(biāo)算法同改進(jìn)算法進(jìn)行比較.測(cè)試的數(shù)據(jù)集仍是ECSSD數(shù)據(jù)集,DUT-OMRON數(shù)據(jù)集和PASCAL-S數(shù)據(jù)集.9種顯著目標(biāo)檢測(cè)算法分別為MC[4],MR[3],GS[1],wCtrO[11],HS[37],DSR[2],MPDS[28],SS[41],MLSP[42].圖3-圖5為改進(jìn)的SSLS算法與9種流行算法分別在ECSSD,DUT-OMRON和PASCAL-S數(shù)據(jù)集的P-R曲線.圖6-圖8通過(guò)正確率,響應(yīng)率和F-measure的指標(biāo)對(duì)改進(jìn)的SSLS算法與9種算法進(jìn)行比較.綜合多種評(píng)價(jià)指標(biāo)分析,相對(duì)于目前流行的 9 種顯著目標(biāo)檢測(cè)算法,改進(jìn)的SSLS 算法具有較大的優(yōu)勢(shì).

除了利用評(píng)價(jià)指標(biāo)分析本文提出的改進(jìn)算法外,我們還將從直觀的視覺(jué)角度來(lái)評(píng)價(jià)改進(jìn)SSLS算法的檢測(cè)效果,并與一些既有的算法進(jìn)行比較,其結(jié)果如圖9所示.這里,第1至第2行,第3至第4行,第5至第6行圖像分別來(lái)自數(shù)據(jù)集DUT-OMRON,ECSSD和PASCAL-S.第1列是原圖像,第2列是原圖對(duì)應(yīng)的GT,第3列至第10列的顯著性圖分別是由算法DSR[2],MC[4],wCtrO[11],MR[3],GS[1],HS[37],SSLS[19]和改進(jìn)的SSLS算法得到的.從各種算法的顯著性圖中可以看到,改進(jìn)的SSLS算法在較好地抑制背景的同時(shí),較完整地將顯著目標(biāo)檢測(cè)出來(lái).尤其對(duì)于接觸邊界的顯著目標(biāo)也可以較完整地被檢測(cè)出來(lái).

圖4 改進(jìn)的SSLS算法與9種流行算法在DUT-OMRON數(shù)據(jù)集上的P-R曲線Fig.4 P-R curves of improved SSLS and 9 state-of-the-art algorithms for DUT-OMRON dataset

圖5 改進(jìn)的SSLS算法與9種流行算法在PASCAL-S數(shù)據(jù)集上的P-R曲線Fig.5 P-R curves of improved SSLS and 9 state-of-the-art algorithms for PASCAL-S dataset

圖6 改進(jìn)的SSLS算法與9種流行算法在ECSSD數(shù)據(jù)集上的正確率,召回率和F-measure指標(biāo)Fig.6 Precision,Recall and F-measure index of improved SSLS and 9 state-of-the-art algorithms for ECSSD dataset

圖7 改進(jìn)的SSLS算法與9種流行算法在DUT-OMRON數(shù)據(jù)集上的正確率,召回率和F-measure指標(biāo)Fig.7 Precision,Recall and F-measure index of improved SSLS and 9 state-of-the-art algorithms for DUT-OMRON dataset

圖8 改進(jìn)的SSLS算法與9種流行算法在PASCAL-S數(shù)據(jù)集上的正確率,召回率和F-measure指標(biāo)Fig.8 Precision,Recall and F-measure index of improved SSLS and 9 state-of-the-art algorithms for PASCAL-S dataset

圖9 不同方法的顯著性比較結(jié)果Fig.9 Saliency detection results for different methods

5 結(jié) 論

考慮到圖像分割與顯著目標(biāo)檢測(cè)兩者之間較強(qiáng)的關(guān)聯(lián)性,本文通過(guò)引入一種基于特征嵌入學(xué)習(xí)網(wǎng)絡(luò)的高效分割算法(DEL)對(duì)既有的SSLS算法進(jìn)行改進(jìn).對(duì)于變化的圖像,單一尺度分割圖的有效性很難保證,這必然會(huì)影響到后續(xù)算法的改進(jìn).因此,我們利用多尺度的分割來(lái)彌補(bǔ)單一尺度分割的不足.改進(jìn)的顯著性值實(shí)際上是利用多尺度的分割圖對(duì)SSLS算法得到的初始顯著性值進(jìn)行區(qū)域化的重新分配.除此之外,改進(jìn)算法獨(dú)創(chuàng)性地將特征嵌入學(xué)習(xí)網(wǎng)絡(luò)得到的深度特征引入到多尺度顯著性圖的融合中.值得注意的是,融合用到的深度特征并不需要通過(guò)其他的網(wǎng)絡(luò)單獨(dú)學(xué)習(xí),它可直接通過(guò)DEL的分割算法學(xué)習(xí)得到,從而提高了計(jì)算效率.不失一般性,對(duì)SSLS改進(jìn)的思想還可以應(yīng)用到其他一些顯著目標(biāo)檢測(cè)算法上.本文通過(guò)三個(gè)數(shù)據(jù)集對(duì)改進(jìn)算法進(jìn)行評(píng)價(jià).實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法在多個(gè)評(píng)價(jià)指標(biāo)上均超越了原算法.同時(shí),相對(duì)于目前流行的顯著目標(biāo)檢測(cè)算法,它也是有一定優(yōu)勢(shì)的.除此之外,從視覺(jué)上對(duì)顯著性圖的直觀比較發(fā)現(xiàn),改進(jìn)后的檢測(cè)不但更能突出顯著目標(biāo)的整體性、一致性,對(duì)背景的抑制也更加有效.因此,雖然本文提出的改進(jìn)算法的思想很簡(jiǎn)單,但改進(jìn)后的效果卻比較顯著.