復(fù)雜場(chǎng)景下特征增強(qiáng)的顯著性目標(biāo)檢測(cè)方法

李波 饒浩波

(華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州 510640)

顯著性目標(biāo)檢測(cè)任務(wù)主要是將圖像中最具有視覺(jué)差異性的區(qū)域分割出來(lái)，相關(guān)方法被廣泛應(yīng)用于其他計(jì)算機(jī)視覺(jué)任務(wù)的預(yù)處理中，如圖像編輯[1]、圖像描述[2- 3]、問(wèn)題回答[4]等。

早期的顯著性目標(biāo)檢測(cè)算法依賴于研究者定義的特征，主要分為色彩分布和先驗(yàn)假設(shè)。如一些工作[5- 7]依據(jù)像素與區(qū)域之間的色彩對(duì)比分析來(lái)判定該像素的顯著值。另外，Liu等[8]假設(shè)顯著性目標(biāo)處在圖像的中心區(qū)域，然后利用多尺度對(duì)比、顏色空間分布以及圖像中心區(qū)域直方圖來(lái)檢測(cè)圖像中的顯著目標(biāo)；Sun等[9]則假設(shè)邊緣像素為背景，于是將圖像的左側(cè)和頂側(cè)假設(shè)為背景，然后通過(guò)馬爾科夫吸收概率得到顯著圖，并利用擴(kuò)散機(jī)制、超像素抑制函數(shù)和引導(dǎo)過(guò)濾器進(jìn)一步優(yōu)化完成檢測(cè)。這些典型的傳統(tǒng)檢測(cè)算法取得了比較優(yōu)異的性能，但是由于人工定義特征的語(yǔ)義表達(dá)能力有限，在具有復(fù)雜背景的場(chǎng)景中，算法檢測(cè)性能?chē)?yán)重受到制約。

近些年，得益于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)高效的特征提取能力，顯著性檢測(cè)的有關(guān)研究者們做了大量工作，極大地提升了顯著性目標(biāo)檢測(cè)模型的性能，如：崔冬等[10]利用FCN提取圖像的多級(jí)深度特征并融合深層和淺層的卷積特征，然后采用傳統(tǒng)的隨機(jī)游走方法加強(qiáng)全局和局部特征之間的關(guān)系來(lái)得到最終的顯著圖；Hou等[11]在深層和淺層網(wǎng)絡(luò)之間引入短連接，短連接結(jié)構(gòu)沿通道拼接深層強(qiáng)的語(yǔ)義特征和淺層細(xì)節(jié)信息；Li等[12]分層地進(jìn)行特征拼接來(lái)融合特征以得到淺層邊界信息和高層語(yǔ)義信息，然后通過(guò)邊界信息采用特征相加的方式引導(dǎo)深層特征得到顯著圖。然而每層的特征對(duì)于提升模型性能的作用不同，直接將不同層的特征融合不是最優(yōu)的方案，因此Zhang等[13]引入注意力機(jī)制，在每層先采用注意力機(jī)制權(quán)重化深層特征，強(qiáng)化利于完成任務(wù)的特征且濾除冗余信息，然后將權(quán)重化的深層特征與淺層特征融合以得到增強(qiáng)的特征；Wei等[14]根據(jù)注意力機(jī)制思想，將深層特征和淺層特征相乘得到它們共同的特征，然后將其分別與輸入的深層特征、淺層特征直接相加來(lái)增強(qiáng)對(duì)應(yīng)的深層和淺層特征。這些出色的工作極大地提升了顯著性檢測(cè)模型的性能。

然而，目前的算法直接采用特征拼接、特征相加甚至注意力機(jī)制將FCN提取的特征進(jìn)行簡(jiǎn)單的融合，沒(méi)有根據(jù)任務(wù)的具體場(chǎng)景有針對(duì)性地增強(qiáng)特征，尤其是對(duì)于背景復(fù)雜、前景目標(biāo)和背景元素雜糅的圖像，依然存在目標(biāo)誤檢和漏檢問(wèn)題。本文分析目標(biāo)的誤檢和漏檢的原因有以下3點(diǎn)：①目標(biāo)誤檢多發(fā)生于顯著性目標(biāo)的背景復(fù)雜的場(chǎng)景中，此時(shí)背景的噪聲對(duì)顯著性目標(biāo)的判定造成了極大的干擾，尤其是當(dāng)背景的顏色和紋理與前景目標(biāo)相似的情況下，極易將其誤檢為前景目標(biāo)。②目標(biāo)誤檢還會(huì)出現(xiàn)在前景目標(biāo)和背景交織雜糅的場(chǎng)景，交織邊界處的背景極易被誤檢為前景目標(biāo)。③模型在網(wǎng)絡(luò)最深層產(chǎn)生的分辨率較低且細(xì)節(jié)信息匱乏的顯著圖在不斷解碼為高分辨率顯著圖的過(guò)程中，由于細(xì)節(jié)信息修復(fù)不充分而發(fā)生目標(biāo)漏檢，尤其是在目標(biāo)的邊緣與內(nèi)部區(qū)域，主要表現(xiàn)為預(yù)測(cè)的目標(biāo)內(nèi)部灰度一致性差。而現(xiàn)有算法僅依賴于強(qiáng)化淺層特征中的前景信息來(lái)得到更強(qiáng)的特征，這可能不是最優(yōu)的策略，因?yàn)槁z的目標(biāo)信息極有可能被淹沒(méi)在背景特征中。

根據(jù)以上分析，文中提出了復(fù)雜場(chǎng)景下特征增強(qiáng)的顯著性目標(biāo)檢測(cè)方法。不同于現(xiàn)有模型中采用特征拼接、相加以及注意力機(jī)制等特征增強(qiáng)策略，本文著眼于顯著性目標(biāo)漏檢和誤檢易發(fā)生的背景復(fù)雜、前景目標(biāo)和背景元素雜糅的場(chǎng)景，面向顯著性目標(biāo)更精細(xì)的分割需求提出了差異化的特征增強(qiáng)方法，以提高模型在復(fù)雜場(chǎng)景中對(duì)細(xì)節(jié)的檢測(cè)與分割能力。具體工作包括：①背景復(fù)雜場(chǎng)景中目標(biāo)和背景噪聲的顏色、紋理相似，在局部感受野上無(wú)法準(zhǔn)確識(shí)別前景目標(biāo)，本文從全局感受野角度出發(fā)，提出了全局上下文信息提取和增強(qiáng)方法，在網(wǎng)絡(luò)的最深層進(jìn)一步擴(kuò)展卷積核的感受野來(lái)提取全局特征，同時(shí)將全局特征直接傳遞到其它網(wǎng)絡(luò)層，使得各層特征得到全局化增強(qiáng)，在復(fù)雜背景中對(duì)顯著性目標(biāo)魯棒。②針對(duì)目標(biāo)和背景交織場(chǎng)景中，模型對(duì)目標(biāo)結(jié)構(gòu)缺乏感知，極易將背景誤檢為顯著性對(duì)象的問(wèn)題，本文提出了結(jié)構(gòu)化信息增強(qiáng)方法，將蘊(yùn)含在淺層中豐富的目標(biāo)空間結(jié)構(gòu)信息融合到深層卷積層，使得增強(qiáng)后的深層特征能夠?qū)δ繕?biāo)的結(jié)構(gòu)敏感，以更準(zhǔn)確地定位前景目標(biāo)。③針對(duì)易漏檢的分割區(qū)域，本文基于殘差學(xué)習(xí)的思想設(shè)計(jì)了殘差化特征增強(qiáng)模塊，從背景特征中重新挖掘出丟失的前景信息，然后通過(guò)殘差的方式修復(fù)深層的預(yù)測(cè)圖。最后，在5個(gè)常用的數(shù)據(jù)集上對(duì)文中提出方法進(jìn)行了驗(yàn)證。

1 整體框架

本文設(shè)計(jì)模型的整體框架如圖1所示，整體框架采用“編碼器-解碼器”的結(jié)構(gòu)。其中，編碼器采用已預(yù)訓(xùn)練的VGG16[15]網(wǎng)絡(luò)。顯著性目標(biāo)檢測(cè)是像素級(jí)的視覺(jué)任務(wù)，因此本文將VGG16最后的池化層和全連接層全部丟棄。輸入圖片的尺寸表示為H×W，VGG16各層的輸出表示為Fi，i=1，2，3，4，5。模型的工作過(guò)程為：

圖1 顯著性檢測(cè)模型的整體框架

(1)在原始圖片輸入模型后，將網(wǎng)絡(luò)各層的Fi輸入多尺度特征增強(qiáng)模塊(MCEM)，在各層提取多尺度信息Mi，使得模型對(duì)尺度變化的目標(biāo)魯棒。

(2)結(jié)構(gòu)化信息增強(qiáng)模塊(SIEM)以Mi作為輸入，利用淺層蘊(yùn)含的目標(biāo)豐富的空間結(jié)構(gòu)信息增強(qiáng)深層特征后，得到Zi。Zi能準(zhǔn)確定位前景和背景交織區(qū)域中的前景部分，避免發(fā)生目標(biāo)誤檢。

(3)在Z5后接入全局上下信息提取模塊(GCEM)，進(jìn)一步擴(kuò)展卷積層的感受野，提取出全局特征G。

(4)將全局特征G直接輸入給特征全局性增強(qiáng)方法(GFEM)，GFEM融合全局特征G和各層的特征，使得各層特征得到全局性增強(qiáng)，從而使每層輸出的深度特征Ri均可對(duì)背景復(fù)雜中的目標(biāo)魯棒。

(5)將MCEM、SIEM以及GFEM的輸出傳給殘差化特征增強(qiáng)模塊(RFEM)，RFEM從背景中學(xué)習(xí)丟失目標(biāo)的特征，漸進(jìn)地以殘差T修補(bǔ)顯著圖S。

1.1 多尺度特征增強(qiáng)模塊

輸入模型的原始圖片種類(lèi)不一、分割對(duì)象不同且尺度變化大。VGG16在各層的感受野單一，缺乏多樣的感受野，導(dǎo)致每層無(wú)法捕獲到尺度變化的MCEM包含4個(gè)子分支，利用不同因子的池化操作對(duì)輸入特征下采樣以獲取尺寸不同的感受野。然后下采樣的特征經(jīng)過(guò)3×3卷積層和上采樣層恢復(fù)到與輸入特征尺寸一致。MCEM采用殘差連接，既保證了梯度流的更新，又保證了模塊增強(qiáng)后的輸出不會(huì)比原始輸入特征弱。具體操作表示為：

目標(biāo)。本文基于池化技術(shù)對(duì)原始特征增強(qiáng)，圖2是MCEM的具體結(jié)構(gòu)。

圖2 MCEM結(jié)構(gòu)圖

Mi=φ(Sum(φ(D8(Fi)，w1)，φ(D4(Fi)，

w2)，φ(D2(Fi)，w3)，F(xiàn))，w)

(1)

其中，Sum代表像素相加操作；φ表示一個(gè)3×3的卷積層；D8、D4、D2分別表示因子為8、4、2的下采樣層；w1、w2、w3、w代表卷積層的參數(shù)。采用池化技術(shù)的優(yōu)點(diǎn)有：①池化能幫助特征去除噪聲，捕捉語(yǔ)義信息；②不同核的池化能進(jìn)一步獲取不同的感受野，從而適應(yīng)尺度變化的目標(biāo)。

1.2 結(jié)構(gòu)化信息增強(qiáng)模塊

前景和背景交織在一起給模型定位顯著性目標(biāo)帶來(lái)了極大的困難。交織區(qū)域中的前景和背景相互雜糅，模型極易將背景誤檢為前景。原因在于深層語(yǔ)義特征定位目標(biāo)的過(guò)程中缺乏對(duì)目標(biāo)的結(jié)構(gòu)化細(xì)節(jié)信息的感知，導(dǎo)致模型無(wú)法對(duì)交織的前景和背景做出有效的區(qū)分。因此本文將淺層網(wǎng)絡(luò)蘊(yùn)含的目標(biāo)結(jié)構(gòu)化信息傳遞給深層網(wǎng)絡(luò)，增強(qiáng)深層特征使其對(duì)目標(biāo)的結(jié)構(gòu)具有魯棒性，從而達(dá)到區(qū)分交織前景和背景區(qū)域的效果。文獻(xiàn)[16]提出目標(biāo)的定位在最深的3層，因此本文在網(wǎng)絡(luò)最深的3層進(jìn)行特征結(jié)構(gòu)化增強(qiáng)。

本文設(shè)計(jì)了SIEM實(shí)現(xiàn)特征的結(jié)構(gòu)化增強(qiáng)，其部署在網(wǎng)絡(luò)最深的3層，分別為SIEM- 3、SIEM- 4和SIEM- 5，它們的結(jié)構(gòu)相同，具體位置如圖1所示。為了更加充分地挖掘出淺層網(wǎng)絡(luò)蘊(yùn)涵的目標(biāo)結(jié)構(gòu)化信息，以有效地結(jié)構(gòu)化增強(qiáng)深層特征，SIEM 的輸入部分采用了密集連接的方式，即當(dāng)前SIEM的輸入為前面所有層的MCEM的輸出(如圖1所示)，這也使得它們的輸入數(shù)量不同。而在模塊內(nèi)，SIEM在不同的輸入特征后接入不同因子的池化層，可以使得不同尺寸的輸入特征匹配當(dāng)前深層特征的尺寸。

為了方便起見(jiàn)，本文僅以SIEM- 3為例討論結(jié)構(gòu)化信息增強(qiáng)模塊，其結(jié)構(gòu)如圖3所示。SIEM- 3的輸入是較淺的3層網(wǎng)絡(luò)經(jīng)過(guò)多尺度增強(qiáng)之后的特征Mi(i=1，2，3)，隨后將Mi(i=1，2)分別經(jīng)過(guò)因子為4和2的池化操作，使其尺寸與M3匹配。然后將Mi沿通道維度拼接得到Q1。由于不同層的特征對(duì)于目標(biāo)的定位起不同的作用，因此在Q1后加入通道注意力模塊(CA)。CA首先對(duì)輸入特征在空間維度上進(jìn)行平均池化和最大池化得到兩種特征向量，這樣可以更好地保留原始特征的紋理和前景信息；然后將這兩種特征向量輸入到一個(gè)參數(shù)共享的多層感知機(jī)(MLP)，MLP為3層瓶頸式全連接層網(wǎng)絡(luò)。最后將MLP輸出的兩種特征向量相加并經(jīng)過(guò)Sigmoid激活函數(shù)得到通道注意向量ac。ac沿通道維度權(quán)重特征Q1，并和Q1殘差相加；最后，通過(guò)一個(gè)1×1的卷積層降維得到Z3，并使其和M3的通道維度匹配。整個(gè)過(guò)程可表示為：

圖3 SIEM- 3的結(jié)構(gòu)圖

ac=σ(MLP(AP(φ(Cat(M1，M2，M3)，w1)))+

MLP(MP(φ(Cat(M1，M2，M3)，w2))))

(2)

Z3=φ(Q1?ac+Q1，w3)

(3)

式中：MLP表示多層感知機(jī)；AP和MP分別表示平均和最大池化；Cat表示通道維度的特征拼接；?表示特征相乘。

1.3 全局上下文提取模塊

根據(jù)Zhou等[17]的工作，卷積神經(jīng)網(wǎng)絡(luò)理論上的感受野比實(shí)際感受野小，導(dǎo)致網(wǎng)絡(luò)中的感受野是局部的，無(wú)法從全局角度準(zhǔn)確判斷每一個(gè)像素是否屬于前景，因此本文提出GCEM,進(jìn)一步擴(kuò)展感受野以得到全局特征。

圖4描述了GCEM的結(jié)構(gòu)，其中C為通道數(shù)量。GCEM的輸入為第5個(gè)卷積層特征F5。工作過(guò)程如下：

圖4 GCEM的結(jié)構(gòu)圖

(1)GCEM沿著通道維度將F5分成4等份(X1、X2、X3、X4)，以降低計(jì)算量和模型的參數(shù)量；

(2)每一等份上采用1×k+k×1、k×1+1×k和3×3組成的混合卷積層擴(kuò)大感受野；

(3)受啟于文獻(xiàn)[15]中堆疊小卷積核以實(shí)現(xiàn)大卷積核效果的思想，GCEM級(jí)聯(lián)每個(gè)混合卷積層的輸出，即當(dāng)前混合卷積層的輸出作為下一個(gè)混合卷積層的輸入。這樣既能獲得全局感受野，又可進(jìn)一步降低參數(shù)量；

(4)將4等份的輸出沿通道拼接，并采用一個(gè)1×1的卷積層和殘差連接得到最終的全局特征G。為了保證感受野是全局的，本文在F5后級(jí)聯(lián)2個(gè)GCEM模塊。

1.4 特征全局性增強(qiáng)模塊

VGG16的各層特征盡管經(jīng)過(guò)多尺度增強(qiáng)和結(jié)構(gòu)化增強(qiáng)，但其感受野是局部的，導(dǎo)致模型無(wú)法準(zhǔn)確地定位復(fù)雜場(chǎng)景中的目標(biāo)，因此本文進(jìn)一步利用GCEM輸出的全局特征G對(duì)各層的特征進(jìn)行全局性增強(qiáng)，一方面去除各層特征中的冗余和噪聲，另一方面使得各層的特征對(duì)復(fù)雜場(chǎng)景的目標(biāo)具有魯棒性。

圖5 GFEM的結(jié)構(gòu)圖

(4)

(5)

(6)

(7)

Ri=φ(Cat(V1，V2，V3)，w5)

(8)

其中，up表示雙線性上采樣層。

1.5 殘差化特征增強(qiáng)模塊

將深層低分辨率顯著圖解碼產(chǎn)生最終高分辨率顯著圖的過(guò)程中，已有的工作[11，13]重點(diǎn)關(guān)注于強(qiáng)化淺層特征中的前景信息，從而得到更強(qiáng)的特征，并且用其去修復(fù)低分辨率顯著圖。這忽略了淺層特征的背景信息對(duì)于目標(biāo)的修復(fù)作用，因?yàn)槁z的目標(biāo)區(qū)域可能被淹沒(méi)在背景特征中，所以僅從前景信息無(wú)法將漏檢的顯著性區(qū)域召回，造成顯著圖得不到充分的修復(fù)。本文基于殘差學(xué)習(xí)的思想設(shè)計(jì)了RFEM，其從背景中重新學(xué)習(xí)到缺失目標(biāo)的信息，然后用其來(lái)補(bǔ)足深層的顯著圖，可以顯著地緩解目標(biāo)漏檢的問(wèn)題。

由于顯著圖已經(jīng)丟失了豐富的信息，無(wú)法從中更充分有效地重新學(xué)習(xí)，因此RFEM-i沒(méi)有直接采用顯著圖，而是采用對(duì)應(yīng)的特征圖。RFEM-i的輸入為深層特征圖Ti+1和相鄰的淺層特征圖Ri。具體工作過(guò)程為：

(1)Ti+1經(jīng)過(guò)2倍上采樣，以及經(jīng)Sigmoid函數(shù)歸一化得到模型檢測(cè)的前景像素的概率值；

(2)用“1”減去該概率值得到對(duì)應(yīng)的背景像素的概率值。利用背景像素的概率值加權(quán)淺層特征Ri得到權(quán)重化的淺層背景特征W_Ri；

(3)W_Ri經(jīng)過(guò)一個(gè)3×3的卷積層從背景特征中重新學(xué)習(xí)，得到丟失的前景目標(biāo)信息并與Ti+1殘差相加來(lái)補(bǔ)足Ti+1丟失的前景區(qū)域。整個(gè)殘差化特征增強(qiáng)過(guò)程如下：

W_Ri=Ri?(1-Sig(up(Ti+1)))

(9)

Ti=up(Ti+1)+φ(W_Ri，w)

(10)

其中，Sig表示Sigmoid函數(shù)。為了促進(jìn)網(wǎng)絡(luò)優(yōu)化，本文在每層加入了輔助監(jiān)督學(xué)習(xí)。RFEM每層的輸出Ti經(jīng)過(guò)一個(gè)1×1的卷積層和一個(gè)Sigmoid函數(shù)得到通道數(shù)為1、像素值在[0，1]的顯著圖Si。然后將真值圖進(jìn)行下采樣，與Si尺寸一致。整個(gè)損失函數(shù)Ltotal包含兩部分：最終輸出的顯著圖的主損失函數(shù)和每層的輔助監(jiān)督損失函數(shù)。

(11)

(12)

2 實(shí)驗(yàn)配置

2.1 訓(xùn)練參數(shù)

本文用VGG16參數(shù)初始化模型的前13個(gè)卷積層，其余結(jié)構(gòu)采用Xavier[18]方式初始化。采用Adam[19]優(yōu)化器，初始學(xué)習(xí)率為10-5，在訓(xùn)練15輪之后，學(xué)習(xí)率降為10-6。輔助損失函數(shù)的權(quán)值λi(i=2，3，4，5)分別設(shè)置為0.8、0.5、0.5、0.5。在訓(xùn)練階段，采用水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方法，然后每張圖像被調(diào)整為256×256，再隨機(jī)裁剪成224×224。在測(cè)試階段，直接將圖像調(diào)整為224×224，并輸入到模型中產(chǎn)生對(duì)應(yīng)的顯著圖。模型每次輸入圖像的數(shù)量為4，即batch大小為4。本文基于DUTS-TR[20]數(shù)據(jù)集訓(xùn)練，在單個(gè)GTX Titan XP GPU上共訓(xùn)練了19輪。

2.2 數(shù)據(jù)集

本文模型和其他方法分別在5個(gè)數(shù)據(jù)集上對(duì)比：DUTS-TE[20]、ECSSD[21]、SOD[22]、HKU-IS[23]、PASCAL-S[24]。

2.3 性能評(píng)估指標(biāo)

本文采用文獻(xiàn)[25]中的評(píng)估方法評(píng)估算法的性能，具體包含P-R曲線(P為精確率，R為召回率)、Fβ分?jǐn)?shù)以及平均絕對(duì)誤差(EMAE)。P-R曲線常被用來(lái)評(píng)估預(yù)測(cè)的顯著圖，通過(guò)在0到255之間滑動(dòng)取得閾值用來(lái)二值化顯著圖。然后根據(jù)二值化的顯著圖與真值圖計(jì)算精確率和召回率，而Fβ是綜合性的評(píng)估指標(biāo)，計(jì)算公式為：

(13)

為了強(qiáng)調(diào)精確率比召回率更重要，β2設(shè)置為0.3。而EMAE用來(lái)計(jì)算預(yù)測(cè)的顯著圖和真值圖之間的平均絕對(duì)誤差，公式定義如下：

(14)

式中，TS(u，v)、TG(u，v)分別為顯著圖和真值圖中坐標(biāo)為(u，v)的像素的取值。

3 實(shí)驗(yàn)

3.1 消融實(shí)驗(yàn)

本文在DUTS-TE和SOD數(shù)據(jù)集上做了一系列消融實(shí)驗(yàn)來(lái)驗(yàn)證和分析本文所提模塊的有效性。

如表1所示：

表1 消融實(shí)驗(yàn)結(jié)果

(1)本文在完整的模型上只去掉MCEM，從No.2可知，F(xiàn)β分?jǐn)?shù)大幅度降低，EMAE上升，表明MCEM能有效提取多尺度信息，增強(qiáng)每層特征，使其能夠捕獲到尺度變化的目標(biāo)；

(2)由No.3可知，模型僅去掉SIEM結(jié)構(gòu)，其他模塊保持不變，使得Fβ和EMAE分別降低和上升，表明SIEM能有效地結(jié)構(gòu)化信息增強(qiáng)深層的語(yǔ)義特征，使得模型能準(zhǔn)確地定位交織區(qū)域中的前景目標(biāo)，避免發(fā)生目標(biāo)誤檢情況；

(3)由No.4和No.5可知，分別去掉GCEM和GFEM時(shí)，F(xiàn)β和EMAE分別呈現(xiàn)降低和上升，證明了GCEM和GFEM從全局的角度確保模型在各層都能適應(yīng)背景復(fù)雜的場(chǎng)景，極大緩解了此場(chǎng)景中的目標(biāo)定位不準(zhǔn)確導(dǎo)致的目標(biāo)誤檢問(wèn)題；

(4)從No.6可知，僅去掉RFEM時(shí)，F(xiàn)β和EMAE分別下降和上升，驗(yàn)證了RFEM從背景中學(xué)到了丟失的前景目標(biāo)信息，并通過(guò)殘差的方式來(lái)修復(fù)殘缺的顯著圖，緩解了目標(biāo)漏檢的問(wèn)題。

3.2 與其他先進(jìn)方法的對(duì)比

將文中提出的模型和其他13種先進(jìn)方法(DSS[11]、UCF[26]、DCL[27]、AFNet[28]、PAGR[13]、Amulet[29]、DHS[30]、ELD[31]、NLDF[32]、RFCN[33]、SRM[34]、PiCANet[35]和BMPM[36])對(duì)比。這些方法均為近年提出且在5個(gè)數(shù)據(jù)集上表現(xiàn)優(yōu)異。為了公平比較，這些先進(jìn)方法的實(shí)驗(yàn)數(shù)據(jù)來(lái)自原文，或者根據(jù)原文作者提供的源代碼測(cè)試產(chǎn)生。

從定量角度分析，表2列出了文中模型和其他13種先進(jìn)方法在5個(gè)數(shù)據(jù)集上的性能評(píng)估指標(biāo)結(jié)果。從表2中可知，文中模型在不同數(shù)據(jù)集以及不同的指標(biāo)上均優(yōu)于13種對(duì)比方法，從而證明了文中提出模型的有效性。根據(jù)文中模型與其他13種先進(jìn)方法在4個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果，畫(huà)出了P-R曲線，如圖6所示?？梢钥吹轿闹心Ｐ偷腜-R曲線均優(yōu)于其他模型的P-R曲線。

(a)DUTS-TE上

表2 在5個(gè)數(shù)據(jù)集上文中模型和其他13種先進(jìn)方法的定量比較1)

為了更直觀地從視覺(jué)角度觀察模型的性能，圖7展現(xiàn)了文中模型和其他13種先進(jìn)方法在測(cè)試集上輸出的顯著圖。由圖可知：第1列的第1和第2張圖目標(biāo)的尺度變化非常大，但文中模型仍能很準(zhǔn)確地分割出目標(biāo)，從而驗(yàn)證了MCEM能有效緩解目標(biāo)尺度變化大的情況；第3張圖前景和背景的顏色、紋理非常接近，嚴(yán)重干擾前景的檢測(cè)，文中模型依然能準(zhǔn)確定位目標(biāo)，不會(huì)將背景誤檢為前景，說(shuō)明GCEM和GFEM有效地緩解了背景復(fù)雜場(chǎng)景中的目標(biāo)誤檢問(wèn)題；第4和第5張圖中蜷曲的

第1列原始圖像來(lái)自測(cè)試數(shù)據(jù)集；第2列為真值圖；第3列是文中模型產(chǎn)生的顯著圖；從第4列至最后1列為其他13種先進(jìn)方法產(chǎn)生的顯著圖

蛇和背景交織在一起，蛇中間的背景極易被誤判為前景，而文中模型能很好地將交織的背景剔除，準(zhǔn)確定位出交織中的前景，證明文中提出的SIEM可有效地緩解交織場(chǎng)景中的目標(biāo)誤檢問(wèn)題；第6張圖中的蝸牛觸角能有效地被文中模型分割出來(lái)，以及第7張圖中風(fēng)車(chē)的風(fēng)葉和底座能被完整地分割，分割的結(jié)果內(nèi)部灰度一致，從而驗(yàn)證了RFEM結(jié)構(gòu)能從背景中學(xué)到目標(biāo)的邊緣和內(nèi)部丟失的部分，最終得到灰度一致的完整顯著圖。相對(duì)地，其他模型在這些復(fù)雜場(chǎng)景下無(wú)法分割完整的目標(biāo)。

4 結(jié)論

根據(jù)已有工作中在復(fù)雜場(chǎng)景下存在的目標(biāo)誤檢和漏檢的問(wèn)題，文中提出了針對(duì)性的特征增強(qiáng)方法。由于目標(biāo)誤檢主要發(fā)生在目標(biāo)和背景交織以及背景復(fù)雜的場(chǎng)景中，因此本文分別從結(jié)構(gòu)化和全局性角度對(duì)原始特征增強(qiáng)，從而避免交織中的背景以及復(fù)雜的背景環(huán)境對(duì)前景目標(biāo)定位帶來(lái)干擾。此外，目標(biāo)漏檢多發(fā)在低分辨率顯著圖解碼為高分辨率顯著圖的過(guò)程中，尤其是目標(biāo)的邊緣和內(nèi)部，本文在解碼的過(guò)程中，從背景中重新學(xué)習(xí)前景丟失區(qū)域的信息，然后利用殘差的方式補(bǔ)足和修復(fù)前景目標(biāo)丟失的區(qū)域，最終得到灰度一致的顯著圖。消融實(shí)驗(yàn)的結(jié)果表明，本文所提出的各特征增強(qiáng)方法有效地緩解和解決了顯著性目標(biāo)漏檢和誤檢問(wèn)題，對(duì)比實(shí)驗(yàn)也表明本文所提模型的性能優(yōu)于其他先進(jìn)的檢測(cè)方法。由于本文模塊較多、模型復(fù)雜，未來(lái)將更加深入探索各模塊之間的聯(lián)系，設(shè)計(jì)一種統(tǒng)一的解決方案，輕量化模型，在保持模型性能的同時(shí)提升算法的運(yùn)行速度。