基于高層先驗語義的顯著目標檢測

宣東東，汪 軍，王 政

(安徽工程大學 計算機與信息學院,安徽 蕪湖 241000)

0 引 言

神經(jīng)生物學和認知心理學專家的研究表明，人類能夠快速掌握場景中有趣顯眼的目標。為了使計算機能夠同樣獲得這種能力，越來越多的研究人員進行視覺顯著目標研究，顯著目標檢測越來越成為在模式識別和計算科學領(lǐng)域研究的研究熱點，包括計算機視覺和人工智能方面的研究。顯著目標檢測的目的是確定輸入圖像中能夠吸引人類視覺注意力的顯著物體，而不是僅僅檢測圖像中的幾個顯著特征，所以它不僅可以加速視覺過程，還可以提高視覺任務(wù)的性能。目前，圖像的顯著目標檢測在目標檢測與跟蹤[1]，圖像分割[2]，圖像檢索[3]和圖像匹配[4]等諸多領(lǐng)域都得到相應(yīng)的實際應(yīng)用。

顯著目標檢測是計算機視覺領(lǐng)域非?；钴S的研究方向，現(xiàn)有的顯著目標檢測算法模型可以分為數(shù)據(jù)驅(qū)動[5](自底向上)和任務(wù)驅(qū)動[6](自頂向下)2大類。

自底向上的顯著檢測模型主要通過提取圖像的低級特征，如顏色[7]、紋理[8]等低級特征信息進行顯著目標檢測。早期的顯著目標檢測算法模型大多是數(shù)據(jù)驅(qū)動模型，文獻[9]提出特征融合的顯著性檢測模型，它通過使用多尺度中心-周圍對比的方式進行顯著性檢測。文獻[10]采取多尺度局部對比度、顏色空間等作為圖像特征的方法來計算顯著值。這些顯著性檢測模型雖然能夠檢測圖像顯著目標，但是其缺點也是顯而易見的，這些模型產(chǎn)生的顯著圖更傾向于圖像目標輪廓的檢測，對圖像目標內(nèi)部檢測效果不夠明顯。文獻[11]使用圖像頻域來定義圖像顯著性，再使用不同尺寸的過濾器，從而對整幅圖像特征信息進行對比檢測。文獻[12]利用顏色直方圖對比度和空間關(guān)系實現(xiàn)顯著檢測性能的改進，該算法對相似外觀區(qū)域有著高效的顯著檢測效果，但是仍然難以凸顯整個顯著目標區(qū)域。這些算法在一定程度上對圖片目標內(nèi)部檢測效果不明顯的問題給予緩解，但是顯著目標檢測結(jié)果不夠明顯的問題依然存在。

自頂向下的顯著檢測模型主要通過機器學習的方式獲取知識進行顯著目標檢測。近些年來，隨著研究人員對深度學習(deep learning，DL)在語義分割中的研究，利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)產(chǎn)生高級圖像特征，從而將CNN應(yīng)用于計算機視覺任務(wù)中，包括圖像處理，語義分割，顯著目標檢測。文獻[13]通過深度學習得到的圖像特征計算超像素圖像的顯著性，從而提出基于多尺度特征的顯著性檢測算法。文獻[14]以一種從粗糙到精細的方式對顯著目標檢測進行處理，首先利用CNN生成粗糙的顯著圖，并通過結(jié)合全局信息來分層次改進圖像細節(jié)，最終得出顯著圖。文獻[15]也采用類似的方法，通過不斷對卷積神經(jīng)網(wǎng)絡(luò)細節(jié)進行改進，從而更好地對圖像顯著目標進行處理。深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)同樣也運用到檢測領(lǐng)域，文獻[16]將DCNN運用到衛(wèi)星圖像的車輛檢測中?；谌蝿?wù)驅(qū)動的顯著檢測模型直接捕捉顯著目標的語義屬性，或從具有顯著性注釋的訓(xùn)練數(shù)據(jù)集合中進行監(jiān)督學習，或者添加更多網(wǎng)絡(luò)層，在基于神經(jīng)網(wǎng)絡(luò)處理的顯著性檢測模型中，對先驗語義信息的影響沒有進行深入研究。本文將對先驗語義知識與低級別特征相結(jié)合，實現(xiàn)高效的顯著目標檢測。由于高層先驗語義在圖像中普遍存在，所以相較之前的算法，本文算法具有更好的通用性，更加簡單高效。

1 本文算法

為了能夠解決低級別特征不能夠均勻進行顯著目標檢測的問題，本文通過對高層語義在深度神經(jīng)網(wǎng)絡(luò)中的應(yīng)用研究，結(jié)合訓(xùn)練模型提出基于高層先驗語義的顯著目標檢測算法。該方法首先利用深度神經(jīng)網(wǎng)絡(luò)的知識對高層語義特征進行提取，并從高層先驗語義中形成顯性語義映射，接著利用映射得到的訓(xùn)練模型進行隱性顯著圖的計算，通過將2種顯著圖融合，實現(xiàn)對圖像的均勻顯著目標檢測。

本節(jié)將對提出的基于高層先驗語義的顯著目標檢測算法模型進行詳細介紹，并展示如何提取先驗語義以及顯著圖融合的運算，算法框架步驟如圖1。本文的主要工作如下。

1)對先驗語義如何影響顯著目標檢測進行研究。

2)利用深度卷積神經(jīng)網(wǎng)絡(luò)進行語義提取，從而進行顯式顯著映射，得到顯式顯著圖；通過訓(xùn)練模型進行隱式顯著映射，得到隱式顯著圖。最后，將2張顯著圖進行顯著融合。

3)將本文算法在2個具有挑戰(zhàn)性的顯著性檢測數(shù)據(jù)集上進行實驗仿真，并同其他經(jīng)典流行的算法進行性能比較。

1.1 語義提取

顯著性檢測和語義分割是高度相關(guān)的，但本質(zhì)不同，顯著性檢測旨在將顯著目標與背景分離，而語義分割則側(cè)重于區(qū)分不同類別的對象。本文將利用DCNN、多孔卷積和全連接條件隨機場模型[17](conditional random field，CRF)圖像進行語義分割提取。首先，利用采樣濾波器對輸入圖像進行多孔卷積，多孔卷積計算圖像特征時，能夠?qū)D像的分辨率進行高效的控制，而且可以增大濾波器的視野，可以獲取更多的圖像信息，多孔空間金字塔利用多種采樣率和濾波器對圖像進行多尺度分割，實現(xiàn)在多個尺度上獲取圖像信息。接著，利用CRF模型合并深度卷積網(wǎng)絡(luò)處理得到的語義特征和概率圖，以便增強對圖像邊界位置的檢測。最終得到與輸入圖像像素分辨率一致的語意圖M。

定義對語意圖M每個單個像素(x,y)置信度Mx,y為

Mx,y={M1x,y,M2x,y,…,Mnmx,y}

(1)

(1)式中，M1x,y,M2x,y, … ,Mnmx,y表示單個像素(x,y)屬于nm語義類的可能性。給定大小為h×w的輸入圖像，M的維數(shù)為h×w×nm。

1.2 顯式顯著性圖

顯式顯著圖的目標是捕捉人類對不同語義類的偏好。如果輸入圖像中存在2個或更多類別，本算法的目標是調(diào)查人類更喜歡哪個類別。

定義單個像素(x,y)的類別標簽Tx,y為

Tx,y=arg maxMx,y

(2)

給定一個圖像真值圖G，定義輸入圖像中每個語義類k的密度為

(3)

(3)式中，Tx,y=k是驗證Tx,y是否屬于k類的布爾表達式。圖像真值圖的大小是h×w，給定訓(xùn)練數(shù)據(jù)集是PASCAL VOC 2012[18]。通過圖像真值圖提取一個類別和其他nm-1類別的共有顯著性。

定義計算2個語義類k和t的成對值θk,t為

(4)

將所有類別的累積共有顯著性定義為顯式高層先驗語義，則2類k和t的顯式語義先驗計算為

(5)

(5)式中，nt是訓(xùn)練集中圖像的數(shù)量，插入ξ是為了避免分母為0。對于測試階段，給出一個測試圖像，每個單個像素(x,y)的顯式顯著值計算為

(6)

1.3 隱式顯著性圖

通過深度卷積神經(jīng)網(wǎng)絡(luò)和全連接條件隨機場得到顯示顯著圖，如果該顯著圖檢測到的目標位于列出的類標簽中，則顯式顯著圖表現(xiàn)良好。如果顯著目標不在nm類標簽中，則顯著目標不能夠在顯式顯著圖中得以呈現(xiàn)。因此，本文提出隱式顯著圖，它可以檢測到不在列出的語義類中的顯著目標。首先利用SLIC算法[19]將輸入圖像分割成n個超像素非重疊區(qū)域，本文將區(qū)域數(shù)量設(shè)置為200，作為精細圖像分割和處理時間的設(shè)定。接著從每個圖像非重疊區(qū)域中提取特征，與其他簡單運用局部區(qū)域特征與顯著值之間映射得到特征方法不同的是，本文考慮語義信息，通過對高層先驗語義驅(qū)動特征影響下的區(qū)域特征與顯著值之間關(guān)系進行研究。本文通過語義紋元森林法進行特征提取，提取的特征稱為STF特征，也就是本文所需要的隱性特征。STF特征中的每個像素含有一個特征向量，圖像中的每個像素通過自頂向下的隨機樹t進行訓(xùn)練。通過將隨機樹的內(nèi)部節(jié)點和葉子節(jié)點當作先驗語義，每個像素通過每條路徑到達一個葉子節(jié)點。隨機樹t的所有葉子節(jié)點構(gòu)成訓(xùn)練數(shù)據(jù)集的一部分，通過統(tǒng)計每個節(jié)點落入該節(jié)點的像素得出一個概率分布P(T|nti)，T表示類別，nti表示第t棵樹的第i個葉子節(jié)點。像素節(jié)點pi通過葉子節(jié)點構(gòu)成2元向量，并將該像素描述為子特征，其計算式為

Ftpi=[st1st2…stQ]

(7)

(7)式中，Q表示隨機樹t的葉子節(jié)點總數(shù)。sts計算式為

(8)

通過將隨機森林中X棵樹的葉子級聯(lián)合起來可以得到該像素點的特征(STF特征)，該特征就是隱含的語義特征，它們隱性地影響區(qū)域特征和顯著性值的映射。其計算式為

spImpliciti=[F1pi…FXpi]

(9)

本文采用隨機森林回歸[20]方法，該方法表現(xiàn)出良好的訓(xùn)練效果。訓(xùn)練樣例包括一組nr區(qū)域{{r1,spImplicit1},{r2,spImplicit2},{rnr,spImplicitnr}}和相對應(yīng)的顯著值{s1,s2,…,snr}，它們通過具有顯著目標真值圖注釋的一組圖像進行收集。每個訓(xùn)練圖像區(qū)域的顯著值被設(shè)置如下：如果圖像的顯著目標或圖像背景的像素(在該區(qū)域中)的數(shù)量超過該區(qū)域中像素數(shù)量的80%，則其顯著值被設(shè)置為1，否則為0。

對于訓(xùn)練測試階段，給定輸入圖像，通過將提取的隱性特征結(jié)合訓(xùn)練的回歸器rf來計算圖像的每個區(qū)域q的隱式顯著圖為

SImplicitq=rf(rq,spImplicitq)

(10)

1.4 顯著融合

給定一個大小為h×w的輸入圖像，最終將上述得到的2個顯著圖進行融合。將隱式顯著圖SImplicit和顯示顯著圖SExplicit縮放到[0，1]。然后計算每個像素的顯著性值S為

S=αSExplicit+βSImplicit

(11)

2 實驗結(jié)果及評估分析

2.1 實驗設(shè)置

為了驗證和分析本文算法的有效性，本文選擇在2個具有挑戰(zhàn)性的經(jīng)典圖像數(shù)據(jù)集ECSSD[21]和DUT-OMRON[22]上進行實驗仿真，ECSSD數(shù)據(jù)集包含1 000個具有復(fù)雜和雜亂背景的圖像，DUT-OMRON數(shù)據(jù)集包含5 166張圖片。2個數(shù)據(jù)集中的每個圖像都包含單個或多個顯著目標，且這2個數(shù)據(jù)集圖像都有人工標注的真值圖(ground truth，GT)，從而可以客觀地進行性能評估。實驗仿真的開發(fā)環(huán)境在雙核3.2 GHz處理器和8 GByte內(nèi)存的Windows系統(tǒng)計算機平臺中運行，算法采用Matlab語言代碼實現(xiàn)，并對實驗得到的顯著性檢測結(jié)果進行評估分析。同時，為了驗證算法有效性，本文算法同近些年比較經(jīng)典流行的13種顯著性檢測算法進行性能對比，這些算法分別是基于視覺信息的AIM算法[23]、基于上下文的CA算法[24]、基于區(qū)域特征的DRFI算法[25]、基于圖像頻率域的FT算法[26]、基于圖像顏色特征統(tǒng)計的GC算法[27]、基于幾何距離的GS算法[28]、基于顏色區(qū)域?qū)Ρ榷鹊腍C算法[29]、基于全局對比度的LC算法[30]、基于多信息深度學習的MC算法[31]、基于背景信息的RBD算法[32]、基于CRF模型的SEG算法[33]、基于濾波的SF算法[34]、基于自然信息統(tǒng)計的SUN算法[35]。

2.2 實驗結(jié)果和過程

本文將基于高層先驗語義的顯著目標檢測方法在ECSSD公開數(shù)據(jù)集進行實驗仿真，從數(shù)據(jù)集中挑選不同場景下不同景物的5張圖片進行實驗仿真，對基于高層先驗語義的顯著目標檢測各個過程的圖像結(jié)果進行展示，這5張圖像中包含動物、靜態(tài)物體、建筑物，人物，圖2表示本文顯著性檢測方法過程圖。圖2從左到右分別表示待檢測圖像(原始圖像)、顯式顯著圖、超像素分割圖、隱式顯著圖、本文顯著檢測圖、GT圖。

2.3 性能對比

為了對本文算法的高效性進行評估，本文采用顯著性檢測中常用的評價指標：準確率(Precision)、召回率(Recall)、F值(F-measure)和平均絕對誤差(mean absolute deviation,MAE)。

準確率表示顯著性檢測算法結(jié)果中目標圖像占所有結(jié)果圖像的比例。召回率表示顯著性檢測結(jié)果中目標圖像占圖像庫中所有目標圖像的比例。顯著性檢測得到的是像素值在[0,255]的顯著性檢測圖，并將其用于二值化顯著圖，閾值從0到255取值，將每一個閾值與二值化圖進行對比計算得到對應(yīng)的準確率和召回率，將準確率和召回率結(jié)合起來形成P-R曲線(precision-recall curve)。計算可以表示為

(12)

(13)

(12)—(13)式中：M表示顯著性檢測圖在不同閾值下二值化后值為1的像素；G表示圖像顯著性的真實情況(ground truth)值為1的像素。

F值表示的是準確率和召回率的總體性能,根據(jù)準確率P和召回率R可以計算F-measure值，表示為

(14)

(14)式中：β2=0.3；P為準確率；R為召回率。

MAE反映的是顯著圖和真實情況的匹配程度，表示為

(15)

(15)式中：H和W表示圖像的高和寬；Sx,y表示顯著性檢測算法得到的顯著圖；Gx,y表示真實二值標注顯著值。MAE值越低表明檢測效果越好。

本文算法與上述對比算法各個性能對比如圖3，圖3a是不同算法在ECSSD數(shù)據(jù)庫上的P-R曲線對比圖，圖3b是不同算法在ECSSD數(shù)據(jù)庫上的準確率、召回率和F值柱狀對比圖，圖3c是不同算法在ECSSD數(shù)據(jù)庫上的MAE對比圖。圖4是ECSSD數(shù)據(jù)庫上不同算法顯著圖的視覺對比圖。圖5a是不同算法在DUT-OMRON數(shù)據(jù)庫上的P-R曲線對比圖，圖5b是不同算法在DUT-OMRON數(shù)據(jù)庫上的準確率、召回率和F值柱狀對比圖，圖5c是不同算法在DUT-OMRON數(shù)據(jù)庫上的MAE對比圖。圖6是DUT-OMRON數(shù)據(jù)庫上不同算法顯著圖的視覺對比圖。

在基于ECSSD和DUT-OMRON數(shù)據(jù)庫的實驗中，本文算法的P-R曲線明顯優(yōu)于其他算法。圖3a和圖5a表明，本文算法結(jié)果與GT結(jié)果更為接近。在ECSSD數(shù)據(jù)庫中：當召回率在[0.9,1]時，閾值較小，導(dǎo)致準確率不高，而且隨著閾值的增大，召回率變小，本算法的準確率也急劇上升；當召回率處于[0.7,0.9]時，準確率進入緩慢變化，并維持在較高水平，這也側(cè)面說明本文算法可以進行高效的顯著目標檢測。在DUT-OMRON數(shù)據(jù)庫中，本文算法的P-R曲線與表現(xiàn)最好的DRFI算法最接近，當召回率低于0.5時，顯著目標檢測的準確率能夠維持最優(yōu)值。

在2個數(shù)據(jù)庫實驗中，本文算法通過自適應(yīng)閾值分割后，在不同閾值處所能達到的最大F-measure值是所有對比算法中最高的，如圖3b和圖5b。這說明本文算法能夠高效抑制背景，也充分證明了本算法的穩(wěn)定性，總體性能比較優(yōu)越。

在平均絕對誤差MAE方面，本文算法比其他算法都低，如圖3c和5c，說明本文算法產(chǎn)生的顯著檢測圖與GT整體的相似性最好，這充分證明本文算法所產(chǎn)生的顯著檢測圖效果最好。

在ECSSD數(shù)據(jù)庫和DUT-OMRON數(shù)據(jù)庫進行的仿真實驗中，各個算法產(chǎn)生的顯著檢測圖對比結(jié)果分別如圖4和圖6。實驗結(jié)果表明，本算法的顯著檢測圖能夠均勻突出顯著目標，對于復(fù)雜場景也有著較好的顯著目標檢測效果。

2.4 計算效率

顯著檢測算法的計算效率是評判算法好壞的一個重要指標。表1為本文算法同其他算法處理100張圖片的平均運行時間。表1中所有算法的程序都基于Matlab代碼實現(xiàn)，并且大多數(shù)測試圖像的分辨率為300×400。AIM算法使用多個維度的多個濾波器進行運算，計算時間較高；CA算法主要是進行不同尺度計算顯著值，計算時間最高；DRFI算法采用顯著性區(qū)域融合的方法，而SEG算法利用CRF模型計算，二者的計算效率屬于同一數(shù)量級。FT算法、HC算法只采用了特征通道計算，LC僅利用亮度特征計算，而GS算法和RBD算法利用背景信息得到顯著圖，所以這些算法計算速度比較快。GC算法利用顏色特征進行計算，MC算法通過馬爾可夫的平衡分布減少背景區(qū)域的吸收時間，SF算法主要利用對比度濾波器計算得到顯著圖，所以計算速度非?？?。SUN算法利用貝葉斯框架導(dǎo)出，所以時間計算效率也比較高。同時，從表中可以看出，本文算法比其他一些基于Matlab代碼運行的算法效率高，本算法程序的運行時間大部分集中在語義分割和特征提取中。

表1 不同方法的平均運行時間Tab.1 Average running time of different methods

3 結(jié) 論

本文提出一種新穎的基于高層先驗語義的顯著目標檢測方法，它采用語義分割檢測顯著目標，利用深度卷積神經(jīng)網(wǎng)絡(luò)對圖像進行語義分割。通過對得到的先驗語義知識進行相應(yīng)的語義映射，即顯式顯著映射和隱式顯著映射，從而得到相應(yīng)的2幅顯著圖，將這2幅顯著性圖融合在一起，得到最終具有清晰邊界的顯著目標檢測圖。在2個具有挑戰(zhàn)性數(shù)據(jù)集上的實驗結(jié)果表明，就平均絕對誤差而言，本文的顯著目標檢測結(jié)果比以前的結(jié)果(2個不同數(shù)據(jù)集中的13個方法相比)更好，準確率、召回率和F-measure值較其他算法也有明顯提高。

通過對本文算法的實驗結(jié)果分析，該算法模型不僅能夠高效的識別圖像的顯著目標區(qū)域，對圖像的顯著目標進行均勻處理，而且具有很好的魯棒性。