基于空間卷積神經(jīng)網(wǎng)絡(luò)模型的圖像顯著性檢測

高東東,張新生

(西安建筑科技大學(xué) 管理學(xué)院,西安 710055)

0 概述

顯著性檢測已成為計算機視覺領(lǐng)域的重要研究課題,它的目的就是捕捉吸引人類注意的像素或區(qū)域。隨著信息技術(shù)的快速發(fā)展,如何設(shè)計及利用計算機模型處理這些以爆炸式速度增長的圖像及視頻信息,對于彌補人與電腦在視覺理解中的差距具有重要的研究意義和應(yīng)用價值。

快速且以數(shù)據(jù)驅(qū)動的自底向上的顯著性檢測方式成為目前研究的主流[1]。其中,Itti模型[2]最早提出利用圖像底層特征的“中心-周邊差”進行顯著性檢測。文獻[3]則在文獻[2]的基礎(chǔ)上提出基于圖模型的顯著性檢測算法(GBVS),通過計算不同特征圖的馬爾科夫鏈平衡分布獲取顯著圖。文獻[4]使用顏色與亮度低級特征計算圖像子區(qū)域像素與其鄰域的像素平均特征向量之間的距離獲得顯著值,該方法快速且易于實現(xiàn)。文獻[5]提出基于局部特征對比度的顯著性檢測,學(xué)習(xí)局部信息進行顯著性評估,該方法在顯著區(qū)域的邊緣處產(chǎn)生較高的顯著值。上述方法都是基于手工設(shè)計特征提取圖像特征信息,它不能有效地捕捉顯著目標(biāo)的深層特征,也沒有均勻地突出顯著區(qū)域。

然而,深度學(xué)習(xí)方案的提出顯著地提高了系統(tǒng)的檢測性能。其中,文獻[6]提出利用雙層深度玻爾茲曼機(DBM)判別顯著性區(qū)域,增強了基于低級特征學(xué)習(xí)的能力,但此方法需要經(jīng)過大量學(xué)習(xí)訓(xùn)練,復(fù)雜度較高。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)被廣泛用于學(xué)習(xí)圖像數(shù)據(jù)中的豐富特征信息[7-9],在顯著區(qū)域檢測[10-11]與對象輪廓檢測[12-13]中都取得較為理想的檢測結(jié)果。另一方面,一些方法也引入或改進了新的網(wǎng)絡(luò)架構(gòu)。文獻[14]設(shè)計了一個能同時預(yù)測人眼固定點及分割突出目標(biāo)的CNN模型,并結(jié)合預(yù)先訓(xùn)練的VGG網(wǎng)絡(luò)和SALICON數(shù)據(jù)集定位出顯著區(qū)域。文獻[15]提出基于超像素卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測方法,從顏色唯一性和顏色分布2個超像素序列來計算顯著性與非顯著性區(qū)域。該方法突出了顯著物體的內(nèi)部信息,但在顯著邊緣的聚焦點不清晰,尤其處理非均勻背景或較復(fù)雜場景的圖像檢測性能較差。

基于以上分析,為了能夠更準(zhǔn)確地檢測出人眼感興趣的顯著點,本文采用完全數(shù)據(jù)驅(qū)動的方式,以CNN模型為基礎(chǔ)模型,添加空間變換思想,學(xué)習(xí)圖片中應(yīng)該關(guān)注的區(qū)域并且通過仿放射變換放大該區(qū)域。再使用Adam優(yōu)化器來訓(xùn)練網(wǎng)絡(luò),提高模型收斂速度和檢測的準(zhǔn)確度。

1 CNN與STN算法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN是首個真正成功訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,它通過描述數(shù)據(jù)的后驗概率進而實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。其基本結(jié)構(gòu)由輸入層(Input)、卷積層(Convolution)、池化層(Pooling)、全連接層(Fully Connected)及輸出層(Output)組成。

(1)

下采樣層的主要目的就是降維,即減少卷積層的特征維數(shù),對池化層中每個大小為n×n的池進行 “最大值(max pooling)”或“均值(mean pooling)操作,進一步獲得抽樣特征,輸出過程可表示為:

(2)

1.2 空間變換神經(jīng)網(wǎng)絡(luò)

為了更好地處理顯著性檢測任務(wù),本文在CNN模型上插入空間變換網(wǎng)絡(luò)(Spatial Transformer Network,STN)[16]。它應(yīng)用在深度卷積網(wǎng)絡(luò)之前,與深度網(wǎng)絡(luò)一起進行端對端訓(xùn)練,增加模型特征提取的旋轉(zhuǎn)不變形。即以一種動態(tài)的方式對輸入圖像進行任意變形(扭曲、拉伸等),這種方式的組成步驟如下:

步驟1由預(yù)處理后的圖像集U,通過優(yōu)化后的VGG網(wǎng)絡(luò)結(jié)構(gòu)輸出變換參數(shù)θ,即2×3維的空間變換矩陣。

步驟2由上述參數(shù)θ,經(jīng)過仿射變換實現(xiàn)逆向坐標(biāo)映射,得到輸入與輸出圖像之間的采樣網(wǎng)格Tθ。

步驟3將采樣網(wǎng)格Tθ輸出的結(jié)果通過雙線性插值技術(shù)進行處理,得輸出變換圖像V。

(3)

(4)

經(jīng)過以上理論推導(dǎo),即實現(xiàn)了對輸入圖像的空間變換操作,增大了本文模型獲取具有高激活值的顯著區(qū)域的概率。

2 空間卷積網(wǎng)絡(luò)的顯著性檢測模型

顯著性檢測就是在圖像區(qū)域內(nèi)找出特征最明顯的子區(qū),即檢測的關(guān)鍵集中在特征學(xué)習(xí)上,基于CNN與STN具有的強大的特征提取能力,本文提出應(yīng)用空間卷積特征學(xué)習(xí)的顯著性檢測模型。圖1給出了本文模型的整體框架圖,其中包括圖像預(yù)處理、全局與局部顯著性估計、顯著性融合及顯著訓(xùn)練。

圖1 顯著性檢測模型框架圖

2.1 圖像預(yù)處理

給定待處理圖像數(shù)據(jù)集I={Itrain,Ival,Itest},圖像預(yù)處理過程包括以下步驟:

步驟1將I全部縮放到96×96大小,以適應(yīng)本文模型的輸入。

步驟3將I中像素除以255,歸一化到[0,1]中,以加快模型收斂速度。

2.2 模型結(jié)構(gòu)

檢測框架主體由全局(shallow model)與局部(STN model)塊組成。其中,全局模型包含3個卷積層和3個池化層,在每一個卷積層和全連接層的輸出過程當(dāng)中,都經(jīng)過ReLU非線性化處理。其連接模型使用:

Conv1→MaxPool1→Conv2→MaxPool2→Conv3→MaxPool3→FC

同時,局部塊也采用了相同的設(shè)計思路,每層的詳細參數(shù)說明如圖2所示。

圖2 優(yōu)化后的VGG結(jié)構(gòu)

結(jié)構(gòu)設(shè)計遵循如下步驟:

步驟1使用式(1)和式(2),組合3個卷積層與池化層,以構(gòu)建shallow model。

步驟2通過采用及優(yōu)化VGG模型以學(xué)習(xí)出6個變換參數(shù)θ,用于下一步的空間變換。

步驟3依據(jù)步驟2的空間參數(shù),經(jīng)過式(3)與式(4),實現(xiàn)對輸入圖像的空間聚焦變換。

步驟4根據(jù)步驟3得到變換后的圖像,再嵌入到CNN,進一步組建STN model。

步驟5融合步驟1及步驟4中所得全局顯著圖與局部顯著圖,以檢測出圖像特征表示的最大值。

步驟6在最后一層全連接層前,增加一層maxout激活函數(shù),以過濾出高顯著性特征表達,完成顯著性檢測。

在步驟2的輸出中,由于本實驗最終目的并不是分類,即對VGG-16結(jié)構(gòu)進行優(yōu)化以適應(yīng)本文的顯著性檢測任務(wù)。具體做法為:去掉最后一層原本用于輸出類別的全連接層,將第1個FC設(shè)置為512,第2個FC大小為6。圖2顯示了優(yōu)化后VGG結(jié)構(gòu)的詳細參數(shù)設(shè)置。

2.3 模型訓(xùn)練與優(yōu)化策略選擇

本文采用Adam法代替?zhèn)鹘y(tǒng)的梯度下降法來訓(xùn)練模型,即每一次迭代學(xué)習(xí)率都隨前面的梯度值進行自適應(yīng)的調(diào)整。相比傳統(tǒng)的梯度下降,Adam法計算速度更加高效,且更適用于大規(guī)模的數(shù)據(jù)集訓(xùn)練。采用這種參數(shù)更新策略使得參數(shù)比較平穩(wěn),也加快了模型的收斂速度。同時,訓(xùn)練過程中將iSUN數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù),為了盡量利用有限數(shù)據(jù)進行訓(xùn)練,使用數(shù)據(jù)預(yù)處理與數(shù)據(jù)提升技術(shù)來增加訓(xùn)練樣本。具體做法是在數(shù)據(jù)預(yù)處理階段,通過一系列的隨機變換將訓(xùn)練數(shù)據(jù)進行提升,使模型捕獲不到任何兩張完全相同的圖像,進而緩解過擬合現(xiàn)象,增強模型的泛化能力。最后,所有樣本均進行分批量的訓(xùn)練,每一個批量為32個樣本,動量為0.9。鑒于硬件的內(nèi)存限制,這是可以使用的最大的批量數(shù)。Adam中的參數(shù)設(shè)置:α=0.001,β1=0.9,β2=0.999,δ=10-8。

為了防止模型訓(xùn)練過擬合,本文選擇了一些優(yōu)化策略:1)L2正則化對網(wǎng)絡(luò)參數(shù)進行約束;2)網(wǎng)絡(luò)損失函數(shù)采用均方誤差(Mean Squared Error,MSE),以濾除輸出中的高空間頻率;3)在VGG網(wǎng)絡(luò)中的第一個全連接層后接入dropout層。其本質(zhì)是在訓(xùn)練過程中的權(quán)重調(diào)整時,在隱藏層以一定的概率丟棄一些神經(jīng)元(丟失率設(shè)為0.5)。同時,為使VGG網(wǎng)絡(luò)更好地適應(yīng)顯著性檢測任務(wù),把預(yù)訓(xùn)練好的權(quán)重值加載到優(yōu)化后的VGG結(jié)構(gòu)中。最后,對新加入網(wǎng)絡(luò)層的權(quán)重也進行初始化,并隨整個網(wǎng)絡(luò)結(jié)構(gòu)一起訓(xùn)練。

3 實驗結(jié)果與分析

實驗使用Python2.7、NumPy和深度學(xué)習(xí)庫Keras來實現(xiàn),采用相對復(fù)雜的公開數(shù)據(jù)集進行性能的檢測。與現(xiàn)有顯著性檢測方法進行比較,并從不同的角度分析實驗結(jié)果。

3.1 數(shù)據(jù)集

本實驗選擇了在LSUN挑戰(zhàn)中提出的2個數(shù)據(jù)集,因為它們與通常使用的數(shù)據(jù)集相比具有一定的復(fù)雜性。 這些數(shù)據(jù)集是:1)SALICON[17]。它通過鼠標(biāo)跟蹤點擊突出點進行構(gòu)建,且所有圖像來自流行的MS COCO圖像數(shù)據(jù)庫,包含80個物體類別,共有10 000個訓(xùn)練圖像、5 000個驗證圖像、5 000個測試圖像;同時,具有豐富的語境信息和分辨率為 640×480像素的圖像。2)iSUN。它通過使用網(wǎng)絡(luò)攝像頭并從亞馬遜土耳其機器人(Amazon Mechanical Turk)的眼動追蹤進行收集,且所有的圖像選擇于自然場景SUN[18]圖像數(shù)據(jù)庫,共有6 000個訓(xùn)練圖像、926個驗證圖像、2 000個測試圖像。在選用的數(shù)據(jù)集中,有些圖片的背景特征特別復(fù)雜,這也增大了顯著性檢測的難度。

3.2 評價指標(biāo)

為了定量評估本文模型的性能及有效性,選用相似性(Similarity)、AUC(Area Under Curve)及相關(guān)系數(shù)(Correlation Coefficient,CC)作為評價指標(biāo)。其中,AUC值為ROC曲線與x軸之間距離的積分,能直觀地衡量檢測結(jié)果的優(yōu)劣程度,取值范圍為0～1,且1為最佳狀態(tài)。CC表示模型預(yù)測的顯著性區(qū)域與人眼關(guān)注區(qū)域之間的線性關(guān)系,由2個映射對應(yīng)的標(biāo)準(zhǔn)偏差之間的協(xié)方差計算得出,該取值范圍為0～1之間,且結(jié)果值越大說明兩者之間具有較好的線性關(guān)系,顯著性檢測準(zhǔn)確率也就最高。

3.3 結(jié)果分析

在本實驗中,所有數(shù)據(jù)分為2個子集:一個用于訓(xùn)練(75%);另一個用于測試(25%)。55%的數(shù)據(jù)(訓(xùn)練集)用于訓(xùn)練模型。20%的數(shù)據(jù)(驗證集)用于測試模型訓(xùn)練結(jié)果。測試數(shù)據(jù)(25%)用于獲取本文所提出模型的顯著性值。圖3展示了訓(xùn)練過程的數(shù)據(jù)分布情況。同時,將本文算法與其他參與者進行比較,包括LCYLab[19]、基線Itti[2]、改進Rare 2012[20]、基線GBVS[3]、Xidian[21]、基線BMS[22]、WHU IIP[19]。

圖3 實驗數(shù)據(jù)集分布

表1給出了本文算法在2個數(shù)據(jù)驗證集上的檢測結(jié)果?？梢钥闯?各個指標(biāo)值都較為理想,在2個數(shù)據(jù)集中呈現(xiàn)出非常有競爭力的結(jié)果,也體現(xiàn)了本文算法在數(shù)據(jù)集之間具有較好的魯棒性。表2、表3詳細列舉了本文算法與其他顯著性算法在2個數(shù)據(jù)集上所得的實驗值。對于所考慮的每個指標(biāo),本文算法的檢測值與真實顯著值的相似度是最高的,且在2個數(shù)據(jù)集上都取得較好的AUC值,表明了本文所提模型的優(yōu)越性能。圖4直觀地比較了顯著性預(yù)測的平均AUC。與最先進的方法相比,本文算法的檢測精度在SALICON數(shù)據(jù)集上提高了約6.42%,在iSUN數(shù)據(jù)集上提高了7.32%。整個模型結(jié)構(gòu)表現(xiàn)出較小的偏差,多角度證明了本文提出的算法具有更強的魯棒性。

表1 不同數(shù)據(jù)驗證集上的測試結(jié)果

表2 iSUN測試集上的檢測結(jié)果比較

表3 SALICON測試集上的檢測結(jié)果比較

圖4 7種顯著性檢測算法的平均AUC比較

可視化效果如圖5所示,在每組中,左邊第1列為原始圖像,第2列為Ground truth,第3列為本文算法預(yù)測的顯著圖?？梢钥吹?本文算法提供更高的空間分辨率,顯著區(qū)域的聚焦點突顯,也與視覺注意點吻合,滿足人眼視覺的觀賞性。此外,無論是在復(fù)雜場景(草地),還是較大顯著目標(biāo)區(qū)域(木屋)或較小顯著目標(biāo)區(qū)域(足球場),本文算法都能取得不錯的效果,表明提出的模型具有良好的穩(wěn)定性。然而,在效果圖中有一些塊狀片,影響了部分可視化的愉悅度,產(chǎn)生該現(xiàn)象的原因是對于顯著性與非顯著區(qū)域特征的提取不是很精確?？偟貋碚f,從定量化評價與整體視覺效果都一致證明本文算法的預(yù)測結(jié)果要優(yōu)于其他算法。這也與本文任務(wù)相一致,將顯著性檢測轉(zhuǎn)換為回歸問題,利用深度學(xué)習(xí)方法設(shè)計端對端模型,進而提高檢測準(zhǔn)確率的能力。

圖5 由本文算法在實驗數(shù)據(jù)集上生成的顯著圖

4 結(jié)束語

本文提出一種組合卷積神經(jīng)網(wǎng)絡(luò)與空間變換神經(jīng)網(wǎng)絡(luò)進行顯著性檢測的新型端對端算法。首先對源圖像進行預(yù)處理,接著對全局與局部特征采用不同的提取策略并進行融合。利用CNN深度捕捉上下文信息從而豐富圖像的全局特征,用于突出顯示顯著區(qū)域內(nèi)部的優(yōu)勢;將空間變換技術(shù)加入到CNN層以學(xué)習(xí)局部信息,有助于控制背景噪聲。融合全局顯著圖與局部顯著圖后獲得最終顯著結(jié)果。實驗結(jié)果表明,本文算法相較于其他基于圖像的顯著性檢測模型在相識度及AUC上均有一定的提高,算法在iSUN數(shù)據(jù)集上的平均AUC為0.893 9,相似度系數(shù)為0.702 5,相較于主流算法有一定優(yōu)勢,說明了空間卷積神經(jīng)網(wǎng)絡(luò)的重要性,以及融合局部與全局特征進行顯著性檢測的有效性。本文提出的空間卷積神經(jīng)網(wǎng)絡(luò)模型能夠快速計算圖像的顯著值,實現(xiàn)了輕量級架構(gòu)。但是模型參數(shù)有限,所以下一步工作是加深該模型的網(wǎng)絡(luò)深度,進一步挖掘圖像中的深層次信息。

[1] ZHANG Xilin,LI Zhaoping,ZHOU Tiangang,et al.Neural activities in v1 create a bottom-up saliency map[J].Neuron,2012,73(1):183-192.

[2] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[3] HAREL J,KOCH C,PERONAP.Graph-based visual saliency[C]//Proceedings of the 20th Annual Conference on Neural Information Processing Systems.Cambridge,USA:MIT Press,2007:545-552.

[4] ACHANTA R,ESTRADA F,WILS P,et al.Salient region detection and segmentation[C]//Proceedings of the 6th International Conference on Computer Vision Systems.Berlin,Germany:Springer,2008:66-75.

[5] RAHTU E,KANNALA J,SALO M,et al.Segmenting salient objects from images and videos[C]//Proceedings of European Conference on Computer Vision.New York,USA:ACM Press,2010:366-379.

[6] WEN Shifeng,HAN Junwei,ZHANG Dingwen,et al.Saliency detection based on feature learning using deep Boltzmann machines[C]//Proceedings of IEEE International Conference on Multimedia and Expo.Washington D.C.,USA:IEEE Press,2014:1-6.

[7] 易 生,梁華剛,茹 鋒.基于多列深度3D卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J].計算機工程,2017,43(8):243-248.

[8] 王奎奎,玉振明.基于DCT零系數(shù)與局部結(jié)構(gòu)張量的局部模糊檢測[J].計算機工程,2017,43(6):207-211.

[9] 江 帆,劉 輝,王 彬,等.基于CNN-GRNN模型的圖像識別[J].計算機工程,2017,43(4):257-262.

[10] LI Guangbin,YU Yizhou.Visual saliency detection based on multiscale deep CNN features[J].IEEE Transactions on Image Processing,2016,25(11):5012-5024.

[11] LI Hongyang,CHEN Jiang,LU Huchuan,et al.CNN for saliency detection with low-level feature integration[J].Neurocomputing,2017,226(3):212-220.

[12] QU Liangqiong,HE Shengfeng,ZHANG Jiawei,et al.RGBD salient object detection via deep fusion[J].IEEE Transactions on Image Processing,2017,26(5):2274-2285.

[13] 李岳云,許悅雷,馬時平,等.深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測[J].中國圖象圖形學(xué)報,2016,21(1):53-59.

[14] KRUTHIVENTI S S,GUDISA V,DHOLAKIYA J H,et al.Saliency unified:a deep architecture for simultaneous eye fixation prediction and salient object segmentation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2016:5781-5790.

[15] He Shengfeng,LAU R W H,LIU Wenxi,et al.SuperCNN:a superpixelwise convolutional neural network for salient object detection[J].International Journal of Computer Vision,2015,115(3):330-344.

[16] JADERBERG M,SIMONYAN K,ZISSERMAN A,et al.Spatial transformer networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems.Cambridge,USA:MIT Press,2015:2017-2025.

[17] JIANG Ming,HUANG Shengsheng,DUAN Juanyong,et al.SALICON:saliency in context[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2015:1072-1080.

[18] XIAO Jianxiong,HAYS J,EHINGER K A,et al.SUN database:large-scale scene recognition from abbey to zoo[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2010:3485-3492.

[19] IBARZ J,SZEGEDY C,VANHOUCKE V,et al,Large-scale scene understanding(LSUN)[EB/OL].[2017-04-20].http://lsun.cs.princeton.edu/leaderboard/#saliencyisun.

[20] RICHE N,MANCAS M,DUVINAGE M,et al.Rare2012:A multi-scale rarity-based saliency detection with its comparative statistical analysis[J].Signal Processing:Image Communication,2013,28(6):642-658.

[21] XIA Chen,QI Fei,SHI Guangming.Bottom-up visual saliency estimation with deep autoencoder-based sparse reconstruction[J].IEEE Transactions on Neural Networks and Learning Systems,2016,27(6):1227-1240.

[22] ZHANG Jianming,SCLAROFF S.Saliency detection:a boolean map approach[C]//Proceedings of IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2013:153-160.