基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)*

李亞茹

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)*

李亞茹

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

顯著性檢測(cè)在圖像處理領(lǐng)域應(yīng)用廣泛，當(dāng)前顯著性檢測(cè)主要有自底而上與自頂而下及一些相關(guān)或改進(jìn)算法，它們各有優(yōu)勢(shì)和缺陷。提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)算法，利用卷積神經(jīng)網(wǎng)絡(luò)在圖像處理方面強(qiáng)大的功能提取圖像特征，進(jìn)行特征融合，最后得到顯著性圖，用于顯著性檢測(cè)。將本文方法與傳統(tǒng)的顯著性檢測(cè)方法進(jìn)行對(duì)比，發(fā)現(xiàn)本文方法效果顯著。

卷積神經(jīng)網(wǎng)絡(luò)；特征提??；顯著性檢測(cè)

0 引言

顯著性檢測(cè)技術(shù)廣泛應(yīng)用于圖像壓縮、檢索、識(shí)別等圖像處理領(lǐng)域，因此需要更加高效魯棒的顯著性檢測(cè)方法來(lái)處理不同的圖像。早期KOCH C與UIIMAN S提出了非常有影響力的生物啟發(fā)模型[1]；南加州大學(xué)iLab實(shí)驗(yàn)室的ITTI L教授及其學(xué)生對(duì)生物啟發(fā)的機(jī)器人視覺(jué)定位研究[2]，應(yīng)用在醫(yī)學(xué)診斷等各方面[3]；ITTI L等人最早提出了基于生物視覺(jué)機(jī)制的注意力模型(Attention-Model)[4]，在2013年的論文中發(fā)現(xiàn)ITTI及他的學(xué)生利用分析分?jǐn)?shù)、數(shù)據(jù)設(shè)置和模型來(lái)確定顯著性區(qū)域[5]，但是該方法只是對(duì)對(duì)比度比較明顯的顯著性區(qū)域效果好。侯曉迪等人在圖像的頻域[6]進(jìn)行計(jì)算，研究了圖像的頻譜特性，用圖像的“剩余譜”來(lái)表示圖像的顯著性區(qū)域[7]；侯曉迪提出的頻域殘差法(Spectral Residual)[8]，對(duì)數(shù)學(xué)的應(yīng)用發(fā)揮到極致；Guo Chenlei等人在頻域殘差法(Spectral Residual)[9]的基礎(chǔ)上提出相位譜(Phase Spectrum)方法，但是這些頻域的方法普遍存在對(duì)背景復(fù)雜的區(qū)域處理不好、準(zhǔn)確度不高和容易遺失有用信息的問(wèn)題。

深度學(xué)習(xí)(Deep Learning)開(kāi)啟機(jī)器學(xué)習(xí)領(lǐng)域新時(shí)代，卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)是廣泛應(yīng)用于圖像處理領(lǐng)域的深度學(xué)習(xí)算法。其網(wǎng)絡(luò)模型在20世紀(jì)80年代用于支票上的手寫字符識(shí)別，取得了很好的效果，KRIZHEVSKY A[10]對(duì)其進(jìn)行擴(kuò)展后在ImageNet視覺(jué)競(jìng)賽中取得了成功。故本文將卷積神經(jīng)網(wǎng)絡(luò)用于顯著性檢測(cè)，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)方法，能更好地處理背景復(fù)雜、顯著性對(duì)比不明顯的圖片，實(shí)驗(yàn)證明該方法有更好的準(zhǔn)確率和完全率。

1 卷積神經(jīng)網(wǎng)絡(luò)

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積神經(jīng)網(wǎng)絡(luò)是由卷積層和下采樣層交替形成的。圖1中C代表卷積層，S代表下采樣層。卷積層用來(lái)進(jìn)行特征提取，其中局部感受野與權(quán)值共享減少了參數(shù)，提高了模型的魯棒性，算法如下[11]：

(1)

下采樣層是對(duì)特征進(jìn)行映射，減少了特征的分辨率，節(jié)省了計(jì)算時(shí)間，增加量了模型的效率，下采樣層中的節(jié)點(diǎn)輸出可以表示為：

(2)

最后網(wǎng)絡(luò)形成一個(gè)全連接層輸出的最后結(jié)果，輸出公式如下：

(3)

在網(wǎng)絡(luò)中的權(quán)值更新采用了BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法，根據(jù)結(jié)果的錯(cuò)誤率來(lái)反向更新權(quán)值和參數(shù)，以達(dá)到更好的識(shí)別率，關(guān)于這一過(guò)程文獻(xiàn)[7]有詳細(xì)介紹。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)模型

平常所定義的顯著性區(qū)域與人眼視覺(jué)系統(tǒng)(HVS)有關(guān)[12]，就是人眼注意的區(qū)域，即一幅具體的圖像中最明顯的區(qū)域，顯著性檢測(cè)就是提取出來(lái)圖像的特征區(qū)域。而卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別、圖片識(shí)別上的準(zhǔn)確率高的原因在于其特征提取能力。傳統(tǒng)的顯著性檢測(cè)需要對(duì)圖像進(jìn)行預(yù)處理，人工提取圖像特征，然后對(duì)特征進(jìn)行大量的處理，耗費(fèi)時(shí)力。所以本文利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力進(jìn)行特征提取，將提取出來(lái)的圖像特征進(jìn)行融合，最后生成顯著性圖，其流程如圖2所示。

圖2 顯著性檢測(cè)流程圖

利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行顯著性檢測(cè)的流程如下：

(1)將用來(lái)進(jìn)行顯著性檢測(cè)的圖像建成圖片庫(kù)，圖像尺寸為128×128。

(2)設(shè)置卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，采用五層經(jīng)典模型，兩層卷積層(C層)和兩層下采樣層(S層)交替，最后全連接輸出。本文中的CNN網(wǎng)絡(luò)的學(xué)習(xí)效率(alpha)設(shè)置為1，每次的輸入圖片量(bathsize)為5，迭代次數(shù)(numepochs)設(shè)置為50。

(3)在C1層，采用3種5×5的卷積核對(duì)圖像進(jìn)行卷積操作。卷積核由隨機(jī)數(shù)據(jù)生成，由返向傳播(Back Propagation,BP)和前向傳播(Forword Propagation,FP)原理，根據(jù)結(jié)果反向調(diào)整其參數(shù)，其大小代表著神經(jīng)元感受野大小，若過(guò)小會(huì)導(dǎo)致特征提取不充分，若過(guò)大則會(huì)導(dǎo)致提取的特征過(guò)于復(fù)雜。這一層之后輸出3幅124×124的特征圖。這一層提取了一些初級(jí)紋理和顏色邊緣等底層特征。

(4)S1層的下采樣層即對(duì)C1層輸出的特征圖進(jìn)行下采樣，采樣窗口為2×2，為更多地保留圖像信息，采用均值池化的方法，即每相鄰四個(gè)像素間取均值。這一層圖像尺寸為原來(lái)的一半，輸出3幅62×62的特征圖。這一層降低了維度，提取了更多的紋理特征。

(5)C2層依然是卷積層，特征圖為5幅，卷積核依然為5×5，輸出圖像為58×58。S2層是窗口為2×2的均值采樣，輸出5幅29×29的特征圖。這兩層提取了更有區(qū)分性的輪廓特征。一幅圖像經(jīng)過(guò)C層和S層的特征圖輸出如圖3所示。

圖3 CNN每一層輸出結(jié)果圖

(6)將不同的卷積核提取到的特征進(jìn)行特征融合。對(duì)圖像進(jìn)行特征融合不僅能綜合多幅特征圖像的特征，還能保持圖像原本的圖像信息。Gonzales-Diazi曾提出，在視覺(jué)注意模型中經(jīng)常用到的信息融合方法有乘積、取均值、取最大值、求對(duì)數(shù)等方法。為了充分說(shuō)明方法的有效性，本文應(yīng)用了最廣泛的線性融合方法：

(4)

其中S(pi)為融合后的圖片，α、β…λ為系數(shù)，并且滿足α+β+…+λ=1，其中si為對(duì)應(yīng)的圖像。如圖4所示，前三幅是特征圖，最后一幅是融合后的特征圖，可以看出經(jīng)過(guò)融合后的圖像不僅更加清晰，特征也更加全面豐富。

圖4 特征融合對(duì)比圖

(7)將融合后的特征圖像輸入到經(jīng)典的ITTI、GVBS、SR顯著性檢測(cè)算法中進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比分析。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)條件及評(píng)價(jià)指標(biāo)

為了突出體現(xiàn)本文方法的有效性，選取了多種顯著性檢測(cè)算法進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比。有基于紋理特征的ITTI方法、GBVS方法；有基于頻域特征的SR方法。為增加算法的有效性，在ASD圖像數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)。ASD庫(kù)是MSAR庫(kù)的子庫(kù)，包含人、動(dòng)物、植物等1 000多幅圖像，是顯著性檢測(cè)的常用數(shù)據(jù)庫(kù)。實(shí)驗(yàn)選取背景復(fù)雜、顏色變化小、顯著性對(duì)比不強(qiáng)烈的圖像，如圖5所示，圖像大小為128×128。本文中的實(shí)驗(yàn)環(huán)境為MATLAB r2014b， CNN網(wǎng)絡(luò)就是采用文中介紹的五層經(jīng)典結(jié)構(gòu)。

圖5 數(shù)據(jù)庫(kù)中部分圖

為了體現(xiàn)顯著性檢測(cè)效果，一般有兩種評(píng)價(jià)標(biāo)準(zhǔn)，一種是主觀感受，就是以觀測(cè)者的主觀感受來(lái)判定哪種顯著性效果好；第二種方法是客觀評(píng)價(jià)，通過(guò)一些相應(yīng)的數(shù)據(jù)計(jì)算來(lái)說(shuō)明方法的優(yōu)勢(shì)，如計(jì)算圖像的匹配率，傳統(tǒng)的方法是用F-Measure來(lái)評(píng)價(jià)[8]，它能夠同時(shí)考慮到檢測(cè)的準(zhǔn)確率和完全率。計(jì)算公式如下：

(5)

其中，P代表示檢測(cè)的準(zhǔn)確率；R表示檢測(cè)的完全率；α用來(lái)衡量F-Measure值是側(cè)重于檢測(cè)的準(zhǔn)確率還是完全率,一般取α為0.3,表示側(cè)重于檢測(cè)的準(zhǔn)確率。

3.2 結(jié)果分析

將原圖、未融合的特征圖與融合后的特征圖在ITTI、GVBS和SR這三種經(jīng)典的顯著性檢測(cè)算法上進(jìn)行對(duì)比，結(jié)果如圖6所示。

圖6 融合結(jié)果對(duì)比圖

由圖6中的圖像對(duì)比可以看出，融合后的圖像在ITTI上的檢測(cè)效果要比未融合的圖和原圖信息都全面，且顯著性部位更加明顯，在GVBS上的融合后的圖像也比原圖和未融合圖效果更加清晰，在SR上融合后的圖像能顯示出顯著性物體所在的區(qū)域，而其他圖片沒(méi)有明顯效果。根據(jù)人眼視覺(jué)觀察也能清楚地看出本文中所用的方法無(wú)論是在ITTI、GVBS還是在SR上都明顯高于原始圖像的效果，且顯著性檢測(cè)效果更加清晰和全面，不僅考慮了圖像的全局信息，也考慮了圖像的局部信息?？陀^計(jì)算圖像匹配率結(jié)果如表1所示。

表1 圖像匹配率結(jié)果表

由表1中的結(jié)果可以看出，本文方法融合后的圖像無(wú)論在ITTI、GVBS還是在SR上，匹配率結(jié)果均高于原始圖像和未融合的特征圖像。這一結(jié)果說(shuō)明本文提出的算法所融合后的圖像確實(shí)有良好效果。

為了增加本文中的方法與其他方法效果的對(duì)比度，又選取了多幅圖像進(jìn)行對(duì)比，如圖7所示。

圖7 不同方法對(duì)比結(jié)果圖

圖7中，第一列是原始圖像，第一幅和第三幅圖像背景比較單一，第二幅背景復(fù)雜，其中第三幅圖像特征區(qū)域與非特征區(qū)域邊界區(qū)分不明顯，對(duì)圖片進(jìn)行經(jīng)典的ITTI、GVBS和SR三種顯著性檢測(cè)方法和本文中的方法進(jìn)行對(duì)比。

ITTI方法檢測(cè)計(jì)算比較簡(jiǎn)單，實(shí)驗(yàn)相對(duì)容易操作，但是得到的顯著圖分辨率比較低，有時(shí)無(wú)法很好地檢測(cè)出圖像中的主要物體。GVBS方法計(jì)算比較復(fù)雜，在大型圖像上效率不高，不能清晰地將目標(biāo)物的邊緣和細(xì)節(jié)信息反映出來(lái)。但是相對(duì)于ITTI方法顯著性區(qū)域比較明顯，匹配率相對(duì)高。SR采用基于頻域的方法檢測(cè)顯著區(qū)域，算法簡(jiǎn)單，比較容易實(shí)現(xiàn)，在一定程度上顯示物體所處的區(qū)域，不能夠完全找出顯著性物體的確切位置和輪廓。而本文中的方法無(wú)論是在清晰度還是在顯示顯著性區(qū)域的準(zhǔn)確度方面均有一定的提高。

由人眼主觀感受可以明顯地看出本文方法顯著性檢測(cè)效果有一定的優(yōu)勢(shì)，由表2準(zhǔn)確率結(jié)果說(shuō)明本文算法對(duì)目標(biāo)的準(zhǔn)確率高于其他算法，可以將顯著性目標(biāo)更準(zhǔn)確地檢測(cè)出來(lái)。由表3的完全率結(jié)果可以看出本文檢測(cè)到顯著目標(biāo)的完整性高于其他算法，由表4的數(shù)據(jù)結(jié)果可以看出本文算法的F-Measure值高于其他三種算法，證明本文提出的顯著性檢測(cè)算法有一定的合理性和優(yōu)勢(shì)。

表2 圖像準(zhǔn)確率結(jié)果

表3 圖片完全率結(jié)果

表4 F-Measure結(jié)果圖

4 結(jié)論

本文中將卷積神經(jīng)網(wǎng)絡(luò)用于圖像顯著性檢測(cè)領(lǐng)域，該模型不依賴于目標(biāo)的形狀、環(huán)境和場(chǎng)景的變化，具有較好的魯棒性。利用卷積神經(jīng)網(wǎng)絡(luò)魯棒有效地提取顯著性特征，經(jīng)過(guò)特征融合進(jìn)行顯著性檢測(cè)。結(jié)果顯示，在主觀觀測(cè)和客觀計(jì)算結(jié)果上顯著性效果均有一定的提高，顯著性結(jié)果圖片在清晰度和準(zhǔn)確度上也有一定的提高?，F(xiàn)在大多數(shù)方法包括本文方法都停留在單目標(biāo)無(wú)法很好地處理顯著性多目標(biāo)的檢測(cè)，后續(xù)將對(duì)多顯著目標(biāo)的檢測(cè)進(jìn)行研究。

[1] BORJI A, ITTI L. Human vs. computer in scene and object recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014: 113-120.

[2] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transaction on Pattern Analysis and Machine Intelli gence, 1998, 20(11)：1254-1259.

[3] SIAGIAN C, ITTI L. Comparison of gist models in rapid scene categorization tasks[J]. Journal of Vision, 2008,8(6): 734.

[4] ITTI L, KOCH C. Computational modelling of visual attention[J]. Nature Reviews Neuroscience, 2001, 2(3):194-203.

[5] BORJI A, TAVAKOLI H R, SIHITE D N, et al. Analysis of scores, datasets, and models in visual saliency prediction[C]. International Conference on Computer Vision (ICCV), 2013: 921-928.

[6] Hou Xiaodi, HAREL J, KOCH C. Image signature: highlighting sparse salient regions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 34(4): 114-201.

[7] 李岳云，許悅雷，馬時(shí)平，等.深度卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21(1)：0053-0059.

[8] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1-8.

[9] Guo Chenlei, Zhang Liming. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J]. IEEE Transactions on Image Processing, 2010, 19(1): 185-198.

[10] LECUN Y, JACKEL L D, BOTTOU L, et al. Learning algorithms for classification: a comparison on handwritten digit recognition[M].World Scientific, 1995.

[11] BOUVRIE J. Notes on convolutional neural networks[J/OL].Neural Nets, 2006.

[12] 黃志勇，何發(fā)智，周正欽，等.一種隨機(jī)的視覺(jué)顯著性檢測(cè)算法[J].中國(guó)科學(xué)(信息科學(xué))，2011, 41(7): 683-874.

Saliency detection based on deep convolutional neural network

Li Yaru

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

Saliency detection is widely used in the field of image processing. At present, the saliency detection is mainly based on the bottom and the top, also includes some correlation or improved algorithm, and each has both advantages and shortcomings.A saliency detection algorithm based on convolution neural network is proposed in this paper. It takes use of the great power of convolution neural network in image processing to extract image features and do feature fusion, and finally forms a saliency map which is used in saliency detection. Comparing this method with the traditional detection methods, it shows that this algorithm is more effective.

convolution neural network; features; saliency detection

TP391.9

A

10.19358/j.issn.1674- 7720.2017.20.018

李亞茹.基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)[J].微型機(jī)與應(yīng)用，2017,36(20)：61-64.

航空科學(xué)基金(2013ZC15005)

2017-03-31)

李亞茹(1991-)，女，碩士，主要研究方向：視覺(jué)顯著性方法。