基于多尺度局部特征編碼與多通道特征融合的圖像場景分類

秦 芳，顧廣華,*

(1. 燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2.燕山大學(xué) 河北省信息傳輸與信號處理重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

0 引言

場景分類是計(jì)算機(jī)視覺和模式識別的重要分支，它廣泛應(yīng)用于圖像檢索、目標(biāo)檢測和行為識別等多個領(lǐng)域[1]。場景由多個基本單元組成，這些單元排列在無規(guī)律的布局中。場景圖像具有較大的類內(nèi)差異和類間相似性，當(dāng)人眼看到一幅場景圖像時可迅速做出判斷，但對于機(jī)器來說難度很大。因此，讓計(jì)算機(jī)正確理解視覺場景對于研究者來說一直是一個具有挑戰(zhàn)性的問題。在過去的幾十年中，研究者們提出了許多用于圖像場景分類的方法，其中最著名的是“詞袋”(Bag of words, BOW)模型[2]。BOW模型使用聚類方法產(chǎn)生視覺碼本，通過量化局部特征構(gòu)建“視覺詞”的出現(xiàn)頻率來表示圖像，取得了不錯的分類效果，但由于BOW模型沒考慮圖像的空間信息而影響了分類準(zhǔn)確性。因此，一些研究者提出了一系列基于BOW模型的方法來提高獲取局部空間信息的能力。如概率潛在語義分析(Probabilistic Latent Semantic Analysis, pLSA)模型[3]和貝葉斯等級模型[4]，都改善了分類效果。特別值得關(guān)注的是Lazebnik等提出空間金字塔匹配(Spatial Pyramid Matching,SPM)模型[5]，它通過將圖像分割成越來越精細(xì)的子區(qū)域，并計(jì)算每個子區(qū)域內(nèi)局部特征的直方圖來提升分類性能。然而，上述這些基于BOW的方法的性能強(qiáng)烈依賴于底層特征，例如，尺度不變特征變換(Scale Invariant Feature Transform, SIFT)或方向梯度直方圖(Histogram of Oriented Gradient, HOG)以及紋理特征。由于場景圖像的復(fù)雜性，這些底層特征無法有效實(shí)現(xiàn)精確分類。近年來，深度學(xué)習(xí)的方法不僅在語音識別、目標(biāo)識別和檢測、自然語言處理等[6-7]經(jīng)典問題上取得了巨大的成功，在許多其他實(shí)際應(yīng)用中也取得了飛躍性的突破，引起了學(xué)術(shù)界和工業(yè)界的極大興趣。

深層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)[8]是深度學(xué)習(xí)的一個流行分支，是一個由卷積、池化和全連接層組成的多層架構(gòu)，在視覺識別任務(wù)尤其是圖像分類領(lǐng)域取得了巨大成功。最大的突破之一是在ImageNet(包含1 000多個類別的圖像)大型視覺識別挑戰(zhàn)(ImageNet Large Scale Visual Recognition Challenge , ILSVRC)[9]中，CNN的識別精度比所有基于底層特征的方法高出約10%。目前，很多最近的工作[10-15]已經(jīng)證明，基于諸如ImageNet、Places等大型數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練的深層CNN的中間特征的學(xué)習(xí)，可以有效地轉(zhuǎn)移到其他有限的訓(xùn)練數(shù)據(jù)識別任務(wù)中去。

然而，CNN特征是一種全局圖像表示，更多的獲取了圖像的高頻信息，且缺少幾何不變性。因?yàn)樵枷袼卦诰矸e網(wǎng)絡(luò)中的局部鄰域內(nèi)被多次濾波和池化，圖像的局部空間信息已經(jīng)消失在聚類背景中，從而降低了分類和判別能力。為解決該問題，本文進(jìn)行了三方面的工作：1)使用局部約束線性編碼(Locality constrained linear coding, LLC)方法編碼多尺度圖像塊的深度卷積層特征；2)提取原始圖像的第一個全連接層的全局CNN特征；3)將深度卷積層的多尺度編碼特征與原始圖像在全連接層的全局CNN特征實(shí)現(xiàn)多通道融合。

1 多尺度局部特征編碼

針對底層特征無法實(shí)現(xiàn)有效分類的問題以及CNN特征的缺點(diǎn)，本文通過滑動窗提取多尺度圖像塊，并獲得其深度卷積層CNN特征，使用K-means聚類方法將提取的特征量化為視覺碼本，基于通用碼本，使用LLC方法進(jìn)行編碼獲取圖像的局部空間信息，以彌補(bǔ)底層特征與高層語義之間的差距，同時使用原始圖像的全連接層特征來有效表征場景圖像的語義信息，全局空間信息仍然被保留，并將來自于深度卷積層的中層編碼特征與來自全連接層的全局CNN特征進(jìn)行多通道融合，實(shí)現(xiàn)全局信息與局部信息的互補(bǔ)，從而獲得更加準(zhǔn)確的圖像表征。其原理框圖如圖1所示。

圖1 多尺度局部特征編碼與多通道特征融合的原理框圖
Fig.1 Multi-scale local feature coding and multi-channel feature fusion of the block diagram

1.1 獲取多尺度圖像塊的CNN特征

本文實(shí)驗(yàn)證明使用較大尺寸的圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入比相對較小的尺寸更有優(yōu)勢，采用多尺度圖像塊的卷積層特征進(jìn)行編碼來獲取圖像的局部空間信息的方法需要的特征數(shù)目不能過少。因此，首先將圖像調(diào)整為256×256的大小并轉(zhuǎn)化為灰度圖，將其用作原始圖像。然后，使用長度分別為128像素和64像素的滑動窗以16像素步長對圖像進(jìn)行采樣，提取尺度分別為128×128、64×64的圖像塊，使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(VGG-F)提取圖像塊的CNN特征。該網(wǎng)絡(luò)架構(gòu)由5個卷積層和3個全連接層組成，第1個、第2個和第5個卷積層后帶有池化層，如圖2所示。

圖2 預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)示意圖
Fig.2 Pre-trained convolution neural network architecture diagram

卷積層即一組濾波器進(jìn)行工作，其中包括濾波器的可學(xué)習(xí)權(quán)重以產(chǎn)生輸入圖像的卷積信息，通過卷積運(yùn)算，使原信號特征增強(qiáng)，并且降低噪音。池化層通過局部非線性運(yùn)算來減小輸入層的空間尺寸，減少計(jì)算量的同時保持圖像旋轉(zhuǎn)不變性。全連接采用softmax全連接，得到的激活值即卷積神經(jīng)網(wǎng)絡(luò)提取到的圖片特征。

1.2 特征編碼

使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)獲得多尺度局部圖像塊的深度卷積層特征之后，對于訓(xùn)練集的每一類圖像塊特征使用K-means聚類算法來生成具有M個聚類簇的類碼本，依次得到所有類圖像的類碼本后，進(jìn)行類碼本的級聯(lián)得到最終的通用碼本?；讷@得的通用碼本，采用局部約束線性編碼LLC[16]來獲得圖像的視覺描述符。LLC編碼用于減少重構(gòu)誤差，利用局部約束將每個描述子投影到它的局部坐標(biāo)系中，并且投影坐標(biāo)通過特征各維最大池化整合來產(chǎn)生最終的圖像表示。其目標(biāo)函數(shù)為

s.t.1Tci=1,?i

(1)

式中加號前的一項(xiàng)最小化是為了減少量化誤差，加號后的一項(xiàng)則是做出假設(shè)約束。其中，X表示從圖像中提取的一組D維局部描述符，X=[x1,x2,…,xN]∈RD×N，碼本B具有M個元素B=[b1,b2,…,bM]∈RD×N，di表示可以為每個基本向量分配不同自由度的局部適配器，并且分配的自由度與輸入描述符xi的相似性成比例。即

di=exp(dist(xi,B)/σ),

(2)

dist(xi,B)=[dist(xi,bi),…,dist(xi,bM)],

(3)

其中dist(xi,bj)表示xi與bj之間的歐式距離。σ用于調(diào)整局部適配器的權(quán)重衰減率。約束1Tci=1滿足LLC編碼的旋轉(zhuǎn)不變性要求。

2 多通道特征融合

圖像場景分類與其他分類任務(wù)不同，因?yàn)閳鼍皥D像具有較大的類內(nèi)差異和類間相似性。一些場景圖像中含有許多復(fù)雜的目標(biāo)，且其對類別的判斷十分重要。例如，圖3中的示例圖像來自于15類場景數(shù)據(jù)集中的“bedroom”和“kitchen”類，這兩類圖像中都含有多個目標(biāo)，但是能夠識別“bedroom”類場景的判別性信息來自于圖中占據(jù)面積接近三分之一的床，而識別“kitchen”類的重要部分是圖中的“電飯煲”、“灶臺”等局部信息，由此可知，局部信息對于場景圖像的分類至關(guān)重要。此外，對于場景圖像來說，圖像的全局信息是實(shí)現(xiàn)分類判別的基礎(chǔ)，無論是室內(nèi)場景中的橫向布局，抑或是室外場景的縱向結(jié)構(gòu)，或者人造場景的全局結(jié)構(gòu)，都是實(shí)現(xiàn)準(zhǔn)確分類的前提。因此，融合全局結(jié)構(gòu)信息與局部空間信息對于提高圖像場景分類準(zhǔn)確性十分重要。卷積神經(jīng)網(wǎng)絡(luò)的全連接層輸出的特征表示高層語義信息，丟失了目標(biāo)的詳細(xì)信息和場景類別的空間信息。深度卷積層特征已被證明更適合于描述對象本身以及圖像中對象之間的空間關(guān)系[17]。本文通過獲取局部圖像塊的深度卷積層特征并進(jìn)行編碼，捕獲圖像中目標(biāo)的局部信息。將來自于深度卷積層的多尺度編碼特征與來自全連接層的全局CNN特征進(jìn)行多通道融合。具體而言，獲得編碼特征與全局CNN特征后，將這兩種特征等比例加權(quán)級聯(lián)，實(shí)現(xiàn)圖像全局與局部信息的融合，獲得更高效的圖像表示。即

ffinal=[w1·f1,w2·f2],

(4)

其中，w1=w2=0.5，f1表示多尺度圖像塊卷積層的編碼特征，f2表示圖像的全連接層的CNN特征，用最終的融合特征表示來訓(xùn)練分類器進(jìn)行預(yù)測。

圖3 場景類示例圖像
Fig.3 Scene class example image

3 實(shí)驗(yàn)結(jié)果與分析

本文針對所提出的問題在兩個常用場景類數(shù)據(jù)集上進(jìn)行了評估，實(shí)驗(yàn)分為3個部分：第一部分比較了單個通道特征與多通道融合特征的分類精度；第二部分探究了聚類碼本的不同大小對于分類結(jié)果的影響；第三部分探究了圖像塊不同尺度對于分類結(jié)果的影響。最后，根據(jù)三部分實(shí)驗(yàn)所獲得的最優(yōu)參數(shù)在兩個通用場景數(shù)據(jù)集上進(jìn)行了分類判別實(shí)驗(yàn)。

3.1 數(shù)據(jù)集

1) Lazebnik等的15類場景數(shù)據(jù)集(15-category)。該數(shù)據(jù)集共包含4 486張灰度圖像，用于每個類別的圖像數(shù)量范圍為200～400。對于每個類別，隨機(jī)選取80幅圖像用于訓(xùn)練，20幅圖像測試。最終分類精度取10次實(shí)驗(yàn)的平均值。

2) SUN397數(shù)據(jù)集是Xiao等[18]提出的場景識別數(shù)據(jù)集，包含397個場景類別，是當(dāng)前最大的場景類別數(shù)據(jù)集。包含室內(nèi)和室外場景圖像，每個類別至少包含100幅圖像。為了降低計(jì)算量，本文從中選出15個類別的圖像組成一個新的數(shù)據(jù)集SUN397-15，其中包括“ball_pit”, “ocean”, “bamboo_forest”, “electrical_substation”, “wave”, “bow_window_outdoor”, “subway_interior”, “sky”, “bullring”, “pagoda”, “ice_skating_rink_indoor”, “skatepark”, “shower”, “train_station_platform”, “rock_arch”。對該場景數(shù)據(jù)集同樣選取80幅圖像用于訓(xùn)練，20幅圖像用于測試。最終的分類精度取10次實(shí)驗(yàn)的平均值。

3.2 多通道對比

將深度卷積層的多尺度編碼特征與全連接層的全局CNN特征進(jìn)行多通道融合，實(shí)現(xiàn)圖像的高效表征。為了驗(yàn)證多通道融合特征的優(yōu)越性，在實(shí)驗(yàn)中對兩個數(shù)據(jù)集的圖像分別提取不同通道的CNN特征，進(jìn)行分類判別，分類精度如表1所示。表1中Channel1表示最后一個卷積層的CNN特征，Channel2表示第一個全連接層的CNN特征，Channel3表示第二個全連接層的CNN特征。

由表1可見，在兩個數(shù)據(jù)集上使用單通道特征進(jìn)行分類判別時，第一個全連接層的識別精度均高于其他單通道特征的識別精度。當(dāng)使用多通道融合特征進(jìn)行分類比較時，可以發(fā)現(xiàn)在SUN397-15數(shù)據(jù)集上，最后一個卷積層與第一個全連接層的雙通道融合特征的識別精度最好，而在15-category數(shù)據(jù)集上，最后一個卷積層與第一個全連接層的雙通道融合特征與兩個全連接層的融合特征的識別精度相當(dāng)。由于卷積神經(jīng)網(wǎng)絡(luò)是通過一系列濾波器與輸入圖像進(jìn)行卷積、池化來層層抽象，最后一個卷積層還含有圖像的部分局部信息，而到達(dá)全連接層時，獲取的已經(jīng)是圖像的高層語義信息。因此，本文為了彌補(bǔ)局部信息的缺失，采用圖像塊最后一個深度卷積層的特征進(jìn)行編碼，同時，與第一個全連接層的全局語義信息進(jìn)行多通道融合，來更有效的表征圖像。

表1 多通道特征的分類結(jié)果比較Tab.1 Classification results comparison of multi-channel

3.3 碼本大小的選擇

K-means聚類的缺點(diǎn)之一是對K值的選擇敏感，因此本文中選擇K=10，K=50，K=100，K=150這四種不同大小的類碼本執(zhí)行聚類，依次得到每個類別的視覺碼本，再將所有類碼本級聯(lián)獲得通用碼本?；谠摯a本，使用LLC編碼方法獲得多尺度局部圖像塊的編碼特征，并進(jìn)一步將其與原始圖像的第一個全連接層的全局CNN特征級聯(lián)，實(shí)現(xiàn)多通道融合，在15-category數(shù)據(jù)集上比較了分類準(zhǔn)確性，分類結(jié)果如表2所示。

表2 不同大小類碼本的分類結(jié)果比較Tab.2 Classification results comparison of different size codebook

由表2可見，隨著類碼本的增大，編碼特征和融合特征的分類精度在15-category數(shù)據(jù)集上均為先增加后減小。且當(dāng)類碼本大小為K=100時，編碼特征和融合特征都可以獲得最好的分類精度。對于LLC編碼來說，在一定范圍內(nèi)，類碼本越大，編碼特征的分類效果越好。但碼本過大，編碼特征會過于稀疏，反而影響分類效果。且在一幅實(shí)際場景圖像中，包含的視覺目標(biāo)也是有限的。因此，在本文的實(shí)驗(yàn)中，選擇K=100作為類碼本的大小，采用K-means聚類來構(gòu)建視覺通用碼本。

3.4 多尺度對比

實(shí)驗(yàn)中選擇不同尺度的滑動窗進(jìn)行局部圖像塊采樣，獲取其深度卷積層特征并進(jìn)行LLC編碼，分別對不同尺度圖像塊的編碼特征進(jìn)行分類判別。進(jìn)一步將編碼特征與原圖在第一個全連接層的全局特征相融合，在15-category數(shù)據(jù)集上比較了分類精度，結(jié)果取10次實(shí)驗(yàn)的平均值，分類結(jié)果如表3所示。表3中Scale1表示采樣64×64的圖像塊，Scale2表示采樣128×128的圖像塊，Scale1+Scale2表示采樣兩個不同尺度的局部圖像塊。

表3 多尺度編碼特征與融合特征的分類結(jié)果比較Tab.3 Classification results comparison of multi-scale coding features and fusion features

由表3可知，當(dāng)使用多尺度圖像塊的深度卷積層特征進(jìn)行LLC編碼時，其分類精度比單尺度圖像塊的編碼特征高，且較大尺度圖像塊編碼特征的分類效果比較小尺度好。進(jìn)一步將局部圖像塊的編碼特征與第一個全連接層的全局CNN特征進(jìn)行多通道融合，使用兩個尺度的圖像塊編碼特征得到的融合特征相比兩個單尺度融合特征的分類精度都高。多尺度融合特征比多尺度編碼特征的分類精度提高了3.1%，這進(jìn)一步說明了多通道融合的有效性。因此，本文在最終的分類判別實(shí)驗(yàn)中，采用多尺度多通道融合特征來表征圖像。

3.5 分類判別

如前所述，本文采用多尺度局部圖像塊的深度卷積層特征進(jìn)行LLC編碼，獲得編碼特征，進(jìn)而與原始圖像的第一個全連接層的全局CNN特征實(shí)現(xiàn)多通道融合，以獲得整合了局部與全局信息的有效圖像表示。將編碼特征與融合特征在SUN397-15和15-category兩個數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)比較，識別精度取10次實(shí)驗(yàn)的平均值，分類結(jié)果如表4所示。同時，為了更好地驗(yàn)證本文方法的有效性，將原始圖像的第一個全連接層的CNN特征進(jìn)行分類判別，作為比較的基準(zhǔn)。表4中CNN1表示原始圖像CNN特征的分類精度，LLC1表示使用LLC編碼獲得的多尺度局部圖像塊的編碼特征的分類精度，LLC1+CNN1表示多通道融合后的分類精度。

表4 兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.4 Experimental results on both datasets

由表4可見，使用LLC方法獲得多尺度局部圖像塊的深度卷積層編碼特征，與原始圖像在第一個全連接層的全局CNN特征進(jìn)行多通道融合，基于融合特征做分類判別時，在SUN397-15數(shù)據(jù)集上的分類精度達(dá)到98.0%，相比原始圖像的全局CNN特征的分類精度提高了1.5%。在15-category數(shù)據(jù)集上的分類精度達(dá)到92.9%，相比原始圖像CNN特征的識別精度提高了4.5%。由此可以看出本文將局部與全局信息融合的方法對于場景圖像的分類判別是有效的。

此外，針對15類場景數(shù)據(jù)集，本文與其他場景分類方法[5,19-22]也進(jìn)行了實(shí)驗(yàn)對比，結(jié)果如表5所示。將多尺度局部圖像塊的編碼特征整合到全局CNN特征中的多通道融合方法，相比表5中的其他方法在分類精度上都有所提高，不僅比傳統(tǒng)的使用SPM方法進(jìn)行場景識別的分類精度提高了11.5%，而且達(dá)到了與文獻(xiàn)[22]中相當(dāng)?shù)姆诸愋Ч?，但本文使用的網(wǎng)絡(luò)結(jié)構(gòu)比文獻(xiàn)[22]簡單，且算法復(fù)雜度更低。由此表明，整合局部信息對于使用深度特征進(jìn)行場景分類十分有效。

4 結(jié)論

本文為了克服CNN特征無法有效表征圖像局部信息的缺點(diǎn)，通過將多尺度局部圖像塊的深度卷積層特征進(jìn)行LLC編碼，并將編碼特征與原始圖像的全連接層CNN特征進(jìn)行多通道融合，從而獲得整合了局部結(jié)構(gòu)信息與全局空間信息的有效圖像表示。在兩個典型數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，表明了本文所提出的場景分類方法的優(yōu)越性。同時，也驗(yàn)證了多尺度圖像塊的編碼特征優(yōu)于單尺度圖像塊的編碼特征，且多通道融合特征優(yōu)于單通道CNN特征。

表5 15-category數(shù)據(jù)集上不同分類方法比較Tab.5 Comparison of different classification methods on the 15-category dataset