多特征融合的室內(nèi)場景分類研究

孫 偉，鐘映春，譚 志，連偉烯

(廣東工業(yè)大學(xué)自動化學(xué)院，廣東廣州510006)

場景分類也被稱為場景感知、場景識別.2006年在MIT召開的首次場景理解研討會(Scene Understanding Symposium)上明確提出，場景分類是圖像離解的一個新的有前途的研究方向［1］.盡管當(dāng)前的分類方法都宣稱可以解決任何類型的場景分類問題，但目前的實驗表明這些方法通常只能夠較好解決室外場景分類問題.相比之下，室內(nèi)場景分類仍然是一個困難且具有挑戰(zhàn)性的任務(wù)［2］.文獻(xiàn)［3］中的實驗結(jié)果表明，采用同樣的特征提取和分類識別方法在室內(nèi)場景的分類精度遠(yuǎn)低于室外場景的分類精度.可見，如何提高室內(nèi)場景的分類精度具有重要意義.在早期的研究中，通常提取圖像的低級特征來實現(xiàn)場景分類，例如提取顏色，紋理和形狀等特征［4］.Szummer和Picard［5］使用這種特征來確定圖像是室外還是室內(nèi)的場景.但是，這種簡單的全局特征還不足以描述整幅圖像的特征，它在具有復(fù)雜環(huán)境背景的大數(shù)據(jù)集情況下，分類性能不佳.為了克服這個問題，Olivia和Torralba［6-7］采用并改進(jìn)了全局特征Gist.這種特征描述在室外場景識別方面性能優(yōu)異，例如對森林、山峰和郊區(qū)等場景圖像的分類精度較高，但是在室內(nèi)場景下，Gist特征的區(qū)分能力有限.David G［8］提出了一種基于尺度空間的、具有圖像縮放、旋轉(zhuǎn)和仿射變換不變性的圖像局部特征描述算子SIFT.由于SIFT具有良好的區(qū)分能力，使得它一直是許多場景識別算法中最優(yōu)先選擇的局部特征描述算子［9］.SIFT局部特征描述算子在室外場景分類上精度較高，但對室內(nèi)場景的區(qū)分能力同樣偏低.Quattoni和Torralba提出了一種室內(nèi)場景的特征描述方法，即采用Gist+ROI的方法描述場景圖像［3］.該方法采用全局特征描述算子Gist與局部特征描述方法ROI(Region of Interest)相結(jié)合的方法，對室內(nèi)場景分類表現(xiàn)出較好的結(jié)果，但感興趣區(qū)域ROI的獲取不僅需要花費大量的計算時間，而且在獲取ROI區(qū)域前需要進(jìn)行圖像分割.這不利于圖像理解.最新的研究表明，在人類對目標(biāo)的識別過程中，在場景分類之后才進(jìn)行圖像分割，而后才是目標(biāo)識別過程.P.Espinace等［10］提出了通過目標(biāo)檢測來對室內(nèi)場景分類.這種方法基于語義的中間描述，這個方法需要對目標(biāo)進(jìn)行明確的檢測.雖然這個方法具有比較好的分類效果，但此方法存在較多不足.其一是當(dāng)圖像中沒有明確目標(biāo)時就無法進(jìn)行場景分類，其二是目標(biāo)識別需要花費大量的計算時間，其三是目標(biāo)識別通常是在場景分類之后進(jìn)行，即場景分類的結(jié)果是為目標(biāo)識別提供指導(dǎo)信息.

針對當(dāng)前室內(nèi)場景識別精度普遍較低的問題，本文提出一種融合全局特征和局部特征的多特征室內(nèi)場景分類的方法.

1 室內(nèi)場景分類方法的總體架構(gòu)

由于室內(nèi)場景各個類別之間具有較高的相似性，導(dǎo)致室內(nèi)場景分類的識別精度較低.為了提高室內(nèi)場景分類的精度，本文通過改進(jìn)室內(nèi)場景圖像的特征提取來改善室內(nèi)場景識別精度.對于室內(nèi)場景圖像，單一特征只能描述它的部分屬性，從而缺少足夠的區(qū)分信息，在室內(nèi)場景類型比較相近的情況下通常不能取得較好的分類效果.此外，場景的全局特征描述和局部特征描述又各自有優(yōu)點;局部特征描述對目標(biāo)區(qū)域識別的部分特性具有良好的適應(yīng)性，在場景切換的每個目標(biāo)，包括不同視角，不同光照強(qiáng)度等情況能很好地適應(yīng);全局特征空間是使用場景的全局信息，沒有場景圖像分割的布局描述，也不需要一個清晰的目標(biāo)，便可以反映整個場景圖像的整體結(jié)構(gòu).由此，合理的融合全局特征和局部特征，不僅能在一定程度上提高室內(nèi)場景分類的精度，而且無需進(jìn)行圖像分割、ROI檢測和目標(biāo)識別等，從而提高分類效率.圖1所示為本文的室內(nèi)場景分類總體架構(gòu).

圖1 室內(nèi)場景分類方法的總體架構(gòu)Fig.1 The general steps for the indoor scene recognition

2 場景圖像特征提取

2.1 場景圖像的SIFT特征提取

局部特征描述算子(Scale Invarance Feature Transfer，SIFT)是根據(jù)多尺度圖像金字塔極值點檢測和梯度直方圖的基礎(chǔ)上，通過使用所描述的梯度方向直方圖向量附近目標(biāo)的關(guān)鍵點的計算方法.計算的主要步驟包含:精確定位尺度空間極值檢測的關(guān)鍵點，確定關(guān)鍵點的方向，生成關(guān)鍵點特征描述符等.

針對一幅場景圖像的經(jīng)典SIFT特征提取，會生成n×128的特征矩陣，其中n為關(guān)鍵點個數(shù)，128為關(guān)鍵點的特征維度.由于關(guān)鍵點的個數(shù)與場景圖像的梯度等因素有關(guān)，因此不同場景圖像的關(guān)鍵點個數(shù)不同.這就導(dǎo)致每幅場景圖像的特征點個數(shù)不同.如果以關(guān)鍵點個數(shù)最大值構(gòu)建特征矩陣，將導(dǎo)致生成的特征矩陣是稀疏矩陣，其中存在大量的0值元素.這種情況下場景圖像特征矩陣的冗余特征就非常多，導(dǎo)致場景分類效果差.因此，對經(jīng)典的SIFT特征提取方法進(jìn)行改進(jìn).步驟如下:

(1)根據(jù)Lowe的SIFT特征提取程序［11］，得到關(guān)鍵點的位置坐標(biāo).

(2)使用FCM(Fuzzy C-Means)算法，以關(guān)鍵點的位置坐標(biāo)作為特征，對關(guān)鍵點進(jìn)行聚類處理.設(shè)定聚類數(shù)目為100，即令每幅場景圖像提取100個SIFT關(guān)鍵點，聚類結(jié)果中屬于同一類的關(guān)鍵點求平均值，作為本類別的唯一關(guān)鍵點，從而生成100×128的特征矩陣;

(3)使用主成分分析方法［12］(Principle Component Analysis，PCA)對每幅圖像生成的特征矩陣降維.

2.2 場景圖像的Gist特征提取

Oliva和Torralba［6-7］從感知的場景出發(fā)，包括場景圖像最基礎(chǔ)的特征，比如:場景圖像顏色、場景圖像空間頻率以及場景圖像的紋理特征，提出了結(jié)構(gòu)化的場景，即產(chǎn)生感知Gist的經(jīng)過.Gist特征是通過模擬人的視覺來提取圖像粗略的信息，以形成簡單但足以描述場景圖像的特征，同時這種特征還能反映上下文的信息.Gist特征利用頻譜分析來捕獲圖像的空間結(jié)構(gòu)的屬性，把圖像特征按照開放度、粗糙度、自然度、擴(kuò)張度、崎嶇度等進(jìn)行提取.同時，通過具有多尺度多方向的Gabor過濾器來提取場景的輪廓信息，這也是Gist特征獲取的過程.這里的Gabor過濾器實質(zhì)是Gabor函數(shù)，如式(1)所示:

其中，x和y分別表示場景圖像對應(yīng)像素的橫坐標(biāo)和縱坐標(biāo)，σx和σy代表Gaussian因子分別在x和y方向的方差，f0表示過濾器中心位置的頻率，δ表示諧波相位差.

在實際應(yīng)用中通過使用在不同方向以及不同的空間分辨率的Gabor過濾器來對場景圖像進(jìn)行采樣濾波處理［13］，經(jīng)過濾波后的場景圖像被劃分成N×N的網(wǎng)格，在N×N的網(wǎng)格中通過求在各個方向以及各個尺度下的平均值來組成一個特征向量，它就可以作為場景圖像Gist特征來對場景進(jìn)行分類處理.本文在灰色圖像上計算場景的方向和強(qiáng)度的對比特征.其中，方向通道加濾波器在4個角度(0°，45°，90°，135°)在4個尺度，形成16個子通道;暗亮強(qiáng)度的暗亮中心環(huán)繞在4個尺度，形成4個子通道.由此，一幅場景圖像就形成20個子通道.對于一幅被分成4×4網(wǎng)格的場景圖像，生成20×4×4=320維的向量.

2.3 場景圖像的PHOG特征提取

形狀描述特征算子PHOG不僅可以表示場景圖像的的局部形狀特征，而且可以表示場景圖像的空間布局.通過逐級得分割圖像，再每個分割圖像中計算每一塊梯度方向直方圖，把每一塊求得結(jié)果通過線性求和的方式統(tǒng)一成一個特征向量.梯度方向直方圖金字塔就是由上述過程得到［14］.

本文采用Anna Bosch和Andrew Zisserman提供的程序做實驗［15］.為了獲得場景圖像的輪廓特征以及形狀描述，需要把一幅場景圖像分級分塊，其過程如圖2所示.場景圖像分割塊通常是由橫向和縱向坐標(biāo)平均分割得到，在下一階段的每個前級已被劃分成4個.計算出包含在每一級每一小塊的梯度方向直方圖，其中梯度方向直方圖是包含邊緣點，然后累加每一個梯度直方圖，最后得到一個場景圖像特征，也被稱為描述場景圖像形狀表征的PHOG特征.假設(shè)場景圖像需要分割成L級，其中第L級中的每一小塊被均分成2L塊，如此一來便會獲得4L個場景圖像塊.另外，對于每一塊的梯度直方圖會有K個區(qū)間，所以得到的PHOG特征描述就共有維.

圖2 圖像的PHOG特征描述過程Fig.2 Step of PHOG features

2.4 多特征融合

通過上述特征提取，分別得到場景圖像的SIFT特征、Gist特征和PHOG特征，其中Gist特征為全局特征，其他兩個為局部特征.為了降低特征融合的復(fù)雜度，本文采用線性組合的方式融合3種特征，即

其中K1，K2，K3為各特征向量對應(yīng)的權(quán)值，且K1+K2+K3=1.本文中，令K1=K2=K3.

3 仿真及實驗結(jié)果分析

本文使用的室內(nèi)場景圖像集是基于MIT的Oliva＆Torralba(OT)圖像庫中提取的［16］，包含如圖3所示的辦公室、臥室、廚房、起居室、商店5個類別的室內(nèi)場景圖像，每幅圖像的大小為256×256，每類圖像的數(shù)量為50幅，共250幅.CPU為intel CORE DUO 2.10GHz，內(nèi)存為6G，操作系統(tǒng)為Windows7，編程軟件為MATLAB2010.

圖35 個類別的室內(nèi)場景圖像集Fig.3 Five categories of indoor scene image sets

3.1 訓(xùn)練集與測試集的占比實驗

本文選用核函數(shù)為RBF的SVM分類器，用一對多(1vs Rest)方式拓展成多類判決.為了得到合理的訓(xùn)練集在整個場景圖像數(shù)據(jù)集中的占比，本文設(shè)定每類訓(xùn)練樣本數(shù)分別占整體數(shù)的50%、60%、70%、80%來進(jìn)行實驗，結(jié)果如表1所示.表中c為SVM懲罰參數(shù)，g為SVM核參數(shù).

表1 各個特征樣本的實驗結(jié)果Tab.1 The experimental results for each feature

由表1可知，訓(xùn)練圖像數(shù)量占總圖像數(shù)量為70%的時候分類效果最佳，由此本文采用訓(xùn)練圖像數(shù)量占總圖像數(shù)據(jù)集為70%的情況進(jìn)行實驗.

3.2 室內(nèi)場景圖像分類實驗

在場景圖像識別精度評價中，混淆矩陣主要用于比較分類結(jié)果和實際值，可以把分類結(jié)果顯示在一個混淆矩陣中.混淆矩陣的每一行代表分類的信息，每一行中的數(shù)值等于分類的值與實際值的比值.采用不同特征對場景圖像進(jìn)行訓(xùn)練和識別后得到的混淆矩陣如表2至表5所示.采用符號代表各個圖像場景類別:C1-辦公室;C2-臥室;C3-廚房;C4-起居室;C5-商店.

在表2中，對于每一行Cii(i=1，2，……5)代表第i類的分類正確率，Cij(i≠j)代表第j類錯分為第i類的錯誤率.對于每一行

表2 使用Gist特征的混淆矩陣Tab.2 Confusion matrix for using Gist feature

表3 使用SIFT特征的混淆矩陣Tab.3 Confusion matrix for using SIFT feature

表4 使用PHOG特征的混淆矩陣Tab.4 Confusion matrix for using PHOG feature

表5 使用多特征的混淆矩陣Tab.5 Confusion matrix for using muti-features

由表2和表5對比可知，使用多特征在臥室(C2)類和起居室(C4)類分類精度得到了提高，其中起居室類提高了13%，其他3類分類精度保持不變;由表3和表5對比可知，使用多特征在臥室(C2)類、廚房(C3)類、起居室(C4)類和商店(C5)類得到了大幅的提高;由表4和表5對比可知，使用多特征在臥室(C2)類、廚房(C3)類、起居室(C4)類分類精度得到了提高，只有商店(C5)類分類精度有小幅下降.由上述表格的分析可知，使用多特征相比單一特征在分類精度上確實有所提高;而且使用多特征融合的方法各個類的分類精度要比使用單一特征各個類的分類精度差異要小，避免了某一類別分類精度很高，而某一類別分類精度很低.

由表6可以看出，使用多特征方法的平均分類正確率最高，而且分類執(zhí)行時間與單一特征相比，略高于Gist和PHOG，但是顯著低于SIFT特征.由此可知，多特征方法不僅在整體上分類正確率得到了提高，而且對每個類別的分類正確率的差異最小.這說明多特征融合的方法對各個類別的識別具有比較高的一致性.

表6 各方法平均分類正確率和執(zhí)行效率Tab.6 Classfication accracy and execution efficiency for each model

4 結(jié)論

針對當(dāng)前室內(nèi)場景分類精度比較低的問題，本文提出一種全局特征和局部特征組合的方法去提高室內(nèi)場景分類的精度.本文的貢獻(xiàn)在于:(1)在對場景圖像SIFT特征提取的時候，沒有按照經(jīng)典方法對圖像進(jìn)行分塊處理，而是通過FCM聚類［17］的方式得到所需的特征描述.不僅保留了SIFT特征良好的局部描述性，而且獲得了維度統(tǒng)一的特征矩陣;(2)使用多特征融合的方式對室內(nèi)圖像進(jìn)行描述.特征矩陣不僅具有場景圖像的全局描述，而且具有局部描述，從而達(dá)到提高分類精度的目標(biāo).實驗結(jié)果表明，本文方法的分類精度相對于單一特征提高了3%左右.

［1］Bosch A，Munoz X，Marti R.A review:Which is the best way to organize classify images by content［J］.Image and vision Computing，2007，25(6):778-791.

［2］Fatih C，Ugur G，Ozgur U.Nearest-Neighbor based Metric Functions forindoor scenerecognition［J］.Computer Vision and Image Understanding，2011，115(8):1483-1492.

［3］Quattoni A，Torralba A B.Recognizing indoor scenes［C］∥ComputerVisionand PatternRecognition.Miami，USA:IEEE，2009:413-420.

［4］歐陽敏，汪仁煌，陳府庭.基于LAB顏色距離的共生矩陣的紋理特征提取［J］.廣東工業(yè)大學(xué)學(xué)報，2011，28［4］:48-50.Ouyang Y M，Wang R H，Chen F T.The extraction of teture based on the co-occurrence matrix of LAB color-difference［J］.Journal of GuangDong University of Technology，2011，28(4):48-50.

［5］Szummer M，Picard R W.Indoor-outdoor image classification［C］∥Content-Based Access of Image and Video Databases(CAIVD 98).Bomboy:IEEE，1998:42-51.

［6］Oliva A，Torralba A.Modeling the shape ofthe scene a holistic representation of the spatial envelope［J］.International Journal in Computer Vision，2001，42(3):145-175.

［7］Oliva A，Torralba A.Building the Gist of a scene:the role of global image features in recognition［J］.Progress in Brain Research:Visual Perception，2006，155(2):23-36.

［8］David G.Distinctive image features fromscal-invariant keypoints［J］.International Journal in Computer Vision，2004，60(2):91-110.

［9］Zhou H，Yuan Y，Shi C.Object tracking using SIFT features and mean shift［J］.Computer Vision and Image Understanding，2009，113(3):345-352.

［10］Espinace P，Kollar T，Soto A.Indoor scene recognition through object detection［C］∥IEEE International Conference on Rob o tics and Automation(ICRA).Anchorage，AK:IEEE，2010:1406-1 413.

［11］David G.Demo Software:SIFT Keypoint Detector［CP/OL］.［2013-10-10］.http:∥www.cs.ubc.ca/～lowe/keypoints/.

［12］王振友，鄭少杰，何遠(yuǎn)才，等.基于PCA方法的PET方法的PET圖像多示蹤劑分離［J］.廣東工業(yè)大學(xué)學(xué)報，2013，30(2):42-46.Wang Z Y，Zhang S J，He Y C，et al.The Application of compotent Analysis to the Separationof Mutipul Tracers in PET Images［J］.Journal of Guangdong University of Technology，2013，30(2):42-46.

［13］Oliva A.Demo Software:Gist descriptor［CP/OL］.［2013-10-10］.http:∥download.csdn.net/detail/miaoxikui/2886892.

［14］Bosch A，Zisserman A，Munoz X.Representing shape with a spatial pyramid kernel［C］∥Internatinal Conference on Image and VideoRetrieval(CIVP＇2007)，Ansterdan，The Netherlands:ACM，2007:401-408.

［15］Bosch A.Demo Software:PHOG descriptor［CP/OL］.［2013-10-10］.http:∥www.robots.ox.ac.uk/～vgg/research/caltech/phog/phog.zip.

［16］Oliva A.Fifteen Scene Categories Dataset［DB/OL］.［2013-10-10］.http:∥www.datatang.com/data/11991.

［17］劉洪偉，石雅強(qiáng)，梁周揚，等.面向聚類挖掘的局部旋轉(zhuǎn)擾動隱私保護(hù)算法［J］.廣東工業(yè)大學(xué)學(xué)報，2012，29(3):28-34.Liu H W，Shi Y Q，Liang Z Y，et al.Partial rotation perturbation for privacy-preserving clustering mining［J］.Journal of Guangdong Universityof Technology，2012，29(3):28-34.