基于特征加權(quán)和支持向量機(jī)的圖像分類研究

杜 娟，孫君頂，2

(1．河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南焦作454000;2．“圖像處理與圖像通信”江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇南京210003)

1 引言

隨著多媒體技術(shù)和信息技術(shù)的快速發(fā)展，越來越多的信息以圖像的形式呈現(xiàn)出來并成為當(dāng)今互聯(lián)網(wǎng)的一種重要的信息載體，而且圖像已廣泛應(yīng)用于社會的多個領(lǐng)域。為了更好組織、管理和利用這些海量的圖片信息，建立有效的分類方式已成為迫切需要解決的問題。目前用于圖像分類的方法很多，如有貝葉斯分類法［1］，神經(jīng)網(wǎng)絡(luò)算法［2］，K － NN 算法［3］，支持向量機(jī)算法［4］等。其中，支持向量機(jī)從結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則出發(fā)設(shè)計(jì)，是小樣本學(xué)習(xí)中十分有效的一種學(xué)習(xí)方法。與傳統(tǒng)的學(xué)習(xí)方法相比支持向量機(jī)具有小樣本、推廣性能好、全局最優(yōu)等優(yōu)點(diǎn)。本文在研究圖像底層特征每一維向量的相對重要程度的基礎(chǔ)上，利用特征加權(quán)的方法［5］，并基于支持向量機(jī)，實(shí)現(xiàn)了圖像的有效分類。

2 圖像特征提取

圖像特征提取和對其進(jìn)行有效的描述是理解視覺內(nèi)容的關(guān)鍵，本文主要采用的是顏色和紋理特征作為分類依據(jù)。

2．1 顏色特征

顏色是圖像最基本和最直觀的特征，且對圖像大小、方向、旋轉(zhuǎn)都不敏感。常用的顏色描述方法有顏色直方圖，顏色矩，顏色分布熵等。王陳飛［6］等利用顏色直方圖實(shí)現(xiàn)了對圖像的分類，但全局顏色直方圖無法捕捉顏色組成的空間關(guān)系，本文采用符合人眼視覺特性的HSV顏色模型，并分別提取圖像的顏色直方圖和顏色低階矩特征。首先將圖像由RGB顏色空間轉(zhuǎn)換成HSV顏色空間;然后，顏色低階矩采用HSV三個分量的均值、方差和三階矩表示，得到9維的顏色矩特征。在提取顏色直方圖特征時，采取符合人類視覺特性的非均勻的量化模式將圖像的顏色量化為36個等級，具體量化方法如下式所示:

2．2 紋理特征

紋理反映了像素鄰域灰度空間分布規(guī)律，常用的描述方法如灰度直方圖的矩、灰度共生矩陣等［7］。本文采用的是灰度共生矩陣和方向紋理普描述符［8］。為了減少計(jì)算量本文將灰度級量化成16 級，計(jì)算 0°，45°，90°，135°四個方向的共生矩陣，并采用共生矩陣的能量、熵、慣性矩、相關(guān)性4個紋理參數(shù)的均值和標(biāo)準(zhǔn)差作為灰度共生矩陣紋理特征。方向紋理普描述符D－LBP(direction local binary pattern，D－LBP)描述符，描述如下:

3 特征加權(quán)計(jì)算和基于支持向量機(jī)的分類

通常我們提取圖像的某種特征之后，每一維的權(quán)重都默認(rèn)為1，同等對待。但實(shí)際上并不是每一維的特征都與分類強(qiáng)相關(guān)，有一些弱相關(guān)的特征影響著我們的分類結(jié)果，為此我們采用特征加權(quán)來提高分類的準(zhǔn)確性。

3．1 特征加權(quán)

為了實(shí)現(xiàn)特征加權(quán)，確定特征權(quán)重是關(guān)鍵。本文利用特征數(shù)據(jù)的穩(wěn)定性來判定特征的重要程度，通過計(jì)算訓(xùn)練數(shù)據(jù)每一類每一維的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差越小說明特征越穩(wěn)定，這一維特征對分類的貢獻(xiàn)就越大。假定一個訓(xùn)練集D，有M個類，每類有R個樣本，每個樣本有N維特征，其表示如下:

假設(shè)第p類第q維的特征標(biāo)準(zhǔn)差為Spq:

從而相對應(yīng)的權(quán)重系數(shù)定義如下:

從而可得到權(quán)重矩陣Wpq，如下所示:

3．2 基于SVM的分類

支持向量機(jī)的基本思想是通過非線性變換將輸入空間變換到一個高維空間，然后在這個新空間中求最優(yōu)線性分類面，這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的［9］。在自然界中大多數(shù)分類問題是非線性可分的。在這種情況下，我們可以在線性分類約束函數(shù)上增加一個松弛項(xiàng)，這樣得到的最優(yōu)分類面稱為廣義最優(yōu)分類面。相應(yīng)的判別函數(shù)為:

在支持向量機(jī)中，采用不同的內(nèi)積函數(shù)將導(dǎo)致不同的支持向量機(jī)算法，因此內(nèi)積函數(shù)的選擇對支持向量機(jī)的構(gòu)建有重要作用，本文采用高斯核函數(shù)，從而得到徑向基函數(shù)分類器:

基于SVM圖像分類的具體過程如下:

(1)訓(xùn)練數(shù)據(jù)準(zhǔn)備

將訓(xùn)練集D中每一類的每一維特征加權(quán)，從而得到新的訓(xùn)練集D'={xij'}，其中xij'表示如下:

(2)測試數(shù)據(jù)的準(zhǔn)備

將矩陣W的任意一行元素分別乘到對應(yīng)維的特征上可得到一個新的集合，M行元素即可得到M個集合，其中第p個集合表示為Dp={xij'}，其中xij'表示如下:

(3)選擇適當(dāng)?shù)膽土P系數(shù)C，通過訓(xùn)練數(shù)據(jù)對支持向量機(jī)進(jìn)行訓(xùn)練得到分類模型，用于測試這M個測試數(shù)據(jù)集合，得到M個分類結(jié)果。

(4)統(tǒng)計(jì)測試的結(jié)果，根據(jù)投票規(guī)則，某個樣本落入哪一類的概率最大，我們就把它歸到哪一類。最后統(tǒng)計(jì)出準(zhǔn)確率。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中，我們從COREL圖像庫中選取10個類別共1000幅圖像組成圖像數(shù)據(jù)庫，它們包括人物、馬匹、花朵、恐龍、大象、雪山風(fēng)景、建筑物、海邊風(fēng)景、公共汽車、食品等各100幅。隨機(jī)選取每一類的30幅作為訓(xùn)練數(shù)據(jù)，剩下的70幅作為測試數(shù)據(jù)。實(shí)驗(yàn)比較在四種圖像特征下以及特征綜合及特征加權(quán)通過支持向量機(jī)的分類結(jié)果，實(shí)驗(yàn)結(jié)果如表1所示，其中Histogram代表36維顏色直方圖，D－LBP代表16維紋理譜描述符，ColorMoment代表9維顏色矩，GLCM代表8維灰度共生矩陣紋理特征，Histogram＆D－LBP代表融合顏色直方圖與D－LBP，ColorMoment＆GLCM代表融合顏色矩與灰度共生矩陣紋理特征。

表1 圖像分類結(jié)果

從表1可以看出，由于特征的每一維對分類的重要程度不同，通過加權(quán)計(jì)算后的分類結(jié)果有了明顯的提高。同時還可看出，采用不同的底層特征分類結(jié)果不同，準(zhǔn)確率的高低主要取決于底層特征能不能很好的描述圖像的本質(zhì)特征;另外低層特征的維數(shù)也在一定程度上影響著分類結(jié)果，但考慮到計(jì)算的復(fù)雜性問題，所以選取適當(dāng)?shù)木S數(shù)是關(guān)鍵;在多種特征綜合下比在某一種特征下的分類結(jié)果正確率高。

為了進(jìn)一步驗(yàn)證本文分類算法的性能，我們將其應(yīng)用到遺跡化石圖像的分類中。圖像庫選擇10類遺跡化石圖像，每類16幅，共160幅圖像，其中部分圖像如圖1所示。實(shí)驗(yàn)中融合顏色直方圖與DLBP通過特征加權(quán)的方法，對遺跡化石圖像進(jìn)行分類，實(shí)驗(yàn)取得了較好的分類結(jié)果，分類正確率達(dá)到71%。

圖1 遺跡化石示例圖像

5 結(jié)論

本文基于特征加權(quán)及支持向量機(jī)實(shí)現(xiàn)了圖像分類，通過比較特征加權(quán)和不加權(quán)分類的結(jié)果，可以看出，采用特征加權(quán)地方法有效地提高了圖像分類效果。另外，如何有效提取圖像特征、如何增加加權(quán)效果以及考慮樣本對分類的重要程度，通過對樣本加權(quán)提高分類效果，將是本文進(jìn)一步研究的內(nèi)容。

［1］ D ong Liyan，Yuan Sensen，Liu Guangyuan，et al．Image classification based on bayesian classifier［J］．Journal of Jilin University:Science Edition，2007，45(2):249 －253．(in Chinese)董立巖，苑森森，劉光遠(yuǎn)，等．基于貝葉斯分類器的圖像分類［J］．吉林大學(xué)學(xué)報(bào):理學(xué)版，2007，45(2):249－253．

［2］ X ie Wenlan，Shi Yuexiang，Xiao Ping．Classification of natural image based on BP neural network［J］．Computer Engineering and Applications，2010，46(2):63 －166．(in Chinese)謝文蘭，石躍祥，肖平．應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對自然圖像分類［J］．計(jì)算機(jī)工程與應(yīng)用，2010，46(2):63 －166．

［3］ Y u Xiaosheng，Zhou Ning，Zhang Fangfang．A KNN based model for automatic image categorization．［J］．Zhongguo Tushuguanxuebao，2007，33(167):74 －76．(in Chinese)余肖生，周寧，張芳芳．基于KNN的圖像自動分類模型研究［J］．中國圖書館學(xué)報(bào)，2007，33(167):74 －76．

［4］ Gao Yonggang，Zhou Mingquan，Geng Guohua，et al．Image classification based on feature selection and SVMs［J］．Computer Engineering and Appfications，2010，46(5):169 －172．(in Chinese)高永崗，周明全，耿國華，等．基于特征選擇和SVMs的圖像分類［J］．計(jì)算機(jī)工程與應(yīng)用，2010，46(5):169－172．

［5］ Wang Keping．Research on key techniques of automatic image annotation［D］．Beijing:Beijing University of Posts and Telecommunications，2010．(in Chinese)王科平．自動圖像標(biāo)注的關(guān)鍵技術(shù)研究［D］．北京:北京郵電大學(xué)，2010．

［6］ Wang Chenfei，Xiao Shibin．Study of image classification based on SVM［J］．Computer and Digital Engineering，2006，34(8):74 －77．(in Chinese)王陳飛，肖詩斌．基于SVM的圖像分類研究［J］．計(jì)算機(jī)與數(shù)字工程，2006，34(8):74 －77．

［7］ S un Junding，Ma Yuanyuan．Summary of texture feature research［J］．Computer Systems ＆ Appfications，2010，19(6):245 －250．(in Chinese)孫君頂，馬媛媛．紋理特征研究綜述［J］．計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19(6):245 －250．

［8］ W u Xiaosheng．Image retrieval based on texture spectrum［D］．Jiaozuo:Henan Polytechnic University，2010．(in Chinese)毋小?。诩y理譜特征的圖像檢索技術(shù)研究［D］．焦作:河南理工大學(xué)，2010．

［9］ V apnik V．The nature of the statistical theory［M］．Zhang Xuegong，Translation．Beijing:Tsinghua University Press，2000．(in Chinese)Vapnik V．統(tǒng)計(jì)學(xué)理論的本質(zhì)［M］．張學(xué)工，譯．北京:清華大學(xué)出版社，2000．