基于線性解碼和深度回歸預(yù)測(cè)的圖像分類算法

張 鴻 伍 萍

1(武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 湖北 武漢 430065)2(武漢科技大學(xué)智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430065)3(武漢大學(xué)軟件工程國家重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430072)

?

基于線性解碼和深度回歸預(yù)測(cè)的圖像分類算法

張 鴻1，2，3伍 萍1

1(武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 湖北 武漢 430065)2(武漢科技大學(xué)智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430065)3(武漢大學(xué)軟件工程國家重點(diǎn)實(shí)驗(yàn)室 湖北 武漢 430072)

針對(duì)圖像分類研究中的分類器輸入范圍限制和縮放問題，提出一種基于線性特征解碼和深度回歸模型圖像分類算法。首先，通過線性解碼器學(xué)習(xí)低分辨率圖像的特征參數(shù)；然后，運(yùn)用學(xué)習(xí)到的特征對(duì)原始高分辨率圖像進(jìn)行卷積和池化操作，得到特征矩陣；再通過Softmax回歸模型對(duì)圖像進(jìn)行深度學(xué)習(xí)和分類；最后用距離度量算法得到圖像分類結(jié)果。實(shí)驗(yàn)結(jié)果從多方面對(duì)比和驗(yàn)證了該方法在分類效率方面超越了傳統(tǒng)的誤差反向傳播算法BP和K最近鄰分類算法KNN。

線性解碼器 回歸模型 深度神經(jīng)網(wǎng)絡(luò) 圖像分類

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)和多媒體技術(shù)的蓬勃發(fā)展，以及社交媒體的日益普及和流行，人們接觸到的多媒體數(shù)據(jù)也呈現(xiàn)出直線增長的趨勢(shì)。圖像數(shù)據(jù)在多媒體數(shù)據(jù)海洋中占據(jù)了十分重要的位置，它也逐步成為人們信息交流、經(jīng)驗(yàn)分享中的重要媒介。然而，在這些網(wǎng)絡(luò)資源庫中，大部分的圖像數(shù)據(jù)是沒有任何文本標(biāo)注的，如果單純依靠手工標(biāo)注的方式對(duì)這些紛繁復(fù)雜的圖像進(jìn)行分類和管理，則存在費(fèi)時(shí)費(fèi)力、效率低的問題。于是，如何采用合理的計(jì)算機(jī)圖像分析方法，進(jìn)行高效的自動(dòng)分類、管理及使用，一直是圖像信息處理領(lǐng)域的研究熱點(diǎn)[1-5]。

一圖勝千言，圖像的底層特征和高層語義之間存在著難以逾越的語義鴻溝[6]。為此，許多研究者提出了基于機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析的解決方法以縮小語義鴻溝，可成功應(yīng)用于提高圖像分類的準(zhǔn)確率。例如：文獻(xiàn)[7]采用誤差反向傳播算法BP，在底層特征的基礎(chǔ)上運(yùn)用機(jī)器學(xué)習(xí)的理論來得到圖像的抽象表示。但是，這種方法容易陷入局部最小值，難以達(dá)到最優(yōu)的學(xué)習(xí)效果，對(duì)復(fù)雜函數(shù)的表示能力有限，不能有效針對(duì)多重的分類問題進(jìn)行泛化。針對(duì)這些問題，Hinton在2006年提出了第三代神經(jīng)網(wǎng)絡(luò)[8]，即：深度學(xué)習(xí)方法。該方法可以通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)復(fù)雜函數(shù)逼近，展現(xiàn)出較為強(qiáng)大的從大量樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力[9]。例如：文獻(xiàn)[10]采用卷積神經(jīng)網(wǎng)絡(luò)CNN獲取圖像的特征，并構(gòu)成一幅特征映射圖來對(duì)圖像進(jìn)行分類；但這種方法需要收集大量有標(biāo)記的圖像樣本來訓(xùn)練，對(duì)訓(xùn)練集的要求比較高?？紤]到標(biāo)記樣本有限的問題，Poultney等運(yùn)用未標(biāo)記樣本集學(xué)習(xí)得到了圖像的特征表達(dá)關(guān)系[11]；Le等采用基于稀疏自編碼的神經(jīng)網(wǎng)絡(luò)從圖像中建立其高層次的特征檢測(cè)器[12]，采用無監(jiān)督的反向傳播方法，使目標(biāo)值等于輸入值，但該算法需要對(duì)輸入進(jìn)行限制或者縮放，使輸入值在[0,1]的范圍內(nèi)。然而，目前關(guān)于數(shù)據(jù)范圍的優(yōu)化取值還屬于開放性問題。

針對(duì)數(shù)據(jù)輸入范圍的限制和縮放問題，本文提出了基于線性解碼器的深度神經(jīng)網(wǎng)絡(luò)方法，本文算法的流程如圖1所示。先從原始的大圖像中隨機(jī)選擇小塊的圖像區(qū)域，然后通過線性解碼器學(xué)習(xí)到小圖像的特征參數(shù)，并將其運(yùn)用到對(duì)原始大圖像的卷積和池化操作中，得到特征矩陣。在此基礎(chǔ)上，進(jìn)行Softmax回歸分類和結(jié)果優(yōu)化，與傳統(tǒng)的基于向量模型的特征相似度度量模型相結(jié)合，提出了相應(yīng)的自動(dòng)分類機(jī)制。該網(wǎng)絡(luò)包含輸入層、隱藏層和輸出層，并且無需對(duì)輸入數(shù)據(jù)進(jìn)行限制或縮放，簡化了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的復(fù)雜度，提高了數(shù)據(jù)預(yù)處理的效率。

圖1 本文算法流程圖

1 基于線性解碼的卷積特征分析

底層特征分析一直是影響圖像語義理解和分類效率的關(guān)鍵因素。本節(jié)采用基于線性解碼器的神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像的特征學(xué)習(xí)，再利用學(xué)習(xí)到的參數(shù)在訓(xùn)練集及測(cè)試集中進(jìn)行卷積特征分析，以及池化操作得到圖像特征矩陣。

1.1 圖像特征的線性解碼算法分析

受深度學(xué)習(xí)中稀疏自編碼方法[12,13]的啟發(fā)，本文提出一種基于線性解碼器的神經(jīng)網(wǎng)絡(luò)方法。神經(jīng)網(wǎng)絡(luò)方法是模擬人類神經(jīng)網(wǎng)絡(luò)中的特性，即人類大腦中的神經(jīng)元細(xì)胞在接受刺激后會(huì)變的活躍，并在相互之間傳遞信息；通過設(shè)置網(wǎng)絡(luò)中的每一層的節(jié)點(diǎn)個(gè)數(shù)，即：神經(jīng)元個(gè)數(shù)，在神經(jīng)網(wǎng)絡(luò)的各個(gè)層次中傳遞圖像特征數(shù)據(jù)，在達(dá)到收斂閾值或者最大迭代次數(shù)時(shí)，實(shí)現(xiàn)圖像本質(zhì)特征的智能學(xué)習(xí)。模擬過程如圖1所示，LayerL1為輸入層，接受到輸入信息以后該層的神經(jīng)元被激活，處理信息后傳遞至LayerL2層，即：隱藏層；隱藏層的神經(jīng)元被激活并將處理之后的信息傳遞至LayerL3層，即：輸出層；輸出層神經(jīng)元接受信息以后，輸出該層處理后的結(jié)果。

假設(shè)集合X={x1,x2,x3,…,xi,…,xm}表示未標(biāo)記的圖像訓(xùn)練數(shù)據(jù)集，其中，xi表示輸入的第i幅圖像，m表示未標(biāo)記的圖像數(shù)據(jù)集樣本的數(shù)量。向量Y={y1,y2,y3,…,yi,…,ym}表示輸入為X時(shí)，圖像集合所對(duì)應(yīng)樣本標(biāo)記的期望輸出值，其中，yi表示輸入為第i幅圖像時(shí)的期望輸出值。本節(jié)在已有未標(biāo)記的圖像樣本集X的基礎(chǔ)上，生成一個(gè)假設(shè)模型hw,b(x)，表示輸入為x時(shí)的假設(shè)輸出，其中，w為權(quán)值向量，b為偏置向量。特征學(xué)習(xí)的過程就是求解向量w和向量b。

(1)

(2)

其中，第一項(xiàng)為均方差項(xiàng)，第二項(xiàng)為防止過度擬合添加的權(quán)重衰減項(xiàng)。nl表示網(wǎng)絡(luò)層數(shù)，λ為權(quán)重衰減參數(shù)，第三項(xiàng)為稀疏性控制的懲罰項(xiàng)，β為控制稀疏性懲罰因子的權(quán)重。

(3)

1.2 基于部分聯(lián)通網(wǎng)絡(luò)的卷積特征分析

由于神經(jīng)網(wǎng)絡(luò)方法需要訓(xùn)練網(wǎng)絡(luò)中神經(jīng)元的權(quán)值向量w和偏置向量b，而向量w和b的個(gè)數(shù)則取決于圖像分辨率的大小[8]。圖像的分辨率越大，網(wǎng)絡(luò)需要學(xué)習(xí)的向量個(gè)數(shù)越多?？梢姡瑘D像分辨率的大小直接影響參數(shù)學(xué)習(xí)的復(fù)雜度。

為此，本節(jié)提出基于部分聯(lián)通網(wǎng)絡(luò)的卷積算法，即：將圖像訓(xùn)練集中初始的圖像樣本全部切分成若干個(gè)小區(qū)域，構(gòu)成區(qū)域子集，作為神經(jīng)網(wǎng)絡(luò)的輸入層，也相當(dāng)于在原有全聯(lián)通網(wǎng)絡(luò)基礎(chǔ)上，使隱藏層神經(jīng)元只連接輸入層的一部分神經(jīng)元。通過該算法得到數(shù)據(jù)集卷積后的特征矩陣，將該矩陣作為圖像分類器的輸入。

假設(shè)集合Ω={(z1,r1),(z2,r2),…,(zi,ri),…,(zt,rt)}表示有標(biāo)記的圖像訓(xùn)練集樣本，其中t用來表示已標(biāo)記的訓(xùn)練集樣本個(gè)數(shù)，并假設(shè)標(biāo)記樣本集Ω中的圖像屬于k個(gè)不同的類別，zi表示訓(xùn)練集中的第i幅標(biāo)記樣本圖像，ri表示該圖像所屬的類別編號(hào)。假設(shè)未標(biāo)記的圖像測(cè)試集用S={s1,s2,…,si,…,sn}表示，其中si表示測(cè)試集中的第i幅圖像，n表示測(cè)試集樣本個(gè)數(shù)。假設(shè)數(shù)據(jù)集Ω和S中圖像的分辨率為a×a，從中隨機(jī)選取一塊分辨率為b×b的一個(gè)局部小塊圖像。將選取的所有局部小塊圖像數(shù)據(jù)集X={x1,x2,x3,…,xi,…,xm}作為線性解碼器的輸入，如圖1中Pathes所示。

根據(jù)1.1節(jié)的特征學(xué)習(xí)算法計(jì)算出權(quán)值向量w和偏置向量b，設(shè)置卷積運(yùn)算的步長為1，并利用從X={x1,x2,x3,…,xi,…,xm}中學(xué)習(xí)到的參數(shù)值對(duì)訓(xùn)練集Ω以及測(cè)試集S進(jìn)行卷積運(yùn)算。則在訓(xùn)練集Ω和測(cè)試集S上完成卷積后的特征矩陣分別為DConvoled_Train、DConvoled_Test，其維數(shù)大小均為為：

k×(a-b+1)×(a-b+1)

(4)

其中，k為隱藏層中的神經(jīng)元個(gè)數(shù)?？梢?，矩陣DConvoled_Train和DConvoled_Test的維數(shù)非常高，不利于訓(xùn)練分類器，很容易出現(xiàn)過擬合的現(xiàn)象，影響圖像分類效率。為此，本文采用計(jì)算圖像各個(gè)區(qū)域上的特定特征的平均值方法對(duì)圖像不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，即：池化操作。設(shè)定池化區(qū)域的大小為Dpooling，且池化操作必須作用于不重復(fù)的區(qū)域內(nèi)，則可得到池化后的特征矩陣DPooled_Train和DPooled_Test。

2 基于卷積特征的回歸預(yù)測(cè)

根據(jù)第1節(jié)中得到的訓(xùn)練集Ω與測(cè)試集S圖像的特征矩陣DPooled_Train和DPooled_Test，采用改進(jìn)的Softmax深度回歸預(yù)測(cè)模型進(jìn)行初步分類，并結(jié)合圖像的視覺特征，學(xué)習(xí)得到測(cè)試集S中未標(biāo)記樣本si所屬的語義類別。

2.1 回歸函數(shù)定義和參數(shù)求解

將訓(xùn)練集圖像的特征矩陣DPooled_Train作為該模型的訓(xùn)練樣本，對(duì)于每一個(gè)輸入的樣本(zi,ri)，該模型預(yù)測(cè)其每一種分類結(jié)果出現(xiàn)的概率值為p(ri=k|zi)，假設(shè)函數(shù)定義如下：

(5)

其中，θ1,θ2,…,θk是該模型的訓(xùn)練參數(shù)。定義函數(shù)hθ(zi)求解的代價(jià)函數(shù)為：

(6)

其中1{ri=j}為指示性函數(shù)，當(dāng)ri=j為真時(shí)，1{ri=j}=1，反之1{ri=j}=0。為了防止模型中參數(shù)的冗余，在代價(jià)函數(shù)J(θ)中加入權(quán)重衰減項(xiàng)：

(7)

進(jìn)一步，求其偏導(dǎo)數(shù)為：

(8)

通過迭代得到J(θ)的最小值，求出參數(shù)θ1,θ2,…,θk，得到訓(xùn)練好的Softmax回歸模型。然后運(yùn)用該模型來對(duì)測(cè)試集S進(jìn)行分類，通過式(5)計(jì)算出每一個(gè)樣本在每一個(gè)類別中的概率值。

(9)

2.2 未標(biāo)記測(cè)試樣本的分類方法

在未標(biāo)記的圖像訓(xùn)練集X中，除了通過基于線性解碼器的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征DPooled_feature，還可以提取圖像的視覺特征。由于2.1節(jié)只是對(duì)測(cè)試集中的每個(gè)樣本進(jìn)行了初步預(yù)測(cè)，本節(jié)在預(yù)測(cè)標(biāo)簽集合Ci的基礎(chǔ)上，在視覺特征空間中采用距離度量的算法確定最終的預(yù)測(cè)標(biāo)簽。

設(shè)從圖像訓(xùn)練集和測(cè)試集中所提取的圖像視覺特征的維數(shù)均為p，在包含m個(gè)有標(biāo)記圖像的訓(xùn)練集Ω上可得到視覺特征矩陣A∈m×p。同時(shí)在包含n個(gè)未標(biāo)記圖像的測(cè)試集Ε上得到視覺特征矩陣B∈n×p。設(shè)zi、sj分別表示矩陣A、B中的任意一個(gè)訓(xùn)練樣本和一個(gè)測(cè)試樣本的特征向量，它們之間的距離記為dij，選擇歐式距離作為zi和sj的距離度量。

在2.1節(jié)中，已經(jīng)完成了對(duì)圖像的初步分類，因此，在計(jì)算樣本間的距離時(shí)，只計(jì)算測(cè)試樣本與預(yù)測(cè)類別Ci中包括的類別的距離。然后，取dij最小值所對(duì)應(yīng)樣本的類別作為最終的測(cè)試樣本sj的預(yù)測(cè)結(jié)果，記為Li，完成圖像的分類。整個(gè)算法流程如算法1所示。

算法1 基于線性解碼和回歸預(yù)測(cè)的圖像分類算法

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與特征提取

為了驗(yàn)證上述算法的性能，本文選取了兩組圖像數(shù)據(jù)集進(jìn)行測(cè)試和驗(yàn)證。首先，從Web頁面采集了10個(gè)語義類別的圖像作為數(shù)據(jù)集，包括：鳥、馬、小狗、海豚、大象、爆炸、飛機(jī)、摩托車、汽車、溪水。其中每個(gè)類別包含100幅圖像，從中選取700幅圖像作為訓(xùn)練集，其余300幅圖像作為未標(biāo)記的測(cè)試集。此外，還使用了公共圖像數(shù)據(jù)集MSRA-MM[19]進(jìn)行了實(shí)驗(yàn)驗(yàn)證，從MSRA-MM數(shù)據(jù)庫中選取了6000幅圖像作為訓(xùn)練集，其余3000幅作為測(cè)試集。圖2顯示了10個(gè)語義的Web圖像數(shù)據(jù)的示例，其中每一列表示從一個(gè)語義類別中隨機(jī)抽取的3幅圖像樣本。此外，實(shí)驗(yàn)提取的底層視覺特征包括256-d HSV顏色直方圖、64-d LAB顏色聚合向量以及32-d Tamura方向度。

圖2 Web數(shù)據(jù)集樣本示例

3.2 實(shí)驗(yàn)結(jié)果與分析

首先將Web數(shù)據(jù)集和MRSA-MM數(shù)據(jù)集中圖像尺寸進(jìn)行歸一化，統(tǒng)一為96×96。同時(shí)，將用于1.1節(jié)中網(wǎng)絡(luò)學(xué)習(xí)的小圖像尺寸設(shè)定為8×8，且從每幅圖像中提取100幅小圖像，再從所有提取的小圖像中隨機(jī)選取100 000個(gè)樣本作為線性解碼器的輸入。由于圖像為彩色圖，需要將三個(gè)通道的值同時(shí)作為輸入層，則輸入層的神經(jīng)元個(gè)數(shù)為8×8×3，即192個(gè)；同樣，輸出層神經(jīng)元個(gè)數(shù)也為192個(gè)，且設(shè)置隱藏層的神經(jīng)元個(gè)數(shù)為400個(gè)，學(xué)習(xí)得到400個(gè)特征，如圖3所示。圖中每個(gè)小塊圖像表示所對(duì)應(yīng)的隱藏層神經(jīng)元學(xué)習(xí)到的特征值的可視化表示，可以觀察到，很多小塊都是類似圖像的邊緣部分，這有利于進(jìn)行邊緣檢測(cè)來識(shí)別圖像。同時(shí)，設(shè)置池化區(qū)域Dpooling的尺寸為19×19。

圖3 學(xué)習(xí)得到的400個(gè)隱藏層神經(jīng)元特征

為了驗(yàn)證本文方法的有效性和優(yōu)越性，選取隱藏神經(jīng)元為400個(gè)的傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)、Softmax分類、KNN分類算法，并使用精確率ACC(accuracy)作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同算法在MSRA和WEB數(shù)據(jù)集上的ACC性能比較

從表1可以看出，在隱藏層神經(jīng)元數(shù)目相同的情況下，采用Softmax分類方法的性能高于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)10.7個(gè)百分點(diǎn)。在確定分類方法后，為驗(yàn)證本文方法的有效性和優(yōu)越性，實(shí)驗(yàn)分別采用下列三種距離度量方法，即：歐氏距離度量(Euclidean Distance)、馬氏距離度量(Mahalanobis Distance)、夾角余弦(Cosine)距離度量，與本文的方法進(jìn)行對(duì)比實(shí)驗(yàn)，并使用精確率ACC(accuracy)作為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法在MSRA和WEB數(shù)據(jù)集上的ACC性能比較

由表2可見，相對(duì)于使用單一的距離度量算法，與Softmax分類方法相結(jié)合后的性能有顯著提高。同時(shí)，本文方法在三種組合算法中的性能最優(yōu)，高于Softmax+Mahalanobis Distance、Softmax+Cosine28個(gè)百分點(diǎn)和17個(gè)百分點(diǎn)。

4 結(jié) 語

本文提出的基于線性解碼器的深度神經(jīng)網(wǎng)絡(luò)，并采用改進(jìn)的Softmax回歸模型與圖像視覺特征距離度量相結(jié)合的分類算法，避免了單一使用網(wǎng)絡(luò)學(xué)習(xí)的特征矩陣或者人工提取的視覺特征矩陣帶來的分類誤差。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法在不同的圖像數(shù)據(jù)集上均取得了較好的分類性能，并且明顯超越了傳統(tǒng)的圖像分類方法。如何將該算法拓展到多標(biāo)注或多類別圖像分類中，是下一步要考慮的問題。

[1] Gudivada V N,Raghavan V V.Content based image retrieval systems[J].Computer,1995,28(9):18-22.

[2] Cavazza M,Green R,Palmer I.Multimedia semantic features and image content description[C]//Multimedia Modeling,1998.MMM’98.Proceedings.1998.IEEE,1998:39-46.

[3] He X,King O,Ma W Y,et al.Learning a semantic space from user’s relevance feedback for image retrieval[J].Circuits and Systems for Video Technology,IEEE Transactions on,2003,13(1):39-48.

[4] Han D,Li W,Li Z.Semantic image classification using statistical local spatial relations model[J].Multimedia Tools and Applications,2008,39(2):169-188.

[5] Zhang Q,Izquierdo E.Multifeature analysis and semantic context learning for image classification[J].ACM Transactions on Multimedia Computing,Communications,and Applications (TOMCCAP),2013,9(2):12.

[6] Michael S Lew,Nicu Sebe,Chabane Djeraba,et al.Content-based multimedia information retrieval:State of the art and challenges[J].ACM Transactions on Multimedia Computing,Communications,and Applications (TOMM),2006,2(1):1-19.

[7] Cigizoglu H,Kisi O.Flow prediction by three back propagation techniques using k-fold partitioning of neural network training data[J].Nordic Hydrology,2005,36(1):49-64.

[8] Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[9] Sun Z J,Xue L,Xu Y M,et al.Overview of deep learning[J].Jisuanji Yingyong Yanjiu,2012,29(8):2806-2810.

[10] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1097-1105.

[11] Poultney C,Chopra S,Cun Y L.Efficient learning of sparse representations with an energy-based model[C]//Advances in neural information processing systems.2006:1137-1144.

[12] Le Q V.Building high-level features using large scale unsupervised learning[C]//Acoustics,Speech and Signal Processing (ICASSP),2013 IEEE International Conference on.IEEE,2013:8595-8598.

[13] Hinton G E.Learning multiple layers of representation[J].Trends in cognitive sciences,2007,11(10):428-434.

[14] Hinton G E.Training products of experts by minimizing contrastive divergence[J].Neural computation,2002,14(8):1771-1800.

[15] Rifai S,Vincent P,Muller X,et al.Contractive auto-encoders:Explicit invariance during feature extraction[C]//Proceedings of the 28th International Conference on Machine Learning (ICML-11).2011:833-840.

[16] Li C H,Ho H H,Kuo B C,et al.A Semi-Supervised Feature Extraction based on Supervised and Fuzzy-based Linear Discriminant Analysis for Hyperspectral Image Classification[J].Appl.Math,2015,9(1L):81-87.

[17] Bengio Y,Courville A,Vincent P.Representation learning:A review and new perspectives[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013,35(8):1798-1828.

[18] Dong Z,Pei M,He Y,et al.Vehicle Type Classification Using Unsupervised Convolutional Neural Network[C]//Pattern Recognition (ICPR),2014 22nd International Conference on.IEEE,2014:172-177.

[19] Li H,Wang M,Hua X S.MSRA-MM 2.0:A large-scale web multimedia dataset[C] //Proceedings of the 2009 IEEE International Conference on Data Mining Workshops,Washington,2009:164-169

[20] Akata Z,Perronnin F,Harchaoui Z,et al.Good practice in large-scale learning for image classification[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(3):507-520.

[21] Abdelbary H A,ElKorany A M,Bahgat R.Utilizing deep learning for content-based community detection[C]//Science and Information Conference (SAI),2014.IEEE,2014:777-784.

[22] Ciresan D,Meier U,Schmidhuber J.Multi-column deep neural networks for image classification[C]//Computer Vision and Pattern Recognition (CVPR),2012 IEEE Conference on.IEEE,2012:3642-3649.

IMAGE CLASSIFICATION BASED ON LINEAR DECODING AND DEEP REGRESSION PREDICTION

Zhang Hong1,2,3Wu Ping1

1(CollegeofComputerScienceandTechnology,WuhanUniversityofScienceandTechnology,Wuhan430065,Hubei,China)2(IntelligentInformationProcessingandReal-timeIndustrialSystemsHubeiProvinceKeyLaboratory,WuhanUniversityofScienceandTechnology,Wuhan430065,Hubei,China)3(StateKeyLaboratoryofSoftwareEngineering,WuhanUniversity,Wuhan430072,Hubei,China)

Aiming at the problems of the limitation of classifier input range and the zooming in image classification research,this paper proposes an image classification algorithm which is based on linear feature decoding and deep regression model.First,we learn feature parameters of low-resolution image through linear decoder;secondly,by using the learned features we convolve and pool the primitive high-resolution image to obtain the feature matrix;thirdly,by using Softmax regression model we carry out deep learning and classification on image;finally,we obtain the classification results with distance metric algorithm.Experimental results contrast in many ways as well as verify that our method is superior to traditional error back propagation algorithm and K-nearest neighbour classification algorithm in classification efficiency.

Linear decoders Regression model Deep neural network Image classification

2015-03-09。國家自然科學(xué)基金項(xiàng)目(61003127,61373109);武漢大學(xué)軟件工程國家重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目(SKLSE2012-09-31)。張鴻，教授，主研領(lǐng)域：多媒體分析與檢索，統(tǒng)計(jì)學(xué)習(xí)，機(jī)器學(xué)習(xí)。伍萍，碩士生。

TP3

A

10.3969/j.issn.1000-386x.2016.11.031