基于聯(lián)合子空間與多源適應(yīng)學(xué)習(xí)的多標簽視覺分類

嚴良達,陶劍文

(1.浙江工商職業(yè)技術(shù)學(xué)院數(shù)字傳媒學(xué)院，浙江寧波 315012；2.浙江大學(xué)寧波理工學(xué)院信息科學(xué)與工程學(xué)院，浙江寧波 315010)

?

基于聯(lián)合子空間與多源適應(yīng)學(xué)習(xí)的多標簽視覺分類

嚴良達1,2,陶劍文2

(1.浙江工商職業(yè)技術(shù)學(xué)院數(shù)字傳媒學(xué)院，浙江寧波 315012；2.浙江大學(xué)寧波理工學(xué)院信息科學(xué)與工程學(xué)院，浙江寧波 315010)

傳統(tǒng)的視覺分類方法普遍忽視了多標簽間的相關(guān)性和大量相關(guān)源數(shù)據(jù)的判別信息.為此，基于共享子空間和領(lǐng)域適應(yīng)學(xué)習(xí)方法，針對多標簽視覺分類問題，提出了一種新的聯(lián)合子空間和多源適應(yīng)學(xué)習(xí)的多標簽視覺分類方法，簡稱為多源適應(yīng)多標簽學(xué)習(xí)(Multi-Source adaptation Multi-Label learning,MSML).MSML將綜合考慮多標簽相關(guān)性、靈活的特征相似性嵌入和多源模型的適應(yīng)學(xué)習(xí)等目標，并將其融為一個統(tǒng)一的學(xué)習(xí)模型，其全局最優(yōu)解只需通過一個廣義特征分解問題的求解便可獲得.在視頻概念識別、自動圖像標注等實際應(yīng)用中進行比較分析，結(jié)果顯示了本文方法的有效性和優(yōu)越性.

共享子空間學(xué)習(xí)；多源適應(yīng)學(xué)習(xí)；視覺分類；多標簽學(xué)習(xí)

近年來，隨著Internet和“海量”存儲技術(shù)的飛速發(fā)展，以及個人手持視頻設(shè)備的便捷化，Web上和用戶個人存儲設(shè)備中積累了大量視覺(圖像和視頻)資源，如何對這些資源進行有效瀏覽和索引以便從中獲取所需的資源是目前視覺檢索應(yīng)用領(lǐng)域面臨的一項極具意義的現(xiàn)實需求和實踐挑戰(zhàn).在視覺檢索應(yīng)用中，對象概念標注是一項關(guān)鍵的任務(wù)[1].視覺標注任務(wù)本質(zhì)上可看成一種分類問題，如果將語義概念或標記作為對象類別標簽，則可利用機器學(xué)習(xí)算法來解決視頻概念識別和圖像自動標注等視覺應(yīng)用問題[2].

通常，每張圖像中可能包含多個興趣目標或區(qū)域，這意味著視覺對象本質(zhì)上存在多義性，因而可被標注為多個標記或標簽.例如，著名的TRECVID2005數(shù)據(jù)集[3]便包含多標簽屬性，其含有近71.32%的視頻片段屬于多類標簽對象[2]，其中一些甚至包含11個類標簽或概念.另外，隨著社會視覺網(wǎng)站(如Flicker圖像和YouTube視頻等[2])的興起和發(fā)展，我們將能獲得大量的多標簽視覺資源.直觀上來說，多個標簽之間的相關(guān)性可反映出包含該標簽圖像之間的語義相似性[4]，因此，已有大量研究致力于將視頻概念識別或檢測和圖像標注問題轉(zhuǎn)化為多標簽學(xué)習(xí)框架[4-6].針對多標簽學(xué)習(xí)問題，傳統(tǒng)學(xué)習(xí)方法大多考慮分解學(xué)習(xí)的方式，即逐一將每個標簽作為一個二元分類問題來處理，其主要缺陷在于未能考慮不同標簽之間的語義相關(guān)性.近年來，為了充分利用多個標簽間的本質(zhì)相關(guān)信息，研究者們已提出多種有監(jiān)督和半監(jiān)督多標簽學(xué)習(xí)算法[1，5-6]，其分別在克服基于機器學(xué)習(xí)的視覺標注中所存在的“語義鴻溝”等問題方面取得了顯著成效.

半監(jiān)督學(xué)習(xí)研究表明，在許多實際應(yīng)用中，尤其是在訓(xùn)練數(shù)據(jù)較少的情況下，充分利用領(lǐng)域內(nèi)無標簽數(shù)據(jù)對目標學(xué)習(xí)是有利的，其不但能提升學(xué)習(xí)性能，還能減少標注視覺訓(xùn)練數(shù)據(jù)所需的人力耗費.因此，在多標簽視覺分類問題中，基于流形假設(shè)思想[7]，即假定視覺上相似的對象應(yīng)該具有相似的標簽屬性，從而可采用半監(jiān)督流形排序算法[1,5]來有效預(yù)測數(shù)據(jù)集中未標注對象的標簽.該算法過程雖直觀且一定程度上有效，但尚存一些問題有待進一步解決[4,6-9].

在機器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域，研究者們已提出一些融合多標簽相關(guān)性的學(xué)習(xí)算法，并取得了較好的分類結(jié)果,Zhang等[10]和Ji等[6]分別提出基于共享子空間的多任務(wù)和多標簽學(xué)習(xí)框架；Nie等[7]提出靈活流形嵌入(Flexible Manifold Embedding,FME)半監(jiān)督學(xué)習(xí)框架，其拓展了流形學(xué)習(xí)思想的實際適應(yīng)范圍;基于FME思想，Yang等[1]提出了一種基于共享子空間的多標簽學(xué)習(xí)框架LMGE.本質(zhì)上來講，LMGE是多任務(wù)子空間學(xué)習(xí)和FME框架的統(tǒng)一體，但是，面對帶標簽的訓(xùn)練數(shù)據(jù)量小或不充分的情況，LMGE依然難以取得可靠的學(xué)習(xí)性能.近年來所提出的領(lǐng)域適應(yīng)學(xué)習(xí)(或領(lǐng)域遷移學(xué)習(xí))(Domain Adaptation Learning,DAL)[9]技術(shù)具有一定的優(yōu)勢，利用DAL技術(shù)，多標簽數(shù)據(jù)集及其相應(yīng)的多標簽間的相關(guān)性等判別信息能被有效遷移到目標領(lǐng)域多標簽學(xué)習(xí).因此，受DAL和子空間學(xué)習(xí)方法[13]的啟發(fā)，針對視覺分類問題，本文提出了一種新穎的基于共享子空間學(xué)習(xí)的多源適應(yīng)多標簽(Multi-Source adaptation Multi-Label,MSML)分類方法，以同時解決上述多標簽學(xué)習(xí)面臨的問題.

1 理論方法

1.1 問題描述

為了增強目標領(lǐng)域多標簽學(xué)習(xí)性能，本文所提框架需要同時實現(xiàn)三個主要目標：① 同時挖掘目標領(lǐng)域多標簽間的相關(guān)性信息；② 有效橋接多源領(lǐng)域判別信息，以更好輔助目標領(lǐng)域多標簽學(xué)習(xí)；③ 充分利用目標領(lǐng)域(尤其是大量無標簽數(shù)據(jù)集的)潛在先驗信息，以擴大目標領(lǐng)域判別信息.本文所提方法將聯(lián)合實現(xiàn)共享子空間學(xué)習(xí)和多源模型遷移利用，并最終形成一個相互增強優(yōu)化的統(tǒng)一模型，其核心結(jié)構(gòu)為靈活的圖Laplacian正則化多源適應(yīng)學(xué)習(xí)框架，其優(yōu)點在于可充分利用領(lǐng)域內(nèi)大量標簽和無標簽數(shù)據(jù)結(jié)構(gòu)，可有效提升目標學(xué)習(xí)性能.

1.2 MSML形式

(1)

其中vi∈Rd×1和pi∈Rr×1分別為第i類在原始空間和共享子空間中的分類權(quán)值向量，Θ∈Rd×r為低維共享子空間變換矩陣，wi=vi+Θpi，r為低維子空間的維數(shù).另外，為了保持視覺特征低維嵌入的一致性，需構(gòu)造一個基于X的鄰接關(guān)系圖G=X,S，其中S為鄰接關(guān)系權(quán)值矩陣，其元素Sij(i,j=1,2,…,n)定義為

(2)

設(shè)η為一較大常量(實驗中設(shè)置η=106)，定義對角矩陣U∈Rn×n，如果xi為帶標簽數(shù)據(jù)，則對角元素Uii=η，否則Uii=0.為了更好地利用領(lǐng)域內(nèi)無標簽數(shù)據(jù)，引入一個預(yù)測標簽矩陣F=[F1,F2,…,Fn]T∈Rn×c，其中Fi為xi的預(yù)測標簽向量，則F應(yīng)該在鄰接圖G和真實標簽矩陣Y上同時滿足平滑一致性，即F可通過下式優(yōu)化獲得

(3)

其中Fit為Fi的第t個元素.根據(jù)目標函數(shù)(3)式，F(xiàn)也可作為圖嵌入多標簽預(yù)測矩陣.與現(xiàn)有的基于圖Laplacian正則化半監(jiān)督學(xué)習(xí)方法不同，本文提出同時學(xué)習(xí)圖嵌入多標簽預(yù)測矩陣和目標分類器，其聯(lián)合學(xué)習(xí)形式描述為

(4)

其中，μ≥0和α≥0為兩個正則化參數(shù)；L為某種損失函數(shù).本文將采用最小平方損失函數(shù).

另外，為了橋接利用多源(設(shè)A個)領(lǐng)域判別信息，約束目標預(yù)測標簽向量與多源模型預(yù)測標簽向量應(yīng)盡量一致[15]，為此，定義如下多源模型重構(gòu)函數(shù)

(5)

其中，A為源領(lǐng)域數(shù);γa為第a個源領(lǐng)域模型的預(yù)測權(quán)值;Fa為第a(a=1,…,A)個源領(lǐng)域模型對目標數(shù)據(jù)的預(yù)測標簽矩陣.注意到

(6)

(7)

在(7)式中，當(dāng)β=0時，MSML退化為LMGE[1]；當(dāng)α=0時，忽略標簽相關(guān)性，則MSML變?yōu)閳D正則化多源適應(yīng)學(xué)習(xí)框架MSDA；當(dāng)α=0且β=0時，MSML退化為FME模型[7]；當(dāng)μ=0且β=0時，MSML退化為基于圖的標簽傳播模型LLGC[16].因此，LMGE，F(xiàn)ME和LLGC均為MSML的特殊形式.

1.3 算法優(yōu)化

(8)

將(8)式代入(7)式，優(yōu)化目標函數(shù)變?yōu)?/p>

(9)

對上式求W的偏導(dǎo)數(shù)并令其為0，可得

(10)

其中

(11)

將(10)和(11)式代入(9)式進而可得

(12)

在(12)式中對F求偏導(dǎo)數(shù)并令其等于0，可得

(13)

其中，

(14)

(15)

(16)

最后，MSML目標函數(shù)變?yōu)?/p>

(17)

根據(jù)Woodbury矩陣定理[17]可知

從而，(17)式可進一步寫為

(18)

其中

(19)

如下定理1說明目標函數(shù)(18)可轉(zhuǎn)化為一個廣義特征值問題.

定理1 (7)式中Θ的全局優(yōu)化解Θ*可通過求解如下率跡(Ratio trace maximization problem)最大化問題[1]獲得

(20)

其中

(21)

(22)

證明 在(18)式中，根據(jù)Woodbury矩陣定理[15]可知

(23)

其中N=M-μXB-1XT，由此可知矩陣N與優(yōu)化變量Θ無關(guān)，從而優(yōu)化問題(18)式可重寫為

令C=I-αN-1，則

從而定理得證.

定理2 上述所定義矩陣B,R,J,M,N以及C均為非奇異矩陣.

由定理1和定理2可知，C為正定矩陣，因而優(yōu)化解Θ*可通過C-1D的特征分解有效獲得.綜上，MSML算法過程如下：

算法 基于共享子空間學(xué)習(xí)的多源適應(yīng)多標簽分類.

輸出 優(yōu)化的目標分類模型W*;

1)首先執(zhí)行PCA[14]或KPCA[18]對目標矩陣X進行降維；

2)根據(jù)(11)和(21)式計算矩陣C;

3)根據(jù)(21)和(22)式計算矩陣D;

4)根據(jù)(20)式計算優(yōu)化解Θ*;

5)根據(jù)(16)式計算優(yōu)化解R*;

6)根據(jù)(13)式計算優(yōu)化解F*;

7)根據(jù)(10)式計算優(yōu)化解W*.

獲得目標優(yōu)化學(xué)習(xí)模型W*后，給定測試數(shù)據(jù)xt(t∈{l+1,…,n})，可根據(jù)W*預(yù)測其標簽向量yt=[yt1,yt2,…,ytc]，然后，MSML對{yt1,yt2,…,ytc}進行降序排序，選取最前面的k個標簽作為xt的類別標簽.

2 討論

2.1 算法復(fù)雜度

在訓(xùn)練階段，算法需要計算Laplacian矩陣L，其計算復(fù)雜度為d×n2.在目標優(yōu)化階段，算法需要計算矩陣逆和特征分解，這些操作的復(fù)雜度為max(d3,n3).通常，樣本數(shù)量n遠大于數(shù)據(jù)維數(shù)d，因此，訓(xùn)練過程的復(fù)雜度大約為n3.實驗觀察發(fā)現(xiàn)，當(dāng)圖像樣本數(shù)增大到1萬左右時，MSML算法性能依然能令人滿意.當(dāng)W獲得后，為了標注v個測試圖像，算法需要執(zhí)行c×d×v次乘法操作.注意到，對于大規(guī)模視覺數(shù)據(jù)庫，c?v且d?v，因此，本文算法可適用于大規(guī)模視覺應(yīng)用.

2.2 非線性擴展

對于多標簽學(xué)習(xí)問題，利用核技巧[18]，可將原始空間數(shù)據(jù)映射到某個再生核Hilbert空間[18]，在該空間通過核函數(shù)實現(xiàn)線性分類，即假設(shè)在該空間存在某個線性變換函數(shù)，能實現(xiàn)數(shù)據(jù)的多標簽映射.因此，給定某個非線性映射函數(shù)φ，其將原始視覺數(shù)據(jù)映射到一個再生核Hilbert空間，選定某個核函數(shù)(如RBF核、多項式核等[18])，從而實現(xiàn)MSML方法的非線性擴展.具體地，核化MSML目標函數(shù)為

(24)

文獻[19]指出，對目標函數(shù)(7)式進行KPCA[18]預(yù)處理，其能獲得與目標(24)式相同的優(yōu)化解.因此，MSML能被簡單地擴展到非線性學(xué)習(xí).

2.3 源領(lǐng)域權(quán)重γa的設(shè)置

為了度量領(lǐng)域間的分布距離,Gretton等[20]研究指出，在某個再生核Hilbert空間(RKHS)，領(lǐng)域間的分布均值差能有效度量其間的分布距離，從而提出一種最大均值差(MMD)分布距離度量準則，即經(jīng)驗的MMD度量

Ma=Dist(Xa,X)=

(25)

(26)

由(26)式可知，γa表示源領(lǐng)域?qū)δ繕祟I(lǐng)域的貢獻程度，由此，γa間接提供了一種有效選擇源領(lǐng)域的簡單方式.

3 實驗分析

根據(jù)文獻[2]實驗設(shè)置，將在TRECVID2005視頻庫和MIRFLICKR-25000圖像集[2]上分別進行視頻概念檢測和自動圖像標注應(yīng)用，以評價所提框架MSML的實際有效性，同時將與幾個經(jīng)典算法進行實驗比較，以說明MSML的學(xué)習(xí)性能優(yōu)勢.源領(lǐng)域?qū)W習(xí)模型采用經(jīng)典的支持向量機算法學(xué)習(xí)獲得.

3.1 實驗設(shè)置

3.1.1 數(shù)據(jù)集設(shè)置 TRECVID2005包含大約170小時的來自13個不同頻道的TV新聞視頻，按語言分為英語、阿拉伯語和漢語.具體地，我們采用TRECVID2005開發(fā)集中英語視頻作為學(xué)習(xí)數(shù)據(jù)，其真實標注已由LSCOM[3]定義.實驗數(shù)據(jù)采樣自該數(shù)據(jù)集中從索引141開始按升序選擇的約3000個視頻片段，前1500個片段選作相關(guān)數(shù)據(jù)集，并平均分為3個部分，以構(gòu)成三個相關(guān)的源領(lǐng)域，用以多源適應(yīng)學(xué)習(xí)，剩下的數(shù)據(jù)構(gòu)成目標數(shù)據(jù)集.對于多標簽學(xué)習(xí)任務(wù)，選擇c=35個頻繁出現(xiàn)的概念用于識別，其中17個屬于TRECVID2005，另18個屬于Columbia374[2].從每個視頻片段獲取多個關(guān)鍵幀，然后從每幅關(guān)鍵幀中抽取視覺表示特征，采用三種視覺特征類型,即帶邊方向直方圖(73維)、Gabor(48維)以及網(wǎng)格顏色矩(225維)，經(jīng)歸一化等操作將三種特征組合為一個346維的視覺特征向量.所有這些視覺向量再經(jīng)過中心化處理形成最終的數(shù)據(jù)矩陣.

MIRFLICKR-25000圖像集包含25000個下載自Flickr.com的圖像.每幅圖像平均標簽數(shù)為8.94.實驗中選擇最開始的3000幅帶索引的圖像作為數(shù)據(jù)集，同時從中選擇c=33個標簽作為數(shù)據(jù)集的真實標注，從而每幅圖像的平均標簽數(shù)為3.97，另從中選取最開始的2000幅圖像作為相關(guān)數(shù)據(jù)集，并平均劃分為5個部分，以構(gòu)成5個相關(guān)的源領(lǐng)域，最后的1000幅圖像選擇目標領(lǐng)域數(shù)據(jù)集.實驗中，采用詞包(bag-of-words)模型[2]來實現(xiàn)特征檢測和Flickr圖像表示.

3.1.2 評價準則 為了比較公平性，利用平均精度(Average Precision,AP)和平均精度均值(Mean Average Precision,MAP)來度量所提方法在視頻概念檢測和圖像標注上的學(xué)習(xí)性能，MAP度量在所有語義概念或標簽上的平均AP，其為描述了整體評價結(jié)果.

3.1.3 比較方法 對所提方法MSML，特別探討2種特殊情況，即α=0和β=0分別對應(yīng)為基于靈活圖嵌入的多源適應(yīng)學(xué)習(xí)方法MSDA和LMGE方法(或稱為基線算法BL).另外，還將與其他領(lǐng)域適應(yīng)多標簽學(xué)習(xí)方法S-MLTL[2]進行比較.所提框架的正則化參數(shù)α和β在[10-4,102]中選擇，參數(shù)μ在{0.0001,0.001,0.01,0.1,0,0.5,1}中選擇，k=4，即選取top-4個概念作為目標標簽.本文采取網(wǎng)格搜索法，并結(jié)合交叉驗證來選取最優(yōu)參數(shù)值，每次參數(shù)設(shè)置均重復(fù)實驗5次，取其平均值作為實驗結(jié)果.實驗中記錄最高的交叉驗證精度及其對應(yīng)的參數(shù)值對.

3.2 實驗結(jié)果

3.2.1 視頻概念檢測 在本實驗中，從視頻數(shù)據(jù)集中取出最后的1000個視頻片段作為測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集大小從100逐步增加到800，其中帶標簽數(shù)據(jù)為3×c，即每類3個標簽樣本.由于選取的訓(xùn)練樣本數(shù)相對較少，使得某些概念并未出現(xiàn)在標注數(shù)據(jù)中，因此，僅分析其中的20個概念的標注結(jié)果.當(dāng)取目標訓(xùn)練樣本數(shù)n=1000時，所提方法MSML的檢測結(jié)果及相應(yīng)的參數(shù)值如表1所示，其中最好結(jié)果以黑體加粗表示.在表1中，同時給出了各算法在20個概念上的MAP值，以顯示各算法的整體性能.從表1可得出如下結(jié)論：① 基線方法在絕大多數(shù)概念上的檢測精度均低于其他方法，這說明領(lǐng)域適應(yīng)學(xué)習(xí)方法的有效性；② 在忽略共享特征子空間學(xué)習(xí)的情況下，MSDA方法難以取得和所提方法MSML相當(dāng)?shù)臋z測性能，這說明本文所提方法中共享特征子空間的學(xué)習(xí)能較好地編碼概念間的相關(guān)信息，從而有助于進一步的概念檢測；③ 所提方法在相當(dāng)多的概念檢測上與現(xiàn)有方法S-MLTL的性能相當(dāng)或甚至優(yōu)于S-MLTL.可能的原因在于兩個方面：一方面可能是共享子空間的學(xué)習(xí)能有效發(fā)掘不同概念間的相關(guān)信息；另一方面可能是多源適應(yīng)學(xué)習(xí)更有利于知識的有效遷移.

表1 聯(lián)合子空間和多源適應(yīng)學(xué)習(xí)的視頻概念檢測AP(%)

圖1 目標視頻訓(xùn)練樣本數(shù)對不同方法的MAP性能影響

另外，圖1給出了在不同目標訓(xùn)練樣本數(shù)下各檢測方法的MAP值，從該圖可看出:① 在所有數(shù)據(jù)集下，所提方法MSML的MAP均優(yōu)于基線方法和MSDA(忽略共享子空間學(xué)習(xí)的情形)；② 現(xiàn)有方法S-MLTL雖然在小樣本集上取得了較好性能，并且在較大樣本集上，所提方法MSML具有明顯的性能優(yōu)勢.可能原因是，充足的樣本數(shù)能較好地呈現(xiàn)樣本的分布特征，從而有利于MSML更好地學(xué)習(xí)共享子空間的結(jié)構(gòu).

3.2.2 圖像標注 選取圖像數(shù)據(jù)集中最后的1000個圖像作為測試樣本集，訓(xùn)練集大小從100到1000逐步變化，相應(yīng)的不同方法的MAP值如圖2所示.同時，各方法在所有33個圖像概念上的標注精度在表2中給出，其中目標訓(xùn)練樣本數(shù)，最好結(jié)果以黑體加粗表示，所提方法MSML所對應(yīng)的模型參數(shù)值也列于表中.從圖2和表2分別可看出:① 所提方法MSML(包括MSDA)隨著樣本數(shù)逐步增加，其標注性能呈上升趨勢，而現(xiàn)有方法S-MLTL在圖像標注MAP上相對于目標圖像訓(xùn)練樣本數(shù)變化不太敏感；② 在所有目標圖像訓(xùn)練集上，所提方法MSML均取得了最好的圖像標注MAP值；③ 在33個圖像概念上，所提方法在大多數(shù)情況下均具有可比較或優(yōu)于現(xiàn)有方法S-MLTL的圖像標注性能.這些實驗結(jié)果進一步說明了所提方法中聯(lián)合共享子空間和多源適應(yīng)學(xué)習(xí)有助于目標領(lǐng)域?qū)W習(xí)性能.

圖2 目標圖像訓(xùn)練樣本數(shù)對不同方法的MAP性能影響

4 結(jié)束語

針對現(xiàn)有半監(jiān)督學(xué)習(xí)方法在多標簽視覺數(shù)據(jù)標注上所存在的關(guān)鍵問題，提出了一種聯(lián)合共享子空間和多源領(lǐng)域適應(yīng)學(xué)習(xí)的多標簽視覺分類方法，在優(yōu)化的共享子空間內(nèi)，橋接多個源領(lǐng)域判別模型，MSML同時實現(xiàn)了目標多標簽相關(guān)信息利用和多源領(lǐng)域判別模型的有效遷移.在視頻概念檢測和圖像自動標注應(yīng)用上驗證了所提方法的有效性.所提方法模型中正則化參數(shù)的聯(lián)合優(yōu)化選擇，以及多源判別信息的有效集成是兩個值得進一步研究的問題.

表2 聯(lián)合子空間和多源適應(yīng)學(xué)習(xí)的圖像概念標注AP(%)

[1] YANG Y,WU F,NIE F,et al.Web and personal image annotation by mining label correlation with relaxed visual graph embedding[J].IEEETransactionsonImageProcessing,2012,21(3):1339.

[2] HAN Y,WU F,ZHUANG Y,et al.Multi-label transfer learning with sparse representation[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2010,20(8):1110.

[3] DUAN L X,TSANG I W,XU D,et al,Domain transfer SVM for video concept detection.[EB/OL].[2016-04-20].http://vision.lbl.gov/conferences/cvpr/papers/0506.pdf

[4] QI G J,HUA X S,RUI Y,et al.Correlative multi-label video annotation.[EB/OL].[2016-04-20].http://131.107.65.14/en-us/um/people/yongrui/ps/acmmm07GJ.pdf

[5] ZHA Z J,MEI T,WANG J,et al.Graph-based semi-supervised learning with multiple labels[J].JournalofVisualCommunication&ImageRepresentation,2009,20(2):97.

[6] JI S W,TANG L,YU S,et al.Extracting shared subspace for multi-label classification.[EB/OL].[2016-04-05].http://leitang.net/papers/kdd692-ji.pdf

[7] NIE F,XU D,TSANG W H,et al.Flexible manifold embedding:a framework for semi-supervised and unsupervised dimension reduction[J].IEEETransactionsonImageProcessing,2010,19(7):1921.

[8] ZHU X.Semi-supervised learning literature survey[J].ComputerScience,2008,37(1):63.

[9] PAN S J,YANG Q.A Survey on transfer learning[J].IEEETransactionsonKnowledge&DataEngineering,2010,22(10):1345.

[10] ANDO R K,ZHANG T.A framework for learning predictive structures from multiple tasks and unlabeled data[J].JournalofMachineLearningResearch,2005,6(3):1817.

[11] YANG J,YAN R,HAUPTMANN A G.Cross-domain video concept detection using adaptive svms.[EB/OL].[2016-04-05].http://people.cs.pitt.edu/～kovashka/cs3710_sp15/adaption_jesse.pdf

[12] BRUZZONE L,MARCONCINI M.Domain adaptation problems:a DASVM classification technique and a circular validation strategy[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2010,32(5):770.

[13] 劉建華.基于隱空間的低秩稀疏子空間聚類[J].西北師范大學(xué)學(xué)報(自然科學(xué)版),2015,51(3):49.

[14] 伍忠東,王飛.基于PCA-GA-DBNs的人臉識別算法研究[J].西北師范大學(xué)學(xué)報(自然科學(xué)版),2016,52(3):43.

[15] DUAN L X,XU D,TSANG I W.Domain adaptation from multiple sources:A domain-dependent regularization approach[J].IEEETransactionsonNeuralNetworks&LearningSystems,2012,23(3):504.

[16] ZHOU D,BOUSQUET O,LAL T N,et al.Learning with local and global consistency[J].AdvancesinNeuralInformationProcessingSystems,2004,16(4):321.

[17] GOLUB G H,VAN L C F.MatrixComputations[M].3rd ed.Baltimore:The Johns Hopkins University Press,1996.

[18] WILLIAMS C K I.Learning with kernels:support vector machines,regularization,optimization,and beyond[J].JournaloftheAmericanStatisticalAssociation,2003,16(3):781.

[19] ZHANG C,NIE F,XIANG S.A general kernelization framework for learning algorithms based on kernel PCA[J].Neurocomputing,2010,73(4-6):959.

[20] GRETTON A,FUKUMIZU K,HARCHAOUI Z,et al.A fast,consistent kernel two-sample test[J].AdvancesinNeuralInformationProcessingSystems,2009,2010:673.

(責(zé)任編輯 孫對兄)

Multi-label visual classification based on joint subspace and multi-source adaptation learning

YAN Liang-da1,2,TAO Jian-wen2

(1.School of Information Engineering,Zhejiang Business Technology Institute,Ningbo 315012,Zhejiang,China；2.School of Information Science and Engineering,Ningbo Institute of Technology,Zhejiang University,Ningbo 315010,Zhejiang,China)

Traditional visual classification methods usually ignore the correlations among different tags,and the discriminative information existed in lots of related auxiliary source domains.In this paper on the basis of the advances of shared subspace and multi-source adaptation learning research,a novel joint shared subspace learning and multi-source adaptation multi-label(MSML)visual classification method is proposed.Specifically,MSML simultaneously considers the label correlation,flexible feature similarity embedding,and multi-source model adaptation,and integrates them into a unified learning model.The results show that the globally optimal solution of the proposed method can be obtained by performing generalized eigen-decomposition.We evaluate the proposed method on two real-world visual classification tasks such as video concept detection and automatic image annotation.The experimental results show that the proposed algorithm is effective and can obtain comparable or even superior to related works.Key words:shared subspace learning;multi-source adaptation learning;visual classification;multi-label learning

10.16783/j.cnki.nwnuz.2016.06.012

2016-04-25;修改稿收到日期:2016-07-30

教育部人文社科基金資助項目(13YJAZH084);浙江省自然科學(xué)基金資助項目(LY14F020009);寧波市自然科學(xué)基金資助項目(2014A610024)

嚴良達(1980—)，男，浙江寧波人，講師，碩士.主要研究方向為機器學(xué)習(xí)，數(shù)據(jù)挖掘.

E-mail:Jianwen_tao@aliyun.com

TP 311

A

1001-988Ⅹ(2016)06-0056-08