基于標(biāo)簽正負(fù)相關(guān)性的多標(biāo)簽類屬特征學(xué)習(xí)

黃 睿，亢瀏越

(上海大學(xué) 通信與信息工程學(xué)院，上海 200444)

0 引 言

近年來，多標(biāo)簽分類成為模式識別、數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)，并廣泛應(yīng)用于場景分類[1]、圖像標(biāo)注[2]、音樂情感分類[3]、生物信息學(xué)[4]等領(lǐng)域。

類屬特征(label-specific feature)是不同類別標(biāo)簽具有的獨(dú)特屬性特征，這些特征與該標(biāo)簽關(guān)聯(lián)性最強(qiáng)，最具有判別力。利用類屬特征可以提高多標(biāo)簽分類模型的精度[5-9]。其中，Zhang等[5]提出LIFT算法(multi-label learning with label-specific features)。LIFT通過對每類標(biāo)簽的正負(fù)樣本聚類，形成針對該標(biāo)簽的類屬特征用于分類。然而，LIFT沒有考慮標(biāo)簽相關(guān)性。Zhan等[6]通過聚類集成(clustering ensemble)將標(biāo)簽相關(guān)性引入LIFT，提出LIFTACE算法(multi-label learning with label-specific features via clustering ensemble)。LIFTACE的性能優(yōu)于LIFT，但它在構(gòu)建樣本相似度矩陣時(shí)，只考慮了屬于同一聚類中心的樣本；同時(shí)，LIFTACE對標(biāo)簽相關(guān)性的考慮并不全面。目前，對標(biāo)簽相關(guān)性的研究多集中于正相關(guān)性的有效利用，較少顧及其負(fù)相關(guān)性的作用[10-12]。

本文對LIFTACE進(jìn)行改進(jìn)，提出一種基于標(biāo)簽正負(fù)相關(guān)性的多標(biāo)簽類屬特征學(xué)習(xí)方法(multi-label learning with label-specific features based on positive and negative label correlation，LIFTPNL)。方法首先基于kNN的思想構(gòu)建全局和局部的標(biāo)簽信息矩陣，根據(jù)此矩陣計(jì)算成對標(biāo)簽的正負(fù)相關(guān)性，并引入到LIFTACE對每個(gè)類別標(biāo)簽的樣本相似度計(jì)算中，從而得到一種更有效的多標(biāo)簽分類模型。

1 標(biāo)簽的全局和局部正負(fù)相關(guān)性

設(shè)由N個(gè)樣本構(gòu)成的訓(xùn)練數(shù)據(jù)集為XL=[x1,x2,…,xN]Τ∈RN×D，D為特征維度；相應(yīng)的邏輯型類別標(biāo)簽集為YL=[y1,y2,…,yN]Τ=[l1,l2,…,lC]∈RN×C，C為類別標(biāo)簽個(gè)數(shù)。xn∈RD(1≤n≤N) 對應(yīng)的邏輯標(biāo)簽為yn∈{+1,-1}C(+1表示樣本和標(biāo)簽相關(guān)，-1表示樣本和標(biāo)簽無關(guān))。類別標(biāo)簽lc∈RN(1≤c≤C) 指示了N個(gè)樣本與第c類標(biāo)簽的相關(guān)性。

(1)

數(shù)據(jù)中不同類別的樣本數(shù)往往是不均衡的。當(dāng)屬于第c類的樣本較多時(shí)，第c類被稱為優(yōu)勢類，分類結(jié)果通常會向該類傾斜。為修正上述情況，定義第c類標(biāo)簽的重要度為θc

(2)

其中，Ic是屬于c類的樣本個(gè)數(shù)，N為樣本總數(shù)。θc會對優(yōu)勢類進(jìn)行壓制，而提高非優(yōu)勢類的權(quán)值。修正的標(biāo)簽信息矩陣ηc為

(3)

在此基礎(chǔ)上，確定類別c與c′的相關(guān)性vcc′為

(4)

2 所提算法LIFTPNL

對于標(biāo)簽c，可將訓(xùn)練樣本分為正樣本集合Pc和負(fù)樣本集合Nc。 如果訓(xùn)練樣本具有標(biāo)簽c，則屬于集合Pc； 否則屬于集合Nc， 即

Pc={xn|(xn,yn)∈(XL,YL),ync=+1}
Nc={xn|(xn,yn)∈(XL,YL),ync=-1}

(5)

(6)

這里，Sc′=(Sc′ij)N×N為連接矩陣，指示在類別標(biāo)簽c′下樣本間的連接關(guān)系。對于樣本xi和xj， 有

(7)

(8)

其中，φc(xn)∈R2mc， dist(·) 代表樣本xn和聚類中心的歐式距離。

表1 LIFTPNL

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為驗(yàn)證本文所提算法的性能，我們分別在yeast、enron、slashdot、image、scene、language log等6個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。表2給出了所用數(shù)據(jù)集的詳細(xì)信息描述。

表2 實(shí)驗(yàn)所用數(shù)據(jù)集描述

3.2 評價(jià)指標(biāo)

為更好衡量算法的好壞，實(shí)驗(yàn)采用基于樣本的準(zhǔn)確度、基于樣本的F1-measure、基于標(biāo)簽的準(zhǔn)確度、基于標(biāo)簽的F1-measure、子集精度(Subset accuracy)、微平均(Micro F1)共6個(gè)評價(jià)指標(biāo)綜合評定。各評價(jià)指標(biāo)定義如下：

(1)基于樣本的準(zhǔn)確度：以樣本為基礎(chǔ)，估算正確預(yù)測的標(biāo)簽占預(yù)測標(biāo)簽與真實(shí)標(biāo)簽集合的比例。該值越大表示算法性能越好

(9)

(2)基于樣本的F1-measure：對每個(gè)樣本的精確度(precision)和召回率(recall)的調(diào)和平均。該值越大表示算法性能越好

(10)

(3)基于標(biāo)簽的準(zhǔn)確度：以標(biāo)簽為基礎(chǔ)，估算正確預(yù)測的標(biāo)簽占預(yù)測標(biāo)簽與真實(shí)標(biāo)簽集合的比例。該值越大表示算法性能越好

(11)

(4)基于標(biāo)簽的F1-measure：對每個(gè)標(biāo)簽的精確度(precision)和召回率(recall)的調(diào)和平均。該值越大表示算法性能越好

(12)

(5)子集精度(Subset accuracy)：該指標(biāo)用于考察預(yù)測標(biāo)簽集合與真實(shí)標(biāo)簽集合完全吻合的樣本占測試樣本集合數(shù)目的比例情況。該值越大表示算法性能越好

(13)

(6)微平均(Micro F1)：將每個(gè)標(biāo)簽都當(dāng)作一個(gè)獨(dú)立的元素，不考慮標(biāo)簽之間的區(qū)別。該值越大表示算法性能越好

(14)

3.3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文所提算法的有效性，我們將所提算法LIFTPNL與BR[14]、LLSF[8]、LIFT和LIFTACE算法進(jìn)行了對比，其中對比算法的參數(shù)設(shè)置與原文一致。LLSF中α、β和γ值分別設(shè)為0.1、0.1和0.01，迭代100次；LIFT、LIFTACE和LIFTPNL中r都設(shè)為0.1。由于不同數(shù)據(jù)集的對近鄰K的敏感程度不同，在LIFTPNL中，K在取值 {3,5,7,9,11,13,15,17,19,21} 中遍歷，取最好值。5種算法中，除LLSF是基于樣本和類屬特征重要度矩陣的乘積直接獲得分類結(jié)果外，其余算法的二分類器都選用線性核函數(shù)的支持向量機(jī)。實(shí)驗(yàn)每次隨機(jī)選擇80%的樣本作為訓(xùn)練樣本，剩余20%用于測試。重復(fù)該過程5次，取其平均值用于算法的性能比較。

表3給出了不同分類算法的性能。其中，實(shí)驗(yàn)結(jié)果采用平均值±方差的形式表示，并將最好的指標(biāo)值加粗。從表中可以看到，LIFTPNL幾乎在所有指標(biāo)上都取得最好值，除了在scene數(shù)據(jù)集上，基于標(biāo)簽的兩個(gè)評價(jià)指標(biāo)略低于LIFTACE，以及在language log數(shù)據(jù)集上，基于樣本的F1-measure評價(jià)指標(biāo)次于BR。表4給出了不同算法在所有數(shù)據(jù)集上的排序值。從表中可以看到，算法性能總體排序?yàn)長IFTPNL>LIFTACE>LIFT>BR>LLSF，本文所提算法仍是最優(yōu)。LLSF的樣本評價(jià)指標(biāo)不如BR，但標(biāo)簽評價(jià)指標(biāo)好于BR。LIFTACE在除了子集精度外的其余5個(gè)評價(jià)指標(biāo)上優(yōu)于LIFT。LIFTPNL在所有評價(jià)指標(biāo)下的排名均為第一。

表3 不同分類算法的性能比較(mean±std)

表3(續(xù))

表4 不同算法在所有數(shù)據(jù)集上的排序值

(15)

表5 Friedman檢驗(yàn)統(tǒng)計(jì)值和臨界值(N1=5,N2=6)

圖1 每個(gè)評價(jià)指標(biāo)下的所有算法的Friedman檢驗(yàn)

4 結(jié)束語

本文提出一種基于標(biāo)簽正負(fù)相關(guān)性的多標(biāo)簽類屬特征學(xué)習(xí)方法LIFTPNL。該方法是LIFTACE的改進(jìn)。首先基于kNN的思想構(gòu)建全局和局部的標(biāo)簽信息矩陣，根據(jù)此矩陣計(jì)算成對標(biāo)簽的正負(fù)相關(guān)性，并引入到LIFTACE對每個(gè)類別標(biāo)簽的樣本相似度計(jì)算中；接著采用譜聚類方法獲得聚類中心，并將原有特征轉(zhuǎn)換成類屬特征；最后，通過二分類器得到分類結(jié)果。實(shí)驗(yàn)結(jié)果表明，所提算法優(yōu)于多種多標(biāo)簽分類算法。