基于相異性空間和多分類器融合的文本分類方法

徐安德，趙亞康，張?jiān)氯?，?楊

(1 南京農(nóng)業(yè)大學(xué) 工學(xué)院， 南京 210095；2 東南大學(xué) 機(jī)械工程學(xué)院， 南京 211189)

互聯(lián)網(wǎng)時代的文本數(shù)量以指數(shù)級增長，面對海量文本信息，文本分類(或文檔分類)顯得至關(guān)重要，文本分類是將文本合并為一個或多個根據(jù)文本內(nèi)容預(yù)定義的類別，以提高自動分類的效率[1]。其應(yīng)用領(lǐng)域廣泛，如主題檢測[2]，垃圾郵件過濾[3]、情感分析[4]等。因此，文本分類的研究具有重大意義和價值。

在分類過程中，文檔的表示非常重要。詞袋法(BoW)是一種最常用的文檔表示法，但詞袋法存在高維性、高特征實(shí)例比和稀疏性等缺陷[5]。為了解決詞袋法的缺陷，一些研究者提出一些優(yōu)化方法，如文獻(xiàn)[6]利用了結(jié)構(gòu)相似性；文獻(xiàn)[7]提出了基于損失函數(shù)的方法，但這些方法降低維數(shù)和特征實(shí)例比有限。在眾多方法中，多分類器系統(tǒng)較受歡迎，其綜合性能較好，如文獻(xiàn)[8]提出一種基于語義理解的注意力神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的多元特征融合中文文本分類模型。文獻(xiàn)[9]提出一個最大熵的情感模型，通過組合式方式來進(jìn)行維數(shù)約簡，以降低文本數(shù)據(jù)的高維性和稀疏性。但該方法的主要難題是如何確定聚類數(shù)量。文獻(xiàn)[10]在文本分類問題中應(yīng)用多分類器融合方法，利用一個較小的分類器池(2～4個分類器)，將多個分類器在管道中組合。文獻(xiàn)[11]使用隱性話題和相關(guān)詞語來豐富BoW表征，這種方式能夠增加稀疏文本的話題相關(guān)度，同時將樸素貝葉斯和最大熵分類器進(jìn)行融合。

鑒于多分類器融合的優(yōu)勢，本文也提出了一個類似方法，使用不同的相異性表征，將特征向量轉(zhuǎn)換為新的低維表示[12]。在該表征方式中，每個文檔由一個相異性向量表示，相異性向量由該文檔到表征集中所有文檔的距離組成。由于表征集包含不同類別的文檔，相同類別文檔之間的相異度應(yīng)該較小，而不同類別文檔之間的距離很大。因此，增加類別間的辨識性，在文本分類中作用重大。

1 相異性表征

目前常用的有3種相異性表征法[13]：預(yù)拓?fù)?、相異性空間和嵌入。預(yù)拓?fù)浞ㄓ衚-NN分類器，可視為基于相異性的分類器，嵌入法需要根據(jù)使用的度量對每個分類器進(jìn)行修改。本文使用了相異性空間框架，因?yàn)橄喈愋钥臻g框架具有較好的普適性，即，適用于任何度量和任何需要特征向量作為輸入的分類器。

相異性表征指的是通過計(jì)算一個文檔(或文檔集)與表征集R={p1,p2, …,pQ}的每個文檔相異度而定義的映射。表征集包括使用原型選擇方法從更大集合中選出的Q個原型。

(1)

(2)

相異性矩陣可被用作數(shù)據(jù)矩陣，其中，每行表示一個文檔，每列表示一個特征。

值得一提，相異性表征能夠緩解BoW的3個缺陷：

1) 高維性。在相異性表征后，特征數(shù)量等于表征集中的文檔數(shù)量(Q)，而表征集為訓(xùn)練集的子集(Q≤N)。鑒于大部分文本分類語料庫有著較高的特征實(shí)例比，即原始特征數(shù)(V)大于等于訓(xùn)練集中的文檔數(shù)(V≥N)。而相異性表征將減少特征數(shù)量(Q≤V)。

2) 稀疏數(shù)據(jù)矩陣。在應(yīng)用相異性表征后，每個特征表示兩個不同集合文檔之間的距離(d(xi,pk))。當(dāng)兩個文檔的所有特征值均相同時，該距離為零(但較為罕見)。由此顯著降低了稀疏性。

3) 高特征實(shí)例比。在維數(shù)約簡后，該比例也會隨之降低(Q≤N)。

2 相異性空間的多分類器融合

本文提出的方法是一個多分類器方法。其主要理念是對多個分類器的響應(yīng)進(jìn)行合并以分類文檔，在不同的相異性空間上訓(xùn)練每個分類器。

2.1 符號描述

所提方法使用了幾個不同的集合，每個集合的符號解釋如下：

2) 測試集Y由M個文檔yj∈Y={y1,y2,…,yM}組成，使用與訓(xùn)練集相同的BoW表征。

3)Xs(s={1,2,…,L}為訓(xùn)練集X的子集，每個訓(xùn)練子集Xs的大小等于原始訓(xùn)練集。

4) 表征集Rs由Q個文檔pk∈Rs={p1,p2,…,pQ}所組成。

2.2 訓(xùn)練階段

本文方法的訓(xùn)練階段包括4個模塊：自舉、表征集生成、表征變換和分類器訓(xùn)練，如圖1所示。輸入?yún)?shù)為訓(xùn)練集(X)，分類器數(shù)量(L)，以及每個表征集Rs的原型數(shù)量 (Q={q1,q2,…,qL})。很多情況下每個Rs的原型數(shù)量相等，因此q1=q2=…=qL。

圖1 訓(xùn)練階段示意圖

每個表征變換模塊的輸入集為訓(xùn)練子集Xs和表征集Rs，其中s= 1,2,…,L。鑒于所提方法是一個多分類器系統(tǒng)，多樣性非常重要[14]，因此，這兩個輸入集應(yīng)包含不同文檔。在這個前提下，自舉模塊和表征集生成模塊能夠創(chuàng)建出具有多樣性的多分類器融合池。

自舉模塊利用采樣替換生成訓(xùn)練集的不同子集。該模塊將原始訓(xùn)練集X作為輸入，并生成L個訓(xùn)練子集(X1,X2,…,XL)作為輸出。所有子集的大小均與原始訓(xùn)練集相同(N)，一些文檔多次出現(xiàn)。

表征集生成模塊使用任意原型選擇算法來生成不同的訓(xùn)練子集。該模塊將原始訓(xùn)練集X作為輸入，并生成L個表征集(R1,R2,…,RL) 作為輸出。每個表征集包含qs個文檔(qs≤N)。有必要指出，對于一個給定的訓(xùn)練集，確定性原型選擇算法總是生成同樣的子集；為了得到L個不同的表征集，可以使用L種不同的確定性原型選擇算法，或使用非確定性原型選擇算法(如隨機(jī)選擇)。

此處，提出的方法生成2×L個訓(xùn)練集的子集。其中前一半子集(X1,X2,…,XL)來自于自舉法，每個子集包含N個文檔；后一半子集 (R1,R2,…,RL)來自于原型選擇法。每個表征變換模塊接收Xs和Rs，以生成一個相異性矩陣D(Xs,Rs)：

(3)

式中：每個函數(shù)d(xi,pk)生成文檔xi的第k個特征。通過這種方式，每個相異性矩陣D(Xs,Rs)可視為一個變換集，其中包含以qs個特征(矩陣的列)表征的N個文檔(矩陣的行)。

訓(xùn)練階段的輸出為L個受訓(xùn)后的分類器(o1,o2,…,oL)，其中使用相異性矩陣D(Xs,Rs)對每個分類器os進(jìn)行了訓(xùn)練。

2.3 測試階段

所提方法的測試階段(圖2)包含3個模塊：表征變換、分類器和融合器。該階段的輸入?yún)?shù)包括1個查詢文檔(yj∈Y)，L個表征集(R1,R2,…,RL)和L個訓(xùn)練后的分類器(o1,o2,…,oL)。

圖2 測試階段示意圖

表征變換模塊將單個文檔yj∈Y和一個表征集RL作為輸入，并生成一個變換后的文檔如下：

D(yj,Rs)=[d(yj,p1),d(yj,p2),…,d(yj,pqs)]T

(4)

由此，特征向量的每個元素代表著查詢文檔yj和表征集Rs中的一個文檔pk之間的距離。 然后，將每個變換文檔D(yj,Rs)提交至各自的分類器os，后者輸出classos(yj)。接著，通過融合器模塊對L個分類器的每個輸出classos(yj)進(jìn)行合并，給出最終應(yīng)答class(yj)。合并方法主要分為3種[15]：

1) 類標(biāo)簽融合。即每個分類器響應(yīng)一個分類，其應(yīng)答作為投票使用，例如一致表決、簡單多數(shù)票，或多數(shù)票[15]；

連續(xù)四年，青辰都是滑翔大賽的冠軍。也即是說，自從他十二歲生日那天第一次參加滑翔大賽，便再沒有人能從他手中奪走冠軍的勛章。他似乎對天空有著超過常人的敏銳感知，無論是對風(fēng)向和風(fēng)速的判斷利用，還是懸空時出色的平衡掌控能力，都讓他能夠遠(yuǎn)遠(yuǎn)領(lǐng)先對手。而這一次，他更是對滑翔翼進(jìn)行了改良，使它的結(jié)構(gòu)更加接近翅膀的流線型，以便在滑翔時獲得更大的升力。

2) 支持函數(shù)融合。首先，每個分類器給出每個分類的概率；然后，通過例如后驗(yàn)概率等方式對這些響應(yīng)進(jìn)行合并；

3) 可訓(xùn)練融合器。首先，使用所有分類器的應(yīng)答，對一個分類器進(jìn)行訓(xùn)練，然后基于驗(yàn)證集或統(tǒng)計(jì)方法給出合并后的答案。本文使用多數(shù)票[15]作為類標(biāo)簽融合方法。該方法優(yōu)點(diǎn)是簡單高效，既不要求概率計(jì)算，也不需要基于驗(yàn)證集對輸出進(jìn)行訓(xùn)練，且性能優(yōu)于單個分類器。

3 實(shí)驗(yàn)分析

本文在7個數(shù)據(jù)庫上使用10折分層交叉驗(yàn)證進(jìn)行實(shí)驗(yàn)，所用數(shù)據(jù)庫的重要屬性如表1所示。分類器采用帶線性核的SVM分類器，分類器池大小(L)在10到100之間變化(步長為10)。

表1 數(shù)據(jù)庫重要屬性

3.1 評價方法

使用微觀平均F1得分(micro-F1)和宏觀平均F1得分(macro-F1)作為有效性評估指標(biāo)。F1得分計(jì)算方式如下：

(5)

式中：Recall表示召回率，Precision表示精度。但對于micro-F1和macro-F1，Recall和Precision的定義是不同的。對于micro-F1：

(6)

(7)

而macro-F1的Recall和Precision則定義為

(8)

(9)

其中：C表示類別數(shù)量，TPk表示正確將文檔分入類別ck的數(shù)量，F(xiàn)Nk表示將文檔錯誤歸入ck之外的其他類別的數(shù)量，F(xiàn)Pk表示將文檔錯誤歸入類別ck的數(shù)量。

3.2 實(shí)驗(yàn)1

本文通過實(shí)驗(yàn)1主要解決以下問題：表征集生成模塊中應(yīng)該使用哪種原型選擇算法？所提方法中表征集的最優(yōu)大小是多少？為此，本節(jié)將評價所提方法對原型選擇和表征集大小這兩個參數(shù)的敏感性。選擇來自5個不同領(lǐng)域(科學(xué)、情感、醫(yī)學(xué)、TREC1和Web)的3個數(shù)據(jù)庫(CSTR、ACM和WAP)進(jìn)行敏感性分析。

對于第一個問題，確定表征集生成模塊的原型選擇算法。本文應(yīng)用了3類不同的原型選擇算法：凝聚式、編輯式和混合式。為這3類算法分別選擇3個原型算法，其中凝聚式采用CNN；編輯式采用kNN；混合式采用ATISA2[16]。另外，還考慮了隨機(jī)原型選擇算法，因?yàn)橛嘘P(guān)相異性表征的研究表明[12]，利用隨機(jī)原型選擇得出的表征集能夠?qū)崿F(xiàn)較好的結(jié)果。因此，本文評估了兩種配置：確定性原型選擇算法(PSA)，以及非確定性原型選擇算法組合，也即隨機(jī)原型選擇(RPS)。

表2分別給出了使用兩種度量(余弦相似度和歐氏距離)，分類器組合得出的結(jié)果。其中，最好結(jié)果用粗體字表示，括號中的數(shù)據(jù)為標(biāo)準(zhǔn)偏差?！癙SA”列給出了使用CNN、kNN、和ATISA2算法選出原型后，并對每個分類器進(jìn)行訓(xùn)練的結(jié)果。“RPS”列給出了使用隨機(jī)原型選擇時，3個分類器合并后的結(jié)果。為了公平比較，RPS選出的原型數(shù)量與每個PSA得出的相等。根據(jù)置信度95%的t檢驗(yàn)統(tǒng)計(jì)，PSA和RPS的性能相似。由于原型選擇算法速度慢于隨機(jī)原型選擇，因此本文選用了后者。

表2 使用兩種度量得出的結(jié)果

對于第2個問題，為了評價表征集的大小，本文考慮性能(micro-F1)和多樣性。與準(zhǔn)確率相關(guān)的多樣性度量中，多樣性要求的計(jì)算量較少。多樣性度量的計(jì)算方式如下：

(10)

式中：oa和ob為兩個分類器，Oab表示給定分類器(a對應(yīng)oa，b對應(yīng)ob)對測試集Y中的文檔yj的分類結(jié)果，正確為1，錯誤為0。總之，多樣性度量是計(jì)算兩個分類器對同一個文檔的誤分類概率。

圖3給出了使用配對t檢驗(yàn)的Q的3個數(shù)值。其中，符號由配對t檢驗(yàn)定義為：p-value≤0.01∴(>>)/(<<)，p-value≤0.05∴(>)/(<)和p-value > 0.05∴(=)。最優(yōu)配置顯示為灰色。從多樣性角度考慮，對于3個數(shù)據(jù)庫中的2個，10%是最優(yōu)值；從性能角度考慮，對于所有數(shù)據(jù)庫，30%均是最優(yōu)值。然而，10%和30%分別在性能和多樣性方面存在缺陷。因此，為了在性能和多樣性之間找到最好的平衡，本文將該參數(shù)定義為訓(xùn)練集的20%。也就是說，使用訓(xùn)練集的20%組成表征集，Q=N×0.2，其中N為訓(xùn)練集大小。

圖3 多樣性和性能與Q值關(guān)系

3.3 實(shí)驗(yàn)2

本文所提方法與文獻(xiàn)[11]提出的改進(jìn)詞袋法、文獻(xiàn)[10]提出的多分類器融合和文獻(xiàn)[9]的最大熵模型進(jìn)行比較。對于詞袋法[11]，在生成分類器池之前使用ALOFT算法進(jìn)行特征選擇。ALOFT是專門針對文本分類設(shè)計(jì)的特征選擇算法，能夠顯著減少變量數(shù)，且不會造成性能下降。對于最大熵模型[9]，則不需要使用特征選擇，因?yàn)槠鋾槊總€分類器生成降維后的若干個特征子空間。在本文提出的方法中，使用小于訓(xùn)練集的表征集來實(shí)現(xiàn)約簡，因?yàn)樽罱K維數(shù)等于表征集中的文檔數(shù)量。

表3給出了4種方法(本文方法和文獻(xiàn)[9-11])的最終結(jié)果。詞袋法的性能均會受到特征選擇算法的影響，根據(jù)表3最后一行的結(jié)果，文獻(xiàn)[11]的改進(jìn)詞袋法是性能第二好的方法。macro-F1和micro-F1的臨界差值如圖4所示。

圖4 各方法的臨界差值

可以看出，所提方法在兩個度量中均得到最低均值，性能優(yōu)于其他方法。與本文方法不同，文獻(xiàn)[10]多分類器融合的性能取決于表征變換后得到的特征數(shù)量(Q)。由于特征數(shù)量由訓(xùn)練集文檔數(shù)量決定(Q=N×0.2)，因此文獻(xiàn)[10]的結(jié)果與N存在直接關(guān)系。當(dāng)文檔數(shù)量較少(N<2 000)時文獻(xiàn)[10]方法得到最差結(jié)果，而在文檔數(shù)量較多(N>6 000)時則得到最優(yōu)結(jié)果。在原始特征數(shù)量大于文檔數(shù)量的數(shù)據(jù)庫中，文獻(xiàn)[10]方法的性能尤其出色。

性能與特征約簡率之間的關(guān)系如圖5所示，圖5中評價了7個數(shù)據(jù)庫和4種方法。當(dāng)約簡率低于80%時，文獻(xiàn)[10]方法性能較好。ALOFT自動定義特征數(shù)量，因此，在所有案例中約簡率均等于或高于85%，不受所使用的特征評價函數(shù)的影響?？梢钥闯?，本文方法出現(xiàn)31次，其后依次為文獻(xiàn)[11]改進(jìn)詞袋25次，文獻(xiàn)[9]的最大熵模型23次，文獻(xiàn)[10]的多分類器融合方法12次。

圖5 約簡百分比與micro-F1關(guān)系

表3 各方法的綜合評價結(jié)果

4 結(jié)論

本文針對詞袋法(BoW)的一些缺陷，提出了一個適用性更廣的解決方法，所提方法利用相異性表征解決了詞袋法的稀疏性和高維性問題。其中，每個特征表征為兩個文檔之間的距離，該距離僅在兩個文檔相等時為0，由此減少了稀疏性。由于特征數(shù)量等于表征集中的原型數(shù)量，高維性同樣得到縮減。另外，分類器池的策略有利于創(chuàng)建多樣化的多分類器融合池。驗(yàn)證了所提方法具有較好的整體準(zhǔn)確率和穩(wěn)定性。未來作者將對每個分類器的最優(yōu)表征集進(jìn)行優(yōu)化搜索，以獲得最優(yōu)特征。