結合集成學習的序貫三支情感分類方法研究

王 琴，劉 盾

西南交通大學 經濟管理學院，成都 610031

近年來隨著在線評論的爆炸性增長，情感分析[1-2]受到了學術界和業(yè)界越來越多的關注。文本情感分析（也稱為觀點挖掘）可以從文本中發(fā)掘人們的觀點和情感[1]。情感分類是情感分析領域的一項重要任務，具有許多應用價值。Pang和Lee對Twitter和Facebook等社交媒體平臺上文本內容進行觀點挖掘和情感分析，并進一步對消費者行為進行了預測和評估[2]。Hu和Liu對電子商務中的評論進行文本分類，以幫助消費者做出更明智的購物決策[3]。另外，對用戶生成內容（UGC）的情緒進行分類也被廣泛應用到個性化推薦之中[4]。由此可見，情感分類已成為自然語言處理和文本挖掘的重要研究方向之一。

情感分類研究作為情感分析的重要組成部分，其研究方法主要可以分為兩類：基于詞典的方法和基于語料庫的方法?；谠~典的方法通常使用情感詞字典，并結合副詞和否定詞強化或否定來計算每個文本的情感?，F(xiàn)有的基于語料庫的方法主要有兩類：機器學習方法和深度學習方法[5]。機器學習方法是通過對文本進行向量化表示，然后結合分類算法來完成情感分類。深度學習方法專注于使用神經語言模型和自然語言處理技術，對學習到的詞向量進行合成來指導分類[6]?，F(xiàn)有大多情感分析研究主要致力于提高模型分類精度，較少考慮錯誤分類所產生的誤分類成本。此外在實際應用中，將不同類別錯誤分類所產生的誤分類成本可能是不一樣的。

三支決策[7]是在二支決策的基礎上發(fā)展而來的一種理論，因其符合人類的決策思維而受到廣泛關注。其主要思想是“三分而治”，將只有接受、拒絕的二支決策變成接受、延遲決策、拒絕三種決策，對掌握信息不充分的對象延遲決策，等待更多信息到來后再做決策。周喆等將三支決策的決策規(guī)則應用于情感詞典分類中[8]；王磊等提出了一種將主題特征與三支決策理論相融合的多標記情感分類方法[9]；Zhang等在多個文本粒度中研究了上下文有關主題依賴和情緒分類的相關問題[10]。序貫三支決策是一種典型的動態(tài)三支決策方法，通過構建多層次的粒結構得到一系列的序列決策結果，從而更好地平衡決策結果代價與決策過程代價[11]。張剛強等[12]利用N-gram語言模型構建多粒度的序貫三支情感分類模型，并獲得了較好的效果。

為了提升序貫三支情感分類模型的整體效果并且降低分類成本，本文在已有序貫三支分類模型上引入集成三支思想，構建結合集成學習的序貫三支情感分類模型。集成三支則是將多個分類器的三支劃分結果進行最大投票，最終確定分類對象的域，即將每一個分類算法當作一個決策者，分別獨立作出將實例對象劃為正域、邊界域和負域的決策，再進行最大投票法對決策行為進行集成以得到最終決策結果。

基于上述分析，本文在序貫三支的基礎上融合集成學習和三支決策，主要研究結合集成學習的序貫三支情感分類模型。首先，通過N-gram語言模型構建文本多粒度結構；其次，針對每一粒度，集成三個分類算法以提高在該粒度下的分類效果;最后，利用不同數(shù)據集來驗證模型的有效性。實驗結果表明：結合集成學習的多粒度序貫三支情感分類模型不僅能夠提高分類性能，而且可以降低分類成本。

1 相關理論

1.1 集成學習

集成學習技術主要通過構建并結合多個學習器來完成學習任務，用以提高分類準確性[13]。由于集成方法的泛化能力通常比單個學習者更強大，這使得集成方法被廣泛應用。但在實際問題中，良好的集成學習器需滿足兩個條件：準確性和多樣性[14]。按照個體分類器之間的種類關系可以把集成學習方法分為異態(tài)集成學習和同態(tài)集成學習[15]。異態(tài)集成學習指的是使用各種不同的分類器進行集成，異態(tài)集成學習的兩個主要代表是疊加（Stack Generalization）和元學習（Meta Learning）。同態(tài)集成學習是指集成的基本分類器都是同一種分類器，只是它們之間的參數(shù)設置有所不同。此外，從基分類器獲得方式來看，主要有Boosting和Bagging兩種方法；從異質分類器整合的方式來看，主要有投票表決法和Stacking方法[13]。

1.2 序貫三支決策

三支決策是由粗糙集延伸而來的處理不確定性方法[16]。在傳統(tǒng)的二支決策模型中，只有接受或拒絕、是或非兩種選項。然而，在很多實際問題中，當信息不充分或證據不足時，強制作出接受或拒絕選擇，可能會付出不必要的代價或造成嚴重后果。相對于二支決策，三支決策引入延遲決策策略，對論域中部分對象暫時不作決策，以等待更多、更有力的信息或證據去判斷?？梢钥吹剑Q策引入了不承諾選項，能夠規(guī)避和降低錯誤接受或錯誤拒絕造成的損失。

序貫三支決策是粒度由粗到細的一種動態(tài)三支決策過程[17]。從粗粒度層到細粒度層，在每一粒層，當現(xiàn)有信息充分時，可以直接作出接受或拒絕的判斷；而對當前信息不能支持其作出決策時，可以將對象劃分到邊界域中，并在更細粒層下獲取更充分的信息后對其進行劃分，依此類推，直到邊界域中的對象被逐漸地劃分到正域或負域中。

1.3 粒計算

粒計算是當前人工智能研究領域中模擬人類決策思維和解決復雜問題的方法論[18]。通常，粒度結構是由多個級別組成的層次結構，每一個粒層由一組具有相似信息粒度的粒子組成。顯然，多層粒度結構自然會導致多層劃分和多步決策過程?；谌Q策和粒度計算的結合，序貫三支決策逐漸用于解決實際問題，例如增量學習[19]、特征選取[20]和人臉識別[21]。序貫三支決策方法正是應用了粒計算中逐步計算的思想，實現(xiàn)了由粗粒層到細粒層之間的序貫決策。粒計算中結構化問題求解的思想是一種典型的信息處理方法，對于復雜問題的求解是非常有效的。

2 結合集成方法的序貫三支情感分類模型

2.1 三支情感分類

表1給出了三支決策下的情感分類準則。Pr(P|x)表示待分類文本x屬于正類的條件概率。通過Pr(P|x)與閾值α和β比較，可以將待分類文本劃分到相應的決策區(qū)域。P、B、N表示三種不同決策區(qū)域對應的決策規(guī)則。顯然，待分類文本的分類結果取決于概率Pr(P|x)和閾值α和β的大小。

表1 三支情感分類準則Table 1 Criteria of three-way sentiment classification

此外，為了衡量分類代價，需要將待分類文本的真實類別與預測類別進行比較。三支情感分類代價矩陣如表2所示。其中，λPP、λBP和λNP分別表示待分類文本x真實情感類別屬于正類時采取決策規(guī)則P、B和N產生的成本；λPN、λBN和λNN分別表示待分類x真實情感類別屬于負類采取決策規(guī)則P、B、N產生的成本。其中，λPP、λNN表示正確分類成本。λNP、λPN表示誤分類成本，λBP、λBN表示延遲決策成本。

表2 三支情感分類代價矩陣Table 2 Cost matrix of three-way sentiment classification

此外，在分類過程中，誤分類成本往往比延遲決策產生的成本高，延遲決策成本也比正確分類的成本高，因此有：λPP＜λBP≤λNP，λNN＜λBN≤λPN。根據表2的情感分類代價矩陣和決策規(guī)則，分類總成本可以根據式（1）計算：

其中，cost(P|x)、cost(B|x)和cost(N|x)分別代表待分類文本x劃分到正類、延遲決策類和負類時產生的代價。根據貝葉斯決策準則，選擇期望損失最小的行動集作為最佳行動方案，可以得到如下三條決策規(guī)則：

（P）：如果Pr(P|x)≥α，則將x劃分到正類；

（B）：如果β＜Pr(P|x)＜α，則將x劃分到延遲決策類；

（N）：如果Pr(P|x)≤β，則將x劃分到負類。

2.2 序貫三支情感分類

序貫三支決策是一種動態(tài)的三支決策方法。基于粒計算理論的多層次結構，本文采用自上而下的策略，從最粗的粒度到最細的粒度進行三支決策。粗粒度表示較少的信息，細粒度表示更詳細的信息，序貫三支的思想就是在每一粒度中，將落入邊界域的對象放入下一個粒度進行再決策，直到邊界域中的對象被逐漸地劃分到正域或負域中。然而，隨著粒度的細化，獲取信息和作出決策的成本也會隨之增加，因此可以在合適的粒度獲得最終的情感分類結果。

在序貫三支情感分類問題中，首先定義多粒度結構：G={g1,g2,…,gi,…,gh}(1≤i≤h)，其中gi表示第i個粒層。在每一粒層中，根據條件概率Pr(P|x)與閾值對(αi,βi)的大小關系可以將待分類文本劃分到正類、負類和延遲決策類，其數(shù)學表達式為：

這里，γh通常設為0.5。由式（3）可知，在每一粒層gi的分類結果受Pr(P|x)和閾值對(αi,βi)的影響。根據式（2）可以計算每一粒層的閾值αi和βi：

2.3 多粒度文本表示

本文參照文獻[12]的模型，將N-gram語言模型的一元模型和二元模型作為文本的多粒度表示方法。N-Gram是一種基于統(tǒng)計語言模型。該模型假設第N個詞的出現(xiàn)只與前面N-1個詞相關，而與其他詞都不相關，其計算表達式為：

在式（6）中，出現(xiàn)整句概率P(wi|w1,w2,…,wi-1)為各個詞出現(xiàn)概率的乘積，這些概率可以通過直接從語料中統(tǒng)計N個詞同時出現(xiàn)的次數(shù)得到。常見的有一元（unigram）、二元（bigram）、三元（trigram）模型。

與英文分詞方法不同的是，在中文文本分類、情感分類等應用中，通常把語料進行分詞之后的詞語作為文本特征。本文將文本內容按照詞進行大小為N的滑動窗口操作，形成長度為N的詞或詞組。將一元、二元和一元加二元作為多粒度的文本表示。假設一條文本內容為“其他都很一般，叫出租不是太方便”，類別為負，分詞之后得到“很不錯出租不方便”。該文本的unigram表示為“很不錯出租不方便”，其中“方便”隱含了積極語義，而“不”可能隱含消極語義，因此整體來說語義表達不夠清晰；bigram表示為“很一般一般出租出租不不方便”，其中“不方便”就準確表達了消極語義。trigram表示為“很一般出租一般出租不出租不方便”，短語“很一般出租一般出租不”在語料中其他文本中出現(xiàn)的概率幾乎為0，而“出租不方便”雖然有很強的語義信息，但出現(xiàn)的概率很小，會造成文本特征非常稀疏。因此，本文不考慮將三元詞作為特征，將一元詞作為第1粒度的候選特征；二元詞作為第2粒度的候選特征，一元詞加二元詞作為第3粒度的候選特征。文本多粒度情感信息表示示例如表3。

表3 文本多粒度情感信息表示示例Table 3 Example of text multi-granularity sentimental information representation

2.4 結合集成方法的序貫三支情感分類模型

為了進一步提高分類效果和減少分類成本，本文在序貫三支情感分類基礎上融入集成學習的方法，將多個分類器當作獨立的決策者，將它們的三支決策結果進行投票集成，構建結合集成學習方法的序貫三支情感分類模型（Ensemble Learning for Sequential Three-Way Sentiment Classification，ESTWSC）。圖1為模型的研究框架，其基本思路為：在每一粒度進行三支決策時，引入多個分類器先分開獨立進行三支決策，將文本對象預劃分為正類、負類和延遲決策類，對多個分類器的決策結果進行少數(shù)服從多數(shù)投票規(guī)則以確定最終的類別。

3 實驗結果與分析

在本章中，本文以文獻[12]中基于N-gram語言模的多粒度序貫三支情感分類模型（NSTWSC）為基準對比算法。NSTWSC采用多個LR作為分類器，本文所提出的ESTWSC方法采用SVM、LR和NB作為集成分類器。為了驗證本文所提方法的有效性，在4個數(shù)據集上進行分類質量和分類成本比較。

3.1 實驗數(shù)據

本文所使用的實驗數(shù)據均來自網上公開的用于情感二分類的評論數(shù)據集，包含計算機、酒店、外賣和書籍多個領域的評論（數(shù)據來源https：//github.com/SophonPlus/ChineseNlpCorpus）。首先對數(shù)據進行刪非中文表達和分詞等預處理，經過數(shù)據清洗和預處理得到表4所示的實驗數(shù)據集。評論情感類別標簽為1和0，分別表示正類評論和和負類評論。

3.2 實驗設置

圖1 結合集成學習方法的序貫三支情感分類模型Fig.1 Sequential three-way sentiment classification model combined with ensemble learning

根據第2.2節(jié)的閾值設置方法，并考慮信息獲取成本隨粒度細化而隨之增加。為簡便起見，這里設置第i粒層比第i-1粒層的成本依次增加2個單位?？紤]到真實評論情感分類過程中，消費者對負評論的感知更加敏感，假設：將正類評論劃分為負類評論的成本小于將負類評論劃分為正類評論的成本，且兩類誤分類成本均大于延遲分類成本。通常，與錯誤或延遲分類相比，正確決策成本可以被忽略，即λPP=λNN=0?；谏鲜龇治?，表5給出了不同粒度下的代價損失矩陣。

表4 數(shù)據集基本信息Table 4 Basic information of datasets

表5 不同粒度下的代價損失矩陣Table 5 Cost matrix with different granularity

3.3 評價指標

為了驗證本文所提算法有效性，下面分別從分類質量和分類成本兩個方面進行實驗分析。

3.3.1 分類質量指標

對于情感正負二分類問題，根據預測情感類別和真實情感類別構建相應混淆矩陣。其中，TP、FP、TN、FN分別表示真正例、假正例、真反例和假反例對應的樣本數(shù)。利用查準率Precision，召回率Recall、F1值以及準確率Acc作為分類質量的評價指標，其定義如下：

3.3.2 總分類成本

為了更好地評價本文所提方法的優(yōu)劣性，本文還從總分類成本和平均分析成本兩方面進行比較分析?？偡诸惓杀緸殄e誤分類所產生的誤分類成本和延遲決策的成本，它是每一決策階段的分類成本總和：

其中，i表示第i粒層，TP(αi,βi)、TB(αi,βi)、TN(αi,βi)分別表示在第i粒層閾值對為(αi,βi)時，將文本對象劃入正類、延遲決策類和負類的成本。給定第i粒層的代價損失矩陣，TCi的計算公式如下：

3.4 實驗結果及分析

為了進一步驗證文中所提出算法的有效性，本文以N-gram作為基準算法，首先在第1粒度下驗證結合集成方法后分類性能的提升效果；然后分別在4個數(shù)據集上對比整個模型的查準率、召回率、F1值以及準確率。

3.4.1 驗證結合集成學習方法的效果

本文首先以酒店數(shù)據集為例，在第1粒層上驗證結合集成方法的分類性能。表6和圖2為第1粒度下結合集成方法的對比結果，其中SVM、LR和NB是三個獨立的分類器，ETW為三者的集成分類器。

表6 在第1粒度下結合集成方法的對比結果Table 6 Comparison results of ensemble learning in first granularity

圖2 在第1粒度下結合集成方法的準確率對比Fig.2 Accuracy comparison results of ensemble learning in first granularity

從表6中可以得出：正類精度在SVM算法上最高，但其算法的未分類文本數(shù)也是最多的；負類精度在LR算法上最高，但其未分類文本較多。NB算法在三個分類指標上都比較差，然而其未分類文本數(shù)卻最低。經過ETW方法在正類精度和負類精度均為次高；正類召回率最高且負類召回率為次高。此外，ETW方法在F1值表現(xiàn)最好，且未分類文本數(shù)較少。結合圖2的準確率對比結果發(fā)現(xiàn)，集成三支方法的準確率最高?；谏鲜龇治?，經過集成學習綜合了三個獨立分類器的優(yōu)勢，這能夠更好地平衡分類性能和未分類個數(shù)。

表7 不同數(shù)據集上的分類效果比較Table 7 Comparisons of classification results on different datasets

3.4.2 分類質量對比分析

下面，分別從分類的查準率、召回率以及F1值三個指標對分類質量進行實驗分析。具體實驗結果如表7所示。其中，LR-GS、SVM-GS、NB-GS分別為LR、SVM和NB在粒度GS下的靜態(tài)二支分類算法，將其作為基準算法，并利用兩種序貫三支模型NSTWSC和ESTWSC與它們作實驗比較分析。

通過表7可以看到，相對于三個二支分類算法，兩個三支分類算法在查準率、召回率和F1值上均有較好表現(xiàn)。對于二支分類算法，NB-GS在酒店數(shù)據、計算機和書籍數(shù)據集上表現(xiàn)最優(yōu)；而在外賣數(shù)據上，三種二支模型表現(xiàn)相當。對于三支分類算法，ESTWSC在計算機和書籍數(shù)據上3個指標較NSTWSC均有明顯的提升。在酒店和外賣數(shù)據集上，ESTWSC在大多數(shù)指標上表現(xiàn)比NSTWSC優(yōu)異。另外，考慮到高的分類質量可能是由于對待分類文本拒絕分類而造成的。表8進一步考查了兩個三支分類算法在未分類文本比率情況，相對于NSTWSC，ESTWSC在計算機、酒店、外賣和書籍4個數(shù)據集的未分類文本比率分別降低了4.39、1.75、2.16和0.78個百分點。綜合分析表7和表8的實驗結果，可以得到：ESTWSC優(yōu)于NSTWSC和三種二支分類算法，ESTWSC比NSTWSC對更多的樣本進行正確分類，且分類性能優(yōu)于NSTWSC。

表8 未分類文本數(shù)比例Table 8 Ratio of unclassified text

3.4.3 總分類成本、平均分類成本比較

最后，通過式（11）和（13）計算NSTWSC算法與ESTWSC算法在各個數(shù)據集上的總分類成本和平均分類成本。一般而言，在追求分類高準確率時，可能會對很多待分類文本進行拒絕分類。為了驗證NSTWSC與ESTWSC在分類成本的表現(xiàn)情況，表9討論了兩種算法在每一粒度上的總分類成本和平均分類成本。在表9中，ESTWSC在4個數(shù)據集上每一粒度的分類成本都小于NSTWSC的分類成本，且最終總分類成本和平均分類成本均小于后者。究其原因是因為ESTWSC比NSTWSC能夠正確識別更多的待分類文本，這自然會降低分類成本。

表9 總分類成本和平均分類成本比較Table 9 Comparisons of total classification cost and average classification cost

圖3 NSTWSC與ESTWSC整體分類性能比較Fig.3 Overall classification performance comparisons on ESTWSC and NSTWSC

進一步地，為了綜合比較上述兩個模型的分類質量和分類成本，本文采用準確率和F1值衡量分類質量，利用總分類成本和平均分類成本來衡量分類成本，實驗結果如圖3所示。

一方面，圖3（a）展示了兩個三支分類算法在總分類成本和平均分類成本的對比情況。從圖3（a）中可以看到：ESTWSC的總分類成本和平均分類成本比NSTWSC下降了26.3%、12.2%、12%和9.8%，這說明ESTWSC在降低成本方面更有優(yōu)勢。另一方面，從圖3（b）分類質量來看，ESTWSC在分類準確率和F1值相較NSTWSC均有所提升，其中在計算機數(shù)據集的準確率上升了1.49個百分點，外賣數(shù)據集的F1值上升了1.13個百分點，且未分類文本比率有所下降。

基于上述分析，本文將集成學習方法與序貫三支決策相結合的方法是合理可行的，它不僅可以提高分類質量，降低未分類樣本數(shù)量；還能夠降低分類成本，提高整體分類性能。

4 結論與展望

本文利用集成學習的優(yōu)勢，將三支思想與集成學習思想融合，提出了一種結合集成學習的序貫三支情感分類方法，探討了N-gram語言模型構建文本多粒度結構過程，通過在每一粒層下采用集成方法，來提高模型的整體分類效果，并分別從分類質量和分類成本兩個方面來評估算法有效性。實驗結果表明：本文所提方法不僅能夠提高分類性能，而且可以降低分類成本，這說明將集成方法與三支有效結合能夠提高整體模型的分類性能。然而，本文在集成學習中僅采用了簡單投票法，其數(shù)學機理和集成策略還有待深入思考。此外，本文所提出的集成學習方法不僅可以運用在情感序貫三支決策上，還可以運用到其他實際決策和文本分析問題中。