主客觀與褒貶分類融合的微博情感傾向性分析

韓中元等

摘 要：在微博情感傾向性分析中，一種典型分析方法是先對(duì)微博進(jìn)行主客觀分類，再對(duì)判定為主觀的微博進(jìn)行褒貶分類，但其問題在于主客觀分類錯(cuò)誤將直接傳導(dǎo)到褒貶分類。針對(duì)這一問題，本文提出了一個(gè)主客觀分類和褒貶分類融合的評(píng)估情感傾向性強(qiáng)度的模型。首先使用改進(jìn)的邏輯回歸模型構(gòu)建主客觀分類模型，并結(jié)合情感詞典構(gòu)建褒貶分類模型；然后，將二者融合，構(gòu)建情感傾向性強(qiáng)度模型來選出具有較強(qiáng)情感的微博；最后應(yīng)用褒貶分類模型判定情感傾向性。該方法在第六屆中文傾向性分析評(píng)測(cè)（COAE2014）的微博觀點(diǎn)句識(shí)別任務(wù)中獲得了主要指標(biāo)Micro_F1值和Macro_F1值的第二名。

關(guān)鍵詞：情感傾向性分析；主客觀分類；褒貶分類；微博

中圖分類號(hào)：TP391.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2163（2014）06-

Abstract： A typical practice in sentiment analysis consists of two steps： first classify the subjective sentences from the objective ones， and then distinguish the positives from the negatives among the subjective sentences. To alleviate the issue of error accumulation arising from such a pipeline approach， this paper investigates a unified model for microblog sentiment analysis. Firstly， a subjective-objective classification model is constructed by the improved Logistic Regression model. And a positive-negative classification model is proposed by using sentiment dictionary and the improved Logistic Regression. Secondly， an emotional intensity model， which is a linear combination of the two classification sub-models， is applied to select the microblogs with more strong sentiment. Lastly， the sentiment classification is judged by the positive-negative classification model. The final release of COAE 2014 indicates that the proposed method ranks as top 2 in micro_F1 and macro_F1 in the task.

Keywords： Sentiment Tendency Analysis； Subjective-Objective Classification； Positive-Negative Classification； Microblog

0引 言

隨著微博的不斷發(fā)展和實(shí)用普及，國內(nèi)外學(xué)者圍繞微博展開了一系列研究，其中微博情感傾向性分析已然成為研究熱點(diǎn)之一。微博情感分析即是對(duì)帶有情感色彩的主觀性微博進(jìn)行分析、處理、歸納和推理，就是通過對(duì)微博情感信息的綜合計(jì)算和技術(shù)評(píng)定，藉此實(shí)現(xiàn)了解人們針對(duì)實(shí)體、人物、事件、主題及其屬性的主觀意見和對(duì)應(yīng)情感的研究宗旨[1]。微博的情感分析在挖掘用戶觀點(diǎn)、產(chǎn)品反饋、商品推薦、潛在用戶挖掘等多方面均具較高的應(yīng)用價(jià)值。而且，在理論上，情感分析技術(shù)也有助于自然語言處理領(lǐng)域其他研究方向的深度發(fā)展，具體來說則如自動(dòng)文本摘要以及問答系統(tǒng)等[2]。

當(dāng)前研究中，文本情感分析主要采用了基于情感知識(shí)的方法和基于分類的方法[2]。針對(duì)此兩類方法，可做如下綜述和解析。

一方面，基于情感知識(shí)的方法可通過考察文本內(nèi)部是否含有情感知識(shí)來完成主客觀分析和褒貶分析[3]。這類方法的情感知識(shí)主要是通過情感詞典、領(lǐng)域詞典或主觀文本中帶有情感極性的組合評(píng)價(jià)單元而相應(yīng)獲得。例如：文獻(xiàn)[4]利用情感詞典識(shí)別文本中的情感詞，文獻(xiàn)[5]通過WordNet半自動(dòng)地構(gòu)建評(píng)價(jià)詞詞典和修飾詞詞典，文獻(xiàn)[6]則通過模板獲取名詞詞性的評(píng)價(jià)詞語等。

另一方面，基于分類的方法就是將情感分析視為分類任務(wù)，并使用機(jī)器學(xué)習(xí)的方法，以及選取大量有意義的特征來訓(xùn)練分類器。本文沿用的即是分類的方法。在具體任務(wù)上，情感傾向性分析包含著主客觀分析和褒貶義分析。而在分類方法中，則對(duì)應(yīng)著主客觀分類和褒貶義分類。

其中，主客觀分類是指將文本分為主觀、客觀文本兩類，其核心是分類模型的選擇和分類特征的選取。典型研究包括：文獻(xiàn)[7]使用詞語作為特征，而將樸素貝葉斯模型作為分類器以完成情感文本的主客觀分類，文獻(xiàn)[8]又將符號(hào)、人稱代詞等一些特殊文本作為特征進(jìn)行主客觀文本分類，文獻(xiàn)[9]即采用基于圖的分類算法完成句子級(jí)的主客觀分類等。

而褒貶義分類就是將主觀文本分為褒義、貶義兩類。相關(guān)研究包括：文獻(xiàn)[10]以支持向量機(jī)作為分類器，提出了一個(gè)兩步分類方法，首步將微博按主客觀分類，后步再將主觀微博分為積極的和消極的兩類，文獻(xiàn)[11]則重點(diǎn)構(gòu)建了基于樸素貝葉斯、支持向量機(jī)和條件隨機(jī)場(chǎng)情感分類器，文獻(xiàn)[12]即應(yīng)用K-最鄰近法設(shè)計(jì)了一個(gè)分類器，其特征使用了Twitter的特有屬性和習(xí)慣用法（比如標(biāo)簽和表情等）。

在基于分類方法進(jìn)行微博情感傾向性分析的相關(guān)研究中，一般認(rèn)為，只有含有主觀情感的微博才具有褒貶義，因此，典型處理是將情感分析分為兩個(gè)階段：首先將微博分為主觀和客觀兩類，再對(duì)分類為主觀的微博進(jìn)行褒貶分類（即情感極性分類）[10，13]。然而，這種方法卻因建立在完全信任主客觀分類結(jié)果的基礎(chǔ)上，而極有可能導(dǎo)致主客觀分類的錯(cuò)誤直接傳導(dǎo)到褒貶分類中。為減少錯(cuò)誤的積累傳遞，本文即將微博的主客觀分類模型和褒貶義分類模型相互融合，提出了一個(gè)情感強(qiáng)度模型，通過利用該模型而對(duì)微博的情感傾向性強(qiáng)度實(shí)施判斷，再基于此來選擇具有較強(qiáng)情感傾向性的微博進(jìn)行褒貶義分析。

本文提出方法的有效性在第六屆中文傾向性分析評(píng)測(cè)（COAE 2014）的微博觀點(diǎn)句識(shí)別任務(wù)（Task 4）中得到了檢驗(yàn)。評(píng)測(cè)結(jié)果表明，將主客觀分類與褒貶分類融合的中文微博情感傾向性分析方法以較小的精確率損失換來了召回率的明顯提高，進(jìn)而獲得了整體性能的更大提升，在主要評(píng)價(jià)指標(biāo)Micro_F1和Macro_F1上獲得了第二名。

1 主客觀分類與褒貶分類融合的情感傾向性分析方法

1.1 整體框架

本文所提出的融合主客觀分類和褒貶義分類的中文微博的情感傾向性分析方法的整體框架描述如圖1所示。該框架的主要內(nèi)容包括：利用帶主客觀標(biāo)注的微博構(gòu)建主客觀分類模型；利用帶褒貶標(biāo)注的微博和情感詞典構(gòu)建褒貶分類模型；融合主客觀分類模型和褒貶分類模型的情感傾向性強(qiáng)度模型。

在該框架中，首先以二元文法（bigram）作為微博的特征，采用改進(jìn)的邏輯回歸模型，在主客觀微博訓(xùn)練數(shù)據(jù)上學(xué)習(xí)主客觀分類模型θs；亦采用同樣方式得到一個(gè)基本的褒貶義分類模型。然后，利用情感詞典作為先驗(yàn)知識(shí)對(duì)褒貶分類模型的特征權(quán)重進(jìn)行調(diào)整，以彌補(bǔ)訓(xùn)練樣本少而帶來的數(shù)據(jù)稀疏問題，由此得到褒貶分類模型θJD。最后，將θs和θJD線性加權(quán)，構(gòu)造了一個(gè)情感傾向性強(qiáng)度模型θP。對(duì)于測(cè)試數(shù)據(jù)，可利用傾向性強(qiáng)度模型θP選擇具有情感傾向性的微博，再通過褒貶分類模型θJD而完整給出情感傾向性分析結(jié)果。

1.2 主客觀分類模型

本文采用改進(jìn)的邏輯回歸模型學(xué)習(xí)主客觀分類模型和褒貶分類模型。以主客觀分類模型為例，學(xué)習(xí)過程可以描述為：對(duì)微博內(nèi)容提取特征向量x，用主觀微博和客觀微博組成的序?qū)?gòu)建訓(xùn)練數(shù)據(jù)，再利用對(duì)數(shù)損失函數(shù)和梯度下降法在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)每個(gè)特征x的權(quán)重θ。

在測(cè)試數(shù)據(jù)上，邏輯回歸模型根據(jù)訓(xùn)練階段學(xué)習(xí)到的特征權(quán)重，對(duì)測(cè)試數(shù)據(jù)的特征求和，將其記為θ·x，其中，x是特征向量，θ表示向量的權(quán)重。

情感傾向性分析的基礎(chǔ)依據(jù)就是微博的特征，特征選擇對(duì)性能將具有直接的影響。與文本分類問題相比，微博內(nèi)容有其特殊之處。人們?cè)谑褂梦⒉┌l(fā)表看法時(shí)，表達(dá)上比較隨意，語法結(jié)構(gòu)也不嚴(yán)謹(jǐn)，用詞極不規(guī)范且存在網(wǎng)絡(luò)用語等大量未登錄詞，這即對(duì)傳統(tǒng)的分詞方法提出了挑戰(zhàn)。

針對(duì)微博特征提取面臨的相應(yīng)問題，并借鑒文獻(xiàn)[14-15]在n-gram上的成果經(jīng)驗(yàn)以及bigram在信息檢索中的良好性能，本文將選用基于漢字的bigram（不引起歧義的情況下，本文簡(jiǎn)稱為bigram）作為微博的特征?；跐h字的bigram提取特征是將相鄰的兩個(gè)漢字作為一個(gè)特征，例如“三星手機(jī)”可以拆成“三星”、“星手”、“手機(jī)”三個(gè)特征。每篇微博轉(zhuǎn)換為bigram特征向量，其特征值則為布爾值，即某篇微博若包含某個(gè)bigram，其值為1，否則為0。

研究已知，微博內(nèi)容并不如正式文本那樣規(guī)范書寫、格局嚴(yán)謹(jǐn)，其中的語法錯(cuò)誤、錯(cuò)別字等十分常見，這就可能會(huì)增加分詞錯(cuò)誤，從而影響分類器的有效性。采用bigram、而未用分詞處理，避免了分詞錯(cuò)誤帶來的影響。同時(shí)，對(duì)于一些書寫錯(cuò)誤的詞或相應(yīng)詞的變形，也能起到一定的辨識(shí)作用。

1.3 褒貶分類模型

采用改進(jìn)的邏輯回歸模型，利用褒貶數(shù)據(jù)可以學(xué)習(xí)到一個(gè)褒貶義分析模型θJ。但由于訓(xùn)練樣本少、情感詞匯覆蓋面不足，本文將利用情感詞典作為詞匯權(quán)重的先驗(yàn)值、并加入到褒貶義模型中，這在一定程度上緩解了詞特征的稀疏問題。

每個(gè)褒義詞（貶義詞）被賦予一個(gè)常數(shù)權(quán)重Wd加入θJ中，得到θJD。具體來說，由于本文采用的是bigram，因此詞典上每個(gè)褒貶義詞按照bigram切分后，每個(gè)褒義詞對(duì)應(yīng)bigram權(quán)重之和為Wd，每個(gè)貶義詞對(duì)應(yīng)bigram權(quán)重之和則為-Wd。基于此，可利用θJD對(duì)微博的褒貶義進(jìn)行判定。為簡(jiǎn)便起見，本文即將|Wd|設(shè)為1。

1.4 主客觀分類與褒貶義分類融合的情感傾向性強(qiáng)度模型

如前所述可知，為避免主客觀分類的錯(cuò)誤傳遞到褒貶分類中，本文將二者結(jié)合，進(jìn)而提出了情感傾向性強(qiáng)度模型，而利用該模型則可選擇獲得具有較強(qiáng)的情感傾向性的微博。微博的情感傾向性強(qiáng)度越大，含有褒貶義情感的概率也會(huì)越大。

具體來說，一方面，從表1中可以看出，主客觀分析模型學(xué)習(xí)到的詞匯往往不帶有情緒傾向性。但從褒貶義角度，如果一個(gè)用戶帶有強(qiáng)烈的褒貶義傾向，則該微博是主觀微博的概率則會(huì)相應(yīng)增大。hit2lab_run4是hit2lab_run1根據(jù)話題對(duì)微博進(jìn)行篩選的實(shí)驗(yàn)結(jié)果。微博與話題的相似性利用語言模型計(jì)算，將與每個(gè)話題最為相似的前2 500條微博作為備選，并對(duì)這些微博采用與hit2lab_run1相同的方法，進(jìn)行主客觀分類后，再將判定為主觀的微博根據(jù)θJD做出最終褒貶判斷。

hit2lab_run5是情感傾向性強(qiáng)度模型的實(shí)驗(yàn)結(jié)果。通過利用語言模型計(jì)算每篇微博與話題的相似度得分，每個(gè)話題選擇得分最高的7 000條微博，共21 000條微博，同事使用情感傾向性強(qiáng)度判定模型θP，選取情感傾向性強(qiáng)度最大的10 000篇微博，再根據(jù)θJD給出最終褒貶分析結(jié)果。

2.4 實(shí)驗(yàn)結(jié)果

3 結(jié)束語

在微博的情感傾向性分析中，為解決主客觀分類錯(cuò)誤向褒貶義分類的傳遞，本文提出了將主客觀分類和褒貶分類融合的微博情感傾向性強(qiáng)度模型，利用該模型能夠減少錯(cuò)誤傳遞的影響。而且，利用微博情感傾向性強(qiáng)度模型可以較好地選擇出富含情感的微博。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法以較少的精確率代價(jià)換來了召回率的較大提升，從而獲得了衡量總體性能的F1值的提升，其有效性已在COAE2014評(píng)測(cè)中得到了切實(shí)證明。本文所提出的融合主客觀和褒貶分類的微博情感傾向性強(qiáng)度模型尚存在大量的研究需要繼續(xù)全面深入開展，未來將進(jìn)一步探索更有效的融合方法用以提高情感傾向性分析的性能指標(biāo)。

參考文獻(xiàn)：

[1] 趙妍妍，秦兵，劉挺. 文本情感分析[J]. 軟件學(xué)報(bào)， 2010. 21（8）： 1834-1848.

[2] 謝麗星，周明，孫茂松. 基于層次結(jié)構(gòu)的多策略中文微博情感分析和特征抽取[J]. 中文信息學(xué)報(bào)， 2012， 26（1）： 73-83.

[3] HATZIBASSILOGLOU V， WIEBE J M. Effects of adjective orientation and gradability on sentence subjectivity[C]// Proceedings of the 18th conference on Computational Linguistics， 2000（1）：299-305.

[4] KIM SM， HOVY E. Automatic detection of opinion bearing words and sentences[C]//Proceedings of the International Joint Conference on Natural Language Processing， 2005， 61？66.

[5] WHITELAW C， GARG N， ARGAMON S. Using appraisal groups for sentiment analysis[C]// Proceeding Of the ACM SIGIR Conference On Information and Knowledge Management. New Youk： ACM Press， 2005：625-631.

[6] RILOFF E， WIEBE J. Learning extraction patterns for subjective expressions[C]//Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing ， 2003：105？112.

[7] YU H， HATZIVASSILOGLOU V. Towards answering opinion questions： Separating facts from opinions and identifying the polarity of opinion sentences[C]//Proceedings of the 2003 conference on Empirical Methods in Natural Language Processing. 2003：129？136.

[8] YAO TF， PENG SW. A study of the classification approach for Chinese subjective and objective texts[C]// Proceeding of the third National Conference for Information Retrieval and Content Security. 2007：117？123.

[9] PANG B， LEE L. A sentimental education： Sentiment analysis using subjectivity summarization based on minimum cuts[C]//Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics ， 2004：271？278.

[10] BARBOSA L. FENG J. Robust sentiment detection on Twitter from biased and noisy data[C]// Proceedings of the 23rd International Conference on Computational Linguistics， 2010：36–44.

[11] PARK A， PAROUBEK P. Twitter as a Corpus for Sentiment Analysis and Opinion Mining[C]//Proceedings of the International Conference on Language Resources and Evaluation. 2010：1320-1326.

[12] DAVIDOV D， TSUR O， RAPPOPORT A. Enhanced sentiment learning using Twitter hashtags and Smileys[C]// Proceedings of the 23rd International Conference on Computational Linguistics. 2010：241–249.

[13] JIANG Long， YU Mo， ZHOU Ming， et al. Target-dependent Twitter sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies， 2011：151-160.

[14] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？ Sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 conference on Empirical methods in natural language processing ， 2002（10）： 79？86.

[15] CUI H， MITTAL V， DATAR M. Comparative experiments on sentiment classification for online product reviews[C]//Proceedings of the 21st national conference on Artificial intelligence， 2006（2）： 1265？1270.

[16] 譚松波，王素格，廖祥文，等. 第五屆中文傾向性分析評(píng)測(cè)技術(shù)報(bào)告[C]// 第五屆中文傾向性分析評(píng)測(cè)會(huì)議， 2013：5-33.