基于雙語信息和標(biāo)簽傳播算法的中文情感詞典構(gòu)建方法

李壽山，李逸薇，黃居仁，蘇 艷

(1. 蘇州大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006；2. 香港理工大學(xué) 中文及雙語學(xué)系，香港)

1 引言

隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)上出現(xiàn)了大量對于人物、事件、產(chǎn)品等進(jìn)行評論的文本信息。為了處理和分析這些海量的評論信息，情感分析(Sentiment Analysis)正漸漸發(fā)展成為自然語言處理中一項越來越受關(guān)注的研究課題[1-3]。其中情感詞典資源建設(shè)是情感分析研究中的一個基礎(chǔ)任務(wù)。情感詞典構(gòu)建的主要任務(wù)為詞語情感傾向計算，目標(biāo)是將詞語按照情感傾向分為褒義、中性或者貶義。該任務(wù)的研究對于情感分析研究有著非常重要的意義。例如，情感詞典的構(gòu)建能夠給大粒度文本(如句子級、篇章級文本)的分類任務(wù)提供基礎(chǔ)，例如，大量無監(jiān)督篇章級文本情感分類方法都是基于一些已知情感類別的詞語集合，這個詞集合一般被稱為種子情感詞(Seed Words)[4]。此外，進(jìn)行詞語級情感分析對于詞語語義理解和消歧具有重要的意義。例如，文獻(xiàn)[5]指出情感傾向性可以與詞義定義相關(guān)聯(lián)的，并實驗驗證了情感傾向性計算有助于傳統(tǒng)的詞義消歧(Word Sense Disambiguation)任務(wù)。

然而，中文情感分析研究一直以來缺乏一個涵蓋廣的語義傾向的情感詞典。構(gòu)建這樣的詞典非常困難。首先，很多詞語在不同語境中它的語義傾向不盡相同。詞有多義，歧義的現(xiàn)象，同一觀點(diǎn)詞在不同領(lǐng)域，不同的語境中甚至?xí)邢喾吹膬A向性表達(dá)。例如，詞語“圓滑”在句(1)電子領(lǐng)域表現(xiàn)為褒義，而在句(2)的語境中則表現(xiàn)為貶義。其次，傳統(tǒng)的詞語傾向性分析方法是由已有的電子詞典或詞語知識庫擴(kuò)展生成詞典，但是從國內(nèi)外的相關(guān)研究現(xiàn)狀可知，中文情感分析研究起步晚，中文情感字典建設(shè)的可用資源相對薄弱。因此，設(shè)計高效的中文情感詞典構(gòu)建算法是一個相當(dāng)具有挑戰(zhàn)性的工作。

(1) 該筆記本電腦外形邊角處理十分圓滑。

(2) 他變得圓滑，只能選擇一再躲避現(xiàn)實。

相對而言，英文的情感分析研究起步較早，已經(jīng)存在大量相關(guān)語料及一些比較成熟的情感詞典。本文基于已有的英文資源提出一種新的中文詞語情感計算方法，即利用英文種子詞典，結(jié)合雙語言約束的方法構(gòu)建一個中文情感詞典。我們的方法借助機(jī)器翻譯系統(tǒng)來消除中英文兩種語言之間的障礙，把一篇源語言的評論和對應(yīng)的翻譯語言評論作為一整篇文檔，通過計算中文詞語與英文正向基準(zhǔn)詞及負(fù)向基準(zhǔn)詞之間的逐點(diǎn)互信息(Point-wise Mutual Information)。在此基礎(chǔ)上，我們利用這些互信息值作為詞語之間的連接權(quán)重，進(jìn)而構(gòu)建詞語網(wǎng)絡(luò)，借助標(biāo)簽傳播(Label Propagation)算法將英文的情感詞極性信息傳播到中文的詞語上。該詞典的構(gòu)建既利用了英文詞典中的情感詞極性信息，同時也充分利用了雙語言資源對情感詞極性在語境環(huán)境中的約束信息。在四個領(lǐng)域上的實驗表明，我們的方法能獲得一個分類精度高，并且能覆蓋領(lǐng)域中詞語的語境信息的中文情感詞典。

本文結(jié)構(gòu)組織如下： 第2節(jié)介紹情感詞典資源構(gòu)建已有的相關(guān)研究工作；第3節(jié)介紹我們提出的基于雙語信息的情感詞典構(gòu)建方法；第4節(jié)給出實驗結(jié)果及分析；第5節(jié)給出結(jié)論，并展望下一步工作。

2 相關(guān)工作

文本情感分析研究按照所關(guān)注的文本粒度大致可以分為三個主要方向： 詞語級[6-7]、句子級[8]、篇章級[2，9]。其中，詞語級的情感分析研究一直備受關(guān)注。詞語情感計算方法主要分為三類： (1)由已有的電子詞典或詞語知識庫擴(kuò)展生成傾向詞典。在英文中利用WordNet資源[6，10-11]，在中文中利用HowNet資源[12]。這種方法的主要思想是： 給定一組已知極性的詞語集合作為種子，對于一個情感傾向未知的新詞，在電子詞典中找到與該詞語義相近、并且在種子集合中出現(xiàn)的若干個詞，根據(jù)這幾個種子詞的極性，對未知詞的情感傾向進(jìn)行推斷。但這種方法不能覆蓋詞語的語境信息；(2)無監(jiān)督機(jī)器學(xué)習(xí)的方法。這種方法是根據(jù)詞語在語料庫中的同現(xiàn)情況判斷其與某種情感類別的聯(lián)系緊密程度，代表性的文章包括文獻(xiàn)[1，13-14]。這些方法中初始的種子情感詞對算法的成敗起到關(guān)鍵作用。(3)基于人工標(biāo)注語料庫的學(xué)習(xí)方法。首先對情感傾向分析語料庫進(jìn)行手工標(biāo)注。標(biāo)注的級別包括篇章級的標(biāo)注(即只判斷文檔的情感傾向性)、短語級標(biāo)注和句子級標(biāo)注。在這些語料的基礎(chǔ)上，利用詞語的共現(xiàn)關(guān)系、搭配關(guān)系或者語義關(guān)系，判斷詞語的情感傾向性。這種方法需要大量的人工標(biāo)注語料庫，代表性的工作見文獻(xiàn)[7，15-17]。

本文提出的方法不同于上面提到的任何一種方法，我們在構(gòu)建中文情感詞典時不需要依賴中文的種子情感詞，而是充分利用雙語言語料及英文種子詞典，這些資源很容易得到。同時，我們利用標(biāo)簽傳播算法，結(jié)合英文種子詞和雙語語料統(tǒng)計的方法構(gòu)建出的情感詞典能有較好的領(lǐng)域語境信息。

3 基于標(biāo)簽傳播算法的中文情感詞典構(gòu)建方法

3.1 結(jié)合英文種子詞和雙語言約束信息

構(gòu)建一個中文情感詞典，依照傳統(tǒng)的詞語傾向性分析方法有兩種，一種是由已有的電子詞典或詞語知識庫擴(kuò)展生成傾向詞典，這種方法對中文種子詞數(shù)量的依賴比較明顯。另一種方法是基于非標(biāo)注語料庫的學(xué)習(xí)方法，該方法也需要大規(guī)模中文語料。眾所周知，中文情感分析起步晚，可用的中文語料和中文種子詞資源有限。相對而言，英文情感分析相關(guān)資源比較充分。因此，本文搜集了四個領(lǐng)域的中英文評論語料，結(jié)合英文種子詞，利用雙語信息來幫助構(gòu)建中文情感詞典。具體來講， 我們借助機(jī)器翻譯系統(tǒng)Google Translate*www.google.com把英文評論翻譯成中文評論，同時把中文評論翻譯成英文評論。因此，每篇評論的內(nèi)容由源語言文本和對應(yīng)的翻譯文本共同表示，表示同一意思的中文情感詞和英文情感詞會出現(xiàn)在同一篇文檔中。通過計算每個詞語的逐點(diǎn)互信息(PMI)，再利用標(biāo)簽傳播算法(LP)將種子詞的極性在詞語間傳遞，從而得到一個帶傾向權(quán)值的中文情感詞詞典。我們提出的方法能充分利用雙語言資源的約束信息，整個算法的框架如圖1所示。

圖1 基于標(biāo)簽傳播算法的中文情感詞典構(gòu)建框架圖

3.2 結(jié)合雙語信息構(gòu)建相似度矩陣

首先，將雙語評論中的每一個詞語和種子詞語都抽象成一個結(jié)點(diǎn)；其次，如果詞語A跟另一個詞語B共同出現(xiàn)在同一篇文本里，則存在一條有向邊從A鏈接到B，同時存在一條有向邊從B鏈接到A；有向邊的權(quán)重為詞語A和B的語義相似度的計算值PMI(A,B)，計算方法如式(1)所示?？梢詫⑷我鈨蓚€詞語的相似度計算出來，然后構(gòu)建一個相似度矩陣PMI，其中PMI[i][j]的值表示單詞j與單詞i的相似度值。

(1)

3.3 構(gòu)建相似度概率轉(zhuǎn)移矩陣及LP計算

按以上方法，整個雙語語料里的詞語被抽象為一張有向圖。假設(shè)一共有n個節(jié)點(diǎn)，然后可組建一個n維的相似度概率轉(zhuǎn)移矩陣。其中T[i][j]的值表示單詞j與單詞i的相似度轉(zhuǎn)移概率，計算如式(2)所示。

假設(shè)有向圖有6個結(jié)點(diǎn)A、B、C、D、E、F，其中A是褒義種子詞，極性為+1；B是貶義種子詞，極性是-1；其余四個詞語的極性未知，設(shè)為0。用向量V表示結(jié)點(diǎn)A到F的初始情感極性rank。

如圖2中節(jié)點(diǎn)A鏈向C、D、F，在這里假設(shè)節(jié)點(diǎn)間相似度都為1，所以A跳向C，D，F(xiàn)的概率各為1/3。相似度概率轉(zhuǎn)移矩陣如下：

圖中結(jié)點(diǎn)A和B是種子詞，C、D、F與種子詞A直接聯(lián)系， 通過基于PMI的算法可以直接求出C、D、F的情感極性。然而從圖中我們可以發(fā)現(xiàn)，結(jié)點(diǎn)E通過C也與種子詞A間接聯(lián)系，因此通過LP算法可以在整個有向圖中更精確地計算出E的極性。

圖2 結(jié)點(diǎn)間抽象結(jié)構(gòu)圖

其中，T[j][i]的值表示結(jié)點(diǎn)j到結(jié)點(diǎn)i的相似度矩陣轉(zhuǎn)移概率。V[j]表示迭代前結(jié)點(diǎn)j的初始情感極性，SO[i] 表示經(jīng)過迭代計算后的結(jié)點(diǎn)i的情感極性。經(jīng)過一次迭代計算后，每個結(jié)點(diǎn)的極性值都會發(fā)生改變，得到新的情感極性向量SO。

SO=[1,-1,1/2,1/2,-1/2,0]T

(6)

在下一次迭代前將種子詞的極性恢復(fù)初始值，并且將V=SO。經(jīng)過多次迭代計算后，得到情感詞典的準(zhǔn)確率更高，而且能覆蓋領(lǐng)域內(nèi)上下文語境信息。

3.4 算法流程

基于雙語的語義相似度和LP算法的中文情感詞典構(gòu)建算法流程如下：

算法流程：

輸入：

英文評論Uen，中文評論Ucn；

英文種子詞典Len；

輸出：

一個帶傾向權(quán)值的中文情感詞典Lcn；

程序：

1. 雙語言評論U=?；

2. 將Uen中的每一篇英文評論翻譯成中文，組成一篇雙語評論并添加到U中；

3. 將Ucn中的每一篇中文評論翻譯成英文，也組成一篇雙語評論添加到U中；

4．在U的特征向量集上，計算每個詞語之間的相似度值矩陣PMI，每一項的值計算方法按照式(1)；

5. 按照式(2)計算出詞語之間的相似度概率轉(zhuǎn)移矩陣T；

迭代N次：

6. 按照式(5)在整個有向圖中計算得到詞語的新的情感極性向量SO；

7. 將SO中種子詞的極性恢復(fù)初始值，+1或者-1；

8.V=SO；

9. 重復(fù)步驟6-9，直至循環(huán)結(jié)束；

10. 最終得到的向量SO即每個詞語的情感傾向性，正負(fù)號就可以表示詞語的極性，而絕對值就代表了該詞具有的情感傾向強(qiáng)度；

11. 按照詞語情感傾向性的強(qiáng)度排序。

4 實驗

4.1 實驗設(shè)置

本實驗中，我們收集了四個領(lǐng)域的中英文語料庫，這四個領(lǐng)域分別為： 電腦、照相機(jī)、化妝品、軟件。該語料庫的主要來源是亞馬遜網(wǎng)站*http://www.amazon.cn/，每個領(lǐng)域包含正類和負(fù)類的評論篇數(shù)如表1所示。英文種子詞來自文獻(xiàn)[18]，包括2 000個褒義的種子詞和 4 000個貶義的種子詞。在進(jìn)行計算之前，首先我們采用中國科學(xué)院計算技術(shù)研究所的分詞軟件 ICTCLAS 對中文文本進(jìn)行分詞操作。給定分好詞的文本后，我們分別對文本的所有中文詞語進(jìn)行了情感傾向計算。

表1 四個領(lǐng)域的中英文正負(fù)評論篇數(shù)

4.2 實驗結(jié)果及分析

4.2.1 LP算法構(gòu)建中文情感詞典的實驗結(jié)果

表2給出了用LP方法四個領(lǐng)域內(nèi)打分最高的前100詞中分類的精確度, 打分最高的前200詞中分類的精確度及褒義詞實例、貶義詞實例。從表中可以看出，打分最高的100詞中，電腦領(lǐng)域判斷錯誤的詞語有9個，照相機(jī)判斷錯誤的有10個，化妝品領(lǐng)域判斷錯誤的僅為8個，軟件領(lǐng)域為15個。而四個領(lǐng)域前200個詞的分類正確率仍然能達(dá)到87.5%、88.5%、87.0%、87%。從實驗結(jié)果可以看出，四個領(lǐng)域前200個詞語的正確率相比基于PMI的方法平均提高了8.6%。這是因為在實驗中不僅結(jié)合了雙語的信息，同時根據(jù)種子詞的極性和相似度概率轉(zhuǎn)移矩陣，用LP方法計算出所有詞語的情感極性。在此基礎(chǔ)上，繼續(xù)根據(jù)詞語之間的相似度轉(zhuǎn)移概率在整個有向圖中學(xué)習(xí)詞語的情感極性，直至迭代結(jié)束，使得構(gòu)建的中文情感詞典精確度更高。

表2LP方法的四個領(lǐng)域內(nèi)打分最高的100及200個詞中情感分類精確度

電腦照相機(jī)化妝品軟件精確度(100)/%91．090．092．085．0精確度(200)/%87．588．587．087．0褒義詞實例亮麗、精致劃算、輕巧豪華、優(yōu)雅優(yōu)、實惠貶義詞實例郁悶、費(fèi)勁氣憤、氣死氣憤、凌亂郁悶、棘手

4.2.2 不同情感詞典構(gòu)建方法的比較試驗

在本節(jié)中，還實現(xiàn)了PMI方法構(gòu)建的情感詞典進(jìn)行比較研究。這些方法包括：

1)PMI： 直接計算了詞語與英文種子詞之間的相似度，然后將每個中文詞語與正向種子詞及負(fù)向種子詞之間的逐點(diǎn)互信息之和的差值作為該詞語的情感傾向，從而得到情感詞典；

2)LP： 計算每個詞語的逐點(diǎn)互信息(PMI)，構(gòu)建相似度概率轉(zhuǎn)移矩陣后，再利用標(biāo)簽傳播算法(LP)將種子詞的極性在詞語間傳遞，從而得到一個帶傾向權(quán)值的中文情感詞詞典。該方法就是本文提出的方法。

圖3統(tǒng)計出了PMI和LP方法構(gòu)建的情感詞典中Top 100、200、300的正確率。從圖可以看出，兩種方法構(gòu)建得到的四個領(lǐng)域情感詞典Top100正確率都比較理想，電腦和化妝品領(lǐng)域的正確率分別達(dá)到了91%和92%。前三個領(lǐng)域LP方法相比PMI方法分別提高1%、5%、1%，軟件領(lǐng)域降低2%。

圖3 PMI和LP方法構(gòu)建的情感詞典Top 100正確率比較

圖4和圖5分別統(tǒng)計出了PMI和LP方法構(gòu)建的情感詞典中Top 200、300的正確率比較。四個領(lǐng)域情感詞典Top200的正確率上，用LP方法明顯好于PMI方法，平均超過8.6%。其中，電腦、照相機(jī)、化妝品領(lǐng)域分別提高7%、8%、9%。軟件領(lǐng)域甚至提高了10.5%。在Top300的實驗結(jié)果看，PMI方法漸漸失去了高精確度的優(yōu)勢，而LP方法仍然能獲得一個高質(zhì)量的情感詞典。四個領(lǐng)域在前300詞語極性正確率分別為85%、85%、83%、83.3%。相比PMI方法四個領(lǐng)域平均提高10.25%。

圖4 PMI和LP方法構(gòu)建的情感詞典Top 200正確率比較

圖5 PMI和LP方法構(gòu)建的情感詞典Top 300正確率比較

與PMI方法相比，基于LP算法構(gòu)建中文情感詞典有更大優(yōu)勢的原因在于： 首先，PMI方法只計算了與種子詞直接相連接的詞語的相似度來判別自身的情感極性，而LP方法可以將種子詞的情感極性沿著邊向相鄰的結(jié)點(diǎn)傳播，從而充分利用詞語情感極性在所有詞語空間的全局上面進(jìn)行考慮。通過多次迭代，可以提升標(biāo)簽傳播的效率及性能。其次，LP算法中詞語的極性不僅受到臨近種子詞的影響還受到臨近非種子詞的影響，使得距離近的詞語傾向于擁有相同的標(biāo)簽，可對不正確的詞語極性及時地重新計算和標(biāo)注。因此，使用LP算法構(gòu)建得到的中文情感詞典質(zhì)量更高，在正確率和性能上具有更大的優(yōu)勢。

5 結(jié)語

本文利用已有的英文情感詞典資源及網(wǎng)絡(luò)中現(xiàn)存的大量中英文評論語料，設(shè)計了基于雙語信息的情感詞典構(gòu)建方法，通過計算詞語間相似度，基于標(biāo)簽傳播算法(LP)給出一個帶傾向權(quán)值的情感詞典。實驗結(jié)果表明我們的方法對于不同領(lǐng)域內(nèi)情感詞的褒貶分類具有較好的分類精確度，獲取較多的領(lǐng)域相關(guān)的中文情感詞。

下一步工作中，我們將考慮已標(biāo)注語料(有人工打分標(biāo)簽)，來幫助提高領(lǐng)域里面的情感詞典計算性能。同時，也將考慮語料中存在大量的情感極性反轉(zhuǎn)的情況，如否定、轉(zhuǎn)折等語言現(xiàn)象。

[1] Turney P. Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews[C]//Proceedings of ACL-02, 2002: 417-424.

[2] Pang B, L Lee, S Vaithyanathan. Thumbs up? Sentiment Classification using Machine Learning Techniques[C]//Proceedings of EMNLP-02, 2002: 79-86.

[3] 宗成慶. 統(tǒng)計自然語言處理[M]. 清華大學(xué)出版社： 北京，2008，5.

[4] Kennedy A， D Inkpen. Sentiment Classification of Movie Reviews using Contextual Valence Shifters[J]. Computational Intelligence, 2006，22(2)： 110-125.

[5] Wiebe J, R Mihalcea. Word Sense and Subjectivity[C]//Proceeding of ACL-COLING-06, 2006: 1065-1072.

[6] Hatzivassiloglou V， K McKeown. Predicting the Semantic Orientation of Adjectives[C]//Proceedings of ACL-97, 1997： 174-181.

[7] Wiebe J. Learning Subjective Adjectives from Corpora[C]//Proceedings of AAAI-2000, 2000: 735-740.

[8] Pang B, L Lee. A Sentimental Education： Sentiment Analysis using Subjectivity Summarization based on Minimum Cuts[C]//Proceedings of ACL-04, 2004: 271-278.

[9] Cui H, V Mittal, M Datar. Comparative Experiments on Sentiment Classification for Online Product Reviews[C]//Proceedings of AAAI-06, 2006： 1265-1270.

[10] Andrea E. Determining the Semantic Orientation of Terms through Gloss Classification[C]//Proceedings of CIKM-05, 2005： 617-624.

[11] Hassan A， D Radev. Identifying Text Polarity Using Random Walks[C]//Proceedings of ACL-10, 2010： 395-403.

[12] 朱嫣嵐, 閔錦, 周雅倩, 等. 基于HowNet的詞匯語義傾向計算[J]. 中文信息學(xué)報，2006,20(01)： 14-20.

[13] Hatzivassiloglou V， J M Wiebe. Effects of Adjective Orientation and Gradability on Sentence Subjectivity[C]//Proceedings of ACL-2000, 2000： 299-304.

[14] Popescu A, O Etzioni. Extracting Product Features and Opinions from Reviews[C]//Proceedings of HLT/EMNLP, 2005: 339-346.

[15] Akkaya C, J Wiebe, R Mihalcea. Subjectivity Word Sense Disambiguation[C]//Proceeding of EMNLP-09, 2009： 190-199.

[16] 李壽山, 黃居仁. 基于特征提取方法的詞語情感傾向計算[C]//第十一屆漢語詞匯語義學(xué)研討會，2010.

[17] Lu Y, M Castellanos, U Dayal, et al. Automatic Construction of a Context-Aware Sentiment Lexicon： An Optimization Approach[C]//Proceedings of WWW-11, 2011: 347-356.

[18] Wilson T, J Wiebe, P Hoffmann. Recognizing Contextual Polarity in Phrase-level Sentiment Analysis[C]//Proceedings of HLT/EMNLP, 2005: 347-354.