面向電影評論的標簽方面情感聯(lián)合模型*

李大宇，王 佳，文 治，王素格,2+

1.山西大學 計算機與信息技術學院，太原 030006

2.山西大學 計算智能與中文信息處理教育部重點實驗室，太原 030006

1 引言

隨著電子商務的蓬勃發(fā)展，越來越多的人喜歡在微博和論壇上對商品進行評論，致使網(wǎng)絡上存在著大量評論數(shù)據(jù)。同時從評論數(shù)據(jù)中挖掘出消費者所關注的商品的某個方面以及對這個方面的觀點具有重要的應用價值。以電影評論數(shù)據(jù)為例，電影評論中某個人對此部影片演員、劇情以及畫面等方面的觀點對人們選擇是否要觀看此部影片起著關鍵作用；此外，制片方也可根據(jù)觀眾的態(tài)度來改進影片。因此，如何從海量評論數(shù)據(jù)中迅速有效地挖掘出評論的方面和情感尤為重要。

本次評測COAE2016任務2，通過影視評論的挖掘，考察對于用戶評論的方面提取和傾向性分析能力。針對影視評論數(shù)據(jù)，本文在LDA（latent Dirichlet allocation）的基礎上，提出了標簽方面情感聯(lián)合模型（labeled joint aspect sentiment model，Labeled-JAS）。該模型將Labeled-LDA模型的文檔標簽約束方法和Sentiment-LDA模型的方面-情感層次結構結合，利用影視評論訓練數(shù)據(jù)的方面標簽和情感標簽來對模型進行有指導的監(jiān)督學習，從而對未知標簽的影視評論進行有效預測。該模型采用文本-方面-情感-詞四層生成式結構，并假設情感分布依賴于方面分布。模型用標簽信息來指導無監(jiān)督主題模型，可以同時從影視評論中獲取方面和情感信息。對于影視評論文本中的每一個詞，首先從文本-方面分布中選擇一個談論的方面標簽，再從方面-情感分布中選擇出對這個方面的情感。

同時，由于傳統(tǒng)基于詞典的方法具有精確率高、簡單有效等優(yōu)點，考慮到此次評測電影評論數(shù)據(jù)集規(guī)模和方面類別的復雜性，本文還將傳統(tǒng)的基于領域特定詞典的方法與Labeled-JAS模型聯(lián)合使用。

本文組織結構如下：第2章主要列出基于方面的情感挖掘相關研究；第3章介紹了Labeled-JAS模型；第4章介紹了實驗過程的建立；第5章展示了實驗結果及其詳細分析；第6章總結全文，并對未來工作進行展望。

2 相關工作

2.1 方面級別情感挖掘

在情感分析中，方面級別（aspect level）的情感挖掘是一個細粒度情感分類任務，旨在挖掘出評論文本中所談論的方面以及在此方面的情感極性[1-2]?，F(xiàn)有工作中大多采用機器學習算法，通過利用大量人工標注的標簽信息來訓練分類器。其中基于特征的SVM分類器是最有效的方法之一，專家可以設計出有效的特征模板，并且利用句法和情感詞典等外部資源[3-4]。近年來，基于深度學習的方法在情感分析領域引起廣泛關注，由于其有效的文本表示能力[5]，越來越多的學者將其應用于方面級別的情感挖掘中[6]。此外，大量基于主題模型的方法也被用于方面級別的情感挖掘中。

2.2 主題模型的方面級別情感挖掘

2003年，Blei等人[7]借鑒概率圖模型的理論和方法，提出了LDA模型，該模型是一個完整的概率生成模型，參數(shù)空間的規(guī)模與文本數(shù)量無關，適合處理大規(guī)模的語料庫。由于LDA模型具有良好的數(shù)學基礎以及靈活的拓展性，越來越多的研究將其拓展并應用到方面情感聯(lián)合分析中。

假設方面分布依賴于情感分布，Lin等人[8-10]提出了JST模型（joint sentiment/topic model）及其擴展，Jo等人[11]提出了ASUM模型（aspect and sentiment unification model），孫艷等人[12]提出了UTSU模型（unsupervised topic and sentiment unification model）。JST模型是對每個詞采樣主題標簽和情感標簽；ASUM模型是對每個句子采樣主題標簽和情感標簽；UTSU模型則是對每個句子采樣情感標簽，對每個詞采樣主題標簽。

假設情感分布依賴于方面分布，Li等人[13]提出了Sentiment-LDA模型，該模型采樣主題標簽和情感標簽時，對每個詞采樣主題標簽和情感標簽。

此外還有大量有監(jiān)督的模型用于方面情感分析[14-24]。Ramage等人[14]提出了Labeled-LDA模型，將標簽信息和無監(jiān)督LDA結合；Mei等人[15]提出了一個主題情感混合模型（topic-sentiment mixture，TSM），但他們認為主題分布和情感分布是獨立的，并沒有反映主題和情感間的相互影響；Titov等人[16-17]提出了一種多粒度LDA模型（multi-grain LDA，MG-LDA），用以挖掘產品領域情感文本中評價對象，并將相似的評價對象進行聚類；Zhao等人[18]提出了ME-LDA模型（MaxEnt-LDA），該模型結合了最大熵組件和主題模型。

3 Labeled-JAS模型

Labeled-JAS模型是一個概率圖模型，通過將Labeled-LDA的文檔標簽約束方法和Sentiment-LDA的方面-情感層次結構結合，用文檔的方面標簽和情感標簽來對模型進行有指導的監(jiān)督學習。

3.1 Labeled-JAS模型的生成過程

假定語料庫C為D篇文本的集合，記為C={d1,d2,…,dD}；文本d存在Nd個詞，記為；每個詞wi均是詞表中的一項（詞表由V個不同的詞構成）；設J為方面的個數(shù)，K為情感極性的個數(shù)，則Labeled-JAS模型對應的文本生成過程如下（α、β、γ、η、δ為模型超參數(shù)，Bernoull（i）為二項分布，Dir（）為狄利克雷分布，Mult（i）為多項分布）：

（1）對于每一篇文本d

針對每一個方面a，選取文檔方面標簽Λd,a～Bernoulli(δ)；

選取文檔方面先驗參數(shù)αd=Ld×α；

選取文本-方面分布θd～Dir(αd)。

（2）對于文本d下的方面a

針對每一個情感s，選取文檔方面情感標簽Ωd,a,s∈{0,1}～Bernoulli(η)；

選取文檔方面情感先驗參數(shù)γd,a=Td,a×γ；

選取文本-方面-情感分布πd,a～Dir(γd,a)。

（3）對于文本d中的每一個詞wi

選取方面標簽ai～Multi(θd)；

選取情感標簽si～Multi(πd,ai)；

選取詞wi～Multi(φai,si)，其中φai,si～Dir(β)為詞wi在方面情感下的概率分布。

其中，文檔方面先驗參數(shù)αd的計算過程如下：

（1）選取文檔的方面標簽Λd,a；

（2）定義一個文檔標簽集λd={a|Λd,a=1}；

（3）定義一個Md×J維的文檔標簽映射矩陣Ld，其中Md=|λd|,J為方面總個數(shù)。對于Ld中的每一行i∈{1,2,…,Md}和每一列j∈{1,2,…,J}：

（4）利用映射矩陣Ld將狄利克雷先驗參數(shù)α=(α1,α2,…,αJ)T映射到一個低維向量αd=Ld×α。

例如，假設方面總數(shù)J=4且文檔d的方面標簽向量為Λd=(0,1,1,0)，文檔標簽集λd={2,3}，文檔標簽映射矩陣，則先驗參數(shù)α=L×α=dd(α2,α3)T。最后，從先驗參數(shù)為αd的狄利克雷分布中選取文本-方面分布θd～Dir(αd)，這樣將得到的文檔d的方面標簽約束為方面2和方面3。

文檔情感先驗參數(shù)γd,a的計算過程與文檔方面先驗參數(shù)αd的計算過程類似。

對應上述生成過程，構建Labeled-JAS模型如圖1所示。

Fig.1 Labeled-JAS model圖1 Labeled-JAS模型

3.2 Labeled-JAS模型學習與推理

Labeled-JAS模型有3組多項分布參數(shù)，分別是文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-詞分布Φ。

3.2.1 聯(lián)合概率

為了獲取Θ、Π和Φ這3組參數(shù)，進行了以下推導。

設語料庫中所有詞及其情感標簽、方面標簽的聯(lián)合概率可以分解為如下形式：

其中，w為語料庫中所有詞的記號序列；a為語料庫中所有詞的方面標簽序列；s為語料庫中所有詞的情感標簽序列。假定語料庫中詞與詞之間是相互獨立的。

式（2）中P(w|a,s)、P(s|a)和P(a)通過分別對Φ、Π和Θ積分可以得到：

其中，V是詞表的大?。籎是方面標簽的總數(shù)；K是情感標簽的總數(shù)；D是語料中文檔總數(shù)；Nj,k,v為語料庫中方面標簽為j，情感標簽為k的詞v的個數(shù)；Nd,j,k為文本d中方面標簽為j，情感標簽為k的詞的個數(shù)；Nd,j為文本d中方面標簽為j的詞的個數(shù)；Nd為文本d中的詞匯總數(shù)。

3.2.2 Gibbs采樣

為了得到模型參數(shù)，用Gibbs采樣算法[25]對模型的變量ai和si進行采樣，利用3.2.1節(jié)所得聯(lián)合概率，給定除當前詞wi的方面和情感標簽外的標簽，語料庫中詞wi的方面標簽ai為j，情感標簽si為k的條件概率為：

其中，a?i為除第i個詞外的其他詞匯的方面標簽序列；s?i為除第i個詞外的其他詞匯的情感標簽序列；{Nj,k,v}?i為語料庫中除第i個詞外，方面標簽為j情感標簽為k的詞v的個數(shù)；{Nj,k}?i為語料庫中除第i個詞外，方面標簽為j情感標簽為k的詞的個數(shù)；{Nd,j,k}?i為文本d中除第i個詞外，方面標簽為j情感標簽為k的詞的個數(shù)；{Nd,j}?i為文本d中除第i個詞外，方面標簽為j的詞的個數(shù)；{Nd}?i為文本d中除第i個詞外的詞匯總數(shù)。

這里，方面標簽j和情感標簽k不是取所有值，而是只能取標簽集合中的值，例如：j∈λd。

3.2.3 參數(shù)估計

當Gibbs采樣收斂后，需要根據(jù)最后文檔集中所有詞的方面標簽和情感標簽分配情況來計算參數(shù)矩陣Θ、Π和Φ。3組多項分布參數(shù)，即文本-方面分布Θ、文本-方面-情感分布Π和方面-情感-詞分布Φ的估計公式如下：

在訓練數(shù)據(jù)集中，利用式（7）～（9）學習到方面-情感-詞分布Φ，再在測試數(shù)據(jù)集上用Gibbs采樣算法進行迭代，得到屬于測試數(shù)據(jù)的上述3組分布參數(shù)。

3.3 基于Labeled-JAS模型的標簽識別

對于模型Labeled-JAS，通過式（7）中的θd,j可以得到方面j在文本d中概率估計，通過式（8）中的πd,j,k可以得到情感k在文本d方面j中概率估計。因此，利用這些參數(shù)估計，Labeled-JAS模型可采用式（10）和（11）對文本的方面類別以及文本的情感類別進行判斷。

其中，ad為文本d的方面標簽；sd為文本d的情感標簽。

4 實驗過程的建立

COAE2016任務2有3個子任務：子任務1為判斷給定影視評論的總體傾向；子任務2為判斷給定影視評論中每個短句所屬的方面；子任務3為判斷給定影視評論中每個短句針對所屬方面的傾向性，同時抽取傾向性判斷的描述詞語，即做出傾向性判斷的支撐證據(jù)。

基于Labeled-JAS模型和詞典，本文設計了3個評測系統(tǒng)：系統(tǒng)1完全采用Labeled-JAS模型；系統(tǒng)2采用Labeled-JAS模型和詞典聯(lián)合的方法；系統(tǒng)3是在系統(tǒng)2的基礎上用情感詞典進行校對的結果。所有的實驗采用ICTCLAS開源工具包對訓練數(shù)據(jù)和測試數(shù)據(jù)進行分詞，并將分詞后的文本剔除停用詞。

系統(tǒng)1首先將全部訓練數(shù)據(jù)及其方面標簽和情感標簽輸入到Labeled-JAS模型中進行Gibbs采樣，當模型穩(wěn)定后，將全部測試數(shù)據(jù)輸入到Labeled-JAS模型中進行Gibbs采樣，最終得到測試數(shù)據(jù)的方面標簽和情感標簽。

系統(tǒng)2 由于方面標簽中，“導演”、“演員”、“人物”、“配樂”和“畫面”這幾類標簽特征明顯，本文人工構建了上述5類詞典，比如“演員”這一類詞典中，包含了大量演員名，如“趙麗穎”、“范冰冰”、“甄子丹”等。通過電影領域方面詞典來確定測試數(shù)據(jù)的方面標簽，情感標簽則通過NTUSD情感詞典來確定。通過詞典方法處理后，剩余測試數(shù)據(jù)只包含“劇情”、“總體”和“其他”這3類，然后通過Labeled-JAS模型得到這部分數(shù)據(jù)的方面標簽和情感標簽，具體方法和系統(tǒng)1類似。

系統(tǒng)3該系統(tǒng)是在系統(tǒng)2的基礎上，利用情感詞典進行進一步校對，以獲取更加準確的結果，方面標簽則與系統(tǒng)2一致。

通過將評論中每個短句的情感極性進行加和來確定影視評論的總體傾向，支撐證據(jù)則通過情感詞典來獲取。

5 實驗結果

5.1 實驗數(shù)據(jù)

本文實驗數(shù)據(jù)為COAE2016評測任務2提供的影視評論數(shù)據(jù)，每條影視評論有一個總體情感，包括正面、負面、中立、uncertain等；每條評論中每個短句又有一個方面，包括劇情、導演、演員、人物、配樂、畫面、總體、其他、uncertain等；針對這個方面，又有一個所屬的一個情感，包括正面、負面、中立、uncertain、感慨等。其中包含訓練數(shù)據(jù)和測試數(shù)據(jù)，數(shù)據(jù)分布情況如表1所示。

Table1 Experimental data set表1 實驗數(shù)據(jù)集

5.2 實驗設置

Labeled-JAS模型有3個超參數(shù)，根據(jù)文獻[8]，實驗中參數(shù)選取為α=0.01,β=0.1,γ=0.01，模型迭代次數(shù)選取為800次。

5.3 結果及分析

利用第4章設計的實驗過程，得到的實驗結果如表2所示。其中avarage_score是指所有參加這個子任務的隊伍的最好成績的平均值；子任務3有兩組結果，第一組分數(shù)為方面情感傾向的正確率；第二組分數(shù)為對情感詞計算準確率和召回率之后計算的F值得分。

Table 2 Comparison ofF-measurebetween the proposed method and average score of participants表2 本文3個系統(tǒng)與參賽隊伍平均值對比實驗結果（F值）

由表2中可以看出：

（1）系統(tǒng)1只采用Labeled-JAS模型進行實驗，結果均低于平均值average_score。這是因為Labeled-JAS模型為基于概率圖模型的有監(jiān)督方法，本次評測訓練數(shù)據(jù)與測試數(shù)據(jù)規(guī)模較小，并且分類的類別較多，故不能在每一類別上形成大量統(tǒng)計信息，導致模型效果較差。

（2）系統(tǒng)2在系統(tǒng)1方法的基礎上，結合了基于詞典的方法，可以看出，加入詞典后，較系統(tǒng)1結果有明顯提升；系統(tǒng)3較之系統(tǒng)2，性能繼續(xù)提升，在各個子任務中略遜于平均值。說明在小規(guī)模數(shù)據(jù)中，基于詞典的方法簡單有效，通過加入基于詞典的方法，可以有效改善基于概率統(tǒng)計的Labeled-JAS模型的效果。

5.4 方面情感詞獲取

Labeled-JAS模型還可用于獲取特定領域下的方面情感詞，利用方面-情感-詞分布Φ，在實驗訓練數(shù)據(jù)上取了一些概率排名靠前的方面情感詞，結果如表3所示。

Table 3 Samples of aspect sentiment words表3 方面情感詞匯表

由表3可以看出，Labeled-JAS模型可以獲取一些特定方面下的情感詞，例如在“導演”這一方面下，情感為負的詞有“奢侈”、“一星”等。獲取到方面情感詞后，可以用于構建特定領域情感詞典以及情感分類等任務。

6 結論與展望

本文在Labeled-LDA模型和Sentiment-LDA模型的基礎上，針對COAE2016評測任務2，提出了一個能同時挖掘影視評論數(shù)據(jù)中方面及情感的概率圖模型：Labeled-JAS模型。該模型能夠將影視評論數(shù)據(jù)結構化，同時獲取其中的方面和情感信息，從而指導觀眾對影視作品進行選擇以及指導制片方改進影片。另外，還針對影視評論數(shù)據(jù)的特點，將基于詞典的方法和Labeled-JAS模型聯(lián)合使用，在測評數(shù)據(jù)上進行了多組實驗，結果表明，本文方法可以較好地識別出影視評論中所談論的方面、針對某方面的情感以及評論的總體情感。

在今后的工作中，希望將本文模型與深度學習結合，構建出更加高效的方面情感聯(lián)合模型，以處理海量數(shù)據(jù)問題。

[1]Moghaddam S,Ester M.On the design of LDA models for aspect-based opinion mining[C]//Proceedings of the 21st International Conference on Information and Knowledge Management,Maui,Oct 29-Nov 2,2012.New York:ACM,2012:803-812.

[2]Pontiki M,Galanis D,Pavlopoulos J,et al.SemEval-2014 task 4:aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:27-35.

[3]Kiritchenko S,Zhu X,Cherry C,et al.NRC-Canada-2014:detecting aspects and sentiment in customer reviews[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:437-442.

[4]Wagner J,Arora P,Cortes S,et al.DCU:aspect-based polarity classification for SemEval task 4[C]//Proceedings of the 8th International Workshop on Semantic Evaluation,Dublin,Aug 23-24,2014.Stroudsburg:ACL,2014:223-229.

[5]Tang Duyu,Qin Bing,Feng Xiaocheng,et al.Target-dependent sentiment classification with long short term memory[J].arXiv:1512.01100,2015.

[6]Tang Duyu,Qin Bing,Liu Ting.Aspect level sentiment classification with deep memory network[J].arXiv:1605.08900,2016.

[7]Blei D M,Ng A Y,Jordan M I.Latent Dirichlet allocation[J].Journal of Machine Learning Research,2003,3:993-1022.

[8]Lin Chenghua,HeYulan.Joint sentiment/topic model for sentiment analysis[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management,Hong Kong,China,Nov 2-6,2009.New York:ACM,2009:375-384.

[9]He Yulan,Lin Chenghua,Alani H.Automatically extracting polarity-bearing topics for cross-domain sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies,Portland,Jun 19-24,2011.Stroudsburg:ACL,2011:123-131.

[10]Lin Chenghua,He Yulan,Everson R,et al.Weakly supervised joint sentiment-topic detection from text[J].IEEE Transactions on Knowledge&Data Engineering,2012,24(6):1134-1145.

[11]Jo Y,Oh A H.Aspect and sentiment unification model for online review analysis[C]//Proceedings of the 4th International Conference on Web Search and Web Data Mining,Hong Kong,China,Feb 9-12,2011.New York:ACM,2011:815-824.

[12]Sun Yan,Zhou Xueguang,Fu Wei.Unsupervised topic and sentiment unification model for sentiment analysis[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2013,49(1):102-108.

[13]Li Fangtao,Huang Minlie,Zhu Xiaoyan.Sentiment analysis with global topics and local dependency[C]//Proceedings of the 24th Conference on Artificial Intelligence,Atlanta,Jul 11-15,2010.Menlo Park:AAAI,2010:1371-1376.

[14]Ramage D,Hall D,Nallapati R,et al.Labeled LDA:a supervised topic model for credit attribution in multi-labeled corpora[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing,Singapore,Aug 6-7,2009:248-256.

[15]Mei Qiaozhu,Ling Xu,Wondra M,et al.Topic sentiment mixture:modeling facets and opinions in weblogs[C]//Proceedings of the 16th International Conference on World Wide Web,Banff,May 8-12,2007.New York:ACM,2007:171-180.

[16]Titov I,McDonald R T.A joint model of text and aspect ratings for sentiment summarization[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics,Columbus,Jun 19-20,2008.Stroudsburg:ACL,2008:308-316.

[17]Titov I,McDonald R T.Modeling online reviews with multigrain topic models[C]//Proceedings of the 17th International Conference on World Wide Web,Beijing,Apr 21-25,2008.New York:ACM,2008:111-120.

[18]Zhao Xin W,Jiang Jing,Yan Hongfei,et al.Jointly modeling aspects and opinions with a MaxEnt-LDA Hybrid[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing,Cambridge,Oct 9-11,2010.Stroudsburg:ACL,2010:56-65.

[19]Moghaddam S,Ester M.The FLDA model for aspect-based opinion mining:addressing the cold start problem[C]//Proceedings of the 22nd International Conference on World Wide Web,Rio de Janeiro,May 13-17,2013.New York:ACM,2013:909-918.

[20]Rao Yanghui,Li Qing,Liu Wenyin,et al.Affective topic model for social emotion detection[J].Neural Networks the Official Journal of the International Neural Network Society,2014,58(5):29-37.

[21]Chen Zhiyuan,Mukherjee A,Liu Bing.Aspect extraction with automated prior knowledge learning[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics,Baltimore,Jun 23-25,2014.Stroudsburg:ACL,2014:347-358.

[22]Wu Yao,Ester M.FLAME:a probabilistic model combining aspect based opinion mining and collaborative filtering[C]//Proceedings of the 8th International Conference on Web Search and Data Mining,Shanghai,Feb 2-6,2015.New York:ACM,2015:199-208.

[23]McAuley J,Pandey R,Leskovec J.Inferring networks of substitutable and complementary products[C]//Proceedings of the 21st International Conference on Knowledge Discovery and Data Mining,Sydney,Aug 10-13,2015.New York:ACM,2015:785-794.

[24]Samha A K,Li Yuefeng,Zhang Jinglan.Aspect-based opinion mining from product reviews using conditional random fields[C]//Proceedings of the 13th Australasian Data Mining Conference,Sydney,Aug 8-9,2015.Darlinghurst:Australian Computer Society,Inc,2015:119-128.

[25]Walsh B.Markov chain Monte Carlo and Gibbs sampling[J].Notes,2004,91(8):497-537.

附中文參考文獻：

[12]孫艷,周學廣,付偉.基于主題情感混合模型的無監(jiān)督文本情感分析[J].北京大學學報:自然科學版,2013,49(1):102-108.