面向話題的新聞評論的情感特征選取

陶富民,高 軍,王騰蛟,周 凱

(北京大學(xué)信息科學(xué)技術(shù)學(xué)院計算機(jī)系網(wǎng)絡(luò)與信息技術(shù)研究院,北京100871)

1 引言

隨著網(wǎng)絡(luò)的普及特別是Web2.0的興起和發(fā)展,網(wǎng)絡(luò)上用戶生成內(nèi)容(UGC)越來越多,比如博客、評論、論壇帖子等。這些用戶生成內(nèi)容在網(wǎng)絡(luò)中占據(jù)越來越重要的地位。它們包含大量的主觀性內(nèi)容,這些主觀性內(nèi)容含有很多潛在的有用信息,比如針對商品的評價會直接影響到用戶的購買行為;政府機(jī)構(gòu)會關(guān)注發(fā)布的政策法規(guī)在網(wǎng)絡(luò)中的反響;關(guān)注網(wǎng)上的輿情信息,特別是熱點事件的輿情信息。

傳統(tǒng)的網(wǎng)絡(luò)信息處理主要針對基于事實性的文本,比如基于關(guān)鍵字的檢索,文本的分類,聚類等,這些處理忽略了其中的情感信息。情感分析主要針對用戶生成內(nèi)容來進(jìn)行情感信息的挖掘,其最重要的方面是情感傾向性分析。情感的特征選取不僅是影響情感傾向性分析結(jié)果好壞的重要因素,也是其主要難點。主要體現(xiàn)在1)僅僅通過詞頻或其他簡單統(tǒng)計量很難或提取不出有效的情感特征;2)一些特征詞在不同的領(lǐng)域具有不同的情感傾向,比如“布什是中國人民的老朋友”和“老布什這個老不死的”這兩句話中,“老”這個詞在其出現(xiàn)的三個地方中有三種不同的情感特征。由于情感特征提取的特殊性,傳統(tǒng)文本分析方法不能滿足情感分析的要求。本文的目標(biāo)就是找出一個有效的情感特征提取方法。

在本文中,我們主要關(guān)注新聞領(lǐng)域中與政治相關(guān)評論的情感傾向。我們抓取搜狐一年的國內(nèi)、國際、社會相關(guān)的 67 190條新聞和對應(yīng)的 6 156 840條評論并進(jìn)行了簡要的分析：1)對新聞進(jìn)行聚類,共聚集出15 190個類別。從圖1中可以看出聚類后的類別的新聞數(shù)目大致符合齊普夫定律(zipf's law[1]),表明熱點新聞是用戶的主要關(guān)注點。2)新聞的評論數(shù)目分布也大致符合齊普夫定律(見圖2),進(jìn)一步說明用戶的關(guān)注度集中在熱點新聞中。從上面兩個結(jié)論說明改善熱點新聞評論的情感分析效果具有重要的意義,可以通過提高它們的情感分析效果來提高整體情感分析效果。

圖1 聚類的新聞數(shù)目

圖2 新聞的評論數(shù)目

目前的情感特征提取的方法主要集中在電影、書籍、商品等評論上,針對新聞評論的情感特征提取則很少,而且相對更加困難。其困難之處在于新聞領(lǐng)域中的評論很難像文獻(xiàn)[2-3]中描述的那樣,可以比較容易地獲取高質(zhì)量評論或與所評論的內(nèi)容相關(guān)性較高的評論來進(jìn)行情感分析。此外新聞評論的情感特征提取的主要難點還在于：評論的內(nèi)容普遍較短(見圖3,圖4);評論的主題十分發(fā)散,評論容易偏離其所針對的主題;普通用戶評論用詞口語化、錯字、別字、簡寫、俚語較多;另外還有很多評論有很強(qiáng)的背景(比如“農(nóng)夫與蛇”這樣與典故相關(guān)的評論)。新聞評論中的這些特性使得我們需要在評論本身與評論所針對的對象之間進(jìn)行更多的分析處理。

圖3 評論長度與數(shù)量的關(guān)系

圖4 隨機(jī)選取1000條評論長度

2 相關(guān)術(shù)語定義和工作流程

1.對比新聞內(nèi)容和評論內(nèi)容得到的通用候選情感特征詞表,簡稱通用候選特征表GC;

2.對通用候選特征進(jìn)行人工篩選和傾向性標(biāo)注得到新聞評論的情感種子特征詞表,稱之為基礎(chǔ)情感特征表BF;

3.在基礎(chǔ)特征詞表的基礎(chǔ)上進(jìn)行擴(kuò)充和驗證得到擴(kuò)充的情感特征詞表,稱之為通用情感特征表GF;

4.根據(jù)新聞內(nèi)容對新聞進(jìn)行聚類,選取數(shù)目大于預(yù)定義數(shù)值的新聞類簇,這些新聞類簇稱為話題{T};

5.對比話題的評論和話題的新聞得到與話題相關(guān)的候選情感特征詞表,簡稱話題候選特征表{TC};

6.在基礎(chǔ)情感特征詞表BF的基礎(chǔ)上,對話題候選特征詞表{TC}進(jìn)行驗證得到與話題相關(guān)的情感詞表,稱之為話題情感特征表{TF}。

在得到上述的特征表和話題信息之后,我們用下列方式對新聞的評論進(jìn)行情感分析：

1.確定新聞N所在的話題t：首先查看新聞N是否屬于某個話題t中,如果不屬于任何一個話題,則根據(jù)新聞N與各個話題的相似關(guān)系判定新聞N是否能夠劃分到某個話題t中,如果沒有被劃入任何一個話題中,則令t為空話題nil。

2.根據(jù)新聞N所在的話題t確定對應(yīng)的情感特征表f：如果t為nil,則令情感特征表 f為通用情感詞表GF,否則根據(jù)t從{TF}中尋找對應(yīng)的情感特征表f。

3.對新聞N的每一個評論c,通過其情感特征表 f確定其情感傾向p。

3 基于話題的情感特征提取

3.1 獲取評論的通用候選特征和基礎(chǔ)情感特征

一般而言,評論除了包含情感特征詞之外,還包含許多與評論內(nèi)容相關(guān)的詞和高頻詞。直接采用詞頻等統(tǒng)計信息很難提取出有效的情感特征;同時Pang等人在文獻(xiàn)[3]中發(fā)現(xiàn)用統(tǒng)計的方法選取出的評論特征詞比人工直接選取的效果要好。這表明對評論進(jìn)行情感分析時,評論的情感特征應(yīng)該從所分析的評論中取出。我們采取的方法是分步驟逐漸優(yōu)化提取情感特征。

首先我們采用公式：

對評論中出現(xiàn)的詞打分后進(jìn)行排序,選取得分較高的詞作為通用候選特征表GC。其中R_DF(Term)、N_DF(Term)、R_TF(Term)和 N_TF(Term)分別表示Term出現(xiàn)在所有不同評論中的次數(shù)、出現(xiàn)在所有不同新聞中的次數(shù)、在所有評論中出現(xiàn)的總次數(shù)和在所有新聞中出現(xiàn)的總次數(shù)。排序規(guī)則是先按Score1的得分排序,如果Score1的得分一樣,再按Score2的得分進(jìn)行排序。

利用上述公式可以使高頻詞和與新聞背景相關(guān)的詞(比如在講述中美關(guān)系的新聞中,“中國”,“美國”這樣的詞)得分降低。這樣一來,這些詞就不容易出現(xiàn)在通用候選特征表GC中。

在通用候選特征表GC中存在著大量的噪音,比如不規(guī)范的用詞,錯別字;評論中的廣告或其他垃圾信息,它們在評論中出現(xiàn)頻率比較高,而在新聞中卻很少出現(xiàn),所以這些噪音的得分也會比較高,之外我們還需要明確那些與情感相關(guān)的候選特征詞的傾向性。因此需要進(jìn)行必要的人工篩選和傾向性標(biāo)注,通過篩選和標(biāo)注后得到基礎(chǔ)情感特征表BF。

3.2 構(gòu)建詞的同位關(guān)系對基礎(chǔ)情感特征詞表進(jìn)行擴(kuò)充和驗證

雖然基礎(chǔ)情感特征詞表BF里面的情感詞都是經(jīng)過人工干預(yù)的,但考慮人工篩選和標(biāo)注的代價以及在獲取候選特征詞表中我們不能保證所有與情感相關(guān)的特征都能得到較高的分成為候選特征,需要對基礎(chǔ)情感特征詞表BF進(jìn)行自動擴(kuò)充操作以增加召回率。

3.2.1 同位關(guān)系的構(gòu)建

定義1：同位關(guān)系如果兩個詞在意思表達(dá)可以替換或表示同一類事物時,則稱這兩個詞存在同位關(guān)系。例如“豐田”和“寶馬”是同位關(guān)系。但“豐田”和“汽車”就不能看成同位關(guān)系。同理,“高興”和“悲傷”是同位關(guān)系,但“高興”和“情緒”就不是同位關(guān)系。

我們在大規(guī)模語料中利用設(shè)定的模板模擬詞與詞之間的同位關(guān)系,如“(@x[、@y]*[和|與|以及]@z)”。@x和@z分別表示一個詞,{@y}表示包含0到多個詞的集合。該模板定義詞@x,詞@z和詞集{@y}中詞之間存在同位關(guān)系。我們利用自設(shè)的一些模板提取了近1 240萬個模擬詞同位關(guān)系對。用匹配次數(shù)(M acthCnt)以及同位關(guān)系的置信度con fidence(term1,term2)=p(term1,term2)/p(term1)來衡量模擬詞的同位關(guān)系對的維度。

3.2.2 擴(kuò)充和驗證

根據(jù)詞的同位關(guān)系,我們對基礎(chǔ)情感特征表BF中的所有特征詞按公式log(M acthCnt)×con fidence的結(jié)果大小順序找出k個同位詞(不足則全取)來進(jìn)行擴(kuò)充操作。把正向情感特征和相關(guān)擴(kuò)充特征稱為正向擴(kuò)充詞典,把負(fù)向情感特征和相關(guān)擴(kuò)充特征稱為負(fù)向擴(kuò)充詞典。由于我們所得到的同位關(guān)系只是模擬的同位關(guān)系,另外還存在處于同位關(guān)系的兩個特征詞具有不同的情感傾向性,所以需要對這些擴(kuò)充詞進(jìn)行驗證來過濾引入的錯誤的情感特征以及對擴(kuò)充詞進(jìn)行情感標(biāo)注。驗證方法如下：

1)首先對每一個在擴(kuò)充階段得到的詞,找出其同位詞集,根據(jù)它們在正負(fù)擴(kuò)充詞典的個數(shù)和比率進(jìn)行過濾。

個數(shù)過濾方法：如果正向擴(kuò)充詞在基礎(chǔ)情感特征詞表BF中的同位詞標(biāo)注為正向傾向的特征詞小于設(shè)定的最小個數(shù)min_cnt(設(shè)定為3)則將該詞過濾,負(fù)向擴(kuò)充詞同理。

比率過濾方法：通過隨機(jī)選取基礎(chǔ)情感詞表BF中的一些詞,并對它們的擴(kuò)充詞進(jìn)行人工標(biāo)注后,把過濾這些擴(kuò)充詞的最優(yōu)的參數(shù)值設(shè)定為閾值a。如果正負(fù)向同位詞的比率小于設(shè)定的閾值 a,則將該詞過濾。

2)經(jīng)過上一步過濾后,還存在一些正負(fù)擴(kuò)充詞典中共同包含的詞。采用比較其同位詞在正負(fù)向擴(kuò)充詞典的個數(shù)的方法來確定其情感傾向,即如果詞T同時出現(xiàn)在正負(fù)向擴(kuò)充詞典中,并且出現(xiàn)在正向擴(kuò)充詞典中的個數(shù)多,那么就認(rèn)為詞T的情感傾向為正向,將其從負(fù)向擴(kuò)充詞典中刪除。如果數(shù)目一樣,則同時刪除,否則將其從正向擴(kuò)充詞典刪除。

按上述方式進(jìn)行多次迭代過濾后就可以得到兩個過濾后的情感詞典。把這兩個詞典合并成一個帶情感傾向標(biāo)注的詞典就是我們定義的通用情感特征表GF。

3.3 話題構(gòu)建和話題情感特征的構(gòu)建

根據(jù)我們對搜狐的新聞對應(yīng)的評論數(shù)目,新聞聚類中對應(yīng)的新聞數(shù)目的分析,可以得出用戶評論主要集中在熱點新聞中的結(jié)論。因此可以把改善情感分析效果的重心放在熱點新聞類別中。我們通過聚類將新聞劃分成多個話題,對每一個話題提取出與該話題相關(guān)的情感特征。通過這些話題相關(guān)的情感特征來提高話題中的新聞的情感分析效果,以達(dá)到提高整體的情感分析效果的目的。

3.3.1 構(gòu)建話題

我們利用CMU與UMASS的Lemur系統(tǒng)提供的索引和聚類工具對新聞進(jìn)行聚類。采用中心點(centroid)的聚類方法,用向量之間的余弦值(cosine similarity)計算新聞相似度,通過設(shè)置較高的相似度閾值來提高同一類簇中的新聞的內(nèi)聚性。把新聞數(shù)目大于等于10的類簇定義為話題。所有的話題的集合定義為話題{T}。

3.3.2 獲取話題的候選特征

與獲取評論的通用候選特征類似,采用公式：

對評論中出現(xiàn)的詞進(jìn)行打分排序。R_DF(t,term),N_DF(t,term),R_TF(t,term)和N_TF(t,term)分別表示term在話題t中出現(xiàn)在不同評論中的次數(shù)、出現(xiàn)在不同新聞中的次數(shù)、出現(xiàn)在評論中的總次數(shù)和在新聞中的出現(xiàn)總次數(shù)。排序規(guī)則也是先按Score1(t,term)的得分排序,在該分值一致的情況下再按Score2(t,term)的得分進(jìn)行排序。然后取得分較高的前k個特征詞作為話題候選特征。所有話題的候選特征的集合為話題候選特征表{TC}。

3.3.3 對話題的候選特征進(jìn)行驗證

我們將基礎(chǔ)情感特征表BF和話題對應(yīng)的話題候選特征表tc一起作為話題的擴(kuò)充詞典,但只用模擬的同位關(guān)系去驗證和過濾話題的候選特征詞,不做進(jìn)一步的迭代以達(dá)到在線處理的要求。

處理方式為：設(shè)置最小個數(shù)min_cnt和差別率a兩個閾值進(jìn)行過濾,令P為候選特征詞term的同位詞中正向情感特征數(shù),N為負(fù)向情感特征數(shù),如果同時滿足P>N,P>=min_cnt,P/(N+1)>=1+a三個條件,就保留term作為話題的正向情感特征。同理,如果同時滿足 N>P,N>=min_cnt,N/(P+1)>=1+a三個條件,就把term保留下來作為話題的負(fù)向情感特征。這樣就可以得到話題的情感特征表,所有話題的情感特征表構(gòu)成的集合為話題情感特征表{TF}。

4 實驗結(jié)果和分析

4.1 實驗說明

我們從NTCIR-6的中文語料中抽取出帶有標(biāo)注信息的情感特征詞,僅僅使用這些情感特征詞進(jìn)行情感傾向性分析的召回率很低。為此我們設(shè)計了一個提供標(biāo)注評論的情感特征詞,情感傾向和標(biāo)注評論的情感傾向等功能的反饋系統(tǒng)。在本實驗中,我們把從NTCIR-6中抽取的情感特征詞和用戶反饋的情感特征詞組成的情感詞典作為我們的基準(zhǔn)情感特征表NF。

我們一共標(biāo)注了419篇新聞的5 414條評論,其中3 528條負(fù)向評論,1 886條正向評論。從新聞的聚類結(jié)果中選取了3個新聞和評論數(shù)最高的話題(A,B,C)進(jìn)行了標(biāo)注,從話題A中選取了146條新聞,對其中的1 052條評論進(jìn)行了標(biāo)注,其中正負(fù)向評論分別為380條,672條;從話題B中選取了119篇新聞,對其中的671條評論進(jìn)行了標(biāo)注,其中正負(fù)向評論分別為179條,492條;從話題C選取了75篇新聞,對其中的1 106條評論進(jìn)行了標(biāo)注,其中正負(fù)向的評論分別為471條,635條。

4.2 基準(zhǔn)情感特征表NF和通用候選特征表GC的實驗對比

在3.1節(jié)中選取的通用候選特征表GC時,選取候選特征詞的前1 000個特征詞和基準(zhǔn)情感特征表NF進(jìn)行對比實驗：采用 Weka提供的 Na?ve Bayes和 Na?ve Bayes M ultinomial方法 ,用 10 折交叉驗證方式的對結(jié)果進(jìn)行對比(見表1)。從實驗結(jié)果中可以看出考慮特征詞是否出現(xiàn)和考慮其出現(xiàn)的次數(shù)之間差別很小。采用Na?ve BayesM u ltinomial方法的效果要好于Na?ve Bayes的方法。另外還可以發(fā)現(xiàn),盡管與評論相關(guān)的通用候選特征表GC的特征數(shù)目(1 000個)比采用基準(zhǔn)情感特征表 NF的特征數(shù)目(1 914個)要少近一半,但其召回數(shù)目要高出16.4%,而準(zhǔn)確度(Accuracy)卻相差不大,特別是在較高的準(zhǔn)確的Na?ve Bayes Multinomial方法下只相差了不到1%的準(zhǔn)確度。

表1 通用候選特征表GC和基準(zhǔn)情感特征表NF在機(jī)器學(xué)習(xí)方法上的對比結(jié)果

4.3 基準(zhǔn)情感特征表NF和通用情感特征表GF的實驗對比

我們從通用候選特征表GC中標(biāo)注了1 195個情感特征詞,利用這些特征詞進(jìn)行擴(kuò)充和驗證得到通用情感特征表GF。采用的方法是利用詞的情感傾向特征結(jié)合句子的否定和轉(zhuǎn)折處理對評論進(jìn)行情感傾向性判定。從表2中可以看出,在構(gòu)造通用情感特征表GF時對每個情感特征詞選取20個以內(nèi)的同位詞(不足20個選取所有)進(jìn)行擴(kuò)充和驗證時,就能達(dá)到和基準(zhǔn)情感特征表NF相近的召回數(shù)和準(zhǔn)確度。當(dāng)對每個情感特征詞選取100個以內(nèi)的同位詞進(jìn)行擴(kuò)充和驗證時,以降低約2%的準(zhǔn)確度為代價提高了11.4%～11.7%的召回數(shù),相當(dāng)于在總體上提高了9%以上的準(zhǔn)確率。與采用機(jī)器學(xué)習(xí)的方法類似,考慮特征的出現(xiàn)與否的準(zhǔn)確率稍高于考慮特征的數(shù)目(約1%)。

表2 通用情感特征表GF和基準(zhǔn)情感特征表NF的情感分類的對比結(jié)果

對比表1和表2的結(jié)果發(fā)現(xiàn),采用詞的情感傾向特征結(jié)合句子的否定和轉(zhuǎn)折處理的情感分析方法,雖然在準(zhǔn)確度上有所下降(1%～2%)。但帶來了很大的召回數(shù)目的提升(34.8%～40.9%)。

4.4 面向話題的情感分析實驗對比

首先我們利用機(jī)器學(xué)習(xí)的方法比較使用通用候選特征表GC與采用話題候選特征表{TC}的效果差異。從表3中可以看出,盡管采用話題候選特征表{TC}在準(zhǔn)確度上有所下降(在效果較好的Na?ve Bayes M ultinomial方法分別為0.7%,4.7%和2.6%),但召回率卻分別高出91%,105%和98%。該結(jié)果說明利用話題候選特征表{TC}能極大地改善情感分析的效果。

表3 通用候選特征表GC和話題候選特征表{TC}的機(jī)器學(xué)習(xí)方法上的對比結(jié)果

下面的實驗是根據(jù)話題情感特征詞表{TF},利用詞的情感傾向特征結(jié)合句子的否定和轉(zhuǎn)折處理進(jìn)行情感傾向性判定。從實驗結(jié)果中(見表4,5)可以看出使用話題情感特征詞表{TF}與通用情感特征表GF(對每個特征詞選取100個以內(nèi)的同位詞擴(kuò)展)相比,在召回率相近(70%左右)的情況下,其準(zhǔn)確度高出2%～5%。與使用基準(zhǔn)情感特征表 NF相比,召回率高5%～10%。

表4 基于話題情感特征詞表(TF)的情感分析結(jié)果

表5 召回率對比

5 相關(guān)工作

文本情感分析最常用的方法是情感分類。雖然在普通的文本分類里有許多經(jīng)典的特征提取方法[4-5],如DF,卡方檢驗,互信息,信息增益等。但這些方法不能直接應(yīng)用在情感分類中,比如“中美關(guān)系”是政治新聞中的一個重要特征,但不能作為情感分類的特征。

在早期的研究中[6],Pang等人用人工挑選情感特征詞和基于詞頻統(tǒng)計加人工檢驗的方法比較時發(fā)現(xiàn),基于統(tǒng)計的方法在準(zhǔn)確度上有近5%到10%的提高。在文獻(xiàn)[7]中,Turney等利用兩個詞之間的逐點互信息量PM I(PointwiseM utual Information)定義詞的情感傾向SO(Semantic Orientation),在汽車、銀行等領(lǐng)域的情感分類能達(dá)到80%以上的準(zhǔn)確率,但使用搜索引擎計算SO值的開銷比較大,不適用于大規(guī)模的快速分析。

還有一些研究[8]從一個核心的情感種子詞典出發(fā),利用WordNet定義的關(guān)系(如同義,近義)進(jìn)行傾向性判定來擴(kuò)充情感特征詞。Popescu[9]在其OPINE 系統(tǒng)中,使用“Relaxation Labeling”的方法,通過Support Function和迭代操作,同時標(biāo)識出產(chǎn)品的特征和用戶的情感觀點。與文獻(xiàn)[7]相比,以降低3%的召回率的代價提高了22%的精度。Kobayashi[10]通過層次的方法獲取情感特征改善情感分析效果,但需要在每一個層次進(jìn)行人工干預(yù)。

6 結(jié)論

本文的主要貢獻(xiàn)在下列幾個方面：

1)通過構(gòu)建詞的同位關(guān)系,對人工標(biāo)注的情感特征進(jìn)行擴(kuò)充,并對噪聲比較大的候選情感特征和擴(kuò)充情感特征進(jìn)行了驗證。

2)構(gòu)建了一個面向話題的新聞評論的情感特征提取框架,通過對那些熱門話題構(gòu)造對應(yīng)的情感特征表來達(dá)到改善情感分析的效果。由于用戶的關(guān)注主要集中在熱門話題上,故該工作有重要的意義。

同時在我們的工作中還發(fā)現(xiàn)目前的情感分析方法對新聞評論中反語效果很差,如果能夠找到一種針對反語的處理方法,就可以有效的改善情感分析的效果。另外找出評論對象之間的關(guān)系以及和評論者之間的關(guān)系也是一個值得深入研究的課題。

[1] W entian Li.Random Tex ts Exhibit Zipf's-Law-Like W ord Frequency Distribution[J].IEEE Transactions on Information Theory 38 1992,6：1842-1845.

[2] J.Liu,Y.Cao,C.Y.Lin and et al.Low-quality product review detection in opinion summarization[C]//Proc.of EM NLP-CoNLL,2007：334-342.

[3] S.M.Kim,P.Pantel,T.Chklovski and M.Pennacchiotti.Automatically assessing review help fu lness[C]//Proc.of EM NLP,2006：423-430.

[4] Yim ing Yang and Jan O.Pedersen.A Comparative Study on Feature Selection in Text Categorization[C]//Proc.of ICM L,1997：412-420.

[5] G.Forman.An extensive empirical study of feature selection metrics for text classification[J].Journal of Machine Learning Research,2003,3：1289-1305.

[6] B.Pang,L.Lee,and S.Vaithyanathan.Thumbs up?Sentiment classification using machine learning techniques[C]//Proc.of EMNLP,2002：79-86.

[7] P.Turney.Thumbs up or thumbs dow n?Semantic orientation app lied to unsupervised classification of review s[C]//Proc.of ACL,2002：417-424.

[8] M.Hu and B.Liu.2004.M ining and summarizing customer reviews[C]//Proc.of ACM SIGKDD,2004：168-177.

[9] Ana-M.Popescu and O.Etzioni.Extracting product features and opinions from review s[C]//Proc.of H LT/EMNLP,2005：339-346.

[10] N.Kobayashi,K.Inui,Y.M atsumoto and et al.Collec ting evaluative exp ressions for opinion extraction[C]//Proc.of IJCNLP,2004：584-589.