基于詞典與規(guī)則的文本情感分析

姚珂

摘要：該文將基礎(chǔ)詞典和自定義詞典相結(jié)合，采用基于詞典和自定義規(guī)則的情感分類(lèi)方法將文本分為正向、負(fù)向、中性三類(lèi)。在此基礎(chǔ)上通過(guò)K折交叉驗(yàn)證，對(duì)自定義規(guī)則的權(quán)重進(jìn)行調(diào)整，并使得到的結(jié)果更具準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，基于詞典和規(guī)則的方法可以對(duì)文本的情感傾向性進(jìn)行有效分類(lèi)。

關(guān)鍵詞：自定義詞典；規(guī)則；情感分析；K折交叉驗(yàn)證

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）26-0162-02

國(guó)務(wù)院在2017年7月8日發(fā)布并實(shí)施的《新一代人工智能發(fā)展規(guī)劃》中自然語(yǔ)言處理技術(shù)被重點(diǎn)提及。它指出自然語(yǔ)言處理技術(shù)主要用于研究短文本的計(jì)算與分析技術(shù)，跨語(yǔ)言文本挖掘技術(shù)和面向機(jī)器認(rèn)知智能的語(yǔ)義理解技術(shù)，多媒體信息理解的人機(jī)對(duì)話(huà)系統(tǒng)。

文本情感分析作為自然語(yǔ)言處理中的一個(gè)重點(diǎn)，是對(duì)帶有感情色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過(guò)程[1]。在情感分析領(lǐng)域，文本可以劃分為兩類(lèi)即積極的或消極的，也可以分為三類(lèi)即積極的、消極的、中性（或不相關(guān)）?，F(xiàn)在國(guó)內(nèi)外主要使用的技術(shù)可以分為兩大類(lèi)：一類(lèi)是基于情感詞典的方法[2]，根據(jù)分詞后得到的情感詞數(shù)量來(lái)計(jì)算總體的情感分值，然后根據(jù)情感分值判斷情感走向；另一類(lèi)是采用機(jī)器學(xué)習(xí)的方法[3]，準(zhǔn)備訓(xùn)練集和測(cè)試集，對(duì)數(shù)據(jù)進(jìn)行向量化，使用邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等分類(lèi)器進(jìn)行情感分類(lèi)。

當(dāng)前各類(lèi)媒體高度發(fā)達(dá)，海量的信息被制造和傳播，想要快速得到文本中的具體內(nèi)容與評(píng)價(jià)，需要我們使用情感分析的方法去解決閱讀和識(shí)別判斷數(shù)據(jù)的難題。此次實(shí)驗(yàn)對(duì)2000條JSON格式的新聞?lì)愝浨閿?shù)據(jù)，進(jìn)行數(shù)據(jù)處理分析，首先對(duì)文本進(jìn)行處理，得到我們要分析的文本主題段落，之后將段落分割成句子，并對(duì)句子進(jìn)行分詞，分詞過(guò)程中將文本中不需要的符號(hào)直接刪除，只保留對(duì)結(jié)果有影響的詞語(yǔ)，通過(guò)詞典匹配的方法對(duì)句子級(jí)情感傾向性（正向、負(fù)向、中性）進(jìn)行評(píng)估。所以本文將基礎(chǔ)詞典和自定詞典進(jìn)行結(jié)合，并定義規(guī)則對(duì)文本的情感傾向性進(jìn)行分析，讓用戶(hù)可以從海量的數(shù)據(jù)中有效識(shí)別和判斷數(shù)據(jù)情感傾向。

1 相關(guān)工作

1.1 構(gòu)建詞典

要進(jìn)行基于情感詞典和規(guī)則的情感傾向性分析，必須有情感詞典做基礎(chǔ)。其中情感詞典應(yīng)該包括基礎(chǔ)詞典和領(lǐng)域詞典。本次實(shí)驗(yàn)中基礎(chǔ)情感詞典是將知網(wǎng)的“情感分析用詞語(yǔ)集”中的正向情感字典、正向評(píng)價(jià)詞典以及負(fù)向情感詞典、負(fù)向評(píng)價(jià)詞典中的這些被廣泛認(rèn)同的情感詞，比如“錯(cuò)”，“壞”，“差”等進(jìn)行結(jié)合、去重。領(lǐng)域詞典是從文本中篩選出基礎(chǔ)詞典沒(méi)有的領(lǐng)域?qū)I(yè)詞匯，并通過(guò)手工標(biāo)注詞的正負(fù)向得到的自定義詞典，領(lǐng)域詞典可以讓正確率得到很大的提升。

1.2 定義規(guī)則

在文本情感傾向性分析領(lǐng)域，外國(guó)的處理技術(shù)明顯更為成熟，但是許多外文的處理技術(shù)中文是不能直接使用的。這是由于中文的語(yǔ)言特殊性，在對(duì)中文文本進(jìn)行情感傾向性分析之前，必須對(duì)文本進(jìn)行分詞。因此分詞是中文文本處理的基礎(chǔ)，目前國(guó)內(nèi)應(yīng)用比較廣泛的分詞工具有清華大學(xué)自然語(yǔ)言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室研制推出的THULAC、北京理工大學(xué)張華平博士研發(fā)的中文分詞系統(tǒng)NLPIR以及結(jié)巴分詞等。本次實(shí)驗(yàn)采用應(yīng)用最為廣泛并支持自定義詞典的結(jié)巴分詞，在結(jié)巴分詞程序中加入自定義詞典對(duì)文本進(jìn)行分詞。在完成分詞之后將分詞結(jié)果和情感詞典表進(jìn)行匹配，從而確定文本出現(xiàn)正、負(fù)向詞的數(shù)量，根據(jù)出現(xiàn)的情感詞數(shù)量通過(guò)定義的規(guī)則來(lái)確定文本的情感傾向。

文本的傾向性計(jì)算規(guī)則需要將新聞段落碾平為句子并將其標(biāo)記為標(biāo)記為W1，W2…Wn，將句子進(jìn)行分詞得到的情感詞中的正向詞標(biāo)記為P1，P2…Pn，負(fù)向詞標(biāo)記為Q1，Q2…Qn，不是正負(fù)向的詞直接設(shè)值為0，然后按照規(guī)則對(duì)文本的情感傾向進(jìn)行計(jì)算，之后通過(guò)K折交叉驗(yàn)證的方法調(diào)整權(quán)重a，以達(dá)到最好的效果。

其中句子的情感傾向計(jì)算規(guī)則如下：

W =[i=1nPi]+a[j=1nQj]

段落的情感傾向計(jì)算規(guī)則為：

E =[i=1nWi]/n

1.3 K折交叉驗(yàn)證

在實(shí)驗(yàn)中由于權(quán)重的不同常常會(huì)導(dǎo)致預(yù)測(cè)結(jié)果無(wú)法穩(wěn)定，調(diào)整權(quán)重之后最終的分?jǐn)?shù)是否會(huì)有改善也未知，因?yàn)槲覀儾恢勒{(diào)整權(quán)重后是更好的發(fā)掘潛在關(guān)系了，還是過(guò)度擬合了。為了解答這個(gè)難題，Stone[4]在1974年首次提出了交叉驗(yàn)證的方法，并通過(guò)驗(yàn)證得出保留一個(gè)樣本數(shù)據(jù)集，其他的數(shù)據(jù)集用來(lái)訓(xùn)練模型，通過(guò)保留的樣本數(shù)據(jù)集去驗(yàn)證模型會(huì)得到一個(gè)比較好的預(yù)測(cè)?，F(xiàn)在比較常見(jiàn)的交叉驗(yàn)證類(lèi)型有重復(fù)隨機(jī)子抽樣驗(yàn)證、K折交叉驗(yàn)證以及留一法交叉驗(yàn)證。其中Geisser[5]在1975年提出的K折交叉驗(yàn)證是將數(shù)據(jù)集平均分為K份，每次選一份做測(cè)試集，剩余的K-1份做訓(xùn)練集，最后將K次測(cè)試結(jié)果的平均值作為預(yù)測(cè)誤差的估計(jì)。

K折交叉驗(yàn)證可以保證每一個(gè)樣本數(shù)據(jù)都能被用作訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，可以有效避免過(guò)度學(xué)習(xí)和欠學(xué)習(xí)狀態(tài)的發(fā)生，得到的結(jié)果比較具有說(shuō)服力?？紤]到k值越大偏差會(huì)越小而計(jì)算復(fù)雜度會(huì)越大，本次實(shí)驗(yàn)采用十重交叉驗(yàn)證的方法。為保證訓(xùn)練集、測(cè)試集與原數(shù)據(jù)集之間的偏差不會(huì)太大，把數(shù)據(jù)按照總數(shù)據(jù)集中正向、負(fù)向、中性數(shù)據(jù)量的比例將數(shù)據(jù)分成10等份，訓(xùn)練集和測(cè)試集中數(shù)據(jù)的比例與原數(shù)據(jù)集大致相同讓結(jié)果更具準(zhǔn)確性。

2 實(shí)驗(yàn)過(guò)程與結(jié)果分析

2.1 實(shí)驗(yàn)過(guò)程

基于詞典與規(guī)則對(duì)文本的情感傾向性進(jìn)行分析的主要流程為：

首先將基礎(chǔ)詞典中的4558個(gè)正向詞、4439個(gè)負(fù)向詞和手工標(biāo)注的自定義詞典中的89個(gè)正向詞和260個(gè)負(fù)向詞相結(jié)合組成情感詞典，然后對(duì)數(shù)據(jù)進(jìn)行篩選處理。將新聞段落碾平為句子，形成我們所需要的14710條句子數(shù)據(jù)，其中正向數(shù)據(jù)共計(jì)5531條，中性數(shù)據(jù)共計(jì)1519條，負(fù)向數(shù)據(jù)共計(jì)6168條。采用十重交叉驗(yàn)證的方法，每次用13239條數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的1471條作為測(cè)試數(shù)據(jù)。將訓(xùn)練數(shù)據(jù)用于自定義規(guī)則中權(quán)重的調(diào)整，將測(cè)試數(shù)據(jù)用于對(duì)文本情感傾向性預(yù)測(cè)分析。

2.2 K折交叉驗(yàn)證確定權(quán)重

通過(guò)十重交叉驗(yàn)證的方法按照原數(shù)據(jù)集中正向、負(fù)向、中性數(shù)據(jù)的比例將數(shù)據(jù)平均分為10等份份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，剩下的一份作為測(cè)試集，在進(jìn)行訓(xùn)練過(guò)程中不斷調(diào)整權(quán)重，最后根據(jù)10次的訓(xùn)練得到最優(yōu)的權(quán)重。

為了更清楚地表示出權(quán)重對(duì)訓(xùn)練結(jié)果的影響，將其中4次訓(xùn)練的結(jié)果通過(guò)圖表的方式表示出來(lái)，其中不同顏色代表了每次訓(xùn)練時(shí)不同的權(quán)重，通過(guò)圖表可以看出灰色的條形圖在每次訓(xùn)練中都是最高的，因此可以得出結(jié)論當(dāng)權(quán)重為7時(shí)正確率會(huì)達(dá)到峰值。

3 結(jié)果與分析

通過(guò)十折交叉驗(yàn)證在訓(xùn)練過(guò)程中對(duì)權(quán)重進(jìn)行了選擇，保證了情感傾向計(jì)算規(guī)則的穩(wěn)定性，同時(shí)為保證測(cè)試結(jié)果的準(zhǔn)確性將10次測(cè)試結(jié)果取平均值作為最終的正確率。

4 結(jié)束語(yǔ)

本文將基礎(chǔ)詞典和自定義詞典相結(jié)合，基于詞典和規(guī)則對(duì)文本的情感傾向進(jìn)行了分類(lèi)，并且取得了有效的成果。但是本次實(shí)驗(yàn)也存在較大的提升空間，之后的工作可以結(jié)合機(jī)器學(xué)習(xí)算法，并將語(yǔ)義分析應(yīng)用到實(shí)驗(yàn)中，在情感分析過(guò)程中更好地結(jié)合上下文語(yǔ)境，以得到更好的預(yù)測(cè)效果。

參考文獻(xiàn)：

[1] 楊立公，朱儉，湯世平.文本情感分析綜述[J].計(jì)算機(jī)應(yīng)用，2013，33（6）：1574-1578.

[2] Lunwei Ku， Tungho Wu， Liying Lee， et al. Construction of an Evaluation Corpus for Opinion Extraction [C] / /NTCIR-5，Japan. 2005：513-520.

[3] Dasgupta S， Ng V. Mine the Easy. Classify the Hard：SSemiSupervisedApproach to Automatic Sentiment：Classification [C] / /ACL，2009：701-709.

[4] Stone M. Cross validatory choice and assessment of statistical predictions. J. Roy Statist. Soc. Ser. B， 1974， 36：111-147.

[5] Geisser S. The predictive sample reuse method with applications. J. Amer. Statist.Assoc， 1975， 70：320-328.

[通聯(lián)編輯：唐一東]