基于LSTM網(wǎng)絡(luò)的評(píng)價(jià)對(duì)象和評(píng)價(jià)詞抽取

李盛秋+趙妍妍+秦兵+劉挺

摘要：隨著網(wǎng)絡(luò)電商的興起，越來(lái)越多的用戶在網(wǎng)上對(duì)商品進(jìn)行評(píng)價(jià)。所謂評(píng)價(jià)對(duì)象與評(píng)價(jià)詞，指的是在產(chǎn)品評(píng)論中用戶所表達(dá)的態(tài)度的對(duì)象以及所使用的極性詞。本文將評(píng)價(jià)對(duì)象與評(píng)價(jià)詞的抽取看做為序列標(biāo)注任務(wù)，并介紹了如何使用循環(huán)神經(jīng)網(wǎng)絡(luò)解決序列標(biāo)注任務(wù)。同時(shí)，還說(shuō)明了循環(huán)神經(jīng)網(wǎng)絡(luò)的局限性，并使用LSTM對(duì)評(píng)價(jià)對(duì)象與評(píng)價(jià)詞進(jìn)行抽取。最后，本文還與基于規(guī)則的雙向傳播算法進(jìn)行了對(duì)比。從實(shí)驗(yàn)結(jié)果可以看出，LSTM在評(píng)價(jià)對(duì)象與評(píng)價(jià)抽取任務(wù)上的性能較雙向傳播算法來(lái)說(shuō)有非常大的提高。

關(guān)鍵詞： 循環(huán)神經(jīng)網(wǎng)絡(luò)； LSTM模型； 評(píng)價(jià)對(duì)象； 雙向傳播算法

中圖分類號(hào)： TP391.4

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 2095-2163（2017）05-0095-03

Abstract： As more and more users do shopping online， product reviews become a big resource for NLP research. Aspects are the opinion targets in the reviews， and the polarities are the attitude of users towards aspects. The paper treats the aspect and polarity words extraction as a sequence labeling task， and introduces how to use Recurrent Neural Network to solve the sequence labeling task. Also， the paper points out the shortcoming of RNN and uses LSTM instead to extract the aspects and polarities. Finally， the results of experiments show that LSTM model can significantly improve the performance in contrast to the Double Propagation algorithm， a rulebased algorithm for aspects and polarities extraction.

0引言

如今隨著社交媒體、網(wǎng)上論壇的興起，以及淘寶、京東等互聯(lián)網(wǎng)交易方式的流行，越來(lái)越多的消費(fèi)者通過(guò)網(wǎng)絡(luò)論壇、社交網(wǎng)站等途徑來(lái)表達(dá)自己對(duì)于所購(gòu)買的產(chǎn)品的評(píng)價(jià)。這些大量的產(chǎn)品評(píng)論對(duì)于消費(fèi)者和生產(chǎn)廠家來(lái)說(shuō)都是珍貴的參考。對(duì)于消費(fèi)者來(lái)說(shuō)，充分地閱覽其他消費(fèi)者的評(píng)價(jià)有助于提前了解這一款產(chǎn)品的情況，是對(duì)產(chǎn)品印象的重要參考；而對(duì)于生產(chǎn)廠家來(lái)說(shuō)，大量準(zhǔn)確客觀的用戶評(píng)價(jià)可以獲得用戶對(duì)產(chǎn)品意見，更有助于改進(jìn)產(chǎn)品。

然而，一方面由于評(píng)論數(shù)量巨大，單靠人的瀏覽和閱讀速度很難系統(tǒng)地整理出所有用戶的評(píng)價(jià)，難以從中有效地提取出有價(jià)值的信息；同時(shí)另一方面，大量的評(píng)論使得人們難以客觀準(zhǔn)確地對(duì)產(chǎn)品之間的評(píng)論進(jìn)行比較。針對(duì)目前已經(jīng)進(jìn)入的大數(shù)據(jù)時(shí)代，僅僅依靠人力來(lái)對(duì)大量的數(shù)據(jù)進(jìn)行分析是不合適的。在這種情況下，就可以依靠計(jì)算機(jī)的力量，利用人工智能來(lái)解決這個(gè)問(wèn)題。

不過(guò)，傳統(tǒng)的文本情感分析主要是對(duì)句子或篇章進(jìn)行情感分類，用以自動(dòng)獲得句子、篇章的整體情感極性。但是，文本情感分類無(wú)法提取出情感發(fā)生的對(duì)象，也不能獲得真正表達(dá)出了情感的詞語(yǔ)，在具體的應(yīng)用上有所限制，而細(xì)粒度的情感分析則能夠很好地解決這個(gè)問(wèn)題。

而在產(chǎn)品評(píng)論領(lǐng)域中，用戶的評(píng)論經(jīng)常帶有明確的指向，例如針對(duì)產(chǎn)品的某一部分或某一功能做出的評(píng)價(jià)。此時(shí)，找出用戶評(píng)價(jià)的明確對(duì)象與評(píng)價(jià)詞語(yǔ)就顯得尤為重要。

[BT4]1使用LSTM網(wǎng)絡(luò)抽取評(píng)價(jià)對(duì)象和評(píng)價(jià)詞

對(duì)于評(píng)價(jià)對(duì)象和評(píng)價(jià)詞的抽取，目前已經(jīng)有很多相關(guān)的研究工作，主要包括2個(gè)方面：基于規(guī)則的方法與基于機(jī)器學(xué)習(xí)的方法。

基于規(guī)則的方法利用了詞法分析及句法分析的結(jié)果，通過(guò)人為構(gòu)造一些詞性規(guī)則與句法規(guī)則來(lái)實(shí)現(xiàn)對(duì)評(píng)價(jià)對(duì)象與評(píng)價(jià)詞語(yǔ)的抽取。例如，Qiu[1]提出了一種利用預(yù)先制定的規(guī)則，通過(guò)雙向傳播算法進(jìn)行評(píng)價(jià)對(duì)象、評(píng)價(jià)詞語(yǔ)與評(píng)價(jià)關(guān)系的抽取。Liu[2]則在此基礎(chǔ)上進(jìn)行了改進(jìn)，使用2組不同的句法規(guī)則（一組高精確率、一組高召回率）分別對(duì)語(yǔ)料進(jìn)行處理，再利用相似度、詞語(yǔ)共現(xiàn)等信息從高召回率的結(jié)果中過(guò)濾出正確的部分，同時(shí)這種方法還采用了Life-long Learning[3]的思想，在預(yù)測(cè)中提高了模型性能。

此外，還可以將評(píng)價(jià)對(duì)象與評(píng)價(jià)詞的抽取看做是文本序列標(biāo)注的任務(wù)。序列標(biāo)注將會(huì)對(duì)句子中的每一個(gè)詞語(yǔ)打上一個(gè)標(biāo)簽，用來(lái)表示該詞語(yǔ)的性質(zhì)。例如，如果要對(duì)評(píng)價(jià)對(duì)象進(jìn)行序列標(biāo)注，輸出樣例如表1所示。

目前有很多較為成熟的模型，例如隱馬爾科夫模型（Hidden Markov Model，HMM）[4]、條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）[5]、深度神經(jīng)網(wǎng)絡(luò)等方法。其中，從Liu[6]進(jìn)行的深度神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)中可以看出，深度神經(jīng)網(wǎng)絡(luò)模型對(duì)于序列標(biāo)注任務(wù)有著比CRF更好的性能。同時(shí)，基于深度學(xué)習(xí)的方法對(duì)特征依賴較少，不需要太多的領(lǐng)域知識(shí)即可得到很好的效果。深度學(xué)習(xí)模型中的循環(huán)神經(jīng)網(wǎng)絡(luò)[7]比較適合用來(lái)解決序列標(biāo)注問(wèn)題。循環(huán)神經(jīng)網(wǎng)絡(luò)的示意如圖1a）所示，將循環(huán)神經(jīng)網(wǎng)絡(luò)按照時(shí)間展開之后的示意如圖1b）所示。

圖2來(lái)自于https：//en.wikipedia.org/wiki/Long_shortterm_memory#/media/File：Long_short_Term_Memory. png。使用LSTM網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)對(duì)象和評(píng)價(jià)詞抽取的核心思想是，在判斷某一個(gè)詞語(yǔ)是否為評(píng)價(jià)對(duì)象或評(píng)價(jià)詞時(shí)，[JP2]需要充分考慮其前后一定范圍（即“窗口”）內(nèi)的詞語(yǔ)。在窗口范圍內(nèi)，將所有詞語(yǔ)的詞向量（Embedding）[10]作為L(zhǎng)STM的輸入；同時(shí)最后一個(gè)詞語(yǔ)的輸出和一個(gè)采用Sigmoid激活函數(shù)的神經(jīng)元相連接，以達(dá)到二元分類的目的。如圖 3所示，當(dāng)需要判斷“鏡頭”一詞是否為一個(gè)評(píng)價(jià)對(duì)象時(shí)，選取其前后的若干詞語(yǔ)（此處為前后各2個(gè)詞）組成的詞向量一同作為L(zhǎng)STM模型的輸入。[JP]endprint

實(shí)驗(yàn)中，評(píng)價(jià)對(duì)象與評(píng)價(jià)詞的抽取使用的數(shù)據(jù)是校訂過(guò)的COAE評(píng)測(cè)語(yǔ)料，包含了手機(jī)、相機(jī)、汽車和筆記本四個(gè)領(lǐng)域。各個(gè)領(lǐng)域的語(yǔ)料規(guī)模如表2所示。

本文還將與基于規(guī)則的雙向傳播算法[7]進(jìn)行實(shí)驗(yàn)對(duì)比。其基本思想是，首先給定一組預(yù)定義好的評(píng)價(jià)詞語(yǔ)，以及一批人工定義的句法規(guī)則，通過(guò)規(guī)則擴(kuò)展評(píng)價(jià)對(duì)象的集合；隨后利用新的評(píng)價(jià)對(duì)象詞語(yǔ)再次對(duì)評(píng)價(jià)詞語(yǔ)集合進(jìn)行擴(kuò)展。最終，當(dāng)評(píng)價(jià)對(duì)象和評(píng)價(jià)詞語(yǔ)的集合均穩(wěn)定后，算法即停止。例如，給定初始評(píng)價(jià)詞語(yǔ)集合P={“好”，“不錯(cuò)”}，初始評(píng)價(jià)對(duì)象集合T={}，句法規(guī)則集合R={“名詞主語(yǔ)”+“形容詞謂語(yǔ)”，“形容詞定語(yǔ)”+“名詞”}，句子集合Q={“XX的手機(jī)還真是不錯(cuò)”，“YY是個(gè)優(yōu)秀的手機(jī)”}。則第一次傳播過(guò)后，Q中的第一句滿足R中的第一條規(guī)則，同時(shí)“不錯(cuò)”還在評(píng)價(jià)詞語(yǔ)集合P中，因此“手機(jī)”將被加入評(píng)價(jià)對(duì)象集合T中，即T={“手機(jī)”}。第二次傳播過(guò)后，由于Q中的第二句滿足R中的第二條規(guī)則，并且“手機(jī)”在評(píng)價(jià)對(duì)象集合T中，因此“優(yōu)秀”將被添加至評(píng)價(jià)詞語(yǔ)集合P中，即P={“好”，“不錯(cuò)”，“優(yōu)秀”}。第三次迭代過(guò)后，T和P兩個(gè)集合都沒(méi)有發(fā)生變化，算法結(jié)束。由此，研究通過(guò)雙向傳播算法提取出了“手機(jī)”這一評(píng)價(jià)對(duì)象，以及“優(yōu)秀”這一新的評(píng)價(jià)詞。

[BT4]3實(shí)驗(yàn)結(jié)果

本文采用精確率、召回率和F值（Precision、Recall、F）對(duì)抽取出的評(píng)價(jià)對(duì)象和評(píng)價(jià)詞進(jìn)行評(píng)價(jià)。其中，精確率代表正確詞語(yǔ)占抽取出的所有詞語(yǔ)的比例，召回率代表正確詞語(yǔ)占所有標(biāo)準(zhǔn)詞語(yǔ)（Ground Truth）的比例，F(xiàn)值為精確率和召回率的調(diào)和平均值。

實(shí)驗(yàn)結(jié)果采用軟匹配的方式，即提取出的詞包含或被包含于標(biāo)準(zhǔn)詞語(yǔ)中即算作正確。評(píng)價(jià)對(duì)象抽取的實(shí)驗(yàn)結(jié)果如表3所示，評(píng)價(jià)詞抽取的實(shí)驗(yàn)結(jié)果如表4所示。

從實(shí)驗(yàn)結(jié)果可以看出，LSTM模型的性能在多數(shù)情況下要明顯優(yōu)于雙向傳播算法。雙向傳播算法在具體句子的應(yīng)用上有較大的誤差，例如：“好”字在某一句中可能用來(lái)修飾“屏幕”，在另一句中可能用來(lái)修飾“天氣”，第二句中的“好”和“天氣”就不是一個(gè)合理的產(chǎn)品評(píng)價(jià)搭配。因此其精確率普遍較低，導(dǎo)致模型整體性能表現(xiàn)欠佳。同時(shí)，雙向傳播算法非常依賴于句法分析的結(jié)果，如果句法分析有誤的話，將會(huì)對(duì)傳播結(jié)果產(chǎn)生較大影響。

4結(jié)束語(yǔ)

本文主要研究了循環(huán)神經(jīng)網(wǎng)絡(luò)以及LSTM網(wǎng)絡(luò)，并探討了如何利用循環(huán)神經(jīng)網(wǎng)絡(luò)解決序列標(biāo)注任務(wù)。隨后論述了這種方法的不足與LSTM的改進(jìn)之處，進(jìn)而設(shè)計(jì)提出了利用LSTM對(duì)評(píng)價(jià)對(duì)象和評(píng)價(jià)詞進(jìn)行抽取。最后還通過(guò)與雙向傳播算法進(jìn)行對(duì)比試驗(yàn)，證明了LSTM網(wǎng)絡(luò)模型在評(píng)價(jià)對(duì)象和評(píng)價(jià)詞的提取任務(wù)上有著較好的性能表現(xiàn)。

參考文獻(xiàn)

QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics， 2011，37（1）：9-27.

[2] LIU Qian， LIU Bing， ZHANG Yuanlin， et al. Improving opinion aspect extraction using semantic similarity and aspect associations[C]//Proceedings of Thirtieth AAAI Conference on Artificial Intelligence （AAAI-2016）. Phoenix， Arizona， USA：AAAI， 2016：2986-2992.

[3] SILVER D L， YANG Qiang， LI Lianghao. Lifelong machine learning systems： Beyond learning algorithms[C]//AAAI Spring Symposium： Lifelong Machine Learning. Stanford， CA： Stanford University， 2013：49-55.

[4] [JP3]JIN Wei， HO H H. A novel lexicalized HMM-based learning framework for Web Opinion Mining[C]// Proceedings of International[JP] Conference on Machine Learning （ICML）. Montreal， QC， Canada：ACM，2009： 465-472.

[5] JAKOB N， GUREVYCH I. Extracting opinion targets in a single-and cross-domain setting with conditional random fields[C]//EMNLP '10 Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Cambridge， Massachusetts：ACM，2010： 1035-1045.

[6] LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]// Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal：dblp， 2015： 1433-1443.

[7] ELMAN J L. Finding structure in time[J]. Cognitive Science，1990， 14 （2）： 179-211.

[8] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997，9（8）：1735-1780.

[9] GERS F A， SCHMIDHUBER J， CUMMINS F. Learning to forget： Continual prediction with LSTM[J]. Neural Computation， 2000，12 （10）： 2451-2471.

[10]BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research ， 2003（3）：1137-1155.endprint