基于上下文信息的產(chǎn)品評(píng)論摘要Bi-LSTM模型

張宜飛 張 迎 王中卿 王紅玲

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 蘇州 215006)

0 引 言

隨著互聯(lián)網(wǎng)的快速發(fā)展，產(chǎn)品評(píng)論摘要任務(wù)已經(jīng)成為自然語(yǔ)言處理應(yīng)用的一個(gè)重要的研究方向[1]。產(chǎn)品評(píng)論摘要一方面可以為潛在用戶(hù)提供大眾對(duì)某些產(chǎn)品的總體評(píng)價(jià)情況，使用戶(hù)擺脫枯燥、繁瑣的信息檢索和瀏覽工作，從而為用戶(hù)的決策提供可靠的依據(jù)。另一方面，產(chǎn)品評(píng)論摘要可以對(duì)產(chǎn)品的評(píng)價(jià)進(jìn)行整合，提供一個(gè)整體傾向性綜述，從而幫助企業(yè)了解自己的優(yōu)勢(shì)和不足，做出合理的調(diào)整[2-3]。

產(chǎn)品評(píng)論摘要任務(wù)的一個(gè)關(guān)鍵步驟是判斷產(chǎn)品評(píng)論內(nèi)哪些詞語(yǔ)或者句子更具有代表性，更能代表用戶(hù)的廣泛意見(jiàn)。傳統(tǒng)的產(chǎn)品評(píng)論摘要方法的過(guò)程：根據(jù)評(píng)論句子的文本信息對(duì)評(píng)論句子的重要性進(jìn)行評(píng)分，然后按照評(píng)分大小抽取出產(chǎn)品評(píng)論中重要的句子作為摘要[4]。產(chǎn)品評(píng)論內(nèi)的每條評(píng)論是某一用戶(hù)針對(duì)某一商品進(jìn)行的主觀性評(píng)價(jià)。這類(lèi)文本具有文體自由、書(shū)寫(xiě)隨意、錯(cuò)誤較多等特點(diǎn)[1]，這使得在產(chǎn)品評(píng)論摘要任務(wù)中，僅僅根據(jù)評(píng)論句子信息很難準(zhǔn)確地判斷句子的重要程度。

如圖1所示，目標(biāo)句子“這里的食物真的很棒，非常新鮮可口。”是Yelp2013數(shù)據(jù)集中一個(gè)餐館對(duì)象的評(píng)論中的一個(gè)句子。如果只考慮目標(biāo)句子的文本信息，很難判斷該句能否作為摘要句子。但是，如果結(jié)合該句所在的上文信息“說(shuō)實(shí)話我沒(méi)有在這里遇到我不喜歡的食物……”和下文信息“這里提供非常新鮮的食材，值得一試……”，就能夠很容易地將該句判斷為摘要句。由此可見(jiàn)，產(chǎn)品評(píng)論中句子的重要程度與其所在的同一評(píng)論內(nèi)的其他句子內(nèi)容(上下文信息)密切相關(guān)。合理地運(yùn)用上下文信息能夠極大地提升產(chǎn)品評(píng)論摘要任務(wù)的效果。

圖1 上下文信息對(duì)產(chǎn)品評(píng)論摘要的影響示例

為了充分發(fā)揮上下文信息對(duì)產(chǎn)品評(píng)論摘要任務(wù)的影響，本文提出一種基于上下文信息的產(chǎn)品評(píng)論摘要方法。該方法的特色在于層次化地使用Bi-LSTM[5]神經(jīng)網(wǎng)絡(luò)捕捉產(chǎn)品評(píng)論內(nèi)的句子信息以及同一評(píng)論內(nèi)不同句子之間的上下文信息。具體而言，首先，將同一評(píng)論中的每個(gè)句子信息分別使用Bi-LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼，捕捉單個(gè)句子的獨(dú)立信息；其次，將同一評(píng)論內(nèi)各個(gè)句子的獨(dú)立信息進(jìn)行融合后輸入到一個(gè)Bi-LSTM神經(jīng)網(wǎng)絡(luò)中進(jìn)行編碼，獲取多個(gè)句子之間的上下文融合信息；最后，將上下文融合信息輸入到一個(gè)全連接層進(jìn)行訓(xùn)練，得到各個(gè)句子是否為摘要句的概率分布。本文最終選擇概率最大的句子組合作為產(chǎn)品評(píng)論摘要。

1 相關(guān)工作

產(chǎn)品評(píng)論摘要任務(wù)的主要目標(biāo)在于對(duì)產(chǎn)品評(píng)論中的觀點(diǎn)和意見(jiàn)進(jìn)行挖掘，從而總結(jié)出用戶(hù)對(duì)該產(chǎn)品對(duì)象各方面性能的褒貶評(píng)價(jià)。傳統(tǒng)的評(píng)論文摘方法按照實(shí)現(xiàn)方式可以分為兩大類(lèi)：抽取式文摘與生成式文摘。

抽取式評(píng)論文摘直接從原始評(píng)論中抽取有代表性的詞語(yǔ)、短語(yǔ)和句子構(gòu)成文摘[6]。Nishikawa等[4]為每個(gè)句子分配可讀性和信息性?xún)煞N得分，然后運(yùn)用動(dòng)態(tài)規(guī)劃算法根據(jù)得分大小選擇得分最高的句子作為產(chǎn)品評(píng)論摘要。Ganesan等[7]為輸入的評(píng)論信息生成一個(gè)文本詞匯圖，并基于圖結(jié)構(gòu)的三種特性(冗余捕獲、間隔子序列捕獲和結(jié)構(gòu)可折疊)，將圖中重要的子路徑作為候選文摘，然后對(duì)這些子路徑進(jìn)行評(píng)分并選擇其中排序靠前的子路徑文摘片段生成最終的評(píng)論摘要。Yu等[8]根據(jù)產(chǎn)品的不同方面抽取出評(píng)論內(nèi)對(duì)應(yīng)的短語(yǔ)，然后利用整數(shù)線性規(guī)劃方法根據(jù)短語(yǔ)的屬性選擇最佳短語(yǔ)的子集生成最終的摘要。

生成式評(píng)論文摘是利用自然語(yǔ)言理解技術(shù)對(duì)評(píng)論文本進(jìn)行語(yǔ)法、語(yǔ)義分析，對(duì)信息進(jìn)行融合，并利用自然語(yǔ)言生成技術(shù)生成新的摘要句子[9]。Wang等[10]針對(duì)對(duì)話語(yǔ)料研究了觀點(diǎn)抽取式文摘。他們采用傳統(tǒng)的句子排序和基于圖的方法，同時(shí)也考慮了如主題相關(guān)性、情感和對(duì)話結(jié)構(gòu)等特征來(lái)生成文摘。Gerani等[11]提出了基于篇章結(jié)構(gòu)信息的評(píng)論摘要方法，該方法將評(píng)論信息按照其篇章結(jié)構(gòu)表示成篇章結(jié)構(gòu)圖，然后采用基于模板的自然語(yǔ)言生成框架生成評(píng)論摘要。Yang等[12]提出了一種相互關(guān)注機(jī)制，在編碼端以交互方式學(xué)習(xí)上下文詞、情感詞和方面詞的表示。在解碼端，將學(xué)習(xí)到的情緒和方面信息結(jié)合到解碼器中并通過(guò)注意力融合網(wǎng)絡(luò)生成評(píng)論摘要。

與生成式文摘相比，抽取式文摘可以避免復(fù)雜的自然語(yǔ)言生成問(wèn)題，是一種領(lǐng)域無(wú)關(guān)的文摘技術(shù)，因而受到自動(dòng)文摘領(lǐng)域研究者的關(guān)注[1]。然而，目前傳統(tǒng)的抽取式評(píng)論文摘方法只考慮評(píng)論句子本身的信息，忽略了同一條評(píng)論中不同句子之間的上下文信息對(duì)評(píng)論摘要任務(wù)的影響。這就導(dǎo)致了文摘存在內(nèi)容不連貫、冗余信息較多和不能較好地反映總體觀點(diǎn)等問(wèn)題。

為了解決上述問(wèn)題，本文采用層次化的Bi-LSTM神經(jīng)網(wǎng)絡(luò)模型將上下文信息加入到評(píng)論摘要任務(wù)中，以便提高該任務(wù)的性能。本文方法具有以下貢獻(xiàn)：(1) 針對(duì)產(chǎn)品評(píng)論中同一條評(píng)論內(nèi)不同句子之間的相關(guān)性，提出一種基于上下文信息的產(chǎn)品評(píng)論摘要模型，以便提高評(píng)論摘要的準(zhǔn)確度。(2) 采用句子到評(píng)論的雙層Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品評(píng)論信息進(jìn)行編碼，聯(lián)合學(xué)習(xí)句子信息和上下文信息，從而提高評(píng)論摘要的質(zhì)量。(3) 采用Attention機(jī)制[13-14]更加準(zhǔn)確地捕捉評(píng)論句子的深層語(yǔ)義信息，進(jìn)一步提高產(chǎn)品評(píng)論摘要任務(wù)的性能。

2 基于上下文信息的產(chǎn)品評(píng)論摘要

產(chǎn)品評(píng)論摘要從定義上說(shuō)，是從一個(gè)產(chǎn)品的所有評(píng)論中抽取出一系列有序的能夠代表評(píng)論廣泛意見(jiàn)的句子作為該產(chǎn)品的綜合評(píng)論[15]。該任務(wù)的關(guān)鍵是判斷產(chǎn)品評(píng)論內(nèi)各個(gè)句子的重要程度，以便抽取出其中的重要內(nèi)容。由于句子的重要程度不僅與句子本身的語(yǔ)義信息有關(guān)，還與句子所在的上下文信息之間存在著緊密聯(lián)系[16]。因此，本文提出一種基于上下文信息的產(chǎn)品評(píng)論摘要模型，將上下文信息應(yīng)用到產(chǎn)品評(píng)論摘要任務(wù)中，從而提高該任務(wù)的性能。如圖2 所示，該模型主要分為以下4個(gè)部分。

圖2 基于上下文信息的產(chǎn)品評(píng)論摘要模型

(1) 句子信息表示模塊：采用Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品評(píng)論中的句子信息進(jìn)行表示，將句子的文本信息映射為固定維度的向量作為其初始表示。

(2) 注意力機(jī)制模塊：采用詞級(jí)別的注意力機(jī)制學(xué)習(xí)評(píng)論句子中各個(gè)詞對(duì)句子深層語(yǔ)義表示的貢獻(xiàn)權(quán)重，以便得到更加準(zhǔn)確的句子深層語(yǔ)義表示。

(3) 上下文信息融合模塊：根據(jù)同一評(píng)論中不同句子之間信息相關(guān)性，將上一步得到的各個(gè)句子信息以評(píng)論為單位進(jìn)行深層融合，從而得到上下文融合信息。

(4) 摘要生成模塊：運(yùn)用得到的上下文融合信息進(jìn)行摘要句分類(lèi)，得到各個(gè)句子是否為摘要句的概率得分，并選擇得分高的句子生成評(píng)論摘要。

2.1 句子信息表示

對(duì)于產(chǎn)品評(píng)論內(nèi)的任意一條評(píng)論r，按照其包含的句子信息可分為句子集r={s1,s2,…,sk,…,sr}。對(duì)于評(píng)論r中的第k個(gè)句子sk，對(duì)其進(jìn)行如下處理。

句子嵌入表示：將句子sk視為基于單詞的文本序列進(jìn)行處理。

sk=[wk1,wk2,…,wkt,…,wkn]

(1)

式中：wkt∈R|V|為句子sk中第t個(gè)單詞在字典V中的one-hot表示；n表示文本序列的長(zhǎng)度；V表示訓(xùn)練語(yǔ)料包含的所有單詞中頻度最高的前10 000個(gè)高頻詞集合；|V|表示詞典的大小。

本文使用Word2vec模型[17]訓(xùn)練基于詞的產(chǎn)品評(píng)論文本序列得到詞向量矩陣We，然后得到評(píng)論句子中各個(gè)單詞的嵌入表示：

xkt=We·wkt

(2)

式中：We∈Rd×|V|表示詞向量矩陣，d表示詞向量的維度。最終，句子sk經(jīng)過(guò)嵌入表示為向量：

Esk=[xk1,xk2,…,xkt,…,xkn]

(3)

基于Bi-LSTM的句子信息編碼：本文采用雙向長(zhǎng)短記憶網(wǎng)絡(luò)(Bi-LSTM)[5]對(duì)句子的嵌入表示進(jìn)行編碼，得到相應(yīng)的隱含向量表示Hsk，具體過(guò)程如下：

(4)

(5)

(6)

Hsk=[hk1,hk2,…,hkt,…,hkn]

(7)

2.2 注意力機(jī)制

注意力機(jī)制是在視覺(jué)圖像領(lǐng)域被提出來(lái)的一種結(jié)構(gòu)，隨后被應(yīng)用到各種自然語(yǔ)言處理任務(wù)中，并取得了很好的效果[13-14]。注意力機(jī)制借鑒了人類(lèi)視覺(jué)系統(tǒng)中的“注意力”原理，將注意力集中在目標(biāo)對(duì)象中最相關(guān)的部分，而不是所有內(nèi)容。利用注意力機(jī)制能夠?qū)W習(xí)到隱層向量之間的權(quán)重分布。評(píng)論句子中不同單詞包含的語(yǔ)義信息不同，對(duì)句子語(yǔ)義信息的貢獻(xiàn)程度是不一樣的。因此，本文使用注意力機(jī)制學(xué)習(xí)句子中不同單詞對(duì)句子深層語(yǔ)義信息的貢獻(xiàn)權(quán)重，并對(duì)句子內(nèi)各單詞向量進(jìn)行加權(quán)求和得到這個(gè)句子的深層語(yǔ)義表示。具體過(guò)程如下：

(8)

(9)

ukt=tanh(Ww·hkt+bw)

(10)

式中：Vsk為句子sk的深層語(yǔ)義表示；hkt表示句子sk中第t個(gè)單詞的向量表示；akt表示單詞向量hkt對(duì)句子sk的注意力權(quán)重；ukt表示單詞向量hkt在注意力機(jī)制內(nèi)的隱藏層狀態(tài)；tanh是一種非線性激活函數(shù)；參數(shù)矩陣uw表示語(yǔ)境向量；ukt表示單調(diào)向量hkt在注意力機(jī)制內(nèi)的隱藏層狀態(tài)；Ww表示中間矩陣;bw表示偏移量，它們都在訓(xùn)練過(guò)程中被隨機(jī)初始化并更新。

2.3 上下文信息融合

2.2節(jié)給出了商品評(píng)論中每個(gè)句子經(jīng)過(guò)Bi-LSTM神經(jīng)網(wǎng)絡(luò)和Attention機(jī)制后的深層語(yǔ)義表示，這一部分的主要任務(wù)是對(duì)同一條評(píng)論內(nèi)的各個(gè)句子信息進(jìn)行深層融合，挖掘出同一評(píng)論內(nèi)不同句子之間的聯(lián)系。

首先，對(duì)同一評(píng)論內(nèi)的句子表示進(jìn)行簡(jiǎn)單拼接。如式(11)所示，得到向量Vr，但是該向量并不能很好地反映同一評(píng)論內(nèi)不同句子之間的聯(lián)系。因此，本文進(jìn)一步采用Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)拼接后的向量進(jìn)行編碼，生成上下文融合信息Hr。如式(12)所示，Bi-LSTM神經(jīng)網(wǎng)絡(luò)能夠捕捉同一評(píng)論內(nèi)不同句子之間的聯(lián)系，從而充分考慮上下文信息對(duì)句子重要程度的影響。

Vr=Vs1⊕Vs2⊕…⊕Vsm

(11)

式中：⊕表示向量之間的拼接。

Hr=Bi-LSTM(Vr)

(12)

2.4 摘要生成

在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，本文采用RMSProp優(yōu)化算法[19]對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，并使用交叉熵誤差作為損失函數(shù)，計(jì)算式為：

(13)

最后，將同一評(píng)論內(nèi)不同句子的損失函數(shù)的加權(quán)和作為基于上下文信息的產(chǎn)品評(píng)論摘要模型的損失函數(shù)，如下：

(14)

式中：Lossk表示評(píng)論中第k條句子的損失；Wk表示評(píng)論中第k條句子的損失權(quán)重。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用Yelp2013數(shù)據(jù)集對(duì)本文模型的有效性進(jìn)行驗(yàn)證。該數(shù)據(jù)集共包含商戶(hù)(Business)、評(píng)論(Review)和用戶(hù)(User)三種對(duì)象。其中：商戶(hù)對(duì)象表示一些餐館或商店等，主要包含商戶(hù)類(lèi)別、商戶(hù)地址、商戶(hù)聯(lián)系方式、商戶(hù)評(píng)分和商戶(hù)評(píng)價(jià)等信息；評(píng)論對(duì)象則表示某一用戶(hù)對(duì)某一商戶(hù)的評(píng)價(jià)信息，主要包括評(píng)論所屬的用戶(hù)ID、評(píng)論的商戶(hù)對(duì)象ID、評(píng)論的文本信息、評(píng)論的評(píng)分信息，以及評(píng)論所收到的投票數(shù)等，其中投票數(shù)包含 funny、useful 和 cool 三種投票數(shù)，代表其他用戶(hù)對(duì)該評(píng)論內(nèi)容的認(rèn)可程度。具體統(tǒng)計(jì)數(shù)據(jù)如表1所列。

表1 Yelp2013數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)

3.2 評(píng)價(jià)方法

本文采用ROUGE評(píng)價(jià)準(zhǔn)則[20]對(duì)實(shí)驗(yàn)抽取出的摘要進(jìn)行評(píng)價(jià)。ROUGE是由ISI的Lin等提出的一種自動(dòng)摘要評(píng)價(jià)方法，現(xiàn)被廣泛應(yīng)用于DUC(Document Understanding Conference)的摘要評(píng)測(cè)任務(wù)中。

ROUGE評(píng)測(cè)準(zhǔn)則基于摘要中N元詞(N-Gram)的共現(xiàn)信息來(lái)評(píng)價(jià)摘要，是一種面向N元詞召回率的評(píng)價(jià)方法。該評(píng)測(cè)準(zhǔn)則由一系列的評(píng)價(jià)方法組成，包括ROUGE-1、ROUGE-2、ROUGE-3、ROUGE-4，以及ROUGE-Skipped-N-Gram等，其中1、2、3和4分別代表基于1元詞到4元詞跳躍的N-Gram模型。本文選擇ROUGE-1、ROUGE-2、ROUGE-L和ROUGE-SU4的F值來(lái)對(duì)實(shí)驗(yàn)抽取出的摘要進(jìn)行評(píng)價(jià)。

3.3 對(duì)比算法

(1) TextRank：基于圖排序的抽取式摘要算法。該方法把一個(gè)商戶(hù)評(píng)論中的所有句子視作一個(gè)圖結(jié)構(gòu)，將評(píng)論中的單個(gè)句子視為圖中的節(jié)點(diǎn)，任意兩句子之間的余弦相似度表示這兩個(gè)節(jié)點(diǎn)之間邊的權(quán)重[21]。然后在圖上使用全局的信息不斷迭代計(jì)算商戶(hù)評(píng)論中各個(gè)句子的重要度。最后，按照句子重要度從大到小的順序抽取句子組合作為摘要，直至達(dá)到文摘指定的長(zhǎng)度。

(2) Bi-LSTM：使用Bi-LSTM神經(jīng)網(wǎng)絡(luò)[5]抽取商戶(hù)評(píng)論摘要的方法。對(duì)于一個(gè)商戶(hù)評(píng)論中的每一條句子sk，首先，用該句子包含的單詞信息構(gòu)成該句子的嵌入表示Esk；然后，采用雙向LSTM神經(jīng)網(wǎng)絡(luò)對(duì)句子的嵌入表示進(jìn)行編碼，得到相應(yīng)的隱含向量表示Hsk；最后，將向量Hsk輸入到全連接層，預(yù)測(cè)出句子是否為摘要的概率分布[P0,P1]。其中：P0表示該句子不是摘要的概率；P1表示該句子是摘要的概率。本文按照P1大小從大到小地選擇句子組合作為摘要，直至達(dá)到文摘指定的長(zhǎng)度。

(3) Bi-LSTM+Attention：在上述Bi-LSTM方法的基礎(chǔ)上加入Attention機(jī)制[13-14]，對(duì)句子中重要的內(nèi)容給予更大的關(guān)注度，從而更加準(zhǔn)確地捕捉評(píng)論句子的深層語(yǔ)義信息，提高模型抽取摘要的準(zhǔn)確度。

(4) Bi-LSTM+Context：根據(jù)同一評(píng)論內(nèi)句子的信息相關(guān)性，將同一評(píng)論內(nèi)的所有句子信息組合起來(lái)訓(xùn)練評(píng)論摘要模型，同時(shí)預(yù)測(cè)同一評(píng)論內(nèi)各個(gè)句子的重要程度。首先，采用Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品評(píng)論中的句子信息進(jìn)行表示，生成每個(gè)句子的獨(dú)立信息；然后，將同一評(píng)論內(nèi)的句子信息進(jìn)行拼接，生成向量Vr；最后，將拼接后的向量Vr輸入到全連接層中，預(yù)測(cè)出該評(píng)論內(nèi)各個(gè)句子是否為摘要句的概率得分，并選擇得分高的句子組合作為評(píng)論摘要，直到達(dá)到文摘的指定長(zhǎng)度。

(5) Bi-LSTM+Context+Attention：在上述Bi-LSTM+Context方法的基礎(chǔ)上加入Attention機(jī)制，以便更加準(zhǔn)確地捕捉評(píng)論句子的深層語(yǔ)義信息，從而進(jìn)一步提升產(chǎn)品評(píng)論摘要任務(wù)的性能。

(6) Bi-LSTM+Context+Hierarchical：在上述Bi-LSTM+Context方法的基礎(chǔ)上，進(jìn)一步采用Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)向量Vr進(jìn)行編碼，以便更加準(zhǔn)確地捕捉同一評(píng)論內(nèi)不同句子之間的聯(lián)系，充分發(fā)揮上下文信息對(duì)產(chǎn)品評(píng)論摘要任務(wù)的影響。

3.4 實(shí)驗(yàn)設(shè)置

3.4.1數(shù)據(jù)預(yù)處理

本文以Yelp2013數(shù)據(jù)集中的商戶(hù)對(duì)象為單位，按照商戶(hù)類(lèi)別和商戶(hù)所包含的評(píng)論數(shù)量選擇了629個(gè)評(píng)論個(gè)數(shù)大于100的餐館商戶(hù)對(duì)象進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)中，將商戶(hù)評(píng)論中funny、useful和cool 投票總數(shù)最高的那條評(píng)論作為該商戶(hù)對(duì)象的理想評(píng)論。對(duì)于每個(gè)商戶(hù)對(duì)象本文只保留該商戶(hù)的理想評(píng)論和10條普通評(píng)論進(jìn)行實(shí)驗(yàn)。最終選擇了其中529個(gè)商戶(hù)、共5 290條評(píng)論、26 450條句子作為訓(xùn)練集，剩余的100個(gè)商戶(hù)、共1 000條評(píng)論、5 000條句子作為測(cè)試集。

本文對(duì)于每個(gè)商戶(hù)做如下處理：首先，對(duì)該商戶(hù)的每一條評(píng)論按照句號(hào)、問(wèn)號(hào)和感嘆號(hào)等分隔符進(jìn)行分句。在此，本文限定每條句子包含的單詞數(shù)在4～50之間，從而過(guò)濾掉過(guò)長(zhǎng)或過(guò)短的句子。其次，通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)訓(xùn)練集中每個(gè)商戶(hù)的評(píng)論平均包含5 條句子。因此，對(duì)于每條評(píng)論只保留其前5條句子的信息作為該評(píng)論的內(nèi)容，從而保證每條評(píng)論都包含相同的句子數(shù)。最后，對(duì)于訓(xùn)練集中的每一個(gè)商戶(hù)對(duì)象，將該商戶(hù)的普通評(píng)論中與該商戶(hù)理想評(píng)論相似度最高的10%的句子標(biāo)記為1，即該句為摘要句子，剩余90%的句子標(biāo)記為0，即該句為非摘要句子。本文將句子向量之間的余弦值作為句子之間的相似度。

3.4.2實(shí)驗(yàn)參數(shù)設(shè)置

通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)，訓(xùn)練集中每個(gè)商戶(hù)的理想評(píng)論平均包含287個(gè)英文單詞。因此，本文將最終抽取的評(píng)論摘要的最大長(zhǎng)度設(shè)置為287。本文實(shí)驗(yàn)的所有代碼都是基于Keras深度學(xué)習(xí)框架進(jìn)行編寫(xiě)，運(yùn)行環(huán)境為L(zhǎng)inux操作系統(tǒng)。實(shí)驗(yàn)的詳細(xì)參數(shù)設(shè)置如表2所示。

表2 神經(jīng)網(wǎng)絡(luò)中的主要參數(shù)設(shè)置

3.5 實(shí)驗(yàn)結(jié)果分析

本文共進(jìn)行了3組實(shí)驗(yàn)進(jìn)行產(chǎn)品評(píng)論摘要抽取。實(shí)驗(yàn)1主要與一些經(jīng)典的抽取式評(píng)論摘要方法進(jìn)行比較，衡量本文提出的基于上下文信息的產(chǎn)品評(píng)論摘要模型(CHA)的有效性。實(shí)驗(yàn)2主要是為了分析上下文信息對(duì)產(chǎn)品評(píng)論摘要任務(wù)的影響。實(shí)驗(yàn)3主要是為了分析Attention機(jī)制對(duì)實(shí)驗(yàn)結(jié)果的影響。本文采用ROUGE評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)生成的評(píng)論摘要與該商戶(hù)的理想評(píng)論進(jìn)行結(jié)果評(píng)測(cè)。

3.5.1與基準(zhǔn)模型的比較

為了衡量CHA的有效性，本文選取了目前兩種主流的抽取式評(píng)論摘要方法，即TextRank和Bi-LSTM方法，與本文模型進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果如表3所示。

表3 對(duì)比實(shí)驗(yàn)結(jié)果

可以看出：CHA的結(jié)果均優(yōu)于其他方法的結(jié)果。與目前主流的TextRank和Bi-LSTM方法相比，在ROUGE-1指標(biāo)上分別提升了0.009 7和0.013。這說(shuō)明CHA在產(chǎn)品評(píng)論摘要任務(wù)上是有效的。

3.5.2上下文信息的影響

為了驗(yàn)證上下文信息對(duì)產(chǎn)品評(píng)論摘要任務(wù)的影響，本文選取了Bi-LSTM、Bi-LSTM+Context和Bi-LSTM+Context+Hierarchical三個(gè)模型進(jìn)行對(duì)比分析。實(shí)驗(yàn)結(jié)果如表4所示。

表4 增加上下文信息的實(shí)驗(yàn)結(jié)果

可以看出：首先，Bi-LSTM+Context模型將同一評(píng)論內(nèi)的句子信息拼接起來(lái)聯(lián)合訓(xùn)練，同時(shí)預(yù)測(cè)同一評(píng)論內(nèi)不同句子的重要性。該方法能夠捕捉到句子信息和其所在的上下文信息之間的相關(guān)性，實(shí)驗(yàn)結(jié)果在ROUGE評(píng)價(jià)準(zhǔn)則上與Bi-LSTM方法相比，ROUGE-1值提升了0.008。這說(shuō)明上下文信息對(duì)預(yù)測(cè)句子的重要性有很大的影響。其次，Bi-LSTM+Context+Hierarchical模型采用層級(jí)Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品評(píng)論信息進(jìn)行編碼。與Bi-LSTM+Context模型相比，該方法能夠更加準(zhǔn)確地捕捉到同一評(píng)論內(nèi)不同句子之間的上下文信息，實(shí)驗(yàn)結(jié)果在ROUGE評(píng)價(jià)準(zhǔn)則上與Bi-LSTM+Context方法相比有了進(jìn)一步提升。這說(shuō)明合理地運(yùn)用上下文信息能夠有效地提升產(chǎn)品評(píng)論摘要任務(wù)的效果。

3.5.3注意力機(jī)制的影響

為了分析注意力機(jī)制對(duì)實(shí)驗(yàn)結(jié)果的影響，本文分別為Bi-LSTM、Bi-LSTM+Context和Bi-LSTM+Context+Hierarchical三個(gè)模型添加注意力機(jī)制進(jìn)行對(duì)比試驗(yàn)。其中CHA是本文提出的基于上下文信息的產(chǎn)品評(píng)論摘要模型，也是在模型Bi-LSTM+Context+Hierarchical的基礎(chǔ)上添加注意力機(jī)制后的結(jié)果。實(shí)驗(yàn)結(jié)果如表5所示。

表5 增加注意力機(jī)制的實(shí)驗(yàn)結(jié)果

可以看出：在Bi-LSTM、Bi-LSTM+Context和Bi-LSTM+Context+Hierarchical三個(gè)模型的基礎(chǔ)上分別添加Attention機(jī)制后，實(shí)驗(yàn)結(jié)果在ROUGE評(píng)價(jià)準(zhǔn)則上均有一定的提升，這說(shuō)明注意力機(jī)制能夠?qū)渥又兄匾膬?nèi)容給予更大的關(guān)注度，從而提高評(píng)論摘要任務(wù)的效果。

4 結(jié) 語(yǔ)

針對(duì)產(chǎn)品評(píng)論摘要任務(wù)面臨的各項(xiàng)挑戰(zhàn)，本文提出一種基于上下文信息的產(chǎn)品評(píng)論摘要方法。該方法采用層級(jí)Bi-LSTM神經(jīng)網(wǎng)絡(luò)對(duì)產(chǎn)品評(píng)論信息進(jìn)行編碼，聯(lián)合學(xué)習(xí)產(chǎn)品評(píng)論中的句子信息和上下文信息，充分發(fā)揮了上下文信息對(duì)產(chǎn)品評(píng)論摘要任務(wù)的影響。實(shí)驗(yàn)結(jié)果表明，本文方法與目前主流的評(píng)論摘要方法相比，取得了顯著的性能提升。這也驗(yàn)證了該方法能夠高效地利用上下文信息來(lái)提升產(chǎn)品評(píng)論摘要任務(wù)的效果。

今后的研究中，將會(huì)不斷地完善現(xiàn)有的方法，以便進(jìn)一步提高產(chǎn)品評(píng)論摘要任務(wù)的性能。同時(shí)，還將對(duì)本文方法進(jìn)行進(jìn)一步的拓展與探索，嘗試引入產(chǎn)品屬性[22]等信息，從而提高產(chǎn)品評(píng)論摘要的質(zhì)量。