基于多層注意力機(jī)制深度學(xué)習(xí)模型的虛假評(píng)論檢測(cè)

曾致遠(yuǎn) 盧曉勇 徐盛劍 陳木生,2*

1(南昌大學(xué)軟件學(xué)院 江西 南昌 330047)2(江西理工大學(xué)軟件工程學(xué)院 江西 南昌 330013)

0 引 言

顧客在作出購(gòu)買選擇時(shí)越來越依賴于互聯(lián)網(wǎng)上的評(píng)論，但是互聯(lián)網(wǎng)給用戶提供便利的同時(shí)，也為那些潛在的虛假評(píng)論創(chuàng)造了機(jī)會(huì)。虛假評(píng)論，即為了欺騙消費(fèi)者而編寫的虛構(gòu)評(píng)論。為了獲得更多利潤(rùn)，一些商家通過雇傭?qū)懯志帉懛e極評(píng)論來宣傳商品或者編寫消極評(píng)論來打擊競(jìng)爭(zhēng)對(duì)手[1]。隨著虛假評(píng)論的蔓延和增長(zhǎng)，越來越多的研究開始關(guān)注虛假評(píng)論的識(shí)別。

虛假評(píng)論檢測(cè)的研究可以追溯到Jindal等[1]的早期工作。早期有代表性的研究[2-5]，一般采用人工提取的特征和機(jī)器學(xué)習(xí)模型來訓(xùn)練分類模型。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，越來越多的研究采用端到端的神經(jīng)網(wǎng)絡(luò)模型自動(dòng)提取文章表示，并取得了更好的分類效果。文獻(xiàn)[6-8]采用“句子層-文章層”分層結(jié)構(gòu)，采用注意力機(jī)制學(xué)習(xí)文章表示，取得了比傳統(tǒng)方法更好的效果。

雖然使用基于神經(jīng)網(wǎng)絡(luò)的模型取得了比傳統(tǒng)模型更好的效果，但是這些端到端的模型沒有結(jié)合虛假評(píng)論文本中表現(xiàn)出的情感特征。仔細(xì)研究虛假評(píng)論與正常評(píng)論的區(qū)別，可以得到以下結(jié)論：(1) 虛假評(píng)論表達(dá)的情感要比真實(shí)評(píng)論更強(qiáng)烈，文獻(xiàn)[4]也提出與此相同的結(jié)論；(2) 一條評(píng)論中表達(dá)情感最強(qiáng)烈的地方是開頭和結(jié)尾；(3) 虛假評(píng)論常以相似的句子開頭或結(jié)尾，這可能是因?yàn)樘摷僭u(píng)論一般由專門的寫手創(chuàng)作，而同一個(gè)人可能會(huì)創(chuàng)作大量相似的評(píng)論。表1列舉了一些虛假評(píng)論經(jīng)常出現(xiàn)的開頭和結(jié)尾。

表1 虛假評(píng)論中一些相似的開頭和結(jié)尾

基于上述結(jié)論，本文提出一個(gè)基于注意力機(jī)制的多層編碼器模型(Attention-based Multilayer Encoder，ABME)用于虛假評(píng)論檢測(cè)。與文獻(xiàn)[6-8]模型不同，本文沒有直接采用“句子層-文章層”的通用結(jié)構(gòu)，而是根據(jù)虛假評(píng)論的情感文本的分布特征將評(píng)論的開頭、中間和結(jié)尾部分分開編碼，分別使用雙向LSTM編碼，得到三個(gè)獨(dú)立的文章局部表示。然后使用自注意力機(jī)制和注意力機(jī)制將三個(gè)局部表示集成為一個(gè)文章表示。最后用全連接神經(jīng)網(wǎng)絡(luò)得到分類結(jié)果，以期提升虛假評(píng)論檢測(cè)的準(zhǔn)確率。

1 相關(guān)工作

虛假評(píng)論的研究最早由Jindal等[1]提出，他們將垃圾評(píng)論分成了三種類型：(1) 不真實(shí)的評(píng)論(虛假評(píng)論)；(2) 不相關(guān)的評(píng)論(即不是針對(duì)商品本身而是對(duì)商品品牌或制造商等與商品無關(guān)的評(píng)論)；(3) 非評(píng)論文本。他們還發(fā)現(xiàn)，識(shí)別類型2和類型3的評(píng)論很容易，但是識(shí)別類型1的虛假評(píng)論很難?，F(xiàn)在的研究主要關(guān)注類型1的垃圾評(píng)論檢測(cè)，即虛假評(píng)論檢測(cè)。

Ott等[2]通過雇傭在線寫手，構(gòu)建了第一個(gè)公開的虛假評(píng)論檢測(cè)數(shù)據(jù)集。他們通過亞馬遜眾包平臺(tái)(MTurk)讓在線工作者創(chuàng)作針對(duì)芝加哥20個(gè)旅館的虛假評(píng)論。通過這種方式，他們分別收集了400條積極和消極的虛假評(píng)論。針對(duì)Ott等[2]提出的數(shù)據(jù)集，一些學(xué)者展開了新的研究。Li等[5]提出了一個(gè)基于隱含狄利克雷分布(Latent Dirichlet Allocation，LDA)的主題模型來做虛假評(píng)論檢測(cè)。Xu等[9]嘗試從句子的依存關(guān)系樹中提取文本特征。 Banerjee等[10]提出了一個(gè)語言框架來分析真實(shí)評(píng)論和虛假評(píng)論在可讀性、寫作風(fēng)格方面的區(qū)別。邵珠峰等[11]基于虛假評(píng)論者和真實(shí)評(píng)論者在情感極性上存在的差異，增加評(píng)論文本的情感特征，并結(jié)合用戶之間對(duì)于特定商品之間的關(guān)系，創(chuàng)建了一個(gè)多邊圖的模型以識(shí)別虛假評(píng)論。欒杰等[12]通過提取多種情感特征結(jié)合文本特征使用支持向量機(jī)進(jìn)行分類，得到較好的檢測(cè)效果。

Li等[4]采用和文獻(xiàn)[2]同樣的方式收集了餐館和醫(yī)生領(lǐng)域的虛假評(píng)論數(shù)據(jù)集，并擴(kuò)充了文獻(xiàn)[2]提出的旅館數(shù)據(jù)集，還探索了一種通用的方法來識(shí)別虛假評(píng)論。基于Li等[4]收集的數(shù)據(jù)集，一些學(xué)者提出了基于深度學(xué)習(xí)的虛假評(píng)論檢測(cè)方法。文獻(xiàn)[6-8]采用“句子層-文章層”分層結(jié)構(gòu)，并結(jié)合注意力機(jī)制學(xué)習(xí)文章表示，在領(lǐng)域內(nèi)和跨領(lǐng)域的實(shí)驗(yàn)中都取得了比傳統(tǒng)方法更好的效果。

2 方法設(shè)計(jì)

針對(duì)虛假評(píng)論分類問題，本文提出了一個(gè)基于注意力機(jī)制的多層編碼器(ABME)。如圖1所示，模型分為四層，第一層是雙向LSTM編碼器[13]，它將一條評(píng)論的首、中和尾三個(gè)部分編碼成三個(gè)向量s1、s2、s3。第二層是自注意力機(jī)制(self-attention)編碼器，它將三個(gè)局部表示的s1、s2、s3編碼成三個(gè)全局表示z1、z2、z3。第三層是注意力機(jī)制編碼器(attention)，它將三個(gè)全局表示z1、z2、z3合并成一個(gè)最終的全局表示O。最后一層是分類層，由全連接神經(jīng)網(wǎng)絡(luò)和Softmax組成，它輸出模型的分類結(jié)果。

圖1 基于注意力機(jī)制的多層編碼器

2.1 BiLSTM模型

長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[13]是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)[14]。它相對(duì)于普通的RNN模型，加入了記憶單元和門機(jī)制，記憶單元中信息的更新、遺忘和傳遞分別由三個(gè)門(gate)來控制[13]。相比于普通的RNN模型，LSTM能夠提取序列較長(zhǎng)距離的依賴關(guān)系，并能有效地緩解RNN梯度消失的問題。

在將序列輸入LSTM模型之前，首先使用分布式向量表示[15]來編碼詞語，對(duì)于每個(gè)詞w，從矩陣E中查找w的向量表示e(w)，e(w)∈Rd。E是通過預(yù)訓(xùn)練得到的模型參數(shù)，E∈Rm×d，m是詞典長(zhǎng)度。本文使用fasttext模型[16]在wiki語料訓(xùn)練得到的參數(shù)矩陣E。一個(gè)由n個(gè)詞組成的評(píng)論可以被表示成(e1,e2,…,e3)，其中ei表示第i個(gè)詞的embedding。

為了更好地捕捉序列的雙向信息，本文采用雙向的LSTM來編碼評(píng)論的embedding序列[17]，雙向LSTM的結(jié)構(gòu)如圖2所示。

圖2 雙向LSTM模型

(1)

(2)

BiLSTM編碼器的H輸出由正向和反向LSTM最后一個(gè)位置的輸出向量拼接得到。如果(e1,e2,…,e3)是一個(gè)句子或文章，則H是該句子或文章的向量表示。H將被輸入下一層編碼器繼續(xù)編碼或者直接輸入分類層分類。

(3)

2.2 第1層：BiLSTM編碼器

基于評(píng)論的首尾相比于中間內(nèi)容對(duì)于識(shí)別一條評(píng)論是否真實(shí)更加重要這一假設(shè)，首先將一條評(píng)論分成開頭、中間和結(jié)尾三個(gè)部分并分別用w1、w2、w3來表示三個(gè)部分的word embedding序列，其中w2的長(zhǎng)度要遠(yuǎn)遠(yuǎn)大于w1和w3。因?yàn)槭孜蚕啾扔谥虚g內(nèi)容更加重要，可以提高w1、w3的權(quán)重來提升其對(duì)分類結(jié)果的影響。將w1、w2、w3輸入到三個(gè)互相獨(dú)立的BiLSTM編碼器中，將wi編碼成si，得到維度相同的三個(gè)向量：s1、s2、s3，si∈Rdm。分別表示首句、中間句子和結(jié)尾。雖然原始序列中w2的長(zhǎng)度遠(yuǎn)大于w1和w3，但是經(jīng)過BiLSTM編碼后得到的s1、s2、s3的維度是相同的。這樣對(duì)于下一層編碼器而言，三個(gè)輸入向量之間是平行的。

s1、s2、s3分別表示首句、中間句子和結(jié)尾，但三個(gè)向量之間是互相獨(dú)立的，即都只包含評(píng)論的一部分信息。使用BiLSTM對(duì)整條評(píng)論編碼，得到評(píng)論的全局表示sc，sc∈Rdm。雖然可以直接通過LSTM編碼得到全局表示sc，但是還可以對(duì)s1、s2、s3、sc繼續(xù)編碼，得到更好的全局表示。

2.3 第2層：自注意力機(jī)制編碼器

BiLSTM編碼器得到的三個(gè)向量s1、s2、s3都是互相獨(dú)立的局部表示。為了得到序列的全局表示，需要對(duì)s1、s2、s3應(yīng)用自注意力機(jī)制。

自注意力機(jī)制[18]是一種特殊的注意力機(jī)制，它比RNN和CNN更容易提取不同位置間的依賴關(guān)系，而且參數(shù)量更少。相比于普通的注意力機(jī)制，自注意力機(jī)制最大的特點(diǎn)是所有的key、value和query都來自于上一層編碼器。具體而言，從上一層編碼器得到三個(gè)向量s1，s2，s3，sc∈Rdm，并將三個(gè)向量合并成一個(gè)矩陣S=[s1:s2:s3]，S∈R3×dm。在本層中，S既是query又是key和value。自注意力機(jī)制的計(jì)算是使用query中的每個(gè)向量queryi和key中的每個(gè)向量keyj做比較，得到相似度矩陣Attention，表示為

Attentionij=sim(queryi,keyi)

(4)

然后將Attention作為權(quán)重對(duì)value做加權(quán)組合得矩陣Z，Z和value的維度相同。

使用注意力機(jī)制的關(guān)鍵是計(jì)算注意力權(quán)重Attention，即相似度函數(shù)Sim。計(jì)算注意力權(quán)重的常用方法是點(diǎn)積和多層感知機(jī)(Multi-Layer Perception，MLP)。本文使用MLP來學(xué)習(xí)注意力權(quán)重，因?yàn)镸LP可以擬合任何連續(xù)函數(shù)。Attention的計(jì)算式表示為:

Attention=Softmax(tanh(W·ST+b))

(5)

式中：Attention∈R3×3，W∈R3×dm，b∈R3×3。

最后的輸出Z是S的加權(quán)平均，由矩陣Attention和矩陣S點(diǎn)乘得到。它是維度和S相同的矩陣，可以表示為[Z1:Z2:Z3]。Zi和si相對(duì)應(yīng)，相比于si，Zi包含了序列所有位置的信息。

Z=Attention·S

(6)

雖然自注意力機(jī)制能很好地捕捉不同位置之間的依賴關(guān)系，但是它本身并不能提取序列的位置信息。為了不丟失序列的位置信息，本文將位置編碼加入到自注意力機(jī)制編碼器的輸出中。本文采用Vaswani等[18]提出的分別采用正弦、余弦函數(shù)來編碼序列的位置信息，分別表示為：

(7)

(8)

PE是位置pos對(duì)應(yīng)的向量編碼，PEpos,2i、PEpos,2i+1分別是在向量PE上第2i、2i+1個(gè)位置的值。相對(duì)于其他編碼方式，這種編碼方式能夠有效提取詞語的相對(duì)位置信息，而且不會(huì)給模型增加參數(shù)。

2.4 第3層：注意力機(jī)制編碼器

自注意力機(jī)制層輸出的矩陣Z包含了序列的全局信息，BiLSTM層輸出的向量sc也包含了序列的全局信息，使用注意力機(jī)制將矩陣Z和向量sc編碼成最終的全局表示O。

注意力機(jī)制是一種序列建模的常用方法，可以被描述為將一個(gè)查詢向量query和一個(gè)鍵值對(duì)集合映射成輸出output，其中query、key、value、output都是向量。在本層中，query是向量sc，key和value是矩陣Z。和自注意力機(jī)制一樣，注意力機(jī)制也是將query和key做比較。兩者的區(qū)別是，在注意力機(jī)制中，query是向量，而且一般來自于序列外部，而自注意力機(jī)制中的query是矩陣，通常就是序列本身。此外，因?yàn)閝uery是向量，所以由query和value計(jì)算得到的Attention也是向量而不是矩陣。和自注意力層一樣，本文使用MLP來訓(xùn)練注意力權(quán)重(Attention)，并使用Softmax歸一化權(quán)重。其計(jì)算式表示為：

Attentioni=sim(query,keyi)

(9)

Attention=Softmax(tanh(scWq+Wk,vZT+b))

(10)

式中：Attention∈R1×3,Z∈R3×dm,sc∈R1×dm，Wk,v∈R1×dm,b∈R1×3。最終的輸出向量O是Attention和Z的加權(quán)平均。

O=Attention·Z

(11)

式中：O∈R1×dm。O由sc和Z編碼得到，包含了前面兩層的信息，能更好地表示整條評(píng)論。

2.5 第4層：分類層

分類層由全連接神經(jīng)網(wǎng)絡(luò)和Softmax分類器組成，全連接神經(jīng)網(wǎng)絡(luò)將文章表示O映射為二元類別的分?jǐn)?shù)y：

y=tanh(WOT+b)

(12)

式中：W∈R2×dm,y∈R2。Softmax函數(shù)將分?jǐn)?shù)y歸一化：

(13)

式中：p∈R2。歸一化后的結(jié)果p可以看成是模型的預(yù)測(cè)結(jié)果在二元類別上的概率分布。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文使用Li等[4]發(fā)布的虛假評(píng)論數(shù)據(jù)集作為實(shí)驗(yàn)用數(shù)據(jù)集。該數(shù)據(jù)集包含三個(gè)領(lǐng)域：旅館，酒店和醫(yī)生。數(shù)據(jù)集的分布如表2所示，數(shù)據(jù)集包含三種類型：“Turker”，“專家”和“用戶”。其中“Turker”和“專家”屬于虛假評(píng)論，而真實(shí)評(píng)論來自用戶?！癟urker”是Li等[4]和Ott等[2]使用亞馬遜眾包平臺(tái)(MTurk)收集的虛假評(píng)論，這些虛假評(píng)論由一些在線工作者編寫?！皩＜摇笔怯梢恍┚邆湟欢I(lǐng)域知識(shí)的領(lǐng)域?qū)＜覄?chuàng)作，而真實(shí)評(píng)論來自于那些可信度高的用戶。因?yàn)椤皩＜摇鳖悇e的樣本數(shù)量太少，本文實(shí)驗(yàn)沒有采用。

表2 三個(gè)領(lǐng)域的數(shù)據(jù)集分布

文獻(xiàn)[4]和文獻(xiàn)[6]針對(duì)上述三個(gè)領(lǐng)域的數(shù)據(jù)集設(shè)計(jì)了三種實(shí)驗(yàn)：領(lǐng)域內(nèi)實(shí)驗(yàn)，跨領(lǐng)域?qū)嶒?yàn)和混合領(lǐng)域?qū)嶒?yàn)。領(lǐng)域內(nèi)實(shí)驗(yàn)指的是訓(xùn)練集和測(cè)試集均來自相同領(lǐng)域的數(shù)據(jù)集，此時(shí)模型的準(zhǔn)確率應(yīng)是最高的。跨領(lǐng)域?qū)嶒?yàn)指的是訓(xùn)練集來自一個(gè)領(lǐng)域的數(shù)據(jù)集，而測(cè)試集來自另外一個(gè)領(lǐng)域的數(shù)據(jù)集，其目的是為了檢驗(yàn)?zāi)Ｐ偷念I(lǐng)域適應(yīng)能力和泛化能力?；旌项I(lǐng)域?qū)嶒?yàn)指的是將所有領(lǐng)域的數(shù)據(jù)歸集到一個(gè)數(shù)據(jù)集，即使用多領(lǐng)域的訓(xùn)練集訓(xùn)練出模型，再用多領(lǐng)域的測(cè)試集來檢驗(yàn)?zāi)Ｐ汀；旌项I(lǐng)域?qū)嶒?yàn)是對(duì)跨領(lǐng)域?qū)嶒?yàn)的補(bǔ)充，其目的同樣是為了檢驗(yàn)?zāi)Ｐ偷念I(lǐng)域適應(yīng)能力和泛化能力。本文也嘗試了這三種實(shí)驗(yàn)。為了讓實(shí)驗(yàn)結(jié)果更加可靠，本文采用5折交叉驗(yàn)證將數(shù)據(jù)分成5個(gè)fold，其中4個(gè)fold作為訓(xùn)練集，剩下的fold作為測(cè)試集，最后取5次實(shí)驗(yàn)測(cè)試結(jié)果的平均值。

文獻(xiàn)[4]使用F1、精確率(Precision)、召回率(Recall)和準(zhǔn)確率(Accuracy)來評(píng)價(jià)模型的效果。針對(duì)二元分類問題，這4個(gè)指標(biāo)的計(jì)算如下：

(14)

(15)

(16)

(17)

式中：TP為被正確分類的正例；TN為正確分類的負(fù)例；FP為錯(cuò)誤分類的正例；FN為錯(cuò)誤分類的負(fù)例。為了方便比較，本文也采用這4個(gè)指標(biāo)來評(píng)價(jià)模型。在三種實(shí)驗(yàn)中，將本文提出的ABME模型和文獻(xiàn)[4]提出的SAGE模型以及文獻(xiàn)[6]提出的SWNN模型進(jìn)行比較。其中，SAGE模型使用了n-grams特征，而SWNN模型是分層的CNN模型。

3.2 領(lǐng)域內(nèi)實(shí)驗(yàn)

表3顯示了本文設(shè)計(jì)的ABME模型和文獻(xiàn)[4]、文獻(xiàn)[6]的模型在旅館、餐館、醫(yī)生領(lǐng)域上的實(shí)驗(yàn)結(jié)果。本文提出的ABME模型在旅館和醫(yī)生領(lǐng)域的實(shí)驗(yàn)中，在大多數(shù)性能指標(biāo)上均取得了最好的結(jié)果；在餐館領(lǐng)域的實(shí)驗(yàn)中，ABME模型在準(zhǔn)確率(Accuracy)和召回率(Recall)上取得了最好的結(jié)果。由此可見，ABME模型在領(lǐng)域內(nèi)的實(shí)驗(yàn)中取得了最好的結(jié)果。

表3 領(lǐng)域內(nèi)實(shí)驗(yàn)結(jié)果 %

3.3 跨領(lǐng)域?qū)嶒?yàn)

在三個(gè)領(lǐng)域的數(shù)據(jù)集中，旅館數(shù)據(jù)集是最大的(1 600個(gè)樣本)，而餐館和醫(yī)生較小(400個(gè)樣本)，所以本文的跨領(lǐng)域?qū)嶒?yàn)使用旅館數(shù)據(jù)集訓(xùn)練模型，在餐館數(shù)據(jù)集和醫(yī)生數(shù)據(jù)集上進(jìn)行測(cè)試。

實(shí)驗(yàn)結(jié)果如表4所示，在餐館領(lǐng)域的實(shí)驗(yàn)中，文獻(xiàn)[4]的SAGE模型取得了最好的效果，而ABME模型和文獻(xiàn)[6]的SWNN模型實(shí)驗(yàn)結(jié)果相當(dāng)。在醫(yī)生領(lǐng)域的實(shí)驗(yàn)中，文獻(xiàn)[6]的SWNN模型取得了最好的效果，而本文的ABME模型的精度是最高的，并且其準(zhǔn)確率與SWNN模型十分接近。總體而言，三個(gè)模型在餐館數(shù)據(jù)集上的表現(xiàn)都要好于醫(yī)生數(shù)據(jù)集，因?yàn)椴宛^和旅館的領(lǐng)域詞匯更相近。

表4 跨領(lǐng)域?qū)嶒?yàn)結(jié)果 %

3.4 混合領(lǐng)域?qū)嶒?yàn)

混合領(lǐng)域?qū)嶒?yàn)結(jié)果如表5所示。文獻(xiàn)[4]并沒有做這個(gè)實(shí)驗(yàn)，所以只和文獻(xiàn)[6]的模型比較。本文提出的ABME模型在準(zhǔn)確率(Accuracy)和精確率(Precision)上得到了最好的結(jié)果，實(shí)驗(yàn)結(jié)果說明本文提出的ABME模型和文獻(xiàn)[6]提出的SWNN模型在混合領(lǐng)域數(shù)據(jù)上的表現(xiàn)相近。

表5 混合領(lǐng)域?qū)嶒?yàn)結(jié)果 %

4 結(jié) 語

本文提出了一個(gè)基于自注意力機(jī)制的多層編碼器模型(ABME)來解決虛假評(píng)論分類和檢測(cè)問題。本文模型將評(píng)論的首、中、尾分離來提高首尾的權(quán)重，并結(jié)合兩層注意力機(jī)制的深度學(xué)習(xí)模型來獲取評(píng)論的全局特征表示。實(shí)驗(yàn)結(jié)果表明，本文方法在部分實(shí)驗(yàn)中取得了最好的效果。模型在跨領(lǐng)域?qū)嶒?yàn)中的表現(xiàn)遠(yuǎn)沒有領(lǐng)域內(nèi)和混合領(lǐng)域的實(shí)驗(yàn)結(jié)果好，這可能是因?yàn)闆]有在模型中使用領(lǐng)域適應(yīng)的方法。如果加入“領(lǐng)域無關(guān)特征”，并運(yùn)用一些領(lǐng)域適應(yīng)方法，模型的魯棒性和泛化能力將進(jìn)一步增強(qiáng)。