基于雙層注意力機(jī)制的聯(lián)合深度推薦模型

劉慧婷 紀(jì)強(qiáng) 劉慧敏 趙鵬

(安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽合肥230601)

隨著在線購(gòu)物網(wǎng)站的發(fā)展，利用用戶的個(gè)性偏好進(jìn)行推薦變得越來(lái)越普遍?，F(xiàn)有推薦系統(tǒng)可以分為3大類:基于協(xié)同過(guò)濾 (CF)的推薦、基于內(nèi)容的推薦和混合推薦。推薦系統(tǒng)大多采用基于CF技術(shù)的推薦算法。這些算法的基本思想是:具有相似偏好的用戶往往會(huì)有類似的選擇。簡(jiǎn)而言之，協(xié)同過(guò)濾算法直接或間接依賴用戶的評(píng)級(jí)，以進(jìn)行評(píng)級(jí)預(yù)測(cè)或者生成排名推薦。

盡管協(xié)同過(guò)濾算法在許多應(yīng)用中表現(xiàn)出了良好的性能，但是該算法有其自身的局限和缺點(diǎn)，稀疏性問(wèn)題是其面臨的重大挑戰(zhàn)之一［1］。當(dāng)用戶對(duì)商品的評(píng)分非常稀疏時(shí)，基于用戶評(píng)級(jí)所得到的用戶間的相似性可能不準(zhǔn)確，會(huì)出現(xiàn)稀疏性問(wèn)題，且該問(wèn)題存在于許多實(shí)際應(yīng)用中。

協(xié)同過(guò)濾技術(shù)的另一個(gè)缺點(diǎn)是可解釋性差，其無(wú)法很好地解釋用戶的偏好。此技術(shù)只知道用戶可能因?yàn)槟硞€(gè)特定的特征而喜歡某個(gè)項(xiàng)目，但不知道這個(gè)特征的含義。事實(shí)上，用戶喜歡某個(gè)項(xiàng)目的原因都是可以解釋的，例如餐廳的美食風(fēng)格和價(jià)格等。使用評(píng)論文本進(jìn)行推薦是解決上述問(wèn)題的一種方法。

為了解決稀疏性問(wèn)題，研究人員還提出了基于內(nèi)容的推薦系統(tǒng)。這些方法利用項(xiàng)目信息或者用戶評(píng)論信息了解用戶或項(xiàng)目的潛在特征。盡管基于內(nèi)容的推薦系統(tǒng)可以有效地推薦新項(xiàng)目，但是由于沒有足夠的有關(guān)用戶個(gè)人信息，這類方法無(wú)法生成個(gè)性化的預(yù)測(cè)。

現(xiàn)在越來(lái)越多的模型將CF和基于內(nèi)容的方法結(jié)合起來(lái)進(jìn)行推薦［2-6］，取得了不錯(cuò)的效果。例如模型sCVR［2］使用評(píng)論信息和社交關(guān)系來(lái)預(yù)測(cè)項(xiàng)目評(píng)分，實(shí)現(xiàn)了很好的可解釋性。而文獻(xiàn) ［3］提出了深度學(xué)習(xí)框架NRT，該模型可以在預(yù)測(cè)評(píng)分的同時(shí)生成摘要性的提示，提高了模型的推薦質(zhì)量和可解釋性。

目前，在大多數(shù)電子商務(wù)和評(píng)論服務(wù)網(wǎng)站如亞馬遜和Yelp中，用戶可以自由編寫評(píng)論文本以及數(shù)字星級(jí)評(píng)分。評(píng)論文本中通常包含有關(guān)項(xiàng)目特征(例如質(zhì)量、材料和顏色)的豐富信息，有時(shí)還會(huì)包含針對(duì)性的建議，這些建議對(duì)于那些打算作出購(gòu)買決策的人來(lái)說(shuō)具有很好的參考價(jià)值。但由于并不是所有的評(píng)論都是有價(jià)值的，所以用戶從大量的評(píng)論中獲取有用的信息是比較困難的。不太有用的評(píng)論會(huì)給推薦模型帶來(lái)噪聲，影響模型的性能，對(duì)用戶的幫助也會(huì)有限，因此選擇有用的評(píng)論對(duì)于提高模型的性能是非常重要的。

已有相關(guān)研究使用評(píng)論文本來(lái)提高評(píng)級(jí)預(yù)測(cè)模型的準(zhǔn)確性，例如 CTR［7］、HFT［8］、RBLT［9］等，它們證明了使用評(píng)論信息進(jìn)行推薦的有效性，特別是對(duì)于評(píng)級(jí)較少的用戶和項(xiàng)目。但是這些模型利用隱狄利克雷分配模型 (LDA)［10］或非負(fù)矩陣分解(NMF)［11］從評(píng)論中提取潛在特征，其不足之處是它們使用詞袋 (BOW)表示來(lái)進(jìn)行評(píng)論文本的處理，而忽略了評(píng)論的上下文語(yǔ)義信息。

由于深度神經(jīng)網(wǎng)絡(luò) (例如RNN、CNN(卷積神經(jīng)網(wǎng)絡(luò))等)對(duì)序列文本有著強(qiáng)大的建模能力，因而有研究利用深度神經(jīng)網(wǎng)絡(luò)提取用戶評(píng)論中的有用信息來(lái)提高基于潛在因子建模的模型性能［12-13］。例如，DeepCoNN模型用CNN來(lái)編碼評(píng)論信息，然后通過(guò)因子分解機(jī) (FM)［14］耦合的兩個(gè)并行部分對(duì)用戶和項(xiàng)目進(jìn)行聯(lián)合建模，以進(jìn)行評(píng)級(jí)預(yù)測(cè)。雖然該模型取得了很好的推薦性能，但它從用戶或者項(xiàng)目的評(píng)論中無(wú)區(qū)別地提取信息，不能夠很好地區(qū)分用戶評(píng)論的差異性。

對(duì)于模型缺乏可解釋性的問(wèn)題，現(xiàn)有模型利用用戶評(píng)論來(lái)提高推薦性能并生成解釋［2，15-16］，但這些模型也存在一些局限性。首先，對(duì)于項(xiàng)目建模它們沒有考慮每個(gè)評(píng)論的貢獻(xiàn)程度，也沒有區(qū)分發(fā)表無(wú)用評(píng)論的用戶;其次，它們從評(píng)論中簡(jiǎn)單地提取單詞或短語(yǔ)來(lái)為模型提供解釋，缺乏評(píng)論中的上下文信息，這可能會(huì)扭曲原來(lái)句子的含義。

為了解決上述問(wèn)題，提取有用的用戶或者項(xiàng)目評(píng)論信息，本文提出了一種融合雙層注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型 (DLALSTM)，利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò) (BiLSTM)［17］來(lái)學(xué)習(xí)用戶和項(xiàng)目評(píng)論信息，以更好地提取評(píng)論中每個(gè)詞的上下文信息;同時(shí)利用雙層注意力機(jī)制分別考慮詞和評(píng)論的重要性，使得模型具有良好的可解釋性。

1 雙層注意力深度推薦模型

一個(gè)用戶對(duì)不同的項(xiàng)目可能有多個(gè)評(píng)論信息，而項(xiàng)目也可能會(huì)接收不同用戶對(duì)它的多個(gè)評(píng)論信息。一方面，在用戶或者項(xiàng)目的多個(gè)評(píng)論信息中，有些評(píng)論信息在整個(gè)用戶或者項(xiàng)目建模中起著非常重要的作用，而其他一些評(píng)論信息可能對(duì)于建模用戶偏好和項(xiàng)目特征沒有那么重要。另一方面，評(píng)論中不同單詞的語(yǔ)義不同。一些單詞能夠體現(xiàn)出用戶的偏好，而另一些則傾向于表明項(xiàng)目的特征。這意味著評(píng)論信息在詞級(jí)別和評(píng)論級(jí)別具有不同的潛在語(yǔ)義表示。為了體現(xiàn)這兩種信息在推薦模型中不同的作用，本文提出了一個(gè)新的框架DLALSTM，來(lái)將用戶和項(xiàng)目評(píng)論信息分別從用戶視圖和項(xiàng)目視圖的角度，通過(guò)雙層注意力機(jī)制并行地引入推薦模型，如圖1所示，其中各符號(hào)的意義見下文。本文提出的雙層注意力模型包含用戶視圖和項(xiàng)目視圖兩個(gè)并行的部分，分別實(shí)現(xiàn)用戶建模和項(xiàng)目建模。整個(gè)模型由輸入層 (詞嵌入層)、序列編碼層、第1層注意力層、第2層注意力層、全連接層、評(píng)分預(yù)測(cè)層6部分組成。下文將從項(xiàng)目視圖角度進(jìn)行詳細(xì)介紹，用戶視圖角度的建模和項(xiàng)目視圖相似。

1.1 輸入層

模型DLALSTM使用經(jīng)過(guò)預(yù)訓(xùn)練的詞向量作為輸入，這些向量由 Google News［18］中超過(guò)1000億個(gè)單詞訓(xùn)練得到。將用戶的所有評(píng)論換為單詞向量矩陣，表示為Vu1，Vu2，…，Vuj，其中 Vuy(y=1，2，…，j)為用戶u的第 y條評(píng)論中的詞 uyp(p=1，2，…，m)預(yù)訓(xùn)練后所構(gòu)成的矩陣，j為每個(gè)用戶最大的評(píng)論數(shù)。同理，項(xiàng)目i的所有評(píng)論也轉(zhuǎn)換成單詞向量矩陣，表示為 Vi1，Vi2，…，Vik，Viz(z=1，2，…，k)為項(xiàng)目i的第z條評(píng)論中的詞izq(q=1，2，…，n)預(yù)訓(xùn)練后所構(gòu)成的矩陣，其中k為每個(gè)項(xiàng)目最大的評(píng)論數(shù)。然后將這些矩陣分別輸入到兩個(gè)并行BiLSTM中。

1.2 序列編碼層

為更好地利用上下文信息，常見的方法是采用雙向LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))來(lái)模擬正向和反向的文本語(yǔ)義。例如對(duì)于文本序列［x1x2… xT］，正向LSTM是從x1到xT讀取序列，反向LSTM則是從 xT到 x1讀取序列。連接正向隱藏狀態(tài)h→t(t=1，2，…，T)和反向隱藏狀態(tài)h←t［19-20］，即ht=h→t‖h←t。ht包含了以xt為中心的整個(gè)文本序列的信息，因此對(duì)于項(xiàng)目評(píng)論中的詞向量序列［WL1WL2… WLn］，本文采用BiLSTM來(lái)編碼正向和反向的項(xiàng)目評(píng)論文本語(yǔ)義:

圖1 雙層注意力推薦框架圖Fig.1 Double-layer attention recommendation frame

對(duì)于項(xiàng)目評(píng)論中第L個(gè)評(píng)論中的第M個(gè)詞iLM，首先訓(xùn)練為詞向量WLM∈RD。對(duì)于詞嵌入序列ViL=［WL1WL2… WLn］，正向LSTM 從WL1到WLn讀取序列，而反向LSTM從WLn到WL1讀取序列。連接正向隱藏狀態(tài)和反向隱藏狀態(tài)。最終項(xiàng)目視圖中的BiLSTM網(wǎng)絡(luò)生成隱藏狀態(tài) {，，…，}。

1.3 第1層注意力層

從項(xiàng)目評(píng)論的角度來(lái)看，評(píng)論中的每個(gè)單詞在提取項(xiàng)目特征方面的貢獻(xiàn)度不同。為了體現(xiàn)這種不同，項(xiàng)目視圖模型使用注意力機(jī)制來(lái)提取評(píng)論中對(duì)項(xiàng)目特征的提取有重要貢獻(xiàn)的信息詞，然后，評(píng)論則由這些信息詞共同表示，即評(píng)論表示SiL為項(xiàng)目評(píng)論中單詞的隱藏狀態(tài)的加權(quán)和:

1.4 第2層注意力層

項(xiàng)目可能有多個(gè)評(píng)論，而每個(gè)評(píng)論具有不同的重要程度，為了提取出有代表性的評(píng)論中的有用信息，模型引入第2層注意力機(jī)制學(xué)習(xí)每個(gè)評(píng)論的權(quán)重。基于注意力的評(píng)論聚合的目標(biāo)是選擇有代表性的評(píng)論，然后匯總這些代表性評(píng)論的信息來(lái)表示這個(gè)項(xiàng)目。該層的輸入包含評(píng)論的特征向量SiL和編寫該評(píng)論的用戶ID嵌入u′iL。添加用戶ID嵌入有助于識(shí)別發(fā)表無(wú)用的評(píng)論用戶。具體來(lái)說(shuō)，第2層注意力網(wǎng)絡(luò)被定義為

式中:H是權(quán)重向量，HT是它的轉(zhuǎn)置;Ws、Wu′分別為SiL、u′iL的權(quán)重矩陣;、是偏置項(xiàng);relu是非線性激活函數(shù)。

本文使用softmax函數(shù)對(duì)上述注意力得分進(jìn)行歸一化來(lái)獲得評(píng)論的最終權(quán)重，可以解釋為第L個(gè)評(píng)論對(duì)項(xiàng)目i的整個(gè)特征的貢獻(xiàn)程度:

在獲得每個(gè)評(píng)論的注意力權(quán)重之后，項(xiàng)目i的特征向量的計(jì)算公式如下:

1.5 全連接層

為了保證由LFM［1］得到的用戶偏好和項(xiàng)目特征，與分別通過(guò)用戶視圖和項(xiàng)目視圖建模得到的評(píng)論級(jí)別的用戶和項(xiàng)目特征在同一特征空間，本文將第2層注意力層的輸出輸入到全連接層來(lái)獲得一個(gè)d維向量，則項(xiàng)目i的最終表示為

式中:W0∈Rd×k，是權(quán)重矩陣;∈Rd，是偏置項(xiàng)。

對(duì)于用戶視圖中的建模，和項(xiàng)目視圖建模相似，并非所有單詞都反映用戶的偏好。為了解決這個(gè)問(wèn)題，本文使用第1層用戶注意力機(jī)制來(lái)提取對(duì)評(píng)論含義有重要貢獻(xiàn)的用戶特定詞，同時(shí)使用第2層注意力機(jī)制提取對(duì)用戶具有代表性的評(píng)論。在用戶的視圖建模中，用戶的一個(gè)評(píng)論表示Sug和用戶評(píng)論集合表示ou的計(jì)算公式如下:

1.6 評(píng)分預(yù)測(cè)層

在評(píng)分預(yù)測(cè)層，本文將LFM模型中的用戶偏好分布和項(xiàng)目特征分布分別擴(kuò)展為兩個(gè)組件:基于評(píng)級(jí)的特征和基于評(píng)論的特征。具體而言，首先將用戶和項(xiàng)目的基于評(píng)級(jí)的潛在因子映射到共享的隱藏空間，然后引入從評(píng)論中學(xué)習(xí)的基于評(píng)論的潛在表示，用戶u和項(xiàng)目i之間的交互則被建模為

根據(jù)式 (13)，qu和pi是基于評(píng)級(jí)的用戶偏好和項(xiàng)目特征;Yi則是從評(píng)論中學(xué)習(xí)的基于評(píng)論的項(xiàng)目特征;⊙表示向量的元素乘積。

式 (13)的輸出是一個(gè)d維向量，將其傳遞給預(yù)測(cè)層以得到預(yù)測(cè)評(píng)級(jí):

式中:W∈Rd，表示預(yù)測(cè)層的權(quán)重;b2、bu和μi分別表示用戶偏差、項(xiàng)目偏差和全局平均偏差。

1.7 模型學(xué)習(xí)

由于本文關(guān)注的任務(wù)是評(píng)級(jí)預(yù)測(cè)，模型通過(guò)Adam優(yōu)化器最小化以下目標(biāo)函數(shù)來(lái)更新網(wǎng)絡(luò)參數(shù)。這實(shí)際上是一個(gè)回歸問(wèn)題。對(duì)于回歸，常用的目標(biāo)函數(shù)是平方損失［21］:

2 實(shí)驗(yàn)

為了驗(yàn)證本文所提模型的性能，將在4個(gè)真實(shí)數(shù)據(jù)集上對(duì)基于雙層注意力機(jī)制的推薦模型DLALSTM和目前常用的推薦模型進(jìn)行對(duì)比和分析。

2.1 數(shù)據(jù)集

實(shí)驗(yàn)將使用來(lái)自不同領(lǐng)域的4個(gè)可公開訪問(wèn)的數(shù)據(jù)集來(lái)評(píng)估本文的模型。其中3個(gè)數(shù)據(jù)集來(lái)自亞馬遜，分別為Toys_and_Games、Kindle_Store和Movies_and_TV;另一個(gè)數(shù)據(jù)集來(lái)自Yelp。這些數(shù)據(jù)集涵蓋了不同的領(lǐng)域，包含不同個(gè)數(shù)的用戶、項(xiàng)目和評(píng)論信息。其中，Movies_and_TV是最大的數(shù)據(jù)集，它包含超過(guò)160萬(wàn)條評(píng)論，而Toys_and_Games是較小的數(shù)據(jù)集，僅包含約16萬(wàn)條評(píng)論。數(shù)據(jù)集的特征統(tǒng)計(jì)如表1所示。本文將數(shù)據(jù)集隨機(jī)分成訓(xùn)練集 (80%)、驗(yàn)證集 (10%)和測(cè)試集(10%)，驗(yàn)證集用于調(diào)整超參數(shù)，測(cè)試集則用于最終性能的比較。這些數(shù)據(jù)集的評(píng)分等級(jí)為整數(shù)1到5。本文對(duì)于亞馬遜數(shù)據(jù)集預(yù)處理使用文獻(xiàn)［22］公開的代碼進(jìn)行處理。由于評(píng)論的長(zhǎng)度和數(shù)量具有長(zhǎng)尾效應(yīng)，本文保留的長(zhǎng)度和數(shù)量為前p%的用戶和項(xiàng)目的評(píng)論，對(duì)于Toys_and_Games和Kindle_Store，p設(shè)置為0.9，而對(duì)于Movies_and_TV，p則設(shè)置為0.85。Yelp數(shù)據(jù)集包含來(lái)自Yelp Challenge 2018的商戶評(píng)論。由于原始數(shù)據(jù)非常龐大且稀疏，因此本文遵循Zhang等［15］對(duì)該數(shù)據(jù)集進(jìn)行的預(yù)處理。具體來(lái)說(shuō)，本文選擇位于鳳凰城(Phoenix)的商戶，并確保所有用戶和項(xiàng)目至少有10個(gè)評(píng)論。

表1 4個(gè)實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)Table 1 Statistics of four datasets

2.2 評(píng)價(jià)指標(biāo)

RMSE(均方根誤差)是常用的評(píng)估協(xié)同過(guò)濾推薦模型性能的指標(biāo)，因此本文在實(shí)驗(yàn)中利用它來(lái)評(píng)估各推薦模型的推薦精度，RMSE的值越小，表示預(yù)測(cè)精度越高。給定預(yù)測(cè)評(píng)級(jí)^ru，i和用戶u對(duì)于項(xiàng)目i的真實(shí)評(píng)級(jí)ru，i，RMSE的計(jì)算公式如下:

其中N表示用戶和項(xiàng)目之間的評(píng)級(jí)數(shù)目。

2.3 超參數(shù)

本文在4個(gè)數(shù)據(jù)集上進(jìn)行了多組實(shí)驗(yàn)，對(duì)比方法的參數(shù)設(shè)置如下:NMF和SVD++設(shè)置潛在因子數(shù)為10，HFT設(shè)置主題數(shù)為50。對(duì)于模型Deep-CoNN，本文使用了文獻(xiàn) ［12］中大多數(shù)的超參數(shù)設(shè)置，其中，卷積層中的神經(jīng)元數(shù)為100，窗口大小為3。在實(shí)驗(yàn)過(guò)程中，本文模型DLALSTM的隱藏層大小的取值范圍為 16、32、50、64、100、128、150。為防止過(guò)擬合，本文在全連接層加入dropout方法，將dropout在0.1、0.3、0.5、0.7和0.9中進(jìn)行最佳參數(shù)搜索。批量大小分別取16、32、50、64和 100，潛在因子維數(shù)則在 8、16、32、64中選擇并進(jìn)行實(shí)驗(yàn)分析。根據(jù)實(shí)驗(yàn)結(jié)果，本文將隱藏層大小設(shè)置為128，dropout值設(shè)置為0.3，學(xué)習(xí)率設(shè)置為0.001，批量大小設(shè)置為64，潛在因子維數(shù)設(shè)置為32。

2.4 算法性能比較

為了評(píng)估模型評(píng)級(jí)預(yù)測(cè)的性能，本文將模型DLALSTM與5種目前常用的推薦方法在4個(gè)不同領(lǐng)域的數(shù)據(jù)集上進(jìn)行性能比較。5種推薦模型分別為PMF［23］(引入高斯分布來(lái)模擬用戶和項(xiàng)目的潛在因子)、NMF［11］(僅使用評(píng)級(jí)矩陣作為輸入)、SVD++［24］(模型集成了隱式反饋數(shù)據(jù)，有效地將顯式和隱式數(shù)據(jù)進(jìn)行結(jié)合)、HFT［8］(將評(píng)論與評(píng)級(jí)相結(jié)合的有效方法)和DeepCoNN［12］(利用深度學(xué)習(xí)技術(shù)從評(píng)論文本中分別模擬用戶和項(xiàng)目)。與其他基于主題建模的方法相比，DeepCoNN模型的推薦性能有了顯著改進(jìn)。本文實(shí)現(xiàn)了這個(gè)模型，并將優(yōu)化器由RMSprop更改為Adam，因?yàn)樵撏扑]模型使用Adam優(yōu)化器比使用RMSprop的推薦性能更加有效。DLALSTM與5種對(duì)比方法的統(tǒng)計(jì)信息比較結(jié)果如表2所示。

表2 算法統(tǒng)計(jì)信息比較1)Table 2 Comparison of statistical information by approaches

2.5 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將從3個(gè)方面對(duì)模型的實(shí)驗(yàn)結(jié)果進(jìn)行分析:首先，對(duì)模型DLALSTM和5個(gè)對(duì)比方法在4個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 (RMSE)進(jìn)行分析;然后，進(jìn)一步分析基于深度學(xué)習(xí)的推薦模型對(duì)參數(shù)的敏感性;最后，分析雙層注意力機(jī)制對(duì)模型推薦性能的影響以及進(jìn)行模型的收斂性實(shí)驗(yàn)。

2.5.1 算法對(duì)比結(jié)果分析

本文將6組算法在Toys_and_Games、Kindle_Store、Movies_and_TV和Yelp數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分析評(píng)分預(yù)測(cè)結(jié)果的RMSE的不同，表3給出了各個(gè)算法的RMSE的比較結(jié)果。

表3 不同推薦算法的RMSE比較Table 3 Comparison of RMSE obtained by different recommendation algorithms

由表3可知，模型DLALSTM在Toys_and_Games、Kindle_Store、Movies_and_TV和Yelp 4個(gè)數(shù)據(jù)集上的推薦性能超過(guò)了所有對(duì)比方法:

(1)考慮評(píng)論的方法 (HFT、DeepCoNN和DLALSTM)通常比僅考慮評(píng)級(jí)矩陣的協(xié)同過(guò)濾模型 (例如PMF、NMF和SVD++)表現(xiàn)更好。這是因?yàn)樵u(píng)論信息是對(duì)評(píng)級(jí)的補(bǔ)充，它可以緩解協(xié)同過(guò)濾算法存在的稀疏問(wèn)題，提高潛在因子模型的推薦性能。高質(zhì)量的建模則進(jìn)一步提高了用戶偏好和項(xiàng)目特征表示的準(zhǔn)確性，從而得到了更好的評(píng)級(jí)預(yù)測(cè)結(jié)果。

(2)利用深度學(xué)習(xí)技術(shù) (DeepCoNN和DLALSTM)的方法通常優(yōu)于傳統(tǒng)方法 (包括HFT)，盡管HFT也對(duì)用戶和項(xiàng)目的評(píng)論進(jìn)行建模。這主要是因?yàn)?①文獻(xiàn) ［25-26］已經(jīng)表明，像 CNN、RNN這樣的神經(jīng)網(wǎng)絡(luò)相比基于LDA［10］的主題模型在分析文本信息時(shí)可獲得更好的性能;②深度學(xué)習(xí)能夠以非線性方式對(duì)用戶和項(xiàng)目進(jìn)行建模［27］，并且采用一些深度學(xué)習(xí)策略，如在神經(jīng)網(wǎng)絡(luò)中采用dropout來(lái)防止過(guò)擬合可能會(huì)進(jìn)一步提高模型性能。

(3)DLALSTM始終優(yōu)于所有對(duì)比方法。盡管評(píng)論信息在推薦過(guò)程中很重要，但評(píng)論信息的不同使用方式也會(huì)導(dǎo)致不同的推薦結(jié)果。本文提出的基于雙層注意力的模型利用評(píng)論的同時(shí)又分別考慮了每個(gè)評(píng)論的重要性以及每個(gè)詞的重要性，使得推薦性能得到了進(jìn)一步的提高。

2.5.2 參數(shù)敏感性分析

本節(jié)探索了潛在因子數(shù)和dropout對(duì)模型性能的影響。圖2和圖3展示了算法在Toys_and_Games和Kindle_Store兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。為了更好地展現(xiàn)DLALSTM模型的性能和改進(jìn)效果，本文將DeepCoNN的評(píng)分預(yù)測(cè)層更改為表現(xiàn)更好的神經(jīng)預(yù)測(cè)層 (參見式 (13)-(14))來(lái)擴(kuò)展DeepCoNN，并 將 其命 名 為 DeepCoNN++［22］。DeepCoNN++將和DeepCoNN以及本文的模型DLALSTM進(jìn)一步進(jìn)行性能的比較。

圖2 模型在不同潛在因子數(shù)上的性能表現(xiàn)Fig.2 Performance of models on different latent factors

圖3 dropout對(duì)算法性能的影響Fig.3 Effect of dropout ratios on performance of algorithms

首先探索潛在因子數(shù)的影響。因?yàn)榛贛F的模型 (PMF、NMF和SVD++)以及HFT模型在推薦性能上和深度學(xué)習(xí)方法存在一定的差距，本文只進(jìn)一步對(duì)深度學(xué)習(xí)的方法進(jìn)行比較。通過(guò)圖2實(shí)驗(yàn)結(jié)果可以看出，本文提出的模型以及對(duì)比模型的推薦性能在潛在因子數(shù)上的變化比較平穩(wěn)，在Toys_and_Games和Kindle_Store數(shù)據(jù)集上，當(dāng)預(yù)測(cè)因子數(shù)為32時(shí)本文提出的模型 (DLALSTM)的RMSE取得了最優(yōu)值，比DeepCoNN和DeepCoNN++模型的最優(yōu)RMSE值分別降低了1%和0.13%。

另外，本文還通過(guò)實(shí)驗(yàn)討論了dropout在基于深度學(xué)習(xí)模型上的影響。圖3顯示了DeepCoNN模型、DeepCoNN++模型以及本文的模型DLALSTM在不同dropout上的性能表現(xiàn)。從圖3可以發(fā)現(xiàn)，將dropout設(shè)置為適當(dāng)?shù)闹禃r(shí)，所有方法的性能都可以得到顯著改善，同時(shí)本文的模型在大部分情況下超過(guò)了所對(duì)比的方法，當(dāng)dropout為0.3時(shí)，DLALSTM在Toys_and_Games和Kindle_Store數(shù)據(jù)集上取得最佳值，超過(guò)了DeepCoNN和DeepCoNN++模型的最優(yōu)值。實(shí)驗(yàn)證明，設(shè)置適當(dāng)?shù)膁ropout能夠防止模型過(guò)擬合，實(shí)現(xiàn)模型更好的性能。實(shí)驗(yàn)結(jié)果進(jìn)一步表明，在dropout的比較上，推薦模型性能在數(shù)據(jù)集Toys_and_Games上的變化比在Kindle_Store數(shù)據(jù)集上的變化更加明顯。這是因?yàn)門oys_and_Games數(shù)據(jù)集相對(duì)較小，更容易使模型出現(xiàn)過(guò)擬合情況，而在較大的數(shù)據(jù)集上模型性能相對(duì)比較平穩(wěn)。

2.5.3 注意力機(jī)制影響分析

本文分別在Toys_and_Games和Kindle_Store數(shù)據(jù)集上進(jìn)行了注意力機(jī)制影響的實(shí)驗(yàn)，3個(gè)模型的RMSE比較如表4所示。在表4中，All代表本文提出的應(yīng)用了雙層注意力機(jī)制的模型DLALSTM;First attention代表只使用了第1層注意力機(jī)制，第2層用了恒等的權(quán)重;Second attention代表在第1層用了恒等的權(quán)重，第2層用了注意力機(jī)制。從表4可以看出，應(yīng)用兩層注意力機(jī)制的評(píng)級(jí)預(yù)測(cè)的性能顯著地超過(guò)了只用1層注意力機(jī)制的情況;同時(shí)，只用了1層注意力機(jī)制的模型無(wú)論是在第1層還是第2層使用都表現(xiàn)相當(dāng)，性能都低于用了雙層注意力的模型性能。實(shí)驗(yàn)結(jié)果證明了本文的假設(shè)，即不同的評(píng)論對(duì)用戶偏好和項(xiàng)目特征具有不同的代表性，同時(shí)每個(gè)詞的作用也是不一樣的，設(shè)定不同的詞的權(quán)重對(duì)用戶和項(xiàng)目的建模是非常重要的?；陔p層注意力機(jī)制的聯(lián)合深度推薦模型可以很好地學(xué)習(xí)這種多樣性，從而可以提高推薦模型的性能。

表4 注意力機(jī)制的影響Table 4 Effect of attention mechanism

為了驗(yàn)證模型DLALSTM的第1層用戶注意力層和第1層項(xiàng)目注意力層的有效性，本文做了注意力可視化實(shí)驗(yàn)。表5提供了用戶評(píng)論及其單詞級(jí)別注意力可視化的例子，以說(shuō)明第1層注意力機(jī)制對(duì)用戶偏好和項(xiàng)目特征識(shí)別的結(jié)果，其中灰色較深的顏色表示單詞具有較高的權(quán)重。

表5 用戶注意力和項(xiàng)目注意力在單詞上的可視化Table 5 Visualization of user attention and item attention overwords

從表5可以看到“l(fā)ove”這個(gè)單詞在用戶注意力方面具有最高的注意力權(quán)重，而“cool”這個(gè)單詞在項(xiàng)目注意力方面具有最高的注意力權(quán)重。事實(shí)上，單詞“l(fā)ove”通常表達(dá)用戶的偏好，而單詞“cool”則用于描述項(xiàng)目的特征。本文提出的模型不僅捕獲了這些信息，而且還給出了正確的預(yù)測(cè)。注意力的可視化表明本文提出的模型可以捕獲用戶的偏好和項(xiàng)目的特征。

為了驗(yàn)證模型DLALSTM的第2層用戶注意力層和第2層項(xiàng)目注意力層的有效性，本文做了評(píng)論注意力可視化實(shí)驗(yàn)。模型選擇某個(gè)項(xiàng)目中的兩個(gè)評(píng)論文本作為實(shí)驗(yàn)例子，同時(shí)把這兩個(gè)評(píng)論進(jìn)行評(píng)論級(jí)別注意力權(quán)重可視化，結(jié)果如表6所示。

表6 DLALSTM模型選擇的高權(quán)重和低權(quán)重評(píng)論的例子Table 6 Examples of the high-weight and low-weight reviews selected by DLALSTM

從表6中可以看出，具有較高注意力權(quán)重的評(píng)論通常包含該項(xiàng)目更多的細(xì)節(jié)信息，可以準(zhǔn)確獲得該項(xiàng)目的特征，這對(duì)用戶做出購(gòu)買決策更有幫助。相比之下，具有較低注意力的評(píng)論只包含用戶的意見，并沒有該項(xiàng)目的細(xì)節(jié)，這種評(píng)論對(duì)其他用戶做出購(gòu)買決策不具有說(shuō)服力。

2.5.4 模型收斂性分析

在Toys_and_Games數(shù)據(jù)集上對(duì)DLALSTM模型進(jìn)行了收斂性實(shí)驗(yàn)，結(jié)果如圖4所示。從圖4可以看出，當(dāng)訓(xùn)練次數(shù)為4后損失趨于穩(wěn)定，因此可以看出模型DLALSTM是收斂的。

圖4 DLALSTM模型在Toys_and_Games數(shù)據(jù)集上的驗(yàn)證收斂過(guò)程Fig.4 Convergence of DLALSTM model validation processes with Toys_and_Games dataset

3 結(jié)論

商品評(píng)論對(duì)用戶做出購(gòu)買決策起著非常重要的作用，但用戶很難從大量的評(píng)論中找到有用的信息。本文提出了一種基于雙層注意力機(jī)制的深度推薦模型DLALSTM，其采用基于雙層注意力機(jī)制的雙向LSTM來(lái)增強(qiáng)推薦性能，可以通過(guò)模型學(xué)習(xí)選擇評(píng)論集合中有用的評(píng)論以及評(píng)論中有用的詞。相對(duì)于傳統(tǒng)的基于評(píng)級(jí)的協(xié)同過(guò)濾方法，本文模型利用評(píng)論文本可以很大程度上緩解數(shù)據(jù)稀疏性問(wèn)題。對(duì)來(lái)自亞馬遜和Yelp 4個(gè)真實(shí)數(shù)據(jù)集的實(shí)驗(yàn)表明，在推薦性能方面，DLALSTM始終優(yōu)于所對(duì)比的常見推薦方法，因此，本文提出的模型將有助于構(gòu)建一個(gè)更有效和可解釋的推薦系統(tǒng)。模型DLALSTM建立在深度網(wǎng)絡(luò)BiLSTM基礎(chǔ)上，由于BiLSTM自身存在的效率較低的問(wèn)題，利用模型DLALSTM進(jìn)行推薦時(shí)較為耗時(shí)。在未來(lái)的工作中，我們將在保證推薦準(zhǔn)確度的基礎(chǔ)上，進(jìn)一步提高模型運(yùn)行的時(shí)間效率;同時(shí)也將繼續(xù)探索利用基于注意力機(jī)制的LSTM來(lái)對(duì)用戶長(zhǎng)期的一般興趣和近期的動(dòng)態(tài)興趣建模，以實(shí)現(xiàn)序列推薦。