融合短文本層級注意力和時間信息的推薦方法

邢長征，郭亞蘭，張全貴，趙宏寶

遼寧工程技術(shù)大學 電子與信息工程學院，遼寧 葫蘆島125105

互聯(lián)網(wǎng)和信息技術(shù)的突飛猛進，使用戶和項目數(shù)量、種類大規(guī)模增長，同時也使信息過載問題日益嚴重，而推薦系統(tǒng)的出現(xiàn)能夠有效緩解信息過載問題，在購物、醫(yī)療和教育等領(lǐng)域被廣泛應(yīng)用。

在推薦系統(tǒng)中，如何準確學習用戶和項目表示對于推薦項目是非常重要的[1]。經(jīng)典的協(xié)同過濾推薦算法基于用戶歷史記錄（顯性評分、點擊率等信息）為用戶和項目進行建模[2-5]。但協(xié)同過濾算法在推薦過程中不具有可解釋性且存在冷啟動問題，因此，通過用戶對項目的顯性評分等信息為用戶和項目準確建模存在一定的困難。

互聯(lián)網(wǎng)和信息技術(shù)的發(fā)展使越來越多的數(shù)據(jù)能夠被感知獲取。包含圖像、文本、標簽在內(nèi)的多源異構(gòu)數(shù)據(jù)蘊含著豐富的用戶行為信息及個性化需求信息，融合了多源異構(gòu)輔助信息的混合推薦方法由于能夠緩解傳統(tǒng)推薦系統(tǒng)中的數(shù)據(jù)稀疏和冷啟動問題，越來越受到重視[6]。用戶對項目的評論包含豐富的信息，不僅能夠反映項目的部分特征，還能夠表達用戶偏好。不同用戶在同一項目下的評論能夠反映出該項目的特征；同一用戶對不同項目的評論文本潛在地包含用戶的偏好，提供用戶的豐富信息，因此，當用戶對項目顯性評分數(shù)據(jù)稀疏時，用戶對項目的評論文本可以顯著加強用戶和項目的表示學習，對提高推薦系統(tǒng)的性能是非常有幫助的[7]。

神經(jīng)網(wǎng)絡(luò)可以對評論文本進行深層次理解，保留評論文本的上下文語義信息。因此，整合評論文本為用戶和項目建模做推薦的深度學習技術(shù)已經(jīng)引起了越來越多的關(guān)注[7-12]。其中，Zheng 等人[7]提出的DeepCoNN（deep cooperative neural networks）模型，Chen 等人[8]提出的NARRE（neural attentional regression model with review-level explanations）模型，Seo 等人提出的D-Attn[9]模型（dual attention based model）和Wang等人提出的WCN[10]模型（word-driven and context-aware networks），具有優(yōu)越的推薦性能，但是仍然存在一些缺陷：（1）DeepCoNN[7]、NARRE[8]、D-Attn[9]和WCN[10]將多條評論文本連接成一個長文檔，采用基于局部視野的卷積神經(jīng)網(wǎng)絡(luò)進行編碼，丟失的長距離特征較多。（2）DeepCoNN[7]、D-Attn[9]、WCN[10]模型將文檔中的不同單詞、評論視為同等重要；NARRE[8]模型應(yīng)用評論級注意力來區(qū)分不同評論對用戶和項目建模的重要性。實際上，不同的單詞、評論在用戶和項目建模時有不同的貢獻。（3）現(xiàn)有的神經(jīng)網(wǎng)絡(luò)推薦模型，對用戶嵌入和項目嵌入通過簡單的連接或逐元素的乘積，只考慮了用戶和項目屬性的低階交互關(guān)系。（4）上述模型都忽略了時間因素對用戶偏好預(yù)測和項目特征提取的影響，隨著時間的變化，用戶的興趣、偏好以及項目的特征也會不斷變化。

基于以上幾點原因，本文提出基于深度學習的推薦模型，融合短文本層級注意力和時間信息的推薦方法（recommendation method integrating review text hierarchical attention with time information，RHATR）。該方法具體內(nèi)容如下：

（1）充分利用用戶對項目的評分和短文本信息，短文本信息可展示用戶對項目所有特征中某個特征的喜歡與否；評分信息可以反映用戶對某一項目的感興趣程度。通過對單條評論文本應(yīng)用單詞級注意力，挖掘單條評論文本中情感詞和關(guān)鍵詞等有效信息，學習用戶和項目表示；對含有時間因素的用戶評論集和項目評論集分別應(yīng)用評論級注意力，提取有效的評論，進一步學習用戶和項目動態(tài)表示。

（2）將交互建模為用戶嵌入和項目嵌入的點積用外積代替。外積運算過程中，不僅包含內(nèi)積結(jié)果，還含有更多的特征。充分考慮了用戶屬性和項目特征的高階交互相關(guān)性，使得交互更具有表達性和語義上的合理性。

1 相關(guān)工作

最近幾年，通過用戶對項目的評分信息為用戶做推薦的方法有基于矩陣分解和深度學習兩種。矩陣分解是主流的協(xié)同過濾方法[2,5,13-14]，例如，Koren 等人[2]提出了基于奇異值（singular value decomposition，SVD）矩陣分解，從用戶和項目的評分矩陣來學習用戶和項目的潛在表示。Salakhutdinov 等人[5]提出基于概率的矩陣分解模型（probabilistic matrix factorization，PMF），將評分矩陣分解為兩個低維矩陣的乘積，分別表示用戶屬性和項目屬性。由于用戶和項目之間的關(guān)系由簡單的幾個因素線性組合決定，只能提取模型的淺層次特征。李婷等人[15]提出了一種將用戶歷史行為歸一化為用戶對項目的評分的方法，從而緩解顯性評分稀疏性問題，使用改進的皮爾遜相關(guān)系數(shù)（Pearson correlation coefficient，PCC）計算用戶之間的相似性，并利用增量更新算法計算當前用戶和其他用戶之間的相似性，而不是所有的用戶。該方法很好地應(yīng)用在個性化網(wǎng)站上。但是基于用戶的增量協(xié)同過濾算法只能提取用戶偏好的淺層次特征。

隨著深度學習的發(fā)展，為了挖掘模型的深層次特征，基于深度學習的推薦方法被廣泛應(yīng)用于推薦系統(tǒng)。Wu 等人[16]提出一種協(xié)同去噪自動編碼器（collaborative denoising auto-encoders，CDAE），該模型利用可見層和隱藏層兩層神經(jīng)網(wǎng)絡(luò)來學習用戶和項目的分布式表示，為神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用提供了廣闊前景。Li 等人[17]提出邊緣化去噪自動編碼器（marginalized denoising auto-encoder，MDA），將深度學習和矩陣分解相結(jié)合，來提取用戶和項目的深層次特征。

上述方法僅利用用戶對項目的評分數(shù)據(jù)，從評分矩陣中來學習用戶和項目的表示，忽略了隱含豐富語義信息的評論文本。信息技術(shù)的發(fā)展造成了評分數(shù)據(jù)的稀疏性問題，該問題制約著協(xié)同過濾模型的推薦性能。大型商務(wù)網(wǎng)站的用戶和項目數(shù)量非常龐大，用戶對項目的評分一般不超過項目總數(shù)的1%，兩個用戶共同評分的項目更是少之又少，數(shù)據(jù)稀疏性問題是影響推薦系統(tǒng)性能的關(guān)鍵因素。為了緩解數(shù)據(jù)稀疏性問題，利用評論文本進一步加強用戶和項目表示，可以有效提高推薦系統(tǒng)性能。

融合評論文本為用戶和項目建模成為近年來的研究熱點。從評論文本中學習用戶和項目表示已經(jīng)引起了越來越多的關(guān)注[1,7-9,18-22]。許多現(xiàn)有方法從評論中提取主題為用戶和項目建模。例如，McAuley 和Leskovec[18]提出隱因子作為主題的方法，使用主題模型技術(shù)狄利克雷概率模型從評論中去發(fā)現(xiàn)用戶和項目的潛在方面。最近幾年，一些基于深度學習的方法從評論文本中學習用戶和項目表示做推薦[1,7-9,19-21]。Zheng 等人[7]提出的深度協(xié)作神經(jīng)網(wǎng)絡(luò)（DeepCoNN）模型，由兩個并行卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）組成，分別從用戶評論集和項目評論集挖掘用戶偏好和項目特征，從而學習用戶和項目表示，很大程度上提高了推薦系統(tǒng)的性能。DeepCoNN模型的用戶（項目）評論集是由評論連接得到的一個長文檔，訓練中要擬合目標用戶對目標項目的評分時，目標用戶對目標項目的評論包含在文檔中。實際中，預(yù)測目標用戶對目標項目的評分時，一般是得不到目標用戶對目標項目的評論，存在一定的不合理性。Catherine和Cohen[19]在DeepCoNN 模型的基礎(chǔ)上提出TransNets方法（transformational neural networks）來學習用戶和項目表示，TransNets 方法在擬合目標用戶對目標項目的評分時，將目標用戶對目標項目的評論從文檔中刪去，利用卷積神經(jīng)網(wǎng)絡(luò)得到用戶特征向量和項目特征向量表示。這些模型將同一個用戶/同一個項目的評論文本連接成一個文檔，將文檔中的不同評論視為同樣重要，忽略了文檔中不同單詞、不同評論對語義表示的重要性。實際上，不同的單詞、評論在用戶和項目建模時往往有不同的貢獻。Chen 等人[8]提出的NARRE 模型，對同一個用戶/同一個項目的評論集采用注意力機制挖掘有效的評論，但在利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行文本卷積處理時，采用最大池化操作，丟失了評論文本中一些重要信息，因此評論文本中的語義信息不能有效提取。另外，張祖平等人[23]提出了一種基于用戶歷史行為融合TextRank 和Word2Vec 的推薦方法，通過深度學習技術(shù)挖掘用戶行為序列間的相似關(guān)系，但Word2Vec對用戶行為進行訓練時，相似語境中的單詞具有相似的語義信息，訓練結(jié)果不受單詞上下文順序的影響，不考慮句法和語法信息。邢長征等人[24]在DeepCoNN和NARRE 的基礎(chǔ)上提出了RHAOR 模型（recommendation method integrating review text hierarchical attention with outer product），該模型利用兩個并行的神經(jīng)網(wǎng)絡(luò)通過主題級和評論級注意力網(wǎng)絡(luò)對用戶和項目評論集進行處理。上述方法忽略了用戶偏好和項目特征會隨時間而變化。

用戶興趣和項目特征并不是一成不變的，文獻[25]指出用戶未來的興趣偏好主要受其近期興趣的影響，也有文獻[26]指出用戶的部分偏好在時間的影響下，具有季節(jié)性或者周期性的特征，根據(jù)時間和用戶歷史行為的不同為用戶進行動態(tài)推薦是有助于提高推薦系統(tǒng)的性能的。因此，考慮用戶的時間信息特征，根據(jù)時間和用戶狀態(tài)的不同進行動態(tài)推薦是有必要的。

信息種類的不斷更新，使用戶偏好隨著時間的變化也在不斷變化，用戶的偏好包括長期偏好和短期偏好。長期偏好反映用戶的真實興趣[27]，短期偏好常與最新更新的項目相關(guān)聯(lián)。時間因素對用戶偏好和項目特征存在一定影響，如圖1 所示，某用戶在2010 年9 月7 日對電影Gator Girl的評分為1 分，而該用戶在2010 年11 月8 日對同一部電影的評分為5分。用戶在不同的時間觀看同一部電影給出了不同的評分和評論，因此在為用戶做推薦時，應(yīng)考慮時間因素對用戶偏好的影響。粗略統(tǒng)計，同一用戶在不同時間對同一項目進行了不同的評分和評論的數(shù)據(jù)在Movies_and_TV 數(shù)據(jù)集中占7.2%。由此可見，在提取用戶偏好的時候，應(yīng)該考慮時間因素的影響。

Fig.1 Examples of original reviews圖1 原始評論示例

為了進一步加強用戶和項目的表示學習，捕捉用戶偏好和項目特征的動態(tài)變化，從而提高推薦系統(tǒng)性能，本文提出融合短文本層級注意力和時間信息的推薦方法（RHATR），對單條評論文本應(yīng)用單詞級注意力，來提取單條評論文本中的情感詞和關(guān)鍵詞等有效信息。對帶有時間因素的用戶評論集和帶有時間因素的項目評論集分別應(yīng)用評論級注意力網(wǎng)絡(luò)，來關(guān)注近期有效的評論文本。將交互建模為用戶嵌入和項目嵌入的點積用外積代替，挖掘用戶和項目屬性的高階交互關(guān)系。

2 融合短文本層級注意力和時間信息的推薦方法（RHATR）

2.1 評論文本的層級注意力

評論文本的層級注意力包括兩部分：第一部分是對單條評論文本中的單詞應(yīng)用單詞級注意力，最終得到單條評論文本的編碼；第二部分是對用戶評論集和項目評論集分別應(yīng)用評論級注意力，來獲取用戶對評論文本的偏好和項目與評論文本之間的相關(guān)性，并通過時間信息挖掘時間因素對用戶偏好和項目與特征的影響，最終得到用戶和項目編碼。整體網(wǎng)絡(luò)架構(gòu)圖如圖2。

2.1.1 評論文本編碼

評論文本編碼單元用來從單詞中學習評論文本表示。從圖2 中可以看出，評論文本編碼單元主要有三層。第一層為單詞嵌入，將單條評論文本中的單詞轉(zhuǎn)化為序列表示；第二層為單詞級注意力網(wǎng)絡(luò)，采用自注意力機制對單條評論文本中的每個單詞向量表示執(zhí)行關(guān)注，得到單條評論文本的單詞級注意力向量表示；第三層為兩個單向的長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM），為了在單詞級注意力向量表示中獲得相鄰單詞間的某種依賴關(guān)系，最終得到評論文本表示向量。

第一層為單詞嵌入層，將單詞序列轉(zhuǎn)換為包含這些單詞語義信息的低維稠密向量。單條評論文本r由M個單詞[w1,w2,…,wM]組成，其中wM表示第M個單詞。通過采用GloVe 在維基百科語料庫中預(yù)訓練嵌入，M個單詞組成的單條評論文本r用單詞嵌入表示：

其中，eM是D維嵌入向量，詞嵌入矩陣E∈RM×D,表示為2D矩陣，其中M表示每條評論文本中的單詞個數(shù)，D表示單詞嵌入維度。

第二層為單詞級注意力網(wǎng)絡(luò)。在為用戶和項目建模時，每條評論文本中，不同的單詞包含的信息量以及重要性不盡相同。例如，在Amazon Instant Video數(shù)據(jù)集中的一條評論文本“Enjoyed some of the comedians，it was a joy to laugh after losing my father whom I was a caregiver for”，“Enjoyed”和“comedians”這兩個單詞明顯比類似“I”和“for”等單詞更具有信息量，更能反映出用戶對項目的主觀意見以及項目的特性。因此，為了用戶和項目建模更加有效，利用單詞級注意力機制來選擇和關(guān)注重要的單詞。

Fig.2 Network architecture diagram圖2 網(wǎng)絡(luò)架構(gòu)圖

對于由M個單詞組成的單條評論文本，每一個單詞對于用戶和項目建模的重要性不同。為了提取評論文本的重要信息，采用自注意力機制對單詞嵌入表示向量E執(zhí)行R次關(guān)注，得到單條評論文本的單詞級注意力向量表示A：

其中，A表示通過注意力網(wǎng)絡(luò)的計算得到每個單詞在每條評論文本中的重要性，大小為R×M。W1∈RV×D，W2∈RR×V是權(quán)重矩陣，V是可以任意設(shè)置的超參數(shù)。tanh()和softmax()函數(shù)均為非線性激活函數(shù)。F表示保存對每個單詞的關(guān)注度不變的情況下，降低對不相關(guān)單詞的關(guān)注，F(xiàn)∈RR×D。

第三層為兩個單向的長短期記憶網(wǎng)絡(luò)（LSTM）。針對循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）在長序列訓練過程中存在梯度爆炸和梯度消失問題，LSTM 由于其自身設(shè)計的特點，適用于對具有時序和依賴性的文本類數(shù)據(jù)進行建模。對于評論文本中每個單詞都不是孤立存在的，都依賴單詞的上下文信息。而LSTM 能夠有效捕捉整條語句的上下文信息，加強對上下文的理解。本文應(yīng)用LSTM 獲取單條評論文本中相鄰單詞間的某種依賴關(guān)系，將矩陣F表示為[f1,f2,…,fR]，使用兩個單向的長短期記憶網(wǎng)絡(luò)處理評論文本：

其中，H為評論文本表示向量，H∈RR×2I。

BI-LSTM 很好地利用了評論文本的上下文信息進行處理，但得到的特征矩陣H的列維度較大，包含的信息過多。通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行降維處理，從而找出關(guān)鍵特征。因此，采用CNN 來處理不僅可以保持嵌入矩陣的上下文信息，而且可以對矩陣H進行局部卷積，從而達到降維目的，減少冗余維度，即非關(guān)鍵信息對模型建模的影響，使模型學習難度降低。

最近幾年，許多基于深度學習的文本處理方法比傳統(tǒng)的方法取得更好的性能，例如TextCNN 和TextRNN。本文在DeepCoNN 模型上進行改進，在DeepCoNN 中，CNN 采用池化層，由于池化層在對嵌入矩陣進行下采樣的過程中，僅僅保留了局部接受域的最大值，會丟失特征矩陣的關(guān)鍵信息。因此，本文利用CNN 對評論文本向量H進一步提取特征時不采用池化層，而采用卷積層。

設(shè)卷積層由m個神經(jīng)元組成，每個神經(jīng)元與卷積核K∈Rτ×2I相關(guān)聯(lián)，對嵌入矩陣H進行卷積運算，第j個神經(jīng)元產(chǎn)生的局部特征zj表示為式（8）：

其中，bj是偏置項，*是卷積操作，relu 是非線性激活函數(shù)。

其中，W∈R1×(R-τ+1)表示權(quán)重矩陣，bj∈R1表示偏置項。

將m個神經(jīng)元的輸出串聯(lián)，得到單條評論文本的特征向量[o1,o2,…,om]。同理，最終得到用戶評論集的特征向量α：

其中，ouP表示用戶u的第P條評論的特征向量。

2.1.2 用戶/項目編碼

用戶/項目編碼單元是基于用戶評論/項目評論表示，用來進一步加強用戶/項目表示。在為用戶和項目建模時，同一個用戶/同一個項目的不同評論往往能夠反映出不同的用戶偏好和項目特征。而且用戶的偏好和項目與評論文本之間的相關(guān)性會隨時間的改變而變化。

因此，本文通過對含有時間因素的用戶評論集和項目評論集采用評論級注意力網(wǎng)絡(luò)來進一步加強用戶和項目表示。采用文獻[8]提出的評論級注意力方法挑選評論集中有效的評論文本。以用戶評論集為例，用戶/項目表示的目標是在用戶u的評論中選擇關(guān)鍵評論特征，并將這些特征線性組合來表示用戶u。注意力網(wǎng)絡(luò)的輸入包括用戶u的第P條評論的特征向量、第P條評論的時間和項目ID。添加項目ID 用來標記被用戶評論過的項目。

為了衡量時間因素對用戶偏好的影響，使用文獻[28]提出的自適應(yīng)指數(shù)遺忘函數(shù)來定義用戶評論的新穎性，如式（12）：

其中，α為調(diào)整新穎性下降速度的超參數(shù)，times(u,r)返回一個非負整數(shù)。

對考慮時間信息的用戶評論集，注意力網(wǎng)絡(luò)表示為式（13），得到用戶評論集中用戶對每條不同評論文本的偏好程度：

其 中，Wo∈Rl×m，Wi∈Rl×m,b1∈Rl×1,h∈Rl×1和b2∈R1×1屬于模型參數(shù)，l為注意力網(wǎng)絡(luò)的中間層大小，β為用于調(diào)整時間因素對用戶和評論文本相關(guān)性影響的超參數(shù)，XuP表示第P條評論對用戶u的特征集貢獻。

在獲得每個評論的注意力之后，用戶u的特征向量加權(quán)和表示為式（14）：

其中，P為用戶評論集中評論文本的個數(shù)。Ou為基于評論級注意力的輸出向量，通過區(qū)分每條評論的貢獻，并在向量空間中表示用戶u的特征。

將Ou傳遞到全連接層，計算用戶評論集的k維特征向量表示Xu：

其中，權(quán)重矩陣Wo∈Rk×m，b0∈Rk。

2.2 評分預(yù)測

對于得到的用戶和項目表示Xu、Xi，采用外積交互層型[29]來獲取不同特征維度間的高階交互信息，得到用戶特征向量和項目特征向量的外積特征交互圖；在外積交互圖上利用多卷積隱藏層來提取更高抽象級別的特征表示；最后采用基于矩陣分解算法的潛在因子模型進行評分預(yù)測。

外積交互層：已知得到的用戶評論集特征向量Xu和項目評論集特征向量Xi，在同一向量空間中，將用戶ID 嵌入、項目ID 嵌入分別與用戶評論集特征Xu、項目評論集特征Xi聯(lián)合來表示用戶特征嵌入Pu和項目特征嵌入Qi，如式（16）、式（17）：

其中，pu和qi分別表示用戶ID 嵌入和項目ID 嵌入，用來唯一標識參與評分預(yù)測的目標用戶和項目。Xu和Xi分別表示用戶評論集特征和項目評論集特征。

對用戶特征嵌入Pu和項目特征嵌入Qi進行外積交互，得到一個外積交互圖E，如式（18）：

其中，E是k×k的矩陣。

多卷積隱藏層：本文采用多卷積隱藏層來從上述矩陣中挖掘更抽象級別的特征表示。對E進行卷積處理，第i層的如下：

其中，K′表示卷積核，*表示卷積運算，bi′表示第i層的偏置項。

最終輸出的張量大小為1×1×n，通過調(diào)整維度得到向量V。經(jīng)過式（21）計算多卷積隱藏層的輸出z。

其中，We表示權(quán)重矩陣，大小為1×n；be表示偏置項，大小為1×1。

評分預(yù)測層：本文利用基于矩陣分解算法的潛在因子模型，來預(yù)測用戶u對項目i的評分Ru,i，如式（22）：

其中，z表示多卷積層的輸出，反映用戶對項目的局部偏好，bu和bi分別表示用戶和項目的偏置項，反映了不同用戶、不同項目對評分數(shù)據(jù)的影響；μ表示全局偏置項，為所有評分數(shù)據(jù)的平均值，反映了在不同數(shù)據(jù)集上，用戶評分的差異。

2.3 網(wǎng)絡(luò)模型訓練

本文的主要目標是進行評分預(yù)測，將其視為回歸任務(wù)，均方誤差（mean square error，MSE）用于網(wǎng)絡(luò)模型訓練。目標函數(shù)如式（23）：

當模型欠擬合時，只需要調(diào)節(jié)正則化因子λ，調(diào)小甚至置零；過擬合時將其調(diào)大。

3 實驗

本文實驗環(huán)境的操作系統(tǒng)是Ubuntu16.04，顯卡GTX1080Ti，CPU 型號E5-2673v3 48 核64 GHz。通過tensorflow-gpu1.14.0 和python3.6 的深度學習庫來實現(xiàn)。

3.1 數(shù)據(jù)集

本文使用包括用戶評論、評論時間和評分信息的4 個公開數(shù)據(jù)集來驗證模型的性能。其中3 個數(shù)據(jù)集來自Amazon 的5-core 項目評論數(shù)據(jù)集（http://jmcauley.ucsd.edu/data/amazon），分別是Amazon_Instant_Video、Toys_and_Games、Kindle_Store。另一個數(shù)據(jù)集來自Yelp Challenge 2017（https://www.yelp.com/dataset_challenge）的餐廳評論數(shù)據(jù)集。實驗僅保留每個用戶的9 條評論和每個項目的36 條評論。表1 總結(jié)了每個數(shù)據(jù)集的用戶總數(shù)、物品總數(shù)、評論總數(shù)。這些數(shù)據(jù)集的評分在區(qū)間[1,5]，每條評論均有相應(yīng)的用戶評論時間。

Table 1 Related information of datasets used in experiments表1 本文實驗數(shù)據(jù)集的相關(guān)信息

3.2 評價指標

實驗采用均方根誤差（RMSE）作為評價指標。當評分預(yù)測結(jié)果為實值，均方根誤差為評分預(yù)測值Ru,i與真實值誤差的平方和與所有測試實例數(shù)目N比值的平方根，如式（25）。均方根誤差用來反映推薦算法在評分預(yù)測中的準確性。均方根誤差越小，模型的性能越好；反之，均方根誤差越大，誤差的離散度較高，模型的性能越差，反映了在評分預(yù)測中，評分預(yù)測值偏離真實值較大。

3.3 性能評估

將提出的模型與以下傳統(tǒng)的模型進行對比。

（1）概率矩陣分解模型（PMF）[5]：僅利用用戶對項目的評分信息，通過矩陣分解為用戶和項目的潛在因子建模。

（2）非負矩陣分解模型（non-negative matrix factorization，NMF）[4]：僅利用評分矩陣信息，考慮用戶對項目的評分均為正值，主要特征在于分解后的矩陣元素都是正的，來學習用戶和項目表示。

（3）HFT 模型（hidden factors as topics）[22]：利用評論文本和評分共同推薦，通過評分矩陣分解和LDA（latent Dirichlet allocation）為用戶和項目建模，沒有捕捉單詞的上下文語義和語序。

（4）卷積矩陣因式分解模型（convolutional matrix factorization，ConvMF）[30]：有效利用項目評論文本的上下文信息，將卷積神經(jīng)網(wǎng)絡(luò)（CNN）融合到概率矩陣分解（PMF），使用CNN 來提取項目評論文檔的上下文特征。

（5）深度協(xié)作神經(jīng)網(wǎng)絡(luò)模型（DeepCoNN）[7]：同時利用用戶和項目評論文本信息，采用兩個并行的CNN 網(wǎng)絡(luò)分別從用戶評論集和項目評論集中來學習用戶偏好和項目特征。

（6）Attn+CNN 模型[21]：基于注意力的CNN，利用評論文本和評分信息做推薦，使用CNN 并對評論文檔中的單詞施加注意力來學習用戶和項目的表示。

（7）NARRE 模型[8]：利用用戶對項目的評分和評論文本信息進行推薦。該模型在DeepCONN 模型的基礎(chǔ)上，考慮到不同的評論對于用戶和項目建模重要性不同，將注意力機制引入到模型探索評論文本的有效性，并且選取有效的評論來提供模型的可解釋性。

3.4 實驗設(shè)置和參數(shù)選取

實驗中，單詞的嵌入采用GloVe 在維基百科語料庫中預(yù)訓練嵌入來初始化詞嵌入矩陣。每個數(shù)據(jù)集隨機選擇80%的用戶-項目對用于訓練，10%用于驗證，10%用于測試。每個實驗獨立重復3 次，每次取RMSE 的最優(yōu)值。最后結(jié)果為3 次實驗RMSE 最優(yōu)值的平均值。參數(shù)的調(diào)整范圍如表2 所示。

Table 2 Search range of model parameters表2 模型參數(shù)查找范圍

實驗中，利用網(wǎng)格搜索的方法尋找能夠使模型達到最優(yōu)的參數(shù)，在驗證集上對參數(shù)經(jīng)過多次調(diào)整，得到的最優(yōu)參數(shù)如表3 所示。

Table 3 Selection of model parameters表3 模型參數(shù)選取

3.5 實驗結(jié)果與分析

實驗1整體推薦準確度比較

本文提出的模型和現(xiàn)有的模型在4個數(shù)據(jù)集上的RMSE值如表4所示。通過分析，可以得出以下結(jié)論：

（1）僅考慮用戶對項目評分信息的傳統(tǒng)推薦方法（例如PMF 和NMF 模型），沒有使用評論文本信息的其他方法HFT、DeepCoNN、Attn+CNN、NARRE 的推薦效果好。可見，利用輔助信息評論文本可以提供用戶偏好和項目屬性的豐富信息，對于為用戶和項目建模非常重要。

Table 4 Performance comparison of different methods on 4 datasets(RMSE)表4 不同方法在4 個數(shù)據(jù)集上的性能比較（RMSE）

（2）同時考慮評分和評論文本信息的模型中，基于深度學習技術(shù)的DeepCoNN、Attn+CNN、NARRE 模型優(yōu)于無法捕獲上下文語義和單詞順序的HFT模型。

（3）無論是只對評論文檔中單詞施加注意力機制的Attn+CNN 模型還是僅對評論文檔中評論文本施加注意力機制的NARRE 模型，其推薦性能均優(yōu)于沒有施加注意力機制的其他方法。

實驗2不同層級注意力的有效性

本文通過實驗2 驗證不同層級注意力，包括單詞級注意力、評論級注意力的有效性。比較本文提出的模型RHATR 與其變體RHATR_W（僅包含單詞級注意力）、RHATR_R（僅包含評論級注意力）在4 個數(shù)據(jù)集上的RMSE，如圖3 所示。

Fig.3 Effectiveness of different level attention on different datasets圖3 在不同數(shù)據(jù)集上不同層級注意力的有效性

圖3 驗證了單詞級注意力和評論級注意力對于提升推薦系統(tǒng)性能是有效的。在單條評論文本中，不同的單詞對于學習用戶和項目表示有不同的貢獻，因此對評論文本施加單詞級注意力有助于識別重要單詞，對于評論文本編碼是有效的；同樣，用戶對每條評論文本的偏好程度不同，項目與評論文本之間的相關(guān)性也有差異，為用戶評論集和項目評論集應(yīng)用評論集注意力對于推薦系統(tǒng)的性能提升是有幫助的。相比于RHATR_W，評論文本的重要性對于用戶和項目建模的準確性優(yōu)于單詞的重要性。

實驗3時間因素的有效性

為了驗證時間因素的有效性，將式（12）去掉，表示用戶在不同時間的評論對于用戶偏好和項目特征建模是同等重要的。式（13）改為進行實驗。用RHATR_NT 表示。表5展示了實驗結(jié)果。

Table 5 Effectiveness of time information on different datasets(RMSE)表5 在不同數(shù)據(jù)集上時間信息的有效性（RMSE）

從表5 中可以看出，引入時間信息的模型在均方根誤差上的結(jié)果小于沒有考慮時間因素的模型。對于用戶而言，用戶隨著年齡的增長，興趣偏好會不斷改變。通過式（12）和式（13）來說明時間信息對于用戶偏好和項目特征影響的重要程度。將時間信息考慮在內(nèi)，對用戶進行動態(tài)推薦是有必要的。因此，聯(lián)合用戶的評論文本和時間因素對用戶偏好和項目特征進行建模對推薦性能的提升是有效的。

4 總結(jié)與展望

本文利用用戶對項目的評分、評論文本以及時間因素等信息，提出了融合短文本層級注意力和時間信息的推薦方法。RHATR 通過從單條評論文本中提取關(guān)鍵詞、情感詞等信息為用戶和項目建模；并對引入時間因素的用戶評論集和項目評論集應(yīng)用評論級注意力來進一步學習用戶和項目的動態(tài)表示，挖掘用戶和項目的動態(tài)屬性，從而為用戶進行精準推薦。各種對比實驗表明，本文方法在預(yù)測評分誤差上均低于其他方法。考慮到本文使用的GloVe 預(yù)訓練詞向量屬于靜態(tài)編碼，同一個單詞在不同的評論中具有相似的語義，可能會曲解單詞在上下文語境中的含義。例如，Movies_and_TV 數(shù)據(jù)集中的兩條評論文本中的語句“I watch this movie hoping for a enjoyment to watch.This moving was boring and I didn't finish it.”和“This enhances,rather than detracts from,the film's enjoyment because it creates an emotional aura of mystery and sacredness to the subject.”。前者評論文本中的單詞“enjoyment”表示了用戶的負面評價，而后者的“enjoyment”表示用戶的正面評價，而在本文中具有相同的含義。未來的工作將考慮每個單詞的表示需要根據(jù)評論文本的不同上下文環(huán)境而動態(tài)變化，來提高推薦性能。