基于雙重注意力機制和時間因子的深度推薦模型*

吳定諭 周從華 單田華 劉志鋒

（江蘇大學計算機科學與通信工程學院 鎮(zhèn)江 212013）

1 引言

推薦系統(tǒng)能夠緩解由于互聯(lián)網(wǎng)快速發(fā)展所導致的“信息過載”的問題，幫助用戶從大量信息中找出用戶所需要的信息。傳統(tǒng)推薦系統(tǒng)大多依據(jù)用戶評分來判斷用戶喜好實現(xiàn)未評分項目預測，比如最為經(jīng)典的矩陣分解（Matrix Factorization，MF）模型［1］，將用戶和項目特征映射成同一隱空間的隱向量。然而，評分僅能大致表現(xiàn)用戶對項目的整體態(tài)度，無法對用戶喜好的原因進行挖掘，例如用戶喜歡某間餐廳是因為美食還是因為服務態(tài)度好，可解釋性較差。另一方面，評分矩陣一般情況下都十分稀疏，進行評分預測的精度較差。

基于以上原因，研究人員將研究重點轉移至基于評論文本的推薦模型，相比于評分僅能代表用戶的總體態(tài)度而言，評論信息能夠體現(xiàn)用戶喜好的原因，具有較強的可解釋性。許多推薦模型應運而生，例如CTR［2］、HFT［3］等，這些模型驗證了基于評論的推薦模型的有效性。但是這些以往的工作一般都是使用隱狄利克雷分配模型（LDA）［4］從評論文本中挖掘各種信息［5～7］，這種方式忽略了評論上下文的語義信息。文獻［8］認為使用LDA 不能對除詞語級別以外的主題分布進行挖掘，提出了TopicMF 模型，通過非負矩陣分解得到評論隱藏主題信息，并通過主題分布體現(xiàn)用戶商品特性。

由于深度學習對文本信息的強大建模能力，研究人員將深度學習技術應用于基于文本的推薦系統(tǒng)的研究。Zheng［9］等提出DeepCoNN 模型將評論文本劃分為用戶評論集和項目評論集，使用并行的卷積神經(jīng)網(wǎng)絡提取用戶和項目的特征，然后通過因子分解機（FM）［10］耦合兩個部分進行建模，對用戶評分進行預測，取得了較好的效果。這種使用并行卷積神經(jīng)網(wǎng)絡進行用戶和項目建模的思想啟發(fā)了很多相關研究。Catherine 等［11］針對待預測評分的評論文本的隱表達進行研究，首先對評論進行預測，再基于該預測評論進行評分預測。Wang 等［12］指出卷積神經(jīng)網(wǎng)絡可能會忽略詞頻帶來的影響，提出一種結合主題模型和卷積神經(jīng)網(wǎng)絡的推薦模型，緩解了詞頻丟失的問題。

盡管上述模型解決了各方面的問題，但是都未能充分挖掘評論信息的價值。首先，每條評論由不同的單詞組成，每個單詞對評論語義的影響程度是不同的。其次，每個用戶或者項目擁有的所有評論對用戶和項目本身的重要程度也是不一致的，只有挖掘出重要程度更高的評論才能更好地對用戶和項目進行特征建模，只是簡單地提取單詞和評論信息而不對單詞和評論進行差異化處理，可能會曲解評論的含義，忽略重要信息。

為了解決上述問題，提取隱藏的有效信息，本文提出一種基于雙重注意力機制和時間因子的深度推薦模型DATCoNN，使用融入雙重注意力機制和時間因子的并行卷積神經(jīng)網(wǎng)絡，從單詞級別和評論層面充分挖掘重要度信息，更好地對用戶和項目進行特征建模，實現(xiàn)評分預測。提升了推薦的精度，并且具有更好的可解釋性。

本文進行的主要工作如下：

1）本文提出一種融合雙重注意力機制的神經(jīng)網(wǎng)絡推薦模型，從單詞層面和評論層面以兩種不同的視角提取評論文本中的重要信息。模型采用review-level 建模方式，相較于document-level［13～15］建模的推薦系統(tǒng)具有更好的可解釋性。

2）本文在詞級別注意力層使用卷積神經(jīng)網(wǎng)絡分別對用戶評論和項目評論進行詞級別的信息挖掘，能夠更好地融合單詞上下文信息挖掘單詞重要程度，過濾出對評論重要性更高的單詞。

3）本文在評論級別注意力層融入時間因子，根據(jù)艾賓浩斯提出的記憶曲線遺忘規(guī)律，擬合用戶對評論序列中信息的記憶程度，能夠更好體現(xiàn)評論信息重要度隨時間流逝衰減的規(guī)律，提升用戶和項目特征建模的準確程度。

2 DeepCoNN推薦模型

近年來，許多基于深度學習的文本處理方法被提出，這些方法取得了比傳統(tǒng)算法更好的表現(xiàn)，例如fastText，TextCNN 等。于是，研究人員將深度學習對文本處理的優(yōu)勢運用于推薦領域，取得了不錯的效果。DeepCoNN 充分利用了深度學習的優(yōu)勢，該模型對用戶的評論文本和項目的評論文本分別使用卷積神經(jīng)網(wǎng)絡進行特征提取，挖掘評論文本的深層特征，大大提升了評分預測的準確率。

模型使用并行的卷積神經(jīng)網(wǎng)絡分別對用戶評論集和項目評論集進行信息提取。以用戶評論集為例，模型使用預訓練的詞向量作為輸入，每一個單詞都會通過詞向量映射函數(shù)f:M→Rd映射為一個d維的向量表示，將用戶的所有評論詞向量合并為一個文檔，總共有n個單詞組成，用戶u的評論詞向量矩陣表示為。

圖1 DeepCoNN模型特征提取部分

使用卷積神經(jīng)網(wǎng)絡進行評論特征的提取，卷積核共包含z個神經(jīng)元，第l個神經(jīng)元產(chǎn)生的特征如下所示：上式中卷積核為Kj∈Rc×d，其中c代表卷積核的窗口大小，*表示卷積操作，bl為偏置項，使用ReLU函數(shù)作為激活函數(shù)。

在窗口大小為c的滑動窗口的作用下，第l個神經(jīng)元的特征為。通過最大池化操作，捕獲每個通道最重要的特征，定義如下：

接下來將各通道的計算結果，即z個神經(jīng)元對應的特征使用拼接得到用戶u經(jīng)過卷積層的結果，記為

將上式結果送入全連接層，其中權重矩陣We∈Rn×k1，偏置項be∈Rk1，用戶u在該層的特征提取結果如下式所示：

通過共享層將用戶u的特征矩陣和項目i的特征矩陣進行連接得到單一向量f，最終使用因子分解機FM進行用戶u對項目i評分的預測。

3 一種新的推薦模型DATCoNN

雖然基于評論文本的深度學習推薦模型Deep-CoNN 評分預測表現(xiàn)突出，但是仍然存在諸多問題。首先，該模型使用了document-level 的建模方式對用戶和項目進行特征建模。該建模方式以用戶或者項目為單位將所有詞向量連接成一個矩陣并通過卷積層進行特征提取，這種做法無視了不同評論之間的界限，將不同時刻、場景、情況下產(chǎn)生的評論混為一談，可解釋性較差，同時會在池化操作時丟失大量有效信息。其次，該模型忽略了評論內(nèi)部與評論之間的重要性差異，評論中的每個單詞對評論含義的表達程度是不同的，每條評論對于對應用戶或者項目的重要程度是不同的。無法對用戶和項目進行充分表達，導致特征建模效果不理想。因此，本文提出一種基于雙重注意力和時間因子的深度推薦模型，對上述問題進行改進。

3.1 模型整體結構

本文提出DATCoNN模型整體結構如圖2所示。

圖2 DATCoNN模型整體結構

圖3 DATCoNN和各對比算法在三種數(shù)據(jù)集上的RMSE值

圖4 DATCoNN和各對比算法在三種數(shù)據(jù)集上的MAE值

首先將用戶評論文本和項目評論文本中的單詞進行詞嵌入表示，并以評論為單位合并詞向量，得到評論的詞向量矩陣。以用戶側特征建模為例，用戶u的第k條評論的詞向量矩陣表示為。使用基于卷積神經(jīng)網(wǎng)絡的詞級別注意力機制層提取評論中各詞向量的重要度信息并進行權值賦予。設計一組并行的CNN 結構以評論為單位進行特征提取，解決了document-level 建模方式存在的信息丟失問題，提升了模型的可解釋性。在對評論進行深度建模之后輸入到評論級別的注意力機制層提取評論的重要度信息，同時使用時間因子擬合實際情況下用戶評論重要程度隨時間衰減的規(guī)律，降低無用評論對用戶和項目建模產(chǎn)生的影響。評分預測層利用用戶特征和項目特征進行交互建模工作，使用因子分解機FM 充分交互特征向量各維度的一二階項，實現(xiàn)評分預測。具體而言，用戶u和項目i的交互建模如下式所示：

上戶式特中征KXuu,∈i表R示s，用項戶目u特對征項Y目i∈iR的s，隱用表戶示項，目其隱中用表示，?符號表示向量間對應元素相乘操作。

最終使用因子分解機FM 進行用戶u對項目i評分的預測：

下文主要針對融合上下文信息的詞級別注意力層、融入時間因子的評論級別注意力層以及模型訓練部分進行詳細說明。

3.2 融合上下文信息的詞級別注意力機制

受Seo 等［16］研究啟發(fā)，使用卷積神經(jīng)網(wǎng)絡將詞的上下文關系加以融合，可以強化單詞與單詞之間的耦合關系，集中突出評論中與用戶評分關系更大的單詞，降低相對無關的單詞所持有的權重。另外，使用基于review-level 建模方式進行詞級別重要度的挖掘，能夠更好的與評論級別的注意力層進行結合，同時提升了模型整體的可解釋性。下面以用戶側特征建模經(jīng)過詞級別注意力層為例進行說明。

首先將用戶評論矩陣通過一個卷積神經(jīng)元數(shù)為m的卷積神經(jīng)網(wǎng)絡，每一個神經(jīng)元j都對應一個卷積核。將用戶u的第k條評論的詞向量矩陣和卷積核Kj進行卷積運算，可以得到第j個神經(jīng)元所產(chǎn)生的特征為

上式中，將卷積核的窗口大小設置為1，即卷積核Kj∈R1×d，目的是能夠更好的對特征進行壓縮。*表示卷積運算，bj是偏置項，ReLU是非線性激活函數(shù)。

接下來將計算所得的特征輸入到兩層全連接層，進一步融合各詞的上下文信息：

第一層全連接層如上式所示，其中權重矩陣Wd∈RT×r，r表示衰減后的特征維度，bd∈Rr為偏置項，使用ReLU函數(shù)進行激活。

第二層全連接層如上式所示，將融合上下文信息后的衰減隱層特征恢復為原有特征維度，其中權重矩陣Wu∈Rr×T，bu∈RT為偏置項，使用sigmoid函數(shù)進行激活，計算出用戶u的第k條評論中每一個單詞的重要度系數(shù)fc2。

將重要度系數(shù)與用戶u的第k條評論的詞向量矩陣逐項相乘，為詞向量矩陣融入單詞級別重要度信息，體現(xiàn)不同單詞對該評論的重要程度：

3.3 融入時間因子的評論級別注意力機制

每條評論對用戶和項目而言具有不同的重要程度。重要程度高的評論對特征的表達能力更加突出，而重要程度低的評論可能包含無用信息，影響對用戶特征的正確表達。為了挖掘用戶評論中重要度更高的評論，利用注意力機制計算用戶評論重要度是一種行之有效的辦法。然而，以上設想未能充分考慮實際情況，沒有充分考慮時間因子對評論信息重要度的影響。根據(jù)德國心理學家赫爾曼艾賓浩斯的研究結合推薦系統(tǒng)領域知識可以發(fā)現(xiàn)評論信息對用戶和項目的表達程度會隨著時間流逝逐漸衰減。為了描述上述趨勢，使用時間衰變函數(shù)根據(jù)時間戳信息計算時間帶來的影響并融入注意力函數(shù)能夠使評論重要度計算結果更加符合真實情況。Xia 等［17］研究分析發(fā)現(xiàn)相比于線性函數(shù)、凹函數(shù)等其他函數(shù)類型，指數(shù)函數(shù)能夠更好地擬合評論重要度的時間衰減效應。

為了描述時間因子對評論對于用戶和項目的重要度帶來的影響，以用戶側特征建模為例，下述公式中Su表示用戶u的評論集序列，該序列長度為p，其中su,k代表用戶u的評論集中的第k條評論：

基于用戶對進行評論行為的時間點來描述評論對用戶的重要程度：

上式中，輸出tdu,k表示用戶u的第k條評論對用戶u時間權重系數(shù)，其中λ表示時間衰變速度控制因子，tp表示用戶u的評論集序列中的最后一條評論的行為時間，tk表示用戶u的評論集序列中第k條評論的行為時間，tp-tk表示了用戶歷史評價行為時間與最近評價行為時間的時間間隔。

將時間因子融入評論級別注意力層，符合評論對用戶或項目重要程度逐漸衰減的實際情況。在此基礎上，該層的輸入除了用戶u第k條評論的特征向量Gu,k還有用戶u的ID 嵌入gu，輸入用戶ID嵌入有助于分辨進行無用評論的用戶。該注意力網(wǎng)絡具體定義如下：

上式中，H∈Rt為權重向量，HT為該權重向量的轉置向量，Wf∈Rt×k1、Wg∈Rt×k2分別是Xu,k和gu的權重矩陣，b1u∈Rt、為偏置項。

使用softmax 函數(shù)進行歸一化處理，可以得到用戶u第k條評論對用戶的重要程度：

獲得每一條評論對用戶的重要度之后，用戶u的特征向量表示如下式所示：

使用全連接層對特征向量進行處理，權重矩陣Wo1∈Rs×k1，偏置項bo1∈Rs，最終計算出用戶u的特征表達式：

項目側特征建模與用戶側特征建模流程類似，最終通過全連接層獲得的項目i的特征表達式如下式所示：

3.4 模型訓練

本文模型主要通過評論文本信息實現(xiàn)評分預測，以平方損失函數(shù)作為目標函數(shù)，Loss的計算如下式所示：

上式中，Ω 表示整體訓練集樣本，ru,i和ru,i分別表示用戶u對項目i的真實評分。為了優(yōu)化目標函數(shù)，本文使用Adam 優(yōu)化器進行優(yōu)化。該優(yōu)化器能夠根據(jù)訓練情況動態(tài)的調(diào)整學習速率的大小，模型能省去人工調(diào)整學習率的流程并且更快的收斂。

4 實驗部分

4.1 實驗數(shù)據(jù)集

為了驗證DATCoNN 模型的性能，本文選取了Amazon 提供的三個公共數(shù)據(jù)集對模型性能進行驗證，這三個不同領域數(shù)據(jù)集分別是Movies_and_TV（AMT）、Toys_and_Games（ATG）、Office Products（AOP）。其中AMT 數(shù)據(jù)集擁有將近170 萬條用戶評論，ATG 擁有超過16萬條用戶評論，而AOP擁有5 萬多條用戶評論，是一個較小的數(shù)據(jù)集，實驗數(shù)據(jù)集詳細信息如表1所示。

表1 數(shù)據(jù)集信息

表2 DATCoNN和各對比算法在三種數(shù)據(jù)集上的的RMSE值

表3 DATCoNN和各對比算法在三種數(shù)據(jù)集上的MAE值

實驗過程中將數(shù)據(jù)集中數(shù)據(jù)分成三份，分別是訓練集、測試集、驗證集，比例為8∶1∶1。由于原始數(shù)據(jù)集的數(shù)據(jù)量較多，將本次實驗無關的數(shù)據(jù)全部剔除，僅保留用戶ID、項目ID、評論信息、評分信息。

4.2 評價指標

本文使用RMSE 和MAE 作為實驗評價指標來評估推薦的精度，該指標是常用的回歸模型評價指標，RMSE 和MAE 的值越小預測精度越高，表達式如下式所示：

上式中ru,i表示預測評分值，ru,i表示真實評分值，N表示樣本數(shù)量。

4.3 實驗結果分析

本文設置對比實驗如下：

1）橫向對比：將DATCoNN 分別三類模型中的代表模型進行直接對比。第一類是基于評分矩陣的模型中的概率矩陣分解模型（PMF），第二類是基于主題建模的推薦模型隱狄利克雷分配模型（LDA）以及協(xié)同主題模型（CTR）［18］，第三類是深度推薦模型中的協(xié)作深度學習模型（CDL）［19］。

2）縱向對比：將DATCoNN 與原始模型Deep-CoNN 進行對比，驗證融合雙重注意力機制和時間因子對推薦性能的提升。

多次實驗進行參數(shù)調(diào)優(yōu)，最終確定實驗所用最優(yōu)參數(shù)組合如下：詞嵌入向量維度300，用戶和項目的特征維度為50，學習率設定為0.001，滑動窗口大小c設置為3，卷積核數(shù)量為100，模型訓練批處理大小為100，Dropout 比率設置為0.5，時間衰變速度控制因子λ設置為0.04。

將本文提出模型DATCoNN與其他對比模型在三組數(shù)據(jù)集上進行對比實驗，實驗結果如下：

接下來以更加直觀的方式表示不同推薦模型在三種數(shù)據(jù)集下的對比結果。

從以上實驗結果可以看出，在三種不同數(shù)據(jù)量的數(shù)據(jù)集上，本文提出的DATCoNN 推薦模型均優(yōu)于對比推薦模型。在AMT 數(shù)據(jù)集上，DATCoNN 的RMSE 和MAE 分別為0.87884 和0.79391，相較于表現(xiàn)最好的DeepCoNN 模型分別降低了0.02537 和0.02323；在AOP 數(shù)據(jù)集上，DATCoNN 的RMSE 和MAE分別為0.90829和0.76741，相較于表現(xiàn)最好的DeepCoNN 模型分別降低了0.01924 和0.02177；在ATG 數(shù)據(jù)集上，DATCoNN 的RMSE 和MAE 分別為0.76882 和0.74759，相較于表現(xiàn)最好的DeepCoNN模型分別降低了0.02667和0.01623。

橫向對比結果表明，基于深度學習的推薦模型能提高特征提取能力進而提升系統(tǒng)的性能，相比傳統(tǒng)的推薦模型具有更加優(yōu)秀的評分預測能力。與DeepCoNN 模型進行縱向對比發(fā)現(xiàn)，使用雙重注意力機制和時間因子能夠更好地挖掘評論中包含的隱藏信息，有效提升了評分預測的準確程度。

5 結語

本文針對現(xiàn)存的使用評論文本進行項評分預測的推薦模型存在的若干問題，提出了一種基于雙重注意力機制和時間因子的深度推薦模型。模型改進了DeepCoNN 評論特征的建模方式，并在并行CNN 結構上嵌入兩層注意力層挖掘評論重要度信息，使用時間因子進一步擬合用戶對項目興趣程度。在三個公共數(shù)據(jù)集上進行的對比實驗結果表明，改進模型的推薦精度始終優(yōu)于其他對比模型，并且具有更好的可解釋性。本文的后續(xù)工作在于研究如何將評分信息更好地融入模型，進一步提升評分預測的精度。