分層級描述感知的個性化推薦系統(tǒng)

陳道佳,陳志云

（1.華東師范大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,上海 200062;2.華東師范大學(xué) 數(shù)據(jù)科學(xué)與工程學(xué)院,上海 200062）

0 引 言

在信息爆炸的時代,推薦系統(tǒng)可以減少用戶在眾多產(chǎn)品和服務(wù)面前決策的復(fù)雜度,同時增加平臺提供服務(wù)的機會,因此其被廣泛應(yīng)用于現(xiàn)今的在線服務(wù)平臺.其中,電商和社交等網(wǎng)站上,用戶寫下大量關(guān)于消費物品的意見和評論.這些評論中包含著豐富的用戶偏好和物品屬性的語義信息,挖掘評論信息能顯著提升推薦系統(tǒng)預(yù)測評分的效率.大量的工作專注于利用評論數(shù)據(jù)進一步提升推薦系統(tǒng)的性能.

推薦系統(tǒng)的關(guān)鍵在于從用戶歷史行為中學(xué)習(xí)用戶表示和物品表示.傳統(tǒng)的協(xié)同過濾算法使用如評分、購買記錄和觀看歷史等顯性反饋建模用戶表示和物品表示,如矩陣分解(matrix factorization,MF)方法分解用戶–物品評分矩陣為2 個隱因子分別代表用戶和物品.這些方法因僅僅依賴顯性交互而遭遇數(shù)據(jù)稀疏問題的困擾,而且無法處理新用戶或物品加入的冷啟動問題.考慮到評論中僅利用評分和購買記錄等顯性反饋不能完全傳達內(nèi)容語義信息,使用評論建模用戶偏好和物品特征可以緩解以上問題并且為推薦結(jié)果提供解釋性.早期的方法基于主題技術(shù)從評論中提取主題分布作為MF 的隱因子,比如,HFT(hidden factors as topics)[1]和RMR(ratings meet reviews)[2]整合MF 與主題技術(shù),分別從評分和評論中學(xué)習(xí)物品的隱表示、用戶的隱表示.

基于深度學(xué)習(xí)(deep learning,DL)的方法通常使用神經(jīng)網(wǎng)絡(luò)用評論編碼物品和用戶,可以簡單分為平行對稱模型和交互模型.平行對稱模型使用對稱的網(wǎng)絡(luò)分別建模用戶和物品,例如,DeepCoNN(deep cooperative neural networks)[3]模型使用2 個對稱的卷積神經(jīng)網(wǎng)絡(luò)(convulutional neural network,CNN)去學(xué)習(xí)用戶和物品表示,然后輸入因子分解機預(yù)測評分;D-Attn(dual attention)[4]模型使用2 個基于注意力的網(wǎng)絡(luò)去關(guān)注評論中重要的單詞;NARRE(neural attentional regression model with review-level explanations)[5]基于注意力學(xué)習(xí)每條評論的有用性.交互模型建模用戶和物品的評論交互,基于推薦的上下文動態(tài)地學(xué)習(xí)物品和用戶表示,例如,DAML(dual attention mutual learning)[6]模型基于用戶和物品評論詞向量之間的歐氏距離,學(xué)習(xí)物品和用戶之間單詞的相關(guān)性;CARL(context-aware user-item representation learning)[7]模型學(xué)習(xí)物品和用戶評論文檔的語義矩陣,并映射到相同的隱空間計算用戶–物品對之間的相關(guān)性;ANR(aspect-based neural recommender)[8]模型基于方面的協(xié)同注意力提取不同方面的交互信息.

盡管通過上述方法取得了顯著的推薦性能的提升,但仍有一些問題沒有系統(tǒng)研究.為了全面理解建模物品和用戶,應(yīng)該考慮如下挑戰(zhàn): ①分層建模.DeepCoNN 和CARL 將評論拼接成一個長文檔,沒有考慮每條評論的獨立性,直接建模包含了大量異質(zhì)信息的文檔,可能忽視句子和評論級別的細粒度信息,引入的注意力機制的變體模型可視為僅有單詞級別注意力;NARRE 和ERP(enhanced review-based rating prediction)[9]引入輔助信息學(xué)習(xí)每條評論的有用性,但忽視了不同單詞的有用性.② 動態(tài)興趣建模.大多現(xiàn)有的推薦方法通常學(xué)習(xí)靜態(tài)的用戶和物品表示,如建模用戶時,沒有考慮用戶面對不同目標物品可能顯示不同的興趣偏好;MPCN(multi-pointer co-attention networks)[10]引入基于指針的學(xué)習(xí)方法,強調(diào)用戶和物品的交互;每次基于相似度得到選取K條評論會讓模型變得不穩(wěn)定,CARL 和DAML 同樣基于評論文本相似性,動態(tài)地學(xué)習(xí)不同單詞的有用性,但是過度依賴文本語義相似可能讓模型仍缺乏靈活性.③個性化.用戶通常有個性化的偏好,物品也有個體的特征,對于一條同時描述價格和質(zhì)量的評論,不同用戶會側(cè)重不同的方面,對價格敏感的用戶更關(guān)注價格的評論,但是現(xiàn)有的推薦模型大多為所有的用戶和物品學(xué)習(xí)統(tǒng)一的模型,不能識別特定用戶的差異個性化特征,僅從普通注意力機制捕捉重要單詞,不能體現(xiàn)相同單詞對不同用戶的重要性不同.HUITA(hierarchical user and item representation model with three-tier attention)[11]和HSACN(hierarchical self-attentive convolution network)[12]分別采用普通注意力和自注意力模塊,從單詞、句子和評論這3 個層級建模,但是缺乏建模動態(tài)交互且缺乏個性化;CARL 僅考慮單詞級別的交互,但是缺乏層級.因此,本文同時考慮這3 個關(guān)鍵挑戰(zhàn),提出了分層的描述感知的個性化推薦方法.

在單詞層級,評論中相同的單詞對不同的用戶或者物品有著不同的信息量,本文從用戶ID 或物品ID 推導(dǎo)注意力向量,設(shè)計注意力網(wǎng)絡(luò)選擇重要且個性化的單詞,獲得每條評論的個性化表示.在評論層級,用戶的評論是對不同物品的歷史評論,用戶面對不同的物品,可能會激發(fā)不同的評論有用性,受到深度興趣網(wǎng)絡(luò)啟發(fā),本文從物品ID 推導(dǎo)注意力向量,形成物品感知的交叉注意力網(wǎng)絡(luò)選擇和當前目標物品相關(guān)的用戶評論,從而動態(tài)地獲得用戶表示,同理,獲得物品表示.此外,考慮到評論的摘要文本包含的信息更加簡潔和密集,通常都是對特定方面描述的短句,拼接評論摘要成一個文檔可用作物品或用戶的客觀描述信息,本文針對物品和用戶的描述,設(shè)計協(xié)同注意力網(wǎng)絡(luò)捕捉上下文感知的動態(tài)興趣偏好和物品特征.注意到評論的語義特征只反應(yīng)部分的內(nèi)容信息,基于描述的特征可動態(tài)表示關(guān)鍵方面的特征,基于評分矩陣的評分特征有豐富的協(xié)同信息,將評論特征和評分特征融合可以完成互補得到更全面的物品和用戶表示.本文的主要貢獻如下.

(1)分別設(shè)計了單詞層級和注意力層級的注意力網(wǎng)絡(luò),學(xué)習(xí)了不同單詞和評論的有用性,提取了個性化的用戶偏好和物品屬性.

(2)將評論摘要拼接為客觀描述,基于用戶和物品描述,設(shè)計了協(xié)同注意力網(wǎng)絡(luò),以捕捉上下文感知的動態(tài)特征.

(3)在5 個數(shù)據(jù)集上進行的大量實驗證明了本文所提方法的有效性.

1 相關(guān)工作

基于評論的推薦系統(tǒng),早期基于矩陣分解(MF)的協(xié)同過濾技術(shù)僅僅利用評分矩陣分解得到用戶和物品的隱因子表示,假設(shè)隱因子分布為概率分布則可擴展為概率矩陣分解模型.之后,Koren 等[13]為用戶和物品的隱因子引入偏差項,進一步優(yōu)化了MF 方法.盡管這些協(xié)同過濾算法能取得較優(yōu)的表現(xiàn),但是仍然受到評分矩陣數(shù)據(jù)稀疏問題的困擾.

隨著用戶和物品交互產(chǎn)生的大量諸如評論文本的隱性反饋數(shù)據(jù),研究者們嘗試通過將評論作為輔助信息來緩解數(shù)據(jù)稀疏問題并提升推薦性能.與自然語言處理的語義理解研究線路一致,早期的引入評論的推薦方法是基于主題模型的,即將從評論中挖掘的主題特征替代為MF 模型的隱因子,比如,Macauley 等[1]使用隱含狄利克雷分布(latent Dirichlet allocation,LDA)模型提取用戶和物品評論中的主題語義,并將其作為用戶和物品的表示;RBLT(rating-boosted latent topics)[14]模型假設(shè)高分評論包含更多信息,因此先基于評分復(fù)制多份高分評論,而后再挖掘主題;Yang 等[15]先使用主題模型從評論中提取語義特征,然后將這些提取出的特征和從MF 模型提取的評分特征進行融合,并作為用戶和物品的隱表示;Diao 等[16]同時使用評論的主題詞、評分和情感建模用戶和物品的興趣分布;CDL(collaborative deep learning)[17]模型使用去噪自編碼器建模物品內(nèi)容,并整合到概率矩陣分解框架.以上這些方法都超過了僅依賴評分矩陣的方法;但是,主題模型依賴詞袋機制忽視了詞序和局部語境信息,故損失了大量評論文本的上下文語境特征.

近年來,受益于深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)的強大表征能力,越來越多的研究使用神經(jīng)網(wǎng)絡(luò)去提取評論上下文信息.CNN 和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)通常用于組合上下文語義信息到一個連續(xù)的向量表示,以提升推薦性能.ConvMF[18]使用CNN 從物品描述中提取物品特征.DeepCoNN[3]使用2 個平行的CNN 從用戶和物品評論文檔中提取語義特征,建模用戶和物品的隱表示,然后將其拼接之后輸入因子分解機模型去預(yù)測評分.TransNets[19]通過增加額外的轉(zhuǎn)換層去推斷目標用戶–物品對的評論表示,擴展了DeepCoNN.由于神經(jīng)網(wǎng)絡(luò)可提取語義的優(yōu)越性,這些模型獲得了比傳統(tǒng)主題模型更好的性能;但是,樸素的神經(jīng)網(wǎng)絡(luò)忽視了不同的單詞或評論的有用性.因此,許多研究專注于引入注意力機制,比如,D-Attn[4]考慮不同單詞的重要性,分別使用局部注意力和全局注意力去捕捉評論文檔中的重要單詞;NARRE[5]考慮評論集合中的不同評論有用性不同,引入評論級別的注意力來計算不同評論對用戶或物品的重要性;RPRM(review properties-based recommendation model)[20]認為不同的評論屬性會影響用戶的信息采用過程,基于用戶處理評論信息的框架學(xué)習(xí)相應(yīng)評論的有用性;HUITA[11]分別在單詞、句子和評論級別分別應(yīng)用注意力機制,整合出了一個3 層的層級注意力框架.這些方法都是將用戶和物品建模看作雙塔,學(xué)習(xí)靜態(tài)的用戶和物品表示,沒有考慮用戶和物品之間文本級別的交互.為了增強評論交互,DAML[6]在文檔層級,基于用戶和物品評論表示的歐氏距離,添加交互注意力層學(xué)習(xí)物品和用戶的相關(guān)性;ANR[8]提出了基于方面詞的協(xié)同注意力網(wǎng)絡(luò),端到端地計算評論中不同方面的重要性;MPCN[10]采用基于指針的協(xié)同注意力網(wǎng)絡(luò),在上下文感知的模式下,利用指針選擇機制,選擇用戶和物品評論最相關(guān)的評論并抽取出來;AHN(asymmetrical hierarchical network)[21]認為物品評論是圍繞單一主題的同質(zhì)數(shù)據(jù),相關(guān)用戶評論是關(guān)于多個主題的異構(gòu)數(shù)據(jù),可采用非對稱的注意力學(xué)習(xí)用戶表示和物品表示;CARL[7]使用上下文感知注意力機制,同時從評分和評論這兩種信息源學(xué)習(xí)特定用戶–物品對的表示;CARP(capsule network based model for rating prediction)[22]基于膠囊網(wǎng)絡(luò)分別從評論文檔提取多個用戶視圖和多個物品方面的不同信息;進一步地,MRCP(multi-aspect neural recommendation model with context-aware personalized)[23]基于多頭網(wǎng)絡(luò)學(xué)習(xí)多個方面的用戶偏好.

文本作為輔助信號引入?yún)f(xié)同過濾框架,一些研究[24]還嘗試建模文字、圖網(wǎng)絡(luò)和圖片描述等特征表示,并專注于使用協(xié)同注意力建模多種模態(tài)之間的交互,優(yōu)化異構(gòu)特征融合,形成最終的用戶表示和物品表示.此外,因為評論中包含大量的特定空間和時間的表達,研究者們也嘗試抽取評論中的地理屬性用于地點推薦,以及抽取評論中的時間屬性增強序列推薦[16].

2 描述感知的個性化推薦系統(tǒng)

本章首先介紹推薦任務(wù),然后描述本文提出的DAPR 模型.DAPR 模型結(jié)構(gòu)如圖1 所示,其中MLP(multi-layer perception)表示多層感知器,Cat(catenate)表示連接.框架大體結(jié)構(gòu): 對用戶網(wǎng)絡(luò)和物品網(wǎng)絡(luò)采用分層的注意力,選擇信息量大的單詞和評論建模用戶評論表示和物品評論表示;基于協(xié)同注意力網(wǎng)絡(luò),從評論描述中捕捉動態(tài)的用戶偏好和物品屬性,并分別用uSum 和gSum 表示.

2.1 問題定義

推薦系統(tǒng)的目的是根據(jù)用戶的偏好去識別并推薦物品.將系統(tǒng)中的用戶集合表示為U{u1,u2,···,uN},物品集合表示為G{g1,g2,···,gM},評分矩陣表示為RRM×N,用戶對物品g的評分表示為Ru,g,其中,N、M分別表示用戶和物品的數(shù)量.每一個用戶u有歷史評論集合du{du,1,du,2,···,du,n},每一個物品g有多個用戶為它寫下的評論集合dg{dg,1,dg,2,···,dg,m},其中n、m分別表示用戶評論集合的數(shù)量和物品評論集合的數(shù)量.探究根據(jù)用戶寫下的評論準確地預(yù)測用戶對未曾交互過的物品的評分,幫助用戶找到最感興趣的物品.

2.2 單詞層級的個性特征選擇

用戶ID(identity)(uID)和物品ID(gID)是用戶和物品的唯一標志,其作為一種強特征信息在推薦系統(tǒng)中被廣泛使用.首先,映射每一個用戶ID 和物品ID 到一個低維的向量表示,且作為ID 嵌入向量.用戶和物品的ID 嵌入向量分別表示為

式(1)―(2)中:xu、xg分別為用戶和物品的one-hot 編碼向量;QRd×N、PRd×M分別是用戶ID 和物品ID 的向量矩陣,其中d表示Q、P的維度.然后,將矩陣隨機初始化作為用戶/物品的初始表示,且在訓(xùn)練的過程中不斷地更新ID 向量表示,以表征它們個性化的內(nèi)在屬性.最后,引入ID 向量到單詞級別的特征選擇中.

給定一條包含T個單詞序列的用戶文本評論du,1{w1,w2,···,wT},通過查找詞向量矩陣Rd×|V|獲得每個單詞的詞向量,得到向量序列X{e1,e2,···,eT},其中,eiRd為第i個單詞的詞向量,|V| 為單詞表的大小,d為各自對應(yīng)矩陣的維度.矩陣E可以通過Word2Vec 和Glove 等預(yù)訓(xùn)練詞向量初始化.TextCNN[25]通過一維卷積抽取文本N-gram 的特征表示,獲得語義信息,并使用CNN 從評論單詞序列提取語義特征.相比于RNN 和Transformer[26]結(jié)構(gòu)的模型,CNN 計算更加高效.因此,本文選用CNN 作為評論編碼器.對于每個卷積核fj,第j個卷積核在第i個窗口的計算結(jié)果是

式(3)中:Wj是第j個卷積核;Xi:i+h-1表示相鄰的h個單詞; R eLU 表示激活函數(shù);bj為偏差項.經(jīng)過K個卷積核的計算,可以獲得特征H{c1,c2,···,cK},HRT×K,其中T表示單詞的長度.因為H的每一行表示單詞的特征,H還可表示為H{c1,c2,···,cT}. 正如前面所述,一方面,不是所有的單詞對推斷評分都有用;另一方面,相同的單詞對于不同的用戶也有著不同的信息量.考慮用戶ID 向量作為獨一無二的標志攜帶著個性化信息,基于ID 向量可選擇重要的單詞預(yù)測用戶偏好,本文設(shè)計了2 種捕捉特定用戶特征的神經(jīng)網(wǎng)絡(luò): 基于普通注意力機制和基于門控機制.

1)基于普通注意力機制

首先,將用戶ID 向量經(jīng)過一層線性變換層得到注意力的向量qwu;然后,經(jīng)過普通注意力方法計算單詞的注意力權(quán)重.相應(yīng)公式為

式(4)―(6)中:ai和αi分別代表每條評論中第i個單詞的注意力得分和注意力權(quán)重;ci代表評論中第i個單詞的經(jīng)過卷積后的向量表示;⊕表示拼接操作.經(jīng)過權(quán)重聚合評論的單詞,獲得用戶的第1 條評論的表示,具體為

2)基于門控機制

受門控單元在語言模型上成功應(yīng)用的啟發(fā)[27],本文引入用戶ID 設(shè)計特定用戶感知的門控單元.特別地,將用戶ID 向量經(jīng)過線性層變換之后的表示與詞向量卷積之后的表示進行組合,通過sigmoid 函數(shù)形成門控去控制信息的傳遞.計算過程為

式(8)―(9)中:gj代表門控單元;bg為偏差項;cj代表卷積后的表示(H矩陣第j列);zj代表經(jīng)過門控之后的表示,經(jīng)過門控計算之后可獲得特征矩陣H′[z1,z2,···,zK],H′RT×K;⊙表示按位相乘.經(jīng)過在單詞序列長度維度執(zhí)行最大池化之后得到用戶第1 條評論的表示,具體為

其中 m axpool 為最大池化操作.

2.3 評論層級的動態(tài)交互

當獲得所有用戶和物品的評論表示后,將探索怎樣聚合它們?nèi)ケ硎居脩艋蛘呶锲?如上所述,不同的評論對用戶表示的建模貢獻是不同的.同時,當用戶面對不同的目標物品時,每一條評論信息的有用性也是不同的,基于不同的物品特征可能激發(fā)用戶不同的興趣.普通的池化或者平均聚合不但忽視了不同評論的重要性,還不能動態(tài)地捕捉用戶的偏好.因此,本文設(shè)計了一個目標物品感知的注意力模塊去學(xué)習(xí)當前用戶歷史評論中不同評論的重要性,以便更好地建模用戶偏好表示.

式(11)―(12)中:w2和W1代表可訓(xùn)練的權(quán)重系數(shù);⊕表示拼接操作;b為偏差項.將權(quán)重βi和評論向量ru,i相乘可得到權(quán)重后的評論表示du[du,1,du,2,···,du,n],最終的用戶表示Xu通過聚合評論表示得到.相應(yīng)公式為

其中 s um 為評論表示的加和操作.

對稱地,通過將輸入的評論集合替換為物品評論集合,物品描述替換為用戶描述,可以獲得物品的最終評論表示Xg.

2.4 基于協(xié)同注意力的用戶和物品描述交互

評論摘要通常以小貼士或者吸睛標題的形式幫助用戶快速做出購買決定.在深度學(xué)習(xí)中,一些研究嘗試從相應(yīng)的評論文檔中抽取摘要形成物品描述[28].評論的摘要文本很短,含有較少的噪聲,并且對物品總結(jié)的評論摘要都是圍繞物品的屬性寫下的,話題更單一,信息密度更高.本文專注于將用戶摘要拼接為長度為l1文檔序列,然后查詢詞向量矩陣得到用戶描述表示PuRh×l1,其中h表示可學(xué)習(xí)矩陣的維度.同理可得物品描述表示QgRh×l2,其中,l2為物品摘要拼接后的文檔序列長度.通過計算得到關(guān)聯(lián)矩陣S.相應(yīng)公式為

式(14)中:WsRh×h表示可學(xué)習(xí)的權(quán)重參數(shù);φ(·)表示激活函數(shù).關(guān)聯(lián)矩陣的每一個單元表示對應(yīng)的用戶描述和物品描述的相似性遵循視覺問答模型[29].將關(guān)聯(lián)矩陣看作特征去計算用戶描述和物品描述的單詞的重要性.相應(yīng)公式為

式(15)―(16)中:Mu、Mg分別表示用戶描述和物品描述的單詞的重要性;Wx,WyRh1×h和vx,vyRh1都是可學(xué)習(xí)的參數(shù);wu、wg分別是用戶描述中和物品描述中單詞的權(quán)重系數(shù).通過聚合計算,可得用戶評論描述表示su和物品評論描述表示sg. 相應(yīng)公式為

式(17)中:pj和qj分別表示用戶和物品描述的第j個單詞的詞向量.

2.5 融合預(yù)測層

將用戶的ID 向量eu和物品ID 向量eg分別看作從用戶和物品評分矩陣學(xué)習(xí)的隱表示,將Xu和Xg分別看作用戶和物品的評論語義特征表示,將su和sg分別看作用戶和物品評論描述語義特征表示.融合這3 種不同信息源的表示可實現(xiàn)信息互補.因此,本文將融合這3 種特征的表示作為用戶和物品的最終表示,具體為

式(18)中:Uu和Gg為最終的用戶偏好和物品屬性的表示向量.

本文采用隱因子模型預(yù)測評分,首先將物品表示和用戶表示融合,然后輸入線性轉(zhuǎn)換層得到預(yù)測評分. 相應(yīng)公式為

式(19)中:WfRf為預(yù)測層的權(quán)重系數(shù);bu、bg、bo分別表示用戶偏差、物品偏差和全局偏差;⊙表示按位相乘.在訓(xùn)練階段,最小化標準評分和預(yù)測評分之間的均方誤差為

式(20)中: |T| 表示訓(xùn)練的數(shù)據(jù)集大小;Ru,g表示用戶對物品的真實評分.

3 實 驗

3.1 數(shù)據(jù)集和實驗設(shè)置

本文從Amazon 5 分數(shù)據(jù)集上選擇Digital Music、Office Product、Grocery and Gourmet Food、Toys and Games 和Video Games 等5 個來自不同領(lǐng)域且大小規(guī)模不同的數(shù)據(jù)集.數(shù)據(jù)集包含用戶從1 分到5 分的評分,并且每個用戶–物品對都有相應(yīng)的評分.本文對所有的數(shù)據(jù)集執(zhí)行如下的操作: 刪除評論中文檔頻率高于0.90 的單詞,為每一個單詞計算TF-IDF(term frequency–inverse document frequency)得分,并選擇4 萬個不同的單詞構(gòu)建詞匯表;刪除每條評論中所有不在詞匯表中的單詞;為了避免評論的長度和數(shù)量造成的長尾效應(yīng),設(shè)置評論的長度和數(shù)量能覆蓋到70%的用戶評論和物品評論;對于拼接的評論文檔,設(shè)置固定長度為500,對于拼接的評論摘要文檔設(shè)置長度為30.表1 總結(jié)了預(yù)處理后數(shù)據(jù)集的統(tǒng)計信息和評論設(shè)置,其中評分密度表示評分矩陣的稀疏程度.隨機劃分每一個數(shù)據(jù)集合的80%作為訓(xùn)練集,10%作為驗證集,10%作為測試集,并且訓(xùn)練集上保證每個用戶至少與物品交互過一次.

表1 5 個亞馬遜數(shù)據(jù)集的信息統(tǒng)計Tab.1 Statistical details for five Amazon datasets

1)評估指標

為了驗證本文提出的DAPR 模型的有效性,本文使用均方誤差MSE(mean square error)作為評估方法,并用EMS表示.給定真實評分Ru,g和預(yù)測評分,EMS的計算公式為

其中 |Ω| 表示測試集的數(shù)量.

為了評估本文DAPR 模型的性能,本文將DAPR 與6 個常用的基于評論的推薦模型(基線模型)進行了比較.這6 個常用的基于評論的推薦模型如下.

(1)MF[9]: 是基礎(chǔ)的矩陣分解模型,僅依賴評分矩陣學(xué)習(xí)物品和用戶表示,通過點積預(yù)測評分.

(2)DeepCoNN[3]: 將用戶和物品評論集合拼接成文檔,使用2 個平行的CNN 從評論文檔提取語義信息,采用因子分解機預(yù)測評分.

(3)D-Attn(dual attention)[4]: 整合全局注意力和局部注意力網(wǎng)絡(luò),同時考慮評論文檔的全局和局部的信息量大的單詞,捕捉更準確的語義特征.

(4)DAML[6]: 基于局部注意力捕捉局部語義信息,然后計算用戶表示和物品表示之間相關(guān)性得到交互注意力權(quán)重去選擇信息量大的單詞,實現(xiàn)用戶與物品之間的動態(tài)交互.

(5)MPCN[18]: 結(jié)合協(xié)同注意力技術(shù)和Gumbel-Softmax 指針技術(shù)選擇相關(guān)性高的評論,并進一步采用單詞級別的指針選擇評論中重要的單詞用作評分.

(6)NARRE[5]: 利用歷史交互的ID 信息設(shè)計單詞層級注意力網(wǎng)絡(luò)學(xué)習(xí)評論的有用性.

2)超參設(shè)置

為了公平比較,本文對所有模型執(zhí)行相同的預(yù)處理過程: 設(shè)定詞向量的維度為300,并且選擇Glove 作為預(yù)訓(xùn)練詞向量;ID 的嵌入向量維度設(shè)置為32;卷積核的個數(shù)設(shè)置為32,在[16,32,64]的范圍內(nèi)調(diào)節(jié),卷積的窗口設(shè)置為3;注意力網(wǎng)絡(luò)的隱藏層維度設(shè)置為32;最終用戶和物品的表示維度設(shè)置為32,在[16,32,64]的范圍內(nèi)調(diào)節(jié).對于D-Attn 和DAML,設(shè)置批量大小為32;對于MPCN,設(shè)置指針數(shù)量為4,其他所有模型批量大小設(shè)置為128.采用dropout 緩解過擬合問題,設(shè)置dropout 的丟失率為0.3.采用Adam 優(yōu)化策略優(yōu)化模型,學(xué)習(xí)率設(shè)為0.001,權(quán)重衰減設(shè)為0.000 1.設(shè)置模型的最大訓(xùn)練周期(epoch)為20,當連續(xù)6 個epoch 模型性能沒有提升時,停止訓(xùn)練.

3.2 實驗結(jié)果比較

表2 展現(xiàn)了本文提出的DAPR 模型和基線模型的MSE 比較結(jié)果,可以發(fā)現(xiàn): 基于評論文本的模型DeepCoNN 和NARRE 等都顯著好于僅依賴于評分數(shù)據(jù)的模型MF,這說明評論包含的語義特征有助于預(yù)測評分;并且使用注意力網(wǎng)絡(luò)的模型D-Attn 和NARRE 比沒有注意力的DeepCoNN 表現(xiàn)更好,表明注意力機制可以關(guān)注到信息量大的單詞和評論;MPCN 在所有的數(shù)據(jù)集上的表現(xiàn)都很不穩(wěn)定,可能是因為使用每次選擇特定數(shù)量評論過濾了太多評論信息,并且動態(tài)選擇給模型增加l 了不確定性;DAML 獲得比DeepCoNN 和D-Attn 更大的提升,證明動態(tài)注意力網(wǎng)絡(luò)捕捉動態(tài)的用戶偏好和物品屬性有助于推薦性能提升;使用評論文檔的方法DeepCoNN、D-Attn 和DAML 在較大的數(shù)據(jù)集Toys and Games 和Video Games 上的表現(xiàn)相對較差,表明在大的數(shù)據(jù)集上,采用基于文檔的方法會引入較多噪聲和不相關(guān)信息.

表2 DAPR 模型和基線模型的MSE 比較Tab.2 MSE comparison of DAPR and baseline models

本文提出的DAPR 模型在5 個數(shù)據(jù)集上取得了最好的結(jié)果,與當下最優(yōu)的基線模型NARRE 相比,取得了0.29%(Grocery and Food)到1.75%(Video Games)范圍的提升.盡管NARRE 采用了注意力機制關(guān)注于重要的評論,但DAPR 采用分層的注意力網(wǎng)絡(luò),能更詳細建模用戶和物品.DAPR 顯著好于動態(tài)建模的DAML 和MPCN,說明本文在評論上采用交叉注意力模塊、在評論摘要上的協(xié)同注意力模塊能更好獲得用戶和物品的表示.DAPR-gate 為在單詞級別使用門控選擇重要信息的模型,同樣取得了小幅度的提升,證明引入ID 控制單詞層級的信息流動可以提取更豐富的語義信息.

3.3 有效性實驗分析

3.3.1 DAPR 模型不同模塊的有效性

DAPR 模型主要由單詞級別注意力、評論級別注意力和基于描述的協(xié)同注意力這3 部分組成.為了驗證模型方法的有效性,本文分別將模塊消除或者換為可替代模型方法探究相應(yīng)模塊的有效性.消融結(jié)果如表3 所示,其中,Base 模型在單詞和評論的聚合中均采用maxpool 方式;Base+Ave 模型對單詞和評論采用平均聚合;DAPR-WA 表示DAPR 模型不使用單詞級別注意力,將卷積之后的隱藏表示平均聚合得到用戶評論;DAPR-RA 表示模式不使用評論級別注意力,平均聚合評論獲得用戶表示;DAPR-Co 表示不使用評論描述的交互注意力.

表3 DAPR 模型消融實驗的MSE 結(jié)果Tab.3 MSE results of ablation experiments with DAPR model

實驗結(jié)果表明,采用平均聚合和最大池化聚合,結(jié)果沒有顯著區(qū)別.DAPR-WA 和DAPR-RA 消除個性化機制之后,模型性能下降,表明引入單詞注意力和評論注意力模塊均能一定程度提升模型性能,其中,在數(shù)據(jù)集Digital Music 上,DAPR 性能差于DAPR-RA,這可能是應(yīng)用于評論的交叉注意力在小數(shù)據(jù)集上不穩(wěn)定所導(dǎo)致的.當移除描述的協(xié)同注意力網(wǎng)絡(luò)時,模型性能顯著下降,表明整合上下文感知的動態(tài)偏好可幫助更好的建模用戶偏好和物品屬性.

3.3.2 不同預(yù)測模塊的有效性

在之前的研究中,不同的模型使用不同的方法進行預(yù)測,其中,DeepCoNN 和MPCN 采用FM 作為預(yù)測層,DAML 和NARRE 使用修改的LFM(latent factor model)作為預(yù)測層,MF 和D-Attn 采用點積預(yù)測評分.分別修改DAPR 的預(yù)測層模型為點乘和FM,探究不同預(yù)測層對實驗結(jié)果的影響,結(jié)果如表4 所示.

表4 DAPR 采用不同預(yù)測層的MSE 結(jié)果Tab.4 MSE results of different prediction layers of DAPR

表4 結(jié)果表明,不同的預(yù)測層對模型的影響差異非常大,點乘的方法(Dot)顯著低于FM 和LFM 的表現(xiàn);注意到FM 建模二階的特征交互,在數(shù)據(jù)集Digital Music 和數(shù)據(jù)集Toys and Games 上均表現(xiàn)不好,DAPR 在文本階段已經(jīng)完成交互,高層的特征交互增加了模型的復(fù)雜度,不能進一步提升性能,甚至損害模型性能;DAPR-LFM 為本文采用了預(yù)測層,表現(xiàn)性能最好.

4 總結(jié)

本文提出了一種分層級描述感知的推薦算法DAPR,在捕捉特定的個性化特征的同時,兼顧捕捉動態(tài)的用戶偏好和物品屬性.在單詞層級,因為不同的單詞有不同的重要性,設(shè)計了ID 引導(dǎo)的注意力網(wǎng)絡(luò)選擇信息量大且具有個性化的單詞;在評論層級,注意到用戶對不同物品展示出不同的興趣,設(shè)計了交叉注意力網(wǎng)絡(luò)動態(tài)地學(xué)習(xí)物品表示和用戶表示;此外,引入評論摘要作為客觀描述信息,設(shè)計了協(xié)同注意力網(wǎng)絡(luò)以捕捉用戶和物品描述之間的相關(guān)性,進一步捕捉用戶動態(tài)的偏好;最后,將評分特征、動態(tài)的評論特征和動態(tài)的描述特征融合,預(yù)測評分.在5 個數(shù)據(jù)集上的實驗結(jié)果證明了本文所提方法可以提升推薦性能.