增強推薦系統(tǒng)可解釋性的深度評論注意力神經(jīng)網(wǎng)絡(luò)模型

魏楚元，王夢珂，戶傳豪，張桄齊

增強推薦系統(tǒng)可解釋性的深度評論注意力神經(jīng)網(wǎng)絡(luò)模型

魏楚元1*，王夢珂2，戶傳豪2，張桄齊2

（1.北京建筑大學(xué) 電氣與信息工程學(xué)院， 北京 102616； 2.北京建筑大學(xué) 機電與車輛工程學(xué)院， 北京 102616）（ ? 通信作者電子郵箱weichuyuan@bucea.edu.cn）

為了提高推薦系統(tǒng)（RS）的可解釋性，打破推薦系統(tǒng)固有的局限性，提升用戶對推薦系統(tǒng)的信任度和滿意度，提出一種增強可解釋性的深度評論注意力神經(jīng)網(wǎng)絡(luò)（DRANN）模型。該模型利用用戶評論與商品評論中豐富的語義信息，基于文本評論學(xué)習(xí)用戶、物品之間的潛在關(guān)系，預(yù)測用戶興趣偏好和情感傾向。首先，采用文本卷積神經(jīng)網(wǎng)絡(luò)（TextCNN）對詞向量作淺層特征抽取；然后，使用注意力機制為評論數(shù)據(jù)分配權(quán)重，過濾無效評論信息，同時構(gòu)建深度自編碼器模塊將高維稀疏數(shù)據(jù)降維，去除干擾信息，學(xué)習(xí)深層語義表征，增強推薦模型的可解釋性；最后，通過預(yù)測層得到預(yù)測評分。在4個公開數(shù)據(jù)集（Patio、Automotive、Musical Instrument （M-I）和Beauty）上的實驗結(jié)果表明，與概率矩陣分解（PMF）模型、奇異值分解++（SVD++）模型、深度協(xié)同神經(jīng)網(wǎng)絡(luò)（DeepCoNN）模型、樹增強嵌入模型（TEM）、DeepCF（Deep Collaborative Filtering）、DER（Dynamic Explainable Recommender）相比，DRANN模型的均方根誤差（RMSE）最小，驗證了它在提升性能上的有效性以及所采用解釋策略的可行性。

推薦系統(tǒng)；深度學(xué)習(xí)；可解釋性推薦；注意力機制；自編碼器

0 引言

互聯(lián)網(wǎng)的迅猛發(fā)展使用戶對數(shù)據(jù)的依賴越來越強，同時也帶來了嚴重的“信息過載”問題，用戶很難從大量數(shù)據(jù)中快速找到有效信息，信息使用效率反而下降。推薦系統(tǒng)（Recommender System， RS）［1］作為一種自動篩選信息的方式，是當前研究中解決信息過載問題的重要方法之一。它利用網(wǎng)絡(luò)平臺獲取用戶和物品的交互數(shù)據(jù)，再通過分析用戶的歷史行為對用戶的興趣偏好建模，然后根據(jù)模型計算得出候選物品評分并排序，主動為用戶做出個性化推薦，滿足用戶需求并有效發(fā)掘長尾信息。

近年來，深度學(xué)習(xí)技術(shù)飛速發(fā)展，成了數(shù)據(jù)挖掘領(lǐng)域的重要研究方法，并用于推薦系統(tǒng)模型的構(gòu)建，為提高推薦系統(tǒng)的性能發(fā)揮了重要作用［2］。然而，深度神經(jīng)網(wǎng)絡(luò)的“黑盒”問題也引起了廣泛關(guān)注，用戶在關(guān)心推薦系統(tǒng)準確度的同時也在關(guān)注推薦結(jié)果的可解釋性。推薦系統(tǒng)涉及多個利益相關(guān)者，用戶不僅希望能得到推薦，還希望獲知推薦的理由。因此，推薦系統(tǒng)的可解釋性尤為重要。盡管解釋的需求方不同，但都具有相同的解釋目的［3］，即推薦的信任度、準確度和滿意度。

隨著電商平臺功能的不斷豐富和擴展，用戶評論能夠更加真實、準確地反映用戶偏好。評論包含用戶對產(chǎn)品使用的反饋、對產(chǎn)品性能的實際評價等信息，并包含用戶的情感傾向，提高對評論信息的利用程度，能夠提高推薦的準確性和用戶的可信度。通過對同類商品評論信息的分析，用戶對推薦結(jié)果的理解能夠更直觀，從而能提升用戶對系統(tǒng)所具備解釋性的認同感。

如圖1所示是亞馬遜平臺上不同用戶對同一產(chǎn)品的評價，評論A和評論B對同一物品給出了相反的使用感受，評論C提出了更多的選購需求。用戶對同一物品的評價表明用戶在產(chǎn)品選擇中的側(cè)重點、情感傾向以及附加需求。在面對沒有歷史行為的新用戶時，也可以根據(jù)相關(guān)物品評價的優(yōu)劣程度為用戶推薦。

圖1　亞馬遜平臺用戶對商品的評論

由于傳統(tǒng)方法只能捕捉用戶與對象之間的線性關(guān)系，在評分預(yù)測的學(xué)習(xí)中忽略了深度學(xué)習(xí)強大的表示能力。同時，與僅隱式使用交叉特征的傳統(tǒng)推薦相比，基于文本信息的推薦可以更直觀地解釋推薦原因。因此，利用豐富的評論文本信息可以有效緩解推薦系統(tǒng)固有的局限性，提高推薦的準確度以及幫助用戶對推薦系統(tǒng)解釋方式的進一步理解?；谶@個思路，本文從用戶的心理需求出發(fā)，提出一種深度評論注意力神經(jīng)網(wǎng)絡(luò)（Deep Review Attention Neural Network，DRANN）模型。該模型從用戶的歷史評論數(shù)據(jù)中挖掘用戶偏好及商品屬性，結(jié)合注意力機制篩選有效評論數(shù)據(jù)，刻畫用戶、商品畫像，同時引入循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器-解碼器（Recurrent Neural Network Encoder-Decoder，RNN Encoder-Decoder）學(xué)習(xí)深度語義特征，以此設(shè)計可解釋的推薦算法。本文的主要工作為：

1）融入文本評論信息。加入輔助信息指導(dǎo)模型學(xué)習(xí)，打破評分數(shù)據(jù)稀疏的局限。采用文本卷積神經(jīng)網(wǎng)絡(luò)（Text Convolutional Neural Network，TextCNN）深度挖掘評論文本潛在特征，理解用戶興趣偏好，提升模型推薦準確度。

2）提出了DRANN模型。通過兩部分并行的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征向量，不再是傳統(tǒng)的單一模式。利用注意力機制為對應(yīng)的評論數(shù)據(jù)特征向量分配權(quán)重，過濾無效的評論信息，結(jié)合語義特征獲得預(yù)測向量。

3）設(shè)計了RNN Encoder-Decoder用于學(xué)習(xí)文本評論的深層語義特征。在推薦過程中提供隱式解釋，通過有效評論和物品屬性推斷用戶偏好，幫助用戶理解模型所具備的可解釋性如何體現(xiàn)。

1 相關(guān)工作

1.1　主流推薦算法

目前，推薦系統(tǒng)主要有以下幾類：基于內(nèi)容的推薦［4］、協(xié)同過濾（Collaborative Filtering，CF）推薦［5］、基于知識的推薦［6］、基于深度學(xué)習(xí)模型的推薦［7］等。CF算法是一種經(jīng)典的推薦系統(tǒng)算法，主要利用屬性信息，如用戶ID、購買過的商品等挖掘用戶偏好，從而為用戶推薦預(yù)測分值較高的物品；但該方法還存在數(shù)據(jù)稀疏和泛化能力弱等問題。針對CF存在的缺陷，Yu等［8］提出了矩陣分解（Matrix Factorization， MF）算法，結(jié)合隱語義和機器學(xué)習(xí)的特性，提升了模型處理稀疏矩陣的能力；但MF模型訓(xùn)練時間較長，且MF采用將用戶和物品隱射到隱因子空間的方式學(xué)習(xí)，缺乏對推薦系統(tǒng)的解釋性，降低了模型的推薦性能［9］。區(qū)別于前面兩類推薦方法，基于知識的推薦垂直領(lǐng)域本身，通過知識的交互，能增加項目之間的信息關(guān)聯(lián)。

與傳統(tǒng)模型相比，深度學(xué)習(xí)的方法能夠更有效地捕獲用戶與候選物品之間的關(guān)系并提供最優(yōu)選擇。如Zhang等［10］針對隱因子模型（Latent Factor Model， LFM）提出了對應(yīng)的顯因子模型（Explicit Factor Model， EFM），利用用戶評論抽取物品的顯式特征提高算法的精度，在向用戶進行推薦的同時為用戶解釋推薦的理由，從而更好地幫助用戶作出決策，提高用戶對系統(tǒng)的信任度。

歷史的“點擊”“瀏覽”等行為包含大量的冗雜數(shù)據(jù)，無法保證每次操作都代表用戶的真實意圖，也無法捕捉并更新用戶實時變化的喜好。因此，受多方面因素影響，傳統(tǒng)推薦模型所采用的方法使推薦系統(tǒng)不具備可解釋性。

1.2　可解釋性推薦系統(tǒng)

可解釋性推薦概念最早是推薦過程可以通過用戶熟悉的其他項目解釋［11］。例如用戶正在看的這個產(chǎn)品與他曾購入的商品相似，便可以做出推薦［12］，這也奠定了CF的基本思想。

可解釋性推薦的相關(guān)研究不斷嘗試深入挖掘文本數(shù)據(jù)的有效信息，如Xiao等［13］將EFM擴展到張量分解，提出了AFM （Attentional Factorization Machines）模型，可以學(xué)習(xí)和調(diào)整用戶對不同項目特征的注意力分布，從文本評論中提取產(chǎn)品特征；Tao等［14］利用樹結(jié)構(gòu)解釋推薦，該方法在選定的功能前添加預(yù)定義的修飾符，以構(gòu)建基于模板的解釋；Gao等［15］提出了一種可解釋的深度多視圖學(xué)習(xí)框架，用于建模并解釋多層次特征，并且還采用了基于功能的模板提供解釋；Costa等［16］利用長短期記憶（Long Short-Term Memory， LSTM）模型生成句子解釋，通過訓(xùn)練大量的用戶評論數(shù)據(jù)，使模型在提供推薦決策的同時生成合理的解釋語句；Li等［17］利用門控循環(huán)單元（Gated Recurrent Unit， GRU）為Yelp中的推薦餐館生成提示，根據(jù)預(yù)測的評分，該模型可以生成相應(yīng)的提示以幫助用戶了解推薦項目的關(guān)鍵特征；Lu等［18］提出了多任務(wù)推薦模型，該模型利用多個任務(wù)共同學(xué)習(xí)的方式得出評分預(yù)測和推薦解釋，其中解釋模塊采用對抗性序列對序列學(xué)習(xí)技術(shù)編碼，生成和區(qū)分用戶和項目評論，并且在訓(xùn)練過程中生成器也可以生成句子解釋。同時，用戶的注意力分布也可以作為推薦的解釋。如雙重注意力機制（Dual Attention-based， D-Attn）［19］模型在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的基礎(chǔ)上引入兩種詞級別的注意力機制：局部注意力機制（Local Attention）和全局注意力機制（Global Attention），為不同的詞賦予不同權(quán)重，篩選更精確的語義表示，提高了模型的解釋性能；NARRE（Neural Attentional Regression model with Review-level Explanations）［20］通過計算用戶和商品的特征表示預(yù)測評分，同時在計算過程中采用分配注意力權(quán)重的方法篩選有效的評論信息。

2 模型設(shè)計

DRANN的結(jié)構(gòu)如圖2所示。該模型主要分為兩大模塊：左側(cè)部分為文本評論處理模塊，提取評論中的語義信息，并融入用戶和物品特征，采用注意力機制過濾無效評論信息；右側(cè)部分采用深度自編碼器學(xué)習(xí)隱藏語義信息，利用RNN編碼器-解碼器重構(gòu)高維稀疏數(shù)據(jù)，學(xué)習(xí)語義信息中的潛在特征之后融合兩部分數(shù)據(jù)送入預(yù)測層，得到預(yù)測評分。

圖2　DRANN模型結(jié)構(gòu)

2.1　文本評論處理模塊

用戶對物品的評論信息能最直接反映用戶的喜好。給定固定長度為的原始文本評論集｛R1，R2， …，R｝，經(jīng)過嵌入層被映射為對應(yīng)的詞向量矩陣｛1，2，…，｝。本文采用TextCNN處理詞向量矩陣，能夠有效抽取文本淺層特征，抽取的局部特征可以看作是由多個詞組成的滑動窗口，所以它的本質(zhì)是一個-Gram［21］模型。

圖3　TextCNN結(jié)構(gòu)

用大小為的卷積濾波器提取上下文特征。如式（1）所示：

2.2　深度自編碼器文本處理模塊

深度自編碼［23］是一種無監(jiān)督學(xué)習(xí)技術(shù)，主要作用是特征降維，將文本評論中的高維稀疏數(shù)據(jù)轉(zhuǎn)化為低維的潛在數(shù)據(jù)特征，同時去除了高維數(shù)據(jù)中的干擾部分。

在每次迭代過程中自編碼器權(quán)重矩陣按式（9）更新：

近年來，各種網(wǎng)絡(luò)業(yè)務(wù)發(fā)展快速，SNS已經(jīng)成為推動經(jīng)濟社會發(fā)展的基礎(chǔ)信息設(shè)施。各種新式功能層出不窮，高速發(fā)展的背后是日常使用中隱藏的危險漏洞，而更不容易發(fā)現(xiàn)的，是因為隱私悖論導(dǎo)致的信息泄露。本文重點分析了在SNS中基于共享性原則產(chǎn)生的隱私悖論，以及如何利用該問題發(fā)現(xiàn)社會工程學(xué)的可攻擊點和具體利用方法。本文希望可以通過使用自動化工具snsmap，為研究此類問題以及進行抗社會工程學(xué)攻擊測試提供便利，從而推動對隱私悖論的不斷研究，保護個人隱私與網(wǎng)絡(luò)環(huán)境的健康發(fā)展。

2.3　預(yù)測層

其中：、表示局部偏移量；表示全局偏移量。為使預(yù)測值和真實值的差值最小，本文采用的損失函數(shù)表達式如下：

圖4　編碼器-解碼器流程

3 實驗與結(jié)果分析

3.1　數(shù)據(jù)集

實驗采用亞馬遜開源數(shù)據(jù)集（http：//jmcauley.ucsd.edu/data/amazon/），該數(shù)據(jù)庫涉及從1996年5月到2014年7月的評級和評論數(shù)據(jù)，包含電子商務(wù)各個領(lǐng)域。該數(shù)據(jù)集被分為不同的子數(shù)據(jù)集，本文使用其中4個驗證本文模型的性能，分別為：Patio、Automotive、Musical Instrument （M-I）和Beauty，這些數(shù)據(jù)集涵蓋不同領(lǐng)域，具體交互數(shù)據(jù)記錄如表1所示。

實驗將所用數(shù)據(jù)集按8∶1∶1劃分為訓(xùn)練集、驗證集和測試集，用訓(xùn)練集數(shù)據(jù)訓(xùn)練模型，將模型在驗證集上得到的數(shù)據(jù)作為反饋，調(diào)節(jié)參數(shù)，測試數(shù)據(jù)用于對訓(xùn)練好的模型測試。實驗中，使用維度大小為300的Word2Vec向量初始化詞嵌入。使用Adam 函數(shù)優(yōu)化目標函數(shù)，初始化學(xué)習(xí)率設(shè)置為0.005，卷積核大小設(shè)置為3。為防止過擬合，在實驗中設(shè)置了正則化部分，并將dropout值設(shè)為0.5。

表1　數(shù)據(jù)集信息

3.2　評價指標

實驗使用推薦系統(tǒng)中廣泛使用的均方根誤差（Root Mean Square Error， RMSE）評估模型的性能。RMSE值計算的是預(yù)測數(shù)據(jù)與原始數(shù)據(jù)對應(yīng)樣本誤差平方和的均值，能夠衡量預(yù)測值和真實值之間的偏差，相比之下，均方根誤差能夠更好地反映測試的準確性。評價指標計算如下：

3.3　對比模型

為了評估模型性能，將本文模型與概率矩陣分解（Probabilistic Matrix Factorization， PMF）［26］模型、奇異值分解++（Single Value Decomposition++， SVD++）模型［27］、深度協(xié)同神經(jīng)網(wǎng)絡(luò)（Deep Cooperative Neural Network， DeepCoNN）模型［28］、樹增強嵌入模型（Tree-enhanced Embedding Model， TEM）［29］、DeepCF（Deep Collaborative Filtering）［30］、DER（Dynamic Explainable Recommender）［31］等6種基準模型比較。

1）PMF：該模型是一種傳統(tǒng)的矩陣分解模型，對用戶和項目的隱藏向量建模以預(yù)測分數(shù)，反映預(yù)測的準確性。

2）SVD++：該模型基于SVD模型，引入隱式反饋向量，參考任意形式的用戶歷史數(shù)據(jù)幫助獲取用戶的興趣偏好。

3）DeepCF：該模型結(jié)合了表示學(xué)習(xí)和匹配方程學(xué)習(xí)兩種方法的優(yōu)點，通過搭建深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)測用戶-物品交互矩陣。

4）DeepCoNN：該模型使用神經(jīng)網(wǎng)絡(luò)對用戶和項目聯(lián)合建模，將文本數(shù)據(jù)表示成詞向量，學(xué)習(xí)語義情感的同時提升評分預(yù)測的準確度。

5）TEM：該模型將傳統(tǒng)的基于樹的模型與神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過探索用戶和物品的屬性特征生成推薦并提供解釋。

6）DER：該模型使用深度學(xué)習(xí)方法聯(lián)合建模用戶和商品的評論信息，通過突出顯示評論數(shù)據(jù)中最有效的評論信息對推薦結(jié)果作出解釋。

3.4　實驗結(jié)果及分析

不同模型的數(shù)據(jù)對比結(jié)果如表2所示?？梢钥闯觯琍MF在相關(guān)數(shù)據(jù)集上的實驗結(jié)果最差，因為PMF只對用戶和物品建模，而沒有添加任何有效的輔助信息豐富建模過程，這也驗證了評論數(shù)據(jù)中確實包含能夠指導(dǎo)推薦的信息。SVD++模型主要利用評分矩陣做出預(yù)測，在實際應(yīng)用中性能下降，因而實驗結(jié)果并不理想。與DeepCF模型相比，DeepCoNN模型除了在M-I數(shù)據(jù)集上的結(jié)果較差外，在其他數(shù)據(jù)集上性能均優(yōu)于DeepCF模型，這是因為在DeepCoNN的建模過程中加入了文本信息，并使用文本注釋聯(lián)合建模用戶行為和產(chǎn)品屬性，而M-I數(shù)據(jù)集中的用戶數(shù)和評論交互數(shù)相對較少，引起的“過擬合”問題導(dǎo)致了效果變差。TEM引入了基于樹的模型挖掘用戶項目和屬性，提供可信的解釋信息。而DER模型應(yīng)用了最新的對評論信息聯(lián)合建模的方式預(yù)測推薦結(jié)果，相較于其他模型得到了更好的實驗結(jié)果。DRANN模型中引入的注意力機制和自編碼器協(xié)同工作，利用注意力機制更好地過濾無效的文本評論信息，增大有用評論所占權(quán)重，為用戶在推薦過程中提供了解釋，通過自編碼器學(xué)習(xí)隱藏的語義關(guān)系，充分發(fā)揮評論信息的作用，有效提高模型的推薦及解釋性能，在實驗中的RMSE最小。

表2　Amazon數(shù)據(jù)集上不同模型的RMSE對比

3.5　結(jié)果分析

1）參數(shù)敏感性分析。本文在｛5×10-5，5×10-4，5×10-3，5×10-2，5×10-1，5×100｝的范圍和｛0.1，0.3，0.5，0.7，0.9｝的范圍中測試權(quán)重參數(shù)。對于TextCNN在卷積層中濾波器的窗口大小可以是3、4、5，其中每個窗口過濾器數(shù)量為100。此外，將預(yù)先訓(xùn)練的詞向量維度設(shè)置為300，默認潛在因子數(shù)為64，同時正則化dropout值設(shè)置為0.5。圖5選取了其中三個模型與DRANN在M-I數(shù)據(jù)集上的結(jié)果進行比較：在潛在因子數(shù)小于80時，DRANN模型都達到了較好的性能；潛在因子數(shù)大于80時，由于過擬合引起模型性能在合理范圍內(nèi)產(chǎn)生了波動。進一步觀察到增加潛在因素的數(shù)量并不一定會提高準確性，因為太多的潛在因素會導(dǎo)致過度擬合。

圖5　M-I數(shù)據(jù)集上的RMSE比較

2）消融實驗。DRANN模型增加了RNN編碼器-編碼器學(xué)習(xí)隱藏的語義信息。為驗證所加模塊在學(xué)習(xí)文本評論信息隱藏語義特征上的有效性，進行消融實驗，考慮了沒有添加RNN編碼器-編碼器時的RMSE值，結(jié)果如表3所示。由表3可知，在3個不同的數(shù)據(jù)集上加入了RNN編碼器-編碼器后的RMSE明顯小于未加入時的值，這說明加入RNN編碼器-編碼器學(xué)習(xí)有效提升了模型性能，表明了模型結(jié)構(gòu)的可行性。

表3　深度編碼器對模型RMSE的影響

4 結(jié)語

歷史評論信息是用戶偏好和購買興趣的重要反映，了解預(yù)測背后的原因?qū)τ谠u估信任度也非常重要。本文提出的DRANN模型的主要思想是從用戶評論信息和產(chǎn)品評論信息中提取特征，這在一定程度上為理解用戶偏好和興趣提供了解釋。引入注意力機制聚合有效特征，可以過濾掉無用的評論信息；添加自編碼器學(xué)習(xí)文本評論中的隱藏信息可以提高語義特征的豐富度并提高推薦過程的準確性。在不同數(shù)據(jù)集上的實驗結(jié)果驗證了本文模型的可行性。但是，在復(fù)雜的語義環(huán)境下，隨著干擾因素的增加，模型對于語義信息的提取也會存在一些偏差。當前研究表明，增加神經(jīng)網(wǎng)絡(luò)的層數(shù)、擴大模型深度等方法都具備進一步提升模型性能的可能性，在后續(xù)的研究中還可以嘗試更深層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化模型以提升性能。

[1] 于蒙， 何文濤， 周緒川，等.推薦系統(tǒng)綜述［J］.計算機應(yīng)用，2022，42（6）：1898-1913.（YU M， HE W T， ZHOU X C， et al. Review of recommender system ［J］. Journal of Computer Applications， 2022， 42（6）： 1898-1913.）

[2] MU R H. A survey of recommender systems based on deep learning［J］. IEEE Access， 2018， 6： 69009-69022.

[3] 田添星.評論情感分析增強的深度推薦模型［J］.計算機應(yīng)用與軟件，2022，39（8）：258-264.（TIAN T X. Comment sentiment analysis enhanced deep recommendation model ［J］. Computer Applications and Software， 2022， 39（8）：258-264.）

[4] BOZANTA A， B KUTLU. HybRecSys： content-based contextual hybrid venue recommender system［J］. Journal of Information Science， 2019， 45（2）： 212-226.

[5] LI X F， LI D. An improved collaborative filtering recommendation algorithm and recommendation strategy［J］. Mobile Information Systems， 2019， 2019（13）： No.3560968.

[6] CENA F， CONSOLE L， VERNERO F. Logical foundations of knowledge-based recommender systems： a unifying spectrum of alternatives［J］. Information Sciences， 2021， 546（1）： 60-73.

[7] YOO H， CHUNG K. Deep learning-based evolutionary recommendation model for heterogeneous big data integration［J］. KSII Transactions on Internet and Information Systems， 2020， 14（9）： 3730-3744.

[8] YU H T， GAO R B， WANG K， et al. A novel robust recommendation method based on kernel matrix factorization［J］. Journal of Intelligent & Fuzzy Systems， 2017， 32（3）： 2101-2109.

[9] 田震，潘臘梅，王睿，等.深度矩陣分解推薦算法［J］.軟件學(xué)報，2021，32（12）：3917-3928.（TIAN Z， PAN L M， WANG R， et al. Deep matrix factorization recommendation algorithm ［J］. Journal of Software， 2020.32 （12）： 3917-3928.）

[10] ZHANG Y F， CHEN X. Explainable recommendation： a survey and new perspectives［J］. Foundations and Trends in Information Retrieval， 2020， 14（1）： 1-101.

[11] RAWAT S， TYAGI U， SINGHAL S. Recommender systems in e-commerce and their challenges［C］// Proceedings of the 2021 3rd International Conference on Advances in Computing， Communication Control and Networking. Piscataway： IEEE， 2021： 1598-1601.

[12] ROY A， BANERJEE S， SARKAR M， et al. Exploring new vista of intelligent collaborative filtering： a restaurant recommendation paradigm［J］. Journal of Computational Science， 2018， 27（1）： 168-182.

[13] XIAO J， YE H， HE X， et， al. Attentional factorization machines： learning the weight of feature interactions via attention networks ［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2017： 3119-3125.

[14] TAO Y Y， JIA Y L， WANG N，et al. The FacT： taming latent factor models for explainability with factorization trees［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Infromation Retrieval. New York： ACM， 2019： 295-304.

[15] GAO J Y， WANG X T， WANG Y S， et al. Explainable recommendation through attentive multi-view learning［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019：3622-3629.

[16] COSTA F， OUYANG S， DOLOG P， et al. Automatic generation of natural language explanations ［C］// Proceedings of the 23rd International Conference on Intelligent User Interfaces Companion. New York： ACM， 2018： No.57.

[17] LI P J， WANG Z H， REN Z C， et al. Neural rating regression with abstractive tips generation for recommendation［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 345-354.

[18] LU Y C， DONG R H， SMYTH B. Why I like it： multi-task learning for recommendation and explanation［C］// Proceedings of the RecSys 12th ACM Conference on Recommender Systems. New York： ACM ， 2018： 4-12.

[19] SEO S， HUANG J， YANG H， et al. Interpretable convolutional neural networks with dual local and global attention for review rating prediction［C］// Proceedings of the 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 297-305.

[20] CHANG C， MIN Z， LIU Y Q， et al. Neural attentional rating regression with review-level explanations［C］// Proceedings of the 27th International World Wide Web Conference. New York： ACM， 2018： 1583-1592.

[21] LIU S， DEMIREL M F， LIANG Y. N-gram graph： simple unsupervised representation for graphs with applications to molecules［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systerms. Red Hook， NY： Curran Associates Inc.， 2019： 8466-8478.

[22] JI S， SATISH N， LI S， et al. Parallelizing Word2Vec in shared and distributed memory［J］. IEEE Transactions on Parallel and Distributed Systems， 2019， 30（6）： 2090-2100.

[23] 陶文彬， 錢育蓉，張伊揚，等.基于自編碼器的深度聚類算法綜述［J］.計算機工程與應(yīng)用，2022，58（18）：16-25.（TAO W B， QIAN Y R， ZHANG Y Y， et al. Survey of deep clustering algorithms based on autoencoder ［J］ Computer Engineering and Applications， 2022， 58（18）： 16-25.）

[24] CHO K， VAN MERRI?NBOER B， GU?L?EHRE ?， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1724-1734.

[25] 梁志貞，張磊.面向Kullback-Leibler散度不確定集的正則化線性判別分析［J］.自動化學(xué)報，2022，48（4）：1033-1047.（LIANG Z Z， ZHANG L. Regularized linear discriminant analysis based on uncertainty sets from Kullback-Leibler divergence［J］. Acta Automatica Sinica， 2022， 48（4）： 1033-1047）

[26] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization［C］// Proceedings of the 20th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2007： 1257-1264.

[27] 陳佩武，束方興.基于SVD++隱語義模型的信任網(wǎng)絡(luò)推薦算法［J］.大數(shù)據(jù)，2021，7（4）：105-116.（CHEN P W， SHU F X. A recommender algorithm based on SVD++ model under trust network［J］. Big Data Research， 2021， 7（4）： 105-116.）

[28] ZHENG L， NOROOZI V， YU P S. Joint deep modeling of users and items using reviews for recommendation［C］// Proceedings of the 10th ACM International Conference on Web Search and Data Mining. New York： ACM， 2017：425-434.

[29] WANG X， HE X N， FENG F L， et al. TEM： tree-enhanced embedding model for explainable recommendation［C］// Proceedings of the 2018 World Wide Web Conference. Republic and Canton of Geneva， Switzerland： International World Wide Web Conferences Steering Committee， 2018：1543-1552.

[30] DENG Z H， HUANG L， WANG C D，et al. DeepCF： a unified framework of representation learning and matching functionlearning in recommender system［C］// Proceedings of the 2019 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 61-68.

[31] CHEN X， ZHANG Y F， QIN Z. Dynamic explainable recommendation based on neural attentive models［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019：53-60.

Deep review attention neural network model for enhancing explainability of recommendation system

WEI Chuyuan1*， WANG Mengke2， HU Chuanhao2， ZHANG Guangqi2

（1，，102616，；2，，102616，）

In order to improve the explainability of Recommendation System （RS）， break the inherent limitations of recommendation system and enhance the user’s trust and satisfaction on recommender systems， a Deep Review Attention Neural Network （DRANN） model with enhanced explainability was proposed. Based on the potential relationships between users and items on text reviews， the rich semantic information in user reviews and item reviews was used to predict users’ interest preferences and sentiment tendencies by the proposed model. Firstly， a Text Convolutional Neural Network （TextCNN） was used to do shallow feature extraction for word vectors. Then， the attention mechanism was used to assign weights to comment data and filter invalid comment information. At the same time， the deep autoencoder module was constructed to reduce the dimension of high-dimensional sparse data， remove interference information， learn deep semantic representation， and enhance the explainability of recommendation model. Finally， the prediction score was obtained through the prediction layer. Experimental results on the four public data sets including Patio， Automotive， Musical Instrument （M?I） and Beauty show that DRANN model has the smallest Root Mean Square Error （RMSE） compared with Probabilistic Matrix Factorization （PMF）， Single Value Decomposition++ （SVD++）， Deep Cooperative Neural Network （DeepCoNN）， Tree-enhanced Embedding Model （TEM）， DeepCF （Deep Collaborative Filtering） and DER（Dynamic Explainable Recommender）， verifying its effectiveness in improving performance and the feasibility of the adopted explanation strategy.

Recommendation System (RS); deep learning; explainability recommendation; attention mechanism; autoencoder

1001-9081（2023）11-3443-06

10.11772/j.issn.1001-9081.2022101628

2022?10?31；

2023?03?17；

教育部人文社會科學(xué)研究一般項目（22YJAZH110）。

魏楚元（1977—），男，湖北武漢人，副教授，博士，CCF高級會員，主要研究方向：自然語言處理、數(shù)據(jù)挖掘； 王夢珂（1999—），女，陜西漢中人，碩士研究生，主要研究方向：深度學(xué)習(xí)、推薦系統(tǒng)； 戶傳豪（2000—），男，山東菏澤人，碩士研究生，主要研究方向：深度學(xué)習(xí)、推薦系統(tǒng)； 張桄齊（1996—），男，山西晉中人，碩士研究生，主要研究方向：深度學(xué)習(xí)、推薦系統(tǒng)。

TP389.1

A

2023?04?04。

This work is partially supported by General Program for Humanities and Social Sciences Research of Ministry of Education （22YJAZH110）.

WEI Chuyuan， born in 1977， Ph. D.， associate professor. His research interests include natural language processing， data mining.

WANG Mengke， born in 1999， M. S. candidate. Her research interests include deep learning， recommendation system.

HU Chuanhao， born in 2000， M. S. candidate. His research interests include deep learning， recommendation system.

ZHANG Guangqi， born in 1996， M. S. candidate. His research interests include deep learning， recommendation system.