基于文本評論的可解釋推薦研究

趙麗婭

（四川大學計算機學院，成都610065）

0 引言

網(wǎng)絡的飛速發(fā)展使得信息過載成為人們無法逃避的一個問題，推薦系統(tǒng)正是解決該問題強有力的手段之一。推薦系統(tǒng)的任務主要包括兩個：評分預測和Top-K 排序。評分預測旨于預測用戶對物品的評分；Top-K 排序旨在向用戶提供一個感興趣的物品推薦列表。為了增強推薦系統(tǒng)的說服力和可解釋性，推薦系統(tǒng)除了給用戶推薦商品，同時還會給用戶提供推薦解釋，這類工作我們稱之為可解釋推薦?？山忉屚扑]也包括兩大任務：可解釋推薦評分預測和可解釋Top-K排序。

矩陣分解方法由于其自身的準確性和可擴展性成為近年來可解釋推薦常用的一種方法。矩陣分解主要依賴于用戶和物品之間的顯式交互（評分）或隱式的交互（點擊、瀏覽等），這些交互只能反映出用戶對物品的整體態(tài)度，沒有考慮那些影響用戶行為的潛在因素。為了解決這個問題，研究者們開始從用戶的文本評論數(shù)據(jù)中通過一些自然語言處理的技術挖掘用戶對物品細粒度的偏好用于可解釋推薦。文本評論信息中包含著用戶對物品的觀點、情感傾向等細粒度的偏好信息，將其用于可解釋推薦的研究可以提高推薦的準確性和可解釋性。

本文通過對現(xiàn)有的可解釋推薦方法的研究成果梳理，目前主流的基于文本評論的可解釋推薦方法大致可分為三類：一類是基于評論的方法，該方法主要是將評論作為整個信息塊用于可解釋推薦。第二類是基于主題的方法，該方法主要是利用主題模型從文本評論中挖掘出用戶感興趣的主題信息用于可解釋推薦。第三類是基于方面的方法，該方法主要是利用自然語言處理的技術手段從文本評論中提取用戶感興趣的方面信息用于可解釋推薦。

1 基于評論的方法

基于評論的方法主要是將文本評論作為一個整體信息塊結合評分用于可解釋推薦，該方法將用戶（物品）的所有評論信息作為特征表示用于推薦算法模型的訓練，并沒有深入挖掘評論中用戶對物品不同特征上的偏好程度。

1.1 相關技術

（1）矩陣分解

矩陣分解[1]是近年來在推薦系統(tǒng)領域應用最廣泛的技術，其任務是補全用戶-物品評分矩陣缺省的評分。用戶-物品評分矩陣的行代表用戶，列代表物品，矩陣中行列對應的數(shù)值代表特定用戶對特定物品的真實評分。在實際生活中，很多用戶對物品是沒有評分的，這導致評分矩陣極其稀疏，因此矩陣并不是全部被數(shù)值填滿，這種沒有的評分我們稱為用戶和物品缺省的評分。矩陣分解的任務就是預測用戶和物品缺省的評分。其分解的思路主要是將用戶原始評分矩陣近似為用戶特征矩陣和物品特征矩陣的乘積來預測用戶對物品的評分。

（2）卷積神經(jīng)網(wǎng)絡

Hubel 和Wiesel[2]在1968 年通過觀察貓的視覺信息從視網(wǎng)膜傳遞到大腦的過程時，發(fā)現(xiàn)可以將此過程用于改進傳統(tǒng)的BP（Back Propagation）神經(jīng)網(wǎng)絡，使其反向傳播的計算復雜性得到有效降低，進而提出了卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）概念。卷積神經(jīng)網(wǎng)絡是一種包含卷積及其相關計算的前饋神經(jīng)網(wǎng)絡。該網(wǎng)絡的基本組成單元是卷積核，卷積核的作用相當于局部特征提取器。卷積神經(jīng)網(wǎng)絡在進行前向傳播和反向傳播的迭代時，會不斷更新各網(wǎng)絡層的權重參數(shù)，最終使訓練結果最大程度地接近真實值。常見的卷積神經(jīng)網(wǎng)絡一般包含五層，分別是輸入層、卷積層、池化層、全連接層和Softmax 層。卷積神經(jīng)網(wǎng)絡在對文本進行建模時，通過滑動窗口對文本向量進行卷積操作，提取出的特征是局部相連詞語之間的特征。卷積神經(jīng)網(wǎng)絡已經(jīng)被很好地用于情感分析、機器翻譯、推薦系統(tǒng)等任務中。

1.2 國內(nèi)外研究

?tefan Pero 等人[3]提出的觀點驅(qū)動矩陣分解模型將用戶文本評論中的形容詞和短語作為用戶表達積極或者消極情感的觀點詞匯，將其聚集在一起構成一個情感詞典，根據(jù)情感詞典找出每條評論的觀點詞，然后將其與評分數(shù)據(jù)相結合用于可解釋評分預測；Meng 等人[4]結合其他用戶在一條評論上的情感傾向來分析該條評論在矩陣分解訓練模型中的重要性。還有一些研究方法將一個用戶（或者一個物品）的所有評論整理成用戶評論文檔（或者物品評論文檔），然后利用深度學習的方法學習用戶（或者物品）的連續(xù)向量表示，再結合矩陣分解的思想進行推薦模型的訓練。例如：Catherine 等人[5]提出的TransNets 和Zheng 等人[6]提出的DeepCoNN 利用卷積神經(jīng)網(wǎng)絡將用戶和物品的評論文檔生成用戶和物品的向量表示。Zhang 等人[7]提出的JRL 中利用PV-DBOW 模型根據(jù)評論文檔來學習用戶和物品的連續(xù)向量表示。在這三種方法中每個用戶和物品的所有評論都會被壓縮成向量的形式用于可解釋推薦算法模型的訓練。在這些方法中，它們都忽略了用戶和物品在評論中的交互，沒有深入挖掘用戶和物品評論中細粒度的偏好信息，因為用戶對物品不同特征的關注程度是不同的。例如：用戶在對酒店的評論中會表達他們對酒店的位置、價格、環(huán)境等的偏好，這些細粒度的信息不僅能提高推薦的準確性，更能讓推薦結果具有可解釋性。

2 基于主題的方法

2.1 相關技術

隱含狄利克雷模型：

隱含狄利克雷模型LDA（Latent Dirichlet allocation）[16]是可解釋推薦研究中提取文本評論主題信息時常用的主題模型，它是一種基于貝葉斯概率的文檔主題生成模型。它將一篇文檔看成是詞的集合，詞和詞之間沒有先后順序，一篇文檔中包含多個主題，文檔中的每一個詞都根據(jù)其中的一個主題生成，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。該模型包含三層結構：文檔、主題和詞，文檔和主題之間、主題和詞之間服從多項式分布。由于它是一種無監(jiān)督的學習算法，在訓練的時候不需要手工標注訓練集，只需給定文檔集和主題的數(shù)量就可以實現(xiàn)模型的訓練。其優(yōu)點是對于文檔中的每一個主題均可找出描述它的相關詞語。由于主題模型是根據(jù)文檔、主題、詞三者的概率分布計算詞和詞的共現(xiàn)規(guī)律，當文檔很短的時候就不利于統(tǒng)計這種規(guī)律。

2.2 國內(nèi)外研究

在基于文本評論的可解釋推薦研究中，基于主題的方法常被用于可解釋評分預測?；谥黝}的方法通常利用主題模型，如隱含狄利克雷，提取文本評論的主題參與推薦算法模型的訓練并解釋推薦結果。McAuley 等人[8]將主題模型與矩陣分解結合，把評論中提取的主題信息和矩陣分解中的潛因子進行映射，從而解釋推薦的結果；Ling 等人[9]將評論文本主題與協(xié)同過濾方法相結合，提出一個統(tǒng)一的框架提升評分預測的準確率，同時對推薦進行解釋；Bao 等人[10]提出一個矩陣分解和主題模型結合的主題矩陣分解模型，通過主題對推薦進行解釋；基于主題的方法主要是通過主題模型挖掘用戶在主題上的偏好，向用戶做出推薦解釋[11-12]；文獻[13-14]表明將主題模型與評分預測相結合能夠提升評分預測的準確率。由于用戶對物品的評價可能帶有正面或者負面的情感，以上這些研究工作往往不能準確建模用戶的偏好，它們通常忽視了用戶在評論文本中表現(xiàn)出的情感信息并且只是在主題層次上進行推薦解釋。

3 基于方面的方法

3.1 相關技術

在基于方面的研究方法中，學者們對方面的定義也各有不同，有的將方面定義成描述主題的相關詞匯集合，有的將方面定義成相關的單詞或者短語等。因此在各個模型中方面的表示也各有不同。近幾年，深度學習在可解釋推薦領域已經(jīng)取得了很多矚目的成果，注意力機制被用來研究用戶對物品不同特征的關注程度。這些研究中，方面一般都被表示成詞向量的形式作為推薦算法模型的輸入來訓練模型。

（1）詞向量的表示

詞向量的表示一般采用詞嵌入技術將文本評論中的詞語轉(zhuǎn)換為帶有語義規(guī)則的詞向量。谷歌提出的Word2Vec 是基于局部詞共現(xiàn)原理來生成詞向量的方法，該模型一般有CBOW（Continuous Bag-of-Words）模型和Skip-Gram 模型兩種模型。CBOW 模型是根據(jù)單詞周邊的上下文來預測該單詞的概率，所有單詞共享映射層，因此所有單詞都被映射到相同的位置（向量平均化）它適用于較小的數(shù)據(jù)集。而Skip-Gram 模型則相反，它通過目標詞來預測上下文單詞出現(xiàn)的概率，適用于較大的數(shù)據(jù)集。Word2Vec 中包含兩種優(yōu)化效率的策略，相較于普通方法在訓練該語言模型是，計算相對省時。一種是Hierarchical Softmax，第二種是負采樣（Negative Sampling）。

（2）注意力機制

近年來，深度學習中的注意力機制（Attention Mechanism，AM）已經(jīng)被廣泛應用于推薦系統(tǒng)領域中。注意力機制類似于人的視覺注意力機制，其目的是根據(jù)當前任務從眾多信息中找出關鍵信息，并給予這些關鍵信息更高的權重。傳統(tǒng)的編解碼器（Encoder-Decoder）首先通過編碼器學習得到語義編碼，然后將得到的語義編碼作為解碼器的輸入，即解碼器中不同的輸出對應相同的語義編碼，這與人們的直觀理解不同，而且當編碼器的輸入序列過長時難以得到合理的語義編碼，導致模型的性能下降。此外，輸入序列中各輸入所占的權重相同，這會造成模型的輸入沒有區(qū)分度，使得模型的效果下降。然而注意力機制卻可以打破傳統(tǒng)編解碼器依賴相同語義編碼的限制。經(jīng)過注意力機制改進的編解碼器模型，通過將輸入序列中的各個輸入賦予不同的權重就可以得到不同的語義編碼，而這些語義編碼對應的是解碼器中不同的輸出。

3.2 國內(nèi)外研究

基于方面的方法主要是從評論中提取方面用于可解釋推薦，該方法在可解釋評分預測和可解釋Top-K排序研究中都很常用。Ganu 等人[17]利用一個基于回歸的推薦方法給酒店評論定義6 個方面和4 個情感信息用于可解釋評分預測。Zhang 等人[18]使用一種非監(jiān)督工具對文本評論信息進行方面提取和方面層次的情感分析，將方面和情感分析融合到矩陣分解算法中用于可解釋評分預測。Chen 等人[19]提出一個張量矩陣分解的可解釋Top-K 排序方法，算法最終預測的分值是用戶最關心的各個物品特征的情感分值的加權，通過學習排序為每個用戶選擇最感興趣的產(chǎn)品特征。

由于用戶對物品不同方面關注程度是不同的，很多學者開始針對用戶在物品不同方面的關注程度進行研究。例如：Hou 等人[15]將方面定義成評論中描述物品某個主題的一系列相關詞的集合，主要通過主題模型和方面分割算法提取方面，最后將方面和評分作為推薦解釋的依據(jù)。Cheng 等人[20]提出一個自適應的方面注意力模型A3NCF 用于評分預測，他們采用注意力機制捕捉用戶對物品每個方面的關注程度，方面被定義成主題詞向量和嵌入向量的組合。Chin 等人[21]提出的ANR 模型中一個用戶喜歡的物品方面是根據(jù)該用戶所有評論的詞向量加權得到。Guan 等人[22]提出的AARM中方面是直接利用外部工具從評論中提取的單詞或者短語，為了緩解評論中方面信息的稀疏性，該模型將用戶的方面信息和物品的方面信息進行交互，再利用注意力機制捕捉用戶對不同物品的不同方面的關注程度，最后用于可解釋Top-K 排序研究。和基于主題的方法比較起來，基于方面的方法更能捕捉到用戶對物品細粒度的偏好，因為基于方面的方法會更注重用戶和物品之間的交互，而主題模型是基于文檔詞分布概率建立的，當文本評論比較短的時候主題模型很難將一個主題（單詞或短語上的概率分布）與特定的產(chǎn)品特性聯(lián)系起來。

4 結語

本文對基于文本評論的可解釋推薦方法進行研究，將現(xiàn)有的基于文本評論的可解釋推薦方法概括為基于評論的方法，基于主題的方法和基于方面的方法，并對這些方法進行了介紹?？山忉屚扑]研究作為推薦系統(tǒng)的一個熱門研究方向，具有十分廣泛的應用前景，不僅可以從大量的用戶信息中快速找到用戶感興趣的內(nèi)容（廣告、新聞、音樂、視頻、商品等），更能在推薦的同時給用戶做出合理的解釋，從而幫助用戶在物品之間快速做出選擇。可以預見，未來將會涌現(xiàn)大量基于文本評論的可解釋推薦研究的相關工作。