基于細粒度特征交互的推薦模型

楊振宇 , 劉國敬, 王 鈺

1 中國礦業(yè)大學信息與控制工程學院 徐州 中國 221116

2 齊魯工業(yè)大學(山東省科學院)計算機科學與技術(shù)學院 濟南 中國 250353

1 研究背景

現(xiàn)如今, 許多社交媒體網(wǎng)站和電子商務系統(tǒng)都允許用戶通過撰寫評論文本的方式來表達其對所購買商品或服務的使用體驗, 同時還倡導進行數(shù)字評分[1-4]。這些評論文本中包含的豐富信息可以揭示商品的特征以及每個用戶的偏好, 并在增強平臺推薦系統(tǒng)的個性化方面起到了越來越重要的作用。目前,許多推薦系統(tǒng)都是利用評論文本來獲得更好的評分預測性能, 而不是使用原始而稀疏的用戶-物品評分[5]。

早期的研究側(cè)重于主題建模[6-7]或非負矩陣分解[8-9]來推導評論文本中的潛在特征。相比較于傳統(tǒng)的基于用戶-物品交互[10-13]的協(xié)同過濾模型, 這些技術(shù)具有一定的優(yōu)越性, 并能獲得更好的推薦性能。然而, 由于這些工作使用了詞袋表示[14-15]模式而沒有考慮評論上下文信息, 導致出現(xiàn)了明顯的信息損失。

隨著深度學習在自然語言處理等領(lǐng)域取得的巨大成功, 許多基于該技術(shù)的推薦模型極大的提高了評分預測的性能。在這些工作中, 卷積神經(jīng)網(wǎng)絡(luò)[16-18]架構(gòu)分別從用戶和物品對應的評論中提取潛在特征。通過使用一個密集的詞嵌入矩陣來表示評論, 隨后應用一個固定大小的滑動窗口來捕獲上下文信息?；诰矸e神經(jīng)網(wǎng)絡(luò)的技術(shù)更好的促進了對評論中語義信息的理解, 導致對現(xiàn)有基于詞袋模式的評分預測方法的顯著改進。然而, 一個飽受詬病的缺點是人們難以有效的理解神經(jīng)網(wǎng)絡(luò)所提取的特征, 這限制了推薦系統(tǒng)的可解釋性[19-21]。

基于評論的推薦系統(tǒng)的關(guān)鍵在于對評論文本中不同粒度信息的捕獲。通常而言, 同一用戶對不同物品往往具有不同的偏好, 這些偏好都反映在他所撰寫的評論中。同時, 評論中的重要語義特征被隱含在不同粒度的文本片段中。圖1 中的舉例說明了這一問題。不同粒度的文本(如: 單詞、短語和句子)可以揭示用戶對不同物品的偏好。例如單詞: “best”、“great”、“disappointing”; 短語: “quality great battery life”、“screen looks amazing”和句子: “I usually go with product red but it looked a bit orange this year.”。

圖1 評論中的多粒度舉例Figure 1 Multi granularity examples in the reviews

然而, 現(xiàn)有的工作通常通過整合用戶和物品的評論文本來為每個用戶或物品學習單一的特征向量,然后通過因子分解等手段來實現(xiàn)評分預測。例如,Seo 等人[22](D-Attn)利用具有局部和全局雙重注意力的卷積神經(jīng)網(wǎng)絡(luò)來建模用戶偏好或物品屬性, 并生成兩個角度的用戶和物品的特征向量。然后, 通過聚合各自的特征向量, 模型生成了具有可解釋性的用戶和物品表示用于評分預測。Lu (TARMF)等人[23]通過優(yōu)化過的矩陣分解和基于注意力的GRU[24]網(wǎng)絡(luò),從歷史評分和評論文本中學習用戶偏好和物品屬性。Liu (DAML)等人[25]基于評分和評論提出了一種雙重注意相互學習模型。通過局部注意力和相互注意力來共同學習評論的特征, 以增強模型的可解釋性。然后將評分特征和評論特征集成到一個統(tǒng)一的神經(jīng)網(wǎng)絡(luò)模型中, 通過神經(jīng)因子分解機實現(xiàn)特征的高階非線性交互, 完成最終的評分預測。盡管這些模型在推薦性能上有所提高, 但在捕捉細粒度的用戶偏好和物品屬性方面存在著局限性, 因為它們僅僅是為用戶物品分配一個單一的特征向量, 導致評論中多個粒度下的信息沒有被明顯的捕獲。

在本論文中, 提出了一種細粒度特征交互網(wǎng)絡(luò)(FFIN), 它是一種新穎的基于評論的推薦體系結(jié)構(gòu),能夠解決上述問題。FFIN 的優(yōu)勢在于兩個核心:多層次的用戶/物品表示和細粒度的特征交互。該模型不是用單個抽象向量來表示每個用戶, 而是在一個統(tǒng)一的模塊中使用分層擴展卷積來構(gòu)建基于評論的多層次表示。通過分層疊加擴展的卷積, 每一層的接收輸入寬度呈指數(shù)增長, 而參數(shù)的數(shù)量僅線性增加。同時, 每一層的輸出被保留為跨不同長度的文本段的特征映射, 不會因為沒有使用任何形式的池化或步進卷積而造成覆蓋損失。通過這種方法, 模型可以在不同粒度上通過局部相關(guān)性和長期依賴性逐步獲得評論中的語義特征, 包括詞、短語和句子層次。

此外, 為了避免信息丟失, FFIN 在每個語義粒度上構(gòu)建用戶評論和物品評論的特征交互。評論的多粒度特征在不同的層次展現(xiàn)了不同的信息, 基于此的多粒度特征交互不僅提高了模型的準確性, 還避免了單粒度交互導致信息丟失的局限性。在實際應用中, 該模型基于評論文本的分層表示方法, 對每一對評論分別從詞到句的層次上構(gòu)建一個關(guān)聯(lián)矩陣。通過這種方式, 可以識別用戶和物品評論中隱含的多個粒度特征, 并以最小的損失進行交互, 從而為預測準確的評分提供足夠的內(nèi)容相關(guān)性線索。然后, 將每個粒度的評論對的多個關(guān)聯(lián)矩陣合并成一個3D 圖像, 其通道表示不同粒度下用戶和物品評論特征交互的相關(guān)程度。通過類似于基于3D 卷積的圖像識別層次, 識別高階顯著信號來預測用戶對物品評分。模型在亞馬遜和Yelp 的真實數(shù)據(jù)集上進行了廣泛的實驗。結(jié)果表明FFIN 在評論推薦方面具有的優(yōu)越性。此外, 在一系列的分析實驗中發(fā)現(xiàn)了FFIN能夠有效的構(gòu)建多個粒度特征的交互, 突出了評論中的相關(guān)信息, 提高了評分預測的可解釋性。綜上所述, FFIN 的優(yōu)點在于: (1)以多層次擴張卷積結(jié)構(gòu)來編碼用戶和物品評論, 避免了評論中細粒度信息的丟失; (2)在多個粒度下構(gòu)建用戶和物品評論的特征交互, 并使用3D 卷積來融合處理多粒度信息, 有效的突出了評論中多個粒度下的相關(guān)信息; (3)不僅在性能方面有優(yōu)越性, 還具有強力的可解釋性。

2 相關(guān)工作

基于評級的預測始終是推薦系統(tǒng)研究的熱點[26-28]。在這一問題上的主要研究思路是緊緊圍繞著評分預測來持續(xù)展開的, 而且截至目前已有許多優(yōu)秀的模型在這一課題上取得了優(yōu)秀的表現(xiàn)。早期研究中, 矩陣分解(Matrix Factorization, MF)是相當主流且受歡迎的方法。它能夠通過利用用戶和物品的潛在特征來建模用戶的顯式反饋。例如, 經(jīng)典的Probabilistic Matrix Factorization(PMF)[29]以中線性因子作為模型的基礎(chǔ)來展開討論, 它使用與用戶相關(guān)的系數(shù), 將用戶的偏好建模成一個系列向量的線性組合。隨后研究者們發(fā)現(xiàn), 隱式反饋信息同樣有助于用戶的偏好建模, 因此提出了SVD++[30], 該方法認為, 除了用戶對項目的顯式歷史評分記錄具有偏好顯示外, 瀏覽或收藏等隱反饋信息一定程度上同樣可以從側(cè)面反映用戶的偏好, 但當該數(shù)據(jù)數(shù)量大且稀疏的時候, 推薦結(jié)果就表現(xiàn)得不那么令人滿意;矩陣分解的另一個缺點是無法為模型提供可解釋性,當用戶與物品產(chǎn)生顯式交互時, 盡管模型能夠預測得到用戶可能給出的評分, 但是卻無法解釋是什么因素在起作用。

隨著深度學習技術(shù)的發(fā)展, 在評分預測的任務上又產(chǎn)生了新的生機。ConvMF[18], 它將矩陣分解和神經(jīng)網(wǎng)絡(luò)相結(jié)合, 在使得用戶隱向量與項目隱向量做內(nèi)積盡可能逼近真實評分的同時, 對物品隱向量做了約束, 也就是讓物品隱向量跟CNN 學得的特性盡可能的接近。為提高評分預測推薦系統(tǒng)的可解釋性, DeepCoNN[31]首次提出了一個分別建模用戶評論和物品評論的模型。它使用了卷積神經(jīng)網(wǎng)絡(luò)分別以并行的形式對用戶和物品對評論文本進行處理, 最后利用因子分解機實現(xiàn)評分對預測。ANR[2]模型旨在從多角度(Aspect)來建模用戶和商品。它將不同的理解角度抽象為模型的不同參數(shù), 這使模型可以通過隱式的方式來抽取評論文本中的Aspect。NARRE[5]模型在基于用戶和物品的并行結(jié)構(gòu)的基礎(chǔ)上利用注意力機制實現(xiàn)了對每一條評論的貢獻的判定, 也就是判別哪些評論對用戶的偏好建模是更有用的。

形式上看, 深度學習階段的模型都是通過并行地對評論文本提取特征來最終得到評分預測結(jié)果。但是這些工作只是單方面的為評論文本提取了特征表示, 并基于此做單粒度的特征交互, 這難免會丟失文本中的重要信息。因此, 如何充分挖掘文本中各粒度的有用信息, 并以此來實現(xiàn)特征的多粒度交互將是我們的工作重點。

3 基于細粒度特征交互的推薦模型

該模型有兩個并行的神經(jīng)網(wǎng)絡(luò)組成, 一個用于對用戶評論集合進行建模, 另一個用于物品評論建模。為了清楚起見, 本文的主要符號總結(jié)在表1 中。首先, 用戶和物品評論都是通過詞嵌入的方式轉(zhuǎn)換成連續(xù)的詞向量矩陣。隨后, 這些詞向量矩陣被輸入到層次擴張卷積結(jié)構(gòu)中進行編碼, 并輸出多粒度的評論表示。接下來, FFIN 計算多個粒度下的用戶和物品評論表示的關(guān)聯(lián)矩陣; 將這些關(guān)聯(lián)矩陣融合成一個3D交互圖像, 并執(zhí)行3D卷積操作, 輸出高階顯著信息。最終, FFIN 將這一高階顯著信息輸入到因子分解機中實現(xiàn)評分預測。用于評分預測的細粒度特征交互網(wǎng)絡(luò)(FFIN)的結(jié)構(gòu), 如圖2 所示。

表1 相關(guān)變量注釋表Table 1 Comment table of related variables

本小節(jié)將依據(jù)圖2 展示的模型結(jié)構(gòu)依次描述本論文提出的細粒度特征交互網(wǎng)絡(luò)(FFIN)。首先, 本節(jié)對基于評論的推薦問題進行了定義; 其次, 詳細描述了評論表示模塊中層次擴張卷積結(jié)構(gòu)對原始評論文本的編碼過程; 再次, 展示了用戶和物品的多粒度的評論表示特征的交互過程; 最后, 介紹了一個帶有因子分解機(FM)的評分預測層實現(xiàn)用戶對物品的評分。

圖2 FFIN 模型結(jié)構(gòu)示意圖Figure 2 Schematic diagram of FFIN model structure

3.1 問題定義

3.2 評論表示模塊

由于用戶和物品的多粒度評論表示的產(chǎn)生過程是類似的, 因此本節(jié)僅展示單個評論文本的編碼步驟, 且簡化為s, 評論長度設(shè)為T。受到Lin 等人[32]所提出的多層擴張卷積結(jié)構(gòu)的啟發(fā), 本節(jié)設(shè)計了一種層次擴張卷積(hierarchical dilated convolution, HDC)[33-34]來直接從評論中學習多個語義粒度的評論表示。

對于給定的評論文本 s = [ w1, w2,… , wT], 模型首先通過一個嵌入矩陣將其映射為相應的詞向量矩陣,即 X = [ x1, x2,… , xT], 其中 xt? Rd是該文本中的第t個單詞的詞嵌入表示, d 是詞向量的維度大小。然后,HDC 以該詞向量矩陣為輸入, 捕獲評論中的多粒度語義特征。

不同于標準卷積在每一步對輸入的一個連續(xù)子序列進行卷積, 擴張卷積通過每次跳過δ 個輸入元素, 而擁有更為廣泛的接受域, 其中δ 是擴張率。對于上下文中心單詞tx 和大小為2w+1 的卷積核W ,擴張卷積操作可以被公式為:

其中, ⊕是向量拼接、b 是偏置項、ReLU 是非線性激活函數(shù)。每個卷積層的輸出是前一層輸入的加權(quán)組合。與Lin 等人的設(shè)置類似, 本模塊以 δ=1 為開始(等同于標準卷積), 以確保不遺漏原始輸入序列中的任何元素。之后, 通過以更大的擴張率層次疊加擴張之后的卷積, 卷積文本的長度以指數(shù)形式擴展, 只需使用少量的層和適量的參數(shù)就可以覆蓋不同接受域的語義特征。

此外, 為了防止梯度的消失或爆炸, 模塊在每個卷積層的最后應用層歸一化[35]。由于可能會有不相關(guān)的信息引入到長距離的語義單元中, 模型根據(jù)實際驗證中的性能設(shè)計多層次的擴張率。每個堆疊層l 的輸出都保存為文本在特定粒度水平上的特征圖, 公式為:

其中f 是每一層卷積濾波器的數(shù)量。假設(shè)有L 層堆疊的擴張卷積, 多粒度評論表示可以定義為[ s1, s2,… , sL]。通過這種方式, HDC 以較小的擴張率從單詞和短語層次逐步收獲詞義和語義特征, 以較大的擴張率從句子層次捕獲長期的依賴關(guān)系。模型的評論編碼模塊不僅在并行能力上優(yōu)于循環(huán)神經(jīng)網(wǎng)絡(luò), 而且相比于完全基于注意力的方法能夠顯著減少內(nèi)存的消耗。

經(jīng)過HDC 模塊編碼, 單個用戶和物品的多粒度評論表示可以分別被表述為:

3.3 特征交互模塊

為了總結(jié)整個用戶和物品的評論中的多粒度特征, FFIN 將用戶和物品的所有交互得到的關(guān)聯(lián)矩陣融合成一個3D 交互圖像, 公式為:

其中, n×m 代表關(guān)聯(lián)矩陣在單個粒度下的總數(shù)量, 3D交互圖像中的每個像素點由以下方式得到:

具體來講, 每個像素點都是所有粒度下特征的拼接向量, 表示用戶與物品在多個粒度下的交互程度。

由于用戶的評分行為通常是帶有主觀性的個性化, 因此在面對不同的物品時會體現(xiàn)出不同的偏好。受Wang 等人[34]和Zhou 等人[36]在新聞推薦和對話系統(tǒng)問題上的啟發(fā), 模型根據(jù)類似于圖像識別的組成層次結(jié)構(gòu), 采用分層的3D 卷積神經(jīng)網(wǎng)絡(luò)[37-40]和最大池化操作, 從整個圖像中識別出突出的匹配信號。三維卷積是典型的二維卷積的擴展, 其濾波器和步長都是三維立方體。形式上, 第t 層的第z 個特征圖上的高階像素在(k,i,j)處的計算方式為:

其中, ELU[41]是非線性激活函數(shù)。z′代表著上一層的特征圖, K(t,z)? RWt× Ht×Rt和 b(t)和分別是3D 卷積核和偏置項, 大小為 Wt× Ht× Rt。隨后, 通過一個最大池化操作提取出顯著的信息:

3.4 評分預測模塊

在本小節(jié)中, 模型將上述特征交互模塊產(chǎn)生的預測向量^y 輸入到全連接神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的因子分解機(FM)[42]中來實現(xiàn)最終的用戶-物品評分預測。全連接神經(jīng)網(wǎng)絡(luò)的實現(xiàn)過程可以被公式如下:

其中, W0? Rn×e和 b0? Rn分別是全連接網(wǎng)絡(luò)的權(quán)重參數(shù)和偏置項。

FM 接受一個實值特征向量, 并使用分解參數(shù)對特征之間的相互作用進行建模。其定義如下:

4 實驗結(jié)果與分析

在本小節(jié)中, 實驗在6 個來自亞馬遜和Yelp 的具有不同特征的真實數(shù)據(jù)集上進行了一系列的評估驗證。首先, 本節(jié)介紹了6 個數(shù)據(jù)集的統(tǒng)計細節(jié)、模型的參數(shù)設(shè)置以及一些用于對比的基線模型; 隨后,展示了FFIN 與對比模型在6 個數(shù)據(jù)集上的對比結(jié)果并進行了一些討論。最后, 從多個角度對模型進行了定量分析, 并對模型進行了可視化的研究。

4.1 數(shù)據(jù)集和預處理

本實驗的數(shù)據(jù)集有兩個不同的來源, 描述如下:

(1) Amazon Product Reviews[43]: 亞馬遜是一個知名的電子商務平臺, 用戶可以為他們購買的產(chǎn)品寫評論。本實驗依據(jù)不同的領(lǐng)域和不同的尺度選擇了5 個具有不同特征的數(shù)據(jù)集, 分別是: Musical Instruments(Music) 、 Video Games(Video) 、 Office Products(Office)、Grocery ＆ Gourmet Food(Grocery)

和 Tools ＆ Home Improvement(Tools)。其中Tools 是最大的, 它擁有超過24 萬用戶的200 萬的評論, 而最小的數(shù)據(jù)集Music 只有大約20 萬的評論。

(2) Yelp Dataset Challenge[44]: Yelp 是一個針對餐館、酒吧、溫泉等企業(yè)的在線點評平臺。由于原始數(shù)據(jù)非常大且稀疏, 本實驗對其進行了預處理, 以確保所有用戶和項目至少有5 個評分。即便如此, 它仍然是所有數(shù)據(jù)集中最大的數(shù)據(jù)集。它包含了大約20 萬用戶的300 多萬條評論。

這些數(shù)據(jù)集的評分都是從1～5 的整數(shù)。因為評論的長度和數(shù)量具有長尾效應, 本實驗統(tǒng)一只保留長度和數(shù)量覆蓋85%的用戶和物品。此外, 針對于評論文本詞典的構(gòu)建, 本實驗采用了類似于CARL[21]的方式:1)刪除停止詞和文檔頻率高于0.7 的詞; 2)選取頻率最高的前40000 個詞作為詞匯表; 3)刪除每個原始文檔中除詞匯表之外的詞。數(shù)據(jù)集信息如表2 所示。

表2 六個數(shù)據(jù)集在預處理之后的統(tǒng)計信息Table 2 Statistical information of six data sets after preprocessing

為了評估所有算法的性能, 本文采用了均方誤差(Mean Square Error, MSE), 它被廣泛應用于推薦系統(tǒng)的評分預測任務。均方誤差分數(shù)越小, 表明模型的性能更強。給定模型的預測評分 r?u,i和真實評分 ru,i,均方誤差可以被計算如下:

其中, N 是在測試集上用戶-物品對的樣本數(shù)量。

為了評估模型的評分預測性能, 本節(jié)將FFIN與目前五種先進的模型進行了比較, 分別是PMF[29,45]、NMF[8]、DeepCoNN[31]、DAML[25]和MPCN[46]。前兩種模型在訓練時僅使用評分信息,后四種模型是具有代表性的評估模型。表3 列出了對比模型的差異。

表3 與基線模型的差異對比Table 3 Comparison with baseline model

(1) PMF(Probabilistic Matrix Factorization): 概率矩陣分解是一種標準的矩陣因式分解方法, 它利用高斯分布對初始用戶和物品的潛在表示進行初始化。

(2) NMF(Non-negative Matrix Factorization): 它使分解后的所有分量均為非負值(要求純加性的描述), 并且同時實現(xiàn)非線性的維數(shù)約減。非負矩陣分解僅使用評分矩陣作為算法的輸入。

(3) DeepCoNN(Deep Cooperative Neural Networks): 深度協(xié)同神經(jīng)網(wǎng)絡(luò)可能是研究者們第一嘗試通過深度學習技術(shù)來構(gòu)建基于評論的推薦模型,它使用兩個并行的卷積架構(gòu)從用戶和物品的評論中推斷潛在的特征表示。用戶和物品的特征表示被連接起來, 并用作因子分解機(FM)的輸入, 用于評分預測。

(4) DAML(Dual Attention Mutual Learning): 雙重注意相互學習側(cè)重于關(guān)注用戶和物品評論之間的局部信息以及兩者的交互。通過利用卷積神經(jīng)網(wǎng)絡(luò)的局部注意力和相互注意力的模塊, DAML 模型的可解釋性得到增強。然后, DAML 將評分特征和評論特征整合到統(tǒng)一的框架中, 利用神經(jīng)因子分解機實現(xiàn)特征的高階非線性交互, 完成最終的評分預測。

(5) MPCN: 這是一種多指針學習方案, 該模型從用戶和項目的評論中提取重要的評論, 然后逐字匹配它們。它不僅可以利用信息最豐富的評論進行預測, 還可以進行更深層次的文字互動。

4.2 對比基線

4.3 參數(shù)設(shè)置

本實驗將數(shù)據(jù)集隨機拆分為訓練集(80%)、驗證集(10%)和測試集(10%)。驗證集用于調(diào)整超參數(shù), 最后的性能比較在測試集上進行。基線算法的參數(shù)初始化與相應論文中的參數(shù)相同, 然后仔細調(diào)優(yōu), 以達到最佳性能。實驗在PyTorch 框架中實現(xiàn)本論文提出的模型。所有模型都使用Adam[47]優(yōu)化器進行訓練。對于所有模型, 實驗都進行了20 個周期的訓練,一旦模型性能在5 個周期內(nèi)沒有提高訓練將立即停止, 并將性能最好的模型的測試結(jié)果報告在開發(fā)集上。對于基于深度學習的模型: DeepCoNN、DAML、MPCN 和FFIN, 學習率從[0.005,0.01,0.015,0.02]選擇。為了避免出現(xiàn)過擬合現(xiàn)象, 模型在[0.1,0.2,0.3,0.5,0.7]實驗中選擇并調(diào)整退化率。批處理大小根據(jù)數(shù)據(jù)集的大小從50、100 和150 中選擇。評論中詞嵌入的維度為300, 經(jīng)過比較該模型使用預訓練的Glove 嵌入向量進行初始化。對于所有使用卷積結(jié)構(gòu)作為評論編碼的模型, 卷積層的濾波器個數(shù)設(shè)為100,卷積濾波器的窗口大小設(shè)為3。

對于FFIN, 受限于GPU 內(nèi)存的限制, 實驗設(shè)置每個用戶和物品的評論集合數(shù)量都不得大于5。實驗測試了以不同擴張率疊加1～5 個HDC 層。最終使用了[1,2,3]三層層次結(jié)構(gòu)(每個卷積層的擴張率), 因為它在驗證集中獲得了最佳性能。用于評論表示的卷積濾波器的窗口大小和數(shù)量分別為3 和100。對于交叉交互模塊, 模型采用兩層合成的方法提取出三維交互圖像的高階顯著特征, 第一、二層三維卷積濾波器的個數(shù)和窗口大小分別為32-[3,3,3]、16-[3,3,3], 它們的步長都為[1,1,1]。接下來使用大小為[3,3,3]的最大池化, 其步長為[3,3,3]。

4.4 實驗結(jié)果

表4 展示了本論文提出的模型與基線模型的比較結(jié)果。

表4 FFIN 與基線的性能對比(MSE 值)Table 4 Performance comparison between FFIN and baseline (MSE value)

可以做幾項觀察。首先, 僅利用評分的PMF 模型在所有的6 個數(shù)據(jù)集上都是最差的。具體到兩個數(shù)據(jù)集Tools 和Yelp16, 性能差距更加明顯。這一點也同樣反映在沒有使用評論文本的NMF 上。這證明評論中蘊含的語義信息有助于捕獲用戶偏好和物品屬性。PMF 和NMF 忽略了評論文本的作用導致它們在建模用戶偏好和物品屬性方面出現(xiàn)很大地偏差。

其次, 所有的深度學習模型在充分利用評論文本之后, 性能都出現(xiàn)了明顯的提升。這再次印證了評論文本中語義信息的重要性。作為較早期出現(xiàn)的模型, DeepCoNN 在所有6 個數(shù)據(jù)集上的表現(xiàn)處于最劣勢的位置, 這是合理的, 因為它在特征提取的過程中僅使用了卷積神經(jīng)網(wǎng)絡(luò)來建模評論文本, 沒有使用詞級注意力等手段對重要的詞和評論進行加權(quán),導致其可解釋性較差。相比之下, DAML 在均方誤差指標上則要好的多, 它不僅使用了能夠突出重要詞的局部注意力機制, 還通過交互注意力機制來動態(tài)的學習用戶和物品評論的潛在表示。因此, 相比于DeepCoNN, 更加具有可解釋性。MPCN 通過指針網(wǎng)絡(luò)實現(xiàn)的評論級別和詞級別的交互, 它不僅可以深層次地利用信息最豐富的評論進行預測, 還可以進行更深層次的文字互動。作為目前最先進的模型,MPCN 在性能方面都取得了最好的基線效果。

最后, 如表3 所示, FFIN 除了Musical 和Office數(shù)據(jù)集的性能略差一些, 在另外4 個數(shù)據(jù)集上都取得了最佳成績。FFIN 通過層次擴張卷積來編碼原始的評論, 生成多粒度的評論表示, 最大程度地利用了評論各個粒度的語義信息。值得注意的是, FFIN 在Grocery 數(shù)據(jù)集上獲得了顯著的改進, 因為Grocery是第二稀疏的數(shù)據(jù)集, 評論信息相對較少(參考表1)。這表明通過在多個粒度下構(gòu)建關(guān)聯(lián)矩陣, 用戶和物品評論中難以聯(lián)系的特征在模型中被挖掘出來,從而提高了評分預測性能。即使與DAML、MPCN兩種最近提出的先進模型相比, FFIN 在均方誤差指標上還是分別獲得了17.6%和3.6%的整體改進。這證明FFIN 能夠精確地提取出評論中細粒度的信息,從而避免了不必要的信息損失, 這對提升模型評分的性能是顯著的?？傮w而言, FFIN 能夠有效地從評論中建模這一評分行為, 從而實現(xiàn)評級預測。

4.5 定量分析

本節(jié)首先討論了四種不同類型的詞嵌入對FFIN的性能影響, 即: Word2Vec 嵌入[48]、Glove 嵌入[49]、Random 嵌入和BERT 嵌入[50]。圖3 顯示了在6 個數(shù)據(jù)集上所有不同的詞嵌入的均方誤差得分。

圖3 不同類型的嵌入對模型性能的影響Figure 3 The impact of different types of embeddings on model performance

通過以上數(shù)據(jù)可以總結(jié)以下幾點:

(1) 與Word2Vec、Glove 和BERT 3 種預訓練好的詞嵌入相比, FFIN在使用Random嵌入時的性能表現(xiàn)在所有數(shù)據(jù)集上都是比較差的。這與實際的預期一致, 因為預訓練好的詞嵌入總是能夠帶來更準確的語義信息。

(2) 與Glove 和BERT 相比, Word2Vec 嵌入在所有數(shù)據(jù)集上的表現(xiàn)略微差一些。

(3) 相對于BERT 嵌入, Glove 嵌入在所有數(shù)據(jù)集上的表現(xiàn)更好。因此, 本實驗選它作為默認的詞嵌入來初始化原始的評論文本。

本節(jié)隨后比較了在HDC 評論表示模塊中擴張卷積濾波器的數(shù)量和堆疊HDC 層數(shù)的不同組合對模型性能的影響。圖4 展示了在Video 和Office 數(shù)據(jù)集上的結(jié)果。其中較深的區(qū)域代表較大的數(shù)值, 這表明模型性能越差。

如圖4 所示, 可以很容易的觀察到在每層過濾器數(shù)量不同的設(shè)置中, 有一個一致的趨勢, 即在前幾個堆疊層的時候, 模型性能有一個顯著的改善,這種增益在當層數(shù)到達3 時, 達到頂峰。然后, 當層數(shù)增長到5 層時, 性能明顯下降了很多。因此, 可以確定HDC 層數(shù)的多少對于細粒度信息的提取和推薦的準確性確實很重要。另外, 還可以觀察到在HDC層數(shù)不斷變化的過程中, 模型性能也會出現(xiàn)一個先上升后下降的趨勢。這兩種現(xiàn)象出現(xiàn)的原因可能在于當HDC 層數(shù)和濾波器數(shù)量較少時, 模型無法全面的捕獲評論中的細粒度信息; 隨著層數(shù)和數(shù)量的上升, 模型所捕獲語義信息的粒度越來越精細, 因此模型的推薦性能也在提升。而當HDC 層數(shù)和濾波器數(shù)量過大時, 細粒度信息往往會產(chǎn)生冗余和噪聲,這無助于模型的性能。

圖4 HDC 各層次結(jié)構(gòu)數(shù)據(jù)集上的表現(xiàn)Figure The performance of HDC’s various hierarchical structures

通過分析, 本實驗將HDC 堆疊的層數(shù)和卷積濾波器數(shù)量的最佳設(shè)置分別為3 和100。在這種情況下,每層的卷積濾波器的擴張卷積的接受域在[3-7-13]之間(擴張率為[1,2,3]), 與評論詞序列的平均長度相比,通過局部交互的分層組成, 足以對多粒度的語義信息進行建模。

本實驗進一步探索了帶有最大池化操作的三維卷積神經(jīng)網(wǎng)絡(luò)對處理交互圖像Q 的影響。如圖5 所示為FFIN 在6 個數(shù)據(jù)集的對比結(jié)果, 其中a_b 表示3D 卷積的層次結(jié)構(gòu)中第一層和第二層的卷積濾波器數(shù)量分別為a 和b。

圖5 3D 卷積各層次結(jié)構(gòu)在各個數(shù)據(jù)集上的表現(xiàn)Figure 5 The performance of each level of 3D convolution on each data set

如圖所示, 給定第一層的濾波器數(shù)量a, 由于可以提取更多的高階信息, 因此性能首先隨著第二層的濾波器數(shù)量b 越大而增加。然后性能開始下降, 可能是因為模型中引入了更多的噪聲模式(如[32_8,32_16, 32_32])。此外, 在b 值相同而a 值不同的層次結(jié)構(gòu)中也存在類似的趨勢(如[16_8, 32_8, 64_8])。

本實驗還進行了其他驗證, 如: 改變3D 卷積的層數(shù)([1,2,3,4])或者窗口大小([2,3,4])。最終的結(jié)果表明最優(yōu)的三維卷積層次結(jié)構(gòu)為兩層, 第一層卷積濾波器數(shù)量為32, 窗口大小為[3,3,3]; 第二層卷積濾波器數(shù)量為16, 窗口大小為[3,3,3]。

4.6 可視化研究

本小節(jié)進一步研究了構(gòu)建多粒度評論表示和進行多粒度特征交互的有效性。

圖6 顯示了用戶和物品評論之間的多粒度交互矩陣(公式5), 其中Ml表示第l 層HDC 輸出用戶和物品評論表示的交互矩陣。基于上圖中數(shù)據(jù)觀察到, 在第一層的交互矩陣捕捉到的語義信息主要是詞匯相關(guān)性。例如“sounded”、“tone”、“good”、“cheap”、“perfect”和“price” 這幾個詞在M1中的相關(guān)性較高, 并被賦予了較高的值, 這可能是由于它們在詞嵌入編碼中具有相似的同現(xiàn)信息。

圖6 交互矩陣Figure Interaction matrix

與詞粒度不同的是, 短語粒度的交互矩陣M2通常能夠識別出更為復雜的語義結(jié)構(gòu)和潛在的長期依賴。這可以看出, “favorite highlighters”和“best-loved highlighters”、“good quality”和“very strong”的交互區(qū)域顯著的獲得了較大的相關(guān)性分數(shù)。同樣地, 在更高級的交互矩陣M3中也具有類似的相關(guān)性?！癶old a uninterrupted crystal clear conversation”和“provide crystal clear reception anywhere”、“highly recommend them”和“certainly recommend it”這兩對句子的表達具有高度相關(guān)的含義。

綜上所述, 本論文提出的模型有能力識別評論中高度相關(guān)的詞、短語和句子, 而忽略信息量較少的部分, 這有利于FFIN 更準確地捕捉用戶偏好和物品屬性。這也充分證明了該模型具有強大的可解釋性。

5 總結(jié)

在本文中, 提出了一種基于多粒度表示和交互的神經(jīng)網(wǎng)絡(luò)推薦架構(gòu)。與之前的工作首先將用戶和物品的評論整合到一個單一的表示向量中, 然后做單粒度的交互不同, 本論文提出的模型可以通過在多層次語義粒度上執(zhí)行每對評論表示之間的交互捕捉更細粒度的相關(guān)信息。在從亞馬遜和Yelp 收集的真實數(shù)據(jù)集上進行的大量實驗表明, 該模型具有較為先進的推薦性能。在一系列的探究實驗表明FFIN能夠構(gòu)建具有豐富語義的多粒度評論表示, 并能通過關(guān)聯(lián)矩陣構(gòu)建全面的交互, 顯著地提高了評分預測的可解釋性。在未來, 本研究將嘗試利用更多與用戶和物品緊密相關(guān)的數(shù)據(jù)源如: 圖片, 來進一步提升推薦的準確性。