融合復雜先驗與注意力機制的變分自動編碼器

沈學利，馬玉營，梁振興

（遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105）

0 概述

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡數(shù)據(jù)量呈指數(shù)級增長，用戶面臨信息過載問題［1］。由于面對海量信息用戶很難快速獲取感興趣信息，信息生產(chǎn)者也很難將信息推薦給需要的用戶，因此推薦系統(tǒng)應運而生。推薦系統(tǒng)是基于對用戶和物品的分析，推薦給用戶最有可能感興趣的物品［2］。在推薦系統(tǒng)中協(xié)同過濾算法是使用較廣泛的算法，其利用用戶和項目的相似模式來提供個性化推薦［3］。但是協(xié)同過濾算法過多依賴用戶對項目的顯式反饋或隱式反饋，存在數(shù)據(jù)稀疏的問題。然而深度神經(jīng)網(wǎng)絡的應用在很大程度上緩解了數(shù)據(jù)稀疏問題，推薦系統(tǒng)的準確度也得到較大提升［4］。近些年，變分自動編碼器（Variational Auto-Encoder，VAE）［5］受到研究人員的廣泛關注，也產(chǎn)生了很多的變體模型。文獻［6］將VAE 應用在協(xié)同過濾算法中，構建多項變分自動編碼 器（Multinomial Variational Auto-Encoder，Multi-VAE）模型，使用多項似然函數(shù)替代高斯似然函數(shù)，同時在損失函數(shù)中加入正則化項以增強模型的解耦能力和提高模型的推薦效果?？紤]模型限制條件，文獻［7］設計基于條件的變分自動編碼器（Conditioned Variational Auto-Encoder，C-VAE）模型，該模型將標簽條件加入到VAE 中，同時對損失函數(shù)做出了改進，增加了模型的可解釋性。文獻［8］提出宏觀和微觀雙層結構變分自動編碼器（Macro-Micro Disentangled Variational Auto-Encoder，Macrid-VAE）模型，該模型使用多層神經(jīng)網(wǎng)絡獲取高層次概念，再與用戶行為進行結合，然后通過VAE 獲取微觀表現(xiàn)，提高了模型精確度，同樣也增加了模型可解釋性。

上述研究成果提高了模型的可解釋性和精確度，但卻忽略了VAE 模型本身的局限性。傳統(tǒng)的VAE 模型除了會導致模型過度正則化外，還會造成只有少量隱向量被激活，該情況會隨著網(wǎng)絡深度的加深變得更加嚴重［7］。為此，本文提出融合復雜隱向量先驗和注意力機制的變分自動編碼器模型，簡稱為CCPAM-VAE。使用復雜隱向量先驗分布替代標準正態(tài)分布，利用神經(jīng)網(wǎng)絡訓練生成的偽輸入作為假數(shù)據(jù)替代原數(shù)據(jù)，提高模型執(zhí)行效率。通過添加輔助隱向量，增加隱向量的低維表現(xiàn)能力和解耦性?；谧⒁饬C制強化具有較高權重值的重要信息，弱化具有較低權重值的不重要信息。

1 VAE 模型

變分自動編碼器由KINGMA 等［9］于2013 年 提出，是一個深度生成模型，結合了變分貝葉斯方法和神經(jīng)網(wǎng)絡，將求和問題轉化為優(yōu)化問題，大大增加了模型適用范圍，廣泛應用于自然語言處理、計算機視覺、推薦系統(tǒng)等領域［10-12］。變分自動編碼器的整體框架由編碼器和解碼器組成，因為編碼器和解碼器具有很大的靈活性，所以可以選擇不同的神經(jīng)網(wǎng)絡作為組成部分。用戶-物品的評分矩陣（見圖1）作為輸入數(shù)據(jù)輸入模型，解碼器最終輸出得到重構后的數(shù)據(jù)，通過最小化與輸入數(shù)據(jù)的誤差來優(yōu)化模型參數(shù)。同時，重構后的數(shù)據(jù)包含了之前評分矩陣的未評分數(shù)據(jù)［13-15］。VAE 模型分為變分推理過程和生成過程，對于每個用戶u的生成部分過程表示如下：

圖1 用戶-物品評分矩陣Fig.1 User-item rating matrix

其中：zu表示用戶u的隱向量；pθ(zu)～N(0，I)表示隱向量zu的先驗分布服從標準正態(tài)分布。

2 CCPAM-VAE 模型

2.1 模型結構

本文設計的CCPAM-VAE 模型整體采用編碼器-解碼器結構，如圖2 所示。在編碼器階段，輸入數(shù)據(jù)經(jīng)過密集塊（Dense Block，DB）生成輔助隱向量z1，將z1與上一層DB 塊的輸出聯(lián)合，作為下一個DB塊的輸入，生成隱向量z2。在解碼器階段，將輔助隱向量z1和隱向量z2經(jīng)過注意力機制模塊的輸出聯(lián)合，輸入到DB 塊，得到的結果輸入到Softmax 函數(shù)中獲得重構數(shù)據(jù)。在模型的編碼器和解碼器階段，使用跳躍連接，加快模型優(yōu)化速度，緩解深層網(wǎng)絡的退化現(xiàn)象。

圖2 CCPAM-VAE 模型結構Fig.2 CCPAM-VAE model structure

DB 模塊結構如圖3 所示。首先對輸入數(shù)據(jù)x進行Dropout［16］操作，可以暫時屏蔽部分神經(jīng)元，由于每次訓練所屏蔽的神經(jīng)元不一定相同，因此在一定程度上增加了模型的泛化能力；然后經(jīng)過一個帶有Tanh 激活函數(shù)的全連接層進行特征提??；最后使用批量標準化（Batch Normalization，BN）進行歸一化處理，加快模型收斂速度。DB 模塊的表達式如式（4）所示：

圖3 DB 模塊結構Fig.3 DB module structure

其中：w0是全連接層的權重值；b0是偏置；x0是模塊輸入；x1是模塊輸出。

2.2 偽輸入

2.2.1 偽輸入計算

通過最大化下界lgpθ(xu) 來優(yōu)化參數(shù)θ、φ，lgpθ(xu)的下界如下：

式（5）也被稱為證據(jù)下界（Evidence Lower Bound，ELBO），其中，qφ(zu|xu)表示后驗分布，KL(*)表示Kullback-Leibler 散度，用來衡量兩個概率分布之間的差距。

對KL 散度部分進行分解可得到：

其中，θ、φ、λ分別代表不同的分布參數(shù)。

式（6）右邊的第一部分是重構誤差，第二部分是變分后驗分布的熵，第三部分是變分后驗和先驗的交叉熵。使用拉格朗日乘子對第三部分求最大值，如式（7）所示：

后驗分布如式（8）所示：

其中：N是數(shù)據(jù)集的大小。

由于求解先驗分布需要使用整個數(shù)據(jù)集，這樣做不僅浪費計算資源，還會導致模型過擬合，因此使用可學習數(shù)據(jù)替代原數(shù)據(jù)，可以很好地解決該問題，如式（9）所示：

2.2.2 偽輸入模塊

如圖4 所示，在偽輸入模塊中，首先將輸入數(shù)據(jù)輸入a個DB1塊中，所得的結果再輸入到DB1塊，輸出μ1和σ1（如式（10）所示），然后使用隱向量模塊中的重參數(shù)化技術，如圖5 所示，其中σ2表示方差，μ表示均值，o表示重采樣，將數(shù)據(jù)采樣問題轉化為標準正態(tài)分布采樣問題，最后由式（10）得到z1。

圖4 偽輸入模塊結構Fig.4 Pseudo input module structure

圖5 隱向量模塊Fig.5 Hidden vector module

接著將z1與式（10）上一層的輸出聯(lián)合，輸入到DB2塊中得到μ2和σ2。使用重參數(shù)化技術得到z2。該過程不僅能夠使得采樣過程獨立，而且可以通過反向傳播更新參數(shù)。

2.3 輔助隱向量

在訓練過程中，傳統(tǒng)的變分自動編碼器模型經(jīng)常出現(xiàn)隱向量非激活情況，這種情況會隨著網(wǎng)絡深度的加深變得更加嚴重。為解決該問題，在模型中添加輔助隱向量，雙隱向量結構如圖6 所示，包含x作為輸入數(shù)據(jù)的變分過程和x作為生成數(shù)據(jù)的生成過程。

圖6 雙隱向量結構Fig.6 Double implicit vector structure

變分過程如式（14）所示：

生成過程如式（15）所示：

最終得到帶有輔助隱向量的損失函數(shù)，如式（16）所示：

2.4 隱向量注意力機制

隨著近些年深度學習的快速發(fā)展，注意力機制已成為計算機視覺、自然語言處理、語音識別等領域的重要技術［17-19］。Transformer［20］等神經(jīng)網(wǎng)絡模型與注意力機制相結合后，性能得到大幅提升。

隱向量作為用戶-物品評分數(shù)據(jù)的高維表示，對于重構數(shù)據(jù)起著至關重要的作用。因為隱向量非激活問題也同樣影響著重構數(shù)據(jù)的質(zhì)量，所以本文通過融合注意力機制，對隱向量中含有重要信息的節(jié)點賦予更大的權重值，增強重要信息在重構數(shù)據(jù)中的作用；對于不重要的信息賦予更小的權重值，弱化其在重構數(shù)據(jù)中的影響，同時也減少了噪聲。

在注意力模塊中，首先將隱向量輸入函數(shù)Z生成注意力得分，然后經(jīng)過Softmax 函數(shù)，對注意力得分進行0-1 范圍映射，將其轉化為和為1 的概率值，最后將概率值與隱向量做乘積，如式（17）～式（19）所示，注意力模塊結構如圖7 所示。函數(shù)Z的選擇很多，本文僅使用帶有激活函數(shù)的全連接層作為函數(shù)Z。

圖7 注意力模塊Fig.7 Attention module

其中：w是全連接層權重；Z是注意力評分；a是經(jīng)過0-1 范圍映射的評分值；oout是該模塊的輸出。

3 實驗與評估

3.1 實驗數(shù)據(jù)

采用4 個公開的數(shù)據(jù)集Movielens-1M（ML-1M）、Movielens-Latest-Small（ML-LS）、Movielens-20M（ML-20M）、Netflix 測試模型性能，數(shù)據(jù)集包含用戶對物品的評分，評分范圍為［1，5］。數(shù)據(jù)集介紹具體如下：

1）ML-1M 數(shù)據(jù)集是Movielens 數(shù)據(jù)集之一，包括6×103個用戶、4×103部電影和1×108個電影評分。

2）ML-LS 數(shù)據(jù)集來源于Movielens 電影網(wǎng)站，能夠進行自動采集更新，包含6×102個用戶、9×103部電影和1×105個電影評分。

3）ML-20M 數(shù)據(jù)集來源于Movielens 電影網(wǎng)站2015 年4 月提供的數(shù)據(jù)，包括1.38×105個用戶、2.7×104部電影和2×107個電影評分。

4）Netflix 數(shù)據(jù)集來源于電影租賃網(wǎng)站Netflix 2005 年公布的數(shù)據(jù)，包含4.8×105個用戶、1.7×104部電影和1×108個電影評分。

數(shù)據(jù)集詳細信息如表1 所示。

表1 數(shù)據(jù)集詳細信息Table 1 Dataset details

3.2 數(shù)據(jù)處理

為測試模型在強泛化下的性能，對數(shù)據(jù)集進行如下處理［20］：

1）將數(shù)據(jù)集劃分為訓練集（80%）、驗證集（10%）、測試集（10%）3 個部分，使用訓練集的用戶歷史點擊記錄訓練模型。首先從驗證集和測試集的用戶中獲取一部分歷史點擊記錄了解模型性能表現(xiàn)，然后通過查看模型對其他未顯示的歷史點擊記錄的排名來計算性能指標。

2）對數(shù)據(jù)集進行預處理。首先將用戶-項目評分表轉化為值為0 或1 的二值化矩陣，將其作為隱式反饋表，具體方式是將評分大于3.5 的值設為1，評分小于或者等于3.5 的值設為0；然后移除評分次數(shù)少于5 的用戶。

3.3 實驗環(huán)境設置

CCPAM-VAE 模型算法由Python 語言實現(xiàn)。實驗硬件設備為Intel?CoreTMi7-8700 @3.2 GHz 處 理器，GeForce RTX 2080Ti 11 GB 顯卡，32 GB 運行內(nèi)存。為了使模型達到較好的效果，使用網(wǎng)格搜索法進行超參數(shù)搜索。超參數(shù)搜索范圍如表2 所示。使用Adam 優(yōu)化器［21］訓練模型，使用ReLU 作為層與層之間的激活函數(shù)。采用Xavier 隨機初始化［22］對模型參數(shù)進行初始化，保證了每層輸出的方差不受該層輸入個數(shù)影響，且每層梯度的方差也不受該層輸出個數(shù)影響。

表2 超參數(shù)取值范圍Table 2 Super-parameter value ranges

3.4 基線模型

Multi-DAE［5］將DAE 應用于協(xié)同過濾算法，并使用多項式邏輯似然函數(shù)替代經(jīng)典高斯似然函數(shù)，實驗結果證明其取得了不錯的效果。

Multi-VAE［5］將VAE 應用于協(xié)同過濾算法，并使用β-VAE［4］損失函數(shù)，其中超參數(shù)β作為重建損失和KL 損失之間的權衡參數(shù)添加到損失函數(shù)中。

Macrid-VAE［7］在Multi-VAE 的基礎上，將神經(jīng)網(wǎng)絡擬合生成的類別向量矩陣與輸入相乘，對輸入數(shù)據(jù)高維度和低維度解耦，增強了模型的可解釋性。

CDAE［7］將用戶潛在因素作為額外輸入，添加到標準去噪自動編碼器模型中。與標準去噪自動編碼器模型一樣，使用Dropout 方式對輸入數(shù)據(jù)添加噪聲。

NCF［23］構建用于協(xié)同過濾的神經(jīng)網(wǎng)絡特征學習框架，并將用戶和物品潛在特征輸入到該框架中。

3.5 評估指標

在測試集上，CCPAM-VAE 模型使用NDCG@K和Recall@K兩個評估指標為每個用戶預測項目排名，并將其與真實項目排名進行比較。

DCG@K為折損累計增益，是一種對排序結果的評價指標，用戶u的DCG@K如式（20）所示，其中，I[·]是指示函數(shù)，r(i)是排名為i的物品，Tu是用戶u點擊過的物品集合。NDCG@K是DCG@K經(jīng)過歸一化后的值，取值范圍為［0，1］。

Recall@K為召回率，是一種衡量推薦效果的指標，用戶u的Recall@K如式（21）所示，其中分母是K和用戶點擊的物品數(shù)的最小值。

3.6 實驗結果分析

3.6.1 模型性能對比

表3 從Recall@20、Recall@50、NDCG@100 3 個指標對CCPAM-VAE 模型進行評估，在數(shù)據(jù)集ML-1M 上，指標平均提升了10.79%、5.12%、8.74%；在數(shù)據(jù)集ML-LS 上，指標平均提升了26.20%、22.26%、17.42%；在數(shù)據(jù)集ML-20M 上，指標平均提升了7.47%、6.97%、6.97%；在數(shù)據(jù)集Netflix 上，指標平均提升了7.34%、8.86%、8.82%。上述結果表明，相較于基線模型，本文模型不僅在大數(shù)據(jù)集ML-1M、ML-20M、Netflix 上有較好的表現(xiàn)，在小數(shù)據(jù)集ML-LS 上也有不錯的效果。這表明復雜先驗能夠幫助模型學習更加復雜的數(shù)據(jù)關系，減少模型出現(xiàn)過擬合的情況。同時，基線模型Macrid-VAE 在這4 個數(shù)據(jù)集上的表現(xiàn)要優(yōu)于其他基線模型，這表明高維度解耦能夠顯著提升性能。

表3 CCPAM-VAE 模型與基線模型的性能對比Table 3 Performance comparison among CCPAM-VAE model and baseline models

3.6.2 不同隱藏層維度和K值對模型性能的影響

圖8 給出了當隱藏層維度d取100、200、300、400、500 而其他參數(shù)不變的情況下，CCPAM-VAE 模型在4 個數(shù)據(jù)集上的NDCG@100 值。從圖8 可以看出，隱藏層維度的增加不一定能帶來模型性能的提升，過高維度或者過低維度會導致模型過擬合或者欠擬合的現(xiàn)象，使模型表現(xiàn)不佳。對于數(shù)據(jù)集MLLS，在隱藏層維度d=200 時，模型性能達到最佳。對于數(shù)據(jù)集ML-1M、ML-20M、Netflix，隱藏層維度d=300 時，模型性能達到最佳。這說明對于不同規(guī)模的數(shù)據(jù)集，模型達到最佳性能所需的隱藏層維度不一定是相同的。

圖8 隱藏層維度對NDCG@100 的影響Fig.8 Impact of hidden layer dimensions on NDCG@100

圖9給出了當K取5、10、15、20時，CCPAM-VAE 模型和基線模型在4 個數(shù)據(jù)集上的NDCG@K值。在數(shù)據(jù) 集ML-20M、Netflix、ML-1M 上，當K取5 時，NDCG@K的值幾乎最大，這表明在數(shù)據(jù)量比較大的情況下，CCPAM-VAE 模型和基線模型不僅適合對物品進行Top-K推薦，而且適合應用于推薦數(shù)量有限的場景。在數(shù)據(jù)量較小的數(shù)據(jù)集ML-LS 中，隨著K值的增大，NDCG@K的值也不斷增大，這表明在數(shù)據(jù)量比較小的情況下，CCPAM-VAE 模型和基線模型不適合進行Top-K推薦。由此可見，CCPAM-VAE 模型在4 個數(shù)據(jù)集上的表現(xiàn)均優(yōu)于基線模型。

圖9 CCPAM-VAE 模型與基線模型在4 個數(shù)據(jù)集上的NDCG@K 對比Fig.9 NDCG@K comparison among CCPAM-VAE model and baseline models on four datasets

3.6.3 消融實驗分析

在數(shù)據(jù)集ML-1M、ML-LS、ML-20M 和Netflix上對CCPAM-VAE 模型的復雜先驗和注意力模塊進行有效性驗證，結果如表4 所示。其中，#-表示不使用復雜先驗和注意力模塊，#a 表示使用復雜先驗，#b 表示添加注意力模塊，#ab 表示使用復雜先驗和注意力模塊。從表4 可以看出，獨立使用復雜先驗和添加注意力模塊均能提升模型精確度，將兩者同時加入CCPAM-VAE 模型，可使模型精確度達到最佳。

表4 CCPAM-VAE 模型消融實驗的Recall@50 對比Table 4 Recall@50 comparison of ablation experiment of CCPAM-VAE model

4 結束語

本文提出融合復雜隱向量先驗與注意力機制的變分自動編碼器模型，使用復雜隱向量先驗分布使模型獲得更多的潛在表征，通過添加輔助隱向量增加隱向量的低維表現(xiàn)能力和解耦性。在公開的數(shù)據(jù)集Movielens-1M、Movielens-Latest-Small、Movielens-20M 和Netflix 上，基 于Recall@20、Recall@50 和NDCG@100 指標進行性能評估，驗證了該模型相較于基線模型能夠有效提高推薦精確度。但由于本文僅將評分矩陣作為模型輸入，在后續(xù)研究中還將在變分自動編碼器中融入知識圖譜、圖神經(jīng)網(wǎng)絡［24-25］等更復雜的數(shù)據(jù)形式和數(shù)據(jù)關系，進一步研究其對推薦效果的影響。