融合注意力機(jī)制與場感知因子分解機(jī)的電影推薦

黃德柒 茍剛

摘要：傳統(tǒng)協(xié)同過濾算法僅利用評分信息進(jìn)行推薦，而沒有利用到更多用戶特征與電影特征，推薦效果不佳。深度學(xué)習(xí)的普通應(yīng)用，為特征提取打下了良好基礎(chǔ)。通過爬取網(wǎng)站上的電影演員信息表，使用卷積神經(jīng)網(wǎng)絡(luò)對文本信息進(jìn)行特征提取，采用結(jié)合注意力機(jī)制與場感知因子分解機(jī)的混合推薦方法，并使用用戶一電影特征矩陣進(jìn)行訓(xùn)練。在公開數(shù)據(jù)集MovieLens上進(jìn)行實(shí)驗(yàn)測試，RMSE達(dá)到0.850，與5組推薦模型進(jìn)行對比，RMSE分別提升了18.0%、11.3%、7.60%、25.7%、6.80%。實(shí)驗(yàn)結(jié)果表明，該模型可以提高推薦效率。

關(guān)鍵詞：推薦系統(tǒng);注意力機(jī)制;場感知因子分解機(jī);卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.11907/rjdk.192143 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP301文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）006-0019-04

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，人們在網(wǎng)上觀看各類電影的同時，也被大量電影信息所淹沒。目前解決信息過載的手段主要分為兩種：搜索引擎與推薦系統(tǒng)。當(dāng)掌握一定量信息時，可以使用搜索引擎進(jìn)行搜索，但網(wǎng)絡(luò)上的視頻數(shù)量十分龐大，而且隨著時間推移，數(shù)量還會繼續(xù)增加。因此，若要在大量信息中尋找到潛在感興趣的電影，則需要用到推薦系統(tǒng)。在互聯(lián)網(wǎng)上，各大視頻網(wǎng)站為用戶推薦視頻是很常見的事情，目前常用推薦算法有基于內(nèi)容的推薦、協(xié)同過濾推薦以及混合推薦?；趦?nèi)容的推薦僅考慮到項(xiàng)目與項(xiàng)目之間的關(guān)聯(lián)，而沒有考慮到用戶的歷史興趣偏好;協(xié)同過濾推薦則是基于用戶之間的相似性，基于多個用戶的歷史行為信息對用戶進(jìn)行潛在項(xiàng)目評分預(yù)測，因此在數(shù)據(jù)稀疏時效果不佳，且沒有利用電影的特征信息;混合推薦由協(xié)同過濾推薦以及基于內(nèi)容的推薦混合而成，既包含了項(xiàng)目特征，又考慮到用戶的歷史興趣偏好，但由于數(shù)據(jù)量過于龐大，完全依靠人工進(jìn)行特征提取需要花費(fèi)大量人工成本，提取效果也不理想。隨著深度學(xué)習(xí)研究的發(fā)展，Covington等針對You了ubc提出一種基于深度神經(jīng)網(wǎng)絡(luò)的模型，使用兩個深度網(wǎng)絡(luò)，一個生成候選集，一個進(jìn)行推薦，這也是工業(yè)上第一次使用深度學(xué)習(xí)進(jìn)行視頻推薦。目前評分預(yù)測中使用較多的方法是使用矩陣分解進(jìn)行預(yù)測，如何加入更多特征信息提高推薦效果也是目前的主要研究內(nèi)容。由于神經(jīng)網(wǎng)絡(luò)良好的特征提取性能，基于深度學(xué)習(xí)進(jìn)行協(xié)同過濾，提取上下文信息學(xué)習(xí)潛在特征已是很普遍的手段，但在學(xué)習(xí)大量特征時，協(xié)同過濾或矩陣分解都沒有考慮到特征之間的交互性。因此，本文提出基于卷積神經(jīng)網(wǎng)絡(luò)對電影信息進(jìn)行特征提取，并將特征應(yīng)用于融合注意力機(jī)制的場感知因子分解機(jī)電影推薦模型（CAFFM）中。

1 推薦模型框架設(shè)計

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取

考慮到目前社會上存在明顯的追星效應(yīng)，電影參演演員會很大程度上影響用戶對于電影的選擇，因此本文將每部電影的演員信息作為電影的一個標(biāo)簽信息，將該部分信息映射到數(shù)字特征空間，并將每個演員表都表示為定長的信息，其中缺失的部分用空白進(jìn)行填補(bǔ)，最后會形成很大的稀疏矩陣。然而，龐大的稀疏矩陣會極大地浪費(fèi)模型訓(xùn)練時間，也會降低推薦效率。因此，本文使用卷積神經(jīng)網(wǎng)絡(luò)對演員信息進(jìn)行提取。

設(shè)計一個單通道的卷積神經(jīng)網(wǎng)絡(luò)，對映射好的特征矩陣輸入進(jìn)行特征提取及降維處理。卷積神經(jīng)網(wǎng)絡(luò)能夠很好地提取文本信息，特別對于演員信息這種有著順序的文本信息，通過局部感知野、共享權(quán)重和下采樣可以有效地捕捉演員順序信息。由于電影演員排序是一個很重要的信息，主角和配角之間的號召力有著明顯差距，本文使用一個四層的卷積網(wǎng)絡(luò)對特征進(jìn)行提取，并通過卷積層進(jìn)行計算。本文采用relu激勵函數(shù)，卷積層和池化層連續(xù)疊加，用于對數(shù)據(jù)進(jìn)行壓縮、減少參數(shù)個數(shù)，并對高維特征進(jìn)行降維，以最大程度保證特征包含的信息。最后在池化層加上注意力層，重點(diǎn)提取特征。

其定義為：

為了更好地提取出特征，采用4個大小不同的卷積核，大小分別為2、3、4、5。將卷積神經(jīng)網(wǎng)絡(luò)的輸出融人電影特征，再將電影特征與用戶特征相連接，即構(gòu)建出整個特征矩陣，用于接下來的模型輸入。

1.2 融合注意力機(jī)制的場感知因子分解機(jī)

場感知因子分解機(jī)（Field-aware Factorization Machine，F(xiàn)FM）是一種隱向量學(xué)習(xí)的非線性模型，即將同一性質(zhì)的特征歸于一個場中。在電影推薦中，部分屬性下?lián)碛卸鄠€值，如電影有多個類型，實(shí)際上屬于同一性質(zhì)，即歸于同一個場。FFM模型具有強(qiáng)大的泛化能力，并能很好地利用上下文信息，其定義如公式（2）所示。

對于不同特征，都會有一個交互過程，將公式表示成另一種形式，即：

注意力模型（Attention Model）被廣泛應(yīng)用于自然語言處理、圖像識別及語音識別等不同類型的深度學(xué)習(xí)模型中，其借鑒了人的注意力機(jī)制，本文將其應(yīng)用于推薦系統(tǒng)。在評分預(yù)測中，不同項(xiàng)對最終結(jié)果的影響是不同的，融人注意力機(jī)制，給多元二次項(xiàng)中的每個項(xiàng)添加一個注意力系數(shù)，用于篩選出具有更高價值的項(xiàng)，并獲取更多所需關(guān)注目標(biāo)的細(xì)節(jié)信息，同時抑制其它無用信息。融人注意力因子的場感知因子分解機(jī)公式如下：

其中，a_i、a_i，j的值可以解釋為后面所乘項(xiàng)在目標(biāo)預(yù)測中的重要性。對于訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的特征，無法估計其注意力值。為解決一般化問題，本文進(jìn)一步使用多層感知器（MLP）對注意力值進(jìn)行參數(shù)化，形成一個注意力網(wǎng)絡(luò)。定義為：

網(wǎng)絡(luò)采用Relu作為激活函數(shù)，并對注意力值使用softmax函數(shù)進(jìn)行歸一化，歸一化過程如式（7）、式（8）所示。

1.3 模型框架與損失函數(shù)

最終模型框架設(shè)計如圖2所示。

損失函數(shù)取最小評分誤差，即：

其中L（x）為模型損失值，y是用戶對電影的實(shí)際評分，R（x）為模型預(yù)測值，為防止過擬合現(xiàn)象，采用dropout與正則化兩種技術(shù)，正則化系數(shù)在式（8）中表現(xiàn)為入（過擬合懲罰因子），||w||是L2范數(shù)，作為過擬合懲罰項(xiàng)。Dropout的思想是在訓(xùn)練過程中隨機(jī)地丟棄一些神經(jīng)元，以阻止特征檢測器的共同作用，提高神經(jīng)網(wǎng)絡(luò)性能。因此，優(yōu)化模型的目標(biāo)是使損失函數(shù)最小化，本文采取隨機(jī)梯度下降（SGD）算法，通過最小化損失函數(shù)訓(xùn)練模型參數(shù)，根據(jù)樣本進(jìn)行迭代更新，可以控制更新速率和迭代次數(shù)，從而使模型的訓(xùn)練變得可控。