• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于注意力機(jī)制的深度協(xié)同推薦模型

    2022-09-22 05:59:36袁雪梅浦藝鐘徐子凡
    軟件導(dǎo)刊 2022年9期
    關(guān)鍵詞:注意力向量矩陣

    袁雪梅,程 科,2,浦藝鐘,2,徐子凡

    (1.江蘇科技大學(xué)計(jì)算機(jī)學(xué)院;2.鎮(zhèn)江明知科技有限公司,江蘇鎮(zhèn)江 212100)

    0 引言

    隨著互聯(lián)網(wǎng)的迅速發(fā)展,數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)[1]。推薦系統(tǒng)作為一種可以從海量數(shù)據(jù)中有效挖掘有價(jià)值信息的技術(shù),受到了廣泛關(guān)注[2]。推薦系統(tǒng)通過(guò)分析歷史行為數(shù)據(jù)向用戶推薦其可能感興趣的項(xiàng)目。目前,推薦系統(tǒng)已經(jīng)與人們的日常生活息息相關(guān),并且在多種領(lǐng)域大放異彩,例如購(gòu)物平臺(tái)、新聞媒體等。

    推薦算法在推薦系統(tǒng)中占據(jù)核心地位,傳統(tǒng)推薦算法主要包括基于內(nèi)容的推薦、協(xié)同過(guò)濾推薦和混合推薦3種[3]。其中,協(xié)同過(guò)濾推薦通過(guò)對(duì)用戶歷史行為數(shù)據(jù)進(jìn)行廣泛挖掘并加以分析得到其對(duì)項(xiàng)目的偏好信息,進(jìn)而向用戶推薦其可能感興趣的內(nèi)容。在眾多協(xié)同過(guò)濾算法中,矩陣分解由于具有擴(kuò)展性好、準(zhǔn)確率高的特性而受到諸多學(xué)者的青睞。然而,矩陣分解為用戶作出推薦時(shí)僅依靠單一的顯性評(píng)分,在實(shí)際場(chǎng)景中很容易遭遇數(shù)據(jù)稀疏和冷啟動(dòng)問(wèn)題。隨著新時(shí)代網(wǎng)絡(luò)的高速發(fā)展,各種形式的輔助信息層出不窮,例如空間位置信息、時(shí)間信息、文本信息等。其中評(píng)論文本信息含有豐富的語(yǔ)義和情感信息,大多數(shù)用戶在消費(fèi)之前都會(huì)參考評(píng)論信息再作出決定,因此本文對(duì)評(píng)論文本信息進(jìn)行建模,以期從中提取出有價(jià)值的用戶和商品特征。

    深度學(xué)習(xí)技術(shù)可提取深層數(shù)據(jù)特征并有效利用多源異構(gòu)數(shù)據(jù),應(yīng)用廣泛。例如,He 等[4]將矩陣分解在可擴(kuò)展性方面的優(yōu)勢(shì)與深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)強(qiáng)大的提取非線性特征功能相結(jié)合,設(shè)計(jì)了一種通用的神經(jīng)協(xié)同過(guò)濾模型(Neural Collaborative Filtering,NCF),大大提高了推薦效果;Alfarhood 等[5]提出DeepHCF(Deep Hybrid Collaborative Filtering)模型,該模型使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)提取項(xiàng)目評(píng)論特征,將用戶和項(xiàng)目特征送入因子分解機(jī)(Factorization Machines,F(xiàn)M)[6]得到預(yù)測(cè)評(píng)分,然而該模型僅考慮到項(xiàng)目的評(píng)論文本信息。本文在DeepHCF 模型的基礎(chǔ)上設(shè)計(jì)出基于注意力機(jī)制的深度協(xié)同模型DeepAM(Deep Attention Mechanism),主要從以下兩個(gè)方面展開(kāi)研究工作:①引入注意力機(jī)制,加強(qiáng)局部特征與整個(gè)文本序列的相關(guān)性,關(guān)注評(píng)論文本中最有價(jià)值的語(yǔ)義特征,更準(zhǔn)確地獲取用戶興趣偏好和項(xiàng)目屬性特征;②使用FM 提取用戶和項(xiàng)目的低階特征,使用DNN 擬合用戶與物品之間的非線性高階函數(shù),克服了矩陣分解的數(shù)據(jù)稀疏問(wèn)題,并僅采用簡(jiǎn)單的線性加權(quán)交互表示用戶與物品的交互缺陷[7]。

    1 相關(guān)研究

    1.1 基于評(píng)論文本的推薦算法

    基于評(píng)分矩陣的推薦算法簡(jiǎn)單高效,但其本身固有的數(shù)據(jù)稀疏和冷啟動(dòng)缺陷使得該方法在用戶對(duì)項(xiàng)目評(píng)分?jǐn)?shù)據(jù)很少的情況下效果不佳。由于用戶對(duì)項(xiàng)目的評(píng)論信息中蘊(yùn)含著豐富的語(yǔ)義信息,研究者們開(kāi)始思考通過(guò)加入評(píng)論文本這類輔助信息彌補(bǔ)單一模型的缺陷。例如,Mukherjee 等[8]發(fā)現(xiàn)對(duì)評(píng)論文本進(jìn)行分析有助于提高預(yù)測(cè)精度,使用文本建模是解決評(píng)論矩陣稀疏性問(wèn)題最為直接的方法。然而該模型學(xué)習(xí)到的均為淺層線性特征,且基于詞袋的模型無(wú)法保留詞序信息;Kim 等[9]提出的ConvMF+(Convolution Matrix Factorization)使用CNN 保留了部分文本詞序信息,可以挖掘出更加準(zhǔn)確的項(xiàng)目隱向量,然而該模型忽略了用戶文本信息的重要性;周傳華等[10]提出一種融合評(píng)分矩陣和評(píng)論文本的DNN 模型,該模型很好地克服了矩陣分解中固有的評(píng)分矩陣稀疏問(wèn)題,并且提高了推薦準(zhǔn)確性,但其評(píng)分預(yù)測(cè)模塊提取特征方式較為單一。

    1.2 融入注意力機(jī)制的推薦算法

    注意力機(jī)制最早由Treisman 等[11]提出,本質(zhì)是一種模擬人腦注意力的模型。人類對(duì)同一個(gè)輸入的不同部位給予的關(guān)注度不盡相同,使用注意力機(jī)制可以捕捉到最有價(jià)值的輸入,將重點(diǎn)資源集中在對(duì)結(jié)果有突出影響力的內(nèi)容上,極大優(yōu)化各種深度學(xué)習(xí)任務(wù)結(jié)果。2014 年,Google 團(tuán)隊(duì)[12]將注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)模型相結(jié)合,取得了很好的圖像分類效果。此后,阿里團(tuán)隊(duì)[13]提出深度興趣網(wǎng)絡(luò)(Deep Interest Network,DIN),使用注意力機(jī)制捕捉用戶的興趣點(diǎn),在一定程度上提升了模型的表達(dá)能力;謝恩寧等[14]提出DeepCF-A(Deep Collaborative Filtering Model Based on Attention)模型,在多層感知器(Multilayer Perceptron,MLP)中融入注意力機(jī)制得到用戶與項(xiàng)目交互的非線性特征,然而該方法只是簡(jiǎn)單利用了評(píng)分矩陣信息;劉浩瀚等[15]在建模用戶點(diǎn)擊行為時(shí)利用注意力機(jī)制捕獲用戶的主要意圖;馮興杰等[16]提出一種個(gè)性化注意力機(jī)制對(duì)評(píng)論進(jìn)行深度建模,使用門控機(jī)制融合用戶和商品的隱向量,進(jìn)一步提升了評(píng)分預(yù)測(cè)的準(zhǔn)確性,但該模型沒(méi)有考慮到用戶和項(xiàng)目隱表示的非線性交互。

    本文提出的DeepAM 模型將CNN 與矩陣分解模型相結(jié)合,通過(guò)兩個(gè)并行的CNN 挖掘用戶和項(xiàng)目文本評(píng)論特征,融入注意力機(jī)制賦予評(píng)論權(quán)重;然后同時(shí)使用FM 和DNN 分別提取用戶和項(xiàng)目的低階線性交互特征和高階非線性特征,最終取得了很好的推薦效果。

    2 模型建立

    DeepAM 模型結(jié)構(gòu)如圖1 所示,該模型由評(píng)分?jǐn)?shù)據(jù)提取模塊、評(píng)論數(shù)據(jù)提取模塊、融合模塊、評(píng)分預(yù)測(cè)模塊組成。評(píng)分?jǐn)?shù)據(jù)提取模塊使用MLP 得到用戶和項(xiàng)目的隱向量,該模塊通過(guò)兩個(gè)結(jié)構(gòu)一致的CNN 對(duì)用戶和項(xiàng)目評(píng)論文本進(jìn)行特征學(xué)習(xí),并在嵌入層引入注意力機(jī)制使CNN 將重點(diǎn)資源集中到與目標(biāo)關(guān)聯(lián)度高的部分。評(píng)分預(yù)測(cè)模塊使用FM 和DNN 加權(quán)組合分別提取用戶和項(xiàng)目的低階交互特征和非線性高階特征,然后通過(guò)FM 和DNN 得到兩個(gè)評(píng)分,采用加權(quán)融合的方式得到DeepAM 的最終評(píng)分。

    2.1 評(píng)分?jǐn)?shù)據(jù)提取模塊

    MLP 的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有強(qiáng)大的自動(dòng)學(xué)習(xí)特征的能力,可以解決非線性問(wèn)題,本文模型便使用MLP 提取用戶—項(xiàng)目評(píng)分矩陣的特征。評(píng)分?jǐn)?shù)據(jù)提取模塊的輸入為用戶ID 和項(xiàng)目ID,首先經(jīng)過(guò)嵌入層映射成為稠密向量,再輸入到MLP 層提取特征,得到用戶隱向量和項(xiàng)目隱向量。MLP 層輸出值的計(jì)算公式為:

    式中,k表示第k層,bk表示第k層偏置。

    2.2 評(píng)論數(shù)據(jù)提取模塊

    評(píng)論數(shù)據(jù)提取模塊使用CNN 挖掘用戶和項(xiàng)目評(píng)論文本的上下文特征,將得到的評(píng)論文本特征用于評(píng)分預(yù)測(cè)。CNN 由嵌入層、基于注意力的權(quán)值更新層、卷積層、池化層和全連接層組成。

    Fig.1 Overall architecture of DeepAM model圖1 DeepAM 模型整體架構(gòu)

    2.2.1 嵌入層

    嵌入層使用詞嵌入模型將評(píng)論數(shù)據(jù)通過(guò)函數(shù)映射到新的表達(dá)空間,實(shí)現(xiàn)離散的特征取值到對(duì)應(yīng)向量的映射,兩個(gè)詞義相近的詞在表達(dá)空間中的距離相近。假設(shè)詞向量映射f:M→Rn,表示根據(jù)詞字典M將詞映射到n維向量的函數(shù)。在實(shí)驗(yàn)中,首先將每個(gè)用戶Uu的評(píng)論文本通過(guò)嵌入層的作用映射為詞向量,合并成包含n個(gè)詞的文檔d,因此得到用戶Uu的評(píng)論詞嵌入矩陣Mu,表示為:

    式中,dm表示文檔d中第m個(gè)詞m=1,2,…,n;θ(dm)表示將該詞dm映射到n維詞向量空間。

    2.2.2 基于注意力機(jī)制的權(quán)值更新層

    人類視覺(jué)通過(guò)掃描全局圖像可以快速高效地獲得重點(diǎn)關(guān)注的目標(biāo)區(qū)域,從而對(duì)該重點(diǎn)目標(biāo)區(qū)域投入更多注意力資源。深度學(xué)習(xí)中的注意力機(jī)制模仿人類的視覺(jué)注意力,被廣泛應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域中。本文將基于單詞級(jí)別的注意力機(jī)制引入到CNN 中,對(duì)重點(diǎn)詞向量賦予更高權(quán)重,以實(shí)現(xiàn)對(duì)評(píng)論文本重點(diǎn)內(nèi)容的準(zhǔn)確建模。

    為了突出重點(diǎn)評(píng)論的貢獻(xiàn),在卷積層前加入一層注意力權(quán)值更新層,通過(guò)計(jì)算單個(gè)詞向量的權(quán)值為輸入層的詞向量序列重新賦予權(quán)重。使用余弦相似度計(jì)算詞嵌入矩陣Mu中每個(gè)詞向量與所有用戶評(píng)論文本詞向量之間的相似度系數(shù)simm,表示為:

    式中,表示用戶評(píng)論詞向量字典中第m個(gè)詞向量;表示所有用戶詞向量。

    經(jīng)過(guò)歸一化處理可得到與每個(gè)詞向量相對(duì)應(yīng)的單詞級(jí)別注意力權(quán)重am,表示為:

    將用戶所有詞向量的注意力權(quán)重am拼接得到注意力權(quán)值矩陣A(Uu),表示為:

    對(duì)注意力權(quán)值矩陣與用戶UU的詞向量矩陣Mu進(jìn)行乘積操作,得到更新的帶權(quán)重信息的詞向量矩陣,表示為:

    2.2.3 卷積層

    卷積層為CNN 的核心層,經(jīng)過(guò)卷積層的卷積操作后,原始輸入特征會(huì)被增強(qiáng)。該層用于提取用戶和項(xiàng)目評(píng)論詞向量的抽象特征。假設(shè)神經(jīng)元的個(gè)數(shù)為m,神經(jīng)元j使用的卷積核Kj∈?c×t詞窗大小為t。式(6)中得到的詞向量矩陣經(jīng)過(guò)卷積核Kj的作用后可表示為:

    式中,*為卷積操作;bj為偏置;f選擇ReLu 函數(shù)進(jìn)行非線性映射操作,表示為:

    2.2.4 池化層

    池化層將文本壓縮至固定長(zhǎng)度nc,以便于后續(xù)處理。通過(guò)最大池化層的作用,卷積層輸出kj將會(huì)變成固定向量oj,表示為:

    使用s個(gè)卷積核分別提取不同文本特征,則s個(gè)卷積核的輸出向量可表示為:

    2.2.5 全連接層

    全連接層用于對(duì)提取到的所有特征進(jìn)行加權(quán)處理,將經(jīng)過(guò)最大池化操作得到的輸出向量輸入全連接層。全連接層的輸出表示為:

    式中,W為權(quán)重矩陣,b為全連接層的偏置。同理可得項(xiàng)目評(píng)論向量Outputi_review。

    2.3 融合模塊

    使用特征融合方法將處于不同特征空間的輸出置于同一個(gè)空間中,特征融合采取Concatenation 操作方式。將基于評(píng)分矩陣的用戶隱向量Outputi_review和CNN 提取到的用戶評(píng)論文本特征Outputu_review進(jìn)行橫向拼接,其融合方式表示為:

    同理可得項(xiàng)目特征向量Outputi。

    2.4 評(píng)分預(yù)測(cè)模塊

    評(píng)分預(yù)測(cè)模塊由FM 和DNN 組成。FM 通過(guò)不同向量之間的關(guān)聯(lián)計(jì)算達(dá)到提取交叉低階特征的效果。將特征融合模塊得到的用戶和項(xiàng)目特征向量送入FM,二階多項(xiàng)式的FM 模型輸出表示為:

    式中,w0為常數(shù)偏置,wi為向量第i個(gè)分量的權(quán)重,xi表示向量中的第i個(gè)分量,xj表示第j個(gè)分量,wij表示向量中第i個(gè)與第j個(gè)特征向量的交互值,n表示樣本數(shù)目。

    DNN 由全連接的多層神經(jīng)網(wǎng)絡(luò)組成,擁有很強(qiáng)的建模能力,可用于提取非線性高階特征。DNN 的隱層輸出表示為:

    式中,wk表示第l層權(quán)重值,bk表示第l層偏置。

    DeepAM 模型的最終輸出由FM 和DNN 的輸出線性加權(quán)組合而成,表示為:

    式中,α表示權(quán)重。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 實(shí)驗(yàn)環(huán)境

    實(shí)驗(yàn)環(huán)境如表1所示。

    Table 1 Experimental environment表1 實(shí)驗(yàn)環(huán)境

    3.2 實(shí)驗(yàn)數(shù)據(jù)集

    使用Amazon 5-core 中的3 個(gè)子類別數(shù)據(jù)集Toys and Games、Instant Video 和Digital Music 評(píng) 估DeepAM 模 型 的性能。3 個(gè)數(shù)據(jù)集均包含用戶對(duì)商品的評(píng)論以及用戶對(duì)項(xiàng)目1~5之間的評(píng)分信息。表2為各個(gè)數(shù)據(jù)集的基本信息。

    Table 2 Dataset basic information表2 數(shù)據(jù)集基本信息

    實(shí)驗(yàn)過(guò)程中僅保留4 個(gè)與實(shí)驗(yàn)相關(guān)的屬性,分別為用戶ID、商品ID、評(píng)分、評(píng)論文本。

    3.3 評(píng)價(jià)指標(biāo)

    采用均方根誤差RMSE 驗(yàn)證所得到的預(yù)測(cè)結(jié)果與真實(shí)評(píng)分的差異,計(jì)算公式為:

    式中,N 為樣本個(gè)數(shù),yn為第n個(gè)樣本的實(shí)際評(píng)分,為第n個(gè)樣本的預(yù)測(cè)評(píng)分。

    3.4 實(shí)驗(yàn)參數(shù)設(shè)置

    按照8∶1∶1 的比例隨機(jī)將每個(gè)實(shí)驗(yàn)數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,其中訓(xùn)練集用于訓(xùn)練模型,驗(yàn)證集用于調(diào)整模型超參數(shù),測(cè)試集用于測(cè)試性能。采用五折交叉驗(yàn)證法,選擇Adam 優(yōu)化器,Dropout[17]設(shè)置為0.5,正則化系數(shù)為0.01,學(xué)習(xí)率為0.01,批量大小為128,迭代次數(shù)為200。實(shí)驗(yàn)期間刪除所有測(cè)試集和驗(yàn)證集評(píng)論。

    3.5 模型參數(shù)分析

    選擇3 組比較重要的超參數(shù)在Toys and Games 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),包括詞向量嵌入維度、MLP 隱藏層數(shù)量以及α值。

    3.5.1 不同詞向量嵌入維度對(duì)模型的影響

    分別使用50、100、150、200 維預(yù)訓(xùn)練的詞嵌入模型進(jìn)行測(cè)試,結(jié)果如圖2 所示。可以看出,在詞向量的嵌入維度為50 時(shí),模型取得最佳效果。隨著詞向量維度的增加,高維空間中的詞向量由稠密變得稀疏,不同詞向量之間的聯(lián)系會(huì)被削弱,因此RMSE 逐漸增大。

    Fig.2 Impact of embedding dimensions on the model圖2 詞嵌入維度對(duì)模型的影響

    3.5.2 不同MLP層數(shù)對(duì)模型的影響

    設(shè)置MLP 隱藏層數(shù)分別為1、2、3、4,結(jié)果如圖3 所示。

    Fig.3 Influence of the number of MLP hidden layers on the model圖3 MLP隱藏層數(shù)量對(duì)模型的影響

    可以看出,隨著隱藏層數(shù)目的增加,模型RMSE 指標(biāo)呈現(xiàn)出先減小后增加的趨勢(shì),說(shuō)明多層神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更多的表示信息,但當(dāng)隱層數(shù)目增加到一定程度后,算法的性能提升有限,且模型復(fù)雜度也會(huì)增加。綜合考慮,當(dāng)隱藏層數(shù)目為3時(shí)模型取得最佳推薦性能。

    3.5.3 不同α值對(duì)模型的影響

    α表示FM 和DNN 預(yù)測(cè)評(píng)分的權(quán)值,分別設(shè)置α值為0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0,分別進(jìn)行10 組實(shí)驗(yàn),迭代次數(shù)設(shè)置為100,結(jié)果如圖4 所示??梢钥闯觯?dāng)權(quán)重α為0.3 時(shí),模型RMSE 可取得最小值,相較α為0.1時(shí)下降了4.8%,相較α為1.0 時(shí)下降了10.5%,證實(shí)了同時(shí)使用FM和DNN對(duì)特征進(jìn)行提取對(duì)于模型推薦的有效性。

    Fig.4 Influence of α value on the model圖4 α值對(duì)模型的影響

    3.6 比較實(shí)驗(yàn)

    選擇5 種經(jīng)典模型與本文模型進(jìn)行比較,分別為:①LFM(Latent Factor Model)[18]。其為經(jīng)典的矩陣分解算法,僅使用用戶對(duì)項(xiàng)目的評(píng)分矩陣作為輸入,方法簡(jiǎn)單且效果好;②NeuMF。結(jié)合了傳統(tǒng)矩陣分解和MLP,可同時(shí)提取線性和非線性特征,是典型的基于深度學(xué)習(xí)的推薦算法;③DeepCoNN[19]。使用兩個(gè)并行的CNN 分別學(xué)習(xí)用戶評(píng)論信息和項(xiàng)目評(píng)論信息,是第一個(gè)應(yīng)用神經(jīng)網(wǎng)絡(luò)處理評(píng)論信息的推薦算法;④DeepRec。融合評(píng)分矩陣和評(píng)論文本的DNN 推薦模型;⑤NARRE[20]。帶有評(píng)論級(jí)別解釋的神經(jīng)注意力回歸模型,可區(qū)分各條評(píng)論的貢獻(xiàn)。比較模型的信息如表3所示。

    Table 3 Comparison model information表3 比較模型信息

    DeepAM 模型與4 種對(duì)比模型在Amazon 的3 個(gè)數(shù)據(jù)集上的RMSE 結(jié)果比較如表4 所示。可以看出,所有模型在Toys and Games 數(shù)據(jù)集上的表現(xiàn)均優(yōu)于Instant Video 和Digital Music 數(shù)據(jù)集,這是由于Toys and Games 數(shù)據(jù)集包含豐富的數(shù)據(jù)內(nèi)容。

    此外,基于深度學(xué)習(xí)的推薦模型性能優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)推薦模型。這是由于傳統(tǒng)機(jī)器學(xué)習(xí)推薦模型需要人為選擇特征,并且只能挖掘淺層特征,而深度學(xué)習(xí)模型中的多層神經(jīng)網(wǎng)絡(luò)在自動(dòng)挖掘用戶和項(xiàng)目深層特征信息方面有著卓越效果。隨著數(shù)據(jù)量的增多,深度學(xué)習(xí)模型的優(yōu)勢(shì)會(huì)更加明顯。與僅使用評(píng)分?jǐn)?shù)據(jù)的模型(LFM、NeuMF)相比,同時(shí)提取評(píng)分和評(píng)論信息特征的推薦模型(DeepRec、NARRE、DeepAM)具有更好的推薦性能。由此可以得出評(píng)論信息蘊(yùn)含重要的用戶和項(xiàng)目屬性特征,可用于提高推薦效果的結(jié)論。

    Table 4 RMSE comparison of each model表4 各模型RMSE值比較

    DeepRec 模型同時(shí)使用評(píng)分矩陣信息和評(píng)論文本信息,取得了較好的推薦效果,但沒(méi)有區(qū)分詞向量的權(quán)重,無(wú)法對(duì)比較重要的區(qū)域投入更多資源,推薦效果沒(méi)有融入注意力機(jī)制的模型(NARRE、DeepAM)優(yōu)越,由此證明了注意力機(jī)制的有效性。

    NARRE 模型能抑制無(wú)用評(píng)論對(duì)模型的影響,但其沒(méi)有涉及到用戶和項(xiàng)目隱表示的非線性特征交互,而Deep-AM 模型在評(píng)分預(yù)測(cè)模塊同時(shí)利用了FM 提取低階交互特征和DNN 挖掘非線性特征的功能。實(shí)驗(yàn)結(jié)果表明,Deep-AM 模型的推薦效果相比NARRE 提升了3.9%,證明了DeepAM 同時(shí)引入FM 和DNN 的有效性。

    4 結(jié)語(yǔ)

    本文提出DeepAM 模型,將用戶和物品評(píng)論信息引入基于評(píng)分矩陣的推薦算法中,并且融入注意力機(jī)制給評(píng)論分配權(quán)重,在評(píng)分預(yù)測(cè)模塊同時(shí)使用FM 提取低階交互特征和DNN 提取非線性特征。在3 組公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型的推薦準(zhǔn)確度相較其他5 個(gè)常用模型均有一定程度的提高。若在今后實(shí)驗(yàn)中增加更多輔助信息,如用戶和項(xiàng)目圖片、用戶社交網(wǎng)絡(luò)、地理位置等,可更加準(zhǔn)確完善地挖掘出用戶和商品特征,取得更好的推薦效果。

    猜你喜歡
    注意力向量矩陣
    向量的分解
    讓注意力“飛”回來(lái)
    聚焦“向量與三角”創(chuàng)新題
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    A Beautiful Way Of Looking At Things
    初等行變換與初等列變換并用求逆矩陣
    向量垂直在解析幾何中的應(yīng)用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    矩陣
    南都周刊(2015年4期)2015-09-10 07:22:44
    矩陣
    南都周刊(2015年3期)2015-09-10 07:22:44
    亚洲精品色激情综合| 国产精品日韩av在线免费观看| 制服丝袜大香蕉在线| 久久久久九九精品影院| 午夜久久久久精精品| 国产免费男女视频| 国产亚洲精品第一综合不卡| 亚洲性夜色夜夜综合| 欧美成狂野欧美在线观看| 人妻久久中文字幕网| 一本综合久久免费| av天堂在线播放| 久久久久久久午夜电影| 日本撒尿小便嘘嘘汇集6| 国内精品久久久久精免费| 国产乱人伦免费视频| 亚洲专区中文字幕在线| 床上黄色一级片| 午夜精品在线福利| 看免费av毛片| 亚洲精品中文字幕在线视频| 国产精品九九99| 久9热在线精品视频| 国产精品一区二区免费欧美| 黑人巨大精品欧美一区二区mp4| 欧美在线黄色| 成人午夜高清在线视频| 国产日本99.免费观看| 啦啦啦韩国在线观看视频| 精品一区二区三区视频在线观看免费| 国产精品一及| 1024手机看黄色片| 午夜日韩欧美国产| 神马国产精品三级电影在线观看 | 成人精品一区二区免费| 12—13女人毛片做爰片一| 久久久久久久久久黄片| av福利片在线| 久久久久免费精品人妻一区二区| 亚洲国产精品999在线| 俄罗斯特黄特色一大片| 免费在线观看亚洲国产| 久久久久久久久中文| 国产三级中文精品| 黄频高清免费视频| 日本三级黄在线观看| 精品福利观看| 国产免费av片在线观看野外av| 免费人成视频x8x8入口观看| 伦理电影免费视频| 亚洲中文字幕日韩| 国产精品日韩av在线免费观看| 国产成人aa在线观看| 国产激情欧美一区二区| 久久久久久人人人人人| 最近视频中文字幕2019在线8| bbb黄色大片| 国产1区2区3区精品| 老熟妇仑乱视频hdxx| 十八禁网站免费在线| 成人手机av| 欧美久久黑人一区二区| 国内少妇人妻偷人精品xxx网站 | 午夜老司机福利片| 久久精品亚洲精品国产色婷小说| 亚洲国产看品久久| 一本久久中文字幕| 人妻丰满熟妇av一区二区三区| 人妻夜夜爽99麻豆av| 亚洲精品美女久久久久99蜜臀| 成年人黄色毛片网站| 91老司机精品| 国产精品影院久久| 51午夜福利影视在线观看| 99久久综合精品五月天人人| av福利片在线观看| 99在线人妻在线中文字幕| 别揉我奶头~嗯~啊~动态视频| 日日摸夜夜添夜夜添小说| 亚洲全国av大片| 琪琪午夜伦伦电影理论片6080| 美女 人体艺术 gogo| 午夜日韩欧美国产| 欧美黑人精品巨大| 久久性视频一级片| 亚洲国产欧美网| 国产亚洲精品第一综合不卡| cao死你这个sao货| 久久午夜综合久久蜜桃| 日韩精品青青久久久久久| 中文字幕熟女人妻在线| 色综合欧美亚洲国产小说| 777久久人妻少妇嫩草av网站| 婷婷六月久久综合丁香| 香蕉国产在线看| 免费观看精品视频网站| 天天躁夜夜躁狠狠躁躁| 久久中文字幕一级| 黄色丝袜av网址大全| 成人特级黄色片久久久久久久| 国产精品一区二区三区四区久久| 久久这里只有精品19| 国产亚洲精品av在线| 免费看a级黄色片| 一个人免费在线观看电影 | 欧美精品亚洲一区二区| 亚洲男人天堂网一区| 欧美人与性动交α欧美精品济南到| 日日爽夜夜爽网站| 美女免费视频网站| 国产熟女午夜一区二区三区| 免费在线观看视频国产中文字幕亚洲| 男女下面进入的视频免费午夜| 亚洲精品久久国产高清桃花| 午夜日韩欧美国产| 一进一出好大好爽视频| 久99久视频精品免费| 女人爽到高潮嗷嗷叫在线视频| 亚洲国产精品sss在线观看| av超薄肉色丝袜交足视频| 国产又黄又爽又无遮挡在线| 天天躁夜夜躁狠狠躁躁| 母亲3免费完整高清在线观看| 中文在线观看免费www的网站 | 可以免费在线观看a视频的电影网站| 老熟妇乱子伦视频在线观看| 国产精品一区二区三区四区久久| 久久精品国产99精品国产亚洲性色| 亚洲色图av天堂| 国产精品,欧美在线| 午夜精品久久久久久毛片777| 亚洲午夜理论影院| 国产av一区二区精品久久| 国产精华一区二区三区| 久久 成人 亚洲| 午夜影院日韩av| 一级片免费观看大全| 精品第一国产精品| 天天躁夜夜躁狠狠躁躁| 日本 欧美在线| 日韩大尺度精品在线看网址| 亚洲成人中文字幕在线播放| 麻豆成人午夜福利视频| 两性午夜刺激爽爽歪歪视频在线观看 | 精品国产乱码久久久久久男人| 人妻久久中文字幕网| 午夜两性在线视频| videosex国产| 久久伊人香网站| 老汉色∧v一级毛片| 嫩草影院精品99| 午夜福利成人在线免费观看| 我的老师免费观看完整版| 露出奶头的视频| 99久久综合精品五月天人人| 精品一区二区三区四区五区乱码| 久热爱精品视频在线9| 久久精品影院6| 欧美丝袜亚洲另类 | 丰满的人妻完整版| 可以在线观看的亚洲视频| 欧美乱色亚洲激情| 国产成年人精品一区二区| 国产成人av教育| 成人高潮视频无遮挡免费网站| av在线播放免费不卡| 桃红色精品国产亚洲av| 9191精品国产免费久久| 一进一出好大好爽视频| 性欧美人与动物交配| 婷婷精品国产亚洲av| 国产av不卡久久| 成年免费大片在线观看| 成人特级黄色片久久久久久久| a级毛片a级免费在线| 午夜福利成人在线免费观看| 男人舔奶头视频| 夜夜爽天天搞| 在线国产一区二区在线| 国产高清激情床上av| 久久久国产成人免费| 久久精品亚洲精品国产色婷小说| 国产精品香港三级国产av潘金莲| 三级毛片av免费| 老司机在亚洲福利影院| 露出奶头的视频| 国产成人啪精品午夜网站| 麻豆久久精品国产亚洲av| 俄罗斯特黄特色一大片| 欧美一级a爱片免费观看看 | 一夜夜www| 婷婷丁香在线五月| 久久精品91蜜桃| 极品教师在线免费播放| 国产精品 欧美亚洲| 国产精品综合久久久久久久免费| 这个男人来自地球电影免费观看| 色综合婷婷激情| 婷婷六月久久综合丁香| 亚洲免费av在线视频| 欧美成人午夜精品| or卡值多少钱| 精品久久久久久久久久久久久| 成人国产一区最新在线观看| 老鸭窝网址在线观看| 可以在线观看毛片的网站| 天天躁狠狠躁夜夜躁狠狠躁| 嫁个100分男人电影在线观看| 亚洲av片天天在线观看| 亚洲国产欧洲综合997久久,| 久久伊人香网站| 波多野结衣高清无吗| 国产精品久久视频播放| 亚洲国产欧美网| 亚洲激情在线av| 国产亚洲欧美98| 亚洲熟女毛片儿| 香蕉丝袜av| 久久久久久久久免费视频了| 午夜a级毛片| 亚洲人与动物交配视频| 午夜两性在线视频| 99久久无色码亚洲精品果冻| 好看av亚洲va欧美ⅴa在| 亚洲成人国产一区在线观看| 亚洲国产中文字幕在线视频| 伊人久久大香线蕉亚洲五| 中亚洲国语对白在线视频| 日韩欧美在线乱码| 在线免费观看的www视频| 桃色一区二区三区在线观看| 国产爱豆传媒在线观看 | 国产爱豆传媒在线观看 | 亚洲 国产 在线| 久久精品91无色码中文字幕| 亚洲va日本ⅴa欧美va伊人久久| 亚洲熟妇熟女久久| 国产高清videossex| 亚洲 国产 在线| 日韩大码丰满熟妇| 国产精品国产高清国产av| 久久精品综合一区二区三区| 精品久久久久久久久久免费视频| av国产免费在线观看| 可以在线观看的亚洲视频| 变态另类成人亚洲欧美熟女| 欧美成人性av电影在线观看| 欧美日韩国产亚洲二区| 九九热线精品视视频播放| 级片在线观看| 亚洲欧美日韩无卡精品| 美女 人体艺术 gogo| 中文亚洲av片在线观看爽| 丝袜美腿诱惑在线| 国产激情偷乱视频一区二区| 亚洲精品色激情综合| 欧美日韩亚洲国产一区二区在线观看| 午夜福利在线在线| 禁无遮挡网站| 亚洲欧美精品综合一区二区三区| 久久中文字幕人妻熟女| 久久 成人 亚洲| 久久精品国产清高在天天线| 国产激情久久老熟女| 亚洲精品在线观看二区| 1024手机看黄色片| 欧美成人午夜精品| 18美女黄网站色大片免费观看| 国产精品亚洲美女久久久| 亚洲国产欧洲综合997久久,| 欧美久久黑人一区二区| 1024香蕉在线观看| 国产片内射在线| 亚洲欧美日韩无卡精品| 桃色一区二区三区在线观看| 每晚都被弄得嗷嗷叫到高潮| 中亚洲国语对白在线视频| 无限看片的www在线观看| 亚洲精品国产精品久久久不卡| 伦理电影免费视频| 国产蜜桃级精品一区二区三区| 少妇的丰满在线观看| 一进一出抽搐gif免费好疼| 久久天躁狠狠躁夜夜2o2o| 9191精品国产免费久久| 国产精品爽爽va在线观看网站| 一本精品99久久精品77| 国产欧美日韩一区二区三| 99久久综合精品五月天人人| 美女大奶头视频| 热99re8久久精品国产| 欧美日韩黄片免| 一级片免费观看大全| 搞女人的毛片| 久久久精品欧美日韩精品| 精品国内亚洲2022精品成人| 亚洲男人天堂网一区| svipshipincom国产片| 国产精品久久久av美女十八| e午夜精品久久久久久久| 一进一出抽搐gif免费好疼| 男人的好看免费观看在线视频 | 真人一进一出gif抽搐免费| 亚洲专区国产一区二区| 久久天躁狠狠躁夜夜2o2o| 国内精品一区二区在线观看| 亚洲av第一区精品v没综合| 国产亚洲精品综合一区在线观看 | www日本在线高清视频| 国产三级在线视频| 精品熟女少妇八av免费久了| 黑人巨大精品欧美一区二区mp4| 叶爱在线成人免费视频播放| 色综合欧美亚洲国产小说| 一区二区三区激情视频| 在线观看免费日韩欧美大片| 熟女电影av网| 18禁裸乳无遮挡免费网站照片| 757午夜福利合集在线观看| 叶爱在线成人免费视频播放| 一本综合久久免费| 少妇裸体淫交视频免费看高清 | 天堂√8在线中文| 日韩欧美国产在线观看| 精品国产美女av久久久久小说| 99热这里只有精品一区 | 欧美黑人精品巨大| 99久久综合精品五月天人人| 18禁观看日本| 色精品久久人妻99蜜桃| av免费在线观看网站| 久久久久久久精品吃奶| 欧美日韩精品网址| 啪啪无遮挡十八禁网站| 欧美日韩精品网址| 精品久久久久久久末码| 女同久久另类99精品国产91| 亚洲五月婷婷丁香| 国产99白浆流出| 亚洲五月婷婷丁香| 不卡av一区二区三区| 听说在线观看完整版免费高清| 一级毛片精品| 亚洲无线在线观看| 一区二区三区国产精品乱码| 亚洲狠狠婷婷综合久久图片| 亚洲一区二区三区不卡视频| 欧美日韩乱码在线| 亚洲欧美日韩东京热| 一夜夜www| 欧美 亚洲 国产 日韩一| 欧美性猛交╳xxx乱大交人| 一级毛片高清免费大全| a级毛片a级免费在线| 看黄色毛片网站| 国产精品九九99| 国产av麻豆久久久久久久| 久久精品影院6| 日韩大尺度精品在线看网址| 黄色视频不卡| 亚洲国产欧美网| 亚洲人成77777在线视频| 一区二区三区国产精品乱码| av在线天堂中文字幕| 久久久久久久久中文| 91成年电影在线观看| 亚洲国产欧美网| 中文字幕熟女人妻在线| 熟妇人妻久久中文字幕3abv| 人成视频在线观看免费观看| 一级黄色大片毛片| 色精品久久人妻99蜜桃| 久久精品91蜜桃| 欧美乱妇无乱码| 动漫黄色视频在线观看| 久久久国产成人免费| 99久久久亚洲精品蜜臀av| 欧美人与性动交α欧美精品济南到| 少妇粗大呻吟视频| x7x7x7水蜜桃| 无遮挡黄片免费观看| 精品久久蜜臀av无| 在线观看一区二区三区| 国产人伦9x9x在线观看| 亚洲男人天堂网一区| 50天的宝宝边吃奶边哭怎么回事| 亚洲精品粉嫩美女一区| 亚洲av成人一区二区三| 精品免费久久久久久久清纯| 亚洲色图av天堂| 国产精品久久视频播放| 国产一级毛片七仙女欲春2| 久久九九热精品免费| 999久久久精品免费观看国产| 欧美色视频一区免费| 少妇粗大呻吟视频| 国产日本99.免费观看| 村上凉子中文字幕在线| 99热这里只有精品一区 | 欧美一区二区国产精品久久精品 | 亚洲熟妇中文字幕五十中出| 亚洲精品av麻豆狂野| 亚洲精品国产精品久久久不卡| 精品久久久久久久人妻蜜臀av| a级毛片a级免费在线| 久久久久免费精品人妻一区二区| av视频在线观看入口| 亚洲午夜精品一区,二区,三区| 精品久久久久久久末码| 不卡一级毛片| 亚洲人与动物交配视频| 国产成人系列免费观看| 丰满人妻熟妇乱又伦精品不卡| 国产精品免费一区二区三区在线| 国产探花在线观看一区二区| 91成年电影在线观看| 国产成+人综合+亚洲专区| 18禁美女被吸乳视频| 欧美不卡视频在线免费观看 | 伊人久久大香线蕉亚洲五| 97超级碰碰碰精品色视频在线观看| 亚洲国产精品999在线| 亚洲国产中文字幕在线视频| 88av欧美| 午夜日韩欧美国产| 亚洲av熟女| 小说图片视频综合网站| 欧美日韩一级在线毛片| 男女午夜视频在线观看| 亚洲男人的天堂狠狠| 国产私拍福利视频在线观看| 亚洲 欧美一区二区三区| videosex国产| 岛国在线观看网站| 午夜福利视频1000在线观看| 亚洲 国产 在线| 性欧美人与动物交配| 亚洲片人在线观看| 夜夜躁狠狠躁天天躁| 琪琪午夜伦伦电影理论片6080| 好看av亚洲va欧美ⅴa在| 久久久久久久精品吃奶| 精品一区二区三区视频在线观看免费| 99久久国产精品久久久| 精华霜和精华液先用哪个| 亚洲第一电影网av| 亚洲精品粉嫩美女一区| 老司机深夜福利视频在线观看| 母亲3免费完整高清在线观看| 动漫黄色视频在线观看| 国内精品久久久久久久电影| www日本黄色视频网| 黄色毛片三级朝国网站| 亚洲人成77777在线视频| 在线十欧美十亚洲十日本专区| 国产精品久久视频播放| 老熟妇仑乱视频hdxx| 久久久久久亚洲精品国产蜜桃av| 99久久精品热视频| 可以在线观看毛片的网站| 亚洲九九香蕉| 国产精品1区2区在线观看.| 桃红色精品国产亚洲av| 97碰自拍视频| 亚洲男人的天堂狠狠| 88av欧美| 欧美日韩国产亚洲二区| 在线观看午夜福利视频| 91字幕亚洲| 成年女人毛片免费观看观看9| 婷婷六月久久综合丁香| 窝窝影院91人妻| 美女午夜性视频免费| 久久伊人香网站| 国产欧美日韩精品亚洲av| 在线观看舔阴道视频| 母亲3免费完整高清在线观看| 国产一级毛片七仙女欲春2| 免费在线观看成人毛片| avwww免费| 精品一区二区三区av网在线观看| 久久久精品欧美日韩精品| 曰老女人黄片| 国产欧美日韩一区二区精品| 亚洲欧美日韩无卡精品| 欧美久久黑人一区二区| 99国产综合亚洲精品| 亚洲精品一卡2卡三卡4卡5卡| 久久久国产成人免费| 久久国产乱子伦精品免费另类| 久久久久精品国产欧美久久久| 99在线人妻在线中文字幕| 国产成+人综合+亚洲专区| 国模一区二区三区四区视频 | 90打野战视频偷拍视频| 老司机在亚洲福利影院| 欧美日韩福利视频一区二区| 国产一区二区在线观看日韩 | 免费在线观看黄色视频的| 国产精品久久久av美女十八| 久久久久久久久免费视频了| 久久人妻福利社区极品人妻图片| 中文亚洲av片在线观看爽| 午夜激情福利司机影院| avwww免费| 久久热在线av| 嫩草影院精品99| 亚洲欧美精品综合一区二区三区| 黄色片一级片一级黄色片| 一a级毛片在线观看| 精品久久久久久久久久免费视频| 日韩欧美免费精品| 精品国产超薄肉色丝袜足j| 国内精品久久久久久久电影| 精品国产美女av久久久久小说| 中文字幕高清在线视频| 色精品久久人妻99蜜桃| 波多野结衣高清无吗| √禁漫天堂资源中文www| 亚洲精品粉嫩美女一区| 手机成人av网站| 午夜精品久久久久久毛片777| 美女免费视频网站| 免费在线观看日本一区| 18禁美女被吸乳视频| 不卡一级毛片| 欧美成人免费av一区二区三区| 亚洲精品美女久久久久99蜜臀| 欧美 亚洲 国产 日韩一| 香蕉国产在线看| 国产精品久久久av美女十八| 啦啦啦观看免费观看视频高清| 精品免费久久久久久久清纯| 我的老师免费观看完整版| 婷婷丁香在线五月| 九色成人免费人妻av| 成人国产综合亚洲| 一进一出抽搐动态| 少妇被粗大的猛进出69影院| 男男h啪啪无遮挡| 色精品久久人妻99蜜桃| av天堂在线播放| 制服人妻中文乱码| av在线天堂中文字幕| 亚洲国产高清在线一区二区三| 欧美黄色淫秽网站| 中文字幕人妻丝袜一区二区| 天天一区二区日本电影三级| 国产真实乱freesex| 午夜a级毛片| 50天的宝宝边吃奶边哭怎么回事| 日日干狠狠操夜夜爽| 每晚都被弄得嗷嗷叫到高潮| 国产精品久久电影中文字幕| 90打野战视频偷拍视频| 熟女电影av网| 亚洲第一欧美日韩一区二区三区| 亚洲精品美女久久久久99蜜臀| 国内精品一区二区在线观看| 女警被强在线播放| 色综合亚洲欧美另类图片| 亚洲国产欧美网| 黄片大片在线免费观看| 亚洲精品一区av在线观看| 日本一本二区三区精品| 搡老妇女老女人老熟妇| 老熟妇仑乱视频hdxx| 国产精品永久免费网站| 亚洲狠狠婷婷综合久久图片| 亚洲国产高清在线一区二区三| 狂野欧美激情性xxxx| 久久精品影院6| 国语自产精品视频在线第100页| 很黄的视频免费| 国产91精品成人一区二区三区| 一本大道久久a久久精品| 亚洲色图 男人天堂 中文字幕| www日本黄色视频网| 亚洲av中文字字幕乱码综合| 午夜福利在线观看吧| 人人妻人人澡欧美一区二区| 国产在线精品亚洲第一网站| 亚洲精品中文字幕一二三四区| 日韩免费av在线播放| 日韩欧美国产在线观看| 一夜夜www| 999久久久国产精品视频| 正在播放国产对白刺激| 欧美日韩乱码在线| 日韩免费av在线播放| 午夜久久久久精精品| 亚洲av第一区精品v没综合| 日韩免费av在线播放| 日韩欧美国产在线观看| 久久精品国产亚洲av高清一级| 老熟妇仑乱视频hdxx| 天堂影院成人在线观看| 日本a在线网址| 国产三级中文精品| 99热这里只有是精品50| 夜夜爽天天搞| 色在线成人网| 丁香六月欧美| 黄片大片在线免费观看| 国产精品香港三级国产av潘金莲| 99久久99久久久精品蜜桃| 制服诱惑二区| 男女做爰动态图高潮gif福利片| 国产亚洲精品av在线| 久9热在线精品视频| 国产欧美日韩一区二区三| 亚洲最大成人中文| 老司机午夜十八禁免费视频| 亚洲av成人av| 在线观看免费视频日本深夜|