• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合知識圖譜和評論文本的個性化推薦模型*

    2023-02-08 02:39:46鄒程輝李衛(wèi)疆
    計算機工程與科學(xué) 2023年1期
    關(guān)鍵詞:特征文本用戶

    鄒程輝,李衛(wèi)疆

    (1.昆明理工大學(xué)信息工程與自動化學(xué)院,云南 昆明 650500;2.昆明理工大學(xué)云南省人工智能重點實驗室,云南 昆明 650500)

    1 引言

    隨著信息化技術(shù)的飛速發(fā)展,世界正在經(jīng)歷新的“網(wǎng)絡(luò)化革命”,人們可以通過多種方式對互聯(lián)網(wǎng)進行訪問,搜索和獲取自己所需要的信息。同時,網(wǎng)絡(luò)信息呈“爆炸性”增長,用戶雖然能夠獲取到更為豐富的信息內(nèi)容,卻很難從信息的海洋中準(zhǔn)確及時地獲得符合自身需求的信息。因此,“信息過載”成為了急需解決的難題。

    目前推薦模型使用輔助信息進行個性化推薦,輔助信息包括社交網(wǎng)絡(luò)、評論文本和知識圖譜等。評論文本能夠為用戶和項目提供更豐富的信息。融合評論文本的推薦模型利用CNN(Convolutional Neural Network)[1,2]和注意力機制[3 - 5]提取文本中的特征并計算其權(quán)重。知識圖譜在多個領(lǐng)域的應(yīng)用都取得了良好的效果,如問答系統(tǒng)、詞嵌入和文本分類等。目前專業(yè)的知識圖譜數(shù)據(jù)庫有NELL、Microsoft Concept Graph[6]和Microsoft Satori 。

    本文提出了基于知識圖譜對用戶形象和用戶興趣建模的個性化推薦模型MKG-User,本文的貢獻總結(jié)為以下3點:

    (1)使用不同類型知識圖譜作為輔助信息,不同類型的知識圖譜能夠從不同角度結(jié)合推薦模型中的數(shù)據(jù)信息進行建模。

    (2)基于三元組知識圖譜和用戶的歷史興趣提出了權(quán)重異構(gòu)圖WHG(Weighted Heterogeneous Graph)。WHG是考慮到現(xiàn)實中關(guān)系的影響因子構(gòu)建的一種包含用戶興趣信息的網(wǎng)絡(luò)結(jié)構(gòu)圖。

    (3)聯(lián)合概念知識圖譜和評論文本,利用神經(jīng)網(wǎng)絡(luò)同時從概念詞和實體詞中提取用戶畫像特征和用戶的情感傾向特征,利用用戶評論文本構(gòu)建用戶的形象和情感。

    2 相關(guān)工作

    2.1 融合知識圖譜的推薦模型

    本節(jié)總結(jié)了幾種主要的融合知識圖譜推薦模型?;谇度胧降哪P偷年P(guān)鍵技術(shù)是KGE(Knowledge Graph Embedding)[7],將知識圖譜的實體和關(guān)系映射到低維的向量空間學(xué)習(xí)知識圖譜中的信息。微軟[8]提出了CKE(Collaborative Knowledge base Embedding),在協(xié)同過濾CF(Collaborative Filtering)的基礎(chǔ)上融合了3種輔助信息。Ai等人[9]提出了CFKG(Collaborative Filtering based on user-item Knowledge Graph)模型,該模型預(yù)定義了User-Item重新計算用戶和項目之間的距離。Wang等人[10]提出了MKR(Multi-task feature learning for Knowledge graph enhanced Recommendation)模型,利用推薦系統(tǒng)中的物品和知識圖譜中的實體存在重合的情況,提出了交叉式的推薦系統(tǒng)模型?;诼?lián)合式的模型兼具了嵌入式和路徑2種方式。Wang等人[11]提出了RippleNet模型,將用戶的歷史興趣作為種子在知識圖譜中擴展用戶的興趣集合。Wang等人[12]提出了KGCN(Knowledge Graph Convolutional Networks for recommender systems)模型,利用圖卷積處理知識圖譜。

    2.2 融合評論文本的推薦模型

    評論文本作為輔助信息是推薦系統(tǒng)研究中的熱點。Kim等人[1]提出了ConvMF(Convolution Matrix Factorization)模型,將商品信息聚合為長文本用于提取用戶特征,但是ConvMF僅考慮到了商品的評論文本,沒有考慮到用戶評論內(nèi)容。Zheng等人[2]提出了DeepCoNN(Deep Cooperative Neural Network)模型,該模型使用2個并行的CNN網(wǎng)絡(luò)分別從用戶評論和商品信息中提取隱含特征。DeepCoNN給后來的研究提供了很多啟示,其中Chin等人[4]提出了ANR(Aspect-based Neural Recommender)模型,從文本內(nèi)容的角度進行建模。基于長文本的建模方法對于用戶特定領(lǐng)域的興趣效果不佳,因此提出了基于單評論的建模方法。Chen等人[5]提出了NARRE(Neural Attention rating Regression with Review-level Explanations)模型,針對不同的評論根據(jù)其重要性定義了review-level層,通過自注意力機制聚合用戶和商品在review-level層得到的結(jié)果進行預(yù)測。Zhang等人[13]提出了EFM(Explicit Factor Model)模型,根據(jù)用戶對物品的評論,采用情感分析的方法,構(gòu)建了3個矩陣進行預(yù)測。

    3 問題定義

    本節(jié)主要介紹模型中用到的定義和數(shù)學(xué)符號。

    定義1y為預(yù)測1個用戶對1個項目的點擊概率值。

    定義3(用戶畫像特征) 利用概念知識圖譜中的概念詞和實體詞提取到用戶畫像特征。

    本文使用的數(shù)學(xué)符號如表1所示。

    Table 1 Symbol definition

    4 模型

    4.1 模型框架

    如圖1所示,融合知識圖譜和評論文本的個性化推薦模型由輸入層、嵌入層、特征提取網(wǎng)絡(luò)和決策層組成。輸入層是對用戶興趣和用戶畫像建模的基礎(chǔ),在輸入層輸入樣本數(shù)據(jù)和多類型的知識圖譜;在嵌入層中,將輸入的數(shù)據(jù)轉(zhuǎn)化為向量表示,并將其作為特征提取網(wǎng)絡(luò)的輸入;特征提取網(wǎng)絡(luò)是模型的關(guān)鍵,在該層構(gòu)造興趣網(wǎng)絡(luò)和畫像網(wǎng)絡(luò),分別提取用戶興趣特征和帶有情感傾向的用戶畫像特征;決策層對用戶興趣特征和用戶畫像特征進行處理得到用戶的表示,使用Sigmoid函數(shù)計算用戶點擊概率的預(yù)測值y。

    Figure 1 Framework of MKG-User model圖1 MKG-User模型框架

    4.2 輸入層和嵌入層

    4.2.1 WHG構(gòu)建

    如圖2所示,以電影“Forrest Gump”為起點,在三元組知識圖譜上以多跳的方式擴展用戶興趣項目,構(gòu)造了關(guān)于 “Forrest Gump”的權(quán)重異構(gòu)圖。

    Figure 2 WHG圖2 權(quán)重異構(gòu)圖

    受到Wang等人[12]和Cao等人[14]融合知識圖譜擴展用戶興趣的啟發(fā),本文使用三元組知識圖譜構(gòu)造WHG,不僅考慮關(guān)系作為節(jié)點的連接,還考慮關(guān)系的連接性和每一條關(guān)系的權(quán)重。三元組知識圖譜由h,r和t構(gòu)成,根據(jù)h和r擴展t。設(shè)Nl為δ中關(guān)系rl的數(shù)量,N為關(guān)系的種類,w_rl為關(guān)系rl的權(quán)重,其計算如式(1)所示:

    (1)

    通過知識圖譜和用戶的輸入樣本構(gòu)造WHG,具體過程如算法1所示

    算法1構(gòu)造WHG。

    輸入:用戶歷史興趣Vu、三元組知識圖譜δ(h,r,t)和計算的關(guān)系的權(quán)w_rl。

    輸出:權(quán)重異構(gòu)信息圖WHG,WHG由多跳的集合(?1,?2,?3,…,?k)構(gòu)成,其中k代表多跳的次數(shù)。

    Step1將用戶歷史興趣Vu送進δ(h0,r0,t0),生成在知識圖譜中擴展的種子h0,其中h0=Vu。

    Step2對h0,在知識圖譜中根據(jù)關(guān)系r0得到擴展的節(jié)點t0。

    Step3得到h0在第1跳中所有的節(jié)點t0構(gòu)成第1跳的集合?1(h0,r0,t0)。

    Step4將第1跳擴展的t0,作為下一跳的頭實體h1進行第2跳擴展t1,得到第2跳的集合?2。

    Step5重復(fù)操作Step 4,得到下一跳的集合?k。

    Step6經(jīng)過多次擴展得到擴展集合(?1,?2,?3,…,?k),根據(jù)在知識圖譜中得到的關(guān)系的權(quán)重w_rl對每一跳集合中的關(guān)系賦值 ,得到新的集合(?1,?2,?3,…,?k),其中?k的組成為(hk,w_rl_rk,tk)。

    Step7得到賦值后的異構(gòu)網(wǎng)絡(luò)圖WHG。

    Step8Return WHG。

    4.2.2 概念知識圖譜

    從用戶評論文本中提取實體詞的過程如式(2)所示:

    (2)

    其中,Ej代表1個用戶對1個項目的評論文本中實體詞集合,n為實體詞數(shù)量,Traverse(·)代表映射方法。

    根據(jù)實體詞得到與用戶有關(guān)概念的公式如式(3)所示:

    (3)

    4.2.3 嵌入層

    在輸入層得到WHG、評論文本以及概念詞和實體詞,其中評論文本和概念作為語句序列,為了保留句子的上下文關(guān)系,采用word2vec[15]技術(shù)預(yù)訓(xùn)練得到文本的詞向量字典。對輸入的文本內(nèi)容(Rev,En,Gn),根據(jù)詞向量字典得到向量表示,Rev由詞向量集合O={O1,O2,O3,…,On}構(gòu)成,Gn的所有概念詞向量表示集合為g={g1,g2,g3,…,gd},En的所有實體詞向量表示集合為e={e1,e2,e3,…,ed}。d為向量維度。同時,為了體現(xiàn)出句子中實體詞的影響程度,對句向量中的實體詞利用自注意力機制來更新其權(quán)重,如式(4)所示:

    (4)

    評論文本由于句子長度不同,為了保存句子的完整信息,以及方便模型處理文本,根據(jù)更新權(quán)重后的詞向量集合計算評論文本的句向量,如式(5)所示:

    (5)

    其中,senvec={sen1,sen2,…,send}為句向量表示,n為評論文本中詞的數(shù)量,對不屬于實體詞的單詞Att(Ej,O)=1。

    由于每條評論文本中的實體詞數(shù)量也不同,為了方便模型處理,同時不丟失概念詞和實體詞,本文分別取g和e的均值向量表示作為概念詞和實體記號的向量表示,如式(6)所示:

    (6)

    對輸入WHG中的三元組{hk,rk,tk}和輸入用戶初始感興趣的項目v,經(jīng)過embedding層轉(zhuǎn)換為詞向量表示,其中hk={h1,h2,h3,…,hd},rk={r1,r2,r3,…,rd},tk={t1,t2,t3,…,td},v={v1,v2,v3,…,vd}。

    4.3 特征提取網(wǎng)絡(luò)

    4.3.1 興趣網(wǎng)絡(luò)

    如圖3所示,興趣網(wǎng)絡(luò)由興趣注意力機制和全連接層組成。

    Figure 3 Interest network圖3 興趣網(wǎng)絡(luò)

    本文提出用于模擬用戶興趣偏好的興趣注意力機制。如圖4所示,根據(jù)構(gòu)造的WHG中的實體與關(guān)系,使用Softmax函數(shù)計算用戶的興趣偏好值。

    Figure 4 Interest attention mechanism圖4 興趣注意力機制

    根據(jù)WHG得到用戶過去的興趣Rh和擴展的興趣Vt,如式(7)所示。根據(jù)Rh和Vt計算用戶的興趣偏好值,計算過程如式(8)所示:

    (7)

    Interestw=Sofmax{Deep[σ(Rh⊕Vt)]}

    (8)

    其中,Interestw為用戶興趣值,Deep[σ(Rh⊕Vt)]用于得到用戶的共享興趣特征,σ(·)為ReLU激活函數(shù)。

    通過興趣注意力機制對用戶在WHG中每一跳擴展的實體添加了興趣偏好值Interestw,然后利用全連接層提取用戶的興趣特征{I1,I2,I3,…,Ik},Deep(hk,w_rl_rk,tk)代表利用全連接層提取1組三元組興趣特征。InterestI代表用戶興趣特征表示,k代表興趣特征的數(shù)量,用戶興趣特征的提取過程如式(9)所示:

    0

    (9)

    4.3.2 畫像網(wǎng)絡(luò)

    畫像網(wǎng)絡(luò)從評論文本、概念和實體詞中提取帶有情感傾向的畫像特征,在輸入層關(guān)聯(lián)概念知識圖譜得到評論文本中的實體詞向量e、概念向量g以及句向量{sen1,sen2,sen3,…,send}。如圖5所示,畫像網(wǎng)絡(luò)由畫像模塊和情感模塊組成,畫像模塊采用雙通道的深度ResNet(Deep Residual Network)[16]并行處理概念集合和實體詞集合,從中抽取用戶形象特征;情感模塊采用Bi-LSTM[17]計算評論文本中的情感傾向。

    Figure 5 Portrait network圖5 畫像網(wǎng)絡(luò)

    將概念向量經(jīng)過卷積操作壓縮特征,將概念向量g與卷積核ke進行卷積運算。壓縮過程為如式(10):

    xi=σ(g*ke+b)

    (10)

    其中,ke為卷積核,大小為7,步長為2;*為卷積操作;b為偏置值。池化操作得到的向量輸入到ResNet,池化操作如式(11)所示:

    x=max(x1,x2,…,xi)

    (11)

    殘差單元的計算過程分為2步:卷積過程和恒等映射Im(Identity mapping),計算過程分別如式(12)和式(13)所示:

    (12)

    Im=σ[conv(x*ke+b)]

    (13)

    其中卷積核ke的大小分別為1,3和1,步長為1,c為卷積過程的向量。

    殘差單元的最終輸出如式(14)所示:

    fg(c,Im)=add(c,Im)

    (14)

    (15)

    (16)

    如圖6所示,情感模塊由雙向長短期記憶Bi-LSTM網(wǎng)絡(luò)和隱含層構(gòu)成,輸入為句向量senvec。LSTM單元有遺忘門、更新門和輸出門3種門控機制。

    Figure 6 Emotion module圖6 情感模塊

    (17)

    Saw=softmax{σ[deep(Sd)]}

    (18)

    將Saw與畫像特征相乘,得到帶有情感傾向的用戶畫像特征,計算公式如式(19)所示:

    (19)

    4.4 決策層

    通過特征提取網(wǎng)絡(luò)得到用戶的興趣特征和帶有情感傾向的用戶畫像特征,對2種特征進行融合得到用戶的表示user·Pi,融合的過程見式(20)。通過全連接層來計算用戶表示和用戶初始感興趣的項目v之間的相似度,使用sigmoid函數(shù)計算預(yù)測概率y,如式(21)所示。

    user·Pi=InterestI·Userp

    (20)

    y=sigmoid{sum[user·Pi×deep(v)}

    (21)

    5 實驗

    5.1 數(shù)據(jù)集

    本文選用Amazon數(shù)據(jù)集[18]進行實驗評估。該數(shù)據(jù)集包含了用戶對網(wǎng)站商品的評價信息和商品的元數(shù)據(jù),評分在1~5,數(shù)據(jù)的時間跨度為1995年6月到2013年3月。本文在Amazon數(shù)據(jù)集中選擇了電影、圖書和音樂3個領(lǐng)域的數(shù)據(jù)集。

    本文使用2種類型的知識圖譜:(1)概念知識圖譜使用的是2016年微軟研究院發(fā)布的Microsoft Concept Knowledge Graphs,通過人類意識常識概念進行構(gòu)建,包含540萬條概念和相關(guān)實體;(2)三元組知識圖譜,包括從Microsoft Satori抽取到的有關(guān)電影、圖書和音樂領(lǐng)域的實體和關(guān)系,其中電影三元組知識圖譜中有2 444類有關(guān)電影的實體節(jié)點,12種連接關(guān)系;圖書三元組知識圖譜中有14 966類有關(guān)圖書的實體節(jié)點,16種連接關(guān)系;音樂三元組知識圖譜中有3 845類有關(guān)音樂的實體節(jié)點,36種連接關(guān)系。

    表2展示了數(shù)據(jù)集關(guān)聯(lián)知識圖譜后的數(shù)據(jù)信息??梢钥吹?,在三元組知識圖譜中經(jīng)過多跳擴展用戶感興趣的項目的數(shù)量和種類在逐漸增加,可用于解決推薦系統(tǒng)的數(shù)據(jù)稀疏問題。

    Table 2 Multi-hop expansion on the triple knowledge graph

    本文隨機將數(shù)據(jù)集劃分為訓(xùn)練集(60%)、驗證集(20%)和測試集(20%)。在實驗數(shù)據(jù)集中評分為1到5,根據(jù)Amazon數(shù)據(jù)集評分的分布將閾值設(shè)置為4,保證正負樣本的分布均勻,以此將數(shù)據(jù)集劃分為正負樣本后用于構(gòu)建CTR模型。

    5.2 評價指標(biāo)

    本文選取AUC(Area Under the Curve)作為評價指標(biāo),如式(22)所示:

    (22)

    其中,M和F為正樣本和負樣本的數(shù)量;rankinsi表示第i條樣本的序號;∑insi∈positiveclassrankinsi表示正樣本的序號加起來。

    其它評價指標(biāo)Precision、Recall和F1的計算如式(23)~式(25)所示:

    (23)

    (24)

    (25)

    其中,TP表示把正樣本成功預(yù)測為正的次數(shù);TN表示把負樣本成功預(yù)測為負的次數(shù);FP表示把負樣本錯誤預(yù)測為正的次數(shù);FN表示把正樣本錯誤預(yù)測為負的次數(shù)。

    5.3 Baseline模型

    為了評估MKG-User模型的性能,將其與以下比較優(yōu)秀的模型進行對比:

    (1)DeepFM[19]。經(jīng)典的神經(jīng)網(wǎng)絡(luò)推薦模型,使用FM和MLP分別處理用戶的低維和高維特征。

    (2)CKE[8]。融合知識圖譜的經(jīng)典模型,通過KGE得到結(jié)構(gòu)類型的知識圖的向量表示后進行預(yù)測。

    (3)RippleNet[11]。 借鑒了水波擴散的現(xiàn)象,基于用戶歷史興趣在知識圖譜中擴展用戶的興趣,計算用戶點擊候選項目的概率。

    (4)MKR[10]。利用推薦系統(tǒng)中的用戶和項目能夠與三元組知識圖譜中的節(jié)點匹配,設(shè)計交互網(wǎng)絡(luò)將節(jié)點和用戶、項目進行交互,進行點擊率預(yù)測。

    (5)KGCN[12]。在知識圖譜中找到相關(guān)的實體節(jié)點,對節(jié)點進行聚合,然后利用圖卷積技術(shù)擴展信息后用于點擊率預(yù)測。

    (6)ConvMF[1]。利用CNN從商品評論信息中提取商品的隱含特征,作為評分矩陣的額外信息,基于高斯分布進行評分預(yù)測。

    (7)ANR[4]。從方面角度對長文本進行建模,然后用注意力計算方面的權(quán)重。

    (8)NARRE[5]。 NARRE考慮到評論文本的重要程度,提出了review-level來刻畫評論的權(quán)重,再利用注意力進行最后的推薦預(yù)測。

    5.4 參數(shù)設(shè)置

    本文使用word2vec訓(xùn)練詞向量,維度(d)為300,窗口大小為3。損失函數(shù)是均方根誤差損失函數(shù),優(yōu)化器選擇的是Adam,學(xué)習(xí)率為0.01。如表3所示,為了達到最佳性能,對3個數(shù)據(jù)集中的參數(shù)進行了微調(diào)。Hop-size為構(gòu)建權(quán)重異構(gòu)信息圖多跳次數(shù),Kg-size為擴展異構(gòu)知識圖譜的大小,α和β為模型學(xué)習(xí)率,L2為正則化參數(shù)。進行實驗時,選擇K值為10,32,64,100。

    Table 3 Parameters setting

    5.5 實驗結(jié)果與分析

    實驗?zāi)康氖球炞C融合知識圖譜和評論文本對用戶興趣和用戶形象進行建模能夠提升模型的性能,使用AUC、Precision和F1作為評價指標(biāo)。

    實驗結(jié)果見表4。在AUC和Precision和F1上,本文提出的模型在數(shù)據(jù)集上都得到了最好結(jié)果。MKG-User模型的AUC分別達到了0.969,0.925和0.887,與Baseline中最好的結(jié)果相比分別提高了4.8%,18.8%和2.1%。本文模型與融合知識圖譜的模型相比,在電影數(shù)據(jù)集上,AUC提高了4.8%,Precision和F1分別提高了6.8%和6.9%;在圖書數(shù)據(jù)集上,AUC提高了19.6%,Precision和F1分別提高了3.8%和19.4%;在音樂數(shù)據(jù)集上,AUC提高6.8%,Precision和F1分別提高了0.1%和12.2%。本文模型與融合評論文本的模型在AUC、Precision和F1上相比,在電影數(shù)據(jù)集上分別提高了6.5%,9.0%和8.9%,在圖書數(shù)據(jù)集上分別提高了18.8%,7.8%和15.5%;在音樂數(shù)據(jù)集上,AUC提高了2.1%,Precision和F1分別提高了1.0%和6.3%。在不同數(shù)據(jù)集上與不同類型模型進行比較,驗證了MKG-User使用評論文本和知識圖譜能夠提升推薦模型的性能,同時還說明對用戶形象和用戶興趣進行建模能夠提升推薦系統(tǒng)的效果。為了驗證模型的穩(wěn)定性,MKG-User-avg是對10次實驗結(jié)果取平均值。

    Table 4 Comparison of experimental results

    Figure 7 TopK experimental results on movie dataset圖7 電影數(shù)據(jù)集上的TopK實驗結(jié)果

    Figure 8 TopK experimental results on book dataset圖8 圖書數(shù)據(jù)集上的TopK實驗結(jié)果

    5.6 TopK實驗結(jié)果與分析

    本節(jié)在Amazon的電影和圖書2個數(shù)據(jù)集上對模型進行TopK實驗,評價指標(biāo)為Precision@K、Recall@K和F1@K。實驗結(jié)果如圖7和圖8所示。

    從圖7和圖8可知,本文提出的模型達到了很好的效果。由于Precision和Recall側(cè)重點不同,評價性能的方面也不同。因此,本節(jié)還選擇F1評價指標(biāo),F(xiàn)1綜合了2種評價指標(biāo)。從3個指標(biāo)驗證了本文模型達到了最好的效果,表明模型在TopK實驗中有很好的性能,能為用戶提供更準(zhǔn)確的推薦。

    5.7 參數(shù)敏感性分析

    本文選擇Hop-size和Kg-size2個參數(shù)來評估其對模型性能的影響,在Amazon數(shù)據(jù)集上進行實驗驗證。Hop-size是根據(jù)用戶的歷史興趣擴展用戶興趣的跳數(shù),其大小代表擴展用戶興趣的遠近。Kg-size是在WHG中得到的用戶節(jié)點的數(shù)量,用于確定能夠得到多少用戶興趣特征。表5所示為Hop-size在1~4時AUC的實驗結(jié)果。表6所示為Kg-size取8,16,32和64時對模型性能的影響。

    Table 5 Impact of Hop-size on the model

    Table 6 Impact of KG-size on the model

    5.8 興趣網(wǎng)絡(luò)的有效性

    本文還在電影數(shù)據(jù)集上驗證了興趣網(wǎng)絡(luò)的有效性,表明在融合知識圖譜的推薦模型中關(guān)系的影響因素和用戶興趣偏好可以提高推薦模型的效果。

    實驗結(jié)果如表7所示,MKG-User(knowledge graph)表示興趣網(wǎng)絡(luò)加入了WHG和興趣注意力機制。

    從表7可以看出,考慮關(guān)系的影響因素和用戶的興趣偏好后能夠增強推薦系統(tǒng)的性能。為了體現(xiàn)用戶興趣偏好的變化過程,對興趣注意力機制進行可視化,如圖9所示。

    Table 7 Impact of WHG

    Figure 9 Visualization of attention mechanism 圖9 注意力機制可視化

    5.9 畫像網(wǎng)絡(luò)的有效性

    MKG-User(Portrait)在MKG-User(knowledge graph)中添加雙通道ResNet,融合評論文本和概念知識圖譜提取畫像特征。在電影數(shù)據(jù)集上與MKG-User(knowledge graph)進行對比驗證,實驗結(jié)果如表8所示。

    Table 8 Effectiveness of the portrait network

    在畫像網(wǎng)絡(luò)中考慮評論文本中的情感傾向,添加了情感模塊,驗證Bi-LSTM提取的情感傾向值的有效性。實驗結(jié)果如表9所示。

    Table 9 Portrait network performance after adding emotional inclinations

    從表8和表9可知,利用評論文本和概念知識圖譜構(gòu)造帶有情感傾向的用戶畫像特征,根據(jù)得到的用戶畫像特征可解決推薦系統(tǒng)中的數(shù)據(jù)稀疏問題,提高了推薦效果。

    6 結(jié)束語

    本文提出了MKG-User模型,利用用戶交互的項目結(jié)合三元組知識圖譜提取用戶的興趣特征,利用評論文本和概念知識圖譜提取用戶畫像特征,有效提升了推薦效果。同時,本文提出了利用興趣注意力機制提取更符合用戶自身興趣的特征;采用雙通道ResNet和Bi-LSTM提取帶有情感傾向的用戶畫像特征。今后將在2個方面繼續(xù)開展研究:(1)本文在構(gòu)建用戶畫像特征時沒有考慮用戶的統(tǒng)計信息,如何將用戶的統(tǒng)計信息融合到用戶畫像特征中是下一步要解決的問題;(2)用戶的興趣是動態(tài)變化的,如何考慮利用用戶興趣的變化來優(yōu)化推薦模型也是下一步工作之一。

    猜你喜歡
    特征文本用戶
    如何表達“特征”
    在808DA上文本顯示的改善
    不忠誠的四個特征
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    抓住特征巧觀察
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    關(guān)注用戶
    商用汽車(2016年4期)2016-05-09 01:23:12
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    如何獲取一億海外用戶
    一区二区三区精品91| 国产成人免费观看mmmm| 亚洲成人手机| av免费观看日本| 国产深夜福利视频在线观看| 亚洲高清免费不卡视频| 大话2 男鬼变身卡| 国产欧美日韩一区二区三区在线 | 韩国高清视频一区二区三区| 校园人妻丝袜中文字幕| 丰满人妻一区二区三区视频av| 在线观看av片永久免费下载| 中文资源天堂在线| 欧美极品一区二区三区四区| 男男h啪啪无遮挡| 亚洲伊人久久精品综合| 国产欧美亚洲国产| 少妇人妻精品综合一区二区| 嫩草影院入口| 国产黄频视频在线观看| 中文在线观看免费www的网站| 综合色丁香网| 我的女老师完整版在线观看| 日本午夜av视频| av黄色大香蕉| 国产精品久久久久久精品古装| 丰满迷人的少妇在线观看| 搡女人真爽免费视频火全软件| 啦啦啦在线观看免费高清www| 高清日韩中文字幕在线| 亚洲高清免费不卡视频| 自拍偷自拍亚洲精品老妇| 亚洲国产精品999| 久久精品国产鲁丝片午夜精品| 久久精品国产亚洲网站| 王馨瑶露胸无遮挡在线观看| 亚洲,一卡二卡三卡| 丰满迷人的少妇在线观看| 久久影院123| 欧美另类一区| 少妇人妻久久综合中文| 久久久久久九九精品二区国产| 十八禁网站网址无遮挡 | 亚洲精品自拍成人| 国产成人精品久久久久久| 国产有黄有色有爽视频| 久久久久久久久久人人人人人人| 国产精品.久久久| 亚洲精品一二三| 2021少妇久久久久久久久久久| 在现免费观看毛片| 99久久综合免费| 黑丝袜美女国产一区| 伦理电影大哥的女人| 日本黄色日本黄色录像| h视频一区二区三区| 国产淫语在线视频| 国产高清三级在线| 蜜桃亚洲精品一区二区三区| 少妇人妻精品综合一区二区| 国产成人aa在线观看| 男人爽女人下面视频在线观看| 毛片女人毛片| 日本vs欧美在线观看视频 | 国产美女午夜福利| av国产久精品久网站免费入址| 在线观看免费高清a一片| 亚洲av电影在线观看一区二区三区| 日韩三级伦理在线观看| 免费播放大片免费观看视频在线观看| av视频免费观看在线观看| 亚洲图色成人| 美女视频免费永久观看网站| 97精品久久久久久久久久精品| 97热精品久久久久久| 观看美女的网站| 噜噜噜噜噜久久久久久91| 国国产精品蜜臀av免费| 久久久久视频综合| 亚洲欧美精品自产自拍| 80岁老熟妇乱子伦牲交| 午夜免费观看性视频| 国产成人a区在线观看| 成人18禁高潮啪啪吃奶动态图 | 午夜免费观看性视频| 国产在线男女| 国产精品不卡视频一区二区| 亚洲无线观看免费| 大又大粗又爽又黄少妇毛片口| tube8黄色片| av黄色大香蕉| 国产免费又黄又爽又色| 在线观看一区二区三区激情| 久久婷婷青草| 欧美老熟妇乱子伦牲交| 国产精品久久久久久av不卡| 国产老妇伦熟女老妇高清| 亚洲人成网站在线播| 免费看不卡的av| 岛国毛片在线播放| 国产午夜精品久久久久久一区二区三区| 国产男女内射视频| 精品人妻熟女av久视频| 欧美97在线视频| av福利片在线观看| 国产精品一及| 嫩草影院入口| 免费黄网站久久成人精品| 中国美白少妇内射xxxbb| 色网站视频免费| 欧美一区二区亚洲| 欧美成人精品欧美一级黄| 人人妻人人看人人澡| 大话2 男鬼变身卡| 美女国产视频在线观看| 男人和女人高潮做爰伦理| 高清在线视频一区二区三区| 女人久久www免费人成看片| 少妇被粗大猛烈的视频| 欧美成人a在线观看| 亚洲欧美一区二区三区国产| 观看免费一级毛片| 97在线人人人人妻| 欧美成人精品欧美一级黄| 国产成人aa在线观看| 美女福利国产在线 | 深爱激情五月婷婷| 久久ye,这里只有精品| 最黄视频免费看| 国产精品av视频在线免费观看| 欧美三级亚洲精品| 国产精品国产三级专区第一集| 自拍偷自拍亚洲精品老妇| 国产精品国产av在线观看| 亚洲最大成人中文| 亚洲av日韩在线播放| 精品国产三级普通话版| 亚洲美女搞黄在线观看| 国产黄片美女视频| av免费在线看不卡| 日韩中文字幕视频在线看片 | 天美传媒精品一区二区| 亚洲欧美成人综合另类久久久| 校园人妻丝袜中文字幕| 熟妇人妻不卡中文字幕| 国产成人freesex在线| 亚洲av欧美aⅴ国产| 国产毛片在线视频| 免费大片黄手机在线观看| 22中文网久久字幕| 亚洲精品国产色婷婷电影| 天天躁日日操中文字幕| 亚洲精品第二区| av专区在线播放| 中文字幕av成人在线电影| 免费不卡的大黄色大毛片视频在线观看| 亚洲精品色激情综合| 99久久综合免费| av线在线观看网站| 伦精品一区二区三区| 一区二区三区精品91| 成人特级av手机在线观看| 日韩 亚洲 欧美在线| 在线观看一区二区三区激情| 国产爱豆传媒在线观看| 欧美另类一区| 青春草国产在线视频| 久久久久精品性色| 久久这里有精品视频免费| 交换朋友夫妻互换小说| 欧美国产精品一级二级三级 | 黑人高潮一二区| 一区二区三区乱码不卡18| 老熟女久久久| 亚洲成色77777| 国产一区二区三区av在线| 欧美一区二区亚洲| 免费看日本二区| 国产精品99久久久久久久久| av在线观看视频网站免费| 欧美少妇被猛烈插入视频| 国产片特级美女逼逼视频| 午夜视频国产福利| 国产乱人视频| 在线观看美女被高潮喷水网站| 亚洲欧美日韩另类电影网站 | 伊人久久精品亚洲午夜| 五月伊人婷婷丁香| 大片免费播放器 马上看| 国产乱人偷精品视频| 成人高潮视频无遮挡免费网站| 成人黄色视频免费在线看| 成人18禁高潮啪啪吃奶动态图 | 97在线视频观看| 国产中年淑女户外野战色| 夜夜爽夜夜爽视频| 91午夜精品亚洲一区二区三区| av免费观看日本| 偷拍熟女少妇极品色| 韩国高清视频一区二区三区| 性高湖久久久久久久久免费观看| 欧美激情极品国产一区二区三区 | 国产黄频视频在线观看| 大码成人一级视频| 一本一本综合久久| 欧美高清成人免费视频www| 午夜福利在线在线| 在线观看免费高清a一片| av在线app专区| 人妻夜夜爽99麻豆av| 精品久久久久久久久av| 热99国产精品久久久久久7| 人人妻人人看人人澡| 久久99热这里只有精品18| 狂野欧美白嫩少妇大欣赏| 人人妻人人澡人人爽人人夜夜| 免费不卡的大黄色大毛片视频在线观看| 久久99热6这里只有精品| 免费看光身美女| 一级片'在线观看视频| 99热全是精品| 精品国产一区二区三区久久久樱花 | 欧美日本视频| 日本色播在线视频| 亚洲国产色片| av视频免费观看在线观看| 最近中文字幕2019免费版| 99热网站在线观看| 又粗又硬又长又爽又黄的视频| 97超视频在线观看视频| 狂野欧美激情性xxxx在线观看| 国产综合精华液| 大香蕉97超碰在线| 如何舔出高潮| 午夜视频国产福利| 欧美三级亚洲精品| 国产真实伦视频高清在线观看| 一级毛片 在线播放| 91在线精品国自产拍蜜月| 国产片特级美女逼逼视频| 内地一区二区视频在线| 91精品国产九色| 精品一区二区三卡| 色综合色国产| 在线观看av片永久免费下载| 男女下面进入的视频免费午夜| 天堂中文最新版在线下载| 亚洲欧美精品自产自拍| 中文天堂在线官网| 一个人看视频在线观看www免费| 这个男人来自地球电影免费观看 | 天天躁日日操中文字幕| 成人美女网站在线观看视频| kizo精华| 在线精品无人区一区二区三 | 国产av一区二区精品久久 | 国产精品久久久久成人av| 久久久久久久大尺度免费视频| 国产伦精品一区二区三区四那| 午夜免费男女啪啪视频观看| 国产有黄有色有爽视频| 婷婷色麻豆天堂久久| 永久免费av网站大全| 婷婷色麻豆天堂久久| 国产午夜精品久久久久久一区二区三区| 国产爱豆传媒在线观看| 日本色播在线视频| 免费不卡的大黄色大毛片视频在线观看| 欧美另类一区| 国产精品99久久99久久久不卡 | 黄片无遮挡物在线观看| a级毛片免费高清观看在线播放| 又粗又硬又长又爽又黄的视频| 啦啦啦中文免费视频观看日本| 久久国产亚洲av麻豆专区| 性色av一级| av专区在线播放| 久久毛片免费看一区二区三区| 亚洲,欧美,日韩| 亚洲精品一二三| 成人毛片60女人毛片免费| 精品国产乱码久久久久久小说| 亚洲欧洲国产日韩| 视频中文字幕在线观看| 春色校园在线视频观看| 国产v大片淫在线免费观看| 久久精品熟女亚洲av麻豆精品| 亚洲性久久影院| 少妇精品久久久久久久| 联通29元200g的流量卡| 国产精品久久久久久久电影| 亚洲中文av在线| 日本免费在线观看一区| 街头女战士在线观看网站| 最近中文字幕2019免费版| 亚洲精品,欧美精品| 黑人猛操日本美女一级片| 夜夜骑夜夜射夜夜干| 一区二区三区乱码不卡18| 老熟女久久久| 国产久久久一区二区三区| 久久婷婷青草| 成人国产麻豆网| 亚洲国产精品成人久久小说| 麻豆精品久久久久久蜜桃| 亚洲人与动物交配视频| 女性生殖器流出的白浆| 一级毛片电影观看| 亚洲美女搞黄在线观看| 国产精品国产三级专区第一集| 六月丁香七月| 欧美老熟妇乱子伦牲交| 国产爱豆传媒在线观看| 亚洲熟女精品中文字幕| 国产精品一区二区三区四区免费观看| 亚洲伊人久久精品综合| 在线免费十八禁| 岛国毛片在线播放| 免费久久久久久久精品成人欧美视频 | 丰满迷人的少妇在线观看| 日日啪夜夜爽| 国产黄频视频在线观看| 日本欧美国产在线视频| 精品人妻一区二区三区麻豆| 午夜日本视频在线| 亚洲精品国产成人久久av| 免费不卡的大黄色大毛片视频在线观看| 久久久久久久久大av| 51国产日韩欧美| 日韩,欧美,国产一区二区三区| av免费在线看不卡| 日本黄色片子视频| 国产成人精品久久久久久| 午夜福利在线在线| 免费观看的影片在线观看| 色5月婷婷丁香| 丰满人妻一区二区三区视频av| 建设人人有责人人尽责人人享有的 | 丰满迷人的少妇在线观看| 老司机影院成人| 欧美+日韩+精品| 九九久久精品国产亚洲av麻豆| 成年人午夜在线观看视频| 亚洲欧美成人精品一区二区| 日本av免费视频播放| 男男h啪啪无遮挡| 午夜免费男女啪啪视频观看| 国产av码专区亚洲av| 一级毛片久久久久久久久女| 国产色爽女视频免费观看| 成人毛片a级毛片在线播放| 啦啦啦视频在线资源免费观看| 欧美 日韩 精品 国产| 国产精品一区www在线观看| 男女无遮挡免费网站观看| 2022亚洲国产成人精品| 97在线视频观看| 国产一级毛片在线| freevideosex欧美| 你懂的网址亚洲精品在线观看| 在线观看一区二区三区激情| 日韩av在线免费看完整版不卡| 大片电影免费在线观看免费| 2021少妇久久久久久久久久久| 成人综合一区亚洲| 欧美+日韩+精品| av又黄又爽大尺度在线免费看| 一本一本综合久久| 久久这里有精品视频免费| 成人国产av品久久久| 中文字幕亚洲精品专区| 日韩成人伦理影院| 国产精品福利在线免费观看| 亚洲精品国产av成人精品| 精品亚洲成国产av| 久久久久久久久久人人人人人人| 伦理电影免费视频| 麻豆乱淫一区二区| 亚洲,欧美,日韩| 亚洲怡红院男人天堂| 99久久综合免费| 国产成人午夜福利电影在线观看| 国产午夜精品久久久久久一区二区三区| 91精品伊人久久大香线蕉| 久久精品国产a三级三级三级| 日产精品乱码卡一卡2卡三| 18禁在线播放成人免费| 欧美高清成人免费视频www| 免费观看a级毛片全部| 男人狂女人下面高潮的视频| 日韩一本色道免费dvd| 黄色视频在线播放观看不卡| 精品熟女少妇av免费看| 丰满少妇做爰视频| 夜夜看夜夜爽夜夜摸| 亚洲成人手机| 亚洲精品一二三| 九色成人免费人妻av| 免费黄频网站在线观看国产| 自拍欧美九色日韩亚洲蝌蚪91| 自线自在国产av| 日韩av不卡免费在线播放| 99热全是精品| 丝袜人妻中文字幕| 亚洲精品在线美女| 十八禁人妻一区二区| 啦啦啦啦在线视频资源| 十八禁人妻一区二区| 亚洲国产精品成人久久小说| 男女边摸边吃奶| 欧美国产精品va在线观看不卡| 深夜精品福利| 国产精品欧美亚洲77777| 韩国高清视频一区二区三区| 久久av网站| 久久人妻熟女aⅴ| 欧美中文综合在线视频| 亚洲三区欧美一区| 少妇精品久久久久久久| 久久天躁狠狠躁夜夜2o2o | 好男人电影高清在线观看| 久久99一区二区三区| 校园人妻丝袜中文字幕| 天堂俺去俺来也www色官网| 亚洲中文av在线| 中文精品一卡2卡3卡4更新| 老司机在亚洲福利影院| 亚洲男人天堂网一区| 亚洲久久久国产精品| 久久国产精品人妻蜜桃| 亚洲熟女毛片儿| 国产一区二区激情短视频 | 久久精品久久久久久久性| 亚洲av欧美aⅴ国产| 午夜免费鲁丝| av天堂在线播放| 欧美xxⅹ黑人| 高清不卡的av网站| 国产精品久久久av美女十八| 只有这里有精品99| 狂野欧美激情性bbbbbb| 欧美精品一区二区大全| 亚洲 欧美一区二区三区| 国产精品.久久久| 美国免费a级毛片| 国产亚洲欧美在线一区二区| 久久人人爽av亚洲精品天堂| 美女高潮到喷水免费观看| 免费在线观看日本一区| 免费高清在线观看日韩| 亚洲成人手机| 欧美xxⅹ黑人| www日本在线高清视频| 性高湖久久久久久久久免费观看| 最近手机中文字幕大全| 亚洲av电影在线进入| 老司机亚洲免费影院| 香蕉丝袜av| 欧美日韩av久久| 亚洲一码二码三码区别大吗| 性高湖久久久久久久久免费观看| 国产亚洲午夜精品一区二区久久| 欧美黄色片欧美黄色片| 久久综合国产亚洲精品| 亚洲av日韩精品久久久久久密 | 久久久久久免费高清国产稀缺| 国产精品 国内视频| 欧美亚洲日本最大视频资源| 久久九九热精品免费| 成人国产一区最新在线观看 | 亚洲精品日本国产第一区| 国产有黄有色有爽视频| 又黄又粗又硬又大视频| 婷婷色麻豆天堂久久| 侵犯人妻中文字幕一二三四区| 国产精品一国产av| 久久精品久久精品一区二区三区| 国产在线免费精品| 亚洲情色 制服丝袜| 国产成人精品在线电影| 精品高清国产在线一区| 一二三四社区在线视频社区8| 欧美日韩国产mv在线观看视频| 国产男女超爽视频在线观看| 9热在线视频观看99| 人成视频在线观看免费观看| 免费看av在线观看网站| 99香蕉大伊视频| 丰满饥渴人妻一区二区三| 操出白浆在线播放| 亚洲图色成人| 欧美中文综合在线视频| 亚洲视频免费观看视频| 2018国产大陆天天弄谢| 在线精品无人区一区二区三| 亚洲 欧美一区二区三区| 精品国产乱码久久久久久男人| 我要看黄色一级片免费的| 国产福利在线免费观看视频| 男人爽女人下面视频在线观看| 成人免费观看视频高清| 黄色视频在线播放观看不卡| 天天躁夜夜躁狠狠久久av| 热re99久久精品国产66热6| 高清黄色对白视频在线免费看| 欧美性长视频在线观看| 99精国产麻豆久久婷婷| 丝袜美足系列| 99精国产麻豆久久婷婷| 亚洲色图综合在线观看| 深夜精品福利| 2021少妇久久久久久久久久久| 在线观看免费日韩欧美大片| 国产日韩欧美亚洲二区| 亚洲av电影在线观看一区二区三区| 午夜福利在线免费观看网站| 侵犯人妻中文字幕一二三四区| 亚洲欧美成人综合另类久久久| 亚洲国产看品久久| 啦啦啦中文免费视频观看日本| 51午夜福利影视在线观看| 韩国高清视频一区二区三区| 国产精品亚洲av一区麻豆| 熟女av电影| av电影中文网址| 亚洲五月婷婷丁香| 欧美av亚洲av综合av国产av| 久久久久久久久免费视频了| 欧美xxⅹ黑人| 飞空精品影院首页| 免费久久久久久久精品成人欧美视频| 国产精品九九99| 丝袜脚勾引网站| 国产极品粉嫩免费观看在线| 久久久精品免费免费高清| 国产1区2区3区精品| 人成视频在线观看免费观看| 999久久久国产精品视频| 一边亲一边摸免费视频| 岛国毛片在线播放| a 毛片基地| 国产极品粉嫩免费观看在线| 午夜福利一区二区在线看| 色播在线永久视频| 亚洲精品自拍成人| 精品亚洲成a人片在线观看| 久久午夜综合久久蜜桃| 久久中文字幕一级| 欧美日韩黄片免| 中文精品一卡2卡3卡4更新| 成年人免费黄色播放视频| 国产片特级美女逼逼视频| 亚洲精品久久久久久婷婷小说| 国产成人欧美| 国产精品人妻久久久影院| 另类亚洲欧美激情| 免费av中文字幕在线| 老司机影院毛片| 热99国产精品久久久久久7| 99香蕉大伊视频| 精品人妻一区二区三区麻豆| 亚洲情色 制服丝袜| 国产在线免费精品| 国产精品免费视频内射| 国产精品一国产av| 亚洲国产精品国产精品| 日韩中文字幕视频在线看片| 国产成人系列免费观看| 伦理电影免费视频| 久久人妻福利社区极品人妻图片 | 国产日韩欧美在线精品| 黑人猛操日本美女一级片| 欧美+亚洲+日韩+国产| av天堂久久9| 19禁男女啪啪无遮挡网站| 狂野欧美激情性bbbbbb| 嫁个100分男人电影在线观看 | 观看av在线不卡| 久久精品熟女亚洲av麻豆精品| 免费久久久久久久精品成人欧美视频| 成人午夜精彩视频在线观看| 一区二区三区乱码不卡18| 亚洲欧美一区二区三区黑人| 欧美亚洲日本最大视频资源| 国产一区二区在线观看av| 国产成人一区二区在线| 99久久综合免费| 国产色视频综合| 三上悠亚av全集在线观看| 亚洲欧洲精品一区二区精品久久久| 亚洲,欧美精品.| 最近手机中文字幕大全| 久久99一区二区三区| 亚洲图色成人| 亚洲成国产人片在线观看| 亚洲精品美女久久久久99蜜臀 | 一区福利在线观看| 国产1区2区3区精品| 丝袜美腿诱惑在线| 亚洲五月色婷婷综合| 99精品久久久久人妻精品| 免费看不卡的av| 中文字幕人妻熟女乱码| 久久亚洲精品不卡| 久久久久久久精品精品| 欧美人与善性xxx| 久久 成人 亚洲| 最新在线观看一区二区三区 | 18禁裸乳无遮挡动漫免费视频| kizo精华| 亚洲一区中文字幕在线| 亚洲av成人精品一二三区| 新久久久久国产一级毛片| 亚洲色图综合在线观看| 人体艺术视频欧美日本|