融合注意力機制的群組推薦研究

齊浩翔，尹 玲，馬莉媛

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201600)

0 引 言

為了解決信息過載問題，推薦系統(tǒng)被廣泛應(yīng)用于電子商務(wù)、新聞資訊、社交網(wǎng)絡(luò)等領(lǐng)域[1]。與此同時，用戶也有更多的集體活動，例如成團旅行、團隊聚會、拼團購物等[2]。如何快速且精準(zhǔn)地為群組推薦合適的項目成為了當(dāng)下的研究熱點。與傳統(tǒng)的推薦系統(tǒng)不同，群組推薦系統(tǒng)所面臨的對象是一個包含多個用戶的群組，通常情況下，用戶間有著很大的偏好差異，這就導(dǎo)致傳統(tǒng)的推薦方法無法很好地完成群組推薦任務(wù)。

群組推薦中單一用戶變?yōu)槿航M用戶，需要融合群組中用戶的偏好。同時，群組的決策往往存在用戶間的交互過程，每個用戶將為最終的決策做出自己的個人貢獻(xiàn)。因此，一個良好的群組推薦系統(tǒng)應(yīng)該不僅可以融合用戶的偏好，還要能夠建模群組中用戶的交互。現(xiàn)有的群組推薦方法大多采用預(yù)定義的固定策略來融合群組用戶的偏好，這些靜態(tài)的方法無法體現(xiàn)群組用戶間的交互，難以模擬復(fù)雜的群組決策過程，最終導(dǎo)致推薦效果不佳。如何通過學(xué)習(xí)用戶間的交互來降低群組偏好沖突是群組推薦工作中的一項挑戰(zhàn)。

相關(guān)研究表明，理想的群組推薦模型可以動態(tài)融合用戶偏好，利用用戶間的交互信息來模擬群組的決策過程往往會取得更好的推薦效果。文獻(xiàn)[3]將遺傳算法應(yīng)用于群組推薦，該方法考慮到了群組間成員的相互作用，一定程度上提高了成員間的滿意度；文獻(xiàn)[4]提出了PIT(person impact topic)模型，認(rèn)為最有影響力的用戶應(yīng)代表群組并對決策過程產(chǎn)生重大影響；文獻(xiàn)[5]提出了COM(consensus model)模型，假定用戶的影響力視群組的主題而定，相關(guān)領(lǐng)域?qū)＜覍⒏哂绊懥?，且用戶之間的行為相互獨立，但是該方法認(rèn)為用戶在不同的群組中遵循群組決策的概率相同；文獻(xiàn)[6]提出了一種基于社會影響力的群組推薦SIG(social influence-based group)模型，主要思想是利用社交網(wǎng)絡(luò)中的數(shù)據(jù)，以特定的神經(jīng)網(wǎng)絡(luò)框架來學(xué)習(xí)用戶的歷史信息和社會影響力。

將深度學(xué)習(xí)引入群組推薦更有利于群組中用戶的偏好融合，比傳統(tǒng)靜態(tài)方法有更好的推薦效果?；诂F(xiàn)有研究的基礎(chǔ)，本文利用深度學(xué)習(xí)相關(guān)理論提出了一種基于注意力機制的群組推薦方法，在傳統(tǒng)的協(xié)同過濾中引入注意力機制來獲取群組中每個用戶對其他用戶的注意力權(quán)重，以此來選出群組中的決策者，該過程可以很好地模擬用戶之間的交互，最后根據(jù)用戶的加權(quán)偏好來為群組推薦項目。

1 相關(guān)工作

1.1 群組推薦

文獻(xiàn)[7-8]通過共識分?jǐn)?shù)對群組推薦做出了形式化的定義，從群組的預(yù)測評分和群組的分歧度兩個方面量化，最終得到群組的共識分?jǐn)?shù)，可以用公式表示為

F(G,v)=ω1×Gp(G,v)+ω2×(1-Dis(G,v))

(1)

(1)式中：Gp(G,v)表示群組對項目v的群組預(yù)測評分；Dis(G,v)表示群組用戶對項目v評分的分歧度；ω1和ω2分別為對應(yīng)的權(quán)重，且ω1+ω2=1 。群組推薦的目標(biāo)是找到特定的項目v使共識函數(shù)F(G,v)最大化，故項目的群組預(yù)測評分越高，其群組分歧度就越低，就越能滿足所有群組用戶的偏好。

群組推薦大致分為3個步驟：群組形成，群組建模，項目推薦。具體來說，要先識別出與群組用戶偏好類似的用戶，再匯聚提取群組用戶的共同偏好，然后對項目預(yù)測評分，最終完成推薦，其過程如圖1所示。

圖1 群組推薦過程Fig.1 Group recommendation process

在群組形成時一般考慮3個因素[9]，包括群組大小、相關(guān)程度以及組內(nèi)凝聚力。在識別群組成員時，多采用相似度計算和聚類這兩種方法。

群組推薦系統(tǒng)將群組中每個用戶的偏好進(jìn)行融合，以緩解用戶之間的偏好沖突，盡可能使所有用戶滿意。所以群組建模是整個推薦過程的關(guān)鍵，而在群組建模的過程中運用到的核心技術(shù)，是偏好融合策略和偏好融合方法[10]。將不同的偏好融合策略和偏好融合方法相結(jié)合，可以組成不同的群組推薦系統(tǒng)。

偏好融合策略大概分為3種：基本融合策略，加權(quán)融合策略，動態(tài)交互策略?；救诤喜呗灾饕ň挡呗?AVG)、最小痛苦值策略(LM)、Borda公平策略等[11-13]，都是靜態(tài)策略，均存在一定的不足。本文所提出的方法是一種加權(quán)融合策略，考慮了用戶間的差異性，根據(jù)用戶的特征[14]為其分配不同的權(quán)重，更符合邏輯，因此推薦效果更佳。

偏好融合方法大致分為偏好模型融合和推薦結(jié)果融合兩大類。偏好模型融合是指在推薦生成前進(jìn)行偏好融合；推薦結(jié)果融合是指在推薦生成后進(jìn)行偏好融合。圖2為偏好模型融合與推薦結(jié)果融合示意圖。具體來說，偏好模型融合是在獲取群組內(nèi)每個用戶的偏好后，再使用融合策略生成群組偏好，最后生成群組推薦結(jié)果；而推薦結(jié)果融合就是對每個用戶的個性化推薦列表進(jìn)行融合，與偏好模型融合相比，該方法能夠動態(tài)地調(diào)整推薦列表，讓更多的群組用戶滿意，但其計算過程更為復(fù)雜。

圖2 偏好模型融合與推薦結(jié)果融合示意圖Fig.2 Sketch map of preference model fusion and recommendation result fusion

1.2 注意力機制

視覺注意力機制是人類視覺所特有的大腦信號處理機制。人類視覺通過快速掃描全局信息[15]，獲得需要重點關(guān)注的目標(biāo)信息，對重點信息投入更多注意力資源，以獲取更多的細(xì)節(jié)信息，同時抑制其他無用信息。

注意力機制最開始廣泛應(yīng)用于視覺圖像領(lǐng)域，后來又常用于自然語言處理的機器翻譯任務(wù)，已經(jīng)應(yīng)用于各個領(lǐng)域。

機器翻譯主要通過傳統(tǒng)編碼器-解碼器模型傳遞信息，編碼器-解碼器框架如圖3所示。

圖3 編碼器-解碼器框架Fig.3 Encoder-Decoder framework

輸出序列的所有元素都由同一個上下文向量進(jìn)行解碼。在這種序列到序列的任務(wù)中，如果文本過長，就很容易丟失文本的相關(guān)信息。針對這種狀況，文獻(xiàn)[16]提出在編碼器-解碼器模型中引入注意力機制，使每個輸出元素都有上下文向量Cj，可以表示為

(2)

圖4 注意力權(quán)重的計算過程Fig.4 Calculation process of attention weight

注意力機制的主要作用就是將Source中的構(gòu)成元素Key、Value類比成一一對應(yīng)的鍵值對，此時的輸入是給定句子中的某個元素Querym，通過計算Querym和每個Keyn的相關(guān)度，得出與各個Keyn相對應(yīng)的Values的權(quán)重系數(shù)，再計算權(quán)重系數(shù)的加權(quán)求和，即得到最終的注意力權(quán)重數(shù)值。所以計算注意力權(quán)重的核心就是通過計算V的權(quán)重系數(shù)，進(jìn)而求得Values的加權(quán)求和。Querym與Keyn的主要作用就是用來計算與之對應(yīng)的Values的權(quán)重，且權(quán)重代表了信息的重要性，而Values是其對應(yīng)的信息，權(quán)重越大其對應(yīng)的Values值越大。

2 基于注意力機制的群組推薦方法

群組推薦旨在為一組用戶推薦項目，良好的模型可以很好地模擬群組決策過程。用戶可能只關(guān)注小組的領(lǐng)導(dǎo)者或?qū)＜业壬贁?shù)用戶的決策。

2.1 問題制定

從U={u1,u2,u3,…,un}表示n個用戶；V={v1,v2,v3,…,vm}表示m個項目；G={g1,g2,g3,…,gs}表示s個組。假設(shè)目標(biāo)組t為gt，Ugt表示t組的成員，模型的目標(biāo)是為該組生成一個推薦列表。具體來說，模型的輸入為用戶、項目、歷史日志，輸出為群組的項目預(yù)測分?jǐn)?shù)。

2.2 本文模型

圖5為基于注意力機制的群組推薦模型，主要包括3個層面：嵌入層、融合層、預(yù)測層。嵌入層將輸入的用戶和項目轉(zhuǎn)化為稠密向量；融合層由一個神經(jīng)網(wǎng)絡(luò)構(gòu)成，其主要作用是學(xué)習(xí)用戶在群組中從其他用戶那里獲得的權(quán)重。在融合層的框架下，每個群組、項目以及用戶都是一個嵌入向量，通過融合層得到一個群組向量的表示，作為預(yù)測層的輸入；將向量輸入到預(yù)測層，最后獲得群組的預(yù)測分?jǐn)?shù)。

圖5 基于注意力機制的群組推薦模型Fig.5 Group recommendation model based on attention mechanism

2.2.1 嵌入層

設(shè)un和vm分別是用戶un和項目vm的嵌入向量，這些向量是模型中的基本表示元素。本文的目標(biāo)是為每個群組獲得一個嵌入向量，以估計其對群組偏好的表示。在把用戶和項目轉(zhuǎn)化為向量時，要對其進(jìn)行one-hot編碼，其在引發(fā)向量稀疏問題的同時也會導(dǎo)致計算的復(fù)雜度上升。為了避免這一問題，本文將one-hot編碼后的向量轉(zhuǎn)化為低維稠密向量，具體而言，第n用戶和第m項目可以表示為un、vm。

2.2.2 融合層

群組間在進(jìn)行推薦時一定會有類似小組討論的用戶交互。融合層可以很好地模擬該交互過程。整個過程分為兩步：①在群組的決策中，每個用戶先選出群組中的某些用戶為該群組的決策者；②由這些被選出的用戶為該組選擇一個項目。注意力機制的主要作用是幫助每個用戶學(xué)習(xí)其他用戶的注意力權(quán)重。群組中重要的用戶能夠從其他用戶那里獲得較高的注意力權(quán)重。圖6是本文方法針對單個用戶決策過程的例子。圖6中，x表示用戶潛在向量，α表示注意權(quán)重，最終返回該用戶的加權(quán)平均數(shù)值y。

用α(p,q,t)表示組t中用戶up對用戶uq的投票系數(shù)。根據(jù)以往的經(jīng)驗，用戶更傾向于投票給相關(guān)領(lǐng)域?qū)＜业娜?。因此，如果uq用戶在組t中屬于領(lǐng)域?qū)＜?，那他將獲得該組其他用戶較高的投票，獲得相應(yīng)的α(*,q,t)就更高。如果在另一個組r中，uq用戶不再是該組的領(lǐng)域?qū)＜遥麖钠渌脩裟抢铽@得的投票將會減少，那么他獲得的α(*,q,r)將會減少。

圖6 單個用戶決策過程Fig.6 Individual user decision-making process

由圖5可以看出，本文所提出的方法本質(zhì)上就是每個用戶投票給其他用戶，可以看成是同時進(jìn)行的n個子過程。

對于給定目標(biāo)組t，本文使用n個注意力子網(wǎng)絡(luò)。每個注意力子網(wǎng)絡(luò)都輸入用戶上下文向量，以及該用戶的潛在向量，然后輸出每個用戶的注意力權(quán)重，最后將每個注意力子網(wǎng)絡(luò)的輸出加權(quán)求和。本文將目標(biāo)組t分成n個子組，每個子組gt,p包含除去用戶up之外的所有用戶。每個組都是一個注意力子網(wǎng)絡(luò)，每個注意力子網(wǎng)絡(luò)的輸出為

(3)

最終對所有用戶的投票進(jìn)行加權(quán)平均后得到

(4)

2.2.3 預(yù)測層

每個注意力子網(wǎng)絡(luò)模擬該成員與群組其他成員之間的交互，以得到其對群組內(nèi)其他成員的偏好參數(shù)，本文使用兩層注意力網(wǎng)絡(luò)來計算，最終得到該成員的注意力評分為

a(p,q,t)=wTφ(Wccp+Wuuq,q≠p+b)+c

(5)

(5)式中：矩陣Wc、Wu和偏置b是第1層參數(shù)；矢量w和偏置c是第2層參數(shù)。利用ReLU函數(shù)使φ(x)=max(0,x)，再用Softmax函數(shù)對a(p,q,t)進(jìn)行歸一化處理，得到最終的注意力權(quán)重為

(6)

然后，得到目標(biāo)組t的預(yù)測得分為

(7)

(7)式中，vj是j項的潛在向量。接下來對最終的推薦列表進(jìn)行排序，從排序的角度來處理推薦任務(wù)。本文選擇使用成對學(xué)習(xí)的方法來優(yōu)化模型，假設(shè)已經(jīng)觀察到的項必須優(yōu)先于未觀察到的項?；诨貧w的成對損失(R-BPL)[17]是一種常用的成對學(xué)習(xí)方法，可用于解決個性化排序，同理也適用于優(yōu)化群組推薦。最終的目標(biāo)函數(shù)為

(8)

(8)式中，R表示訓(xùn)練集，包含群組的所有成對正負(fù)項。每個子集都是包含一個組和兩個項目的3元組，表示與正項有所交互，與負(fù)項沒有交互；有交互的為1，沒有交互的為0。

3 實 驗

3.1 準(zhǔn)備工作

本文實驗在Windows10操作系統(tǒng)下進(jìn)行，實驗數(shù)據(jù)集分別采用了CAMRa2011和MovieLens 1M。CAMRa2011是一個包含個人及家庭對電影評分的真實數(shù)據(jù)集，鑒于大多數(shù)用戶缺乏群組的相關(guān)信息，實驗過濾掉了個人用戶，只保留加入群組的用戶，最終該數(shù)據(jù)集包含602個用戶、290個群組、7 710個項目。MovieLens 1M數(shù)據(jù)集，則在原有的基礎(chǔ)上，經(jīng)過處理，隨機分配生成了一個包含1 082個用戶、410個群組、1 422個項目的數(shù)據(jù)集。本文將數(shù)據(jù)集以訓(xùn)練集、測試集按8∶2的比例隨機分配。

3.2 評價指標(biāo)

根據(jù)推薦任務(wù)的不同，群組推薦的評價指標(biāo)可分為預(yù)測評分評估和項目集合評估。因為本文模型本質(zhì)上是用來解決Top-N推薦任務(wù)的，從命中率(hit rate,HR)以及歸一化折扣累計增益(normalized discounted cwmulative gain,NDCG)[18-19]兩個方面對提出的方法進(jìn)行評估，對項目進(jìn)行更加細(xì)化的區(qū)分，而不是僅分為相關(guān)和不相關(guān)，所以更適用于Top-N推薦任務(wù)。HR數(shù)值越大，效果越好，具體公式為

(9)

(9)式中：NoH表示點積數(shù)量，TN表示測試項目集合。

NDCG用來衡量列表的排序質(zhì)量。其計算式為

(10)

(8)式中：ZK是一個系數(shù)，目的是使NDCG@K的值介于0～1；ri表示推薦結(jié)果的相關(guān)性，若命中，ri=1，否則ri=0；K是指Top-K(K=5,10)，表示推薦生成列表的項目個數(shù)。

3.3 實驗結(jié)果

為了體現(xiàn)本文方法的性能，選擇4種模型進(jìn)行對比實驗，其中包括兩種固定策略的傳統(tǒng)靜態(tài)模型：NCF均值策略模型(NCF+AVG)、NCF最大滿意度策略模型(NCF+LM)，以及目前群組推薦中較為先進(jìn)的非固定策略的模型：共識模型(COM)和SIG模型。

1)NCF+AVG模型。通過NCF模型預(yù)測用戶的偏好分?jǐn)?shù)，再使用均值策略融合用戶的偏好以獲得群組偏好分?jǐn)?shù)。最終將群組中個體用戶的偏好得分的平均值作為群組偏好得分。

2)NCF+LM模型。與NCF+AVG模型類似，該模型通過NCF模型結(jié)合最小痛苦策略向群組推薦項目。最小化群組成員的偏好得分，將個體得分的最小值作為群組得分。

3)COM模型。該模型假設(shè)用戶的影響力與所處的群組相關(guān)，通過概率模型對群租決策過程進(jìn)行建模。

4)SIG模型。該模型利用社交網(wǎng)絡(luò)中的數(shù)據(jù)，以統(tǒng)一的框架來學(xué)習(xí)用戶的歷史信息和社會影響力，再利用神經(jīng)網(wǎng)絡(luò)對用戶和項目的交互進(jìn)行建模。

不同K值下各方法在CAMRa2011數(shù)據(jù)集上的HR如圖7所示，NDCG如圖8所示。

圖7 不同K值下各方法在CAMRa2011數(shù)據(jù)集上的HRFig.7 HR of each method on the CAMRa2011 data set under different K values

圖8 不同K值下各方法在CAMRa2011 數(shù)據(jù)集上的NDCGFig.8 NDCG of each method on the CAMRa2011 data set under different K values

由圖7—圖8可見，在推薦項目個數(shù)K=5，K=10時，本文所提出的方法在數(shù)據(jù)集上均取得最優(yōu)表現(xiàn)。在與效果最好的基準(zhǔn)模型SIG方法相比較時，也具有明顯的優(yōu)勢，說明了本文方法的有效性。K=5時，本文HR和NDCG分別比SIG方法提高4.21%和3.80%；K=10時，分別提高3.94%和3.22%。

不同K值下各方法在CAMRa2011數(shù)據(jù)集上的HR和NDCG如表1所示，在MovieLens 1M數(shù)據(jù)集上如表2所示。

表1 不同K值下各方法在CAMRa2011數(shù)據(jù)集上的HR和NDCGTab.1 HR and NDCG of each method on the CAMRa2011 data set under different K values

表2 不同K值下各方法在MovieLens 1M數(shù)據(jù)集上的HR和NDCGTab.2 HR and NDCG of each method on the MovieLens 1M data set under different K values

由表1—表2可以看出，在數(shù)據(jù)集MovieLens1M中，各方法的表現(xiàn)都明顯不如CAMRa2011數(shù)據(jù)集。這與MovieLens1M數(shù)據(jù)集中項目個數(shù)略少，歷史數(shù)據(jù)不足有關(guān)。

圖9所示為本文模型在CAMRa2011上迭代時評價指標(biāo)的變化趨勢。從圖9可以看出，本文模型在CAMRa2011數(shù)據(jù)集上收斂很快，迭代到第5次時基本收斂，到第20次時趨于穩(wěn)定，到第30次時完成迭代達(dá)到最優(yōu)。

圖9 本文模型在CAMRa2011上的迭代表現(xiàn)Fig.9 Iterative performance of our method on CAMRa2011

為了應(yīng)對不同規(guī)模的群組，本文還探究了各推薦方法在不同規(guī)模群組上的表現(xiàn)。由于各方法在CAMRa2011上的表現(xiàn)更加優(yōu)越，因此選擇在CAMRa2011上進(jìn)行了不同規(guī)模群組的實驗。將群組分為3人組、5人組、10人組和15人組進(jìn)行試驗，不同規(guī)模下各方法的NDCG結(jié)果如圖10所示。

圖10 不同規(guī)模下各方法的NDCGFig.10 NDCG of various methods at different scales

從圖10可以發(fā)現(xiàn)，本文方法在面對不同規(guī)模的群組時一直保持著較高的推薦質(zhì)量，在面臨10人以上的大規(guī)模群組時也有著良好的表現(xiàn)；COM與SIG模型也能夠在大規(guī)模群組中取得較好的效果，但COM模型在小規(guī)模群組中的表現(xiàn)不佳；兩種傳統(tǒng)的固定策略，在面對10人以上的大型群組時性能反而受到影響，尤其是NCF+LM算法，并不能很好地應(yīng)對大型的群組推薦任務(wù)。因此，在面對不同規(guī)模的群組時應(yīng)該對現(xiàn)有的群組推薦算法有所取舍；在面臨更大型群組時，應(yīng)該采取怎樣的推薦算法也是一個值得研究的問題。

4 結(jié)束語

為了解決現(xiàn)有群組推薦中預(yù)定義策略導(dǎo)致推薦效果不佳的問題，本文提出了一種基于注意力機制的群組推薦方法。該方法使用注意力機制來獲取群組中每個用戶對其他用戶的注意力權(quán)重，為群組選出一個決策者，以此來模擬群組中用戶的交互，并根據(jù)用戶的加權(quán)偏好來為群組推薦項目?？紤]到用戶在不同群組中發(fā)揮的作用不同，該方法可以動態(tài)調(diào)整不同用戶在不同群組中的注意力權(quán)重，能夠很好地模擬群組決策過程。