基于自注意力網(wǎng)絡(luò)的共享賬戶跨域序列推薦

郭 磊 李秋菊 劉方愛 王新華

1(山東師范大學(xué)商學(xué)院 濟(jì)南 250358) 2(山東師范大學(xué)信息科學(xué)與工程學(xué)院 濟(jì)南 250358) (leiguo.cs@gmail.com)

用戶行為序列是指按照用戶行為所發(fā)生的時間進(jìn)行排序而得到的行為記錄，它是很多互聯(lián)網(wǎng)應(yīng)用對用戶行為進(jìn)行組織和管理的一種重要方式.比如用戶在電子商城點擊或購買商品的序列信息，以及用戶在視頻網(wǎng)站對視頻的觀看序列等.由于序列信息通常蘊(yùn)含了豐富的用戶行為規(guī)律和興趣偏好信息，如何對序列信息進(jìn)行建模，并以此預(yù)測用戶下一次可能會點擊或購買的項目，成為近年來研究者關(guān)注的熱點問題.序列推薦[1-3]同時也是很多網(wǎng)絡(luò)應(yīng)用推廣產(chǎn)品、進(jìn)行精準(zhǔn)營銷的重要方法.目前，序列推薦已經(jīng)在電商、視頻和音樂等領(lǐng)域得到了廣泛的應(yīng)用.

與傳統(tǒng)的序列推薦任務(wù)相比，共享賬戶跨域序列推薦(shared-account cross-domain sequential re-commendation, SCSR)是指在特定背景下進(jìn)行的序列推薦任務(wù)，即：為使用共享賬戶的多個不同用戶進(jìn)行跨領(lǐng)域的序列推薦.其中，共享賬戶是指多個用戶共同使用一個賬戶(如家庭電視賬戶)；跨域推薦[4-6]是指借助用戶在其他領(lǐng)域中的信息來豐富目標(biāo)域中的用戶信息或用戶特征，以提高目標(biāo)域的推薦質(zhì)量.在共享賬戶跨域序列推薦任務(wù)中：1)本文考慮了共享賬戶的情景.因為在很多應(yīng)用中使用共享賬戶已成為一種普遍現(xiàn)象.例如，一個家庭的成員往往會使用同一個賬戶觀看電影、電視節(jié)目，甚至有的家庭會使用同一個賬戶進(jìn)行網(wǎng)上購物.在這些情景中，共享賬戶中的多個用戶的行為是混合在一起的，很難直接將它們區(qū)分開來，使得推薦任務(wù)變得更具有挑戰(zhàn)性.2)本文考慮了跨域推薦的情景.主要是因為：一方面，用戶的興趣往往是多樣的.例如，用戶可能會在同一視頻平臺上同時觀看不同類型、不同題材的視頻.比如，她/他既可能會觀看一些技能或教育類的產(chǎn)品，也可能會同時觀看一些娛樂性的節(jié)目(如電視劇、電影等).另一方面，雖然用戶在每一個域上使用的產(chǎn)品和服務(wù)不一樣，但卻可以反映出用戶的一些共同興趣和特征.例如，用戶對某個作者的喜好可以同時反映到電影和讀書領(lǐng)域.捕獲用戶在這些不同領(lǐng)域中的行為可以幫助我們更進(jìn)一步了解用戶偏好，以實現(xiàn)在目標(biāo)域進(jìn)行更加準(zhǔn)確地推薦.

目前已有的序列推薦算法大都使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[7]對序列信息進(jìn)行建模，但是RNN和CNN不僅難以并行訓(xùn)練，需要較長模型訓(xùn)練和預(yù)測時間，而且RNN和CNN在建模用戶的序列行為時都不能夠較好地捕捉用戶行為之間的長期依賴關(guān)系，而長期依賴關(guān)系在序列推薦任務(wù)中有時會起著比較重要的作用.例如，給定1個購物序列S1={手機(jī)，鞋，口紅，T恤，巧克力，手機(jī)殼}，可以看到，手機(jī)和手機(jī)殼之間存在比較強(qiáng)的依賴關(guān)系，但是手機(jī)和手機(jī)殼的距離又比較遠(yuǎn).而這種情況在我們?nèi)粘Ｉ钪惺欠浅３Ｒ姷?，建模用戶行為之間的長期依賴關(guān)系有利于進(jìn)一步提高序列推薦的精準(zhǔn)度.另外，已有的工作大多數(shù)都是針對單個域中的用戶行為進(jìn)行推薦，很少有同時考慮多個用戶共享一個賬戶和跨域這2種情況.例如，雖然π-Net[8]將共享賬戶跨域序列推薦任務(wù)看作一種并行的序列推薦問題，并且提出一個并行的信息共享網(wǎng)絡(luò)框架來兼顧共享賬戶和跨域這2種情況，但是該方法仍存在2方面不足：1)π-Net使用多個RNN進(jìn)行用戶行為序列信息建模以及領(lǐng)域信息的捕獲，導(dǎo)致方法難以并行訓(xùn)練，具有較高的計算復(fù)雜度和需要較長的運(yùn)行時間.2)由于RNN存在的固有缺陷，使得該方法無法同時建模用戶交互序列行為之間的長期依賴關(guān)系，只能得到次優(yōu)的推薦結(jié)果.

基于對以上問題的觀察，本文將共享賬戶跨域序列推薦任務(wù)作為目標(biāo)，針對現(xiàn)有方法存在的缺陷，創(chuàng)新性地提出了一種基于自注意力網(wǎng)絡(luò)的序列推薦算法，并試圖同時解決多個用戶共享一個賬戶和跨領(lǐng)域推薦2個問題.具體展開來看，針對共享賬戶的問題和現(xiàn)有方法不能捕獲用戶行為之間的長期依賴關(guān)系的問題，本文創(chuàng)新性地引入了一種自注意力網(wǎng)絡(luò)[9]來對用戶行為序列進(jìn)行建模.與現(xiàn)有的使用遞歸網(wǎng)絡(luò)或卷積網(wǎng)絡(luò)的其他模型相比，本文所使用的自注意力網(wǎng)絡(luò)只使用了注意力機(jī)制來對序列信息進(jìn)行建模，并采用了并行加速的運(yùn)行方式，使其運(yùn)行速度比基于RNN和CNN的方法快1個數(shù)量級.另外，由于自注意力網(wǎng)絡(luò)需要計算行為序列中任意2個行為之間的注意力，使得它能夠在全局范圍內(nèi)很好地捕捉用戶交互行為之間的長期依賴關(guān)系.為了能模擬多個用戶共享1個賬戶的混合行為，本文進(jìn)一步引入了自注意力網(wǎng)絡(luò)中的多頭(multi-head)機(jī)制來建模共享賬戶中的多個用戶，即：使用1個頭(head)來表示1個用戶.針對跨域問題中每個用戶會在多個領(lǐng)域上(本文以2個域為例)產(chǎn)生不同行為的現(xiàn)象，本文提出一種帶有交叉映射的多層感知網(wǎng)絡(luò)來解決不同域之間的信息傳輸問題.并進(jìn)一步使用能同時考慮2個域信息的混合推薦解碼器來進(jìn)行推薦.最后，采取以端到端的方式在2個域上進(jìn)行聯(lián)合訓(xùn)練，并在真實數(shù)據(jù)集上對提出的算法進(jìn)行了驗證.

本文的主要貢獻(xiàn)概括為4個方面：

1) 針對共享賬戶跨域序列推薦SCSR問題提出了一種基于自注意力的跨域推薦模型(self-attention-based cross-domain recommendation model, SCRM)，該模型同時考慮了共享賬戶和跨域2個特性，并且在2個域中分別進(jìn)行了推薦.

2) 采用多頭自注意力網(wǎng)絡(luò)建模共享賬戶中多個用戶的偏好，不僅具有并行運(yùn)行的良好特性，而且能夠很好地捕捉用戶行為間的長期依賴關(guān)系和建模共享同一賬戶中多個用戶的混合行為.

3) 提出一種帶有交叉映射的多層感知網(wǎng)絡(luò)來實現(xiàn)不同域之間的信息傳遞.在深度遷移學(xué)習(xí)方法中，探討了建模用戶序列行為之間交互關(guān)系的方法.

4) 在真實數(shù)據(jù)集上進(jìn)行了實驗，實驗結(jié)果表明，本文提出的方法更加有效地對共享賬戶的行為進(jìn)行建模，并且在共享賬戶跨域序列推薦任務(wù)上取得了更好的結(jié)果.

1 相關(guān)工作

本節(jié)將從跨域推薦、共享賬戶推薦和基于注意力網(wǎng)絡(luò)的推薦3個方面來介紹相關(guān)工作.

1.1 跨域推薦

由于跨域推薦[10-11]主要是考慮了來自多個域的信息，所以它有助于解決推薦系統(tǒng)中經(jīng)常面臨的冷啟動[12]問題和數(shù)據(jù)稀疏[13-14]問題.在現(xiàn)有的跨域推薦研究中，主要有2種方法來解決跨域問題.

一種方法是將不同域之間的信息直接聚合起來.例如，文獻(xiàn)[15]采用了一種基于語義網(wǎng)絡(luò)的描述框架.它們整合了多個相關(guān)輔助領(lǐng)域的信息，將輔助域的有用信息與目標(biāo)域的信息進(jìn)行整合，實現(xiàn)跨域的項目推薦.文獻(xiàn)[16]介紹了一種跨域主題學(xué)習(xí)(cross-domain topic learning, CTL)模型,它采用了通過主題層的方式(而不是作者層)來加強(qiáng)跨域協(xié)作.文獻(xiàn)[17]描述了一種跨域三元分解(cross domain triadic factorization, CDTF)方法，該方法將用戶域和項目域結(jié)合，可以更有效地挖掘用戶與項目之間存在的交互關(guān)系.文獻(xiàn)[18]采用星型結(jié)構(gòu)的混合圖對社會網(wǎng)絡(luò)進(jìn)行建模，實現(xiàn)了項目之間的連接.該方法的主要優(yōu)點是能夠確定影響項目進(jìn)行跨域傳輸?shù)囊蛩?

另一種方法是將輔助域中的信息傳輸?shù)侥繕?biāo)域中.基于深度學(xué)習(xí)的方法[19]非常適合遷移學(xué)習(xí)，因為深度學(xué)習(xí)方法可以學(xué)習(xí)到不同域的高級抽象表示.例如，文獻(xiàn)[20]在LDA(latent Dirichlet allocation)模型上采用貝葉斯方法，將用戶的偏好在域之間進(jìn)行傳輸，使用一個公共空間來模擬多個域的用戶偏好和項目受歡迎程度.文獻(xiàn)[21]提出了一個新的框架，該框架充分利用了個體和群體的信息，同時實現(xiàn)了多領(lǐng)域的訓(xùn)練.文獻(xiàn)[6]將捕獲到的用戶與項目之間交互的關(guān)系與帶有用戶社交關(guān)系的拉普拉斯圖的優(yōu)勢結(jié)合起來，其核心思想就是向來自社交關(guān)系圖域的用戶推薦來自信息域的項目.

但是，上述提及到方法大部分只適用于靜態(tài)評分?jǐn)?shù)據(jù)，而不能直接應(yīng)用到序列推薦任務(wù)中.

1.2 共享賬戶推薦

共享賬戶推薦是對多個用戶在同一個賬戶內(nèi)產(chǎn)生的混合交互行為進(jìn)行建模，然后向賬戶里的每一個用戶進(jìn)行推薦，這通常被認(rèn)為是2個獨立的過程，即首先識別用戶，然后再進(jìn)行推薦[22-23].例如，文獻(xiàn)[24]將由多個用戶交互行為組成的共享賬戶看作線性子空間的并集，這使得線性子空間聚類算法在共享賬戶推薦問題中得到了很好地應(yīng)用.文獻(xiàn)[25]以一個新的研究視角研究用戶識別，它利用用戶偏好和消費(fèi)時間來表示用戶身份.以不同用戶在不同時間段進(jìn)行消費(fèi)和消費(fèi)行為具有一定周期性為理論基礎(chǔ)，提出了不同的用戶偏好可以在不同時間段內(nèi)體現(xiàn)出來.文獻(xiàn)[26]在鑒定共享賬戶里的不同用戶時同樣利用了時間因素，按照分析的用戶偏好對時間進(jìn)行劃分以生成一個自適應(yīng)的時間模型.文獻(xiàn)[23]提出一種無監(jiān)督框架來鑒定同一賬戶內(nèi)的用戶，然后學(xué)習(xí)每一個用戶的偏好.在他們的方法中，利用一個異構(gòu)圖來學(xué)習(xí)項目和元數(shù)據(jù)之間的關(guān)系.在每個賬戶中利用投影的無監(jiān)督方法判斷用戶的偏好，然后提供個性化推薦[27].文獻(xiàn)[8]認(rèn)為可以通過端到端的方式解決共享賬戶的問題，并且同時考慮了跨域信息以提高每個域的推薦質(zhì)量.但是該模型由于是以RNN為基礎(chǔ)建立的，所以其訓(xùn)練時間比較長，并且無法很好地捕捉用戶行為間的長期依賴關(guān)系.

1.3 基于注意力網(wǎng)絡(luò)的推薦

注意力網(wǎng)絡(luò)[28-29]目前已經(jīng)被廣泛應(yīng)用于圖像處理、機(jī)器翻譯、自然語言處理等領(lǐng)域.例如，文獻(xiàn)[30]提出一個模型，該模型通過平滑用戶的歷史行為來改進(jìn)注意力網(wǎng)絡(luò)，通過發(fā)現(xiàn)項目之間存在的連接性探索項目之間更多的相似性.該模型主要是利用了用戶偏好具有不同優(yōu)先性的特點.文獻(xiàn)[31]介紹了一種優(yōu)先考慮用戶最近交互行為的機(jī)制.即該模型在優(yōu)先考慮了用戶最近交互行為生成的當(dāng)前偏好的基礎(chǔ)上，又結(jié)合了用戶在該域中由所有行為分析生成的長期偏好，其實現(xiàn)過程采取了一種新的注意力網(wǎng)絡(luò).為了克服RNN固有的一些問題，文獻(xiàn)[9]提出了一種新的僅基于自注意力機(jī)制(self-attention，SA)的網(wǎng)絡(luò)結(jié)構(gòu)，完全不需要借助循環(huán)機(jī)制或卷積機(jī)制.最近的相關(guān)研究[32-34]表明，自注意力網(wǎng)絡(luò)在多種推薦任務(wù)上可以取得更好的推薦結(jié)果.例如，文獻(xiàn)[32]提出了一種基于自注意力和度量嵌入的方法，該方法在解決序列推薦問題時同時考慮了用戶的短期偏好和長期偏好.文獻(xiàn)[35]將用戶行為分為異構(gòu)行為和其他行為.它們將不同的異構(gòu)行為投射到不同的潛在空間中，這些行為在一個公共空間中可以相互作用.在考慮其他影響因素的情況下，采用自注意力網(wǎng)絡(luò)對所有用戶行為進(jìn)行建模.

但是，目前的研究大都是針對傳統(tǒng)的序列推薦任務(wù)，而對于更為復(fù)雜的SCSR任務(wù)探討較少.特別是如何解決SCSR任務(wù)中用戶行為的長期依賴關(guān)系，所以共享賬戶問題還存在很多研究空白.

2 本文提出的SCRM方法

本節(jié)首先給出了SCSR任務(wù)的定義和所提出的SCRM方法的總體架構(gòu)，然后分別詳細(xì)描述了SCRM的組成模塊，最后給出了相應(yīng)的目標(biāo)函數(shù).表1列出了本文后續(xù)內(nèi)容會使用到的符號定義：

Table 1 Definition and Description of Common Symbols

2.1 SCSR任務(wù)定義

在本文中，使用SA={A1,A2,…,Ai,…,A|SA|}和SB={B1,B2,…,Bj,…,B|SB|}分別表示域A和域B的共享賬戶中用戶交互行為序列.其中，Ai∈(1≤i≤n)表示在域A中消費(fèi)項目的索引，表示域A中所有項目的集合；Bj∈(1≤j≤m)表示在域B中消費(fèi)項目的索引，表示域B中所有項目的集合.SCSR任務(wù)的目標(biāo)是在給定序列SA和序列SB的情況下，給共享賬戶中的某個用戶推薦即將消費(fèi)的下一個項目.域A和域B中所有候選項目會被推薦的概率分別被定義為P(Ai+1|SA,SB)和P(Bj+1|SB,SA)，分別表示在域A和域B中，給定序列SA和SB情況下，推薦項目Ai+1和項目Bj+1的概率.

2.2 SCRM的總體架構(gòu)

SCRM的主要任務(wù)是：1)對共享賬戶中多個用戶的行為信息進(jìn)行建模；2)將用戶在不同域上的興趣信息進(jìn)行跨域傳輸；3)將跨域傳輸?shù)玫降妮o助域信息與目標(biāo)域的原始信息進(jìn)行整合以提高在目標(biāo)域的推薦結(jié)果.

Fig.1 System architecture of SCRM圖1 SCRM的系統(tǒng)架構(gòu)

SCRM的系統(tǒng)架構(gòu)如圖1所示.SCRM主要由4部分組成，即嵌入層(embedding)、自注意力模塊(self-attention block, SAB)、跨域傳輸網(wǎng)絡(luò)(cross-domain transfer network, CTN)和混合推薦解碼器(hybrid recommendation decoder).其中，嵌入層的功能是將原始的輸入序列進(jìn)行預(yù)處理.具體操作是依據(jù)輸入序列對目標(biāo)域中所有項目的嵌入矩陣進(jìn)行檢索，以得到輸入序列中每個項目的初始嵌入表示(即輸入序列的初始表示).自注意力模塊主要是在不同域中建模用戶的序列信息，以及模擬共享同一個賬戶的多個用戶特征.在這一模塊中，引入自注意力模型的多頭(multi-head)機(jī)制，使用每一個頭(head)表示共享賬戶里的每一個用戶，從而達(dá)到從多個維度建模用戶興趣的目的.跨域傳輸網(wǎng)絡(luò)的任務(wù)是將從輔助域中提取到的用戶興趣信息傳輸?shù)侥繕?biāo)域中，以提高目標(biāo)域的推薦質(zhì)量.在本模塊中，通過采用多層交叉映射感知網(wǎng)絡(luò)來實現(xiàn)知識的跨域傳輸.每一個跨域傳輸模塊由2層隱藏層構(gòu)成，其中第1層與第2層之間通過共享傳輸矩陣的方式，實現(xiàn)輔助域與目標(biāo)域的信息共享.混合推薦解碼器的主要任務(wù)則是進(jìn)一步混合了跨域信息和目標(biāo)域中原有的序列信息，以進(jìn)一步提高目標(biāo)域的推薦結(jié)果.通過使用拼接操作，將目標(biāo)域內(nèi)自注意力網(wǎng)絡(luò)模塊的輸出與跨域傳輸模塊最后的輸出進(jìn)行拼接，從而達(dá)到綜合考慮2個域信息的目的.

2.3 嵌入層

本文提出的嵌入層主要包括初始項目表示和位置嵌入表示2部分.初始項目表示是將目標(biāo)域中的所有項目映射為低維空間中的實數(shù)向量，構(gòu)成目標(biāo)域的嵌入矩陣，實現(xiàn)目標(biāo)域中每個項目的向量化表示；然后模型的輸入序列(即SA,SB)根據(jù)嵌入矩陣中的索引得到輸入序列的向量化表示.在本文中，將輸入序列的長度n固定為30.令M∈|I|×d表示域A或域B中所有項目的嵌入矩陣，其中I表示域A或域B中的所有項目集合(I=A或I=B),d是項目表示的潛在維度.輸入序列中的每一個項目都對矩陣M進(jìn)行檢索可以得到輸入序列SA(以域A為例)的初始嵌入EA∈n×d，其中n表示輸入序列的最大長度，d表示序列中每個項目的潛在維度.

由于自注意力網(wǎng)絡(luò)(如2.4節(jié)所示)并不包括任何的循環(huán)機(jī)制或卷積機(jī)制，所以使用自注意力網(wǎng)絡(luò)直接對序列信息進(jìn)行建模得到的編碼并不包括序列的順序信息.為了使模型能夠捕獲到用戶行為序列間的時序關(guān)系，在初始嵌入E的基礎(chǔ)上增加了一個位置編碼P∈n×d[36]：

(1)

2.4 自注意力模塊(SAB)

為了克服基于RNN方法不能很好地捕獲序列行為間長期依賴關(guān)系的固有缺陷，本文采用了自注意力網(wǎng)絡(luò)(SA)作為基礎(chǔ)序列編碼器.與傳統(tǒng)的注意力網(wǎng)絡(luò)相比，SA不僅能夠建模序列中用戶行為的上下文信息，而且還通過計算序列中任意2個行為之間的相關(guān)程度捕獲行為的長期依賴關(guān)系和序列的全局信息.

在本文中，使用的SA方法是采用點積運(yùn)算的方式計算行為之間的注意力：

(2)

(3)

其中,WQ，WK，WV∈d×d是3個不同的投影矩陣，使用3個不同的投影矩陣與采用相同的投影矩陣相比，不同的投影矩陣會使得模型靈活性更好一些.S是自注意力網(wǎng)絡(luò)的輸出，1個S表示共享賬戶里1個用戶的項目特征表示.因為自注意力網(wǎng)絡(luò)計算的是序列中任意2個元素之間的相似度，所以不管元素之間距離有多遠(yuǎn)，都可以捕獲到元素之間的關(guān)系.因此，自注意力網(wǎng)絡(luò)的輸出S不僅學(xué)習(xí)了序列的上下文關(guān)系，也學(xué)習(xí)了項目的長期依賴關(guān)系.

2) 多頭自注意力網(wǎng)絡(luò)(multi-head self-attention, MSA).由于共享賬戶通常是由多個用戶共同使用，所以假設(shè)賬戶里的交互行為僅是由1個虛擬賬戶生成是不合理的.為了從多用戶視角對共享賬戶中的混合交互行為進(jìn)行建模(假設(shè)每一個賬戶里有H個用戶)，進(jìn)一步在SA里引入了多頭機(jī)制，用1個頭(head)表示共享賬戶中的1個用戶.

為了達(dá)到從多個維度(即多用戶視角)進(jìn)行建模的目的，MSA通過H個不同的權(quán)重值WQ，WK，WV對嵌入值進(jìn)行H次變換，進(jìn)而得到H組并行的Q，K，V，1組Q，K，V看作共享賬戶中1個用戶的初始輸入.然后，這H組數(shù)據(jù)以并行的方式通過自注意力網(wǎng)絡(luò)進(jìn)行投影，得到H個d維的輸出S.最后，將這H個S進(jìn)行拼接處理，并將其投影到d維空間上，得到MSA的最終輸出,如圖2所示.與以往方法相比，我們創(chuàng)新地提出了使用MSA網(wǎng)絡(luò)聯(lián)合建模共享賬戶里多個用戶的信息.每個域中的多頭機(jī)制可以表示為

D=MultiHead(Q，K，V)=
Concat(head1,head2,…,headH)WO=
Concat(S1,S2,…,SH)WO,

(4)

(5)

其中,WO∈Hd×d是投影矩陣；headi=Si∈n×d表示一個自注意力網(wǎng)絡(luò)的輸出；D∈n×d是某個域(A或B)中MSA的最終輸出，它表示在考慮共享賬戶里H個用戶混合行為信息后所學(xué)習(xí)出的共享賬戶的項目表示；H是MSA網(wǎng)絡(luò)中自注意力頭(或用戶)的數(shù)量.

Fig.2 Architecture of the multi-head self-attention network in SCRM圖2 SCRM模型中多頭自注意力網(wǎng)絡(luò)的體系結(jié)構(gòu)

3) 點式前饋神經(jīng)網(wǎng)絡(luò)(point-wise feed-forward network, PFFN).在本文中，點式前饋神經(jīng)網(wǎng)絡(luò)指的是作用于每一個位置的2層全連接網(wǎng)絡(luò).PFFN將MSA的輸出D作為輸入，其計算方式可形式化為

N=PFFN(D)=
ReLU(DW(1)+b(1))W(2)+b(2),

(6)

其中,矩陣W(1)，W(2)∈d×d,b(1)和b(2)都是神經(jīng)網(wǎng)絡(luò)的參數(shù).本文使用ReLU作為激活函數(shù).

4) 層規(guī)范化(layer norm).為了使模型穩(wěn)定，并且能夠加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練，本文采用層規(guī)范化對點式前饋神經(jīng)網(wǎng)絡(luò)輸出的序列特征進(jìn)行規(guī)范化處理.層規(guī)范化不同于批規(guī)范化的是，我們在計算均值和方差統(tǒng)計數(shù)據(jù)時，同一批內(nèi)的樣本數(shù)據(jù)是獨立的.其定義為

(7)

其中，x表示MSA或PFFN的輸出，因為本文在MSA網(wǎng)絡(luò)和PFFN網(wǎng)絡(luò)中都使用了層規(guī)范化.μ表示由數(shù)據(jù)計算而來的均值組成的向量，σ2表示方差，α和β是可學(xué)習(xí)到的參數(shù).⊙表示向量元素積運(yùn)算.

到目前為止，得到了共享賬戶中所有用戶序列中每一個項目的表示.為了學(xué)習(xí)整個共享賬戶中用戶序列的表示，進(jìn)一步將序列中n個物品的表示通過聚合函數(shù)將其進(jìn)行聚合，并將其作為自注意力模塊SAB的最后輸出.其中，聚合函數(shù)可以使用求和函數(shù)、均值函數(shù)、最大值函數(shù)和最小值函數(shù)等方法來完成.本文采用了最小值聚合函數(shù)的計算方法，并在實驗中對這4種方法的有效性進(jìn)行了對比(具體實驗參見表6).基于最小值的聚合函數(shù)可以表示為

(8)

2.5 跨域傳輸網(wǎng)絡(luò)CTN

MSA的輸出仍然只對用戶在域A(或域B)中的序列行為進(jìn)行了建模.為了能夠利用用戶在其他相關(guān)域的信息，實現(xiàn)跨域推薦，還需要將在域A(或域B)中學(xué)習(xí)到的用戶興趣傳輸?shù)接駼(或域A)，然后將其與用戶在目標(biāo)域B(或域A)的興趣信息相結(jié)合，以提高在目標(biāo)域B(或域A)的推薦結(jié)果.在本節(jié)中，提出了一種基于多層交叉映射感知網(wǎng)絡(luò)的跨域傳輸網(wǎng)絡(luò)來實現(xiàn)域跟域之間的信息傳輸[5].它的主要任務(wù)是在2個域之間通過在同一層網(wǎng)絡(luò)中共享同一個矩陣來實現(xiàn)域和域之間的雙向信息傳遞，從而達(dá)到使用輔助域來提升目標(biāo)域推薦效果的目的.

CTN的架構(gòu)如圖1所示，從圖1中可以看CTN是一個多層交叉映射感知網(wǎng)絡(luò)，它以來自2個域的基本的序列表示作為輸入(SAB的輸出)，對于其中的任意2層(q層和q+1層)：

(9)

(10)

其中，WA和WB分別表示域A和域B的權(quán)重矩陣，矩陣P的作用是控制域A與域B之間的信息流的傳輸.跨域傳輸?shù)男畔瑫r從域A中傳向域B和從域B中傳向域A中.所以，CTN可以實現(xiàn)知識的雙向傳輸，以保證模型在每個域都可以接收到用戶在其他輔助域的相關(guān)信息.當(dāng)域A中數(shù)據(jù)較為稀疏時，SCRM在學(xué)習(xí)域A中用戶興趣的基礎(chǔ)之上，也可以通過跨域傳輸網(wǎng)絡(luò)學(xué)習(xí)到域B中的用戶偏好表示，反之亦然.因此，SCRM在域A中對用戶偏好有一個更好的學(xué)習(xí)，并且解決了數(shù)據(jù)稀疏的問題.

通過使用矩陣P而不是標(biāo)量來控制域跟域之間的信息傳輸，主要是基于2個原因：1)矩陣P是從數(shù)據(jù)集中學(xué)習(xí)得到的，所以組成矩陣P的每一行數(shù)值都不是相同的，這也意味著其可以建?？缬騻鬏斝畔⒉煌恢玫牟煌匾约促x予用戶序列不同項目不同權(quán)重.2)由于多層神經(jīng)網(wǎng)絡(luò)一般都會采取塔型的結(jié)構(gòu)，低層網(wǎng)絡(luò)的神經(jīng)元數(shù)量要多一些，高層次網(wǎng)絡(luò)的神經(jīng)元數(shù)量要少一些.通過改變矩陣P的維度，可以實現(xiàn)不同維度的隱藏層之間的連接.

第q+1層.跨域傳輸模塊通過一個多層交叉映射感知網(wǎng)絡(luò)(以2層為例)來實現(xiàn)域和域之間的信息傳輸.域A和域B通過交叉連接進(jìn)行耦合：

(11)

(12)

2.6 混合推薦解碼器

(13)

其中,⊕表示拼接運(yùn)算，W和b是神經(jīng)網(wǎng)絡(luò)的參數(shù)，softmax表示進(jìn)行歸一化的操作.

2.7 目標(biāo)函數(shù)

本文使用負(fù)對數(shù)似然損失函數(shù)作為目標(biāo)函數(shù)，對各個域的SCRM進(jìn)行訓(xùn)練：

LA(θ)=

(14)

LB(θ)=

(15)

其中,θ表示SCRM模型中的所有參數(shù)，表示域A和域B的訓(xùn)練序列(SA和SB).

為了能夠進(jìn)一步充分利用用戶在不同域中的共同興趣，將2個域中預(yù)測函數(shù)同時進(jìn)行訓(xùn)練，將LA和LB線性聯(lián)合起來，模型的損失函數(shù)進(jìn)行一步轉(zhuǎn)化為

L(θ)=LA(θ)+LB(θ).

(16)

注意，SCRM中所有的參數(shù)都是以端到端的方式進(jìn)行學(xué)習(xí)的.

3 實 驗

3.1 研究問題

本文實驗圍繞5個研究問題展開：

1) 基于平均排序倒數(shù)(MRR)和召回率(Recall)這2種評價指標(biāo)而言，本文提出的SCRM在不同域中的表現(xiàn)如何；SCRM是否同時提高了在2個域的推薦性能；SCRM方法與其他最新方法相比表現(xiàn)如何.

2) SCRM中的2個模塊MSA和CTN在推薦中分別起到的作用是什么.

3) 超參數(shù)H如何影響SCRM模型的性能.

4) MSA中的聚合函數(shù)的選擇對于實驗效果的影響.

5) SCRM的訓(xùn)練效率如何.

3.2 數(shù)據(jù)集和評價指標(biāo)

本文使用真實數(shù)據(jù)集HVIDEO[8]作為實驗的數(shù)據(jù)源.由于沒有其他公開可用的數(shù)據(jù)集，所以，這里我們只采用了1個數(shù)據(jù)集來評估本文提出的方法.HVIDEO是一個智能電視數(shù)據(jù)集，包含2016-10-12—2017-06-30期間26萬個家庭的觀看日志.這些觀看日志是從知名智能電視服務(wù)提供商的2個平臺(域V和域E)收集的.域V包括電視連續(xù)劇、電影、動畫片、才藝表演和其他節(jié)目的視頻.域E包括基于教科書的在線教育視頻以及體育、食品、醫(yī)療等方面的教學(xué)視頻.HVIDEO數(shù)據(jù)集的統(tǒng)計如表2所示：

Table 2 Statistics of HVIDEO Dataset表2 HVIDEO數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)

實驗中，隨機(jī)選擇75%的序列作為訓(xùn)練數(shù)據(jù)，15%的數(shù)據(jù)作為驗證集，其余10%作為測試集.對于實驗評估，本文使用每個序列中最后1個觀察到的項目作為真實值.本文采用常用度量標(biāo)準(zhǔn)MRR@5，Recall@5，MRR@10，Recall@10，MRR@20，Recall@20來衡量不同推薦算法的性能表現(xiàn).關(guān)于MRR和Recall的定義如下.

1)MRR.MRR是根據(jù)用戶實際觀看的某個視頻所在的排名位置，進(jìn)行取倒數(shù)并做均值運(yùn)算得到的.本文之所以選擇MRR作為評價指標(biāo)之一，主要原因是本文使用的模型在每次推薦時只有1個真實值.如果視頻的排名位置過低，則對我們的推薦系統(tǒng)起不到具體的實際作用.所以本文使用MRR@5，MRR@10，MRR@20作為評價指標(biāo).

2)Recall.Recall的功能是衡量檢索到的相關(guān)項目數(shù)與文檔中所有相關(guān)項目數(shù)的比例，也就是衡量檢索系統(tǒng)的召回情況.

3.3 對比方法

在實驗中，本文與4種類型的9種基準(zhǔn)方法進(jìn)行了對比.

1) 傳統(tǒng)推薦方法

① pop[37].此方法根據(jù)項目的流行程度進(jìn)行推薦，并始終推薦最流行的項目.

② item-KNN[38].該方法用于計算項目之間的相似性，這是通過2個項目之間的共現(xiàn)次數(shù)實現(xiàn)的.

③ BPR-MF[39].該方法是一種常用的基于矩陣分解的推薦方法.本文通過使用到目前為止，出現(xiàn)在這個序列中的所有項目的平均潛在因素來表示一個新句子的方式將BPR-MF應(yīng)用到序列推薦任務(wù)中.

2) 共享賬戶推薦方法

此類中只有1種基準(zhǔn)方法——VUI[25].該方法假設(shè)共享賬戶里的不同用戶會有不同的偏好，并且會在不同的時間段進(jìn)行消費(fèi).所以將賬戶的日志記錄按照在不同時間段的不同偏好對共享賬戶里的用戶進(jìn)行分解.該算法將1天劃分為不同的時間段，共享賬戶里的日志都劃分到相應(yīng)的時間段內(nèi)，并且假設(shè)每個時間段內(nèi)的日志記錄是由一個虛擬用戶生成的，使用一個3維向量來表示這個虛擬用戶，借助余弦相似度來計算這些虛擬用戶之間的相似性，相似度高的會進(jìn)行合并.VUI使用user-KNN的方法為這些生成的潛在用戶進(jìn)行推薦.

3) 跨域推薦方法

① NCF-MLP++[37].該方法使用基于深度學(xué)習(xí)網(wǎng)絡(luò)，利用多層感知機(jī)(MLP)計算傳統(tǒng)協(xié)同過濾方法中的內(nèi)積.

② Conet[5].該模型將十字繡網(wǎng)絡(luò)的思想應(yīng)用于跨域推薦，利用神經(jīng)協(xié)同過濾模型在不同域之間共享信息.

4) 序列推薦方法

① GRU4REC[39].它使用GRU層編碼用戶的序列行為，并通過基于排名的損失函數(shù)學(xué)習(xí)模型.

② HGRU4REC[40].該方法通過考慮用戶信息改進(jìn)了GRU4REC，提出了一種層次遞歸神經(jīng)網(wǎng)絡(luò)(RNN).

③π-Net[8].這是通過并行信息共享網(wǎng)絡(luò)研究SCSR問題的最新方法.但是，由于該方法是基于RNN的，因此非常耗時，而且無法捕獲共享賬戶內(nèi)交互行為的長期依賴關(guān)系.

3.4 參數(shù)設(shè)置

在本文中，SCRM是在TensorFlow框架上實現(xiàn)的，并通過NVidia RTX 2080 Ti GPU進(jìn)行加速.本文使用Xavier方法[41]隨機(jī)初始化模型參數(shù)，將Adam作為優(yōu)化算法.模型的參數(shù)配置為：dropout值為0.4，超參數(shù)學(xué)習(xí)率為0.000 1，嵌入尺寸為80，迭代次數(shù)為50，批量大小為128.所有這些參數(shù)都在驗證集上進(jìn)行了調(diào)整.

3.5 實驗結(jié)果(問題1)

為了驗證本文提出SCRM方法的有效性，本節(jié)將SCRM與現(xiàn)有的9種方法做了對比實驗，表3具體顯示了SCRM與其他對比方法的比較結(jié)果.從表3中可以觀察到：

1) 從表3中可以看出，與其他方法相比，本文提出的SCRM模型在域V的各個評價指標(biāo)均優(yōu)于其他方法;在域E上也取得了較好的結(jié)果，在絕大多數(shù)評價指標(biāo)上的表現(xiàn)也優(yōu)于其他方法.這說明本文針對SCSR問題提出的SCRM方法是有效的.與同為解決SCSR問題的基于RNN的π-Net方法相比較，在MRR指標(biāo)上最高提升了4.15%，在Recall指標(biāo)上最高提升了4.52%.與序列推薦方法GRU4REC相比，SCRM在MRR指標(biāo)上最高提升了6.68%，在指標(biāo)Recall上SCRM最高提升了9.94%.明顯的提升幅度不僅說明了考慮共享賬戶和跨域的特性對于序列推薦是有幫助的，而且可以看出基于自注意力的SCRM模型要比基于RNN的模型更具有一定的優(yōu)勢.

Table 3 Comparison Results on HVIDEO Dataset表3 HVIDEO數(shù)據(jù)集的比較結(jié)果 %

另外，為了公平起見，本文對原有的GRU4REC與HGRU4REC做了一定的處理，使其與針對SCSR任務(wù)的模型具有相似的結(jié)構(gòu)，并且使用了相同的TensorFlow框架來運(yùn)行程序.

2) 從表3中還可以觀察到，就Recall值來講，SCRM在域V的表現(xiàn)要比在域E上好的多.由其他方法的數(shù)據(jù)對比也可看出，域V上的Recall值普遍要高于域E的對應(yīng)值.這主要是因為用戶在域V上有更多的觀看視頻記錄，所以域V的數(shù)據(jù)集要更加密集.也正因為此，模型可以更好地學(xué)習(xí)到用戶在域V的偏好.另外，與同為研究SCSR問題的π-Net方法相比，本文提出的SCRM方法在域E上的提升幅度要比域V上的提升幅度多.在MRR@5指標(biāo)上，域V提升幅度為4.15%，而在域E上的提升幅度為1.91%；在Recall@5指標(biāo)上，在域V的提升幅度為1.89%，而在域E的提升幅度為4.52%.由此可以看出，基于自注意力的SCRM模型，對于稀疏數(shù)據(jù)集的學(xué)習(xí)具有更為積極的作用.

3) 從表3還可以看出，本文提出的基于自注意力網(wǎng)絡(luò)的SCRM方法在各個評價指標(biāo)上均優(yōu)于傳統(tǒng)的模型.與解決SR問題的GRU4REC方法比，基于自注意力的SCRM模型在域V的指標(biāo)Recall@20上提升了5.44%，在MRR@20指標(biāo)上提升了4.48%；在域E上Recall@10指標(biāo)提升了9.94%，MRR@10指標(biāo)提升了6.68%.與表現(xiàn)較好的HGRU4REC方法相比，本文提出的SCRM在域V指標(biāo)MRR@20上提升了2.13%，在Recall@20指標(biāo)上提升了4.05%；在域E指標(biāo)MRR@5上提升幅度為4.31%，在Recall@5指標(biāo)上提升幅度為5.14%.由較大的提升幅度可以看出本文提出的SCRM方法對于推薦系統(tǒng)的有效性.另外，在SCRM方法與π-Net方法比較過程中，發(fā)現(xiàn)2個域中的MRR@5和Recall@5提升幅度最大.對于個性化推薦系統(tǒng)來講，一般推薦項目所處位置越靠前越會吸引用戶的注意力，所以MRR@5和Recall@5效果的提升，對于推薦系統(tǒng)提升用戶體驗性具有重要意義.

4) 單獨觀察表3的Recall和MRR的增長情況可以得出，Recall增長得更快一些.Recall在域V上從Recall@5指標(biāo)到Recall@20指標(biāo)提升了3.37%，在域E上從Recall@5指標(biāo)到Recall@20指標(biāo)提升了17.04%；MRR在域V上從MRR@5指標(biāo)到MRR@20指標(biāo)僅增加了0.33%，在域E上從MRR@5指標(biāo)到MRR@20指標(biāo)增加了1.53%.這主要是因為Recall測量的是top-k列表中相關(guān)項目所占的比例；而MRR測量的是相關(guān)項目的排名.隨著列表中項目數(shù)量的增加，其相關(guān)項目自然而然會隨其增加，所以Recall的值就會增大.然而，MRR計算的是每個正向項目排名的倒數(shù)，所以隨著項目的增加對于MRR的影響有一定的限制.

3.6 實驗分析

本節(jié)主要是圍繞回答3.1節(jié)中的研究問題2～5進(jìn)行展開.分別做了關(guān)于SCRM的分解實驗，設(shè)置超參數(shù)H的不同值來觀察H對于SCRM模型影響效果的實驗和不同聚合函數(shù)對SCRM的作用對比實驗，并進(jìn)行了實驗分析.

3.6.1 SCRM的分解實驗(研究問題2)

為了證明SCRM的不同組成部分對其運(yùn)行效果的影響，本文在HVIDEO數(shù)據(jù)集上對SCRM進(jìn)行了分解研究.我們將SCRM分別與2種方法進(jìn)行了對比：SCRM(無MSA)表示將自注意力網(wǎng)絡(luò)進(jìn)行了移除，即將嵌入層得到的用戶序列編碼直接作為CTN模塊的輸入；SCRM(無CTN)表示將多層交叉映射感知網(wǎng)絡(luò)進(jìn)行移除，即將自注意力網(wǎng)絡(luò)的輸出直接作為混合推薦解碼器模塊的輸入，根據(jù)單個域的信息進(jìn)行推薦.

實驗結(jié)果如表4所示，由表4觀察可得：

1) SCRM在2個域上絕大多數(shù)指標(biāo)表現(xiàn)都要優(yōu)于SCRM(無 MSA)，這主要是因為SCRM中包含的對用戶序列行為進(jìn)行編碼的自注意力網(wǎng)絡(luò)有助于提高模型性能.也說明借助MSA網(wǎng)絡(luò)建模共享賬戶里多個潛在用戶的特征有助于提高2個域的推薦質(zhì)量.在域E上，MRR指標(biāo)最少提高了0.98%.在域V上，MRR指標(biāo)最少提高了0.79%，指標(biāo)Recall

Table 4 Ablation Experiments of SCRM表4 SCRM的分解實驗 %

最多提升了0.45%.當(dāng)然也可以看到，SCRM(無MSA)在指標(biāo)Recall@20上是略高于SCRM，這說明本文將自注意力網(wǎng)絡(luò)應(yīng)用于序列推薦時，根據(jù)用戶的所有序列信息并給予每一個項目一定的權(quán)重去判斷用戶即將點擊的下一個項目時，也會帶來一定的噪音信息.

2) SCRM在所有指標(biāo)上，表現(xiàn)要均優(yōu)于SCRM(無CTN)，這主要是因為SCRM借助CTN的多層交叉映射感知網(wǎng)絡(luò)在每個域上進(jìn)行推薦時綜合考慮了2個域的信息.在域V的推薦上，MRR提升幅度最小的是MRR@20指標(biāo)為1.14%，Recall提升幅度最大的是Recall@5指標(biāo)為0.85%.在域E上，MRR指標(biāo)中提升幅度最大的是MRR@5為5.73%，Recall指標(biāo)中提升幅度最大的是指標(biāo)Recall@5為5.75%.由此可以看出，本文提出的通過多層交叉映射感知網(wǎng)絡(luò)實現(xiàn)跨域信息傳輸對于SCRM模型的有效性.

3) 在2個域中的各項評價指標(biāo)上，SCRM與SCRM(無CTN)之間的提升幅度要比SCRM與SCRM(無MSA)之間的提升幅度大一些.這表明在SCRM中CTN模塊要比MSA模塊更加有效一些.除此之外，還有一部分?jǐn)?shù)據(jù)集的原因.因為絕大多數(shù)成員都在域V上有觀看記錄，域E的用戶數(shù)量相對較少，因為域E上是教育類的視頻，所以受眾大部分都是兒童，這部分觀眾本身比較固定并且可能觀看的類型特別局限.所以大多數(shù)情況下，通過MSA模塊從域V里提取出來的用戶偏好，可能就對域E的用戶的幫助不大，進(jìn)而難以提高域E的推薦質(zhì)量.

4) SCRM(無CTN)是3種模型中表現(xiàn)最差的，但是SCRM(無CTN)要比表3中大多數(shù)比較方法的絕大多數(shù)指標(biāo)表現(xiàn)都要好，這證明了本文提出的借助MSA網(wǎng)絡(luò)對多用戶建模的有效性.同時可以看到，SCRM(無MSA)要比所有比較方法的絕大多數(shù)指標(biāo)表現(xiàn)都要好，這表明本文提出的CTN模塊的有效性.

3.6.2 超參數(shù)H的影響(研究問題3)

在HVIDEO數(shù)據(jù)集上，家庭成員共享一個賬戶.因此本文提出了多頭SA網(wǎng)絡(luò)來模擬多個用戶共享一個賬戶的情況，其中超參數(shù)H表示賬戶中用戶的數(shù)量也是MSA模型中頭的數(shù)量.為了探討建立共享賬戶模型的重要性，本文進(jìn)一步進(jìn)行了實驗，以表明超參數(shù)H對于SCRM的影響.本文根據(jù)現(xiàn)實生活中的真實情況，在{1，2，3，4，5}數(shù)值空間上對H的取值進(jìn)行搜索.在調(diào)整過程中，模型中的其他參數(shù)保持不變.

實驗結(jié)果如表5所示，其中H=1表示1個賬戶只有1個虛擬用戶.通過結(jié)果可以看出當(dāng)H=1時，SCRM模型取得了最差的結(jié)果；當(dāng)H=3，4，5時，SCRM在MRR和Recall指標(biāo)上的數(shù)值差距較小，取得了較好的結(jié)果，這也符合我們現(xiàn)實生活中家庭成員數(shù)量的實際情況，這表明了將共享賬戶建模為H個潛在用戶的重要性.

另外，由表5看出：SCRM在H=4時表現(xiàn)最好，并且與H=1的情況進(jìn)行對比，在域V上，MRR提升幅度最大為8.52%，Recall提升幅度最大為6.29%；在域E上，指標(biāo)MRR最多提升了7.85%，最少也提高了7.41%；指標(biāo)Recall的提升幅度最小為3.28%，最大為7.64%.較大的數(shù)據(jù)提升幅度表明本文提出的使用多頭的MSA網(wǎng)絡(luò)建模共享賬戶里的多個用戶的有效性.

Table 5 Impact of the Hyperparameter H表5 超參數(shù)H的影響 %

3.6.3 聚合方法的影響(研究問題4)

在2.4節(jié)中，在得到一個序列中所有項目的表示后，需要使用聚合函數(shù)將所有項目進(jìn)行聚合，以得到整個序列的表示.本節(jié)中，我們對常用的4種聚合函數(shù)——最小值函數(shù)min、最大值函數(shù)max、均值函數(shù)mean、求和函數(shù)sum——進(jìn)行了實驗驗證.表6給出了使用不同聚合函數(shù)所得到的實驗結(jié)果.由表6可以觀察到，最小值函數(shù)在域V與域E中的各個評價指標(biāo)上均優(yōu)于其他3種聚合函數(shù).這表明對于SCRM模型，使用最小值聚合函數(shù)，可以更多地獲得共享賬戶里的用戶信息.

Table 6 Effects of Different Aggregation Methods for SCRM表6 SCRM中不同聚合方法的對比效果 %

3.6.4 模型的訓(xùn)練效率(研究問題5)

為了證明SCRM模型的訓(xùn)練效率，本文在圖3中繪制了SCRM和π-Net的訓(xùn)練時間.從圖3的折線圖中可以看出SCRM模型每一步的訓(xùn)練時間都遠(yuǎn)少于π-Net的訓(xùn)練時間，這個結(jié)果表明SCRM具有更短的訓(xùn)練時間和更高的訓(xùn)練效率.與基于RNN的方法相比，由于SCRM可以在并行模式下進(jìn)行訓(xùn)練，所以總的訓(xùn)練要遠(yuǎn)快于基于RNN的方法.

Fig.3 Training time of π-Net and SCRM圖3 π-Net和SCRM的訓(xùn)練時間

4 結(jié)論與展望

本文研究了共享賬戶跨域序列推薦SCSR問題，提出了一種新的基于自注意力的跨域推薦模型SCRM，以克服共享賬戶跨域序列推薦任務(wù)中的挑戰(zhàn).具體來講，為了減少訓(xùn)練時間和建立長期依賴關(guān)系，本文引入了自注意力網(wǎng)絡(luò)作為SCRM的基本序列編碼器.為了模擬共享賬戶的特征，假設(shè)共享賬戶由多個用戶組成，并進(jìn)一步探索了多頭自注意力網(wǎng)絡(luò)MSA.為了將用戶信息從輔助域傳輸?shù)侥繕?biāo)域，提出了跨域傳輸模塊，借助多層交叉映射感知網(wǎng)絡(luò)實現(xiàn)域和域之間的信息傳輸.最后，將傳輸?shù)男畔⑴c目標(biāo)域中的原始信息相結(jié)合，得到一個混合推薦解碼器.為了評價SCRM的性能，在真實數(shù)據(jù)集HVIDEO上進(jìn)行了大量的實驗.

本文提出的SCRM方法雖然取得了較好的結(jié)果，但仍具有一定的局限性.例如，SCRM在數(shù)據(jù)互補(bǔ)性高的數(shù)據(jù)集上，性能比較好，但如果域和域之間共享信息少，模型性能就會表現(xiàn)稍差.下一步我們將從2個方面入手：1)對于自注意力網(wǎng)絡(luò)應(yīng)用于序列推薦問題上，在給序列中每一個項目分配權(quán)重信息時，可以考慮舍棄部分項目.2)對于共享賬戶里用戶數(shù)量的設(shè)置，本文設(shè)定為一個固定值，未來可以考慮用戶的數(shù)量采取具體賬戶具體分析的方式，根據(jù)共享賬戶已有的歷史信息自適應(yīng)地選擇用戶數(shù)量.

作者貢獻(xiàn)聲明：郭磊負(fù)責(zé)模型總體設(shè)計及論文寫作與修改；李秋菊負(fù)責(zé)算法實現(xiàn)及論文寫作；劉方愛負(fù)責(zé)模型設(shè)計及論文修改；王新華負(fù)責(zé)模型設(shè)計及論文修改.