用于冷啟動(dòng)推薦的用戶偏好跨域轉(zhuǎn)移框架

劉玉芳，王紹卿，鄭順，張麗杰，孫福振

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 淄博 255049)

在Web和移動(dòng)應(yīng)用程序中,個(gè)性化推薦系統(tǒng)(RS)在緩解信息過載,促進(jìn)用戶體驗(yàn)方面扮演著越來(lái)越重要的角色。近年來(lái),深度學(xué)習(xí)在RS中得到了廣泛的應(yīng)用,以克服傳統(tǒng)推薦技術(shù)的障礙。其中,跨領(lǐng)域推薦(CDR)[1-2]和冷啟動(dòng)推薦[3]問題引起了廣泛關(guān)注?？缬蛲扑]系統(tǒng)的目標(biāo)是將其他領(lǐng)域(稱為源域)中可用的知識(shí)轉(zhuǎn)移到用戶交互數(shù)據(jù)稀疏的目標(biāo)領(lǐng)域(稱為目標(biāo)域)。通常選擇重疊用戶來(lái)學(xué)習(xí)兩個(gè)域之間的映射關(guān)系,以便將源域中的模式應(yīng)用于目標(biāo)域[2]的冷啟動(dòng)用戶。CDR的核心任務(wù)是連接用戶在源域和目標(biāo)域中的偏好,也稱為偏好轉(zhuǎn)移?，F(xiàn)有的CDR方法大都是將目標(biāo)域中用戶(或項(xiàng)目)的特性利用學(xué)習(xí)到的映射函數(shù)直接替換為源域中相似用戶(或項(xiàng)目)的特性,然而這種方法假設(shè)所有用戶在源域和目標(biāo)域之間共享相同的關(guān)系,并學(xué)習(xí)所有用戶共享的映射函數(shù)。

在實(shí)際場(chǎng)景中,源域和目標(biāo)域的用戶偏好之間的關(guān)系復(fù)雜多變,單個(gè)映射函數(shù)很難準(zhǔn)確地捕獲所有的用戶關(guān)系。為了緩解這一缺點(diǎn),本文使用個(gè)性化的映射函數(shù)來(lái)建模不同域中用戶偏好之間的復(fù)雜關(guān)系。也就是說(shuō),用戶偏好的轉(zhuǎn)移應(yīng)該是個(gè)性化的。此外,在冷啟動(dòng)場(chǎng)景下,重疊用戶的數(shù)量非常少。因此,有限的重疊用戶嚴(yán)重影響了用戶的偏好轉(zhuǎn)移,導(dǎo)致泛化能力不足,降低了模型在目標(biāo)域冷啟動(dòng)用戶上的性能。

近年來(lái),元學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用得到快速發(fā)展[4-6]。元學(xué)習(xí)[6]主要針對(duì)小樣本學(xué)習(xí)問題,通過在大量的訓(xùn)練任務(wù)上對(duì)模型進(jìn)行訓(xùn)練及參數(shù)更新,能夠很好地解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型泛化能力不足、對(duì)新任務(wù)適應(yīng)性較差的問題。元學(xué)習(xí)訓(xùn)練和測(cè)試過程以任務(wù)為基本單元,每個(gè)任務(wù)都有訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集,又稱為支持集和查詢集。元學(xué)習(xí)中要準(zhǔn)備許多任務(wù)來(lái)進(jìn)行學(xué)習(xí),第一層訓(xùn)練單位是任務(wù),第二層訓(xùn)練單位是每個(gè)任務(wù)對(duì)應(yīng)的數(shù)據(jù)。本文提出了一個(gè)用于冷啟動(dòng)推薦的用戶偏好跨域轉(zhuǎn)移框架(UPCTFCR)。首先,設(shè)計(jì)了一個(gè)自注意力編碼器來(lái)有效提取用戶偏好,考慮對(duì)不同的項(xiàng)目施加不同的權(quán)重,計(jì)算注意力分?jǐn)?shù),對(duì)項(xiàng)目加權(quán)求和。然后,學(xué)習(xí)一個(gè)元學(xué)習(xí)器,即元網(wǎng)絡(luò),用戶在源域中的特征嵌入作為該網(wǎng)絡(luò)的輸入,為每個(gè)用戶生成個(gè)性化映射函數(shù),該函數(shù)能夠捕獲不同域之間的每個(gè)用戶之間的偏好關(guān)系。經(jīng)過訓(xùn)練后,將元學(xué)習(xí)器得到的參數(shù)和用戶在源域中的嵌入進(jìn)行矩陣相乘,得到轉(zhuǎn)換后的嵌入。最后,將該嵌入作為用戶在目標(biāo)域的初始嵌入,對(duì)用戶偏好的項(xiàng)目進(jìn)行預(yù)測(cè)。

在實(shí)踐中,元網(wǎng)絡(luò)的優(yōu)化是另一個(gè)挑戰(zhàn)?，F(xiàn)有的面向映射的優(yōu)化過程,直接最小化源域中轉(zhuǎn)換后的用戶嵌入和目標(biāo)域中用戶嵌入之間的距離。然而,這樣的優(yōu)化過程容易導(dǎo)致映射函數(shù)對(duì)用戶嵌入不準(zhǔn)確。而在實(shí)際的推薦系統(tǒng)中,很難學(xué)習(xí)到用戶準(zhǔn)確的嵌入,這就限制了學(xué)習(xí)到的映射函數(shù)的性能。此外,面向映射的優(yōu)化方法難以訓(xùn)練元學(xué)習(xí)器。因此,本文采用面向任務(wù)的優(yōu)化方法來(lái)訓(xùn)練元學(xué)習(xí)器,利用用戶對(duì)項(xiàng)目的評(píng)分任務(wù)作為優(yōu)化目標(biāo)。

1 相關(guān)概念

1.1 跨域推薦

在傳統(tǒng)的推薦系統(tǒng)中,通過分析單一域內(nèi)的用戶歷史交互行為來(lái)進(jìn)行用戶興趣的預(yù)測(cè),從而進(jìn)行推薦,比如說(shuō)通過用戶在抖音App上的歷史觀看記錄來(lái)為用戶進(jìn)行后續(xù)的視頻推薦。而跨域推薦旨在結(jié)合多個(gè)領(lǐng)域的數(shù)據(jù),利用其他領(lǐng)域(源域)的豐富信息,使得在目標(biāo)域上能進(jìn)行更好推薦?？缬蛲扑]能夠?qū)嵤┑募僭O(shè)是:用戶的興趣偏好或項(xiàng)目特征在領(lǐng)域之間存在一致性或相關(guān)性。跨域推薦利用的正是領(lǐng)域間的一致性或相關(guān)性,如用戶或項(xiàng)目的交集,用戶興趣或項(xiàng)目特征的相似程度,潛在因子的相互關(guān)系等進(jìn)行知識(shí)遷移,從而彌補(bǔ)目標(biāo)域所面臨的信息不足的問題,改善推薦性能。近年來(lái),研究者提出了許多基于深度學(xué)習(xí)的模型來(lái)增強(qiáng)知識(shí)遷移。CoNet通過使用前饋神經(jīng)網(wǎng)絡(luò)之間的交叉連接來(lái)轉(zhuǎn)移知識(shí)。MINDTL將目標(biāo)域的CF信息和源域中的評(píng)分矩陣結(jié)合起來(lái)。DDTCDR開發(fā)了一種新的潛在正交映射來(lái)提取用戶在多個(gè)域上的偏好,同時(shí)保留了在不同潛在空間上用戶之間的關(guān)系。與多任務(wù)方法類似,這些方法側(cè)重于提出一個(gè)設(shè)計(jì)良好的深層結(jié)構(gòu)。本文設(shè)計(jì)了一個(gè)能夠顯式地建模不同域之間知識(shí)遷移的框架,而不是采用特殊的深層結(jié)構(gòu)來(lái)隱式地轉(zhuǎn)移知識(shí)。

1.2 冷啟動(dòng)推薦

為新用戶或新項(xiàng)目提供推薦具有極大的挑戰(zhàn),也稱為冷啟動(dòng)問題[7]。以協(xié)同過濾的推薦系統(tǒng)為例,假設(shè)每個(gè)用戶(或項(xiàng)目)都有評(píng)分,可以推斷出相似用戶(或項(xiàng)目)的評(píng)分。但是,對(duì)于新注冊(cè)的用戶(或項(xiàng)目)難以實(shí)現(xiàn),因?yàn)闆]有相關(guān)的瀏覽、點(diǎn)擊或下載等數(shù)據(jù),也就沒辦法使用矩陣分解技術(shù)進(jìn)行推薦。解決冷啟動(dòng)問題的方法主要有兩種:第一種方法通過設(shè)計(jì)決策策略來(lái)解決冷啟動(dòng)問題,例如使用上下文賭博機(jī)[8],通過向用戶推薦感興趣的物品來(lái)探索用戶偏好;第二種是利用輔助信息來(lái)緩解冷啟動(dòng)問題,常用的輔助信息包括用戶屬性[3]、項(xiàng)目屬性[9-10]、知識(shí)圖[11]、輔助域[12]的樣本等。本文提出的框架屬于第二種,在輔助域樣本的幫助下,CDR方法能夠得到更好的結(jié)果。

1.3 冷啟動(dòng)推薦中的元學(xué)習(xí)

元學(xué)習(xí)(meta-learning),含義為學(xué)會(huì)學(xué)習(xí)(learn to learn),旨在訓(xùn)練一個(gè)參數(shù)化模型,能夠快速適應(yīng)在訓(xùn)練中沒有使用的新任務(wù)。元學(xué)習(xí)希望模型獲取一種“學(xué)會(huì)學(xué)習(xí)”的能力,使其可以在獲取已有知識(shí)的基礎(chǔ)上快速學(xué)習(xí)新的任務(wù)。近年來(lái),元學(xué)習(xí)已經(jīng)引起了推薦系統(tǒng)領(lǐng)域研究者的關(guān)注。這些工作大多集中在很少有訓(xùn)練樣本的推薦場(chǎng)景上[13]。例如,MLRS-CCE提出了一種動(dòng)態(tài)元學(xué)習(xí)模型,利用歷史和當(dāng)前的用戶-項(xiàng)目交互,將用戶的偏好動(dòng)態(tài)地分解為特定時(shí)間和時(shí)間演變的表示來(lái)預(yù)測(cè)用戶的評(píng)分[14]。LLAE將冷啟動(dòng)推薦制定為具有用戶信息的少樣本學(xué)習(xí)任務(wù)[3]。PTUPCDR通過使用元網(wǎng)絡(luò)來(lái)生成個(gè)性化的橋函數(shù),實(shí)現(xiàn)用戶的偏好轉(zhuǎn)移[15]。本文提出的UPCTFCR利用元學(xué)習(xí)器來(lái)學(xué)習(xí)映射函數(shù)的參數(shù),將用戶的交互序列劃分為支持集和查詢集來(lái)訓(xùn)練模型,通過在大量任務(wù)上進(jìn)行訓(xùn)練,來(lái)提高模型的泛化能力。

1.4 自注意力機(jī)制

自注意力機(jī)制是注意力機(jī)制的變體,其減少了對(duì)外部信息的依賴,更擅長(zhǎng)捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性。在深度學(xué)習(xí)推薦模型中,注意力機(jī)制能夠幫助模型抓住最具信息量的特征,推薦最具代表性的物品。自注意力機(jī)制能夠?yàn)橛脩魵v史序列數(shù)據(jù)分配不同的權(quán)重,以動(dòng)態(tài)捕捉重點(diǎn)信息,反映了用戶反饋數(shù)據(jù)之間的相互依賴,并且自注意力機(jī)制在長(zhǎng)序列的數(shù)據(jù)上表現(xiàn)出色。

2 UPCTFCR模型

2.1 符號(hào)定義

本文研究的CDR問題,包含一個(gè)源域和一個(gè)目標(biāo)域。每個(gè)域都有一個(gè)用戶集U={u1,u2,…},一個(gè)項(xiàng)目集V={v1,v2,…}和一個(gè)評(píng)分矩陣R。rij∈R表示用戶ui和項(xiàng)目vj之間的交互。為了區(qū)分這兩個(gè)域,將源域的用戶集、項(xiàng)目集和評(píng)分矩陣分別表示為Us、Vs、Rs,目標(biāo)域的表示為Ut、Vt、Rt。將這兩個(gè)域之間的重疊用戶定義為Uo=Us∩Ut。對(duì)于項(xiàng)目而言,Vs和Vt是不相交的,這意味著這兩個(gè)域之間沒有重疊項(xiàng)目。

2.2 自注意力編碼器

生成映射函數(shù)的第一步是從交互的項(xiàng)目中獲取用戶的個(gè)性化可轉(zhuǎn)移特征。但是,在目標(biāo)域中冷啟動(dòng)用戶沒有交互項(xiàng),因此,利用源域中的交互序列S找到有助于知識(shí)遷移的可轉(zhuǎn)移特征是非常有必要的。直覺上,不同的項(xiàng)目對(duì)知識(shí)轉(zhuǎn)移有不同的貢獻(xiàn)。自注意力機(jī)制能夠捕捉輸入序列中不同項(xiàng)目之間的相關(guān)性,并為它們分配不同的權(quán)重。通過加權(quán)和來(lái)獲得用戶的可轉(zhuǎn)移特征:

(1)

(2)

式中:Q,K,V由單層線性網(wǎng)絡(luò)生成;dk等于隱藏層的維數(shù)除以注意力的頭數(shù),本文取5;pui∈k為用戶ui的可轉(zhuǎn)移特征嵌入;αj為vj項(xiàng)的注意力得分,可以解釋為vj在預(yù)測(cè)用戶個(gè)性化偏好中的重要性。

2.3 元學(xué)習(xí)器

不同域的用戶偏好之間的關(guān)系因用戶而異,因此,偏好轉(zhuǎn)移的過程需要是個(gè)性化的。直覺上,偏好關(guān)系和用戶特征之間存在一定的聯(lián)系。基于這種直覺,提出了一個(gè)元學(xué)習(xí)器,它以用戶的可轉(zhuǎn)移特征作為輸入,然后根據(jù)源域和目標(biāo)域中的用戶嵌入訓(xùn)練一個(gè)因用戶而異的個(gè)性化參數(shù)。所提出的元學(xué)習(xí)器的表述為

θ=g(pui;φ),

(3)

式中g(shù)(·)是一種兩層前饋網(wǎng)絡(luò)的元學(xué)習(xí)器,它是由φ參數(shù)化的網(wǎng)絡(luò)。將訓(xùn)練得到的個(gè)性化參數(shù)θ作為映射函數(shù)f(·)的初始參數(shù),映射函數(shù)可以定義為任何結(jié)構(gòu)。本文使用簡(jiǎn)單的矩陣相乘函數(shù)作為映射函數(shù),并將θ作為映射函數(shù)的參數(shù)而不是輸入。生成的映射函數(shù)因用戶而異,并取決于用戶的特征。

將用戶在源域中的嵌入表示輸入映射函數(shù)中,得到轉(zhuǎn)換后的用戶嵌入表示。將轉(zhuǎn)換后的嵌入表示看作用戶在目標(biāo)域中的初始嵌入。通過映射函數(shù),可以得到轉(zhuǎn)換后的個(gè)性化用戶嵌入:

(4)

2.4 面向任務(wù)的元網(wǎng)絡(luò)優(yōu)化

受基于優(yōu)化的元學(xué)習(xí)概念的啟發(fā),將這個(gè)概念放入U(xiǎn)PCTFCR中,以反映只有少量交互的個(gè)性化用戶偏好。本文的模型考慮了用戶的項(xiàng)目消費(fèi)歷史記錄,構(gòu)建M(M>10)組訓(xùn)練任務(wù),隨機(jī)選取序列中的10個(gè)項(xiàng)目作為查詢集,其余為支持集。為了反映用戶的興趣,該模型會(huì)根據(jù)用戶唯一的項(xiàng)目消費(fèi)歷史來(lái)更新元學(xué)習(xí)器中的參數(shù)。此外,與MAML[13]不同,本文擴(kuò)展了匹配網(wǎng)絡(luò)的思想,不限制項(xiàng)目消費(fèi)歷史的長(zhǎng)度(即支持集的長(zhǎng)度不是固定的)。

為了訓(xùn)練元學(xué)習(xí)器,面向任務(wù)的訓(xùn)練過程直接利用最終推薦任務(wù)的評(píng)分作為優(yōu)化目標(biāo)。具體可以表述為

(5)

與面向映射的過程相比,面向任務(wù)的優(yōu)化過程有兩個(gè)優(yōu)勢(shì):

1)面向任務(wù)的優(yōu)化過程可以減輕不合理嵌入的影響。它直接使用真實(shí)的評(píng)分?jǐn)?shù)據(jù),而不是利用近似的中間結(jié)果優(yōu)化模型。

算法1 元學(xué)習(xí)器的偽代碼

輸入: 超參數(shù)α,β,元學(xué)習(xí)器g·()輸出: 模型參數(shù)θ1.初始化參數(shù)θ2.while not converge do3.Sampling a batch of users B～p(B)4.For user i in B do5.計(jì)算θlifθ()6.θ'i=θ-αθlifθ()7.End for8.Update θ←θ-βθ∑i∈Blifθ'i()9.End while

2.5 整體程序

UPCTFCR的模型框架如圖1所示。訓(xùn)練過程可分為4個(gè)階段:預(yù)訓(xùn)練階段、自注意力編碼階段、元學(xué)習(xí)階段和測(cè)試階段。

圖1 UPCTFCR的模型框架

預(yù)訓(xùn)練階段:分別學(xué)習(xí)源域和目標(biāo)域的用戶和項(xiàng)目的隱式向量。損失函數(shù)表示為

(6)

式中|R|表示評(píng)分?jǐn)?shù)量,經(jīng)過預(yù)訓(xùn)練步驟后,可以得到預(yù)訓(xùn)練的嵌入數(shù)據(jù)us、ut、vs、vt。

自注意力編碼階段:從源域的交互序列中提取有助于知識(shí)遷移的可轉(zhuǎn)移特征是非常關(guān)鍵的。自注意力機(jī)制能夠?yàn)橛脩艚换ロ?xiàng)目分配不同的權(quán)重,以捕捉序列中不同項(xiàng)目之間的相關(guān)性,從而獲得用戶可轉(zhuǎn)移特征pui。

元學(xué)習(xí)階段:現(xiàn)有的方法直接訓(xùn)練一個(gè)共同的映射函數(shù),而UPCTFCR訓(xùn)練自編碼器和元學(xué)習(xí)器。利用式(5)對(duì)特征編碼器和元網(wǎng)絡(luò)進(jìn)行優(yōu)化。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集概述

亞馬遜評(píng)論數(shù)據(jù)集是使用最廣泛的電子商務(wù)推薦公共數(shù)據(jù)集之一,本文使用Amazon-5核心數(shù)據(jù)集,每個(gè)用戶或項(xiàng)目至少有5個(gè)評(píng)分。該數(shù)據(jù)集包含24個(gè)不同的項(xiàng)目域。本文選擇了3個(gè)流行的類別:movies_and_tv(電影)、cds_and_vinyl(音樂)、books(書籍)。然后,將3個(gè)CDR任務(wù)定義為任務(wù)1:電影→音樂,任務(wù)2:書籍→電影,任務(wù)3:書籍→音樂。由表 1可知,源域的評(píng)分?jǐn)?shù)量明顯大于目標(biāo)域中的評(píng)分?jǐn)?shù)量。不同于許多現(xiàn)有的工作只選擇了數(shù)據(jù)集的一部分來(lái)進(jìn)行評(píng)估,本文直接使用所有數(shù)據(jù)來(lái)模擬真實(shí)世界的應(yīng)用程序。

3.1.2 評(píng)估指標(biāo)

Amazon審查數(shù)據(jù)集包含評(píng)分?jǐn)?shù)據(jù)(0分—5分)。采用平均絕對(duì)誤差(MAE)和均方根誤差(RMSE)作為評(píng)價(jià)指標(biāo)。

3.1.3 基線模型

基線模型可以分為單域和跨域兩組。在第一組中,將源域和目標(biāo)域分別視為單域,并利用MF方法訓(xùn)練單域模型。第二組包括針對(duì)冷啟動(dòng)用戶的最先進(jìn)的CDR方法,由于UPCTFCR屬于基于映射的CDR方法,本文主要將UPCTFCR與基于映射的方法進(jìn)行比較。因此,選擇以下方法作為比較的基線。

表1 跨域任務(wù)信息

單域:

1)TGT,TGT[16]是MF模型,僅使用目標(biāo)域數(shù)據(jù)進(jìn)行訓(xùn)練。

2)CMF,CMF是MF的延伸。在CMF中,用戶的嵌入向量可以跨源域和目標(biāo)域進(jìn)行共享。

跨域:

1)SSCDR,SSCDR[17]是一種基于半監(jiān)督的橋接的方法。

2)DCDCSR,DCDCSR[18]屬于基于橋的方法,它考慮了個(gè)體用戶在不同領(lǐng)域的評(píng)分稀疏程度。

3)EMCDR,EMCDR[12]是一種常用的冷啟動(dòng)CDR方法。首先采用矩陣分解(MF)學(xué)習(xí)嵌入,然后利用網(wǎng)絡(luò)將用戶嵌入從輔助域連接到目標(biāo)域。

4)PTUPCDR,PTUPCDR[15]屬于基于橋的冷啟動(dòng)CDR方法,它通過使用用戶特征嵌入的元網(wǎng)絡(luò)來(lái)生成個(gè)性化的橋接功能,以實(shí)現(xiàn)每個(gè)用戶的個(gè)性化偏好轉(zhuǎn)移。

3.1.4 實(shí)施細(xì)節(jié)

使用PyTorch實(shí)現(xiàn)本文提出的框架。對(duì)于每個(gè)任務(wù)和方法,Adam優(yōu)化器初始學(xué)習(xí)率通過在{0.001、0.005、0.01、0.02、0.1}范圍內(nèi)的網(wǎng)格搜索進(jìn)行調(diào)整。另外,將嵌入的維度設(shè)置為10。對(duì)于所有的方法,將小批量大小設(shè)置為512。采用了相同的全連接層,以方便比較EMCDR、DCDCSR、SSCDR、PTUPCDR和UPCTFCR。其中,UPCTFCR的映射函數(shù)是由元學(xué)習(xí)器生成的。該元學(xué)習(xí)器是一個(gè)隱藏單元為2×k的兩層線性模型,其中k表示嵌入維數(shù),該元學(xué)習(xí)器的輸出維數(shù)為k×k。

為了評(píng)估本文UPCTFCR的性能,在目標(biāo)域中隨機(jī)刪除一部分重疊用戶,把他們作為測(cè)試用戶,其他的重疊用戶樣本用來(lái)訓(xùn)練元學(xué)習(xí)器。實(shí)驗(yàn)中,將測(cè)試(冷啟動(dòng))用戶β的比例設(shè)置為總重疊用戶的20%。在訓(xùn)練數(shù)據(jù)中篩選項(xiàng)目消費(fèi)歷史長(zhǎng)度在13到100之間的重疊用戶。對(duì)于訓(xùn)練數(shù)據(jù)中的每個(gè)重疊用戶,使用項(xiàng)目序列中的10個(gè)隨機(jī)項(xiàng)目作為查詢集,其余的項(xiàng)目作為支持集,即項(xiàng)目消費(fèi)歷史長(zhǎng)度在3到90之間,即使支持集的長(zhǎng)度(即項(xiàng)目消費(fèi)歷史的長(zhǎng)度)不是固定的,也能夠表現(xiàn)出良好的性能。

3.2 對(duì)比實(shí)驗(yàn)

表2顯示了UPCTFCR在3個(gè)跨域推薦任務(wù)上的性能,從實(shí)驗(yàn)結(jié)果可以觀察到以下幾點(diǎn):

表2 不同模型在3個(gè)跨域任務(wù)上的性能比較

1)TGT性能并不理想。與GT相比,所有其他跨域方法都可以利用來(lái)自源域的數(shù)據(jù),從而獲得更好的效果。因此,利用來(lái)自輔助域的數(shù)據(jù)是緩解數(shù)據(jù)稀疏性、提高目標(biāo)域推薦性能的有效方法。

2)CDR方法在大多數(shù)任務(wù)中性能都可以優(yōu)于CMF。這是因?yàn)镃MF通過將來(lái)自兩個(gè)域的數(shù)據(jù)看作是相同的而忽略了潛在的域轉(zhuǎn)移。相反,映射函數(shù)可以將源嵌入轉(zhuǎn)換到目標(biāo)特征空間中,有效地減輕了域位移的影響。因此,通過更有效地利用輔助域來(lái)研究CDR是非常必要的。

3)通過觀察置信度為95%的t檢驗(yàn)的結(jié)果,可以發(fā)現(xiàn)UPCTFCR在大多數(shù)情況下都能顯著優(yōu)于PTUPCDR,這表明UPCTFCR是冷啟動(dòng)推薦的有效解決方案。

3.3 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)進(jìn)一步探索所提出的UPCTFCR模型的各個(gè)組成部分對(duì)性能的影響。

1)UPCTFCR-1:將模型中自編碼器去掉,保留元學(xué)習(xí)部分。

2)UPCTFCR-2:將模型中元學(xué)習(xí)器和基于參數(shù)優(yōu)化的元學(xué)習(xí)去掉,僅保留2.2節(jié)中自注意力編碼器。

3)UPCTFCR-3:去掉模型中的參數(shù)優(yōu)化部分,在自編碼器中引入2.3節(jié)中介紹的元學(xué)習(xí)器。

4)UPCTFCR:本文提出的模型框架。

表3顯示了引入的變體在3個(gè)跨域推薦任務(wù)上的消融測(cè)試結(jié)果。在之前的模型上逐步增加新的子模塊或特征時(shí),可以觀察到整體推薦性能的改善,這說(shuō)明元學(xué)習(xí)對(duì)于冷啟動(dòng)跨域推薦的有效性。

表3 在3個(gè)跨域任務(wù)上的消融測(cè)試結(jié)果

3.4 泛化實(shí)驗(yàn)

對(duì)比實(shí)驗(yàn)主要將其方法應(yīng)用于MF進(jìn)行實(shí)驗(yàn)評(píng)價(jià)。然而,MF是一個(gè)非神經(jīng)網(wǎng)絡(luò)模型,在基于用戶行為的推薦算法里,矩陣分解算法是效果較好方法之一。因此,為了證明UPCTFCR和其他基于映射的方法的兼容性,將EMCDR、PTUPCDR和UPCTFCR應(yīng)用到兩個(gè)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型:GMF和YouTube DNN。GMF在點(diǎn)積預(yù)測(cè)函數(shù)中為不同的維度分配不同的權(quán)值,這可以看作是普通MF的一種推廣。YouTube DNN是一個(gè)雙塔模型。對(duì)于GMF,通過元學(xué)習(xí)訓(xùn)練的參數(shù)可以直接將用戶嵌入映射到目標(biāo)域。對(duì)于YouTube DNN,映射函數(shù)將轉(zhuǎn)換用戶塔的輸出。在非神經(jīng)網(wǎng)絡(luò)模型(MF)和神經(jīng)網(wǎng)絡(luò)模型(GMF,YouTube DNN)上進(jìn)行了泛化實(shí)驗(yàn)。從圖2所示的結(jié)果,可以得到以下結(jié)論:

(a)MF

1)基于映射的CDR方法可以應(yīng)用于各種基礎(chǔ)模型。對(duì)于不同的基線模型,EMCDR、PTUPCDR和UPCTFCR都有效地提高了在目標(biāo)域中對(duì)冷啟動(dòng)用戶的推薦性能。由于GMF和YouTube DNN是兩種在大規(guī)模的現(xiàn)實(shí)世界推薦中流行且設(shè)計(jì)良好的模型,它們實(shí)現(xiàn)了比普通MF更好的性能。

2)廣義的UPCTFCR可以達(dá)到令人滿意的性能。一方面,通過各種基礎(chǔ)模型,廣義的UPCTFCR可以不斷地取得較好的結(jié)果;另一方面,冷啟動(dòng)問題具有很高的挑戰(zhàn)性,MAE的結(jié)果足以證明廣義UPCTFCR在冷啟動(dòng)場(chǎng)景中的有效性。

4 結(jié)束語(yǔ)

為了更好地將用戶偏好從源域轉(zhuǎn)移到目標(biāo)域,將元學(xué)習(xí)引入冷啟動(dòng)跨域推薦中,針對(duì)每個(gè)用戶的歷史交互項(xiàng)目,使用元網(wǎng)絡(luò)為每個(gè)用戶訓(xùn)練一個(gè)元學(xué)習(xí)參數(shù),從而實(shí)現(xiàn)用戶的個(gè)性化推薦。具體來(lái)說(shuō),學(xué)習(xí)了一個(gè)包含用戶特征嵌入的元網(wǎng)絡(luò),得到因用戶而異的個(gè)性化參數(shù),通過映射函數(shù)來(lái)初始化用戶嵌入,以實(shí)現(xiàn)用戶偏好的個(gè)性化轉(zhuǎn)移。在真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)來(lái)評(píng)估所提出的模型,結(jié)果驗(yàn)證了所提出的模型在冷啟動(dòng)跨域推薦的有效性。在未來(lái),可以將更多的內(nèi)容信息集成到本文的框架中,以進(jìn)一步緩解冷啟動(dòng)問題。