基于隱私保護(hù)的聯(lián)邦推薦算法綜述

張洪磊 李浥東 鄔 俊 陳乃月 董海榮

隨著移動(dòng)互聯(lián)網(wǎng)絡(luò)的飛速發(fā)展,人們所持有的用戶設(shè)備逐漸多元化,進(jìn)而使得用戶能夠越來(lái)越便捷上傳所生成的內(nèi)容數(shù)據(jù),因此海量用戶行為與內(nèi)容數(shù)據(jù)由此產(chǎn)生.另外,隨著計(jì)算機(jī)硬件與人工智能技術(shù)的持續(xù)進(jìn)步,出色的計(jì)算能力與大規(guī)模算法模型也為海量數(shù)據(jù)的產(chǎn)生與處理提供了先決條件.然而,互聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的速度遠(yuǎn)遠(yuǎn)超過(guò)用戶所能處理數(shù)據(jù)的速度,以至于造成用戶不能及時(shí)運(yùn)用有效信息的情況,這就產(chǎn)生了信息生產(chǎn)者與內(nèi)容消費(fèi)者之間的尖銳矛盾,最終導(dǎo)致信息過(guò)載現(xiàn)象的發(fā)生[1].

推薦系統(tǒng)作為緩解信息過(guò)載問(wèn)題的有效途徑[2],其通過(guò)利用用戶與物品的歷史交互數(shù)據(jù)以及各自固有的內(nèi)容屬性特征進(jìn)行個(gè)性化建模以此實(shí)現(xiàn)對(duì)于用戶未來(lái)可能感興趣的物品進(jìn)行精準(zhǔn)預(yù)測(cè)的功能,因而該技術(shù)得到了許多學(xué)者們的廣泛關(guān)注[3].并且由于其巨大的商業(yè)價(jià)值,推薦算法也在工業(yè)界在線平臺(tái)上(比如社交[4]、新聞[5]、購(gòu)物[6]等)成為了必不可少的重要組件.推薦系統(tǒng)根據(jù)其推薦原理以及所利用具體數(shù)據(jù)的不同,可進(jìn)一步劃分為利用屬性信息的基于內(nèi)容的方法[7]、利用用戶對(duì)物品歷史行為信息的協(xié)同過(guò)濾方法[8]以及利用多種信息源的混合推薦方法.近年來(lái),由于深度學(xué)習(xí)出色的表示能力,基于深度學(xué)習(xí)的推薦算法[9]能夠高效利用海量訓(xùn)練樣本,并且能夠有效整合多種附加信息(比如社交信息[10]、文本信息[11]、圖像信息[12]等),以此緩解推薦系統(tǒng)固有的數(shù)據(jù)稀疏與冷啟動(dòng)問(wèn)題[13].

然而,融合用戶大量個(gè)人信息固然可以提升推薦算法的預(yù)測(cè)精度,但往往會(huì)對(duì)用戶的隱私和數(shù)據(jù)安全問(wèn)題產(chǎn)生擔(dān)憂.具體地,文獻(xiàn)[14-16]表明僅利用用戶所產(chǎn)生的內(nèi)容數(shù)據(jù)或者歷史行為信息可以反推出用戶的敏感屬性特征,另外引入社交網(wǎng)絡(luò)等附加信息可以實(shí)現(xiàn)更低成本的隱私泄露.由于海量信息中不可避免的存在用戶個(gè)人數(shù)據(jù)以及敏感信息,因此平臺(tái)需要收集更多的訓(xùn)練數(shù)據(jù)以提升推薦性能與用戶為保護(hù)隱私而盡可能少的共享個(gè)人數(shù)據(jù)間的矛盾逐漸凸顯.另外,隨著中國(guó)對(duì)于數(shù)據(jù)安全與隱私問(wèn)題越來(lái)越重視,因此,如何在保證用戶隱私和安全的前提下有效融合更多數(shù)據(jù)以提升推薦性能成為了數(shù)據(jù)挖掘領(lǐng)域關(guān)注的重點(diǎn).所以,基于隱私保護(hù)的推薦算法逐漸得到大家的廣泛關(guān)注[17-19].

傳統(tǒng)的隱私保護(hù)推薦算法主要采用差分隱私等機(jī)制添加數(shù)據(jù)擾動(dòng)[20]或者利用加密的方式(比如同態(tài)加密[21]與安全多方計(jì)算[22]等)實(shí)現(xiàn)對(duì)于個(gè)人敏感信息的隱私保護(hù).然而添加擾動(dòng)的方法需要嚴(yán)格的數(shù)學(xué)假設(shè)并且不可避免的對(duì)原始數(shù)據(jù)引入偏差,而加密的方式雖然能夠?qū)崿F(xiàn)對(duì)于原始數(shù)據(jù)的無(wú)損保護(hù),但加密操作往往需要更大的計(jì)算量最終使得模型的實(shí)時(shí)性大打折扣.值得一提的是,上述傳統(tǒng)隱私保護(hù)推薦算法需要將個(gè)人數(shù)據(jù)收集到中心服務(wù)端進(jìn)行存儲(chǔ)與訓(xùn)練,因此在原始數(shù)據(jù)傳輸?shù)冗^(guò)程中仍然存在隱私泄露與安全威脅的問(wèn)題.另外,由于上述隱私與安全問(wèn)題的擔(dān)憂造成了多參與方不能安全高效的進(jìn)行數(shù)據(jù)共享,最終導(dǎo)致數(shù)據(jù)孤島現(xiàn)象進(jìn)而影響整體模型的預(yù)測(cè)性能.

得益于近年來(lái)分布式學(xué)習(xí)與邊緣計(jì)算的飛速發(fā)展,以及互聯(lián)網(wǎng)生態(tài)逐漸移動(dòng)化與開放化,使得用戶終端設(shè)備有能力存儲(chǔ)并訓(xùn)練相當(dāng)容量的數(shù)據(jù).聯(lián)邦學(xué)習(xí)[23]充分發(fā)揮終端設(shè)備的計(jì)算能力并協(xié)同服務(wù)端聯(lián)合優(yōu)化全局模型,同時(shí)能夠使得原始數(shù)據(jù)保留在本地而較好地保護(hù)用戶隱私信息,這一新興的隱私保護(hù)范式逐漸得到大家的認(rèn)可[24].另外,由于推薦系統(tǒng)的數(shù)據(jù)來(lái)源存在天然的分布式特性,以及用戶對(duì)于推薦服務(wù)嚴(yán)苛的實(shí)時(shí)性要求,因此近年來(lái)端云架構(gòu)下結(jié)合聯(lián)邦學(xué)習(xí)的推薦算法取得了較大的進(jìn)展[25-32].然而,目前國(guó)內(nèi)相關(guān)文獻(xiàn)缺乏對(duì)于此研究方向的細(xì)致梳理與歸納總結(jié).基于以上動(dòng)機(jī),本文對(duì)聯(lián)邦學(xué)習(xí)賦能的推薦系統(tǒng)進(jìn)行了全面綜述,細(xì)致整理了近3 年發(fā)表在相關(guān)領(lǐng)域會(huì)議和期刊中此方向的文獻(xiàn),旨在為該領(lǐng)域梳理出一條清晰的研究脈絡(luò),為基于隱私保護(hù)的推薦算法提供更加全面的理論基礎(chǔ)與研究框架(對(duì)于本文所收集的論文列表可訪問(wèn)鏈接https://github.com/hongleizhang/RSPapers).

本文第1 節(jié)對(duì)推薦模型的發(fā)展歷程進(jìn)行分類介紹,結(jié)構(gòu)如下: 包括傳統(tǒng)推薦算法、基于深度學(xué)習(xí)的推薦算法以及基于隱私保護(hù)的推薦算法.第2 節(jié)詳細(xì)闡述基于聯(lián)邦學(xué)習(xí)范式的隱私保護(hù)推薦算法的基本框架并對(duì)其擴(kuò)展工作進(jìn)行分類介紹.第3 節(jié)介紹聯(lián)邦推薦系統(tǒng)所使用的開源工具庫(kù)以及用于實(shí)驗(yàn)評(píng)估的常用數(shù)據(jù)集.第4 節(jié)總結(jié)本文并分析現(xiàn)有方法存在的問(wèn)題并對(duì)未來(lái)可能的研究方向和發(fā)展趨勢(shì)加以展望.

1 推薦系統(tǒng)概述

推薦系統(tǒng)作為緩解信息過(guò)載問(wèn)題的重要手段,其通過(guò)過(guò)濾無(wú)用信息進(jìn)而篩選出用戶可能感興趣的物品以此達(dá)到提升用戶體驗(yàn)和商戶利潤(rùn)的目的[33-35].在眾多推薦算法中,協(xié)同過(guò)濾技術(shù)由于其出色的推薦性能與良好的可擴(kuò)展性,成為了學(xué)術(shù)界和工業(yè)界中最受歡迎的技術(shù)主題之一.更具體地,協(xié)同過(guò)濾技術(shù)基于以下假設(shè): 即用戶在過(guò)去所表現(xiàn)出的興趣偏好在將來(lái)時(shí)間段仍然會(huì)保持類似的選擇傾向,并且可以根據(jù)其他相似用戶的行為數(shù)據(jù)或者相似物品的瀏覽數(shù)據(jù)來(lái)推斷目標(biāo)用戶對(duì)于未瀏覽物品的偏好[36].通過(guò)對(duì)協(xié)同過(guò)濾算法的發(fā)展趨勢(shì)進(jìn)行總結(jié),可將其大致分為以下兩個(gè)階段,即推薦系統(tǒng)發(fā)展初期主要關(guān)注準(zhǔn)確性指標(biāo)階段和推薦系統(tǒng)發(fā)展后期所關(guān)注的復(fù)合指標(biāo)階段[37].實(shí)際上在推薦系統(tǒng)發(fā)展早期人們主要是通過(guò)利用更復(fù)雜模型或者融合更多的數(shù)據(jù)來(lái)提升推薦準(zhǔn)確性指標(biāo).隨著用戶對(duì)推薦體驗(yàn)要求的逐漸提高,使得研究人員開始研究包括隱私性在內(nèi)的更加人性化的復(fù)合指標(biāo).如圖1 所示,將關(guān)注準(zhǔn)確性指標(biāo)階段細(xì)分為傳統(tǒng)的推薦算法和基于深度學(xué)習(xí)的推薦算法;將后期所關(guān)注的復(fù)合指標(biāo)聚焦在考慮隱私性指標(biāo)前提下的推薦準(zhǔn)確性(圖1 中所提及文獻(xiàn)用英文簡(jiǎn)寫形式表示,“*”表示經(jīng)典的隱私保護(hù)方法,下劃線表示聯(lián)邦推薦算法).

圖1 主流推薦模型發(fā)展歷程Fig.1 Timeline of mainstream recommendation models

1.1 傳統(tǒng)推薦算法

傳統(tǒng)協(xié)同過(guò)濾算法作為推薦系統(tǒng)核心技術(shù)之一,被長(zhǎng)期應(yīng)用在真實(shí)的推薦場(chǎng)景中.其主要是通過(guò)將用戶的歷史行為信息轉(zhuǎn)化為用戶—項(xiàng)目行為矩陣的方式進(jìn)行存儲(chǔ)訓(xùn)練,并且傳統(tǒng)協(xié)同過(guò)濾方法能夠擅長(zhǎng)挖掘用戶對(duì)物品直接近鄰的屬性特征.根據(jù)其運(yùn)用學(xué)習(xí)范式的不同可分為基于領(lǐng)域的推薦方法[36]和基于模型的推薦方法[38-40]兩大類.基于領(lǐng)域的方法側(cè)重于尋找當(dāng)前用戶(物品)的最近鄰,然后基于近鄰做出物品推薦.基于模型的方法利用機(jī)器學(xué)習(xí)技術(shù)將整個(gè)用戶—項(xiàng)目評(píng)分信息或者部分?jǐn)?shù)據(jù)作為訓(xùn)練集來(lái)產(chǎn)生預(yù)測(cè)模型,然后使用訓(xùn)練好的模型為用戶提供個(gè)性化推薦.其中矩陣分解技術(shù)[41]由于其高準(zhǔn)確度和高擴(kuò)展性等優(yōu)點(diǎn),近年來(lái)得到了許多研究者的青睞.

矩陣分解技術(shù)通過(guò)學(xué)習(xí)用戶和項(xiàng)目的低維表示進(jìn)而達(dá)到個(gè)性化推薦的目的[41-43],直觀來(lái)講,矩陣分解技術(shù)將原始用戶—項(xiàng)目評(píng)分矩陣R∈Rn×m分解為兩個(gè)維度相同的較小矩陣(用戶隱含特征矩陣P ∈Rf×n和項(xiàng)目隱含特征矩陣Q∈Rf×m),然后將兩者相乘來(lái)還原到原始的高維空間,同時(shí)完成矩陣補(bǔ)全的任務(wù).典型的矩陣分解損失函數(shù)如式(1)所示,通過(guò)在訓(xùn)練集中利用最小二乘法來(lái)建模真實(shí)值與預(yù)測(cè)值之間的誤差,然后利用梯度下降等優(yōu)化算法迭代的更新用戶和項(xiàng)目隱含特征向量使得誤差降低到最小,最終達(dá)到在未觀測(cè)數(shù)據(jù)上具有泛化能力的目的.

式中,Ω 為訓(xùn)練數(shù)據(jù)集中二元對(duì) (u,i)的集合.另外,pu ∈Rf和qi ∈Rf分別代表具有共同維度為f的用戶和物品隱含特征向量.其中λ為正則項(xiàng)權(quán)重,用來(lái)緩解模型過(guò)擬合問(wèn)題.矩陣分解作為基于模型的推薦算法中預(yù)測(cè)性能精準(zhǔn)以及擴(kuò)展性能優(yōu)良的模型之一,其可以靈活地融合各種附加信息[44-46].

除了上述考慮單一樣本的建模方式外,更為實(shí)際的假設(shè)為對(duì)于訓(xùn)練集中任意兩個(gè)具有偏序關(guān)系的訓(xùn)練樣本對(duì)作為一個(gè)訓(xùn)練樣例,該類方法統(tǒng)稱為成對(duì)的建模方式[47-49],其基本假設(shè)為用戶所感興趣的物品應(yīng)該排在用戶所不感興趣物品的前邊.另外,基于列表的建模方式將用戶所對(duì)應(yīng)的所有物品排序列表作為一個(gè)訓(xùn)練樣例以此更加全面地考慮不同物品間的序列關(guān)系[50-54].

1.2 基于深度學(xué)習(xí)的推薦算法

由于深度學(xué)習(xí)強(qiáng)大的擬合能力以及高度非線性的表示能力,其已經(jīng)在推薦系統(tǒng)領(lǐng)域取得了巨大的成功[9].通過(guò)利用深度學(xué)習(xí)技術(shù)能夠高效的融合各類附加信息,使得推薦模型能夠更加關(guān)注推薦機(jī)制本身的性能提升.基于深度學(xué)習(xí)的推薦算法主要采用獨(dú)熱編碼的存儲(chǔ)方式進(jìn)行模型訓(xùn)練,并且其擅長(zhǎng)利用高度非線性的特征表示能力挖掘用戶對(duì)物品的潛在多階近鄰的屬性特征.本文根據(jù)深度學(xué)習(xí)模型自身特性以及融合到推薦場(chǎng)景中附加信息的不同,主要分為基于自編碼器的推薦算法[55-57]、基于多層感知機(jī)的推薦算法[58-62]、基于卷積神經(jīng)網(wǎng)絡(luò)的推薦算法[63-65]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦算法[66-68]以及基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法[69-72].除了上述介紹的單一深度網(wǎng)絡(luò)模型應(yīng)用于推薦任務(wù)外,集成多種深度模型的長(zhǎng)處可以得到性能表現(xiàn)更加優(yōu)良的集成模型[73].

盡管上述提及的深度學(xué)習(xí)推薦模型能夠在預(yù)測(cè)性能方面得到顯著提升,但有相關(guān)的文獻(xiàn)表明推薦模型在多種不同的攻擊類型中存在一定的脆弱性,最終給用戶的敏感隱私信息帶來(lái)嚴(yán)重的安全威脅[74].早在推薦系統(tǒng)研究初期,來(lái)自得克薩斯大學(xué)的研究員通過(guò)將公開的用戶行為數(shù)據(jù)集與互聯(lián)網(wǎng)電影數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)識(shí)別出了匿名用戶的真實(shí)身份[14].由于此次嚴(yán)重的隱私泄露問(wèn)題最終導(dǎo)致網(wǎng)飛大賽因隱私原因被叫停,該發(fā)現(xiàn)也為學(xué)者們重點(diǎn)研究推薦系統(tǒng)的攻擊威脅與隱私保護(hù)提供了全新的思路,因此下文將重點(diǎn)介紹基于隱私保護(hù)機(jī)制的推薦系統(tǒng).

1.3 基于隱私保護(hù)的推薦算法

基于隱私保護(hù)的推薦算法的目標(biāo)是一方面需要保護(hù)用戶的個(gè)人隱私數(shù)據(jù)不被輕易泄露,一方面需要防御來(lái)自不同背景不同類型的攻擊威脅.其中,根據(jù)攻擊者攻擊手段與攻擊目標(biāo)的不同[75],大致分為用戶屬性攻擊、推理攻擊和托攻擊.根據(jù)攻擊者攻擊階段的不同,大致分為中毒攻擊與逃逸攻擊.根據(jù)攻擊者掌握攻擊環(huán)境程度的不同分為了白盒攻擊(掌握全部的攻擊環(huán)境數(shù)據(jù))、灰盒攻擊(掌握部分的攻擊環(huán)境數(shù)據(jù))與黑盒攻擊(掌握極少的攻擊環(huán)境數(shù)據(jù)).由于上述多種不同類型的攻擊手段,使得推薦模型在整個(gè)機(jī)器學(xué)習(xí)訓(xùn)練過(guò)程中都有可能面臨嚴(yán)重的安全威脅,因此如何針對(duì)不同的攻擊方式進(jìn)行有效防御進(jìn)而實(shí)現(xiàn)魯棒的推薦系統(tǒng)是目前信息安全領(lǐng)域?qū)W者們研究的重點(diǎn).為有效應(yīng)對(duì)上述攻擊威脅進(jìn)而更好地保護(hù)用戶的個(gè)人隱私,需要全方位的保護(hù)推薦系統(tǒng)各流程的敏感信息,包括在數(shù)據(jù)收集階段的數(shù)據(jù)集隱私保護(hù)、訓(xùn)練過(guò)程中的隱私保護(hù)、測(cè)試階段的隱私保護(hù)等[76].周俊等[77]通過(guò)根據(jù)經(jīng)典的隱私保護(hù)方法來(lái)對(duì)傳統(tǒng)的基于隱私保護(hù)的推薦算法進(jìn)行綜述介紹,但該工作調(diào)研的方向側(cè)重于安全領(lǐng)域并且缺乏對(duì)于機(jī)器學(xué)習(xí)領(lǐng)域新興方法的補(bǔ)充(比如對(duì)抗學(xué)習(xí)等新興的機(jī)器學(xué)習(xí)范式).

基于此,本文根據(jù)所使用防御機(jī)制的不同,以更加全面的分類方式來(lái)進(jìn)行介紹,大致分為基于匿名化的隱私保護(hù)方法[78-80]、基于數(shù)據(jù)擾動(dòng)的隱私保護(hù)方法[81-87]、基于密碼學(xué)的隱私保護(hù)方法[88-90]、基于對(duì)抗學(xué)習(xí)的隱私保護(hù)方法[91-94]與基于聯(lián)邦學(xué)習(xí)的方法[95-97]等,具體實(shí)現(xiàn)機(jī)制與詳細(xì)分析見表1.除了上述介紹的直接對(duì)某些隱私度量進(jìn)行優(yōu)化的隱私保護(hù)方法外[98-100],還有一些特定的安全執(zhí)行環(huán)境以及為了實(shí)現(xiàn)隱私保護(hù)而改造的模型訓(xùn)練方式.比如可信執(zhí)行環(huán)境[101]、分離學(xué)習(xí)[102]、機(jī)器遺忘學(xué)習(xí)[103]以及聯(lián)邦學(xué)習(xí)[95].其中,聯(lián)邦學(xué)習(xí)是一種充分發(fā)揮終端設(shè)備計(jì)算能力并協(xié)同服務(wù)端聯(lián)合優(yōu)化全局模型的分布式學(xué)習(xí)框架,第2.1 節(jié)將重點(diǎn)介紹其定義與分類.

表1 基于隱私保護(hù)的推薦算法總結(jié)Table 1 Summary of privacy-preserving recommendation algorithms

2 基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)

本節(jié)首先介紹聯(lián)邦學(xué)習(xí)的定義、分類以及主要執(zhí)行步驟,隨后介紹聯(lián)邦推薦系統(tǒng)的基本框架,最后詳細(xì)介紹聯(lián)邦學(xué)習(xí)在推薦系統(tǒng)中的主要研究進(jìn)展.

2.1 聯(lián)邦學(xué)習(xí)

傳統(tǒng)隱私計(jì)算方法通過(guò)在中心存儲(chǔ)的數(shù)據(jù)集上進(jìn)行加密或者擾動(dòng)機(jī)制來(lái)實(shí)現(xiàn)安全可靠的數(shù)據(jù)發(fā)布與挖掘,然而這些方法奏效的前提是需要多個(gè)參與方將私有數(shù)據(jù)匯聚到中心服務(wù)端進(jìn)行統(tǒng)一管理.但往往由于商業(yè)限制以及法律法規(guī)的約束,數(shù)據(jù)不能輕易地移交給其他第三方服務(wù)器,因此導(dǎo)致了數(shù)據(jù)孤島現(xiàn)象.為有效應(yīng)對(duì)上述情況,聯(lián)邦學(xué)習(xí)技術(shù)在不傳輸本地原始數(shù)據(jù)的前提下通過(guò)協(xié)同服務(wù)器端與多個(gè)本地模型進(jìn)行聯(lián)合優(yōu)化,進(jìn)而聚合多個(gè)本地客戶端模型的中間參數(shù)來(lái)得到全局較優(yōu)的模型.聯(lián)邦學(xué)習(xí)通過(guò)將客戶端的個(gè)人數(shù)據(jù)保留在本地以此實(shí)現(xiàn)原始數(shù)據(jù)的物理隔離,從而確保個(gè)人數(shù)據(jù)不會(huì)被直接泄露,使之滿足隱私保護(hù)和數(shù)據(jù)安全需求.進(jìn)一步地,聯(lián)邦學(xué)習(xí)可以在保證各參與方獨(dú)立性的情況下傳輸中間計(jì)算結(jié)果(而非原始數(shù)據(jù))并且可以對(duì)其進(jìn)行加密傳輸,使其可以實(shí)現(xiàn)更嚴(yán)格的數(shù)據(jù)安全共享與公平合作;另外,聯(lián)邦學(xué)習(xí)技術(shù)作為機(jī)器學(xué)習(xí)范式的一種可信分布式框架,其能夠高效融合來(lái)自更多機(jī)構(gòu)或者用戶間的訓(xùn)練數(shù)據(jù)以此來(lái)緩解集中式學(xué)習(xí)存在的有效訓(xùn)練數(shù)據(jù)不足的問(wèn)題.同時(shí),通過(guò)設(shè)計(jì)高效的聯(lián)合優(yōu)化算法能夠?qū)崿F(xiàn)服務(wù)端與客戶端間全局模型的快速收斂,并且可以有選擇的對(duì)客戶端模型進(jìn)行合理聚合以此學(xué)習(xí)更優(yōu)的機(jī)器學(xué)習(xí)模型.綜上,聯(lián)邦學(xué)習(xí)范式可以從根源上緩解用戶的隱私保護(hù)問(wèn)題并且能夠保持模型優(yōu)越的預(yù)測(cè)性能[23].

聯(lián)邦學(xué)習(xí)作為近年來(lái)具有潛力的機(jī)器學(xué)習(xí)技術(shù),最早由谷歌公司為解決安卓設(shè)備的更新問(wèn)題而被首次提出[24].根據(jù)原始數(shù)據(jù)的分布規(guī)律,常用的聯(lián)邦學(xué)習(xí)模式主要有橫向聯(lián)邦學(xué)習(xí)和縱向聯(lián)邦學(xué)習(xí)兩種[97].橫向聯(lián)邦學(xué)習(xí)場(chǎng)景是指當(dāng)兩個(gè)組織間的數(shù)據(jù)用戶重疊較少,而用戶特征重疊較多時(shí),把數(shù)據(jù)集按照橫向(即樣本維度)切分,并取出雙方用戶特征相同而用戶不完全相同的部分?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練;縱向聯(lián)邦學(xué)習(xí)場(chǎng)景是指當(dāng)兩個(gè)組織間的數(shù)據(jù)用戶重疊較多而用戶特征重疊較少時(shí),把數(shù)據(jù)集按照縱向(即特征維度)切分,并取出雙方用戶相同而用戶特征不完全相同的部分?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練.

通用的聯(lián)邦學(xué)習(xí)訓(xùn)練框架為: 首先服務(wù)端下發(fā)模型參數(shù)進(jìn)行本地模型初始化與訓(xùn)練,然后客戶端發(fā)送中間梯度到服務(wù)器端,其次服務(wù)器端聚合客戶端的參數(shù)并更新全局模型,最后下發(fā)最新參數(shù)并更新本地模型[24].在此們假設(shè)以多輪通信來(lái)執(zhí)行同步的更新方案,假設(shè)聯(lián)邦學(xué)習(xí)系統(tǒng)中的客戶端集合為K={1,2,···,k},其中服務(wù)端的全局模型表示為f(w),第k個(gè)客戶端的本地模型表示為fk(w),其通過(guò)利用各自的私有數(shù)據(jù)進(jìn)行局部訓(xùn)練,客戶端的私有數(shù)據(jù)表示為為了達(dá)到高效的訓(xùn)練目的,只選擇部分比例的客戶端進(jìn)行更新,即在每輪更新前初始化客戶端集合的隨機(jī)選擇比例C,然后客戶端將全局模型的參數(shù)狀態(tài)進(jìn)行下發(fā),每個(gè)被選中的客戶端根據(jù)下發(fā)的全局模型以及私有數(shù)據(jù)進(jìn)行E迭代次數(shù)的局部訓(xùn)練,隨后上傳各自的最新參數(shù)供服務(wù)端進(jìn)行聚合更新,上述更新過(guò)程執(zhí)行T輪直到模型收斂.其中,服務(wù)端的全局模型f(w)具體表示為多個(gè)客戶端模型的聚合形式:

式中,d表示為模型參數(shù)的特征維度,n表示參與的客戶端數(shù)量n=C/|K|.對(duì)于典型的機(jī)器學(xué)習(xí)問(wèn)題,定義損失函數(shù)為fk(w)=l(xi,yi;w),如果是分類任務(wù)一般為交叉熵?fù)p失函數(shù),回歸任務(wù)一般為平方損失函數(shù),通過(guò)在本地執(zhí)行梯度下降優(yōu)化算法來(lái)獲得最優(yōu)解.后續(xù)聯(lián)邦學(xué)習(xí)的前沿進(jìn)展基本,都是圍繞上述公式展開的,比如如何更好地聚合本地模型[104]、如何更好地挑選具有代表性的客戶端[105]以及設(shè)計(jì)不同的個(gè)性化客戶端模型[106]等.

另外,隨著聯(lián)邦學(xué)習(xí)技術(shù)的逐漸成熟,研究者們逐漸設(shè)計(jì)出一系列聯(lián)邦學(xué)習(xí)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理以及推薦系統(tǒng)領(lǐng)域的應(yīng)用,以上創(chuàng)新工作推動(dòng)了聯(lián)邦學(xué)習(xí)技術(shù)的發(fā)展與應(yīng)用落地.第2.2 節(jié)將詳細(xì)介紹聯(lián)邦學(xué)習(xí)與推薦系統(tǒng)領(lǐng)域結(jié)合而誕生的基于聯(lián)邦學(xué)習(xí)范式的推薦系統(tǒng),期望能夠?yàn)閷W(xué)者們提供全面的綜述與新的研究思路.

2.2 聯(lián)邦推薦系統(tǒng)

推薦系統(tǒng)通過(guò)充分挖掘用戶對(duì)物品的歷史行為信息以及各自固有的屬性特征以此發(fā)現(xiàn)用戶的潛在興趣偏好.其中,當(dāng)前主流推薦模型的訓(xùn)練框架首先收集所有用戶的個(gè)人信息到集中存儲(chǔ)的中心服務(wù)端,然后在中心服務(wù)端統(tǒng)一訓(xùn)練推薦模型(其中大致經(jīng)歷召回、粗排、精排以及重排序階段),最后生成對(duì)于每個(gè)用戶的個(gè)性化推薦結(jié)果.然而,用戶上傳的行為數(shù)據(jù)往往包含大量的個(gè)人敏感信息,因此集中式訓(xùn)練的模式會(huì)存在潛在的隱私泄露風(fēng)險(xiǎn)與安全隱患[77].另外,由于用戶對(duì)于個(gè)人隱私的擔(dān)憂,大多數(shù)人們不樂(lè)意將自己的原始數(shù)據(jù)進(jìn)行上傳,因此導(dǎo)致集中式的訓(xùn)練模式缺乏足夠的訓(xùn)練數(shù)據(jù)而使得模型預(yù)測(cè)性能下降.基于以上兩種原因,推薦系統(tǒng)亟需一種能夠保護(hù)用戶個(gè)人原始數(shù)據(jù)同時(shí)能夠確保推薦算法預(yù)測(cè)性能的新穎學(xué)習(xí)框架.

聯(lián)邦學(xué)習(xí)作為一種保護(hù)隱私的分布式機(jī)器學(xué)習(xí)框架,其通過(guò)將用戶個(gè)人原始數(shù)據(jù)保留在本地,利用服務(wù)端與客戶端的中間參數(shù)進(jìn)行協(xié)同優(yōu)化,最終在保護(hù)用戶個(gè)人隱私的同時(shí)保障了機(jī)器學(xué)習(xí)模型的預(yù)測(cè)性能[24].推薦算法為了實(shí)現(xiàn)保護(hù)用戶隱私的需求,自然的想法是將集中式學(xué)習(xí)框架遷移到聯(lián)邦學(xué)習(xí)范式的場(chǎng)景中,于是基于隱私保護(hù)的聯(lián)邦推薦系統(tǒng)得到了研究者的廣泛關(guān)注.基于聯(lián)邦學(xué)習(xí)范式的推薦算法通用訓(xùn)練流程如圖2 所示.具體地,每個(gè)客戶端在進(jìn)行本地模型訓(xùn)練的前期工作主要是收集各自的行為數(shù)據(jù),其中主要包含用戶的顯式評(píng)分?jǐn)?shù)據(jù)(比如用戶對(duì)物品的評(píng)分與評(píng)論數(shù)據(jù))以及隱式反饋數(shù)據(jù)(比如對(duì)物品的點(diǎn)擊、喜歡以及收藏?cái)?shù)據(jù)等).后續(xù)模型更新的詳細(xì)步驟為:

圖2 聯(lián)邦推薦系統(tǒng)訓(xùn)練流程圖Fig.2 The procedure of federated recommender systems

步驟1.服務(wù)端下發(fā)全局推薦模型到客戶端,該模型可以是隨機(jī)初始化模型或者預(yù)訓(xùn)練模型.

步驟2.客戶端利用本地交互數(shù)據(jù)進(jìn)行局部模型訓(xùn)練并更新本地模型.

步驟3.客戶端將待更新的模型參數(shù)或者中間參數(shù)上傳到中心服務(wù)端.

步驟4.服務(wù)端聚合來(lái)自本地客戶端的模型參數(shù)或者中間參數(shù).

上述步驟進(jìn)行多輪迭代直至全局模型收斂,然后利用本地模型進(jìn)行推理預(yù)測(cè).基于聯(lián)邦學(xué)習(xí)的推薦算法框架與傳統(tǒng)的聯(lián)邦學(xué)習(xí)框架類似,其將每個(gè)用戶看做一個(gè)客戶端,用戶所產(chǎn)生的個(gè)人行為數(shù)據(jù)(比如瀏覽歷史、點(diǎn)贊收藏歷史等)保存在本地,通過(guò)與中心服務(wù)端進(jìn)行協(xié)同優(yōu)化,最終達(dá)到個(gè)人原始數(shù)據(jù)不出本地而進(jìn)行有效訓(xùn)練的目的.不同之處在于推薦系統(tǒng)涉及的客戶端眾多,因此選擇哪些客戶端進(jìn)行更新是其主要面臨的挑戰(zhàn).另外,推薦系統(tǒng)本地客戶端存儲(chǔ)的數(shù)據(jù)不同于傳統(tǒng)的視覺(jué)數(shù)據(jù),其不僅存在數(shù)據(jù)異質(zhì)性的問(wèn)題還存在數(shù)據(jù)稀疏、長(zhǎng)尾分布以及冷啟動(dòng)用戶(物品)等復(fù)雜情況.

因此基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)會(huì)面臨更多更嚴(yán)峻的挑戰(zhàn).根據(jù)以上步驟,研究者針對(duì)其中涉及到的每個(gè)部分進(jìn)行了更進(jìn)一步的研究,研究的方向主要包括: 如何有效挖掘符合實(shí)際場(chǎng)景的異質(zhì)數(shù)據(jù),如何挑選有代表性的本地模型參與訓(xùn)練,如何在服務(wù)端進(jìn)行更加有效的參數(shù)聚合,如何減少通信成本并保證模型收斂以及如何實(shí)現(xiàn)參數(shù)傳輸過(guò)程中的隱私保護(hù)問(wèn)題等.基于以上研究問(wèn)題,第2.3～ 2.8 節(jié)詳細(xì)介紹基礎(chǔ)聯(lián)邦學(xué)習(xí)推薦算法框架[25-32]、基于效率增強(qiáng)的聯(lián)邦推薦算法[107-110]、緩解異質(zhì)性的個(gè)性化聯(lián)邦推薦算法[111-114]、基于性能增強(qiáng)的聯(lián)邦推薦算法[115-118]、基于隱私增強(qiáng)的聯(lián)邦推薦算法[119-124]以及防御攻擊的魯棒聯(lián)邦推薦算法[125-128].圖3 展示了上述各研究方向之間的關(guān)系,其中基礎(chǔ)聯(lián)邦推薦算法框架旨在為推薦場(chǎng)景常見的數(shù)據(jù)形式設(shè)計(jì)合理的聯(lián)邦學(xué)習(xí)框架,其余方向則是在此基礎(chǔ)上的延伸(分別考慮了效率性、異質(zhì)性、有效性、隱私性以及魯棒性),以此建立一個(gè)全面的聯(lián)邦學(xué)習(xí)推薦系統(tǒng).表2總結(jié)了基于聯(lián)邦學(xué)習(xí)范式的推薦算法在各個(gè)方向上詳細(xì)的研究目標(biāo)、需要克服的挑戰(zhàn)、主要實(shí)現(xiàn)機(jī)制以及代表性的參考文獻(xiàn),希望能夠?yàn)檠芯空邆兲峁┮粋€(gè)清晰的研究框架.

表2 聯(lián)邦推薦算法主要研究方向以及實(shí)現(xiàn)機(jī)制總結(jié)Table 2 Summary of main research directions and realization mechanisms of federated recommender systems

圖3 聯(lián)邦推薦系統(tǒng)研究方向總結(jié)Fig.3 Summary of research directions for federated recommender systems

2.3 基礎(chǔ)聯(lián)邦推薦算法框架

基于通用的分布式訓(xùn)練框架,Ammad 等[25]提出了針對(duì)隱式反饋數(shù)據(jù)設(shè)計(jì)的首個(gè)基于聯(lián)邦學(xué)習(xí)框架的推薦算法(Federated collaborative filtering,FCF),該算法在中心服務(wù)端維護(hù)全局的矩陣分解模型,每個(gè)客戶端維護(hù)私有的矩陣分解模型,然后通過(guò)本地私有的隱式反饋數(shù)據(jù)進(jìn)行本地更新并上傳梯度信息到中心服務(wù)端進(jìn)行聚合優(yōu)化,更直觀地理解可以參考圖4 算法示意圖[27].具體地,中心服務(wù)端維護(hù)所有物品的最新低維特征矩陣Q∈Rf×m,每個(gè)用戶客戶端u維護(hù)各自私有的用戶低維特征向量pu以及從服務(wù)端下發(fā)的全局物品特征矩陣Q.由于每個(gè)用戶的私有數(shù)據(jù)Du ∈{(u,i)|i ∈Nu}以及特征向量pu不會(huì)上傳到服務(wù)端以及物品特征矩陣通過(guò)中間梯度信息 ΔQ進(jìn)行更新,通過(guò)以上機(jī)制實(shí)現(xiàn)了隱私保護(hù)的聯(lián)邦學(xué)習(xí)協(xié)同過(guò)濾算法FCF.具體地,對(duì)于用戶u的特征向量pu利用梯度下降算法的更新公式如下:

圖4 聯(lián)邦推薦算法基本框架Fig.4 The general framework for federated recommender systems

式中,Du表示用戶u的私有隱式反饋 數(shù)據(jù),cui=1+αrui表示用戶u對(duì)物品i交互的置信度級(jí)別,α通常取大于0 的值,λ為正則項(xiàng)系數(shù),η表示學(xué)習(xí)率.通過(guò)該式(3)可以看出,只利用本地?cái)?shù)據(jù)就可以更新用戶私有的特征向量以此保護(hù)用戶的隱私信息.對(duì)于物品i的特征向量qi的更新需要在服務(wù)端進(jìn)行,并且需要聚合來(lái)自不同客戶端u對(duì)于物品i的更新梯度信息,因此具體更新物品向量的公式如下:

式中,Ni表示對(duì)于物品i產(chǎn)生行為記錄的客戶端集合,f(u,i) 表示來(lái)自客戶端u對(duì)于物品i的具體梯度信息f(u,i)=(cui(rui-qi))pu.通過(guò)上傳對(duì)于物品特征的梯度信息而非原始數(shù)據(jù)可以實(shí)現(xiàn)對(duì)于物品特征矩陣的信息保護(hù).后續(xù)有相關(guān)文獻(xiàn)表明,上傳的明文梯度信息中往往存在敏感信息[129],因此如何實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)框架的強(qiáng)隱私保護(hù)值得被深入研究.

相比于隱式反饋數(shù)據(jù),針對(duì)于顯式反饋數(shù)據(jù)的聯(lián)邦推薦系統(tǒng)更具有挑戰(zhàn)性.具體體現(xiàn)在: 1)隱私保護(hù)方面的挑戰(zhàn).由于顯式反饋數(shù)據(jù)在傳輸梯度信息時(shí)只上傳用戶u所產(chǎn)生交互的物品集合Iu,因此很容易被服務(wù)端所識(shí)別并造成隱私泄露;2)計(jì)算與通信方面的挑戰(zhàn).如果仿照基于隱式反饋數(shù)據(jù)的聯(lián)邦協(xié)同過(guò)濾方法FCF 將所有未產(chǎn)生交互的物品當(dāng)做負(fù)樣本,無(wú)疑會(huì)增加模型的偏差并且?guī)?lái)巨大的計(jì)算與通信開銷.基于以上挑戰(zhàn),Lin 等[26]提出基于顯式反饋的聯(lián)邦推薦算法(Federated recommendation with explicit feedback,FedRec),該方法提出了兩種簡(jiǎn)單且有效的機(jī)制,即用戶平均方法和混合填充方法,來(lái)生成虛擬交互物品集合(通過(guò)引入虛擬交互物品可以降低真正產(chǎn)生交互物品的被攻擊概率,從而達(dá)到隱私保護(hù)的目的)以及對(duì)應(yīng)的評(píng)分集合以此提高梯度信息在傳輸過(guò)程中的隱私保護(hù)能力.具體地,首先從每個(gè)用戶u未交互過(guò)的物品集合中隨機(jī)采樣出虛擬交互物品集合?IIu,然后根據(jù)式(5)來(lái)計(jì)算用戶的平均評(píng)分作為生成的對(duì)應(yīng)虛擬評(píng)分信息.

式中,yuk表示用戶u是否點(diǎn)擊過(guò)物品k,yuk=1 表示產(chǎn)生過(guò)交互行為,yuk=0 則表示之間沒(méi)有產(chǎn)生過(guò)交互行為.除了上述將用戶平均評(píng)分作為虛擬評(píng)分信息外,混合填充方法則將模型預(yù)測(cè)評(píng)分作為最終的虛擬評(píng)分.通過(guò)引入虛擬交互物品與評(píng)分可以實(shí)現(xiàn)在梯度傳輸過(guò)程中的信息保護(hù).為了更加有效地建模隱式反饋數(shù)據(jù),另一種行之有效的方案是利用成對(duì)訓(xùn)練的思想來(lái)建模用戶的相對(duì)偏好,因此Anelli 等[27]提出了首個(gè)基于成對(duì)訓(xùn)練的聯(lián)邦推薦算法,并且通過(guò)實(shí)驗(yàn)分析了數(shù)據(jù)使用量與推薦模型預(yù)測(cè)性能的關(guān)系.

除了將上述經(jīng)典的矩陣分解模型設(shè)計(jì)為具有隱私保護(hù)能力的聯(lián)邦學(xué)習(xí)框架外,為充分利用深度神經(jīng)網(wǎng)絡(luò)模型出色的擬合能力以及高度的非線性特征抽取能力,Perifanis 等[28]提出了聯(lián)邦學(xué)習(xí)設(shè)置下的神經(jīng)協(xié)同過(guò)濾算法(Federated neural collaborative filtering,FedNCF).該算法是首個(gè)將傳統(tǒng)神經(jīng)協(xié)同過(guò)濾算法遷移到聯(lián)邦學(xué)習(xí)的設(shè)置中并應(yīng)用于序列推薦任務(wù)的模型.具體地,該算法采用聯(lián)邦平均的訓(xùn)練模式將通用的矩陣分解模型、多層感知機(jī)模型以及兩者相結(jié)合的模型進(jìn)行了聯(lián)邦學(xué)習(xí)框架的設(shè)計(jì),并且提出了安全的聚合協(xié)議來(lái)加密傳輸梯度信息以保證模型參數(shù)信息的隱私內(nèi)容不被泄露.通過(guò)豐富的實(shí)驗(yàn)驗(yàn)證了所提方法在預(yù)測(cè)性能與隱私性方面的優(yōu)越性,并且驗(yàn)證了所提出的安全聚合協(xié)議相比于傳統(tǒng)的同態(tài)加密機(jī)制具有更少的計(jì)算開銷.

隨著圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)領(lǐng)域的快速發(fā)展,其已經(jīng)被學(xué)術(shù)界與工業(yè)場(chǎng)景證明了其有效性.但目前主流的圖神經(jīng)網(wǎng)絡(luò)推薦算法需要收集所有用戶的信息到中心服務(wù)器進(jìn)行集中式訓(xùn)練,這就造成了用戶對(duì)于個(gè)人隱私的擔(dān)憂.為提高圖神經(jīng)網(wǎng)絡(luò)模型的隱私保護(hù)能力,Wu 等[29]提出了基于聯(lián)邦學(xué)習(xí)框架的圖神經(jīng)網(wǎng)絡(luò)推薦算法(Federated graph neural network for privacy-preserving recommendation,FedGNN),該方法是首個(gè)將圖神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)設(shè)計(jì)為聯(lián)邦學(xué)習(xí)框架的模型,其在充分挖掘高階的交互信息的同時(shí)能夠很好的保護(hù)用戶的個(gè)人隱私信息.具體地,每個(gè)用戶客戶端利用私有的交互信息局部訓(xùn)練各自客戶端的圖神經(jīng)網(wǎng)絡(luò)模型,隨后每個(gè)客戶端上傳本地的梯度信息至服務(wù)器進(jìn)行聚合更新.由于傳輸?shù)木植刻荻刃畔⒅锌赡馨S富的個(gè)人敏感信息,該文提出利用本地差分隱私技術(shù)應(yīng)用到待傳輸?shù)奶荻葦?shù)據(jù)上以保護(hù)用戶隱私.另外,為了進(jìn)一步保護(hù)用戶所交互過(guò)的物品集合,本文提出將隨機(jī)采樣的物品集合作為偽交互物品集合以起到匿名化的作用.最后,為充分挖掘用戶高階的交互信息,該文提出利用圖擴(kuò)充技術(shù)在隱私保護(hù)的情況下找到具有相互交互物品的相鄰用戶并交換他們的嵌入特征信息.

上述方法主要是將評(píng)分預(yù)測(cè)任務(wù)以及二分類等任務(wù)遷移到聯(lián)邦推薦的框架上,但現(xiàn)實(shí)場(chǎng)景中的數(shù)據(jù)大多是以序列的形式存在,因此如何將序列推薦任務(wù)遷移到聯(lián)邦學(xué)習(xí)框架上成為了研究的難點(diǎn).Han等[30]提出On-device deep learning for privacy-preserving sequential recommendation (DeepRec)算法首次將序列化推薦任務(wù)遷移到聯(lián)邦推薦算法框架上.具體地,該算法首先利用歐盟通用數(shù)據(jù)保護(hù)條例出臺(tái)之前的數(shù)據(jù)構(gòu)建全局模型,然后在其終端用戶設(shè)備上進(jìn)行不斷的微調(diào)操作.另外,該算法還利用模型剪枝以及嵌入稀疏性等技術(shù)來(lái)減小計(jì)算與網(wǎng)絡(luò)開銷,這樣的操作使得模型訓(xùn)練過(guò)程在不需要傳輸用戶原始數(shù)據(jù)的前提下能夠有效地在計(jì)算資源受限的移動(dòng)設(shè)備上進(jìn)行操作.通過(guò)將該算法應(yīng)用在淘寶數(shù)據(jù)集上,該算法實(shí)現(xiàn)了在計(jì)算資源與帶寬資源更小情況下與集中式推薦算法相似的推薦精度的效果.

綜上,由于不同推薦算法模型結(jié)構(gòu)的不同,需要針對(duì)不同的基礎(chǔ)模型進(jìn)行有針對(duì)性的設(shè)計(jì)聯(lián)邦學(xué)習(xí)框架.除了上述介紹的對(duì)于基本矩陣分解、神經(jīng)協(xié)同過(guò)濾模型以及基于圖神經(jīng)網(wǎng)絡(luò)推薦算法進(jìn)行專門設(shè)計(jì)聯(lián)邦學(xué)習(xí)框架外,針對(duì)于不同的推薦場(chǎng)景進(jìn)行專門的聯(lián)邦學(xué)習(xí)框架設(shè)計(jì)同樣是具有潛力的研究方向,比如新聞推薦場(chǎng)景[5]、序列化推薦場(chǎng)景[30]、跨域推薦場(chǎng)景[31]以及社會(huì)化推薦場(chǎng)景[32]等.

2.4 基于效率增強(qiáng)的聯(lián)邦推薦算法

傳統(tǒng)的基于聯(lián)邦學(xué)習(xí)框架的推薦算法同樣面臨在優(yōu)化過(guò)程中通信成本高的挑戰(zhàn),即通信輪次過(guò)多以及通信過(guò)程中的通信量過(guò)大問(wèn)題,因此如何設(shè)計(jì)高效的梯度更新策略用以減輕通信開銷是其關(guān)注的重點(diǎn)方向之一.標(biāo)準(zhǔn)的聯(lián)邦學(xué)習(xí)框架隨機(jī)的挑選客戶端來(lái)進(jìn)行多輪更新,并且在服務(wù)端直接對(duì)挑選的客戶端的整個(gè)模型進(jìn)行簡(jiǎn)單平均來(lái)作為最終的全局模型,這樣的更新操作使得聯(lián)邦推薦模型在達(dá)到令人滿意的推薦精度前需要進(jìn)行多輪的通信操作.

針對(duì)標(biāo)準(zhǔn)聯(lián)邦學(xué)習(xí)框架隨機(jī)選取客戶端以及簡(jiǎn)單聚合操作導(dǎo)致模型收斂慢速的問(wèn)題,Muhammad等[107]提出了對(duì)于上述兩步進(jìn)行改進(jìn)的聯(lián)邦推薦方法Going beyond average for faster training of federated recommender systems (FedFast),該方法具體包括用戶采樣機(jī)制(Active sampling,ActvSAMP)以及模型更新機(jī)制(Active aggregation,ActvAGG),該算法框架如圖5 所示,通過(guò)所提出的用戶采樣機(jī)制與模型更新策略可以實(shí)現(xiàn)快速收斂的目的.具體地,該方法首先對(duì)參與更新的客戶端實(shí)行ActvSAMP采樣機(jī)制,即首先對(duì)客戶端進(jìn)行聚類操作,使得具有相同分布以及相同計(jì)算能力的客戶端處于同一個(gè)簇內(nèi),隨后在每個(gè)簇內(nèi)選取代表作為選中的待更新的客戶端.然后進(jìn)行ActvAGG 聚合操作,即將更新的代表客戶端的參數(shù)直接同步到簇內(nèi)其他客戶端的模型上,以此實(shí)現(xiàn)快速的模型訓(xùn)練目的.該方法通過(guò)挑選具有差異性的客戶端進(jìn)行參數(shù)傳遞與更新以及對(duì)于相似客戶端進(jìn)行直接的參數(shù)交換保證了模型的快速收斂.該文以通用矩陣分解模型為基礎(chǔ),將其按照聯(lián)邦學(xué)習(xí)框架的設(shè)置進(jìn)行設(shè)計(jì),通過(guò)實(shí)驗(yàn)證明其在推薦性能以及模型收斂速度上都具有優(yōu)異表現(xiàn).

圖5 FedFast 算法示意圖Fig.5 The diagram of FedFast model

根據(jù)基本的聯(lián)邦學(xué)習(xí)推薦系統(tǒng)的設(shè)置,在更新模型參數(shù)的過(guò)程中需要傳輸物品特征矩陣的梯度信息 ΔQ進(jìn)而完成服務(wù)端的聚合優(yōu)化.然而隨著物品數(shù)量的增加,模型在傳輸過(guò)程中的參數(shù)量也逐漸加大,比如在1 千萬(wàn)規(guī)模的真實(shí)推薦系統(tǒng)場(chǎng)景中,物品特征矩陣的存儲(chǔ)量將達(dá)到1.6 GB 的量級(jí),這也就說(shuō)明需要傳輸1.6 GB 的數(shù)據(jù)來(lái)完成一次迭代更新.因此,針對(duì)于在聯(lián)邦學(xué)習(xí)傳輸參數(shù)過(guò)程中推薦模型過(guò)大的問(wèn)題,Khan 等[108]通過(guò)利用強(qiáng)化學(xué)習(xí)技術(shù)提出一種負(fù)載優(yōu)化的聯(lián)邦推薦方法Bayesian Thompson sampling for federated collaborative filtering (FCF-BTS).具體地,該文將對(duì)于矩陣分解模型中的物品特征矩陣Q的優(yōu)化過(guò)程建模為多臂老虎機(jī)問(wèn)題.首先在服務(wù)端利用初始的貝葉斯湯姆森采樣方法選取待更新物品的子集Ms,然后基于Ms選取物品特征矩陣Q的子集,記為Q*.隨后將物品特征矩陣子集Q*下發(fā)到具體地客戶端,然后本地客戶端利用私有數(shù)據(jù)進(jìn)行更新并回傳梯度信息ΔQ*至服務(wù)端,同時(shí)在本地客戶端利用回報(bào)函數(shù),即式(6)計(jì)算第t輪對(duì)于物品j的回報(bào)分?jǐn)?shù)并根據(jù)回報(bào)分?jǐn)?shù)更新貝葉斯湯姆森采樣器.經(jīng)過(guò)多輪迭代直到找到合適的待更新物品的子集并達(dá)到模型的最終收斂.

式中,γ為正則項(xiàng)系數(shù),f為物品特征向量的嵌入維度,表示在第t輪迭代對(duì)于物品j歷史梯度信息的指數(shù)衰減系數(shù).通過(guò)該文設(shè)計(jì)的新穎回報(bào)函數(shù)可以快速找到待更新的物品子集以此實(shí)現(xiàn)減少模型參數(shù)傳輸量的問(wèn)題.

與上述利用強(qiáng)化學(xué)習(xí)技術(shù)來(lái)減少傳輸通信量的研究思路不同,Yi 等[109]提出了基于模型分解的高效聯(lián)邦推薦算法(Efficient federated learning framework for privacy-preserving news recommendation,Efficient-FedRec).具體地,該算法立足于新聞推薦場(chǎng)景,并根據(jù)實(shí)驗(yàn)觀察發(fā)現(xiàn)新聞推薦模型的大部分參數(shù)來(lái)自于新聞的特征表示,因此將整個(gè)新聞推薦模型分解為大型新聞表示模型和輕量級(jí)用戶表示模型.在該方法模型訓(xùn)練過(guò)程中,只需向服務(wù)端請(qǐng)求小型的用戶表示模型和與其相關(guān)聯(lián)的小規(guī)模新聞特征表示,通過(guò)模型分解方式大大減少了模型傳輸過(guò)程中的通信開銷.為了在模型訓(xùn)練過(guò)程中保護(hù)用戶隱私,文獻(xiàn)[109]還提出了一種基于多方計(jì)算框架的安全梯度聚合協(xié)議.該協(xié)議通過(guò)對(duì)原始交互記錄集合進(jìn)行逆向變換操作,從而得到全新的梯度表示,隨后將其發(fā)送到服務(wù)端進(jìn)行安全梯度聚合,從而保護(hù)原始梯度的隱私信息.通過(guò)大量實(shí)驗(yàn)表明,所提方法可以有效地減少新聞推薦模型訓(xùn)練的計(jì)算開銷與通信成本.

綜上,提高聯(lián)邦學(xué)習(xí)推薦算法框架訓(xùn)練效率的途徑主要包括選取合適的客戶端進(jìn)行更新、利用合理的聚合機(jī)制、增加本地模型的計(jì)算來(lái)減少通信輪次以及縮小傳輸?shù)哪Ｐ蛥?shù)量等.

2.5 緩解異質(zhì)性的個(gè)性化聯(lián)邦推薦算法

與傳統(tǒng)集中式訓(xùn)練的推薦模型相比,基于聯(lián)邦學(xué)習(xí)框架的推薦算法在異質(zhì)性方面面臨更加嚴(yán)峻的挑戰(zhàn).其主要體現(xiàn)在數(shù)據(jù)異質(zhì)性以及模型異質(zhì)性兩個(gè)方面.數(shù)據(jù)異質(zhì)性是指不同的用戶所偏好的物品類別不同,因此導(dǎo)致用戶終端上存儲(chǔ)的行為數(shù)據(jù)不能滿足常規(guī)的獨(dú)立同分布的假設(shè).另外由于不同的用戶所產(chǎn)生的交互行為數(shù)量也不盡相同,因此也導(dǎo)致了數(shù)據(jù)規(guī)模的不平衡現(xiàn)象以及推薦系統(tǒng)領(lǐng)域常見的冷啟動(dòng)用戶(物品)的情況.模型異質(zhì)性是指由于不同用戶終端的存儲(chǔ)能力、計(jì)算性能、通信能力的不同以及數(shù)據(jù)異質(zhì)性的存在而需要個(gè)性化設(shè)計(jì)模型的情況.以上兩種異質(zhì)性在傳統(tǒng)的聯(lián)邦學(xué)習(xí)框架下已經(jīng)存在,但由于推薦領(lǐng)域?qū)τ谟脩魝€(gè)性化需求的滿足加劇了上述現(xiàn)象的發(fā)生,因此解決聯(lián)邦學(xué)習(xí)框架的推薦模型異質(zhì)性問(wèn)題是當(dāng)前研究的重點(diǎn)與難點(diǎn)問(wèn)題.

針對(duì)數(shù)據(jù)異質(zhì)性挑戰(zhàn),Wu 等[113]設(shè)計(jì)開發(fā)了一種基于層次化個(gè)性建模的聯(lián)邦推薦算法(Hierarchical personalized federated learning for user modeling,HPFL),算法框架如圖6 所示.該算法不同于其他文獻(xiàn)將用戶的全部個(gè)人信息看做是不能直接分享的隱私信息,而是提出了隱私層面的異質(zhì)性.即根據(jù)是否具有公共屬性而將用戶的個(gè)人行為信息通過(guò)層次劃分來(lái)生成公開信息部分與隱私信息部分.比如,物品的屬性信息以及標(biāo)簽數(shù)據(jù)屬于公開信息,而用戶的個(gè)人行為信息則屬于隱私信息.該模型只對(duì)隱私信息部分進(jìn)行加密處理,而對(duì)于公開信息部分可以直接進(jìn)行信息交換.基于以上層次化信息,該方法設(shè)計(jì)了包含公開信息組件與隱私信息組件的用戶模型.在客戶端模型訓(xùn)練階段,客戶端可以直接上傳公開組件的信息,而對(duì)于隱私部分的組件需要進(jìn)行加密處理以此來(lái)保護(hù)客戶端數(shù)據(jù)的隱私性.在服務(wù)端聚合階段中,其直接聚合來(lái)自客戶端的公開組件的參數(shù)信息以此獲得最新的全局公開組件.對(duì)于隱私組件,服務(wù)端需要聚合來(lái)自客戶端加密后的隱私組件以此來(lái)獲取最終的全局隱私組件.該模型通過(guò)生成的層次化信息以及個(gè)性化更新策略與聚合機(jī)制較好地實(shí)現(xiàn)了緩解數(shù)據(jù)異質(zhì)性、模型異質(zhì)性以及隱私異質(zhì)性的問(wèn)題.

圖6 HPFL 算法示意圖Fig.6 The diagram of HPFL model

針對(duì)常規(guī)聯(lián)邦學(xué)習(xí)設(shè)置中固有的數(shù)據(jù)異質(zhì)性問(wèn)題,利用元學(xué)習(xí)方法基于少量樣本為不同任務(wù)(客戶端) 學(xué)習(xí)不同的個(gè)性化模型是當(dāng)前的主流方案.元學(xué)習(xí)旨在讓模型獲得特定 “學(xué)會(huì)學(xué)習(xí)”的能力,使其可以在獲取已有知識(shí)的基礎(chǔ)上快速學(xué)習(xí)新的任務(wù).當(dāng)前元學(xué)習(xí)的方法維度多種多樣,根據(jù)采用元知識(shí)形式的不同主要關(guān)注基于網(wǎng)絡(luò)結(jié)構(gòu)的元學(xué)習(xí)方法以及基于權(quán)重的元學(xué)習(xí)方法[130].其中基于網(wǎng)絡(luò)結(jié)構(gòu)的元學(xué)習(xí)方法是指利用學(xué)習(xí)機(jī)制來(lái)自動(dòng)生成機(jī)器學(xué)習(xí)模型的結(jié)構(gòu)以及參數(shù),而基于權(quán)重的元學(xué)習(xí)方法主要指利用模型無(wú)關(guān)的元學(xué)習(xí)方法來(lái)學(xué)習(xí)較優(yōu)的初始化權(quán)重用以快速實(shí)現(xiàn)在其他任務(wù)上的適配,但該方法需要進(jìn)行二階梯度計(jì)算以及需要對(duì)原始數(shù)據(jù)進(jìn)行劃分然后再進(jìn)行分階段訓(xùn)練,這樣的操作會(huì)在客戶端造成大量的計(jì)算成本.基于此,Wang 等[112]提出基于改進(jìn)的元學(xué)習(xí)個(gè)性化聯(lián)邦推薦算法,以此來(lái)緩解數(shù)據(jù)異質(zhì)性問(wèn)題.該算法提出利用近似一階梯度信息進(jìn)行模型訓(xùn)練,不僅可以達(dá)到良好的算法性能,同時(shí)能夠大大減少客戶端的計(jì)算成本.另外該算法不需要對(duì)數(shù)據(jù)進(jìn)行重復(fù)劃分操作,因此其適用于聯(lián)邦學(xué)習(xí)環(huán)境下的冷啟動(dòng)推薦場(chǎng)景中.

當(dāng)前主流的聯(lián)邦學(xué)習(xí)推薦系統(tǒng)框架通常假設(shè)服務(wù)端的全局模型與客戶端的用戶模型規(guī)模一致,而忽略了用戶終端對(duì)于存儲(chǔ)、內(nèi)存以及通信帶寬的局限性,因此需要對(duì)不同客戶端進(jìn)行個(gè)性化的模型設(shè)計(jì)以充分考慮其自身的設(shè)備能力.針對(duì)上述模型異質(zhì)性的挑戰(zhàn),Lin 等[111]提出了基于網(wǎng)絡(luò)結(jié)構(gòu)元學(xué)習(xí)的聯(lián)邦矩陣分解算法(Meta matrix factorization for federated rating predictions,MetaMF).具體地,該算法模型由協(xié)同記憶模塊、元推薦模塊以及評(píng)分預(yù)測(cè)模塊構(gòu)成.其中協(xié)同記憶模塊負(fù)責(zé)融合來(lái)自鄰居用戶的協(xié)同信息,元推薦模塊用于生成私有的物品特征矩陣以及用戶的私有評(píng)分預(yù)測(cè)模型,評(píng)分預(yù)測(cè)模塊用來(lái)根據(jù)上述生成的私有物品特征矩陣以及私有評(píng)分模型進(jìn)行評(píng)分預(yù)測(cè)任務(wù).由于物品數(shù)量巨大以及物品特征維度高的特點(diǎn),直接為用戶生成私有的項(xiàng)目特征矩陣具有很大的挑戰(zhàn)性.為了解決上述問(wèn)題,該文提出利用矩陣分解的操作首先生成兩個(gè)低維的物品特征矩陣以及升維矩陣,然后將其傳輸?shù)娇蛻舳诉M(jìn)行乘積操作來(lái)還原出原始規(guī)模的物品特征矩陣.通過(guò)將大型的協(xié)同記憶模塊與元推薦模塊部署在服務(wù)端而把小型的用戶私有評(píng)分預(yù)測(cè)模塊部署在客戶端實(shí)現(xiàn)了聯(lián)邦推薦模型的個(gè)性化設(shè)計(jì),同時(shí)在充分考慮設(shè)備自身能力的前提下保證了推薦模型的預(yù)測(cè)性能.另外,Müllner 等[124]在嚴(yán)格的隱私約束下證明了元學(xué)習(xí)模塊在保證模型魯棒性方面有著重要意義.

綜上所述,由于推薦算法對(duì)于個(gè)性化偏好的要求,因此基于聯(lián)邦學(xué)習(xí)的推薦算法面臨更加嚴(yán)峻的異質(zhì)性挑戰(zhàn),其具體體現(xiàn)在個(gè)人交互行為上的數(shù)據(jù)規(guī)模與類別的差異性等.為有效緩解異質(zhì)性帶來(lái)的挑戰(zhàn),主要通過(guò)層次化建模、元學(xué)習(xí)方法等設(shè)計(jì)個(gè)性化的聯(lián)邦學(xué)習(xí)模型以此來(lái)擬合不同客戶端的數(shù)據(jù)分布,實(shí)現(xiàn)對(duì)于模型泛化能力的提升.

2.6 基于性能增強(qiáng)的聯(lián)邦推薦算法

基于聯(lián)邦學(xué)習(xí)范式的推薦算法由于可以保留用戶的原始個(gè)人行為數(shù)據(jù)在本地,而通過(guò)中間參數(shù)(模型權(quán)重或者梯度信息)協(xié)同服務(wù)端與客戶端模型進(jìn)行聯(lián)合優(yōu)化,其可以很大程度上保護(hù)用戶的隱私信息同時(shí)能夠得到良好的預(yù)測(cè)性能.然而正是由于分布式訓(xùn)練的特性以及通過(guò)模型中間參數(shù)來(lái)執(zhí)行整個(gè)優(yōu)化過(guò)程的原因,導(dǎo)致聯(lián)邦學(xué)習(xí)的模型預(yù)測(cè)精度要在整體上弱于集中式訓(xùn)練的模型精度.因此,設(shè)計(jì)高效的性能提升方法來(lái)彌補(bǔ)聯(lián)邦學(xué)習(xí)推薦系統(tǒng)模型與集中式推薦模型的差距也是當(dāng)前研究的重要方向之一.

通過(guò)模型的中間參數(shù)執(zhí)行服務(wù)端與客戶端之間的協(xié)同優(yōu)化,可以在保護(hù)數(shù)據(jù)隱私的前提下實(shí)現(xiàn)模型的分布式訓(xùn)練.然而模型的中間參數(shù)數(shù)據(jù)中往往包含大量的敏感信息,比如目標(biāo)用戶對(duì)于特定物品的評(píng)分信息以及用戶所產(chǎn)生的歷史點(diǎn)擊物品集合等信息,因此通常的做法是在上述待上傳的信息中添加虛擬的點(diǎn)擊物品集合以及與其對(duì)應(yīng)的評(píng)分記錄來(lái)進(jìn)行擾動(dòng),以此實(shí)現(xiàn)服務(wù)端不能輕易識(shí)別出具體的用戶以及物品等信息的功能,進(jìn)而達(dá)到避免敏感信息泄露的目的.然而向原始數(shù)據(jù)中添加虛擬行為記錄數(shù)據(jù)的做法不可避免的在模型訓(xùn)練過(guò)程中添加了噪聲信息,最終導(dǎo)致推薦算法預(yù)測(cè)性能的下降.

基于上述挑戰(zhàn),Liang 等[115]提出基于顯式評(píng)分?jǐn)?shù)據(jù)去噪機(jī)制的無(wú)損聯(lián)邦推薦算法(Lossless federated recommendation with explicit feedback,Fed-Rec++),算法框架如圖7 所示.為了消除添加隨機(jī)采樣的物品以及評(píng)分所引入的梯度噪聲,該算法提出通過(guò)分配一些具有去噪功能的客戶端來(lái)實(shí)現(xiàn)無(wú)損的模型優(yōu)化.具體地,服務(wù)端首先聚合來(lái)自正常用戶u對(duì)物品i的梯度信息,然后計(jì)算物品i的梯度信息聚合形式為:

圖7 FedRec++算法示意圖Fig.7 The diagram of FedRec++model

式中,U表示正常用戶集合,而則表示去噪用戶集合.由于 ΔQi中包含虛擬生成的物品信息,因此服務(wù)端不能輕易識(shí)別出用戶真正產(chǎn)生過(guò)交互的物品集合以此達(dá)到隱私保護(hù)目的.為了提高模型訓(xùn)練的精度,該算法提出利用去噪客戶端來(lái)消除上述梯度噪聲信息,即按照式(8)服務(wù)端收到來(lái)自去噪客戶端的梯度信息后作為最終的梯度信息:

傳統(tǒng)推薦模型預(yù)測(cè)性能之所以能夠表現(xiàn)優(yōu)異的原因主要得益于在訓(xùn)練過(guò)程中正樣本與負(fù)樣本的密切配合.其中,正樣本負(fù)責(zé)將訓(xùn)練樣本對(duì)(如用戶、物品)在嵌入空間中拉攏的盡可能的近,而負(fù)樣本則負(fù)責(zé)將不相關(guān)的訓(xùn)練樣本對(duì)的嵌入距離分離的盡可能的遠(yuǎn).通常負(fù)樣本存在的意義在于防止嵌入空間的模式崩塌,即如果訓(xùn)練過(guò)程中只有正樣本存在會(huì)讓所有樣本學(xué)習(xí)到的表示趨于近似,因此不再能夠提供有區(qū)分性的特征.往往推薦系統(tǒng)場(chǎng)景中只包含用戶的正反饋信息,因此通常的做法是在訓(xùn)練過(guò)程中人為的采樣負(fù)樣本來(lái)進(jìn)行模型的正常訓(xùn)練.

在傳統(tǒng)的集中式模型訓(xùn)練過(guò)程中可以從整體訓(xùn)練數(shù)據(jù)分布中抽取可靠的負(fù)樣本數(shù)據(jù).然而,在聯(lián)邦學(xué)習(xí)設(shè)置的環(huán)境下由于用戶個(gè)人行為數(shù)據(jù)是由客戶端根據(jù)其所處環(huán)境進(jìn)行本地生成的.這就意味著在每臺(tái)客戶端上可能不存在所需的負(fù)樣本信息.即使負(fù)樣本確實(shí)存在,但也相對(duì)較少且相對(duì)相似.通過(guò)實(shí)驗(yàn)觀察可以看出,當(dāng)在聯(lián)邦學(xué)習(xí)場(chǎng)景下,簡(jiǎn)單地應(yīng)用這些負(fù)樣本,會(huì)導(dǎo)致模型預(yù)測(cè)性能的顯著下降.針對(duì)上述問(wèn)題,Ning 等[116]在聯(lián)邦學(xué)習(xí)框架下分析了這種現(xiàn)象并認(rèn)為性能下降的主要原因是由非獨(dú)立同分布數(shù)據(jù)下的負(fù)樣本采樣不精準(zhǔn)而導(dǎo)致的,并不是傳統(tǒng)聯(lián)邦學(xué)習(xí)設(shè)置中的客戶端漂移問(wèn)題.另外,作者提出了一種批次不敏感的損失函數(shù)(Batch-insensitive loss,BI)來(lái)緩解數(shù)據(jù)異質(zhì)場(chǎng)景下的負(fù)樣本偏差問(wèn)題,具體損失函數(shù)如下:

式中,X和Y表示具有N個(gè)數(shù)據(jù)量的不同樣本批次.上述公式直觀地意味著,不管單個(gè)樣本是如何進(jìn)行批處理的,其在并行的不同批次數(shù)據(jù)上應(yīng)用損失函數(shù)都會(huì)產(chǎn)生相同的平均損失和梯度更新.當(dāng)把該特性應(yīng)用到聯(lián)邦學(xué)習(xí)框架下時(shí)可以看到,不管數(shù)據(jù)在客戶端之間被怎樣分割,當(dāng)客戶端執(zhí)行本地訓(xùn)練的一個(gè)迭代時(shí),批次不敏感的損失函數(shù)會(huì)在訓(xùn)練結(jié)束后產(chǎn)生相同的最終服務(wù)端更新結(jié)果.通過(guò)在聯(lián)邦學(xué)習(xí)推薦系統(tǒng)的框架下引入批次不敏感損失函數(shù),可以很好地解決數(shù)據(jù)異質(zhì)場(chǎng)景下負(fù)樣本生成不準(zhǔn)確的問(wèn)題,最終實(shí)現(xiàn)推薦性能的顯著提升.

為更加精準(zhǔn)地建模用戶的行為偏好,另一種行之有效的方案是利用來(lái)自其他領(lǐng)域的知識(shí)來(lái)輔助本領(lǐng)域的推薦任務(wù),該類問(wèn)題也稱之為跨域推薦.然而在跨域推薦的場(chǎng)景中需要對(duì)源域?qū)W到的知識(shí)直接遷移到目標(biāo)領(lǐng)域,這就給用戶帶來(lái)了隱私安全方面的擔(dān)憂.因此,如何在跨域推薦場(chǎng)景下實(shí)現(xiàn)性能提升同時(shí)保護(hù)個(gè)人數(shù)據(jù)的隱私問(wèn)題是目前具有挑戰(zhàn)的研究方向.目前主流的跨域推薦方法是通過(guò)在云上的方式在不同域之間進(jìn)行原始數(shù)據(jù)的信息共享以此來(lái)獲取其他領(lǐng)域的知識(shí),然而上述方法存在隱私泄露的風(fēng)險(xiǎn).針對(duì)上述問(wèn)題,Liu 等[31]設(shè)計(jì)了一種協(xié)同遷移的個(gè)性化聯(lián)邦推薦算法(Federated collaborative transfer for recommendation,FedCT).該方法證明了可以通過(guò)在智能終端等邊緣設(shè)備上進(jìn)行高效的間接信息共享來(lái)克服這些問(wèn)題,并將跨域推薦問(wèn)題形式化為帶有多個(gè)領(lǐng)域服務(wù)端的分布式計(jì)算環(huán)境,更直觀理解見圖8.具體地,該算法在每個(gè)用戶的個(gè)人空間上學(xué)習(xí)和維護(hù)去中心化的用戶編碼,并基于變分推理框架進(jìn)行優(yōu)化,其目標(biāo)是最大化用戶編碼和來(lái)自所有交互過(guò)的特定領(lǐng)域內(nèi)用戶信息之間的互信息.通過(guò)實(shí)驗(yàn)分析,所提出的方案在保護(hù)數(shù)據(jù)隱私的前提下實(shí)現(xiàn)了性能提升并且提供了一種不依賴于具體領(lǐng)域數(shù)量的高效推理機(jī)制.

圖8 FedCT 算法示意圖Fig.8 The diagram of FedCT model

經(jīng)典的跨域推薦問(wèn)題主要涉及兩個(gè)領(lǐng)域之間的信息共享,后續(xù)為了進(jìn)一步提升目標(biāo)領(lǐng)域的推薦性能,Flanagan 等[117]沿著添加輔助信息的研究思路提出了聯(lián)邦多視角矩陣分解算法來(lái)安全的融合多數(shù)據(jù)源的評(píng)分信息,該算法通過(guò)在矩陣分解框架的基礎(chǔ)上引入多視角學(xué)習(xí)以及聯(lián)邦學(xué)習(xí),使得多種信息源的原始數(shù)據(jù)不需要上傳到中心服務(wù)端而是通過(guò)利用參數(shù)共享的方式來(lái)獲得額外的知識(shí),該算法在冷啟動(dòng)聯(lián)邦推薦場(chǎng)景下也有顯著的性能提升.

綜上,通過(guò)在聯(lián)邦學(xué)習(xí)框架下引入合理的去噪機(jī)制、融合高效的表示學(xué)習(xí)等技術(shù)以及解決由數(shù)據(jù)異質(zhì)性導(dǎo)致的負(fù)樣本生成不準(zhǔn)確等問(wèn)題可以實(shí)現(xiàn)推薦模型顯著的性能提升.因此,在未來(lái)的研究中可以考慮融入對(duì)比學(xué)習(xí)以及遷移學(xué)習(xí)等知識(shí)來(lái)提高聯(lián)邦推薦模型的泛化能力.

2.7 基于隱私增強(qiáng)的聯(lián)邦推薦算法

由于聯(lián)邦學(xué)習(xí)框架可以保留用戶的個(gè)人行為數(shù)據(jù)在本地而通過(guò)模型中間參數(shù)進(jìn)行協(xié)同優(yōu)化,因此通過(guò)將集中式訓(xùn)練的推薦模型遷移到聯(lián)邦學(xué)習(xí)的框架上可以從根源上保護(hù)用戶行為信息的隱私問(wèn)題.然而,最新的研究文獻(xiàn)表明傳輸模型的梯度信息仍然可能遭受逆向攻擊進(jìn)而泄露用戶隱私以及模型的結(jié)構(gòu)信息[131].不同于傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù),由于在推薦系統(tǒng)場(chǎng)景中存在大量的用戶個(gè)人敏感行為信息以及受保護(hù)的用戶屬性信息,因此在聯(lián)邦學(xué)習(xí)框架基礎(chǔ)上增強(qiáng)隱私保護(hù)能力是當(dāng)前推薦系統(tǒng)領(lǐng)域研究的重要課題.

與常規(guī)聯(lián)邦學(xué)習(xí)模型增強(qiáng)隱私保護(hù)能力的研究路線類似,實(shí)現(xiàn)隱私增強(qiáng)的聯(lián)邦推薦算法的主要途徑是在基礎(chǔ)框架下引入數(shù)據(jù)擾動(dòng)以及密碼學(xué)等技術(shù),以保證數(shù)據(jù)安全運(yùn)行的同時(shí)實(shí)現(xiàn)精準(zhǔn)推薦的目標(biāo).針對(duì)顯式評(píng)分?jǐn)?shù)據(jù)在參數(shù)優(yōu)化過(guò)程中容易被服務(wù)端識(shí)別進(jìn)而造成用戶信息泄露的問(wèn)題,Lin 等[26]提出基于數(shù)據(jù)擾動(dòng)的隱私保護(hù)聯(lián)邦推薦算法FedRec,該方法提出了兩種簡(jiǎn)單且有效的數(shù)據(jù)擾動(dòng)機(jī)制,即用戶平均方法和混合填充方法,來(lái)生成偽交互物品集合以及對(duì)應(yīng)的評(píng)分集合,通過(guò)在參數(shù)更新過(guò)程中上傳用戶真實(shí)的交互集合Iu以及偽交互集合以此提高梯度信息在傳輸過(guò)程中的隱私保護(hù)能力.

另外,為防止基于隱式反饋數(shù)據(jù)的聯(lián)邦推薦系統(tǒng)隱私泄露問(wèn)題,Minto 等[119]提出利用差分隱私機(jī)制等數(shù)據(jù)擾動(dòng)技術(shù)來(lái)保護(hù)用戶數(shù)據(jù)安全性的算法(Local differential privacy based federated recommendation,LDP-FedRec),算法整體框架見如圖9.具體地,保存在客戶端的模型包含該用戶u的隱特征向量pu以及與用戶無(wú)關(guān)的全部物品的隱特征矩陣Q.對(duì)于用戶向量的更新由于不需要上傳到服務(wù)器而得到很好的保護(hù).對(duì)于客戶端得到的物品更新梯度矩陣 ΔQ通過(guò)利用本地差分隱私(Local differential privacy,LDP)機(jī)制以及代理網(wǎng)絡(luò)來(lái)得到不包含用戶元數(shù)據(jù)的具有隱私保護(hù)功能的物品更新梯度矩陣,隨后再進(jìn)行平均聚合.通過(guò)利用匿名化以及擾動(dòng)機(jī)制可以實(shí)現(xiàn)不被服務(wù)端輕易識(shí)別進(jìn)而保護(hù)用戶隱私的目標(biāo).

圖9 LDP-FedRec 算法示意圖Fig.9 The diagram of LDP-FedRec model

為保護(hù)梯度信息在傳輸過(guò)程中不泄露用戶原始數(shù)據(jù)的問(wèn)題,除了利用差分隱私等擾動(dòng)機(jī)制來(lái)保護(hù)參數(shù)外,利用密碼學(xué)等技術(shù)可以實(shí)現(xiàn)嚴(yán)格的數(shù)據(jù)隱私保護(hù)能力.文獻(xiàn)[120]證明了利用中間梯度信息可以反推出用戶的原始評(píng)分記錄,并提出一種利用同態(tài)加密技術(shù)來(lái)保護(hù)梯度信息不被泄露的方法.具體地,首先生成公開秘鑰與私有秘鑰.公開密鑰可以被任何參與者共享,而私有秘鑰只在用戶間進(jìn)行識(shí)別;然后進(jìn)行模型參數(shù)的初始化工作,即在服務(wù)端初始化物品矩陣以及在每個(gè)用戶端進(jìn)行用戶特征向量的初始化工作;最后執(zhí)行在同態(tài)加密環(huán)境下的矩陣分解操作,以此實(shí)現(xiàn)保護(hù)模型的中間參數(shù)不被惡意第三方攻擊的目標(biāo).

為增強(qiáng)聯(lián)邦學(xué)習(xí)推薦系統(tǒng)的隱私保護(hù)能力,當(dāng)前的方法主要采用同態(tài)加密以及差分隱私機(jī)制對(duì)中間的計(jì)算結(jié)果進(jìn)行保護(hù).然而,前者帶來(lái)了額外的通信和計(jì)算成本,后者由于嚴(yán)格的數(shù)學(xué)假設(shè)不可避免的對(duì)模型的準(zhǔn)確性有所影響.因此以上方法不能同時(shí)滿足推薦系統(tǒng)的實(shí)時(shí)反饋和準(zhǔn)確的個(gè)性化需求.為此Yang 等[121]提出了一種新穎的聯(lián)邦推薦框架.該方法可以在不犧牲效率和有效性的前提下保護(hù)聯(lián)邦推薦系統(tǒng)中的數(shù)據(jù)隱私問(wèn)題.具體地,該算法利用秘密共享技術(shù)來(lái)結(jié)合聯(lián)邦矩陣分解的安全聚合過(guò)程.此外,該算法還引入了個(gè)性化掩碼的新思想,并將其應(yīng)用于所提出的聯(lián)邦掩碼矩陣分解框架中.個(gè)性化掩碼機(jī)制可以進(jìn)一步提高模型的訓(xùn)練效率以及模型的預(yù)測(cè)精度.通過(guò)實(shí)驗(yàn)結(jié)果展示了所設(shè)計(jì)的模型在不同的真實(shí)數(shù)據(jù)集上的優(yōu)越性.此外,Lin 等[122]利用虛假標(biāo)記以及秘密共享技術(shù)來(lái)修改客戶端上傳到服務(wù)器的參數(shù)數(shù)據(jù),通過(guò)該機(jī)制實(shí)現(xiàn)了在不損失模型準(zhǔn)確性的前提下保護(hù)用戶隱私的目標(biāo).該算法是一種通用的跨客戶端設(shè)備的聯(lián)邦學(xué)習(xí)框架,可以方便地遷移到評(píng)分預(yù)測(cè)、物品排序以及序列化推薦場(chǎng)景.

綜上所述,為增強(qiáng)聯(lián)邦學(xué)習(xí)框架下推薦算法模型的隱私保護(hù)能力,主要通過(guò)利用差分隱私等擾動(dòng)機(jī)制以及同態(tài)加密等密碼學(xué)技術(shù)來(lái)保護(hù)分布式優(yōu)化過(guò)程中的梯度信息.然而,權(quán)衡推薦算法的模型精度與隱私保護(hù)的效用程度是隱私增強(qiáng)的聯(lián)邦學(xué)習(xí)推薦算法需要重點(diǎn)考慮的問(wèn)題.

2.8 防御攻擊的魯棒聯(lián)邦推薦算法

基于聯(lián)邦學(xué)習(xí)框架的推薦算法由于可以保留用戶的敏感交互記錄在本地,因此可以從根源上保護(hù)用戶的個(gè)人隱私信息.然而,正是由于其分布式存儲(chǔ)數(shù)據(jù)的特性以及推薦場(chǎng)景對(duì)于用戶個(gè)性化指標(biāo)的追求,使得基于聯(lián)邦學(xué)習(xí)框架的推薦算法較之于常規(guī)聯(lián)邦學(xué)習(xí)模型更容易受到低成本的攻擊方法的破壞,比如中毒攻擊(托攻擊)以及拜占庭攻擊等.因此,研究對(duì)于聯(lián)邦推薦系統(tǒng)攻擊的可行性及其防御機(jī)制能夠?yàn)轸敯袈?lián)邦推薦算法的安全穩(wěn)定運(yùn)行提供重要依據(jù)與理論支撐.

聯(lián)邦學(xué)習(xí)推薦場(chǎng)景下中毒攻擊的目標(biāo)是通過(guò)干擾訓(xùn)練數(shù)據(jù)集及其訓(xùn)練過(guò)程來(lái)提升敵手對(duì)于目標(biāo)物品的曝光頻率以此達(dá)到促銷某物品的不正當(dāng)目的.文獻(xiàn)[125]提出了一種系統(tǒng)性的攻擊方法來(lái)對(duì)聯(lián)邦推薦系統(tǒng)進(jìn)行后門攻擊進(jìn)而推廣某種目標(biāo)物品.該算法的核心策略是利用基于數(shù)據(jù)驅(qū)動(dòng)的推薦系統(tǒng)中普遍存在的流行度偏差的固有屬性.由于熱門商品更容易出現(xiàn)在推薦列表中,因此通過(guò)精心設(shè)計(jì)的攻擊模型使目標(biāo)商品在嵌入空間中具有熱門商品的普遍特征.然后通過(guò)在模型更新期間通過(guò)少數(shù)惡意用戶上傳精心制作的梯度,最終可以有效地增加聯(lián)邦推薦系統(tǒng)中不受歡迎的目標(biāo)物品的曝光率.該算法通過(guò)在真實(shí)的數(shù)據(jù)集上評(píng)估表明,所提出的攻擊模型可以顯著提高目標(biāo)物品的曝光率,并且不會(huì)損害當(dāng)前推薦算法的準(zhǔn)確性.另外通過(guò)實(shí)驗(yàn)指出現(xiàn)有的防御措施不夠有效,并突出強(qiáng)調(diào)了針對(duì)聯(lián)邦推薦系統(tǒng)的本地模型設(shè)計(jì)中毒攻擊新防御措施的必要性.

針對(duì)上述提及的當(dāng)前防御措施不能有效應(yīng)用于聯(lián)邦學(xué)習(xí)推薦系統(tǒng)場(chǎng)景下的問(wèn)題,Jiang 等[126]首次系統(tǒng)性地研究了聯(lián)邦學(xué)習(xí)背景下的托攻擊問(wèn)題,并提出了一種有效的檢測(cè)方法,聯(lián)邦托攻擊檢測(cè)器來(lái)有效檢測(cè)聯(lián)邦學(xué)習(xí)推薦系統(tǒng)場(chǎng)景下針對(duì)協(xié)同過(guò)濾算法的托攻擊.該文獻(xiàn)首先展示了在聯(lián)邦學(xué)習(xí)推薦系統(tǒng)中實(shí)施托攻擊的可行性.其次,該算法專門設(shè)計(jì)了四個(gè)基于客戶端間交換梯度的新特征.通過(guò)結(jié)合這些基于梯度的特征,可以訓(xùn)練一個(gè)半監(jiān)督貝葉斯分類器來(lái)有效地識(shí)別托攻擊.最后,通過(guò)在真實(shí)數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn)證明了所提出方法的有效性.

聯(lián)邦推薦系統(tǒng)可以在不收集用戶隱私數(shù)據(jù)的情況下提供良好的模型預(yù)測(cè)性能.然而,由于聯(lián)邦學(xué)習(xí)分布式存儲(chǔ)的特性以及客戶端高控制權(quán)的特點(diǎn),使得模型容易受到來(lái)自客戶端的拜占庭攻擊,即客戶端向服務(wù)器發(fā)送任意值的拜占庭梯度,而不是計(jì)算得到的真實(shí)梯度從而導(dǎo)致整個(gè)聯(lián)邦學(xué)習(xí)系統(tǒng)的模型預(yù)測(cè)性能惡化的現(xiàn)象.針對(duì)上述攻擊,Chen 等[127]開發(fā)了一種新穎的聯(lián)邦推薦技術(shù),其能夠?qū)Π菡纪タ蛻舳水a(chǎn)生的惡意梯度攻擊具有健壯性.該文獻(xiàn)認(rèn)為檢測(cè)拜占庭攻擊的關(guān)鍵因素在于監(jiān)測(cè)來(lái)自客戶端模型參數(shù)的梯度信息.隨后其提出一種魯棒學(xué)習(xí)策略,即在服務(wù)端計(jì)算并利用梯度數(shù)據(jù)(而不是使用模型參數(shù))來(lái)過(guò)濾惡意的拜占庭客戶端.最后,通過(guò)所提出的拜占庭彈性定義從理論角度與實(shí)驗(yàn)層面證明了其魯棒學(xué)習(xí)策略的有效性.

綜上,基于聯(lián)邦學(xué)習(xí)范式的推薦模型由于存在天然的分布式數(shù)據(jù)存儲(chǔ)特性、客戶端高自主權(quán)與控制權(quán)的特點(diǎn)以及服務(wù)端難以識(shí)別有效梯度等挑戰(zhàn),使得模型更容易受到來(lái)自客戶端以及傳輸過(guò)程中的惡意攻擊行為,比如中毒攻擊(托攻擊)、拜占庭攻擊等.為有效應(yīng)對(duì)上述攻擊,可以從客戶端的梯度信息入手,設(shè)計(jì)高效的惡意梯度檢測(cè)方法以及提取有效反映梯度信息的特征等是目前行之有效的解決方案.

3 聯(lián)邦推薦系統(tǒng)學(xué)術(shù)資源總結(jié)

本節(jié)將對(duì)上述基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)所涉及的學(xué)術(shù)資源進(jìn)行全面總結(jié),具體包括在算法實(shí)現(xiàn)過(guò)程中所用到的開源工具庫(kù)以及用于實(shí)驗(yàn)評(píng)估的數(shù)據(jù)集.期望通過(guò)對(duì)上述學(xué)術(shù)資源的分類介紹,能夠?yàn)榛诼?lián)邦學(xué)習(xí)的推薦系統(tǒng)這一新興領(lǐng)域提供全面的研究基礎(chǔ).

3.1 開源工具庫(kù)

本節(jié)對(duì)基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)方向相關(guān)的開源工具庫(kù)進(jìn)行調(diào)研與總結(jié),其主要是對(duì)原有聯(lián)邦學(xué)習(xí)框架的改進(jìn)與二次開發(fā),其中包括微眾銀行開發(fā)的面向工業(yè)界與學(xué)術(shù)界的聯(lián)邦學(xué)習(xí)框架(Federated artificial intelligent technology enabler,FATE)以及僅面向?qū)W術(shù)研究的谷歌開發(fā)的聯(lián)邦學(xué)習(xí)框架(Tensorflow federated,TFF)、百度公司開發(fā)的基于飛漿框架的聯(lián)邦學(xué)習(xí)庫(kù)(Paddle federated learning,PaddleFL)以及南加州大學(xué)開發(fā)的聯(lián)邦學(xué)習(xí)庫(kù)(Federated machine learning,FedML) 等通用性聯(lián)邦學(xué)習(xí)框架.其中,FATE 框架由于廣泛的適用場(chǎng)景與眾多的隱私保護(hù)機(jī)制受到了學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注,包括設(shè)計(jì)了橫向、縱向以及聯(lián)邦遷移學(xué)習(xí)場(chǎng)景以及實(shí)現(xiàn)了多方安全計(jì)算、同態(tài)加密與差分隱私等眾多隱私保護(hù)算法.另外,通過(guò)對(duì)聯(lián)邦推薦系統(tǒng)領(lǐng)域的調(diào)研,總結(jié)歸納了一些直接對(duì)聯(lián)邦推薦系統(tǒng)框架進(jìn)行設(shè)計(jì)的優(yōu)秀開源工具庫(kù),比如微眾銀行開發(fā)的聯(lián)邦推薦算法庫(kù)(Federated recommendation systems,FederatedRec)、阿里開發(fā)的彈性聯(lián)邦學(xué)習(xí)庫(kù)(Elastic federated learning solution,EFLS)、聯(lián)邦貝葉斯個(gè)性化排序算法(Federated bayesian personalized ranking,FedBPR)、聯(lián)邦圖神經(jīng)網(wǎng)絡(luò)庫(kù)(Federated graph neural network,FedGNN)以及針對(duì)于聯(lián)邦推薦算法的中毒攻擊算法(Model poisoning attack to federated recommendation,FedAttack).其中,FederatedRec 框架包含了6 種推薦系統(tǒng)場(chǎng)景常用的算法,具體包括5種縱向聯(lián)邦推薦算法和1 種橫向聯(lián)邦算法,其可用于解決聯(lián)邦學(xué)習(xí)場(chǎng)景下的評(píng)分預(yù)測(cè)與物品排序等任務(wù),其通過(guò)同態(tài)加密與差分隱私機(jī)制實(shí)現(xiàn)隱私增強(qiáng)的作用;EFLS 框架則是一個(gè)跨企業(yè)跨部門合作的聯(lián)邦推薦框架,其已在大規(guī)模工業(yè)場(chǎng)景中進(jìn)行驗(yàn)證,該框架具有大規(guī)模以及高可用的云原生架構(gòu),其集成了多種隱私保護(hù)算法(比如隱私集合求交算法、前向加密算法和差分隱私算法等).另外3 種開源工作則分別實(shí)現(xiàn)了對(duì)成對(duì)貝葉斯個(gè)性化推薦算法、圖神經(jīng)網(wǎng)絡(luò)推薦算法以及對(duì)聯(lián)邦推薦場(chǎng)景的攻擊算法的工作.通過(guò)分析可以發(fā)現(xiàn),以上三種框架除了經(jīng)典的差分隱私機(jī)制外,另外專門設(shè)計(jì)了適用于各自數(shù)據(jù)的隱私保護(hù)機(jī)制,比如FedBPR 算法通過(guò)上傳單一樣本的梯度進(jìn)而使得服務(wù)端無(wú)法識(shí)別出是來(lái)自正樣本的梯度還是來(lái)自負(fù)樣本的梯度進(jìn)而達(dá)到隱私保護(hù)的目的;FedGNN 框架則是通過(guò)擴(kuò)充原有交互樣本集合以及隨機(jī)生成偽交互標(biāo)簽的方式達(dá)到隱私保護(hù)的目的;FedAttack 算法通過(guò)利用翻轉(zhuǎn)正負(fù)樣本的機(jī)制達(dá)到難以攻擊的目的進(jìn)而達(dá)到隱私保護(hù)的目的.期望通過(guò)總結(jié)上述開源工作可以促進(jìn)該領(lǐng)域更多優(yōu)秀開源工作的誕生.上述所提及框架的詳細(xì)總結(jié)見表3.表3 整理了所有框架在受眾定位、適用場(chǎng)景、隱私保護(hù)機(jī)制以及代碼庫(kù)鏈接等方面的內(nèi)容.聯(lián)邦推薦系統(tǒng)的實(shí)驗(yàn)?zāi)M需要處理與傳統(tǒng)機(jī)器學(xué)習(xí)模型不同的挑戰(zhàn),比如如何高效的劃分中心式的數(shù)據(jù)集、在不同的模擬終端設(shè)備上高效運(yùn)行計(jì)算以及如何合理地執(zhí)行協(xié)同優(yōu)化等.

表3 聯(lián)邦推薦算法常用工具庫(kù)總結(jié)Table 3 Summary of commonly used repositories in federated recommender systems

通過(guò)對(duì)基于聯(lián)邦學(xué)習(xí)的推薦算法所使用的工具庫(kù)總結(jié)發(fā)現(xiàn),仍然可以根據(jù)原始聯(lián)邦學(xué)習(xí)的適用場(chǎng)景進(jìn)行劃分,即橫向聯(lián)邦推薦系統(tǒng)、縱向聯(lián)邦推薦系統(tǒng)以及聯(lián)邦遷移推薦系統(tǒng).其中,橫向聯(lián)邦推薦系統(tǒng)從用戶(樣本)維度來(lái)劃分原始的數(shù)據(jù)集,將每個(gè)用戶的交互記錄看作單獨(dú)的客戶端用來(lái)與服務(wù)端進(jìn)行聯(lián)合訓(xùn)練;縱向聯(lián)邦推薦系統(tǒng)則從物品(特征)維度來(lái)對(duì)原始集中式數(shù)據(jù)集進(jìn)行劃分,將不同特征的用戶集合看作單獨(dú)的客戶端用于與中心服務(wù)端進(jìn)行協(xié)同訓(xùn)練;聯(lián)邦遷移推薦系統(tǒng)則是在用戶和物品維度都存在樣本不足的情況下,利用遷移學(xué)習(xí)技術(shù)來(lái)完成客戶端與服務(wù)端的聯(lián)合協(xié)同訓(xùn)練.通過(guò)對(duì)上述相關(guān)文章應(yīng)用場(chǎng)景的調(diào)研,橫向聯(lián)邦推薦系統(tǒng)在所介紹文獻(xiàn)中的應(yīng)用最廣,縱向聯(lián)邦以及聯(lián)邦遷移推薦系統(tǒng)的應(yīng)用較少.另外,通過(guò)對(duì)上述基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)的開源情況進(jìn)行規(guī)律總結(jié),發(fā)現(xiàn)絕大多數(shù)的文章沒(méi)有公布用于實(shí)驗(yàn)評(píng)估的源代碼,這就為該領(lǐng)域的持續(xù)健康發(fā)展帶來(lái)了阻力.其次,上述調(diào)研的相關(guān)文獻(xiàn)的實(shí)驗(yàn)設(shè)置存在不統(tǒng)一以及不公平對(duì)比的情況,這就為后續(xù)從事相關(guān)領(lǐng)域的學(xué)者帶來(lái)了實(shí)驗(yàn)復(fù)現(xiàn)方面的挑戰(zhàn).因此,設(shè)計(jì)與構(gòu)建用于統(tǒng)一評(píng)測(cè)的聯(lián)邦推薦系統(tǒng)基準(zhǔn)庫(kù)能夠?yàn)樵擃I(lǐng)域的穩(wěn)定持續(xù)發(fā)展奠定基礎(chǔ).

3.2 評(píng)估數(shù)據(jù)集

基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)所使用的數(shù)據(jù)集主要來(lái)自對(duì)原始集中式存儲(chǔ)數(shù)據(jù)的改進(jìn),其中包括MovieLens、Amazon、Last.FM、Yelp、Book-Crossings、MIND、Douban、Ciao、Epinions、Filmtrust等.需要說(shuō)明的是,為了適用于聯(lián)邦推薦系統(tǒng)的研究需要提前劃分好特定格式的數(shù)據(jù)集.具體地,針對(duì)于橫向聯(lián)邦推薦系統(tǒng),需要將每個(gè)用戶看作一個(gè)客戶端,因此需要按照用戶維度進(jìn)行劃分的方式來(lái)構(gòu)成用于聯(lián)邦學(xué)習(xí)研究的數(shù)據(jù)集;針對(duì)于縱向聯(lián)邦推薦系統(tǒng)則需要按照特征維度進(jìn)行劃分,即將不同域的數(shù)據(jù)看作不同的客戶端.典型的應(yīng)用場(chǎng)景是豆瓣平臺(tái),即同一個(gè)用戶既有電影相關(guān)的信息,又存在書籍相關(guān)的數(shù)據(jù).表4 將列舉出相關(guān)數(shù)據(jù)集的主要統(tǒng)計(jì)信息,其中,引用次數(shù)是指出現(xiàn)在本文綜述中的基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)文獻(xiàn)所應(yīng)用的數(shù)據(jù)集的引用次數(shù)總和.除了介紹所用數(shù)據(jù)集的基本描述信息,還總結(jié)歸納了每個(gè)數(shù)據(jù)集所存在的潛在隱私泄露風(fēng)險(xiǎn),比如Movielens數(shù)據(jù)集中存在用戶對(duì)電影的觀看記錄以及用戶自身存在的屬性信息(性別、年齡、地理位置等信息),因此觀看記錄會(huì)存在用戶行為模式的隱私泄露風(fēng)險(xiǎn)以及用戶的屬性信息會(huì)存在用戶屬性攻擊等潛在風(fēng)險(xiǎn)[131].而Filmtrust 數(shù)據(jù)集除了存在行為信息泄露風(fēng)險(xiǎn)外,還可能存在用戶社交鏈接的泄露可能[132].

表4 聯(lián)邦推薦算法常用數(shù)據(jù)集總結(jié)Table 4 Summary of commonly used datasets in federated recommender systems

通過(guò)對(duì)基于聯(lián)邦學(xué)習(xí)的推薦算法文獻(xiàn)所應(yīng)用的數(shù)據(jù)集的總結(jié)發(fā)現(xiàn),大部分的文獻(xiàn)選擇使用電影評(píng)分?jǐn)?shù)據(jù)集MovieLens 作為其評(píng)估的主要數(shù)據(jù)來(lái)源.另外,通過(guò)對(duì)上述文獻(xiàn)所應(yīng)用的數(shù)據(jù)集進(jìn)行規(guī)律總結(jié)可以看出,基于聯(lián)邦學(xué)習(xí)的推薦算法相比于其他推薦系統(tǒng)研究方向來(lái)看,其數(shù)據(jù)規(guī)模呈現(xiàn)出相對(duì)較小的特征,其主要原因是基于聯(lián)邦學(xué)習(xí)的實(shí)驗(yàn)設(shè)置需要對(duì)每個(gè)用戶進(jìn)行客戶端模擬,因此在模擬分布式訓(xùn)練框架的過(guò)程中容易造成計(jì)算資源過(guò)高的問(wèn)題.所以后續(xù)該研究方向的研究趨勢(shì)開始向基于大規(guī)模的終端設(shè)備的聯(lián)邦推薦算法演進(jìn).另外,目前主流的評(píng)估方式仍然是采用面向?qū)W術(shù)界相對(duì)靜態(tài)的數(shù)據(jù)集以及離線評(píng)估的實(shí)驗(yàn)設(shè)置,后續(xù)可以考慮在現(xiàn)實(shí)工業(yè)場(chǎng)景進(jìn)行實(shí)時(shí)的在線數(shù)據(jù)集評(píng)測(cè).其次,目前的數(shù)據(jù)集仍然是對(duì)傳統(tǒng)集中式數(shù)據(jù)集的改進(jìn),即通過(guò)人工提前設(shè)置的方式來(lái)模擬基于聯(lián)邦學(xué)習(xí)的實(shí)驗(yàn)環(huán)境,因此后續(xù)可以考慮構(gòu)建面向真實(shí)場(chǎng)景的基于聯(lián)邦學(xué)習(xí)推薦系統(tǒng)的數(shù)據(jù)集同樣是值得考慮的基礎(chǔ)工程.

4 總結(jié)與展望

本文首先對(duì)近年來(lái)推薦系統(tǒng)領(lǐng)域的研究進(jìn)展進(jìn)行了綜述,并按照傳統(tǒng)推薦算法、基于深度學(xué)習(xí)的推薦算法以及基于隱私保護(hù)的推薦算法進(jìn)行了詳細(xì)分類介紹.其中,基于隱私保護(hù)的推薦算法根據(jù)其所利用原理的不同分為了匿名化方法、數(shù)據(jù)擾動(dòng)方法、密碼學(xué)方法、對(duì)抗學(xué)習(xí)方法,并對(duì)其進(jìn)行詳細(xì)介紹.最后系統(tǒng)性的綜述了聯(lián)邦學(xué)習(xí)與推薦系統(tǒng)領(lǐng)域相結(jié)合的最新研究進(jìn)展,首先介紹了聯(lián)邦學(xué)習(xí)以及聯(lián)邦推薦系統(tǒng)的定義,隨后按照基礎(chǔ)聯(lián)邦學(xué)習(xí)推薦算法框架、基于效率增強(qiáng)的聯(lián)邦推薦算法、緩解異質(zhì)性的個(gè)性化聯(lián)邦推薦算法、基于性能增強(qiáng)的聯(lián)邦推薦算法、基于隱私增強(qiáng)的聯(lián)邦推薦算法以及防御攻擊的魯棒聯(lián)邦推薦算法6 個(gè)方面進(jìn)行詳細(xì)介紹.最后詳細(xì)介紹和總結(jié)了該方向常用的開源工具庫(kù)以及經(jīng)典數(shù)據(jù)集,以此便于對(duì)基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)領(lǐng)域進(jìn)行實(shí)驗(yàn)評(píng)估.

通過(guò)對(duì)基于隱私保護(hù)的聯(lián)邦推薦算法進(jìn)行全面的調(diào)研與綜述,發(fā)現(xiàn)當(dāng)前的研究成果已經(jīng)在一定程度上保護(hù)了用戶敏感數(shù)據(jù)的隱私安全同時(shí)保障了推薦模型的預(yù)測(cè)精度,但仍然存在如下的研究難點(diǎn)與熱點(diǎn).

1)聯(lián)邦推薦系統(tǒng)的激勵(lì)機(jī)制.激勵(lì)機(jī)制旨在建立一個(gè)公平高效的平衡機(jī)制使得各參與方能夠持續(xù)地參與到聯(lián)邦學(xué)習(xí)的全生命周期中,以此最大化集合體的全局效用且最小化各參與方的局部損失與訓(xùn)練成本.不同于其他聯(lián)邦學(xué)習(xí)應(yīng)用場(chǎng)景,聯(lián)邦推薦系統(tǒng)中的客戶端代表真實(shí)的用戶個(gè)體,因此如何評(píng)估每個(gè)用戶的模型訓(xùn)練貢獻(xiàn)以及如何設(shè)計(jì)高效的調(diào)度算法以此持續(xù)激勵(lì)用戶進(jìn)行數(shù)據(jù)共享和提供客戶端算力是目前具有潛力的研究方向.

2)聯(lián)邦推薦系統(tǒng)的冷啟動(dòng)挑戰(zhàn).冷啟動(dòng)問(wèn)題是指新用戶或者新物品在進(jìn)入既有系統(tǒng)時(shí)存在的交互數(shù)據(jù)稀缺的情況.集中式推薦模型的冷啟動(dòng)問(wèn)題已經(jīng)形成了較為全面的研究體系.然而,由于聯(lián)邦推薦系統(tǒng)場(chǎng)景下的冷啟動(dòng)問(wèn)題更具有挑戰(zhàn)性,比如如何在資源受限的聯(lián)邦設(shè)置下融合并建模更多有效的附加信息來(lái)緩解終端用戶的數(shù)據(jù)稀疏問(wèn)題,因此當(dāng)前的研究工作還處于初級(jí)階段.

3)聯(lián)邦推薦系統(tǒng)的異質(zhì)性挑戰(zhàn).異質(zhì)性在傳統(tǒng)聯(lián)邦學(xué)習(xí)設(shè)置中已經(jīng)進(jìn)行了廣泛的研究,主要體現(xiàn)在數(shù)據(jù)異質(zhì)性與模型異質(zhì)性方面.在推薦系統(tǒng)場(chǎng)景中由于參與方為真實(shí)的用戶個(gè)體使得異質(zhì)性更加具有挑戰(zhàn)性,比如個(gè)人行為數(shù)據(jù)存在嚴(yán)重的特征偏斜情況以及所參與的用戶設(shè)備數(shù)量眾多且設(shè)備各異等問(wèn)題,因此如何在聯(lián)邦學(xué)習(xí)框架下細(xì)粒度的建模數(shù)據(jù)異質(zhì)性以及模型異質(zhì)性是目前推薦系統(tǒng)領(lǐng)域的主要挑戰(zhàn).

4)聯(lián)邦推薦系統(tǒng)的實(shí)時(shí)性挑戰(zhàn).實(shí)時(shí)性是保障機(jī)器學(xué)習(xí)系統(tǒng)能夠穩(wěn)定部署在真實(shí)場(chǎng)景中的重要指標(biāo),其主要體現(xiàn)在模型的更新周期以及部署效率上.集中式推薦模型由于可以在計(jì)算能力以及存儲(chǔ)能力更強(qiáng)的服務(wù)器端完成實(shí)時(shí)的模型訓(xùn)練以及線上更新,使得用戶興趣能夠及時(shí)被推薦模型捕捉.然而聯(lián)邦推薦系統(tǒng)在集中式推薦模型挑戰(zhàn)的基礎(chǔ)上還要重點(diǎn)關(guān)注模型參數(shù)在服務(wù)端與用戶終端間的上傳與下載的傳輸時(shí)延等復(fù)雜情況,因此如何提高模型參數(shù)的傳輸效率以及優(yōu)化本地模型的更新機(jī)制以此來(lái)提高聯(lián)邦推薦模型的實(shí)時(shí)性有利于進(jìn)一步改善聯(lián)邦推薦場(chǎng)景的用戶體驗(yàn).