聯(lián)邦推薦系統(tǒng)綜述

朱智韜，司世景，王健宗，肖京

1. 平安科技（深圳）有限公司，廣東 深圳 518063；

2. 中國科學(xué)技術(shù)大學(xué)，安徽 合肥 230026

0 引言

伴隨著互聯(lián)網(wǎng)的快速發(fā)展，信息過載問題成為每個人的生活中一個愈發(fā)嚴(yán)重的阻礙。作為解決信息過載問題的有效解決方案，推薦系統(tǒng)（recommendation system，RS）在商業(yè)網(wǎng)站和信息分發(fā)應(yīng)用中普遍存在。它們利用用戶的各種知識和數(shù)據(jù)生成個性化推薦結(jié)果，是抵御客戶無意義瀏覽和商家無用數(shù)據(jù)推送的利器。一般來說，推薦列表立足于格式化存儲的三方面信息：用戶喜好、項目屬性、用戶與項目的交互記錄。此外，還可能使用其他附加信息，如時間和空間數(shù)[1]。推薦系統(tǒng)服務(wù)的最終目標(biāo)是提高營業(yè)額[2]，根據(jù)不同的應(yīng)用場景，服務(wù)提供者可能會采取不同的路徑來實現(xiàn)這一目標(biāo)，包括向目標(biāo)用戶推薦合適商品以直接增加銷售量，以及推送匹配用戶興趣的娛樂內(nèi)容以提高用戶黏度，從而使廣告獲得更多的曝光率等。但毫無疑問，各種隱私保護法規(guī)的頒布對跟蹤用戶足跡的程序的要求將變得越來越嚴(yán)格[3]。越來越多的大企業(yè)開始意識到隱私保護和數(shù)據(jù)安全合規(guī)的必要性，并出現(xiàn)了基于聯(lián)邦學(xué)習(xí)（federated learning，F(xiàn)L）等機制的隱私保護措施。

本文對推薦系統(tǒng)、聯(lián)邦學(xué)習(xí)以及兩者的結(jié)合進行了概述。首先闡述推薦系統(tǒng)的作用機制，然后介紹聯(lián)邦學(xué)習(xí)的發(fā)展源流，最終的目標(biāo)是在不破壞數(shù)據(jù)隱私和遵守安全原則的前提下，探索最大限度地利用數(shù)據(jù)的聯(lián)邦推薦方法。

1 推薦系統(tǒng)

在實踐中，推薦系統(tǒng)已經(jīng)被廣泛應(yīng)用于書籍和CD[4]、音樂[5]、電影[6]、新聞[7]、笑話[8]和網(wǎng)頁[9]等推薦中。根據(jù)推薦機制的不同，傳統(tǒng)推薦模型主要分為協(xié)同過濾式推薦系統(tǒng)、基于內(nèi)容的推薦系統(tǒng)和混合推薦系統(tǒng)[10]。而后深度學(xué)習(xí)方法的興起為推薦系統(tǒng)的研究帶來了新的機遇，本文也將舉例說明其結(jié)合思想。

1.1 協(xié)同過濾推薦系統(tǒng)

協(xié)同過濾算法的核心思想是根據(jù)相似用戶或相似物品來提供商品推薦或預(yù)測，其包括兩個維度：基于鄰域和基于模型。最初的鄰域算法集中在用戶之間的相似性上，被稱為基于用戶的協(xié)同過濾（user-based collaborative filtering，UCF）；基于項目的協(xié)同過濾（item-based collaborative filtering，ICF）方法[11]則關(guān)注類似項目的評分?；卩徲虻膮f(xié)同過濾推薦的關(guān)鍵是計算不同用戶、不同項目之間的相似度。表1給出了比較常用的相似度度量方法。

表1 相似度度量方法

基于鄰域的協(xié)同過濾系統(tǒng)過去非常成功，得到了廣泛使用，但受到可擴展性不足（最近鄰算法需要的計算量隨著用戶數(shù)和項目數(shù)的增長而快速增長，不適合應(yīng)用于數(shù)據(jù)量較大的場景）的限制。因此，有學(xué)者提出了一種基于模型的協(xié)同過濾（modelbased collaborative filtering，MCF）算法，利用機器學(xué)習(xí)或數(shù)據(jù)挖掘等算法，通過訓(xùn)練數(shù)據(jù)對復(fù)雜模式進行學(xué)習(xí)和識別，得到學(xué)習(xí)模型，然后根據(jù)學(xué)習(xí)模型對數(shù)據(jù)集進行智能預(yù)測[12-13]。常用的模型協(xié)同過濾算法有隱語義協(xié)同過濾模型[11]、隱因子模型等。

此外，還有其他路徑的協(xié)同過濾推薦算法，如將推薦問題轉(zhuǎn)化為節(jié)點選擇問題的圖模型推薦算法[14]、模擬人類推理因果關(guān)系的不定性的貝葉斯網(wǎng)絡(luò)協(xié)同過濾模型[15]、聚焦用戶屬性特征的聚類協(xié)同過濾模型[16]等。

作為目前使用非常廣泛的推薦算法，協(xié)同過濾推薦系統(tǒng)工程實現(xiàn)簡單，模型通用性強，效果顯著，但始終面臨著嚴(yán)重的數(shù)據(jù)稀疏（用戶僅對數(shù)據(jù)庫中可用項目的極少部分進行評分）與冷啟動（新用戶與新物品缺少評分?jǐn)?shù)據(jù)作為可學(xué)習(xí)的歷史信息）問題，并且通常使用的淺層模型無法學(xué)習(xí)到用戶和項目的深層次特征[17]。

1.2 基于內(nèi)容的推薦系統(tǒng)

基于內(nèi)容的推薦系統(tǒng)（content-based recommendation system，CB）算法通過尋找與用戶已選擇項目具有相似屬性的物品進行推薦。Pazzani M J等人[18]對基于內(nèi)容的推薦策略架構(gòu)進行了宏觀介紹，這種推薦只需要兩類信息，即對項目特征的描述和用戶過去的偏好信息，不需要大量的用戶評分歷史來生成推薦列表（避免了評分?jǐn)?shù)據(jù)稀疏問題）。實現(xiàn)的關(guān)鍵點在于對項目和用戶偏好進行建模，并計算其相似性（此時提取新項目的特征即可進行冷啟動）。Salton G等人[19]提出的向量空間模型是非常常用的內(nèi)容建模方法?；趦?nèi)容的推薦系統(tǒng)可解釋性強，可以更好地解決冷啟動問題，對于小眾領(lǐng)域也有較好的推薦效果，其缺點在于推薦精準(zhǔn)度較低、無法挖掘用戶深層次的潛在興趣，導(dǎo)致推薦新穎度不高、較難分發(fā)長尾標(biāo)的物，并且這種方法的有效性與可擴展性受到人工設(shè)計特征提取方法的嚴(yán)重制約，常常會遇到特征提取困難的問題。

1.3 混合推薦系統(tǒng)

類似于集成學(xué)習(xí)通過有效整合不同算法降低系統(tǒng)性誤差的思想，混合推薦系統(tǒng)搭配使用不同的推薦算法給出最終的推薦結(jié)果，避免單一算法固有的問題，實現(xiàn)較任意單一算法更佳的推薦效果[20]。此外，一些混合推薦算法融合了包括圖像、音頻、文本在內(nèi)的多源異質(zhì)輔助信息，能夠有效解決數(shù)據(jù)稀疏和冷啟動問題。但囿于輔助信息的復(fù)雜性（如異質(zhì)性、多模態(tài)、數(shù)據(jù)提供方限制等），相關(guān)方法的研究仍然面臨著嚴(yán)峻挑戰(zhàn)[21]。

值得一提的是，基于其他方法的推薦系統(tǒng)也各有千秋，如基于社交網(wǎng)絡(luò)的[22]、基于人口數(shù)據(jù)的[23]、基于心理學(xué)的[24]、基于大數(shù)據(jù)的，等等。每一種推薦算法都有其優(yōu)缺點，本文篇幅有限，不做深入闡述。

1.4 基于深度學(xué)習(xí)的推薦系統(tǒng)

隨著算力的跨越式提高，深度學(xué)習(xí)已經(jīng)成為互聯(lián)網(wǎng)人工智能的一個利器。神經(jīng)體系結(jié)構(gòu)在有監(jiān)督和無監(jiān)督學(xué)習(xí)任務(wù)中都獲得了巨大的成功[25-26]。自然地，深度學(xué)習(xí)也在推薦系統(tǒng)領(lǐng)域得到了廣泛應(yīng)用，并且得益于其在非線性轉(zhuǎn)換、表征學(xué)習(xí)、序列模型以及靈活性方面的優(yōu)勢，成為當(dāng)前的最優(yōu)模型[1]。

深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用最早可以追溯到2007年Salakhutdinov R等人[27]發(fā)表的一篇將受限玻爾茲曼機應(yīng)用于推薦系統(tǒng)的文章。常用的深度學(xué)習(xí)模型有多層感知機、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）、注意力模型、自編碼器、神經(jīng)自回歸分布估計、對抗網(wǎng)絡(luò)、受限玻爾茲曼機、深度強化學(xué)習(xí)等，這些模型在推薦系統(tǒng)上得到了廣泛的應(yīng)用[1]。

基于深度學(xué)習(xí)的推薦系統(tǒng)通常將與各類用戶和項目相關(guān)的數(shù)據(jù)作為輸入，利用深度學(xué)習(xí)模型學(xué)習(xí)用戶和項目的隱表示，并基于這種隱表示為用戶生成項目推薦[17]。目前構(gòu)建深度學(xué)習(xí)推薦算法最常見的一種范式是多層感知機，其可將非線性變換添加到現(xiàn)有的推薦系統(tǒng)方法中，如果需要整合附加信息（圖像、文本、語音、視頻等），則會采用CN N、R N N 模型來提取相關(guān)信息。

而后根據(jù)所采用的神經(jīng)網(wǎng)絡(luò)的不同結(jié)構(gòu)，演變出了不同的深度學(xué)習(xí)推薦模型。

通過增加深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)和復(fù)雜度，AutoRec引入了自編碼器，如圖1所示，利用單隱層神經(jīng)網(wǎng)絡(luò)模型，結(jié)合協(xié)同過濾的共現(xiàn)矩陣，得到用戶/物品向量的自編碼，后續(xù)生成用戶對物品的預(yù)估評分并用于排序[28]。

圖1 自編碼器深度推薦系統(tǒng)

通過豐富特征交叉方式演變出了神經(jīng)協(xié)同過濾（neural collaborative filtering，NCF）[29]，圖2中擯棄了矩陣分解中的簡單內(nèi)積操作，“多層神經(jīng)網(wǎng)絡(luò)+輸出層”讓用戶/物品向量進行更充分的交叉，引入更多的非線性特征，增強對稀疏特征的學(xué)習(xí)能力。

通過引入注意力機制，在嵌入層與多層感知機之間加入注意力層，演變出了深度興趣網(wǎng)絡(luò)（deep interest network，DIN）[30]，以及融合了序列模型以模擬用戶喜好變化過程的深度興趣進化網(wǎng)絡(luò)（deep interest evolution network，DIEN）[31]、使用膠囊網(wǎng)絡(luò)提取用戶的多樣興趣并引入基于標(biāo)簽的注意力機制的動態(tài)路徑選擇多興趣網(wǎng)絡(luò)（multi-interest network with dynamic routing，MIND）[32]等。

而對于因子分解機模型的各種深度學(xué)習(xí)演化，克服了協(xié)同過濾對稀疏矩陣泛化能力不強的困難，包括神經(jīng)因子分解機（neural factorization machine，NFM）應(yīng)用神經(jīng)網(wǎng)絡(luò)改善因子分解機二階交叉部分的特征交叉性能[33]、因子分解機神經(jīng)網(wǎng)絡(luò)（factorization-machine supported neural network，F(xiàn)NN）利用因子分解機的結(jié)果初始化網(wǎng)絡(luò)[34]、注意力神經(jīng)因子分解機（attention neural factorization machine，AFM）在雙線性交互池化操作中引入注意力機制以提升模型的表示能力與可解釋性[35]。

對于圖像、文本、音樂數(shù)據(jù)推薦任務(wù)，通過將CNN作為特征處理手段并應(yīng)用到推薦系統(tǒng)中，可以實現(xiàn)對多種類推薦項目的處理，如基于文本與圖像數(shù)據(jù)推薦微博標(biāo)簽[36-37]、利用深度學(xué)習(xí)模型解決音樂推薦場景下的冷啟動問題[38]、使用比較深度學(xué)習(xí)（comparative deep learning，CDL）方法將用戶和圖像映射到同一隱空間中以推薦圖像[39]。

針對序列數(shù)據(jù)，一般為了捕捉用戶行為間的相互依賴關(guān)系，可以使用RNN建模實現(xiàn)項目推薦和用戶行為預(yù)測．可以利用的數(shù)據(jù)類型包括歷史會話行為記錄[40]、用戶行為的時間序列信息[41-42]、注意力機制下的文本序列特征[43]等。

2 聯(lián)邦推薦系統(tǒng)

2.1 聯(lián)邦學(xué)習(xí)

與許多機器學(xué)習(xí)算法一樣，推薦系統(tǒng)也是“數(shù)據(jù)饑渴”的，但現(xiàn)實情況是，數(shù)據(jù)被置于不同組織的隱私保護下，且受到各種政策法規(guī)的限制，例如歐盟的《通用數(shù)據(jù)保護條例》（General Data Protection Regulation，GDPR）[3]。數(shù)據(jù)不能簡單地在機構(gòu)之間共享，不同公司和組織間成為“數(shù)據(jù)孤島”。由于每個“數(shù)據(jù)孤島”中數(shù)據(jù)的大小或特征都有局限性，因此單個機構(gòu)可能無法訓(xùn)練出一個高質(zhì)量的推薦模型。

聯(lián)邦學(xué)習(xí)是一種機器學(xué)習(xí)環(huán)境，由McMahan B等人[44-45]首次提出，Kairouz E B P等人[46]給出其嚴(yán)謹(jǐn)?shù)亩x：聯(lián)邦學(xué)習(xí)是一種機器學(xué)習(xí)環(huán)境，在中央服務(wù)器或服務(wù)提供商的協(xié)調(diào)下，多個實體（客戶端）協(xié)作解決機器學(xué)習(xí)問題。每個客戶端的原始數(shù)據(jù)都存儲在本地，不進行交換或傳輸；相反，旨在進行即時聚合的集中更新被用來實現(xiàn)學(xué)習(xí)目標(biāo)。對于一個有效的聯(lián)邦學(xué)習(xí)系統(tǒng)，只要求存在任何一個客戶端能從聯(lián)邦學(xué)習(xí)系統(tǒng)中獲得更高的模型效用[47]。

在聯(lián)邦學(xué)習(xí)框架中，學(xué)習(xí)任務(wù)是由松散的參與方聯(lián)邦（本文稱之為客戶端）共同完成的，如圖3所示，原始數(shù)據(jù)被各自獨立存儲在本地，這些設(shè)備由一個中央服務(wù)器協(xié)調(diào)。最早的實踐項目甚至在數(shù)千萬部手機和邊緣設(shè)備應(yīng)用中部署了聯(lián)邦學(xué)習(xí)[48]。

圖3 聯(lián)邦學(xué)習(xí)框架

按照客戶端是單一設(shè)備還是組織或公司，聯(lián)邦學(xué)習(xí)可以分為跨設(shè)備聯(lián)邦學(xué)習(xí)和跨孤島聯(lián)邦學(xué)習(xí)。而根據(jù)在不同參與方之間的訓(xùn)練數(shù)據(jù)特征空間和樣本ID空間的分布情況，Yang Q等人[49]將聯(lián)邦學(xué)習(xí)劃分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)以及聯(lián)邦遷移學(xué)習(xí)。

2.1.1 橫向聯(lián)邦學(xué)習(xí)

橫向聯(lián)邦學(xué)習(xí)也可被稱為基于樣本的聯(lián)邦學(xué)習(xí)，它是在不同數(shù)據(jù)集之間特征空間重疊較多而用戶重疊較少的場景下引入的。

這種聯(lián)邦學(xué)習(xí)對金融機構(gòu)最有吸引力。因為金融機構(gòu)的用戶群體通常被限制在各自的區(qū)域，業(yè)務(wù)種類相差不多，因此可以從用戶維度對數(shù)據(jù)集進行劃分，使用特征相同而用戶不完全相同的雙方部分?jǐn)?shù)據(jù)共同訓(xùn)練。

2.1.2 縱向聯(lián)邦學(xué)習(xí)

縱向聯(lián)邦學(xué)習(xí)也叫基于特征的聯(lián)邦學(xué)習(xí)，適用于數(shù)據(jù)持有者之間存在重疊的數(shù)據(jù)樣本但數(shù)據(jù)特征不同的情形?？v向聯(lián)邦學(xué)習(xí)的客戶端通常由同區(qū)域不同業(yè)務(wù)的公司組成，其用戶集包含了該地區(qū)的大部分居民，但錯開了購買特征。應(yīng)用縱向聯(lián)邦學(xué)習(xí)可以拓寬雙方的特征空間，預(yù)測最值得推銷的商品。

雖然縱向聯(lián)邦學(xué)習(xí)可以豐富用戶特征，發(fā)現(xiàn)不同數(shù)據(jù)之間的隱藏關(guān)系，但不同數(shù)據(jù)特征的整合通常更具挑戰(zhàn)性[49]。

2.1.3 聯(lián)邦遷移學(xué)習(xí)

聯(lián)邦遷移學(xué)習(xí)考慮了數(shù)據(jù)方在用戶空間或特征空間中僅有部分重疊的挑戰(zhàn)性場景，不對數(shù)據(jù)進行切分，而是利用現(xiàn)有的遷移學(xué)習(xí)技術(shù)[50]協(xié)作建立模型，以克服樣本或標(biāo)簽不足的困難。

令第i方數(shù)據(jù) Di的樣本空間為xi，特征空間為yi，標(biāo)簽為Ii，則聯(lián)邦學(xué)習(xí)的3種分類表示見表2。

表2 聯(lián)邦學(xué)習(xí)分類

顯然，推薦系統(tǒng)的工作方式在個性化推薦收益與隱私保護之間形成了一種權(quán)衡。隨著公眾對大公司收集和使用個人數(shù)據(jù)的舉措越來越感到不安，推薦系統(tǒng)如何在個性化和隱私保護之間尋求最優(yōu)解變得愈發(fā)重要。另外，考慮到計算成本和數(shù)據(jù)的可擴展性，在推薦系統(tǒng)上應(yīng)用聯(lián)邦學(xué)習(xí)的嘗試也是相當(dāng)明智的。

當(dāng)前聯(lián)邦推薦系統(tǒng)的結(jié)合出發(fā)點多為增強隱私保護與促進多領(lǐng)域用戶信息融合，而實際落地階段往往面臨數(shù)據(jù)異質(zhì)性與通信成本增加的挑戰(zhàn)。

2.2 聯(lián)邦推薦系統(tǒng)的隱私保護手段

推薦系統(tǒng)的高性能建立在海量的數(shù)據(jù)挖掘基礎(chǔ)之上，一方面，為了達到足夠的可用性，推薦系統(tǒng)對用戶歷史數(shù)據(jù)的體量和具體程度有著嚴(yán)苛的要求；另一方面，用戶的歷史數(shù)據(jù)提供得越詳實，其隱私信息泄露的風(fēng)險越大。因此，如何解決推薦系統(tǒng)中的隱私保護問題，即在保護用戶歷史行為數(shù)據(jù)、推薦模型與推薦結(jié)果等隱私信息的前提下，達到推薦結(jié)果的可靠性與有效性等功能指標(biāo)，是一個亟待解決且非常具有理論意義的問題。常用的隱私保護方法大致分為以下兩個類別。

● 密碼學(xué)方法。將輸入數(shù)據(jù)隔絕于其他參與方或者不以明文傳輸?shù)姆绞剑狗植际接嬎氵^程不泄露隱私信息，如安全多方計算（包括不經(jīng)意傳輸、秘密共享、混淆電路和同態(tài)加密）[51]。

● 模糊處理。隨機化、添加噪聲或修改數(shù)據(jù)使傳輸數(shù)據(jù)擁有某一特定級別的隱私，如差分隱私方法。

傳統(tǒng)基于內(nèi)容的推薦系統(tǒng)隱私保護系統(tǒng)架構(gòu)利用公鑰全同態(tài)加密等技術(shù)，先在本地對用戶歷史數(shù)據(jù)訓(xùn)練集中的輸入數(shù)據(jù)進行加密，而后由推薦服務(wù)器在密文域上建立預(yù)測模型，計算推薦結(jié)果，接著返回給授權(quán)用戶，以解密推薦結(jié)果并驗證其正確性。

而基于鄰域的推薦系統(tǒng)隱私保護系統(tǒng)架構(gòu)則先將與目標(biāo)用戶組相似用戶的歷史數(shù)據(jù)作為數(shù)據(jù)集，各推薦服務(wù)器在密文域上，通過安全多方計算等技術(shù)建立預(yù)測模型并計算推薦結(jié)果，并將安全多方計算得到的密文形式推薦結(jié)果與其正確性可驗證證據(jù)共同返回給目標(biāo)用戶組的推薦服務(wù)器，隨后分發(fā)給目標(biāo)用戶以解密驗證結(jié)果?，F(xiàn)有的做法通常是利用公鑰全同態(tài)加密技術(shù)與混淆電路技術(shù)，在假定不存在合謀攻擊的推薦服務(wù)器與密碼服務(wù)提供商間通過安全多方計算實現(xiàn)[52]。Kim S等人[53]使用全同態(tài)加密技術(shù)部署隱私保護的矩陣分解推薦系統(tǒng)，針對加密后的用戶評級數(shù)據(jù)輸入，實施矩陣分解并輸出加密結(jié)果。

上述工作均使用公鑰（全）同態(tài)加密技術(shù)實現(xiàn)，雖然模型較為準(zhǔn)確，但計算開銷和密文長度隨著用戶數(shù)據(jù)集的擴大而急劇增大，給資源受限的用戶端帶來了難以承受的復(fù)雜度與通信開銷。并且，基于公鑰全同態(tài)加密技術(shù)與混淆電路的基于鄰域的隱私保護協(xié)同過濾推薦系統(tǒng)更加難以抵御半可信或惡意環(huán)境下的推薦服務(wù)器攻擊[52]。

在保證推薦效果近似可用性的前提下，數(shù)據(jù)擾動技術(shù)已經(jīng)被廣泛應(yīng)用于推薦系統(tǒng)。Agrawal R等人[54]首次將加法擾動技術(shù)應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域，并驗證了其在決策樹等算法上的效果。通過在原始數(shù)據(jù)矩陣后加上一個擾動矩陣（各行由一個均值為0的均勻分布或高斯分布獨立生成），達到使原始數(shù)據(jù)失真并且不改變計算結(jié)果統(tǒng)計均值的目的。設(shè)原始向量為A、B，擾動向量分別為R、V，則A、B的內(nèi)積可由A′ = A+R、B′ =B+V的內(nèi)積近似表示：

在此基礎(chǔ)上， Po l at H 等人[55]與Herlocker J等人[56]分別基于均勻分布擾動因子與高斯分布擾動因子構(gòu)建了保護隱私的推薦系統(tǒng)。而后Chen K K等人[57]利用隱私保護的歐幾里得距離計算與隱私保護的內(nèi)積計算技術(shù)，構(gòu)建了基于乘法擾動的二分類隱私保護推薦系統(tǒng)。

基于前人的工作，Dwork C[58]最早提出差分隱私（differential privacy，DP）的概念，提供了個人隱私泄露的數(shù)學(xué)定義，并根據(jù)應(yīng)用場景的不同將差分隱私分為中心化差分隱私和本地化差分隱私，前者由可信的數(shù)據(jù)收集者添加噪聲，后者由用戶本地添加噪聲。中心化差分隱私的典型噪聲機制是拉普拉斯噪聲機制和指數(shù)噪聲機制[57]，其中前者用來處理連續(xù)型數(shù)據(jù)，后者適用于離散型數(shù)據(jù)。本地化差分隱私則主要采取隨機響應(yīng)方法來保護隱私[59]。

在差分隱私的定義下，攻擊者無法通過查詢結(jié)果的改變探知具體數(shù)據(jù)的內(nèi)容，并且數(shù)據(jù)集依然保持可用于數(shù)據(jù)挖掘等操作的一些統(tǒng)計特性。雖然差分隱私技術(shù)基于數(shù)據(jù)擾亂添加噪聲，使得原有的數(shù)據(jù)失真，但其加入的噪聲量大小只與數(shù)據(jù)集的敏感度和隱私參數(shù)ε有關(guān)，而與數(shù)據(jù)集大小無關(guān)，因此對于大規(guī)模的數(shù)據(jù)集仍然可能不提出過高的性能要求。這使得差分隱私保護技術(shù)可以在確保數(shù)據(jù)可用性的前提下大幅度降低隱私泄露風(fēng)險。其缺點在于，在復(fù)雜計算過程中，噪聲累積有可能導(dǎo)致數(shù)據(jù)不可用。

為了保護推薦系統(tǒng)的差分隱私，McSherry F等人[60]將差分隱私技術(shù)應(yīng)用于協(xié)同過濾算法，通過在用戶評分?jǐn)?shù)據(jù)的計數(shù)與求和中添加采用拉普拉斯機制計算的噪聲，得到了盲化的物品-物品協(xié)方差矩陣，實現(xiàn)了差分隱私保護的K近鄰（K-nearest neighbor，KNN）與奇異值分解（singular value decomposition，SVD）推薦算法。Zhu T Q等人[61]則對基于鄰域的協(xié)同過濾推薦算法的鄰居選擇環(huán)節(jié)進行差分隱私保護，并對預(yù)測的評分值進一步添加拉普拉斯噪聲以保護預(yù)測結(jié)果。Berlio z A等人[62]則針對矩陣分解算法的3個環(huán)節(jié)（數(shù)據(jù)輸入、矩陣分解進程、數(shù)據(jù)輸出）分別應(yīng)用差分隱私技術(shù)，并權(quán)衡了各方法在隱私保護力度與推薦準(zhǔn)確度之間的取舍，如圖4所示。

圖4 矩陣分解機制的噪聲添加策略

對于嚴(yán)格聯(lián)邦定義下的推薦系統(tǒng)，最初的聯(lián)邦學(xué)習(xí)認(rèn)為，由于其中心服務(wù)器只從參與方采集梯度更新信息，這種分布式的模型更新方式已經(jīng)能在一定程度上保護隱私，但Orekondy T等人[63]與Wang Z B等人[64]證明了沒有隱私保護機制的簡單聯(lián)邦學(xué)習(xí)仍會遭受梯度信息反推攻擊，從而泄露隱私信息；Melis L等人[65]對參與人數(shù)較少的協(xié)同學(xué)習(xí)下非預(yù)期特征泄露情景進行了成員推理攻擊與屬性推理攻擊，并提出了多種防御建議。

受到諸多隱私保 護技術(shù)的啟發(fā)，聯(lián)邦學(xué)習(xí)廣泛運用了安全多方計算、同態(tài)加密以及差分隱私等隱私保護技術(shù)[66]，但是其在應(yīng)用場景上與傳統(tǒng)推薦系統(tǒng)的隱私保護方法有很大的不同。傳統(tǒng)推薦系統(tǒng)的隱私保護致力于防止推薦服務(wù)提供商對單一客戶端原始用戶數(shù)據(jù)的探知，通過對推薦模型的原始輸入進行加密傳輸，存儲、計算資源受限的用戶可以將推薦算法外包給資源龐大的推薦服務(wù)器；而聯(lián)邦推薦系統(tǒng)的隱私保護則是針對不同的推薦服務(wù)提供商實體，在不交換各自本地數(shù)據(jù)的前提下，對推薦模型的梯度更新進行加密傳輸，以分?jǐn)傆嬎汩_銷，并且規(guī)避直接在原始數(shù)據(jù)密文域上訓(xùn)練全局模型的龐大計算開銷，有效地降低了傳統(tǒng)機器學(xué)習(xí)源數(shù)據(jù)聚合帶來的許多隱私風(fēng)險[67]。相比于傳統(tǒng)的一方提供數(shù)據(jù)、另一方提供計算服務(wù)的推薦范式，聯(lián)邦學(xué)習(xí)使得原先的用戶也成為潛在的推薦服務(wù)提供商，擴寬了推薦數(shù)據(jù)的來源，對于單一客戶端而言可以有效提高推薦準(zhǔn)確性。

Truex S等人[68]開發(fā)了一種聯(lián)邦訓(xùn)練方法，可以根據(jù)本地隱私預(yù)算對復(fù)雜模型參數(shù)更新執(zhí)行基于本地化差分隱私（local differential privacy，LDP）機制的擾動，同時最大限度地降低噪聲對聯(lián)邦學(xué)習(xí)訓(xùn)練過程的影響，驗證了使用壓縮LDP協(xié)議部署的系統(tǒng)針對公共數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時的有效性。Liu R X等人[69]提出了一個用于聯(lián)邦隨機梯度下降（federated stochastic gradient descent）的兩階段本地差分隱私框架FedSel，首先對本地客戶端的梯度更新進行維度選擇再執(zhí)行數(shù)據(jù)擾動，證明了top-k梯度處理比已有的Top-1處理方法更優(yōu)。Triastcyn A等人[70]使用貝葉斯計數(shù)方法代替時刻計數(shù)方法，從理論分析與實驗結(jié)果兩方面證明了貝葉斯差分隱私聯(lián)邦學(xué)習(xí)對客戶端與具體實例的隱私保護的有效性。Bonawitz K等人[71]運用秘密共享等技術(shù)，為用戶向參數(shù)服務(wù)器上傳參數(shù)的過程提供了隱私保證。Li T等人[72]設(shè)計了一個執(zhí)行差分隱私機制的聯(lián)邦推薦系統(tǒng)。

在推薦系統(tǒng)無所不在的網(wǎng)絡(luò)環(huán)境中，用戶越來越強烈地意識到自己的數(shù)據(jù)是需要保密的。通過部署更先進的隱私保護推薦系統(tǒng)，消除參與方對隱私泄露的擔(dān)憂，對于促進數(shù)字化實體合作，防范化解重大政策風(fēng)險無疑至關(guān)重要。

2.3 聯(lián)邦推薦系統(tǒng)的跨領(lǐng)域推薦能力

聯(lián)邦學(xué)習(xí)可以在不破壞隱私安全的前提下打破“數(shù)據(jù)孤島”，充分利用不同用戶域的信息，因此其在跨領(lǐng)域推薦方面也有著天然的優(yōu)勢。

Liu S C等人[73]通過部署不同領(lǐng)域的多個服務(wù)器，使用變分推理框架進行優(yōu)化，最大限度地提高用戶編碼和所有交互域中特定領(lǐng)域的用戶信息之間的互信息，提出了一種聯(lián)邦跨領(lǐng)域推薦框架FedCT，在降低通信成本的同時，提出了一種不依賴于涉及域的數(shù)量、傳輸模型對其他領(lǐng)域不造成顯著干擾的推理機制。此外，針對推薦系統(tǒng)中的冷啟動問題，王健宗等人[74]基于安全內(nèi)積協(xié)議設(shè)計了一種聯(lián)邦協(xié)同過濾的冷啟動解決方案，在數(shù)據(jù)庫中添加新用戶或新物品時，利用安全內(nèi)積方法，聯(lián)合多方評分矩陣，求解多方數(shù)據(jù)的相似矩陣，從而完成新項目的推薦輸出。Wang L等人[75]則針對用戶興趣點推薦任務(wù)提出了跨領(lǐng)域的隱私保護聯(lián)邦推薦算法，利用輔領(lǐng)域的用戶數(shù)據(jù)對主領(lǐng)域用戶進行興趣分析，在用戶評論分析任務(wù)上取得了較CNN更優(yōu)的推薦效果，有效解決了冷啟動難題。

基于跨模態(tài)的檢索方法需要大量的訓(xùn)練數(shù)據(jù)，然而聚合、收集大量的數(shù)據(jù)將會產(chǎn)生巨大的隱私風(fēng)險和高昂的維護成本。對此，Zong L L等人[76]提出了一種聯(lián)邦跨模態(tài)訓(xùn)練方法，使用各模態(tài)客戶端的本地數(shù)據(jù)訓(xùn)練各自的公共空間，再由可信服務(wù)器聚合公共子空間，并指導(dǎo)服務(wù)器本地模型的公共子空間更新。此項工作為結(jié)合多種數(shù)據(jù)來源形式的聯(lián)邦推薦系統(tǒng)奠定了基礎(chǔ)，擴寬了可使用推薦數(shù)據(jù)的范圍，降低了數(shù)據(jù)收集難度。而在特定的醫(yī)學(xué)應(yīng)用領(lǐng)域，Ma J等人[77]提出了一種通信高效的聯(lián)邦廣義張量因子分解，以適合不同類型的實際數(shù)據(jù)，并且能夠大幅度降低上行通信成本，此成果為聯(lián)邦推薦在醫(yī)療領(lǐng)域的應(yīng)用提供了基本方法。

聯(lián)邦學(xué)習(xí)的引入為共同訓(xùn)練推薦系統(tǒng)的多方數(shù)據(jù)持有者提供了數(shù)據(jù)安全上的保證，以原始數(shù)據(jù)不出本地、共同利用梯度更新模型的訓(xùn)練方法，吸引了不同服務(wù)提供商分享不同存儲形式的不同領(lǐng)域的用戶數(shù)據(jù)，達到促進己方業(yè)務(wù)增長的目的。

2.4 聯(lián)邦推薦系統(tǒng)的數(shù)據(jù)異質(zhì)性挑戰(zhàn)

現(xiàn)有的機器學(xué)習(xí)任務(wù)經(jīng)常默認(rèn)訓(xùn)練數(shù)據(jù)遵循獨立同分布（independently and identically distributed，IID）假設(shè)，但是對于分布式計算而言，由于現(xiàn)實世界中的不同數(shù)字化實體往往服務(wù)于不同屬性（如區(qū)域、愛好、財富等）的用戶，其各項特征往往相差較大，存儲方式也不盡相同，并且由于存在用戶重合或有聯(lián)系的情況，數(shù)據(jù)相關(guān)性幾乎無處不在。若是只考慮IID數(shù)據(jù)，基于現(xiàn)有的機器學(xué)習(xí)算法和框架訓(xùn)練模型，會導(dǎo)致許多負(fù)面效果，比如模型準(zhǔn)確度大幅降低、無法收斂等。解決異質(zhì)問題對于解決推薦系統(tǒng)的用戶數(shù)據(jù)稀疏問題也十分重要。挖掘其他數(shù)據(jù)可以有效提高推薦準(zhǔn)確性，用戶曾經(jīng)發(fā)表的文本、圖像、互動信息等數(shù)據(jù)是異質(zhì)的，難以處理又關(guān)乎性能的異質(zhì)性數(shù)據(jù)給算法帶來了挑戰(zhàn)。

近年來，推薦系統(tǒng)中的非獨立同分布（non-independently and identically distribution，Non-IID）情況引起了學(xué)者的重視，其不僅包含用戶信息與物品信息各自非獨立同分布的情況，還包括用戶與物品兩兩在不同層級上的耦合。Cao L B[78]對推薦系統(tǒng)中不同的異質(zhì)情況做了詳細(xì)研究，并提出了判別推薦系統(tǒng)異質(zhì)情況的理論框架。對于ICF中的物品相似度耦合，Wang C等人[79-80]首先合并了耦合的物品相似度，引入一個耦合k模式算法來預(yù)測評分，隨后在矩陣分解的目標(biāo)函數(shù)中添加相似性度量，以學(xué)習(xí)不易察覺的用戶與項目的關(guān)系矩陣。

聯(lián)邦學(xué)習(xí)在分布式學(xué)習(xí)過程中保持對設(shè)備或用戶個人信息的隔離，因此異質(zhì)性數(shù)據(jù)對聯(lián)邦學(xué)習(xí)推理性能的影響尤其嚴(yán)重[81]。Wu Q等人[82]將聯(lián)邦學(xué)習(xí)在實際應(yīng)用中面臨的異質(zhì)性問題總結(jié)如下：①各個客戶端在存儲容量、計算能力和通信速率方面存在設(shè)備異質(zhì)性問題；②各個客戶端所存儲數(shù)據(jù)的非獨立同分布狀態(tài)導(dǎo)致的統(tǒng)計異質(zhì)性問題；③各個客戶端所處的不同應(yīng)用場景導(dǎo)致的模型異質(zhì)性問題。數(shù)據(jù)異質(zhì)性問題又可分為特征分布偏斜（協(xié)變量偏移）、標(biāo)簽分布偏斜（先驗概率偏移）、特征與標(biāo)簽在不同數(shù)據(jù)來源上的不匹配、數(shù)量偏斜或不平衡等問題。筆者認(rèn)為在推薦系統(tǒng)這一具體應(yīng)用場景，可以討論能否適當(dāng)放寬聯(lián)邦學(xué)習(xí)對每一輪參與設(shè)備選擇的嚴(yán)苛要求，以解決實際遇到的異質(zhì)性難題。

對于減輕異質(zhì)性帶來的影響，一種有效的方法是設(shè)計個性化模型，分別針對設(shè)備、數(shù)據(jù)和模型級別的異質(zhì)性進行不同的個性化處理。

Yang C X等人[83]通過實證研究量化了設(shè)備異質(zhì)性對聯(lián)邦學(xué)習(xí)訓(xùn)練過程的影響。結(jié)果表明，異質(zhì)性會導(dǎo)致聯(lián)邦學(xué)習(xí)的性能下降，包括高達9.2%的準(zhǔn)確率下降、2.32倍的訓(xùn)練時間延長，以及公平性遭到破壞。其中設(shè)備故障和參與者偏差是性能下降的兩個潛在因素。針對設(shè)備異質(zhì)性難題，Liu L M等人[84]設(shè)計了一種客戶機-邊緣-云分層聯(lián)邦學(xué)習(xí)架構(gòu)，通過引入中間邊緣服務(wù)器，同時減少模型訓(xùn)練時間和終端設(shè)備的能耗。Xie C等人[85]則提出了一種新的異步聯(lián)邦優(yōu)化算法，并證明了該算法對于強凸問題以及一類受限的非凸問題具備逼近全局最優(yōu)的線性收斂性。

針對統(tǒng)計異質(zhì)性難題，McMahan B等人[44]提出了一種基于迭代平均的深層網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)方法——聯(lián)邦平均（federated averaging，F(xiàn)edAvg），F(xiàn)edAvg相比聯(lián)邦隨機梯度下降（federated stochastic gradient descent，F(xiàn)edSGD）算法在通信輪次上取得了較大改善；Li X等人[86]從理論角度證明了FedAvg在處理Non-IID數(shù)據(jù)時可實現(xiàn)收斂，證明了此方法的有效性；Zhao Y等人[87]則進一步分析和改進了FedAvg，為了衡量客戶端存儲的數(shù)據(jù)分布與中央服務(wù)器掌握的數(shù)據(jù)總體分布之間的差異，引入推土機距離（earth mover’s distance，EMD）來計算權(quán)重散度，表明可使用權(quán)重散度指標(biāo)表示準(zhǔn)確度下降的趨勢，同時提出了一種數(shù)據(jù)共享策略，通過在初始化階段將全局共享數(shù)據(jù)子集的隨機部分分發(fā)給每個客戶端，改進了 FedAvg的性能，實驗證明，在不影響整體通信效率，也不增加隱私安全性漏洞的前提下，該方法可顯著提高數(shù)據(jù)嚴(yán)重傾斜的情況的準(zhǔn)確度。

針對模型異質(zhì)性問題，Kulkarni V等人[88]總結(jié)了如下幾類模型異質(zhì)性個性化學(xué)習(xí)方法構(gòu)建策略：增加用戶上下文、遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、元學(xué)習(xí)、知識蒸餾、基本層與個性化層共同作用、混合全局和局部模型等，并在其綜述中進行了詳細(xì)介紹。

此外，Wu J Z等人[89]考慮到用戶本地數(shù)據(jù)通常包含公共信息（物品標(biāo)簽）與敏感信息（本地用戶交互過的物品清單），提出了隱私異質(zhì)性。相應(yīng)地，為了解決隱私異質(zhì)性問題，作者利用層次信息來劃分公共數(shù)據(jù)和隱私數(shù)據(jù)，設(shè)計了包含公共組件與隱私組件的本地個性化模型GUM（可以實現(xiàn)模型的異質(zhì)性），并對二者執(zhí)行不同的聚合更新策略：客戶端將公共組件直接發(fā)送給服務(wù)器，服務(wù)器將當(dāng)前模型在本地驗證集上的準(zhǔn)確度進行加權(quán)聚合后得到新一輪的全局公共組件；而隱私組件則通過對客戶端發(fā)送給服務(wù)器的本地聚類中心（視為本地用戶表示的草圖，不泄露本地用戶數(shù)據(jù)）再進行一次聚類得到公共聚類中心，即可得到全局隱私組件，二者共同構(gòu)成新一輪的全局模型。服務(wù)器更新并發(fā)送全局組件后，再由客戶端以細(xì)粒度更新策略個性化更新本地模型（此方法可以解決統(tǒng)計異質(zhì)性問題）。

2.5 聯(lián)邦推薦系統(tǒng)的通信成本挑戰(zhàn)

在聯(lián)邦推薦系統(tǒng)中，特別是跨設(shè)備聯(lián)邦學(xué)習(xí)設(shè)定下，聯(lián)邦網(wǎng)絡(luò)可能由大量的設(shè)備共同組成，因此每輪更新都需要進行大規(guī)模的通信，這對網(wǎng)絡(luò)帶寬與設(shè)備情況提出了較高的要求。因此，在不降低推薦準(zhǔn)確度的前提下提升通信效率就顯得尤為重要。通信開銷的降低與學(xué)習(xí)效率的提升將為更大范圍的工業(yè)化聯(lián)邦推薦系統(tǒng)奠定基礎(chǔ)。

當(dāng)前設(shè)備在計算、內(nèi)存和通信方面的資源有限，因此存在一些具有實用價值的不同通信優(yōu)化目標(biāo)。

● 壓縮梯度信息。使用降維、梯度壓縮等方法，減小從客戶端到服務(wù)器通信對象的規(guī)模，該對象用于更新全局模型。例如Rothchild D等人[90]提出了一種使用計算草圖壓縮客戶端更新信息大小的方法FetchSGD，將動量與累計誤差從本地客戶端轉(zhuǎn)移到服務(wù)器上進行聚合，該方法在稀疏客戶端參與時仍能保證高壓縮率和良好的收斂性。Reisizadeh A等人[91]則采用周期平均和量化處理壓縮客戶端模型的更新信息，提出了FedPAQ（federated periodic averaging and quantization）方法，具體做法是客戶端執(zhí)行數(shù)次本地更新計算后，才使用量化算子向中心服務(wù)器發(fā)送此時本地結(jié)果與全局模型的差值的量化結(jié)果，并由中心服務(wù)器反量化解碼后用于生成新的全局模型。該方法雖然能有效降低通信開銷，但降低了收斂準(zhǔn)確度，需要更多次訓(xùn)練迭代。

● 壓縮廣播模型。減小從服務(wù)器到客戶端的全局模型廣播的規(guī)模，客戶端從該模型開始本地訓(xùn)練。例如Khan F K等人[92]通過將強化學(xué)習(xí)中的多臂老虎機算法應(yīng)用于負(fù)載優(yōu)化，設(shè)計獎勵函數(shù)，挑選獎勵反饋為正反饋的物品向量進行更新，每次只廣播全局模型的一部分，在高度稀疏的推薦數(shù)據(jù)集上減少了90%的模型負(fù)載。

● 減少本地計算。修改訓(xùn)練算法，使得本地訓(xùn)練過程在計算上更加高效。例如Malinovsky G等人[93]從不動點方法的角度分析，將優(yōu)化問題轉(zhuǎn)化為梯度下降算子的不動點尋找問題，限制客戶端的本地計算，從而突破通信開銷瓶頸。

而由于聯(lián)邦推薦傳輸?shù)木仃囃ǔＪ志薮螅谕ㄐ懦杀旧系目剂扛鼮殛P(guān)鍵。將參考文獻[94]中提到的取子樣本法或概率量化法移植到聯(lián)邦推薦系統(tǒng)的用戶矩陣上，對于大公司使用聯(lián)邦推薦具有極大的吸引力。具體地，表3總結(jié)了聯(lián)邦推薦系統(tǒng)對推薦社區(qū)的貢獻與落地過程中遇到的挑戰(zhàn)。

表3 聯(lián)邦推薦系統(tǒng)的貢獻與挑戰(zhàn)

關(guān)于聯(lián)邦優(yōu)化的目標(biāo)函數(shù)的研究在分散優(yōu)化領(lǐng)域也產(chǎn)生了諸多成果。為了降低通信開銷，Wang J Y等人[101]提出了周期性去中心化SGD方法，該方法使用多個本地更新對中心化SGD進行聯(lián)邦平均。隨后Li X等人[102]將該算法擴展到Non-IID數(shù)據(jù)來源中。Liang P P等人[103]提出結(jié)合本地與全局的方式，降低聯(lián)邦學(xué)習(xí)通信開銷，提升學(xué)習(xí)效率，該方法在參與方擁有Non-IID數(shù)據(jù)的情況下仍然有效。針對特定的應(yīng)用場景，Liu Y等人[104]提出針對縱向聯(lián)邦降低通信開銷，進而提升學(xué)習(xí)效率的方法，該方法在理論分析與實驗驗證中被證明行之有效。馬嘉華等人[105]則針對節(jié)點數(shù)據(jù)分布差異給聯(lián)邦學(xué)習(xí)算法性能帶來不良影響的問題，提出了一個基于標(biāo)簽量信息的節(jié)點選擇算法，降低了全局模型的權(quán)重偏移上界，從而提高算法的收斂穩(wěn)定性。另外，隨著5G基礎(chǔ)設(shè)備的全面鋪開，聯(lián)邦推薦使用的邊緣設(shè)備也將處于更優(yōu)的網(wǎng)絡(luò)環(huán)境中，可以從提高速率和帶寬方面正面解決通信開銷問題，突破通信瓶頸。

2.6 聯(lián)邦推薦系統(tǒng)部署

2.6.1 聯(lián)邦協(xié)同過濾框架

來自華為芬蘭研發(fā)中心的Ammadud-din M等人[106]提出了第一個基于用戶隱性反饋的聯(lián)邦個性化推薦系統(tǒng)，并展示了該方法對基準(zhǔn)數(shù)據(jù)集MovieLens和內(nèi)部數(shù)據(jù)集的適用性。作者提出了一種聯(lián)邦學(xué)習(xí)框架下的隱性反饋數(shù)據(jù)集的聯(lián)邦協(xié)同過濾（federated collaborative filtering，F(xiàn)CF）方法。該方法具有通用性，可以擴展到各種推薦系統(tǒng)的應(yīng)用場景。FCF在中央服務(wù)器上更新主模型Y（物品因子矩陣），并將其分發(fā)到每個客戶端，每個用戶規(guī)格模型X（用戶因子矩陣）仍在本地客戶端，利用本地用戶數(shù)據(jù)和中央服務(wù)器的Y在客戶端上進行更新。聯(lián)邦協(xié)同過濾的基本架構(gòu)如圖5所示。

圖5 聯(lián)邦協(xié)同過濾的基本架構(gòu)

FCF主要考慮隱性反饋的情況，用戶u對物品i偏好得分的預(yù)測可以表示為：

引入一組二元變量來表示用戶u對物品i的偏好：

在隱性反饋的情況下，rui= 0可以有多種解釋，比如用戶u對物品i不感興趣，或者用戶u可能不知道物品i的存在等。為了解決這種不確定性問題，引入了一個確證參數(shù)：

得到所有用戶u和物品i的優(yōu)化目標(biāo)函數(shù)：

其中，λ為正則化系數(shù)。式（6）顯示了對xu的最佳估計，此項可直接在用戶本地計算：

其中，Cu為用戶u的置信參數(shù)列，p(u)為用戶u的偏好程度。而后，為了得到物品因子yi的最佳估計值，需要知道用戶因子向量xi與物品的交互信息，因此yi的更新不能在客戶端完成，必須在中心服務(wù)器上完成。但從保護用戶隱私的角度出發(fā)，用戶與物品的交互信息只能保存在客戶端設(shè)備中，因此不能直接計算yi。

為了解決這個問題，F(xiàn)CF提出了一種隨機梯度下降的方法，在保護用戶隱私的同時，允許yi在中央服務(wù)器上更新。具體來說，它使用以下計算式更新中央服務(wù)器上的yi：

并定義：

在每個客戶端u上分別計算f(u,i) ，敏感評分信息不出本地。隨后，所有客戶端僅將f(u,i) 的值發(fā)送給中心服務(wù)器進行求和，從而更新主服務(wù)器上的yi。

在通用電影推薦數(shù)據(jù)集MovieLens與其私有數(shù)據(jù)集上的實驗結(jié)果表明，在不失通用性的前提下，可以認(rèn)為FCF與中心化推薦方法的推薦性能表現(xiàn)是十分接近的。但是這一方法存在兩個關(guān)鍵問題。一是，F(xiàn)CF要求每個用戶和項目都參與到學(xué)習(xí)過程中來訓(xùn)練自己的向量，這在實際推薦場景中并不適用，因為有些用戶受到設(shè)備、網(wǎng)絡(luò)性能等限制，無法參與每一輪的模型訓(xùn)練，這也與聯(lián)邦學(xué)習(xí)利用用戶的閑置算力的初衷相違背。二是，F(xiàn)CF使用物品的ID來表示物品，而對于不斷上架新物品的推薦系統(tǒng)，無法實時擴充標(biāo)記。在推薦系統(tǒng)的實際應(yīng)用場景中，這將會帶來嚴(yán)重的冷啟動問題。

此外，在安全性方面，Chai D等人[107]指出，如果已知任意兩步更新的梯度信息以及用戶因子的更新計算式，可以通過求解高階方程組推導(dǎo)出用戶評分信息，即梯度信息有可能泄露用戶隱私數(shù)據(jù)。為了解決這一問題，他們提出了一個矩陣因子分解模型——安全聯(lián)邦矩陣分解（secure federated matr i x factor i z ation，SFMF）。通過對服務(wù)器與客戶端之間的通信過程使用同態(tài)加密方法，杜絕了梯度泄露用戶信息的可能。他們還提出了PartText傳輸策略：客戶端只上傳用戶交互過的物品的梯度信息，如此在只泄露用戶交互物品列表的情況下就能獲得計算時間上的較大改善。Minto L等人[108]則對隱反饋FCF加以改進，通過在客戶端上傳的物品更新梯度矩陣中加入本地差分隱私策略以及代理網(wǎng)絡(luò)來得到不包含用戶元數(shù)據(jù)的物品更新梯度矩陣，以獲得更強的隱私保護力度，防止第三方獲取物品更新梯度矩陣后實施重構(gòu)攻擊。

隱反饋數(shù)據(jù)在進行聯(lián)邦化改造時具有天然優(yōu)勢：由于將所有與用戶無交集的物品都當(dāng)成負(fù)樣本進行求導(dǎo)，服務(wù)器無法探知用戶的交集物品列表。而FCF對顯反饋數(shù)據(jù)的求導(dǎo)式子中只包含該用戶評分過的物品，由此容易泄露用戶交互記錄。對于此弊端，Lin G Y等人[109]提出將FedRec擴展到了顯性反饋的推薦場景，在上傳用戶梯度時將隨機采樣的部分未評分物品一起上傳到服務(wù)器以遮掩用戶實際交互的物品信息，并且采用用戶平均評分與混合評分機制來生成負(fù)采樣物品的評分。但此舉引入了額外的噪聲，因此Liang F等人[110]又進一步提出FedRec++，分配部分去噪客戶端以隱私感知的方式消除噪聲數(shù)據(jù)，獲得了更優(yōu)的推薦性能。

2.6.2 應(yīng)用于新聞推薦任務(wù)的FCF

針對FCF無法處理新項目和具有梯度泄露風(fēng)險的問題，Qi T等人[111]對新聞推薦任務(wù)的FCF應(yīng)用進行了改進，提出FedNewsRec方法，在去中心化存儲條件下，基于用戶行為數(shù)據(jù)訓(xùn)練了一個精確的新聞推薦模型。具體地，Qi T等人[111]采用從低到高由詞嵌入層、卷積神經(jīng)網(wǎng)絡(luò)、多頭自注意力網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)構(gòu)成的4層新聞模型學(xué)習(xí)新聞表征，并使用參考文獻[112]中的用戶模型學(xué)習(xí)用戶的點擊歷史，如圖6所示。

圖6 FedNewsRec 的新聞表征向量模型

在FedNewsRec 框架中，每一輪更新時，一組隨機選擇的用戶的局部梯度被上傳到服務(wù)器，然后進一步聚合以更新服務(wù)器中的全局模型。提供新聞服務(wù)的服務(wù)器不記錄或收集用戶行為，這可以解決隱私問題，降低數(shù)據(jù)泄露的風(fēng)險。此外，在客戶端和中心服務(wù)器之間的通信過程中，額外引入本地差分隱私技術(shù)來保護上傳梯度中的隱私信息（但這降低了聚合梯度模型的更新精度）。Qi T等人[111]將Fed NewsRec與當(dāng)前主流的幾種新聞推薦方法在新聞數(shù)據(jù)集Adressa和MSN-New s 上進行了比較，驗證了FedNewsRec在個性化新聞推薦模型學(xué)習(xí)中的性能，其優(yōu)于FCF而稍遜于中心新聞推薦模型。

相比于FCF，F(xiàn)edNewsRec可以處理新用戶和新項目，并且不需要所有用戶參與到訓(xùn)練中，但由于引入了新聞推薦模型，F(xiàn)edNewsRec 不適用于其他場景，不具備普適性。

2.6.3 聯(lián)邦多視圖推薦框架

針對FedNewsRec的適用性缺點，Hu a n g M K等人[113]結(jié)合深度結(jié)構(gòu)化語義模型（deep structured semantic model，DSSM）[114]與FCF，進一步提出了一個基于內(nèi)容的通用聯(lián)邦多視圖推薦框架FL-MV-DSSM（federated learningmulti view-deep structured semantic model），該框架通過使用應(yīng)用的信息訓(xùn)練一個共享的用戶子模型，從而實現(xiàn)更好的物品推薦性能。

F L-M V-D S S M 可以處理現(xiàn)有的FedRec冷啟動問題，通過將一般的深度結(jié)構(gòu)化語義模型轉(zhuǎn)變成聯(lián)邦學(xué)習(xí)環(huán)境，F(xiàn)LMV-DSSM可以將用戶和物品映射到一個共享的語義空間中，進一步實現(xiàn)基于內(nèi)容的推薦。在此基礎(chǔ)上，從多個數(shù)據(jù)源學(xué)習(xí)聯(lián)邦模型，以獲得更豐富的用戶級特征，提高了FL-MV-DSSM的推薦性能。此外，F(xiàn)L-MV-DSSM還提供了一種新的聯(lián)邦多視圖設(shè)置，所有視圖都協(xié)同訓(xùn)練一個模型，且視圖之間不存在原始數(shù)據(jù)交互，每個視圖對物品子模型的貢獻也受到保護，通過加密或?qū)尚艌?zhí)行環(huán)境進行視圖級別隔離，惡意視圖無法通過監(jiān)視其對共享局部物品子模型的更改，從梯度中推斷出正常視圖的原始數(shù)據(jù)。

2.6.4 基于元學(xué)習(xí)的聯(lián)邦個性化推薦框架

FedNewsRec獲取更豐富用戶個性化信息的思想與元學(xué)習(xí)的思想不謀而合，相對應(yīng)地，Lin Y J等人[115]提出了一種聯(lián)邦元學(xué)習(xí)推薦系統(tǒng)框架元矩陣分解MetaMF，針對不同的客戶端，學(xué)習(xí)一個較小規(guī)模的個性化本地模型，在減少資源消耗的同時，獲得高于基線方法的預(yù)測準(zhǔn)確度，且對新用戶的適應(yīng)只需要幾個更新步驟。此外，為了得到更優(yōu)的推薦性能，還可以像參考文獻[34]那樣使用更強大的深度因子分解機模型。

2.7 聯(lián)邦推薦系統(tǒng)的優(yōu)化

在原來的聯(lián)邦推薦算法中，客戶端的選擇是隨機的，更新梯度信息的聚合也只是簡單的加權(quán)平均過程（稱為FedAvg[48]）。在提高收斂速度和減少帶寬消耗上還有很大的改進空間。

Muhammad K等人[116]提出了一種聯(lián)邦學(xué)習(xí)算法FedFast，以提升FedAvg的效率，提高聯(lián)邦推薦系統(tǒng)的表現(xiàn)。其核心創(chuàng)新點是提出了兩種算法：①ActvSAMP可以基于聚類算法選擇更具代表性的訓(xùn)練參與者；②ActvAGG對不同嵌入采取不同的聚合方式，合并訓(xùn)練模型，加速模型收斂。

ActvSAMP算法將K個參與者劃分為p組，每輪選取m個參與者參加本輪訓(xùn)練。參考文獻[111]使用其他具有隱私保護屬性的特征（如所處地區(qū)、設(shè)備類型等）進行聚類，將具有相似嵌入的參與者劃分到同一個聚類中。隨后從每個聚類中挑選出區(qū)別較大的客戶端作為代表用戶參與訓(xùn)練。

有別于常規(guī)的FedAvg僅對局部模型參數(shù)進行加權(quán)平均來更新全局模型的權(quán)重矩陣的做法，F(xiàn)edFast使用ActvAGG算法對3個部分的參數(shù)進行更新：用戶嵌入、物品嵌入、模型權(quán)重矩陣。在用戶嵌入的學(xué)習(xí)過程中，任何代表用戶學(xué)習(xí)到的參數(shù)更新，都將在乘以大小隨迭代輪次t降低的折扣系數(shù)exp(-t) 后應(yīng)用到與其處于相同聚類的從屬用戶上。這樣就可以在僅計算少量用戶的梯度更新的前提下，有效加快最終收斂，減少單輪算力消耗。

但鑒于參考文獻[116]的基線算法只有FedAvg，比較意義有限。此外，該方法使用的聚類算法時間復(fù)雜度較高，影響了模型全局表現(xiàn)，且在通信輪次和每輪通信流量之間進行了權(quán)衡，這意味著更新時需要額外的網(wǎng)絡(luò)開銷。具體地，表4給出了聯(lián)邦推薦系統(tǒng)部署實踐的優(yōu)劣勢對比。

表4 聯(lián)邦推薦系統(tǒng)部署實踐的優(yōu)劣勢

2.8 其他聯(lián)邦推薦系統(tǒng)實際應(yīng)用

針對推薦系統(tǒng)的另一個子課題排序?qū)W習(xí)（learning to rank，LTR），Kharitonov E[117]設(shè)計了一個基于差分隱私的隱私保護聯(lián)邦在線學(xué)習(xí)排名（federated online learning to rank，F(xiàn)OLtR）系統(tǒng)，用于對在線學(xué)習(xí)的效果進行評估，取得了接近基線方法的水準(zhǔn)，且具備一定的處理噪聲隱私信息的能力。

Trienes J等人[118]提出在去中心化的社交網(wǎng)絡(luò)上使用推薦算法，以解決大規(guī)模用戶監(jiān)視和濫用用戶數(shù)據(jù)影響選舉公平的問題。作者使用聯(lián)邦環(huán)境社交網(wǎng)絡(luò)收集大量無偏樣本，分別結(jié)合協(xié)同過濾和拓?fù)鋱D設(shè)計了相應(yīng)的推薦器，并證實協(xié)同過濾方法優(yōu)于拓?fù)浞椒ā?/p>

更具實操性地，Tan B等人[119]部署了一個實用的聯(lián)邦推薦框架，實現(xiàn)了大量流行算法，支持各種在線推薦服務(wù)。該系統(tǒng)由數(shù)據(jù)層、算法層、服務(wù)層和接口層組成，支持內(nèi)容推薦、產(chǎn)品推薦、在線廣告等各種在線應(yīng)用。算法層有通用矩陣因子化、SVD、因子化機、廣度與深度學(xué)習(xí)等方法。在聯(lián)邦學(xué)習(xí)的環(huán)境下，將算法層建立在FATE框架上，并發(fā)布在線內(nèi)容推薦演示。

3 基于聯(lián)邦學(xué)習(xí)的推薦系統(tǒng)研究方向展望

本文討論了目前聯(lián)邦學(xué)習(xí)與推薦系統(tǒng)的結(jié)合情況，并對基于聯(lián)邦學(xué)習(xí)的實現(xiàn)方法進行了大致的分類梳理，在文獻調(diào)研過程中，發(fā)現(xiàn)目前二者的結(jié)合工作還不是很緊密，主要集中于對傳統(tǒng)的推薦模型（如協(xié)同過濾）進行聯(lián)邦化改造上，聯(lián)邦學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用仍然處于起步階段，實際應(yīng)用層面需要更多的研究與討論。

下面筆者對推薦系統(tǒng)場景下的聯(lián)邦學(xué)習(xí)與傳統(tǒng)技術(shù)的結(jié)合提出6個可能的研究方向。

（1）缺少部分用戶數(shù)據(jù)時的可解釋性問題

推薦系統(tǒng)的可解釋性指在給予用戶推薦結(jié)果的同時，展示對結(jié)果的支持論據(jù)或推薦解釋，以降低用戶反感度，增強推薦說服力。由于使用了其他參與方的數(shù)據(jù)共同生成推薦結(jié)果，傳統(tǒng)的提高推薦系統(tǒng)解釋性的方法不再適用，如何在缺少他方原始數(shù)據(jù)的情況下生成可信度高的解釋結(jié)果，降低用戶反感度，依然是比較冷門的研究方向。由于聯(lián)邦推薦系統(tǒng)嚴(yán)格保護本地用戶信息，無法直接基于用戶特征生成可讀性解釋，可以考慮利用知識圖譜等技術(shù)建立起本地用戶特征與全局物品特征之間的關(guān)聯(lián)關(guān)系，對用戶進行推薦與解釋。此外，由于聯(lián)邦推薦系統(tǒng)在不同的客戶端上可以采用個性化推薦模型，亟須設(shè)計與模型無關(guān)的可解釋推薦框架，在不傳輸客戶端敏感信息、不逐一設(shè)計解釋方案的前提下，給出全局推薦說明，以提高傳統(tǒng)的推薦系統(tǒng)可解釋性增強方法的可擴展性。

（2）聯(lián)邦推薦系統(tǒng)的安全性證明與維護設(shè)想

傳統(tǒng)的安全攻擊與防御方法可以應(yīng)用于聯(lián)邦推薦場景的不同進程當(dāng)中，如Ribero M等人[120]詳細(xì)闡述了差分隱私算法在聯(lián)邦推薦系統(tǒng)通信環(huán)節(jié)中的應(yīng)用，Hu H S等人[121]則在本地處理環(huán)節(jié)引入了局部敏感哈希。針對惡意參與方污染或攻擊聚合環(huán)節(jié)，Blanchard P等人[122]提出的Krum方法與Mhamdi E M E等人[123]提出的Bulyan模型參數(shù)聚合方法可以有效防御拜占庭攻擊，但均犧牲了收斂速度和準(zhǔn)確率，對每輪參與者的數(shù)量以及計算復(fù)雜度也有更高要求。具體地，針對聯(lián)邦推薦場景研究更有效的防御方法，對于增強參與方的互信具有重大現(xiàn)實意義，值得更多的研究者關(guān)注。

（3）對更多深度學(xué)習(xí)推薦系統(tǒng)的聯(lián)邦化改造

深度學(xué)習(xí)技術(shù)在推薦系統(tǒng)上已經(jīng)得到了十分廣泛的應(yīng)用，采用深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的推薦模型能夠?qū)W習(xí)到更抽象、更稠密的用戶與項目的表示，以及二者交互的非線性結(jié)構(gòu)特征，產(chǎn)生更精準(zhǔn)的推薦結(jié)果。但是具體到與聯(lián)邦學(xué)習(xí)結(jié)合的場景，大部分工作仍停留于協(xié)同過濾等傳統(tǒng)推薦算法，對于各種深度模型的結(jié)合效果，特別是不同神經(jīng)網(wǎng)絡(luò)的梯度傳輸與聚合，需要不同的標(biāo)準(zhǔn)重新進行評估，以及繼續(xù)探索聯(lián)邦深度推薦系統(tǒng)的可能性。Wang H等人[124]針對各種現(xiàn)代神經(jīng)網(wǎng)絡(luò)（如卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)）的聯(lián)邦學(xué)習(xí)環(huán)境，提出了通過匹配和平均隱藏元素，以分層方式構(gòu)建共享全局模型的訓(xùn)練方法FedMA。這一方法有望被應(yīng)用于更多使用復(fù)雜神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)的聯(lián)邦化改造上。

（4）在保護隱私的前提下充分利用用戶數(shù)據(jù)

現(xiàn)有的聯(lián)邦推薦系統(tǒng)大多僅使用了用戶的物品交互信息，并在“數(shù)據(jù)孤島”模擬方式上采取了簡單的比例分割法，而現(xiàn)實情況往往更加復(fù)雜，諸如需要多少數(shù)據(jù)量才能共同訓(xùn)練出較精準(zhǔn)的推薦系統(tǒng)、數(shù)據(jù)在客戶端間的不同分布情況會如何影響聯(lián)邦推薦系統(tǒng)的性能、傳統(tǒng)推薦器使用的額外數(shù)據(jù)（社交數(shù)據(jù)、時空數(shù)據(jù)等）在聯(lián)邦推薦系統(tǒng)中是否仍然有效等問題仍未得到解答。

（5）制定符合實際的參與方貢獻評估策略

由于聯(lián)邦推薦系統(tǒng)使用多方數(shù)據(jù)共同產(chǎn)生推薦結(jié)果，不同客戶端從這一聯(lián)合訓(xùn)練過程中得到的收益并不相等，因此需要制定公平的定價策略，科學(xué)評估參與方的貢獻，協(xié)調(diào)相關(guān)方的利益。傳統(tǒng)的特征重要性評估方法只能評估全局特征的重要性，在聯(lián)邦推薦系統(tǒng)上無法直接使用。最初的聯(lián)邦推薦系統(tǒng)貢獻評估方法[125-126]多使用博弈論中的沙普利值（Shapley value，SV）作為衡量指標(biāo)，但其計算復(fù)雜度過高，嚴(yán)重影響了模型收斂速度，增加了通信成本，并且其數(shù)值與使用的推薦模型強相關(guān)，同一參與用戶在不同的模型下的SV也會不同[127]。對于聯(lián)邦推薦場景，至今仍缺少多數(shù)人認(rèn)同的貢獻評估策略，這對于聯(lián)邦推薦系統(tǒng)的應(yīng)用落地仍是巨大的阻礙，是值得學(xué)術(shù)界與工業(yè)界關(guān)注的研究方向。

（6）利用聯(lián)邦學(xué)習(xí)進行跨領(lǐng)域信息融合的推薦

隨著數(shù)據(jù)時代的到來，用戶無時無刻不在多個領(lǐng)域產(chǎn)生數(shù)據(jù)，但現(xiàn)實中融合同一用戶在不同平臺上的數(shù)據(jù)進行跨領(lǐng)域推薦往往止步于平臺間的不互信甚至對立，用戶隱私保護法規(guī)往往也限制了多領(lǐng)域知識的融合。借助聯(lián)邦學(xué)習(xí)打破“數(shù)據(jù)孤島”的能力，并結(jié)合深度學(xué)習(xí)技術(shù)，可以將不同平臺間的各類數(shù)據(jù)以嵌入式表示等方法構(gòu)建深層預(yù)測模型，并共同訓(xùn)練產(chǎn)生令人滿意的推薦結(jié)果。未來，如何更好地利用聯(lián)邦學(xué)習(xí)融合跨領(lǐng)域信息，有效緩解數(shù)據(jù)稀疏問題與冷啟動問題，將是聯(lián)邦推薦系統(tǒng)的重點研究方向。

4 結(jié)束語

現(xiàn)有文獻在發(fā)展聯(lián)邦推薦系統(tǒng)方面已經(jīng)付出了很多努力，對當(dāng)前的聯(lián)邦推薦系統(tǒng)進行完整的概述和總結(jié)是很有意義的。受以前的聯(lián)邦系統(tǒng)的啟發(fā)，筆者概述了基于聯(lián)邦學(xué)習(xí)的推薦，討論了幾種最新的聯(lián)邦推薦系統(tǒng)的獨特屬性和相關(guān)的挑戰(zhàn)。在此基礎(chǔ)上，還對現(xiàn)有的聯(lián)邦推薦系統(tǒng)的特點和設(shè)計進行了比較，并對聯(lián)邦推薦場景的研究方向做了展望?？梢灶A(yù)見，在不久的將來，聯(lián)邦推薦系統(tǒng)將打破壁壘，充分利用所有的數(shù)據(jù)，在保護各方數(shù)據(jù)安全的前提下進行準(zhǔn)確的推薦，人們獲取目標(biāo)信息的效率將發(fā)生巨大的變化。