基于時間權(quán)重因子的隱私保護(hù)推薦算法

王永 王利 冉珣 肖玲

摘要：用戶興趣是隨時間變化的，若對推薦系統(tǒng)中所有時間段的數(shù)據(jù)均采用同等程度的隱私保護(hù)，容易引入不必要的噪聲，降低數(shù)據(jù)效用.為此，提出一種基于時間權(quán)重因子的差分隱私保護(hù)推薦算法.首先，設(shè)計時間權(quán)重因子，用于衡量數(shù)據(jù)重要性.然后，根據(jù)時間權(quán)重因子劃分隱私預(yù)算，對不同時間段的數(shù)據(jù)施加不同強度的隱私保護(hù).在此基礎(chǔ)上，構(gòu)建基于差分隱私的概率矩陣分解模型，用于完成個性化推薦.實驗結(jié)果表明，該算法在滿足隱私保護(hù)的條件下，能夠更有效地保留數(shù)據(jù)效用，提高推薦結(jié)果的準(zhǔn)確性.

關(guān)鍵詞：推薦系統(tǒng)；矩陣分解；隱私保護(hù)；差分隱私；時間權(quán)重因子

中圖分類號：TP399文獻(xiàn)標(biāo)志碼：A

Privacy Protection Recommendation Algorithm Based on Time Weight Factor

WANG Yong，WANG Li，RAN Xun，XIAO Ling

（Key Laboratory of Electronic Commerce and Logistics，Chongqing University of Posts and Telecommunications，Chongqing 400065，China）

Abstract：User interests change over time. If the same level of privacy protection is used for data of all periods in the recommender systems，it is easy to introduce unnecessary noise and reduce data utility. Therefore，a differential privacy protection recommendation algorithm based on the time weight factor is proposed. The algorithm first designs a time weight factor to measure the importance of data and then allocates the different privacy budgets to the data according to the time weight factor. That is，different intensity of privacy protection is performed on the data in different periods. Moreover，a probability matrix factorization model based on differential privacy is constructed for a personalized recommendation. Experimental results show that the proposed algorithm can preserve data utility more effectively and improve the accuracy of recommendation results under the condition of privacy protection.

Key words：recommender systems；matrix factorization；privacy protection；differential privacy；time weight factor

隨著網(wǎng)絡(luò)中數(shù)據(jù)的爆炸式增長，用戶有效獲取有用信息的難度日益增加.推薦算法結(jié)合用戶的歷史數(shù)據(jù)準(zhǔn)確挖掘用戶的真實意圖，提供精準(zhǔn)的個性化推薦服務(wù)[1]，能幫助用戶更快獲得有用的信息.然而，個性化推薦需要利用大量個人信息，存在隱私泄露風(fēng)險[2-3].因此，設(shè)計考慮隱私保護(hù)的推薦算法是非常必要的.

近年來，將差分隱私技術(shù)應(yīng)用到推薦領(lǐng)域取得了良好的進(jìn)展，其中一類典型的處理方式是將隱私保護(hù)技術(shù)與鄰居型協(xié)同過濾算法相結(jié)合.Zhu等人[4]運用指數(shù)機制對鄰居選擇過程進(jìn)行擾動，減小攻擊者推測用戶和項目相似性的概率，防止攻擊者通過鄰居信息推測用戶評分?jǐn)?shù)據(jù).Yang等[5]針對用戶上下文興趣建模時的隱私保護(hù)問題，在計算用戶平均分和相似度時進(jìn)行差分隱私保護(hù)，并利用聚類算法解決數(shù)據(jù)稀疏問題.Mcsherry等人[6]將推薦算法分為學(xué)習(xí)階段和預(yù)測階段，在學(xué)習(xí)階段引入噪聲實現(xiàn)對項目相似度矩陣的保護(hù).Yang等人[7]根據(jù)用戶隱私需求特點，將用戶隱私需求分為3種不同層次，在計算相似度時，對不同層次隱私需求的用戶采用不同強度的拉普拉斯噪聲進(jìn)行擾動，實現(xiàn)個性化差分隱私保護(hù).此類基于鄰居選擇的隱私保護(hù)推薦算法具有良好的可解釋性以及推薦性能.然而，該類算法存在高維數(shù)據(jù)稀疏性問題及可拓展性問題.在歷史數(shù)據(jù)較少時，推薦質(zhì)量不高.

基于矩陣因式分解的推薦算法是另一類主流推薦算法，具有準(zhǔn)確度高、拓展性好、靈活度高等特點. 通過將高維稀疏矩陣分解為兩個低維特征矩陣，能有效解決數(shù)據(jù)稀疏性問題，具有良好的應(yīng)用前景.針對該類算法，Zhang等人[8]根據(jù)用戶自身的特點，設(shè)計了一種特殊的評分?jǐn)?shù)據(jù)采樣機制，實現(xiàn)個性化差分隱私保護(hù).鮮征征等人[9]致力于將SVD++模型與差分隱私機制相結(jié)合，分別從梯度擾動、目標(biāo)函數(shù)擾動、輸出結(jié)果擾動提出基于差分隱私機制和SVD++結(jié)合的模型.鄭劍等[10]提出一種融合標(biāo)簽相似度的差分隱私矩陣分解推薦模型，可以同時保護(hù)標(biāo)簽數(shù)據(jù)和用戶評分.為減少噪聲的引入，Zhang等人[11]設(shè)計一種新的目標(biāo)函數(shù)擾動方式，并通過聯(lián)合學(xué)習(xí)得到差分隱私分解矩陣.

然而，現(xiàn)有的隱私保護(hù)推薦算法大多是基于靜態(tài)數(shù)據(jù)進(jìn)行設(shè)計的.現(xiàn)實中，用戶興趣是一個動態(tài)變化的過程[12-13].用戶興趣變化導(dǎo)致評分?jǐn)?shù)據(jù)的重要程度變化，進(jìn)而使隱私需求相應(yīng)發(fā)生變化.上述算法對推薦系統(tǒng)進(jìn)行隱私保護(hù)時忽略隱私需求的變化，容易引入不必要的噪聲，降低數(shù)據(jù)效用，進(jìn)而導(dǎo)致推薦質(zhì)量降低.為解決上述問題，本文從用戶興趣漂移的行為數(shù)據(jù)出發(fā)，將時間因素作為度量隱私保護(hù)程度的關(guān)鍵點，提出一種基于時間權(quán)重因子的隱私保護(hù)推薦算法.設(shè)計時間權(quán)重因子刻畫數(shù)據(jù)對用戶的重要性，對不同時間段的數(shù)據(jù)根據(jù)其重要性進(jìn)行不同強度的隱私保護(hù).所提出的算法旨在充分保障用戶隱私安全的條件下，有效提升數(shù)據(jù)的有效性，進(jìn)而提升推薦質(zhì)量.

1預(yù)備知識

1.1概率矩陣分解

概率矩陣分解（Probability Matrix Factorization，PMF）算法作為推薦系統(tǒng)的主流算法之一，在稀疏度高的評分矩陣中表現(xiàn)出良好的推薦精確度[14].相關(guān)評分矩陣R的條件分布如下：

當(dāng)U、V均為μ=0的高斯球面先驗分布時，U、V的概率密度函數(shù)分布分別為：

對式（2）的后驗分布取對數(shù)進(jìn)行分析，計算公式如下：

式中：C為常量值.求解以式（3）為目標(biāo)函數(shù)的最大化問題，就能訓(xùn)練出用戶因子矩陣U和項目因子矩陣V，然后根據(jù)U和V進(jìn)行預(yù)測評分，并根據(jù)預(yù)測結(jié)果為用戶提供推薦服務(wù).以上問題可以轉(zhuǎn)換為求解如下最小化問題：

1.2差分隱私

差分隱私是當(dāng)前主流的隱私保護(hù)技術(shù)，本文所涉及的重要相關(guān)概念如下：

定義1ε-差分隱私[15]：D和D′為相差一條記錄的鄰居數(shù)據(jù)集.給定隨機算法A，當(dāng)A在數(shù)據(jù)集D和D′上的任意輸出結(jié)果O[O∈Range（A）]滿足式（5），則稱算法A滿足ε-差分隱私.

Pr[A（D）∈S]≤e^ε×Pr[A（D′）∈S]（5）

式中：Pr[·]表示事件發(fā)生的概率；ε為隱私預(yù)算.

定義2ρ-個性化差分隱私[16]：設(shè)隨機算法A：D→Range（A），并且用戶-項目評分的隱私預(yù)算矩陣ρ=[ε_ij]_N×M.如果算法滿足式（6），稱隨機算法A滿足ρ-個性化差分隱私.

式中：ε_ij表示r_ij的個性化隱私預(yù)算.

2應(yīng)用場景

本研究的應(yīng)用場景為集中式推薦系統(tǒng)，采用PMF算法為推薦模型.系統(tǒng)被認(rèn)為是可靠和可信賴的，這類系統(tǒng)通過收集并利用用戶評分?jǐn)?shù)據(jù)進(jìn)行模型訓(xùn)練，為用戶提供個性化推薦服務(wù).然而，用戶評分不僅直接反映其興趣偏好，還隱含用戶的性別、年齡、收入水平等信息，用戶的評分信息如果被他人獲取，則個人隱私泄露風(fēng)險增加.因此，推薦系統(tǒng)應(yīng)當(dāng)著力于保障系統(tǒng)中用戶評分信息的安全.

文獻(xiàn)[11]表明，一個具有隱私保護(hù)的推薦系統(tǒng)應(yīng)該確保攻擊者不能學(xué)習(xí)用戶因子矩陣U和項目因子矩陣V，否則，系統(tǒng)任何評分?jǐn)?shù)據(jù)都可以由兩個因子矩陣內(nèi)積U^T·V推導(dǎo)出來.為了抵御這種攻擊，推薦系統(tǒng)需要保密儲存U，只發(fā)布V.此外，發(fā)布V有助于解決項目評分?jǐn)?shù)據(jù)不足問題.例如，不同的推薦系統(tǒng)，擁有相似的項目集，但用戶群不同.通過與其他推薦系統(tǒng)共享V，推薦者可以使用本地用戶信息進(jìn)一步訓(xùn)練V.這樣，推薦系統(tǒng)就可以利用多個來自其他系統(tǒng)的數(shù)據(jù)進(jìn)行模型訓(xùn)練，有效實現(xiàn)信息共享，緩解信息不足的問題，改進(jìn)推薦系統(tǒng)的性能.

然而，項目因子矩陣V包含用戶信息，直接發(fā)布真實的V依然會帶來隱私問題.假設(shè)攻擊者擁有除用戶評分r_ab之外的其他所有用戶的評分?jǐn)?shù)據(jù)和真實的V.攻擊者想要獲得r_ab.可以采用以下兩種典型的攻擊方式：

2）重構(gòu)攻擊[17]：根據(jù)真實項目因子矩陣V，攻擊者只需要求解如下問題就能夠得到用戶a的信息u_a：

為了抵御這兩種攻擊方式，對推薦系統(tǒng)進(jìn)行如下處理：首先，推薦系統(tǒng)訓(xùn)練不加擾動的推薦模型，得到U并將其保密儲存.隨后，將用戶因子矩陣U作為常數(shù)，訓(xùn)練滿足差分隱私的推薦模型得到并發(fā)布擾動后的項目因子矩陣V.擾動后的V可以防止攻擊者通過獲取任意兩個項目因子之間的精確距離，能夠?qū)ο嗨菩赃M(jìn)行有效保護(hù).V也可以防止攻擊者獲得準(zhǔn)確的項目因子矩陣以抵御重構(gòu)攻擊.此外，其他推薦系統(tǒng)仍然可以利用V訓(xùn)練自己的模型，提高推薦質(zhì)量.

綜上所述，在本文方案中，為保護(hù)用戶的評分信息，用戶因子矩陣U和項目因子矩陣V均需要進(jìn)行保護(hù).其中，U通過在可信系統(tǒng)內(nèi)部以保密儲存的方式進(jìn)行保護(hù)，V通過引入差分隱私以添加噪聲的方式進(jìn)行保護(hù).

3基于時間權(quán)重因子的隱私保護(hù)推薦算法

當(dāng)前大多數(shù)隱私保護(hù)推薦算法對評分?jǐn)?shù)據(jù)進(jìn)行隱私保護(hù)時沒有考慮時間的影響，將所有時間段的評分?jǐn)?shù)據(jù)視為同等重要程度.然而，時間因素對推薦系統(tǒng)有著重要的影響，且具有很好的研究價值.費洪曉等[18]運用時間窗口調(diào)整用戶興趣漂移帶來的影響；Pan等[19]提出時間距離越近的信息在推薦時更加受重視；Jiang等[20]將時間權(quán)重信息應(yīng)用到用戶評分?jǐn)?shù)上，削弱用戶過去興趣，突出現(xiàn)在的興趣；蘭燕等.認(rèn)為用戶具有興趣漂移的特性，即用戶興趣是變化的，且信息的影響力隨時間階段性衰減；Chen等.認(rèn)為發(fā)生在不同時間的信息對表示用戶當(dāng)前興趣的貢獻(xiàn)值是不一樣的，并引入4種遺忘曲線以更好地把握用戶近期的興趣.上述研究表明，用戶興趣偏好會隨著時間變化，發(fā)生時間不同的評分?jǐn)?shù)據(jù)對用戶重要程度存在差異，近期數(shù)據(jù)更能反映用戶當(dāng)下的興趣偏好，更為重要.對所有時間段的數(shù)據(jù)采用相同程度的隱私保護(hù)，容易引入不必要的噪聲，降低推薦算法的性能.因此，有必要考慮時間的影響，對不同時間段的評分?jǐn)?shù)據(jù)施加不同強度的隱私保護(hù).從而達(dá)到在保障用戶隱私安全的前提下，不降低數(shù)據(jù)的有效性，提升推薦的準(zhǔn)確度.

為了論述方便，相關(guān)符號說明如表1所示.

本文設(shè)計了基于時間權(quán)重因子的隱私保護(hù)推薦方案，總體步驟如下：

步驟1根據(jù)3.1節(jié)的算法1計算時間權(quán)重因子和評分的隱私預(yù)算；

步驟2利用步驟1得到的隱私預(yù)算，根據(jù)3.2節(jié)的算法2對評分?jǐn)?shù)據(jù)進(jìn)行抽樣，得到抽樣數(shù)據(jù)集D_s；

步驟3利用抽樣數(shù)據(jù)集D_s，根據(jù)3.3節(jié)的算法3，生成具有差分隱私保護(hù)作用的PMF模型.

本文方案對應(yīng)的整體框架如圖1所示.

3.1考慮時間權(quán)重因子的隱私預(yù)算

時間對興趣點具有深遠(yuǎn)和廣泛的影響.首先用戶興趣會因自身成長、階段性角色的轉(zhuǎn)變等而發(fā)生變化.其次，項目本身也具有時效性，如項目的流行性、生命周期等.興趣點的改變導(dǎo)致評分?jǐn)?shù)據(jù)對推薦系統(tǒng)的重要程度存在差異.因此，引入時間權(quán)重因子用于調(diào)節(jié)信息價值在時間變化中的衰減情況.時間權(quán)重因子的設(shè)計主要考慮兩個因素：評分重要性的半衰期T₀[23]，即評分從發(fā)布到其重要性減半所需要的時間；評分重要性的保持期T₁[21]，即評分重要性基本維持不變的時長.根據(jù)以上兩個概念，構(gòu)建時間權(quán)重因子F（t_ij）為：

式中：t_now為計算推薦結(jié)果的時間；t_ij為評分r_ij發(fā)生的時間；floor（）為階梯函數(shù).權(quán)重因子F（t_ij）隨（t_now-t_ij）的增大而減小，表示評分發(fā)生的時間越長，用戶興趣越可能發(fā)生改變，重要程度越小.

時間權(quán)重因子表示評分的重要程度.時間權(quán)重因子越大，評分重要程度越高，應(yīng)采用較高的隱私保護(hù)強度.當(dāng)時間權(quán)重因子低于所設(shè)置的閾值時，表明評分信息的重要程度下降，應(yīng)降低其隱私保護(hù)強度以減少噪聲的引入.通過該方式對評分?jǐn)?shù)據(jù)進(jìn)行隱私保護(hù)更加符合實際情況，能夠有效提升推薦的準(zhǔn)確性.針對每個評分，采用如下隱私預(yù)算分配公式：

式中：ε為統(tǒng)一隱私預(yù)算；ε_ij表示評分r_ij的隱私預(yù)算；AVG（F（t））表示時間權(quán)重因子閾值.限制隱私預(yù)算范圍為：

隱私預(yù)算描述了隱私保護(hù)的強弱程度，隱私預(yù)算越小，相應(yīng)的隱私保護(hù)強度越高.

基于上述分析，設(shè)計考慮時間權(quán)重因子的隱私預(yù)算分配算法如算法1所示.

3.2評分?jǐn)?shù)據(jù)抽樣

數(shù)據(jù)中每個評分的隱私預(yù)算存在差異，為了根據(jù)評分的隱私預(yù)算進(jìn)行不同強度的隱私保護(hù)，采用隨機抽樣算法對評分?jǐn)?shù)據(jù)進(jìn)行抽樣.隨機抽樣算法定義如下：

其中r_ij∈R.未被抽中的評分，將其評分值設(shè)為0.

結(jié)合隱私預(yù)算的隨機抽樣算法如算法2所示.

在隨機抽樣算法中，評分?jǐn)?shù)據(jù)被分為兩個兩部分：①算法未抽中的評分?jǐn)?shù)據(jù).當(dāng)評分?jǐn)?shù)據(jù)的隱私預(yù)算低于所設(shè)定閾值時，有一定概率不被抽中.未被抽中的數(shù)據(jù)被設(shè)置為0，直接不參與推薦流程，能夠最大限度保護(hù)這些數(shù)據(jù).②算法抽中的評分?jǐn)?shù)據(jù)D_s.被抽中的數(shù)據(jù)D_s將作為輸入項，用于3.3節(jié)的模型訓(xùn)練中，實現(xiàn)具有隱私保護(hù)的個性化推薦.

3.3基于隱私保護(hù)的概率矩陣分解模型

為了實現(xiàn)PMF模型與隱私保護(hù)的結(jié)合，采用對目標(biāo)函數(shù)添加擾動的方式.擾動后的目標(biāo)函數(shù)如下：

在模型訓(xùn)練中，首先，用交替最小二乘法求解式（4）所示的不加擾動的PMF目標(biāo)函數(shù).

1）固定U，對式⑷的v_j求偏導(dǎo)?E（U，V）/?v_j=0，得到求解v_j的公式：

v_j=（U^TU+λ_uI）^-1U^Tr_j

2）固定V，對式（4）的u_i求偏導(dǎo)?E（U，V）/?u_i=0，得到求解u_i的公式：

u_i=（V^TV+λ_vI）^-1V^Tr_i

4算法分析

4.1安全性分析

引理1[8]對概率矩陣分解模型的目標(biāo)函數(shù)添加擾動的方式如下：

量，求解式（12）得到的項目因子矩陣V滿足ε-差分隱私.

引理2[8]令R表示評分?jǐn)?shù)據(jù)集，ρ表示用戶隱私預(yù)算矩陣.抽樣算法RS（R，ρ，t）以式（13）所示的概率π（r_ij，t）對原始數(shù)據(jù)集R進(jìn)行隨機抽樣.將RS（R，ρ，t）抽樣后的數(shù)據(jù)作為輸入集，訓(xùn)練任意滿足t-差分隱私的推薦模型，則所得的模型滿足ρ-個性化差分隱私.

式中：t是一個可調(diào)整的值.

定理1本文提出的基于時間權(quán)重因子的隱私保護(hù)推薦方案滿足ρ-個性化差分隱私.

證明本文方案包括算法1、算法2、算法3，分別對這3種算法進(jìn)行分析，證明本文方案的安全性.

則

證畢

4.2復(fù)雜度分析

在本文算法中，算法1是對原始評分矩陣進(jìn)行遍歷，時間復(fù)雜度為O（NM）.類似地，算法2時間復(fù)雜度為O（NM）.算法3時間開銷與其梯度下降更新公式相關(guān)，其時間復(fù)雜度為O（ωN）或O（ωM）.則本文算法的整體時間復(fù)雜度為O[N（M+ω）]或者O[M（N+ω）].同理，算法1和算法2的空間復(fù)雜度均為O（NM）；算法3的空間復(fù)雜度為O（NK）或者O（KM）.由于K<<（M或N），故算法的整體空間復(fù)雜度近似于O（NM）.綜上所述，本文算法的時間和空間復(fù)雜度均與數(shù)據(jù)數(shù)量呈正線性關(guān)系，應(yīng)用于大規(guī)模數(shù)據(jù)運算時復(fù)雜度不會顯著增加.

5實驗結(jié)果及分析

實驗采用推薦系統(tǒng)領(lǐng)域常用的Movielens-100k、Movielens-1M、Epinions、Movielens-10M、AmazonBooks 5個數(shù)據(jù)集對算法性能進(jìn)行分析.Movielens- 10M、Amazon-Books數(shù)據(jù)集用于測試算法在大規(guī)模數(shù)據(jù)集上的性能.數(shù)據(jù)集包含的統(tǒng)計信息如表2所示.

實驗的訓(xùn)練集與測試集比例為4：1，評價指標(biāo)為均方根誤差（RMSE）.實驗中默認(rèn)參數(shù)設(shè)置為：隱因子維度K = 5，迭代次數(shù)ω= 50，正則化參數(shù)兒，= 鼠=1.為保證結(jié)果的有效性，對每個算法進(jìn)行5次實驗，取均值作為實驗結(jié)果.所有實驗均基于Python 實現(xiàn)，使用PC機執(zhí)行，操作系統(tǒng)為Windows 10 64b，CPU 是Intel?CoreTM i7-9700 CPU @ 3.00GHz，RMA 是16-GB.

實驗主要檢驗3個問題：①時間權(quán)重因子對算法準(zhǔn)確性的影響；②本文算法預(yù)測的準(zhǔn)確性；③算法的效率.

5.1時間權(quán)重因子對算法準(zhǔn)確性的影響

信息重要性衰減曲線如圖2所示.橫軸表示距離評分的時間，縱軸表示信息重要程度隨時間的衰減情況.

由式（8）可知，在時間權(quán)重因子曲線中，信息重要性的衰減程度與參數(shù)T₀與T₁相關(guān).本文算法在進(jìn)行隱私保護(hù)時結(jié)合了時間權(quán)重因子.為實現(xiàn)算法的最佳性能，需要首先確定最優(yōu)的時間權(quán)重因子參數(shù).本節(jié)實驗T₁分別取20、25、30.為方便對比，本節(jié)實驗只呈現(xiàn)算法中引入時間權(quán)重因子的結(jié)果.實驗統(tǒng)一隱私預(yù)算ε=0.1.實驗結(jié)果如圖3所示.

由圖3可知，在Movielens、Epinions與AmazonBooks數(shù)據(jù)集上，算法的準(zhǔn)確性由于時間權(quán)重因子參數(shù)不同存在差異.在圖3（a）的Movielens-100K數(shù)據(jù)集中，當(dāng)T₁= 20時，算法的RMSE整體更低，預(yù)測準(zhǔn)確性更高，且當(dāng)T₀為2時預(yù)測精確度最好.此時，算法對T₁的改變比較敏感，對T₀的改變不敏感.圖3 （b）中，RMSE的變化情況與圖3 （a）類似，在0.913 62～0.913 82 內(nèi)波動，在T₁= 20、T₀= 6 時推薦效果最優(yōu).由圖3 （c）（d）可知，T₁= 20、T₀= 4時算法性能最好.圖4（e）中，RMSE在T₁值不同時差異較大，但在T₁值相同時波動較小，在T₁= 20、T₀= 2時取得最優(yōu)結(jié)果.上述結(jié)果差異主要是由于對于相同時間段發(fā)生的評分，其時間權(quán)重因子會隨著參數(shù)變化而變化，進(jìn)而隱私保護(hù)強度水平不同，最終改變算法的預(yù)測準(zhǔn)確性.

5.2算法性能對比

為驗證模型的有效性，將本文算法與其他4種基于矩陣分解的隱私保護(hù)算法進(jìn)行比較.涉及的對比算法有：①基于隨機梯度擾亂的矩陣分解（Private Stochastic Gradient Perturbation，PSGD）算法[24].將差分隱私與矩陣因式分解推薦相結(jié)合的典型算法，采用隨機梯度下降法更新因子矩陣，在每次迭代過程中加入拉普拉斯噪聲.②基于一般差分隱私保護(hù)的概率矩陣分解（Differentially Private Probabilistic Matrix Factorization，DP-PMF）算法[8].未引入時間權(quán)重因子，通過目標(biāo)擾動法對PMF的目標(biāo)函數(shù)進(jìn)行擾動. ③基于個性化差分隱私保護(hù)的概率矩陣分解（Per- sonalized Differentially Private Probabilistic Matrix Factorization，PDP-PMF）算法[8].將用戶分為不同隱私關(guān)注人群并以此劃分隱私預(yù)算，根據(jù)評分項的隱私預(yù)算對原始數(shù)據(jù)進(jìn)行隨機抽樣，并對抽樣后的數(shù)據(jù)采用一般的差分隱私保護(hù)方案.④基于交替最小二乘法輸出加擾的矩陣分解（Private Alternating Least Squares，PALS）算法[25].將差分隱私與矩陣因式分解相結(jié)合，采用交替最小二乘法更新因子矩陣，并對輸出進(jìn)行擾動.為合理地進(jìn)行比較，算法②和算法④均只對項目因子矩陣進(jìn)行擾動.根據(jù)5.1節(jié)實驗結(jié)果確定T₀和T₁，在Movielens-100k、Movielends- 1M、Movielens-10M、Epinions、Amazon-Books數(shù)據(jù)集上，測試所有算法在不同隱私預(yù)算下的RMSE.結(jié)果如圖4所示.

在不同數(shù)據(jù)集中，本文算法性能表現(xiàn)均優(yōu)于其他算法.以圖4（b）為例，本文算法RMSE在隱私預(yù)算ε=1時比其他算法中性能最優(yōu)的算法（PSGD）低0.084.并且，本文算法對隱私不敏感的這種特性使得算法在高隱私保護(hù)水平下，準(zhǔn)確性優(yōu)勢更加明顯.例如，在ε=0.1時，本文算法的RMSE比PSGD算法低0.58.

此外，本文算法在大規(guī)模、更稠密的數(shù)據(jù)集上有更好的效果.例如，在ε=0.1時，本文算法的RMSE由Movielens-1M算法的0.975 2下降到Movielens- 10M算法的0.876 8.其他算法的準(zhǔn)確性在相同條件下也有增長，比如PSGD算法的RMSE由Movielens- 1M數(shù)據(jù)集的1.490下降到Movielens-10M數(shù)據(jù)集的1.293.但是，由于其他算法忽略了時間因素的影響，容易引入過量的噪聲，在大規(guī)模數(shù)據(jù)集上，效果仍然不如本文算法.如在Amazon-Books數(shù)據(jù)集上，當(dāng)ε=0.1時，本文算法的RMSE比性能最好的算法（PALS）低0.138.如上所述，本文算法在Movielens-10M以及Amazon-Books數(shù)據(jù)集上的表現(xiàn)驗證了其應(yīng)用于大規(guī)模數(shù)據(jù)集上的潛力.

5.3效率對比

為了分析本文算法的效率，對本文算法與PALS、PSGD、DP-PMF、PDP-PMF算法進(jìn)行分析，從理論和實驗兩個方面分析時間和計算開銷.

理論上.由4.2節(jié)可知，本文算法的時間復(fù)雜度為O[N（M+ω）]或者O[M（N+ω）]，算法的時間復(fù)雜度與用戶和項目數(shù)量乘積NM成正比.PSGD、PALS與DP-PMF算法按照統(tǒng)一的隱私預(yù)算添加噪聲，無須在原算法增加額外步驟，故兩個算法時間復(fù)雜度均為O（NM）.PDP-PMF算法在DP-PMF的基礎(chǔ)上增加了用戶隱私預(yù)算分配和評分采樣兩個步驟，增加的計算復(fù)雜度為NM，故算法的時間復(fù)雜度仍為O（NM）.理論分析表明，盡管本文算法增加了時間復(fù)雜度O（Ns）或者O（Ms），但與其他算法仍然在同一數(shù)量范圍O（kNM）內(nèi)，k為常數(shù).

從訓(xùn)練時間和預(yù)測時間進(jìn)行實驗分析.訓(xùn)練時間指算法模型訓(xùn)練完成耗費的時間，可以在用戶使用系統(tǒng)前完成；預(yù)測時間指系統(tǒng)推薦預(yù)測某個用戶評分耗費的時間，也是用戶等待的時間.實驗開銷對比如表3所示.隨著數(shù)據(jù)規(guī)模的增加，所有算法耗費的時間均增多.整體上看，本文算法的時間比PALS和PSGD要少，主要是因為PALS和PSGD算法均對數(shù)據(jù)進(jìn)行了預(yù)處理，計算了每個用戶和項目的均值.在大規(guī)模數(shù)據(jù)集上，這種預(yù)處理會隨著用戶和項目數(shù)量增大耗費更多時間.此外，PALS比PSGD耗費時間多是由于PALS采用交替最小二乘法進(jìn)行優(yōu)化，增加了對矩陣的求逆步驟.PDP-PMF和DP-PMF不需要對數(shù)據(jù)進(jìn)行預(yù)處理，兩個算法的時間整體上均少于PALS和PSGD算法.此外，由于PDP-PMF算法增加了兩個步驟，耗費時間比DP-PMF多.而本文算法由于增加了時間權(quán)重因子計算步驟和隱私預(yù)算分配，本文算法的時間整體上多于PDP-PMF和DP- PMF.

在相同數(shù)據(jù)集上，與其他算法相比，盡管本文算法增加了計算時間，但整體計算開銷差距并不大.例如，在Movielens-10M數(shù)據(jù)集上，本文算法預(yù)測時間比DP-PMF算法多19.92 ms；訓(xùn)練時間為8 100.90 s，比PSGD的2 200.80 s增加約3.6倍.說明盡管本文算法比其他算法耗費的時間更多，但仍然處于同樣的數(shù)量級別.在Movielens-100K數(shù)據(jù)集上，本文算法的訓(xùn)練時間為10.86 s，預(yù)測時間為3.96 ms，而在Amazon-Books數(shù)據(jù)集上的訓(xùn)練時間為36 395.39 s，預(yù)測時間為202.67 ms.說明算法數(shù)據(jù)的增加更多的是增加模型訓(xùn)練的時間，而對用戶偏好的預(yù)測時間影響不大.

6結(jié)論

本文算法的核心思想是從用戶興趣漂移角度出發(fā)，解決現(xiàn)有隱私保護(hù)推薦算法忽略時間的影響導(dǎo)致推薦質(zhì)量下降的問題.通過構(gòu)建時間權(quán)重因子來衡量信息的重要性，并根據(jù)重要性對不同時間段的評分?jǐn)?shù)據(jù)采用不同強度隱私保護(hù).對推薦系統(tǒng)進(jìn)行隱私保護(hù)時，這種方式能夠減少不必要噪聲的引入. 此外，分別從理論和實踐上證明算法可行性.首先從理論角度證明本文算法的安全性，隨后，通過實驗表明，本文算法即使在較強的隱私預(yù)算下也能保證良好的預(yù)測精度，并且其推薦結(jié)果的準(zhǔn)確度也比經(jīng)典的差分隱私推薦算法更高，具有良好的應(yīng)用前景.

參考文獻(xiàn)

[1]劉勝宗，樊曉平，廖志芳，等.基于PMF進(jìn)行潛在特征因子分解的標(biāo)簽推薦[J].湖南大學(xué)學(xué)報（自然科學(xué)版），2015，42 （10）：107-113.

LIU S Z，F(xiàn)AN X P，LIAO Z F，et al. A tag recommending algorithm with latent feature factor jointly factorizing based on PMF [J]. Journal of Hunan University （Natural Sciences），2015，42（10）：107-113.（InChinese）

[2]劉縱橫，汪海濤，姜瑛，等.基于混合神經(jīng)網(wǎng)絡(luò)的序列推薦算法[J].重慶郵電大學(xué)學(xué)報（自然科學(xué)版），2021，33（3）：466-474.

LIU Z H，WANG H T，JIANG Y，et al. Sequence recommendation algorithm based on a hybrid neural network [J]. Journal of Chongqing University of Posts and Telecommunications（Natural Science Edition），2021，33（3）：466-474. （In Chinese）

[3] LIU J，QIN F L. Protection of user data by differential privacy algorithms [J]. International Journal of Network Security，2020，22 （5）：838-844.

[4] ZHU T Q，LI G，REN Y L，et al. Differential privacy for neighborhood-based collaborative filtering [C]//Proceedings of the IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. Niagara Falls，ON，Canada：IEEE，2013：752-759.

[5] YANG S X，ZHU K L，LIANG W. Differential privacy for context-aware recommender systems [C]//2019 IEEE 18th International Conference on Cognitive Informatics & Cognitive Computing.Milan，Italy：IEEE，2019：356-360.

[6] MCSHERRY F，MIRONOV I. Differentially private recommender systems：building privacy into the net[C]//Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining. Paris：ACM，2009：627-635

[7] YANG M M，ZHU T Q，XIANG Y，et al Personalized privacy preserving collaborative filtering[M]//Green，Pervasive，and Cloud Computing Cham：Springer International Publishing，2017：371-385

[8] ZHANG S，LIU L X，CHEN Z L，et al Probabilistic matrix factorization with personalized differential privacy[J]. Knowledge-Based Systems，2019，183：104864.

[9]鮮征征，李啟良，黃曉宇，等.基于差分隱私和SVD++的協(xié)同過濾算法[J].控制與決策，2019，34（1）：43-54.

XIAN Z Z，LI Q L，HUANG X Y，et al Collaborative filtering via SVD++ with differential privacy [J]. Control and Decision，2019，34（1）：43-54 （In Chinese）

[10]鄭劍，王嘯乾.融合標(biāo)簽相似度的差分隱私矩陣分解推薦算法[J].計算機應(yīng)用研究，2020，37（3）：851-855.

ZHENG J，WANG X Q Differential privacy matrix factorization recommendation algorithm fusing tag similarity[J]. Application Research of Computers，2020，37（3）：851-855 （In Chinese）

[11] ZHANG F，LEE V E，RAYMOND CHOO K K JO-DPMF：Differ- entially private matrix factorization learning through joint optimization[J]. Information Sciences，2018，467：271-281

[12] CHEN Y C，HUI L，THAIPISUTIKUL T A collaborative filtering recommendation system with dynamic time decay[J]. The Journal of Supercomputing，2021，77（1）：244-262

[13] ZAREIE A，SHEIKHAHMADI A，JALILI M. Identification of influential users in social networks based on users interest[J]. Information Sciences，2019，493：217-231.

[14] CAO Y L，LI W L，ZHENG D X. A hybrid recommendation approach using LDA and probabilistic matrix factorization[J]. Cluster Computing，2019，22（4）：8811-8821.

[15] DWORK C，ROTH A. The algorithmic foundations of differential privacy[J]. Foundations and Trends in Theoretical Computer Science，2013，9（3/4）：211-407.

[16] JORGENSEN Z，YU T，CORMODE G. Conservative or liberal？personalized differential privacy[C]//2015 IEEE 31st International Conference on Data Engineering. Seoul，Korea （South）：IEEE，2015：1023-1034.

[17] FREDRIKSON M，JHA S，RISTENPART T. Model inversion attacks that exploit confidence information and basic countermea- sures[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. Denver，Colorado，USA：ACM，2015：1322-1333.

[18]費洪曉，戴弋，穆珺，等.基于優(yōu)化時間窗的用戶興趣漂移方法[J].計算機工程，2008，34（16）：210-211.

FEI H X，DAI Y，MU J，et al. Method of drifting user ' s interests based on time window optimization [J]. Computer Engineering，2008，34（16）：210-211.（In Chinese）

[19] PAN H L，WANG J B，ZHANG Z J. A movie recommendation model combining time information and probability matrix factorisation[J]. International Journal of Embedded Systems，2021，14 （3）：239-247.

[20] JIANG W J，CHEN J H，JIANG Y R，et al.A new time-aware collaborative filtering intelligent recommendation system[J]. Computers，Materials & Continua，2019，61（2）：849-859.

[21]蘭艷，曹芳芳.面向電影推薦的時間加權(quán)協(xié)同過濾算法的研究[J].計算機科學(xué)，2017，44（4）：295-301.

LAN Y，CAO F F. Research of time weighted collaborative filtering algorithm in movie recommendation[J]. Computer Science，2017，44（4）：295-301.（In Chinese）

[22] CHEN J R，WEI L D，ULIJI，et al. Dynamic evolutionary clustering approach based on time weight and latent attributes for collaborative filtering recommendation[J]. Chaos，Solitons & Fractals，2018，114：8-18.

[23] BELLOGIN A，CANTADOR I，DIEZ F，et al. An empirical comparison of social，collaborative filtering，and hybrid recommenders [J]. ACM Transactions on Intelligent Systems and Technology，2013，4（1）：1-29.

[24] BERLIOZ A，F(xiàn)RIEDMAN A，KAAFAR M A，et all. Applying differential privacy to matrix factorization[C]//Proceedings of the 9th ACM Conference on Recommender Systems. Vienna，Austria：ACM，2015：107-114.

[25] FRIEDMAN A，BERKOVSKY S，KAAFAR M A. A differential privacy framework for matrix factorization recommender systems [J]. User Modeling and User-Adapted Interaction，2016，26（5）：425-458.