• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多領(lǐng)導者Stackelberg博弈的分層聯(lián)邦學習激勵機制設(shè)計

    2023-11-29 12:12:18耿方興李卓陳昕
    計算機應用 2023年11期
    關(guān)鍵詞:效用聯(lián)邦定價

    耿方興,李卓*,陳昕

    基于多領(lǐng)導者Stackelberg博弈的分層聯(lián)邦學習激勵機制設(shè)計

    耿方興1,2,李卓1,2*,陳昕2

    (1.網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點實驗室(北京信息科技大學),北京 100101; 2.北京信息科技大學 計算機學院,北京 100101)( ? 通信作者電子郵箱lizhuo@bistu.edu.cn)

    分層聯(lián)邦學習中隱私安全與資源消耗等問題的存在降低了參與者的積極性。為鼓勵足夠多的參與者積極參與學習任務(wù),并針對多移動設(shè)備與多邊緣服務(wù)器之間的決策問題,提出基于多領(lǐng)導者Stackelberg博弈的激勵機制。首先,通過量化移動設(shè)備的成本效用與邊緣服務(wù)器的支付報酬,構(gòu)建效用函數(shù)并定義最優(yōu)化問題;其次,將移動設(shè)備之間的交互建模為演化博弈,將邊緣服務(wù)器之間的交互建模為非合作博弈。為求解最優(yōu)邊緣服務(wù)器選擇和定價策略,提出多輪迭代邊緣服務(wù)器選擇算法(MIES)和梯度迭代定價算法(GIPA),前者用于求解移動設(shè)備之間的演化博弈均衡解,后者用于求解邊緣服務(wù)器之間的定價競爭問題。實驗結(jié)果表明,所提算法GIPA與最優(yōu)定價預測策略(OPPS)、歷史最優(yōu)定價策略(HOPS)和隨機定價策略(RPS)相比,可使邊緣服務(wù)器的平均效用分別提高4.06%、10.08%和31.39%。

    分層聯(lián)邦學習;激勵機制;定價策略;多領(lǐng)導者Stackelberg博弈;演化博弈

    0 引言

    隨著移動設(shè)備的普及和網(wǎng)絡(luò)程序的廣泛應用,私人數(shù)據(jù)量呈爆炸式增長。得益于服務(wù)器計算能力與存儲容量的提升,大數(shù)據(jù)驅(qū)動的機器學習方法能夠?qū)崿F(xiàn)大規(guī)模的集中式訓練,該方法通過大量移動設(shè)備將本地數(shù)據(jù)上傳至云服務(wù)器,完成全局模型的訓練。然而,移動設(shè)備所產(chǎn)生的本地數(shù)據(jù)中通常包含重要的私人信息,一旦此類數(shù)據(jù)泄露[1]或被用于預期以外的目的,用戶隱私將受到損害。鑒于上述存在的數(shù)據(jù)安全隱患,用戶不愿將私人數(shù)據(jù)共享至云服務(wù)器。為解決集中式訓練存在的數(shù)據(jù)安全問題,聯(lián)邦學習[2]應運而生。聯(lián)邦學習的分布式設(shè)計使得所有的訓練數(shù)據(jù)保存在設(shè)備本地,移動設(shè)備基于模型所有者發(fā)布的模型,在本地完成參數(shù)更新,實現(xiàn)模型的協(xié)同訓練。

    為達到預期的模型精度,聯(lián)邦學習中的大量模型參數(shù)需要通過復雜的網(wǎng)絡(luò)環(huán)境進行多輪次的數(shù)據(jù)傳輸,因此移動設(shè)備面臨著網(wǎng)絡(luò)擁塞和通信故障的問題。針對上述問題,研究人員提出分層聯(lián)邦學習框架[3],其中移動設(shè)備不直接將本地模型上傳至云端而是上傳至邊緣服務(wù)器。邊緣服務(wù)器作為中轉(zhuǎn)站,聚合移動設(shè)備的模型參數(shù),并上傳至云端實現(xiàn)全局模型的聚合。

    在分層聯(lián)邦學習過程中,當移動設(shè)備參與學習任務(wù)時,不可避免地會消耗設(shè)備資源,包括計算、通信資源等。因此移動設(shè)備無償?shù)刎暙I資源是不切實際的;同時分層聯(lián)邦學習框架仍然面臨各種安全風險,如惡意節(jié)點可以通過中間梯度推斷訓練數(shù)據(jù)的重要信息、邊緣服務(wù)器也可通過生成的對抗網(wǎng)絡(luò)學習客戶訓練數(shù)據(jù)的私人信息[4]。由于這些風險與參與分層聯(lián)邦學習任務(wù)成本的增加,如果沒有足夠的補償,移動設(shè)備可能不愿意參與并上傳訓練后的模型參數(shù)。因此,為促進分層聯(lián)邦學習的持續(xù)發(fā)展需要設(shè)計有效的激勵機制。

    目前基于分層聯(lián)邦學習的激勵機制研究中存在的問題主要包括:

    1)現(xiàn)有的部分聯(lián)邦學習研究中,參與者是完全理性的[5-7],但這種假設(shè)并不符合實際,因為移動設(shè)備的地理位置與網(wǎng)絡(luò)擁塞情況都會影響參與者獲取信息的速度和信息完整性。同時由于邊緣服務(wù)器給予的報酬有限,使得移動設(shè)備之間存在競爭關(guān)系。因此如何建立設(shè)備之間的博弈模型,求解出移動設(shè)備的最優(yōu)選擇策略是當前存在的問題。

    2)移動設(shè)備通過貢獻自身的數(shù)據(jù)和計算資源獲得報酬,同時邊緣服務(wù)器也可通過購買移動設(shè)備的資源訓練出高質(zhì)量的模型,獲得更高的收益。而移動設(shè)備提供的資源有限,因此邊緣服務(wù)器之間存在競爭關(guān)系,如何建立一個合理的博弈模型,求解各方都滿意的定價策略,也是當前存在的問題。

    針對上述問題,本文將移動設(shè)備之間的交互構(gòu)建為演化博弈,同時將多邊緣服務(wù)器之間的競爭構(gòu)建為非合作博弈,并證明了移動設(shè)備之間的博弈納什均衡的存在性;提出了基于多領(lǐng)導者Stackelberg博弈的激勵機制,該機制通過調(diào)整移動設(shè)備和邊緣服務(wù)器的策略,解決了效用的最優(yōu)化問題;通過實驗分析,驗證了基于多領(lǐng)導者Stackelberg博弈激勵機制的可行性,并通過對比歷史最優(yōu)定價策略(Historical Optimal Pricing Strategy, HOPS)、最優(yōu)定價預測策略(Optimal Pricing Prediction Strategy, OPPS)和隨機定價策略驗證了該機制的有效性。

    1 相關(guān)工作

    基于演化博弈激勵機制設(shè)計的現(xiàn)有工作中,文獻[8]中將企業(yè)和領(lǐng)先用戶作為博弈主體,構(gòu)建演化博弈模型,并探究領(lǐng)先用戶的知識共享激勵機制問題;文獻[9]中提出了一個基于演化博弈理論的動態(tài)激勵模型,對用戶在數(shù)據(jù)共享中的博弈過程進行建模,并分析了模型策略的穩(wěn)定性;文獻[10]中為具有有限理性的移動設(shè)備構(gòu)建了演化博弈模型,以調(diào)整它們的訓練策略,從而最大化設(shè)備的個體效用;文獻[11]中將異構(gòu)網(wǎng)絡(luò)中的用戶接入問題建模為演化博弈問題,并基于強化學習設(shè)計了低復雜度自組織用戶接入算法,實現(xiàn)了用戶的公平性;為了實現(xiàn)高效的分層聯(lián)邦學習,在非合作參與方(即移動設(shè)備、邊緣服務(wù)器和云服務(wù)器)的背景下,文獻[12]為解決邊緣關(guān)聯(lián)和資源分配問題,將分層聯(lián)邦學習分為兩層,采取演化博弈模擬移動設(shè)備的選擇過程,并通過性能評估驗證了演化博弈的唯一性和穩(wěn)定性。但上述方法主要針對移動設(shè)備之間的交互與策略變換,并集中解決移動設(shè)備所產(chǎn)生的問題,未考慮邊緣服務(wù)器作為分層聯(lián)邦學習中的參與方對系統(tǒng)模型的影響。

    在基于Stackelberg博弈激勵機制設(shè)計的現(xiàn)有工作中,文獻[13]中構(gòu)建了Stackelberg博弈模型以研究移動設(shè)備之間以及移動設(shè)備與模型所有者之間的交互作用,在該模型中,移動設(shè)備能夠提供中繼服務(wù),并收取一定報酬。此外,對于聯(lián)邦學習中服務(wù)器與移動設(shè)備之間的交互也可采用Stackelberg博弈,如文獻[14]中采用兩個階段的Stackelberg博弈模型,同時設(shè)計了激勵機制,該機制不僅激勵移動設(shè)備盡最大努力訓練聯(lián)邦學習模型,也保證服務(wù)器達到最優(yōu)效用。文獻[15]中采用Stackelberg博弈對云服務(wù)器和參與聯(lián)邦學習的設(shè)備之間基于激勵的交互進行建模,以激勵設(shè)備參與聯(lián)邦學習。除此之外,文獻[16]中研究了群體感知服務(wù)提供商的最優(yōu)激勵機制,提出了兩階段Stackelberg博弈,分析了移動用戶的參與水平,同時采用反向歸納法分析了群體感知服務(wù)提供商的最優(yōu)激勵機制。類似地,文獻[17]中設(shè)計了多領(lǐng)導者多追隨者的兩層Stackelberg博弈模型,并構(gòu)建了一種分布式機制以分析移動邊緣計算支持的邊緣云系統(tǒng)中服務(wù)商與移動設(shè)備之間的交互。該模型證明了Stackelberg均衡的存在性,同時提出了一種分布式算法,即迭代的Stackelberg博弈定價算法。實驗結(jié)果表明,與其他傳統(tǒng)的任務(wù)卸載方案相比,該算法能顯著降低物聯(lián)網(wǎng)移動設(shè)備的負效用;然而,該算法主要針對計算卸載,對于移動設(shè)備之間的博弈,它未考慮到移動設(shè)備之間存在信息不對稱的問題,因此該算法并不適用于信息不完全的場景。針對上述相關(guān)模型的不足,本文構(gòu)建了演化博弈模型與非合作博弈模型,并基于多領(lǐng)導者Stackelberg博弈設(shè)計激勵機制,在資源有限的條件下探究了移動設(shè)備策略的動態(tài)性,并優(yōu)化了移動設(shè)備和邊緣服務(wù)器的效用。

    2 系統(tǒng)模型與問題定義

    2.1 分層聯(lián)邦學習框架

    1)本地更新。移動設(shè)備能夠接收來自邊緣服務(wù)器的全局模型,并基于本地數(shù)據(jù)進行模型訓練,同時該過程會消耗移動設(shè)備的部分資源。最終移動設(shè)備將訓練完成的模型參數(shù)上傳至邊緣服務(wù)器,并獲得邊緣服務(wù)器給予的報酬。

    2)邊緣服務(wù)器端聚合。邊緣服務(wù)器對接收的模型的參數(shù)進行聚合,并將聚合后的模型參數(shù)上傳至云服務(wù)器,并獲得模型擁有者給予的報酬。

    3)云端聚合。云服務(wù)器進行全局模型參數(shù)聚合,并將更新完成的模型參數(shù)發(fā)送給邊緣服務(wù)器,再由邊緣服務(wù)器發(fā)送給移動設(shè)備。

    上述三個步驟將會持續(xù)迭代進行,直到全局模型收斂或達到最大迭代次數(shù)。

    2.2 移動設(shè)備與邊緣服務(wù)器的效用模型

    圖1 分層聯(lián)邦學習框架

    在種群的移動設(shè)備會因選擇邊緣服務(wù)器進行模型訓練而產(chǎn)生一定的成本,即計算成本與通信成本。在不同種群中,移動設(shè)備之間的數(shù)據(jù)量存在一定差異,因此計算成本隨之變動。隨著數(shù)據(jù)量的增多,移動設(shè)備的計算成本也會增加[13]。在時刻的計算成本定義如下:

    為激勵移動設(shè)備積極參與分層聯(lián)邦學習,邊緣服務(wù)器根據(jù)種群中的移動設(shè)備的數(shù)據(jù)貢獻占比與平均數(shù)據(jù)貢獻作比較,模型訓練的數(shù)據(jù)量越大,則獲得的報酬越多。在經(jīng)過次迭代后,報酬定義如下:

    由上述的移動設(shè)備的通信與計算模型可得,種群中移動設(shè)備因選擇邊緣服務(wù)器所產(chǎn)生的總成本為:

    由式(3)與式(4)可得,定義種群中選擇邊緣服務(wù)器的移動設(shè)備總效用為:

    同時可得種群的總效用為:

    通過將接收到的局部模型聚合后,邊緣服務(wù)器會根據(jù)模型的質(zhì)量獲得一定的收益。由于具有更大數(shù)據(jù)覆蓋率的邊緣服務(wù)器被認為對分層聯(lián)邦學習模型具有更高價值,因為模型性能可得到更大提升,如模型精度[18]。因此定義邊緣服務(wù)器的收益如下:

    2.3 問題定義

    針對上述移動設(shè)備和邊緣服務(wù)器的效應函數(shù)分析,對于邊緣服務(wù)器的定價策略,種群中的移動設(shè)備動態(tài)變換選擇邊緣服務(wù)器的策略,以最大化自身效用,即:

    3 多領(lǐng)導者Stackelberg博弈模型構(gòu)建

    本文將移動設(shè)備與邊緣服務(wù)器之間的交互建模為多領(lǐng)導者Stackelberg博弈模型,如圖2所示。該博弈由移動設(shè)備之間的演化博弈與邊緣服務(wù)器之間的非合作博弈構(gòu)成。隨著博弈的進行,二者不斷調(diào)整策略,以實現(xiàn)效用最大化。

    圖2 多領(lǐng)導者Stackelberg博弈模型

    3.1 移動設(shè)備之間的演化博弈均衡分析

    與傳統(tǒng)博弈中的參與者立即獲得最優(yōu)解的方式不同,演化博弈中的參與者逐漸調(diào)整他們的策略并最終達到均衡解[20-21]。同時,演化博弈可以捕捉參與者策略適應過程中的動態(tài)和趨勢,因此能夠很好地刻畫分層聯(lián)邦學習中移動設(shè)備之間的動態(tài)交互與有限理性。

    根據(jù)邊緣服務(wù)器決定的定價,移動設(shè)備通過改變選擇服務(wù)器的策略相互競爭,以最大化自身利益。將移動設(shè)備之間的演化博弈定義為:

    演化博弈過程中,種群的移動設(shè)備不斷地變換策略以尋求最優(yōu)的效用值。因此,定義時刻時,種群的平均效用為:

    結(jié)合上述效用分析,同時為捕捉有限理性的移動設(shè)備動態(tài)調(diào)整策略的過程,引入復制動態(tài)方程,定義如下:

    3.2 邊緣服務(wù)器之間的非合作博弈均衡分析

    作為領(lǐng)導者的邊緣服務(wù)器并不能在當前輪次獲得所有定價信息,只能根據(jù)移動設(shè)備的選擇策略動態(tài)地調(diào)整定價。同時由于資源的有限性,邊緣服務(wù)器之間存在著競爭關(guān)系。

    在分層聯(lián)邦學習中,每個邊緣服務(wù)器都被認為是自私的,同時它們之間沒有合作或協(xié)定[23]。由于非合作博弈描述了自利參與者之間的沖突關(guān)系,因此在有限預算下,邊緣服務(wù)器之間的激勵問題可被建模為非合作博弈[24]。將非合作博弈定義為:

    下面將對邊緣服務(wù)器之間博弈的均衡解進行分析。

    由式(10)與式(19)將優(yōu)化問題改寫為:

    綜上所述,通過證明移動設(shè)備之間的演化博弈和邊緣服務(wù)器之間的非合作博弈存在納什均衡,從而證明多領(lǐng)導者Stackelberg博弈均衡的存在性。

    4 基于多領(lǐng)導者Stackelberg博弈的激勵機制設(shè)計

    本文通過求解演化博弈與非合作博弈均衡解的算法,進而求得多領(lǐng)導者Stackelberg博弈均衡解。在每一輪定價更新中,通過自身效用與平均效用的比較,移動設(shè)備不斷更新選擇邊緣服務(wù)器的策略,最終達到演化博弈的納什均衡。根據(jù)上一輪其他邊緣服務(wù)器的定價策略,邊緣服務(wù)器更新自身定價,并開始下一輪的定價更新。

    4.1 邊緣服務(wù)器選擇算法設(shè)計

    算法1 多輪迭代邊緣服務(wù)器選擇算法(MIES)。

    6) end for

    9) 移動設(shè)備變換選擇策略,以獲得更高效用

    10) end if

    11) end for

    12) end for

    15) end for

    4.2 邊緣服務(wù)器的定價算法設(shè)計

    算法2 梯度迭代定價算法(GIPA)。

    7) end for

    10) end while

    5 實驗與結(jié)果分析

    表1 模擬參數(shù)設(shè)置

    5.1 MIES算法分析

    本節(jié)通過實驗分析種群占比的變化趨勢,并討論MIES對移動設(shè)備效用的影響。

    圖3 隨迭代次數(shù)的變化趨勢()

    圖5顯示的是在邊緣服務(wù)器定價不變的情況下,不同種群中移動設(shè)備總效用的對比。從圖5中可以看到,在初始情況下,種群2的總效用最高,但隨著迭代次數(shù)的增加總效用逐漸下降。根據(jù)MIES算法,為追求自身效用最大化,移動設(shè)備的策略逐漸趨向于最優(yōu)解,因此種群2的策略不再占優(yōu)。同時由于種群中數(shù)據(jù)量的不同,獲得的收益趨于不同的穩(wěn)定值。

    圖4 不同初始狀態(tài)下隨迭代次數(shù)的變化趨勢()

    圖5 邊緣服務(wù)器定價不變時不同種群中移動設(shè)備總效用的對比

    5.2 GIPA分析

    本節(jié)通過實驗分析邊緣服務(wù)器定價的變化趨勢,并討論GIPA對邊緣服務(wù)器效用的影響。

    圖6 有限次迭代后邊緣服務(wù)器的定價趨勢

    邊緣服務(wù)器購買移動設(shè)備的資源,確定資源的價格,并通過聚合移動設(shè)備的訓練模型獲得收益。針對服務(wù)器的定價,比較了以下四種定價策略:

    1)隨機定價策略(Random Pricing Strategy, RPS):在最大與最小定價區(qū)間內(nèi),邊緣服務(wù)隨機確定資源定價。

    2)歷史最優(yōu)定價策略(HOPS)[26]:根據(jù)歷史最優(yōu)定價策略,邊緣服務(wù)器將它作為當前資源定價策略。

    3)最優(yōu)定價預測策略(OPPS)[27]:采用指數(shù)遺忘函數(shù)分配權(quán)重,對距離當前最近的定價的歷史記錄賦予更大的權(quán)重,并對過時的定價記錄賦予更小的權(quán)重,根據(jù)權(quán)重分配獲得當前的定價策略。

    4)梯度迭代定價算法(GIPA):根據(jù)移動設(shè)備之間的演化博弈結(jié)果,服務(wù)器持續(xù)更新價格,直到給出最優(yōu)資源定價策略。

    圖7 不同收益參數(shù)下的邊緣服務(wù)器效用

    圖8給出了上述四種不同的定價策略下邊緣服務(wù)器的效用對比。實驗結(jié)果表明,在相同的實驗條件下,GIPA與OPPS、HOPS和RPS相比,邊緣服務(wù)器的平均效用分別提高了4.06%、10.08%和31.39%。這是由于GIPA能夠找到最適合當前移動設(shè)備的資源定價,并在與移動設(shè)備的博弈過程中獲得最大效用。

    圖8 不同的定價策略下的邊緣服務(wù)器的效用對比

    上述實驗結(jié)果驗證了GIPA能夠?qū)崿F(xiàn)邊緣服務(wù)器的效用最大化。節(jié)點獲得的報酬能夠以某種方式影響設(shè)備的決策。在不同報酬的激勵機制下,設(shè)備將執(zhí)行不同的訓練策略,從而影響最終的分層聯(lián)邦學習模型性能[28]。因此,為探究多領(lǐng)導者Stackelberg博弈激勵機制對設(shè)備提供高質(zhì)量模型影響,定義邊緣服務(wù)器訓練模型的積極程度為:

    如圖9所示,隨著參與到分層聯(lián)邦學習中的移動設(shè)備數(shù)量增多,邊緣服務(wù)器的積極程度也隨之變化。由圖9可知,積極程度變化的幅度較為平緩,這是由于在移動設(shè)備為邊緣服務(wù)器提供更多數(shù)據(jù)的同時,也會產(chǎn)生相應的資源消耗。同時,與OPPS、HOPS和RPS定價策略相比,GIPA策略下的邊緣服務(wù)器能獲得更高的收益并且更積極地提高模型質(zhì)量。

    圖9 不同定價策略下模型的積極程度對比

    6 結(jié)語

    針對移動設(shè)備與邊緣服務(wù)器的最優(yōu)化問題,本文將移動設(shè)備與邊緣服務(wù)器之間的交互建模為多領(lǐng)導者Stackelberg博弈,該博弈由移動設(shè)備之間的演化博弈與邊緣服務(wù)器之間的非合作博弈構(gòu)成;還設(shè)計了MIES和GIPA分別求解演化博弈的均衡解和邊緣服務(wù)器之間非合作博弈的均衡解,進而得到最優(yōu)的邊緣服務(wù)器選擇和定價策略。實驗結(jié)果表明所提算法GIPA與OPPS、HOPS和RPS相比,邊緣服務(wù)器的平均效用分別提高了4.06%、10.08%和31.39%。本文探究了移動設(shè)備與邊緣服務(wù)器之間的博弈,但并未考慮云服務(wù)器與它們之間的博弈,在未來的工作中,可從三者相互博弈的角度出發(fā),設(shè)計更有效的激勵機制。

    [1] 譚作文,張連福. 機器學習隱私保護研究綜述[J]. 軟件學報, 2020, 31(7):2127-2156.(TAN Z W, ZHANG L F. Survey on privacy preserving techniques for machine learning[J]. Journal of Software, 2020, 31(7): 2127-2156.)

    [2] McMAHAN H B, MOORE E, RAMAGE D, et al. Communication-efficient learning of deep networks from decentralized data[C]// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York: JMLR.org, 2017:1273-1282.

    [3] ABAD M S H, OZFATURA E, GüNDüZ D, et al. Hierarchical federated learning across heterogeneous cellular networks[C]// Proceedings of the 2020 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway: IEEE, 2020: 8866-8870.

    [4] TU X, ZHU K, LUONG N C, et al. Incentive mechanisms for federated learning: from economic and game theoretic perspective[J]. IEEE Transactions on Cognitive Communications and Networking, 2022, 8(3): 1566-1593.

    [5] TIAN M, CHEN Y, LIU Y, et al. A contract theory based incentive mechanism for federated learning[EB/OL]. (2021-08-12) [2022-08-10].https://arxiv.org/pdf/2108.05568.pdf.

    [6] YU H, LIU Z, LIU Y, et al. A fairness-aware incentive scheme for federated learning[C]// Proceedings of the 2020 AAAI/ACM Conference on AI, Ethics, and Society. New York: ACM, 2020: 393-399.

    [7] ZENG R, ZHANG S, WANG J, et al. FMore: an incentive scheme of multi-dimensional auction for federated learning in MEC[C]// Proceedings of the IEEE 40th International Conference on Distributed Computing Systems. Piscataway: IEEE, 2020: 278-288.

    [8] 李從東,黃浩,張帆順. 基于演化博弈的領(lǐng)先用戶知識共享行為激勵機制[J]. 計算機應用, 2021, 41(6):1785-1791.(LI C D, HUANG H, ZHANG F S. Knowledge sharing behavior incentive mechanism for lead users based on evolutionary game[J]. Journal of Computer Applications, 2021, 41(6): 1785-1791.)

    [9] CHEN Y, ZHANG Y, WANG S, et al. DIM-DS: dynamic incentive model for data sharing in federated learning based on smart contracts and evolutionary game theory[J]. IEEE Internet of Things Journal, 2022, 9(23): 24572-24584.

    [10] ZOU Y, FENG S, NIYATO D, et al. Mobile device training strategies in federated learning: an evolutionary game approach[C]// Proceedings of the 2019 IEEE International Conference on Internet of Things/ Green Computing and Communications/ Cyber, Physical and Social Computing/ Smart Data. Piscataway: IEEE, 2019: 874-879.

    [11] 王月平,徐濤. 基于演化博弈的用戶接入機制[J]. 計算機應用, 2020, 40(5):1392-1396.(WANG Y P, XU T. User association mechanism based on evolutionary game[J]. Journal of Computer Applications, 2020, 40(5): 1392-1396.)

    [12] LIM W Y B, NG J S, XIONG Z, et al. Dynamic edge association and resource allocation in self-organizing hierarchical federated learning networks[J]. IEEE Journal on Selected Areas in Communications, 2021, 39(12): 3640-3653.

    [13] FENG S, NIYATO D, WANG P, et al. Joint service pricing and cooperative relay communication for federated learning[C]// Proceedings of the 2019 IEEE International Conference on Internet of Things/ Green Computing and Communications/ Cyber, Physical and Social Computing/ Smart Data. Piscataway: IEEE, 2019: 815-820.

    [14] XIAO G, XIAO M, GAO G, et al. Incentive mechanism design for federated learning: a two-stage Stackelberg game approach[C]// Proceedings of the IEEE 26th International Conference on Parallel and Distributed Systems. Piscataway: IEEE, 2020: 148-155.

    [15] KHAN L U, PANDEY S R, TRAN N H, et al. Federated learning for edge networks: resource optimization and incentive mechanism[J]. IEEE Communications Magazine, 2020, 58(10): 88-93.

    [16] NIE J, LUO J, XIONG Z, et al. A Stackelberg game approach toward socially-aware incentive mechanisms for mobile crowdsensing[J]. IEEE Transactions on Wireless Communications, 2019, 18(1): 724-738.

    [17] SU Y, FAN W, LIU Y, et al. Game-based pricing and task offloading in mobile edge computing enabled edge-cloud systems[EB/OL]. (2021-01-14) [2022-08-10].https://arxiv.org/pdf/2101.05628.pdf.

    [18] ZHAN Y, LI P, QU Z, et al. A learning-based incentive mechanism for federated learning[J]. IEEE Internet of Things Journal, 2020, 7(7): 6360-6368.

    [19] GONG X, DUAN L, CHEN X, et al. When social network effect meets congestion effect in wireless networks: data usage equilibrium and optimal pricing[J]. IEEE Journal on Selected Areas in Communications, 2017, 35(2): 449-462.

    [20] HAN Z, NIYATO D, SAAD W, et al. Game Theory in Wireless and Communication Networks: Theory, Models, and Applications[M]. Cambridge: Cambridge University Press, 2012: 139-143.

    [21] HOFBAUER J, SIGMUND K. Evolutionary game dynamics[J]. Bulletin of the American Mathematical Society, 2003, 40(4): 479-519.

    [22] GAO X, FENG S, NIYATO D, et al. Dynamic access point and service selection in backscatter-assisted RF-powered cognitive networks[J]. IEEE Internet of Things Journal, 2019, 6(5): 8270-8283.

    [23] PEJó B, TANG Q, BICZóK G. Together or alone: the price of privacy in collaborative learning[EB/OL]. [2022-08-10].https://arxiv.org/pdf/1712.00270.pdf.

    [24] WENG J, WENG J, HUANG H, et al. FedServing: a federated prediction serving framework based on incentive mechanism[C]// Proceedings of the 2021 IEEE Conference on Computer Communications. Piscataway: IEEE, 2021: 1-10.

    [25] GONDZIO J. Interior point methods 25 years later[J]. European Journal of Operational Research, 2012, 218(3): 587-601.

    [26] LENG Y, WANG M, MA B, et al. A game-based scheme for resource purchasing and pricing in MEC for Internet of Things[J]. Security and Communication Networks, 2021, 2021: No.1951141.

    [27] DENG Y, LYU F, REN J, et al. Improving federated learning with quality-aware user incentive and auto-weighted model aggregation[J]. IEEE Transactions on Parallel and Distributed Systems, 2022, 33(12): 4515-4529.

    [28] ZHAN Y, ZHANG J, HONG Z, et al. A survey of incentive mechanism design for federated learning[J]. IEEE Transactions on Emerging Topics in Computing, 2022, 10(2): 1035-1044.

    Incentive mechanism design for hierarchical federated learning based on multi-leader Stackelberg game

    GENG Fangxing1,2, LI Zhuo1,2*, CHEN Xin2

    (1(),100101,;2,,100101,)

    The existence of privacy security and resource consumption issues in hierarchical federated learning reduces the enthusiasm of participants. To encourage a sufficient number of participants to actively participate in learning tasks and address the decision-making problem between multiple mobile devices and multiple edge servers, an incentive mechanism based on multi-leader Stackelberg game was proposed. Firstly, by quantifying the cost-utility of mobile devices and the payment of edge servers, a utility function was constructed, and an optimization problem was defined. Then, the interaction among mobile devices was modeled as an evolutionary game, and the interaction among edge servers was modeled as a non-cooperative game. To solve the optimal edge server selection and pricing strategy, a Multi-round Iterative Edge Server selection algorithm (MIES) and a Gradient Iterative Pricing Algorithm (GIPA) were proposed. The former was used to solve the evolutionary game equilibrium solution among mobile devices, and the latter was used to solve the pricing competition problem among edge servers. Experimental results show that compared with Optimal Pricing Prediction Strategy (OPPS), Historical Optimal Pricing Strategy (HOPS) and Random Pricing Strategy (RPS), GIPA can increase the average utility of edge servers by 4.06%, 10.08%, and 31.39% respectively.

    hierarchical federated learning; incentive mechanism; pricing strategy; multi-leader Stackelberg game; evolutionary game

    1001-9081(2023)11-3551-08

    10.11772/j.issn.1001-9081.2022111727

    2022?11?21;

    2023?04?03;

    北京市自然科學基金資助項目(4232024); 國家重點研發(fā)計劃項目(2022YFF0604502); 國家自然科學基金資助項目(61872044); 北京市青年拔尖人才項目。

    耿方興(1999—),男,河南駐馬店人,碩士研究生,主要研究方向:邊緣計算; 李卓(1983—),男,河南南陽人,副教授,博士,CCF會員,主要研究方向:移動無線網(wǎng)絡(luò)、分布式計算; 陳昕(1965—),男,江西南昌人,教授,博士,CCF會員,主要研究方向:網(wǎng)絡(luò)性能評價、網(wǎng)絡(luò)安全。

    TP393

    A

    2023?04?04。

    This work is partially supported by Beijing Natural Science Foundation (4232024), National Key Research and Development Program of China (2022YFF0604502), National Natural Science Foundation of China (61872044), Beijing Municipal Program for Young Talents.

    GENG Fangxing, born in 1999, M. S. candidate. His research interests include edge computing.

    LI Zhuo, born in 1983, Ph. D., associate professor. His research interests include mobile wireless network, distributed computing.

    CHEN Xin, born in 1965, Ph. D., professor. His research interests include network performance evaluation, network security.

    猜你喜歡
    效用聯(lián)邦定價
    本刊2020年36卷第12期版權(quán)頁定價勘誤
    一“炮”而紅 音聯(lián)邦SVSound 2000 Pro品鑒會完滿舉行
    小學美術(shù)課堂板書的四種效用
    303A深圳市音聯(lián)邦電氣有限公司
    基于分層Copula的CDS定價研究
    納米硫酸鋇及其對聚合物的改性效用
    中國塑料(2016年9期)2016-06-13 03:18:48
    幫爸爸定價
    讀寫算(下)(2015年11期)2015-11-07 07:21:02
    幾種常見葉面肥在大蒜田效用試驗
    玉米田不同控釋肥料效用研討
    自主定價基本不可能
    成人手机av| 精品一品国产午夜福利视频| 国产毛片在线视频| 亚洲经典国产精华液单| 少妇人妻 视频| 黑人猛操日本美女一级片| 卡戴珊不雅视频在线播放| 国产精品一二三区在线看| 在线观看人妻少妇| 日本-黄色视频高清免费观看| 看非洲黑人一级黄片| 国产视频首页在线观看| 一二三四在线观看免费中文在 | 精品人妻偷拍中文字幕| 亚洲国产精品专区欧美| 两个人看的免费小视频| 国产69精品久久久久777片| 亚洲第一av免费看| 久久人妻熟女aⅴ| 亚洲欧洲国产日韩| 国产精品久久久久久av不卡| 亚洲国产欧美日韩在线播放| 国产欧美亚洲国产| 日韩av不卡免费在线播放| 五月玫瑰六月丁香| 精品一区二区三区视频在线| 久久婷婷青草| 亚洲精品乱码久久久久久按摩| 五月玫瑰六月丁香| 亚洲人与动物交配视频| 宅男免费午夜| 亚洲av日韩在线播放| 成人国产av品久久久| 美女国产视频在线观看| 亚洲,一卡二卡三卡| 另类精品久久| 日韩成人伦理影院| 色网站视频免费| 婷婷色麻豆天堂久久| av有码第一页| 成年动漫av网址| 另类亚洲欧美激情| 最黄视频免费看| 亚洲欧洲国产日韩| 又粗又硬又长又爽又黄的视频| 久久久久久伊人网av| 色吧在线观看| 有码 亚洲区| 校园人妻丝袜中文字幕| 卡戴珊不雅视频在线播放| 亚洲欧美清纯卡通| 最近的中文字幕免费完整| 欧美 日韩 精品 国产| 精品亚洲成国产av| h视频一区二区三区| 亚洲精品中文字幕在线视频| 三上悠亚av全集在线观看| 欧美精品亚洲一区二区| 欧美成人精品欧美一级黄| 乱码一卡2卡4卡精品| 人人妻人人爽人人添夜夜欢视频| 99香蕉大伊视频| 国产精品女同一区二区软件| 在线亚洲精品国产二区图片欧美| 欧美日韩综合久久久久久| 日韩不卡一区二区三区视频在线| 我要看黄色一级片免费的| 亚洲伊人色综图| 亚洲成色77777| 哪个播放器可以免费观看大片| 国产精品免费大片| 狂野欧美激情性bbbbbb| 宅男免费午夜| 国产麻豆69| 亚洲婷婷狠狠爱综合网| 成年动漫av网址| 亚洲激情五月婷婷啪啪| 亚洲精品国产色婷婷电影| 国产黄色视频一区二区在线观看| 欧美+日韩+精品| 交换朋友夫妻互换小说| 国产精品女同一区二区软件| 99久久人妻综合| 一级毛片黄色毛片免费观看视频| 午夜久久久在线观看| av女优亚洲男人天堂| 美女中出高潮动态图| 亚洲av日韩在线播放| 精品久久国产蜜桃| 婷婷色av中文字幕| 国产伦理片在线播放av一区| 欧美日韩精品成人综合77777| 久久青草综合色| 亚洲国产成人一精品久久久| 全区人妻精品视频| 中国三级夫妇交换| 免费观看无遮挡的男女| 国产综合精华液| 街头女战士在线观看网站| 久久这里只有精品19| 成人国语在线视频| 久久精品国产自在天天线| 亚洲天堂av无毛| 国产一区二区在线观看av| 国产视频首页在线观看| 2018国产大陆天天弄谢| 99热国产这里只有精品6| 亚洲色图 男人天堂 中文字幕 | av免费在线看不卡| 少妇的逼好多水| 久久 成人 亚洲| 丝袜脚勾引网站| 日日啪夜夜爽| 亚洲人成网站在线观看播放| 国产男女超爽视频在线观看| 日韩人妻精品一区2区三区| 国产国语露脸激情在线看| 在线观看国产h片| 亚洲欧美清纯卡通| 久久久久久久国产电影| 欧美变态另类bdsm刘玥| 精品国产露脸久久av麻豆| 成人黄色视频免费在线看| 九色成人免费人妻av| 中文字幕av电影在线播放| 另类精品久久| 80岁老熟妇乱子伦牲交| 一级毛片黄色毛片免费观看视频| 亚洲欧洲国产日韩| 男男h啪啪无遮挡| 久热久热在线精品观看| 免费在线观看完整版高清| 1024视频免费在线观看| 80岁老熟妇乱子伦牲交| 91精品三级在线观看| 成人毛片a级毛片在线播放| 精品一区二区三区四区五区乱码 | 日本色播在线视频| 日本vs欧美在线观看视频| 精品少妇内射三级| 免费黄网站久久成人精品| 亚洲久久久国产精品| 日韩人妻精品一区2区三区| 一级片'在线观看视频| 亚洲国产色片| 亚洲三级黄色毛片| av网站免费在线观看视频| 91aial.com中文字幕在线观看| av一本久久久久| 侵犯人妻中文字幕一二三四区| 乱码一卡2卡4卡精品| 性高湖久久久久久久久免费观看| 如日韩欧美国产精品一区二区三区| 国产免费一区二区三区四区乱码| 成人无遮挡网站| 18禁动态无遮挡网站| 亚洲精华国产精华液的使用体验| 亚洲一码二码三码区别大吗| 国产精品成人在线| 亚洲一级一片aⅴ在线观看| 国语对白做爰xxxⅹ性视频网站| 少妇的逼好多水| 国产免费一区二区三区四区乱码| 亚洲美女搞黄在线观看| 日韩欧美一区视频在线观看| 18+在线观看网站| 亚洲经典国产精华液单| 免费看光身美女| 亚洲精品久久久久久婷婷小说| 啦啦啦在线观看免费高清www| av国产久精品久网站免费入址| 久久久久久久大尺度免费视频| 欧美+日韩+精品| 久久99蜜桃精品久久| 久久久国产一区二区| 美国免费a级毛片| 国产一区有黄有色的免费视频| 久久人妻熟女aⅴ| xxx大片免费视频| 免费日韩欧美在线观看| 极品少妇高潮喷水抽搐| 免费女性裸体啪啪无遮挡网站| 草草在线视频免费看| 亚洲色图综合在线观看| 热re99久久精品国产66热6| 午夜影院在线不卡| 欧美激情极品国产一区二区三区 | av国产精品久久久久影院| 欧美xxxx性猛交bbbb| 成人综合一区亚洲| 国产福利在线免费观看视频| 中国三级夫妇交换| 高清欧美精品videossex| 黑人巨大精品欧美一区二区蜜桃 | 精品第一国产精品| 美女国产高潮福利片在线看| 丝瓜视频免费看黄片| 女性生殖器流出的白浆| 又大又黄又爽视频免费| 国产成人免费无遮挡视频| 飞空精品影院首页| 久久免费观看电影| 毛片一级片免费看久久久久| 精品国产一区二区三区四区第35| 最新中文字幕久久久久| 有码 亚洲区| av国产精品久久久久影院| 欧美bdsm另类| 国产片内射在线| 又黄又粗又硬又大视频| 91成人精品电影| 色94色欧美一区二区| 视频在线观看一区二区三区| 国产国拍精品亚洲av在线观看| 在线观看免费高清a一片| 久久久久久人妻| 建设人人有责人人尽责人人享有的| 精品一区二区三卡| 国产免费一级a男人的天堂| 国国产精品蜜臀av免费| 欧美人与性动交α欧美软件 | 久久国产精品大桥未久av| 国产熟女午夜一区二区三区| 国产免费视频播放在线视频| 丝袜在线中文字幕| 免费在线观看完整版高清| av播播在线观看一区| 国产成人免费无遮挡视频| 纯流量卡能插随身wifi吗| 老司机影院毛片| 日本猛色少妇xxxxx猛交久久| 999精品在线视频| 精品熟女少妇av免费看| 色视频在线一区二区三区| 免费黄频网站在线观看国产| 免费高清在线观看日韩| 日本爱情动作片www.在线观看| 国产淫语在线视频| 日本wwww免费看| 亚洲精品第二区| 国产男女超爽视频在线观看| 免费观看无遮挡的男女| 久久久久久久久久成人| 搡老乐熟女国产| 精品亚洲乱码少妇综合久久| 制服诱惑二区| 三级国产精品片| 精品国产露脸久久av麻豆| 成人漫画全彩无遮挡| 天天影视国产精品| 成人国产麻豆网| 亚洲五月色婷婷综合| 久久久久久久久久成人| 成人18禁高潮啪啪吃奶动态图| 丁香六月天网| 五月伊人婷婷丁香| 超碰97精品在线观看| 亚洲一码二码三码区别大吗| 我要看黄色一级片免费的| 国产在线免费精品| 久久青草综合色| 亚洲人成网站在线观看播放| 2018国产大陆天天弄谢| 国产又爽黄色视频| 亚洲综合色惰| 亚洲av在线观看美女高潮| 久久99蜜桃精品久久| 亚洲国产精品成人久久小说| 亚洲国产精品一区二区三区在线| 中文字幕精品免费在线观看视频 | 又黄又粗又硬又大视频| 大陆偷拍与自拍| 91在线精品国自产拍蜜月| 一区二区日韩欧美中文字幕 | 久热久热在线精品观看| 免费高清在线观看视频在线观看| 在线 av 中文字幕| 国产精品久久久久久久电影| 毛片一级片免费看久久久久| 少妇高潮的动态图| 午夜免费鲁丝| 精品一区二区三卡| 国产男人的电影天堂91| 91成人精品电影| 国产国语露脸激情在线看| 久久99热6这里只有精品| 黄色怎么调成土黄色| 青春草视频在线免费观看| 草草在线视频免费看| 婷婷成人精品国产| 大香蕉久久成人网| 久久99热6这里只有精品| 欧美精品人与动牲交sv欧美| 免费日韩欧美在线观看| 国产高清不卡午夜福利| 18禁在线无遮挡免费观看视频| 97超碰精品成人国产| 我的女老师完整版在线观看| 99久久人妻综合| 欧美日韩精品成人综合77777| 青春草国产在线视频| 母亲3免费完整高清在线观看 | 97精品久久久久久久久久精品| 90打野战视频偷拍视频| 啦啦啦中文免费视频观看日本| 97超碰精品成人国产| 九色成人免费人妻av| 国产高清三级在线| 国产一区二区在线观看日韩| 99热这里只有是精品在线观看| 国产福利在线免费观看视频| 精品一区二区三区视频在线| 午夜福利网站1000一区二区三区| 99久久精品国产国产毛片| 亚洲人成77777在线视频| 亚洲欧美日韩卡通动漫| 亚洲在久久综合| 亚洲欧洲精品一区二区精品久久久 | 欧美最新免费一区二区三区| 高清不卡的av网站| 九草在线视频观看| 少妇猛男粗大的猛烈进出视频| 十八禁网站网址无遮挡| 啦啦啦中文免费视频观看日本| 国产毛片在线视频| 综合色丁香网| 日韩,欧美,国产一区二区三区| 青青草视频在线视频观看| 97超碰精品成人国产| 欧美另类一区| 成人综合一区亚洲| 一级a做视频免费观看| 免费黄频网站在线观看国产| 精品久久蜜臀av无| 青春草视频在线免费观看| av又黄又爽大尺度在线免费看| 天天躁夜夜躁狠狠躁躁| 哪个播放器可以免费观看大片| 久久精品久久久久久久性| 欧美亚洲 丝袜 人妻 在线| 水蜜桃什么品种好| 最新的欧美精品一区二区| 熟女人妻精品中文字幕| 亚洲av欧美aⅴ国产| a级毛片黄视频| 熟女电影av网| 免费日韩欧美在线观看| 男的添女的下面高潮视频| 春色校园在线视频观看| 在线看a的网站| 在现免费观看毛片| 母亲3免费完整高清在线观看 | 国产精品久久久久久久久免| 国产一区二区在线观看日韩| 日韩制服丝袜自拍偷拍| 久久精品国产自在天天线| 夜夜爽夜夜爽视频| 国产精品欧美亚洲77777| 天天影视国产精品| 国产精品三级大全| 亚洲欧美成人精品一区二区| 中文字幕最新亚洲高清| 在线精品无人区一区二区三| 视频中文字幕在线观看| 久久久久精品人妻al黑| 精品第一国产精品| 精品视频人人做人人爽| 菩萨蛮人人尽说江南好唐韦庄| 黄色视频在线播放观看不卡| 成年女人在线观看亚洲视频| 男女下面插进去视频免费观看 | 亚洲精华国产精华液的使用体验| 一本—道久久a久久精品蜜桃钙片| 亚洲精品第二区| 国产av码专区亚洲av| 男女高潮啪啪啪动态图| 亚洲国产成人一精品久久久| 母亲3免费完整高清在线观看 | 男女边吃奶边做爰视频| 精品99又大又爽又粗少妇毛片| 寂寞人妻少妇视频99o| av在线播放精品| 久久精品aⅴ一区二区三区四区 | 日韩一本色道免费dvd| 性色avwww在线观看| 国产一区二区三区综合在线观看 | 国产日韩欧美在线精品| 如日韩欧美国产精品一区二区三区| 久久久久网色| 波野结衣二区三区在线| 人人妻人人添人人爽欧美一区卜| 日韩精品免费视频一区二区三区 | 在线 av 中文字幕| 国产永久视频网站| 在线观看www视频免费| 亚洲色图 男人天堂 中文字幕 | 免费高清在线观看视频在线观看| 亚洲成人一二三区av| 欧美日韩精品成人综合77777| 狠狠精品人妻久久久久久综合| 日本色播在线视频| 亚洲国产精品国产精品| 少妇人妻 视频| 新久久久久国产一级毛片| 看非洲黑人一级黄片| 黑人巨大精品欧美一区二区蜜桃 | 国产午夜精品一二区理论片| 制服人妻中文乱码| 国产成人精品福利久久| 99久久综合免费| 嫩草影院入口| 国产亚洲精品第一综合不卡 | h视频一区二区三区| 男女国产视频网站| 亚洲在久久综合| 久久国产亚洲av麻豆专区| 捣出白浆h1v1| 国产日韩一区二区三区精品不卡| 日韩制服丝袜自拍偷拍| 欧美日韩成人在线一区二区| 一本大道久久a久久精品| 国产白丝娇喘喷水9色精品| 亚洲国产精品一区三区| 日韩视频在线欧美| 99热6这里只有精品| 中文字幕人妻丝袜制服| 国产1区2区3区精品| 午夜视频国产福利| 国产一区亚洲一区在线观看| 国产乱人偷精品视频| 国产精品偷伦视频观看了| 熟女人妻精品中文字幕| 天堂中文最新版在线下载| 王馨瑶露胸无遮挡在线观看| 又黄又粗又硬又大视频| 校园人妻丝袜中文字幕| 亚洲精品自拍成人| 国产亚洲精品久久久com| 女人久久www免费人成看片| 制服人妻中文乱码| 熟女av电影| 色哟哟·www| 日韩精品免费视频一区二区三区 | 精品少妇久久久久久888优播| 午夜视频国产福利| 午夜av观看不卡| 久久久久国产精品人妻一区二区| 一级片免费观看大全| 97人妻天天添夜夜摸| 欧美xxⅹ黑人| 亚洲综合精品二区| 久久鲁丝午夜福利片| 韩国精品一区二区三区 | 伦理电影免费视频| 免费人成在线观看视频色| av片东京热男人的天堂| 国产爽快片一区二区三区| 波多野结衣一区麻豆| 欧美成人午夜精品| 中文天堂在线官网| 亚洲四区av| 黑丝袜美女国产一区| 国产av国产精品国产| kizo精华| 亚洲精品国产色婷婷电影| 精品视频人人做人人爽| av又黄又爽大尺度在线免费看| 新久久久久国产一级毛片| www.色视频.com| 国产在线一区二区三区精| 观看av在线不卡| 婷婷色av中文字幕| 精品人妻偷拍中文字幕| 亚洲欧美中文字幕日韩二区| 免费女性裸体啪啪无遮挡网站| 精品久久久精品久久久| 国产熟女欧美一区二区| 亚洲婷婷狠狠爱综合网| 成人亚洲欧美一区二区av| 亚洲欧美日韩卡通动漫| 国产在线视频一区二区| 大码成人一级视频| 一级毛片电影观看| 又黄又爽又刺激的免费视频.| 18禁裸乳无遮挡动漫免费视频| 国产精品麻豆人妻色哟哟久久| 满18在线观看网站| 久久国内精品自在自线图片| 精品酒店卫生间| 91在线精品国自产拍蜜月| 国产一区有黄有色的免费视频| 亚洲色图 男人天堂 中文字幕 | 九九爱精品视频在线观看| 免费人妻精品一区二区三区视频| 在现免费观看毛片| 大陆偷拍与自拍| 一二三四中文在线观看免费高清| 美女中出高潮动态图| 在线观看三级黄色| 美女中出高潮动态图| 黑人猛操日本美女一级片| 日韩一区二区视频免费看| 国产极品粉嫩免费观看在线| 亚洲国产成人一精品久久久| 波多野结衣一区麻豆| 女人被躁到高潮嗷嗷叫费观| 免费高清在线观看视频在线观看| 99热这里只有是精品在线观看| av在线观看视频网站免费| 精品一区二区三区视频在线| 一级毛片黄色毛片免费观看视频| 最近手机中文字幕大全| 永久网站在线| 精品一区二区三区视频在线| 国产一区二区三区综合在线观看 | 日韩,欧美,国产一区二区三区| 最近中文字幕高清免费大全6| 欧美日本中文国产一区发布| 视频中文字幕在线观看| 免费看光身美女| 久久国产亚洲av麻豆专区| 成人亚洲精品一区在线观看| 精品国产国语对白av| 精品国产一区二区三区久久久樱花| 黑人猛操日本美女一级片| 亚洲欧美成人精品一区二区| 黑人欧美特级aaaaaa片| 久久这里有精品视频免费| 青春草亚洲视频在线观看| 中国美白少妇内射xxxbb| 日韩成人av中文字幕在线观看| 精品视频人人做人人爽| 久久午夜综合久久蜜桃| 亚洲性久久影院| 久久午夜福利片| 最新的欧美精品一区二区| 精品人妻一区二区三区麻豆| 国产日韩一区二区三区精品不卡| 国产有黄有色有爽视频| 日韩 亚洲 欧美在线| 99香蕉大伊视频| 精品一品国产午夜福利视频| 男男h啪啪无遮挡| 亚洲精品乱码久久久久久按摩| 飞空精品影院首页| 色哟哟·www| 亚洲经典国产精华液单| 一边摸一边做爽爽视频免费| 成人国产av品久久久| 婷婷色av中文字幕| 自拍欧美九色日韩亚洲蝌蚪91| 欧美+日韩+精品| 女性被躁到高潮视频| 只有这里有精品99| 国产日韩欧美在线精品| 日日摸夜夜添夜夜爱| 国产福利在线免费观看视频| 天天躁夜夜躁狠狠躁躁| 欧美精品av麻豆av| 欧美日韩一区二区视频在线观看视频在线| 婷婷色av中文字幕| 一边亲一边摸免费视频| 日本黄色日本黄色录像| 97人妻天天添夜夜摸| 精品一区二区免费观看| 国产成人一区二区在线| 国产老妇伦熟女老妇高清| 又大又黄又爽视频免费| 亚洲精华国产精华液的使用体验| 高清欧美精品videossex| 美女主播在线视频| 精品一品国产午夜福利视频| 王馨瑶露胸无遮挡在线观看| 国产精品成人在线| 久久狼人影院| 日本爱情动作片www.在线观看| 99国产综合亚洲精品| 青青草视频在线视频观看| 成人亚洲欧美一区二区av| 曰老女人黄片| 汤姆久久久久久久影院中文字幕| 熟妇人妻不卡中文字幕| 一级片'在线观看视频| 午夜免费男女啪啪视频观看| 久久综合国产亚洲精品| 大陆偷拍与自拍| 人妻少妇偷人精品九色| av免费观看日本| 老女人水多毛片| 国产精品免费大片| 亚洲,欧美,日韩| 人妻人人澡人人爽人人| 视频在线观看一区二区三区| 亚洲成人一二三区av| 一本色道久久久久久精品综合| 久久婷婷青草| 啦啦啦中文免费视频观看日本| 99视频精品全部免费 在线| 九色亚洲精品在线播放| 观看av在线不卡| 亚洲第一av免费看| 久久久久人妻精品一区果冻| 伦理电影大哥的女人| 国产老妇伦熟女老妇高清| 一区二区三区精品91| 亚洲国产成人一精品久久久| 桃花免费在线播放| 日韩电影二区| 亚洲精品久久午夜乱码| 中文字幕人妻丝袜制服| 韩国av在线不卡| 日本wwww免费看| 男女午夜视频在线观看 | 久久久久久久大尺度免费视频| 国产精品秋霞免费鲁丝片|