• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    考慮競(jìng)爭(zhēng)環(huán)境的聯(lián)邦學(xué)習(xí)多維契約激勵(lì)機(jī)制研究

    2023-10-17 03:45:13楊揚(yáng)殷紅建王超
    計(jì)算機(jī)應(yīng)用研究 2023年10期
    關(guān)鍵詞:激勵(lì)機(jī)制

    楊揚(yáng) 殷紅建 王超

    摘 要:針對(duì)現(xiàn)有激勵(lì)機(jī)制無(wú)法滿足競(jìng)爭(zhēng)環(huán)境下聯(lián)邦學(xué)習(xí)(FL)落地實(shí)施需要的現(xiàn)實(shí)問(wèn)題,提出了一種適于競(jìng)爭(zhēng)環(huán)境的多維契約激勵(lì)機(jī)制。首先,引入了競(jìng)爭(zhēng)強(qiáng)度描述數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間的競(jìng)爭(zhēng)關(guān)系;其次,創(chuàng)新性地設(shè)計(jì)了一種金錢(qián)和FL模型使用權(quán)相組合的MM(monetary-the FL model)組合激勵(lì);再次,在MM組合激勵(lì)的基礎(chǔ)上,分別在完全信息場(chǎng)景和不完全信息場(chǎng)景下,以任務(wù)發(fā)布者利潤(rùn)最大化為目標(biāo),構(gòu)建了適于競(jìng)爭(zhēng)環(huán)境的聯(lián)邦學(xué)習(xí)多維契約激勵(lì)機(jī)制設(shè)計(jì)優(yōu)化問(wèn)題;進(jìn)一步,通過(guò)理論推導(dǎo)分析了契約可行性及契約最優(yōu)性,并在此基礎(chǔ)上給出了適于競(jìng)爭(zhēng)環(huán)境的聯(lián)邦學(xué)習(xí)最優(yōu)契約設(shè)計(jì)算法;最后,實(shí)驗(yàn)結(jié)果表明,以MM組合激勵(lì)為基礎(chǔ)的多維契約激勵(lì)機(jī)制提高了競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者參與聯(lián)邦學(xué)習(xí)的意愿。

    關(guān)鍵詞:競(jìng)爭(zhēng)環(huán)境; 聯(lián)邦學(xué)習(xí); 契約理論; 激勵(lì)機(jī)制

    中圖分類號(hào):TP391 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1001-3695(2023)10-019-3007-09

    doi:10.19734/j.issn.1001-3695.2023.02.0080

    Incentive mechanism for federated learning in competitive environment:multidimensional contract approach

    Yang Yanga, Yin Hongjiana, Wang Chaob

    (a.School of Management Engineering & Business, b.School of Information & Electrical Engineering, Hebei University of Engineering, Handan Hebei 056038, China)

    Abstract:Aiming at the existing incentive mechanisms cannot satisfy the demand of implementation for federated learning (FL) in competitive environment, this paper proposed a multi-dimensional contract-based incentive mechanism for FL in competitive environment. Firstly, this paper introduced the competition intensity to measure the competition relationship between the data owners and the task publisher. Secondly, this paper designed a novel incentive form named as MM (monetary-the FL model) combined incentive, which combined monetary with usufruct of FL model. Thirdly, based on MM combined incentive, this paper constructed optimization problems of the multi-dimensional contract-based incentive mechanism design for FL in competitive environment for the task publishers profit maximization under complete information scenario and incomplete information scenario respectively. Finally, experimental results show that the multi-dimensional contract-based incentive mechanism based on MM combined incentive improves the willingness of data owners to participate in FL in competitive environment.

    Key words:competitive environment; federated learning(FL); contract theory; incentive mechanism

    0 引言

    大數(shù)據(jù)時(shí)代,企業(yè)數(shù)字化轉(zhuǎn)型被視為占領(lǐng)價(jià)值鏈高端與構(gòu)建競(jìng)爭(zhēng)新優(yōu)勢(shì)的重要契機(jī)[1]?!笆奈濉币?guī)劃中明確指出,要支持企業(yè)數(shù)字化轉(zhuǎn)型,加快數(shù)字化發(fā)展,建設(shè)數(shù)字中國(guó)。在企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中,企業(yè)間的數(shù)據(jù)共享有利于降低企業(yè)數(shù)據(jù)獲取成本,提升企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)[2]。而隨著數(shù)據(jù)共享程度的加深,數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)也逐步上升。因此,數(shù)據(jù)隱私保護(hù)成為企業(yè)數(shù)字化轉(zhuǎn)型升級(jí)工作中的重點(diǎn)之一。

    針對(duì)數(shù)據(jù)隱私泄露問(wèn)題,聯(lián)邦學(xué)習(xí)(FL)因其保護(hù)數(shù)據(jù)隱私的優(yōu)勢(shì)而受到關(guān)注[3]。而在實(shí)現(xiàn)FL過(guò)程中,數(shù)據(jù)擁有者需要先行承擔(dān)在自身設(shè)備上訓(xùn)練模型和傳輸運(yùn)算結(jié)果所導(dǎo)致的直接成本,這使得數(shù)據(jù)擁有者缺乏動(dòng)力參與FL。此外,由于數(shù)據(jù)擁有者的直接成本屬于私人信息,F(xiàn)L的任務(wù)發(fā)布者需要在信息不對(duì)稱情況下,設(shè)計(jì)相應(yīng)補(bǔ)償以激勵(lì)數(shù)據(jù)擁有者參與FL。而契約激勵(lì)機(jī)制是應(yīng)對(duì)信息不對(duì)稱情況下激勵(lì)問(wèn)題的一種有效機(jī)制。因此,契約激勵(lì)機(jī)制作為解決FL中數(shù)據(jù)擁有者參與動(dòng)力不足問(wèn)題的有效手段而廣受關(guān)注[4~6]。

    然而,現(xiàn)有FL契約激勵(lì)機(jī)制無(wú)法有效激勵(lì)競(jìng)爭(zhēng)環(huán)境下的數(shù)據(jù)擁有者。在競(jìng)爭(zhēng)環(huán)境下,任務(wù)發(fā)布者與某些數(shù)據(jù)擁有者之間存在競(jìng)爭(zhēng)關(guān)系,這些數(shù)據(jù)擁有者參與FL除了承擔(dān)相應(yīng)的直接成本外,還可能因失去競(jìng)爭(zhēng)優(yōu)勢(shì)而支付額外的間接成本[7]。如某銀行希望通過(guò)FL利用其他銀行(數(shù)據(jù)擁有者)提供的數(shù)據(jù)來(lái)優(yōu)化自身產(chǎn)品模型。而FL訓(xùn)練后的產(chǎn)品模型僅由該銀行持有,這可能使得參與FL的其他銀行在未來(lái)競(jìng)爭(zhēng)中因產(chǎn)品模型上的差距而處于競(jìng)爭(zhēng)劣勢(shì),導(dǎo)致間接成本的產(chǎn)生?,F(xiàn)有FL契約激勵(lì)機(jī)制在設(shè)計(jì)激勵(lì)時(shí)并未考慮這一間接成本,因而無(wú)法有效激勵(lì)競(jìng)爭(zhēng)環(huán)境下的數(shù)據(jù)擁有者參與FL。此外,現(xiàn)有FL契約激勵(lì)機(jī)制研究中,金錢(qián)激勵(lì)[8~11]和金錢(qián)—聲譽(yù)組合激勵(lì)[12, 13]是主要的激勵(lì)方式,以上激勵(lì)方式無(wú)法滿足競(jìng)爭(zhēng)環(huán)境下某些數(shù)據(jù)擁有者對(duì)FL訓(xùn)練后的產(chǎn)品模型需求。Mai等人[14]設(shè)計(jì)了一種雙向拍賣FL激勵(lì)機(jī)制,使得訓(xùn)練好的模型可以在設(shè)備(數(shù)據(jù)擁有者)和FL平臺(tái)(任務(wù)發(fā)布者)之間自動(dòng)交易。這種模型激勵(lì)方式雖然對(duì)具有競(jìng)爭(zhēng)關(guān)系的數(shù)據(jù)擁有者有較高吸引力,但對(duì)競(jìng)爭(zhēng)環(huán)境下與任務(wù)發(fā)布者不存在競(jìng)爭(zhēng)關(guān)系的數(shù)據(jù)擁有者缺乏吸引力,因此亟需一種能在競(jìng)爭(zhēng)環(huán)境下激勵(lì)所有數(shù)據(jù)擁有者的激勵(lì)方式。

    為了有效激勵(lì)競(jìng)爭(zhēng)環(huán)境下所有數(shù)據(jù)擁有者參與FL,本文提出了適于競(jìng)爭(zhēng)環(huán)境的FL多維契約激勵(lì)機(jī)制,主要貢獻(xiàn)可概括如下:

    a)構(gòu)建了金錢(qián)與FL模型使用權(quán)結(jié)合的MM(monetary-the FL model)組合激勵(lì)。與現(xiàn)有FL激勵(lì)機(jī)制研究中所采用的其他激勵(lì)方式不同,本文構(gòu)建的MM組合激勵(lì)考慮到了競(jìng)爭(zhēng)環(huán)境下某些數(shù)據(jù)擁有者對(duì)FL訓(xùn)練后FL模型的需求,提高了競(jìng)爭(zhēng)環(huán)境下各類型數(shù)據(jù)擁有者的參與意愿。

    b)設(shè)計(jì)了競(jìng)爭(zhēng)環(huán)境下的多維契約激勵(lì)機(jī)制。與現(xiàn)有FL契約激勵(lì)機(jī)制不同,本文所提出的多維契約激勵(lì)機(jī)制不僅考慮了數(shù)據(jù)擁有者的數(shù)據(jù)質(zhì)量,而且考量了競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間的競(jìng)爭(zhēng)關(guān)系。競(jìng)爭(zhēng)關(guān)系的考量完善了任務(wù)發(fā)布者對(duì)于數(shù)據(jù)擁有者在競(jìng)爭(zhēng)環(huán)境下參與FL成本的認(rèn)識(shí),并有效促進(jìn)了FL在競(jìng)爭(zhēng)環(huán)境下的實(shí)現(xiàn)。

    1 相關(guān)工作

    FL是一種分布式隱私保護(hù)機(jī)器學(xué)習(xí)技術(shù)[15~17]。FL激勵(lì)機(jī)制的研究是當(dāng)前聯(lián)邦學(xué)習(xí)研究領(lǐng)域熱點(diǎn)之一,根據(jù)數(shù)據(jù)擁有者貢獻(xiàn)評(píng)估側(cè)重點(diǎn)的不同,主要從數(shù)據(jù)質(zhì)量?jī)?yōu)先、數(shù)據(jù)數(shù)量?jī)?yōu)先和數(shù)據(jù)均衡優(yōu)先三個(gè)角度研究FL數(shù)據(jù)擁有者激勵(lì)問(wèn)題。

    在數(shù)據(jù)質(zhì)量?jī)?yōu)先的激勵(lì)機(jī)制研究中,對(duì)于數(shù)據(jù)可信度和準(zhǔn)確率要求更高,需要激勵(lì)數(shù)據(jù)質(zhì)量較高的數(shù)據(jù)擁有者參與,適用于醫(yī)療和教育等數(shù)據(jù)質(zhì)量敏感度較高的企業(yè)。如Yuan等人[18]提出了一種基于拍賣的激勵(lì)機(jī)制,該機(jī)制的設(shè)計(jì)考慮了數(shù)據(jù)擁有者數(shù)據(jù)、信道等信息的真實(shí)性,以激勵(lì)擁有高質(zhì)量數(shù)據(jù)的數(shù)據(jù)擁有者。Le等人[19]設(shè)計(jì)了一個(gè)基于拍賣的激勵(lì)機(jī)制,通過(guò)在機(jī)制設(shè)計(jì)中考慮真實(shí)性來(lái)保證數(shù)據(jù)擁有者分配真實(shí)可靠的數(shù)據(jù)參與FL。Sun等人[20]分別設(shè)計(jì)了靜態(tài)FL激勵(lì)機(jī)制和動(dòng)態(tài)FL激勵(lì)機(jī)制,利用聲譽(yù)識(shí)別并激勵(lì)高質(zhì)量的客戶(數(shù)據(jù)擁有者)。Lin等人[21]設(shè)計(jì)了一種基于斯塔克爾伯格博弈的激勵(lì)機(jī)制,以鼓勵(lì)數(shù)據(jù)擁有者以誠(chéng)實(shí)可信的高質(zhì)量數(shù)據(jù)參與FL。

    在數(shù)據(jù)數(shù)量?jī)?yōu)先的激勵(lì)機(jī)制研究中,由于模型性能與數(shù)據(jù)量大小有關(guān),需要激勵(lì)足夠多的數(shù)據(jù)擁有者參與,適用于工業(yè)等數(shù)據(jù)數(shù)量大的行業(yè)。如顧永跟等人[22]提出了一種不平衡數(shù)據(jù)下預(yù)算限制的FL激勵(lì)機(jī)制,該機(jī)制激勵(lì)客戶端(數(shù)據(jù)擁有者)數(shù)據(jù)量最優(yōu)選擇下參與FL。Lin等人[23]設(shè)計(jì)了一種基于斯塔克爾伯格博弈的激勵(lì)機(jī)制,該機(jī)制對(duì)貢獻(xiàn)更多數(shù)據(jù)量的數(shù)據(jù)擁有者給予更高的獎(jiǎng)勵(lì)。Wang等人[24]針對(duì)基于區(qū)塊鏈的FL提出了一種聯(lián)合資源分配的激勵(lì)機(jī)制,該機(jī)制基于數(shù)據(jù)量設(shè)計(jì)FL訓(xùn)練階段激勵(lì)額度。

    在數(shù)據(jù)均衡優(yōu)先的激勵(lì)機(jī)制研究中,需要在激勵(lì)足夠多的數(shù)據(jù)擁有者的同時(shí)保證一定的數(shù)據(jù)可信度和準(zhǔn)確率,適用于數(shù)據(jù)可信度、數(shù)據(jù)質(zhì)量和模型性能均衡的行業(yè)。如Kang等人[12]將聲譽(yù)引入FL激勵(lì)機(jī)制,以激勵(lì)高聲譽(yù)設(shè)備(數(shù)據(jù)擁有者)在一定數(shù)據(jù)量基礎(chǔ)上提供高質(zhì)量數(shù)據(jù)。Wang等人[25]提出了四種信息場(chǎng)景下基于契約的激勵(lì)機(jī)制,這些機(jī)制根據(jù)Shapley值法評(píng)價(jià)數(shù)據(jù)擁有者的貢獻(xiàn)(數(shù)據(jù)量、數(shù)據(jù)質(zhì)量)并激勵(lì)其參與FL。Wang等人[26]在分層FL中設(shè)計(jì)了一種基于區(qū)塊鏈的激勵(lì)機(jī)制,該機(jī)制確保了在模型訓(xùn)練過(guò)程中貢獻(xiàn)的數(shù)據(jù)質(zhì)量和數(shù)據(jù)量,以提高FL模型的性能。Li等人[27]設(shè)計(jì)了一種基于無(wú)限重復(fù)博弈的激勵(lì)機(jī)制,該機(jī)制評(píng)價(jià)數(shù)據(jù)擁有者的貢獻(xiàn)時(shí)綜合考慮了數(shù)據(jù)量和數(shù)據(jù)質(zhì)量。

    目前,F(xiàn)L激勵(lì)機(jī)制的研究并未考慮任務(wù)發(fā)布者與某些數(shù)據(jù)擁有者之間競(jìng)爭(zhēng)關(guān)系導(dǎo)致的FL間接成本,無(wú)法有效激勵(lì)競(jìng)爭(zhēng)環(huán)境下的數(shù)據(jù)擁有者參與FL。鑒于此,本文考慮競(jìng)爭(zhēng)環(huán)境的FL數(shù)據(jù)擁有者激勵(lì)問(wèn)題,提出金錢(qián)與模型使用權(quán)相結(jié)合的MM組合激勵(lì),并在此基礎(chǔ)上設(shè)計(jì)一種多維契約激勵(lì)機(jī)制。

    2 系統(tǒng)模型

    本章考慮一個(gè)競(jìng)爭(zhēng)環(huán)境下的FL,它由一個(gè)任務(wù)發(fā)布者和一組數(shù)據(jù)擁有者N={1,2,…,N}組成,且任務(wù)發(fā)布者和數(shù)據(jù)擁有者之間存在競(jìng)爭(zhēng)關(guān)系。首先,引入競(jìng)爭(zhēng)強(qiáng)度參數(shù)來(lái)描述這種競(jìng)爭(zhēng)關(guān)系;其次,根據(jù)引入的競(jìng)爭(zhēng)強(qiáng)度輔助劃分?jǐn)?shù)據(jù)擁有者類型;最后,給出競(jìng)爭(zhēng)環(huán)境下的任務(wù)發(fā)布者以及數(shù)據(jù)擁有者的利潤(rùn)函數(shù),為下一節(jié)設(shè)計(jì)多維契約激勵(lì)機(jī)制提供基礎(chǔ)。

    2.1 競(jìng)爭(zhēng)強(qiáng)度

    在大數(shù)據(jù)時(shí)代,企業(yè)各自擁有的數(shù)據(jù)作為優(yōu)化企業(yè)自身產(chǎn)品以吸引更多市場(chǎng)渠道的重要資源而備受保護(hù)。而企業(yè)擁有它們的競(jìng)爭(zhēng)對(duì)手所沒(méi)有的市場(chǎng)渠道,便形成了競(jìng)爭(zhēng)優(yōu)勢(shì)。當(dāng)任務(wù)發(fā)布者與數(shù)據(jù)擁有者之間存在競(jìng)爭(zhēng)關(guān)系時(shí),數(shù)據(jù)擁有者參與FL可能會(huì)間接導(dǎo)致競(jìng)爭(zhēng)優(yōu)勢(shì)的削弱,從而產(chǎn)生間接成本,影響了數(shù)據(jù)擁有者的參與意愿。而現(xiàn)有激勵(lì)機(jī)制并未考慮到競(jìng)爭(zhēng)關(guān)系帶來(lái)的間接成本,難以有效激勵(lì)競(jìng)爭(zhēng)環(huán)境下的數(shù)據(jù)擁有者參與FL。

    針對(duì)上述問(wèn)題,引入競(jìng)爭(zhēng)強(qiáng)度β(β∈[0,1])來(lái)量化競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間的競(jìng)爭(zhēng)關(guān)系。具體來(lái)說(shuō),競(jìng)爭(zhēng)強(qiáng)度大小反映數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間競(jìng)爭(zhēng)關(guān)系的激烈程度,即競(jìng)爭(zhēng)程度。競(jìng)爭(zhēng)強(qiáng)度β=0表示數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間不存在競(jìng)爭(zhēng)關(guān)系,數(shù)據(jù)擁有者參與FL的成本僅為訓(xùn)練模型和傳輸運(yùn)算結(jié)果所導(dǎo)致的直接成本;競(jìng)爭(zhēng)強(qiáng)度β>0表示數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間存在競(jìng)爭(zhēng)關(guān)系,數(shù)據(jù)擁有者參與FL的成本為直接成本和因競(jìng)爭(zhēng)優(yōu)勢(shì)削弱所導(dǎo)致的間接成本。隨著競(jìng)爭(zhēng)強(qiáng)度β增大,任務(wù)發(fā)布者與數(shù)據(jù)擁有者之間的競(jìng)爭(zhēng)程度上升,數(shù)據(jù)擁有者參與FL所削弱的競(jìng)爭(zhēng)優(yōu)勢(shì)更多,數(shù)據(jù)擁有者參與FL時(shí)所導(dǎo)致的間接成本也相應(yīng)增加。

    由于數(shù)據(jù)擁有者在競(jìng)爭(zhēng)環(huán)境下參與FL時(shí),因競(jìng)爭(zhēng)關(guān)系導(dǎo)致的間接成本屬于數(shù)據(jù)擁有者的私人信息,任務(wù)發(fā)布者無(wú)法獲取,所以任務(wù)發(fā)布者需要在信息不對(duì)稱的情況下設(shè)計(jì)激勵(lì)機(jī)制??紤]到契約激勵(lì)機(jī)制是應(yīng)對(duì)信息不對(duì)稱情況下激勵(lì)問(wèn)題的一種有效機(jī)制,擬設(shè)計(jì)針對(duì)競(jìng)爭(zhēng)環(huán)境的FL契約激勵(lì)機(jī)制。

    2.2 數(shù)據(jù)擁有者類型

    根據(jù)文獻(xiàn)[12]可知,數(shù)據(jù)擁有者參與FL時(shí)所提供的數(shù)據(jù)質(zhì)量Γ(Γ>0)決定局部模型的迭代次數(shù),即Ω=θ/Γ,其中,Ω為全局模型允許誤差固定時(shí)局部模型迭代次數(shù)上限,θ(θ>0)表示與數(shù)據(jù)質(zhì)量相關(guān)的局部模型迭代次數(shù)轉(zhuǎn)換系數(shù)。當(dāng)數(shù)據(jù)擁有者與任務(wù)發(fā)布者不存在競(jìng)爭(zhēng)關(guān)系時(shí),數(shù)據(jù)擁有者參與FL所提供的數(shù)據(jù)質(zhì)量Γ僅由真實(shí)數(shù)據(jù)質(zhì)量h決定,即Ω=θ/h[12, 28];當(dāng)數(shù)據(jù)擁有者與任務(wù)發(fā)布者存在競(jìng)爭(zhēng)關(guān)系時(shí),數(shù)據(jù)擁有者參與FL時(shí)所提供的數(shù)據(jù)質(zhì)量Γ,由數(shù)據(jù)擁有者的真實(shí)數(shù)據(jù)質(zhì)量h、競(jìng)爭(zhēng)強(qiáng)度β和競(jìng)爭(zhēng)敏感度δ共同決定,即

    其中:競(jìng)爭(zhēng)敏感度δ表示數(shù)據(jù)擁有者對(duì)競(jìng)爭(zhēng)的敏感程度,δ∈[0,h/β)。當(dāng)δ=0時(shí),表明數(shù)據(jù)擁有者對(duì)競(jìng)爭(zhēng)不敏感,即無(wú)論競(jìng)爭(zhēng)強(qiáng)度β大小,數(shù)據(jù)擁有者所提供的數(shù)據(jù)質(zhì)量Γ均為真實(shí)數(shù)據(jù)質(zhì)量h;當(dāng)δ>0時(shí),表明數(shù)據(jù)擁有者對(duì)競(jìng)爭(zhēng)敏感,也就是說(shuō),當(dāng)數(shù)據(jù)擁有者與任務(wù)發(fā)布者存在競(jìng)爭(zhēng)關(guān)系時(shí),為避免在未來(lái)競(jìng)爭(zhēng)中失去競(jìng)爭(zhēng)優(yōu)勢(shì),數(shù)據(jù)擁有者傾向于不提供真實(shí)數(shù)據(jù)質(zhì)量h,即所提供的數(shù)據(jù)質(zhì)量Γ小于其真實(shí)數(shù)據(jù)質(zhì)量h,而真實(shí)數(shù)據(jù)質(zhì)量h與所提供的數(shù)據(jù)質(zhì)量Γ之間的差額由競(jìng)爭(zhēng)強(qiáng)度β和競(jìng)爭(zhēng)敏感度δ共同決定,競(jìng)爭(zhēng)強(qiáng)度β越大或競(jìng)爭(zhēng)敏感度δ越高,兩者差額越大,反之,兩者差額越小。

    為便于分析,假設(shè)有I種真實(shí)數(shù)據(jù)質(zhì)量H={hi,1≤i≤I},J種競(jìng)爭(zhēng)強(qiáng)度B={βj,1≤j≤J},K種競(jìng)爭(zhēng)敏感度D={δk,1≤k≤K}。將I種真實(shí)數(shù)據(jù)質(zhì)量按遞增順序排列,即h1<……>βj>…>βJ,j∈{1,2,…,J},K種競(jìng)爭(zhēng)敏感度按遞減順序排列,即δ1>…>δk>…>δK,k∈{1,2,…,K},依據(jù)每個(gè)數(shù)據(jù)擁有者的真實(shí)數(shù)據(jù)質(zhì)量hi、競(jìng)爭(zhēng)強(qiáng)度βj和競(jìng)爭(zhēng)敏感度δk,對(duì)所有參與FL的數(shù)據(jù)擁有者進(jìn)行類型劃分,真實(shí)數(shù)據(jù)質(zhì)量為hi、競(jìng)爭(zhēng)強(qiáng)度為βj、競(jìng)爭(zhēng)敏感度為δk的數(shù)據(jù)擁有者類型為(hi,βj,δk),簡(jiǎn)稱為ijk類型數(shù)據(jù)擁有者或數(shù)據(jù)擁有者ijk。

    數(shù)據(jù)擁有者ijk參與FL所提供的數(shù)據(jù)質(zhì)量Γijk由真實(shí)數(shù)據(jù)質(zhì)量hi、競(jìng)爭(zhēng)強(qiáng)度βj和競(jìng)爭(zhēng)敏感度δk共同決定,即Γijk=(hi-δkβj)。接下來(lái),通過(guò)Γijk對(duì)不同的數(shù)據(jù)擁有者類型進(jìn)行比較。

    定義1 類型偏好。對(duì)于任意兩個(gè)數(shù)據(jù)擁有者類型ijk和i′j′k′,數(shù)據(jù)擁有者i′j′k′不優(yōu)于數(shù)據(jù)擁有者ijk,即i′j′k′ijk,當(dāng)且僅當(dāng)Γi′j′k′≤Γijk,其中i,i′∈{1,2,…,I},j,j′∈{1,2,…,J}和k,k′∈{1,2,…,K}。

    將數(shù)據(jù)擁有者所提供的數(shù)據(jù)質(zhì)量按非遞減順序排列:

    其中:i∈{1,2,…,I},j∈{1,2,…,J}和k∈{1,2,…,K}。為便于分析,將ijk類型數(shù)據(jù)擁有者在數(shù)據(jù)擁有者類型排序中的前一項(xiàng)稱為ijk類型的緊前項(xiàng),表示為(ijk-1);將ijk類型數(shù)據(jù)擁有者在數(shù)據(jù)擁有者類型排序中的后一項(xiàng)稱為ijk類型的緊后項(xiàng),表示為(ijk+1),不難看出,Γijk-1≤Γijk≤Γijk+1。

    2.3 利潤(rùn)函數(shù)

    為在競(jìng)爭(zhēng)環(huán)境下激勵(lì)數(shù)據(jù)擁有者參與并實(shí)現(xiàn)FL,任務(wù)發(fā)布者需要為不同類型的數(shù)據(jù)擁有者設(shè)計(jì)相應(yīng)的激勵(lì)。契約理論是一種有效的工具,可以幫助任務(wù)發(fā)布者在分別構(gòu)造任務(wù)發(fā)布者和數(shù)據(jù)擁有者的利潤(rùn)函數(shù)的基礎(chǔ)上,設(shè)計(jì)合理的激勵(lì)。基于此,分別給出任務(wù)發(fā)布者和數(shù)據(jù)擁有者的利潤(rùn)函數(shù),以便于設(shè)計(jì)合理的激勵(lì)。

    2.3.1 任務(wù)發(fā)布者的利潤(rùn)函數(shù)

    在FL中,任務(wù)發(fā)布者的利潤(rùn)是所有數(shù)據(jù)擁有者的貢獻(xiàn)與支付給他們的報(bào)酬之間的差額。

    當(dāng)全局模型允許誤差γ固定時(shí),數(shù)據(jù)擁有者參與FL的總時(shí)長(zhǎng)通常被認(rèn)為是影響任務(wù)發(fā)布者收益的主要因素[12]。數(shù)據(jù)擁有者參與FL的總時(shí)長(zhǎng)為局部模型訓(xùn)練時(shí)長(zhǎng)與局部模型傳輸時(shí)長(zhǎng)之和。局部模型訓(xùn)練時(shí)長(zhǎng)由數(shù)據(jù)擁有者所提供的數(shù)據(jù)質(zhì)量和計(jì)算資源共同決定,當(dāng)數(shù)據(jù)擁有者提供更多的計(jì)算資源或更高質(zhì)量的數(shù)據(jù)時(shí),可以更快地完成和實(shí)現(xiàn)FL的全局迭代并達(dá)到預(yù)定義的允許誤差。局部模型傳輸時(shí)長(zhǎng)主要由數(shù)據(jù)擁有者的傳輸速率和傳輸模型數(shù)據(jù)量共同決定。

    考慮數(shù)據(jù)擁有者ijk在局部模型訓(xùn)練中使用的數(shù)據(jù)量為zijk(zijk>0),數(shù)據(jù)擁有者ijk貢獻(xiàn)的計(jì)算資源(即CPU周期頻率)表示為fijk,單個(gè)數(shù)據(jù)樣本局部迭代一次的CPU周期數(shù)為πijk(πijk>0),所有的數(shù)據(jù)樣本數(shù)據(jù)規(guī)模(即字節(jié)數(shù))相同,則數(shù)據(jù)擁有者ijk的局部模型迭代一次時(shí)長(zhǎng)Tcmpijk為(πijkzijk)/fijk。全局模型允許誤差γ固定時(shí),數(shù)據(jù)擁有者ijk的局部模型訓(xùn)練迭代次數(shù)為θ/Γijk,因此,數(shù)據(jù)擁有者ijk的局部模型訓(xùn)練時(shí)長(zhǎng)為

    考慮所有數(shù)據(jù)擁有者的傳輸模型數(shù)據(jù)量σ(σ>0)相同,且為一個(gè)常數(shù),數(shù)據(jù)擁有者ijk的傳輸速率為eijk,則數(shù)據(jù)擁有者ijk的局部模型傳輸時(shí)長(zhǎng)Tcomijk為

    其中:eijk=Bln(1+(αijkdijk)/N0);B(B>0)為傳輸帶寬;αijk(αijk>0)為數(shù)據(jù)擁有者ijk的傳輸功率;dijk(dijk>0)為數(shù)據(jù)擁有者ijk與任務(wù)發(fā)布者之間點(diǎn)對(duì)點(diǎn)鏈路的信道增益;N0(N0>0)為背景噪聲[12]。

    為了在競(jìng)爭(zhēng)環(huán)境下激勵(lì)數(shù)據(jù)擁有者參與FL,任務(wù)發(fā)布者需要為各種類型的數(shù)據(jù)擁有者提供激勵(lì)。在競(jìng)爭(zhēng)環(huán)境下參與FL,對(duì)于任務(wù)發(fā)布者來(lái)說(shuō),F(xiàn)L全局模型能夠帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì),對(duì)于數(shù)據(jù)擁有者來(lái)說(shuō),F(xiàn)L全局模型僅由與其具有競(jìng)爭(zhēng)關(guān)系的任務(wù)發(fā)布者持有并使用,可能削弱數(shù)據(jù)擁有者在未來(lái)競(jìng)爭(zhēng)中的競(jìng)爭(zhēng)優(yōu)勢(shì)。而現(xiàn)有FL契約激勵(lì)機(jī)制并沒(méi)有為競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者削弱的競(jìng)爭(zhēng)優(yōu)勢(shì)提供補(bǔ)償,這使得數(shù)據(jù)擁有者參與FL動(dòng)力不足。

    針對(duì)數(shù)據(jù)擁有者在競(jìng)爭(zhēng)環(huán)境下參與FL動(dòng)力不足問(wèn)題,本文提出MM(monetary-the FL model)組合激勵(lì),即(R,Rmod),其中R(R>0)表示數(shù)據(jù)擁有者獲得的MM組合激勵(lì)中的金錢(qián)激勵(lì),Rmod(Rmod>0)表示數(shù)據(jù)擁有者獲得的MM組合激勵(lì)中的FL模型使用權(quán)激勵(lì)。本文中FL模型使用權(quán)激勵(lì)Rmod是指不同類型數(shù)據(jù)擁有者完成FL訓(xùn)練后可獲得不同允許誤差的全局模型使用權(quán),數(shù)據(jù)擁有者可獲得的全局模型允許誤差越小,模型使用權(quán)激勵(lì)Rmod越大。競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者參與FL可能削弱競(jìng)爭(zhēng)優(yōu)勢(shì),而FL模型使用權(quán)激勵(lì)Rmod旨在補(bǔ)償數(shù)據(jù)擁有者因競(jìng)爭(zhēng)優(yōu)勢(shì)削弱而產(chǎn)生的額外成本。在MM組合激勵(lì)的基礎(chǔ)上,提出競(jìng)爭(zhēng)環(huán)境下多維契約Q(H,B,D)={Qijk,1≤i≤I,1≤j≤J,1≤k≤K},由I×J×K種契約項(xiàng)Qijk={(Rijk,Rmodijk),fijk}組成,其中Qijk表示數(shù)據(jù)擁有者ijk所對(duì)應(yīng)的契約項(xiàng),Rijk表示數(shù)據(jù)擁有者ijk所對(duì)應(yīng)的金錢(qián)激勵(lì),Rmodijk表示數(shù)據(jù)擁有者ijk所對(duì)應(yīng)的模型使用權(quán)激勵(lì),即數(shù)據(jù)擁有者ijk可獲得的不同允許誤差全局模型,且

    其中:η為FL參與者(任務(wù)發(fā)布者和數(shù)據(jù)擁有者)能接受的全局模型最高允許誤差,η>γ。當(dāng)競(jìng)爭(zhēng)強(qiáng)度βj為0時(shí),代表數(shù)據(jù)擁有者與任務(wù)發(fā)布者之間不存在競(jìng)爭(zhēng)關(guān)系,此時(shí)MM組合激勵(lì)退化為單一金錢(qián)激勵(lì);當(dāng)競(jìng)爭(zhēng)強(qiáng)度βj大于0時(shí),在全局模型允許誤差γ固定條件下,不同類型數(shù)據(jù)擁有者獲得的模型使用權(quán)激勵(lì)由競(jìng)爭(zhēng)強(qiáng)度決定,競(jìng)爭(zhēng)強(qiáng)度βj越大,數(shù)據(jù)擁有者可獲得的模型使用權(quán)激勵(lì)Rmodijk越大。

    當(dāng)數(shù)據(jù)擁有者ijk簽訂契約Qijk時(shí),任務(wù)發(fā)布者從數(shù)據(jù)擁有者ijk獲得的利潤(rùn)WTPijk為:任務(wù)發(fā)布者從數(shù)據(jù)擁有者ijk貢獻(xiàn)中獲取的收益UTPijk與提供給數(shù)據(jù)擁有者ijk的報(bào)酬Rijk+λRmodijk之差,即

    其中:l(l>0)為MM組合激勵(lì)(Rijk,Rmodijk)所對(duì)應(yīng)任務(wù)發(fā)布者的單位成本;λ(λ≥0)是FL模型使用權(quán)激勵(lì)的單位收益。由于真實(shí)數(shù)據(jù)質(zhì)量hi越高,則在局部模型訓(xùn)練中迭代時(shí)間Tijk越短,任務(wù)發(fā)布者能獲得的利潤(rùn)WTPijk越高,所以

    2.3.2 數(shù)據(jù)擁有者的利潤(rùn)函數(shù)

    在FL中,數(shù)據(jù)擁有者的利潤(rùn)是任務(wù)發(fā)布者提供的報(bào)酬與數(shù)據(jù)擁有者參與FL總成本之間的差額。

    數(shù)據(jù)擁有者ijk簽訂契約Qijk時(shí)獲得的報(bào)酬為Rijk+λRmodijk。在非競(jìng)爭(zhēng)環(huán)境下,數(shù)據(jù)擁有者參與FL總成本為局部模型訓(xùn)練成本和局部模型傳輸成本;在競(jìng)爭(zhēng)環(huán)境下,除局部模型訓(xùn)練成本和局部模型傳輸成本等直接成本以外,數(shù)據(jù)擁有者參與FL總成本還包括競(jìng)爭(zhēng)優(yōu)勢(shì)可能削弱的間接成本。如2.1節(jié)所述,競(jìng)爭(zhēng)強(qiáng)度用于反映數(shù)據(jù)擁有者和任務(wù)發(fā)布者之間的競(jìng)爭(zhēng)關(guān)系,隨著競(jìng)爭(zhēng)強(qiáng)度βj增大,數(shù)據(jù)擁有者參與FL可能削弱的競(jìng)爭(zhēng)優(yōu)勢(shì)更多,進(jìn)而導(dǎo)致數(shù)據(jù)擁有者參與FL時(shí)的間接成本也相應(yīng)增加。為便于分析,假設(shè)數(shù)據(jù)擁有者ijk在競(jìng)爭(zhēng)環(huán)境下參與FL的間接成本Vcmtijk為

    激勵(lì)機(jī)制設(shè)計(jì)旨在保證契約可行的條件下,確定最優(yōu)契約Q(H,B,D)={Qijk,1≤i≤I,1≤j≤J,1≤k≤K},以最大化任務(wù)發(fā)布者的利潤(rùn),接下來(lái),在兩種信息場(chǎng)景下構(gòu)建激勵(lì)機(jī)制設(shè)計(jì)優(yōu)化模型,解決競(jìng)爭(zhēng)環(huán)境下激勵(lì)機(jī)制設(shè)計(jì)問(wèn)題。

    3 競(jìng)爭(zhēng)環(huán)境下的多維契約激勵(lì)機(jī)制設(shè)計(jì)

    本章考慮在如下兩種信息場(chǎng)景中設(shè)計(jì)競(jìng)爭(zhēng)環(huán)境下聯(lián)邦學(xué)習(xí)多維契約激勵(lì)機(jī)制。

    a)完全信息場(chǎng)景,假設(shè)任務(wù)發(fā)布者知道每個(gè)數(shù)據(jù)擁有者的類型。

    b)不完全信息場(chǎng)景,假設(shè)任務(wù)發(fā)布者只知道數(shù)據(jù)擁有者的類型分布信息。

    接下來(lái),在完全信息場(chǎng)景和不完全信息場(chǎng)景中,分別推導(dǎo)多維契約的可行性以及最優(yōu)性。

    3.1 兩種信息場(chǎng)景下契約設(shè)計(jì)

    為了激勵(lì)數(shù)據(jù)擁有者接受任務(wù)發(fā)布者所設(shè)計(jì)的契約且誠(chéng)實(shí)可靠地參與FL,任務(wù)發(fā)布者所設(shè)計(jì)的契約需要確保數(shù)據(jù)擁有者參與FL時(shí)獲得的利潤(rùn)高于其不參與FL時(shí)的保留收益,且數(shù)據(jù)擁有者選擇對(duì)應(yīng)其類型的契約時(shí)利潤(rùn)最高,即可行契約需要滿足個(gè)體理性(individual rationality,IR)約束和激勵(lì)相容(incentive compatibility,IC)約束。

    定義2 個(gè)體理性。假定數(shù)據(jù)擁有者不參與FL的保留收益為0,為保證數(shù)據(jù)擁有者參與FL,任務(wù)發(fā)布者設(shè)計(jì)的契約要滿足數(shù)據(jù)擁有者ijk(1≤i≤I,1≤j≤J,1≤k≤K)接受契約Qijk時(shí)可以獲得非負(fù)利潤(rùn),即

    在完全信息場(chǎng)景下,即任務(wù)發(fā)布者可以獲知每個(gè)數(shù)據(jù)擁有者類型時(shí),研究競(jìng)爭(zhēng)環(huán)境下聯(lián)邦學(xué)習(xí)多維契約設(shè)計(jì)問(wèn)題。在完全信息場(chǎng)景下,任務(wù)發(fā)布者利用了解的所有數(shù)據(jù)擁有者類型信息,為數(shù)據(jù)擁有者ijk僅提供不低于其保留效用的利潤(rùn),以實(shí)現(xiàn)任務(wù)發(fā)布者利潤(rùn)最大化,此時(shí),IC約束恒成立,因此,任務(wù)發(fā)布者僅需設(shè)計(jì)滿足IR約束和式(24)的I×J×K項(xiàng)契約{(Rijk,Rmodijk),fijk},則完全信息場(chǎng)景下數(shù)據(jù)擁有者ijk的相應(yīng)契約可通過(guò)式(27)優(yōu)化問(wèn)題得到。

    將優(yōu)化問(wèn)題式(27)的最優(yōu)解表示為{RCS*ijk,RmodCS*ijk,fCS*ijk},由該最優(yōu)解得到完全信息場(chǎng)景下數(shù)據(jù)擁有者ijk的最優(yōu)契約。如果參與FL的N個(gè)數(shù)據(jù)擁有者的最優(yōu)契約滿足式(26),則在激勵(lì)預(yù)算上限Rmax下,N個(gè)數(shù)據(jù)擁有者的FL可以實(shí)施,否則,N個(gè)數(shù)據(jù)擁有者的FL無(wú)法實(shí)施。

    在不完全信息場(chǎng)景下,即任務(wù)發(fā)布者僅獲知數(shù)據(jù)擁有者類型分布而無(wú)法準(zhǔn)確獲知其具體類型時(shí),研究競(jìng)爭(zhēng)環(huán)境下聯(lián)邦學(xué)習(xí)多維契約設(shè)計(jì)問(wèn)題。在不完全信息場(chǎng)景下,任務(wù)發(fā)布者還需要確保每個(gè)數(shù)據(jù)擁有者會(huì)選擇與其類型相對(duì)應(yīng)的契約,因此,在不完全信息場(chǎng)景下契約設(shè)計(jì)問(wèn)題,除了需要滿足式(23)~(25)外,還需要滿足式(26),考慮競(jìng)爭(zhēng)環(huán)境的聯(lián)邦學(xué)習(xí)多維契約設(shè)計(jì)問(wèn)題可以表述為

    將優(yōu)化問(wèn)題式(28)的最優(yōu)解表示為{RIS*ijk,RmodIS*ijk,fIS*ijk},i∈{1,2,…,I},j∈{1,2,…,J},k∈{1,2,…,K},由該最優(yōu)解得到不完全信息場(chǎng)景下適于競(jìng)爭(zhēng)環(huán)境的FL最優(yōu)契約。

    接下來(lái),通過(guò)推導(dǎo)可行契約IR約束和IC約束的充分條件,對(duì)優(yōu)化問(wèn)題式(27)和(28)中的約束條件式(23)和(24)進(jìn)行化簡(jiǎn)轉(zhuǎn)換完成求解。

    3.2 契約可行性

    在本節(jié)中,通過(guò)以下引理推導(dǎo)競(jìng)爭(zhēng)環(huán)境的聯(lián)邦學(xué)習(xí)多維契約可行的充分條件。

    引理1 對(duì)于任意可行契約項(xiàng)Qijk,有fijk≥fi′j′k′,當(dāng)且僅當(dāng)Rijk+λRmodijk≥Ri′j′k′+λRmodi′j′k′,且i,i′∈{1,2,…,I},j,j′∈{1,2,…,J},k,k′∈{1,2,…,K}。

    證明 上述引理的證明分為兩部分:第一部分,如果高報(bào)酬,則有高貢獻(xiàn)Rijk+λRmodijk≥Ri′j′k′+λRmodi′j′k′fijk≥fi′j′k′;第二部分,如果高貢獻(xiàn),則有高報(bào)酬fijk≥fi′j′k′Rijk+λRmodijk≥Ri′j′k′+λRmodi′j′k′。

    引理1表明,當(dāng)數(shù)據(jù)擁有者貢獻(xiàn)更高的CPU周期頻率時(shí),任務(wù)發(fā)布者提供的報(bào)酬更高;反之,當(dāng)任務(wù)發(fā)布者提供更高的報(bào)酬時(shí),數(shù)據(jù)擁有者需要貢獻(xiàn)的CPU周期頻率也相對(duì)更高。

    引理2 單調(diào)性。對(duì)于任意可行契約項(xiàng)Qijk,有fi′j′k′≤fijk,當(dāng)且僅當(dāng)(hi′,βj′,δk′)(hi,βj,δk),且i,i′∈{1,2,…,I},j,j′∈{1,2,…,J},k,k′∈{1,2,…,K}。

    證明 對(duì)于數(shù)據(jù)擁有者ijk和i′j′k′,有IC約束:

    引理2表明,當(dāng)數(shù)據(jù)擁有者貢獻(xiàn)更高的CPU周期頻率時(shí),在任務(wù)發(fā)布者劃分的數(shù)據(jù)擁有者類型中該數(shù)據(jù)擁有者類型相對(duì)排序更高;反之,在任務(wù)發(fā)布者劃分的數(shù)據(jù)擁有者類型中,如果某個(gè)數(shù)據(jù)擁有者類型排序更高,該數(shù)據(jù)擁有者需要貢獻(xiàn)的CPU周期頻率也相對(duì)更高。

    引理3 簡(jiǎn)化IR約束。如果(h1,β1,δ1)類型數(shù)據(jù)擁有者所對(duì)應(yīng)的契約Q111滿足IR約束,那么其他類型數(shù)據(jù)擁有者所對(duì)應(yīng)的契約項(xiàng)必然滿足IR約束。

    證明 根據(jù)IC約束有

    優(yōu)化問(wèn)題式(63)的目標(biāo)函數(shù)是關(guān)于CPU周期頻率fIS*ijk二階導(dǎo)恒小于0的凹函數(shù),且約束條件均為關(guān)于CPU周期頻率fIS*ijk的凸函數(shù),因此,優(yōu)化問(wèn)題式(63)是凸優(yōu)化問(wèn)題。通過(guò)MATLAB凸優(yōu)化問(wèn)題工具包CVX求解優(yōu)化問(wèn)題式(63),得到不完全信息場(chǎng)景下的最優(yōu)CPU周期頻率fIS*ijk,在此基礎(chǔ)上,根據(jù)式(8)和(62)分別得到不完全信息場(chǎng)景下的最優(yōu)模型使用權(quán)激勵(lì)和最優(yōu)金錢(qián)激勵(lì),進(jìn)而給出不完全信息場(chǎng)景下的最優(yōu)契約{(RIS*ijk,RmodIS*ijk),fIS*ijk},i∈{1,2,…,I},j∈{1,2,…,J},k∈{1,2,…,K}。具體算法如下。

    算法1 不完全信息場(chǎng)景下的最優(yōu)契約設(shè)計(jì)

    輸入:類型信息(hi,βj,δk);類型概率pijk,i∈{1,2,…,I},j∈{1,2,…,J},k∈{1,2,…,K}。

    輸出:最優(yōu)契約{(RIS*ijk,RmodIS*ijk),fIS*ijk}。

    a) 初始化決策變量集{fISijk,1≤i≤I,1≤j≤J,1≤k≤K};

    b) 調(diào)用CVX求解凸優(yōu)化問(wèn)題式(63),得到最優(yōu)CPU周期頻率fIS*ijk,i∈{1,2,…,I},j∈{1,2,…,J},k∈{1,2,…,K};

    c) 根據(jù)式(8),得到每種類型相對(duì)應(yīng)的最優(yōu)模型使用權(quán)激勵(lì)RmodIS*ijk;

    d) 根據(jù)式(20)(62),得到(Rijk+λRmodijk)IS*;

    e) 根據(jù)RmodIS*ijk和(Rijk+λRmodijk)IS*,得到最優(yōu)金錢(qián)激勵(lì)RIS*ijk;

    f) 由fIS*ijk、RmodIS*ijk、RIS*ijk給出最優(yōu)契約{(RIS*ijk,RmodIS*ijk),fIS*ijk}。

    4 實(shí)驗(yàn)與結(jié)果分析

    4.1 實(shí)驗(yàn)參數(shù)設(shè)置

    為驗(yàn)證所提激勵(lì)機(jī)制在競(jìng)爭(zhēng)環(huán)境下的可行性和有效性,本文考慮了1個(gè)任務(wù)發(fā)布者和N=100個(gè)數(shù)據(jù)擁有者的FL。實(shí)驗(yàn)運(yùn)行環(huán)境為聯(lián)想ideapad,酷睿i5-6200U,16 GB RAM,Windows 10,MATLAB 2021a??紤]多維契約中數(shù)據(jù)擁有者類型服從均勻分布:真實(shí)數(shù)據(jù)質(zhì)量設(shè)置為h∈[180,200],競(jìng)爭(zhēng)強(qiáng)度設(shè)置為β∈[0.5,1],競(jìng)爭(zhēng)敏感度設(shè)置為δ∈[50,55]。除非另有說(shuō)明,仿真中使用的默認(rèn)參數(shù)參考表1。

    4.2 實(shí)驗(yàn)結(jié)果分析

    為了驗(yàn)證本文提出的激勵(lì)機(jī)制在競(jìng)爭(zhēng)環(huán)境下的可行性,分析比較不同類型數(shù)據(jù)擁有者的最優(yōu)MM組合激勵(lì)和最優(yōu)CPU周期頻率。依據(jù)三維私有信息:真實(shí)數(shù)據(jù)質(zhì)量h、競(jìng)爭(zhēng)強(qiáng)度β和競(jìng)爭(zhēng)敏感度δ,將數(shù)據(jù)擁有者初步劃分為8(2×2×2)種類型(hi,βj,δk),i∈{1,2},j∈{1,2},k∈{1,2},數(shù)據(jù)擁有者屬于某一類型的概率為1/8,其中h1=180

    由圖1(a)可知,當(dāng)數(shù)據(jù)擁有者類型越高時(shí),數(shù)據(jù)擁有者獲得的最優(yōu)MM組合激勵(lì)越大;由圖1(b)可知,當(dāng)數(shù)據(jù)擁有者類型越高時(shí),數(shù)據(jù)擁有者需要提供的最優(yōu)CPU周期頻率越大,這驗(yàn)證了引理2中當(dāng)數(shù)據(jù)擁有者提供更高CPU周期頻率時(shí),數(shù)據(jù)擁有者類型越高。此外,以上實(shí)驗(yàn)結(jié)果表明,最優(yōu)MM組合激勵(lì)和最優(yōu)CPU周期頻率隨著數(shù)據(jù)擁有者的類型變化時(shí)具有相同的變化趨勢(shì),驗(yàn)證了引理1中當(dāng)數(shù)據(jù)擁有者提供更高的CPU周期頻率時(shí),數(shù)據(jù)擁有者所獲得的激勵(lì)報(bào)酬也相應(yīng)更高。

    為驗(yàn)證不同類型數(shù)據(jù)擁有者獲得的利潤(rùn)滿足IR約束和IC約束,分析比較所有類型數(shù)據(jù)擁有者選擇不同契約項(xiàng)時(shí)的利潤(rùn),實(shí)驗(yàn)結(jié)果見(jiàn)圖2。

    由圖2可知,不同類型數(shù)據(jù)擁有者選擇任務(wù)發(fā)布者為其設(shè)計(jì)相應(yīng)類型的契約項(xiàng)時(shí),其利潤(rùn)是非負(fù)的,因此,本文所設(shè)計(jì)的激勵(lì)機(jī)制滿足IR約束。此外,由圖2可知,不同類型數(shù)據(jù)擁有者只有選擇任務(wù)發(fā)布者為其設(shè)計(jì)相應(yīng)類型的契約項(xiàng)時(shí),才能獲得最大的利潤(rùn),因此本文所設(shè)計(jì)的激勵(lì)機(jī)制滿足IC約束。

    為了探究本文提出的激勵(lì)機(jī)制對(duì)數(shù)據(jù)擁有者三維私有信息的偏好,分析了真實(shí)數(shù)據(jù)質(zhì)量、競(jìng)爭(zhēng)強(qiáng)度以及競(jìng)爭(zhēng)敏感度變化對(duì)最優(yōu)MM組合激勵(lì)和最優(yōu)CPU周期頻率的影響。將數(shù)據(jù)擁有者類型總數(shù)設(shè)置為27(3×3×3)種,并將三維私有信息按照非遞減順序排列:h1

    由圖3可知,隨著競(jìng)爭(zhēng)強(qiáng)度β或競(jìng)爭(zhēng)敏感度δ上升,數(shù)據(jù)擁有者獲得的最優(yōu)MM組合激勵(lì)和最優(yōu)CPU周期頻率均呈下降趨勢(shì);隨著真實(shí)數(shù)據(jù)質(zhì)量h上升,對(duì)應(yīng)的最優(yōu)MM組合激勵(lì)和最優(yōu)CPU周期頻率上下限均呈上升趨勢(shì)。原因在于擁有更高真實(shí)數(shù)據(jù)質(zhì)量h的數(shù)據(jù)擁有者能為任務(wù)發(fā)布者帶來(lái)更高的利潤(rùn),反之,對(duì)于擁有更高競(jìng)爭(zhēng)強(qiáng)度β或競(jìng)爭(zhēng)敏感度δ的數(shù)據(jù)擁有者導(dǎo)致任務(wù)發(fā)布者的利潤(rùn)下降。因此,本文提出的競(jìng)爭(zhēng)環(huán)境下多維契約激勵(lì)機(jī)制可以在競(jìng)爭(zhēng)環(huán)境中有效激勵(lì)更高真實(shí)數(shù)據(jù)質(zhì)量以及更低競(jìng)爭(zhēng)強(qiáng)度或競(jìng)爭(zhēng)敏感度的數(shù)據(jù)擁有者參與。

    為了探究數(shù)據(jù)擁有者類型總數(shù)變化,對(duì)任務(wù)發(fā)布者利潤(rùn)的影響,分別將數(shù)據(jù)擁有者真實(shí)數(shù)據(jù)質(zhì)量類型總數(shù)I、競(jìng)爭(zhēng)強(qiáng)度類型總數(shù)J和競(jìng)爭(zhēng)敏感度類型總數(shù)K由1增加到4,得到類型總數(shù)變化時(shí)的任務(wù)發(fā)布者利潤(rùn),實(shí)驗(yàn)結(jié)果見(jiàn)圖4。

    由圖4可知,隨著任務(wù)發(fā)布者設(shè)計(jì)契約時(shí)考慮的數(shù)據(jù)擁有者私有信息類型總數(shù)上升,任務(wù)發(fā)布者利潤(rùn)相應(yīng)增加,原因在于任務(wù)發(fā)布者設(shè)計(jì)契約項(xiàng)時(shí)考慮的數(shù)據(jù)擁有者私有信息類型越多,與數(shù)據(jù)擁有者之間的信息不對(duì)稱程度越低,任務(wù)發(fā)布者提供的激勵(lì)報(bào)酬總和相應(yīng)下降,任務(wù)發(fā)布者利潤(rùn)則相應(yīng)增加。

    為探究信息對(duì)稱與否對(duì)任務(wù)發(fā)布者利潤(rùn)的影響,將數(shù)據(jù)擁有者數(shù)量N分別設(shè)置為100、150和200,分別得到完全信息場(chǎng)景和不完全信息場(chǎng)景下任務(wù)發(fā)布者利潤(rùn),實(shí)驗(yàn)結(jié)果見(jiàn)圖5。

    由圖5可知,完全信息場(chǎng)景下任務(wù)發(fā)布者利潤(rùn)總是高于不完全信息場(chǎng)景,且隨著數(shù)據(jù)擁有者數(shù)量增加,完全信息場(chǎng)景下任務(wù)發(fā)布者利潤(rùn)與不完全信息場(chǎng)景下任務(wù)發(fā)布者利潤(rùn)之間的差額逐步擴(kuò)大,原因在于不完全信息場(chǎng)景下,任務(wù)發(fā)布者僅掌握數(shù)據(jù)擁有者類型分布信息,而完全信息場(chǎng)景下任務(wù)發(fā)布者掌握數(shù)據(jù)擁有者的類型信息,因此,不同于不完全信息場(chǎng)景,完全信息場(chǎng)景下任務(wù)發(fā)布者可為各類型數(shù)據(jù)擁有者提供零利潤(rùn)契約,從而實(shí)現(xiàn)任務(wù)發(fā)布者利潤(rùn)最大化。

    最后,分析比較所提多維契約激勵(lì)機(jī)制與現(xiàn)有契約激勵(lì)機(jī)制[12]在競(jìng)爭(zhēng)環(huán)境下實(shí)行時(shí),不同競(jìng)爭(zhēng)強(qiáng)度對(duì)所有數(shù)據(jù)擁有者總利潤(rùn)的影響。將數(shù)據(jù)擁有者類型總數(shù)設(shè)置為3(3×1×1)種,其中,真實(shí)數(shù)據(jù)質(zhì)量分為3種:h1=180

    由圖6可知,當(dāng)競(jìng)爭(zhēng)強(qiáng)度為0時(shí),應(yīng)用本文所提多維契約激勵(lì)機(jī)制與應(yīng)用現(xiàn)有契約激勵(lì)機(jī)制[12],所有數(shù)據(jù)擁有者獲得的總利潤(rùn)相同,這意味著當(dāng)競(jìng)爭(zhēng)強(qiáng)度為0時(shí),本文所提多維契約激勵(lì)機(jī)制退化為現(xiàn)有契約激勵(lì)機(jī)制,即其是現(xiàn)有契約激勵(lì)機(jī)制的一種拓廣。隨著競(jìng)爭(zhēng)強(qiáng)度增加,應(yīng)用本文所提多維契約激勵(lì)機(jī)制,所有數(shù)據(jù)擁有者獲得的總利潤(rùn)上升,而應(yīng)用現(xiàn)有契約激勵(lì)機(jī)制,所有數(shù)據(jù)擁有者獲得的總利潤(rùn)降低。此外,隨著間接成本轉(zhuǎn)換系數(shù)上升,應(yīng)用現(xiàn)有契約激勵(lì)機(jī)制,所有數(shù)據(jù)擁有者總利潤(rùn)快速下降甚至為負(fù),原因在于本文所提多維契約激勵(lì)機(jī)制中模型使用權(quán)激勵(lì)隨著競(jìng)爭(zhēng)強(qiáng)度增加而增加,使得數(shù)據(jù)擁有者收益增加,有效彌補(bǔ)了數(shù)據(jù)擁有者在競(jìng)爭(zhēng)環(huán)境下參與FL導(dǎo)致的間接成本,所有數(shù)據(jù)擁有者總利潤(rùn)得以保證,而現(xiàn)有契約激勵(lì)機(jī)制并未考慮這部分間接成本,使得所有數(shù)據(jù)擁有者總利潤(rùn)降低甚至為負(fù)。綜上所述,與現(xiàn)有契約激勵(lì)機(jī)制相比,本文提出的多維契約激勵(lì)機(jī)制考慮到了競(jìng)爭(zhēng)關(guān)系對(duì)數(shù)據(jù)擁有者參與FL成本的影響,有效提高了數(shù)據(jù)擁有者的參與意愿,為競(jìng)爭(zhēng)環(huán)境下FL的落地實(shí)施提供有效助力。

    5 結(jié)束語(yǔ)

    本文考慮了競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者的真實(shí)數(shù)據(jù)質(zhì)量、競(jìng)爭(zhēng)敏感度和競(jìng)爭(zhēng)強(qiáng)度三維私有信息,并創(chuàng)新性地設(shè)計(jì)了金錢(qián)與FL模型使用權(quán)組合的MM組合激勵(lì),提出了一個(gè)適于競(jìng)爭(zhēng)環(huán)境FL的多維契約激勵(lì)機(jī)制,解決了競(jìng)爭(zhēng)環(huán)境下的FL數(shù)據(jù)擁有者參與動(dòng)力不足問(wèn)題。實(shí)驗(yàn)結(jié)果表明,競(jìng)爭(zhēng)環(huán)境下多維契約激勵(lì)機(jī)制更準(zhǔn)確地考慮了競(jìng)爭(zhēng)環(huán)境下數(shù)據(jù)擁有者參與FL的成本,能顯著提高數(shù)據(jù)擁有者在競(jìng)爭(zhēng)環(huán)境下的參與意愿,有助于FL在競(jìng)爭(zhēng)環(huán)境的落地實(shí)施。

    在競(jìng)爭(zhēng)環(huán)境下FL實(shí)施過(guò)程中,除了任務(wù)發(fā)布者與數(shù)據(jù)擁有者之間存在競(jìng)爭(zhēng)關(guān)系外,任務(wù)發(fā)布者之間或數(shù)據(jù)擁有者之間也可能存在競(jìng)爭(zhēng)關(guān)系,對(duì)FL激勵(lì)機(jī)制的設(shè)計(jì)造成不同程度的影響,在今后的工作中,將進(jìn)一步研究考慮不同競(jìng)爭(zhēng)關(guān)系的FL激勵(lì)機(jī)制。

    參考文獻(xiàn):

    [1]李萬(wàn)利,潘文東,袁凱彬.企業(yè)數(shù)字化轉(zhuǎn)型與中國(guó)實(shí)體經(jīng)濟(jì)發(fā)展[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究,2022,39(9):5-25.(Li Wanli, Pan Wendong, Yuan Kaibin. Enterprise digital transformation and the development of Chinas real economy[J].Journal of Quantitative & Technological Economics,2022,39(9):5-25.)

    [2]孫璐,黃婕.信息交互能力對(duì)企業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)的影響研究[J].商業(yè)經(jīng)濟(jì)研究,2022(16):135-141.(Sun Lu, Huang Jie. Research on the impact of information interaction capacity on firm competitive advantage[J].Journal of Commercial economics,2022(16):135-141.)

    [3]McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]//Proc of the 20th International Conference on Artificial Intelligence and Statistics.New York:PMLR Press,2017:1273-1282.

    [4]Saputra Y M, Nguyen D, Dinh H T, et al. Federated learning meets contract theory:economic-efficiency framework for electric vehicle networks[J].IEEE Trans on Mobile Computing,2020,21(8):2803-2817.

    [5]Sun Peng, Che Haoxuan, Wang Zhibo, et al. Pain-FL:personalized privacy-preserving incentive for federated learning[J].IEEE Journal on Selected Areas in Communications,2021,39(12):3805-3820.

    [6]王鑫,李美慶,王黎明,等.一種基于合同理論的可激勵(lì)聯(lián)邦學(xué)習(xí)模型[J].電子與信息學(xué)報(bào),2023,45(3):874-883.(Wang Xin, Li Meiqing, Wang Liming, et al. An incentivized federated learning model based on contract theory[J].Journal of Electronics & Information Technology,2023,45(3):874-883.)

    [7]Yu Han, Liu Zelei, Liu Yang, et al. A fairness-aware incentive scheme for federated learning[C]//Proc of AAAI/ACM Conference on AI, Ethics, and Society.New York:ACM Press,2020:393-399.

    [8]Wu Maoqiang, Ye Dongdong, Ding Jiahao, et al. Incentivizing diffe-rentially private federated learning: a multidimensional contract app-roach[J].IEEE Internet of Things Journal,2021,8(13):10639-10651.

    [9]Ding Ningning, Fang Zhixuan, Huang Jianwei. Optimal contract design for efficient federated learning with multi-dimensional private information[J].IEEE Journal on Selected Areas in Communications,2020,39(1):186-200.

    [10]Lim W Y B, Xiong Zehui, Kang Jiawen, et al. When information freshness meets service latency in federated learning:a task-aware incentive scheme for smart industries[J].IEEE Trans on Industrial Informatics,2022,18(1):457-466.

    [11]陳喬松,許文杰,何小陽(yáng),等.FedSharing:一種雙區(qū)塊鏈激勵(lì)驅(qū)動(dòng)的數(shù)據(jù)分享聯(lián)邦學(xué)習(xí)框架[J].計(jì)算機(jī)應(yīng)用研究,2023,40(1):33-41.(Chen Qiaosong, Xu Wenjie, He Xiaoyang, et al. FedSharing: federated learning framework for data sharing driven by dual blockchain incentives[J].Application Research of Computers,2023,40(1):33-41.)

    [12]Kang Jiawen, Xiong Zehui, Niyato D, et al. Incentive mechanism for reliable federated learning: a joint optimization approach to combining reputation and contract theory[J].IEEE Internet of Things Journal,2019,6(6):10700-10714.

    [13]Wang Yuntao, Su Zhou, Luan T H, et al. Federated learning with fair incentives and robust aggregation for UAV-aided crowdsensing[J].IEEE Trans on Network Science and Engineering,2021,9(5):3179-3196.

    [14]Mai Tianle, Yao Haipeng, Xu Jiaqi, et al. Automatic double-auction mechanism for federated learning service market in Internet of Things[J].IEEE Trans on Network Science and Engineering,2022,9(5):3123-3135.

    [15]Dayan I, Roth H R, Zhong Aoxiao, et al. Federated learning for predicting clinical outcomes in patients with COVID-19[J].Nature Medicine,2021,27(10):1735-1743.

    [16]Bercea C, Wiestler B, Rueckert D, et al. Federated disentangled representation learning for unsupervised brain anomaly detection[J].Nature Machine Intelligence,2022,4(8):685-695.

    [17]Wu Chuhan, Wu Fangzhao, Lyu Lingjuan, et al. Communication-efficient federated learning via knowledge distillation[J].Nature Communications,2022,13(1):article ID 2032.

    [18]Yuan Yulan, Jiao Lei, Zhu Konglin, et al. Incentivizing federated learning under long-term energy constraint via online randomized auctions[J].IEEE Trans on Wireless Communications,2022,21(7):5129-5144.

    [19]Le T H T, Tran N H, Tun Y K, et al. An incentive mechanism for federated learning in wireless cellular networks: an auction approach[J].IEEE Trans on Wireless Communications,2021,20(8):4874-4887.

    [20]Sun Wen, Xu Ning, Wang Lu, et al. Dynamic digital twin and fede-rated learning with incentives for air-ground networks[J].IEEE Trans on Network Science and Engineering,2022,9(1):321-333.

    [21]Lin Xi, Wu Jun, Li Jianhua, et al. Friend-as-learner:socially-driven trustworthy and efficient wireless federated edge learning[J].IEEE Trans on Mobile Computing,2023,22(1):269-283.

    [22]顧永跟,鐘浩天,吳小紅,等.不平衡數(shù)據(jù)下預(yù)算限制的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制[J].計(jì)算機(jī)應(yīng)用研究,2022,39(11):3385-3389.(Gu Yonggen, Zhong Haotian, Wu Xiaohong, et al. Incentive mechanism for federated learning with budget constraints under unbalanced data[J].Application Research of Computers,2022,39(11):3385-3389.)

    [23]Lin Wenting, Chen Guo, Huang Yuhan. Incentive edge-based fede-rated learning for false data injection attack detection on power grid state estimation: a novel mechanism design approach[J].Applied Energy,2022,314:118828.

    [24]Wang Zhilin, Hu Qin, Li Ruinian, et al. Incentive mechanism design for joint resource allocation in blockchain-based federated lear-ning[J].IEEE Trans on Parallel and Distributed Systems,2023,34(5):1536-1547.

    [25]Wang Quyuan, Guo Songtao, Liu Guiyan, et al. MotiLearn: contract-based incentive mechanism for heterogeneous edge collaborative training[J].IEEE Trans on Network Science and Engineering,2022,9(4):2895-2909.

    [26]Wang Xiaofei, Zhao Yunfeng, Qiu Chao, et al. InFEDge:a blockchain-based incentive mechanism in hierarchical federated learning for end-edge-cloud communications[J].IEEE Journal on Selected Areas in Communications,2022,40(12):3325-3342.

    [27]Li Ying, Wang Xingwei, Zeng Rongfei, et al. VARF: an incentive mechanism of cross-silo federated learning in MEC[J].IEEE Internet of Things Journal,2023,10(17):15115-15132.

    [28]Tran N H, Bao Wei, Zomaya A, et al. Federated learning over wireless networks: optimization model design and analysis[C]//Proc of IEEE Conference on Computer Communications.Piscataway,NJ:IEEE Press,2019:1387-1395.

    收稿日期:2023-02-11;修回日期:2023-04-27

    基金項(xiàng)目:河北省高等學(xué)校人文社會(huì)科學(xué)研究項(xiàng)目(SQ2022085);河北省自然科學(xué)基金面上項(xiàng)目(A2020402013)

    作者簡(jiǎn)介:楊揚(yáng)(1986-),女(通信作者),河北滿城人,副教授,碩導(dǎo),博士,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)和智能管理(yangyang2015@hebeu.edu.cn);殷紅建(1996-),男,重慶人,碩士研究生,主要研究方向?yàn)橹悄芄芾恚煌醭?983-),男,河北徐水人,教授,碩導(dǎo),博士,主要研究方向?yàn)闄C(jī)器學(xué)習(xí).

    猜你喜歡
    激勵(lì)機(jī)制
    激勵(lì)機(jī)制在企業(yè)人力資源管理中的應(yīng)用
    激勵(lì)機(jī)制在中小學(xué)班級(jí)管理中的應(yīng)用
    甘肅教育(2020年14期)2020-09-11 07:57:26
    激勵(lì)機(jī)制在事業(yè)單位人力資源管理中的作用
    健全少先隊(duì)激勵(lì)機(jī)制 助推隊(duì)員們幸福成長(zhǎng)
    濕地恢復(fù)激勵(lì)機(jī)制的國(guó)際立法及啟示
    激勵(lì)機(jī)制助推節(jié)能減排
    完善黨校黨建工作激勵(lì)機(jī)制研究
    山西票號(hào)的激勵(lì)機(jī)制及其現(xiàn)代啟示
    淺議中小企業(yè)激勵(lì)機(jī)制
    大數(shù)據(jù)時(shí)代下的企業(yè)激勵(lì)機(jī)制
    国产又色又爽无遮挡免费看| 精品久久久久久久毛片微露脸| 亚洲九九香蕉| 日韩有码中文字幕| 看免费av毛片| 免费在线观看视频国产中文字幕亚洲| 精品亚洲成a人片在线观看| 精品少妇内射三级| 中文字幕色久视频| 国产欧美日韩综合在线一区二区| 午夜福利在线观看吧| 久久久久精品人妻al黑| 他把我摸到了高潮在线观看 | 国产欧美日韩综合在线一区二区| 国产免费视频播放在线视频| 韩国精品一区二区三区| 五月开心婷婷网| 在线观看免费视频网站a站| 欧美人与性动交α欧美精品济南到| 国产高清激情床上av| 在线观看人妻少妇| 肉色欧美久久久久久久蜜桃| 少妇的丰满在线观看| 国产免费视频播放在线视频| 亚洲少妇的诱惑av| 日韩欧美免费精品| 亚洲综合色网址| 亚洲专区字幕在线| 精品国产一区二区三区四区第35| 在线看a的网站| 久久精品国产99精品国产亚洲性色 | 欧美成人免费av一区二区三区 | 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产毛片av蜜桃av| 大型av网站在线播放| 亚洲成国产人片在线观看| 欧美乱码精品一区二区三区| 91成人精品电影| 成人免费观看视频高清| 99久久国产精品久久久| 日韩免费高清中文字幕av| 亚洲少妇的诱惑av| 久久久久久久精品吃奶| 夫妻午夜视频| 亚洲精品成人av观看孕妇| 免费黄频网站在线观看国产| 国产日韩欧美视频二区| 精品少妇内射三级| 日日爽夜夜爽网站| 看免费av毛片| 午夜福利影视在线免费观看| 国产视频一区二区在线看| 男人舔女人的私密视频| 成年动漫av网址| 日本精品一区二区三区蜜桃| 叶爱在线成人免费视频播放| 国产成人精品久久二区二区91| tocl精华| 午夜激情久久久久久久| 啦啦啦视频在线资源免费观看| 超碰成人久久| 久久精品熟女亚洲av麻豆精品| 国产成人精品久久二区二区91| 欧美成人免费av一区二区三区 | 麻豆成人av在线观看| 国产高清激情床上av| 亚洲精华国产精华精| www.精华液| 亚洲午夜精品一区,二区,三区| 国产不卡一卡二| 肉色欧美久久久久久久蜜桃| 成人18禁在线播放| 国产无遮挡羞羞视频在线观看| 日韩视频在线欧美| 亚洲国产中文字幕在线视频| 亚洲av国产av综合av卡| 成年人黄色毛片网站| 亚洲av欧美aⅴ国产| 久久国产精品大桥未久av| 国产三级黄色录像| 亚洲一区中文字幕在线| 黄色 视频免费看| 飞空精品影院首页| 另类亚洲欧美激情| 麻豆国产av国片精品| 人人澡人人妻人| 国产无遮挡羞羞视频在线观看| 国产精品国产av在线观看| 精品福利永久在线观看| 国产精品一区二区免费欧美| 超碰97精品在线观看| 国产一区二区三区综合在线观看| 两人在一起打扑克的视频| 又黄又粗又硬又大视频| 18禁国产床啪视频网站| 黄色片一级片一级黄色片| 王馨瑶露胸无遮挡在线观看| 久久精品熟女亚洲av麻豆精品| 一级,二级,三级黄色视频| 国产人伦9x9x在线观看| 每晚都被弄得嗷嗷叫到高潮| 老司机影院毛片| 18禁裸乳无遮挡动漫免费视频| 在线 av 中文字幕| 男女床上黄色一级片免费看| 久久久久久亚洲精品国产蜜桃av| 女同久久另类99精品国产91| 中文字幕人妻丝袜一区二区| 两人在一起打扑克的视频| 不卡av一区二区三区| 国产高清激情床上av| 十八禁人妻一区二区| 午夜免费鲁丝| 欧美av亚洲av综合av国产av| 日韩人妻精品一区2区三区| 制服人妻中文乱码| 亚洲成人免费电影在线观看| 亚洲全国av大片| 国产主播在线观看一区二区| 免费观看人在逋| 色综合欧美亚洲国产小说| 国产精品99久久99久久久不卡| 欧美激情 高清一区二区三区| 后天国语完整版免费观看| 窝窝影院91人妻| 国产在线一区二区三区精| 日本a在线网址| 高清在线国产一区| 欧美+亚洲+日韩+国产| 少妇裸体淫交视频免费看高清 | 国产在线免费精品| 最新在线观看一区二区三区| 久久国产精品影院| 露出奶头的视频| 可以免费在线观看a视频的电影网站| 下体分泌物呈黄色| 人人妻人人爽人人添夜夜欢视频| 后天国语完整版免费观看| 可以免费在线观看a视频的电影网站| 不卡av一区二区三区| 欧美变态另类bdsm刘玥| 精品一区二区三区四区五区乱码| 少妇 在线观看| 亚洲精品美女久久av网站| 大香蕉久久成人网| 免费观看a级毛片全部| 他把我摸到了高潮在线观看 | 日韩大码丰满熟妇| 制服诱惑二区| 中文字幕精品免费在线观看视频| 国产精品久久久人人做人人爽| 欧美乱妇无乱码| 99九九在线精品视频| av在线播放免费不卡| 超色免费av| 亚洲精品久久午夜乱码| 久久狼人影院| 大香蕉久久成人网| 丰满人妻熟妇乱又伦精品不卡| 国产人伦9x9x在线观看| 我要看黄色一级片免费的| 成年人午夜在线观看视频| 亚洲三区欧美一区| 成人亚洲精品一区在线观看| 免费av中文字幕在线| 美女视频免费永久观看网站| 精品国产乱码久久久久久男人| 亚洲欧洲日产国产| 日韩欧美国产一区二区入口| 高清毛片免费观看视频网站 | 99精品久久久久人妻精品| 国产在视频线精品| 在线天堂中文资源库| 久久久久视频综合| 成人av一区二区三区在线看| 最近最新免费中文字幕在线| 咕卡用的链子| 亚洲成av片中文字幕在线观看| 久久这里只有精品19| 欧美激情久久久久久爽电影 | 我要看黄色一级片免费的| 久久天堂一区二区三区四区| 少妇的丰满在线观看| 亚洲成人免费电影在线观看| 亚洲国产精品一区二区三区在线| 久久 成人 亚洲| 国产成人系列免费观看| 在线观看免费午夜福利视频| 精品少妇一区二区三区视频日本电影| 久久中文字幕一级| 怎么达到女性高潮| 日韩 欧美 亚洲 中文字幕| 99riav亚洲国产免费| 精品国内亚洲2022精品成人 | 少妇粗大呻吟视频| 国产在线免费精品| 久久精品国产99精品国产亚洲性色 | 少妇被粗大的猛进出69影院| 视频区图区小说| 黄色视频在线播放观看不卡| 精品国产一区二区三区久久久樱花| 欧美中文综合在线视频| 999久久久国产精品视频| 亚洲国产精品一区二区三区在线| 亚洲成人手机| 99re6热这里在线精品视频| 亚洲成国产人片在线观看| 在线观看www视频免费| 91av网站免费观看| 国产1区2区3区精品| 国产成人欧美| 蜜桃国产av成人99| 三上悠亚av全集在线观看| 精品乱码久久久久久99久播| 18在线观看网站| 91大片在线观看| 国产精品亚洲一级av第二区| 国产精品免费一区二区三区在线 | 老熟女久久久| av视频免费观看在线观看| 露出奶头的视频| 欧美日韩一级在线毛片| 伦理电影免费视频| 亚洲五月色婷婷综合| 欧美变态另类bdsm刘玥| 亚洲av国产av综合av卡| 黄片播放在线免费| 亚洲 国产 在线| 一级片免费观看大全| 免费一级毛片在线播放高清视频 | 看免费av毛片| 国产一卡二卡三卡精品| 国产成人欧美在线观看 | 日韩三级视频一区二区三区| 国产精品欧美亚洲77777| 嫩草影视91久久| 视频在线观看一区二区三区| 一边摸一边抽搐一进一出视频| 国产亚洲欧美在线一区二区| 黄片播放在线免费| 国产免费av片在线观看野外av| 视频区图区小说| 女同久久另类99精品国产91| 欧美精品人与动牲交sv欧美| 两性午夜刺激爽爽歪歪视频在线观看 | 一区二区三区精品91| 99香蕉大伊视频| 夫妻午夜视频| 久久国产精品影院| 99精品欧美一区二区三区四区| 如日韩欧美国产精品一区二区三区| 丰满人妻熟妇乱又伦精品不卡| 美女视频免费永久观看网站| 又大又爽又粗| 国产精品1区2区在线观看. | 大香蕉久久成人网| 老熟妇乱子伦视频在线观看| 18禁美女被吸乳视频| 久久国产亚洲av麻豆专区| 考比视频在线观看| 亚洲免费av在线视频| 每晚都被弄得嗷嗷叫到高潮| 成人手机av| 老司机亚洲免费影院| 国产在线免费精品| 高潮久久久久久久久久久不卡| 久久精品熟女亚洲av麻豆精品| 亚洲伊人久久精品综合| 老熟妇仑乱视频hdxx| 视频在线观看一区二区三区| 水蜜桃什么品种好| 最近最新中文字幕大全免费视频| 一本久久精品| 亚洲人成77777在线视频| 黄片播放在线免费| 亚洲第一青青草原| 国产片内射在线| 少妇精品久久久久久久| 夜夜夜夜夜久久久久| 欧美日韩亚洲高清精品| 两性夫妻黄色片| 手机成人av网站| 久久人妻福利社区极品人妻图片| 色综合婷婷激情| 国产精品二区激情视频| 国产日韩一区二区三区精品不卡| 99re在线观看精品视频| 老司机午夜福利在线观看视频 | 男人操女人黄网站| 在线观看www视频免费| a级毛片在线看网站| 99国产精品一区二区三区| videosex国产| 免费一级毛片在线播放高清视频 | 我要看黄色一级片免费的| 性高湖久久久久久久久免费观看| 国产精品电影一区二区三区 | 丁香欧美五月| 少妇裸体淫交视频免费看高清 | 日韩中文字幕视频在线看片| 亚洲色图av天堂| 日本精品一区二区三区蜜桃| 国产精品秋霞免费鲁丝片| 99国产精品一区二区三区| 国产亚洲欧美在线一区二区| 91老司机精品| 人妻一区二区av| 丰满人妻熟妇乱又伦精品不卡| 国产在线观看jvid| 国产97色在线日韩免费| videos熟女内射| 女警被强在线播放| 狠狠精品人妻久久久久久综合| 免费人妻精品一区二区三区视频| 麻豆乱淫一区二区| 桃红色精品国产亚洲av| 日韩一区二区三区影片| 这个男人来自地球电影免费观看| 一级黄色大片毛片| 一级,二级,三级黄色视频| 咕卡用的链子| 精品国产乱码久久久久久男人| 男男h啪啪无遮挡| 啦啦啦 在线观看视频| 久久热在线av| 人人妻人人爽人人添夜夜欢视频| 天堂8中文在线网| 他把我摸到了高潮在线观看 | 久久久水蜜桃国产精品网| 国产aⅴ精品一区二区三区波| 免费少妇av软件| 一本—道久久a久久精品蜜桃钙片| 午夜免费成人在线视频| 十分钟在线观看高清视频www| 伊人久久大香线蕉亚洲五| 99香蕉大伊视频| 亚洲国产欧美日韩在线播放| 中文字幕人妻熟女乱码| 免费在线观看影片大全网站| 精品国产乱码久久久久久小说| 国产成人欧美| 99热国产这里只有精品6| 美女视频免费永久观看网站| 亚洲人成电影免费在线| 好男人电影高清在线观看| 欧美日韩一级在线毛片| 嫩草影视91久久| 黄色片一级片一级黄色片| 国产欧美日韩一区二区三区在线| 一进一出抽搐动态| 变态另类成人亚洲欧美熟女 | 亚洲精品粉嫩美女一区| 久久精品人人爽人人爽视色| 香蕉国产在线看| 又黄又粗又硬又大视频| 精品人妻熟女毛片av久久网站| 一进一出抽搐动态| 亚洲欧美日韩另类电影网站| 亚洲av国产av综合av卡| 在线观看www视频免费| 在线观看免费日韩欧美大片| 国产一区二区三区视频了| 成年人黄色毛片网站| 国产无遮挡羞羞视频在线观看| 成人手机av| 在线观看66精品国产| 欧美变态另类bdsm刘玥| 午夜福利视频在线观看免费| 国产黄色免费在线视频| 亚洲中文日韩欧美视频| 亚洲精品一卡2卡三卡4卡5卡| 国产一区二区三区综合在线观看| 日本一区二区免费在线视频| 天天躁日日躁夜夜躁夜夜| 极品少妇高潮喷水抽搐| 一级,二级,三级黄色视频| 国产免费视频播放在线视频| 国产免费av片在线观看野外av| 亚洲伊人久久精品综合| 在线观看免费视频日本深夜| 黄色视频,在线免费观看| 亚洲情色 制服丝袜| 人人妻人人爽人人添夜夜欢视频| 国产精品电影一区二区三区 | 99国产精品一区二区蜜桃av | 80岁老熟妇乱子伦牲交| 久久影院123| 18禁国产床啪视频网站| 脱女人内裤的视频| av有码第一页| 久久精品国产综合久久久| 久久中文字幕人妻熟女| 两性午夜刺激爽爽歪歪视频在线观看 | 无遮挡黄片免费观看| 国产单亲对白刺激| 一区福利在线观看| 久久人妻av系列| 91精品三级在线观看| 淫妇啪啪啪对白视频| 久久久水蜜桃国产精品网| 国产1区2区3区精品| 久久国产精品大桥未久av| 无限看片的www在线观看| 亚洲七黄色美女视频| 亚洲色图av天堂| 免费看十八禁软件| 蜜桃国产av成人99| 精品一区二区三区四区五区乱码| 在线观看一区二区三区激情| 免费av中文字幕在线| 亚洲成人国产一区在线观看| 啦啦啦在线免费观看视频4| 91成年电影在线观看| 一本综合久久免费| 久久亚洲真实| 亚洲精品中文字幕在线视频| 亚洲国产av影院在线观看| 91成人精品电影| 自拍欧美九色日韩亚洲蝌蚪91| 国产又色又爽无遮挡免费看| 久久影院123| 99在线人妻在线中文字幕 | 日本五十路高清| 免费不卡黄色视频| 一区福利在线观看| 91老司机精品| 国产精品一区二区在线观看99| 美国免费a级毛片| 最近最新中文字幕大全免费视频| 欧美成人午夜精品| 日韩有码中文字幕| 美女视频免费永久观看网站| 国产欧美日韩综合在线一区二区| tube8黄色片| 午夜成年电影在线免费观看| 亚洲久久久国产精品| 国产成人免费无遮挡视频| 极品教师在线免费播放| 777久久人妻少妇嫩草av网站| 99riav亚洲国产免费| 亚洲国产欧美日韩在线播放| 亚洲免费av在线视频| 久久精品熟女亚洲av麻豆精品| 久久ye,这里只有精品| 国产在线视频一区二区| 日韩免费高清中文字幕av| 啪啪无遮挡十八禁网站| 久久婷婷成人综合色麻豆| 国产成人av教育| 丝袜喷水一区| 高清在线国产一区| 岛国毛片在线播放| 热99国产精品久久久久久7| 中亚洲国语对白在线视频| 在线观看www视频免费| 99久久国产精品久久久| 亚洲国产看品久久| 久久久久久久久免费视频了| 黄色视频,在线免费观看| 美女国产高潮福利片在线看| 久久性视频一级片| 国产在线一区二区三区精| 一级片'在线观看视频| 国产一卡二卡三卡精品| 男男h啪啪无遮挡| 51午夜福利影视在线观看| 久热爱精品视频在线9| 成人黄色视频免费在线看| 人人妻,人人澡人人爽秒播| av网站在线播放免费| 国产91精品成人一区二区三区 | 69av精品久久久久久 | 十分钟在线观看高清视频www| h视频一区二区三区| 国产成人av激情在线播放| 免费高清在线观看日韩| 国产精品99久久99久久久不卡| 国产av又大| 国产野战对白在线观看| 国产片内射在线| 亚洲精品国产精品久久久不卡| 高清欧美精品videossex| 午夜福利在线观看吧| 在线亚洲精品国产二区图片欧美| 精品午夜福利视频在线观看一区 | www.精华液| 国产在线视频一区二区| 亚洲va日本ⅴa欧美va伊人久久| 一边摸一边抽搐一进一小说 | 午夜福利免费观看在线| 精品福利观看| 免费在线观看黄色视频的| 久久国产精品男人的天堂亚洲| 9色porny在线观看| 丝袜美腿诱惑在线| 亚洲五月色婷婷综合| 一进一出抽搐动态| h视频一区二区三区| 99精品在免费线老司机午夜| 最近最新中文字幕大全免费视频| 亚洲精品中文字幕在线视频| 中文字幕色久视频| 中文字幕人妻丝袜一区二区| 我要看黄色一级片免费的| 汤姆久久久久久久影院中文字幕| 日韩欧美国产一区二区入口| 高清在线国产一区| 午夜福利在线免费观看网站| 一级黄色大片毛片| 两人在一起打扑克的视频| 精品国产美女av久久久久小说| 亚洲av中文字字幕乱码综合| 母亲3免费完整高清在线观看| 一进一出抽搐gif免费好疼| 久久久国产成人精品二区| 宅男免费午夜| 欧美日韩国产亚洲二区| 午夜福利视频1000在线观看| 精品久久久久久,| 国产 一区 欧美 日韩| 国产一区二区三区在线臀色熟女| 在线观看66精品国产| 美女 人体艺术 gogo| 男女下面进入的视频免费午夜| 亚洲 欧美一区二区三区| 两个人视频免费观看高清| 人妻夜夜爽99麻豆av| 国产v大片淫在线免费观看| 天堂动漫精品| 国内精品一区二区在线观看| 嫩草影院入口| 夜夜看夜夜爽夜夜摸| 国产91精品成人一区二区三区| 国产成人精品无人区| 亚洲午夜精品一区,二区,三区| 51午夜福利影视在线观看| 超碰成人久久| 一个人免费在线观看电影 | 亚洲av日韩精品久久久久久密| 欧美日韩精品网址| 黄色片一级片一级黄色片| 久久精品国产亚洲av香蕉五月| 国产精品野战在线观看| 免费人成视频x8x8入口观看| 国产精品一区二区三区四区免费观看 | 国模一区二区三区四区视频 | 黄色丝袜av网址大全| 精品久久久久久久毛片微露脸| 亚洲专区国产一区二区| 欧美色欧美亚洲另类二区| 国产精品,欧美在线| 国产亚洲精品一区二区www| 嫁个100分男人电影在线观看| 人人妻人人澡欧美一区二区| 国产在线精品亚洲第一网站| 91在线精品国自产拍蜜月 | 视频区欧美日本亚洲| 亚洲精品一卡2卡三卡4卡5卡| 中文字幕精品亚洲无线码一区| 他把我摸到了高潮在线观看| 好看av亚洲va欧美ⅴa在| 毛片女人毛片| 亚洲国产看品久久| 中文字幕av在线有码专区| 丝袜人妻中文字幕| 国产野战对白在线观看| 国内精品久久久久精免费| cao死你这个sao货| 亚洲av成人不卡在线观看播放网| 国产人伦9x9x在线观看| 欧美日韩乱码在线| 老熟妇仑乱视频hdxx| 特大巨黑吊av在线直播| 国产欧美日韩一区二区三| 99热这里只有精品一区 | 亚洲熟女毛片儿| 熟女人妻精品中文字幕| 亚洲av成人不卡在线观看播放网| 桃色一区二区三区在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 校园春色视频在线观看| 男人舔女人下体高潮全视频| 国产成人啪精品午夜网站| 精品国产美女av久久久久小说| 亚洲人成网站高清观看| 长腿黑丝高跟| 午夜日韩欧美国产| 欧美成人性av电影在线观看| 变态另类成人亚洲欧美熟女| 好男人在线观看高清免费视频| 日韩欧美国产一区二区入口| 欧美一级毛片孕妇| 久久精品国产清高在天天线| 99热这里只有是精品50| 亚洲欧美一区二区三区黑人| 日韩人妻高清精品专区| 国产又黄又爽又无遮挡在线| 成人午夜高清在线视频| 国产精品影院久久| 久久久精品大字幕| 日本 欧美在线| 精品久久久久久,| 日日摸夜夜添夜夜添小说| 日韩高清综合在线| 91av网一区二区| 亚洲中文日韩欧美视频| 毛片女人毛片| 久久这里只有精品中国| 久久精品亚洲精品国产色婷小说| 成人av在线播放网站| 1024香蕉在线观看| 成人高潮视频无遮挡免费网站| 亚洲人与动物交配视频| 深夜精品福利| 黄色成人免费大全|