• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    電子商務(wù)推薦系統(tǒng)公平性研究進(jìn)展

    2023-09-06 06:17:37喻繼軍熊明華
    現(xiàn)代信息科技 2023年14期
    關(guān)鍵詞:推薦系統(tǒng)電子商務(wù)

    喻繼軍 熊明華

    摘 ?要:隨著電子商務(wù)的快速發(fā)展,推薦系統(tǒng)作為大數(shù)據(jù)環(huán)境下解決“信息過(guò)載”問(wèn)題的有效工具已廣為使用。受數(shù)據(jù)、算法、人為干預(yù)等因素的影響,推薦系統(tǒng)可能會(huì)為具有某些屬性的消費(fèi)群體提供不公平的推薦結(jié)果從而導(dǎo)致各種問(wèn)題。近年來(lái),研究者們提出各種解決推薦系統(tǒng)公平性問(wèn)題的方法。文章總結(jié)了近幾年的研究成果,從兩個(gè)方面總結(jié)歸納了造成電子商務(wù)推薦系統(tǒng)公平性問(wèn)題的主要原因,并給出五種主要的解決方案;介紹了當(dāng)前可供研究的數(shù)據(jù)集及工具,也對(duì)電子商務(wù)推薦系統(tǒng)公平性研究尚存的問(wèn)題及未來(lái)的研究方向進(jìn)行了探討,以期為該領(lǐng)域的研究人員提供參考。

    關(guān)鍵詞:電子商務(wù);推薦系統(tǒng);算法公平性;數(shù)據(jù)偏差

    中圖分類號(hào):TP391;F274 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2096-4706(2023)14-0115-10

    Research Progress on Fairness of E-commerce Recommendation System

    YU Jijun1, XIONG Minghua2

    (1.School of Information Engineering, Shanwei Institute of Technology, Shanwei ?516600;

    2.Business School, Foshan University, Foshan ?528225, China)

    Abstract: With the rapid development of E-commerce, recommendation systems have been widely used as an effective tool to solve the problem of “information overload” in the big data environment. Due to factors such as data, algorithms, and human intervention, recommendation systems may provide unfair recommendation results for consumer groups with certain attributes, leading to various problems. In recent years, researchers have proposed various methods to address the fairness issue of recommendation systems. This paper summarizes the research achievements in recent years, summarizes the main reasons for the fairness issues in E-commerce recommendation systems from two aspects, and provides five main solutions. It introduces the current available datasets and tools for research, and explores the remaining issues and future research directions in the fairness of E-commerce recommendation systems, with the aim of providing reference for researchers in this field.

    Keywords: E-commerce; recommendation system; algorithm fairness; data bias

    0 ?引 ?言

    推薦系統(tǒng)作為大數(shù)據(jù)時(shí)代的一種信息檢索工具,經(jīng)過(guò)近三十年的發(fā)展和積累,已經(jīng)取得了非常豐富的研究成果。在電子商務(wù)領(lǐng)域,推薦系統(tǒng)作為消費(fèi)者與商家之間的重要橋梁紐帶,提升了電商平臺(tái)與消費(fèi)者之間的協(xié)作效率,也降低了消費(fèi)者的搜尋成本。但是,近年來(lái),隨著推薦系統(tǒng)的普遍使用,推薦結(jié)果質(zhì)量的好壞對(duì)消費(fèi)者的影響日益凸顯。特別是“大數(shù)據(jù)殺熟”現(xiàn)象頻繁發(fā)生,推薦系統(tǒng)的可解釋性、公平性等問(wèn)題開(kāi)始受到關(guān)注[1,2]。一方面,由于訓(xùn)練數(shù)據(jù)的樣本偏差、算法設(shè)計(jì)偏差等因素,推薦結(jié)果的準(zhǔn)確率也因人而異,從而導(dǎo)致推薦系統(tǒng)對(duì)消費(fèi)者產(chǎn)生不公平的推薦結(jié)果[3]。如:不同消費(fèi)類型的消費(fèi)者在獲得同一類型商品推薦時(shí)的價(jià)格、質(zhì)量等存在明顯差異[4]。有“偏見(jiàn)”的差異化推薦結(jié)果看上去帶來(lái)了個(gè)性化的體驗(yàn),實(shí)際上卻損害了不同消費(fèi)者群體的利益[5]。另外,推薦系統(tǒng)對(duì)數(shù)據(jù)的迭代使用也產(chǎn)生商品銷售的長(zhǎng)尾現(xiàn)象[6],長(zhǎng)尾現(xiàn)象的產(chǎn)生導(dǎo)致商品推薦的公平性問(wèn)題,即不同商品得不到公平的推薦機(jī)會(huì)。同時(shí),推薦系統(tǒng)的設(shè)計(jì)完全由電商平臺(tái)所主導(dǎo),使其帶有天然的信息不對(duì)稱性。電商平臺(tái)以收益最大化為目的,熱門(mén)、高收益的商品仍然受到電商平臺(tái)推薦的青睞。隨著多目標(biāo)優(yōu)化(如保證準(zhǔn)確率的前提下提高推薦結(jié)果的多樣性、新穎性等)成為推薦領(lǐng)域常用的技術(shù)手段,多目標(biāo)優(yōu)化后的推薦結(jié)果為消費(fèi)者提供更加豐富的商品選擇的同時(shí),也給電商平臺(tái)有意干預(yù)推薦結(jié)果提供了機(jī)會(huì)[7],電商平臺(tái)受收益因素驅(qū)動(dòng)所導(dǎo)致有“偏見(jiàn)”的推薦系統(tǒng)廣泛存在[5,8]。當(dāng)前,現(xiàn)有文獻(xiàn)主要從機(jī)器學(xué)習(xí)的角度對(duì)算法公平性進(jìn)行評(píng)價(jià)[9-12],或者從利益相關(guān)者角度對(duì)公平性的定義進(jìn)行綜述[13],較少有文獻(xiàn)對(duì)電子商務(wù)領(lǐng)域的推薦系統(tǒng)公平性問(wèn)題的產(chǎn)生原因及解決方案進(jìn)行總結(jié)歸納。在電子商務(wù)領(lǐng)域,消費(fèi)者與商品之間作為特殊的“用戶-項(xiàng)目”關(guān)系,既有機(jī)器學(xué)習(xí)領(lǐng)域用戶與項(xiàng)目之間分類預(yù)測(cè)的一般性,又有電子商務(wù)領(lǐng)域中電商平臺(tái)、消費(fèi)者、商品三者交互的特殊性。為此,論文在現(xiàn)有文獻(xiàn)的基礎(chǔ)上,對(duì)造成不公平性推薦結(jié)果潛在的原因以及相應(yīng)的解決方案進(jìn)行總結(jié)歸納,然后列舉了現(xiàn)有供推薦系統(tǒng)公平性研究的數(shù)據(jù)集和檢測(cè)工具,最后對(duì)電子商務(wù)推薦系統(tǒng)公平性研究尚存在的不足及未來(lái)研究方向進(jìn)行探討,為該領(lǐng)域研究人員提供參考。

    1 ?電子商務(wù)推薦系統(tǒng)的公平性

    公平理論最早來(lái)源于社會(huì)科學(xué),常被應(yīng)用于企業(yè)員工的激勵(lì),是一種研究人類動(dòng)機(jī)與知覺(jué)關(guān)系的激勵(lì)理論[14]。在電子商務(wù)領(lǐng)域,傳統(tǒng)基于公平理論的研究主要集中于消費(fèi)者與企業(yè)之間在售前溝通、售中的商品屬性比較及售后支持等服務(wù)過(guò)程中所體現(xiàn)的服務(wù)公平性的差異[15,16]。近年來(lái),隨著推薦系統(tǒng)的廣泛應(yīng)用,推薦系統(tǒng)在商品銷售的售前和售中的服務(wù)作用日益凸顯,推薦服務(wù)的技術(shù)門(mén)檻以及缺乏相應(yīng)的互動(dòng)與可解釋性,加大了消費(fèi)者感知公平性差異的風(fēng)險(xiǎn)。有研究表明,企業(yè)在為獲取利益最大化的情況下存在提供有“偏見(jiàn)”的推薦服務(wù)[5],存在公平性差異的推薦結(jié)果更加影響消費(fèi)者的購(gòu)買(mǎi)行為[3,17,18]。同時(shí),公平性差異不僅體現(xiàn)在消費(fèi)者與消費(fèi)者之間,也體現(xiàn)在物與物之間被選擇的機(jī)會(huì)中,推薦系統(tǒng)對(duì)數(shù)據(jù)的迭代使用也會(huì)產(chǎn)生商品推薦的長(zhǎng)尾現(xiàn)象,即不同商品得不到公平的推薦機(jī)會(huì)[5]?;诖耍拘」?jié)從消費(fèi)者和商品的角度梳理電子商務(wù)推薦系統(tǒng)中的公平性定義。

    1.1 ?消費(fèi)者公平性的定義

    推薦系統(tǒng)的消費(fèi)者公平性主要考慮如何避免推薦算法將部分敏感屬性(如性別、收入、職業(yè)等)納入分類依據(jù),從而導(dǎo)致推薦系統(tǒng)對(duì)特定群體產(chǎn)生不公平的推薦結(jié)果,主要體現(xiàn)在:一是推薦結(jié)果的統(tǒng)計(jì)評(píng)價(jià)指標(biāo)在不同群體間存在差異,二是推薦結(jié)果總是有利或不利于某一群體。目前,公平性的定義主要有統(tǒng)計(jì)公平[19,20]、因果公平[21,22]、反事實(shí)公平性[23]、群體公平[24,25]等,但被廣泛接受且易于表征上述兩個(gè)要求的公平性定義主要包括三個(gè)方面,即:差別性對(duì)待、差別性影響和差別性誤待[26-28]。

    1.1.1 ?差別性對(duì)待

    差別性對(duì)待也稱之為統(tǒng)計(jì)均等,是指在其他非敏感性特征相似的情況下,決策結(jié)果僅在敏感屬性特征不同的群體間有差異,差別性對(duì)待的數(shù)學(xué)表達(dá)為式(1)所示:

    (1)

    其中,x為消費(fèi)者的特征,p為敏感屬性, 為預(yù)測(cè)值,y為真實(shí)值。差別性對(duì)待是歷史最悠久、也是最簡(jiǎn)單的強(qiáng)制公平性指標(biāo)。Corbett-Davies等[29]在論文中詳細(xì)闡釋了差別性對(duì)待的概念,差別性對(duì)待的計(jì)算公式輸出獨(dú)立于敏感屬性p,即p不會(huì)影響輸出概率。差別性對(duì)待還可使用式(2)計(jì)算差別性對(duì)待的距離,從而對(duì)數(shù)據(jù)集給出預(yù)測(cè)偏離差別性對(duì)待的程度:

    (2)

    滿足差別性對(duì)待的公平性主要存在兩個(gè)問(wèn)題,其一,即使推薦結(jié)果滿足式(1),如果一個(gè)組預(yù)測(cè)為正的概率高于另一個(gè)組,那么兩個(gè)組在假正率和真正率上也可能存在差異。其二,盡管敏感屬性能夠給出一些對(duì)預(yù)測(cè)有用的信息,但受限于差別性對(duì)待的嚴(yán)格規(guī)則而不能得到利用,相應(yīng)的準(zhǔn)確率也會(huì)受影響。因此,單獨(dú)的差別性對(duì)待的公平性定義并不能完全反映預(yù)測(cè)的準(zhǔn)確率[30],還需要增加新的公平性要求。

    1.1.2 ?差別性影響

    差別性影響也被稱之為概率均等(Equal Odds),是指推薦結(jié)果總是對(duì)某種敏感性特征上取某個(gè)值的群體更有利(或更不利)。推薦結(jié)果不存在差別性影響,即敏感性特征不同的群體有同樣的概率被分到某一類,可表達(dá)為式(3):

    (3)

    在實(shí)際應(yīng)用中,由于預(yù)測(cè)結(jié)果的差別性影響難以達(dá)到完全相等,有研究認(rèn)為,當(dāng)兩者之比大于某閾值即可認(rèn)為滿足不存在差別性影響的公平性要求[31]。特別地,在部分應(yīng)用領(lǐng)域,預(yù)測(cè)結(jié)果僅在具有優(yōu)勢(shì)領(lǐng)域要求保證公平性,即只要求實(shí)際為正例時(shí),預(yù)測(cè)也為正例的情況下保證其公平性,達(dá)到式(4)的要求即可,滿足式(4)的公平性也稱之為Equal Opportunity:

    (4)

    1.1.3 ?差別性誤待

    差別性誤待是指推薦結(jié)果對(duì)某一個(gè)敏感性屬性上取不同值的群體的預(yù)測(cè)準(zhǔn)確率存在差異,表1展示了幾種衡量準(zhǔn)確率(分類錯(cuò)誤率)的測(cè)量方式[32]。

    分類結(jié)果不存在差別性誤待,即分類的(五種)錯(cuò)誤率不受敏感性屬性的影響,按照錯(cuò)誤率的計(jì)算方式,將這一條件進(jìn)行形式化定義如式(5)至式(9)所示。

    (5)

    (6)

    (7)

    (8)

    (9)

    在實(shí)際應(yīng)用中,若要實(shí)現(xiàn)公平,就要求推薦系統(tǒng)產(chǎn)生的結(jié)果能夠滿足上述三類公平性的定義?,F(xiàn)有研究主要從多目標(biāo)優(yōu)化的角度對(duì)上述三種公平性進(jìn)行優(yōu)化,主要應(yīng)用于特定領(lǐng)域中用戶的種族差異,如銀行發(fā)放貸款的預(yù)測(cè)評(píng)分[32,33]。

    除考慮單個(gè)消費(fèi)者的公平性以外,組推薦也是一種在電子商務(wù)領(lǐng)域較為廣泛的應(yīng)用,如拼單、組團(tuán)購(gòu)買(mǎi)等。組公平性是考慮向一組人公平性地推薦商品。Sacharidis等[24]將組推薦中的公平性定義為組員的最小滿意度,滿意度的定義可采用多種方式進(jìn)行計(jì)算。如,先為每組員進(jìn)行Top-N推薦,然后從各個(gè)組員的Top-N中進(jìn)一步挑選出若干商品作為組成員的最終推薦結(jié)果,再將兩者之間的差異定義組員的滿意度。其中,差異的度量可選擇準(zhǔn)確率、召回率、NDCG等指標(biāo)。

    1.2 ?商品的公平性定義

    推薦系統(tǒng)中商品的公平性是指商品能否得到被公平推薦的機(jī)會(huì),常采用基尼系數(shù)來(lái)描述[34],其數(shù)學(xué)公式表達(dá)如式(10)所示:

    (10)

    其中,I為集合中商品個(gè)數(shù),U為所有消費(fèi)者的數(shù)量,rec(i)為被推薦商品i在推薦列表中的位置。基尼系數(shù)越大,表明數(shù)據(jù)集中商品被推薦的頻率越不公平。

    推薦系統(tǒng)中商品推薦的不公平性,就消費(fèi)者而言,使得越來(lái)越多的消費(fèi)者被局限到一個(gè)相對(duì)狹窄的結(jié)果集中,“信息繭房”現(xiàn)象嚴(yán)重,缺乏高異質(zhì)和新商品的推薦使得消費(fèi)者對(duì)推薦結(jié)果產(chǎn)生厭倦,帶來(lái)低質(zhì)量的推薦體驗(yàn),從而降低了消費(fèi)者的滿意度[34];對(duì)電商平臺(tái)而言,長(zhǎng)尾現(xiàn)象日趨嚴(yán)重,所有的消費(fèi)者看到內(nèi)容的一致性,使得大量的長(zhǎng)尾商品得不到有效曝光,從而降低了商品的銷售機(jī)會(huì)收益。推薦系統(tǒng)的商品公平性問(wèn)題已引起企業(yè)界和學(xué)術(shù)界的關(guān)注。當(dāng)前已有較為豐富的研究,常采用重排名、多目標(biāo)優(yōu)化的方法在保證準(zhǔn)確率的情況下通過(guò)提高推薦結(jié)果多樣性、新穎性等方式解決商品的公平性問(wèn)題[35]。

    2 ?公平性問(wèn)題產(chǎn)生的原因分析

    電子商務(wù)推薦系統(tǒng)的傳統(tǒng)研究主要集中于推薦算法的設(shè)計(jì),以及推薦系統(tǒng)如何影響消費(fèi)者的購(gòu)買(mǎi)決策和企業(yè)的營(yíng)銷策略。近年來(lái),推薦系統(tǒng)的公平性問(wèn)題開(kāi)始被引起關(guān)注[5](圖1中黑色斜體字部分為綜述的內(nèi)容在推薦系統(tǒng)研究領(lǐng)域中的位置)。論文對(duì)產(chǎn)生推薦系統(tǒng)公平性的原因進(jìn)行總結(jié)歸納,將其分為推薦算法中所采用的數(shù)據(jù)與模型偏差及受收益影響的人為干預(yù)兩個(gè)方面。

    2.1 ?數(shù)據(jù)與模型偏差

    推薦系統(tǒng)中所采用的算法本質(zhì)上屬于機(jī)器學(xué)習(xí)范疇,根據(jù)機(jī)器學(xué)習(xí)理論,用戶的行為數(shù)據(jù)會(huì)影響算法訓(xùn)練的模型,模型的輸出結(jié)果也會(huì)影響用戶的決策和行為,從而形成一個(gè)從數(shù)據(jù)到模型再到數(shù)據(jù)的反饋循環(huán)。在沒(méi)有人工干預(yù)的情況下,基于機(jī)器學(xué)習(xí)算法的公平性問(wèn)題主要來(lái)源于用戶的數(shù)據(jù)偏差和所采用的模型偏差。目前,機(jī)器學(xué)習(xí)算法公平性研究主要圍繞決策算法在政治廣告、就業(yè)歧視、風(fēng)險(xiǎn)貸款、就業(yè)推薦、種族差異等社會(huì)公共管理領(lǐng)域,由偏差所導(dǎo)致算法對(duì)不同特征用戶的公平性問(wèn)題[12,32-39],其主要研究?jī)?nèi)容如圖2所示。

    機(jī)器學(xué)習(xí)算法中的偏差主要有數(shù)據(jù)偏差、模型偏差和反饋循環(huán)所帶來(lái)的偏差。數(shù)據(jù)偏差可分為顯示數(shù)據(jù)中的選擇偏差和一致性偏差,以及隱式數(shù)據(jù)中的曝光偏差和位置偏差[13]。

    2.1.1 ?數(shù)據(jù)偏差

    1)位置偏差。消費(fèi)者更傾向于和推薦列表中位置比較靠前的商品交互,因此在推薦列表中用戶和商品的交互不僅由商品的興趣決定,還在很大程度上由商品的排名決定。有研究表明[40],用戶在垂直展示的列表中,更傾向于點(diǎn)擊排名靠前的商品,而忽略排名靠后的商品。

    2)曝光偏差。帶標(biāo)簽的數(shù)據(jù)都是曝光過(guò)的,未曝光的數(shù)據(jù)無(wú)法確定其用戶偏好的標(biāo)簽,直接將未交互的商品當(dāng)作負(fù)樣本也會(huì)引入偏差。

    3)選擇偏差。用戶傾向于給自己喜歡或者不喜歡的商品進(jìn)行打分。當(dāng)用戶能夠自由地選擇給哪些商品打分的時(shí)候,則評(píng)分?jǐn)?shù)據(jù)不具備隨機(jī)性,觀測(cè)到的交互數(shù)據(jù)的分布將不能代表整體數(shù)據(jù)的分布。

    4)一致性偏差。即使群體的打分和消費(fèi)者的判斷并不一致,但消費(fèi)者的打分也會(huì)傾向于和群體一致,消費(fèi)者的這種傾向?qū)⑹沟迷u(píng)分并不能準(zhǔn)確反映消費(fèi)者的偏好。當(dāng)消費(fèi)者從眾以后,推薦結(jié)果會(huì)最終導(dǎo)致對(duì)消費(fèi)者自身不公平的推薦結(jié)果,從而帶來(lái)一致性偏差。

    2.1.2 ?模型偏差

    為了讓模型更好地適應(yīng)數(shù)據(jù),需要對(duì)模型做各種假設(shè),以提升模型的泛化性能,這種假設(shè)可能帶來(lái)模型的歸納偏差。

    2.1.3 ?反饋環(huán)路偏差

    推薦系統(tǒng)構(gòu)成動(dòng)態(tài)的反饋環(huán)路也會(huì)增加偏差。如,流行的商品在推薦結(jié)果中有更高的出現(xiàn)頻率、展示給消費(fèi)者后將出現(xiàn)更多流行商品的交互,使得模型更容易推薦流行的物品,從而導(dǎo)致商品推薦機(jī)會(huì)的公平性問(wèn)題。

    2.1.4 ?評(píng)價(jià)指標(biāo)沖突

    電商平臺(tái)采用推薦系統(tǒng)向消費(fèi)者進(jìn)行商品推薦,也面臨多方利益以及評(píng)價(jià)指標(biāo)的沖突問(wèn)題。有研究表明,對(duì)消費(fèi)者和對(duì)商品的公平性也存在沖突。如,增加推薦的多樣性可提高商品推薦的機(jī)會(huì)從而緩解推薦的商品公平性問(wèn)題[41],卻降低了對(duì)消費(fèi)者的公平性[18]。

    2.2 ?人為干預(yù)

    在電子商務(wù)領(lǐng)域,電商平臺(tái)采用推薦系統(tǒng)向消費(fèi)者進(jìn)行商品推薦,電商平臺(tái)不僅需要考慮消費(fèi)者的偏好以便更好地為消費(fèi)者提供個(gè)性化服務(wù),同時(shí)也需要考慮如何使其自身的利益最大化。由于信息的不對(duì)稱性,電商平臺(tái)為獲取最大的利益,除了上述基于數(shù)據(jù)與模型中的偏差所導(dǎo)致公平性問(wèn)題,也存在電商平臺(tái)受收益因素影響的人為干預(yù)原因。

    在常規(guī)推薦算法中,當(dāng)已預(yù)測(cè)出每個(gè)消費(fèi)者對(duì)商品的未知評(píng)分后,即進(jìn)入Top(N)的推薦產(chǎn)生階

    段。系統(tǒng)可根據(jù)某種排序標(biāo)準(zhǔn),選擇最相關(guān)的商品向消費(fèi)者進(jìn)行推薦。然而,隨著推薦列表長(zhǎng)度的增加,由于選擇偏差的存在,消費(fèi)者對(duì)于推薦列表中的商品的購(gòu)買(mǎi)意愿會(huì)逐漸減弱,電商平臺(tái)受收益的驅(qū)動(dòng),也可以在合適位置使用高收益商品替換原本按預(yù)測(cè)評(píng)分排序的偏好商品。本質(zhì)上而言,電商平臺(tái)在選擇推薦策略的同時(shí),消費(fèi)者不能完全了解電商平臺(tái)為其提供怎樣的商品推薦,電商平臺(tái)與消費(fèi)者之間的交互實(shí)際上是一種不完全信息博弈模型。在博弈模型中,電商平臺(tái)與消費(fèi)者作為博弈雙方的參與人,電商平臺(tái)可根據(jù)不同類型的消費(fèi)者進(jìn)行差異化的推薦。在考慮收益的公平性研究中,D'amour等[42]采用博弈分析的方法在一項(xiàng)采用決策系統(tǒng)決定是否發(fā)放貸款的研究中發(fā)現(xiàn),特定的群組差別性影響約束并不能使整體群組在總體上滿足差別性影響約束,需要采用更詳細(xì)的分析來(lái)確保決策系統(tǒng)能產(chǎn)生預(yù)期的公平性要求。

    目前,對(duì)造成公平性問(wèn)題的偏差因素的研究較為豐富,對(duì)有意識(shí)的人為干預(yù)造成公平性問(wèn)題的研究相對(duì)較為缺乏。另外,現(xiàn)有研究多數(shù)針對(duì)短期公平性對(duì)各類群體產(chǎn)生的影響,而缺少基于長(zhǎng)期結(jié)果視角對(duì)公平性進(jìn)行討論。

    3 ?推薦系統(tǒng)公平性問(wèn)題的解決方案

    推薦系統(tǒng)公平性問(wèn)題的解決方案主要可總結(jié)歸納為五種:公平性表征、正則化學(xué)習(xí)、去偏機(jī)器學(xué)習(xí)處理方法、強(qiáng)化學(xué)習(xí)方法以及多目標(biāo)優(yōu)化等。

    3.1 ?公平性表征

    公平性表征學(xué)習(xí)的任務(wù)是在盡可能地保證效用的同時(shí),構(gòu)建一種(近似地)滿足公平性要求的分類器,即學(xué)習(xí)公平的表征。這類工作主要是通過(guò)找到一種信息豐富的表征Z、一種輸入變量X的特征轉(zhuǎn)換方式,從而使Z(近似地)與敏感屬性p無(wú)關(guān),同時(shí)Z仍然包含關(guān)于目標(biāo)Y的豐富信息[43],表征學(xué)習(xí)的形式化定義如式(11)所示:

    (11)

    其中,ξ>0為預(yù)設(shè)的常數(shù),M表示兩個(gè)隨機(jī)變量之間的互信息。除了這種較為樸素的公平性表征以外,近年來(lái),隨著深度神經(jīng)網(wǎng)絡(luò)在表征學(xué)習(xí)方面的研究進(jìn)展,有較多研究采用對(duì)抗訓(xùn)練算法實(shí)現(xiàn)上面的表征問(wèn)題,以及基于信息論、核模型、解耦學(xué)習(xí)的公平表征任務(wù)等[44-46]。其中,基于信息論的公平表征任務(wù)主要從信息論的角度量化公平表征任務(wù);Gorwa等[47]針對(duì)在敏感屬性難以獲取的情況下通過(guò)對(duì)抗學(xué)習(xí)的方式進(jìn)行公平表征,實(shí)驗(yàn)結(jié)果顯示,采用少量樣本就可得到不錯(cuò)的效果;Zhao等[48]通過(guò)對(duì)抗學(xué)習(xí)的表征方法實(shí)現(xiàn)了同時(shí)滿足近似的準(zhǔn)確率均等和幾率均等的目的;Xu等[49]則利用深度對(duì)抗生成模型并結(jié)合因果公平,在表征學(xué)習(xí)的基礎(chǔ)上提高表征的可解釋性。此外,還有基于解耦學(xué)習(xí)的公平表征[50]、基于最優(yōu)傳輸理論,采用隨機(jī)方式改變?cè)加^察到的變量分布進(jìn)行表征等[13,51]。

    3.2 ?正則化學(xué)習(xí)

    除了公平性表征方法以外,有學(xué)者嘗試提出了一種考慮公平性約束的正則化決策(分類)算法框架,該框架在分類模型的訓(xùn)練過(guò)程中加入公平性約束[52],如式(12)所示。正則化框架中主要包含兩個(gè)部分:損失函數(shù)和公平性約束。前者用于提高模型的預(yù)測(cè)準(zhǔn)確性,后者保證模型的公平性。

    (12)

    在公平性正則化框架(12)的基礎(chǔ)上,Grgichlaca等學(xué)者提出一種新的決策邊界對(duì)不公平性進(jìn)行測(cè)量,通過(guò)放寬式(12)中公平性的約束。即:當(dāng)決策邊界不公平性小于某個(gè)閾值c時(shí)便認(rèn)為模型滿足公平性要求?;诖丝蚣埽芯空咴谠O(shè)計(jì)具體分類模型時(shí)只需將式(2)中的損失函數(shù)換成相應(yīng)的分類模型(如邏輯回歸、線性或非線性SVM模型等)的損失函數(shù),將公平性約束替換成具體的公平性限制函數(shù)[53]。

    在公平性正則化的框架下,也有學(xué)者提出在式(2)的約束方程中加入L2-正則化項(xiàng)從而改進(jìn)算法的過(guò)程公平性;Yao等[54]提出絕對(duì)公平性的概念并將其作為公平性約束條件加入到損失函數(shù)中,可獲得更好的滿足差別性對(duì)待的公平性結(jié)果;Du等[55]通過(guò)構(gòu)建一個(gè)輸出對(duì)敏感屬性無(wú)依賴的預(yù)測(cè)器,然后在深度學(xué)習(xí)中反向回傳梯度,使得不能通過(guò)模型輸出去預(yù)測(cè)敏感屬性,從而提高推薦結(jié)果的公平性。特別值得強(qiáng)調(diào)的是,谷歌公司的Beutel等[56]提出一種更為簡(jiǎn)單的考慮公平性的正則化方法,只是將原本全局模型中會(huì)導(dǎo)致公平性差異的數(shù)據(jù)集獨(dú)立出來(lái),分為專注數(shù)據(jù)集和非專注數(shù)據(jù)集,然后通過(guò)參數(shù)調(diào)節(jié)兩種數(shù)據(jù)集在模型中的權(quán)重,加強(qiáng)模型對(duì)某些原來(lái)沒(méi)有充分學(xué)習(xí)到的類型的準(zhǔn)確率,從而提高預(yù)測(cè)結(jié)果的公平性。

    3.3 ?去偏處理方法

    根據(jù)2.1小節(jié)所述,數(shù)據(jù)和算法偏差是影響推薦算法公平性的主要來(lái)源之一,文獻(xiàn)[13]總結(jié)了各種去除偏差的方法。公平性的去偏處理方法在流程上可分為前期預(yù)處理、中期預(yù)處理及后期預(yù)處理[57]。其中,前期預(yù)處理主要通過(guò)為每個(gè)組中的訓(xùn)練樣例生成權(quán)重,并應(yīng)用于訓(xùn)練數(shù)據(jù)集中的不同元組,使訓(xùn)練數(shù)據(jù)集在敏感屬性方面能夠避免被區(qū)分。中期處理則是采用學(xué)習(xí)分類器模型以最大化預(yù)測(cè)準(zhǔn)確率,并增加帶有偏差意識(shí)的正則化項(xiàng)為約束條件來(lái)優(yōu)化預(yù)測(cè)分類器[58]。在后期處理中,采用算法優(yōu)化校準(zhǔn)的分類器得分輸出,從而改變輸出標(biāo)簽的概率[59]。

    除了上述常用的去偏處理方法以外,也有學(xué)者通過(guò)自定義公平性進(jìn)行去偏方法的設(shè)計(jì),Singh等[60]針對(duì)用戶對(duì)排序結(jié)果的關(guān)注度嚴(yán)重受位置的影響,試圖實(shí)現(xiàn)均攤意義上的公平,提出了均攤公平性。國(guó)內(nèi)學(xué)者采用知識(shí)圖譜的方法解決推薦算法公平性[61];Steck等[62]從曝光分配公平性的角度入手,通過(guò)一系列定義和推導(dǎo)將問(wèn)題轉(zhuǎn)化為線性規(guī)劃,建立了一個(gè)在公平性限制下排序問(wèn)題的分析和求解框架;國(guó)內(nèi)學(xué)者石鑫盛等[63]提出了一種基于分類間隔的加權(quán)方法用于處理二分類任務(wù)中的歧視現(xiàn)象,并在統(tǒng)計(jì)均等和機(jī)會(huì)均等的公平性判定準(zhǔn)則上實(shí)現(xiàn)了分類公平。最近,Li等[64]將去偏處理方法與跨域推薦進(jìn)行結(jié)合,組合更多領(lǐng)域信息去除數(shù)據(jù)中的偏差。

    3.4 ?強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)適合仿真隨時(shí)間影響的應(yīng)用場(chǎng)景,近年來(lái),基于強(qiáng)化學(xué)習(xí)的推薦系統(tǒng)已經(jīng)成為一個(gè)新興的研究領(lǐng)域[65]。ICML2018會(huì)議論文[37]采用強(qiáng)化學(xué)習(xí)的方法研究了不同推薦策略對(duì)于決策系統(tǒng)中用戶的公平性影響,而谷歌公司最近發(fā)表的文章[42]則針對(duì)不同策略對(duì)于決策系統(tǒng)長(zhǎng)期公平性影響進(jìn)行了建模仿真?;趶?qiáng)化學(xué)習(xí)方法的長(zhǎng)期公平性的仿真不止在金融,在社交,交通等其他領(lǐng)域也有討論[65]。盡管強(qiáng)化學(xué)習(xí)針對(duì)長(zhǎng)期公平性的研究具有較好的效果,但在電子商務(wù)領(lǐng)域,采用該方法的研究目前相對(duì)較為缺乏。

    3.5 ?多目標(biāo)優(yōu)化

    滿足公平性要求的推薦算法是確保相似屬性的群體應(yīng)該得到相似的推薦結(jié)果,個(gè)性化推薦算法則強(qiáng)調(diào)不同個(gè)體或群體間實(shí)現(xiàn)差異化推薦。現(xiàn)有的推薦技術(shù),如協(xié)同過(guò)濾推薦、基于相似群體的推薦,都更強(qiáng)化了不同用戶群體間的差異。為了達(dá)到公平性和個(gè)性化的統(tǒng)一,有文獻(xiàn)提出近鄰平衡化的概念,使受保護(hù)群體與其他群體在近鄰中分布均衡從而達(dá)到多方的公平性[66]。同時(shí),基于不同立場(chǎng)其主體公平性的定義也存在差異,這些差異化的定義本身也存在沖突。例如,增加推薦結(jié)果的多樣性可提升對(duì)被推薦商品的公平性,但降低了對(duì)消費(fèi)者的公平性[23]。因此,現(xiàn)有推薦系統(tǒng)也往往需要采取多方面的評(píng)價(jià)指標(biāo)以達(dá)到多個(gè)目標(biāo),多目標(biāo)優(yōu)化也成為實(shí)現(xiàn)公平性目的的常用方法[67,68]。但優(yōu)化目標(biāo)的設(shè)定和多目標(biāo)優(yōu)化兩大問(wèn)題難度都比較高。特別是在涉及多方利益的公平性問(wèn)題的情況下,需要采用博弈方法進(jìn)行策略分析和實(shí)現(xiàn),目前這方面的研究也較為缺乏。

    4 ?公平性數(shù)據(jù)集和檢測(cè)工具

    本小節(jié)介紹公平性領(lǐng)域常用的數(shù)據(jù)集以及可使用的算法公平性檢測(cè)工具,此類數(shù)據(jù)集和工具部分雖然不直接來(lái)自電商領(lǐng)域,但可作為電商推薦算法的公平性測(cè)試使用,也具有較大的參考價(jià)值。

    4.1 ?Adult數(shù)據(jù)集

    Adult數(shù)據(jù)集(http://archive.ics.uci.edu/ml/datasets/Adult)是較早(1996年)從美國(guó)的人口普查數(shù)據(jù)庫(kù)中提取的數(shù)據(jù),該數(shù)據(jù)集提供近5萬(wàn)條包括年齡、職業(yè)、受教育程度、種族、性別、婚姻狀況、出生地、每周工作時(shí)長(zhǎng)等屬性。該數(shù)據(jù)集可用來(lái)研究性別或種族特征是對(duì)收入的預(yù)測(cè)是否存在公平性影響。

    4.2 ?German Credit數(shù)據(jù)集

    German Credit 數(shù)據(jù)集(https://www.heywhale.com/mw/dataset/5d9d5a9a037db3002d3d4f50)主要包括年齡、職業(yè)、收入、客戶類型、借款記錄、是否逾期等20個(gè)屬性特征,是用來(lái)研究根據(jù)個(gè)人的銀行貸款信息和申請(qǐng)客戶貸款逾期發(fā)生情況來(lái)預(yù)測(cè)貸款違約傾向的數(shù)據(jù)集,

    4.3 ?COMPAS數(shù)據(jù)集

    COMPAS數(shù)據(jù)集(https://github.com/propublica/compas-analysis.)包含來(lái)自美國(guó)的一份被告記錄,主要包括監(jiān)獄、服刑時(shí)間、人口統(tǒng)計(jì)數(shù)據(jù)、犯罪歷史和COMPAS風(fēng)險(xiǎn)評(píng)分等屬性特征,該數(shù)據(jù)集可研究種族和性別特征對(duì)累犯預(yù)判的公平性影響。

    4.4 ?UCI Bank Marketing數(shù)據(jù)集

    UCI Bank Marketing數(shù)據(jù)集(https://github.com/propublica/compas-analysis.)包含年齡,工作類型、信用情況、房貸、個(gè)人貸款等50個(gè)屬性。該數(shù)據(jù)集可用來(lái)研究不平衡數(shù)據(jù)對(duì)預(yù)測(cè)客戶是否會(huì)認(rèn)購(gòu)定期存款的影響。

    4.5 ?KDD CUP 2020 數(shù)據(jù)集

    KDD CUP 2020 數(shù)據(jù)集(https://tianchi.aliyun.com/competition/entrance/231785/information.)由阿里提供,主要包括商品編號(hào)、商品圖像特征、用戶編號(hào)、用戶性別、所在城市等屬性特征。該數(shù)據(jù)集可用來(lái)研究如何減少點(diǎn)擊偏差對(duì)推薦系統(tǒng)中的商品公平性影響以改善商品推薦的長(zhǎng)尾現(xiàn)象。

    除上述主要的數(shù)據(jù)集以外,也介紹常用的公平檢測(cè)或消除不公平的工具,如表2所示。

    表2 ?公平性檢測(cè)工具

    工具名稱 支持語(yǔ)言 主要用途及優(yōu)缺點(diǎn)

    AI Fairness 360 Python,R 第一款檢查數(shù)據(jù)集和機(jī)器學(xué)習(xí)模型是否存在偏差的模型;需要安裝使用

    What if tool Python 可視化的偏差檢測(cè)工具,可免寫(xiě)代碼無(wú)需安裝的情況下在線免費(fèi)使用,使用方便;主要面向谷歌的TensorFlow機(jī)器學(xué)習(xí)框架

    Microsoft fairlearn Python 能夠評(píng)估機(jī)器學(xué)習(xí)模型的公平性,集成在Azure機(jī)器學(xué)習(xí)的云服務(wù)中

    其中,AI Fairness 360由IBM研究院開(kāi)發(fā)的可擴(kuò)展開(kāi)源工具包(https://github.com/Trusted-AI/AIF360.),可用于幫助開(kāi)發(fā)者在基于機(jī)器學(xué)習(xí)算法的應(yīng)用程序中檢查、報(bào)告和減輕機(jī)器學(xué)習(xí)模型的歧視和偏見(jiàn)。

    Google What-if工具(https://github.com/PAIR-code/what-if-tool.)集成于谷歌公司的TensorBoard中,可使開(kāi)發(fā)者通過(guò)交互式可視界面和反事實(shí)推理探究機(jī)器學(xué)習(xí)模型的特征重要性,從而找出誤分類原因、確定決策邊界及檢測(cè)算法公平性等。

    Fairlearn(https://www.microsoft.com/en-us/research/publication/fairlearn/.)工具允許系統(tǒng)開(kāi)發(fā)人員評(píng)估其系統(tǒng)的公平性,并通過(guò)比較多個(gè)模型,及采用不同學(xué)習(xí)算法來(lái)生成模型從而緩解不公平問(wèn)題。該工具由微軟公司所開(kāi)發(fā),在具有詳細(xì)的使用說(shuō)明和案例,其使用較為方便。

    特別值得強(qiáng)調(diào)的是,國(guó)內(nèi)學(xué)者清華大學(xué)張長(zhǎng)水教授等也提出了一個(gè)算法公平性的解釋框架FACTS(https://github.com/weishenpan15/FACTS.)。對(duì)于給定的公平性判據(jù),該框架可利用數(shù)據(jù)以及數(shù)據(jù)生成滿足的因果圖,從圖中找到引起不公平性的因果路徑并把群體間差距分解成以上路徑的貢獻(xiàn)加總,選擇性地移除因果路徑對(duì)預(yù)測(cè)結(jié)果的作用來(lái)得到能夠符合公平性要求的預(yù)測(cè)算法[69]。

    5 ?結(jié) ?論

    推薦系統(tǒng)的設(shè)計(jì)帶有天然的信息不對(duì)稱性。不公平的推薦結(jié)果嚴(yán)重影響著消費(fèi)者的利益,如何通過(guò)技術(shù)手段或制度改善推薦算法的公平性,對(duì)提高消費(fèi)者的滿意度及維護(hù)平臺(tái)和消費(fèi)者利益都有著重要的現(xiàn)實(shí)意義。基于上述內(nèi)容的回顧,論文得出以下電子商務(wù)推薦系統(tǒng)公平性研究面臨的主要挑戰(zhàn)和研究方向:

    1)傳統(tǒng)的電子商務(wù)推薦系統(tǒng)主要集中于如何提高推薦結(jié)果的準(zhǔn)確率,現(xiàn)有研究已經(jīng)開(kāi)始關(guān)注推薦結(jié)果的多樣性、新穎性等。隨著推薦技術(shù)的發(fā)展,如何依據(jù)現(xiàn)有推薦系統(tǒng)和機(jī)器學(xué)習(xí)領(lǐng)域的相關(guān)方法,設(shè)計(jì)既能滿足公平性要求又能提高常用評(píng)價(jià)指標(biāo)的算法將是今后及未來(lái)發(fā)展的一個(gè)重要研究方向。

    2)現(xiàn)有公平性問(wèn)題的解決方案主要是從計(jì)算機(jī)技術(shù)的角度,但電商平臺(tái)以收益最大化為目的的原因使其具有干預(yù)推薦結(jié)果的動(dòng)機(jī)。推薦結(jié)果的列表受空間限制,電商平臺(tái)需要在消費(fèi)者的偏好商品與更多收益商品之間做出取舍,在考慮公平性的前提下,采用博弈分析方法研究推薦結(jié)果的收益與公平性的長(zhǎng)期動(dòng)態(tài)演化將成為解決電子商務(wù)推薦系統(tǒng)公平性的重要方法。

    3)在公平性檢測(cè)工具方面,目前主流的公平性檢測(cè)工具多數(shù)由國(guó)外企業(yè)所開(kāi)發(fā),國(guó)內(nèi)的檢測(cè)工具除了FACTS框架以外,相對(duì)較為缺乏。國(guó)內(nèi)產(chǎn)業(yè)界也急需在保護(hù)個(gè)人隱私的前提下開(kāi)放相應(yīng)的數(shù)據(jù)集及推出公平檢測(cè)工具。

    4)我國(guó)已于2022年3月1號(hào)正式實(shí)施《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》,該規(guī)定對(duì)電子商務(wù)推薦算法的公平性使用也提供了參考。除技術(shù)因素外,也需要政府監(jiān)管方與行業(yè)專家制定合理的公平性準(zhǔn)則及相關(guān)法律,通過(guò)政府監(jiān)管、行業(yè)專家、科研開(kāi)發(fā)者、用戶的共同努力來(lái)解決推薦算法的公平問(wèn)題。

    參考文獻(xiàn):

    [1] ASUDEH A,JAGADISH H V,STOYANOVICH J,et al. Designing fair ranking schemes [J].Management of Data,2019:1259-1276.

    [2] CASTRO C,O'BRIEN D,SCHWAN B. Fairness and Machine Fairness [C]//Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society.[S.I.]:Association for Computing Machinery,2021:446.

    [3] WANG W Q,WANG M D. Effects of Sponsorship Disclosure on Perceived Integrity of Biased Recommendation Agents: Psychological Contract Violation and Knowledge-Based Trust Perspectives [J].Information Systems Research,2019,30(2):507-522.

    [4] EKSTRAND M D,BURKE R,DIAZ F,et al. Fairness and discrimination in recommendation and retrieval [C]//Proceedings of the 13th ACM Conference on Recommender Systems.Copenhagen:Association for Computing Machinery,2019:576-577.

    [5] XIAO B,BENBASAT I. An Empirical Examination of The Influence of Biased Personalized Product Recommendations on Consumers' Decision-Making Outcomes [J].Decision Support Systems,2018,110:46-57.

    [6] CHANEY A J.B,STEWART B M,ENGELHARDT B E. How Algorithmic Confounding In Recommendation Systems Increases Homogeneity and Decreases Utility [C]//Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver:Association for Computing Machinery,2018:224-232.

    [7] RIEMER K,LEHRKE C. Biased Listing in Electronic Marketplaces -Evidence from the Online Hotel Distribution [J].International Journal of Electronic Commerce,2009,14(1):55–78.

    [8] 孟昌,曲寒瑛.算法合謀及其規(guī)制研究進(jìn)展 [J].經(jīng)濟(jì)學(xué)動(dòng)態(tài),2021(6):128-143.

    [9] 陳晉音,陳奕芃,陳一鳴,等.面向深度學(xué)習(xí)的公平性研究綜述 [J].計(jì)算機(jī)研究與發(fā)展,2021,58(2):264-280.

    [10] 劉文炎,沈楚云,王祥豐,等.可信機(jī)器學(xué)習(xí)的公平性綜述 [J].軟件學(xué)報(bào),2021,32(5):1404-1426.

    [11] 古天龍,李龍,常亮,等.公平機(jī)器學(xué)習(xí):概念、分析與設(shè)計(jì) [J].計(jì)算機(jī)學(xué)報(bào),2022,45(5):1018-1051.

    [12] 趙海燕,周萍,陳慶奎,等.推薦系統(tǒng)公平性評(píng)價(jià)方法:現(xiàn)狀與展望 [J].小型微型計(jì)算機(jī)系統(tǒng),2022,43(3):456-465.

    [13] CHEN J W,DONG H D,WANG X,et al. Bias and Debias in Recommender System:A Survey and Future Directions [J/OL].arXiv:2010.03240 [cs.IR].[2023-01-10].2020,arXiv:2010.03240.https://arxiv.org/abs/2010.03240v2.

    [14] ADAMS J S.Toward an Understanding of Inequity [J].Journal of Abnormal Social Psychology,1963,67(5):422-436.

    [15] HUPPERTZ J W,ARENSON S J,EVANS R H. An application of equity theory to buyer-seller exchange situations [J].Journal of Marketing Research,1978,15(2):250-260.

    [16] 謝禮珊,申文果,梁曉丹.顧客感知的服務(wù)公平性與顧客公民行為關(guān)系研究——基于網(wǎng)絡(luò)服務(wù)環(huán)境的實(shí)證調(diào)研 [J].管理評(píng)論,2008(6):17-24+63.

    [17] XIAO B,BENBASAT I. Designing warning messages for detecting biased online product recommendations: an empirical investigation [J].Information Systems Research,2015,26(4):793-811.

    [18] LEONHARDT J,ANAND A,KHOSLA M. User Fairness in Recommender Systems [J/OL]. arXiv:1807.06349 [cs.CY].[2023-01-06].https://arxiv.org/abs/1807.06349v1.

    [19] ABDOLLAHPOURI H,BURKE R,MOBASHER B. Controlling Popularity Bias in Learning-to-Rank Recommendation [C]//Proceedings of the Eleventh ACM Conference on Recommender Systems.Como:Association for Computing Machinery,2019:42-46.

    [20] VERMA S,RUBIN J. Fairness definitions explained [EB/OL].[2023-01-06].http://aixpaper.com/view/fairness_definitions_explained.

    [21] KILBERTUS N,ROJAS-CARULLA M,PARASCANDOLO G,et al. Avoiding Discrimination through Causal Reasoning [C]//NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach:Curran Associates Inc.,2017:656-666.

    [22] PEARL J,GLYMOUR M,JEWELL P. Causal Inference in Statistics: A Primer [M].Chichester:Wiley,2016:193-196.

    [23] WU Y K,ZHANG L,WU X T. Counterfactual Fairness: Unidentification, Bound and Algorithm [C]//Twenty-Eighth International Joint Conference on Artificial Intelligence.Macao:[s.n.].2019.

    [24] SACHARIDIS D. Top-N group recommendations with fairness [C]//Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing.Limassol:Association for Computing Machinery,2019:1663-1670.

    [25] KIM J S,CHEN J H,TALWALKAR A. FACT: A Diagnostic for Group Fairness Trade-offs [J/OL].arXiv:2004.03424 [cs.LG].[2023-01-03].https://arxiv.org/abs/2004.03424v3.

    [26] DWORK C,HARDT M,PITASSI T,et al. Fairness through awareness [C]//Proceedings of the 3rd Innovations in Theoretical Computer Science Conference.Cambridge:Association for Computing Machinery,2012:214-226.

    [27] HARDT M,PRICE E,SREBRO N. Equality of opportunity in supervised learning [C]//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona:Curran Associates Inc,2016:3323–3331.

    [28] ZAFAR M B,VALERA I,ROGRIGUEZ M G,et al. Fairness constraints: Mechanisms for fair classification [C]//Proceedings of the 20th International Conference on Artificial Intelligence and Statistics (AISTATS).Lauderdale:JMLR,2017,54:962-970.

    [29] CORBETT-DAVIES S,PIERSON E,F(xiàn)ELLER A,et al. Algorithmic Decision Making and the Cost of Fairness [C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,Halifax:Association for Computing Machinery,2017:797–806.

    [30] 米婭撩科技.如何實(shí)現(xiàn)算法中的公平性 [EB/OL].(2020-09-12)[2022-09-06].https://www.sohu.com/a/417894466_120775175.

    [31] CHOULDECHOVA A. Fair prediction with disparate impact:A study of bias in recidivism prediction instruments [J].Big Data,2017,5(2):153-163.

    [32] ZAFAR M B,VALERA I,RODRIGUEZ M G,et al. Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment [C]//Proceedings of the 26th International Conference on World Wide Web.Perth:International World Wide Web Conferences Steering Committee,2017:1171-1180.

    [33] KLEINBERG J,MULLAINATHAN S,RAGHAVAN M. Inherent Trade-Offs in the Fair Determination of Risk Scores [J/OL].arXiv:1609.05807 [cs.LG].[2023-01-03].https://arxiv.org/abs/1609.05807v2.

    [34] KOWALD D,SCHEDL M,LEX E. The Unfairness of Popularity Bias in Music Recommendation: A Reproducibility Study [J/OL].arXiv:1912.04696 [cs.IR].[2023-01-03].https://arxiv.org/abs/1912.04696v2.

    [35] ZHAO N,HE X. Distributed Recommendation Considering Aggregation Diversity [J].International Journal of Distributed Systems and Technologies,2021,12(3):83-97.

    [36] BINNS R. Fairness in Machine Learning: Lessons from Political Philosophy [J/OL].arXiv:1712.03586 [cs.CY].[2023-01-03].https://arxiv.org/abs/1712.03586.

    [37]. LIU L T,DEAN S,ROLF E,et al. Delayed Impact of Fair Machine Learning [J/OL].arXiv:1803.04383 [cs.LG].[2023-01-02].https://arxiv.org/abs/1803.04383.

    [38] 劉璇,朝樂(lè)門(mén).AI治理中的公平性及其評(píng)價(jià)方法研究 [J].情報(bào)資料工作,2022,43(5):24-33.

    [39] 劉總真,張瀟丹,郭濤,等.新聞推薦算法可信評(píng)價(jià)研究 [J].信息安全學(xué)報(bào),2021,6(5):156-168.

    [40] KEANE M T,O'BRIEN M. Modeling result-list searching in the world wide web: The role of relevance topologies and trust bias [J].Proceedings of the Annual Meeting of the Cognitive Science Society,2006,28(28):1881-1886.

    [41] ADOMAVICIUS G,KWON Y. Improving Aggregate Recommendation Diversity Using Ranking-Based Techniques [J].IEEE Transactions on Knowledge and Data Engineering,2012,24(5):896-911.

    [42] D'AMOUR A,SRINIVASAN H,ATWOOD J,et al. Fairness is not static: deeper understanding of long-term fairness via simulation studies [C]//Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency.Barcelona:Association for Computing Machinery,2020:525-534.

    [43] ZEMEL R,WU Y,SWERSKY K,et al. learning fair representations [C]//Proceedings of the 30th International Conference on International Conference on Machine Learning.Atlanta:JMLR.org,2013:325-333.

    [44] WU L,CHEN L,SHAO P Y,et al. Learning Fair Representations for Recommendation: A Graph-based Perspective [C]//Proceedings of the Web Conference 2021.Ljubljana:Association for Computing Machinery,2021:2198-2208.

    [45] SONG J M,KALLURI P,GROVER A,et al. Learning Controllable Fair Representations [J/OL].arXiv:1812.04218 [cs.LG].[2022-12-06].https://arxiv.org/abs/1812.04218v3.

    [46] ZHAO H,GORDON G J. Inherent Tradeoffs in Learning Fair Representations [J/OL].arXiv:1906.08386 [cs.LG].[2022-12-06].https://arxiv.org/abs/1906.08386v5.

    [47] GORWA R.Towards fairness, accountability, and transparency in platform governance [C]//The 19thAnnual Conference of the Association of Internet Researchers.Montreal:[s.n.],2018:1-3.

    [48] ZHAO H,COSTON A,ADEL T,et al. Conditional Learning of Fair Representations [J/OL].arXiv:1910.07162 [cs.LG].[2022-12-06].https://arxiv.org/abs/1910.07162v1.

    [49] XU D P,YUAN S H,ZHANG L,et al. FairGAN+: Achieving Fair Data Generation and Classification through Generative Adversarial Nets [C]//2019 IEEE International Conference on Big Data(Big Data).Los Angeles:IEEE,2019:1401-1406.

    [50] KOCAOGLU M,SNYDER C,DIMAKIS A G,et al. Learning causal implicit generative models with adversarial training [J/OL].arXiv:1709.02023 [cs.LG].[2022-12-10].https://arxiv.org/abs/1709.02023v2.

    [51] BARRIO E,GAMBOA F,GORDALIZA P. Loubes JM. Obtaining fairness using optimal transport theory [J/OL].arXiv:1806.03195 [math.ST]].[2022-12-10].https://arxiv.org/abs/1806.03195?context=stat.

    [52] KAMISHIMA T,AKAHO S,SAKUMA J,et al. Fairness-aware Learning through Regularization Approach [C]//2011 IEEE 11th International Conference on Data Mining Workshops.Vancouver:IEEE,2011:643-650.

    [53] GRGIC-HLACA N,ZAFAR M B,GUMMADI K P,et al. Beyond Distributive Fairness in Algorithmic Decision Making: Feature Selection for Procedurally Fair Learning [EB/OL].[2022-12-16].https://mlg.eng.cam.ac.uk/adrian/AAAI18-BeyondDistributiveFairness.pdf.

    [54] YAO S R,HUANG B. Beyond Parity: Fairness Objectives for Collaborative Filtering [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach:Curran Associates Inc,2017:2925-2934.

    [55] DU M N,YANG F,ZOU N,et al. Fairness in Deep Learning: A Computational Perspective [J].IEEE Intelligent Systems,2021,36(4):25-34.

    [56] BEUTEL A,CHI E H,CHENG Z Y,et al. Beyond Globally Optimal: Focused Learning for Improved Recommendations [C]//The 26th International Conference.International World Wide Web Conferences Steering Committee,Perth:International World Wide Web Conferences Steering Committee,2017:203-212.

    [57] KAMIRAN F,CALDERS T. Data preprocessing techniques for classification without discrimination [J].Knowledge and Information Systems,2012,33(1):1-33.

    [58] LI P Z,LIU H F. Achieving Fairness at No Utility Cost via Data Reweighing with Influence [J/OL].arXiv:2202.00787 [cs.LG].[2023-01-06].https://arxiv.org/abs/2202.00787.

    [59] BIEGA A J,GUMMADI K P,WEIKUM G. Equity of Attention: Amortizing Individual Fairness in Rankings [C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval.Ann Arbor:Association for Computing Machinery,2018:405–414.

    [60] SINGH A,JOACHIMS T. Fairness of Exposure in Rankings [C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.London:Association for Computing Machinery,2018:2219-2228.

    [61] 徐冰珂.基于知識(shí)圖譜的推薦系統(tǒng)公平性研究[D].成都:電子科技大學(xué),2022.

    [62] STECK H. Calibrated Recommendations [C]//RecSys' 18:Proceedings of the 12th ACM Conference on Recommender Systems.Vancouver:Association for Computing Machinery,2018,154-162.

    [63] 石鑫盛,李云.公平性機(jī)器學(xué)習(xí)中基于分類間隔的歧視樣本發(fā)現(xiàn)和消除算法 [J].中國(guó)科學(xué):信息科學(xué),2020,50(8):1255-1266.

    [64] LI S Q,YAO L Y,MU S L,et al. Debiasing Learning based Cross-domain Recommendation [C]//The 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining,[S.I.]:Association for Computing Machinery,2021:3190-3199.

    [65] 余力,杜啟翰,岳博妍,等.基于強(qiáng)化學(xué)習(xí)的推薦研究綜述 [J].計(jì)算機(jī)科學(xué),2021,48(10):1-18.

    [66] BURKE R,SONBOLI N,ORDONEZGAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [J/OL].arXiv:1707.00093 [cs.CY].[2022-12-20].https://arxiv.org/abs/1707.00093.

    [16] BURKE R,SONBOLI N,ORDONEZ-GAUGER A. Balanced Neighborhoods for Multi-sided Fairness in Recommendation [C]//Proceedings of the 1st Conference on Fairness, Accountability and Transparency.New York:[s.n.].2018,81:202-214.

    [67] BURKE R. Multisided Fairness for Recommendation [J/OL].arXiv:1707.00093 [cs.CY].[2023-01-05].https://arxiv.org/abs/1707.00093.

    [68] 馬哲.多方參與者環(huán)境下的推薦算法與評(píng)價(jià)指標(biāo)研究 [D].成都:電子科技大學(xué),2022.

    [69] PAN W S,CUI S,BIAN J,et al. Explaining Algorithmic Fairness Through Fairness-Aware Causal Path Decomposition [J/OL].arXiv:2108.05335 [cs.LG].[2023-01-05].https://arxiv.org/abs/2108.05335v1.

    作者簡(jiǎn)介:喻繼軍(1984—),男,漢族,江西萍鄉(xiāng)人,講師,博士,研究方向:管理信息系統(tǒng)、數(shù)據(jù)科學(xué)、推薦系統(tǒng);熊明華(1992—),男,漢族,湖南郴州人,講師,博士,主要研究方向:系統(tǒng)工程、供應(yīng)鏈競(jìng)合關(guān)系。

    猜你喜歡
    推薦系統(tǒng)電子商務(wù)
    2025年我國(guó)農(nóng)村電子商務(wù)交易額達(dá)到2.8萬(wàn)億元
    《電子商務(wù)法》如何助力直銷
    電子商務(wù)
    數(shù)據(jù)挖掘在選課推薦中的研究
    軟件(2016年4期)2017-01-20 10:09:33
    基于用戶偏好的信任網(wǎng)絡(luò)隨機(jī)游走推薦模型
    基于個(gè)性化的協(xié)同過(guò)濾圖書(shū)推薦算法研究
    個(gè)性化推薦系統(tǒng)關(guān)鍵算法探討
    淺談Mahout在個(gè)性化推薦系統(tǒng)中的應(yīng)用
    關(guān)于協(xié)同過(guò)濾推薦算法的研究文獻(xiàn)綜述
    商(2016年29期)2016-10-29 15:22:08
    關(guān)于加快制定電子商務(wù)法的議案
    国产成人a∨麻豆精品| 亚洲国产毛片av蜜桃av| 啦啦啦 在线观看视频| 欧美在线一区亚洲| 大码成人一级视频| 我要看黄色一级片免费的| 国产深夜福利视频在线观看| 国产精品熟女久久久久浪| 亚洲国产精品国产精品| 女性生殖器流出的白浆| 久久精品久久久久久噜噜老黄| 国产激情久久老熟女| 最近手机中文字幕大全| 国产欧美日韩一区二区三区在线| 男女床上黄色一级片免费看| 人成视频在线观看免费观看| 免费观看av网站的网址| 最新的欧美精品一区二区| 国产成人免费观看mmmm| 亚洲免费av在线视频| 久久久精品94久久精品| 久久精品亚洲熟妇少妇任你| 国产一区有黄有色的免费视频| 久久久久久久久久久免费av| 操美女的视频在线观看| 午夜91福利影院| 伊人久久大香线蕉亚洲五| 国产在线视频一区二区| 少妇人妻 视频| 亚洲 欧美一区二区三区| 黄网站色视频无遮挡免费观看| 两个人免费观看高清视频| 久久精品国产亚洲av高清一级| 99热网站在线观看| 中文字幕精品免费在线观看视频| 精品国产一区二区三区四区第35| 亚洲av日韩在线播放| 亚洲av男天堂| 老司机影院成人| 午夜福利视频在线观看免费| 成人毛片60女人毛片免费| 最新在线观看一区二区三区 | 热re99久久国产66热| 超碰97精品在线观看| 亚洲第一青青草原| 如日韩欧美国产精品一区二区三区| av一本久久久久| 国产av码专区亚洲av| 日韩,欧美,国产一区二区三区| 高清欧美精品videossex| 制服人妻中文乱码| 综合色丁香网| 午夜91福利影院| 97人妻天天添夜夜摸| 亚洲成人一二三区av| 伊人久久大香线蕉亚洲五| 国产精品香港三级国产av潘金莲 | 1024香蕉在线观看| 国产精品一区二区在线观看99| 电影成人av| 看非洲黑人一级黄片| 亚洲国产欧美在线一区| 久久影院123| 久久久久网色| 老熟女久久久| 免费在线观看完整版高清| 汤姆久久久久久久影院中文字幕| 天美传媒精品一区二区| 乱人伦中国视频| 免费高清在线观看日韩| 一本—道久久a久久精品蜜桃钙片| 国产99久久九九免费精品| 少妇人妻精品综合一区二区| 亚洲婷婷狠狠爱综合网| 制服诱惑二区| 少妇被粗大猛烈的视频| 一级毛片 在线播放| 亚洲av福利一区| 久久久国产一区二区| 在线观看国产h片| 国产日韩一区二区三区精品不卡| 看免费av毛片| 亚洲四区av| 婷婷色av中文字幕| 亚洲欧美色中文字幕在线| 人妻 亚洲 视频| 日本黄色日本黄色录像| 久久99一区二区三区| 操出白浆在线播放| 男女高潮啪啪啪动态图| netflix在线观看网站| 热re99久久精品国产66热6| 国产精品国产av在线观看| 日韩av不卡免费在线播放| 免费av中文字幕在线| 一级黄片播放器| 蜜桃在线观看..| 久久精品亚洲av国产电影网| netflix在线观看网站| 91成人精品电影| 亚洲七黄色美女视频| 午夜久久久在线观看| 免费黄色在线免费观看| 亚洲第一青青草原| 观看av在线不卡| 在线观看免费高清a一片| av线在线观看网站| av网站免费在线观看视频| 精品一区在线观看国产| 中文字幕亚洲精品专区| 制服丝袜香蕉在线| 综合色丁香网| 国产成人系列免费观看| 免费观看av网站的网址| 久久久久久久久免费视频了| 精品亚洲成国产av| 亚洲av国产av综合av卡| 热re99久久国产66热| 丝袜喷水一区| 免费高清在线观看视频在线观看| 啦啦啦在线免费观看视频4| 国产深夜福利视频在线观看| a级毛片在线看网站| 久久久精品94久久精品| 丝瓜视频免费看黄片| 精品国产乱码久久久久久男人| 少妇的丰满在线观看| www日本在线高清视频| 国产在线免费精品| 亚洲伊人久久精品综合| 日韩免费高清中文字幕av| 美女午夜性视频免费| a级毛片在线看网站| 国产精品女同一区二区软件| 欧美日韩亚洲高清精品| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品国产一区二区精华液| 国产精品免费视频内射| 国产成人一区二区在线| 一区二区三区精品91| 久久久精品94久久精品| 精品人妻在线不人妻| 成人亚洲精品一区在线观看| 国产精品一国产av| 啦啦啦在线观看免费高清www| 大片免费播放器 马上看| 国产爽快片一区二区三区| 亚洲,欧美,日韩| 亚洲精品,欧美精品| 日本猛色少妇xxxxx猛交久久| 亚洲欧美中文字幕日韩二区| 韩国精品一区二区三区| 国产精品香港三级国产av潘金莲 | 巨乳人妻的诱惑在线观看| 午夜福利免费观看在线| 免费人妻精品一区二区三区视频| 国产精品免费大片| 亚洲综合精品二区| 99久久人妻综合| 国产成人精品福利久久| 日本午夜av视频| 人人妻人人添人人爽欧美一区卜| 99热全是精品| h视频一区二区三区| 高清黄色对白视频在线免费看| 女人精品久久久久毛片| netflix在线观看网站| av线在线观看网站| 精品免费久久久久久久清纯 | 亚洲色图 男人天堂 中文字幕| www.熟女人妻精品国产| 99久久综合免费| 久久久久视频综合| 99九九在线精品视频| 日韩中文字幕欧美一区二区 | 亚洲国产看品久久| 欧美最新免费一区二区三区| 人人妻人人澡人人看| 久久韩国三级中文字幕| 在线观看www视频免费| tube8黄色片| 欧美日韩综合久久久久久| 亚洲av国产av综合av卡| 午夜激情久久久久久久| 日韩免费高清中文字幕av| 97在线人人人人妻| 成人免费观看视频高清| 久久这里只有精品19| 毛片一级片免费看久久久久| 建设人人有责人人尽责人人享有的| 另类亚洲欧美激情| 精品福利永久在线观看| 亚洲精品乱久久久久久| 婷婷色综合www| 无遮挡黄片免费观看| 最近中文字幕2019免费版| 亚洲国产av影院在线观看| 9191精品国产免费久久| av线在线观看网站| 波野结衣二区三区在线| 极品人妻少妇av视频| 又黄又粗又硬又大视频| kizo精华| 自拍欧美九色日韩亚洲蝌蚪91| 一区二区三区激情视频| 国产成人精品久久二区二区91 | 国产精品香港三级国产av潘金莲 | 日日摸夜夜添夜夜爱| 国产一区有黄有色的免费视频| 亚洲精品,欧美精品| 美国免费a级毛片| 久久毛片免费看一区二区三区| 少妇被粗大猛烈的视频| 下体分泌物呈黄色| 美女脱内裤让男人舔精品视频| 精品一区在线观看国产| 日本欧美视频一区| 精品国产一区二区久久| 亚洲熟女毛片儿| 亚洲av电影在线进入| 国产片内射在线| 嫩草影视91久久| 在线看a的网站| 9色porny在线观看| 国产日韩欧美亚洲二区| 只有这里有精品99| 水蜜桃什么品种好| 成年美女黄网站色视频大全免费| 国产成人免费无遮挡视频| 国产又爽黄色视频| e午夜精品久久久久久久| 韩国高清视频一区二区三区| 久久久久久久久久久免费av| 中国三级夫妇交换| 女人爽到高潮嗷嗷叫在线视频| 悠悠久久av| 久久av网站| 欧美日韩视频精品一区| 国产日韩一区二区三区精品不卡| 国产一级毛片在线| www.av在线官网国产| 99香蕉大伊视频| 久久精品久久精品一区二区三区| 亚洲国产成人一精品久久久| 国产成人精品福利久久| 亚洲欧美成人综合另类久久久| 卡戴珊不雅视频在线播放| 亚洲成人一二三区av| 国产在线视频一区二区| 国产国语露脸激情在线看| 美国免费a级毛片| 少妇被粗大的猛进出69影院| 亚洲精品久久久久久婷婷小说| 亚洲精品av麻豆狂野| 97在线人人人人妻| 男女之事视频高清在线观看 | 黑人猛操日本美女一级片| 亚洲av在线观看美女高潮| 久久天躁狠狠躁夜夜2o2o | 国产野战对白在线观看| 久久精品久久久久久噜噜老黄| 亚洲欧美精品综合一区二区三区| 最近最新中文字幕大全免费视频 | 狠狠精品人妻久久久久久综合| 亚洲精品aⅴ在线观看| 午夜日韩欧美国产| 国产一区二区三区综合在线观看| 国产人伦9x9x在线观看| 亚洲国产看品久久| 中文字幕色久视频| 国产在线一区二区三区精| 国产精品国产三级专区第一集| av不卡在线播放| 日本黄色日本黄色录像| 精品一区二区三区av网在线观看 | 日韩人妻精品一区2区三区| 久久久久久久久免费视频了| 伊人久久国产一区二区| 视频在线观看一区二区三区| av国产精品久久久久影院| 亚洲精品国产av蜜桃| 欧美xxⅹ黑人| 黄片播放在线免费| 亚洲精品一区蜜桃| 你懂的网址亚洲精品在线观看| 国产亚洲欧美精品永久| 一级黄片播放器| 国产一卡二卡三卡精品 | 啦啦啦中文免费视频观看日本| 狠狠精品人妻久久久久久综合| 99精国产麻豆久久婷婷| 亚洲精品国产一区二区精华液| 性色av一级| 亚洲中文av在线| 爱豆传媒免费全集在线观看| 老司机在亚洲福利影院| 亚洲第一青青草原| 色婷婷av一区二区三区视频| 老司机影院成人| 熟女av电影| 少妇人妻 视频| 一边摸一边抽搐一进一出视频| 人妻一区二区av| 99热网站在线观看| 一级黄片播放器| 久久99一区二区三区| 精品国产国语对白av| 国产一区二区三区综合在线观看| 色视频在线一区二区三区| 另类亚洲欧美激情| 国产精品 欧美亚洲| 国产精品麻豆人妻色哟哟久久| 亚洲美女视频黄频| 亚洲美女搞黄在线观看| 亚洲av成人精品一二三区| 国产精品久久久久久精品古装| 电影成人av| 久久精品亚洲熟妇少妇任你| 亚洲欧美一区二区三区黑人| 久久精品亚洲熟妇少妇任你| 亚洲七黄色美女视频| 天天躁日日躁夜夜躁夜夜| www.av在线官网国产| 黄片播放在线免费| 99国产精品免费福利视频| 国产人伦9x9x在线观看| 午夜福利乱码中文字幕| 精品久久久久久电影网| 老熟女久久久| 色婷婷av一区二区三区视频| 精品亚洲成a人片在线观看| 成人国产麻豆网| 欧美成人精品欧美一级黄| 在线观看免费日韩欧美大片| 激情视频va一区二区三区| a级毛片在线看网站| a级毛片黄视频| 成年美女黄网站色视频大全免费| 国产精品熟女久久久久浪| 国产熟女欧美一区二区| 一本大道久久a久久精品| 国产精品一区二区在线观看99| 日日爽夜夜爽网站| 99国产精品免费福利视频| 亚洲国产欧美在线一区| 婷婷成人精品国产| 一级毛片黄色毛片免费观看视频| 自拍欧美九色日韩亚洲蝌蚪91| 国产一级毛片在线| 精品免费久久久久久久清纯 | 欧美激情高清一区二区三区 | 欧美老熟妇乱子伦牲交| 操美女的视频在线观看| 99热全是精品| 最近中文字幕2019免费版| 久久午夜综合久久蜜桃| 精品人妻一区二区三区麻豆| 国产黄色免费在线视频| 欧美乱码精品一区二区三区| 亚洲视频免费观看视频| 操美女的视频在线观看| 黄网站色视频无遮挡免费观看| 叶爱在线成人免费视频播放| 国产亚洲最大av| 国产亚洲av片在线观看秒播厂| av在线观看视频网站免费| 美国免费a级毛片| 男女床上黄色一级片免费看| 亚洲欧洲精品一区二区精品久久久 | 熟妇人妻不卡中文字幕| 又大又黄又爽视频免费| 十八禁高潮呻吟视频| 精品一区二区免费观看| 欧美av亚洲av综合av国产av | 国产午夜精品一二区理论片| 亚洲国产中文字幕在线视频| 国产精品国产av在线观看| 久久久精品94久久精品| 免费在线观看完整版高清| 久久热在线av| 欧美人与善性xxx| 久久综合国产亚洲精品| 19禁男女啪啪无遮挡网站| 久久99热这里只频精品6学生| 高清视频免费观看一区二区| 啦啦啦中文免费视频观看日本| 看免费成人av毛片| 色播在线永久视频| 免费观看av网站的网址| 国产精品久久久久久精品电影小说| 国产成人精品久久二区二区91 | 天天添夜夜摸| 2021少妇久久久久久久久久久| 亚洲七黄色美女视频| 久久久久网色| 亚洲av中文av极速乱| 久久人人爽人人片av| 日韩大码丰满熟妇| 天堂俺去俺来也www色官网| 久久性视频一级片| 纯流量卡能插随身wifi吗| 成人毛片60女人毛片免费| 国产探花极品一区二区| 成人影院久久| 亚洲国产日韩一区二区| 美女福利国产在线| 香蕉丝袜av| 免费日韩欧美在线观看| av网站免费在线观看视频| 最近的中文字幕免费完整| 又大又爽又粗| 如何舔出高潮| 日韩一卡2卡3卡4卡2021年| videos熟女内射| 一本色道久久久久久精品综合| av在线老鸭窝| 欧美国产精品一级二级三级| 欧美黄色片欧美黄色片| 少妇猛男粗大的猛烈进出视频| 欧美最新免费一区二区三区| 老司机亚洲免费影院| 午夜福利网站1000一区二区三区| 秋霞在线观看毛片| 美女主播在线视频| 国产亚洲精品第一综合不卡| 免费久久久久久久精品成人欧美视频| 亚洲精品久久成人aⅴ小说| 国产人伦9x9x在线观看| 亚洲国产日韩一区二区| 女人爽到高潮嗷嗷叫在线视频| 制服丝袜香蕉在线| 亚洲精品成人av观看孕妇| 香蕉国产在线看| 天天躁夜夜躁狠狠躁躁| 国产成人欧美在线观看 | 午夜福利网站1000一区二区三区| 国产亚洲av高清不卡| 黄片无遮挡物在线观看| 国产深夜福利视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 欧美变态另类bdsm刘玥| 亚洲精品国产一区二区精华液| 亚洲国产看品久久| 亚洲av电影在线观看一区二区三区| 国产成人一区二区在线| 精品卡一卡二卡四卡免费| 免费观看av网站的网址| 亚洲欧美日韩另类电影网站| av福利片在线| 少妇精品久久久久久久| 多毛熟女@视频| 亚洲,欧美,日韩| 毛片一级片免费看久久久久| 在线看a的网站| 侵犯人妻中文字幕一二三四区| 午夜av观看不卡| 久久精品国产a三级三级三级| 亚洲精品乱久久久久久| 国产成人午夜福利电影在线观看| 成人18禁高潮啪啪吃奶动态图| 国产一区有黄有色的免费视频| 看十八女毛片水多多多| 亚洲成av片中文字幕在线观看| 亚洲av男天堂| 黄色 视频免费看| 亚洲av中文av极速乱| 中文字幕精品免费在线观看视频| 国产一区二区激情短视频 | 欧美人与善性xxx| 久久午夜综合久久蜜桃| 一区二区日韩欧美中文字幕| 2018国产大陆天天弄谢| 免费黄频网站在线观看国产| 极品人妻少妇av视频| 熟妇人妻不卡中文字幕| av免费观看日本| 性色av一级| 免费人妻精品一区二区三区视频| 最近2019中文字幕mv第一页| 交换朋友夫妻互换小说| 色婷婷久久久亚洲欧美| 免费高清在线观看日韩| 丝袜美足系列| 女性生殖器流出的白浆| 中文字幕高清在线视频| 中文天堂在线官网| 蜜桃国产av成人99| 各种免费的搞黄视频| 一区二区日韩欧美中文字幕| av在线播放精品| 免费观看av网站的网址| 韩国高清视频一区二区三区| 亚洲av男天堂| kizo精华| 精品国产国语对白av| 母亲3免费完整高清在线观看| 黄色 视频免费看| 中国三级夫妇交换| 黄片小视频在线播放| 精品少妇内射三级| 亚洲精品aⅴ在线观看| 国产成人欧美| 中文字幕色久视频| 人人妻人人爽人人添夜夜欢视频| 9191精品国产免费久久| 久久天躁狠狠躁夜夜2o2o | 大香蕉久久网| 亚洲国产精品成人久久小说| 制服诱惑二区| 亚洲欧美色中文字幕在线| 久久热在线av| 欧美日韩一区二区视频在线观看视频在线| 麻豆精品久久久久久蜜桃| 亚洲欧美成人综合另类久久久| avwww免费| 黄色怎么调成土黄色| 熟女av电影| 欧美日韩国产mv在线观看视频| 一级片免费观看大全| 亚洲国产成人一精品久久久| 高清av免费在线| 啦啦啦 在线观看视频| 国产精品久久久久成人av| 丝袜人妻中文字幕| 极品少妇高潮喷水抽搐| 成人18禁高潮啪啪吃奶动态图| 天天添夜夜摸| 青春草国产在线视频| 国产成人免费观看mmmm| 亚洲国产精品999| 美国免费a级毛片| 免费高清在线观看视频在线观看| 男女午夜视频在线观看| 久久午夜综合久久蜜桃| 一级毛片黄色毛片免费观看视频| 丰满饥渴人妻一区二区三| 国产成人免费观看mmmm| 亚洲国产精品999| 无限看片的www在线观看| 免费人妻精品一区二区三区视频| 亚洲成人免费av在线播放| 欧美久久黑人一区二区| 国产av码专区亚洲av| 欧美成人午夜精品| 十分钟在线观看高清视频www| 亚洲精品久久成人aⅴ小说| 久久午夜综合久久蜜桃| 亚洲久久久国产精品| 久久久久久久精品精品| 国产成人精品福利久久| 欧美乱码精品一区二区三区| 人成视频在线观看免费观看| 18禁观看日本| 亚洲精品国产一区二区精华液| 精品酒店卫生间| 水蜜桃什么品种好| 菩萨蛮人人尽说江南好唐韦庄| 国产不卡av网站在线观看| 亚洲国产最新在线播放| 国产精品偷伦视频观看了| 国产成人系列免费观看| av国产精品久久久久影院| 中文天堂在线官网| 久久精品国产a三级三级三级| 国产高清国产精品国产三级| 叶爱在线成人免费视频播放| 亚洲成人一二三区av| 成人三级做爰电影| 看免费成人av毛片| 九色亚洲精品在线播放| 国产成人91sexporn| 人妻一区二区av| 老司机亚洲免费影院| 操出白浆在线播放| 亚洲人成网站在线观看播放| 女人爽到高潮嗷嗷叫在线视频| 亚洲美女黄色视频免费看| 免费少妇av软件| 久久国产亚洲av麻豆专区| 交换朋友夫妻互换小说| 国产在线一区二区三区精| 国产一区二区 视频在线| 亚洲七黄色美女视频| 亚洲专区中文字幕在线 | 黄色视频不卡| 一级a爱视频在线免费观看| 精品久久久久久电影网| 国产成人一区二区在线| 一边摸一边抽搐一进一出视频| 精品国产一区二区久久| 欧美黄色片欧美黄色片| 亚洲精品日本国产第一区| 亚洲欧美成人综合另类久久久| 18禁国产床啪视频网站| 免费日韩欧美在线观看| 午夜老司机福利片| 熟女av电影| 国产老妇伦熟女老妇高清| 久久久久精品久久久久真实原创| kizo精华| 在现免费观看毛片| 久久久精品国产亚洲av高清涩受| 午夜福利,免费看| av女优亚洲男人天堂| 亚洲国产av新网站| 深夜精品福利| 9热在线视频观看99| 99久久精品国产亚洲精品| 十八禁网站网址无遮挡| 国产精品免费视频内射| 国产成人欧美在线观看 | 亚洲一卡2卡3卡4卡5卡精品中文| 国产日韩欧美亚洲二区| 亚洲欧洲日产国产| 国产av精品麻豆|