• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時(shí)代自主類算法共謀的規(guī)范監(jiān)管

    2020-11-25 15:44:00沈鴻藝岳子祺陳名芮劉家熳蔡俊亮
    市場(chǎng)周刊 2020年8期
    關(guān)鍵詞:共謀反壟斷法反壟斷

    沈鴻藝,岳子祺,陳名芮,劉家熳,蔡俊亮

    (華南理工大學(xué),廣東 廣州510006)

    一、 自主類算法共謀的源流及現(xiàn)實(shí)困境

    大數(shù)據(jù)時(shí)代,算法由于能幫助經(jīng)營(yíng)者更迅速、有效地分析和處理各類海量數(shù)據(jù),而被廣泛地應(yīng)用于商業(yè)領(lǐng)域中。 早在2015 年,已有超過(guò)1/3 的亞馬遜商家使用定價(jià)算法制定價(jià)格。 然而,算法在提高經(jīng)濟(jì)運(yùn)行效率的同時(shí),也為競(jìng)爭(zhēng)者之間實(shí)現(xiàn)和維持價(jià)格共謀提供了更加隱蔽的技術(shù)手段。 2015年4 月,美國(guó)司法部首次依據(jù)《謝爾曼法》針對(duì)電子商務(wù)中利用算法的價(jià)格共謀行為,對(duì)托普金斯(Topkins)及其同謀利用特定算法交換價(jià)格信息并協(xié)調(diào)賣價(jià),從而確保其所銷售的特定壁紙按價(jià)格高低顯示在亞馬遜網(wǎng)站搜索頁(yè)面最前端的行為提起重罪指控。 同年年底,優(yōu)步(Uber)的用戶在美國(guó)某地區(qū)法院提起訴訟,指控優(yōu)步聯(lián)合創(chuàng)始人與優(yōu)步司機(jī)之間通過(guò)定價(jià)算法達(dá)成合謀,限制了司機(jī)之間的價(jià)格競(jìng)爭(zhēng)。 相關(guān)案例的涌現(xiàn)引起了各國(guó)反壟斷機(jī)構(gòu)的注意,算法共謀成為全球反壟斷領(lǐng)域的關(guān)注焦點(diǎn)。 其中,自主類算法共謀更是給反壟斷法領(lǐng)域帶來(lái)了諸多挑戰(zhàn)。

    自主類算法共謀即自學(xué)習(xí)算法通過(guò)不斷學(xué)習(xí)和適應(yīng)其他市場(chǎng)參與者的行為,在經(jīng)營(yíng)者未發(fā)出指令或做出其他干預(yù)行為的情況下自主達(dá)成的共謀。 區(qū)別于一般的定價(jià)算法,自學(xué)習(xí)算法(self-learning algorithms)是基于人工智能、機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)高度智能化的算法,能分析和吸收市場(chǎng)中各種各樣的數(shù)據(jù)并做出歸納性推理,從中挖掘出潛在的信息,幫助決策者調(diào)整市場(chǎng)策略,減少風(fēng)險(xiǎn),以保證企業(yè)利益的最大化。目前國(guó)際上的相關(guān)研究表明,自學(xué)習(xí)算法對(duì)達(dá)成共謀有促進(jìn)作用。 一是隨著人工智能、機(jī)器學(xué)習(xí)等技術(shù)的發(fā)展,自學(xué)習(xí)算法的學(xué)習(xí)周期將不斷縮短,在面對(duì)日益復(fù)雜的市場(chǎng)環(huán)境時(shí)其能快速學(xué)習(xí)并迅速做出反應(yīng),降低偏離的風(fēng)險(xiǎn),從而增加共謀的可能。 二是在企業(yè)效益最大化目標(biāo)的驅(qū)動(dòng)下,獨(dú)立決策的自學(xué)習(xí)算法更有可能選擇共謀。 當(dāng)兩家企業(yè)均使用自學(xué)習(xí)算法時(shí),博弈的主體便從經(jīng)營(yíng)者轉(zhuǎn)變?yōu)閮蓚€(gè)勢(shì)均力敵的算法,其在博弈過(guò)程中,為尋找效益最高的方案會(huì)主動(dòng)選擇相互依存的戰(zhàn)略,而不考慮法律風(fēng)險(xiǎn)。

    自主類算法不僅具備一般共謀中算法的輔助功能,還能實(shí)現(xiàn)自主決策,以達(dá)成排除競(jìng)爭(zhēng)、限制競(jìng)爭(zhēng)的目的。 其所具有的高度智能化特征給反壟斷執(zhí)法機(jī)關(guān)識(shí)別和規(guī)制共謀設(shè)置了難以逾越的障礙。 首先,自學(xué)習(xí)算法提高了市場(chǎng)透明度,使共謀更容易維持。 自學(xué)習(xí)算法結(jié)合了統(tǒng)計(jì)學(xué)、人工智能、可視化等技術(shù),能對(duì)市場(chǎng)上各個(gè)渠道的數(shù)據(jù)進(jìn)行分析,具有監(jiān)控和快速改變價(jià)格的能力。 當(dāng)共謀形成后,自學(xué)習(xí)算法能夠進(jìn)行實(shí)時(shí)監(jiān)控并建立即時(shí)的報(bào)復(fù)機(jī)制,迅速對(duì)偏離共謀的行為進(jìn)行懲罰,從而限制破壞共謀所獲得的預(yù)期收益,減少參與者偏離共謀價(jià)格的動(dòng)機(jī)。 執(zhí)法機(jī)關(guān)難以察覺(jué)共謀行為的發(fā)生,從而陷入技術(shù)監(jiān)管的困境。 其次,這種高度智能化的自學(xué)習(xí)算法有著極其隱蔽的決策過(guò)程。 自學(xué)習(xí)算法在達(dá)成和實(shí)施壟斷協(xié)議時(shí),無(wú)須任何意思聯(lián)絡(luò),其決策過(guò)程如“黑匣子”一般無(wú)法被探測(cè)和追蹤。 這增加了執(zhí)法機(jī)關(guān)收集證據(jù)的難度,使其難以對(duì)共謀行為進(jìn)行違法性認(rèn)定和有效規(guī)制。 最后,自主類算法共謀突破了人類主導(dǎo)的規(guī)制框架。 自學(xué)習(xí)算法憑借其強(qiáng)大的學(xué)習(xí)能力,自主觀察、接收、反饋市場(chǎng)信號(hào),并據(jù)預(yù)設(shè)邏輯得出決策結(jié)果,完全規(guī)避了經(jīng)營(yíng)者在市場(chǎng)競(jìng)爭(zhēng)過(guò)程中的主導(dǎo)作用。 在脫離人的主觀設(shè)計(jì)的情況下,如何確定追責(zé)主體和主體之間的責(zé)任分配,將成為反壟斷執(zhí)法機(jī)關(guān)的棘手問(wèn)題。

    近年來(lái)人工智能安全與倫理問(wèn)題不斷涌現(xiàn),全球新一輪人工智能政策部署的重點(diǎn)隨之轉(zhuǎn)向了創(chuàng)新與監(jiān)管的再平衡。在人工智能算法被廣泛應(yīng)用的商業(yè)領(lǐng)域,更應(yīng)注重協(xié)同治理,實(shí)現(xiàn)人工智能與經(jīng)濟(jì)社會(huì)的健康發(fā)展。 目前,盡管我國(guó)尚未出現(xiàn)自主類算法共謀的司法案例,但作為全球重要的數(shù)字市場(chǎng),我國(guó)仍應(yīng)警惕因自學(xué)習(xí)算法普遍適用而產(chǎn)生的系統(tǒng)性監(jiān)管風(fēng)險(xiǎn)。 因此,為了維護(hù)市場(chǎng)競(jìng)爭(zhēng)秩序及保護(hù)消費(fèi)者利益,對(duì)自主類算法共謀進(jìn)行有效規(guī)制十分必要。

    二、 自主類算法共謀的違法性認(rèn)定

    自學(xué)習(xí)算法無(wú)須經(jīng)營(yíng)者之間達(dá)成特定協(xié)議即可自主形成共謀。 此種共謀由于擺脫了對(duì)于參與者之間協(xié)商與合作的依賴,故難以通過(guò)壟斷協(xié)議的概念將其納入反壟斷法規(guī)制的范圍內(nèi)。 因此,為了能對(duì)其進(jìn)行有效規(guī)制,可以通過(guò)拓展“協(xié)議”的內(nèi)涵以明確自主類算法共謀的違法性認(rèn)定標(biāo)準(zhǔn)。

    (一)自主類算法共謀違法性認(rèn)定的特殊性

    自學(xué)習(xí)算法在達(dá)成共謀的過(guò)程中,經(jīng)營(yíng)者之間無(wú)須進(jìn)行意思聯(lián)絡(luò),僅依靠算法的實(shí)時(shí)監(jiān)測(cè)和對(duì)定價(jià)戰(zhàn)略的迅速調(diào)整,便能夠自主保持一致。 這與默示共謀的特點(diǎn)十分符合,且較之更穩(wěn)定、更隱蔽,達(dá)成目標(biāo)的能力和協(xié)調(diào)行為的持續(xù)時(shí)間也更勝一籌。 其對(duì)于市場(chǎng)競(jìng)爭(zhēng)秩序和消費(fèi)者利益更大的潛在危害要求反壟斷法對(duì)其進(jìn)行有效規(guī)制。 根據(jù)各國(guó)反壟斷法的規(guī)定,競(jìng)爭(zhēng)者之間達(dá)成特定協(xié)議是反壟斷執(zhí)法機(jī)關(guān)規(guī)制共謀的前提條件,故通過(guò)壟斷協(xié)議對(duì)自主類算法共謀進(jìn)行違法性認(rèn)定是將其納入當(dāng)前反壟斷法規(guī)制范圍的唯一途徑。

    在反壟斷法領(lǐng)域,“壟斷協(xié)議”可以概括為經(jīng)營(yíng)者基于共同意志,通過(guò)協(xié)商就實(shí)施特定的限制競(jìng)爭(zhēng)行為達(dá)成一致的約定。 可見(jiàn),壟斷協(xié)議的構(gòu)成要件包括:①經(jīng)營(yíng)者具有共同意志;②進(jìn)行了意思聯(lián)絡(luò);③達(dá)成了一致行為;④產(chǎn)生了排除、限制競(jìng)爭(zhēng)的效果。 自學(xué)習(xí)算法可以獨(dú)立、自主地達(dá)成一致行為,實(shí)現(xiàn)排除競(jìng)爭(zhēng)、限制競(jìng)爭(zhēng)的效果。 但由于不需要經(jīng)營(yíng)者之間進(jìn)行任何溝通,反壟斷執(zhí)法機(jī)關(guān)很難搜集到有力證據(jù)證明經(jīng)營(yíng)者之間存在意思聯(lián)絡(luò)從而認(rèn)定其存在共謀的主觀意圖。 主觀認(rèn)定要件的缺失使自主類算法共謀在現(xiàn)有反壟斷法的框架下通過(guò)“協(xié)議”的概念進(jìn)行違法性認(rèn)定變得十分困難,因此,考慮擴(kuò)展“協(xié)議”的內(nèi)涵不失為一個(gè)行之有效的方法。

    (二)拓展“協(xié)議”范疇的理論基礎(chǔ)

    拓展“協(xié)議”的范疇是否具有合理性,首先需要明確這一概念的內(nèi)涵。 世界各國(guó)對(duì)于“壟斷協(xié)議”存在不同的表述形式。 美國(guó)反托拉斯法中稱之為“聯(lián)合”或“聯(lián)合行為”。 歐洲國(guó)家則更常用“卡特爾”這一術(shù)語(yǔ)代表。 我國(guó)的《反壟斷法》第十三條將壟斷協(xié)議限定為“排除、限制競(jìng)爭(zhēng)的協(xié)議、決定或者其他協(xié)同行為”。 然而目前各國(guó)對(duì)于“壟斷協(xié)議”仍難以具體準(zhǔn)確地界定。

    有學(xué)者試圖通過(guò)對(duì)比合同法中的“協(xié)議”概念以確定反壟斷法中“協(xié)議”的范疇。 合同法語(yǔ)境下的“協(xié)議”通常包含“要約”和“承諾”兩個(gè)要件,二者應(yīng)滿足一定的條件:①客觀性。 即要約和承諾都應(yīng)是基于文字或行為等形式并能夠被客觀理解的客觀行為。 ②對(duì)應(yīng)性。 即協(xié)議中的要約與承諾必須相互對(duì)應(yīng),要約人與受要約人具有實(shí)施某種行為的共同意圖。 ③精確性。 即要約與承諾應(yīng)滿足一定程度上的具體和精確性,以使相對(duì)人之間形成特定的法律約束。 根據(jù)其觀點(diǎn),前二者屬于“協(xié)議”所普遍固有的內(nèi)涵,故反壟斷法中的“協(xié)議”也應(yīng)當(dāng)具備此二者,即共謀參與者在客觀上實(shí)施了聯(lián)合限制競(jìng)爭(zhēng)行為,且具有實(shí)施該共謀行為的共同意圖。 而精確性則是基于合同法上目的而產(chǎn)生的非固有定義特征,意在維護(hù)當(dāng)事人的合法權(quán)益。 不同于合同法中“協(xié)議”的目的,反壟斷法為打擊共謀等反競(jìng)爭(zhēng)活動(dòng),維護(hù)市場(chǎng)的良好競(jìng)爭(zhēng)秩序而設(shè)立“協(xié)議”,故不應(yīng)要求經(jīng)營(yíng)者對(duì)某個(gè)聯(lián)合限制競(jìng)爭(zhēng)行為做出準(zhǔn)確承諾。 因此反壟斷法中的“協(xié)議”在滿足客觀性和對(duì)應(yīng)性的條件下,具有一定的拓展空間,從而使可能產(chǎn)生反競(jìng)爭(zhēng)危害而內(nèi)容模糊的自主類算法共謀得以被納入規(guī)制范圍。

    (三)明確自主類算法共謀的判定標(biāo)準(zhǔn)

    由于自主類算法共謀高度依賴于算法的自主學(xué)習(xí)和決策,在其達(dá)成和實(shí)施共謀的過(guò)程中可能并無(wú)任何意思聯(lián)絡(luò),因此通過(guò)尋找其意思聯(lián)絡(luò)的證據(jù)來(lái)證明經(jīng)營(yíng)者存在共謀意圖極難實(shí)現(xiàn)。 如此,不妨適當(dāng)放寬“協(xié)議”的范圍,即可在綜合考慮各方面因素的情況下,通過(guò)經(jīng)營(yíng)者的客觀一致行為來(lái)證明其共謀意圖與“協(xié)議”達(dá)成。

    例如,在1939 年的州際巡回放映公司訴美國(guó)案中,美國(guó)聯(lián)邦最高法院認(rèn)為銷售商之間的協(xié)議并不是認(rèn)定存在非法共謀的前提條件,“既然銷售商們之間的一致行為是策劃好的,銷售商們收到邀請(qǐng)后遵守這個(gè)方案,參與這個(gè)一致行為,知曉這些就足以認(rèn)定非法共謀存在了。”此后在1946 年的美國(guó)煙草公司訴美國(guó)案中,美國(guó)聯(lián)邦最高法院繼續(xù)就缺乏明確協(xié)議的一致行為的認(rèn)定問(wèn)題進(jìn)行闡釋:“要構(gòu)成非法共謀無(wú)須當(dāng)事人間存在正式的協(xié)議,只要從當(dāng)事人的全部行為中我們可以得出這樣的推論就可以了?!睔W盟的司法機(jī)關(guān)在認(rèn)定默示共謀時(shí)也不要求經(jīng)營(yíng)者之間必須達(dá)成正式的協(xié)議,而常依據(jù)“一致行為”的概念進(jìn)行認(rèn)定并予以規(guī)制。 歐盟委員會(huì)曾明確指出,一項(xiàng)協(xié)議不需要以書面形式訂立,也無(wú)須合同的批準(zhǔn)或執(zhí)行措施,協(xié)議存在的事實(shí)可以清晰地或含蓄地體現(xiàn)在成員的行為中。

    我國(guó)現(xiàn)行反壟斷法也可據(jù)此對(duì)自主類算法共謀進(jìn)行有效規(guī)制。 例如,在自學(xué)習(xí)算法引發(fā)的共謀中,市場(chǎng)參與者的算法獨(dú)立選擇共謀策略作為最佳定價(jià)策略。 某一經(jīng)營(yíng)者的算法自主發(fā)出共同提高價(jià)格的信號(hào),無(wú)須經(jīng)營(yíng)者干預(yù),其競(jìng)爭(zhēng)對(duì)手算法通過(guò)觀察或接收到這一信號(hào)而自主選擇追隨以謀求超競(jìng)爭(zhēng)水平的利潤(rùn)。 同時(shí),發(fā)出信號(hào)的算法在觀察到其他算法的跟隨和同意后,可以采取策略維持共謀的持續(xù)。 簡(jiǎn)言之,發(fā)出“要約”的算法通常會(huì)將提價(jià)作為一個(gè)客觀信號(hào),競(jìng)爭(zhēng)對(duì)手則自主選擇是否跟進(jìn)。 如果被要約人的算法跟隨也即默示同意該提議,那么要約人算法將被誘導(dǎo)維持其高價(jià)。 盡管要約人和被要約人未達(dá)成正式協(xié)議,僅通過(guò)行為和默許,但仍足以滿足客觀性要求;盡管各方的承諾十分模糊,但仍可成為反壟斷法意義上的協(xié)議。

    (四)自主類算法共謀的事實(shí)認(rèn)定

    如何運(yùn)用證據(jù)在個(gè)案中識(shí)別自主類算法共謀的存在,是明確其法律認(rèn)定標(biāo)準(zhǔn)后的又一挑戰(zhàn)。 由于這種共謀具有高度隱蔽性和穩(wěn)定性,司法機(jī)關(guān)很難搜集到諸如往來(lái)信件、檢舉材料等直接證據(jù)證明共謀的存在,因此充分運(yùn)用間接證據(jù)、環(huán)境證據(jù)以及建立有條件的法律推定制度對(duì)于此種新型共謀的認(rèn)定顯得尤為重要。

    1. 靈活運(yùn)用各類證據(jù)

    默示共謀的隱蔽性使得收集直接證據(jù)十分困難,因此各國(guó)普遍采用間接證據(jù)證明共謀的存在。 自學(xué)習(xí)算法加劇了這一困境,故間接性證據(jù)的使用也將是認(rèn)定自主類算法共謀的主要方法。 例如,有外國(guó)學(xué)者提出,反壟斷機(jī)構(gòu)在調(diào)查過(guò)程中應(yīng)更加重視一些特殊文件,包括任何闡明算法設(shè)計(jì)目標(biāo)、記錄算法行為的內(nèi)部文檔,任何表明開(kāi)發(fā)人員修改算法以促進(jìn)默認(rèn)協(xié)調(diào)或可能提高算法與競(jìng)爭(zhēng)對(duì)手協(xié)調(diào)的能力的文檔、營(yíng)銷和促銷材料。

    目前可被有效利用的證據(jù)還包括環(huán)境證據(jù)、經(jīng)濟(jì)證據(jù)等。 環(huán)境證據(jù)是美國(guó)反托拉斯司法實(shí)踐中發(fā)展出的新名詞,它是指違反《謝爾曼法》的合并或共謀可以通過(guò)當(dāng)事人之間的交易過(guò)程或其他環(huán)境條件等來(lái)證明。 比如前文判定標(biāo)準(zhǔn)部分所述兩案中,美國(guó)最高聯(lián)邦法院均是運(yùn)用了環(huán)境證據(jù)來(lái)推斷經(jīng)營(yíng)者之間存在共謀。 除此之外,經(jīng)濟(jì)證據(jù)、行為證據(jù)對(duì)自主類算法共謀的認(rèn)定思路也頗具參考意義。 在自主類算法共謀的主觀要件認(rèn)定中,可結(jié)合算法設(shè)計(jì)者、改進(jìn)者和使用者的行為及當(dāng)時(shí)市場(chǎng)的經(jīng)濟(jì)條件進(jìn)行判定,包括考察其對(duì)一致行為是否有合理的解釋,對(duì)設(shè)計(jì)、改進(jìn)或者使用的過(guò)程中是否具有反競(jìng)爭(zhēng)目的等方面予以分析。

    2. 建立有條件的法律推定制度

    大數(shù)據(jù)時(shí)代,自主類算法共謀幾乎無(wú)法被直接證明,因此有必要使用法律推定制度來(lái)對(duì)其進(jìn)行認(rèn)定。 韓國(guó)對(duì)不正當(dāng)協(xié)同行為即采取法律推定的方法:兩個(gè)以上企業(yè)在一定的交易領(lǐng)域做出實(shí)質(zhì)上限制競(jìng)爭(zhēng)的行為,而這種行為不存在任何約定進(jìn)行共同行為的明示合意,則將這種情況推定為協(xié)同行為。 自主類算法共謀本質(zhì)上屬于壟斷協(xié)議中的“協(xié)同行為”,在缺乏充足證據(jù)的情況下,通過(guò)綜合考量各方因素依法推定經(jīng)營(yíng)者的行為屬于共謀有利于及時(shí)發(fā)現(xiàn)此類反競(jìng)爭(zhēng)行為并予以規(guī)制。 但此類推定應(yīng)限制在合理范圍內(nèi),即在某一市場(chǎng)環(huán)境下,共謀是經(jīng)營(yíng)者們實(shí)施相同行為的唯一合理理由。 例 如, 在 Compagine Royal Asturienne des Mines and Rheinzink v.Commission 案中,一家德國(guó)公司發(fā)現(xiàn)比利時(shí)公司經(jīng)銷其商品時(shí)存在欺詐行為而拒絕繼續(xù)供應(yīng),另一家德國(guó)公司也拒絕供應(yīng)。 歐共體委員會(huì)判定兩家公司存在協(xié)同行為,但歐洲法院否定了這一裁決,認(rèn)為二者的相同行為存在協(xié)同行為以外的合理解釋,即比利時(shí)公司信譽(yù)太差,故推定二者存在協(xié)同行為是不合理的。

    三、 算法監(jiān)管的多元化體系構(gòu)建

    鑒于自主類算法共謀使整個(gè)市場(chǎng)秩序面臨著潛在的系統(tǒng)性風(fēng)險(xiǎn),監(jiān)管機(jī)構(gòu)絕不可放任其野蠻生長(zhǎng),但又由于現(xiàn)代市場(chǎng)對(duì)科技效率的要求,嚴(yán)令禁止也絕非長(zhǎng)久之計(jì)。 要想從根本上維護(hù)市場(chǎng)秩序的穩(wěn)定的同時(shí)推動(dòng)市場(chǎng)技術(shù)的創(chuàng)新,還需構(gòu)建一套完善的多元化規(guī)制體系,對(duì)自主類算法共謀進(jìn)行全方位監(jiān)管。

    (一)反壟斷委員會(huì)面向:合理的政策指南

    根據(jù)我國(guó)《反壟斷法》第九條,反壟斷委員會(huì)主要負(fù)責(zé)組織、協(xié)調(diào)、指導(dǎo)反壟斷工作。 具體職責(zé)主要包括研究擬訂有關(guān)競(jìng)爭(zhēng)政策、發(fā)布反壟斷指南、協(xié)調(diào)反壟斷執(zhí)法工作等具有方針性的競(jìng)爭(zhēng)政策。 依其職責(zé),反壟斷委員會(huì)在目前的競(jìng)爭(zhēng)態(tài)勢(shì)下,應(yīng)當(dāng)充分發(fā)揮其政策引導(dǎo)的職能,為市場(chǎng)參與相關(guān)方釋放信號(hào),提高經(jīng)營(yíng)者在使用自學(xué)習(xí)算法時(shí)的法律風(fēng)險(xiǎn)敏感度,從而發(fā)揮政策的引導(dǎo)作用。

    首先,反壟斷委員會(huì)應(yīng)當(dāng)制訂相應(yīng)自主類算法的開(kāi)發(fā)準(zhǔn)則。 為了防止自學(xué)習(xí)算法自動(dòng)實(shí)施算法共謀,應(yīng)當(dāng)為算法的開(kāi)發(fā)制定行業(yè)準(zhǔn)則。 此方式適用于全部的算法共謀類型,而針對(duì)系統(tǒng)性風(fēng)險(xiǎn)較大的自主類算法共謀,還應(yīng)加強(qiáng)反壟斷指南層面的引導(dǎo)。 原因在于,自學(xué)習(xí)算法的出現(xiàn),使系統(tǒng)性風(fēng)險(xiǎn)變得不可忽視。 例如,在金融市場(chǎng)上,2010 年的 Flash Crash 的算法失誤導(dǎo)致美國(guó)公司股票市值在20 分鐘內(nèi)蒸發(fā)了6000 億美元。 電商市場(chǎng)上,在2011 年亞馬遜提供的自動(dòng)定價(jià)算法允許圖書零售商根據(jù)其他零售商的價(jià)格設(shè)定價(jià)格,這導(dǎo)致生物學(xué)教科書The Making of a Fly的售價(jià)進(jìn)入了正反饋循環(huán),兩位零售商的定價(jià)根據(jù)對(duì)方的價(jià)格互相攀升,最終達(dá)至23,698,655.93 美元。 自學(xué)習(xí)算法對(duì)于數(shù)據(jù)的高度依賴性加之其高速的運(yùn)算能力,使業(yè)務(wù)商們獲得隱形的競(jìng)爭(zhēng)優(yōu)勢(shì)。 行業(yè)中自主類算法共謀的不斷擴(kuò)大,必將損害其他競(jìng)爭(zhēng)者以及消費(fèi)者的利益。 故此,制訂市場(chǎng)競(jìng)爭(zhēng)中使用的自學(xué)習(xí)算法準(zhǔn)則應(yīng)當(dāng)由反壟斷委員會(huì)做出直接指導(dǎo)或授權(quán)。

    在推進(jìn)算法開(kāi)發(fā)準(zhǔn)則的同時(shí),還應(yīng)適當(dāng)擴(kuò)大自主類算法準(zhǔn)則的適用對(duì)象。 有學(xué)者提出,行業(yè)準(zhǔn)則針對(duì)的對(duì)象不僅包括程序員,還應(yīng)包括所謂的“中介機(jī)構(gòu)”,如以收集、匯總和評(píng)估數(shù)據(jù)為其主要業(yè)務(wù)模式,以協(xié)調(diào)用戶群體之間的供求關(guān)系的多邊數(shù)字平臺(tái)。 數(shù)據(jù)的中介機(jī)構(gòu),算法的中間開(kāi)發(fā)商,均屬于自學(xué)習(xí)算法開(kāi)發(fā)基礎(chǔ)的重要提供者。 由于中介機(jī)構(gòu)掌握更加豐富的信息,了解整個(gè)市場(chǎng)的動(dòng)向,高效助力自學(xué)習(xí)算法的快速學(xué)習(xí),因此,中介機(jī)構(gòu)同樣應(yīng)當(dāng)被納入相應(yīng)標(biāo)準(zhǔn)的規(guī)制對(duì)象范圍。

    其次,建立算法審計(jì)渠道,以便對(duì)算法進(jìn)行提前審查,保留備案。 反壟斷法應(yīng)當(dāng)為經(jīng)營(yíng)者設(shè)定一定的主動(dòng)報(bào)告義務(wù),在進(jìn)入市場(chǎng)之前,經(jīng)營(yíng)者有責(zé)任向反壟斷機(jī)關(guān)主動(dòng)報(bào)告算法信息,說(shuō)明他們使用的算法類型以及執(zhí)行的任務(wù)類型。 為保障算法審計(jì)的順利實(shí)施,可能需要開(kāi)發(fā)算法認(rèn)證系統(tǒng)以及為算法開(kāi)發(fā)團(tuán)隊(duì)配備社會(huì)代表,以便對(duì)其進(jìn)行較高程度的監(jiān)督。 此舉措不僅能夠有效地提升經(jīng)營(yíng)者的可預(yù)測(cè)性,也便于反壟斷執(zhí)法機(jī)關(guān)提前獲取高質(zhì)量的信息,促進(jìn)執(zhí)法效率的提升。

    最后,應(yīng)當(dāng)加強(qiáng)國(guó)際競(jìng)爭(zhēng)執(zhí)法的協(xié)調(diào)合作。 隨著經(jīng)濟(jì)全球化進(jìn)程日益加快,跨國(guó)公司的數(shù)量迅速增長(zhǎng),目前,已經(jīng)有多國(guó)聯(lián)合發(fā)布針對(duì)算法的年度競(jìng)爭(zhēng)執(zhí)法報(bào)告,并提出希望尋求各國(guó)反壟斷機(jī)關(guān)精誠(chéng)合作。 國(guó)際執(zhí)法合作的希望之光來(lái)自巴西經(jīng)濟(jì)調(diào)節(jié)管理委員會(huì)(CADE),其期望加強(qiáng)對(duì)北美機(jī)構(gòu)和歐共體正在討論的各種競(jìng)爭(zhēng)問(wèn)題的執(zhí)法,包括大數(shù)據(jù)的挑戰(zhàn)。 例如,CADE 最近的調(diào)查介入 Booking 和 Expedia 等在線酒店預(yù)訂平臺(tái),并對(duì)谷歌在巴西搜索市場(chǎng)的做法進(jìn)行了三項(xiàng)獨(dú)立調(diào)查,凸顯了其為與國(guó)際競(jìng)爭(zhēng)管理機(jī)構(gòu)調(diào)查時(shí)限相一致而付出的努力。

    (二)反壟斷執(zhí)法機(jī)關(guān)面向:具體案件的調(diào)查方案

    傳統(tǒng)的反壟斷調(diào)查工具難以適用于具有“黑匣子”性質(zhì)的自學(xué)習(xí)算法,即便能夠調(diào)取相應(yīng)經(jīng)營(yíng)者的數(shù)據(jù),龐大的數(shù)據(jù)量以及輸出決策的內(nèi)部隱蔽性也讓反壟斷機(jī)關(guān)無(wú)計(jì)可施。針對(duì)隱蔽的“算法黑箱”,以下重點(diǎn)介紹兩種破解方式,既能幫助反壟斷執(zhí)法機(jī)關(guān)減輕調(diào)查壓力,又有助提升調(diào)查結(jié)果的精準(zhǔn)度,以確保反壟斷執(zhí)法機(jī)關(guān)的權(quán)威性。

    1. 外部輸出推斷

    外部輸出推斷主要指通過(guò)觀察自學(xué)習(xí)算法的外部行為,進(jìn)行“違法癥狀”的統(tǒng)計(jì)收集,從而判定是否形成算法共謀。此種方法的主要優(yōu)點(diǎn)是其避免嘗試打開(kāi)復(fù)雜的算法黑箱,并專注于觀察和解釋相關(guān)經(jīng)營(yíng)者的行為。 有學(xué)者提出,直接監(jiān)視違反反托拉斯法的“癥狀”具有可操作性。 外部的一些“癥狀”使人們能夠明確地推斷出共謀行為,這被稱為“加成因素”。 例如,無(wú)法解釋的價(jià)格上漲或其他類型的價(jià)格異常已被認(rèn)為是加成因素。 同樣,當(dāng)價(jià)格相對(duì)較高或上漲且經(jīng)營(yíng)者產(chǎn)能過(guò)剩時(shí),穩(wěn)定的市場(chǎng)份額和缺乏客戶流失也表明競(jìng)爭(zhēng)對(duì)手存在串通行為。 例如,在一個(gè)依靠銷售代表的行業(yè)中,要實(shí)施共謀,經(jīng)營(yíng)者需要將代表的激勵(lì)從“銷售量先于價(jià)格”更改為“價(jià)格先于銷售量”。 這種激勵(lì)性變化被標(biāo)記為超級(jí)加成因子,超級(jí)加成因子一經(jīng)認(rèn)定,則此經(jīng)營(yíng)者將會(huì)被合理懷疑具有共謀的傾向。 外部輸出推斷通過(guò)量化信息,更為直觀準(zhǔn)確地展現(xiàn)了共謀的傾向性,便于對(duì)自主類共謀行為進(jìn)行調(diào)查與判定。

    2. 內(nèi)部算法破解

    內(nèi)部算法破解顧名思義,即無(wú)須避過(guò)隱蔽性問(wèn)題,直接對(duì)算法黑箱進(jìn)行有效破解。 換言之,其嘗試將“算法黑箱”變成“算法白箱”,主要措施包含強(qiáng)制披露并檢測(cè)企業(yè)源代碼以及通過(guò)語(yǔ)言處理技術(shù)解釋算法決策等。 反壟斷執(zhí)法機(jī)構(gòu)可以酌情要求經(jīng)營(yíng)者披露算法源代碼,進(jìn)行反向檢測(cè)并制定算法“黑名單”。 針對(duì)高度智能化的自學(xué)習(xí)算法,其雖可以有效地進(jìn)行迭代學(xué)習(xí),但根據(jù)其源代碼仍舊可以檢測(cè)出是否具有共謀傾向。 有學(xué)者提出了明確的禁止原則,如果它以競(jìng)爭(zhēng)對(duì)手過(guò)去的價(jià)格為價(jià)格限制條件,則需禁止此種定價(jià)算法。 算法可以被允許設(shè)置任何價(jià)格,但當(dāng)算法基于對(duì)手的過(guò)去價(jià)格對(duì)其進(jìn)行獎(jiǎng)勵(lì)和懲罰時(shí),此種算法就應(yīng)當(dāng)被納入禁止的范圍。

    反壟斷執(zhí)法機(jī)構(gòu)可通過(guò)語(yǔ)言處理技術(shù)解釋算法決策。國(guó)外某公司開(kāi)發(fā)了一種具有“檢測(cè)通信中的意圖與企業(yè)情緒”的技術(shù)。 這種技術(shù)可應(yīng)用于監(jiān)視競(jìng)爭(zhēng)對(duì)手之間的通信,幫助檢測(cè)并最終制止串通行為。 這依托于RegTech(監(jiān)管技術(shù))行業(yè)的成功。 目前,有幾家RegTech 公司提供基于自然語(yǔ)言處理(NLP)和自然語(yǔ)言理解(NLU)的AI 技術(shù),這些技術(shù)可以捕獲并理解語(yǔ)音和文字通信。 這種語(yǔ)言處理技術(shù)在自主類算法共謀中顯得格外重要,在許多備受矚目的國(guó)際反壟斷案件中,由于“通信”在調(diào)查中起著關(guān)鍵作用,因此反壟斷執(zhí)法機(jī)關(guān)常常需通過(guò)收集大量證據(jù)證明競(jìng)爭(zhēng)對(duì)手的“通信”行為,從而對(duì)共謀行為進(jìn)行判定。 利用NLP 和NLU 領(lǐng)域的AI 技術(shù),算法能夠以經(jīng)濟(jì)高效的方式實(shí)時(shí)標(biāo)記有問(wèn)題的通信,從而有效助力反壟斷執(zhí)法。 需要注意,由于破解算法內(nèi)部決策的工作技術(shù)性較強(qiáng),因此,反壟斷機(jī)關(guān)也應(yīng)當(dāng)做好對(duì)應(yīng)技術(shù)領(lǐng)域的人才儲(chǔ)備工作。 例如,可以考慮仿照英國(guó)和澳大利亞建立專門的技術(shù)部門,其主要從事技術(shù)性研究工作,尤其是對(duì)算法的默認(rèn)勾結(jié)和自動(dòng)人工勾結(jié)進(jìn)行仿制與破解。

    (三)參與主體的義務(wù)面向:共謀責(zé)任的分配與歸屬

    如前所述,自學(xué)習(xí)算法的決策結(jié)果缺乏直接的可解釋性。 其獨(dú)立自主做出的商業(yè)決策對(duì)市場(chǎng)自由競(jìng)爭(zhēng)造成損害時(shí),反壟斷執(zhí)法機(jī)關(guān)難以從中窺得人類的共謀意圖與行動(dòng),共謀的追責(zé)主體因此難以確定,更有人試圖探尋算法的承擔(dān)能力。 此前文章已充分討論三種可能的責(zé)任分配方式,即歸屬于機(jī)器人本身,部署它的人,或者無(wú)人承擔(dān)。 不追究任何人的責(zé)任,或是歸責(zé)于不具有人類的道德感的算法,都會(huì)產(chǎn)生一個(gè)相同的結(jié)果——開(kāi)辟算法使用者、開(kāi)發(fā)者、受益者們借助算法逃避共謀責(zé)任的避風(fēng)港。 兩種選擇都使得責(zé)任歸屬的威懾功能定位落空,法律的目的性價(jià)值最終無(wú)法實(shí)現(xiàn),因而并非現(xiàn)實(shí)的選擇。 責(zé)任承擔(dān)仍應(yīng)歸位于可能的自然人或單位。

    學(xué)界在進(jìn)一步的責(zé)任分配問(wèn)題上爭(zhēng)議頗多,即軟件開(kāi)發(fā)商、使用算法的經(jīng)營(yíng)者等相關(guān)主體應(yīng)當(dāng)在何種程度上承擔(dān)責(zé)任。 首先,多數(shù)學(xué)者認(rèn)為,經(jīng)營(yíng)者應(yīng)對(duì)其算法實(shí)施的行為承擔(dān)嚴(yán)格責(zé)任。 在德法競(jìng)爭(zhēng)部門關(guān)于算法的聯(lián)合報(bào)告中,法國(guó)競(jìng)爭(zhēng)委員會(huì)主席Isabel 堅(jiān)持認(rèn)為,即使算法是由第三方提供,經(jīng)營(yíng)者也應(yīng)對(duì)其行為負(fù)責(zé),并認(rèn)為經(jīng)營(yíng)者應(yīng)該嚴(yán)格掌握其算法的運(yùn)行機(jī)制。 無(wú)獨(dú)有偶,Vestager 委員也認(rèn)為經(jīng)營(yíng)者不能藏在電腦程序背后,逃避共謀的責(zé)任。 但報(bào)告中也有部分學(xué)者認(rèn)為只有當(dāng)經(jīng)營(yíng)者違反了合理的謹(jǐn)慎原則和可預(yù)見(jiàn)性標(biāo)準(zhǔn)時(shí),才應(yīng)對(duì)自己的算法承擔(dān)責(zé)任。 其次,對(duì)于開(kāi)發(fā)者,報(bào)告中的多數(shù)學(xué)者認(rèn)為應(yīng)當(dāng)免除責(zé)任,而歐盟反壟斷委員會(huì)則主張對(duì)軟件開(kāi)發(fā)商施加較高的責(zé)任與懲罰。 它呼吁制定追究軟件開(kāi)發(fā)商責(zé)任的具體規(guī)則,因其開(kāi)發(fā)算法定價(jià)軟件的行為增加了市場(chǎng)中的共謀活動(dòng),并表示較高程度的責(zé)任將首先阻止軟件開(kāi)發(fā)商在算法中埋藏共謀隱患。

    不能苛以軟件開(kāi)發(fā)商過(guò)高的義務(wù),但也不能完全免除其責(zé)任。 僅因其提供算法的行為就施加較高程度的注意義務(wù)與責(zé)任,有違比例原則,也不利于技術(shù)的創(chuàng)新與經(jīng)濟(jì)發(fā)展。然而經(jīng)濟(jì)學(xué)實(shí)驗(yàn)證明,競(jìng)爭(zhēng)對(duì)手采用同樣或相似算法時(shí)較可能達(dá)成共謀。 因此,提供相同算法的行為作為引發(fā)共謀的契機(jī),一定情況下可能會(huì)被追究責(zé)任。 在兩種情況下,軟件開(kāi)發(fā)商具有明顯的過(guò)錯(cuò),一是在于其設(shè)計(jì)的算法本身未通過(guò)算法設(shè)計(jì)合規(guī)的審查,代碼設(shè)置存在共謀隱患;二是在于未盡到對(duì)經(jīng)營(yíng)者的一般告知義務(wù),如未告知經(jīng)營(yíng)者使用算法可能產(chǎn)生的后果。 軟件開(kāi)發(fā)商在上述情況中理應(yīng)承擔(dān)必要的法律責(zé)任。

    經(jīng)營(yíng)者責(zé)任是規(guī)制的重中之重。 首先,借助間接證據(jù)能證明存在前述“協(xié)議”時(shí),經(jīng)營(yíng)者無(wú)疑需要承擔(dān)責(zé)任。 且類似于一般算法共謀,存在不同的獲益主體和控制主體時(shí)究竟需要按份承擔(dān)責(zé)任還是連帶承擔(dān)責(zé)任,主要取決于各方排除限制競(jìng)爭(zhēng)的意圖。 其次,當(dāng)自學(xué)習(xí)算法獨(dú)立自主達(dá)成共謀,經(jīng)營(yíng)者根本不具有共謀意圖時(shí),經(jīng)營(yíng)者也應(yīng)當(dāng)對(duì)算法的決策行為承擔(dān)責(zé)任。

    根據(jù)算法雇員理論,算法可以被類比成經(jīng)營(yíng)者的員工,而員工代理行為的后果便是由其所在的經(jīng)營(yíng)者承擔(dān)。 在實(shí)踐中,歐盟的判例法和歐盟委員會(huì)《關(guān)于將第101 條適用于橫向協(xié)定的準(zhǔn)則的回函》就規(guī)定,經(jīng)營(yíng)者應(yīng)當(dāng)對(duì)其員工的行為負(fù)責(zé),除非存在員工實(shí)施的決策超出代理權(quán)限等例外情況。 在學(xué)理上,單一經(jīng)濟(jì)實(shí)體理論基于下列因素得出經(jīng)營(yíng)者應(yīng)承擔(dān)其員工行為責(zé)任的結(jié)論:一是員工不會(huì)在市場(chǎng)上產(chǎn)生與雇傭組織相分離的競(jìng)爭(zhēng)力量,員工的一切經(jīng)濟(jì)行為都被認(rèn)為是經(jīng)營(yíng)者的行為;二是經(jīng)營(yíng)者對(duì)于其員工具有很強(qiáng)的控制力,能夠?qū)ζ涫┘記Q定性影響,并決定員工行動(dòng)的總體方針;三是該經(jīng)營(yíng)者從違反競(jìng)爭(zhēng)法的行為中獲益。 因此經(jīng)營(yíng)者需要對(duì)其雇員和受其控制的其他人的反競(jìng)爭(zhēng)行為負(fù)責(zé)。 對(duì)比上述三項(xiàng)標(biāo)準(zhǔn),算法與員工相似度極高,經(jīng)營(yíng)者應(yīng)對(duì)算法行為負(fù)責(zé)。 首先,恰如經(jīng)營(yíng)者與員工之間的雇傭關(guān)系,算法是經(jīng)營(yíng)者的一部分。 算法執(zhí)行的每個(gè)業(yè)務(wù)操作都被認(rèn)為是經(jīng)營(yíng)者的行為,而不會(huì)產(chǎn)生獨(dú)立于經(jīng)營(yíng)者的競(jìng)爭(zhēng)力量。 其次,算法的根本目標(biāo)是企業(yè)利潤(rùn)最大化,與員工一樣在經(jīng)營(yíng)者總體方針指導(dǎo)下為其提供服務(wù)。 算法只執(zhí)行經(jīng)營(yíng)者所予的某項(xiàng)政策,而不會(huì)違背經(jīng)營(yíng)者宗旨。 雖然算法有可能會(huì)獨(dú)立實(shí)施侵權(quán)行為,但人類員工同樣也有一定的自主性。 算法甚至因其“理性”而更容易控制,因?yàn)槔硇詭?lái)相對(duì)的可預(yù)測(cè)性,而人類可能會(huì)表現(xiàn)出非理性的情緒,并背離政策法規(guī)。 簡(jiǎn)言之,算法較之人類具有更高的可控性。 最后,算法共謀行為所產(chǎn)生的收益歸經(jīng)營(yíng)者所有,員工同樣為經(jīng)營(yíng)者創(chuàng)造價(jià)值。因而兩者在反壟斷責(zé)任方面具有可比性,算法應(yīng)當(dāng)被認(rèn)為是經(jīng)營(yíng)者這個(gè)經(jīng)濟(jì)實(shí)體的一部分,滿足三項(xiàng)要求的經(jīng)營(yíng)者需要對(duì)此承擔(dān)嚴(yán)格責(zé)任。

    四、 結(jié)語(yǔ)

    隨著人工智能技術(shù)的不斷發(fā)展,自學(xué)習(xí)算法在數(shù)據(jù)驅(qū)動(dòng)型市場(chǎng)中發(fā)揮的作用日趨重要,對(duì)市場(chǎng)競(jìng)爭(zhēng)方式產(chǎn)生了深刻影響。 人工智能技術(shù)支持下的自學(xué)習(xí)算法因其高度智能化和隱蔽性的特征,通過(guò)分析海量數(shù)據(jù),重復(fù)迭代學(xué)習(xí),極大地增強(qiáng)了算法共謀的查處難度。 由此,我國(guó)反壟斷界需重新審視自主類算法共謀的認(rèn)定標(biāo)準(zhǔn),通過(guò)構(gòu)建針對(duì)不同面向的多元化規(guī)制體系以減輕共謀的危害。 與此同時(shí),中國(guó)反壟斷法學(xué)界與實(shí)務(wù)部門也應(yīng)保持精誠(chéng)合作,完善大數(shù)據(jù)時(shí)代針對(duì)算法共謀行為的反壟斷理論體系與法律框架,圍繞新興技術(shù)和競(jìng)爭(zhēng)理念進(jìn)一步探索數(shù)字經(jīng)濟(jì)下的中國(guó)方案,贏得數(shù)字革命時(shí)代變革的領(lǐng)先契機(jī)。

    猜你喜歡
    共謀反壟斷法反壟斷
    壟斷與企業(yè)創(chuàng)新——來(lái)自《反壟斷法》實(shí)施的證據(jù)
    監(jiān)督中的共謀與縱容
    活力(2019年19期)2020-01-06 07:34:42
    因地制宜惠民生 共謀福祉穩(wěn)發(fā)展
    共謀共同正犯否定論
    政治與法律(2015年5期)2015-03-01 02:21:11
    搭售行為的反壟斷法分析路徑
    顧一帆:同心協(xié)力,共謀發(fā)展
    汽車零部件(2014年5期)2014-11-11 12:24:20
    淺議“區(qū)域”的反壟斷問(wèn)題
    反壟斷法的制度效果不可抹殺
    法人(2014年1期)2014-02-27 10:40:48
    反壟斷亮劍
    知識(shí)產(chǎn)品搭售及其反壟斷規(guī)制探討
    欧美乱色亚洲激情| 免费在线观看黄色视频的| 69av精品久久久久久| 嫩草影院精品99| 国产精品九九99| 欧美黑人欧美精品刺激| 久久久久久久久久黄片| 国产高清视频在线观看网站| 亚洲av电影在线进入| 黄色视频,在线免费观看| 国产欧美日韩一区二区三| 国产私拍福利视频在线观看| 免费在线观看完整版高清| 国产av不卡久久| 精品乱码久久久久久99久播| 亚洲av成人av| 精品国产乱码久久久久久男人| 51午夜福利影视在线观看| 女生性感内裤真人,穿戴方法视频| 久久久久久久午夜电影| av在线天堂中文字幕| 欧美在线一区亚洲| 亚洲aⅴ乱码一区二区在线播放 | 亚洲avbb在线观看| 午夜老司机福利片| 级片在线观看| 最近最新中文字幕大全电影3| 一本精品99久久精品77| 欧美成狂野欧美在线观看| 久久久精品欧美日韩精品| 国产三级黄色录像| 99在线人妻在线中文字幕| 欧美黑人欧美精品刺激| 国产精品,欧美在线| 亚洲中文av在线| 日本精品一区二区三区蜜桃| 搡老岳熟女国产| 神马国产精品三级电影在线观看 | 19禁男女啪啪无遮挡网站| 国产精品日韩av在线免费观看| 给我免费播放毛片高清在线观看| 国产99久久九九免费精品| 久久婷婷成人综合色麻豆| 国产精品一及| 久久香蕉激情| 亚洲国产欧美网| 老熟妇仑乱视频hdxx| 长腿黑丝高跟| 久久九九热精品免费| 中文字幕最新亚洲高清| 麻豆久久精品国产亚洲av| 99热只有精品国产| 在线观看日韩欧美| 在线观看舔阴道视频| 波多野结衣高清无吗| 琪琪午夜伦伦电影理论片6080| 99在线视频只有这里精品首页| 男女那种视频在线观看| 色哟哟哟哟哟哟| 色综合站精品国产| 亚洲av日韩精品久久久久久密| 男女床上黄色一级片免费看| 中文字幕最新亚洲高清| 国产激情偷乱视频一区二区| 日韩大尺度精品在线看网址| 男男h啪啪无遮挡| 黄色毛片三级朝国网站| 脱女人内裤的视频| netflix在线观看网站| 少妇熟女aⅴ在线视频| 动漫黄色视频在线观看| 十八禁网站免费在线| 毛片女人毛片| 成人一区二区视频在线观看| av中文乱码字幕在线| 舔av片在线| av片东京热男人的天堂| 两性午夜刺激爽爽歪歪视频在线观看 | 久久婷婷成人综合色麻豆| 国产av不卡久久| 一进一出抽搐动态| 熟妇人妻久久中文字幕3abv| 香蕉av资源在线| 一边摸一边抽搐一进一小说| 国产探花在线观看一区二区| 精品国产亚洲在线| 亚洲av电影在线进入| 久久久久久亚洲精品国产蜜桃av| 国产成+人综合+亚洲专区| 久久国产乱子伦精品免费另类| 日本a在线网址| 91麻豆av在线| 成人特级黄色片久久久久久久| 在线免费观看的www视频| 久久性视频一级片| 9191精品国产免费久久| 国产又色又爽无遮挡免费看| a在线观看视频网站| 久久国产精品人妻蜜桃| 麻豆久久精品国产亚洲av| 琪琪午夜伦伦电影理论片6080| 久久久久性生活片| 无限看片的www在线观看| 少妇人妻一区二区三区视频| 母亲3免费完整高清在线观看| 午夜成年电影在线免费观看| 国产高清视频在线播放一区| 91av网站免费观看| 国产精品永久免费网站| 999久久久精品免费观看国产| 哪里可以看免费的av片| 老熟妇乱子伦视频在线观看| 国产97色在线日韩免费| 岛国在线免费视频观看| 亚洲av日韩精品久久久久久密| 亚洲人成77777在线视频| 免费人成视频x8x8入口观看| a级毛片在线看网站| 久久久久久久精品吃奶| 又大又爽又粗| 一进一出抽搐动态| 色综合欧美亚洲国产小说| 欧美最黄视频在线播放免费| 三级男女做爰猛烈吃奶摸视频| 他把我摸到了高潮在线观看| bbb黄色大片| 在线观看舔阴道视频| 日韩 欧美 亚洲 中文字幕| 欧美成人一区二区免费高清观看 | 亚洲av成人一区二区三| 在线观看一区二区三区| 真人一进一出gif抽搐免费| 丁香六月欧美| 在线视频色国产色| 久久午夜亚洲精品久久| 在线观看舔阴道视频| 男人舔女人下体高潮全视频| 在线观看免费午夜福利视频| 成人国产综合亚洲| 免费av毛片视频| 国产黄色小视频在线观看| a级毛片在线看网站| 桃红色精品国产亚洲av| 麻豆国产av国片精品| 国产精品亚洲av一区麻豆| 亚洲成av人片在线播放无| 欧美在线黄色| 1024手机看黄色片| 国产亚洲精品综合一区在线观看 | 伦理电影免费视频| 好男人电影高清在线观看| 国产精品自产拍在线观看55亚洲| 久久伊人香网站| 两个人的视频大全免费| 日韩av在线大香蕉| 看黄色毛片网站| 成人三级黄色视频| 日韩高清综合在线| 欧美日本视频| 黄片小视频在线播放| 午夜激情福利司机影院| 国产精品一区二区精品视频观看| 亚洲精品国产精品久久久不卡| av片东京热男人的天堂| 久久久久久免费高清国产稀缺| 欧美一区二区国产精品久久精品 | 欧美又色又爽又黄视频| 午夜免费激情av| 国产精品电影一区二区三区| 搡老岳熟女国产| 嫁个100分男人电影在线观看| 一级毛片精品| 欧美午夜高清在线| x7x7x7水蜜桃| 午夜日韩欧美国产| 欧美性长视频在线观看| 人妻夜夜爽99麻豆av| 亚洲精品在线美女| 国产一区二区在线观看日韩 | 免费看日本二区| 国产伦一二天堂av在线观看| 免费高清视频大片| 一卡2卡三卡四卡精品乱码亚洲| 动漫黄色视频在线观看| 国产成人精品久久二区二区91| 一本精品99久久精品77| 少妇人妻一区二区三区视频| a在线观看视频网站| 欧美高清成人免费视频www| 国产又色又爽无遮挡免费看| 免费在线观看亚洲国产| 999久久久精品免费观看国产| 国内毛片毛片毛片毛片毛片| 淫妇啪啪啪对白视频| 色在线成人网| 成人手机av| 亚洲av片天天在线观看| 岛国视频午夜一区免费看| 免费在线观看亚洲国产| 老汉色∧v一级毛片| 搡老妇女老女人老熟妇| 99精品在免费线老司机午夜| 国产高清激情床上av| 国产精品美女特级片免费视频播放器 | 日韩精品中文字幕看吧| 欧美一区二区国产精品久久精品 | 国产一级毛片七仙女欲春2| 91字幕亚洲| 老鸭窝网址在线观看| 国产99久久九九免费精品| 五月伊人婷婷丁香| 无人区码免费观看不卡| 老司机在亚洲福利影院| 日韩欧美免费精品| 最新美女视频免费是黄的| 国产野战对白在线观看| 国产真实乱freesex| 两性午夜刺激爽爽歪歪视频在线观看 | 夜夜夜夜夜久久久久| 亚洲人成网站在线播放欧美日韩| 国产伦人伦偷精品视频| 窝窝影院91人妻| 国产主播在线观看一区二区| 女人被狂操c到高潮| 国产99白浆流出| 亚洲七黄色美女视频| 亚洲在线自拍视频| 在线永久观看黄色视频| 91麻豆av在线| 2021天堂中文幕一二区在线观| 俺也久久电影网| 中文资源天堂在线| 哪里可以看免费的av片| 久久国产精品人妻蜜桃| 国产精品av视频在线免费观看| 久久这里只有精品19| 国产精品1区2区在线观看.| 国产亚洲欧美在线一区二区| 在线播放国产精品三级| 日韩欧美国产一区二区入口| 欧美人与性动交α欧美精品济南到| 亚洲欧美日韩东京热| 亚洲av成人av| 精品第一国产精品| 91老司机精品| 在线观看一区二区三区| 少妇的丰满在线观看| 亚洲精品在线美女| 国产成人精品久久二区二区91| 看片在线看免费视频| 久久精品aⅴ一区二区三区四区| 国内精品久久久久久久电影| 色哟哟哟哟哟哟| 国产精品久久久久久人妻精品电影| 成人一区二区视频在线观看| 亚洲激情在线av| av片东京热男人的天堂| 国产高清视频在线播放一区| 欧美乱妇无乱码| 日韩国内少妇激情av| 欧美黑人欧美精品刺激| 精品久久久久久久久久久久久| 久久国产乱子伦精品免费另类| 久9热在线精品视频| 亚洲国产精品合色在线| 黄频高清免费视频| 麻豆一二三区av精品| 精品国产美女av久久久久小说| 亚洲欧美激情综合另类| 欧美+亚洲+日韩+国产| 免费看十八禁软件| 成人国产综合亚洲| 听说在线观看完整版免费高清| 黑人欧美特级aaaaaa片| 久久99热这里只有精品18| 久久久久性生活片| 人妻夜夜爽99麻豆av| 麻豆av在线久日| 女人爽到高潮嗷嗷叫在线视频| 88av欧美| 久久热在线av| 国产免费av片在线观看野外av| 国产成人欧美在线观看| 午夜福利在线在线| 别揉我奶头~嗯~啊~动态视频| 黄色成人免费大全| 国产成人精品久久二区二区91| 99久久99久久久精品蜜桃| 国产精品久久久久久精品电影| 欧美丝袜亚洲另类 | 亚洲18禁久久av| 国产精品久久电影中文字幕| 日韩成人在线观看一区二区三区| 三级毛片av免费| 久久久水蜜桃国产精品网| 熟妇人妻久久中文字幕3abv| 黄色片一级片一级黄色片| 法律面前人人平等表现在哪些方面| 麻豆国产av国片精品| 99精品在免费线老司机午夜| 麻豆成人av在线观看| 国产高清激情床上av| 色精品久久人妻99蜜桃| 亚洲一区高清亚洲精品| 欧美高清成人免费视频www| 婷婷精品国产亚洲av在线| 宅男免费午夜| 岛国在线免费视频观看| 久久草成人影院| 亚洲成av人片在线播放无| 精品国产亚洲在线| 国产亚洲av高清不卡| √禁漫天堂资源中文www| 在线十欧美十亚洲十日本专区| 国内揄拍国产精品人妻在线| 亚洲精品久久国产高清桃花| 精品午夜福利视频在线观看一区| 欧美不卡视频在线免费观看 | 美女午夜性视频免费| 亚洲无线在线观看| 热99re8久久精品国产| 欧美绝顶高潮抽搐喷水| 精华霜和精华液先用哪个| 天天躁夜夜躁狠狠躁躁| 色在线成人网| 18禁美女被吸乳视频| 99在线视频只有这里精品首页| 女人被狂操c到高潮| 亚洲成av人片在线播放无| 啦啦啦免费观看视频1| 亚洲精华国产精华精| 欧美中文日本在线观看视频| 成人精品一区二区免费| ponron亚洲| 欧美久久黑人一区二区| 小说图片视频综合网站| 无人区码免费观看不卡| 亚洲色图 男人天堂 中文字幕| 亚洲国产精品成人综合色| 又粗又爽又猛毛片免费看| av免费在线观看网站| 欧美久久黑人一区二区| 国产区一区二久久| 99在线人妻在线中文字幕| 露出奶头的视频| 日韩欧美一区二区三区在线观看| 麻豆成人av在线观看| 午夜日韩欧美国产| 国产乱人伦免费视频| 婷婷精品国产亚洲av在线| 亚洲成人国产一区在线观看| 亚洲av日韩精品久久久久久密| av超薄肉色丝袜交足视频| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲国产欧美一区二区综合| 老汉色av国产亚洲站长工具| 久久久国产精品麻豆| 夜夜爽天天搞| 日韩大码丰满熟妇| 久久精品91无色码中文字幕| 亚洲欧美日韩高清专用| www.www免费av| 女警被强在线播放| 制服人妻中文乱码| 亚洲中文字幕一区二区三区有码在线看 | 久久精品国产亚洲av香蕉五月| 日韩欧美三级三区| 亚洲av美国av| 俺也久久电影网| 美女扒开内裤让男人捅视频| 亚洲avbb在线观看| 成年版毛片免费区| 国产真人三级小视频在线观看| 久久久水蜜桃国产精品网| 国产精品久久久久久人妻精品电影| 两人在一起打扑克的视频| 欧美日本视频| 美女免费视频网站| 高清毛片免费观看视频网站| 日韩大尺度精品在线看网址| 又粗又爽又猛毛片免费看| 一个人免费在线观看电影 | 亚洲成人久久爱视频| 国产午夜精品论理片| 亚洲美女视频黄频| 母亲3免费完整高清在线观看| 日韩欧美国产在线观看| 久久香蕉精品热| 国产av不卡久久| 久久久久国产一级毛片高清牌| 色在线成人网| 操出白浆在线播放| 精品乱码久久久久久99久播| 90打野战视频偷拍视频| 91九色精品人成在线观看| 亚洲av日韩精品久久久久久密| 国产在线精品亚洲第一网站| 久久精品国产清高在天天线| 精品久久久久久久久久免费视频| 男女下面进入的视频免费午夜| 精品久久蜜臀av无| 天天躁狠狠躁夜夜躁狠狠躁| 成熟少妇高潮喷水视频| 久久这里只有精品中国| 国产人伦9x9x在线观看| 亚洲精品色激情综合| 精品久久久久久久久久免费视频| av有码第一页| 91在线观看av| 亚洲av熟女| 国产精品一区二区三区四区免费观看 | 亚洲专区字幕在线| 嫩草影院精品99| 真人做人爱边吃奶动态| 在线观看美女被高潮喷水网站 | 免费av毛片视频| 久久午夜综合久久蜜桃| 国产高清视频在线观看网站| 两个人看的免费小视频| 日本精品一区二区三区蜜桃| 一级毛片女人18水好多| 久久久久久大精品| 亚洲一区二区三区不卡视频| 最近最新中文字幕大全免费视频| 国产乱人伦免费视频| 国产成人影院久久av| 国产一级毛片七仙女欲春2| 国产av又大| 国产高清视频在线播放一区| 中文字幕精品亚洲无线码一区| 国产亚洲精品第一综合不卡| 亚洲欧美精品综合久久99| 草草在线视频免费看| 伦理电影免费视频| 丰满人妻一区二区三区视频av | 女警被强在线播放| 天天躁狠狠躁夜夜躁狠狠躁| 成人18禁在线播放| 国产成年人精品一区二区| 免费观看精品视频网站| 亚洲精品国产精品久久久不卡| 午夜日韩欧美国产| 亚洲av熟女| 在线观看免费视频日本深夜| 欧美av亚洲av综合av国产av| 99在线视频只有这里精品首页| 亚洲专区中文字幕在线| 成年免费大片在线观看| 男女下面进入的视频免费午夜| 级片在线观看| 国产av不卡久久| 黑人操中国人逼视频| 欧美成人性av电影在线观看| 日韩中文字幕欧美一区二区| 精品熟女少妇八av免费久了| 午夜福利18| 亚洲欧美精品综合久久99| 日韩欧美一区二区三区在线观看| 国产探花在线观看一区二区| 听说在线观看完整版免费高清| 亚洲自偷自拍图片 自拍| av超薄肉色丝袜交足视频| 精品一区二区三区视频在线观看免费| 非洲黑人性xxxx精品又粗又长| 国产三级在线视频| 亚洲第一电影网av| 麻豆国产97在线/欧美 | 国产三级黄色录像| 成人永久免费在线观看视频| 老鸭窝网址在线观看| 亚洲中文字幕日韩| 亚洲成人久久爱视频| 日韩欧美精品v在线| 99热这里只有精品一区 | 久久久国产精品麻豆| 99国产精品一区二区三区| av超薄肉色丝袜交足视频| 亚洲精品中文字幕在线视频| 免费在线观看亚洲国产| av在线播放免费不卡| 制服人妻中文乱码| 一个人免费在线观看的高清视频| 免费无遮挡裸体视频| 国产精华一区二区三区| 久久精品人妻少妇| 亚洲精品国产一区二区精华液| 亚洲男人天堂网一区| 国产1区2区3区精品| 免费观看人在逋| av免费在线观看网站| 又大又爽又粗| 小说图片视频综合网站| 这个男人来自地球电影免费观看| 人人妻人人看人人澡| 精品不卡国产一区二区三区| 欧美在线一区亚洲| 熟妇人妻久久中文字幕3abv| АⅤ资源中文在线天堂| 成人18禁高潮啪啪吃奶动态图| 久久精品国产清高在天天线| 91大片在线观看| 18禁黄网站禁片免费观看直播| 精品日产1卡2卡| 两个人免费观看高清视频| 亚洲国产中文字幕在线视频| 1024香蕉在线观看| 高清毛片免费观看视频网站| 我的老师免费观看完整版| 久9热在线精品视频| 国内少妇人妻偷人精品xxx网站 | 91国产中文字幕| 亚洲中文字幕一区二区三区有码在线看 | 亚洲成人精品中文字幕电影| 欧美色欧美亚洲另类二区| 久久久国产欧美日韩av| 91麻豆av在线| 一区福利在线观看| 亚洲天堂国产精品一区在线| 日韩三级视频一区二区三区| 一级毛片高清免费大全| 亚洲九九香蕉| 两性午夜刺激爽爽歪歪视频在线观看 | 美女 人体艺术 gogo| 欧美日本亚洲视频在线播放| 女人被狂操c到高潮| 国内揄拍国产精品人妻在线| 精品久久久久久久久久久久久| 宅男免费午夜| 亚洲人成网站高清观看| 长腿黑丝高跟| 中文字幕av在线有码专区| 免费观看人在逋| 激情在线观看视频在线高清| av超薄肉色丝袜交足视频| 亚洲电影在线观看av| 成人av在线播放网站| 国产高清视频在线播放一区| 欧美色欧美亚洲另类二区| 中文字幕人成人乱码亚洲影| 午夜成年电影在线免费观看| 1024香蕉在线观看| 成人欧美大片| 最近视频中文字幕2019在线8| 久久久久免费精品人妻一区二区| 国内毛片毛片毛片毛片毛片| 特级一级黄色大片| av视频在线观看入口| 黑人巨大精品欧美一区二区mp4| 国产精华一区二区三区| 黄色 视频免费看| 亚洲人成伊人成综合网2020| 国产在线观看jvid| 亚洲天堂国产精品一区在线| 一二三四社区在线视频社区8| 窝窝影院91人妻| 久久人妻福利社区极品人妻图片| 欧美性长视频在线观看| 99riav亚洲国产免费| 精品国产亚洲在线| 国产成人一区二区三区免费视频网站| 美女大奶头视频| 老司机福利观看| 他把我摸到了高潮在线观看| 亚洲av成人精品一区久久| 欧美性猛交黑人性爽| 成人永久免费在线观看视频| 色精品久久人妻99蜜桃| 久久婷婷成人综合色麻豆| 很黄的视频免费| 午夜福利欧美成人| 久久伊人香网站| 99在线人妻在线中文字幕| 好看av亚洲va欧美ⅴa在| 老鸭窝网址在线观看| 日本黄大片高清| 国内精品久久久久久久电影| 亚洲成人中文字幕在线播放| 久久热在线av| 久久久久久大精品| 国产精品国产高清国产av| 国产精品久久久久久人妻精品电影| 久久久久久免费高清国产稀缺| 久久久久国内视频| 啦啦啦观看免费观看视频高清| 亚洲性夜色夜夜综合| netflix在线观看网站| 日日干狠狠操夜夜爽| 久久国产精品影院| 麻豆国产av国片精品| 伊人久久大香线蕉亚洲五| www国产在线视频色| 国产不卡一卡二| 午夜精品一区二区三区免费看| 国产亚洲欧美在线一区二区| 中文资源天堂在线| 老鸭窝网址在线观看| 在线观看www视频免费| 美女 人体艺术 gogo| 巨乳人妻的诱惑在线观看| 国产成人欧美在线观看| 精华霜和精华液先用哪个| 国产精品久久电影中文字幕| 丰满的人妻完整版| 精品久久久久久久久久免费视频| 十八禁网站免费在线| 精品久久久久久久久久免费视频| 国产黄a三级三级三级人| 最新美女视频免费是黄的| 久久久久久久午夜电影| 搞女人的毛片| 精品久久久久久久末码| 动漫黄色视频在线观看| 人成视频在线观看免费观看| 一边摸一边做爽爽视频免费| 亚洲人与动物交配视频|