• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    商業(yè)自動化決策規(guī)制的私法困境及其完善路徑

    2023-01-09 07:07:35王東方
    中國流通經(jīng)濟(jì) 2022年5期
    關(guān)鍵詞:解釋權(quán)信息處理個人信息

    王東方

    (北京航空航天大學(xué)法學(xué)院,北京市 100191)

    自動化決策在商業(yè)決策中發(fā)揮著越來越重要的作用,但相關(guān)自動化決策工具在改善商業(yè)決策的同時,也日益引發(fā)人們對算法偏見或者隱私侵害的擔(dān)憂。因為自動化決策遵循的是技術(shù)邏輯,相關(guān)自動化決策技術(shù)內(nèi)在具有專業(yè)性、自主性、隱蔽性等特點,被決策主體通常很難知悉自己是否被自動化決策,很難理解機(jī)器學(xué)習(xí)模型如何對復(fù)雜的個人數(shù)據(jù)進(jìn)行組合以及如何將輸入特征映射為輸出結(jié)果。商業(yè)決策主體借助其與被決策主體間的信息不對稱,很容易開展算法歧視、隱私侵害等活動?!吨腥A人民共和國個人信息保護(hù)法》(以下簡稱《個人信息保護(hù)法》)第十三條規(guī)定,個人信息處理者處理相關(guān)個人信息時需取得信息主體的同意(事前告知義務(wù));第二十四條規(guī)定,個人有權(quán)要求個人信息處理者就對個人權(quán)益有重大影響的自動化決策予以說明,并有權(quán)拒絕個人信息處理者僅通過自動化決策的方式作出決定(事后說明義務(wù)和自動化決策結(jié)果拒絕權(quán))。通過上述梳理可知,對于自動化決策,《個人信息保護(hù)法》是以事前告知義務(wù)、事后說明義務(wù)和自動化決策結(jié)果拒絕權(quán)為核心構(gòu)建的規(guī)范體系,但該規(guī)范體系僅僅停留于自動化決策的一般邏輯(框架層面),并未深入至自動化決策的具體邏輯(算法層面)。從本質(zhì)上看,商業(yè)自動化決策的規(guī)制可分為兩個方面,即一般邏輯(框架層面)與具體邏輯(算法層面),而自動化決策的規(guī)制不應(yīng)僅僅依托于私法規(guī)范停留在自動化決策的框架層面,更應(yīng)關(guān)注自動化決策的算法層面,實現(xiàn)商業(yè)自動化決策規(guī)制的公私法協(xié)作。

    一、邏輯起點:被決策主體是否享有算法解釋權(quán)

    依據(jù)通常邏輯,因為商業(yè)自動化決策存在算法黑箱,而商業(yè)決策主體必然知悉算法運作,所以如果賦予被決策主體算法解釋權(quán),則商業(yè)決策主體與被決策主體間的信息不對稱便可有效消除。事實真的如此嗎?盡管有關(guān)算法解釋權(quán)的論述已相當(dāng)繁多,但無論從比較法還是從可行性上看,被決策主體都不應(yīng)被賦予算法解釋權(quán)。

    (一)比較法視角下算法解釋權(quán)質(zhì)疑

    對算法解釋權(quán)的討論,最初興起于歐盟的《一般數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,GDPR)。首先,GDPR 序言第七十一條規(guī)定:“在任何情況下,針對此種處理行為都應(yīng)設(shè)有適當(dāng)?shù)谋U洗胧?,包括向?shù)據(jù)主體提供詳細(xì)的信息,以及要求進(jìn)行人工干預(yù)的權(quán)利,表達(dá)數(shù)據(jù)主體觀點的權(quán)利,要求對評估后作出的決定進(jìn)行解釋的權(quán)利,以及對決定提出質(zhì)疑的權(quán)利?!被诖?,有學(xué)者認(rèn)為歐盟GDPR通過該條創(chuàng)設(shè)了算法解釋權(quán)。[1]然而,此種觀點實為對該條的誤讀。事實上,GDPR從沒有創(chuàng)設(shè)所謂的算法解釋權(quán)。一方面,就文意理解而言,GDPR 序言第七十一條確實提及“要求對評估后作出的決定進(jìn)行解釋的權(quán)利”。但是,就體系理解而言,該權(quán)利被置于序言之中,而序言對歐盟各成員國并沒有法律約束力。因此,不能僅僅通過該條便得出GDPR 賦予了被決策者算法解釋權(quán)。另一方面,從歷史解釋的角度看,2012年公布的GDPR(草案)第二十條第五項確實規(guī)定了“個人請求解釋算法的權(quán)利”,但歐盟議會最終在2014年提交的版本中刪除了這項權(quán)利。[2]由此可知,歐盟議會在GDPR立法過程中確實希望數(shù)據(jù)控制者能解釋其自動做出的決定,但在GDPR立法的政治談判中最終沒有達(dá)成一致。立法者之所以將“解釋”一詞放在不具約束力的第七十一條,很大程度上是希望最終的解釋由歐盟法院在未來的某個時間給出。[3]至于何時給出或者能否給出,尚不明確。此外,2017年歐洲數(shù)據(jù)保護(hù)機(jī)構(gòu)在《關(guān)于自動個人決策和分析的指南》中亦明確指出,應(yīng)該找到簡單的方法,告訴數(shù)據(jù)主體背后的理由或達(dá)成決定所依賴的標(biāo)準(zhǔn),但不是對所使用算法做復(fù)雜解釋或披露完整算法。[4]

    其次,GDPR第十三條、第十四條、第十五條規(guī)定,控制者在獲取個人數(shù)據(jù)(在必要的情況下,出于證實處理過程公正和透明的需要)和處理個人數(shù)據(jù)時,應(yīng)向數(shù)據(jù)主體提供如下信息:自動化決策機(jī)制、涉及的邏輯程序、對數(shù)據(jù)主體的重要意義和設(shè)想結(jié)果。有學(xué)者認(rèn)為,該條實則確立了算法解釋權(quán)。[5]但該觀點是不正確的。因為即使被決策主體享有算法解釋權(quán),那么該權(quán)利也應(yīng)是一項請求權(quán),[6]而GDPR第十三條、第十四條、第十五條所規(guī)定的告知事項是在自動化決策前商業(yè)決策主體應(yīng)向被決策主體主動提供的,并不需要被決策主體的請求。若如有些學(xué)者所言,將上述內(nèi)容定性為算法解釋權(quán)的具體內(nèi)容,[7]則被決策主體的知情同意將可能無法實現(xiàn)。因為自動化決策針對的是個人數(shù)據(jù)處理,個人數(shù)據(jù)處理需取得數(shù)據(jù)主體的同意,而同意的有效實現(xiàn)取決于數(shù)據(jù)處理者與數(shù)據(jù)主體的意思表示是否合致。如果將商業(yè)決策主體應(yīng)主動告知的事項轉(zhuǎn)化為被決策主體請求告知的事項,則被決策主體知情表示的充分性便無法保障。這相當(dāng)于免除了商業(yè)決策主體的先合同義務(wù),以及被決策主體同意后商業(yè)決策主體應(yīng)承擔(dān)的締約過失責(zé)任。顯然,這并不符合誠實信用與公平原則。綜上,無論是GDPR序言的第七十一條還是GDPR正文的第十三條、第十四條、第十五條,都未創(chuàng)設(shè)所謂的算法解釋權(quán)。

    (二)可行性視角下算法解釋權(quán)質(zhì)疑

    域外確實無比較法借鑒,但這是否就意味著算法解釋權(quán)不具有可行性?答案顯然是否定的。若想創(chuàng)設(shè)算法解釋權(quán),就必須滿足技術(shù)可行性與效果可行性兩個方面的要求。

    首先,關(guān)于算法解釋權(quán)的技術(shù)可行性。因為商業(yè)自動化決策是以機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)為核心的,且自動算法依賴于不同用戶的實時、海量數(shù)據(jù),所以其多存在于擁有事實“權(quán)力”的網(wǎng)絡(luò)平臺、金融機(jī)構(gòu)等商業(yè)主體之中。從本質(zhì)上看,深度學(xué)習(xí)是一種擁有自主學(xué)習(xí)能力的動態(tài)算法,該種算法會在初始算法模型基礎(chǔ)上不斷吸收新的原始數(shù)據(jù)和反饋數(shù)據(jù),并自主生成更復(fù)雜的算法模型。算法設(shè)計者也無法解釋自己設(shè)計的算法模型可生成的結(jié)果。[8]因此,區(qū)別于傳統(tǒng)算法,自動化決策算法不僅具有自動性還具有自主性。申言之,自動化決策算法使用的多是描述優(yōu)化參數(shù)或預(yù)期目標(biāo)的算法,但并不給出需要遵循的一系列規(guī)則;而傳統(tǒng)算法則是自上而下的基于規(guī)則的指令,確切地告訴計算機(jī)做什么、怎么做。例如銀行并非基于靜止的標(biāo)準(zhǔn)來確定申請人是否具有獲得貸款的資格,而是通過算法的連續(xù)迭代不斷優(yōu)化信用評分模型,并提升預(yù)測能力。[9]在這一過程中,銀行的數(shù)據(jù)科學(xué)家甚至也無法解釋信用評分標(biāo)準(zhǔn)是如何通過深度學(xué)習(xí)確定的。因此,盡管追求可解釋性是我們信賴的思維模式,但因為自動化決策算法本身具有自主性特點,其結(jié)果很大程度上是不可解釋的。恰如有學(xué)者所言,要求所有算法都必須滿足可解釋性是一項不可能完成的任務(wù)。[10]

    其次,關(guān)于算法解釋權(quán)的效果可行性。就世界范圍而言,凡支持算法解釋權(quán)的學(xué)者都始終秉持這樣一種觀點,即為證明涉及機(jī)器學(xué)習(xí)或由機(jī)器學(xué)習(xí)模型構(gòu)成的決策過程是合理的,參與決策過程的個人需要解釋機(jī)器學(xué)習(xí)模型是如何工作的。[11]從形式邏輯上看,該觀點并無問題,但由該觀點的底層邏輯可知,其實質(zhì)是以忽略數(shù)據(jù)主體知識的有限性為前提進(jìn)行的觀點預(yù)設(shè)。通常而言,普通人并不具有理解算法運作的專業(yè)知識,也不具有深入了解算法具體運作的可能。例如,當(dāng)面臨不公平自動化決策結(jié)果時,普通人所知道的僅僅是自己被商業(yè)自動化決策不公平對待,至于自動化決策算法如何進(jìn)行的不公平對待,即使得到商業(yè)決策主體的完整源數(shù)據(jù),多數(shù)情況下被決策主體也并不當(dāng)然理解其中的原因。因此,即使賦予被決策主體算法解釋權(quán),即使商業(yè)決策主體愿意向被決策主體提供相關(guān)自動化決策算法的源數(shù)據(jù),被決策主體也很難理解算法的具體運行規(guī)則以及算法是如何侵害其利益的。

    二、商業(yè)自動化決策規(guī)制的私法框架及其困境

    商業(yè)自動化決策中被決策主體不享有算法解釋權(quán)。商業(yè)自動化決策規(guī)制的私法框架是以告知同意規(guī)則-事前告知義務(wù)、個人信息處理知情權(quán)-事后說明義務(wù)和自動化決策結(jié)果拒絕權(quán)為核心構(gòu)建的規(guī)范體系。但這種規(guī)范體系以保障被決策主體知情為邏輯起點,不能有效解決自動化決策中存在的算法黑箱問題。此外,無論是私法規(guī)制框架內(nèi)的事前告知義務(wù)、事后說明義務(wù)還是自動化決策結(jié)果拒絕權(quán),都存在適用困境的問題,需予以妥善解決。

    (一)商業(yè)自動化決策規(guī)制的私法框架

    1.告知同意規(guī)則-事前告知義務(wù)

    法律行為的要旨是根據(jù)行為人意志發(fā)生相應(yīng)的法律效果。[12]因此,意思表示是法律行為的核心,而法律效果的有效產(chǎn)生需以意思表示的自由為前提。以本質(zhì)而言,商業(yè)自動化決策屬于針對被決策主體之個人信息的信息處理行為。《中華人民共和國民法典》(以下簡稱《民法典》)第一千零三十五條規(guī)定,處理個人信息應(yīng)征得該自然人或者其監(jiān)護(hù)人同意,但是法律、行政法規(guī)另有規(guī)定的除外。根據(jù)該條可知,商業(yè)決策主體對相關(guān)個人信息進(jìn)行自動化決策時需取得被決策主體的同意。但是,對被決策主體同意這一意思表示的自由應(yīng)如何保障呢?《個人信息保護(hù)法》第十七條規(guī)定:“個人信息處理者在處理個人信息前,應(yīng)當(dāng)以顯著方式、清晰易懂的語言真實、準(zhǔn)確、完整地向個人告知下列事項:......”。由此可知,被決策主體同意的自由是通過商業(yè)決策主體之法定告知義務(wù)來實現(xiàn)的。

    需要說明的是,商業(yè)決策主體在自動化決策前主動履行告知義務(wù)的目的并不是保障被決策主體的知情權(quán),因為此時的被決策主體未做出同意的意思表示,商業(yè)決策主體與被決策主體之間并未達(dá)成任何法律關(guān)系。因此,商業(yè)決策主體告知什么或者不告知什么,均應(yīng)由其在法律規(guī)定的限度內(nèi)自主決定。但是,如果商業(yè)決策主體告知的內(nèi)容未能達(dá)到使被決策主體知情的程度,進(jìn)而限制了被決策主體同意的意思表示自由,則商業(yè)決策主體在被決策主體同意后需承擔(dān)相應(yīng)的締約過失責(zé)任。因此,事前告知義務(wù)的最終目的是確保被決策主體同意的自由,該義務(wù)的履行雖然以實現(xiàn)被決策主體的知情為目的,但目的絕不是保障被決策主體的知情權(quán)。進(jìn)而言之,事前告知義務(wù)的功能在于滿足被決策主體對自動化決策的風(fēng)險預(yù)期,從而保證被決策主體同意的自由。

    2.個人信息處理知情權(quán)-事后說明義務(wù)

    《個人信息保護(hù)法》第二十四條規(guī)定:“通過自動化決策方式作出對個人權(quán)益有重大影響的決定,個人有權(quán)要求個人信息處理者予以說明。”基于該條可知,被決策主體并非對任何自動化決策結(jié)果都有權(quán)請求商業(yè)決策主體予以說明,其僅限于“對個人權(quán)益有重大影響”的決定。需要明確的是,此時的商業(yè)決策主體已經(jīng)與被決策主體就信息處理達(dá)成合意(至少是形式上無瑕疵)。如果肯定被決策主體享有算法解釋權(quán),則被決策主體必然可基于算法解釋權(quán)請求商業(yè)決策主體就自動化決策的具體過程做出說明,而商業(yè)決策主體便需通過提供自動化決策的閾值或權(quán)重設(shè)置等方式實現(xiàn)被決策主體對其個人信息處理情況的知悉。

    但正如前所述,因知識的局限性,且商業(yè)決策主體的商業(yè)秘密同樣需要保護(hù),被決策主體不可能享有算法解釋權(quán)。進(jìn)而言之,被決策主體不可能基于算法解釋權(quán)請求商業(yè)決策主體予以說明。若被決策主體不享有算法解釋權(quán),卻有權(quán)要求商業(yè)決策主體對自動化決策結(jié)果予以說明,那么該主張的請求權(quán)基礎(chǔ)是什么呢?從商業(yè)決策主體之事后說明義務(wù)上看,該說明義務(wù)指向的是商業(yè)自動化決策后被決策主體對自動化決策過程的知情,具體包括是否存在算法歧視、是否存在差異化定價等。在民事權(quán)利體系的概念清單里,除可實現(xiàn)被決策主體對其個人信息處理知情的算法解釋權(quán)外,還有一項權(quán)利承擔(dān)著同樣的功能,即知情權(quán)。知情權(quán)本是一項公法性權(quán)利,但在民事領(lǐng)域得到廣泛的拓?fù)?,具體到個人信息保護(hù)領(lǐng)域則表現(xiàn)為個人信息處理知情權(quán)。例如《個人信息保護(hù)法》第四十四條規(guī)定:“個人對其個人信息的處理享有知情權(quán)?!睆脑摍?quán)利的性質(zhì)上看,個人信息處理知情權(quán)應(yīng)是一項請求權(quán),而商業(yè)決策主體所應(yīng)承擔(dān)的說明義務(wù)是以被決策主體對該權(quán)利的主動行使為前提的。因此,被決策主體可基于個人信息處理知情權(quán)就對其個人權(quán)益有重大影響的自動化決策結(jié)果請求商業(yè)決策主體予以說明。但商業(yè)決策主體此時負(fù)有的是事后說明義務(wù),與事前應(yīng)主動履行的法定告知義務(wù)有明顯區(qū)別。

    3.自動化決策結(jié)果拒絕權(quán)

    《個人信息保護(hù)法》第二十四條第三款規(guī)定:“通過自動化決策方式作出對個人權(quán)益有重大影響的決定,個人有權(quán)拒絕,......個人信息處理者僅通過自動化決策的方式作出決定”。通過該條可知,被決策主體并非享有絕對的自動化決策結(jié)果拒絕權(quán),其應(yīng)受“對個人權(quán)益有重大影響”和“僅通過自動化決策的方式作出”的雙重限制。自動化決策結(jié)果拒絕權(quán)不同于自動化決策應(yīng)用拒絕權(quán)。自動化決策應(yīng)用拒絕權(quán)應(yīng)存在于自動化決策前。但因為自動化決策應(yīng)用具有技術(shù)正當(dāng)性,所以被決策主體事實上并不享有該權(quán)利。而自動化決策結(jié)果拒絕權(quán)存在于自動化決策后,是對自動化決策結(jié)果的拒絕,并非對自動化決策應(yīng)用的拒絕。在這里,盡管有學(xué)者認(rèn)為,被決策主體享有“免受自動化決策約束權(quán)”,[13]即自動化決策應(yīng)用拒絕權(quán),但該觀點實則基于個體本位,過分強(qiáng)調(diào)被決策主體的自治和自決,忽略了被決策主體的非理性可能導(dǎo)致的社會整體利益減損。

    盧曼[14]認(rèn)為,風(fēng)險來自對自身決定的可能缺陷進(jìn)行歸因,而危險則來自對受波及者的外部決定之缺陷進(jìn)行歸因。因此,嚴(yán)格意義上說,任何自動化決策技術(shù)的應(yīng)用都存在侵害個人信息權(quán)益的危險(外部)或者風(fēng)險(內(nèi)部)。其中,來自外部的危險主要是由自動化決策算法被歧視性編寫帶來的;來自內(nèi)部的風(fēng)險主要是由自動化決策技術(shù)本身的未知缺陷引發(fā)的。商業(yè)自動化決策的規(guī)制主要防范來自外部的危險。從公平角度看,因為任何自動化決策都存在算法代碼被不正當(dāng)編寫的外部危險,所以任何人對自動化決策的結(jié)果似乎都應(yīng)享有自動化決策結(jié)果拒絕權(quán)。但從社會整體效益的角度看,因為自動化決策具有技術(shù)正當(dāng)性,具有促進(jìn)社會進(jìn)步的積極作用,所以如果任何情形下被決策主體都享有自動化決策結(jié)果拒絕權(quán),則被決策主體對自動化決策的感性不信任可能使其習(xí)慣性地拒絕任何自動化決策結(jié)果,即使該自動化決策結(jié)果是正確的。該非理性行為將可能導(dǎo)致以自動化決策技術(shù)為基點的互聯(lián)網(wǎng)企業(yè)無法運作,顯然不利于提高效率與創(chuàng)新。而如果僅將自動化決策結(jié)果拒絕權(quán)限制在“對個人權(quán)益有重大影響”和“僅通過自動化決策的方式作出”的范圍之內(nèi),則社會利益實現(xiàn)與被決策主體權(quán)益保護(hù)的張力就會有所緩和,可有效實現(xiàn)社會利益的最大化。而該雙重限制的底層邏輯是:商業(yè)決策主體在通過自動化決策應(yīng)用就對個人產(chǎn)生重大影響事項進(jìn)行決策時,自動化決策應(yīng)只具有工具價值,而不具有獨立價值。若商業(yè)決策主體僅通過自動化決策的方式就對個人產(chǎn)生重大影響事項進(jìn)行決策,則被決策主體的合法權(quán)益并不能得到有效保障。

    (二)商業(yè)自動化決策規(guī)制的私法困境

    1.私法規(guī)范無法規(guī)制算法黑箱

    從本質(zhì)上看,自動化決策系統(tǒng)的體系結(jié)構(gòu)由界面、信息和模型三個層次構(gòu)成,[15]界面層主要實現(xiàn)信息的展示和相關(guān)信息的收集,是自動化決策系統(tǒng)的基礎(chǔ);信息層與模型層后置于界面層,屬于技術(shù)層。界面層的主要功能是信息的儲存、清洗與分類;信息層與模型層的主要功能是建模和決策,算法黑箱主要存在于信息層與模型層。從應(yīng)然的規(guī)范預(yù)設(shè)看,因為界面層主要實現(xiàn)信息的展示和相關(guān)信息的收集,商業(yè)決策主體通過事前告知義務(wù)可有效滿足被決策主體對自動化決策的風(fēng)險預(yù)期,實現(xiàn)其同意之意思表示自由。而模型層則是以信息層為基礎(chǔ)進(jìn)行建模、分析并形成最終的決策結(jié)果,商業(yè)決策主體通過事后說明義務(wù)和自動化決策結(jié)果拒絕權(quán)可有效解決決策過程中可能存在的算法侵害問題。但私法規(guī)范是否能夠有效實現(xiàn)規(guī)范的預(yù)設(shè)目標(biāo),或在多大程度上能實現(xiàn)預(yù)設(shè)目標(biāo),需要從實然的效果層面上進(jìn)行深入分析。就界面層而言,因為該層主要涉及被決策主體對自己信息權(quán)益的處分,所以通過商業(yè)決策主體事前充分的告知義務(wù)確實可有效保障被決策主體對自動化決策的風(fēng)險預(yù)期,進(jìn)而實現(xiàn)其同意的意思表示自由。但就信息層和模型層而言,因為此兩層屬于自動化決策的技術(shù)層,隱藏于內(nèi)部,并不會對外界顯露,所以即使自動化決策的一般邏輯已經(jīng)被商業(yè)決策主體事前告知,但算法設(shè)計者在編程時仍可能有意或無意將自身偏見、社會風(fēng)氣、制度體制以及文化差異嵌入算法之中,[16]而被決策主體事實上根本無法知悉具體的自動化決策算法是否存在不利于自身的情況。因此,即使被決策主體享有個人信息處理知情權(quán),該權(quán)利也僅僅是自動化決策后的請求權(quán),并不能實現(xiàn)在自動化決策前對算法的完全知情。換言之,現(xiàn)行的私法規(guī)制方案并不能穿透到技術(shù)層。

    2.私法規(guī)范的解釋困境

    私法規(guī)范不能穿透到技術(shù)層對自動化決策的算法進(jìn)行規(guī)制,并不意味著私法規(guī)范無存在的必要。因為被決策主體不僅對自動化決策結(jié)果享有拒絕權(quán),還對個人信息處理享有知情權(quán),同時對自身信息的收集、處理也享有自決權(quán)益,需要私法規(guī)范予以保障。若否定私法規(guī)范的價值,則被決策主體的相關(guān)信息權(quán)益便無法得到保障。現(xiàn)行私法規(guī)范存在的問題主要體現(xiàn)在以下幾個方面。首先,雖然充分的事前告知義務(wù)確實可有效保障數(shù)據(jù)主體同意意思表示的自由,但對于何為充分的事前告知義務(wù),沒有權(quán)威的定義?!秱€人信息保護(hù)法》第十七條雖然采用有限列舉的方式規(guī)定,個人信息處理者應(yīng)告知個人信息的處理目的、處理方式、處理的個人信息種類、保存期限等,但該條規(guī)定的告知范圍是否可保障自動化決策前被決策主體同意的自由?如果不能,告知義務(wù)的范圍應(yīng)如何確定?其次,被決策主體基于個人信息處理知情權(quán)可請求商業(yè)決策主體對自動化決策結(jié)果予以說明,但該說明義務(wù)的內(nèi)容應(yīng)包括哪些方面,如何在不損害商業(yè)決策主體之合法權(quán)益的前提下滿足該權(quán)利要求?最后,自動化決策結(jié)果拒絕權(quán)雖然可有效解決算法侵害的問題,但該權(quán)利的行使需受“對個人權(quán)益有重大影響”與“僅通過自動化決策的方式作出”的雙重限制,那么何為“對個人權(quán)益有重大影響”?在商業(yè)決策主體與被決策主體具有實質(zhì)地位不平等的情況下,被決策主體如何知悉決策結(jié)果是否僅通過自動化決策做出?這些問題需在私法層面進(jìn)行完善。

    三、商業(yè)自動化決策規(guī)制的完善路徑

    個人信息保護(hù)法預(yù)設(shè)的私法規(guī)制框架并不能有效解決算法黑箱所可能引發(fā)的侵害問題,商業(yè)自動化決策需公私法協(xié)同規(guī)制。具體而言,私法層面應(yīng)著眼于自動化決策的一般邏輯(框架層面),細(xì)化數(shù)據(jù)主體事前告知義務(wù)和事后說明義務(wù)的范圍,明確自動化決策結(jié)果拒絕權(quán)的適用情形;公法層面應(yīng)著眼于自動化決策的具體邏輯(算法層面)進(jìn)行穿透式監(jiān)管,即通過算法備案-實質(zhì)審查和算法備案-動態(tài)監(jiān)管的方式解決算法黑箱可能帶來的侵害問題。

    (一)私法層面:完善自動化決策規(guī)制的私法規(guī)范

    商業(yè)決策主體事前告知義務(wù)的完善是以保障被決策主體同意之意思表示自由為導(dǎo)向的;事后說明義務(wù)的完善是以有效保障被決策主體之個人信息處理知情權(quán)為導(dǎo)向的;自動化決策結(jié)果拒絕權(quán)的完善是以細(xì)化該權(quán)利的適用情形為導(dǎo)向的。

    1.明確事前告知義務(wù)范圍

    在目的論視角下,商業(yè)決策主體告知義務(wù)的履行是為了確保被決策主體知悉信息處理的真實情況,以滿足其對商業(yè)自動化決策進(jìn)行了風(fēng)險評估的需要,進(jìn)而保證其意思表示的自由。因此,《個人信息保護(hù)法》第十七條規(guī)定,商業(yè)決策主體在自動化決策前應(yīng)以顯著方式、清晰易懂的語言真實、準(zhǔn)確、完整地向數(shù)據(jù)主體告知自動化決策的目的、種類和個人數(shù)據(jù)的保存期限等內(nèi)容。①但是,該告知義務(wù)的內(nèi)容并不能滿足被決策主體對自動化決策進(jìn)行風(fēng)險評估的需要。首先,商業(yè)自動化決策是一種專業(yè)的信息處理行為,一般人很難清晰了解其內(nèi)在規(guī)則。其次,被決策主體囿于知識的有限性,即使商業(yè)決策主體向其告知自動化決策的一般邏輯規(guī)則,也并不當(dāng)然知悉自動化決策可能帶來的風(fēng)險。從比較法上看,歐盟GDPR第十三條第二項5款規(guī)定,控制者應(yīng)當(dāng)在獲取個人數(shù)據(jù)時為數(shù)據(jù)主體提供確保合理與透明處理所必需的進(jìn)一步信息——存在的自動化決策,包括第二十二條第一項和第四項所規(guī)定的用戶畫像,以及此類情形下與相關(guān)邏輯、相關(guān)處理對數(shù)據(jù)主體預(yù)期影響有關(guān)的有效信息。由此可知,在歐盟,商業(yè)決策主體不僅應(yīng)告知存在自動化決策,而且應(yīng)就自動化決策的相關(guān)邏輯以及預(yù)期后果進(jìn)行說明。

    在我國,《民法典》第一千零三十五條規(guī)定,處理個人信息的,應(yīng)當(dāng)公開個人信息的處理規(guī)則。根據(jù)該條可知,《民法典》所確定的商業(yè)決策主體之事前告知義務(wù)的范圍應(yīng)包括處理規(guī)則。但《個人信息保護(hù)法》第十七條所規(guī)定的事前告知義務(wù)的范圍卻并不包含處理規(guī)則。從《個人信息保護(hù)法》與《民法典》的關(guān)系上看,《個人信息保護(hù)法》屬于《民法典》的特別法,可以對《民法典》做出補充和例外規(guī)定,對其一般性規(guī)定進(jìn)行變通和突破,但不能違背其所確立的合法正當(dāng)必要等基本原則。[17]雖然《個人信息保護(hù)法》的事前告知義務(wù)未包括處理規(guī)則,但商業(yè)決策主體仍應(yīng)向被決策主體告知信息處理規(guī)則。因此,在自動化決策前,商業(yè)決策主體不僅應(yīng)向被決策主體主動告知自動化決策的一般邏輯,還應(yīng)主動告知該自動化決策所可能引發(fā)的風(fēng)險。但法律不強(qiáng)人所難,商業(yè)決策主體所告知的風(fēng)險應(yīng)是一般理性人所能預(yù)料到的風(fēng)險,并不包括任何不可預(yù)知的風(fēng)險。

    2.明確事后說明義務(wù)范圍

    《個人信息保護(hù)法》第四十八條規(guī)定:“個人有權(quán)要求個人信息處理者對其個人信息處理規(guī)則進(jìn)行解釋說明?!备鶕?jù)該條規(guī)定,個人有權(quán)要求個人信息處理者進(jìn)行的解釋說明應(yīng)發(fā)生在個人信息處理后。因為在個人信息處理前,個人與信息處理主體未達(dá)成個人信息處理的合意,沒有權(quán)利要求信息處理者對信息處理規(guī)則進(jìn)行解釋說明。當(dāng)然,信息處理主體也會進(jìn)行事前說明,但該說明只是信息處理主體之法定告知義務(wù)的體現(xiàn)。在事后說明義務(wù)范圍方面,被決策主體因為不享有算法解釋權(quán),不能基于算法解釋權(quán)請求商業(yè)決策主體對自動化決策的具體邏輯(算法層)進(jìn)行解釋。因此,商業(yè)決策主體的事后說明義務(wù)應(yīng)圍繞自動化決策的一般邏輯展開。具體而言,事后說明義務(wù)應(yīng)在事前告知義務(wù)一般邏輯的基礎(chǔ)上,對影響被決策主體權(quán)益的相關(guān)信息進(jìn)行具體說明。例如,銀行借貸申請的標(biāo)準(zhǔn)是月收入水平不低于1萬元,年齡不大于50歲,而申請人的月收入水平為8 000元,年齡為38 歲。當(dāng)銀行通過自動化決策拒絕申請人的申請后,申請人可請求銀行對決策結(jié)果進(jìn)行說明,此時銀行的說明理由便僅需“月收入水平不符”。至于銀行自動化決策的閾值設(shè)置以及該閾值如何計算得出,這涉及自動化決策的算法層,銀行不需要向申請人說明。這是因為在商業(yè)自動化決策中,相關(guān)標(biāo)準(zhǔn)、閾值的設(shè)定屬于商業(yè)決策主體的商業(yè)秘密,對于該類信息,商業(yè)決策主體不需向被決策主體說明。

    3.細(xì)化自動化決策結(jié)果拒絕權(quán)的適用

    自動化決策結(jié)果拒絕權(quán)的適用受“對個人權(quán)益有重大影響”與“僅通過自動化決策的方式作出”的雙重限制。首先,對“對個人權(quán)益有重大影響”的理解不應(yīng)基于被決策主體的主觀視角,而應(yīng)從一般理性人的客觀視角去判斷,即算法結(jié)果是否嚴(yán)重改變了被決策主體的利益狀態(tài)。[2]其次,“對個人權(quán)益有重大影響”具體可表現(xiàn)為是否有害于被決策主體的生命、身體、自由、財產(chǎn)或其他重大利益。[18]因此,商業(yè)自動化決策結(jié)果與被決策主體重大利益的關(guān)系可分為以下三種情形:其一,自動化決策結(jié)果直接影響被決策主體的利益狀態(tài),例如通過自動化決策算法選聘雇員;其二,自動化決策結(jié)果間接影響被決策主體的利益狀態(tài),例如被決策主體申請貸款能否被批準(zhǔn)需基于對其信用信息的評估,此時其信用信息便構(gòu)成與自身重大利益相關(guān);其三,自動化決策結(jié)果不直接或間接影響被決策主體的利益狀態(tài),就意味著自動化決策結(jié)果不與被決策主體的重大利益相關(guān)。在“僅通過自動化決策的方式作出”方面,因為商業(yè)決策主體與被決策主體具有實質(zhì)上的地位不平等,被決策主體通常面對的并不是普通的私人主體,而是強(qiáng)大的、組織化的信息處理機(jī)構(gòu),所以對于自動化決策結(jié)果是否僅通過自動化決策的方式做出,被決策主體通常并不知悉。因此,一種可行的方案是:應(yīng)將是否“僅通過自動化決策的方式作出”納入商業(yè)決策主體事前告知義務(wù)的范圍,由商業(yè)決策主體主動予以告知。該方案的合理之處在于,“僅通過自動化決策的方式作出”不僅適用自動化決策結(jié)果拒絕權(quán)的條件,也構(gòu)成被決策主體進(jìn)行事前風(fēng)險評估的重要因素。而商業(yè)決策主體的事前主動告知,不僅可保障被決策主體在自動化決策前同意的自由,也可為自動化決策結(jié)果拒絕權(quán)的行使提供便利。

    (二)公法層面:商業(yè)自動化決策的公法規(guī)制

    商業(yè)自動化決策規(guī)制的公法層面應(yīng)著眼于自動化決策的具體邏輯(算法層面)進(jìn)行穿透式監(jiān)管,即通過算法備案-實質(zhì)審查和算法備案-動態(tài)監(jiān)管的方式解決算法黑箱可能帶來的侵害問題。

    1.算法備案-實質(zhì)審查

    算法透明目前已成為打開算法黑箱的根本規(guī)制手段,透明可能會矯正任何算法過程中的錯誤,由此提升效率。[19]但算法應(yīng)該向誰透明?可以肯定的是,算法不能向自動化決策的相對人透明,因為自動化決策算法本身屬于商業(yè)決策主體的商業(yè)秘密,同時被決策主體也存在知識有限性的障礙。因此,商業(yè)自動化決策算法的透明應(yīng)是對監(jiān)管機(jī)構(gòu)的透明,而非對被決策主體的透明。[20]有鑒于此,2021年9月17日國家互聯(lián)網(wǎng)信息辦公室等九部門聯(lián)合發(fā)布的《關(guān)于印發(fā)<關(guān)于加強(qiáng)互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見>的通知》指出:“有序推進(jìn)算法備案工作。建立算法備案制度,梳理算法備案基本情況,健全算法分級分類體系,明確算法備案范圍,有序開展備案工作。積極做好備案指導(dǎo)幫助,主動公布備案情況,接受社會監(jiān)督。”隨后,2022年1月4日國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國家市場監(jiān)督管理總局針對算法推薦服務(wù)聯(lián)合發(fā)布的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第二十四條明確規(guī)定:“具有輿論屬性或者社會動員能力的算法推薦服務(wù)提供者應(yīng)當(dāng)在提供服務(wù)之日起十個工作日內(nèi)通過互聯(lián)網(wǎng)信息服務(wù)算法備案系統(tǒng)填報服務(wù)提供者的名稱、服務(wù)形式、應(yīng)用領(lǐng)域、算法類型、算法自評估報告、擬公示內(nèi)容等信息,履行備案手續(xù)?!被谏鲜鲆?guī)定可知,在公法層面,我國目前對自動化決策的規(guī)制實質(zhì)上是算法備案制。但僅依靠備案制不能有效解決算法可能對用戶產(chǎn)生的侵害問題。因為商業(yè)決策主體進(jìn)行算法備案的具體內(nèi)容均由其自主提供,若監(jiān)管機(jī)構(gòu)僅對備案算法進(jìn)行形式審查,則并不能實現(xiàn)對該類算法的有效監(jiān)管。因此,監(jiān)管機(jī)構(gòu)應(yīng)對備案算法進(jìn)行實質(zhì)審查。首先,因為算法模型的所有規(guī)則并非都是事先精確指定的,有時需保持必要的模糊性與隨機(jī)性,所以對算法可問責(zé)性以及算法缺陷和偏差的甄別便成為算法治理的主要內(nèi)容。[21]而標(biāo)準(zhǔn)化可以為人工智能產(chǎn)品的設(shè)計者提供清晰指引,確保系統(tǒng)生成可靠、完整且不可篡改的確鑿記錄,[22]并成為算法評估以及溯源驗證的重要依據(jù)。因此,行政機(jī)關(guān)可根據(jù)不同場景建立適當(dāng)?shù)乃惴夹g(shù)標(biāo)準(zhǔn)和技術(shù)規(guī)范。這不僅有利于算法的規(guī)范治理,也便于監(jiān)管機(jī)構(gòu)對備案算法的實質(zhì)審查。其次,監(jiān)管機(jī)構(gòu)需建立專業(yè)技術(shù)評估隊伍,深入分析備案算法的機(jī)制機(jī)理,對備案算法進(jìn)行深度的評估、測試、驗證(包括是否存在軟件設(shè)計缺陷,是否存在算法歧視,訓(xùn)練數(shù)據(jù)的選取是否科學(xué)等),以期在事前實現(xiàn)風(fēng)險預(yù)防。

    2.算法備案-動態(tài)監(jiān)管

    商業(yè)自動化決策作為一種技術(shù)設(shè)計,在實踐中不僅有被篡改的可能,也存在異化的風(fēng)險,監(jiān)管機(jī)構(gòu)應(yīng)加強(qiáng)對商業(yè)自動化決策的動態(tài)監(jiān)管。就算法異化而言,這是一種技術(shù)風(fēng)險,具有偶發(fā)性。因此,商業(yè)決策主體必然應(yīng)對自動化決策算法定期進(jìn)行風(fēng)險評估和漏洞檢測,并形成自檢記錄。監(jiān)管機(jī)構(gòu)應(yīng)不定期對自動化決策進(jìn)行外部監(jiān)管。例如《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第二十八條規(guī)定:“網(wǎng)信部門會同電信、公安、市場監(jiān)管等有關(guān)部門對算法推薦服務(wù)依法開展安全評估和監(jiān)督檢查工作,對發(fā)現(xiàn)的問題及時提出整改意見并限期整改?!睆谋O(jiān)管內(nèi)容上看,監(jiān)管機(jī)構(gòu)不僅應(yīng)對商業(yè)決策主體是否定期自檢進(jìn)行監(jiān)督,還應(yīng)對運行中的自動化決策算法進(jìn)行穿透式審查,以發(fā)現(xiàn)其是否存在算法缺陷、算法漏洞或者算法異化。就算法篡改而言,因為算法是由計算機(jī)工程師通過代碼編寫而成的,自動化決策算法在運行過程中仍存在被商業(yè)決策主體修改或調(diào)整的風(fēng)險。因此,監(jiān)管機(jī)構(gòu)應(yīng)對運行中的自動化決策算法進(jìn)行監(jiān)管,以審查其是否存在不公平、不公正篡改編寫等情形。具體而言,監(jiān)管機(jī)構(gòu)可對運行中的自動化決策開展算法評估,并將評估結(jié)果與備案內(nèi)容進(jìn)行對比,若兩者不一致,則商業(yè)決策主體需說明理由。此外,監(jiān)管機(jī)構(gòu)還應(yīng)暢通用戶舉報途徑,對舉報集中的商業(yè)自動化決策算法的數(shù)據(jù)使用、應(yīng)用場景、影響效果等情況進(jìn)行及時監(jiān)管。

    四、結(jié)語

    從本質(zhì)上看,商業(yè)自動化決策的規(guī)范可分為兩個層次,即一般邏輯(框架層面)與具體邏輯(算法層面)。商業(yè)自動化決策的私法規(guī)制框架是以告知同意規(guī)則-事前告知義務(wù)、個人信息處理知情權(quán)-事后說明義務(wù)和自動化決策結(jié)果拒絕權(quán)為核心的規(guī)范架構(gòu)。但從實然層面上看,該私法規(guī)制框架具有雙重困境:其一,私法規(guī)范設(shè)計并不能有效穿透算法層;其二,規(guī)范本身亦存在解釋困境。商業(yè)自動化決策規(guī)范需公私法協(xié)同構(gòu)建。在私法層面,首先,在自動化決策前,應(yīng)明確商業(yè)決策主體之告知義務(wù)的范圍,確保數(shù)據(jù)主體同意之意思表示自由,即商業(yè)決策主體應(yīng)在事前告知義務(wù)一般邏輯的基礎(chǔ)上,對影響被決策主體權(quán)益的相關(guān)信息進(jìn)行具體說明。其次,在自動化決策后,應(yīng)明確商業(yè)決策主體之說明義務(wù)的范圍,即商業(yè)決策主體應(yīng)在事前告知義務(wù)一般邏輯的基礎(chǔ)上,對影響被決策主體權(quán)益的相關(guān)信息進(jìn)行具體說明。最后,應(yīng)細(xì)化自動化決策結(jié)果拒絕權(quán)的適用情形。具體而言,自動化決策結(jié)果拒絕權(quán)的行使需受“對個人權(quán)益有重大影響”與“僅通過自動化決策的方式作出”的雙重限制。其中,是否“對個人權(quán)益有重大影響”的判斷標(biāo)準(zhǔn)為是否嚴(yán)重改變了被決策主體的利益狀態(tài);而是否“僅通過自動化決策的方式作出”則需納入商業(yè)決策主體的事前告知義務(wù)范圍,由商業(yè)決策主體主動予以告知。在公法層面,首先,商業(yè)決策主體應(yīng)主動對自動化決策進(jìn)行算法備案,監(jiān)管機(jī)構(gòu)應(yīng)對備案算法進(jìn)行實質(zhì)審查。具體而言,一方面,行政機(jī)關(guān)可根據(jù)不同場景建立適當(dāng)?shù)乃惴夹g(shù)標(biāo)準(zhǔn)和技術(shù)規(guī)范;另一方面,監(jiān)管機(jī)構(gòu)需建立專業(yè)技術(shù)評估隊伍,深入分析備案算法的機(jī)制機(jī)理,對備案算法進(jìn)行深度的評估、測試、驗證以期在事前預(yù)防風(fēng)險。其次,監(jiān)管機(jī)構(gòu)應(yīng)對自動化決策算法的應(yīng)用場景、影響效果、數(shù)據(jù)使用等情況進(jìn)行動態(tài)監(jiān)管,防止算法篡改和算法異化引發(fā)的風(fēng)險。具體而言,一方面,監(jiān)管機(jī)構(gòu)不僅應(yīng)對商業(yè)決策主體是否定期自檢進(jìn)行監(jiān)督,還應(yīng)對運行中的自動化決策算法進(jìn)行穿透式審查,以發(fā)現(xiàn)其是否存在算法缺陷、算法漏洞或者算法異化;另一方面,監(jiān)管機(jī)構(gòu)還應(yīng)暢通用戶舉報途徑,對舉報集中的商業(yè)自動化決策算法的數(shù)據(jù)使用、應(yīng)用場景、影響效果等情況進(jìn)行及時監(jiān)管。

    注釋:

    ①《個人信息保護(hù)法》第十七條規(guī)定:“個人信息處理者在處理個人信息前,應(yīng)當(dāng)以顯著方式、清晰易懂的語言真實、準(zhǔn)確、完整地向個人告知下列事項:(一)個人信息處理者的名稱或者姓名和聯(lián)系方式;(二)個人信息的處理目的、處理方式,處理的個人信息種類、保存期限;(三)個人行使本法規(guī)定權(quán)利的方式和程序;(四)法律、行政法規(guī)規(guī)定應(yīng)當(dāng)告知的其他事項。”

    猜你喜歡
    解釋權(quán)信息處理個人信息
    黨內(nèi)法規(guī)解釋權(quán)授權(quán)的規(guī)范反思及完善
    法律方法(2022年1期)2022-07-21 09:20:40
    如何保護(hù)勞動者的個人信息?
    工會博覽(2022年16期)2022-07-16 05:53:54
    個人信息保護(hù)進(jìn)入“法時代”
    東營市智能信息處理實驗室
    基于Revit和Dynamo的施工BIM信息處理
    警惕個人信息泄露
    綠色中國(2019年14期)2019-11-26 07:11:44
    地震烈度信息處理平臺研究
    CTCS-3級列控系統(tǒng)RBC與ATP結(jié)合部異常信息處理
    個人信息保護(hù)等6項通信行業(yè)標(biāo)準(zhǔn)征求意見
    理解我國法律解釋權(quán)的“監(jiān)督”向度
    法律方法(2013年1期)2013-10-27 02:27:04
    深夜精品福利| 黄色丝袜av网址大全| 亚洲 欧美一区二区三区| 侵犯人妻中文字幕一二三四区| 2021天堂中文幕一二区在线观 | 级片在线观看| 黑人巨大精品欧美一区二区mp4| 精品久久久久久,| 90打野战视频偷拍视频| 热99re8久久精品国产| 精品国内亚洲2022精品成人| 色哟哟哟哟哟哟| 1024香蕉在线观看| 桃红色精品国产亚洲av| 久久国产精品人妻蜜桃| 欧美日韩黄片免| 91麻豆精品激情在线观看国产| 亚洲七黄色美女视频| 夜夜夜夜夜久久久久| 99国产精品99久久久久| 精品电影一区二区在线| 美女高潮到喷水免费观看| 丝袜人妻中文字幕| 中文字幕最新亚洲高清| 亚洲中文字幕一区二区三区有码在线看 | 精品国内亚洲2022精品成人| 欧美+亚洲+日韩+国产| 长腿黑丝高跟| 一进一出抽搐动态| 香蕉久久夜色| www日本黄色视频网| 国内毛片毛片毛片毛片毛片| 亚洲成国产人片在线观看| 人人妻人人看人人澡| 黄色 视频免费看| 深夜精品福利| 可以在线观看的亚洲视频| 日韩大尺度精品在线看网址| 一区二区三区高清视频在线| 亚洲色图av天堂| 久久久久免费精品人妻一区二区 | 亚洲欧美精品综合一区二区三区| 美女国产高潮福利片在线看| 99精品在免费线老司机午夜| 精品卡一卡二卡四卡免费| 国产亚洲精品av在线| 一本综合久久免费| 制服人妻中文乱码| 人妻丰满熟妇av一区二区三区| 亚洲在线自拍视频| 人人妻人人看人人澡| 亚洲午夜精品一区,二区,三区| 好男人电影高清在线观看| 亚洲熟妇熟女久久| 在线看三级毛片| 色播在线永久视频| 日韩欧美国产一区二区入口| 亚洲av第一区精品v没综合| 成人国语在线视频| 婷婷精品国产亚洲av| 亚洲精品久久成人aⅴ小说| 亚洲国产精品成人综合色| 成人三级做爰电影| 在线十欧美十亚洲十日本专区| 天天躁狠狠躁夜夜躁狠狠躁| 免费女性裸体啪啪无遮挡网站| 搡老妇女老女人老熟妇| 欧美国产日韩亚洲一区| 久久香蕉精品热| 亚洲成人国产一区在线观看| 别揉我奶头~嗯~啊~动态视频| 亚洲avbb在线观看| 国产精品1区2区在线观看.| 男女做爰动态图高潮gif福利片| 99久久无色码亚洲精品果冻| 亚洲天堂国产精品一区在线| 女性被躁到高潮视频| 啦啦啦免费观看视频1| 俄罗斯特黄特色一大片| 免费看日本二区| 亚洲最大成人中文| 日韩欧美一区二区三区在线观看| 亚洲色图 男人天堂 中文字幕| 午夜免费鲁丝| 此物有八面人人有两片| 亚洲欧美一区二区三区黑人| 最近最新中文字幕大全电影3 | 精品免费久久久久久久清纯| 国产av一区在线观看免费| 在线观看免费视频日本深夜| 国产欧美日韩精品亚洲av| 别揉我奶头~嗯~啊~动态视频| 欧美最黄视频在线播放免费| 久久人人精品亚洲av| 欧美日韩乱码在线| 午夜成年电影在线免费观看| 亚洲国产高清在线一区二区三 | 一卡2卡三卡四卡精品乱码亚洲| 久久久国产成人免费| 久久久精品国产亚洲av高清涩受| 欧美成人免费av一区二区三区| 在线国产一区二区在线| 在线视频色国产色| 在线观看免费日韩欧美大片| 黑人操中国人逼视频| 国产男靠女视频免费网站| 日本免费a在线| 婷婷丁香在线五月| 在线观看www视频免费| 亚洲国产欧洲综合997久久, | 人人妻人人澡欧美一区二区| 一级片免费观看大全| 国产片内射在线| 国产午夜福利久久久久久| 19禁男女啪啪无遮挡网站| 无人区码免费观看不卡| 亚洲一区二区三区不卡视频| 免费在线观看影片大全网站| 男女床上黄色一级片免费看| 午夜激情福利司机影院| 老司机在亚洲福利影院| 1024香蕉在线观看| 久久久精品国产亚洲av高清涩受| 女性被躁到高潮视频| 他把我摸到了高潮在线观看| 久久久国产成人免费| 国产亚洲精品综合一区在线观看 | 久久精品国产亚洲av高清一级| www.精华液| 久久香蕉精品热| 久久久水蜜桃国产精品网| 中文字幕精品亚洲无线码一区 | 女性生殖器流出的白浆| 亚洲av电影不卡..在线观看| 亚洲中文字幕一区二区三区有码在线看 | 麻豆久久精品国产亚洲av| 黄色视频不卡| 欧美丝袜亚洲另类 | 免费无遮挡裸体视频| netflix在线观看网站| 在线国产一区二区在线| 变态另类成人亚洲欧美熟女| 亚洲av日韩精品久久久久久密| 国产97色在线日韩免费| 熟女电影av网| 亚洲性夜色夜夜综合| 精品日产1卡2卡| 在线观看免费视频日本深夜| 午夜福利免费观看在线| 精品久久久久久成人av| 欧美三级亚洲精品| 精品国产乱码久久久久久男人| 亚洲avbb在线观看| 少妇粗大呻吟视频| 国产成人精品无人区| 国产aⅴ精品一区二区三区波| 999久久久国产精品视频| 丝袜美腿诱惑在线| 国产精品一区二区免费欧美| 久久国产乱子伦精品免费另类| 男女视频在线观看网站免费 | 亚洲电影在线观看av| 琪琪午夜伦伦电影理论片6080| 最新在线观看一区二区三区| 久久国产精品影院| 俄罗斯特黄特色一大片| 我的亚洲天堂| 人人妻人人澡欧美一区二区| 香蕉国产在线看| 99久久99久久久精品蜜桃| 亚洲精品久久成人aⅴ小说| 真人一进一出gif抽搐免费| 好看av亚洲va欧美ⅴa在| 久久亚洲精品不卡| 非洲黑人性xxxx精品又粗又长| 色老头精品视频在线观看| 国产精品免费一区二区三区在线| 亚洲成国产人片在线观看| 在线观看免费视频日本深夜| 国产精品爽爽va在线观看网站 | 久久人人精品亚洲av| 久久天躁狠狠躁夜夜2o2o| 啦啦啦观看免费观看视频高清| 久久国产乱子伦精品免费另类| 国产精品久久视频播放| 看黄色毛片网站| 99re在线观看精品视频| 日韩欧美三级三区| 精品国产乱码久久久久久男人| 给我免费播放毛片高清在线观看| 可以免费在线观看a视频的电影网站| 777久久人妻少妇嫩草av网站| 长腿黑丝高跟| 伦理电影免费视频| 亚洲自拍偷在线| 欧美性长视频在线观看| 宅男免费午夜| 国产单亲对白刺激| 国产精品1区2区在线观看.| 国产三级黄色录像| 日韩欧美国产在线观看| 亚洲成人精品中文字幕电影| 久久香蕉激情| 少妇 在线观看| 琪琪午夜伦伦电影理论片6080| 色综合欧美亚洲国产小说| 国产成人欧美| 日本免费a在线| 亚洲在线自拍视频| 国产蜜桃级精品一区二区三区| 亚洲一卡2卡3卡4卡5卡精品中文| 国产精品免费视频内射| 国产亚洲精品久久久久5区| 制服人妻中文乱码| 男人舔女人下体高潮全视频| 国产亚洲欧美98| 中文亚洲av片在线观看爽| 国内毛片毛片毛片毛片毛片| 国产激情欧美一区二区| 国产一卡二卡三卡精品| 欧美黄色淫秽网站| 18禁观看日本| 大香蕉久久成人网| 免费无遮挡裸体视频| 国产精品日韩av在线免费观看| 国产成人啪精品午夜网站| 日韩免费av在线播放| a级毛片在线看网站| 精品高清国产在线一区| 亚洲精品色激情综合| www国产在线视频色| 丝袜在线中文字幕| 免费人成视频x8x8入口观看| 一本综合久久免费| 90打野战视频偷拍视频| 成人18禁高潮啪啪吃奶动态图| 亚洲精品一区av在线观看| 男人的好看免费观看在线视频 | 中出人妻视频一区二区| 人人澡人人妻人| 欧美 亚洲 国产 日韩一| 激情在线观看视频在线高清| 每晚都被弄得嗷嗷叫到高潮| 美女高潮喷水抽搐中文字幕| 啪啪无遮挡十八禁网站| 久久久国产成人精品二区| 黄色毛片三级朝国网站| 又紧又爽又黄一区二区| 久久精品aⅴ一区二区三区四区| 天天添夜夜摸| 国内精品久久久久久久电影| 高清在线国产一区| 亚洲三区欧美一区| 女性生殖器流出的白浆| 国产日本99.免费观看| 亚洲国产精品合色在线| 日本免费a在线| 日日爽夜夜爽网站| 深夜精品福利| 亚洲人成伊人成综合网2020| 欧美激情久久久久久爽电影| 老司机午夜福利在线观看视频| www.熟女人妻精品国产| 国产熟女xx| 精品电影一区二区在线| 欧美性猛交╳xxx乱大交人| e午夜精品久久久久久久| 亚洲人成网站高清观看| 亚洲五月色婷婷综合| 国内揄拍国产精品人妻在线 | 一个人免费在线观看的高清视频| 精品熟女少妇八av免费久了| 一级毛片女人18水好多| 伊人久久大香线蕉亚洲五| 黄片小视频在线播放| 桃红色精品国产亚洲av| 久久国产精品人妻蜜桃| 悠悠久久av| 日韩视频一区二区在线观看| 久久久久国产一级毛片高清牌| 欧美日本视频| 中文亚洲av片在线观看爽| 97人妻精品一区二区三区麻豆 | 亚洲无线在线观看| 欧美成人一区二区免费高清观看 | 亚洲片人在线观看| 亚洲精品久久国产高清桃花| 中文字幕最新亚洲高清| 婷婷精品国产亚洲av| 精品一区二区三区视频在线观看免费| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲最大成人中文| 亚洲精品一区av在线观看| 叶爱在线成人免费视频播放| av视频在线观看入口| 亚洲人成电影免费在线| 在线看三级毛片| 亚洲在线自拍视频| 丝袜在线中文字幕| 欧美性猛交黑人性爽| 99在线视频只有这里精品首页| 亚洲人成网站高清观看| 亚洲色图av天堂| 宅男免费午夜| 淫秽高清视频在线观看| 国产单亲对白刺激| 亚洲av五月六月丁香网| 国产精品一区二区三区四区久久 | 白带黄色成豆腐渣| 国产精品二区激情视频| 午夜老司机福利片| 中文资源天堂在线| 国产一级毛片七仙女欲春2 | 久久久久九九精品影院| 老司机午夜十八禁免费视频| 人人澡人人妻人| 夜夜看夜夜爽夜夜摸| 哪里可以看免费的av片| 午夜激情福利司机影院| 无限看片的www在线观看| 亚洲国产精品sss在线观看| 麻豆国产av国片精品| 亚洲欧美精品综合一区二区三区| 亚洲aⅴ乱码一区二区在线播放 | av在线播放免费不卡| 在线观看日韩欧美| 日韩精品中文字幕看吧| 波多野结衣高清作品| 国产麻豆成人av免费视频| 欧美一级a爱片免费观看看 | 好看av亚洲va欧美ⅴa在| 国产高清视频在线播放一区| 日韩欧美免费精品| 国产精品美女特级片免费视频播放器 | 日韩精品青青久久久久久| 香蕉丝袜av| 听说在线观看完整版免费高清| 老司机午夜福利在线观看视频| 成人特级黄色片久久久久久久| 亚洲久久久国产精品| 国产日本99.免费观看| 欧美久久黑人一区二区| 亚洲午夜精品一区,二区,三区| 欧美在线黄色| 亚洲av第一区精品v没综合| 亚洲avbb在线观看| 亚洲五月色婷婷综合| 日韩三级视频一区二区三区| 久久精品国产99精品国产亚洲性色| 亚洲最大成人中文| 亚洲精品色激情综合| 99精品久久久久人妻精品| 丁香六月欧美| 日韩精品免费视频一区二区三区| 操出白浆在线播放| 免费无遮挡裸体视频| 亚洲精品色激情综合| 麻豆国产av国片精品| 丰满人妻熟妇乱又伦精品不卡| 一区二区三区国产精品乱码| 亚洲精品在线观看二区| 欧美日韩中文字幕国产精品一区二区三区| 三级毛片av免费| 久久久久国产精品人妻aⅴ院| 美女大奶头视频| 国产av又大| 搞女人的毛片| 久久中文看片网| 欧美丝袜亚洲另类 | 正在播放国产对白刺激| 美女国产高潮福利片在线看| 精品国产美女av久久久久小说| 久久性视频一级片| 欧美久久黑人一区二区| 久久久久亚洲av毛片大全| 久久精品国产亚洲av高清一级| 高清在线国产一区| 亚洲精品中文字幕在线视频| 亚洲九九香蕉| 亚洲av电影不卡..在线观看| 一级黄色大片毛片| 老汉色av国产亚洲站长工具| 夜夜夜夜夜久久久久| 亚洲电影在线观看av| 国产成人精品无人区| 精品国产国语对白av| 国产精品免费一区二区三区在线| 精品国产美女av久久久久小说| 国产成人影院久久av| 日本熟妇午夜| 午夜免费成人在线视频| 日本免费a在线| 麻豆一二三区av精品| 欧美黑人精品巨大| 在线观看免费午夜福利视频| 老司机深夜福利视频在线观看| АⅤ资源中文在线天堂| 99久久精品国产亚洲精品| 亚洲中文字幕日韩| 日韩欧美免费精品| 一区二区三区国产精品乱码| 99精品欧美一区二区三区四区| 黄色片一级片一级黄色片| 91九色精品人成在线观看| 91九色精品人成在线观看| 在线视频色国产色| 午夜精品在线福利| 一级毛片精品| 波多野结衣高清无吗| 大型av网站在线播放| 成人欧美大片| 一区福利在线观看| 91国产中文字幕| 韩国av一区二区三区四区| 久久精品国产亚洲av香蕉五月| 国产色视频综合| 又黄又爽又免费观看的视频| 久久久久久国产a免费观看| 亚洲欧美精品综合久久99| 丝袜在线中文字幕| 国产伦人伦偷精品视频| 日韩大尺度精品在线看网址| 亚洲自拍偷在线| 欧美成狂野欧美在线观看| 欧美乱色亚洲激情| 老汉色av国产亚洲站长工具| 日本在线视频免费播放| 97人妻精品一区二区三区麻豆 | 亚洲第一欧美日韩一区二区三区| 黄色 视频免费看| 精品久久久久久久末码| 人妻丰满熟妇av一区二区三区| 久久久国产欧美日韩av| 国产精品久久视频播放| 色综合婷婷激情| 欧美黑人精品巨大| 国产真实乱freesex| 一级毛片高清免费大全| 色在线成人网| 一级作爱视频免费观看| 欧美性猛交╳xxx乱大交人| 久久精品国产99精品国产亚洲性色| 每晚都被弄得嗷嗷叫到高潮| 亚洲五月天丁香| 久久国产亚洲av麻豆专区| 久久99热这里只有精品18| 久久性视频一级片| 国产伦在线观看视频一区| 1024香蕉在线观看| 久久久久久亚洲精品国产蜜桃av| 中文亚洲av片在线观看爽| 亚洲av第一区精品v没综合| 亚洲精品av麻豆狂野| 美女高潮喷水抽搐中文字幕| 成人18禁在线播放| 波多野结衣av一区二区av| 美女 人体艺术 gogo| 国内少妇人妻偷人精品xxx网站 | 亚洲精品粉嫩美女一区| 免费在线观看视频国产中文字幕亚洲| 又大又爽又粗| 91字幕亚洲| 亚洲成国产人片在线观看| 久久婷婷人人爽人人干人人爱| 观看免费一级毛片| 免费高清在线观看日韩| 激情在线观看视频在线高清| 国产av又大| 免费看a级黄色片| 法律面前人人平等表现在哪些方面| 18禁国产床啪视频网站| 亚洲国产欧美网| 99国产精品一区二区蜜桃av| 少妇熟女aⅴ在线视频| 制服丝袜大香蕉在线| 亚洲av片天天在线观看| 亚洲av成人av| 国产av一区在线观看免费| 亚洲成人久久性| 日日干狠狠操夜夜爽| 一级毛片女人18水好多| 国产av一区二区精品久久| 女人被狂操c到高潮| av福利片在线| 搡老熟女国产l中国老女人| 露出奶头的视频| 91在线观看av| 免费高清在线观看日韩| 亚洲国产欧美网| 欧美性猛交黑人性爽| 亚洲在线自拍视频| 日韩精品中文字幕看吧| 欧美av亚洲av综合av国产av| www国产在线视频色| 欧美黑人精品巨大| 少妇的丰满在线观看| 美女免费视频网站| 国产区一区二久久| 亚洲精品一区av在线观看| 无人区码免费观看不卡| 一区二区三区高清视频在线| 中文字幕人妻熟女乱码| 久久久久久人人人人人| 日韩一卡2卡3卡4卡2021年| 神马国产精品三级电影在线观看 | 狠狠狠狠99中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 一本久久中文字幕| 精品一区二区三区视频在线观看免费| 99在线视频只有这里精品首页| 亚洲电影在线观看av| 日韩大码丰满熟妇| 国产精品99久久99久久久不卡| 日本黄色视频三级网站网址| 成人免费观看视频高清| 中文字幕av电影在线播放| 日韩欧美三级三区| 国产片内射在线| av在线播放免费不卡| 99在线视频只有这里精品首页| 又紧又爽又黄一区二区| 满18在线观看网站| 不卡av一区二区三区| 久久中文字幕一级| 欧美乱码精品一区二区三区| 露出奶头的视频| 国产激情偷乱视频一区二区| 99精品欧美一区二区三区四区| 正在播放国产对白刺激| 午夜a级毛片| 老司机福利观看| 久久欧美精品欧美久久欧美| 久久香蕉激情| 久久国产精品影院| 久久久国产精品麻豆| 两个人看的免费小视频| 久久亚洲精品不卡| 可以免费在线观看a视频的电影网站| 欧美av亚洲av综合av国产av| 免费看日本二区| 啦啦啦免费观看视频1| 婷婷丁香在线五月| 美女大奶头视频| 国产单亲对白刺激| 在线视频色国产色| 精品日产1卡2卡| 国产精品久久久人人做人人爽| 成人18禁高潮啪啪吃奶动态图| 国产成年人精品一区二区| 免费观看精品视频网站| 国产精品日韩av在线免费观看| 色综合婷婷激情| 香蕉丝袜av| 成年版毛片免费区| 美女 人体艺术 gogo| 久久天堂一区二区三区四区| 成人永久免费在线观看视频| 国产欧美日韩一区二区精品| 亚洲片人在线观看| 99久久99久久久精品蜜桃| www.www免费av| 久久国产乱子伦精品免费另类| 国产成人av激情在线播放| 日日干狠狠操夜夜爽| 午夜福利高清视频| √禁漫天堂资源中文www| 国产精品久久久久久精品电影 | 国产成人欧美| 欧美人与性动交α欧美精品济南到| 国产一区二区三区视频了| 成年人黄色毛片网站| 又紧又爽又黄一区二区| 日韩大码丰满熟妇| 国产黄片美女视频| 满18在线观看网站| 又黄又粗又硬又大视频| 亚洲国产欧洲综合997久久, | 波多野结衣高清无吗| 高清毛片免费观看视频网站| 成年版毛片免费区| 成人手机av| 嫩草影视91久久| 成年女人毛片免费观看观看9| 久久精品aⅴ一区二区三区四区| 精品第一国产精品| 黄色视频不卡| 老司机深夜福利视频在线观看| 国产精品久久久久久人妻精品电影| 久久国产精品影院| 1024手机看黄色片| 此物有八面人人有两片| 最新在线观看一区二区三区| 国产精品久久久av美女十八| 可以免费在线观看a视频的电影网站| 一级a爱片免费观看的视频| 特大巨黑吊av在线直播 | 在线看三级毛片| 美女免费视频网站| 欧洲精品卡2卡3卡4卡5卡区| 欧美午夜高清在线| 黄片播放在线免费| 成人免费观看视频高清| 老司机深夜福利视频在线观看| 18美女黄网站色大片免费观看| 少妇粗大呻吟视频| 久久精品国产99精品国产亚洲性色| 黄色女人牲交| 日日夜夜操网爽| 性色av乱码一区二区三区2| 黄色成人免费大全| 禁无遮挡网站| 日韩成人在线观看一区二区三区| 一级毛片女人18水好多| 久久精品成人免费网站| 久久国产乱子伦精品免费另类|