• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法評(píng)估制度如何在平臺(tái)問責(zé)中發(fā)揮作用

    2021-01-28 17:51:30張凌寒
    關(guān)鍵詞:數(shù)據(jù)處理制度影響

    張凌寒

    2021年4月末,《中華人民共和國(guó)個(gè)人信息保護(hù)法(草案)》(以下簡(jiǎn)稱“《草案》”)征求意見,其中第55條明確提出:個(gè)人信息處理者應(yīng)當(dāng)對(duì)個(gè)人信息處理活動(dòng)在事前進(jìn)行風(fēng)險(xiǎn)評(píng)估。這一制度借鑒了其他國(guó)家的個(gè)人信息保護(hù)司法實(shí)踐,尤其是《歐盟通用數(shù)據(jù)保護(hù)條例》(以下簡(jiǎn)稱“GDPR”)第35條規(guī)定的“數(shù)據(jù)保護(hù)影響評(píng)估”(Data Protection Impact Assessment,以下簡(jiǎn)稱“DPIA”)制度。近年內(nèi),世界主要國(guó)家均確立了數(shù)據(jù)處理活動(dòng)(或稱算法自動(dòng)化決策)評(píng)估的相關(guān)制度,評(píng)估已經(jīng)在數(shù)據(jù)與算法治理框架中占據(jù)重要位置。

    算法是數(shù)據(jù)處理的工具,算法自動(dòng)化決策是算法對(duì)大數(shù)據(jù)處理的結(jié)果。數(shù)據(jù)處理(data processing)是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸?shù)慕y(tǒng)稱。數(shù)據(jù)體量的指數(shù)級(jí)增長(zhǎng)使得數(shù)據(jù)處理的環(huán)節(jié)只有算法能夠勝任,而數(shù)據(jù)處理者的算法能力決定了其數(shù)據(jù)處理水平能力。因此,數(shù)據(jù)處理活動(dòng)的評(píng)估與算法自動(dòng)化決策評(píng)估雖然略有制度范圍、廣度的差別,但在大多數(shù)語(yǔ)境下指向內(nèi)涵相同。

    那么,算法評(píng)估制度在平臺(tái)問責(zé)中應(yīng)起到何種作用?近年來(lái)學(xué)者們提出的算法治理解決方案要么側(cè)重于技術(shù),如區(qū)塊鏈技術(shù)可無(wú)篡改地記載①參見王延川:《“除魅”區(qū)塊鏈:去中心化、新中心化與再中心化》,《西安交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2020年第3期;蘇宇:《區(qū)塊鏈治理的政府責(zé)任》,《法商研究》2020年第4期。;要么側(cè)重于提高算法系統(tǒng)的透明度,使得權(quán)利個(gè)體和監(jiān)管部門更易理解算法的決策過程,以防止或者檢測(cè)不公平自動(dòng)化決策的結(jié)果①參見汪慶華:《算法透明的多重維度和算法問責(zé)》,《比較法研究》2020年第6期。;要么側(cè)重于自動(dòng)化決策不當(dāng)結(jié)果的說明和救濟(jì)。②參見張凌寒:《商業(yè)自動(dòng)化決策的算法解釋權(quán)研究》,《法律科學(xué)(西北政法大學(xué)學(xué)報(bào))》2018年第3期。然而,這些都僅側(cè)重于算法自動(dòng)化決策過程的某個(gè)特定方面?;谒惴ㄗ詣?dòng)化決策主體的復(fù)雜性、過程的長(zhǎng)期性,以及參與因素的多樣性,有必要將“負(fù)責(zé)任”的算法制度設(shè)計(jì)目標(biāo)置于一個(gè)覆蓋整個(gè)算法自動(dòng)化決策生命周期的框架內(nèi)。即從設(shè)計(jì)、部署、運(yùn)行到結(jié)果輸出的整個(gè)算法自動(dòng)化決策流程中,均應(yīng)對(duì)相關(guān)責(zé)任主體的權(quán)利與義務(wù)予以一定的法律控制。然而,在現(xiàn)有的制度中,算法評(píng)估與平臺(tái)算法問責(zé)銜接失調(diào),對(duì)于其認(rèn)定和追究平臺(tái)責(zé)任的制度優(yōu)勢(shì)未能被充分發(fā)揮。

    在構(gòu)建算法治理時(shí)代的合理平臺(tái)責(zé)任體系中,算法評(píng)估制度應(yīng)占據(jù)核心地位。本文圍繞算法評(píng)估制度應(yīng)在平臺(tái)問責(zé)中如何發(fā)揮作用的問題展開,梳理現(xiàn)有算法評(píng)估制度在平臺(tái)治理中的作用,探討算法評(píng)估制度面臨的“軟化”與“泛化”問題,并提出應(yīng)從算法評(píng)估標(biāo)準(zhǔn)、制度之間協(xié)調(diào)與事后追責(zé)銜接等方面發(fā)揮算法評(píng)估制度在平臺(tái)治理中的重要作用。

    一、算法評(píng)估制度的演進(jìn)及確立

    算法影響評(píng)估制度起源于20世紀(jì)90年代的隱私影響評(píng)估制度。算法影響評(píng)估制度是以風(fēng)險(xiǎn)預(yù)防為目的,意在解決智能科技帶來(lái)的事后問責(zé)的滯后性,以事前評(píng)估來(lái)避免損害事后的彌散化。

    (一)算法評(píng)估制度的演進(jìn)

    DPIA從20世紀(jì)90年代隱私影響評(píng)估制度發(fā)展而來(lái),經(jīng)歷了三個(gè)主要階段成為世界通行做法,并被《草案》所采納。個(gè)人數(shù)據(jù)保護(hù)影響評(píng)估制度適應(yīng)了數(shù)據(jù)處理風(fēng)險(xiǎn)預(yù)防對(duì)治理時(shí)點(diǎn)前移的需求,制度價(jià)值在于解決了數(shù)據(jù)處理活動(dòng)事后追責(zé)滯后的困境。數(shù)據(jù)保護(hù)影響評(píng)估制度來(lái)源于歐盟的隱私影響評(píng)估制度,經(jīng)過20余年的發(fā)展,成為了GDPR第35條規(guī)定的數(shù)據(jù)保護(hù)影響評(píng)估制度,并被世界多個(gè)國(guó)家的立法采納。數(shù)據(jù)保護(hù)影響評(píng)估制度的發(fā)展可大致分為三個(gè)階段。

    第一,DPIA的前身是20世紀(jì)90年代隱私影響評(píng)估制度。隱私影響評(píng)估是一種評(píng)估信息系統(tǒng)和收集的數(shù)據(jù)隱私的實(shí)用方法,主要要求系統(tǒng)開發(fā)人員和信息處理者記錄并充分解決隱私保護(hù)問題。1998年,加拿大的不列顛哥倫比亞省率先廣泛采用隱私影響評(píng)估制度指南;1999年,加拿大安大略省內(nèi)閣通過信息技術(shù)項(xiàng)目的隱私影響評(píng)估制度指南。隨后,新西蘭、澳大利亞、英國(guó)、美國(guó)等多個(gè)國(guó)家和地區(qū)相繼推動(dòng)各國(guó)(地區(qū))建立起適合本地的隱私影響評(píng)估制度。2002年,美國(guó)頒布的《電子政務(wù)法案》第208節(jié)規(guī)定了各機(jī)構(gòu)對(duì)電子信息系統(tǒng)和收集的數(shù)據(jù)進(jìn)行隱私影響評(píng)估制度的要求。③H.R.2458 - E-Government Act of 2002,https://www.congress.gov/bill/107th-congress/ house-bill/2458/text/enr.(Last visited by Apr.1,2020).該流程旨在指導(dǎo)SEC系統(tǒng)所有者和開發(fā)人員在開發(fā)的早期階段和整個(gè)系統(tǒng)開發(fā)生命周期中評(píng)估隱私,以確定其項(xiàng)目將如何影響個(gè)人隱私以及是否可以在滿足項(xiàng)目目標(biāo)的同時(shí)保護(hù)隱私。④Privacy Impact Assessment(PIA) Guide,https://www.sec.gov/about/privacy/piaguide.pdf.(Last visited by Dec.03,2020).

    第二,進(jìn)入21世紀(jì)第2個(gè)10年,歐盟等國(guó)進(jìn)一步細(xì)化了隱私影響評(píng)估制度,并將主體從信息處理者擴(kuò)展至利益相關(guān)者。2011年1月12日,歐盟出臺(tái)了一個(gè)針對(duì)無(wú)線射頻識(shí)別技術(shù)(RFID)的隱私影響評(píng)估制度框架文件,其將隱私影響評(píng)估制度定義為:通過設(shè)計(jì)系統(tǒng)化程序以評(píng)估特定RFID應(yīng)用對(duì)隱私和數(shù)據(jù)處理產(chǎn)生的影響,并采取適當(dāng)?shù)男袆?dòng)以防止或至少最小化這些影響。①Privacy and Data Protection Impact Assessment Framework for RFID Applications.http://ec.europa.eu/justice/data-protection/article-29/documentation/opinion-recommendation/files/2011/wp180_annex_en.pdf.(Last visited by Mar.01,2021).2013年英國(guó)信息委員辦公室(Information Commissioner's Office,以下簡(jiǎn)稱“ICO”)發(fā)布的《隱私影響評(píng)估制度操作指南》②Draft: Conducting Privacy Impact Assessment Code of Practice,https://ico.org.uk/media/ about-the-ico/consultations/2052/draft-conductingprivacy-impact-assessments-code-of-practice.pdf.(Last visited by Feb.11,2020).中稱,隱私影響評(píng)估是一種工具,可以幫助數(shù)據(jù)控制者③原本為組織(organizations),不同國(guó)家和地區(qū)的叫法不同,但基于大數(shù)據(jù)時(shí)代的背景下,應(yīng)當(dāng)用“數(shù)據(jù)控制者”或“個(gè)人信息控制者”(我國(guó))取代“組織”的叫法。確定最有效的方式來(lái)遵守其數(shù)據(jù)處理義務(wù)并滿足個(gè)人對(duì)隱私的期望。2014年澳大利亞信息專員辦公室(the Office of the Australian Information Commissioner,OAIC)編寫了《隱私影響評(píng)估制度指南》,其認(rèn)為隱私影響評(píng)估是對(duì)項(xiàng)目的系統(tǒng)評(píng)估,用于確定項(xiàng)目對(duì)個(gè)人隱私可能產(chǎn)生的影響,并提出管理、最小化或消除影響的建議。④Guide to undertaking privacy impact assessments,https://www.oaic.gov.au/agencies-and- organisations/guides/guide-to-undertaking-privacyimpact-assessments.(Last visited by Jan.31,2020).

    隨后,設(shè)計(jì)信息處理信息系統(tǒng)需隱私影響評(píng)估,并且應(yīng)將評(píng)估貫徹整個(gè)處理流程成為共識(shí)并被廣泛接受。世界標(biāo)準(zhǔn)組織(International Organization for Standardization,ISO)在2015年發(fā)布的《隱私影響評(píng)估制度指南》中稱,隱私影響評(píng)估制度是評(píng)估信息系統(tǒng),程序或流程,軟件模塊,設(shè)備或處理個(gè)人身份信息的其他計(jì)劃對(duì)隱私的潛在影響的工具,包括與利益相關(guān)方協(xié)商,采取應(yīng)對(duì)隱私風(fēng)險(xiǎn)的必要行動(dòng)。⑤ISO/IEC 29134:2017 Preview Information technology -- Security techniques -- Guidelines for privacy impact assessment.https://www.iso.org/standard/62289.html.(Last visited by Dec.03,2020).隱私影響評(píng)估制度不僅是信息處理過程不可或缺的工具,還是一個(gè)過程:只要仍有機(jī)會(huì)影響其結(jié)果,就仍保持通過設(shè)計(jì)確保隱私的理念,從提議的最早階段開始持續(xù)到項(xiàng)目部署甚至之后。

    第三,2018年頒布實(shí)施的GDPR第35條正式確立了DPIA,并通過一系列指南性文件將個(gè)人數(shù)據(jù)處理影響評(píng)估作為數(shù)據(jù)處理者合規(guī)的必經(jīng)程序。如歐盟第29條工作組的指導(dǎo)方針將其描述為“建立和證明合規(guī)的過程”,并強(qiáng)調(diào)這是“一個(gè)持續(xù)的過程,而不是一次性的實(shí)踐”。數(shù)據(jù)保護(hù)影響評(píng)估制度鼓勵(lì)對(duì)數(shù)據(jù)處理活動(dòng)進(jìn)行結(jié)構(gòu)化評(píng)估,以識(shí)別活動(dòng)中固有的數(shù)據(jù)處理風(fēng)險(xiǎn),并確定其是否符合法律規(guī)定。組織可以采取適當(dāng)?shù)拇胧﹣?lái)減輕和管理所識(shí)別的風(fēng)險(xiǎn)。⑥Peter Carey.Data Protection: A Practical Guide to UK and EU Law,Oxford University Press,2015,p.285.數(shù)據(jù)保護(hù)影響評(píng)估制度(DPIA)是第一個(gè)被納入歐盟數(shù)據(jù)處理法的風(fēng)險(xiǎn)管理工具,旨在描述數(shù)據(jù)處理行為,評(píng)估其必要性和適當(dāng)性,并通過評(píng)估內(nèi)容確定這些問題的應(yīng)對(duì)措施,幫助管理個(gè)人數(shù)據(jù)處理活動(dòng)對(duì)自然人帶來(lái)的威脅和風(fēng)險(xiǎn)。DPIA作為歐盟數(shù)據(jù)處理框架中的核心內(nèi)容,受到國(guó)內(nèi)外企業(yè)和監(jiān)管機(jī)構(gòu)的廣泛關(guān)注,為各國(guó)應(yīng)對(duì)日益增長(zhǎng)的數(shù)據(jù)安全風(fēng)險(xiǎn)問題提供了理想的立法范本。

    (二)算法評(píng)估制度的確立

    隨著人工智能時(shí)代算法在社會(huì)資源分配和權(quán)力運(yùn)行中逐漸占據(jù)主導(dǎo)地位,學(xué)界提出了應(yīng)進(jìn)一步發(fā)展數(shù)據(jù)保護(hù)影響評(píng)估制度為算法影響評(píng)估制度(Algorithm Impact Assessment),并逐漸得到了世界各國(guó)立法與實(shí)踐的響應(yīng)。

    算法評(píng)估制度是要求在算法設(shè)計(jì)、部署與運(yùn)行期間,算法治理的相關(guān)利益主體如政府、平臺(tái)、社會(huì)公眾與第三方力量,對(duì)算法可能造成的風(fēng)險(xiǎn)及其對(duì)社會(huì)的影響進(jìn)行充分的評(píng)估。算法是一種結(jié)構(gòu)化的決策過程,它將計(jì)算程序自動(dòng)化,根據(jù)數(shù)據(jù)輸入生成決策結(jié)果。①See Thomas Cormen,Charles Leiserson,Ronald Rivest and Clifford Stein,Introduction to algorithms,MIT press.2009,p.5.對(duì)于算法系統(tǒng)的設(shè)計(jì)、部署或者采購(gòu)者來(lái)說,算法評(píng)估制度可以使其了解和減輕算法系統(tǒng)可能造成的風(fēng)險(xiǎn)或者負(fù)面影響;同時(shí)有利于建立公眾對(duì)于算法自動(dòng)化決策系統(tǒng)的信任和信心。

    數(shù)據(jù)保護(hù)影響評(píng)估在某些國(guó)家如加拿大②See Government of Canada,Directive on Automated Decision-Making,https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592.(Last visited May 12,2020).、美國(guó)③See Washington House Bill 1655,https://legiscan.com/WA/bill/HB1655/2019.2020-04-13,(Last visited May 28,2020).發(fā)展為專門的算法影響評(píng)估制度,主要緣起于算法廣泛嵌入政府、公共部門甚至司法機(jī)關(guān)④參見張勇:《人工智能輔助辦案與量刑規(guī)范化的實(shí)現(xiàn)路徑》,《上海政法學(xué)院學(xué)報(bào)(法治論叢)》2019年第2期。,直接影響甚至決定了公民福利、財(cái)產(chǎn)甚至人身自由等權(quán)利。嵌入算法的監(jiān)管部門行政活動(dòng)匯總,算法通過收集規(guī)制環(huán)境中各類主體產(chǎn)生的實(shí)時(shí)數(shù)據(jù),計(jì)算并分析相關(guān)行為以及可能產(chǎn)生的風(fēng)險(xiǎn),為達(dá)到預(yù)定監(jiān)管目標(biāo)形成算法自動(dòng)化決策,甚至可以實(shí)時(shí)動(dòng)態(tài)調(diào)整政策執(zhí)行方式。算法已經(jīng)可以對(duì)個(gè)人或群體產(chǎn)生重大影響,并為政府規(guī)制的決定提供實(shí)質(zhì)性信息的操作。政府公權(quán)力的行政公開原則、權(quán)力監(jiān)督原則,從本質(zhì)上要求嵌入行政活動(dòng)的算法向公眾披露并受到公眾監(jiān)督。正如法國(guó)數(shù)字事務(wù)部長(zhǎng)表示:“如果政府不能解釋其決定,政府就不應(yīng)該使用算法?!雹軸ee Joshua New and Daniel Castro: How Policymakers Can Foster Algorithmic Accountability,http://www2.datainnovation.org/2018-algorithmic-accountability.pdf 2019-05-12.(Last visited June 27,2020).因此,域外率先開展的算法規(guī)制活動(dòng)多圍繞政府公共部門的算法展開。2017年年底,紐約市政府開展了世界首次算法監(jiān)管,成立了紐約市算法監(jiān)管工作組。⑥參見張凌寒、李榮:《紐約算法監(jiān)管遇挫啟示錄》,《法治周末》2020年1月16日。2018年,新西蘭政府出具報(bào)告,對(duì)政府14個(gè)機(jī)構(gòu)算法開發(fā)和使用的情況進(jìn)行分析,在整個(gè)政府?dāng)?shù)據(jù)系統(tǒng)中提高政府算法使用的透明度和問責(zé)制。

    因此,相比數(shù)據(jù)保護(hù)影響評(píng)估,算法評(píng)估制度有了更進(jìn)一步的價(jià)值意蘊(yùn)。首先,算法評(píng)估通常超越了對(duì)隱私或個(gè)人數(shù)據(jù)保護(hù)的考慮,而轉(zhuǎn)向更廣泛的社會(huì)考慮。從制度目標(biāo)上來(lái)說,算法影響評(píng)估關(guān)注權(quán)力運(yùn)行對(duì)公民從財(cái)產(chǎn)到人身等更為廣泛的權(quán)利的影響,并關(guān)注算法運(yùn)行對(duì)社會(huì)公共利益的影響。其次,算法評(píng)估制度不僅是傳統(tǒng)的政策或技術(shù)影響評(píng)估(如環(huán)境保護(hù)評(píng)估與立法評(píng)估),而且是因算法嵌入的政府、公共部門以及數(shù)字平臺(tái)所涉利益的廣泛性,具有了比數(shù)據(jù)保護(hù)影響評(píng)估更廣泛的影響、更深入的價(jià)值。

    在算法系統(tǒng)的開發(fā)與部署中,政府公共部門與平臺(tái)私營(yíng)部門之間的界限往往模糊不清。平臺(tái)作為私營(yíng)部門不僅自身是算法系統(tǒng)的主要開發(fā)者和使用者,同時(shí)是政府公共部門使用算法時(shí)的主要采購(gòu)對(duì)象。平臺(tái)設(shè)計(jì)、開發(fā)和運(yùn)行的算法系統(tǒng),也可能關(guān)系到公民財(cái)產(chǎn)、人身等多項(xiàng)權(quán)利,以及社會(huì)公共利益。如網(wǎng)約車平臺(tái)的算法直接關(guān)系到一個(gè)城市的交通運(yùn)輸資源調(diào)度,而社交媒體的推薦算法又具有制定社會(huì)輿論議程的重要功能。因此,算法評(píng)估制度雖緣起于對(duì)公共部門算法的公眾監(jiān)督,但基于平臺(tái)算法所涉利益的廣泛性,也被適用于平臺(tái)等私營(yíng)部門設(shè)計(jì)、開發(fā)與部署算法的活動(dòng)。如德國(guó)數(shù)據(jù)倫理委員會(huì)提出的算法風(fēng)險(xiǎn)評(píng)估方案,主張對(duì)數(shù)字服務(wù)企業(yè)使用的算法進(jìn)行五級(jí)的風(fēng)險(xiǎn)評(píng)級(jí)制度,對(duì)不同級(jí)別的算法采取不同強(qiáng)度的監(jiān)管。①See Opinion of the Data Ethics Commission,159(2018),https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).我國(guó)法律規(guī)則將某些算法應(yīng)用定義為“具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)”,并要求其進(jìn)行自行安全評(píng)估。

    二、算法評(píng)估制度與平臺(tái)問責(zé)的銜接不暢

    算法評(píng)估制度的制度優(yōu)勢(shì)面臨著智能科技時(shí)代的挑戰(zhàn),首要的問題是其在數(shù)據(jù)治理框架中究竟定位如何?《草案》中也明確規(guī)定了數(shù)據(jù)處理者在進(jìn)行數(shù)據(jù)處理活動(dòng)前應(yīng)進(jìn)行評(píng)估,各國(guó)也有著不同的立法實(shí)踐。面對(duì)技術(shù)日益成為主宰社會(huì)權(quán)力與經(jīng)濟(jì)運(yùn)行的核心力量,算法評(píng)估制度的局限性也日益顯現(xiàn),而這些局限也均導(dǎo)致了與技術(shù)問責(zé)的銜接失調(diào)?!恫莅浮分械乃惴ㄔu(píng)估制度可能面臨著“軟化”與“泛化”風(fēng)險(xiǎn)?!败浕笔侵阜刹⑽匆?guī)定評(píng)估制度的法律后果,可能由于第三方服務(wù)的提供者與評(píng)估對(duì)象的妥協(xié)而流于形式?!胺夯眲t是指由于我國(guó)未明確規(guī)定算法評(píng)估制度的適用范圍與等級(jí),普遍要求開展的算法評(píng)估制度可能既造成資源浪費(fèi)提高企業(yè)合規(guī)成本,又沒有發(fā)揮應(yīng)有的效用“好鋼用在刀刃上”。

    (一)地位不明:算法評(píng)估可能的“泛化”

    《草案》中的算法評(píng)估制度并未明確應(yīng)被評(píng)估算法的范圍。而實(shí)際上,根據(jù)不同風(fēng)險(xiǎn)等級(jí)來(lái)確立不同的監(jiān)管制度已經(jīng)成為世界通行的做法。

    算法應(yīng)用極為廣泛,對(duì)所有的算法進(jìn)行監(jiān)管既無(wú)必要也不現(xiàn)實(shí)。算法系統(tǒng)的多樣性、復(fù)雜性和動(dòng)態(tài)性給監(jiān)管帶來(lái)了主要挑戰(zhàn),必須根據(jù)系統(tǒng)的關(guān)鍵性,在不同的監(jiān)管級(jí)別上實(shí)施非常不同的糾正和控制手段以實(shí)現(xiàn)監(jiān)管目標(biāo)。各國(guó)制度中有多重劃分不同算法風(fēng)險(xiǎn)等級(jí)的標(biāo)準(zhǔn),最常見和最簡(jiǎn)單的劃分標(biāo)準(zhǔn)是形式標(biāo)準(zhǔn),將“完全的自動(dòng)化決策”與“對(duì)當(dāng)事人有法律效力及重大影響”作為高風(fēng)險(xiǎn)算法。例如GDPR第22條規(guī)定“完全的自動(dòng)化決策”,但由于此條廣為詬病,各成員國(guó)則進(jìn)行了不同的界定。德國(guó)聯(lián)邦法院采用了限制性解釋,認(rèn)為任何最低限度的人為干預(yù)都會(huì)排除GDPR第22條的適用性。相反,英國(guó)的數(shù)據(jù)保護(hù)的權(quán)威(ICO)則采取了擴(kuò)大性解釋:如果涉及不相關(guān)的人為干預(yù),第22條應(yīng)該適用。即使在GDPR第22條所涉的算法中也有不同的風(fēng)險(xiǎn)等級(jí)劃分。如GDPR第22條中對(duì)數(shù)據(jù)主體產(chǎn)生“實(shí)質(zhì)性影響(substantially affects)”的算法系統(tǒng)。歐盟第29條工作組指南中列舉了示例,對(duì)個(gè)人的評(píng)分算法和具有重大影響及法律效力的算法,直接被認(rèn)為是風(fēng)險(xiǎn)算法,需要接受較為嚴(yán)格的監(jiān)管。此外,還可根據(jù)算法處理對(duì)象的敏感程度確定算法的風(fēng)險(xiǎn)程度。如歐盟和美國(guó)均把兒童數(shù)據(jù)的算法列為敏感類算法進(jìn)行特殊規(guī)制。

    對(duì)所有算法系統(tǒng)進(jìn)行評(píng)估既不現(xiàn)實(shí)也無(wú)必要,各個(gè)算法系統(tǒng)所涉的個(gè)人權(quán)利和公共利益并不相同。例如,支付寶的芝麻信用評(píng)級(jí)算法可能會(huì)對(duì)個(gè)人產(chǎn)生潛在的財(cái)產(chǎn)影響(如申領(lǐng)護(hù)照或貸款)。但是同為推薦算法,頭條的新聞推薦可能影響新聞議程而落入監(jiān)管視野,QQ音樂的推薦算法則并不敏感。同理,用戶手機(jī)進(jìn)行人臉識(shí)別可能只是為了解鎖,而公共部門進(jìn)行人臉識(shí)別則有可能為了抓捕逃犯,相同的技術(shù)在不同的應(yīng)用領(lǐng)域也意味著不同的風(fēng)險(xiǎn)等級(jí)。

    不區(qū)分風(fēng)險(xiǎn)等級(jí)的算法評(píng)估勢(shì)必走向評(píng)估機(jī)制的“泛化”。我國(guó)已經(jīng)存在多種個(gè)人信息保護(hù)的評(píng)估制度,僅僅2020年影響較大的就有三類:其一,較為權(quán)威的是2020年3月國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)制定的《個(gè)人信息安全規(guī)范》,要求企業(yè)進(jìn)行個(gè)人信息安全影響評(píng)估制度;隨后2020年11月全國(guó)信息安全標(biāo)準(zhǔn)化委員會(huì)正式發(fā)布《信息安全技術(shù)個(gè)人信息安全影響評(píng)估指南》。其二,近幾年中央網(wǎng)信辦、工信部、公安部、國(guó)家市場(chǎng)監(jiān)管總局持續(xù)性聯(lián)合開展App違法違規(guī)收集使用個(gè)人信息專項(xiàng)治理工作,組織App隱私政策和個(gè)人信息收集使用情況評(píng)估。其三,2020年工信部印發(fā)《關(guān)于做好2020年電信和互聯(lián)網(wǎng)行業(yè)網(wǎng)絡(luò)數(shù)據(jù)安全管理工作的通知》,提出深入開展網(wǎng)絡(luò)數(shù)據(jù)安全合規(guī)性評(píng)估。除此之外,還有2020年網(wǎng)信辦頒布的《個(gè)人信息出境評(píng)估指南》、2020年中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院開發(fā)上線了為企業(yè)提供服務(wù)的個(gè)人信息保護(hù)合規(guī)評(píng)估工具、2017年網(wǎng)信辦頒布的《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)》,并要求其進(jìn)行自行安全評(píng)估等。種類繁多、效力層級(jí)不清的評(píng)估不僅容易造成企業(yè)沉重的合規(guī)負(fù)擔(dān),也造成了治理效用的低下。

    《草案》規(guī)定的數(shù)據(jù)保護(hù)影響評(píng)估制度與已有的評(píng)估制度如何銜接?評(píng)估如何成為治理機(jī)制中的一環(huán)而不被濫用?這些都成為該草案頒布后相關(guān)實(shí)施細(xì)則亟待厘清的問題。

    (二)效力不清:算法評(píng)估制度可能的“軟化”

    無(wú)論是數(shù)據(jù)評(píng)估制度還是算法評(píng)估制度,在各國(guó)范圍內(nèi)都屬于自我監(jiān)督與外部強(qiáng)制性監(jiān)督結(jié)合的治理機(jī)制。評(píng)估制度本身源于隱私設(shè)計(jì)理念,其作為數(shù)據(jù)控制者構(gòu)建“隱私友好系統(tǒng)”的一種方式,通常是以自愿而非強(qiáng)制的方式提出要求。這一制度就源自治理者認(rèn)識(shí)到監(jiān)管機(jī)構(gòu)無(wú)法通過自上而下的控制來(lái)完成所有工作,但數(shù)據(jù)處理者從設(shè)計(jì)階段就應(yīng)設(shè)計(jì)較少侵犯隱私的系統(tǒng)。

    以歐盟的GDPR為例,GDPR第35條規(guī)定的評(píng)估制度僅具有一定意義上的法律強(qiáng)制性。首先,GDPR第25條規(guī)定數(shù)據(jù)控制者在制定算法系統(tǒng)時(shí)以及在實(shí)際處理數(shù)據(jù)時(shí),必須實(shí)施“適當(dāng)?shù)募夹g(shù)和組織措施”。其次,當(dāng)某種新的算法系統(tǒng)可能“導(dǎo)致數(shù)據(jù)主體權(quán)利的高風(fēng)險(xiǎn)”時(shí),必須先進(jìn)行DPIA。同時(shí),DIPA制度明確公司的報(bào)告義務(wù)和監(jiān)管機(jī)構(gòu)的監(jiān)管權(quán)力,這種監(jiān)管是帶有公法強(qiáng)制性的監(jiān)管手段,是長(zhǎng)期性的監(jiān)管方式。

    當(dāng)算法評(píng)估成為平臺(tái)部署算法前的必經(jīng)程序時(shí),社會(huì)第三方提供的評(píng)估服務(wù)就有可能流于形式,走向“軟化”。社會(huì)第三方的服務(wù)機(jī)構(gòu)提供評(píng)估、認(rèn)證等服務(wù),并以此作為主要收入來(lái)源。因此,當(dāng)平臺(tái)設(shè)計(jì)和部署算法違反相關(guān)評(píng)估規(guī)則時(shí),很難得到實(shí)質(zhì)性的部署阻礙。因此,現(xiàn)有機(jī)構(gòu)為數(shù)據(jù)安全評(píng)估需求的企業(yè)做正式評(píng)估之前,先進(jìn)行“預(yù)評(píng)估”與提供改進(jìn)方案,即是對(duì)此種服務(wù)作為主要收入來(lái)源現(xiàn)狀的妥協(xié)。

    如何避免算法評(píng)估主體與對(duì)象為合規(guī)作出妥協(xié),而導(dǎo)致的算法評(píng)估制度“軟化”呢?2015年愛爾蘭關(guān)于美國(guó)-歐盟安全港協(xié)議被司法廢除的案件則提供了前車之鑒。①Schrems v.Data Protection Commissioner,C-362/14(2015).美國(guó)并沒有與歐盟同水平的個(gè)人數(shù)據(jù)保護(hù)制度,因此,依照歐盟法律規(guī)定,個(gè)人數(shù)據(jù)無(wú)法出口到美國(guó)。但在美國(guó)-歐盟安全港協(xié)議之中規(guī)定,如果美國(guó)的公司加入信托印章就獲得了符合歐盟隱私標(biāo)準(zhǔn)的資格認(rèn)證②這種方式最常見的就是TRUSTe公司,我國(guó)小米等互聯(lián)網(wǎng)公司進(jìn)入歐盟市場(chǎng)也依賴其進(jìn)行隱私認(rèn)證。。提供信托印章的信托基金被披露一直忽視美國(guó)成員的重大數(shù)據(jù)泄露事件,或者只是實(shí)施象征性的制裁。在2015年的案件中,由于斯諾登披露的美國(guó)國(guó)家監(jiān)視問題,該協(xié)議被司法廢除。

    算法評(píng)估制度一旦“軟化”,在沒有更加嚴(yán)格的監(jiān)管作為成本時(shí),平臺(tái)很難有動(dòng)力投入巨額資金到算法設(shè)計(jì)部署中以保護(hù)個(gè)體隱私、數(shù)據(jù)安全與社會(huì)公共利益?!恫莅浮分胁⑽疵鞔_提出平臺(tái)未進(jìn)行算法評(píng)估的法律后果與處罰力度,缺乏法律強(qiáng)制性的規(guī)制措施難以得到平臺(tái)的重視與合規(guī)投入。

    (三)關(guān)系不順:算法評(píng)估與平臺(tái)責(zé)任“失聯(lián)”

    算法與數(shù)據(jù)治理的最終目標(biāo)是建立“負(fù)責(zé)任”的數(shù)據(jù)和算法體系。在算法問責(zé)的制度框架中,算法評(píng)估應(yīng)居于何種地位呢?現(xiàn)階段關(guān)于算法問責(zé)的建議都集中在通過算法的透明度和可解釋性來(lái)解決算法深度學(xué)習(xí)和實(shí)時(shí)數(shù)據(jù)帶來(lái)的復(fù)雜性問題。這些技術(shù)治理措施雖然是必要的,但是對(duì)于解決算法系統(tǒng)可能帶來(lái)潛在的社會(huì)危害風(fēng)險(xiǎn)并不充分。在如何使得政府、企業(yè)能夠在預(yù)防、監(jiān)督、問責(zé)方面承擔(dān)更多實(shí)質(zhì)性責(zé)任方面,現(xiàn)有的治理措施在問責(zé)框架中均存在不足。

    第一,算法透明度及其問責(zé)難題。追求算法的透明度是現(xiàn)有算法治理的一種重要工具。透明度是指由算法的設(shè)計(jì)使用者披露有關(guān)算法如何部署、如何工作以及如何使用等相關(guān)信息,以期由監(jiān)管部門或第三方進(jìn)行監(jiān)管的制度。算法透明度可能包含著以下信息:算法開發(fā)的原因和情況,算法模型或者權(quán)重邏輯,算法設(shè)計(jì)過程的基本假設(shè),算法可能發(fā)生的實(shí)時(shí)變化,以及算法運(yùn)行的有關(guān)因素等。在對(duì)算法透明的追求中,比較難以確定的是算法與人類互動(dòng)過程對(duì)最終法律責(zé)任的影響。

    第二,區(qū)塊鏈技術(shù)及其問題。區(qū)塊鏈?zhǔn)且环N記錄交易的開放式分布式賬本系統(tǒng),被認(rèn)為是可解決平臺(tái)責(zé)任認(rèn)定的技術(shù)工具。區(qū)塊鏈現(xiàn)在被用來(lái)調(diào)節(jié)分布在組織內(nèi)部和組織之間的各種實(shí)體的交易。這種現(xiàn)有的跟蹤項(xiàng)目和特定金融交易的能力,可能會(huì)被調(diào)整和應(yīng)用于整個(gè)算法決策過程中特定數(shù)據(jù)點(diǎn)的記錄。例如,區(qū)塊鏈可用于跟蹤數(shù)據(jù)出處,并通過驗(yàn)證數(shù)據(jù)是否被訪問、使用和轉(zhuǎn)移,提高數(shù)據(jù)使用的問責(zé)效率。區(qū)塊鏈的追溯功能可能被用來(lái)記載算法獲得的數(shù)據(jù)信息,以及其決策的權(quán)重。

    如果只關(guān)注技術(shù)上的修正問題,就會(huì)忽略一個(gè)重要的算法治理目標(biāo),即如何對(duì)平臺(tái)算法問責(zé)。而算法治理的根本目標(biāo)是為了讓人類負(fù)責(zé)。早期的學(xué)術(shù)研究提出來(lái)的一系列問責(zé)措施,雖然看似針對(duì)算法,但實(shí)質(zhì)上是為了讓設(shè)計(jì)、部署和運(yùn)行算法的人類組織負(fù)起責(zé)任。正如凱特·克勞福德呼吁的那樣,應(yīng)超越“作為迷信對(duì)象的算法”,而將制度設(shè)計(jì)的目光投向“一個(gè)系統(tǒng),其中不僅僅是代碼和數(shù)據(jù),而是人類和非人類行為的集合體”。應(yīng)避免將算法評(píng)估制度作為另一種信息披露制度,而應(yīng)確立算法評(píng)估與后續(xù)追究平臺(tái)責(zé)任相關(guān)的機(jī)制。

    三、以平臺(tái)問責(zé)為中心構(gòu)建算法評(píng)估制度

    《草案》在我國(guó)立法中首次明確了算法風(fēng)險(xiǎn)評(píng)估制度?!恫莅浮返?5條第1款規(guī)定,“個(gè)人信息處理者應(yīng)當(dāng)對(duì)下列個(gè)人信息處理活動(dòng)在事前進(jìn)行風(fēng)險(xiǎn)評(píng)估,并對(duì)處理情況進(jìn)行記錄:……(二)利用個(gè)人信息進(jìn)行自動(dòng)化決策”;第2款、第3款規(guī)定,“風(fēng)險(xiǎn)評(píng)估的內(nèi)容應(yīng)當(dāng)包括:(一)個(gè)人信息的處理目的、處理方式等是否合法、正當(dāng)、必要;(二)對(duì)個(gè)人的影響及風(fēng)險(xiǎn)程度;(三)所采取的安全保護(hù)措施是否合法、有效并與風(fēng)險(xiǎn)程度相適應(yīng)。風(fēng)險(xiǎn)評(píng)估報(bào)告和處理情況記錄應(yīng)當(dāng)至少保存三年”。圍繞平臺(tái)問責(zé)為中心構(gòu)建的算法評(píng)估制度,應(yīng)從平臺(tái)主觀過錯(cuò)、平臺(tái)考察周期、平臺(tái)責(zé)任主體認(rèn)定多方面進(jìn)行構(gòu)建。

    (一)算法評(píng)估標(biāo)準(zhǔn):涵蓋平臺(tái)主觀過錯(cuò)

    《草案》規(guī)定的是算法風(fēng)險(xiǎn)評(píng)估制度,即主要評(píng)估的內(nèi)容是算法等數(shù)據(jù)處理活動(dòng)可能帶來(lái)的風(fēng)險(xiǎn)。評(píng)估內(nèi)容及標(biāo)準(zhǔn)在平臺(tái)問責(zé)中的根本意義是考察平臺(tái)在設(shè)計(jì)部署算法過程中是否盡到了“負(fù)責(zé)任”的態(tài)度,并采取一切可能的措施避免可能給個(gè)人權(quán)利和社會(huì)公共利益帶來(lái)的不當(dāng)影響?!恫莅浮反_立的算法風(fēng)險(xiǎn)評(píng)估制度在確定平臺(tái)主觀過錯(cuò)的方面可能存在如下問題。

    第一,風(fēng)險(xiǎn)一詞因其主觀建構(gòu)性存在模糊性,評(píng)估標(biāo)準(zhǔn)涵蓋范圍過于狹窄。風(fēng)險(xiǎn)本身即存在主客觀的雙重屬性,即它既具有客觀存在性,又具有主觀建構(gòu)性??陀^存在性的風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)偏向科學(xué)的“理性-工具”范式,而主觀構(gòu)建的風(fēng)險(xiǎn)則偏向“商談-建構(gòu)”范式。以環(huán)境決策風(fēng)險(xiǎn)評(píng)估為例,它所對(duì)應(yīng)的往往是對(duì)噪音、污染物排放、化學(xué)物質(zhì)危險(xiǎn)性等科學(xué)問題的評(píng)估。而具體到算法評(píng)估標(biāo)準(zhǔn),往往涉及復(fù)雜的、社會(huì)的、甚至是涉及政治意識(shí)形態(tài)與價(jià)值觀的難題。例如,算法影響可能包括對(duì)失業(yè)率、對(duì)貧富差距、對(duì)不同群體平等、甚至對(duì)人權(quán)影響的判斷。

    第二,《草案》中評(píng)估標(biāo)準(zhǔn)主要集中于隱私與個(gè)人信息保護(hù)事項(xiàng),對(duì)社會(huì)公共利益等關(guān)注不足。算法由于深度嵌入行政活動(dòng)與社會(huì)經(jīng)濟(jì)運(yùn)行,可能對(duì)社會(huì)經(jīng)濟(jì)、公民權(quán)利、社會(huì)秩序有深度影響。國(guó)際上一向主張應(yīng)從更為廣泛的角度來(lái)關(guān)注算法給社會(huì)帶來(lái)的影響。例如,2019年 8月,聯(lián)合國(guó)教科文組織發(fā)布的《北京共識(shí)——人工智能與教育》指出,要致力于開發(fā)不帶性別偏見的人工智能應(yīng)用程序,并確保人工智能開發(fā)所使用的數(shù)據(jù)具有性別敏感性。①參見《聯(lián)合國(guó)教科文組織正式發(fā)布國(guó)際人工智能與教育大會(huì)成果文件<北京共識(shí)——人工智能與教育>》,http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/s5987/201908/t20190828_396185.html,2020年11月26日訪問。面對(duì)算法所涉利益的廣泛性,有學(xué)者甚至提出算法設(shè)計(jì)部署者應(yīng)提供“社會(huì)影響聲明”“歧視影響評(píng)估”②Barocas Solon and Andrew Selbst.Big data's disparate impact.671.Calif.L.Rev.169(2016).甚至“人類影響聲明”③Marc L.Roark,Human Impact Statements,54 WASHBURN L.J.649(2015).等。

    要求平臺(tái)依據(jù)主觀過錯(cuò)承擔(dān)法律責(zé)任,是平臺(tái)算法走向“負(fù)責(zé)任”(accountability)的必由之路。在平臺(tái)治理中,歸因和歸責(zé)發(fā)揮著“托底”的作用。平臺(tái)是由人與機(jī)器(算法)合作運(yùn)行的,人負(fù)擔(dān)的責(zé)任越大,對(duì)惡意使用的威懾作用就越大,有效治理的可能性就越大。因此,應(yīng)以設(shè)置平臺(tái)問責(zé)的主觀過錯(cuò)的標(biāo)準(zhǔn),來(lái)設(shè)置算法評(píng)估的標(biāo)準(zhǔn),構(gòu)建涵蓋多層次、多元價(jià)值觀的算法影響評(píng)估標(biāo)準(zhǔn)。具體而言,應(yīng)包括以下幾個(gè)方面。

    第一,平臺(tái)評(píng)估標(biāo)準(zhǔn)必然包含現(xiàn)行法律法規(guī)的相關(guān)規(guī)定。無(wú)論是既有的針對(duì)人類行為的法律規(guī)定,還是為算法專門設(shè)置的條款,都當(dāng)然成為平臺(tái)算法問責(zé)的注意義務(wù)。法律應(yīng)對(duì)新技術(shù)帶來(lái)挑戰(zhàn)的方式,或直接沿用照搬,或另起爐灶重建。如美國(guó)把既有的對(duì)于金融服務(wù)公司的法律要求應(yīng)用于算法自動(dòng)化決策系統(tǒng)的信用擔(dān)保與評(píng)分系統(tǒng),1970年頒布的《公平信用報(bào)告法》(FCRA)和1974年頒布的《平等信用機(jī)會(huì)法》(ECOA)均被適用于算法。此外,美國(guó)FTC法案授權(quán)中禁止不公平和欺騙性做法,也用以解決因使用算法自動(dòng)化決策而造成的消費(fèi)者損害。為了應(yīng)對(duì)新的挑戰(zhàn),法律也有為算法應(yīng)用量身定制的相關(guān)規(guī)定,如在我國(guó)《電子商務(wù)法》中,直接確立了電商平臺(tái)搜索類算法的明示義務(wù),個(gè)性化推薦算法的自然結(jié)果提供義務(wù)和消費(fèi)者保護(hù)義務(wù)。①參見張凌寒:《〈電子商務(wù)法〉中的算法責(zé)任及其完善》,《北京航空航天大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第6期。2019年《數(shù)據(jù)安全管理辦法(征求意見稿)》②參見《數(shù)據(jù)安全管理辦法(征求意見稿)》(2019年)第23條擬規(guī)定,網(wǎng)絡(luò)運(yùn)營(yíng)者利用用戶數(shù)據(jù)和算法推送新聞信息、商業(yè)廣告等(以下簡(jiǎn)稱“定向推送”),應(yīng)當(dāng)以明顯方式標(biāo)明“定推”字樣,為用戶提供停止接收定向推送信息的功能;用戶選擇停止接收定向推送信息時(shí),應(yīng)當(dāng)停止推送,并刪除已經(jīng)收集的設(shè)備識(shí)別碼等用戶數(shù)據(jù)和個(gè)人信息。第24條擬規(guī)定,網(wǎng)絡(luò)運(yùn)營(yíng)者利用大數(shù)據(jù)、人工智能等技術(shù)自動(dòng)合成新聞、博文、帖子、評(píng)論等信息,應(yīng)以明顯方式標(biāo)明“合成”字樣;不得以謀取利益或損害他人利益為目的自動(dòng)合成信息。、2020年3月實(shí)施的《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》③參見《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》(2020年)第12條規(guī)定:“網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺(tái)采用個(gè)性化算法推薦技術(shù)推送信息的,應(yīng)當(dāng)設(shè)置符合本規(guī)定第十條、第十一條規(guī)定要求的推薦模型,建立健全人工干預(yù)和用戶自主選擇機(jī)制?!逼渲械?0條、第11條對(duì)個(gè)性化推薦算法結(jié)果的場(chǎng)景作出了詳細(xì)列舉。均針對(duì)個(gè)性化推薦算法作出了相關(guān)規(guī)定??梢灶A(yù)見,未來(lái)平臺(tái)算法的注意義務(wù)將呈現(xiàn)擴(kuò)大化、明確化的趨勢(shì)。

    第二,平臺(tái)算法評(píng)估標(biāo)準(zhǔn)應(yīng)吸納不得對(duì)用戶行為操縱、保障用戶自治等技術(shù)倫理內(nèi)容。雖然國(guó)際組織、各國(guó)與企業(yè)提出了不同的人工倫理規(guī)范,但其中的一些已經(jīng)成為共識(shí)。例如,人工智能和算法設(shè)計(jì)的價(jià)值導(dǎo)向必須以人為本,并與核心主流社會(huì)價(jià)值觀相契合。正如德國(guó)倫理委員會(huì)提出的那樣,法律部門和合規(guī)工作人員必須將倫理融入全流程中,所有的利益相關(guān)方必須將在人工智能中融入?yún)⑴c性、公平、平等作為自己的責(zé)任。④See Opinion of theData Ethics Commission,159.(2018),https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).我國(guó)工業(yè)信息化部編撰的《人工智能倫理與道德標(biāo)準(zhǔn)》,也可作為平臺(tái)算法問責(zé)主觀過錯(cuò)的參考標(biāo)準(zhǔn)。

    第三,應(yīng)鼓勵(lì)平臺(tái)通過對(duì)用戶主動(dòng)承諾的形式,擴(kuò)大自評(píng)估的內(nèi)容。以美國(guó)聯(lián)邦貿(mào)易委員會(huì)對(duì)Facebook的5億美元罰款事件為例,其罰款的依據(jù)是Facebook于2012年自身作出的企業(yè)隱私政策。當(dāng)企業(yè)自己主動(dòng)提供了隱私政策和承諾之后,F(xiàn)TC方有理由對(duì)其違背隱私政策的行為以“欺騙性貿(mào)易”的名義予以處罰。世界著名通信商沃達(dá)豐(Vodafone)的AI框架提供了其人工智能的具體細(xì)節(jié),例如遵守其行為準(zhǔn)則和隱私承諾。⑤Vodafone Group Plc,Vodafone’s AI Framework,Technical report,Vodafone,Newbury,United Kingdom,(June 2019).IBM的AI日常道德規(guī)范為員工提供了一系列建議的行動(dòng)和問題。⑥IBM,Everyday Ethics for Artificial Intelligence,Technical report,IBM,New York,NY,(September 2018).這些平臺(tái)公司對(duì)用戶或員工的承諾,均可成為監(jiān)管部門的依據(jù),用以檢查其是否遵守了承諾的守則以及遵守的程度。

    第四,高風(fēng)險(xiǎn)的算法系統(tǒng)需由監(jiān)管部門制定通用評(píng)估標(biāo)準(zhǔn),技術(shù)標(biāo)準(zhǔn)也應(yīng)作為平臺(tái)算法問責(zé)的依據(jù)。例如,在醫(yī)療領(lǐng)域中使用的算法,首先必須符合醫(yī)療質(zhì)量要求的技術(shù)標(biāo)準(zhǔn),保證評(píng)估與診斷的準(zhǔn)確性。使用于敏感領(lǐng)域的高風(fēng)險(xiǎn)算法也應(yīng)由監(jiān)管部門制定相應(yīng)的技術(shù)標(biāo)準(zhǔn)。世界范圍內(nèi)的算法與人工智能標(biāo)準(zhǔn)制定工作已經(jīng)展開。2016年,美國(guó)電氣與電子工程師協(xié)會(huì)(IEEE)發(fā)起了IEEE全球自治與智能系統(tǒng)倫理倡議,以應(yīng)對(duì)人們對(duì)算法系統(tǒng)意外后果的關(guān)注。這項(xiàng)舉措的一部分是啟動(dòng)開發(fā) IEEE P7000系列基于道德的標(biāo)準(zhǔn),例如 P7001 自治系統(tǒng),P7003算法偏差考慮。我國(guó)應(yīng)及時(shí)制定符合國(guó)際標(biāo)準(zhǔn)的國(guó)內(nèi)標(biāo)準(zhǔn)。違反技術(shù)標(biāo)準(zhǔn)的算法應(yīng)被認(rèn)定是平臺(tái)未盡到應(yīng)盡的注意義務(wù)。

    將以上內(nèi)容作為算法影響評(píng)估的標(biāo)準(zhǔn)范疇,既可以考察算法對(duì)個(gè)人權(quán)利的作用,也涵蓋了算法系統(tǒng)對(duì)社會(huì)、經(jīng)濟(jì)、人權(quán)、乃至生態(tài)環(huán)境等多方面的影響。尤其是可以直接為日后的平臺(tái)問責(zé)提供認(rèn)定主觀過錯(cuò)的依據(jù)。

    (二)算法評(píng)估對(duì)象:全周期問責(zé)點(diǎn)設(shè)置

    《草案》確立的算法風(fēng)險(xiǎn)評(píng)估制度是事前機(jī)制,而算法評(píng)估作為平臺(tái)問責(zé)的核心制度,可以在算法設(shè)計(jì)、部署、運(yùn)行和結(jié)果輸出全生命周期進(jìn)行評(píng)估,以設(shè)置平臺(tái)的問責(zé)點(diǎn)。

    僅進(jìn)行事前評(píng)估無(wú)法滿足平臺(tái)問責(zé)的緊迫需要。首先,無(wú)論是個(gè)人數(shù)據(jù)權(quán)利保護(hù)還是公共利益保護(hù),并不是靜態(tài)的發(fā)展過程,而是存在各種風(fēng)險(xiǎn)的動(dòng)態(tài)演變。以前對(duì)于個(gè)人數(shù)據(jù)的治理與保護(hù)更強(qiáng)調(diào)數(shù)據(jù)主體的權(quán)利義務(wù),如數(shù)據(jù)控制者必須經(jīng)用戶同意才能對(duì)數(shù)據(jù)進(jìn)行使用以及各種當(dāng)用戶個(gè)人數(shù)據(jù)被損害后的救濟(jì)途徑。其次,算法系統(tǒng)帶來(lái)的影響多來(lái)源于其二次使用,并非僅個(gè)人信息的收集與使用。個(gè)人數(shù)據(jù)保護(hù)的制度價(jià)值已經(jīng)從私法角度向公共性范疇轉(zhuǎn)化,在數(shù)據(jù)分享、二次利用中應(yīng)考慮到社會(huì)公共利益與平臺(tái)問責(zé)的需要。再次,對(duì)算法進(jìn)行事前評(píng)估可能將評(píng)估對(duì)象僅局限于已獲取和即將獲取的數(shù)據(jù)主體的權(quán)利,忽略了算法可能對(duì)未獲取數(shù)據(jù)主體的權(quán)利也產(chǎn)生重要影響。以外賣騎手導(dǎo)航算法為例,外賣騎手導(dǎo)航算法不僅涉及外賣買賣雙方的利益,也涉及到交通行人的安全,而行人的數(shù)據(jù)根本不會(huì)有機(jī)會(huì)參與到算法的數(shù)據(jù)處理中。

    考慮到平臺(tái)問責(zé)的需求,必須考慮到對(duì)算法整個(gè)生命周期進(jìn)行評(píng)估,作為事后問責(zé)的問責(zé)點(diǎn)。首先,算法設(shè)計(jì)和測(cè)試階段,平臺(tái)應(yīng)事前對(duì)算法進(jìn)行充分的測(cè)試才可以上線使用。正如聯(lián)合國(guó)國(guó)際治理論壇專家報(bào)告所言,平臺(tái)應(yīng)采取“持續(xù)性、前瞻性和反應(yīng)性”的步驟來(lái)保證相關(guān)技術(shù)滿足其風(fēng)險(xiǎn)評(píng)估的技術(shù)需求。①As part of fulfilling this responsibility,private actors should take on-going,proactive and reactive steps to ensure that they do not cause or contribute to human rights abuses and that their innovation processes are human-rights friendly… The scale and complexity of the means through which they meet their responsibilities may vary,however,taking into account their means and the severity of potential impact on human rights by their services and systems.See Draft Recommendation of the Committee of Ministers to member States on human rights impacts of algorithmic systems,Committee of experts on human rights dimensions of automated data processing and different forms of artificial intelligence(MSI-AUT),Council of Europe,10(2018).https://www.intgovforum.org/multilingual/sites/default/files/webform/msi-aut201806_eng_draft_recommendation_12_november_2018.docx__0.pdf.(Last visited by Apr.10,2020).例如,微軟的AI聊天算法Tay在推特(Twitter)上運(yùn)行了幾個(gè)小時(shí)后,就發(fā)表了同情納粹的言論。②See Daniel Zwerdling:Internet Trolls Turn A Computer Into A Nazi,https://www.wnyc.org/story/internet-trolls-turn-a-computer-into-a-nazi/.(Last visited by Apr.21,2020).微軟顯然并沒有設(shè)計(jì)這一結(jié)果出現(xiàn),但是其作為設(shè)計(jì)部署者應(yīng)該能夠預(yù)見到將一個(gè)機(jī)器人暴露在推特這個(gè)不乏騷擾和仇恨言論平臺(tái)上的危險(xiǎn),在事前應(yīng)做充分的測(cè)試才能允許其在平臺(tái)上運(yùn)行。

    其次,算法運(yùn)行階段,平臺(tái)應(yīng)保證算法的運(yùn)行符合設(shè)計(jì)者和部署者的意圖,避免出現(xiàn)意外不可控的結(jié)果。為考察平臺(tái)對(duì)算法風(fēng)險(xiǎn)與過程控制能力而設(shè)置的問責(zé)點(diǎn),應(yīng)包括處理可能發(fā)生風(fēng)險(xiǎn)的預(yù)案與措施。具體包括相關(guān)技術(shù)信息的留存措施、處理相關(guān)風(fēng)險(xiǎn)的技術(shù)措施、與相關(guān)部門溝通與協(xié)助的措施等。德國(guó)倫理委員會(huì)建議為算法建立質(zhì)量密封制度,鼓勵(lì)平臺(tái)自愿或強(qiáng)制留存算法運(yùn)行的證據(jù),以方便日后責(zé)任的回溯。平臺(tái)企業(yè)內(nèi)部專門負(fù)責(zé)與監(jiān)管部門合作通信的“算法管理人”也被作為一項(xiàng)制度主張?zhí)岢?,其職?zé)為監(jiān)督算法的運(yùn)行并向平臺(tái)提出建議。

    最后,算法結(jié)果輸出階段,平臺(tái)應(yīng)及時(shí)評(píng)估算法運(yùn)行的結(jié)果。以2020年4月份判決的“螞蟻金服訴企查查案”為例,企查查推送的涉及螞蟻微貸的清算信息,因算法運(yùn)行推送方式的設(shè)置問題,引發(fā)公眾將歷史清算信息誤認(rèn)為即時(shí)信息,發(fā)布了“螞蟻金服破產(chǎn)清算”的算法錯(cuò)誤結(jié)果。這一案例顯示,即使算法自動(dòng)抓取數(shù)據(jù)得出結(jié)果,平臺(tái)仍應(yīng)負(fù)有審查算法結(jié)果的注意義務(wù)。正如判決書所言“大數(shù)據(jù)企業(yè)對(duì)于收集、發(fā)布的數(shù)據(jù)信息仍具有基本的注意義務(wù),對(duì)于發(fā)布的重大負(fù)面敏感信息,應(yīng)當(dāng)通過數(shù)據(jù)過濾、交叉檢驗(yàn)等數(shù)據(jù)處理,確保數(shù)據(jù)質(zhì)量”。由此可見,平臺(tái)算法評(píng)估應(yīng)設(shè)置于算法運(yùn)行的多個(gè)階段,例如,通過進(jìn)行敏感性分析、有效性檢查和糾錯(cuò)過程,敦促平臺(tái)仔細(xì)調(diào)查錯(cuò)誤和不確定的領(lǐng)域,并在需要的情況下啟動(dòng)第三方的算法審計(jì)。

    (三)算法評(píng)估結(jié)果:?jiǎn)栘?zé)強(qiáng)度確定劃分

    《草案》中并未明確指出需要進(jìn)行評(píng)估的算法范疇、算法評(píng)估的主體、算法評(píng)估結(jié)果信息披露的對(duì)象與公布的范疇。對(duì)于不同風(fēng)險(xiǎn)等級(jí)的算法,評(píng)估的主體、評(píng)估的結(jié)果、以及行政機(jī)關(guān)的監(jiān)管處罰跟進(jìn)措施應(yīng)有所區(qū)別。制度相關(guān)內(nèi)容的缺失,使得算法評(píng)估制度并未對(duì)平臺(tái)問責(zé)起到應(yīng)有的支撐作用。

    第一,需明確算法風(fēng)險(xiǎn)等級(jí),不同級(jí)別評(píng)估制度對(duì)應(yīng)不同風(fēng)險(xiǎn)等級(jí)算法問責(zé)需求。世界范圍內(nèi),算法的分級(jí)評(píng)估制度逐漸成為算法規(guī)制的前提。歐盟、德國(guó)、加拿大、美國(guó)分別建立了不同名稱的算法分級(jí)評(píng)估制度。應(yīng)盡快統(tǒng)一我國(guó)現(xiàn)階段各部門和行業(yè)協(xié)會(huì)、第三方機(jī)構(gòu)進(jìn)行的評(píng)估,應(yīng)對(duì)不同風(fēng)險(xiǎn)級(jí)別的算法系統(tǒng)。

    算法評(píng)估制度目的是建立風(fēng)險(xiǎn)適應(yīng)型的算法監(jiān)管,使得監(jiān)管嚴(yán)格程度基于算法可能造成損害的可能性以及損害的嚴(yán)重性,針對(duì)不同算法系統(tǒng)的關(guān)鍵模型構(gòu)建不同監(jiān)管體系。風(fēng)險(xiǎn)評(píng)估的判定要素取決于受到法律保護(hù)的權(quán)益的重要性。包括但不限于:用戶的生命權(quán)、健康權(quán)、人格權(quán)和隱私權(quán)、名譽(yù)權(quán)、財(cái)產(chǎn)權(quán)等受到潛在侵害的程度;算法使用數(shù)據(jù)的特定敏感性(如兒童數(shù)據(jù),敏感個(gè)人信息);對(duì)個(gè)人或群體的潛在危害程度(不能以資產(chǎn)規(guī)模作為衡量標(biāo)準(zhǔn));受影響的個(gè)人數(shù)量(用戶規(guī)模)和潛在可能受到損害的用戶總數(shù);以及對(duì)整個(gè)社會(huì)公共利益的損害等。在此類算法風(fēng)險(xiǎn)類型的判斷標(biāo)準(zhǔn)中可以貫徹社會(huì)主義核心價(jià)值觀,將法律底線、道德底線、技術(shù)倫理以及算法設(shè)計(jì)者和應(yīng)用者對(duì)用戶的承諾包括在風(fēng)險(xiǎn)評(píng)估的標(biāo)準(zhǔn)之中。

    第二,需確定不同評(píng)估結(jié)果對(duì)應(yīng)的不同監(jiān)管強(qiáng)度體系。低風(fēng)險(xiǎn)的算法評(píng)估結(jié)果,導(dǎo)向?qū)捤杀O(jiān)管與過錯(cuò)責(zé)任的追責(zé)原則;而高風(fēng)險(xiǎn)的算法評(píng)估結(jié)果,對(duì)應(yīng)著嚴(yán)格的全流程監(jiān)管、甚至是無(wú)過錯(cuò)責(zé)任。

    以德國(guó)倫理委員會(huì)對(duì)五個(gè)不同風(fēng)險(xiǎn)等級(jí)算法系統(tǒng)的監(jiān)管級(jí)別為例,對(duì)于低風(fēng)險(xiǎn)第一、二級(jí)算法系統(tǒng),以事后問責(zé)作為主要機(jī)制。而對(duì)于第三級(jí)及以上的、具有一般或明顯危害的系統(tǒng),應(yīng)考慮以發(fā)放許可證的方式,促使審批、監(jiān)管常規(guī)化。另外,由于許多算法系統(tǒng)都是高度動(dòng)態(tài)的,因此,在授予許可證的情況下將需要定期審查。例如,導(dǎo)航算法的提供商可以訪問使用所有車輛和移動(dòng)性數(shù)據(jù)生成的數(shù)據(jù)池。如果這些數(shù)據(jù)僅用于預(yù)測(cè)交通擁堵,則關(guān)鍵級(jí)別應(yīng)歸類為第一等級(jí)的“可忽略”。但是,如果使用算法來(lái)匹配用戶和車輛,可能影響消費(fèi)者權(quán)益,則應(yīng)為第二等級(jí)。如果使用智能算法來(lái)控制流量。例如,如果算法可以基于由使用車輛實(shí)時(shí)確定的道路、鐵路、水路和航空運(yùn)輸組成的移動(dòng)系統(tǒng)的總體使用情況,則可能應(yīng)適用第三等級(jí)。

    對(duì)于更高等級(jí)的、具有相當(dāng)潛在風(fēng)險(xiǎn)的系統(tǒng),如在信用評(píng)估方面具有準(zhǔn)壟斷地位的公司,應(yīng)公布其算法細(xì)節(jié),包括計(jì)算所參考的因素及其權(quán)重,算法所使用的數(shù)據(jù),以及對(duì)算法模型的內(nèi)在邏輯進(jìn)行解釋;對(duì)于自動(dòng)化武器等具有潛在不合理危險(xiǎn)的系統(tǒng),則“完全或者部分”禁止。

    由此可見,算法評(píng)估制度所提倡的分級(jí)監(jiān)管替代了傳統(tǒng)平臺(tái)問責(zé)路徑中“全有全無(wú)”的判斷,利用風(fēng)險(xiǎn)等級(jí)的量化,既可以提升數(shù)據(jù)處理的可操作性,也可以減少企業(yè)的合規(guī)壓力,并促進(jìn)數(shù)據(jù)的合理使用。①參見范為:《大數(shù)據(jù)時(shí)代個(gè)人信息保護(hù)的路徑重構(gòu)》,《環(huán)球法律評(píng)論》2016年第5期。歐盟相關(guān)文件認(rèn)為,評(píng)估制度將關(guān)注點(diǎn)由數(shù)據(jù)處理行為的統(tǒng)一監(jiān)管轉(zhuǎn)變?yōu)獒槍?duì)特定數(shù)據(jù)處理行為的動(dòng)態(tài)風(fēng)險(xiǎn)管理,并貫穿于項(xiàng)目規(guī)劃和執(zhí)行過程中,以盡早地發(fā)現(xiàn)、評(píng)估、應(yīng)對(duì)有關(guān)數(shù)據(jù)處理、個(gè)人權(quán)利和自由的顯著風(fēng)險(xiǎn)。②Article 29 Data Protection Working Party: Statement on the role of a risk based approach in data protection legal frameworks,May 30 2014.http://ec.europa.eu/justice/data-protection/index_en.htm.(Last visited by Feb.21,2021).同時(shí)也要注意,對(duì)算法的風(fēng)險(xiǎn)應(yīng)符合相對(duì)安全觀,即承認(rèn)將風(fēng)險(xiǎn)降低到零是不切實(shí)際的。因此,評(píng)估制度的主要任務(wù)是識(shí)別風(fēng)險(xiǎn)、并將特定數(shù)據(jù)處理行為的風(fēng)險(xiǎn)等級(jí)降至數(shù)據(jù)控制者能夠承擔(dān)的水平。③Gellert Raphaёl.Data protection: a risk regulation? Between the risk management of everything and the precautionary alternative,5 International Data Privacy Law,3,(2015).

    四、結(jié)語(yǔ)

    平臺(tái)通過算法設(shè)計(jì)、部署和運(yùn)行,將可能對(duì)社會(huì)造成危害的“行為”外包給了算法。世界上沒有不出故障的技術(shù),正如世界上沒有完美的人。當(dāng)平臺(tái)造成了損害結(jié)果時(shí),不能穿透“技術(shù)面紗”,直指人(平臺(tái))的主觀過錯(cuò),就會(huì)存在潛在的責(zé)任缺口。如果放任平臺(tái)以“技術(shù)中立”和“算法黑箱”繼續(xù)逃避法律責(zé)任,則意味著人類將終審權(quán)拱手交給了機(jī)器。④Jeremy Kun,Big Data Algorithms Can Discriminate,and It's Not Clear What to Do About It,CONVERSATION,http://theconversation.com/big-dataalgorithms- can-discriminate-and-its-not-clear-what-to-do-about-it-45849.(Last visited by Mar.22,2020).

    因此,平臺(tái)問責(zé)的最佳方案應(yīng)聚焦于損害發(fā)生之前的防控措施而非事后的補(bǔ)救方法。算法評(píng)估制度重新建立并拓展了傳統(tǒng)的數(shù)據(jù)處理模式,側(cè)重于事前的預(yù)防方法,強(qiáng)調(diào)“風(fēng)險(xiǎn)分析”“影響評(píng)估”和“生命周期管理”等理念的引入和運(yùn)用,通過對(duì)數(shù)據(jù)處理風(fēng)險(xiǎn)的評(píng)估和管理,促使數(shù)據(jù)處理的傳統(tǒng)監(jiān)管模式轉(zhuǎn)向以風(fēng)險(xiǎn)管理為路徑的新型數(shù)據(jù)處理模式。①參見崔聰聰、許智鑫:《數(shù)據(jù)保護(hù)影響評(píng)估制度:歐盟立法與中國(guó)方案》,《圖書情報(bào)工作》2020年第5期。針對(duì)數(shù)據(jù)控制者,有利于降低其合規(guī)風(fēng)險(xiǎn)、獲得市場(chǎng)美譽(yù);針對(duì)數(shù)據(jù)主體,有利于保障個(gè)人數(shù)據(jù)處理權(quán)益;針對(duì)數(shù)據(jù)監(jiān)管機(jī)構(gòu),有利于實(shí)施有效監(jiān)管。

    對(duì)于人工智能時(shí)代平臺(tái)問責(zé)體系的構(gòu)建,算法評(píng)估制度具有核心支柱功能。算法評(píng)估的標(biāo)準(zhǔn)提供了平臺(tái)問責(zé)主觀過錯(cuò)的認(rèn)定機(jī)制,算法評(píng)估覆蓋算法運(yùn)行生命周期,使得問責(zé)點(diǎn)設(shè)置遍布平臺(tái)運(yùn)行事前、事中、事后,不同算法評(píng)估結(jié)果則可以對(duì)接不同算法的監(jiān)管強(qiáng)度。從事前標(biāo)準(zhǔn)、過程評(píng)估和評(píng)估結(jié)果三個(gè)環(huán)節(jié)來(lái)看,實(shí)行以風(fēng)險(xiǎn)為基礎(chǔ)的方式更有利于保護(hù)個(gè)人的權(quán)利和自由,同時(shí)更有利于減少新技術(shù)給經(jīng)濟(jì)、社會(huì)等帶來(lái)的沖擊。

    猜你喜歡
    數(shù)據(jù)處理制度影響
    認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
    是什么影響了滑動(dòng)摩擦力的大小
    ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
    哪些顧慮影響擔(dān)當(dāng)?
    淺探遼代捺缽制度及其形成與層次
    簽約制度怎么落到實(shí)處
    構(gòu)建好制度 織牢保障網(wǎng)
    一項(xiàng)完善中的制度
    擴(kuò)鏈劑聯(lián)用對(duì)PETG擴(kuò)鏈反應(yīng)與流變性能的影響
    基于希爾伯特- 黃變換的去噪法在外測(cè)數(shù)據(jù)處理中的應(yīng)用
    欧美人与善性xxx| 亚洲怡红院男人天堂| 亚洲人成网站高清观看| 中文乱码字字幕精品一区二区三区| av一本久久久久| 亚洲熟女精品中文字幕| 亚洲第一区二区三区不卡| 国产一区二区三区综合在线观看 | 国产精品久久久久久精品电影小说 | 亚洲av欧美aⅴ国产| 在线精品无人区一区二区三 | av免费观看日本| 男女啪啪激烈高潮av片| 亚洲第一区二区三区不卡| 欧美+日韩+精品| 国产欧美日韩精品一区二区| 午夜精品国产一区二区电影| 一二三四中文在线观看免费高清| 一级片'在线观看视频| 深夜a级毛片| 男人舔奶头视频| 老司机影院毛片| 久久av网站| tube8黄色片| 亚洲成人一二三区av| 亚洲色图综合在线观看| 激情五月婷婷亚洲| 成人国产av品久久久| 亚洲欧美成人综合另类久久久| 欧美日韩一区二区视频在线观看视频在线| 亚洲丝袜综合中文字幕| 国产v大片淫在线免费观看| 水蜜桃什么品种好| 国模一区二区三区四区视频| 精品少妇久久久久久888优播| 国产精品人妻久久久影院| 国产伦精品一区二区三区视频9| 中文天堂在线官网| 在线天堂最新版资源| 亚洲最大成人中文| 国产成人精品一,二区| 免费看日本二区| 少妇熟女欧美另类| 一级二级三级毛片免费看| 国产精品爽爽va在线观看网站| 色吧在线观看| 久久99热这里只有精品18| 国产午夜精品久久久久久一区二区三区| 边亲边吃奶的免费视频| 精品久久久久久电影网| 尾随美女入室| 精品久久久噜噜| 亚洲av在线观看美女高潮| 欧美丝袜亚洲另类| 午夜激情福利司机影院| 在现免费观看毛片| 亚洲综合精品二区| 亚洲欧美日韩卡通动漫| 五月玫瑰六月丁香| 黄片无遮挡物在线观看| 亚洲欧美一区二区三区黑人 | 久久99精品国语久久久| 肉色欧美久久久久久久蜜桃| 国产白丝娇喘喷水9色精品| 国产精品人妻久久久久久| 少妇精品久久久久久久| 亚洲国产毛片av蜜桃av| 欧美 日韩 精品 国产| 久久久久国产精品人妻一区二区| 国产 精品1| 一本一本综合久久| 亚洲va在线va天堂va国产| 一二三四中文在线观看免费高清| 少妇裸体淫交视频免费看高清| av一本久久久久| 大片电影免费在线观看免费| 少妇的逼好多水| 欧美少妇被猛烈插入视频| 中文欧美无线码| 国产精品一区二区性色av| 亚洲电影在线观看av| 久久国产精品大桥未久av | 欧美97在线视频| 欧美97在线视频| 国产成人a区在线观看| 一级爰片在线观看| 国产日韩欧美在线精品| 久久久久久久亚洲中文字幕| 涩涩av久久男人的天堂| 国产日韩欧美亚洲二区| 热re99久久精品国产66热6| 免费黄色在线免费观看| 狂野欧美激情性bbbbbb| 热re99久久精品国产66热6| 国产视频内射| 亚洲欧美一区二区三区国产| 三级国产精品片| 午夜激情福利司机影院| 麻豆乱淫一区二区| 国产精品一二三区在线看| 少妇人妻精品综合一区二区| 少妇猛男粗大的猛烈进出视频| 亚洲综合精品二区| 亚洲欧美清纯卡通| 日本一二三区视频观看| 亚洲国产色片| 亚洲人与动物交配视频| 免费在线观看成人毛片| 日韩一区二区三区影片| 国产亚洲一区二区精品| 欧美丝袜亚洲另类| 干丝袜人妻中文字幕| 国产一级毛片在线| 三级国产精品片| 干丝袜人妻中文字幕| 啦啦啦啦在线视频资源| 狂野欧美激情性bbbbbb| 中文乱码字字幕精品一区二区三区| 能在线免费看毛片的网站| 欧美成人一区二区免费高清观看| 欧美xxxx黑人xx丫x性爽| 久久午夜福利片| 亚洲高清免费不卡视频| 日韩三级伦理在线观看| 最后的刺客免费高清国语| 99热全是精品| 老师上课跳d突然被开到最大视频| 亚洲精华国产精华液的使用体验| 美女脱内裤让男人舔精品视频| 亚洲欧美精品专区久久| 你懂的网址亚洲精品在线观看| 日本-黄色视频高清免费观看| 亚洲第一区二区三区不卡| 欧美日韩一区二区视频在线观看视频在线| 国产熟女欧美一区二区| 一区二区三区精品91| 国产精品秋霞免费鲁丝片| 久久人人爽人人爽人人片va| 亚洲色图综合在线观看| 国产人妻一区二区三区在| 亚洲图色成人| 成人高潮视频无遮挡免费网站| 我的老师免费观看完整版| 久久99蜜桃精品久久| 亚洲一级一片aⅴ在线观看| 一级黄片播放器| 在线 av 中文字幕| 少妇 在线观看| 青春草视频在线免费观看| 夫妻性生交免费视频一级片| 欧美日韩精品成人综合77777| 国产综合精华液| 嫩草影院入口| 最近的中文字幕免费完整| 亚洲精品中文字幕在线视频 | 国产无遮挡羞羞视频在线观看| 成年人午夜在线观看视频| 青春草国产在线视频| av黄色大香蕉| 人妻 亚洲 视频| 岛国毛片在线播放| 在线看a的网站| 欧美bdsm另类| 精品久久久久久久久av| 精品少妇久久久久久888优播| 欧美成人a在线观看| a级毛片免费高清观看在线播放| 免费大片18禁| 嫩草影院入口| 97在线视频观看| 国产精品一区二区在线不卡| 狂野欧美激情性xxxx在线观看| 下体分泌物呈黄色| 亚洲国产精品国产精品| 国产伦在线观看视频一区| 国产成人精品久久久久久| 日本色播在线视频| 在线观看国产h片| 久久韩国三级中文字幕| 久久久久性生活片| 精品一区二区三卡| 国产高清不卡午夜福利| 久久99蜜桃精品久久| 日韩三级伦理在线观看| 日韩成人av中文字幕在线观看| 亚洲va在线va天堂va国产| 嘟嘟电影网在线观看| 久久久久久久亚洲中文字幕| 黄色配什么色好看| 午夜日本视频在线| 国产黄频视频在线观看| 国产亚洲91精品色在线| 色视频在线一区二区三区| 国产精品一区www在线观看| 免费黄网站久久成人精品| 精品一品国产午夜福利视频| 久久久久国产网址| 男女啪啪激烈高潮av片| 亚洲av.av天堂| 一级二级三级毛片免费看| 毛片女人毛片| 久久久久久久大尺度免费视频| 亚洲精品乱码久久久v下载方式| 十八禁网站网址无遮挡 | 亚洲丝袜综合中文字幕| 熟女电影av网| 亚洲天堂av无毛| 人人妻人人添人人爽欧美一区卜 | a级一级毛片免费在线观看| av.在线天堂| 26uuu在线亚洲综合色| 国产综合精华液| 国产精品99久久99久久久不卡 | 精品少妇黑人巨大在线播放| 22中文网久久字幕| 看非洲黑人一级黄片| 91精品国产国语对白视频| 男人狂女人下面高潮的视频| 99热这里只有是精品50| 亚洲精品第二区| 小蜜桃在线观看免费完整版高清| 亚洲精品日韩在线中文字幕| av一本久久久久| 手机成人av网站| 精品亚洲成a人片在线观看| 日韩,欧美,国产一区二区三区| 亚洲av欧美aⅴ国产| 亚洲伊人久久精品综合| 久久综合国产亚洲精品| 老司机亚洲免费影院| 巨乳人妻的诱惑在线观看| 美女脱内裤让男人舔精品视频| 国产成人一区二区三区免费视频网站 | 中文字幕人妻丝袜制服| 亚洲av成人精品一二三区| 午夜免费鲁丝| 在线观看www视频免费| 亚洲视频免费观看视频| 亚洲欧美精品自产自拍| 亚洲成国产人片在线观看| 亚洲av片天天在线观看| 每晚都被弄得嗷嗷叫到高潮| 亚洲精品一二三| 国产精品偷伦视频观看了| 美女扒开内裤让男人捅视频| 9热在线视频观看99| 天天躁狠狠躁夜夜躁狠狠躁| 久久人妻熟女aⅴ| 9色porny在线观看| a 毛片基地| 两个人免费观看高清视频| 日韩大码丰满熟妇| 成人18禁高潮啪啪吃奶动态图| 国产无遮挡羞羞视频在线观看| 男女床上黄色一级片免费看| 中文字幕人妻熟女乱码| 伦理电影免费视频| 色播在线永久视频| 亚洲午夜精品一区,二区,三区| 新久久久久国产一级毛片| 波野结衣二区三区在线| 七月丁香在线播放| 日日爽夜夜爽网站| 新久久久久国产一级毛片| 99国产综合亚洲精品| 狂野欧美激情性xxxx| 一本大道久久a久久精品| 亚洲图色成人| 久久精品人人爽人人爽视色| 久久性视频一级片| 国产高清国产精品国产三级| 国产精品一区二区精品视频观看| 在线观看免费视频网站a站| 大陆偷拍与自拍| 国产麻豆69| 在线观看免费高清a一片| 天天躁夜夜躁狠狠躁躁| 日韩欧美一区视频在线观看| 男的添女的下面高潮视频| 如日韩欧美国产精品一区二区三区| 一级片'在线观看视频| 一本综合久久免费| 在线观看一区二区三区激情| 欧美黄色片欧美黄色片| 国产免费福利视频在线观看| 日本wwww免费看| 咕卡用的链子| 男女午夜视频在线观看| 国产亚洲欧美在线一区二区| 欧美成狂野欧美在线观看| 日本av手机在线免费观看| 亚洲精品在线美女| 尾随美女入室| 中文欧美无线码| 伦理电影免费视频| 丝袜脚勾引网站| tube8黄色片| 国产精品av久久久久免费| 免费不卡黄色视频| 女人爽到高潮嗷嗷叫在线视频| 老汉色∧v一级毛片| 国产一区二区激情短视频 | 黄频高清免费视频| 国产麻豆69| 大码成人一级视频| 老司机在亚洲福利影院| 国产精品一区二区精品视频观看| 国产成人系列免费观看| 后天国语完整版免费观看| 高潮久久久久久久久久久不卡| 女人被躁到高潮嗷嗷叫费观| 午夜福利免费观看在线| 日韩制服骚丝袜av| 咕卡用的链子| 999久久久国产精品视频| 成人免费观看视频高清| 69精品国产乱码久久久| 午夜福利视频精品| 黑人巨大精品欧美一区二区蜜桃| 国产三级黄色录像| 国产熟女午夜一区二区三区| 久久久久久久精品精品| 狠狠精品人妻久久久久久综合| 国产欧美日韩精品亚洲av| 久久99精品国语久久久| 男女边吃奶边做爰视频| 老司机在亚洲福利影院| 青春草视频在线免费观看| 久久天躁狠狠躁夜夜2o2o | 久久精品国产a三级三级三级| 90打野战视频偷拍视频| 国产国语露脸激情在线看| 亚洲 欧美一区二区三区| 丝袜在线中文字幕| 国产三级黄色录像| 黄色片一级片一级黄色片| 精品国产国语对白av| 精品亚洲乱码少妇综合久久| 国产av精品麻豆| 爱豆传媒免费全集在线观看| 日韩免费高清中文字幕av| 日本91视频免费播放| 亚洲欧美精品自产自拍| 日本猛色少妇xxxxx猛交久久| 国产精品久久久久久精品电影小说| 男人添女人高潮全过程视频| 欧美激情高清一区二区三区| av又黄又爽大尺度在线免费看| 日本欧美国产在线视频| 在线观看免费视频网站a站| 婷婷色麻豆天堂久久| 丰满迷人的少妇在线观看| 99热全是精品| 久久久久精品人妻al黑| 99热国产这里只有精品6| 中文字幕精品免费在线观看视频| 亚洲国产看品久久| 亚洲黑人精品在线| 国产视频首页在线观看| 黄网站色视频无遮挡免费观看| 黑丝袜美女国产一区| 亚洲综合色网址| 亚洲精品国产区一区二| 午夜福利免费观看在线| 男女国产视频网站| 亚洲图色成人| 国产成人精品久久二区二区91| 黑人欧美特级aaaaaa片| 天天躁夜夜躁狠狠躁躁| 最近中文字幕2019免费版| 中文字幕色久视频| 美女国产高潮福利片在线看| 久久天堂一区二区三区四区| 69精品国产乱码久久久| 欧美日韩国产mv在线观看视频| 在线观看人妻少妇| 国产福利在线免费观看视频| 夫妻午夜视频| 丝袜脚勾引网站| 看免费成人av毛片| 99国产精品免费福利视频| 国产欧美日韩综合在线一区二区| 亚洲精品国产av成人精品| 精品亚洲成国产av| 亚洲国产精品一区二区三区在线| 夫妻午夜视频| 每晚都被弄得嗷嗷叫到高潮| 女人久久www免费人成看片| 亚洲成国产人片在线观看| 下体分泌物呈黄色| 国产一卡二卡三卡精品| 两性夫妻黄色片| 午夜日韩欧美国产| 波多野结衣av一区二区av| 男女之事视频高清在线观看 | 男女国产视频网站| 国产精品久久久久久精品古装| 国产精品.久久久| 亚洲欧美成人综合另类久久久| 免费在线观看视频国产中文字幕亚洲 | 成年女人毛片免费观看观看9 | 欧美中文综合在线视频| 秋霞在线观看毛片| 国产成人精品在线电影| 欧美另类一区| 纯流量卡能插随身wifi吗| 90打野战视频偷拍视频| 国产精品偷伦视频观看了| 精品第一国产精品| 国产欧美日韩一区二区三区在线| 亚洲欧美一区二区三区黑人| 国产男人的电影天堂91| 色播在线永久视频| kizo精华| 电影成人av| 亚洲av男天堂| 熟女少妇亚洲综合色aaa.| 国产黄色视频一区二区在线观看| 最近中文字幕2019免费版| av一本久久久久| 亚洲精品国产av蜜桃| 亚洲国产精品一区二区三区在线| 啦啦啦中文免费视频观看日本| 精品人妻在线不人妻| 婷婷色综合大香蕉| 热99国产精品久久久久久7| 亚洲男人天堂网一区| 99热网站在线观看| 亚洲熟女毛片儿| 一级毛片黄色毛片免费观看视频| 亚洲国产精品一区三区| 国产精品久久久av美女十八| 麻豆国产av国片精品| 老司机深夜福利视频在线观看 | 欧美日韩亚洲高清精品| 国产成人精品久久二区二区91| 50天的宝宝边吃奶边哭怎么回事| 丝瓜视频免费看黄片| 亚洲一区二区三区欧美精品| 亚洲av片天天在线观看| 国产午夜精品一二区理论片| 亚洲人成电影免费在线| 麻豆乱淫一区二区| 免费女性裸体啪啪无遮挡网站| 9色porny在线观看| 亚洲欧美色中文字幕在线| 亚洲美女黄色视频免费看| 国产欧美日韩综合在线一区二区| 老鸭窝网址在线观看| 黄片播放在线免费| 精品一区二区三卡| 只有这里有精品99| 久久精品亚洲熟妇少妇任你| 看免费成人av毛片| 麻豆国产av国片精品| 亚洲欧美清纯卡通| 国产欧美日韩一区二区三 | www.av在线官网国产| 日韩av免费高清视频| 91字幕亚洲| 1024视频免费在线观看| 亚洲精品国产av成人精品| 在线天堂中文资源库| 欧美另类一区| av在线老鸭窝| 免费观看a级毛片全部| 老司机在亚洲福利影院| 国产精品av久久久久免费| 久久精品久久精品一区二区三区| 亚洲第一av免费看| 亚洲人成电影免费在线| 欧美日韩精品网址| 国产有黄有色有爽视频| 99久久99久久久精品蜜桃| 在线天堂中文资源库| 国产片内射在线| 精品人妻1区二区| 99国产精品一区二区蜜桃av | 老司机深夜福利视频在线观看 | 亚洲视频免费观看视频| 777米奇影视久久| 成人国产一区最新在线观看 | 久久精品国产综合久久久| 亚洲成人国产一区在线观看 | 中文字幕亚洲精品专区| 交换朋友夫妻互换小说| 欧美日韩国产mv在线观看视频| 黄片小视频在线播放| av一本久久久久| av视频免费观看在线观看| 国产激情久久老熟女| 亚洲av电影在线进入| 亚洲,一卡二卡三卡| 国产主播在线观看一区二区 | 久久久久久久国产电影| 这个男人来自地球电影免费观看| 一区二区三区乱码不卡18| 亚洲成av片中文字幕在线观看| 大码成人一级视频| 嫩草影视91久久| 只有这里有精品99| 一本大道久久a久久精品| 久久久久精品人妻al黑| 亚洲欧洲日产国产| 国产在线观看jvid| 国产精品一国产av| 国产精品一区二区精品视频观看| 成在线人永久免费视频| 人人妻人人添人人爽欧美一区卜| av欧美777| 女人精品久久久久毛片| 国产高清视频在线播放一区 | 欧美少妇被猛烈插入视频| 日韩熟女老妇一区二区性免费视频| 精品第一国产精品| 欧美黑人精品巨大| 熟女少妇亚洲综合色aaa.| 新久久久久国产一级毛片| 日韩伦理黄色片| 蜜桃国产av成人99| 亚洲精品日韩在线中文字幕| 欧美精品啪啪一区二区三区 | 2021少妇久久久久久久久久久| 女性生殖器流出的白浆| 久久午夜综合久久蜜桃| 久久精品aⅴ一区二区三区四区| 女人精品久久久久毛片| 欧美日韩亚洲高清精品| 丝袜人妻中文字幕| 男人爽女人下面视频在线观看| 老司机影院毛片| 啦啦啦中文免费视频观看日本| 亚洲成av片中文字幕在线观看| 国产男女内射视频| 美女中出高潮动态图| 精品久久蜜臀av无| 亚洲av成人不卡在线观看播放网 | 亚洲精品日韩在线中文字幕| 欧美 亚洲 国产 日韩一| 色94色欧美一区二区| 黄片播放在线免费| 国产精品久久久人人做人人爽| 久久久久久亚洲精品国产蜜桃av| 中文字幕亚洲精品专区| 成人手机av| 精品少妇一区二区三区视频日本电影| 高清黄色对白视频在线免费看| 91九色精品人成在线观看| 性高湖久久久久久久久免费观看| av国产精品久久久久影院| 欧美人与善性xxx| 国产精品一区二区在线不卡| 久久亚洲精品不卡| 可以免费在线观看a视频的电影网站| 三上悠亚av全集在线观看| 亚洲美女黄色视频免费看| 一级黄色大片毛片| 欧美精品一区二区大全| 免费在线观看视频国产中文字幕亚洲 | 一边摸一边抽搐一进一出视频| 国产伦人伦偷精品视频| 精品久久久精品久久久| 波野结衣二区三区在线| av在线播放精品| 亚洲av美国av| av天堂久久9| 国产精品国产av在线观看| 亚洲国产欧美在线一区| 精品亚洲成国产av| 久久这里只有精品19| 久久久久久人人人人人| 国产精品成人在线| 亚洲欧美日韩另类电影网站| 大型av网站在线播放| 亚洲精品国产av成人精品| 国产亚洲精品久久久久5区| 欧美人与性动交α欧美软件| 免费女性裸体啪啪无遮挡网站| 2021少妇久久久久久久久久久| 亚洲欧美精品自产自拍| 国产老妇伦熟女老妇高清| 永久免费av网站大全| 中文乱码字字幕精品一区二区三区| 永久免费av网站大全| 美女国产高潮福利片在线看| 最近最新中文字幕大全免费视频 | 国产不卡av网站在线观看| 激情五月婷婷亚洲| 赤兔流量卡办理| 国产成人啪精品午夜网站| 国产xxxxx性猛交| 亚洲综合色网址| 国产精品香港三级国产av潘金莲 | av天堂在线播放| 桃花免费在线播放| 午夜福利视频在线观看免费| 七月丁香在线播放| 男女午夜视频在线观看| 七月丁香在线播放| 日本91视频免费播放| 亚洲成国产人片在线观看| 国产日韩欧美在线精品| 操美女的视频在线观看| 91成人精品电影| 久久久国产一区二区| 国产91精品成人一区二区三区 | 熟女av电影| 看免费av毛片| 国产亚洲欧美在线一区二区| 99久久综合免费| 香蕉丝袜av| 在线 av 中文字幕| av网站免费在线观看视频| 国产亚洲av高清不卡| 久久精品亚洲av国产电影网|