張凌寒
2021年4月末,《中華人民共和國(guó)個(gè)人信息保護(hù)法(草案)》(以下簡(jiǎn)稱“《草案》”)征求意見,其中第55條明確提出:個(gè)人信息處理者應(yīng)當(dāng)對(duì)個(gè)人信息處理活動(dòng)在事前進(jìn)行風(fēng)險(xiǎn)評(píng)估。這一制度借鑒了其他國(guó)家的個(gè)人信息保護(hù)司法實(shí)踐,尤其是《歐盟通用數(shù)據(jù)保護(hù)條例》(以下簡(jiǎn)稱“GDPR”)第35條規(guī)定的“數(shù)據(jù)保護(hù)影響評(píng)估”(Data Protection Impact Assessment,以下簡(jiǎn)稱“DPIA”)制度。近年內(nèi),世界主要國(guó)家均確立了數(shù)據(jù)處理活動(dòng)(或稱算法自動(dòng)化決策)評(píng)估的相關(guān)制度,評(píng)估已經(jīng)在數(shù)據(jù)與算法治理框架中占據(jù)重要位置。
算法是數(shù)據(jù)處理的工具,算法自動(dòng)化決策是算法對(duì)大數(shù)據(jù)處理的結(jié)果。數(shù)據(jù)處理(data processing)是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸?shù)慕y(tǒng)稱。數(shù)據(jù)體量的指數(shù)級(jí)增長(zhǎng)使得數(shù)據(jù)處理的環(huán)節(jié)只有算法能夠勝任,而數(shù)據(jù)處理者的算法能力決定了其數(shù)據(jù)處理水平能力。因此,數(shù)據(jù)處理活動(dòng)的評(píng)估與算法自動(dòng)化決策評(píng)估雖然略有制度范圍、廣度的差別,但在大多數(shù)語(yǔ)境下指向內(nèi)涵相同。
那么,算法評(píng)估制度在平臺(tái)問責(zé)中應(yīng)起到何種作用?近年來(lái)學(xué)者們提出的算法治理解決方案要么側(cè)重于技術(shù),如區(qū)塊鏈技術(shù)可無(wú)篡改地記載①參見王延川:《“除魅”區(qū)塊鏈:去中心化、新中心化與再中心化》,《西安交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2020年第3期;蘇宇:《區(qū)塊鏈治理的政府責(zé)任》,《法商研究》2020年第4期。;要么側(cè)重于提高算法系統(tǒng)的透明度,使得權(quán)利個(gè)體和監(jiān)管部門更易理解算法的決策過程,以防止或者檢測(cè)不公平自動(dòng)化決策的結(jié)果①參見汪慶華:《算法透明的多重維度和算法問責(zé)》,《比較法研究》2020年第6期。;要么側(cè)重于自動(dòng)化決策不當(dāng)結(jié)果的說明和救濟(jì)。②參見張凌寒:《商業(yè)自動(dòng)化決策的算法解釋權(quán)研究》,《法律科學(xué)(西北政法大學(xué)學(xué)報(bào))》2018年第3期。然而,這些都僅側(cè)重于算法自動(dòng)化決策過程的某個(gè)特定方面?;谒惴ㄗ詣?dòng)化決策主體的復(fù)雜性、過程的長(zhǎng)期性,以及參與因素的多樣性,有必要將“負(fù)責(zé)任”的算法制度設(shè)計(jì)目標(biāo)置于一個(gè)覆蓋整個(gè)算法自動(dòng)化決策生命周期的框架內(nèi)。即從設(shè)計(jì)、部署、運(yùn)行到結(jié)果輸出的整個(gè)算法自動(dòng)化決策流程中,均應(yīng)對(duì)相關(guān)責(zé)任主體的權(quán)利與義務(wù)予以一定的法律控制。然而,在現(xiàn)有的制度中,算法評(píng)估與平臺(tái)算法問責(zé)銜接失調(diào),對(duì)于其認(rèn)定和追究平臺(tái)責(zé)任的制度優(yōu)勢(shì)未能被充分發(fā)揮。
在構(gòu)建算法治理時(shí)代的合理平臺(tái)責(zé)任體系中,算法評(píng)估制度應(yīng)占據(jù)核心地位。本文圍繞算法評(píng)估制度應(yīng)在平臺(tái)問責(zé)中如何發(fā)揮作用的問題展開,梳理現(xiàn)有算法評(píng)估制度在平臺(tái)治理中的作用,探討算法評(píng)估制度面臨的“軟化”與“泛化”問題,并提出應(yīng)從算法評(píng)估標(biāo)準(zhǔn)、制度之間協(xié)調(diào)與事后追責(zé)銜接等方面發(fā)揮算法評(píng)估制度在平臺(tái)治理中的重要作用。
算法影響評(píng)估制度起源于20世紀(jì)90年代的隱私影響評(píng)估制度。算法影響評(píng)估制度是以風(fēng)險(xiǎn)預(yù)防為目的,意在解決智能科技帶來(lái)的事后問責(zé)的滯后性,以事前評(píng)估來(lái)避免損害事后的彌散化。
DPIA從20世紀(jì)90年代隱私影響評(píng)估制度發(fā)展而來(lái),經(jīng)歷了三個(gè)主要階段成為世界通行做法,并被《草案》所采納。個(gè)人數(shù)據(jù)保護(hù)影響評(píng)估制度適應(yīng)了數(shù)據(jù)處理風(fēng)險(xiǎn)預(yù)防對(duì)治理時(shí)點(diǎn)前移的需求,制度價(jià)值在于解決了數(shù)據(jù)處理活動(dòng)事后追責(zé)滯后的困境。數(shù)據(jù)保護(hù)影響評(píng)估制度來(lái)源于歐盟的隱私影響評(píng)估制度,經(jīng)過20余年的發(fā)展,成為了GDPR第35條規(guī)定的數(shù)據(jù)保護(hù)影響評(píng)估制度,并被世界多個(gè)國(guó)家的立法采納。數(shù)據(jù)保護(hù)影響評(píng)估制度的發(fā)展可大致分為三個(gè)階段。
第一,DPIA的前身是20世紀(jì)90年代隱私影響評(píng)估制度。隱私影響評(píng)估是一種評(píng)估信息系統(tǒng)和收集的數(shù)據(jù)隱私的實(shí)用方法,主要要求系統(tǒng)開發(fā)人員和信息處理者記錄并充分解決隱私保護(hù)問題。1998年,加拿大的不列顛哥倫比亞省率先廣泛采用隱私影響評(píng)估制度指南;1999年,加拿大安大略省內(nèi)閣通過信息技術(shù)項(xiàng)目的隱私影響評(píng)估制度指南。隨后,新西蘭、澳大利亞、英國(guó)、美國(guó)等多個(gè)國(guó)家和地區(qū)相繼推動(dòng)各國(guó)(地區(qū))建立起適合本地的隱私影響評(píng)估制度。2002年,美國(guó)頒布的《電子政務(wù)法案》第208節(jié)規(guī)定了各機(jī)構(gòu)對(duì)電子信息系統(tǒng)和收集的數(shù)據(jù)進(jìn)行隱私影響評(píng)估制度的要求。③H.R.2458 - E-Government Act of 2002,https://www.congress.gov/bill/107th-congress/ house-bill/2458/text/enr.(Last visited by Apr.1,2020).該流程旨在指導(dǎo)SEC系統(tǒng)所有者和開發(fā)人員在開發(fā)的早期階段和整個(gè)系統(tǒng)開發(fā)生命周期中評(píng)估隱私,以確定其項(xiàng)目將如何影響個(gè)人隱私以及是否可以在滿足項(xiàng)目目標(biāo)的同時(shí)保護(hù)隱私。④Privacy Impact Assessment(PIA) Guide,https://www.sec.gov/about/privacy/piaguide.pdf.(Last visited by Dec.03,2020).
第二,進(jìn)入21世紀(jì)第2個(gè)10年,歐盟等國(guó)進(jìn)一步細(xì)化了隱私影響評(píng)估制度,并將主體從信息處理者擴(kuò)展至利益相關(guān)者。2011年1月12日,歐盟出臺(tái)了一個(gè)針對(duì)無(wú)線射頻識(shí)別技術(shù)(RFID)的隱私影響評(píng)估制度框架文件,其將隱私影響評(píng)估制度定義為:通過設(shè)計(jì)系統(tǒng)化程序以評(píng)估特定RFID應(yīng)用對(duì)隱私和數(shù)據(jù)處理產(chǎn)生的影響,并采取適當(dāng)?shù)男袆?dòng)以防止或至少最小化這些影響。①Privacy and Data Protection Impact Assessment Framework for RFID Applications.http://ec.europa.eu/justice/data-protection/article-29/documentation/opinion-recommendation/files/2011/wp180_annex_en.pdf.(Last visited by Mar.01,2021).2013年英國(guó)信息委員辦公室(Information Commissioner's Office,以下簡(jiǎn)稱“ICO”)發(fā)布的《隱私影響評(píng)估制度操作指南》②Draft: Conducting Privacy Impact Assessment Code of Practice,https://ico.org.uk/media/ about-the-ico/consultations/2052/draft-conductingprivacy-impact-assessments-code-of-practice.pdf.(Last visited by Feb.11,2020).中稱,隱私影響評(píng)估是一種工具,可以幫助數(shù)據(jù)控制者③原本為組織(organizations),不同國(guó)家和地區(qū)的叫法不同,但基于大數(shù)據(jù)時(shí)代的背景下,應(yīng)當(dāng)用“數(shù)據(jù)控制者”或“個(gè)人信息控制者”(我國(guó))取代“組織”的叫法。確定最有效的方式來(lái)遵守其數(shù)據(jù)處理義務(wù)并滿足個(gè)人對(duì)隱私的期望。2014年澳大利亞信息專員辦公室(the Office of the Australian Information Commissioner,OAIC)編寫了《隱私影響評(píng)估制度指南》,其認(rèn)為隱私影響評(píng)估是對(duì)項(xiàng)目的系統(tǒng)評(píng)估,用于確定項(xiàng)目對(duì)個(gè)人隱私可能產(chǎn)生的影響,并提出管理、最小化或消除影響的建議。④Guide to undertaking privacy impact assessments,https://www.oaic.gov.au/agencies-and- organisations/guides/guide-to-undertaking-privacyimpact-assessments.(Last visited by Jan.31,2020).
隨后,設(shè)計(jì)信息處理信息系統(tǒng)需隱私影響評(píng)估,并且應(yīng)將評(píng)估貫徹整個(gè)處理流程成為共識(shí)并被廣泛接受。世界標(biāo)準(zhǔn)組織(International Organization for Standardization,ISO)在2015年發(fā)布的《隱私影響評(píng)估制度指南》中稱,隱私影響評(píng)估制度是評(píng)估信息系統(tǒng),程序或流程,軟件模塊,設(shè)備或處理個(gè)人身份信息的其他計(jì)劃對(duì)隱私的潛在影響的工具,包括與利益相關(guān)方協(xié)商,采取應(yīng)對(duì)隱私風(fēng)險(xiǎn)的必要行動(dòng)。⑤ISO/IEC 29134:2017 Preview Information technology -- Security techniques -- Guidelines for privacy impact assessment.https://www.iso.org/standard/62289.html.(Last visited by Dec.03,2020).隱私影響評(píng)估制度不僅是信息處理過程不可或缺的工具,還是一個(gè)過程:只要仍有機(jī)會(huì)影響其結(jié)果,就仍保持通過設(shè)計(jì)確保隱私的理念,從提議的最早階段開始持續(xù)到項(xiàng)目部署甚至之后。
第三,2018年頒布實(shí)施的GDPR第35條正式確立了DPIA,并通過一系列指南性文件將個(gè)人數(shù)據(jù)處理影響評(píng)估作為數(shù)據(jù)處理者合規(guī)的必經(jīng)程序。如歐盟第29條工作組的指導(dǎo)方針將其描述為“建立和證明合規(guī)的過程”,并強(qiáng)調(diào)這是“一個(gè)持續(xù)的過程,而不是一次性的實(shí)踐”。數(shù)據(jù)保護(hù)影響評(píng)估制度鼓勵(lì)對(duì)數(shù)據(jù)處理活動(dòng)進(jìn)行結(jié)構(gòu)化評(píng)估,以識(shí)別活動(dòng)中固有的數(shù)據(jù)處理風(fēng)險(xiǎn),并確定其是否符合法律規(guī)定。組織可以采取適當(dāng)?shù)拇胧﹣?lái)減輕和管理所識(shí)別的風(fēng)險(xiǎn)。⑥Peter Carey.Data Protection: A Practical Guide to UK and EU Law,Oxford University Press,2015,p.285.數(shù)據(jù)保護(hù)影響評(píng)估制度(DPIA)是第一個(gè)被納入歐盟數(shù)據(jù)處理法的風(fēng)險(xiǎn)管理工具,旨在描述數(shù)據(jù)處理行為,評(píng)估其必要性和適當(dāng)性,并通過評(píng)估內(nèi)容確定這些問題的應(yīng)對(duì)措施,幫助管理個(gè)人數(shù)據(jù)處理活動(dòng)對(duì)自然人帶來(lái)的威脅和風(fēng)險(xiǎn)。DPIA作為歐盟數(shù)據(jù)處理框架中的核心內(nèi)容,受到國(guó)內(nèi)外企業(yè)和監(jiān)管機(jī)構(gòu)的廣泛關(guān)注,為各國(guó)應(yīng)對(duì)日益增長(zhǎng)的數(shù)據(jù)安全風(fēng)險(xiǎn)問題提供了理想的立法范本。
隨著人工智能時(shí)代算法在社會(huì)資源分配和權(quán)力運(yùn)行中逐漸占據(jù)主導(dǎo)地位,學(xué)界提出了應(yīng)進(jìn)一步發(fā)展數(shù)據(jù)保護(hù)影響評(píng)估制度為算法影響評(píng)估制度(Algorithm Impact Assessment),并逐漸得到了世界各國(guó)立法與實(shí)踐的響應(yīng)。
算法評(píng)估制度是要求在算法設(shè)計(jì)、部署與運(yùn)行期間,算法治理的相關(guān)利益主體如政府、平臺(tái)、社會(huì)公眾與第三方力量,對(duì)算法可能造成的風(fēng)險(xiǎn)及其對(duì)社會(huì)的影響進(jìn)行充分的評(píng)估。算法是一種結(jié)構(gòu)化的決策過程,它將計(jì)算程序自動(dòng)化,根據(jù)數(shù)據(jù)輸入生成決策結(jié)果。①See Thomas Cormen,Charles Leiserson,Ronald Rivest and Clifford Stein,Introduction to algorithms,MIT press.2009,p.5.對(duì)于算法系統(tǒng)的設(shè)計(jì)、部署或者采購(gòu)者來(lái)說,算法評(píng)估制度可以使其了解和減輕算法系統(tǒng)可能造成的風(fēng)險(xiǎn)或者負(fù)面影響;同時(shí)有利于建立公眾對(duì)于算法自動(dòng)化決策系統(tǒng)的信任和信心。
數(shù)據(jù)保護(hù)影響評(píng)估在某些國(guó)家如加拿大②See Government of Canada,Directive on Automated Decision-Making,https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592.(Last visited May 12,2020).、美國(guó)③See Washington House Bill 1655,https://legiscan.com/WA/bill/HB1655/2019.2020-04-13,(Last visited May 28,2020).發(fā)展為專門的算法影響評(píng)估制度,主要緣起于算法廣泛嵌入政府、公共部門甚至司法機(jī)關(guān)④參見張勇:《人工智能輔助辦案與量刑規(guī)范化的實(shí)現(xiàn)路徑》,《上海政法學(xué)院學(xué)報(bào)(法治論叢)》2019年第2期。,直接影響甚至決定了公民福利、財(cái)產(chǎn)甚至人身自由等權(quán)利。嵌入算法的監(jiān)管部門行政活動(dòng)匯總,算法通過收集規(guī)制環(huán)境中各類主體產(chǎn)生的實(shí)時(shí)數(shù)據(jù),計(jì)算并分析相關(guān)行為以及可能產(chǎn)生的風(fēng)險(xiǎn),為達(dá)到預(yù)定監(jiān)管目標(biāo)形成算法自動(dòng)化決策,甚至可以實(shí)時(shí)動(dòng)態(tài)調(diào)整政策執(zhí)行方式。算法已經(jīng)可以對(duì)個(gè)人或群體產(chǎn)生重大影響,并為政府規(guī)制的決定提供實(shí)質(zhì)性信息的操作。政府公權(quán)力的行政公開原則、權(quán)力監(jiān)督原則,從本質(zhì)上要求嵌入行政活動(dòng)的算法向公眾披露并受到公眾監(jiān)督。正如法國(guó)數(shù)字事務(wù)部長(zhǎng)表示:“如果政府不能解釋其決定,政府就不應(yīng)該使用算法?!雹軸ee Joshua New and Daniel Castro: How Policymakers Can Foster Algorithmic Accountability,http://www2.datainnovation.org/2018-algorithmic-accountability.pdf 2019-05-12.(Last visited June 27,2020).因此,域外率先開展的算法規(guī)制活動(dòng)多圍繞政府公共部門的算法展開。2017年年底,紐約市政府開展了世界首次算法監(jiān)管,成立了紐約市算法監(jiān)管工作組。⑥參見張凌寒、李榮:《紐約算法監(jiān)管遇挫啟示錄》,《法治周末》2020年1月16日。2018年,新西蘭政府出具報(bào)告,對(duì)政府14個(gè)機(jī)構(gòu)算法開發(fā)和使用的情況進(jìn)行分析,在整個(gè)政府?dāng)?shù)據(jù)系統(tǒng)中提高政府算法使用的透明度和問責(zé)制。
因此,相比數(shù)據(jù)保護(hù)影響評(píng)估,算法評(píng)估制度有了更進(jìn)一步的價(jià)值意蘊(yùn)。首先,算法評(píng)估通常超越了對(duì)隱私或個(gè)人數(shù)據(jù)保護(hù)的考慮,而轉(zhuǎn)向更廣泛的社會(huì)考慮。從制度目標(biāo)上來(lái)說,算法影響評(píng)估關(guān)注權(quán)力運(yùn)行對(duì)公民從財(cái)產(chǎn)到人身等更為廣泛的權(quán)利的影響,并關(guān)注算法運(yùn)行對(duì)社會(huì)公共利益的影響。其次,算法評(píng)估制度不僅是傳統(tǒng)的政策或技術(shù)影響評(píng)估(如環(huán)境保護(hù)評(píng)估與立法評(píng)估),而且是因算法嵌入的政府、公共部門以及數(shù)字平臺(tái)所涉利益的廣泛性,具有了比數(shù)據(jù)保護(hù)影響評(píng)估更廣泛的影響、更深入的價(jià)值。
在算法系統(tǒng)的開發(fā)與部署中,政府公共部門與平臺(tái)私營(yíng)部門之間的界限往往模糊不清。平臺(tái)作為私營(yíng)部門不僅自身是算法系統(tǒng)的主要開發(fā)者和使用者,同時(shí)是政府公共部門使用算法時(shí)的主要采購(gòu)對(duì)象。平臺(tái)設(shè)計(jì)、開發(fā)和運(yùn)行的算法系統(tǒng),也可能關(guān)系到公民財(cái)產(chǎn)、人身等多項(xiàng)權(quán)利,以及社會(huì)公共利益。如網(wǎng)約車平臺(tái)的算法直接關(guān)系到一個(gè)城市的交通運(yùn)輸資源調(diào)度,而社交媒體的推薦算法又具有制定社會(huì)輿論議程的重要功能。因此,算法評(píng)估制度雖緣起于對(duì)公共部門算法的公眾監(jiān)督,但基于平臺(tái)算法所涉利益的廣泛性,也被適用于平臺(tái)等私營(yíng)部門設(shè)計(jì)、開發(fā)與部署算法的活動(dòng)。如德國(guó)數(shù)據(jù)倫理委員會(huì)提出的算法風(fēng)險(xiǎn)評(píng)估方案,主張對(duì)數(shù)字服務(wù)企業(yè)使用的算法進(jìn)行五級(jí)的風(fēng)險(xiǎn)評(píng)級(jí)制度,對(duì)不同級(jí)別的算法采取不同強(qiáng)度的監(jiān)管。①See Opinion of the Data Ethics Commission,159(2018),https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).我國(guó)法律規(guī)則將某些算法應(yīng)用定義為“具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)”,并要求其進(jìn)行自行安全評(píng)估。
算法評(píng)估制度的制度優(yōu)勢(shì)面臨著智能科技時(shí)代的挑戰(zhàn),首要的問題是其在數(shù)據(jù)治理框架中究竟定位如何?《草案》中也明確規(guī)定了數(shù)據(jù)處理者在進(jìn)行數(shù)據(jù)處理活動(dòng)前應(yīng)進(jìn)行評(píng)估,各國(guó)也有著不同的立法實(shí)踐。面對(duì)技術(shù)日益成為主宰社會(huì)權(quán)力與經(jīng)濟(jì)運(yùn)行的核心力量,算法評(píng)估制度的局限性也日益顯現(xiàn),而這些局限也均導(dǎo)致了與技術(shù)問責(zé)的銜接失調(diào)?!恫莅浮分械乃惴ㄔu(píng)估制度可能面臨著“軟化”與“泛化”風(fēng)險(xiǎn)?!败浕笔侵阜刹⑽匆?guī)定評(píng)估制度的法律后果,可能由于第三方服務(wù)的提供者與評(píng)估對(duì)象的妥協(xié)而流于形式?!胺夯眲t是指由于我國(guó)未明確規(guī)定算法評(píng)估制度的適用范圍與等級(jí),普遍要求開展的算法評(píng)估制度可能既造成資源浪費(fèi)提高企業(yè)合規(guī)成本,又沒有發(fā)揮應(yīng)有的效用“好鋼用在刀刃上”。
《草案》中的算法評(píng)估制度并未明確應(yīng)被評(píng)估算法的范圍。而實(shí)際上,根據(jù)不同風(fēng)險(xiǎn)等級(jí)來(lái)確立不同的監(jiān)管制度已經(jīng)成為世界通行的做法。
算法應(yīng)用極為廣泛,對(duì)所有的算法進(jìn)行監(jiān)管既無(wú)必要也不現(xiàn)實(shí)。算法系統(tǒng)的多樣性、復(fù)雜性和動(dòng)態(tài)性給監(jiān)管帶來(lái)了主要挑戰(zhàn),必須根據(jù)系統(tǒng)的關(guān)鍵性,在不同的監(jiān)管級(jí)別上實(shí)施非常不同的糾正和控制手段以實(shí)現(xiàn)監(jiān)管目標(biāo)。各國(guó)制度中有多重劃分不同算法風(fēng)險(xiǎn)等級(jí)的標(biāo)準(zhǔn),最常見和最簡(jiǎn)單的劃分標(biāo)準(zhǔn)是形式標(biāo)準(zhǔn),將“完全的自動(dòng)化決策”與“對(duì)當(dāng)事人有法律效力及重大影響”作為高風(fēng)險(xiǎn)算法。例如GDPR第22條規(guī)定“完全的自動(dòng)化決策”,但由于此條廣為詬病,各成員國(guó)則進(jìn)行了不同的界定。德國(guó)聯(lián)邦法院采用了限制性解釋,認(rèn)為任何最低限度的人為干預(yù)都會(huì)排除GDPR第22條的適用性。相反,英國(guó)的數(shù)據(jù)保護(hù)的權(quán)威(ICO)則采取了擴(kuò)大性解釋:如果涉及不相關(guān)的人為干預(yù),第22條應(yīng)該適用。即使在GDPR第22條所涉的算法中也有不同的風(fēng)險(xiǎn)等級(jí)劃分。如GDPR第22條中對(duì)數(shù)據(jù)主體產(chǎn)生“實(shí)質(zhì)性影響(substantially affects)”的算法系統(tǒng)。歐盟第29條工作組指南中列舉了示例,對(duì)個(gè)人的評(píng)分算法和具有重大影響及法律效力的算法,直接被認(rèn)為是風(fēng)險(xiǎn)算法,需要接受較為嚴(yán)格的監(jiān)管。此外,還可根據(jù)算法處理對(duì)象的敏感程度確定算法的風(fēng)險(xiǎn)程度。如歐盟和美國(guó)均把兒童數(shù)據(jù)的算法列為敏感類算法進(jìn)行特殊規(guī)制。
對(duì)所有算法系統(tǒng)進(jìn)行評(píng)估既不現(xiàn)實(shí)也無(wú)必要,各個(gè)算法系統(tǒng)所涉的個(gè)人權(quán)利和公共利益并不相同。例如,支付寶的芝麻信用評(píng)級(jí)算法可能會(huì)對(duì)個(gè)人產(chǎn)生潛在的財(cái)產(chǎn)影響(如申領(lǐng)護(hù)照或貸款)。但是同為推薦算法,頭條的新聞推薦可能影響新聞議程而落入監(jiān)管視野,QQ音樂的推薦算法則并不敏感。同理,用戶手機(jī)進(jìn)行人臉識(shí)別可能只是為了解鎖,而公共部門進(jìn)行人臉識(shí)別則有可能為了抓捕逃犯,相同的技術(shù)在不同的應(yīng)用領(lǐng)域也意味著不同的風(fēng)險(xiǎn)等級(jí)。
不區(qū)分風(fēng)險(xiǎn)等級(jí)的算法評(píng)估勢(shì)必走向評(píng)估機(jī)制的“泛化”。我國(guó)已經(jīng)存在多種個(gè)人信息保護(hù)的評(píng)估制度,僅僅2020年影響較大的就有三類:其一,較為權(quán)威的是2020年3月國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)制定的《個(gè)人信息安全規(guī)范》,要求企業(yè)進(jìn)行個(gè)人信息安全影響評(píng)估制度;隨后2020年11月全國(guó)信息安全標(biāo)準(zhǔn)化委員會(huì)正式發(fā)布《信息安全技術(shù)個(gè)人信息安全影響評(píng)估指南》。其二,近幾年中央網(wǎng)信辦、工信部、公安部、國(guó)家市場(chǎng)監(jiān)管總局持續(xù)性聯(lián)合開展App違法違規(guī)收集使用個(gè)人信息專項(xiàng)治理工作,組織App隱私政策和個(gè)人信息收集使用情況評(píng)估。其三,2020年工信部印發(fā)《關(guān)于做好2020年電信和互聯(lián)網(wǎng)行業(yè)網(wǎng)絡(luò)數(shù)據(jù)安全管理工作的通知》,提出深入開展網(wǎng)絡(luò)數(shù)據(jù)安全合規(guī)性評(píng)估。除此之外,還有2020年網(wǎng)信辦頒布的《個(gè)人信息出境評(píng)估指南》、2020年中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院開發(fā)上線了為企業(yè)提供服務(wù)的個(gè)人信息保護(hù)合規(guī)評(píng)估工具、2017年網(wǎng)信辦頒布的《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)》,并要求其進(jìn)行自行安全評(píng)估等。種類繁多、效力層級(jí)不清的評(píng)估不僅容易造成企業(yè)沉重的合規(guī)負(fù)擔(dān),也造成了治理效用的低下。
《草案》規(guī)定的數(shù)據(jù)保護(hù)影響評(píng)估制度與已有的評(píng)估制度如何銜接?評(píng)估如何成為治理機(jī)制中的一環(huán)而不被濫用?這些都成為該草案頒布后相關(guān)實(shí)施細(xì)則亟待厘清的問題。
無(wú)論是數(shù)據(jù)評(píng)估制度還是算法評(píng)估制度,在各國(guó)范圍內(nèi)都屬于自我監(jiān)督與外部強(qiáng)制性監(jiān)督結(jié)合的治理機(jī)制。評(píng)估制度本身源于隱私設(shè)計(jì)理念,其作為數(shù)據(jù)控制者構(gòu)建“隱私友好系統(tǒng)”的一種方式,通常是以自愿而非強(qiáng)制的方式提出要求。這一制度就源自治理者認(rèn)識(shí)到監(jiān)管機(jī)構(gòu)無(wú)法通過自上而下的控制來(lái)完成所有工作,但數(shù)據(jù)處理者從設(shè)計(jì)階段就應(yīng)設(shè)計(jì)較少侵犯隱私的系統(tǒng)。
以歐盟的GDPR為例,GDPR第35條規(guī)定的評(píng)估制度僅具有一定意義上的法律強(qiáng)制性。首先,GDPR第25條規(guī)定數(shù)據(jù)控制者在制定算法系統(tǒng)時(shí)以及在實(shí)際處理數(shù)據(jù)時(shí),必須實(shí)施“適當(dāng)?shù)募夹g(shù)和組織措施”。其次,當(dāng)某種新的算法系統(tǒng)可能“導(dǎo)致數(shù)據(jù)主體權(quán)利的高風(fēng)險(xiǎn)”時(shí),必須先進(jìn)行DPIA。同時(shí),DIPA制度明確公司的報(bào)告義務(wù)和監(jiān)管機(jī)構(gòu)的監(jiān)管權(quán)力,這種監(jiān)管是帶有公法強(qiáng)制性的監(jiān)管手段,是長(zhǎng)期性的監(jiān)管方式。
當(dāng)算法評(píng)估成為平臺(tái)部署算法前的必經(jīng)程序時(shí),社會(huì)第三方提供的評(píng)估服務(wù)就有可能流于形式,走向“軟化”。社會(huì)第三方的服務(wù)機(jī)構(gòu)提供評(píng)估、認(rèn)證等服務(wù),并以此作為主要收入來(lái)源。因此,當(dāng)平臺(tái)設(shè)計(jì)和部署算法違反相關(guān)評(píng)估規(guī)則時(shí),很難得到實(shí)質(zhì)性的部署阻礙。因此,現(xiàn)有機(jī)構(gòu)為數(shù)據(jù)安全評(píng)估需求的企業(yè)做正式評(píng)估之前,先進(jìn)行“預(yù)評(píng)估”與提供改進(jìn)方案,即是對(duì)此種服務(wù)作為主要收入來(lái)源現(xiàn)狀的妥協(xié)。
如何避免算法評(píng)估主體與對(duì)象為合規(guī)作出妥協(xié),而導(dǎo)致的算法評(píng)估制度“軟化”呢?2015年愛爾蘭關(guān)于美國(guó)-歐盟安全港協(xié)議被司法廢除的案件則提供了前車之鑒。①Schrems v.Data Protection Commissioner,C-362/14(2015).美國(guó)并沒有與歐盟同水平的個(gè)人數(shù)據(jù)保護(hù)制度,因此,依照歐盟法律規(guī)定,個(gè)人數(shù)據(jù)無(wú)法出口到美國(guó)。但在美國(guó)-歐盟安全港協(xié)議之中規(guī)定,如果美國(guó)的公司加入信托印章就獲得了符合歐盟隱私標(biāo)準(zhǔn)的資格認(rèn)證②這種方式最常見的就是TRUSTe公司,我國(guó)小米等互聯(lián)網(wǎng)公司進(jìn)入歐盟市場(chǎng)也依賴其進(jìn)行隱私認(rèn)證。。提供信托印章的信托基金被披露一直忽視美國(guó)成員的重大數(shù)據(jù)泄露事件,或者只是實(shí)施象征性的制裁。在2015年的案件中,由于斯諾登披露的美國(guó)國(guó)家監(jiān)視問題,該協(xié)議被司法廢除。
算法評(píng)估制度一旦“軟化”,在沒有更加嚴(yán)格的監(jiān)管作為成本時(shí),平臺(tái)很難有動(dòng)力投入巨額資金到算法設(shè)計(jì)部署中以保護(hù)個(gè)體隱私、數(shù)據(jù)安全與社會(huì)公共利益?!恫莅浮分胁⑽疵鞔_提出平臺(tái)未進(jìn)行算法評(píng)估的法律后果與處罰力度,缺乏法律強(qiáng)制性的規(guī)制措施難以得到平臺(tái)的重視與合規(guī)投入。
算法與數(shù)據(jù)治理的最終目標(biāo)是建立“負(fù)責(zé)任”的數(shù)據(jù)和算法體系。在算法問責(zé)的制度框架中,算法評(píng)估應(yīng)居于何種地位呢?現(xiàn)階段關(guān)于算法問責(zé)的建議都集中在通過算法的透明度和可解釋性來(lái)解決算法深度學(xué)習(xí)和實(shí)時(shí)數(shù)據(jù)帶來(lái)的復(fù)雜性問題。這些技術(shù)治理措施雖然是必要的,但是對(duì)于解決算法系統(tǒng)可能帶來(lái)潛在的社會(huì)危害風(fēng)險(xiǎn)并不充分。在如何使得政府、企業(yè)能夠在預(yù)防、監(jiān)督、問責(zé)方面承擔(dān)更多實(shí)質(zhì)性責(zé)任方面,現(xiàn)有的治理措施在問責(zé)框架中均存在不足。
第一,算法透明度及其問責(zé)難題。追求算法的透明度是現(xiàn)有算法治理的一種重要工具。透明度是指由算法的設(shè)計(jì)使用者披露有關(guān)算法如何部署、如何工作以及如何使用等相關(guān)信息,以期由監(jiān)管部門或第三方進(jìn)行監(jiān)管的制度。算法透明度可能包含著以下信息:算法開發(fā)的原因和情況,算法模型或者權(quán)重邏輯,算法設(shè)計(jì)過程的基本假設(shè),算法可能發(fā)生的實(shí)時(shí)變化,以及算法運(yùn)行的有關(guān)因素等。在對(duì)算法透明的追求中,比較難以確定的是算法與人類互動(dòng)過程對(duì)最終法律責(zé)任的影響。
第二,區(qū)塊鏈技術(shù)及其問題。區(qū)塊鏈?zhǔn)且环N記錄交易的開放式分布式賬本系統(tǒng),被認(rèn)為是可解決平臺(tái)責(zé)任認(rèn)定的技術(shù)工具。區(qū)塊鏈現(xiàn)在被用來(lái)調(diào)節(jié)分布在組織內(nèi)部和組織之間的各種實(shí)體的交易。這種現(xiàn)有的跟蹤項(xiàng)目和特定金融交易的能力,可能會(huì)被調(diào)整和應(yīng)用于整個(gè)算法決策過程中特定數(shù)據(jù)點(diǎn)的記錄。例如,區(qū)塊鏈可用于跟蹤數(shù)據(jù)出處,并通過驗(yàn)證數(shù)據(jù)是否被訪問、使用和轉(zhuǎn)移,提高數(shù)據(jù)使用的問責(zé)效率。區(qū)塊鏈的追溯功能可能被用來(lái)記載算法獲得的數(shù)據(jù)信息,以及其決策的權(quán)重。
如果只關(guān)注技術(shù)上的修正問題,就會(huì)忽略一個(gè)重要的算法治理目標(biāo),即如何對(duì)平臺(tái)算法問責(zé)。而算法治理的根本目標(biāo)是為了讓人類負(fù)責(zé)。早期的學(xué)術(shù)研究提出來(lái)的一系列問責(zé)措施,雖然看似針對(duì)算法,但實(shí)質(zhì)上是為了讓設(shè)計(jì)、部署和運(yùn)行算法的人類組織負(fù)起責(zé)任。正如凱特·克勞福德呼吁的那樣,應(yīng)超越“作為迷信對(duì)象的算法”,而將制度設(shè)計(jì)的目光投向“一個(gè)系統(tǒng),其中不僅僅是代碼和數(shù)據(jù),而是人類和非人類行為的集合體”。應(yīng)避免將算法評(píng)估制度作為另一種信息披露制度,而應(yīng)確立算法評(píng)估與后續(xù)追究平臺(tái)責(zé)任相關(guān)的機(jī)制。
《草案》在我國(guó)立法中首次明確了算法風(fēng)險(xiǎn)評(píng)估制度?!恫莅浮返?5條第1款規(guī)定,“個(gè)人信息處理者應(yīng)當(dāng)對(duì)下列個(gè)人信息處理活動(dòng)在事前進(jìn)行風(fēng)險(xiǎn)評(píng)估,并對(duì)處理情況進(jìn)行記錄:……(二)利用個(gè)人信息進(jìn)行自動(dòng)化決策”;第2款、第3款規(guī)定,“風(fēng)險(xiǎn)評(píng)估的內(nèi)容應(yīng)當(dāng)包括:(一)個(gè)人信息的處理目的、處理方式等是否合法、正當(dāng)、必要;(二)對(duì)個(gè)人的影響及風(fēng)險(xiǎn)程度;(三)所采取的安全保護(hù)措施是否合法、有效并與風(fēng)險(xiǎn)程度相適應(yīng)。風(fēng)險(xiǎn)評(píng)估報(bào)告和處理情況記錄應(yīng)當(dāng)至少保存三年”。圍繞平臺(tái)問責(zé)為中心構(gòu)建的算法評(píng)估制度,應(yīng)從平臺(tái)主觀過錯(cuò)、平臺(tái)考察周期、平臺(tái)責(zé)任主體認(rèn)定多方面進(jìn)行構(gòu)建。
《草案》規(guī)定的是算法風(fēng)險(xiǎn)評(píng)估制度,即主要評(píng)估的內(nèi)容是算法等數(shù)據(jù)處理活動(dòng)可能帶來(lái)的風(fēng)險(xiǎn)。評(píng)估內(nèi)容及標(biāo)準(zhǔn)在平臺(tái)問責(zé)中的根本意義是考察平臺(tái)在設(shè)計(jì)部署算法過程中是否盡到了“負(fù)責(zé)任”的態(tài)度,并采取一切可能的措施避免可能給個(gè)人權(quán)利和社會(huì)公共利益帶來(lái)的不當(dāng)影響?!恫莅浮反_立的算法風(fēng)險(xiǎn)評(píng)估制度在確定平臺(tái)主觀過錯(cuò)的方面可能存在如下問題。
第一,風(fēng)險(xiǎn)一詞因其主觀建構(gòu)性存在模糊性,評(píng)估標(biāo)準(zhǔn)涵蓋范圍過于狹窄。風(fēng)險(xiǎn)本身即存在主客觀的雙重屬性,即它既具有客觀存在性,又具有主觀建構(gòu)性??陀^存在性的風(fēng)險(xiǎn)評(píng)估標(biāo)準(zhǔn)偏向科學(xué)的“理性-工具”范式,而主觀構(gòu)建的風(fēng)險(xiǎn)則偏向“商談-建構(gòu)”范式。以環(huán)境決策風(fēng)險(xiǎn)評(píng)估為例,它所對(duì)應(yīng)的往往是對(duì)噪音、污染物排放、化學(xué)物質(zhì)危險(xiǎn)性等科學(xué)問題的評(píng)估。而具體到算法評(píng)估標(biāo)準(zhǔn),往往涉及復(fù)雜的、社會(huì)的、甚至是涉及政治意識(shí)形態(tài)與價(jià)值觀的難題。例如,算法影響可能包括對(duì)失業(yè)率、對(duì)貧富差距、對(duì)不同群體平等、甚至對(duì)人權(quán)影響的判斷。
第二,《草案》中評(píng)估標(biāo)準(zhǔn)主要集中于隱私與個(gè)人信息保護(hù)事項(xiàng),對(duì)社會(huì)公共利益等關(guān)注不足。算法由于深度嵌入行政活動(dòng)與社會(huì)經(jīng)濟(jì)運(yùn)行,可能對(duì)社會(huì)經(jīng)濟(jì)、公民權(quán)利、社會(huì)秩序有深度影響。國(guó)際上一向主張應(yīng)從更為廣泛的角度來(lái)關(guān)注算法給社會(huì)帶來(lái)的影響。例如,2019年 8月,聯(lián)合國(guó)教科文組織發(fā)布的《北京共識(shí)——人工智能與教育》指出,要致力于開發(fā)不帶性別偏見的人工智能應(yīng)用程序,并確保人工智能開發(fā)所使用的數(shù)據(jù)具有性別敏感性。①參見《聯(lián)合國(guó)教科文組織正式發(fā)布國(guó)際人工智能與教育大會(huì)成果文件<北京共識(shí)——人工智能與教育>》,http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/s5987/201908/t20190828_396185.html,2020年11月26日訪問。面對(duì)算法所涉利益的廣泛性,有學(xué)者甚至提出算法設(shè)計(jì)部署者應(yīng)提供“社會(huì)影響聲明”“歧視影響評(píng)估”②Barocas Solon and Andrew Selbst.Big data's disparate impact.671.Calif.L.Rev.169(2016).甚至“人類影響聲明”③Marc L.Roark,Human Impact Statements,54 WASHBURN L.J.649(2015).等。
要求平臺(tái)依據(jù)主觀過錯(cuò)承擔(dān)法律責(zé)任,是平臺(tái)算法走向“負(fù)責(zé)任”(accountability)的必由之路。在平臺(tái)治理中,歸因和歸責(zé)發(fā)揮著“托底”的作用。平臺(tái)是由人與機(jī)器(算法)合作運(yùn)行的,人負(fù)擔(dān)的責(zé)任越大,對(duì)惡意使用的威懾作用就越大,有效治理的可能性就越大。因此,應(yīng)以設(shè)置平臺(tái)問責(zé)的主觀過錯(cuò)的標(biāo)準(zhǔn),來(lái)設(shè)置算法評(píng)估的標(biāo)準(zhǔn),構(gòu)建涵蓋多層次、多元價(jià)值觀的算法影響評(píng)估標(biāo)準(zhǔn)。具體而言,應(yīng)包括以下幾個(gè)方面。
第一,平臺(tái)評(píng)估標(biāo)準(zhǔn)必然包含現(xiàn)行法律法規(guī)的相關(guān)規(guī)定。無(wú)論是既有的針對(duì)人類行為的法律規(guī)定,還是為算法專門設(shè)置的條款,都當(dāng)然成為平臺(tái)算法問責(zé)的注意義務(wù)。法律應(yīng)對(duì)新技術(shù)帶來(lái)挑戰(zhàn)的方式,或直接沿用照搬,或另起爐灶重建。如美國(guó)把既有的對(duì)于金融服務(wù)公司的法律要求應(yīng)用于算法自動(dòng)化決策系統(tǒng)的信用擔(dān)保與評(píng)分系統(tǒng),1970年頒布的《公平信用報(bào)告法》(FCRA)和1974年頒布的《平等信用機(jī)會(huì)法》(ECOA)均被適用于算法。此外,美國(guó)FTC法案授權(quán)中禁止不公平和欺騙性做法,也用以解決因使用算法自動(dòng)化決策而造成的消費(fèi)者損害。為了應(yīng)對(duì)新的挑戰(zhàn),法律也有為算法應(yīng)用量身定制的相關(guān)規(guī)定,如在我國(guó)《電子商務(wù)法》中,直接確立了電商平臺(tái)搜索類算法的明示義務(wù),個(gè)性化推薦算法的自然結(jié)果提供義務(wù)和消費(fèi)者保護(hù)義務(wù)。①參見張凌寒:《〈電子商務(wù)法〉中的算法責(zé)任及其完善》,《北京航空航天大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)》2018年第6期。2019年《數(shù)據(jù)安全管理辦法(征求意見稿)》②參見《數(shù)據(jù)安全管理辦法(征求意見稿)》(2019年)第23條擬規(guī)定,網(wǎng)絡(luò)運(yùn)營(yíng)者利用用戶數(shù)據(jù)和算法推送新聞信息、商業(yè)廣告等(以下簡(jiǎn)稱“定向推送”),應(yīng)當(dāng)以明顯方式標(biāo)明“定推”字樣,為用戶提供停止接收定向推送信息的功能;用戶選擇停止接收定向推送信息時(shí),應(yīng)當(dāng)停止推送,并刪除已經(jīng)收集的設(shè)備識(shí)別碼等用戶數(shù)據(jù)和個(gè)人信息。第24條擬規(guī)定,網(wǎng)絡(luò)運(yùn)營(yíng)者利用大數(shù)據(jù)、人工智能等技術(shù)自動(dòng)合成新聞、博文、帖子、評(píng)論等信息,應(yīng)以明顯方式標(biāo)明“合成”字樣;不得以謀取利益或損害他人利益為目的自動(dòng)合成信息。、2020年3月實(shí)施的《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》③參見《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》(2020年)第12條規(guī)定:“網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺(tái)采用個(gè)性化算法推薦技術(shù)推送信息的,應(yīng)當(dāng)設(shè)置符合本規(guī)定第十條、第十一條規(guī)定要求的推薦模型,建立健全人工干預(yù)和用戶自主選擇機(jī)制?!逼渲械?0條、第11條對(duì)個(gè)性化推薦算法結(jié)果的場(chǎng)景作出了詳細(xì)列舉。均針對(duì)個(gè)性化推薦算法作出了相關(guān)規(guī)定??梢灶A(yù)見,未來(lái)平臺(tái)算法的注意義務(wù)將呈現(xiàn)擴(kuò)大化、明確化的趨勢(shì)。
第二,平臺(tái)算法評(píng)估標(biāo)準(zhǔn)應(yīng)吸納不得對(duì)用戶行為操縱、保障用戶自治等技術(shù)倫理內(nèi)容。雖然國(guó)際組織、各國(guó)與企業(yè)提出了不同的人工倫理規(guī)范,但其中的一些已經(jīng)成為共識(shí)。例如,人工智能和算法設(shè)計(jì)的價(jià)值導(dǎo)向必須以人為本,并與核心主流社會(huì)價(jià)值觀相契合。正如德國(guó)倫理委員會(huì)提出的那樣,法律部門和合規(guī)工作人員必須將倫理融入全流程中,所有的利益相關(guān)方必須將在人工智能中融入?yún)⑴c性、公平、平等作為自己的責(zé)任。④See Opinion of theData Ethics Commission,159.(2018),https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).我國(guó)工業(yè)信息化部編撰的《人工智能倫理與道德標(biāo)準(zhǔn)》,也可作為平臺(tái)算法問責(zé)主觀過錯(cuò)的參考標(biāo)準(zhǔn)。
第三,應(yīng)鼓勵(lì)平臺(tái)通過對(duì)用戶主動(dòng)承諾的形式,擴(kuò)大自評(píng)估的內(nèi)容。以美國(guó)聯(lián)邦貿(mào)易委員會(huì)對(duì)Facebook的5億美元罰款事件為例,其罰款的依據(jù)是Facebook于2012年自身作出的企業(yè)隱私政策。當(dāng)企業(yè)自己主動(dòng)提供了隱私政策和承諾之后,F(xiàn)TC方有理由對(duì)其違背隱私政策的行為以“欺騙性貿(mào)易”的名義予以處罰。世界著名通信商沃達(dá)豐(Vodafone)的AI框架提供了其人工智能的具體細(xì)節(jié),例如遵守其行為準(zhǔn)則和隱私承諾。⑤Vodafone Group Plc,Vodafone’s AI Framework,Technical report,Vodafone,Newbury,United Kingdom,(June 2019).IBM的AI日常道德規(guī)范為員工提供了一系列建議的行動(dòng)和問題。⑥IBM,Everyday Ethics for Artificial Intelligence,Technical report,IBM,New York,NY,(September 2018).這些平臺(tái)公司對(duì)用戶或員工的承諾,均可成為監(jiān)管部門的依據(jù),用以檢查其是否遵守了承諾的守則以及遵守的程度。
第四,高風(fēng)險(xiǎn)的算法系統(tǒng)需由監(jiān)管部門制定通用評(píng)估標(biāo)準(zhǔn),技術(shù)標(biāo)準(zhǔn)也應(yīng)作為平臺(tái)算法問責(zé)的依據(jù)。例如,在醫(yī)療領(lǐng)域中使用的算法,首先必須符合醫(yī)療質(zhì)量要求的技術(shù)標(biāo)準(zhǔn),保證評(píng)估與診斷的準(zhǔn)確性。使用于敏感領(lǐng)域的高風(fēng)險(xiǎn)算法也應(yīng)由監(jiān)管部門制定相應(yīng)的技術(shù)標(biāo)準(zhǔn)。世界范圍內(nèi)的算法與人工智能標(biāo)準(zhǔn)制定工作已經(jīng)展開。2016年,美國(guó)電氣與電子工程師協(xié)會(huì)(IEEE)發(fā)起了IEEE全球自治與智能系統(tǒng)倫理倡議,以應(yīng)對(duì)人們對(duì)算法系統(tǒng)意外后果的關(guān)注。這項(xiàng)舉措的一部分是啟動(dòng)開發(fā) IEEE P7000系列基于道德的標(biāo)準(zhǔn),例如 P7001 自治系統(tǒng),P7003算法偏差考慮。我國(guó)應(yīng)及時(shí)制定符合國(guó)際標(biāo)準(zhǔn)的國(guó)內(nèi)標(biāo)準(zhǔn)。違反技術(shù)標(biāo)準(zhǔn)的算法應(yīng)被認(rèn)定是平臺(tái)未盡到應(yīng)盡的注意義務(wù)。
將以上內(nèi)容作為算法影響評(píng)估的標(biāo)準(zhǔn)范疇,既可以考察算法對(duì)個(gè)人權(quán)利的作用,也涵蓋了算法系統(tǒng)對(duì)社會(huì)、經(jīng)濟(jì)、人權(quán)、乃至生態(tài)環(huán)境等多方面的影響。尤其是可以直接為日后的平臺(tái)問責(zé)提供認(rèn)定主觀過錯(cuò)的依據(jù)。
《草案》確立的算法風(fēng)險(xiǎn)評(píng)估制度是事前機(jī)制,而算法評(píng)估作為平臺(tái)問責(zé)的核心制度,可以在算法設(shè)計(jì)、部署、運(yùn)行和結(jié)果輸出全生命周期進(jìn)行評(píng)估,以設(shè)置平臺(tái)的問責(zé)點(diǎn)。
僅進(jìn)行事前評(píng)估無(wú)法滿足平臺(tái)問責(zé)的緊迫需要。首先,無(wú)論是個(gè)人數(shù)據(jù)權(quán)利保護(hù)還是公共利益保護(hù),并不是靜態(tài)的發(fā)展過程,而是存在各種風(fēng)險(xiǎn)的動(dòng)態(tài)演變。以前對(duì)于個(gè)人數(shù)據(jù)的治理與保護(hù)更強(qiáng)調(diào)數(shù)據(jù)主體的權(quán)利義務(wù),如數(shù)據(jù)控制者必須經(jīng)用戶同意才能對(duì)數(shù)據(jù)進(jìn)行使用以及各種當(dāng)用戶個(gè)人數(shù)據(jù)被損害后的救濟(jì)途徑。其次,算法系統(tǒng)帶來(lái)的影響多來(lái)源于其二次使用,并非僅個(gè)人信息的收集與使用。個(gè)人數(shù)據(jù)保護(hù)的制度價(jià)值已經(jīng)從私法角度向公共性范疇轉(zhuǎn)化,在數(shù)據(jù)分享、二次利用中應(yīng)考慮到社會(huì)公共利益與平臺(tái)問責(zé)的需要。再次,對(duì)算法進(jìn)行事前評(píng)估可能將評(píng)估對(duì)象僅局限于已獲取和即將獲取的數(shù)據(jù)主體的權(quán)利,忽略了算法可能對(duì)未獲取數(shù)據(jù)主體的權(quán)利也產(chǎn)生重要影響。以外賣騎手導(dǎo)航算法為例,外賣騎手導(dǎo)航算法不僅涉及外賣買賣雙方的利益,也涉及到交通行人的安全,而行人的數(shù)據(jù)根本不會(huì)有機(jī)會(huì)參與到算法的數(shù)據(jù)處理中。
考慮到平臺(tái)問責(zé)的需求,必須考慮到對(duì)算法整個(gè)生命周期進(jìn)行評(píng)估,作為事后問責(zé)的問責(zé)點(diǎn)。首先,算法設(shè)計(jì)和測(cè)試階段,平臺(tái)應(yīng)事前對(duì)算法進(jìn)行充分的測(cè)試才可以上線使用。正如聯(lián)合國(guó)國(guó)際治理論壇專家報(bào)告所言,平臺(tái)應(yīng)采取“持續(xù)性、前瞻性和反應(yīng)性”的步驟來(lái)保證相關(guān)技術(shù)滿足其風(fēng)險(xiǎn)評(píng)估的技術(shù)需求。①As part of fulfilling this responsibility,private actors should take on-going,proactive and reactive steps to ensure that they do not cause or contribute to human rights abuses and that their innovation processes are human-rights friendly… The scale and complexity of the means through which they meet their responsibilities may vary,however,taking into account their means and the severity of potential impact on human rights by their services and systems.See Draft Recommendation of the Committee of Ministers to member States on human rights impacts of algorithmic systems,Committee of experts on human rights dimensions of automated data processing and different forms of artificial intelligence(MSI-AUT),Council of Europe,10(2018).https://www.intgovforum.org/multilingual/sites/default/files/webform/msi-aut201806_eng_draft_recommendation_12_november_2018.docx__0.pdf.(Last visited by Apr.10,2020).例如,微軟的AI聊天算法Tay在推特(Twitter)上運(yùn)行了幾個(gè)小時(shí)后,就發(fā)表了同情納粹的言論。②See Daniel Zwerdling:Internet Trolls Turn A Computer Into A Nazi,https://www.wnyc.org/story/internet-trolls-turn-a-computer-into-a-nazi/.(Last visited by Apr.21,2020).微軟顯然并沒有設(shè)計(jì)這一結(jié)果出現(xiàn),但是其作為設(shè)計(jì)部署者應(yīng)該能夠預(yù)見到將一個(gè)機(jī)器人暴露在推特這個(gè)不乏騷擾和仇恨言論平臺(tái)上的危險(xiǎn),在事前應(yīng)做充分的測(cè)試才能允許其在平臺(tái)上運(yùn)行。
其次,算法運(yùn)行階段,平臺(tái)應(yīng)保證算法的運(yùn)行符合設(shè)計(jì)者和部署者的意圖,避免出現(xiàn)意外不可控的結(jié)果。為考察平臺(tái)對(duì)算法風(fēng)險(xiǎn)與過程控制能力而設(shè)置的問責(zé)點(diǎn),應(yīng)包括處理可能發(fā)生風(fēng)險(xiǎn)的預(yù)案與措施。具體包括相關(guān)技術(shù)信息的留存措施、處理相關(guān)風(fēng)險(xiǎn)的技術(shù)措施、與相關(guān)部門溝通與協(xié)助的措施等。德國(guó)倫理委員會(huì)建議為算法建立質(zhì)量密封制度,鼓勵(lì)平臺(tái)自愿或強(qiáng)制留存算法運(yùn)行的證據(jù),以方便日后責(zé)任的回溯。平臺(tái)企業(yè)內(nèi)部專門負(fù)責(zé)與監(jiān)管部門合作通信的“算法管理人”也被作為一項(xiàng)制度主張?zhí)岢?,其職?zé)為監(jiān)督算法的運(yùn)行并向平臺(tái)提出建議。
最后,算法結(jié)果輸出階段,平臺(tái)應(yīng)及時(shí)評(píng)估算法運(yùn)行的結(jié)果。以2020年4月份判決的“螞蟻金服訴企查查案”為例,企查查推送的涉及螞蟻微貸的清算信息,因算法運(yùn)行推送方式的設(shè)置問題,引發(fā)公眾將歷史清算信息誤認(rèn)為即時(shí)信息,發(fā)布了“螞蟻金服破產(chǎn)清算”的算法錯(cuò)誤結(jié)果。這一案例顯示,即使算法自動(dòng)抓取數(shù)據(jù)得出結(jié)果,平臺(tái)仍應(yīng)負(fù)有審查算法結(jié)果的注意義務(wù)。正如判決書所言“大數(shù)據(jù)企業(yè)對(duì)于收集、發(fā)布的數(shù)據(jù)信息仍具有基本的注意義務(wù),對(duì)于發(fā)布的重大負(fù)面敏感信息,應(yīng)當(dāng)通過數(shù)據(jù)過濾、交叉檢驗(yàn)等數(shù)據(jù)處理,確保數(shù)據(jù)質(zhì)量”。由此可見,平臺(tái)算法評(píng)估應(yīng)設(shè)置于算法運(yùn)行的多個(gè)階段,例如,通過進(jìn)行敏感性分析、有效性檢查和糾錯(cuò)過程,敦促平臺(tái)仔細(xì)調(diào)查錯(cuò)誤和不確定的領(lǐng)域,并在需要的情況下啟動(dòng)第三方的算法審計(jì)。
《草案》中并未明確指出需要進(jìn)行評(píng)估的算法范疇、算法評(píng)估的主體、算法評(píng)估結(jié)果信息披露的對(duì)象與公布的范疇。對(duì)于不同風(fēng)險(xiǎn)等級(jí)的算法,評(píng)估的主體、評(píng)估的結(jié)果、以及行政機(jī)關(guān)的監(jiān)管處罰跟進(jìn)措施應(yīng)有所區(qū)別。制度相關(guān)內(nèi)容的缺失,使得算法評(píng)估制度并未對(duì)平臺(tái)問責(zé)起到應(yīng)有的支撐作用。
第一,需明確算法風(fēng)險(xiǎn)等級(jí),不同級(jí)別評(píng)估制度對(duì)應(yīng)不同風(fēng)險(xiǎn)等級(jí)算法問責(zé)需求。世界范圍內(nèi),算法的分級(jí)評(píng)估制度逐漸成為算法規(guī)制的前提。歐盟、德國(guó)、加拿大、美國(guó)分別建立了不同名稱的算法分級(jí)評(píng)估制度。應(yīng)盡快統(tǒng)一我國(guó)現(xiàn)階段各部門和行業(yè)協(xié)會(huì)、第三方機(jī)構(gòu)進(jìn)行的評(píng)估,應(yīng)對(duì)不同風(fēng)險(xiǎn)級(jí)別的算法系統(tǒng)。
算法評(píng)估制度目的是建立風(fēng)險(xiǎn)適應(yīng)型的算法監(jiān)管,使得監(jiān)管嚴(yán)格程度基于算法可能造成損害的可能性以及損害的嚴(yán)重性,針對(duì)不同算法系統(tǒng)的關(guān)鍵模型構(gòu)建不同監(jiān)管體系。風(fēng)險(xiǎn)評(píng)估的判定要素取決于受到法律保護(hù)的權(quán)益的重要性。包括但不限于:用戶的生命權(quán)、健康權(quán)、人格權(quán)和隱私權(quán)、名譽(yù)權(quán)、財(cái)產(chǎn)權(quán)等受到潛在侵害的程度;算法使用數(shù)據(jù)的特定敏感性(如兒童數(shù)據(jù),敏感個(gè)人信息);對(duì)個(gè)人或群體的潛在危害程度(不能以資產(chǎn)規(guī)模作為衡量標(biāo)準(zhǔn));受影響的個(gè)人數(shù)量(用戶規(guī)模)和潛在可能受到損害的用戶總數(shù);以及對(duì)整個(gè)社會(huì)公共利益的損害等。在此類算法風(fēng)險(xiǎn)類型的判斷標(biāo)準(zhǔn)中可以貫徹社會(huì)主義核心價(jià)值觀,將法律底線、道德底線、技術(shù)倫理以及算法設(shè)計(jì)者和應(yīng)用者對(duì)用戶的承諾包括在風(fēng)險(xiǎn)評(píng)估的標(biāo)準(zhǔn)之中。
第二,需確定不同評(píng)估結(jié)果對(duì)應(yīng)的不同監(jiān)管強(qiáng)度體系。低風(fēng)險(xiǎn)的算法評(píng)估結(jié)果,導(dǎo)向?qū)捤杀O(jiān)管與過錯(cuò)責(zé)任的追責(zé)原則;而高風(fēng)險(xiǎn)的算法評(píng)估結(jié)果,對(duì)應(yīng)著嚴(yán)格的全流程監(jiān)管、甚至是無(wú)過錯(cuò)責(zé)任。
以德國(guó)倫理委員會(huì)對(duì)五個(gè)不同風(fēng)險(xiǎn)等級(jí)算法系統(tǒng)的監(jiān)管級(jí)別為例,對(duì)于低風(fēng)險(xiǎn)第一、二級(jí)算法系統(tǒng),以事后問責(zé)作為主要機(jī)制。而對(duì)于第三級(jí)及以上的、具有一般或明顯危害的系統(tǒng),應(yīng)考慮以發(fā)放許可證的方式,促使審批、監(jiān)管常規(guī)化。另外,由于許多算法系統(tǒng)都是高度動(dòng)態(tài)的,因此,在授予許可證的情況下將需要定期審查。例如,導(dǎo)航算法的提供商可以訪問使用所有車輛和移動(dòng)性數(shù)據(jù)生成的數(shù)據(jù)池。如果這些數(shù)據(jù)僅用于預(yù)測(cè)交通擁堵,則關(guān)鍵級(jí)別應(yīng)歸類為第一等級(jí)的“可忽略”。但是,如果使用算法來(lái)匹配用戶和車輛,可能影響消費(fèi)者權(quán)益,則應(yīng)為第二等級(jí)。如果使用智能算法來(lái)控制流量。例如,如果算法可以基于由使用車輛實(shí)時(shí)確定的道路、鐵路、水路和航空運(yùn)輸組成的移動(dòng)系統(tǒng)的總體使用情況,則可能應(yīng)適用第三等級(jí)。
對(duì)于更高等級(jí)的、具有相當(dāng)潛在風(fēng)險(xiǎn)的系統(tǒng),如在信用評(píng)估方面具有準(zhǔn)壟斷地位的公司,應(yīng)公布其算法細(xì)節(jié),包括計(jì)算所參考的因素及其權(quán)重,算法所使用的數(shù)據(jù),以及對(duì)算法模型的內(nèi)在邏輯進(jìn)行解釋;對(duì)于自動(dòng)化武器等具有潛在不合理危險(xiǎn)的系統(tǒng),則“完全或者部分”禁止。
由此可見,算法評(píng)估制度所提倡的分級(jí)監(jiān)管替代了傳統(tǒng)平臺(tái)問責(zé)路徑中“全有全無(wú)”的判斷,利用風(fēng)險(xiǎn)等級(jí)的量化,既可以提升數(shù)據(jù)處理的可操作性,也可以減少企業(yè)的合規(guī)壓力,并促進(jìn)數(shù)據(jù)的合理使用。①參見范為:《大數(shù)據(jù)時(shí)代個(gè)人信息保護(hù)的路徑重構(gòu)》,《環(huán)球法律評(píng)論》2016年第5期。歐盟相關(guān)文件認(rèn)為,評(píng)估制度將關(guān)注點(diǎn)由數(shù)據(jù)處理行為的統(tǒng)一監(jiān)管轉(zhuǎn)變?yōu)獒槍?duì)特定數(shù)據(jù)處理行為的動(dòng)態(tài)風(fēng)險(xiǎn)管理,并貫穿于項(xiàng)目規(guī)劃和執(zhí)行過程中,以盡早地發(fā)現(xiàn)、評(píng)估、應(yīng)對(duì)有關(guān)數(shù)據(jù)處理、個(gè)人權(quán)利和自由的顯著風(fēng)險(xiǎn)。②Article 29 Data Protection Working Party: Statement on the role of a risk based approach in data protection legal frameworks,May 30 2014.http://ec.europa.eu/justice/data-protection/index_en.htm.(Last visited by Feb.21,2021).同時(shí)也要注意,對(duì)算法的風(fēng)險(xiǎn)應(yīng)符合相對(duì)安全觀,即承認(rèn)將風(fēng)險(xiǎn)降低到零是不切實(shí)際的。因此,評(píng)估制度的主要任務(wù)是識(shí)別風(fēng)險(xiǎn)、并將特定數(shù)據(jù)處理行為的風(fēng)險(xiǎn)等級(jí)降至數(shù)據(jù)控制者能夠承擔(dān)的水平。③Gellert Raphaёl.Data protection: a risk regulation? Between the risk management of everything and the precautionary alternative,5 International Data Privacy Law,3,(2015).
平臺(tái)通過算法設(shè)計(jì)、部署和運(yùn)行,將可能對(duì)社會(huì)造成危害的“行為”外包給了算法。世界上沒有不出故障的技術(shù),正如世界上沒有完美的人。當(dāng)平臺(tái)造成了損害結(jié)果時(shí),不能穿透“技術(shù)面紗”,直指人(平臺(tái))的主觀過錯(cuò),就會(huì)存在潛在的責(zé)任缺口。如果放任平臺(tái)以“技術(shù)中立”和“算法黑箱”繼續(xù)逃避法律責(zé)任,則意味著人類將終審權(quán)拱手交給了機(jī)器。④Jeremy Kun,Big Data Algorithms Can Discriminate,and It's Not Clear What to Do About It,CONVERSATION,http://theconversation.com/big-dataalgorithms- can-discriminate-and-its-not-clear-what-to-do-about-it-45849.(Last visited by Mar.22,2020).
因此,平臺(tái)問責(zé)的最佳方案應(yīng)聚焦于損害發(fā)生之前的防控措施而非事后的補(bǔ)救方法。算法評(píng)估制度重新建立并拓展了傳統(tǒng)的數(shù)據(jù)處理模式,側(cè)重于事前的預(yù)防方法,強(qiáng)調(diào)“風(fēng)險(xiǎn)分析”“影響評(píng)估”和“生命周期管理”等理念的引入和運(yùn)用,通過對(duì)數(shù)據(jù)處理風(fēng)險(xiǎn)的評(píng)估和管理,促使數(shù)據(jù)處理的傳統(tǒng)監(jiān)管模式轉(zhuǎn)向以風(fēng)險(xiǎn)管理為路徑的新型數(shù)據(jù)處理模式。①參見崔聰聰、許智鑫:《數(shù)據(jù)保護(hù)影響評(píng)估制度:歐盟立法與中國(guó)方案》,《圖書情報(bào)工作》2020年第5期。針對(duì)數(shù)據(jù)控制者,有利于降低其合規(guī)風(fēng)險(xiǎn)、獲得市場(chǎng)美譽(yù);針對(duì)數(shù)據(jù)主體,有利于保障個(gè)人數(shù)據(jù)處理權(quán)益;針對(duì)數(shù)據(jù)監(jiān)管機(jī)構(gòu),有利于實(shí)施有效監(jiān)管。
對(duì)于人工智能時(shí)代平臺(tái)問責(zé)體系的構(gòu)建,算法評(píng)估制度具有核心支柱功能。算法評(píng)估的標(biāo)準(zhǔn)提供了平臺(tái)問責(zé)主觀過錯(cuò)的認(rèn)定機(jī)制,算法評(píng)估覆蓋算法運(yùn)行生命周期,使得問責(zé)點(diǎn)設(shè)置遍布平臺(tái)運(yùn)行事前、事中、事后,不同算法評(píng)估結(jié)果則可以對(duì)接不同算法的監(jiān)管強(qiáng)度。從事前標(biāo)準(zhǔn)、過程評(píng)估和評(píng)估結(jié)果三個(gè)環(huán)節(jié)來(lái)看,實(shí)行以風(fēng)險(xiǎn)為基礎(chǔ)的方式更有利于保護(hù)個(gè)人的權(quán)利和自由,同時(shí)更有利于減少新技術(shù)給經(jīng)濟(jì)、社會(huì)等帶來(lái)的沖擊。