算法權(quán)力異化及法律規(guī)制

趙一丁 陳 亮

一、問(wèn)題的提出

算法屬于技術(shù)秘密的范疇，是指為解決某個(gè)特定問(wèn)題而采取的確定且有限的步驟，實(shí)現(xiàn)算法的工具是計(jì)算機(jī)，基于數(shù)學(xué)工具的技術(shù)是算法肇始的淵藪?！皥D靈”伊始，人工智能技術(shù)的問(wèn)世，迅速內(nèi)嵌社會(huì)生活各領(lǐng)域。從個(gè)性化新聞推送到智能社會(huì)治理，從阿法零到自動(dòng)駕駛，從犯罪風(fēng)險(xiǎn)預(yù)防到輔助量刑，社會(huì)科學(xué)和科技工程等多領(lǐng)域不斷融通，算法在政治、經(jīng)濟(jì)、司法等領(lǐng)域呈指數(shù)性擴(kuò)展。

傳統(tǒng)的技術(shù)工具主義角度，技術(shù)是征服、改造自然的力量，無(wú)價(jià)值取向和權(quán)力屬性，①參見(jiàn)劉永謀：《機(jī)器與統(tǒng)治——馬克思科學(xué)技術(shù)論的權(quán)力之維》，《科學(xué)技術(shù)哲學(xué)研究》2012 年第1 期。算法亦然。但是，如果技術(shù)對(duì)人的利益能夠直接形成影響和控制，技術(shù)便失去純粹性而具有權(quán)力屬性②參見(jiàn)梅夏英、楊曉娜：《自媒體平臺(tái)網(wǎng)絡(luò)權(quán)力的形成及規(guī)范路徑——基于對(duì)網(wǎng)絡(luò)言論自由影響的分析》，《河北法學(xué)》2017 年第1 期。。典型的例子是劍橋分析事件：英國(guó)劍橋分析公司（Cambridge Analytica）前雇員Christopher Wylie透漏，劍橋分析公司利用“爬蟲(chóng)”獲取8700萬(wàn)Facebook用戶數(shù)據(jù)，分析用戶的瀏覽痕跡、行為模式和性格特征，制定個(gè)人“數(shù)據(jù)畫(huà)像”。美國(guó)總統(tǒng)大選過(guò)程中，推送具有政治傾向性的“假新聞”，左右公眾政治選擇，影響政治走向。可以說(shuō)，人工智能時(shí)代，權(quán)力越來(lái)越存在于算法之中。

算法權(quán)力是以算法為工具或手段，對(duì)他人或社會(huì)形成的特殊影響力和控制力。芬伯格認(rèn)為，技術(shù)是一種雙面（two-sided）現(xiàn)象：一方面有一個(gè)操作者，另一方面有一個(gè)對(duì)象，當(dāng)操作者與對(duì)象都是人時(shí)，技術(shù)行為就是一種權(quán)力的實(shí)施③[加]安德魯·芬伯格：《技術(shù)批判理論》，韓連慶、曹觀法譯，北京：北京大學(xué)出版社，2005 年，第11 頁(yè)。。資本作為算法權(quán)力的操作者，具有天然進(jìn)攻性與逐利性。這種內(nèi)生性的風(fēng)險(xiǎn)及外部性失約，給算法權(quán)力帶來(lái)了諸多異化風(fēng)險(xiǎn)，如算法極權(quán)，權(quán)力—權(quán)利格局的失衡，主體危機(jī)等。如何矯正算法權(quán)力的異化，規(guī)制算法權(quán)力是當(dāng)下要解決的問(wèn)題。

對(duì)于算法權(quán)力的規(guī)制，學(xué)界多有研究，多從單維度、階段化、片面化的角度出發(fā)，具有較強(qiáng)的針對(duì)性①姜野、李擁軍：《破解算法黑箱:算法解釋權(quán)的功能證成與適用路徑——以社會(huì)信用體系建設(shè)為場(chǎng)景》，《福建師范大學(xué)學(xué)報(bào) (哲學(xué)社會(huì)科學(xué)版)》2019 年第4 期；肖冬梅：《“后真相”背后的算法權(quán)力及其公法規(guī)制路徑》，《行政法學(xué)研究》2020 年第4 期。。然而，更加值得關(guān)注的是，借助深度學(xué)習(xí)技術(shù)，算法不再僅是工具，而是具備主體功能的技術(shù)體系。劍橋分析事件中，算法權(quán)力仍被設(shè)計(jì)者和主導(dǎo)者控制，社會(huì)危害依然可控。若算法完全從“客體工具”演化為“主體操作者”，算法權(quán)力的異化將導(dǎo)致顛覆性的社會(huì)危害。鑒于此，算法權(quán)力規(guī)制的核心在于通過(guò)透析其異化，探究其異化邏輯及根源，從技術(shù)與權(quán)力等層面多維度、全程化、整體化的展開(kāi)規(guī)制，完善算法權(quán)力的治理機(jī)制。

二、算法權(quán)力異化的風(fēng)險(xiǎn)

異化一詞，一般用德文詞匯“entfremdung”和“entfemden”來(lái)表示，有脫離、對(duì)抗、受異己力量統(tǒng)治之意。費(fèi)爾巴哈在黑格爾“絕對(duì)精神”的異化理念基礎(chǔ)上，進(jìn)一步提出“上帝是人的自我異化”。上帝本由人創(chuàng)設(shè)，后異化為與人相疏離的客觀存在，甚至統(tǒng)治人。與費(fèi)爾巴哈類似，費(fèi)希特認(rèn)為，異化是“自我”創(chuàng)造“非我”，“非我”反作用于“自我”的關(guān)系。故，我們將人類規(guī)定算法，算法反作用于人類，甚至統(tǒng)治支配人類的疏離關(guān)系稱為算法權(quán)力的異化。即使智能算法涉及數(shù)學(xué)、心理學(xué)、計(jì)算機(jī)等多種學(xué)科，但算法自主決策卻無(wú)法保持絕對(duì)的客觀，從而引發(fā)諸多風(fēng)險(xiǎn)。如漢斯·昆所說(shuō)，技術(shù)上最偉大的勝利與最大的災(zāi)難幾乎并列②[瑞]漢斯·昆：《世界倫理構(gòu)想》，周藝譯，北京:生活·讀書(shū)·新知三聯(lián)書(shū)店，2002 年，第16 頁(yè)。。算法權(quán)力異化所引發(fā)的風(fēng)險(xiǎn)必須高度重視。

（一）算法極權(quán)

極權(quán)（Totalitarianism）一詞，用來(lái)指全面統(tǒng)治。黑箱掩護(hù)下，算法權(quán)力逐步確立權(quán)威并盡一切可能謀求控制公眾與社會(huì)。這種全面統(tǒng)治的算法極權(quán)，一方面擴(kuò)大貧富差距；另一方面資本文化盛行，吞噬社會(huì)正義。

1.貧富兩極分化

掌握算法的大型資本企業(yè)根據(jù)自身利益需要，制定諸多交易規(guī)則及糾紛解決機(jī)制，其中不乏格式條款。消費(fèi)者以讓渡自身權(quán)利獲取平臺(tái)使用權(quán)。算法通過(guò)分析消費(fèi)者的瀏覽痕跡、購(gòu)買記錄，進(jìn)行消費(fèi)身份構(gòu)建，針對(duì)消費(fèi)者的購(gòu)買能力動(dòng)態(tài)定價(jià)，實(shí)行“個(gè)人各價(jià)”，也就是所謂的“大數(shù)據(jù)殺熟”。數(shù)據(jù)的無(wú)償使用是大型資本企業(yè)攫取利益的關(guān)鍵。剩余價(jià)值尚且是勞動(dòng)創(chuàng)造的價(jià)值和勞動(dòng)報(bào)酬之間的差額，然而，大型企業(yè)對(duì)數(shù)據(jù)的使用無(wú)須支付任何報(bào)酬，算法運(yùn)作下，數(shù)據(jù)的“價(jià)值增值”遠(yuǎn)遠(yuǎn)超乎想象。研究顯示，2015 年Uber 僅根據(jù)動(dòng)態(tài)定價(jià)算法就創(chuàng)造了68 億美元的利潤(rùn)③Hogan B:“The presentation of self in the age of socialmedia:Distinguishing performances and exhibition online，”Bulletin of Science,Technology &Society,Vol.30,No.6(2010),pp.377-386.。這一切的“原罪”是生產(chǎn)者和生產(chǎn)資料的分離，其造成的惡果就是占有算法的人的財(cái)富不斷增加，而提供生產(chǎn)數(shù)據(jù)的生產(chǎn)者只能靠出賣自身的數(shù)據(jù)以換取平臺(tái)使用權(quán)。這必然擴(kuò)大算法掌控者與數(shù)據(jù)生產(chǎn)者之間的財(cái)富差，加劇貧富兩極分化。

2.文化極權(quán)

技術(shù)的設(shè)計(jì)不僅反映技術(shù)中某一種社會(huì)因素，同時(shí)還具有更廣泛的社會(huì)價(jià)值。算法權(quán)力所傳遞的文化是智能為王，如Google 開(kāi)發(fā)者大會(huì)的口號(hào)“AI First”（智能為先）。智能算法的確使得社會(huì)生活極具便利，但部分公眾被算法文化左右，卻一無(wú)所知；部分公眾即使知道這種文化灌輸是資本獲利的方式，卻并不反感，甚至感到十分舒適。算法文化對(duì)人類思維的麻痹或強(qiáng)制指引，實(shí)質(zhì)上是資本文化的極權(quán)，利用技術(shù)謀求公眾及社會(huì)對(duì)資本經(jīng)濟(jì)需求合法化的認(rèn)同。這種資本文化的極權(quán)，吞噬社會(huì)正義的同時(shí)，將整個(gè)社會(huì)變成了馬爾庫(kù)塞提出的“不會(huì)成為反對(duì)派”的單向度的人（One-Dimensionalman）。④單向度的人（One-Dimensionalman）指技術(shù)合法外衣下，發(fā)達(dá)工業(yè)社會(huì)對(duì)任何可能的反抗進(jìn)行扼殺，使得社會(huì)失去批判性、否定性、超越性的向度，變成了單向度的社會(huì)，社會(huì)中的個(gè)體變成了單向度的人。其不能反抗，沒(méi)有創(chuàng)造力，不能超越。參見(jiàn)[美]馬爾庫(kù)塞：《單向度的人——發(fā)達(dá)工業(yè)社會(huì)意識(shí)研究》，劉繼譯，上海：上海譯文出版社，2014 年，第30 頁(yè)。

（二）權(quán)力——權(quán)利格局失衡

傳統(tǒng)二元格局下，非因革命手段，以國(guó)家、政府為代表的公權(quán)力和以公民為代表的私權(quán)利相互制衡。然而，算法權(quán)力的強(qiáng)勢(shì)介入，造成原有的“權(quán)力—權(quán)利”格局的失衡。

權(quán)力與權(quán)利相對(duì)而言，權(quán)力具有進(jìn)攻性，權(quán)利則具有防守性。權(quán)力與權(quán)力的結(jié)盟具有天然性，若無(wú)外部力量干預(yù)，算法權(quán)力與公權(quán)力結(jié)盟，是二者的必然選擇，其結(jié)果是公權(quán)力的擴(kuò)張，私權(quán)利的限縮。

一方面，公權(quán)力借助算法權(quán)力擴(kuò)張，擠占私權(quán)利空間。理論上，公權(quán)力與私權(quán)利的紐帶是公共利益，只有因公共利益，公權(quán)力方可介入私權(quán)利?！叭魏螄?guó)家權(quán)力無(wú)不是以民眾的權(quán)利讓渡與公眾認(rèn)可作為前提的”①[美]孟德斯鳩：《論法的精神（上）》，張雁深譯，北京：商務(wù)印書(shū)館，1961 年，第213 頁(yè)。。算法技術(shù)的高效、便捷，為公權(quán)力介入私權(quán)利提供了低成本手段，政府依靠算法權(quán)力掌握大數(shù)據(jù)，精準(zhǔn)監(jiān)控個(gè)人行為。如2013 年棱鏡門事件，以算法科技進(jìn)行全方位監(jiān)控的幕后機(jī)構(gòu)浮出水面，可怕的不僅是美國(guó)對(duì)國(guó)內(nèi)外的監(jiān)控和竊聽(tīng)行為，更是美國(guó)國(guó)家安全局與蘋果、IBM 等掌握算法的高科技公司模糊的合作關(guān)系，也就是說(shuō)公權(quán)力利用算法權(quán)力大肆擴(kuò)張，侵犯公民隱私權(quán)乃至世界網(wǎng)絡(luò)安全。人們?cè)谙硎苋斯ぶ悄芩鶐?lái)的快捷服務(wù)時(shí)，悚然發(fā)現(xiàn)自己一直在互聯(lián)網(wǎng)的監(jiān)控下“裸奔”。正如佩德羅·多明戈斯（Pedro Domingos）所言：“永恒的監(jiān)視才剛剛開(kāi)始”②[美]佩德羅·多明戈斯：《終極算法——機(jī)器學(xué)習(xí)和人工智能如何塑造世》，黃芳萍譯，北京：人民郵電出版社，2017 年，第365 頁(yè)。。

另一方面，算法權(quán)力滲透公權(quán)力，逐步擴(kuò)大自身話語(yǔ)權(quán)，侵害私權(quán)利。立法層面，算法影響民意。自尤爾根·哈貝馬斯“商談理論”始，公眾參與在立法層面的發(fā)展和應(yīng)用可見(jiàn)一斑。掌握算法的大型企業(yè)利用大數(shù)據(jù)分析公民性格喜好，利益需求，采取立法精準(zhǔn)性營(yíng)銷，通過(guò)公眾參與推動(dòng)立法向有利于自身的方向發(fā)展，巧妙地完成算法影響公眾，公眾影響立法的權(quán)力轉(zhuǎn)化。司法層面，算法成為司法輔助工具。近年來(lái)，智慧司法的構(gòu)建中，算法不斷滲透到司法活動(dòng)的各個(gè)環(huán)節(jié)，譬如證據(jù)規(guī)則指引、單一證據(jù)校驗(yàn)、逮捕條件審查、社會(huì)危險(xiǎn)性評(píng)估、類案推送、量刑參考、減刑假釋案件辦理等。研究表明，人類極易受到“自動(dòng)化偏見(jiàn)”的影響，盲從于算法決策，智能算法逐漸成為司法輔助工具，甚至是直接裁判工具。

公權(quán)力與算法權(quán)力在各個(gè)方面都展開(kāi)了頻繁的互動(dòng)，二者可謂是實(shí)現(xiàn)了“共贏”③崔靖梓:《算法歧視挑戰(zhàn)下平等權(quán)保護(hù)的危機(jī)與應(yīng)對(duì)》,《法律科學(xué)（西北政法大學(xué)學(xué)報(bào)）》2019 年第3 期。?！肮糙A”的同時(shí)，侵害了公民的隱私權(quán)、立法權(quán)、司法權(quán)等私權(quán)利，造成私權(quán)利邊界的限縮。

（三）主體危機(jī)

“互聯(lián)網(wǎng)+人工智能”的技術(shù)創(chuàng)新，正在顛覆長(zhǎng)期以來(lái)形成的人與工具之間的控制與被控制、利用與被利用的關(guān)系，人工智能把技術(shù)創(chuàng)新的目標(biāo)從解放體力轉(zhuǎn)向解放智力④成素梅:《人工智能研究的范式轉(zhuǎn)換及其發(fā)展前景》,《哲學(xué)動(dòng)態(tài)》2017 年第12 期。。有學(xué)者認(rèn)為“算法權(quán)力這種新興的權(quán)力并不把我們當(dāng)成‘主體’來(lái)對(duì)待，而是作為可計(jì)算、可預(yù)測(cè)、可控制的客體”⑤鄭戈：《算法的法律與法律的算法》，《中國(guó)法律評(píng)論》2018 年第2 期。。人以“數(shù)據(jù)人”的身份作為算法權(quán)力運(yùn)行過(guò)程中的一個(gè)節(jié)點(diǎn)或者元素，算法權(quán)力反客為主，傳統(tǒng)的主客二分范式岌岌可危，人類主體面臨著前所未有的挑戰(zhàn)。

一方面，算法權(quán)力以技術(shù)理性為導(dǎo)向，消弭人格價(jià)值。正如亨利的生命現(xiàn)象學(xué)所說(shuō)，技術(shù)的本質(zhì)是對(duì)生命的否定和排斥⑥參見(jiàn)湯煒:《對(duì)技術(shù)的現(xiàn)象學(xué)反思之進(jìn)路——兼談人工智能》,《哲學(xué)分析》2019 年第2 期。。算法權(quán)力的運(yùn)行邏輯中，人和物并沒(méi)有區(qū)別，遵循技術(shù)理性的指引，人類與生俱來(lái)的尊嚴(yán)與人格被無(wú)情碾壓。盡管，算法利用深度學(xué)習(xí)功能將人類從體力與智力的勞動(dòng)中解放出來(lái)，但人類的“生命自我”也將被異化為非生命的數(shù)字節(jié)點(diǎn)。不乏與瓦爾·赫拉利同樣的擔(dān)憂，人類的進(jìn)程其實(shí)是由算法來(lái)決定的，在未來(lái)，人類的生化算法將被外部算法超越⑦[以色列]尤瓦爾·赫拉利:《未來(lái)簡(jiǎn)史》，林俊宏譯，北京：北京電子工業(yè)出版社，2017 年，第263—270 頁(yè)。。生命和技術(shù)徹底決裂時(shí)，人類將失去對(duì)算法的控制，完全成為算法規(guī)制的客體，奴役的對(duì)象。

另一方面，算法權(quán)力的主體界定困難，引發(fā)歸責(zé)困境。現(xiàn)有的規(guī)制邏輯是從社會(huì)生活實(shí)踐中不斷發(fā)展起來(lái)的，其原有的因果關(guān)系、主觀過(guò)錯(cuò)、行為責(zé)任等法律邏輯遭遇算法權(quán)力主體界定的挑戰(zhàn)時(shí)，必然方枘圓鑿。如2019 年巴黎圣母院失火事件，美國(guó)YouTube 網(wǎng)站的算法自動(dòng)將“9·11”恐怖襲擊事件的說(shuō)明專欄排版在巴黎圣母院失火事件的直播專欄下面。這一行為引發(fā)社會(huì)各界批評(píng)，認(rèn)為YouTube此舉是在暗示此次失火與恐怖襲擊有關(guān)。YouTube 一度站在了輿論的風(fēng)口浪尖，備受爭(zhēng)議。令人意外的是，這種助長(zhǎng)“陰謀論”的自主排版行為，其算法設(shè)計(jì)的初衷竟是打擊網(wǎng)站上的“陰謀論”視頻①參見(jiàn)趙挪亞：《YouTube 直播圣母院大火》，https://www.sohu.com/a/308249633_115479，2019 年4 月16 日。。面對(duì)算法自主的不可控，YouTube 堪稱有苦難言。此外，平臺(tái)企業(yè)常以“技術(shù)自主錯(cuò)誤”而非“平臺(tái)錯(cuò)誤”來(lái)逃避法律責(zé)任。如Facebook 因算法錯(cuò)誤導(dǎo)致廣告播放量虛增兩年，再次卷入“算法糾紛”，作為算法的受益者，F(xiàn)acebook 對(duì)外聲稱僅是算法錯(cuò)誤②參見(jiàn)李玥：《虛增視頻播放時(shí)長(zhǎng)達(dá)兩年，F(xiàn)acebook 稱算法錯(cuò)誤》，http://finance.sina.com.cn/roll/2016-09-27/docifxwermp4033395.shtml。。可見(jiàn)，平臺(tái)“背鍋”與平臺(tái)“推責(zé)”已成為常態(tài)，傳統(tǒng)的行為——責(zé)任邏輯被切斷，因果關(guān)系面臨重構(gòu)危機(jī)。

三、算法權(quán)力的異化邏輯及根源

算法權(quán)力的運(yùn)行催生了眾多異化風(fēng)險(xiǎn)，難免引發(fā)社會(huì)治理困境。因此明晰算法權(quán)力的異化邏輯及根源非常關(guān)鍵，不僅是對(duì)算法權(quán)力異化機(jī)理的理構(gòu)，也是預(yù)防與治理算法異化的前提。

（一）算法權(quán)力的異化邏輯

算法權(quán)力作為社會(huì)權(quán)力，有其自身的異化邏輯。從實(shí)質(zhì)層面觀察，所有異化現(xiàn)象都聚焦于一個(gè)本質(zhì)——法律與技術(shù)關(guān)系的演變。人工智能語(yǔ)境下，筆者認(rèn)為算法權(quán)力異化的本質(zhì)是法律與技術(shù)的疏離對(duì)立。

1.法律利益衡平的博弈與算法權(quán)力單向逐利

利益法學(xué)的創(chuàng)始人，著名德國(guó)法學(xué)家菲力普·赫克認(rèn)為，法律是社會(huì)中各種利益沖突的表現(xiàn)，是人們對(duì)各種沖突的利益進(jìn)行評(píng)價(jià)后制定出來(lái)的，實(shí)際上是利益的安排和平衡③何勤華：《西方法律思想史》，上海:復(fù)旦大學(xué)出版社，2005 年，第255 頁(yè)。。作為匯聚不同權(quán)力利益訴求的裁判者，利益衡平是法律價(jià)值構(gòu)造的內(nèi)核。與法律對(duì)利益的定位不同，資本利益的最大化，是算法權(quán)力的唯一追求。大型資本企業(yè)作為算法技術(shù)的主體，天然具備“操作自主性”，④“操作自主性”(operational autonomy)，即所有者及其代表，在關(guān)于如何經(jīng)營(yíng)組織生產(chǎn)上的自主決策很自由，不必顧及弱勢(shì)群體以及周邊團(tuán)體的利益和看法。參見(jiàn)[加]安德魯·芬伯格：《技術(shù)批判理論》，第11 頁(yè)。這也決定了算法的研發(fā)、生產(chǎn)、經(jīng)營(yíng)皆是以資本理性為出發(fā)點(diǎn)的私主體行為。技術(shù)主體將資本利益訴求植入算法，仰仗技術(shù)的優(yōu)勢(shì)進(jìn)行權(quán)力的轉(zhuǎn)化與擴(kuò)張。更進(jìn)一步地說(shuō)，資本披著“技術(shù)中立”的外衣，將自身價(jià)值導(dǎo)向內(nèi)化于算法權(quán)力的運(yùn)行過(guò)程，這種過(guò)程是謀取自身權(quán)力正當(dāng)化的過(guò)程。法律與算法的博弈可以說(shuō)是公共利益與資本利益的斗爭(zhēng)，表現(xiàn)于算法權(quán)力在謀取“正當(dāng)化”的過(guò)程中，單向逐利，侵害公共利益，導(dǎo)致社會(huì)利益分化。

2.法律預(yù)測(cè)脆弱性與算法不可控性的矛盾

法律預(yù)測(cè)是對(duì)未來(lái)一段時(shí)期內(nèi)的社會(huì)關(guān)系進(jìn)行概率性的判斷。由于未來(lái)的社會(huì)關(guān)系具有隨機(jī)性與變異性，使得這種建立在人類有限認(rèn)知基礎(chǔ)之上的預(yù)測(cè)十分脆弱，容易出現(xiàn)誤差。此外，法律對(duì)于技術(shù)的預(yù)測(cè)多習(xí)慣以“知識(shí)因果論”進(jìn)行前提性預(yù)設(shè)，認(rèn)為對(duì)技術(shù)認(rèn)知越多，技術(shù)后果預(yù)測(cè)得越準(zhǔn)確。這種觀點(diǎn)建立在知識(shí)的線性積累上，主張隨著技術(shù)的發(fā)展，人們自然會(huì)掌握技術(shù)的相關(guān)知識(shí)，可以準(zhǔn)確地預(yù)測(cè)技術(shù)。

然而，“知識(shí)因果論”忽略了算法的不可控性，主要表現(xiàn)在兩個(gè)方面。其一，算法自主性所帶來(lái)的不可控。算法權(quán)力依托算法技術(shù)，而算法技術(shù)的構(gòu)建者是算法設(shè)計(jì)者、研發(fā)者。他們建立、測(cè)試和改進(jìn)模型。如果說(shuō)算法設(shè)計(jì)者和研發(fā)者是母系統(tǒng)，那么算法權(quán)力便是子系統(tǒng)，二者在控制層面呈現(xiàn)耦合關(guān)系。換言之，算法設(shè)計(jì)者、研發(fā)者對(duì)算法權(quán)力有一定程度的控制力，但絕非全部。算法因“自主性”功能，常出現(xiàn)連設(shè)計(jì)者和研發(fā)者也無(wú)法控制的自主決策問(wèn)題。如赫拉利所說(shuō)：“即便是看來(lái)立意全然善良的程序，也不能排除帶來(lái)令人恐懼后果的可能”⑤[以色列]尤瓦爾·赫拉利：《未來(lái)簡(jiǎn)史》，第294 頁(yè)。。其二，算法田野性所帶來(lái)的不可控。算法技術(shù)的設(shè)計(jì)，直接面對(duì)算法技術(shù)的應(yīng)用，即現(xiàn)實(shí)問(wèn)題的解決。而現(xiàn)實(shí)問(wèn)題往往涉及多學(xué)科及多領(lǐng)域，這種現(xiàn)實(shí)復(fù)雜性決定了算法多學(xué)科、多領(lǐng)域交叉的田野性特征。該田野性使得算法權(quán)力的運(yùn)行處于多維度、多層次的不可控狀態(tài)。因之，算法的法律預(yù)測(cè)應(yīng)當(dāng)是法學(xué)家、倫理學(xué)家、技術(shù)專家甚至公眾、社會(huì)組織等多學(xué)科、多領(lǐng)域交叉合作的過(guò)程。然而，實(shí)踐中，法律預(yù)測(cè)的主體只有立法者與普通公民，其大多來(lái)自算法系統(tǒng)外部，他們以系統(tǒng)外部的觀點(diǎn)甚至是傳統(tǒng)法律規(guī)制邏輯來(lái)規(guī)制算法權(quán)力，無(wú)法“對(duì)癥下藥”。

無(wú)疑，算法自主性與田野性所帶來(lái)的不可控增加了原本就脆弱的法律預(yù)測(cè)與算法權(quán)力之間的內(nèi)在張力，使得算法權(quán)力的異化成為必然。

3.法律滯后性與算法動(dòng)態(tài)發(fā)展線性時(shí)間的對(duì)立

法律作為社會(huì)意識(shí)形態(tài)之一，不是原本就有的，而是社會(huì)存在的附屬。這種建構(gòu)在決定與被決定邏輯之上的附屬性，注定了算法權(quán)力異化與相關(guān)法律規(guī)制的先后性。更加重要的是，算法技術(shù)是鏈條狀的無(wú)限發(fā)展?fàn)顟B(tài)，而立法由于程序所限，則無(wú)法保持時(shí)刻的連貫。這種“事前異化”與“事后規(guī)制”和“過(guò)去法律”與“現(xiàn)下技術(shù)”之間的時(shí)間差異，在技術(shù)發(fā)展早期與技術(shù)發(fā)展后期，引發(fā)了不同的技術(shù)控制困境?？屏指窭锲嬲J(rèn)為，在技術(shù)發(fā)展早期，人們往往對(duì)技術(shù)缺乏足夠完備的認(rèn)識(shí)和準(zhǔn)確的預(yù)測(cè)，此時(shí)雖然易于控制技術(shù)后果，但卻不知是否應(yīng)該控制或應(yīng)該如何控制；技術(shù)發(fā)展的成熟階段，人們對(duì)于技術(shù)的認(rèn)識(shí)逐步加深，但技術(shù)已在其發(fā)展過(guò)程中逐漸滲透到整個(gè)社會(huì)系統(tǒng)之中，此時(shí)人們雖然知道如何控制卻囿于成本等因素而根本沒(méi)有能力來(lái)實(shí)施控制①陳凡、賈璐萌:《技術(shù)控制困境的倫理分析——解決科林格里奇困境的倫理進(jìn)路》，《大連理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版）》2016 年第1 期。。法律滯后性與技術(shù)動(dòng)態(tài)發(fā)展之間的矛盾本屬正常。算法權(quán)力語(yǔ)境下，二者矛盾激化，其原因有二：一是，算法技術(shù)的發(fā)展堪稱神速，超越了以往任何一種技術(shù)形態(tài)，技術(shù)發(fā)展與法律回應(yīng)的速度差陡增。二是，與英美法系不同，中國(guó)是大陸法系國(guó)家，算法技術(shù)及權(quán)力的最新變化無(wú)法通過(guò)判例的方式翻譯成法律規(guī)制，這種非連貫的立法方式無(wú)法適用于算法技術(shù)的動(dòng)態(tài)變化。

綜上所述，算法權(quán)力異化的實(shí)質(zhì)是一種規(guī)制失靈的狀態(tài)。封閉的算法權(quán)力系統(tǒng)自身缺乏控制和反思機(jī)制，難以將負(fù)外部性內(nèi)部化。而獨(dú)立于算法權(quán)力外部的法律規(guī)制，無(wú)法有效地參與到算法權(quán)力的運(yùn)行過(guò)程中。這種分離對(duì)立的根源為何？筆者認(rèn)為，“罪魁禍?zhǔn)住笔撬惴ê谙?，有必要?duì)其進(jìn)行深入分析。

（二）算法權(quán)力異化的根源——算法黑箱

無(wú)論是可能脫離人類控制的算法權(quán)力，抑或是在人類控制之下的算法權(quán)力，均肇始于算法設(shè)計(jì)者基于單向逐利的自主行為。脫離人類控制的算法權(quán)力，其產(chǎn)生的原因是且僅可以是算法的固有缺陷，而該缺陷本是算法設(shè)計(jì)者之外的社會(huì)或個(gè)體可以彌補(bǔ)之不足；人類可控的算法權(quán)力則源于權(quán)利主體對(duì)算法的壟斷性獨(dú)享。因之，算法權(quán)力異化的根源，是且僅可以是以算法技術(shù)為前提，以利益為驅(qū)動(dòng)的算法黑箱。

1.技術(shù)缺陷下算法黑箱：不透明

算法自主決策越來(lái)越依托“深度學(xué)習(xí)”模型，其技術(shù)邏輯是由相互聯(lián)系的神經(jīng)元組成，由輸入層、隱藏層、輸出層共同運(yùn)作的多層神經(jīng)網(wǎng)絡(luò)。如下頁(yè)圖1 所示，算法根據(jù)輸入層數(shù)據(jù)，在隱藏層自動(dòng)進(jìn)行特征提取、數(shù)據(jù)訓(xùn)練、自主學(xué)習(xí)，最后于輸出層自動(dòng)生成認(rèn)知結(jié)果。在尼古拉斯·迪亞克普拉斯（Nicholas Diakopoulos）提出算法黑箱監(jiān)督式學(xué)習(xí)和半監(jiān)督式學(xué)習(xí)的基礎(chǔ)之上，②算法黑箱監(jiān)督模式：輸入和輸出均可知。算法黑箱半監(jiān)督模式：輸入不可知，輸出可知。See Diakopoulos N：“Algorithmic Accountability:Journalistic investigation of computational power structures，”.Digital Journalism,Vol.3,No.3(2015),pp.398-415.學(xué)者張淑玲提出了算法黑箱無(wú)監(jiān)督式學(xué)習(xí)的模式③算法黑箱無(wú)監(jiān)督模式：輸入和輸出均未知。參見(jiàn)張淑玲:《破解黑箱：智媒時(shí)代的算法權(quán)力規(guī)制與透明實(shí)現(xiàn)機(jī)制》，《智媒時(shí)代》2018 年第7 期。。算法在接受輸入數(shù)據(jù)之后，以至輸出決策結(jié)果之前都會(huì)有一個(gè)人們無(wú)法洞悉的“黑箱”。詳細(xì)而言，當(dāng)輸入和輸出是線性因果關(guān)系時(shí)，方可保證“善因”得“善果”。然而，影響算法結(jié)構(gòu)系統(tǒng)的因素十分復(fù)雜，輸入和輸出的關(guān)系是非線性的，“善因”可能得“惡果”。質(zhì)言之，無(wú)論輸出層、輸入層是否可知，隱藏層內(nèi)算法是如何運(yùn)作的，無(wú)人知曉。

圖1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（Neural Network of Deep Learning）

算法不透明所產(chǎn)生的不可控性為算法權(quán)力的異化提供了根本性可能?！昂谙洹北幼o(hù)下，算法自主性權(quán)力無(wú)目的性肆意妄為。無(wú)監(jiān)督式學(xué)習(xí)的情況下，算法無(wú)任何人為干預(yù)，完全自主決策，輸入和輸出兩側(cè)均不可知，整個(gè)算法決策的流程處于閉環(huán)黑箱狀態(tài)。那么，誰(shuí)能保證輸出一定不是“惡果”呢？

除此之外，“黑箱”阻斷了因果關(guān)系，成為掩蓋算法權(quán)力追求利益的“面紗”。利益驅(qū)動(dòng)下，數(shù)據(jù)在輸入層面上就難以做到準(zhǔn)確和客觀，算法設(shè)計(jì)者、控制者很可能將自身利益取向或偏見(jiàn)植入輸入層數(shù)據(jù)，從根源上污染算法權(quán)力?！拔廴緮?shù)據(jù)”經(jīng)歷隱藏層“黑箱”的二次污染后，數(shù)據(jù)利益取向與偏見(jiàn)得以加強(qiáng)，最終于輸出層結(jié)出“毒樹(shù)之果”。更重要的是，算法黑箱下，算法決策產(chǎn)生錯(cuò)誤甚至侵害相對(duì)人合法權(quán)益的同時(shí)，罪魁禍?zhǔn)状罂蔁o(wú)恥地以“技術(shù)中立”為辯護(hù)理由，產(chǎn)生“有組織地不負(fù)責(zé)（organized irresponsibility）”①有組織地不負(fù)責(zé)任是指公司、政策制定者和專家結(jié)成聯(lián)盟，利用法律和科學(xué)作為辯護(hù)之利器而推卸制造風(fēng)險(xiǎn)的責(zé)任。參見(jiàn)史長(zhǎng)青:《科學(xué)證據(jù)的風(fēng)險(xiǎn)及其規(guī)避》，《華東政法大學(xué)學(xué)報(bào)》2015 年第1 期。。

2.法律保護(hù)下的算法黑箱：不公開(kāi)

作為技術(shù)秘密，法律賦予算法持有人不公開(kāi)的權(quán)利。傳統(tǒng)意義上的技術(shù)秘密，均基于物理、化學(xué)、生物等科學(xué)的基本原理。法律賦予持有人不公開(kāi)的權(quán)利，是為了保護(hù)技術(shù)秘密持有人的經(jīng)濟(jì)權(quán)利，鼓勵(lì)社會(huì)技術(shù)進(jìn)步。通常情況下，社會(huì)公眾對(duì)其可以進(jìn)行基本正確的解讀，目前的法律制度亦可規(guī)制。而算法是基于計(jì)算機(jī)科學(xué)和數(shù)學(xué)的基本原理，對(duì)于算法持有者之外的社會(huì)公眾對(duì)其一無(wú)所知。因此，算法的不公開(kāi)，必然導(dǎo)致算法黑箱的產(chǎn)生。

對(duì)持有算法權(quán)力的商業(yè)運(yùn)營(yíng)企業(yè)而言，基于商業(yè)秘密和商業(yè)利益，并不主張算法公開(kāi)。如騰訊、阿里巴巴、京東等公司，均將其持有的算法作為最高機(jī)密。就國(guó)家層面而言，世界主要經(jīng)濟(jì)體已將發(fā)展算法為基礎(chǔ)的人工智能上升為國(guó)家戰(zhàn)略。如美國(guó)的《國(guó)家研究人工智能和發(fā)展規(guī)劃》、日本的“社會(huì)5.0”戰(zhàn)略、歐盟的《人工智能協(xié)調(diào)計(jì)劃》。自從技術(shù)創(chuàng)新成為經(jīng)濟(jì)引擎，國(guó)家對(duì)于人工智能核心技術(shù)——算法的保護(hù)，已是必然。

但是，利用算法實(shí)施商業(yè)欺詐行為欺騙公眾牟取利益的方式，則不屬于商業(yè)秘密的范疇。商業(yè)秘密是指不為公眾所知悉、具有商業(yè)價(jià)值并經(jīng)權(quán)利人采取相應(yīng)保密措施的技術(shù)信息、經(jīng)營(yíng)信息等商業(yè)信息。顯然，利用算法黑箱實(shí)施欺詐的商業(yè)運(yùn)營(yíng)方式，不應(yīng)當(dāng)屬于商業(yè)秘密。厘清這一點(diǎn)，有利于找到正確的思路，以最簡(jiǎn)潔有效的法律規(guī)制解決面臨的問(wèn)題。

現(xiàn)實(shí)中，因不能正確區(qū)分技術(shù)秘密、商業(yè)秘密以及欺詐性的商業(yè)運(yùn)營(yíng)模式，對(duì)算法黑箱的錯(cuò)誤保護(hù)，為算法權(quán)力異化提供了正當(dāng)性。典型案例如美國(guó)威斯康星州訴Eric·Loomis 案②美國(guó)威斯康星州訴艾瑞克·盧米思（Eric Loomis）案，量刑階段法院采納了COMPAS 再犯評(píng)估的內(nèi)容，引發(fā)盧米思（Loomis）上訴，其理由是法院對(duì)COMPAS 的依賴侵犯了他正當(dāng)程序權(quán)力和平等權(quán)。最終州最高法院支持了初審判決。，最終州最高法院否定Loomis 的上訴主張，且未要求廠商公開(kāi)算法或解釋算法。提供再犯評(píng)估的COMPAS 算法作為Northpointe公司的商業(yè)秘密，其是否隱藏有Northpointe公司的利益取向，是否藏有歧視或偏見(jiàn)？ProPublica 作為一家非營(yíng)利機(jī)構(gòu)，在無(wú)任何利益驅(qū)逐的情況下，針對(duì)COMPAS 的預(yù)測(cè)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析，結(jié)果發(fā)現(xiàn)，黑人被告得分更高的概率是白人的兩倍③See Jeff Larson，etal.How We Analyzed the COMPAS recidivism Algorithm .[2016-05-23].https://www.propublica.org/article/how we analyzed the compas recidivism algorithm.。

由此可見(jiàn)，被作為技術(shù)秘密或商業(yè)秘密保護(hù)的算法并非中立。由于傳統(tǒng)的法律保護(hù)原則和保護(hù)方法，利益相對(duì)方難以有效地行使異議權(quán)和救濟(jì)權(quán)。加藤一郎認(rèn)為，利益衡量乃是難以避免的自然之理④參見(jiàn)梁上上：《利益衡量論》，北京：法律出版社，2016 年，第40 頁(yè)。。雖然從保護(hù)運(yùn)營(yíng)企業(yè)的財(cái)產(chǎn)權(quán)角度看，法律有義務(wù)避免算法變?yōu)椤肮夹g(shù)”，但這種極近一刀切的傳統(tǒng)保護(hù)模式，成了資本牟利的“護(hù)身符”，造成平等私權(quán)主體之間權(quán)益失衡。

四、算法權(quán)力異化的規(guī)制路徑

應(yīng)對(duì)算法黑箱造成的權(quán)力失約，關(guān)鍵在于找到法律與算法勾連的有效著力點(diǎn)——“破解黑箱”，即允許算法黑箱的存在，升級(jí)規(guī)制思路，將算法權(quán)力的運(yùn)行納入法律調(diào)整的軌道。其主要包括三個(gè)方面：技術(shù)規(guī)制與權(quán)力制約并駕齊驅(qū)；終端規(guī)制到全程規(guī)制；公私領(lǐng)域分別規(guī)制過(guò)渡為整體性規(guī)制設(shè)計(jì)。

（一）算法權(quán)力規(guī)制的基本思路

1.技術(shù)規(guī)制與權(quán)力制約并駕齊驅(qū)

技術(shù)規(guī)制與權(quán)力制約，雙管齊下，避免偏廢其一。一方面，算法權(quán)力運(yùn)行的基本原理為現(xiàn)代數(shù)學(xué)成果，其往往選擇數(shù)學(xué)上的最優(yōu)解，忽略法律、倫理等的價(jià)值取向。為應(yīng)對(duì)這一技術(shù)缺陷，有必要對(duì)其進(jìn)行技術(shù)規(guī)制，使人類的認(rèn)知與價(jià)值內(nèi)嵌算法技術(shù)，從而加強(qiáng)技術(shù)規(guī)制對(duì)算法權(quán)力的驅(qū)動(dòng)力和控制力。此外，算法借助深度學(xué)習(xí)，從“客觀工具”變?yōu)椤爸饔^操作者”，與人的行為相分離。單純地依靠權(quán)力制約，顯然無(wú)法應(yīng)對(duì)算法由客轉(zhuǎn)主的角色變化。

另一方面，一切有權(quán)力的人都容易濫用權(quán)力，這是萬(wàn)古不易的一條經(jīng)驗(yàn)，有權(quán)力的人使用權(quán)力一直到遇有界限的地方才休止①[美]孟德斯鳩：《論法的精神（上）》，張雁深譯，北京：商務(wù)印書(shū)館，1961 年，第154 頁(yè)。。即使技術(shù)規(guī)制能夠制約算法自主權(quán)力及糾正算法設(shè)計(jì)者植入算法的偏見(jiàn)，卻無(wú)法解決算法權(quán)力運(yùn)行過(guò)程中權(quán)力行為主體對(duì)算法的濫用。此外，多層次場(chǎng)景化的算法應(yīng)用更加要求從時(shí)間、地點(diǎn)、條件出發(fā)，更加動(dòng)態(tài)、具體地對(duì)算法權(quán)力加以個(gè)性化的權(quán)力制約。

2.終端規(guī)制到全程規(guī)制

算法權(quán)力的運(yùn)行具有流程性，包括數(shù)據(jù)的收集、加工，算法的研發(fā)、設(shè)計(jì)，以及算法的應(yīng)用，其異化可能產(chǎn)生于以上任何階段。然而，傳統(tǒng)法律制度，“技術(shù)中立”的思維范式將算法設(shè)計(jì)與算法應(yīng)用割裂開(kāi)來(lái)，認(rèn)為任何技術(shù)的設(shè)計(jì)都不在規(guī)制范圍內(nèi)，將規(guī)制的范圍限縮在技術(shù)的應(yīng)用階段，忽視“被制造出來(lái)的風(fēng)險(xiǎn)（manufactured risk）”。②被制造出來(lái)的風(fēng)險(xiǎn)指的是由人們不斷發(fā)展的知識(shí)對(duì)這個(gè)世界的影響所產(chǎn)生的風(fēng)險(xiǎn)，是人們?cè)跊](méi)有太多歷史經(jīng)驗(yàn)的情況下所產(chǎn)生的風(fēng)險(xiǎn)。[英]安東尼·吉登斯:《失控的世界》，周紅云譯，南昌：江西人民出版社，2001 年，第22 頁(yè)。不僅如此，面對(duì)“算法黑箱”，終端規(guī)制面臨法律因果鏈條斷裂，現(xiàn)有法律之不敷的困境。故，算法權(quán)力的規(guī)制應(yīng)升級(jí)規(guī)制思路，進(jìn)行“事前預(yù)防—事中監(jiān)管—事后救濟(jì)”的全過(guò)程規(guī)制。首先，算法技術(shù)設(shè)計(jì)始，從源頭將法律與技術(shù)進(jìn)行勾連，弱化算法技術(shù)與法律的分離，這對(duì)于減少算法權(quán)力異化的概率具有十分重大的意義。其次，算法權(quán)力的運(yùn)行過(guò)程中，加強(qiáng)對(duì)權(quán)力運(yùn)行的監(jiān)管及問(wèn)責(zé)，提升算法權(quán)力運(yùn)行的透明度，力建督審結(jié)合的監(jiān)管制度體系。最后，針對(duì)算法權(quán)力異化所帶來(lái)的負(fù)外部效應(yīng)，進(jìn)行具體的事后救濟(jì)，引入異質(zhì)權(quán)力制約—算法可解釋權(quán)與算法問(wèn)責(zé)機(jī)制勾連，重構(gòu)法律因果鏈條。

3.從公私領(lǐng)域分別規(guī)制過(guò)渡為整體性規(guī)制

“算法黑箱”使得公共利益與資本利益相互交織，很難找到一條涇渭分明的界限。公權(quán)力與算法權(quán)力的相互滲透，模糊了公權(quán)力與私權(quán)利的界限。公權(quán)力借助算法輔助決策，以降低管理成本，提高管理效能；算法權(quán)力利用技術(shù)，形成“準(zhǔn)公權(quán)力”擴(kuò)大自身話語(yǔ)權(quán)。如果該決策是為“資本利益”服務(wù)，那么其決策性質(zhì)為“私”；如果該決策是為“公共利益”服務(wù)，那么其決策性質(zhì)為“公”。問(wèn)題在于，“黑箱”掩蓋下，算法決策何時(shí)出于公共利益，何時(shí)代表資本利益，決策主體無(wú)法給予合理的解釋。面對(duì)這種彌散性的權(quán)力形態(tài)，要考慮對(duì)其進(jìn)行整體性的規(guī)制設(shè)計(jì)：首先，擴(kuò)大問(wèn)責(zé)主體，將公私領(lǐng)域的問(wèn)責(zé)主體合一，進(jìn)行剛性約束，制約算法權(quán)力的濫用。其次，公私權(quán)力的交織，直接影響公權(quán)力的正當(dāng)性，甚至是權(quán)力屬性，有必要引入第三方治理，以確保權(quán)力監(jiān)督的公正性。最后，無(wú)論是公領(lǐng)域抑或私領(lǐng)域，皆賦予個(gè)人算法可解釋權(quán)，個(gè)人權(quán)利的配置不僅出于事后救濟(jì)的需要，更是為整體性應(yīng)對(duì)私權(quán)利縮限，增加私權(quán)利與算法權(quán)力博弈的資本。

（二）算法權(quán)力的法律規(guī)制

1.設(shè)計(jì)階段：建構(gòu)性算法倫理評(píng)估

建構(gòu)性算法倫理評(píng)估指評(píng)估主體依據(jù)不同利益主體的反饋結(jié)果對(duì)算法設(shè)計(jì)可能造成的倫理風(fēng)險(xiǎn)進(jìn)行分析論證，在此基礎(chǔ)上提出調(diào)整建議及對(duì)策。之所以稱“建構(gòu)性”，是由于評(píng)估發(fā)生在算法設(shè)計(jì)階段，旨對(duì)算法權(quán)力產(chǎn)生建構(gòu)性的影響，實(shí)質(zhì)上是規(guī)制體系從對(duì)事物規(guī)制向?qū)Υa規(guī)制的變革①See Paul Ohm，Blake Reid：“Regulating Software When Everything Has Software”.george Washington Law Review,Vol.84,No.6(2016).，從源頭打破法律與技術(shù)分離對(duì)立的局面，將算法權(quán)力的異化扼殺在搖籃中。

具體而言，算法倫理評(píng)估的建構(gòu)主要包括三個(gè)方面：

第一，算法倫理設(shè)計(jì)，即算法倫理性評(píng)估的前提，以立法形式明晰算法設(shè)計(jì)者的倫理設(shè)計(jì)義務(wù)。法律從來(lái)沒(méi)有享受過(guò)價(jià)值無(wú)涉的保護(hù)傘，而是必須持續(xù)地回應(yīng)公眾的價(jià)值觀期②蔣舸：《作為算法的法律》,《清華法學(xué)》2019 年第1 期。。這就要求算法在設(shè)計(jì)階段將法律所追求的倫理價(jià)值融入算法功能，讓倫理與技術(shù)并列成為算法設(shè)計(jì)的組成部分，實(shí)現(xiàn)算法設(shè)計(jì)倫理化。如歐盟《可信賴的人工智能準(zhǔn)則》中將人的價(jià)值作為人工智能的首要考量因素和歐盟GDPR 的默認(rèn)隱私原則?；ヂ?lián)網(wǎng)巨頭企業(yè)在其人工智能倫理的主張中也體現(xiàn)了默認(rèn)隱私或默認(rèn)倫理的訴求③汪慶華：《人工智能的法律規(guī)制路徑:一個(gè)框架性討論》,《現(xiàn)代法學(xué)》2019 年第2 期。。

第二，設(shè)計(jì)、負(fù)責(zé)及評(píng)估主體分離制度。該制度最樸素的敘述是任何人不能成為自己的法官，以確保評(píng)估結(jié)果的全面、中立。如果將算法設(shè)計(jì)主體與評(píng)估主體雜糅，算法設(shè)計(jì)主體極有可能利用自身評(píng)估職權(quán)影響評(píng)估過(guò)程和其他參與主體的判斷。具體評(píng)估事項(xiàng)應(yīng)交由第三方機(jī)構(gòu)負(fù)責(zé)，該第三方機(jī)構(gòu)可以是政府科技發(fā)展部門，也可以是專業(yè)技術(shù)評(píng)估機(jī)構(gòu)，其通過(guò)協(xié)商或命令確保算法設(shè)計(jì)盡可能平衡各方利益。需要說(shuō)明的是，鑒于公權(quán)力的異化特性與專業(yè)機(jī)構(gòu)被“俘獲”的風(fēng)險(xiǎn)，第三方機(jī)構(gòu)并非評(píng)估主體，只負(fù)責(zé)設(shè)置評(píng)估任務(wù)、組織評(píng)估議程以及監(jiān)督評(píng)估過(guò)程。算法倫理風(fēng)險(xiǎn)的分析與描述由專家（算法技術(shù)專家、倫理學(xué)家、法學(xué)家及其他相關(guān)學(xué)科專家）及利益相關(guān)者進(jìn)行評(píng)估。

第三，算法風(fēng)險(xiǎn)交流機(jī)制。該機(jī)制指算法設(shè)計(jì)風(fēng)險(xiǎn)評(píng)估程序的每一階段、步驟、環(huán)節(jié)，參與主體與社會(huì)公眾都需充分的交換風(fēng)險(xiǎn)信息并交流反饋意見(jiàn)。需要強(qiáng)調(diào)的是該機(jī)制以信息公開(kāi)為原則，無(wú)論是過(guò)程信息還是結(jié)果信息，除法定禁止公開(kāi)的信息外，皆應(yīng)公開(kāi)。普通民眾雖非評(píng)估主體，但可以通過(guò)平臺(tái)平等的表達(dá)意見(jiàn)，縮小算法黑箱所帶來(lái)的技術(shù)精英與普通民眾的“信息鴻溝”，預(yù)防公權(quán)力與算法權(quán)力的雙向“勾結(jié)”。

2.權(quán)力運(yùn)行階段：審督結(jié)合與第三方制約

審督結(jié)合與第三方制約的目標(biāo)在于提高算法權(quán)力透明度，顯化算法權(quán)力的運(yùn)行，促使權(quán)力處于監(jiān)督之下；另則，在于確保日后的責(zé)任回溯。

第一，審督結(jié)合。計(jì)算機(jī)協(xié)會(huì)（ACM）的算法透明度和問(wèn)責(zé)性七原則中，指出必須有監(jiān)管機(jī)制。算法設(shè)計(jì)者及控制者接受監(jiān)督不僅是自我澄清和保護(hù)的手段④參見(jiàn)張凌寒：《風(fēng)險(xiǎn)防范下算法的監(jiān)督路徑研究》，《交大法學(xué)》2018 年第4 期。，還將成為必然的發(fā)展趨勢(shì)，應(yīng)采用企業(yè)內(nèi)部審核與行政外部監(jiān)督的審督結(jié)合方式。

私權(quán)領(lǐng)域，企業(yè)有必要引入“數(shù)據(jù)保護(hù)官（DPO）”內(nèi)部審核制度。歐盟《一般數(shù)據(jù)條例》對(duì)于DPO 的設(shè)置作出了強(qiáng)制規(guī)定，如第37 條第5款、第39 條第1 款要求由獨(dú)立的具有專業(yè)素養(yǎng)的數(shù)據(jù)保護(hù)官監(jiān)管企業(yè)內(nèi)部的數(shù)據(jù)處理活動(dòng)⑤《一般數(shù)據(jù)保護(hù)條例（GDPR）》第37 條第5 款：數(shù)據(jù)保護(hù)人員的指派應(yīng)當(dāng)給予職業(yè)能力，尤其是關(guān)于數(shù)據(jù)保護(hù)法律的專業(yè)知識(shí)以及39 條所提到的完成任務(wù)的經(jīng)驗(yàn)和能力?！兑话銛?shù)據(jù)保護(hù)條例（GDPR）》第39 條第1 款：數(shù)據(jù)保護(hù)人員的任務(wù)至少包括：a)向控制者、處理者以及根據(jù)本章程或者根據(jù)其他聯(lián)盟法律成員國(guó)法律規(guī)定的義務(wù)進(jìn)行數(shù)據(jù)處理的人員，提出通知和建議。b)和監(jiān)控本章程、其他聯(lián)盟成員國(guó)法律、控制者處理者關(guān)于個(gè)人數(shù)據(jù)的相關(guān)政策（包括職責(zé)、意識(shí)提高人員培訓(xùn)）以及相關(guān)審計(jì)活動(dòng)的合規(guī)性；c)根據(jù)35 條提出對(duì)于數(shù)據(jù)保護(hù)影響評(píng)估和監(jiān)控的建議；d)和監(jiān)管機(jī)構(gòu)合作；e)作為監(jiān)管機(jī)構(gòu)與處理活動(dòng)的連接點(diǎn)，包括36 條提到的事先咨詢或者其他咨詢活動(dòng)。。具有專業(yè)素養(yǎng)的“數(shù)據(jù)保護(hù)官”負(fù)責(zé)審核數(shù)據(jù)安全，監(jiān)控算法的運(yùn)行狀態(tài)和運(yùn)行結(jié)果，并向企業(yè)提供審核建議。中國(guó)企業(yè)正在逐步適應(yīng)該內(nèi)審制度，如東航在2018年6月設(shè)立DPO崗位，成為國(guó)內(nèi)首家設(shè)立“數(shù)據(jù)保護(hù)官”的企業(yè)，而華為公司則對(duì)此在官方回應(yīng)中指出華為已任命歐盟DPO。

公權(quán)領(lǐng)域，建構(gòu)審計(jì)監(jiān)督制度。與DPO 內(nèi)審制度不同，審計(jì)監(jiān)督制度是依靠行政力量，對(duì)DPO審核作業(yè)的查缺補(bǔ)漏。由獨(dú)立審計(jì)方對(duì)數(shù)據(jù)處理的政策和行為，按年度實(shí)施審計(jì)工作，保證算法運(yùn)行的透明度。具體的審計(jì)內(nèi)容應(yīng)包含但不限于算法設(shè)計(jì)的合法性、公正性、有效性以及透明性。印度《2019年個(gè)人數(shù)據(jù)保護(hù)法》①印度《2019 年個(gè)人數(shù)據(jù)保護(hù)法》第29 條第1 款：重要數(shù)據(jù)受托者應(yīng)根據(jù)本法規(guī)定，由獨(dú)立數(shù)據(jù)審計(jì)方對(duì)其個(gè)人數(shù)據(jù)處理的政策和行為按年度實(shí)施審計(jì)工作。與中國(guó)2020 年10 月1 日頒布的《信息安全技術(shù)個(gè)人信息安全規(guī)范》②11.7 安全審計(jì)對(duì)個(gè)人信息控制者的要求包括：a.應(yīng)對(duì)個(gè)人信息保護(hù)政策相關(guān)規(guī)程和安全措施的有效性進(jìn)行審計(jì)。b.應(yīng)建立自動(dòng)化審計(jì)系統(tǒng)，監(jiān)測(cè)記錄個(gè)人信息處理活動(dòng)。c.審計(jì)過(guò)程形成的記錄應(yīng)能應(yīng)對(duì)安全事件的處置、應(yīng)急響應(yīng)和事后調(diào)查提供支撐。d.應(yīng)防止非授權(quán)訪問(wèn)、篡改或刪除審計(jì)記錄。e.應(yīng)及時(shí)處理審計(jì)過(guò)程中發(fā)現(xiàn)的個(gè)人信息違規(guī)使用、濫用等情況。f.審計(jì)記錄和留存時(shí)間應(yīng)符合法律法規(guī)的要求。均有制定算法審計(jì)監(jiān)督機(jī)制。

第二，引入第三方制約。“算法黑箱”模糊了公私領(lǐng)域的界限，應(yīng)考慮建立值得信賴的第三方機(jī)構(gòu)。該機(jī)構(gòu)對(duì)被認(rèn)為歧視相關(guān)公民或組織的算法進(jìn)行調(diào)查，有權(quán)強(qiáng)制企業(yè)對(duì)算法失誤決策做出說(shuō)明，維護(hù)算法公正、透明的運(yùn)行。此外，算法權(quán)力監(jiān)督主體，包括但不限于特定信賴的第三方機(jī)構(gòu)，還可以是數(shù)據(jù)提供者、具有專業(yè)素質(zhì)的相關(guān)技術(shù)組織、相關(guān)世界組織甚至算法技術(shù)自身（監(jiān)督算法的算法）。例如，Google IVO 2019 開(kāi)發(fā)者大會(huì)上，Google 發(fā)布的一項(xiàng)名為“TCAV（Testing with Concept Activation Vectors）”的新技術(shù)，是一種算法歧視糾偏技術(shù)，可以監(jiān)督其他算法模型中的歧視傾向③王煥超：《如何讓算法解釋自己為什么“算法歧視？》，https:\finance.sina.cnstock elnewsus2019-06-13detailihvhiews8657619.d.html.D。。

3.事后救濟(jì)階段：算法可解釋權(quán)與算法權(quán)力問(wèn)責(zé)機(jī)制

第一，設(shè)置算法可解釋權(quán)。樹(shù)立可解釋性為第一原則，能夠最大限度提純技術(shù)價(jià)值，是防治算法權(quán)力異化拔本塞源的不二選擇。

首先，確立解釋路徑。從當(dāng)前所使用的主流算法來(lái)看，深度學(xué)習(xí)無(wú)法做到算法的透明性，即使公布深度學(xué)習(xí)的所有代碼與程式，也無(wú)法得知算法如何以及為何得出相應(yīng)的結(jié)果④參見(jiàn)左衛(wèi)民：《關(guān)于法律人工智能在中國(guó)運(yùn)用前景的若干思考》，《清華法學(xué)》2018 年第2 期。。有學(xué)者主張采取反設(shè)事實(shí)解釋，即僅要求算法設(shè)計(jì)者、控制者向算法決策的相對(duì)人提供影響最終決策結(jié)果的重要因素或事實(shí)⑤See Sandra Wachter,Brentmittlelstadt,Chris Russell：“Counterfactual Expanations Without Opening the Black Box:Automated Decisions and thegDPR,”.Harvard Journal of Law&Technology,Vol.31,No.2(2017).。我們贊同這種針對(duì)算法決策理由與原因的解釋，原因有三：一是，算法可解釋權(quán)的目標(biāo)是讓算法決策利益相關(guān)人知曉與其預(yù)期有偏差的決策是如何做出的，而非“祛魅”。二是，算法的源代碼具備復(fù)雜性、迭代性，與普通大眾之間存在無(wú)法跨越的“專業(yè)槽”，即使公開(kāi)也難逃“無(wú)效信息”的劫難。三是，這種“可理解”意義上的透明，算法可解釋權(quán)并不意味著對(duì)算法專利的克減⑥姜野、李擁軍：《破解算法黑箱：算法解釋權(quán)的功能證成與使用路徑——以社會(huì)信用體系建設(shè)為場(chǎng)景》。。相反，無(wú)論認(rèn)知成本還是技術(shù)成本，反設(shè)事實(shí)解釋都以最小的代價(jià)打通了技術(shù)與法律的要道，緩解了算法可解釋權(quán)與商業(yè)秘密、知識(shí)產(chǎn)權(quán)制度的矛盾。

其次，保證事后救濟(jì)的權(quán)利。當(dāng)算法決策相對(duì)人發(fā)現(xiàn)負(fù)面決策是由于數(shù)據(jù)錯(cuò)誤而產(chǎn)生的，有權(quán)要求更正數(shù)據(jù)或退棄算法決策，轉(zhuǎn)而申請(qǐng)人工決策。歐盟《一般數(shù)據(jù)條例》第22 條第1 款，以立法形式體現(xiàn)了這一確權(quán)思想⑦《一般數(shù)據(jù)保護(hù)條例（GDPR）》第22 條第1 款：數(shù)據(jù)主體有權(quán)反對(duì)此類決策，完全依靠自動(dòng)化處理——包括用戶畫(huà)像——對(duì)數(shù)據(jù)主體做出具有法律影響或類似嚴(yán)重影響的決策。。

第二，算法權(quán)力的問(wèn)責(zé)機(jī)制。算法可解釋權(quán)的設(shè)立成為“行為——責(zé)任”法律邏輯鏈條的重要連接點(diǎn)，有必要塑構(gòu)算法權(quán)力的問(wèn)責(zé)機(jī)制與算法可解釋權(quán)進(jìn)行有機(jī)勾連。主要包括以下三個(gè)方面：

首先，擴(kuò)大問(wèn)責(zé)對(duì)象。一是，增加算法設(shè)計(jì)者作為問(wèn)責(zé)對(duì)象。算法設(shè)計(jì)者承擔(dān)算法設(shè)計(jì)責(zé)任的主要目的是確保建構(gòu)性算法倫理風(fēng)險(xiǎn)評(píng)估與內(nèi)審?fù)舛街贫鹊呢?zé)任回溯。具體包括確保算法設(shè)計(jì)的基礎(chǔ)資料真實(shí)、完整、準(zhǔn)確；對(duì)擬采用的新技術(shù)進(jìn)行技術(shù)論證；進(jìn)行設(shè)計(jì)成果的實(shí)驗(yàn)等。若有算法設(shè)計(jì)者隱瞞設(shè)計(jì)質(zhì)量問(wèn)題的；未規(guī)定時(shí)限完成設(shè)計(jì)整改的；拒不整改的；拒不進(jìn)行算法設(shè)計(jì)實(shí)驗(yàn)的，從重一級(jí)問(wèn)責(zé)。二是，防范公權(quán)力被“俘獲”，增加行政機(jī)關(guān)及相關(guān)決策人員作為問(wèn)責(zé)對(duì)象。環(huán)境治理中，環(huán)境保護(hù)機(jī)構(gòu)運(yùn)用預(yù)測(cè)性算法識(shí)別最有可能違反環(huán)境法治的企業(yè)。公私權(quán)界的模糊，促使很多企業(yè)成為“無(wú)辜嫌疑人”，有違“無(wú)罪推定”的法律原則，直接影響公權(quán)力決策的正義性。三是，增加算法應(yīng)用方、法定代表人、相關(guān)監(jiān)督部門作為問(wèn)責(zé)對(duì)象。傳統(tǒng)實(shí)體交易模式，消費(fèi)者買入假貨劣貨時(shí)，商場(chǎng)要與實(shí)體銷售店共同承擔(dān)連帶責(zé)任，而線上交易，即使因推薦性算法的誤導(dǎo)，消費(fèi)者購(gòu)入假貨或者劣貨，電商平臺(tái)只有在明知或者應(yīng)當(dāng)知道該情形時(shí)方為問(wèn)責(zé)主體。法律上的差別對(duì)待會(huì)加劇算法權(quán)力的濫用。因此，責(zé)任有失的情況下，算法應(yīng)用方、法定代表人、相關(guān)監(jiān)督部門應(yīng)作為追責(zé)對(duì)象，承擔(dān)連帶責(zé)任。

其次，問(wèn)責(zé)程序正當(dāng)化。正當(dāng)程序原則源于對(duì)“程序正義”的追求，是建立算法問(wèn)責(zé)機(jī)制的前提。根據(jù)程序正義的要求，算法問(wèn)責(zé)的正當(dāng)程序應(yīng)當(dāng)包含三個(gè)方面：一是，私權(quán)領(lǐng)域算法權(quán)力的運(yùn)行應(yīng)引入第三方作為仲裁者。作為決定程序法律結(jié)果的法律主體應(yīng)當(dāng)處于中立地位，對(duì)參與程序的任何一方不得存有偏見(jiàn)和歧視①參見(jiàn)周佑勇：《行政法的正當(dāng)程序原則》，《中國(guó)社會(huì)科學(xué)》2004 年第4 期。。商業(yè)平臺(tái)單方面制定內(nèi)部申訴機(jī)制，用戶處于弱勢(shì)，如淘寶規(guī)則中違規(guī)申訴相關(guān)條款②《淘寶規(guī)則》第47 條：會(huì)員可在被違規(guī)處理之時(shí)起總計(jì)3—30 天不等的時(shí)間內(nèi)(淘寶審核時(shí)間除外)通過(guò)線上違規(guī)申訴入口提交違規(guī)申訴申請(qǐng).[2015-01-16].https://rule.taobao.com/detail-2114.htm?cId=81&tag=self。。作為決定程序結(jié)果的主體，商業(yè)平臺(tái)無(wú)法提供“正義審判”。二是，算法民主即賦予算法公共決策相關(guān)利益人要求聽(tīng)證的權(quán)利。三是，提高程序透明度。無(wú)論是公權(quán)領(lǐng)域還是私權(quán)領(lǐng)域，算法權(quán)力對(duì)算法相關(guān)利益人具有負(fù)面影響時(shí)，算法權(quán)力的相關(guān)利益人有被告知的權(quán)利。

最后，問(wèn)責(zé)標(biāo)準(zhǔn)嚴(yán)格化?！八惴ê谙洹毕拢擅媾R最大的挑戰(zhàn)可能在于因果關(guān)系的重構(gòu)。任何領(lǐng)域，人類對(duì)特定事件因果關(guān)系的判定都必須接受人類認(rèn)知水平和當(dāng)下信息現(xiàn)狀的束縛?？梢哉f(shuō)，因果關(guān)系的認(rèn)定是一個(gè)可能性的判斷過(guò)程。算法技術(shù)復(fù)雜，人類對(duì)其認(rèn)知有限，加之信息不對(duì)等，無(wú)法判定因果的情況甚多，但不應(yīng)影響對(duì)其問(wèn)責(zé)。相反，即使無(wú)法解釋算法如何產(chǎn)生結(jié)果，算法設(shè)計(jì)者、控制者以及算法應(yīng)用方均應(yīng)對(duì)其使用的算法所作出的自動(dòng)化決策負(fù)責(zé)。

算法社會(huì)，人類在無(wú)知覺(jué)中步入了算法的“權(quán)力時(shí)代”。正如，人們無(wú)法否定數(shù)字化時(shí)代的存在，也無(wú)法阻止數(shù)字化時(shí)代的前進(jìn)，就像人類無(wú)法對(duì)抗大自然的力量一樣③［美］尼古拉·尼葛洛龐帝：《數(shù)字化生存》，胡泳、范海燕譯，北京：電子工業(yè)出版社，2017 年，第299 頁(yè)。。面對(duì)算法權(quán)力異化，最好的做法是追根溯源，對(duì)癥下藥，以法律勾勒其權(quán)力邊界，防治異化。