摘要：算法自動(dòng)決策侵犯公民的隱私權(quán)、知情權(quán)和救濟(jì)權(quán)，違反正當(dāng)程序原則。歐盟和美國(guó)對(duì)算法解釋權(quán)分別采取內(nèi)部監(jiān)管模式和外部問責(zé)模式，這兩種模式在解釋對(duì)象、解釋標(biāo)準(zhǔn)、解釋時(shí)間方面存在差異，目的都在于促進(jìn)技術(shù)安全發(fā)展、限制政府權(quán)力和保護(hù)個(gè)人權(quán)利。算法應(yīng)用到公共服務(wù)領(lǐng)域時(shí)帶有公共利益屬性，不得以“商業(yè)秘密”為由拒絕公開。我國(guó)《個(gè)人信息保護(hù)法（草案）》設(shè)立了事前解釋原則，以透明性和公正合理為解釋標(biāo)準(zhǔn)，賦予個(gè)人對(duì)自動(dòng)化決策的拒絕權(quán)，比GDPR保護(hù)個(gè)人權(quán)利更進(jìn)一步。中國(guó)特色算法解釋權(quán)在規(guī)范上應(yīng)進(jìn)一步明確透明性的內(nèi)容、規(guī)范定期審計(jì)以加強(qiáng)監(jiān)管;在技術(shù)層面公開算法模型，公開源代碼、公開算法運(yùn)算基本規(guī)則、因素及權(quán)重;同時(shí)由政府主導(dǎo)核心領(lǐng)域算法開發(fā)以促進(jìn)算法造福社會(huì)。

關(guān)鍵詞：算法解釋權(quán);商業(yè)秘密;《個(gè)人信息保護(hù)法（草案）》;公共利益

作者簡(jiǎn)介：李婕，安徽大學(xué)法學(xué)院副教授（合肥? 230039）

基金項(xiàng)目：國(guó)家社科規(guī)劃基金一般項(xiàng)目“改革開放以來(lái)中國(guó)司法體制中‘人民群眾話語(yǔ)的歷史變遷與實(shí)踐影響研究”（20BFX006）

DOI編碼：10.19667/j.cnki.cn23-1070/c.2021.03.012

大數(shù)據(jù)時(shí)代，算法在類案類判系統(tǒng)、智慧檢務(wù)軟件、征信評(píng)級(jí)、“扶貧云”等公共服務(wù)領(lǐng)域的應(yīng)用不但提高了效率，而且發(fā)揮著分配資源、形塑社會(huì)秩序的建構(gòu)角色。由于算法系統(tǒng)的輸出數(shù)據(jù)影響個(gè)人基本權(quán)利，算法自動(dòng)化決策問題日益受到法學(xué)研究者的關(guān)注。我國(guó)法學(xué)界關(guān)于算法的研究主要集中在算法倫理審查1、算法確權(quán)困境2、算法共謀的法律規(guī)制3、算法解釋權(quán)與算法治理路徑4等問題，尚未立足我國(guó)的法律規(guī)范（尤其是《個(gè)人信息保護(hù)法（草案）》）和司法案例探討算法解釋權(quán)的制度構(gòu)建。在科技革命撲面而來(lái)的當(dāng)下，公眾對(duì)算法決策理性的呼吁催生了算法解釋權(quán)，如何立足我國(guó)實(shí)踐和立法，科學(xué)審視算法解釋權(quán)，這不僅是人工智能技術(shù)發(fā)展的當(dāng)代之問，也是未來(lái)之問。

一、算法自動(dòng)化決策對(duì)公共服務(wù)領(lǐng)域的挑戰(zhàn)

“互聯(lián)網(wǎng)+”已經(jīng)廣泛應(yīng)用于公共服務(wù)領(lǐng)域，與此同時(shí)算法自動(dòng)化決策的運(yùn)行也悄無(wú)聲息地侵蝕著公民的基本法律權(quán)利。例如，2016年美國(guó)康斯威星州State v. Loomis案件中，被告認(rèn)為州法院使用COMPAS算法模型量刑違反了正當(dāng)程序原則，1 K.W.Ex rel.D.W.v.Armstrong 一案中，2愛達(dá)荷州眾多居民認(rèn)為算法缺陷致使救濟(jì)金計(jì)算錯(cuò)誤，嚴(yán)重影響個(gè)人生活。從法律的視角看，算法自動(dòng)化決策對(duì)公共服務(wù)領(lǐng)域主要有以下挑戰(zhàn)：

（一）算法自動(dòng)化決策侵犯公民的基本權(quán)利

首先，算法自動(dòng)化決策侵犯?jìng)€(gè)人隱私權(quán)。無(wú)論是征信評(píng)級(jí)系統(tǒng)，還是福利金計(jì)算系統(tǒng)，都要根據(jù)當(dāng)事人的個(gè)人數(shù)據(jù)進(jìn)行分析。算法系統(tǒng)對(duì)個(gè)人數(shù)據(jù)的整合和挖掘囊括個(gè)人的行動(dòng)軌跡、敏感信息等涉及隱私的數(shù)據(jù)，個(gè)人隱私不知不覺地被嵌入算法系統(tǒng)的運(yùn)算分析中。而作為分析基礎(chǔ)的數(shù)據(jù)，往往來(lái)源于政府在教育、醫(yī)療、交通、視頻監(jiān)控等途徑收集的數(shù)據(jù)。在電子化政府的建設(shè)過(guò)程中，政府通過(guò)人工智能設(shè)施的部署逐漸形成對(duì)公民活動(dòng)的全面監(jiān)控，并基于此進(jìn)行治安預(yù)測(cè)和公共安全等必要活動(dòng)。政府加強(qiáng)對(duì)社會(huì)的監(jiān)控?zé)o可厚非，但政府將各部門的資料庫(kù)互相串聯(lián)，使得資料在政府部門內(nèi)部互相流通，將不可避免地導(dǎo)致數(shù)據(jù)濫用。32013年，美國(guó)前國(guó)安局雇員愛德華·斯諾登事件曝光，公眾才發(fā)現(xiàn)“老大哥正在看著你”并非著作中的科幻想象。4在“任務(wù)偏離效應(yīng)”5之下，政府為了公共安全將個(gè)人數(shù)據(jù)信息用于洗錢防治、犯罪地圖等其他違法行為調(diào)查中，而公眾并不知道自己的基本權(quán)利受到了侵犯。

其次，算法運(yùn)算規(guī)則不透明侵犯了個(gè)人知情權(quán)。中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心在《2016年中國(guó)互聯(lián)網(wǎng)新聞市場(chǎng)研究報(bào)告》中指出，“算法分發(fā)”逐漸成為網(wǎng)絡(luò)新聞主要的分發(fā)方式，如果任由算法向用戶推送同質(zhì)的信息而不加以節(jié)制，可能會(huì)導(dǎo)致用戶陷入“信息繭房”的束縛之中——即公眾只注意自己選擇的東西和使自己愉悅的領(lǐng)域，久而久之會(huì)將自身束縛于像蠶繭一般的“繭房”中。從技術(shù)的角度看，算法規(guī)則轉(zhuǎn)化為計(jì)算機(jī)代碼時(shí)不可避免地會(huì)產(chǎn)生翻譯錯(cuò)誤，由于硬件、軟件、外圍設(shè)備的局限性導(dǎo)致難以對(duì)某詞匯進(jìn)行寬窄適宜的翻譯，難以將社會(huì)意義的詞匯準(zhǔn)確嵌入算法編程中，導(dǎo)致算法的輸出數(shù)據(jù)不可避免地出現(xiàn)偏差。公眾不但不知道自己的信息用于商業(yè)領(lǐng)域，而且不知曉算法的運(yùn)行規(guī)則，面對(duì)不可思議的算法結(jié)論往往一臉茫然。

最后，算法自動(dòng)化決策錯(cuò)誤難以進(jìn)行救濟(jì)。我國(guó)政府大力支持人工智能技術(shù)發(fā)展，算法系統(tǒng)的設(shè)計(jì)和應(yīng)用幾乎在法律真空中進(jìn)行。在COMPAS案件中，Loomis認(rèn)為COMPAS屏蔽加權(quán)和計(jì)算再犯風(fēng)險(xiǎn)得分的公式，致使其沒有“糾正”和“沒有否認(rèn)或解釋”的救濟(jì)機(jī)會(huì);Billy Ray Johnson案件中，被告人比利對(duì)檢測(cè)犯罪現(xiàn)場(chǎng)DNA的True Allele系統(tǒng)的輸出結(jié)果表示懷疑，專家證人試圖檢驗(yàn)該軟件的源代碼時(shí)，被True Allele系統(tǒng)的所有者即Perlin公司以“商業(yè)秘密”的理由拒絕，6導(dǎo)致被告人無(wú)從獲得救濟(jì)。目前我國(guó)尚無(wú)明確的法規(guī)和程序?qū)θ斯ぶ悄芟到y(tǒng)的輸出結(jié)論進(jìn)行審查，當(dāng)事人即使對(duì)算法自動(dòng)化決策產(chǎn)生質(zhì)疑也難以獲得法律救濟(jì)。

（二）算法自動(dòng)化決策阻礙公平公正

首先，算法自動(dòng)化決策不可避免地產(chǎn)生歧視。例如，美國(guó)針對(duì)犯罪傾向性預(yù)測(cè)的人工智能系統(tǒng)（COMPAS）應(yīng)用中，無(wú)論技術(shù)人員如何調(diào)整機(jī)器學(xué)習(xí)的策略和算法，人種和膚色都是無(wú)法抹去的高優(yōu)先識(shí)別變量，導(dǎo)致有色人種的犯罪傾向遠(yuǎn)遠(yuǎn)高于非有色人種。據(jù)學(xué)者分析，美國(guó)司法領(lǐng)域廣泛使用的犯罪評(píng)估軟件COMPAS對(duì)黑人評(píng)估的累犯分?jǐn)?shù)高于處于同樣困境的白人。1美國(guó)國(guó)防專家對(duì)紐約市犯罪實(shí)驗(yàn)室中的統(tǒng)計(jì)軟件（“FST”）的源代碼審查后認(rèn)為，“FST軟件輸出數(shù)據(jù)的正確性應(yīng)該受到嚴(yán)重質(zhì)疑”2，建議紐約犯罪實(shí)驗(yàn)室停止使用“FST”。由于當(dāng)前人工智能系統(tǒng)多由私人企業(yè)研發(fā)，利益驅(qū)動(dòng)下的研發(fā)難以保障算法系統(tǒng)的客觀公正，私人企業(yè)追逐利潤(rùn)的目標(biāo)亦與公平公正的要求南轅北轍。在人工智能技術(shù)實(shí)踐先行的模式下，目前各地大張旗鼓地出臺(tái)促進(jìn)人工智能發(fā)展應(yīng)用的政策規(guī)劃，卻鮮見對(duì)算法問題監(jiān)管進(jìn)行立法，導(dǎo)致算法歧視的危害難以糾偏。

其次，算法運(yùn)作的“黑箱”特征難以對(duì)因果關(guān)系進(jìn)行認(rèn)定。算法技術(shù)分為黑箱、白箱、感知、奇異等類型。目前大多數(shù)算法系統(tǒng)采用“黑箱類型”，那么影響結(jié)果的每個(gè)因素占多大權(quán)重，或如何相互疊加影響最終結(jié)果，公眾無(wú)從知曉，這就導(dǎo)致具體案件中個(gè)人的權(quán)利難以救濟(jì)。在Loomis案件中，被告提出量刑軟件的運(yùn)作過(guò)程不能“排除合理懷疑”，要求對(duì)其源代碼進(jìn)行檢測(cè)，試圖驗(yàn)證算法運(yùn)作是否有問題，但被法院駁回這一請(qǐng)求。從技術(shù)角度看，機(jī)器在無(wú)窮無(wú)盡的數(shù)據(jù)堆中具有不受限制的識(shí)別巨量數(shù)據(jù)的能力，很容易掩蓋層層的鏡面和運(yùn)算中的非法歧視。美國(guó)辛辛那提大學(xué)刑事司法研究中心的報(bào)告表明，只有30%的人工智能系統(tǒng)在廣泛使用之前對(duì)算法進(jìn)行了驗(yàn)證。3當(dāng)案件關(guān)鍵證據(jù)的取得不合法、證據(jù)的證明力無(wú)法驗(yàn)證時(shí)，法治的根基不再牢固，司法公正將蕩然無(wú)存。在不清楚算法系統(tǒng)運(yùn)作模式的情況下，法律根本無(wú)法對(duì)算法進(jìn)行有效監(jiān)督。其結(jié)果是，只講效率不問因果、只重結(jié)論不講目的的算法發(fā)展，將走入技術(shù)工具主義的死胡同。

二、歐美算法解釋權(quán)的模式及比較分析

以算法為核心的人工智能技術(shù)對(duì)公民個(gè)人權(quán)利造成了不可忽視的影響，算法解釋權(quán)成為當(dāng)前法律研究的熱點(diǎn)。“信息時(shí)代的法律媒介是信息性和溝通性的”4，美國(guó)針對(duì)算法自動(dòng)化決策問題采取個(gè)案救濟(jì)的外部問責(zé)機(jī)制，歐盟頒布《通用數(shù)據(jù)保護(hù)條例》（下文簡(jiǎn)稱GDPR）確立了內(nèi)部監(jiān)管模式，逐步將算法規(guī)制納入法治軌道，這兩種模式對(duì)我國(guó)算法解釋權(quán)的構(gòu)建都有借鑒意義。

（一）歐美算法解釋權(quán)的模式考察

算法自動(dòng)化決策系統(tǒng)能夠處理高度復(fù)雜和多層面的數(shù)據(jù)，是世界各國(guó)大力發(fā)展的新技術(shù)。為了避免算法這種新興技術(shù)的消極作用，美國(guó)和歐盟分別形成了模式不同、特色各異的算法解釋權(quán)機(jī)制。

1. 美國(guó)的外部問責(zé)模式

美國(guó)的人工智能技術(shù)發(fā)展迅速，IEEE（電氣和電子工程師協(xié)會(huì)）率先發(fā)布《人工智能設(shè)計(jì)的倫理準(zhǔn)則》白皮書對(duì)人工智能技術(shù)進(jìn)行規(guī)制，隨后美國(guó)公共政策委員會(huì)2017年發(fā)布《算法透明性和可問責(zé)性聲明》，通過(guò)公民個(gè)人申請(qǐng)這種外部問責(zé)的方法提供算法解釋。例如，Pich v. Lightbourne5案是個(gè)人申請(qǐng)法院對(duì)算法進(jìn)行問責(zé)的典型案例，原告提起訴訟認(rèn)為“Calwin自動(dòng)福利管理系統(tǒng)有編程缺陷，導(dǎo)致對(duì)個(gè)人福利的錯(cuò)誤計(jì)算和利益自動(dòng)終止”。法院經(jīng)審查認(rèn)為，司法不需要對(duì)評(píng)估軟件每次運(yùn)行過(guò)程都進(jìn)行干預(yù)，除非程序出現(xiàn)“嚴(yán)重失敗”。原告福利自動(dòng)終止是由于人為錯(cuò)誤而不是Calwin錯(cuò)誤，故算法程序并未出現(xiàn)“重大失敗”，不必進(jìn)行審查。1與之相對(duì)，在K.W.Exrel.D.W. v. Armstrong 一案中2，法院判定，州政府需要充分告知民眾救濟(jì)金數(shù)目發(fā)生變化的具體原因，如問卷特定項(xiàng)目的答案發(fā)生變化，或者是其他解釋和根據(jù)。個(gè)案審查模式通過(guò)訴訟開啟了算法解釋權(quán)，但這種“不告不理”的外部問責(zé)提供的救濟(jì)范圍畢竟有限，難以全面保護(hù)公民個(gè)人權(quán)利。

2. 歐盟的內(nèi)部監(jiān)管模式

歐盟很早就關(guān)注人工智能發(fā)展的法律治理問題，GDPR通過(guò)敦促數(shù)據(jù)控制者、處理者建立內(nèi)部問責(zé)制度對(duì)算法進(jìn)行持續(xù)性和系統(tǒng)性的規(guī)制。首先，GDPR第22條賦予個(gè)人對(duì)算法自動(dòng)化決策的反對(duì)權(quán)，僅在合同履行、經(jīng)歐盟或者成員國(guó)法律授權(quán)以及基于數(shù)據(jù)主體明確同意三種情況下，數(shù)據(jù)控制者才能對(duì)個(gè)人數(shù)據(jù)分析形成自動(dòng)決策。3其次，GDPR對(duì)數(shù)據(jù)控制者、管理者的內(nèi)部監(jiān)管模式側(cè)重事前和事中控制，GDPR在第13條、14條要求數(shù)據(jù)控制者通過(guò)告知算法邏輯、運(yùn)算后果的方式賦予權(quán)利人知情權(quán)?！皵?shù)據(jù)控制者收集信息和獲取個(gè)人數(shù)據(jù)時(shí)應(yīng)當(dāng)履行事前通知義務(wù)”、“向數(shù)據(jù)主體提供自動(dòng)化處理過(guò)程中運(yùn)用的邏輯以及該種數(shù)據(jù)處理對(duì)數(shù)據(jù)主體的重要性和可能產(chǎn)生的后果”。GDPR第15條規(guī)定賦予個(gè)人訪問權(quán)，即“數(shù)據(jù)主體有權(quán)向控制者確認(rèn)與其相關(guān)的個(gè)人數(shù)據(jù)是否正在被處理，以及有權(quán)要求訪問與其相關(guān)的個(gè)人數(shù)據(jù)并獲知詳細(xì)信息”。最后，GDPR第35條確立了數(shù)據(jù)保護(hù)影響評(píng)估制度以加強(qiáng)數(shù)據(jù)控制者的隱私風(fēng)險(xiǎn)管理責(zé)任意識(shí)。

（二）歐美算法解釋權(quán)的差異之處

1. 算法解釋權(quán)的對(duì)象不同。在美國(guó)的外部問責(zé)模式中，法院對(duì)算法審查的對(duì)象是算法的具體決策，即當(dāng)算法決策出現(xiàn)“嚴(yán)重失敗”時(shí)才需要進(jìn)行審查;歐盟GDPR中規(guī)定的算法解釋權(quán)包括算法決策的重要性、運(yùn)算邏輯以及該算法決策可能對(duì)個(gè)人產(chǎn)生的結(jié)果等內(nèi)容，很明顯要求對(duì)算法系統(tǒng)進(jìn)行解釋。算法解釋權(quán)的對(duì)象究竟是算法系統(tǒng)還是具體的算法決策，對(duì)個(gè)人權(quán)利的影響差異很大。如果算法解釋權(quán)的對(duì)象是算法系統(tǒng)，那么解釋的內(nèi)容應(yīng)當(dāng)包括算法系統(tǒng)的編程規(guī)范、預(yù)定義模型、訓(xùn)練參數(shù)、輸入數(shù)據(jù)摘要、運(yùn)行邏輯、模型測(cè)試、訓(xùn)練或篩選等相關(guān)信息等;如果算法解釋權(quán)的對(duì)象是具體的算法決策，則應(yīng)當(dāng)對(duì)該具體決策產(chǎn)生的因果關(guān)系、運(yùn)算邏輯等問題進(jìn)行解釋。如果立法者將算法解釋的對(duì)象確認(rèn)為二者兼有的模式，那么立法者需要以精細(xì)化的場(chǎng)景設(shè)置確定何種情況下對(duì)什么進(jìn)行解釋。很明顯，美國(guó)算法解釋權(quán)的對(duì)象是具體決策，僅對(duì)算法系統(tǒng)進(jìn)行部分審查，歐盟算法解釋權(quán)的對(duì)象是算法系統(tǒng)，因此規(guī)定了對(duì)公民知情權(quán)、異議權(quán)等權(quán)利進(jìn)行事前審查機(jī)制。

2. 算法解釋權(quán)的標(biāo)準(zhǔn)不同。歐盟GDPR傾向于易讀性標(biāo)準(zhǔn)，即算法解釋的義務(wù)主體對(duì)算法的解釋不應(yīng)當(dāng)僅僅是將影響算法做出決策的相關(guān)因素進(jìn)行公布，而且對(duì)相關(guān)因素的公布必須要使用相對(duì)人易于理解的方式，這與GDPR要求的算法解釋可理解性的基本原則是一脈相承的，對(duì)算法解釋的義務(wù)主體提出了較高的義務(wù)要求，加強(qiáng)了對(duì)弱勢(shì)地位相對(duì)人的權(quán)利保護(hù)。美國(guó)的個(gè)案審查模式對(duì)算法解釋權(quán)的標(biāo)準(zhǔn)則需根據(jù)不同訴訟類型的證明標(biāo)準(zhǔn)而定，例如，State v. Loomis案的訴訟請(qǐng)求是COMPAS量刑軟件的決策過(guò)程，就需要采取刑事訴訟案件“排除合理懷疑”的證明標(biāo)準(zhǔn);Pich v. Lightbourne案的訴訟請(qǐng)求是Calwin自動(dòng)福利管理系統(tǒng)的決策過(guò)程，采取的是行政訴訟“舉證倒置”的證明標(biāo)準(zhǔn)。但是，由于算法的復(fù)雜性、專業(yè)性等原因，訴訟中無(wú)論國(guó)家機(jī)構(gòu)還是個(gè)人對(duì)算法運(yùn)算的舉證均難以使訴訟雙方（尤其是陪審團(tuán)）清楚地理解，這是算法解釋權(quán)構(gòu)建中必須考慮的問題。

3. 算法解釋的時(shí)間不同。歐盟GDPR通過(guò)賦予個(gè)人知情權(quán)、數(shù)據(jù)訪問權(quán)、異議權(quán)以及數(shù)據(jù)保護(hù)影響評(píng)價(jià)制度采取事前規(guī)制的模式，以降低算法決策對(duì)個(gè)人權(quán)利的消極影響。與之相對(duì)，美國(guó)的個(gè)案審查模式則是事后對(duì)算法的決策進(jìn)行解釋，更多地側(cè)重對(duì)公民權(quán)利的補(bǔ)救。歐盟和美國(guó)對(duì)算法解釋有著事前解釋和事后解釋的區(qū)別，直接導(dǎo)致公民權(quán)利保護(hù)范圍的差異。例如，很多民眾因沒有時(shí)間、精力進(jìn)行訴訟，即使其對(duì)算法決策的結(jié)論心生懷疑也往往不會(huì)向法院提起訴訟要求解釋算法的決策過(guò)程，更何況美國(guó)現(xiàn)行的司法判例并非支持所有申請(qǐng)算法解釋的訴訟請(qǐng)求。隨著人工智能技術(shù)不斷發(fā)展，算法會(huì)應(yīng)用到越來(lái)越多的領(lǐng)域，事前解釋會(huì)使算法開發(fā)者、使用者審慎對(duì)待個(gè)人數(shù)據(jù)的處理和決策問題，事后解釋可能使算法開發(fā)者、使用者抱著僥幸心理，放任決策偏差現(xiàn)象。

（三）歐美算法解釋權(quán)的共同之處

1. 促進(jìn)技術(shù)安全發(fā)展

在全球第三次科技革命浪潮中，美國(guó)率先出臺(tái)了《人工智能設(shè)計(jì)的倫理準(zhǔn)則》白皮書、《算法透明性和可問責(zé)性聲明》對(duì)算法進(jìn)行規(guī)制，歐盟也頒布GDPR強(qiáng)化個(gè)人數(shù)據(jù)控制者、處理者的責(zé)任以加強(qiáng)算法決策的科學(xué)性，都是為了促進(jìn)人工智能技術(shù)安全發(fā)展、造福人類。如果算法應(yīng)用到分類預(yù)警、信用評(píng)估、資格鑒定等公共服務(wù)領(lǐng)域出現(xiàn)重大錯(cuò)誤，輕則損害國(guó)家機(jī)關(guān)公信力，重則引發(fā)廣泛的社會(huì)抗議，甚至部分人工智能倫理學(xué)者以“某算法違反技術(shù)倫理”為由要求禁止該技術(shù)應(yīng)用。因此，認(rèn)真審視算法應(yīng)用中出現(xiàn)的問題，通過(guò)法律規(guī)范尋求解決問題的對(duì)策是促進(jìn)技術(shù)發(fā)展的正確方法，無(wú)論美國(guó)事后對(duì)算法決策進(jìn)行解釋，還是歐盟事前對(duì)算法進(jìn)行規(guī)制都體現(xiàn)了以法律規(guī)制促進(jìn)技術(shù)安全發(fā)展的宗旨。

2. 限制政府權(quán)力

算法在公共服務(wù)領(lǐng)域的決策往往作為行政許可、行政處罰等行政行為的參考依據(jù)，一定程度上發(fā)揮著行政行為單方行為性、強(qiáng)制性效果，無(wú)形中掩蓋了程序瑕疵、甚至出現(xiàn)錯(cuò)誤行政行為問題，導(dǎo)致政府權(quán)力難以監(jiān)管。State v. Loomis案和State v. Andrews案凸顯了公權(quán)力對(duì)犯罪風(fēng)險(xiǎn)的嚴(yán)密監(jiān)控，Pich v. Lightbourne案表明政府對(duì)個(gè)人福利計(jì)算的非公開性與排他掌控，表明算法系統(tǒng)的應(yīng)用帶有明顯的公權(quán)力監(jiān)控色彩。美國(guó)人工智能技術(shù)發(fā)展走在世界前列，人工智能研究人員及IEEE一直呼吁算法黑箱問題應(yīng)受到監(jiān)管，因此美國(guó)公共政策委員會(huì)頒布《人工智能設(shè)計(jì)的倫理準(zhǔn)則》對(duì)算法提出透明度要求。歐盟GDPR適用于歐盟各個(gè)成員國(guó)，除了通過(guò)對(duì)數(shù)據(jù)控制者、處理者的行為加強(qiáng)監(jiān)管以限制算法自動(dòng)決策的消極作用，還對(duì)不同成員國(guó)之間數(shù)據(jù)跨境流動(dòng)作出規(guī)制，實(shí)際上限制了政府以概括的“公共利益”為由濫用公民個(gè)人數(shù)據(jù)的權(quán)力，是人工智能時(shí)代限制政府權(quán)力邁出的重要步伐。

3. 加強(qiáng)個(gè)人權(quán)利保護(hù)

算法解釋權(quán)始于個(gè)人數(shù)據(jù)收集，通過(guò)監(jiān)管個(gè)人數(shù)據(jù)的處理來(lái)影響個(gè)人在社會(huì)生活領(lǐng)域方方面面的權(quán)利。例如，疫情防控預(yù)警系統(tǒng)可能把某人列為高危人群進(jìn)而限制其行動(dòng)自由，征信評(píng)級(jí)系統(tǒng)可能把某人列入失信名單而限制其報(bào)考公務(wù)員。歐盟GDPR從個(gè)人數(shù)據(jù)的收集、處理階段就通過(guò)對(duì)相關(guān)人員權(quán)利告知、賦予自動(dòng)化決策反對(duì)權(quán)等內(nèi)容保護(hù)其個(gè)人權(quán)利，并且在事中賦予個(gè)人訪問權(quán)以保證相關(guān)權(quán)利人的知情權(quán)。美國(guó)通過(guò)個(gè)案審查的模式賦予公民救濟(jì)權(quán)，雖然時(shí)間上相對(duì)滯后，但提供的權(quán)利保護(hù)具有強(qiáng)制力。從這一點(diǎn)來(lái)看，歐盟和美國(guó)的算法解釋權(quán)在加強(qiáng)個(gè)人權(quán)利保護(hù)方面殊途同歸。

三、我國(guó)構(gòu)建算法解釋權(quán)的法理基礎(chǔ)

《個(gè)人信息保護(hù)法（草案二次審議稿）》（以下簡(jiǎn)稱《個(gè)人信息保護(hù)法（草案）》）第25條明確提出，“通過(guò)自動(dòng)化決策方式對(duì)個(gè)人權(quán)益有重大影響的決定，個(gè)人有權(quán)要求信息處理者予以說(shuō)明，并有權(quán)拒絕個(gè)人信息處理者僅通過(guò)自動(dòng)化決策的方式作出決定”，這一規(guī)定奠定了我國(guó)算法解釋權(quán)的法律依據(jù)。那么算法解釋權(quán)在公共服務(wù)領(lǐng)域如何克服“商業(yè)秘密”保護(hù)的抗辯？

（一）公共服務(wù)領(lǐng)域算法解釋之必要

1. 算法具有公共服務(wù)屬性

伴隨“互聯(lián)網(wǎng)+”的發(fā)展，算法日益應(yīng)用到公共服務(wù)領(lǐng)域，那么當(dāng)算法治理事關(guān)公共利益時(shí)，重新審視算法定位及其屬性是必要的?！墩畔⒐_條例》第2條規(guī)定“本條例所稱政府信息，是指行政機(jī)關(guān)在履行行政管理職能過(guò)程中制作或者獲取的，以一定形式記錄、保存的信息”，因此公共服務(wù)領(lǐng)域的算法應(yīng)用也具有公共服務(wù)屬性，應(yīng)當(dāng)提出與政府信息同等程度的透明度要求。開發(fā)、應(yīng)用征信評(píng)級(jí)、風(fēng)險(xiǎn)評(píng)估軟件的企業(yè)實(shí)際上行使著“準(zhǔn)公權(quán)力”的角色——當(dāng)COMPAS算法程序作為量刑的參考依據(jù)時(shí)，風(fēng)險(xiǎn)評(píng)估工具肩負(fù)著公共利益職能，而非僅僅是私人企業(yè)的產(chǎn)品。就像上市公司定期披露財(cái)務(wù)報(bào)告一樣，私營(yíng)公司在決定將算法系統(tǒng)作為公共服務(wù)的輔助工具時(shí)，應(yīng)承擔(dān)維護(hù)公共利益的隨附義務(wù)。如果算法決策的結(jié)論涉及公民福利、社會(huì)安全等公共利益，此時(shí)算法已經(jīng)從技術(shù)工具的角色轉(zhuǎn)化為公權(quán)力服務(wù)的一部分。1美國(guó)1996年頒布《信息自由法》授予個(gè)人獲得政府檔案的權(quán)利，在Chrysler Corp.v. Brown案件中，私人企業(yè)反對(duì)根據(jù)《信息自由法》的要求公布商業(yè)秘密記錄時(shí)，法院駁回其主張并認(rèn)為“當(dāng)信息獲取對(duì)于保護(hù)公共利益必要時(shí)，一些平衡和調(diào)節(jié)是可取的”2。所以，提供公共服務(wù)的私營(yíng)公司應(yīng)與公共機(jī)構(gòu)保持相同的透明度要求，并應(yīng)擴(kuò)大信息披露，包括算法系統(tǒng)的運(yùn)行過(guò)程，以此來(lái)實(shí)現(xiàn)這一要求。

2. 商業(yè)秘密披露之必須

算法的運(yùn)作過(guò)程是其開發(fā)企業(yè)維持市場(chǎng)競(jìng)爭(zhēng)力的關(guān)鍵，因此很多科技企業(yè)以“商業(yè)秘密”為由拒絕對(duì)算法進(jìn)行解釋，導(dǎo)致算法運(yùn)作呈現(xiàn)“秘密性”“商業(yè)價(jià)值性”和“需保密性”特點(diǎn)。然而，當(dāng)算法的運(yùn)作過(guò)程侵犯了個(gè)人基本權(quán)利、甚至影響到了社會(huì)公共利益時(shí)，如何對(duì)算法進(jìn)行解釋呢？

“允許公司通過(guò)商業(yè)秘密保護(hù)來(lái)保持競(jìng)爭(zhēng)優(yōu)勢(shì)的想法，必須讓位于公共利益，因?yàn)楣镜乃饺死娌荒芘c公共利益相對(duì)抗?！?公共利益對(duì)商業(yè)秘密的抗辯原則是英美法律中的慣例，最初適用于非法利用商業(yè)秘密行為的抗辯，后來(lái)逐漸發(fā)展為公共利益抗辯原則，并對(duì)基于公共利益應(yīng)當(dāng)公開的事項(xiàng)作了特別要求。4英國(guó)法律委員會(huì)在“商業(yè)秘密濫用咨詢報(bào)告”提出“為維護(hù)公共利益，以下情形不構(gòu)成商業(yè)秘密侵權(quán)：（1）向合適之人披露保密信息是出于制止、發(fā)覺或揭露（a）一項(xiàng)已經(jīng)或按計(jì)劃將要發(fā)生的犯罪行為、欺詐行為或違反法定義務(wù)的行為;（b）一項(xiàng)本質(zhì)上屬于欺詐社會(huì)公眾的行為;（c）現(xiàn)在或?qū)?lái)會(huì)危及公眾健康或福利的事項(xiàng);（2） 依據(jù)保密法律制度具有公共利益這一正當(dāng)理由的任何使用或披露信息的行為”5。之后英國(guó)《1998年公共利益披露法》將上述情況納入立法條文。美國(guó)判例確定的公共利益披露事由包括國(guó)家安全（Republic Aciation Corporation v.Schenk）1、方便公眾利用公共設(shè)施（Westcode Inc v. Daimler Chrysler Rail Systems）2、維護(hù)商業(yè)道德和自由競(jìng)爭(zhēng)秩序（Pepsi Co Inc v. Kitsonas）3以及保護(hù)憲法賦予的基本權(quán)利（Preminger v. Principi）4等理由。從確保公平正義的角度來(lái)看，人工智能算法系統(tǒng)的運(yùn)作過(guò)程應(yīng)盡早披露。由于公共服務(wù)的受眾數(shù)量眾多、影響力大，政府也投入了大量資源來(lái)購(gòu)買和學(xué)習(xí)人工智能技術(shù);如果不在事前檢測(cè)算法系統(tǒng)的準(zhǔn)確性、可靠性，而在被告對(duì)算法系統(tǒng)提出質(zhì)疑時(shí)再進(jìn)行源代碼檢測(cè)，則可能造成大量的資源浪費(fèi)，也會(huì)對(duì)個(gè)人權(quán)利造成不利影響。所以，算法研發(fā)者不能以“商業(yè)秘密”為由拒絕披露算法運(yùn)算過(guò)程。我國(guó)《個(gè)人信息保護(hù)法（草案）》第25條明確規(guī)定“利用個(gè)人信息進(jìn)行自動(dòng)化決策，應(yīng)當(dāng)保證決策的透明度和處理結(jié)果的公平合理”;第48條賦予“個(gè)人有權(quán)要求信息處理者對(duì)其個(gè)人信息處理規(guī)則進(jìn)行解釋說(shuō)明”的權(quán)利，都是“商業(yè)秘密”披露的法律基礎(chǔ)。

（二）算法解釋權(quán)的技術(shù)要求

《個(gè)人信息保護(hù)法（草案）》第55條要求信息處理者對(duì)個(gè)人信息處理活動(dòng)在事前進(jìn)行風(fēng)險(xiǎn)評(píng)估，包括：“1.個(gè)人信息的處理目的、處理方式等是否合法、正當(dāng)、必要;2.對(duì)個(gè)人的影響及其風(fēng)險(xiǎn)程度;3.所采取的安全保護(hù)措施是否合法、有效并與風(fēng)險(xiǎn)程度相適應(yīng)”。為增強(qiáng)信息處理者風(fēng)險(xiǎn)評(píng)估的準(zhǔn)確性，有必要公開算法運(yùn)算過(guò)程的關(guān)鍵參數(shù)以使公眾相信算法輸出結(jié)論的可靠性，提高風(fēng)險(xiǎn)評(píng)估的公信力。

1. 公開算法模型

公共服務(wù)領(lǐng)域應(yīng)用的算法事關(guān)公民基本權(quán)利，不應(yīng)被置于秘密黑箱之中，而應(yīng)在投入使用之前公開算法模型接受公眾檢驗(yàn)。提前公開算法模型能夠?yàn)楣娞峁┲闄?quán)，在應(yīng)用廣泛的算法決策領(lǐng)域，應(yīng)該公開算法解釋的模型以避免黑箱模型的使用。中國(guó)人民銀行頒布《金融分布式賬本技術(shù)安全規(guī)范》（JR/T 0184—2020）中明確規(guī)定，“在可計(jì)算性理論中，一系列操作數(shù)據(jù)的規(guī)則可以用來(lái)模擬單帶圖靈機(jī)”，即通過(guò)圖靈完備原則進(jìn)行算法模擬。我國(guó)《數(shù)據(jù)安全法（草案）》中提出了重要數(shù)據(jù)處理者的風(fēng)險(xiǎn)評(píng)估制度，以及政務(wù)數(shù)據(jù)委托處理的批準(zhǔn)程序也是公開算法模型的法律依據(jù)。在Loomis案件中，COMPAS軟件的設(shè)計(jì)者ProPublica曾發(fā)布報(bào)告對(duì)該軟件的決策邏輯進(jìn)行解釋，明確提出“COMPAS軟件的輸出數(shù)據(jù)可能存在種族歧視的算法偏差”1。通過(guò)立法的方式限制黑箱算法的使用范圍，規(guī)定對(duì)黑箱算法設(shè)計(jì)者和控制者的法律責(zé)任，才能從事前和事中對(duì)人工智能的算法邏輯進(jìn)行實(shí)質(zhì)的監(jiān)管和追溯。

2. 公開源代碼

歐美學(xué)者提出，“公開模型對(duì)算法邏輯進(jìn)行解釋無(wú)法完全避免算法歧視，披露計(jì)算機(jī)源代碼增強(qiáng)算法決策程序透明度是降低算法風(fēng)險(xiǎn)的最佳措施”2。源代碼保密不僅對(duì)刑事被告和司法公正造成危害，而且不利于技術(shù)創(chuàng)新。Loomis案件中，盡管開發(fā)COMPAS軟件的Northpointe公司已經(jīng)公開測(cè)試算法決策的過(guò)程，但它拒絕透露數(shù)據(jù)是如何加權(quán)得出的再犯風(fēng)險(xiǎn)評(píng)分，仍然有悖司法公正。美國(guó)明尼蘇達(dá)州使用的酒精呼吸測(cè)試系統(tǒng)Intoxilyzer的源代碼經(jīng)過(guò)驗(yàn)證后顯示，“缺陷系統(tǒng)”不能輸出準(zhǔn)確的結(jié)論。3因此，公開源代碼確保算法公平公正具有重要作用。

當(dāng)人工智能系統(tǒng)應(yīng)用于公共領(lǐng)域時(shí)，公開源代碼并接受公眾的驗(yàn)證，是企業(yè)承擔(dān)社會(huì)責(zé)任的必然要求。美國(guó)俄勒岡州要求算法設(shè)計(jì)者公開算法源代碼，并提供犯罪風(fēng)險(xiǎn)評(píng)估的“16個(gè)變量及其權(quán)重”4。谷歌大腦團(tuán)隊(duì)將算法比喻成“人工神經(jīng)網(wǎng)絡(luò)的核磁共振成像”，并公布“可解釋性的基礎(chǔ)構(gòu)件”的研究成果，這種開源化處理使得其他技術(shù)人員能夠在此基礎(chǔ)上編寫適用于不同算法和場(chǎng)景的解釋性算法。我國(guó)《政府信息公開條例》第9條規(guī)定，“涉及公民、法人或其他組織切身利益的信息應(yīng)主動(dòng)公開”，是算法系統(tǒng)公開源代碼信息的法律依據(jù)。從技術(shù)角度看，應(yīng)用于公共服務(wù)領(lǐng)域算法系統(tǒng)的開發(fā)者應(yīng)在事前將算法運(yùn)行信息公開披露，以便及時(shí)發(fā)現(xiàn)和糾正算法偏差，并通過(guò)持續(xù)審查算法更新后的情況，作為算法系統(tǒng)進(jìn)一步創(chuàng)新的動(dòng)力，開發(fā)出更加完善的算法系統(tǒng)。

3. 公開算法運(yùn)算基本規(guī)則和因素權(quán)重

2020年4月加拿大生效的《自動(dòng)化決策指令》要求使用算法決策的公共部門應(yīng)就其決策向受影響的個(gè)人提供有意義的解釋，包括決策中使用的變量因素。德國(guó)法律也要求政府部門使用的算法必須公布：（1）有關(guān)程序輸入和輸出數(shù)據(jù)的數(shù)據(jù)類別的信息;（2）算法所涉及的邏輯，尤其是使用的計(jì)算公式，包括輸入數(shù)據(jù)的權(quán)重，基本的專業(yè)知識(shí)以及用戶部署的個(gè)人配置;（3）最終決策的范圍以及程序可能產(chǎn)生的后果。1由此可見，針對(duì)行政相對(duì)人提供具體的算法解釋已逐漸成為各國(guó)的實(shí)踐做法，如果政府機(jī)構(gòu)僅僅以算法運(yùn)行不能直觀地作出解釋就拒絕公開算法系統(tǒng)的基本規(guī)則和因素權(quán)重，則違反了行政行為公開透明的基本原則。1992 年美國(guó)聯(lián)邦公路管理局拒絕披露用于計(jì)算運(yùn)營(yíng)商安全評(píng)級(jí)的算法，但法庭認(rèn)為這違反了《信息自由法》中政府披露政府信息的要求，判決聯(lián)邦公路管理局必須披露計(jì)算中所用因素的權(quán)重。2因此，公開算法運(yùn)算基本規(guī)則和因素權(quán)重是公共服務(wù)領(lǐng)域算法決策遵循信息公開原則的必然要求。

（三）政府主導(dǎo)核心領(lǐng)域算法開發(fā)

為避免私人企業(yè)以商業(yè)秘密為由拒絕披露源代碼，政府可在國(guó)計(jì)民生領(lǐng)域通過(guò)自己開發(fā)算法系統(tǒng)來(lái)滿足公民基本權(quán)利保障的要求。在犯罪風(fēng)險(xiǎn)評(píng)估、征信評(píng)級(jí)、稅收、醫(yī)療等公共服務(wù)領(lǐng)域，政府實(shí)際上是這些技術(shù)的主要（或唯一）購(gòu)買者，與其強(qiáng)制私人企業(yè)公開算法過(guò)程，不如政府主導(dǎo)人工智能軟件開發(fā)，以實(shí)現(xiàn)算法開發(fā)時(shí)公開源代碼和公開算法模型的技術(shù)要求，維護(hù)公共利益。

1. 自主開發(fā)

國(guó)計(jì)民生核心領(lǐng)域的算法運(yùn)行事關(guān)公共利益，必須由政府自主開發(fā)人工智能系統(tǒng)。例如，美國(guó)俄亥俄州的康復(fù)與矯正科就建立了自己的全州風(fēng)險(xiǎn)評(píng)估系統(tǒng)，以“改善一致性，促進(jìn)刑事司法機(jī)構(gòu)之間的溝通”3。我國(guó)各地正在如火如荼建設(shè)的大數(shù)據(jù)產(chǎn)業(yè)集團(tuán)就是政府自主開發(fā)人工智能的典例。為貫徹算法解釋權(quán)，算法開發(fā)時(shí)需要法律人員和技術(shù)人員合作，通過(guò)法律人員向技術(shù)人員解釋法律規(guī)則的要求，技術(shù)人員根據(jù)要求設(shè)計(jì)出符合法律要求的算法——法律技術(shù)工程師這一職業(yè)正在悄然興起。

2. 資助企業(yè)研發(fā)

在國(guó)計(jì)民生核心領(lǐng)域外的公共服務(wù)領(lǐng)域，政府可通過(guò)資助企業(yè)研發(fā)的形式獲得算法系統(tǒng)的產(chǎn)權(quán)。例如，政府以項(xiàng)目招標(biāo)的方式為承擔(dān)者提供資金，同時(shí)要求研發(fā)者公開源代碼或其他相關(guān)信息。政府資助企業(yè)研發(fā)人工智能系統(tǒng)可采取直接資助和間接資助的方式，最簡(jiǎn)單的途徑是通過(guò)合同支付研發(fā)費(fèi)用，以獲得被開發(fā)產(chǎn)品的產(chǎn)權(quán)。此時(shí)政府研發(fā)可采取類似監(jiān)管的專賣政策，或采取政府采購(gòu)與單獨(dú)的來(lái)源協(xié)議相結(jié)合，即購(gòu)買某種特定技術(shù)或服務(wù)的協(xié)議的方式資助人工智能研發(fā)，這實(shí)際構(gòu)成了一種排他性監(jiān)管的形式。此外，政府購(gòu)買算法系統(tǒng)時(shí)，為補(bǔ)償研發(fā)企業(yè)公開商業(yè)秘密的損失，可通過(guò)稅收、獎(jiǎng)勵(lì)等途徑進(jìn)行補(bǔ)償，如為算法開發(fā)者提供更高的購(gòu)買價(jià)格或更長(zhǎng)的單一來(lái)源合同條款;或者政府為這種技術(shù)的發(fā)展設(shè)立獎(jiǎng)勵(lì)。

結(jié)? ?語(yǔ)

如果說(shuō)前兩次人工智能浪潮以技術(shù)研究為主導(dǎo)，那么第三次人工智能浪潮是以實(shí)踐應(yīng)用為目的。算法系統(tǒng)已經(jīng)悄無(wú)聲息地應(yīng)用到公共服務(wù)的各行各業(yè)，“‘大數(shù)據(jù)時(shí)代背后所隱藏的商業(yè)價(jià)值驅(qū)動(dòng)著企業(yè)、個(gè)人不斷地借助數(shù)據(jù)挖掘等現(xiàn)代科技手段實(shí)現(xiàn)其商業(yè)利益的最大化”1，但“商業(yè)秘密”保護(hù)下的算法侵犯?jìng)€(gè)人的隱私權(quán)和知情權(quán)，妨礙公平公正已經(jīng)成為不容忽視的問題。算法應(yīng)用于公共服務(wù)領(lǐng)域時(shí)具有公共服務(wù)屬性，此時(shí)算法系統(tǒng)的商業(yè)秘密應(yīng)讓位于公民基本權(quán)利保障。我國(guó)《個(gè)人信息保護(hù)法（草案）》設(shè)立了以算法系統(tǒng)為解釋對(duì)象、以事前監(jiān)管為原則、以透明性和公正合理為標(biāo)準(zhǔn)的算法解釋權(quán)體系，比GDPR更進(jìn)一步保護(hù)了個(gè)人基本權(quán)利。在中國(guó)特色算法解釋權(quán)的構(gòu)建中，應(yīng)從規(guī)范上明確“易讀性為標(biāo)準(zhǔn)，反設(shè)事實(shí)為例外”的透明性內(nèi)涵，完善算法事后審計(jì)制度，加強(qiáng)算法監(jiān)管;在技術(shù)上公開算法模型、公開源代碼、公開算法運(yùn)算基本規(guī)則和因素權(quán)重，確保公眾知情權(quán);在實(shí)踐上由政府主導(dǎo)國(guó)計(jì)民生核心領(lǐng)域的算法開發(fā)以保障數(shù)據(jù)安全，走向算法應(yīng)用公開公正的新時(shí)代。

[責(zé)任編輯 李宏弢]