人工智能時代算法黑箱的法治化治理

吳椒軍 郭婉兒

摘??? 要：算法作為人類利用機器抓取、處理并輸出數(shù)據(jù)的手段，其所得結果受到編寫者主觀偏差，技術偏差等多種影響。因算法編寫的高度專業(yè)性，用戶無法知悉有關于自身信息數(shù)據(jù)被抓取，處理以及應用的細節(jié)，這樣的不透明性顯然對用戶的權益與社會秩序造成影響，對我國的法律機制也帶來極大挑戰(zhàn)。針對算法的運行模式，剖析算法黑箱帶來的個人信息數(shù)據(jù)侵權、算法偏見及司法救濟三重危機。通過對歐盟《通用數(shù)據(jù)保護條例》與歐洲《人工智能倫理與數(shù)據(jù)保護宣言》對算法黑箱的治理條款，針對上述三重危機從技術角度、法律角度與倫理角度對算法黑箱進行法治化管理，以實現(xiàn)算法黑箱法治化治理層面的合法性與最佳性耦合。

關鍵詞：算法黑箱;算法偏見;個人信息;人工智能;技術倫理

中圖分類號：D 923.8???????? ? ??文獻標志碼：A??? ?????????? 文章編號：2096-9783（2021）01-0019-10

引? 言

2013年，美國康斯威星州法院以五項罪名指控一位名叫Eric的公民，在量刑階段，州法院根據(jù)政府罪犯改造部門提供的量刑前調(diào)查報告，判決Eric 6年監(jiān)禁5年監(jiān)外管制。該判決依據(jù)由美國一技術開發(fā)公司研究的COMPAS算法，根據(jù)其各項個人數(shù)據(jù)和先前的調(diào)查，計算出被評估者再次犯罪的可能性。Eric不服判決，認為COMPAS算法的技術提供方亦無法確保該算法計算出的數(shù)據(jù)是否絕對準確。然而COMPAS算法技術提供方以算法邏輯是商業(yè)機密為由拒絕公開，最高法院也未曾要求其做出解釋。

算法作為一種輸入-處理-輸出結果的方法，其運作依靠數(shù)據(jù)匯集和機器深度學習。這種運作過程雖來自于人類的編寫，但其自身的深度學習呈現(xiàn)出的卻是常人無法參與的未知地帶。這種未知，即是算法黑箱的體現(xiàn)。在人工智能時代下，算法被應用在人類生活的方方面面，而作為無可避免的弊端之一的算法黑箱亦是緊跟而來。例如在商業(yè)領域中，算法黑箱不透明與不可解釋的特征必然導致開發(fā)使用者與消費者之間存在信息不對等;在個人征信情境下，算法黑箱所帶來的歧視與偏見會操縱個人信用評分等等。本文認為，實現(xiàn)算法黑箱的法治化路徑應當針對其每一級運行中反映出的法律問題，找尋解決方法，以實現(xiàn)算法黑箱法治化管理層面的合法性與最佳性耦合。

一、算法黑箱引發(fā)三重法律危機

人工智能實現(xiàn)的基本方式是算法。人類借助計算機，將已獲得驗證的人類經(jīng)驗以程序語言輸入，組建模擬人類思維模式的模型，然而該技術的算法運行邏輯存在著難以探究的隱秘層面，即所謂的“黑箱”。它指的是為人所不知的那些既不能打開、又不能從外部直接觀察其內(nèi)部狀態(tài)的系統(tǒng)。 而“算法黑箱”在筆者看來特指機器深度學習時，其復雜的神經(jīng)元網(wǎng)絡中存在的不為人所直觀捕捉到的隱層。算法黑箱的威脅貫穿于數(shù)據(jù)采集，算法運行以及應用于社會服務三個層級，在此三個層級中存在三重法律危機，即：數(shù)據(jù)采集階段的個人信息數(shù)據(jù)侵權危機，算法計算運行階段的結果偏見危機，算法應用于社會服務階段的救濟危機。

（一）算法黑箱引發(fā)個人信息數(shù)據(jù)侵權危機

2013年，朱某在網(wǎng)上搜索“減肥”“豐胸”等關鍵詞后，再登錄其他網(wǎng)站時出現(xiàn)了與該關鍵詞相關的各種推送廣告。朱某認為百度公司在其毫不知情的情況下，濫用cookie技術跟蹤記錄了自己的搜索關鍵詞;在自己未明確授權的情況下，收集并公開了其個人隱私內(nèi)容并大力投送相關廣告，故向南京市鼓樓區(qū)人民法院起訴百度公司。2015年， Facebook上的一款第三方測試小程序通過用戶的使用而獲取了其家庭、交友圈等個人資料。而資料的獲取者隨后將數(shù)據(jù)賣給一家數(shù)據(jù)分析企業(yè)，用以在用戶中針對性的為某位總統(tǒng)候選人提高知名度與曝光度。

算法的運行需要以掌握個人信息數(shù)據(jù)作為先決條件，而個人信息數(shù)據(jù)安全則是算法運行中的阿喀琉斯之踵。算法在數(shù)據(jù)采集階段，自Web站點根據(jù)既定規(guī)則采集原網(wǎng)頁中所需要的信息，保存至數(shù)據(jù)庫等待進一步處理。而與數(shù)據(jù)采集無法割裂的一項技術在這里則成為了本階段頻發(fā)個人信息數(shù)據(jù)侵權危機的問題核心——cookie技術，該技術在全球范圍內(nèi)被Google、Amazon等網(wǎng)絡平臺頻繁使用。它連接服務器與瀏覽器進行信息交互，以支持服務器在瀏覽器上儲存信息。即用戶在使用電腦瀏覽網(wǎng)頁時，其每一個瀏覽的Web站點都會以cookie文本文件形式自動保存瀏覽信息。對于網(wǎng)絡經(jīng)營者來說，cookie的使用與運行能夠為其提供大量的用戶信息數(shù)據(jù)，以便經(jīng)營者進行深度分析后實現(xiàn)精準有效的個性化推送，因此也成為了網(wǎng)絡經(jīng)營者趨之若鶩的重要資源。技術本身作為科學進步的標志，不應當有非善即惡的評判，因此在現(xiàn)今世界各國都認為cookie技術是中立存在的，對其規(guī)制都盡在發(fā)生侵權行為后以事后救濟的手段解決法律問題。本文將cookie技術對個人信息數(shù)據(jù)侵權做如下闡述：

第一，cookie技術通常不需獲得特別許可即可儲存用戶信息。以搜索引擎為例，在用戶使用搜索引擎搜索相關信息時，并未有醒目的條款在第一時間提醒他們，是否同意由該服務器保存其搜索內(nèi)容，以及這種行為是否會涉及到用戶的隱私。用戶對收集其數(shù)據(jù)、處理其數(shù)據(jù)的算法都具有知情權，人們有權知道該種算法如何搜集他們的信息，搜集信息的目的，如何處理信息以及被處理后的信息流向等。用戶對該算法是否能夠收集處理其數(shù)據(jù)，收集的部分有多少，處理的程度如何，是否能夠被第三方索引等也同樣具有選擇權利。然而網(wǎng)絡平臺經(jīng)營者雖然都會提供用戶須知事項，但所占頁面篇幅小、另有獨立頁面且不明確告知等情況的存在，使用戶陷入了一種“被迫自愿”允許個人信息數(shù)據(jù)被儲存的風險中。如百度公司在用戶使用搜索引擎時列出的《使用百度前必讀》，位于偌大網(wǎng)頁的最下方，字體較小且不明顯，容易被大多數(shù)用戶忽略。在百度搜索框中打出“使用百度必讀”，搜索頁自動推薦最高搜索量的關鍵詞是“使用百度前必讀在哪里”。

第二，cookie技術獲得的用戶個人數(shù)據(jù)存在非自愿被交易的可能性。Cookie技術保存用戶個人信息數(shù)據(jù)的行為，原本應當是網(wǎng)絡平臺經(jīng)營者與用戶雙方之間的交互行為，但此類數(shù)據(jù)并不會僅僅作為被儲存的文件閑置。網(wǎng)絡平臺經(jīng)營者會將該類數(shù)據(jù)儲存文件作為商品，向第三方公司提供OpenAPI接口，以便第三方公司使用協(xié)同過濾算法分析計算用戶信息，提取其偏好與需求，與購買廣告推送的第三方公司進行交易，針對用戶進行個性化推送服務。更有甚者，會利用爬蟲技術通過Web端或APP端，非法竊取儲存的cookie文件，以進一步抓取用戶性別，職業(yè)，工作地點等可以識別用戶個人身份的更加隱私的數(shù)據(jù)。此時，用戶對個人信息數(shù)據(jù)已被整合分析毫不知情，甚至不會知道第三方的存在。用戶的個人數(shù)據(jù)海量流向市場，通過協(xié)同過濾得到用戶的偏好、需求甚至個人隱私信息，有針對性的投放廣告或者出賣信息以作非法用途，對于用戶來說，該行為會侵犯消費者的公平選擇權，或暴露用戶個人隱私，將其放置在被電信詐騙等風險中。對其它商家來說，該行為會導致各商戶信息的橫向不對等，掌握大量資源分析的一方能夠得到更多利益，以產(chǎn)生不正當競爭的風險，甚至會激起商家不惜利用非法手段競相爭奪個人信息數(shù)據(jù)的局面，從而破壞社會經(jīng)濟秩序與法制秩序。

第三，cookie技術獲得的用戶個人信息數(shù)據(jù)定性有異議。我國2012年11月5日批準發(fā)布的《信息安全技術公共及商用服務信息系統(tǒng)個人信息保護指南》中明確個人信息指可為信息系統(tǒng)所處理、與特定自然人相關、能夠單獨或通過其他信息結合識別該特定自然人的計算機數(shù)據(jù)。個人信息的定義要求通過該信息能夠準確識別其來源于某個特定主體，網(wǎng)絡隱私權則將公民的私人信息和敏感信息作為保護的對象。以如根據(jù)個人信息的定義來看，cookie技術傳輸至服務器的信息僅能讓服務器識別瀏覽器，即不同人使用同一個瀏覽器檢索信息，服務器會將其識別為一個瀏覽器，即無法以獲取的信息識別某一個特定的用戶。因其獲得的數(shù)據(jù)無法識別特定用戶的身份，就不應當算做個人信息的范圍。但網(wǎng)絡用戶注冊的ID的郵箱，IP登錄地址，甚至是有可能暴露用戶的個人定位、個人需求、個人秘密的搜索痕跡，屬于用戶的個人痕跡信息，是未經(jīng)其許可不能被公開的信息，應當是公眾視角下的私密信息，不應當存在與法律保護的灰色地帶。僅僅將個人信息的定義作狹義解釋，忽略其在被應用環(huán)境下的現(xiàn)實情況，實在有違個人信息保護立法的初衷[1]。

（二）算法黑箱引發(fā)結果偏見危機

在抓取了所需數(shù)據(jù)后，算法開始進行運算。在此階段算法的運行可以分為兩種情況：一是算法編寫者根據(jù)其需要，撰寫算法運行的程序，以人為設置與干預的方式使算法進行運算，最后得出想要的結果。二是算法具備自我學習的能力，在建立一個神經(jīng)元的基礎上，處理數(shù)據(jù)得出結論后再將該結論傳遞給其他相鄰神經(jīng)元，再由該神經(jīng)元繼續(xù)以上操作直至得出有效結論的深度學習。在此，本文僅對第一種情況做討論。依靠人為編程的算法運行極易出現(xiàn)算法偏見（也稱算法歧視）：算法編寫者是具有社會性的人類，其自身的價值觀、所處的文化氛圍社會制度，以及外部需求（如提出要求驅(qū)使編程人員編寫代碼以實現(xiàn)需求的企業(yè)），都會影響到最終編寫出的算法，即所謂的先行存在偏見（Pre-existing Bias）[2]。但先行存在偏見并非只來自于算法編寫者的個人偏見，同樣也會有來自數(shù)據(jù)的偏見與機器自主學習的偏見。本文對算法偏見危機將做如下闡述：

第一，來源于算法編寫者的個人偏見與需求會導致算法偏見發(fā)生。以搜索引擎為例，搜索引擎所能夠提供的網(wǎng)頁是有限的，超出該引擎索引庫的網(wǎng)址并不能夠出現(xiàn)在用戶的搜索范圍內(nèi)。如百度公司提供的用戶必讀中有這樣一段敘述：“任何網(wǎng)站如果不想被百度收錄（即不被搜索到），應該及時向百度反映，或者在其網(wǎng)站頁面中根據(jù)拒絕蜘蛛?yún)f(xié)議（Robots Exclusion Protocol）加注拒絕收錄的標記，否則，百度將依照慣例視其為可收錄網(wǎng)站?！盵3]基于上述表達可知，索引庫中的網(wǎng)址信息的包羅是由網(wǎng)絡機器人抓取的，而該抓取路徑則是由技術人員依照一定的基準預先設立，技術人員要依照公司的需求通過編寫算法選擇是否將各網(wǎng)站納入搜索引擎的索引庫，亦可以通過編程優(yōu)先使支付高額廣告費的網(wǎng)頁高居搜索結果之首，即所謂的“競價排名”。搜索引擎平臺與廣告商利用算法進行黑箱操作，得出的歧視結果在一定程度上迷惑了用戶的選擇。除此之外，招聘網(wǎng)站為女性用戶投放幼兒教育、護理等崗位信息，而非程序員等社會默認的以男性為主的崗位信息，同樣能看出算法的編寫運行帶有個人偏見色彩。

第二，來源于數(shù)據(jù)的偏見會導致算法偏見發(fā)生。數(shù)據(jù)本身也存在實效的要求，如數(shù)據(jù)庫不能被實時監(jiān)控，做出定期的更新，算法整合與計算后得出的結果就無法保證精準。譬如在個人征信系統(tǒng)中，包含個人信息的數(shù)據(jù)庫更新頻次不足，導致數(shù)據(jù)不準確，在算法對數(shù)據(jù)進行分析后對個人的信用評價將會與真實情況有出入，則會影響到個人貸款的成功率等等。如數(shù)據(jù)庫數(shù)據(jù)出現(xiàn)錯誤，或者一些敏感數(shù)據(jù)在被采集整合的過程中受到社會制度與文化價值所影響，算法所得出的結果依舊存在歧視。譬如美國有色人種的信貸利率要高于白人的情況時有發(fā)生，該結果并非一定是由于個人信貸能力評估的，，而是算法編寫者帶有主觀色彩，在這套評估體系下對借貸人的還款能力以其職業(yè)，收入等因素作為評價標準，忽略了這類數(shù)據(jù)背后存在的種族歧視等社會觀念的現(xiàn)狀[4]。

第三，來源于機器自主學習的偏見會導致算法偏見的發(fā)生。機器自主學習的本質(zhì)頗具預測屬性，當算法面對大量數(shù)據(jù)時，會優(yōu)先使用先前的訓練集對數(shù)據(jù)進行整合歸納，提取出該部分數(shù)據(jù)共同特征，后再對新數(shù)據(jù)對象按照先前的特征歸類到與其屬性最相似的類別里，若這些同類數(shù)據(jù)還有其他的特征，算法會自動預測相似數(shù)據(jù)也同樣擁有該特征。以Twitter公司研發(fā)的可供用戶進行聊天交流的機器人Tay為例，Tay與用戶先進行一段時間的語言互動，在對人類的引導性語言進行自主歸納整合再運算處理后，仿照人類的語言思維與人類的繼續(xù)對話。然不幸的是，Tay在與人類對話不到24小時即變身成滿嘴粗話的種族歧視者[5]?？梢娙祟惻c機器的交互行為，會放大機器自主學習的預測能力，繼而放大本源于人類社會的偏見與歧視。

（三）算法黑箱引發(fā)司法救濟危機

算法經(jīng)過抓取數(shù)據(jù)，計算處理數(shù)據(jù)后，步入產(chǎn)出結果階段。算法產(chǎn)出的結果在現(xiàn)今追求生產(chǎn)力智能化的時代，能夠高效率的轉(zhuǎn)變?yōu)樯a(chǎn)力投入社會。在算法作為生產(chǎn)力投入社會應用后，上文所述的算法本身存在的缺陷轉(zhuǎn)變成為對社會經(jīng)濟秩序與法律秩序的巨大威脅。法律界應對這類新生換代速度極快的科技風險明顯存在理論上的滯后與實務上的疲軟，在此筆者將從對我國相關案例與裁判文書的文本挖掘與分析對此部分進行闡述。本文選取的樣本為有關算法的案例共計4629篇，源自北大法寶網(wǎng)站，時間跨度由2012年至2020年，地域維度覆蓋全國27個省、自治區(qū)、直轄市。在這些樣本中，運用Python語言編寫程序（代碼運行步驟如圖 1所示），以“數(shù)據(jù)”、“個人信息”為關鍵詞同時進行全文遍歷搜索，提取出123個相關樣本。再列出每份樣本中兩個關鍵詞的詞頻數(shù)，從高到低排列，將同時命中兩個關鍵詞且其中任意一個命中次數(shù)在25次以上的樣本選中，得到10個符合本文研究目的的樣本。再以“數(shù)據(jù)”“人工智能”為新關鍵詞按照同樣標準重復上述操作，得到6個符合本文研究目的的樣本。以上樣本除去重復案例后共計取得7個符合本文研究目的民事案例樣本（如表1所示）。

依據(jù)表1，筆者認為，可以從以下幾個角度對算法結果轉(zhuǎn)化為服務階段的救濟危機予以探討。

1.算法運行中的黑箱行為難以被取證

表1中被定性為隱私權糾紛的兩個民事案件中，原告都在訴訟請求里要求被告方公開涉案算法的運行步驟，被告皆以涉及商業(yè)秘密為由拒絕公開，而這一行為得到了法院的支持。在本文開始提及的康斯威星州法院使用COMPAS算法評估犯罪風險作為量刑依據(jù)的案件中，該算法開發(fā)商也以算法屬于其商業(yè)秘密而拒絕公開。算法屬于技術類知識產(chǎn)權，本身具有秘密性、價值性、實用性及保密性。多數(shù)企業(yè)都將其開發(fā)的算法作為商業(yè)秘密以保護，這種保護在法律上亦是有依據(jù)的，但這種不可公開性在算法侵犯權利之時成為了開發(fā)者逃避責任的主要方式。首先，被侵犯權利方對算法的運行方式本就缺乏了解，在這一層面，被侵權方和算法開發(fā)者所掌握的信息并不對稱，在訴訟中的舉證等問題下地位自然不平等;當法院要求開發(fā)者解釋算法運行的邏輯時，即使開發(fā)者同意展示算法運行過程，由于算法的專業(yè)性，司法人員也并不能夠完全理解，仍舊依賴算法開發(fā)商自行解釋。算法本身是否有違法之處，運行過程中是否有黑箱操作等問題，成為法院審查過程中的障礙。在這當中，判決結果偏向算法開發(fā)商的幾率就會大大增加，給被侵權人尋求救濟造成了較大困難。

2.算法結果轉(zhuǎn)化為服務后的數(shù)據(jù)產(chǎn)品法律屬性存在異議

在表 1中，被定性為不正當競爭的案例共有5個，觀其裁判文書判決部分皆出現(xiàn)對于數(shù)據(jù)產(chǎn)品法律屬性的討論。因在我國現(xiàn)有法律框架下，數(shù)據(jù)產(chǎn)品既無法被納入知識產(chǎn)權范疇，無法派生其專屬的民事財產(chǎn)權利，故此5個案例中原告所收集、整合、分析的數(shù)據(jù)應當屬于用戶，還是屬于運營者，法院都未能給出正面回答。學界對此現(xiàn)象存在不同看法。一種觀點認為數(shù)據(jù)產(chǎn)品雖然源于用戶的個人信息，但經(jīng)過網(wǎng)絡運營者加工整合后已成為新的產(chǎn)品，被賦予了商業(yè)性，抓取、加工的算法作為知識產(chǎn)權，為該數(shù)據(jù)附加了商業(yè)價值，因此不再與用戶本身有直接聯(lián)系，相應權利應當屬于網(wǎng)絡運營者。這種看法看似有理有據(jù)，實則將個人信息與數(shù)據(jù)產(chǎn)品割裂看待，否認了數(shù)據(jù)產(chǎn)品的本質(zhì)來源，有悖于個人信息保護立法的精神。另一種觀點否認上述看法，認為數(shù)據(jù)產(chǎn)品來源于用戶的個人信息數(shù)據(jù)，運用算法單純整合分析不能破除其本質(zhì)屬性，即數(shù)據(jù)產(chǎn)品仍舊保留用戶的個人信息，用戶有權保留對個人信息流向與運用的控制權。然而在司法實踐中，并未有典型判例以精準標準界定上述控制權究竟為何物。表 1被定性為不正當競爭的5個案例中，法院采取了折衷辦法，賦予了數(shù)據(jù)產(chǎn)品以競爭法性質(zhì)的財產(chǎn)權益，確認數(shù)據(jù)產(chǎn)品為原告帶來的商業(yè)價值，且認定該商業(yè)價值是原告市場經(jīng)營活動中的自身優(yōu)勢，被告行為有違商業(yè)道德，對原告產(chǎn)生了實際損害，故可以適用反不正當競爭法予以規(guī)制。

二、算法黑箱治理的域外經(jīng)驗：歐盟《通用數(shù)據(jù)保護條例》與歐洲《人工智能倫理與數(shù)據(jù)保護宣言》

（一）技術與法律治理角度：歐盟《通用數(shù)據(jù)保護條例》的基本規(guī)定

2018年5月25日，歐盟《通用數(shù)據(jù)保護條例》（以下簡稱“GDPR”）正式宣布生效，該條例以1995年《數(shù)據(jù)保護指令》為基礎，對于個人數(shù)據(jù)的使用做出了較為全面的規(guī)制，以技術手段與法律規(guī)制手段雙管齊下，為應對算法黑箱帶來的威脅提供了新穎且細膩的策略。其貢獻不僅在于明晰算法黑箱與數(shù)據(jù)之間的交互關系，相較一般的事后規(guī)制，更將眼光聚集于事前預防控制，值得各國引以為他山之石。

1.歐盟《通用數(shù)據(jù)保護條例》的預防治理手段

第一，分類個人敏感數(shù)據(jù)，并要求使用者對數(shù)據(jù)進行脫敏處理。GDPR將以下幾種個人信息作為禁止處理的個人敏感數(shù)據(jù)：（1）種族或民族出身;（2）政治觀點;（3）宗教或哲學信仰;（4）工會成員身份;（5）涉及健康、性生活或性取向的數(shù)據(jù);（6）基因數(shù)據(jù);（7）精細處理可識別特定個人的生物識別數(shù)據(jù)[6]。以上七類最大程度涵蓋了在公眾眼里屬于私人或個人的大多數(shù)信息內(nèi)容，有效縮小了算法抓取用戶信息的層面，從數(shù)據(jù)源頭保障了個人信息安全，同時亦考慮到算法“GIGO”特征（“Garbage in， Garbage out”），從數(shù)據(jù)源頭最大程度減少算法偏差引發(fā)的結果歧視。但該規(guī)定同樣也考慮了醫(yī)療、法制等方面的特殊情況，允許該類信息在無損于信息安全的情況下予以被搜集。

第二，關于數(shù)據(jù)主體權利的擴大升級。首先，GDPR在其框架下建構了更多、更細致的數(shù)據(jù)主體權利，包括數(shù)據(jù)主體的知情權，個人數(shù)據(jù)備份請求權，更正信息權，被遺忘權與限制使用權，數(shù)據(jù)攜帶權以及反對應用權。以上權利的增加在數(shù)據(jù)主體對個人信息數(shù)據(jù)從使用到處理再到應用的控制鏈中完美融入，形成一個首尾兼顧的閉環(huán)以保護權利，令數(shù)據(jù)主體擺脫被動接受結果的局面，重新掌握對個人信息控制的主動權。其次，GDPR第4條第11款給出了數(shù)據(jù)主體同意其數(shù)據(jù)被處理的具體標準：“數(shù)據(jù)主體的同意是指數(shù)據(jù)主體依照其意志自由做出的、特定的、之情的、明確的指示。通過以聲明或清晰肯定的行為做出的該等知識，數(shù)據(jù)主體表明同意處理與其相關的個人數(shù)據(jù)?！钡谄邨l同時提到，數(shù)據(jù)的采納者或使用者必須能夠證明數(shù)據(jù)主體同意對其信息進行處理，推薦使用書面形式的許可，以便于舉證[6]。該條規(guī)定將數(shù)據(jù)主體的意思表示納入規(guī)制范圍，并規(guī)定了該意思表示的有效要件，即同意必須是基于真實自主且被用直觀形式明確清晰表示的。對于“知情同意”的細化更進一步保護了數(shù)據(jù)主體的自決權，為上述各項權利的行使保駕護航。

第三，對數(shù)據(jù)處理過程的多方面約束，即個人數(shù)據(jù)處理原則的細化。GDPR要求數(shù)據(jù)使用者對所使用的數(shù)據(jù)負責，向其提出了如下原則：合理合法的抓取用個人數(shù)據(jù)，且過程確保公正透明;除用于研究公共科學或歷史問題的目的外，抓取使用個人數(shù)據(jù)必須擁有合法目的且詳細說明，不得違反初始目的;抓取使用個人數(shù)據(jù)要在適當范圍和程度內(nèi)進行，不得超出合理需要;及時跟進數(shù)據(jù)更新，以確保數(shù)據(jù)準確性;對于可識別數(shù)據(jù)主體身份的數(shù)據(jù)應當有一定合理期限;對個人數(shù)據(jù)必須做到安全使用，且負有保護數(shù)據(jù)不受毀損與滅失的義務[7]。

2.歐盟《通用數(shù)據(jù)保護條例》的事后規(guī)制手段

在算法侵犯個人數(shù)據(jù)信息時，必要的問責機制可以更好的提供救濟并預防此類威脅的再度發(fā)生。GDPR第30條規(guī)定了問責的具體方法，條款中明確要求數(shù)據(jù)控制者或處理者必須對其握的數(shù)據(jù)，在處理過程中的方式方法予以記錄。這一條款在數(shù)據(jù)處理的過程中起到了良好的監(jiān)督作用，并在數(shù)據(jù)處理完畢后的時間里為可能出現(xiàn)的侵權糾紛提供了可被獲得的直接證據(jù)，擴大了該類糾紛的救濟路徑。如數(shù)據(jù)主體對控制方處理數(shù)據(jù)的方法提出質(zhì)疑或者不滿，數(shù)據(jù)控制方有義務對該質(zhì)疑進行解釋說明。該種解釋并不是需要透露算法的編寫細節(jié)或可以被稱作是商業(yè)秘密的內(nèi)容，只需要做被大眾普遍認知所接受的簡單易懂的邏輯分析。大眾所要求的可理解的解釋，是對輸入數(shù)據(jù)與輸出結果之間存在何種因果聯(lián)系的好奇，而不是對于該算法本身如何編寫的好奇。此機制在一定程度上減輕了算法黑箱帶給公眾的恐懼感和不信任感，也在主觀上抑制了算法編寫者的個人偏向。

GDPR認為，針對數(shù)據(jù)安全的保護不應當僅從數(shù)據(jù)使用者角度進行，如果缺乏政府的干預與監(jiān)管，手段依舊疲軟。因此，GDPR倡導每一個成員國應當建立至少一個特有的數(shù)據(jù)監(jiān)督保護機構。該機構以政府作為依托，調(diào)試數(shù)據(jù)內(nèi)部如處理者、控制者幾方之間的聯(lián)動，從外部對數(shù)據(jù)治理與規(guī)制起到良好的監(jiān)督、引導作用。即保持數(shù)據(jù)內(nèi)部各方自治的靈活性，亦在外部對其監(jiān)控評估。GDPR還設定了對違規(guī)者最高罰款2000萬歐元或上一年度全球營業(yè)額的4%的懲罰標準，針對違規(guī)程度賦予政府監(jiān)管機構自由裁量的權利，政府監(jiān)管機構亦可以從市場角度激勵違規(guī)者，如對嚴重違規(guī)者處以市場準入資格的剝奪等商業(yè)化手段[8]。

綜上所述，筆者認為，歐盟GDPR條例對于個人數(shù)據(jù)的保護，是一個從數(shù)據(jù)來源管理到問責機制設立的閉環(huán)。其從數(shù)據(jù)源頭就開始進行具體的規(guī)制，在數(shù)據(jù)處理過程中予以監(jiān)督引導，并針對可能出現(xiàn)的侵權問題做出有效可行約束，值得我國借鑒。

（二）倫理治理角度：歐洲《人工智能倫理與數(shù)據(jù)保護宣言》的基本規(guī)定

2018年10月23日，《人工智能倫理與數(shù)據(jù)保護宣言》（以下簡稱“宣言”）在第40屆數(shù)據(jù)保護與隱私專員國際大會上通過。該宣言立足于對人工智能利弊的充分了解，為應對人工智能在數(shù)據(jù)隱私方面存在的潛在威脅，以在人工智能發(fā)展中維護人權、保護人類尊嚴為核心價值[9]，提出以下原則。

1.尊重人權及公平原則與保護隱私原則

人工智能的設計，開發(fā)與使用應當具有目的的合理性，對人類發(fā)展的促進性，使用與開發(fā)目的一致性，在特定領域的使用要具有界限?，F(xiàn)今不論計算機學科或是法律學科，似乎皆默認人工智能發(fā)展終有一日會覆蓋全人類社會。然而就上文所述cookie侵犯隱私權案，臉書允許小程序收集販賣用戶信息，美國以COMPAS評估再犯可能性程序協(xié)助審判，無一不為泛用人工智能技術敲警鐘。人工智能技術有其本身的缺陷，暫時無法做到在價值觀等主觀判斷能力上與人腦同步。因此，無論是在開發(fā)階段還是使用階段，人工智能技術都應當以維護人權為核心價值，以人類理性、道德良知與社會正義為內(nèi)在精神，保護隱私等個人數(shù)據(jù)，在人工智能技術的發(fā)展中融合法治倫理以保護人類的尊嚴。

2.提高人工智能系統(tǒng)的透明度和可理解程度

需要對人工智能的潛在影響保持持續(xù)的關注、警惕以及問責[9]。不論是單一依靠政府管理，還是依靠人工智能技術開發(fā)者與使用者自我規(guī)制，都無法實現(xiàn)人工智能的最佳優(yōu)化。在系統(tǒng)透明度與可理解程度層面，不僅應當有來自于公權力的強制披露，還應當從使用人群的角度出發(fā)，鼓勵對人工智能技術教育、認知等方面投資，以保證社會對人工智能的理解達到與其發(fā)展相適應水平。政府作為公權力一方，應當聯(lián)動人工智能行業(yè)自治組織，對人工智能系統(tǒng)本身及其績效進行審核與評估，在發(fā)生技術侵權糾紛時建立多方問責機制，試行利益鏈各方連帶責任制度，為各方參與者提供可信賴的維權制度。

3.擴大個人授權原則與減少偏見與歧視原則

擴大個人授權原則的首要要求即為保障公眾的知情權與選擇權。在人工智能技術的應用中，公眾數(shù)據(jù)采集作為第一步，存在侵犯用戶網(wǎng)絡隱私權的可能性。在上文中我國學者趙華明認為網(wǎng)絡隱私權應當是一種人格權，人格權是具有排他性的支配權。技術應用者不能在沒有本人授權時擅自對包含其隱私的數(shù)據(jù)進行收集、二次加工甚至販售。如若不對數(shù)據(jù)的使用以授權限制，性別人種等各類敏感數(shù)據(jù)被輕易獲取，而人工智能技術基于這類未脫敏數(shù)據(jù)得出的分析結論，有極大可能存在偏見、誤差甚至于歧視。因此，應當賦予用戶以自主授權的權利，使人工智能技術應當在數(shù)據(jù)采集時即被約束限制，以正義的數(shù)據(jù)尊重和保護人權。

綜上所述，筆者認為，宣言注意到了人工智能對人類基本權利的行使與自由的威脅，提出了對該種威脅更具針對性的一系列措施，在數(shù)據(jù)保護方面從人權與社會角度入手，強調(diào)技術倫理觀念的灌輸，以倫理約束技術，為人工智能的法治化管理開辟了更廣泛，更具實踐性的路徑，亦值得我國借鑒。

三、我國應對算法黑箱法律挑戰(zhàn)的對策及建議

（一）從技術規(guī)范角度規(guī)制算法黑箱侵權

第一，數(shù)據(jù)庫管理過程中對用戶權限應當嚴格控制，數(shù)據(jù)庫囊括的數(shù)據(jù)應當被更加精細的分級。數(shù)據(jù)庫管理者對用戶的權限有功能權限和數(shù)據(jù)權限兩種，功能權限在此不表，數(shù)據(jù)權限應當被嚴格控制。對于屬于個人敏感信息的數(shù)據(jù)，對其訪問數(shù)據(jù)權限應當提高，如只能由政府做人口普查等數(shù)據(jù)統(tǒng)計，或是醫(yī)療、司法部門工作需要之時，才可以對此類敏感數(shù)據(jù)有權限訪問并操作。普通的用戶則不能對該類數(shù)據(jù)進行訪問或抓取。歐盟《通用數(shù)據(jù)保護條例》中對宗教、膚色等作為個人敏感數(shù)據(jù)，我國對數(shù)據(jù)庫的數(shù)據(jù)分層也應當達到如此精準劃分程度?；\統(tǒng)看來，應當將數(shù)據(jù)在相關業(yè)務規(guī)則中劃分為普通用戶有權限訪問操作與非特定用戶不可訪問操作兩種，在非特定用戶不可訪問操作范圍內(nèi)，應當涵蓋個人隱私、商業(yè)秘密等私密數(shù)據(jù)。如宗教信仰，患病狀況，受行政處罰情況等各類可以直接識別或通過其他手段即可識別特定人員身份的數(shù)據(jù)，應當予以特別保護。

第二，以算法規(guī)制算法。算法在被設計之初，應當在代碼中加入數(shù)據(jù)保護步驟，即歐盟《通用數(shù)據(jù)保護條例》中提及的“經(jīng)設計的數(shù)據(jù)保護”。由政府監(jiān)管機構提出該算法設計標準，算法設計開發(fā)者在設計中應當使用算法透明度提高工具（Transparency Enhancing Tools）。比如在抓取數(shù)據(jù)環(huán)節(jié)就設以標準過濾數(shù)據(jù)，以做到數(shù)據(jù)脫敏;在算法運行環(huán)節(jié)對偏向結果予以警報甚至于自我糾正;如以政府為主導，開發(fā)政府大數(shù)據(jù)資源聚合型網(wǎng)絡系統(tǒng)，在社會公共服務中以政府監(jiān)管機構為主體使用數(shù)據(jù)，以公權力控制數(shù)據(jù)以對抗私權利濫用數(shù)據(jù)。

第三，算法投入市場和運行需要有專門的評估標準與管理模式。 在任何工程中，對安全未雨綢繆的評估都是不可或缺的部分，科學技術工程也不例外。政府作為監(jiān)管者牽頭，將算法安全使用的標準量化，根據(jù)現(xiàn)實提出一套覆蓋面較廣的評估標準更加容易達到管理算法市場的目的。這種對算法安全標準的量化必須是動態(tài)的 ，是講究實效主義的，即可以跟隨大數(shù)據(jù)時代的飛速發(fā)展而自我完善。針對數(shù)據(jù)安全角度，參照歐盟《通用數(shù)據(jù)條例》給出的標準為數(shù)據(jù)脫敏，未脫敏的數(shù)據(jù)不得在脫離政府監(jiān)管流向市場;要求數(shù)據(jù)庫的實時更新在科學合理的時間內(nèi)完成，政府監(jiān)管者設定合理時間范圍，要求數(shù)據(jù)使用者與控制者在其實用范圍內(nèi)自我管理，儲存使用數(shù)據(jù)在必要時間內(nèi)完成，對數(shù)據(jù)進行定時刪除清理;針對算法運行角度，建立以政府為依托的算法監(jiān)控評估機構，建立算法大類登記入庫制度，使算法編寫者對其所編程序負責;要求數(shù)據(jù)處理者從獲取數(shù)據(jù)開始就對數(shù)據(jù)進行電子備案，以防糾紛發(fā)生后無證可取。

第四，在市場經(jīng)濟下對算法商業(yè)應用進行合理的技術監(jiān)管。 以搜索引擎為例，其開發(fā)、投入使用與后期維護都需要在市場環(huán)境下進行，用戶的使用率是其收入來源的基礎，但索引庫的網(wǎng)址儲備和根據(jù)搜索關鍵詞投放的廣告才是其發(fā)展的主要經(jīng)濟來源。搜索引擎作為算法中最直白的趨利存在，在過分的注重商業(yè)利潤時將會對用戶造成不良影響，例如百度搜索引擎的競價排名行為。對此，監(jiān)管部門規(guī)定搜索頁面的廣告投放數(shù)量比例不得超出該頁面搜索結果的30%，但此規(guī)定效用似乎并不能達到預期——筆者以“考研”為關鍵詞在百度進行搜索，第一頁顯示的15個搜索結果中，廣告網(wǎng)頁就有5個，且處于搜索頁面的頂端。可見，我國相關監(jiān)管部門還需擴大監(jiān)管力度，有固定的監(jiān)管標準和定期的抽查，開放民眾投訴渠道，提高監(jiān)管能效。然而，該種監(jiān)管不得超出必要的限度，不合理的干涉將會導致信息來源范圍的銳減，對民眾獲取有效信息的途徑和數(shù)量產(chǎn)生負面作用。

（二）從法律規(guī)范角度規(guī)制算法黑箱侵權

第一，我國在法律規(guī)制上，可以從算法可解釋性方面提高算法透明度。我國可以在立法上要求算法開發(fā)者與使用者對使用的算法作解釋說明的義務，這種義務應當有雙層含義：第一，事前的解釋。算法開發(fā)者與使用者在使用用戶數(shù)據(jù)前的協(xié)議應當被顯著置放在使用頁面，當出現(xiàn)糾紛時，應當以締結合同意思自治為原則，而不是僅以用戶的點擊同意實踐行為作為事實以忽略用戶真實意思表達。第二，事后的解釋。我國相關立法可以借鑒密碼學中“零知識證明”概念，要求算法開發(fā)者與使用者在不透漏算法作為商業(yè)秘密而被保護的部分的情況下，對算法自身輸入的數(shù)據(jù)與輸出的結果之間的因果關系做出可以被普通大眾所明晰的解釋，將算法運行的黑箱予以透明化、可視化，增強大眾的信任感和安全感，保護信息的對稱性，防止算法編寫者人工干預算法的運行[10]。對于難以解釋甚至無法做到透明的算法，且并沒有能夠發(fā)揮同等作用的替代品存在時，立法上應當持以謹慎態(tài)度審視該類算法的使用。如司法上使用人工智能算法對犯罪嫌疑人再犯罪可能性評估，該產(chǎn)品需要使用的個人敏感數(shù)據(jù)過多，且評估結果對未來有重要影響，此時對于算法運行的解釋就存在泄漏被評估者個人信息的風險。此類算法系統(tǒng)的使用應當被嚴格控制在司法機關手中，不應當將該系統(tǒng)或者與該系統(tǒng)評估手段相同的系統(tǒng)應用在社區(qū)，用人單位等場所。

第二，我國司法實踐中對個人信息的定義解讀含混。我國現(xiàn)有法律雖然對個人信息的保護做出了規(guī)定，亦要求任何主體都不得非法使用，但并未將除可識別特定個體的個人信息以外的非個人信息的保護做出規(guī)定。我國《網(wǎng)絡安全法》中將用戶信息與個人信息做了保護層面上的區(qū)分，對用戶信息僅要求使用者使用時負有說明義務，對個人信息則是約束使用者的使用目的、使用范圍與使用場所。對于非個人信息范圍內(nèi)的用戶信息，在我國司法糾紛中多為關乎用戶自身的私密痕跡信息。這類信息的保護可謂“兩不沾”：既不能以個人信息保護，也不能以隱私保護。筆者認為，何種數(shù)據(jù)信息可以作為一般信息被抓取，何種信息作為屬于私人，非經(jīng)自愿提供不得擅自搜集，在該定性尚存含混解讀時，應當要求司法機關將數(shù)據(jù)信息的定性放入案件實際情況中看待，以案件中數(shù)據(jù)信息的原貌結合其糾紛場景，再對數(shù)據(jù)信息做法律定義，而非割裂二者聯(lián)系單獨對待。則容易在司法實踐中造成分歧和不公。

第三，政府監(jiān)管與市場經(jīng)濟激勵雙管齊下，建立合理的問責機制與懲罰制度。僅依靠政府為主導建立各種監(jiān)管機構推行各種防治措施，在面對日新月異層出不窮的算法時，治理效果日漸衰退，算法黑箱危機頻發(fā)。因算法商業(yè)性的一面日益明顯，對算法黑箱的防治須得放入社會市場經(jīng)濟中，然而僅依靠市場的自我調(diào)節(jié)與激勵，更容易因人類趨利性而導致數(shù)據(jù)控制者惡意競爭，擾亂市場經(jīng)濟秩序，形成數(shù)據(jù)失控的局面。由此可知治理算法黑箱侵權，政府監(jiān)管與市場經(jīng)濟激勵缺一不可。政府首要須對數(shù)據(jù)市場進行實時監(jiān)控，控制數(shù)據(jù)市場的占有份額，以防止某一數(shù)據(jù)控制者獨大引發(fā)不正當競爭與壟斷。其次，在數(shù)據(jù)控制者違反行業(yè)道德或相關法律規(guī)定時，除經(jīng)濟處罰外，還應當從時間上或經(jīng)營范圍限制其進入市場，甚至剝奪其進入市場的資格。最后，針對不符合算法評估標準的數(shù)據(jù)控制者，政府應當有嚴格的懲罰制度和相對彈性化的自由裁量權，如歐盟《通用數(shù)據(jù)保護條例》中設定最高罰款數(shù)額與以營業(yè)額作為罰款參照標準，即不能過于嚴苛致使數(shù)據(jù)市場頹靡，也不能放任數(shù)據(jù)被不正義、不合法的使用。

（三）從倫理角度治理算法編寫與應用環(huán)境

第一，參照人工智能開發(fā)六項原則中的福祉原則與安全原則，要求算法開發(fā)者應使算法符合人類社會的基本道德倫理要求，以公共利益與人類發(fā)展為目標，為社會創(chuàng)造福祉。保證算法的可追溯性與透明性，使用戶對其數(shù)據(jù)被挖掘使用有權利要求使用人員做出合理使用的保證，在發(fā)現(xiàn)數(shù)據(jù)被不合理使用后，有權利提出質(zhì)疑，使用者有義務對其質(zhì)疑做出清晰明確的回應。建議保險行業(yè)針對算法侵權損害設立新型險種。算法開發(fā)商對其算法運行所致后果投保，用以應對在所開發(fā)的算法導致侵權損害的情況下，能夠通過保險公司對被侵權人的損失進行部分基本賠償，以減輕開發(fā)商本身的賠償壓力，亦使被侵權人擁有較為可靠的求償渠道。這對算法開發(fā)商本身而言，既是一種合理規(guī)避風險的路徑，又是一個時刻提醒開發(fā)商不可突破法律與道德、技術倫理底線的“緊箍咒”。

第二，參照人工智能三項原則中的目的原則與技能原則，在算法設計開發(fā)之初，考慮算法開發(fā)人員與數(shù)據(jù)擁有人的個人合理期望，確保算法的使用與個人信息的抓取處理不違背其本身所期望的合理目的。算法開發(fā)人員應當在其算法編寫之時就明確使用目的，算法使用者應當在使用之前被評估其使用目的是否與算法編寫人員目的一致且合法。國家在教育與培訓方面投資，以提高社會對人工智能產(chǎn)物的認知度。各高等學校可多注重學科交叉教育，開設關于人工智能與各專業(yè)相結合的理論或?qū)嵺`課程;相關政府機構或企業(yè)、倫理委員會等，可聘請專業(yè)人才對成員做相關培訓;針對可以用被大眾理解的語言解釋人工智能的私人或者高?？蒲袡C構進行投資，以提高算法的透明度、可理解度，鼓勵公眾參與監(jiān)督，以應對人工智能的高速發(fā)展，使社會認知與該發(fā)展程度相匹配。

第三，政府聯(lián)合企業(yè)推動建立有關因算法侵權損害賠償專項基金。我國立法中并沒有與算法侵權損害賠償有關的獨有賠償模式，現(xiàn)如今對于涌現(xiàn)的此類案件，各地法官多用普通侵權責任分配原則解決糾紛。但由于算法侵權本身難以認定，其侵權賠償更無明確標準，各地作法難以統(tǒng)籌監(jiān)督，對被侵權人的損害賠償也難以做到公平公正。對于此問題，筆者認為可以參考我國船舶油污損害賠償機制，即建立專項賠償基金。由政府發(fā)起，投入相應資金作為基金的一部分，再由算法開發(fā)企業(yè)繳納部分費用，以對其開發(fā)的算法如導致侵權損害賠償作擔保。在算法侵權發(fā)生后，被侵權人就其損害與算法有因果關系做出證明后，即可向算法侵權賠償基金會提出申請，先予支付部分基本賠償款，緩解算法侵權求償難的問題。建立專項基金對于算法開發(fā)企業(yè)亦是縮小風險的優(yōu)選之舉，在發(fā)生群體算法侵權賠償事件時，算法開發(fā)企業(yè)能夠因基金會的賠償而減少部分賠償金的支出，從而對算法行業(yè)的良性發(fā)展保駕護航。

第四，推進我國算法倫理委員會的建設，規(guī)范行業(yè)自治。我國可仿照日本設立算法倫理委員會，作為行業(yè)自律的監(jiān)督者與保護者，分擔政府監(jiān)督的重擔。賦予倫理委員會以部分自我治理自我調(diào)節(jié)的空間，可設定獎懲機制，以調(diào)動數(shù)據(jù)控制者積極參與自治，實現(xiàn)行業(yè)聯(lián)動發(fā)展。在產(chǎn)生糾紛時可以首先由算法倫理委員會出面協(xié)調(diào)，無法合理合法解決糾紛時，再付諸法律，以減輕司法機關辦案壓力。但不可以算法倫理委員會的協(xié)調(diào)作為訴訟的必經(jīng)前置程序，應當尊重當事人意思自治，防止當事人得不到有效法律救濟。

結? 語

大數(shù)據(jù)時代的來臨帶來的新成果便捷了人類生活，但與之而來的社會各方面的新問題、新盲區(qū)也不容忽視。科技發(fā)展是無罪的、中立的，但在其之上賦予的價值則需要引導和規(guī)制，而這種引導與規(guī)制，正是法律所要起到的作用;算法黑箱的存在是無可避免的，但這個黑匣子對信息的蒙蔽程度是可以通過人為改變的，而這種改變，正是法律通過不斷的發(fā)現(xiàn)盲區(qū)、完善自我才能夠促進的。2017年，我國政府工作報告首次將人工智能收納其中，黨的十九大報告中明確指出：“加快建設制造強國，加快發(fā)展先進制造業(yè)，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合，在中高端消費、創(chuàng)新引領、綠色低碳、共享經(jīng)濟、現(xiàn)代供應鏈、人力資本服務等領域培育新增長點、形成新動能”。作為勢頭最勁的發(fā)展中國家，我國對于人工智能發(fā)展及其影響的重視在逐步增加。只有跟隨時代發(fā)展的腳步，對新事物給與足夠的重視與關注，善于發(fā)現(xiàn)遺漏和盲區(qū)，不懼于迎接挑戰(zhàn)，才能為科學技術的發(fā)展多做助力，提高民眾對接受新事物的安全感和信任感。

參考文獻：

[1] 劉友華.算法偏見及其規(guī)制路徑研究[J].法學雜志，2019，40（6）：55-66.

[2] Goldman Eric.Search Engine Bias and the Demise of Search Engine Utopianism [M].Yale Journal of Law & Technology，2005：42-47.

[3] 趙鵬.搜索引擎對信息傳播的影響及其法律規(guī)制[J].北京：比較法研究Journal of Comparative Law，2018（4）：188-200.

[4] 姜野，李擁軍.破解算法黑箱：算法解釋權的功能證成與適用路徑——以社會信用體系建設為場景[J].福建師范大學學報（哲學社會科學版），2019（4）：84-172.

[5] 張玉宏，秦志光，肖樂.大數(shù)據(jù)算法的歧視本質(zhì)[J].自然辯證法研究，2017，33（5）：81-86.

[6] 王融.《歐盟數(shù)據(jù)保護通用條例》詳解[J].大數(shù)據(jù)期刊，2016，2（4）：93-101.

[7] 王文華，李東方.論司法實務對數(shù)據(jù)保護立法的推進——以歐盟《通用數(shù)據(jù)保護條例（GDPR）》為例[J].中國應用法學，2020（3）：132-144.

[8] 程瑩.元規(guī)制模式下的數(shù)據(jù)保護與算法規(guī)制——以歐盟《通用數(shù)據(jù)保護條例》為研究樣本[J].法律科學（西北政法大學學報），2019，37（4）：48-55.

[9] 歐洲數(shù)據(jù)保護專員，意大利個人數(shù)據(jù)保護專員，孔祥盛，等.人工智能倫理與數(shù)據(jù)保護宣言[J].北京 ：辦公自動化，2019（1）：12-15.

[10] 張凌寒.商業(yè)自動化決策的算法解釋權研究[J].法律科學（西北政法大學學報），2018，36（3）：65-74.

The Governance of the Algorithm Black Box in the Era of Artificial Intelligence

Wu Jiaojun， Guo Wan'er

（School of Humanity and Law， Hefei University of Technology， Hefei 230009， China）

Abstract：As a means for human beings to capture， process and output data by machines， the results of the algorithm are affected by the subjective deviation of the writer， technical deviation and so on. Because of the highly professional nature of the algorithm， users can not know the details about the capturing， processing and application of their own information. This opacity obviously affects the rights and interests of users and social order. It also brings great challenges to the legal mechanism of our country. According to the operation mode of the algorithm， this paper analyzes the triple crisis of data security， algorithm bias and judicial relief brought by the algorithm black box from three aspects： data collection， algorithm operation and application. Based on the governance provisions of the algorithm black box in the EU General Data Protection Regulation and the European Declaration on Ethics and Data Protection of Artificial Intelligence， and in view of the above triple crisis， this paper discusses the governance of the algorithm black box from the perspectives of technology， law and ethic to achieve the legal and optimal coupling of the legalization management of the algorithm black box.

Key words： algorithm black box; algorithm bias; personal information; artificial intelligence; technical ethics