人工智能算法黑箱的法律規(guī)制
——以智能投顧為例展開

徐 鳳

算法〔1〕算法（algorithm）一詞來源于中世紀的拉丁語“algorism”。公元9世紀，波斯的一位數(shù)學家Al-Khwarizmi，他寫了一本關于代數(shù)的著作。中世紀的學者用拉丁語傳播Al-Khwarizmi的學說時，他的名字的拉丁語音譯為“algorism”。到了18世紀，algorism演變成了algorithm。這個詞匯就成了任何程序化運算或自動運算方法的統(tǒng)稱。參見［美］克里斯托弗·斯坦納：《算法帝國》，李筱瑩譯，人民郵電出版社2014年版，第42—43頁。是人工智能的基礎?！八惴ň褪且幌盗兄噶?，告訴計算機該做什么。”〔2〕［美］佩德羅·多明戈斯：《終極算法：機器學習和人工智能如何重塑世界》，黃芳萍譯，中信出版集團2017年版，第3頁?！八惴ǖ暮诵木褪前凑赵O定程序運行以期獲得理想結果的一套指令?！薄?〕參見前引〔1〕，斯坦納書，第42頁。所有的算法都包括以下幾個共同的基本特征：輸入、輸出、明確性、有限性、有效性。〔4〕徐恪、李沁：《算法統(tǒng)治世界——智能經(jīng)濟的隱形秩序》，清華大學出版社2017年版，第11頁。算法因數(shù)學而起，但現(xiàn)代算法的應用范疇早已超出了數(shù)學計算的范圍，已經(jīng)與每個人的生活息息相關。因此，“我們生活在算法的時代”?！?〕參見前引〔2〕，多明戈斯書，第3頁。隨著人工智能時代的到來，算法越來越多地支配著我們的生活，也給現(xiàn)存的法律制度和法律秩序帶來了沖擊和挑戰(zhàn)。人工智能算法不公開、不透明，被稱為“算法黑箱”。這是人工智能給人類社會帶來的重大新型問題之一?！?〕邢會強：《人工智能時代的金融監(jiān)管變革》，《探索與爭鳴》2018年第10期，第21頁。法律制度如何應對“算法黑箱”的挑戰(zhàn)？法律如何規(guī)制算法？這是法學研究必須面對的現(xiàn)實問題。人工智能的應用場景很多，筆者主要以智能投顧為例，來闡述算法黑箱的法律規(guī)制。相信它將對人工智能的其他應用場景提供有益的借鑒和啟迪。

一、算法透明之爭

“黑箱”是控制論中的概念。作為一種隱喻，它指的是那些不為人知的不能打開、不能從外部直接觀察其內部狀態(tài)的系統(tǒng)?！?〕張淑玲：《破解黑箱：智媒時代的算法權力規(guī)制與透明實現(xiàn)機制》，《中國出版》2018年第7期，第50頁。人工智能所依賴的深度學習技術就是一個“黑箱”。深度學習是由計算機直接從事物原始特征出發(fā)，自動學習和生成高級的認知結果。在人工智能系統(tǒng)輸入的數(shù)據(jù)和其輸出的結果之間，存在著人們無法洞悉的“隱層”，這就是“算法黑箱”?！?〕許可：《人工智能的算法黑箱與數(shù)據(jù)正義》，《社會科學報》2018年3月29日，第6版；蘭亞妮、鄭晉鳴：《讓人工智能更有溫度》，《光明日報》2019年1月28日，第4版。對透明的追求使人心理安定，“黑箱”使人恐懼。如何規(guī)制算法“黑箱”，算法是否要透明，如何透明，是法律規(guī)制遇到的首要問題。

（一）對算法透明的呼吁及其理由

面對算法黑箱，不少人主張、呼吁算法透明。總結其理由，主要有以下幾點：

第一，算法透明是消費者知情權的組成部分。這種觀點主張，因為算法的復雜性和專業(yè)性，人工智能具體應用領域中的信息不對稱可能會更加嚴重，算法透明應是消費者知情權的組成部分。

第二，算法透明有助于緩解這種信息不對稱。這種觀點主張，算法的信息不對稱加重不只發(fā)生在消費者與算法設計者、使用者之間，更發(fā)生在人類和機器之間，算法透明有助于緩解這種信息不對稱。

第三，算法透明有助于防止人為不當干預。這種觀點以智能投顧為例，認為算法模型是公開的，在雙方約定投資策略的前提下，執(zhí)行策略由時間和事件函數(shù)共同觸發(fā)，執(zhí)行則由計算機程序自動完成，避免了人為不當干預的風險，它比人為干預更加公平、公開和公正?！?〕參見宋湘燕、王韜：《機器人投顧——金融投資領域的新角色》，《金融時報》2016年5月9日第11版。

第四，算法透明有助于防止利益沖突。這種觀點以智能投顧為例，認為由于算法的非公開性和復雜性，智能投顧給出的資產(chǎn)配置建議有可能是推薦了與其自身利益高度攸關的產(chǎn)品，這就難以保證投資建議的獨立性和客觀性。〔10〕參見伍旭川：《迎接金融科技的新風口——智能投顧》，《清華金融評論》2017年第10期，第87頁。智能投顧可以通過對于推薦產(chǎn)品選項的特殊排列方式，把對自己最有利的產(chǎn)品排在最容易被選擇到的位置。只有算法透明，才能防止這種利益沖突。

第五，算法透明有助于防范信息繭房。這種觀點認為，算法可能形成信息繭房。算法科學的外表容易誤導投資者，強化投資者的偏見，從而導致錯誤決策。算法技術為原本和普羅眾生疏離的復雜難懂的金融披上了簡單易懂的面紗，金融的高風險性被成功掩蓋，輕松化的人機交互界面掩蓋了金融風險的殘酷本質?！?1〕參見高絲敏：《智能投資顧問模式中的主體識別和義務設定》，《法學研究》2018年第5期，第43頁。

第六，算法透明有助于打破技術中立的外衣。智能金融給人以中立的感覺，而事實上，技術的背后是人。人類會將人性弱點和道德缺陷帶進和嵌入算法之中，但它們卻可能隱蔽于算法背后，從而更不易被發(fā)覺。

第七，算法透明有助于打破算法歧視。賓夕法尼亞州法學院的Tom Baker和荷蘭鹿特丹伊拉斯謨大學的Benedict G.、C.Dellaert教授認為：公眾不能預設智能投顧機器人沒有人類所具有的不純動機。因為智能金融算法存在歧視和黑箱現(xiàn)象，因此才需要算法的透明性或解釋性機制。〔12〕參見劉元興：《智能金融的“算法可解釋性”問題》，《金融科技觀察》2018年第13期，第1頁。

第八，算法透明有助于打破“算法監(jiān)獄”與“算法暴政”。在人工智能時代，商業(yè)企業(yè)和公權部門都采用人工智能算法作出的自動化決策，算法存在的缺陷和偏見可能會使得大量的客戶不能獲得貸款、保險、承租房屋等服務，這如同被囚禁在“算法監(jiān)獄”。然而，如果自動化決策的算法不透明、不接受人們的質詢、不提供任何解釋、不對客戶或相對人進行救濟，客戶或相對人無從知曉自動化決策的原因，自動化決策就會缺少“改正”的機會，這種情況就屬于“算法暴政”?！?3〕張凌寒：《商業(yè)自動化決策的算法解釋權研究》，《法律科學》2018年第3期，第66頁。算法透明則有助于打破“算法監(jiān)獄”與“算法暴政”。

第九，算法透明是提供算法可責性問題的解決工具和前提。有學者認為算法透明性和可解釋性是解決算法可歸責性的重要工具。明確算法決策的主體性、因果性或相關性，是確定和分配算法責任的前提?！?4〕Finale Doshi-Velez&Mason Kortz,Accountability of AI Under the Law:The Role of Explanation,https://arxiv.org/pdf/1711.01134.pdf.

第十，算法透明有助于提高人們的參與度，確保質疑精神。這種觀點認為，在卡夫卡的環(huán)境中，如果你不了解某個決定的形成過程，就難以提出反對的理由。〔15〕參見［美］盧克·多梅爾：《算法時代：新經(jīng)濟的引擎》，胡小銳、鐘毅譯，中信出版集團2016年版，第140頁。由于人們無法看清其中的規(guī)則和決定過程，人們無法提出不同的意見，也不能參與決策的過程，只能接受最終的結果。為走出這一困境，算法透明是必要的。還有人認為，質疑精神是人類前進的工具，如果沒有質疑，就沒有社會進步。為了保證人類的質疑，算法必須公開——除非有更強的不公開的理由，比如保護國家安全或個人隱私。

第十一，公開透明是確保人工智能研發(fā)、涉及、應用不偏離正確軌道的關鍵。這種觀點認為，人工智能的發(fā)展一日千里，人工智能可能擁有超越人類的超級優(yōu)勢，甚至可能產(chǎn)生災難性風險，因而應該堅持公開透明原則，將人工智能的研發(fā)、設計和應用置于監(jiān)管機構、倫理委員會以及社會公眾的監(jiān)督之下，確保人工智能機器人處于可理解、可解釋、可預測狀態(tài)?！?6〕金東寒主編：《秩序的重構——人工智能與人類社會》，上海大學出版社2017年版，第72頁。

（二）反對算法透明的聲音及其理由

聲音并非一邊倒。反對算法透明的聲音也不少，其主要理由如下：

第一，類比征信評分系統(tǒng)。征信評分系統(tǒng)不對外公開是國際慣例，其目的是防止“炒信”、“刷信”，使評級結果失真。很多人工智能系統(tǒng)類似于信用評級系統(tǒng)。

第二，周邊定律。周邊定律是指法律無須要求律師提請我們注意身邊具有法律意義的內容，而是將其直接植入我們的設備和周邊環(huán)境之中，并由這些設備和環(huán)境付諸實施?！?7〕參見前引〔15〕，多梅爾書，第123頁。主張該觀點的人宣稱，人類正在步入技術對人類的理解越來越深刻而人類卻無須理解技術的時代。智能時代的設備、程序，就像我們的人體器官和中樞神經(jīng)系統(tǒng)，我們對其知之甚少但卻可以使用它們。同樣，算法為自我管理、自我配置與自我優(yōu)化而完成的自動計算活動，也無須用戶的任何體力與智力投入?！?8〕參見前引〔15〕，多梅爾書，第123頁。

第三，算法不透明有助于減少麻煩。如果披露了算法，則可能會引起社會輿論的嘩然反應，從而干擾算法的設計，降低預測的準確性。大數(shù)據(jù)預測盡管準確的概率較高，但也不能做到百分之百。換言之，大數(shù)據(jù)預測也會不準，也會失誤。如果將算法公之于眾，人們對預測錯誤的賦值權重就有可能偏大，從而會阻礙技術的發(fā)展。

第四，防止算法趨同。算法披露之后，好的算法、收益率高的算法、行業(yè)領導者的算法可能會引起業(yè)界的效仿，從而會出現(xiàn)“羊群效應”，加大順周期的風險。

第五，信息過載或難以理解。算法屬于計算機語言，不屬于日常語言，即使對外披露了，除專業(yè)人士之外的大多數(shù)客戶難以理解。換言之，對外披露的信息對于大多數(shù)用戶來講可能屬于無效信息。〔19〕參見前引〔7〕，張淑玲文，第51頁。

第六，偏見存在于人類決策的方方面面，要求算法滿足高于人類的標準是不合理的?！?0〕Joshua New and Daniel Castro：《算法可解釋性與算法監(jiān)管》，姜開鋒譯，大數(shù)據(jù)和人工智能法律研究院公眾號，2018年7月3日。算法透明性本身并不能解決固有的偏見問題?！?1〕同上文。要求算法的透明性或者可解釋性，將會減損已申請專利的軟件的價值。〔22〕前引〔20〕，Joshua New and Daniel Castro文。要求算法的透明性還為動機不良者擾亂系統(tǒng)和利用算法驅動的平臺提供了機會，它將使動機不良者更容易操縱算法。

第七，算法披露在現(xiàn)實中存在操作困難。智能投顧可能涉及多個算法，披露哪個或哪些算法？算法披露到什么程度？

（三）折中派的觀點及其理由

有人認為，算法是一種商業(yè)秘密。“算法由編程者設計，進而給網(wǎng)站帶來巨大的商業(yè)價值，因此其本質上是具有商業(yè)秘密屬性的智力財產(chǎn)?！薄?3〕張凌寒：《風險防范下算法的監(jiān)管路徑研究》，《交大法學》2018年第4期，第56頁。如果將自己的專有算法程序公之于眾，則有可能泄漏商業(yè)秘密，使自己喪失技術競爭優(yōu)勢。鑒于很多算法屬于涉及商業(yè)利益的專有算法，受知識產(chǎn)權法保護，因此即使是強制要求算法透明，也只能是有限度的透明。

還有人認為，如何對待算法，這個問題并沒有“一刀切”的答案。在某些情況下，增加透明度似乎是一個正確的做法，它有助于幫助公眾了解決策是如何形成的，但是在涉及國家安全時，公開源代碼的做法就不適用了，因為一旦公開了特定黑盒子的內部運行機制，某些人就可以繞開保密系統(tǒng)，使算法失效。〔24〕參見前引〔15〕，多梅爾書，第222頁。

（四）筆者的觀點——算法的不公開是原則，公開是例外

絕對的透明是不存在的，即使透明也是相對的透明。在歷史上，人類社會隨著復雜性的增加，不可避免地產(chǎn)生以組織和技術形態(tài)出現(xiàn)的各類“黑箱”，它們的決定雖然影響著社會公眾的利益，但仍然保持著某種程度的秘密性。〔25〕參見胡凌：《人工智能的法律想象》，《文化縱橫》2017年第2期，第111頁。為了克服信息不對稱帶來的各種弊端，法律作出了各種回應，包括設計出某種程度的信息公開和透明化機制。例如上市公司強制信息披露等，以保障相關當事人和社會大眾的知情權，避免恐慌，讓社會大眾保持一定程度的預測能力。〔26〕參見前引〔6〕，邢會強文，第115頁。但是，盡管如此，上市公司就絕對透明了嗎？事實上，絕對透明是做不到的。信息披露是有成本的，投資者的知情權也是需要保障的。為了平衡這種沖突，法律發(fā)展出了信息的“重大性”標準，只有符合這一標準的信息才應予披露，而不是所有的信息才能披露?！?7〕參見劉東輝：《誰是理性的投資者——美國證券法上重大性標準的演變》，《證券法律評論》2015年卷，第78頁。那么，在算法披露領域，是否要借鑒上市公司的信息“重大性”標準呢？如果要借鑒，算法的透明就是一種有限的透明。而且，就信息的“重大性”標準而言，實踐中和學術界仍有“價格敏感重大性”和“投資決策重大性”之爭。算法透明如果要借鑒，該標準該如何設定呢？這也是一個難題。

鑒于算法透明的利多于或大于弊，我們支持算法有限透明的立場。算法的完全透明是做不到的。在前人工智能時代，也有各種各樣的算法，這些算法也在影響著人們的生活，但人們并未要求其完全公開。在人工智能時代，也可以做這樣的推理：算法的不公開是原則，公開是例外。如果需要公開，也需要制定法律明確哪些算法應該公開，以及如何公開。

筆者認為，具有壟斷地位的算法，或國家財政資金提供支持的、目的是提供普遍公共服務的算法，人們應有權要求其公開。因為具有壟斷地位的算法限制了人們的選擇權，對個人施加的影響巨大，人們應有知情權。而國家財政資金提供支持的、目的是提供普遍公共服務的算法，之所以需要公開，是因為這是納稅人知情權的組成部分。此外，對于歧視某一類人、侵犯公民平等權的算法，盡管它未必需要向社會公開，但人們有權提起訴訟，讓其接受法官的審查。這是因為，從理論上說，私人的商業(yè)秘密作為個人利益，在涉嫌侵犯個人的權利時，是不能對抗法官的審查權的。

盡管算法不公開是原則，但人們應有權要求公平也是原則。美國《公平信用報告法》確保消費者可以看到某個數(shù)據(jù)檔案對信用評分的影響，并且有權糾正檔案中包括的任何錯誤，而《平等信用機會法》則禁止在信用評分中納入種族或性別歧視。這種做法值得我國借鑒，即我國法律即使不要求算法公開，但也應要求算法公平，并將其置于法官的審查之下。

二、算法透明的實踐與內容

人們呼吁算法透明，卻往往忽略了算法透明的具體內容，這將使算法透明的呼吁停留于表面上，而不具有現(xiàn)實的可操作性。揆諸當下各國的探索與實踐，可以發(fā)現(xiàn)，算法透明的具體內容還沒有真正付諸實施。

（一）算法透明的探索與實踐

2017年，美國計算機學會公眾政策委員會公布了6項算法治理指導原則。第一個原則是知情原則，即算法設計者、架構師、控制方以及其他利益相關者應該披露算法設計、執(zhí)行、使用過程中可能存在的偏見以及可能對個人和社會造成的潛在危害。第二個原則是質詢和申訴原則，即監(jiān)管部門應該確保受到算法決策負面影響的個人或組織享有對算法進行質疑并申訴的權力。第三個原則是算法責任認定原則。第四個原則是解釋原則，即采用算法自動化決策的機構有義務解釋算法運行原理以及算法具體決策結果。第五個原則是數(shù)據(jù)來源披露原則。第六個原則是可審計原則。仔細審視這6項原則，其要求的算法透明的具體內容主要是算法的偏見與危害、算法運行原理以及算法具體決策結果，以及數(shù)據(jù)來源。

發(fā)生于美國威斯康星州的State v.Loomis案所引發(fā)了美國社會關于算法透明的爭論。在該案中，該州一法院使用“再犯風險評估內容”來進行量刑，被告Loomis認為法官違反了正當程序原則，他有權檢查法律的算法，量刑法院應該公開算法。但該州最高法院認為，算法只是量刑的一個因素，而不是唯一因素，算法量刑沒有違反正當程序原則，但法官應向被告解釋其在作出量刑決定時所考量的因素并提醒法官警惕使用算法量刑可能帶來的偏見?？傊?，在該案中，該州最高法院傾向于保護算法產(chǎn)品廠商的商業(yè)秘密，不會要求公開算法代碼，也沒有要求廠商用自然語言解釋算法的設計原理、功能和目的。

2017年年底，紐約州通過一項《算法問責法案》要求成立一個由自動化決策系統(tǒng)專家和相應的公民組織代表組成的工作組，專門監(jiān)督自動化決策算法的公平和透明。之前，該法案有一個更徹底的版本，規(guī)定市政機構要公布所有用于“追蹤服務”或“對人施加懲罰或維護治安”的算法的源代碼，并讓它們接受公眾的“自我測試”。“這是一份精煉的、引人入勝的、而且是富有雄心的法案”，它提議每當市政府機構打算使用自動化系統(tǒng)來配置警務、處罰或者服務時，該機構應將源代碼——系統(tǒng)的內部運行方式——向公眾開放。很快，人們發(fā)現(xiàn)這個版本的法案是一個很難成功的方案，他們希望不要進展得那么激進。因此，最終通過的法案刪去了原始草案中的披露要求，設立了一個事實調查工作組來代替有關披露的提議，原始草案中的要求僅在最終版本里有一處間接地提及——“在適當?shù)那闆r下，技術信息應當向公眾開放”?！?8〕［美］Julia Powles：《紐約市嘗試對算法問責——政策有待完善，但行動敢為人先》，姜開鋒譯，大數(shù)據(jù)和人工智能法律研究院公眾號，2018年12月29日。

在歐盟，《通用數(shù)據(jù)保護條例》（GDPR）在鑒于條款第71條規(guī)定：“在任何情況下，該等處理應該采取適當?shù)谋Ｕ?，包括向?shù)據(jù)主體提供具體信息，以及獲得人為干預的權利，以表達數(shù)據(jù)主體的觀點，在評估后獲得決定解釋權并質疑該決定?！睋?jù)此，有人主張GDPR賦予了人們算法解釋權?！?9〕參見前引〔23〕，張凌寒文，第58頁。但也有學者認為，這種看法很牽強，個人的可解釋權并不成立?！?0〕參見劉元興：《智能金融的“算法可解釋性”問題》，《金融科技觀察》2018年第13期，第2頁。

我國《新一代人工智能發(fā)展規(guī)劃》指出：“建立健全公開透明的人工智能監(jiān)管體系。”這提出了人工智能監(jiān)管體系的透明，而沒有要求算法本身的透明。

（二）算法透明的內容不是算法代碼而是算法說明

人們呼吁算法透明，但透明的內容具體是算法的源代碼，還是算法的簡要說明？秉承“算法公開是例外，不公開是原則”的立場，即使是在算法需要公開的場合，也需要考察算法公開的具體內容是什么。

算法的披露應以保護用戶權利為必要。算法的源代碼、算法的具體編程公式（實際上也不存在這樣的編程公式）是不能公開的。這主要是因為算法的源代碼一方面非常復雜，且不斷迭代升級，甚至不可追溯，無法予以披露；另一方面，公開源代碼是專業(yè)術語，絕大部分客戶看不懂，即使公開了也沒有意義。

算法的透明追求的是算法的簡要說明（簡稱算法簡介）。算法的簡介包括算法的假設和限制、算法的邏輯、算法的種類、算法的功能、算法的設計者、算法的風險、算法的重大變化等。算法簡介的公開，也是需要有法律規(guī)定的，否則，不公開仍是基本原則。例如，美國《智能投顧升級指導意見》規(guī)定的與算法相關的披露內容包括：管理客戶賬戶所使用的算法的說明；算法功能的介紹（如通過算法能對客戶個人賬戶進行投資和重新調整）；算法的假設和限制（如該算法是基于現(xiàn)代投資組合理論，說明背后的假設和該理論的局限性）；對使用算法管理客戶賬戶所固有的特定風險的描述（例如該算法可能不考慮市場條件而重新調整客戶賬戶，或者進行比客戶預期更頻繁地調整以及算法可能無法應對市場條件的長期變化）；任何可能導致用于管理客戶賬戶的智能投顧算法重寫的狀況描述（如智能投顧可能在緊張的市場狀況下停止交易或采取其他臨時性防御措施）；關于第三方參與管理客戶賬戶的算法的開發(fā)、管理或所有權的說明，包括對這種安排可能產(chǎn)生的任何沖突利益的解釋（例如，如果第三方以打折的方式向智能投顧方提供算法，那么此算法同樣可能會將客戶引導到一種能使第三方獲利的產(chǎn)品上）。還如，新加坡金融管理局希望數(shù)字顧問可以書面向客戶披露算法相關信息：首先，算法的假設、限制和風險；其次，明確數(shù)字顧問可以推翻算法或者暫停數(shù)字顧問的情形；再次，披露對算法的任何重大調整?？傊撝笇б庖娨笈兜氖菍λ惴ǖ恼f明而不是算法本身。

三、算法透明的替代或輔助方法

算法透明不能簡單類比上市公司的透明，算法透明的具體方法除了公開披露之外，還可以有其他替代方法。當然它們也可以成為輔助方法。這些方法究竟是替代方法還是輔助方法，取決于立法者的決斷。

（一）備案或注冊

備案即要求義務人向監(jiān)管機構或自律組織備案其算法或算法邏輯，算法或算法邏輯不向社會公開，但監(jiān)管機構或自律組織應知悉。這種觀點認為，智能投顧應向監(jiān)管部門備案其算法（邏輯），監(jiān)管部門應對智能投顧的算法進行大致分類，并采取必要的措施避免同質化，以免造成羊群效應。此外，還要明確要求智能投顧定期檢查模型或算法的有效性，一旦有重要修改，應再次備案?！?1〕姜海燕、吳長鳳：《智能投顧的發(fā)展現(xiàn)狀及監(jiān)管建議》，《證券市場導報》2016年第12期，第10頁。

其實，在程序化交易、量化交易或高頻交易領域，備案已是常規(guī)做法。歐洲證券市場監(jiān)管局要求從事量化交易的投資機構每年向其報備交易策略、交易參數(shù)的設定及其限制、核心風險控制模塊構成及交易系統(tǒng)測試結果?！?2〕金小野：《規(guī)范高頻交易是國際證券業(yè)監(jiān)管焦點》，《法制日報》2013年11月12日，第10版。之所以如此，是因為算法備案一方面促使量化交易投資機構更為謹慎地使用和監(jiān)控算法交易系統(tǒng)；另一方面也有助于促使監(jiān)管機構掌握前沿的技術，以便更好地理解和評估算法交易系統(tǒng)，從而有助于改善和提高監(jiān)管機構的監(jiān)管能力。

算法很復雜，很難用公式或可見的形式表達出來。算法的種類很多，一個人工智能系統(tǒng)可能會涉及很多算法，且算法也在不斷迭代、更新和打補丁，就像其他軟件系統(tǒng)不斷更新一樣。因此，算法本身沒法備案，更無法披露?？梢詡浒负团兜氖撬惴ǖ倪壿嫼蛥?shù)。《關于規(guī)范金融機構資產(chǎn)管理業(yè)務的指導意見》（以下簡稱《資管新規(guī)》）第23條要求：“金融機構應當向金融監(jiān)督管理部門報備人工智能模型的主要參數(shù)以及資產(chǎn)配置的主要邏輯。”即是因為如此。但是，算法邏輯和主要參數(shù)的披露卻可能引起業(yè)界的紛紛效仿，從而可能帶來羊群效應。也正因為如此，算法邏輯和主要參數(shù)的備案，需要對金融監(jiān)督管理部門及其工作人員課加嚴格的保密責任。

除了算法邏輯的備案以外，還可以要求算法開發(fā)設計人員的注冊。2017年1月，SEC批準了對NASD規(guī)則1032（f）的修正案，該修正案擴大了需要注冊為證券交易者的人員范圍。具體而言，自2017年1月30日起，每個主要負責設計、開發(fā)或重大修改與股票、優(yōu)先股或可轉換債券有關的算法交易策略的人，或在上述活動中負責日常監(jiān)管或指導的人，必須通過57系列考試并注冊為證券交易者。美國自律監(jiān)管組織——金融服務監(jiān)管局的目標是確保公司識別并注冊一個或多個相關人員，他具備交易策略（例如，套利策略）及實施該交易策略的技術實施（例如編碼）的知識并對此負責，以便公司來評估相關產(chǎn)品的結果是否實現(xiàn)了其業(yè)務目標，且是否是合規(guī)的。如果智能投顧不是自行設計和開發(fā)算法，而是委托第三方設計和開發(fā)算法，則該第三方的設計開發(fā)機構中主要負責設計、開發(fā)或重大修改與股票、優(yōu)先股或可轉換債券有關的算法交易策略的人，也必須注冊為證券交易者。這些經(jīng)驗也值得我國借鑒。

（二）算法可解釋權

一旦人工智能系統(tǒng)被用于作出影響人們生活的決策，人們就有必要了解人工智能是如何作出這些決策的。方法之一是提供解釋說明，包括提供人工智能系統(tǒng)如何運行以及如何與數(shù)據(jù)進行交互的背景信息。但僅發(fā)布人工智能系統(tǒng)的算法很難實現(xiàn)有意義的透明，因為諸如深度神經(jīng)網(wǎng)絡之類的最新的人工智能技術通常是沒有任何算法輸出可以幫助人們了解系統(tǒng)所發(fā)現(xiàn)的細微模式?！?3〕參見［美］施博德、沈向洋：《未來計算》，北京大學出版社2018年版，第39頁?；诖?，一些機構正在開發(fā)建立有意義的透明的最佳實踐規(guī)范，包括以更易理解的方法、算法或模型來代替那些過于復雜且難以解釋的方法。筆者認為，是否賦予客戶以算法可解釋權有待深入論證，但算法設計者有義務向公權機關解釋算法的邏輯。

四、算法公平的保障措施

算法公開、算法備案等規(guī)制工具都屬于信息規(guī)制工具，它們是形式性的規(guī)制工具。除了信息規(guī)制工具之外，還有其他實質性規(guī)制工具。形式性規(guī)制工具追求的價值目標是形式公平，實質性規(guī)制工具追求的價值目標是實質公平。在消費者權益和投資者權益保護過程中，除了保障形式公平之外，也要保障實質公平。因此，除了信息規(guī)制工具之外，還應有保障算法公平的其他實質性規(guī)制工具，這些工具主要包括三個方面，一是算法審查、評估與測試，二是算法治理，三是第三方監(jiān)管。

（一）算法審查、測試與檢測

在人工智能時代，算法主導著人們的生活。數(shù)據(jù)應用助推數(shù)據(jù)經(jīng)濟，但也有許多模型把人類的偏見、誤解和偏愛編入了軟件系統(tǒng)，而這些系統(tǒng)正日益在更大程度上操控著我們的生活?！斑@些數(shù)學模型像上帝一樣隱晦不明，只有該領域最高級別的牧師，即那些數(shù)學家和計算機科學家才明白該模型是如何運作的?！薄?4〕［美］凱西·奧尼爾：《算法霸權——數(shù)學殺傷性武器的威脅》，馬青玲譯，中信出版社2018年版，前言第Ⅴ頁。人們對模型得出的結論毫無爭議，從不上訴，即使結論是錯誤的或是有害的。凱西·奧尼爾將其稱為“數(shù)學殺傷性武器”。“算法就是上帝，數(shù)學殺傷性武器的裁決就是上帝的指令?！薄?5〕前引〔34〕，奧尼爾書，前言第Ⅹ—Ⅺ頁。然而，數(shù)學家和計算機科學家畢竟不是上帝，他們應當接受社會的審查。算法是人類的工具，而不是人類的主人。數(shù)學家和計算機科學家是人類的一員，他們應與我們普羅大眾處于平等的地位，而不應凌駕于人類之上，他們不應是人類的統(tǒng)治者。即使是人類的統(tǒng)治者——君主或總統(tǒng)，在現(xiàn)代社會也應接受法律的規(guī)范和治理、人民的監(jiān)督和制約，更何況群體龐大的數(shù)學家和計算機科學家?？傊?，算法應該接受審查。

算法黑箱吸入數(shù)據(jù)，吐出結論，其公平性應接受人類的審查。算法的開發(fā)者、設計者也有義務確保算法的公平性。在智能投顧領域，作為智能投顧的核心要素，算法利用大數(shù)據(jù)，基于各種模型和假設，將有關數(shù)據(jù)轉化為適合特定投資者的投資建議。如果算法的設計有問題，則算法輸出的結果可能會產(chǎn)生有較大偏差甚至是錯誤的結果，無法實現(xiàn)客戶預期的投資目標。因此，有必要審查算法的有效性。這在國外已有實踐。例如，美國對智能投顧算法的審查包括初步審查和持續(xù)審查。初步審查包括評估數(shù)字咨詢工具使用的前提假設和相關方法是否適合特定的目標，評估系統(tǒng)輸出是否符合公司的預期目標等；持續(xù)審查包括評估數(shù)字化建議工具使用的模型是否適用于持續(xù)變化的市場等。〔36〕李苗苗、王亮：《智能投顧：優(yōu)勢、障礙與破解對策》，《南方金融》2017年第12期，第80頁。澳大利亞明確規(guī)定智能投顧要有測試文檔，說明算法測試的計劃、案例、結果、缺陷及解決方法。目前，我國在智能投顧算法方面尚未建立起完整的監(jiān)督和測試框架。因此，有必要借鑒發(fā)達市場的成熟經(jīng)驗，盡快填補智能投顧算法的監(jiān)管空白。具體內容可包括：第一，智能投顧平臺自身應充分理解算法使用的假設、投資者的偏好、模型以及算法的局限性；第二，為算法的設計、開發(fā)和運行建檔，以便監(jiān)管部門對算法進行檢查和監(jiān)督；第三，對算法是否適合特定的投資目標、是否符合客戶預期進行測試和評估；第四，對算法的更新迭代進行嚴格監(jiān)測。〔37〕前引〔36〕，李苗苗、王亮文，第80頁。

應該對人工智能系統(tǒng)進行測試。人工智能機器人目前尚未成為獨立的民事主體，不能獨立承擔民事責任，但這并不妨礙對其頒發(fā)合格證書和營運證書。這正如汽車可以獲得行駛證書和營運許可證書一樣。自然人投資顧問參加資格考試，本質上就是對其“從業(yè)資格所需要的知識圖譜”進行抽樣評測?！?8〕張家林：《人工智能投顧，需要從業(yè)資格考試嗎》，《華夏時報》2016年12月5日，第34版。智能投顧也可以參加“從業(yè)資格”考試。智能投顧參加從業(yè)資格考試，本質上是評測其知識圖譜是否具有投資顧問服務所要求的功能。智能投顧參加從業(yè)資格考試的形式就是要對智能投顧系統(tǒng)和算法進行測試。2016年8月，韓國金融委員會出臺了“機器人投顧測試床的基本運行方案”，通過三階段的審核程序檢驗機器人投顧平臺的實際運營情況，測試算法的穩(wěn)定性、收益性和整體系統(tǒng)的安全性?！?9〕姜海燕、吳長鳳：《機器人投顧領跑資管創(chuàng)新》，《清華金融評論》2016年第12期，第100頁?？傊?，我們可以通過評測智能投顧系統(tǒng)的知識圖譜來判斷它是否具備“從業(yè)資格”。智能投顧應該是可以被“評測的”?！?0〕前引〔38〕，張家林文。只有檢測合格的智能投顧才能投入市場，從事服務。

監(jiān)測對于防范算法風險必不可少。由于智能投顧可能造成系統(tǒng)性金融風險，對此可以采取宏觀審慎管理措施來監(jiān)測，例如觀測智能投顧是否存在大規(guī)模的一致性行為和協(xié)同行為等?！?1〕張家林：《人工智能投顧：21世紀的技術對應21世紀的監(jiān)管》，《證券日報》2017年1月21日，第A03版。運用專業(yè)技術對算法的執(zhí)行進行持續(xù)監(jiān)測。如果發(fā)現(xiàn)算法存在嚴重錯誤，應及時中止系統(tǒng)服務，并采取有效措施予以糾正?！?2〕前引〔36〕，李苗苗、王亮文。我國的《資管新規(guī)》也有這方面的要求。尤其是在智能投顧發(fā)展初期，需要審慎評估智能投顧對證券市場的影響，密切監(jiān)測并加強對智能投顧算法的一貫性、中立性、合法性和安全性等方面的監(jiān)管力度，及時跟蹤市場變化，防范市場系統(tǒng)性金融風險?！?3〕參見前引〔31〕，姜海燕、吳長鳳文，第10頁。

（二）算法治理

智能投顧應強化對智能投顧算法的組織管理。歐盟金融工具市場指令（MiFID II）要求，一家投資公司應該確保其負責算法交易風險和合規(guī)的員工具有：（1）充足的算法交易和交易策略知識；（2）跟蹤自動警報所提供信息的能力；（3）算法交易造成交易環(huán)境紊亂或有疑似市場濫用時，有足夠的權力去質疑負責算法交易的員工?！?4〕參見網(wǎng)頁http://ec.europa.eu/finance/securities/docs/isd/mifid/rts/160719-rts-6_en.pdf。在澳大利亞，2016年8月正式發(fā)布《RG255：向零售客戶提供數(shù)字金融產(chǎn)品建議》指南要求，智能投顧被許可人應確保業(yè)務人員中至少有一位了解用于提供數(shù)字建議技術和算法基本原理、風險和規(guī)則的人，至少有一位有能力檢查數(shù)字建議的人，定期檢查算法生成的數(shù)字建議“質量”?！?5〕RG255.64。質疑精神是人類社會前進的基本動力，必須將算法置于人類的質疑和掌控之下。人工智能的開發(fā)者和運營者應有能力理解和控制人工智能系統(tǒng)，而不能單純地一味依賴于第三方軟件開發(fā)者。

人工智能系統(tǒng)還應建立強大的反饋機制，以便用戶輕松報告遇到的性能問題。〔46〕［美］施博德、沈向洋：《未來計算》，北京大學出版社2018年版，第34頁。任何系統(tǒng)都需要不斷迭代和優(yōu)化，只有建立反饋機制，才能更好地不斷改進該系統(tǒng)。

（三）加強第三方算法監(jiān)管力量

為了保證對算法權力的全方位監(jiān)督，應支持學術性組織和非營利機構的適當介入，加強第三方監(jiān)管力量。目前在德國已經(jīng)出現(xiàn)了由技術專家和資深媒體人挑頭成立的名為“監(jiān)控算法”的非營利組織，宗旨是評估并監(jiān)控影響公共生活的算法決策過程。具體的監(jiān)管手段包括審核訪問協(xié)議的嚴密性、商定數(shù)字管理的道德準則、任命專人監(jiān)管信息、在線跟蹤個人信息再次使用的情況，允許用戶不提供個人數(shù)據(jù)、為數(shù)據(jù)訪問設置時間軸、未經(jīng)同意不得將數(shù)據(jù)轉賣給第三方等?！?7〕參見前引〔7〕，張淑玲文，第53頁。這種做法值得我國借鑒。為了讓人工智能算法去除偏私，在設計算法時，對相關主題具有專業(yè)知識的人（例如，對信用評分人工智能系統(tǒng)具有消費者信用專業(yè)知識的人員）應該參與人工智能的設計過程和決策部署。〔48〕參見前引〔46〕，施博德、沈向洋書，第29頁。當人工智能系統(tǒng)被用于作出與人相關的決定時，應讓相關領域的專家參與設計和運行。〔49〕參見同上書，第34頁。