人工智能算法“黑盒”安全風(fēng)險及治理探討

□ 文 葉曉亮 王麗穎 李曉婷

0 引言

當前我國面部識別、語音識別等人工智能（AI）創(chuàng)新應(yīng)用已進入世界前列，世界AI大會最新發(fā)布的《2020年全球人工智能創(chuàng)新指數(shù)報告》列出，我國AI創(chuàng)新指數(shù)全球排名第二。但是，安全作為發(fā)展的前提，AI算法“黑盒”問題帶來的安全風(fēng)險亟待高度重視。中科院、浙江大學(xué)等高校明確指出，由于算法不透明等因素，在醫(yī)療診斷、無人駕駛等領(lǐng)域存在各類安全風(fēng)險重大隱患，針對算法“黑盒”相關(guān)研究及AI應(yīng)用安全管控問題迫在眉睫。

1 AI算法“黑盒”存在四大安全風(fēng)險

AI算法“黑盒”問題是指由于廣泛應(yīng)用在AI產(chǎn)品上的深度學(xué)習(xí)等主流算法模型內(nèi)部結(jié)構(gòu)復(fù)雜、運行過程自主性較強且人工無法干預(yù)等因素，在數(shù)據(jù)輸入、模型訓(xùn)練、結(jié)果輸出等方面出現(xiàn)運行機制難以解釋，運行結(jié)果無法完全掌控等問題。在實際應(yīng)用中，AI算法“黑盒”問題體現(xiàn)出四大安全風(fēng)險：訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致安全缺陷難發(fā)現(xiàn)、模型運行自主性及不可解釋性導(dǎo)致運行過程難理解、安全測試標準不統(tǒng)一導(dǎo)致產(chǎn)品安全難掌控、技術(shù)手段探索不足導(dǎo)致安全監(jiān)管難以到位。

1.1 訓(xùn)練數(shù)據(jù)缺乏導(dǎo)致安全缺陷難發(fā)現(xiàn)

目前深度學(xué)習(xí)作為AI技術(shù)的主要算法之一，其特點是通過大量的訓(xùn)練數(shù)據(jù)對模型訓(xùn)練，最終確保在特定輸入數(shù)據(jù)下通過“黑盒”運行，得到更加智能、精準的輸出結(jié)果。例如智能網(wǎng)聯(lián)汽車需要大量多樣化路況信息和場景訓(xùn)練，才能確保其無人駕駛過程中能夠分場景判斷路況，并相應(yīng)調(diào)整運行狀態(tài)。從技術(shù)機理上看，深度學(xué)習(xí)等算法的安全性與數(shù)據(jù)具有強耦合性，不同數(shù)據(jù)所觸發(fā)的神經(jīng)網(wǎng)絡(luò)節(jié)點并不相同，測試結(jié)果也不盡相同。針對“靜態(tài)”情況下的深度學(xué)習(xí)算法進行的安全測試僅能發(fā)現(xiàn)較少漏洞。另外，神經(jīng)網(wǎng)絡(luò)中往往包含著眾多的隱藏層，只有利用體量足夠大、類型足夠豐富的數(shù)據(jù)進行安全測試時，“激活”模型中各個部分，才能測試出更多的安全漏洞。浙江大學(xué)指出，由于歷史數(shù)據(jù)的偏差，曾發(fā)生過算法對肺炎患者診斷出錯等問題。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，目前各家科技公司僅利用本公司所搜集的有限數(shù)據(jù)進行測試，各公司宣稱“安全”的AI產(chǎn)品往往具有很多較難發(fā)現(xiàn)的安全漏洞。因此，一旦未經(jīng)充分安全測試的相關(guān)產(chǎn)品大范圍應(yīng)用于交通、民生、醫(yī)療、甚至軍事等領(lǐng)域，將暗藏錯誤推理、錯誤決策等較大安全隱患。

1.2 模型運行自主性及不可解釋性導(dǎo)致運行過程難理解

深度學(xué)習(xí)等算法通常涉及特征提取、特征處理、多次迭代（即多次循壞）等過程。在特征提取階段，該過程往往是由深度學(xué)習(xí)算法自主選擇并進行處理，具有不可解釋性；在特征處理階段，經(jīng)提取后的特征需進行多次函數(shù)處理，目前業(yè)界仍無法解釋該過程的處理結(jié)果；在迭代階段，深度學(xué)習(xí)迭代次數(shù)及迭代數(shù)據(jù)巨大。例如工程上，深度學(xué)習(xí)算法模型訓(xùn)練圖片時通常數(shù)據(jù)量是1萬張以上，因此對該過程進行實時跟蹤依舊無助于算法模型的解釋性工作，目前尚無有效技術(shù)手段了解內(nèi)部運行流程。中國科學(xué)院大學(xué)研究指出，由于算法的解釋性差等原因，通過神經(jīng)網(wǎng)絡(luò)嵌入惡意軟件可以使模型在性能未受影響或影響很小的情況下秘密傳播。

1.3 安全測試標準不統(tǒng)一導(dǎo)致產(chǎn)品安全難掌控

傳統(tǒng)軟件測試具備完善的測試體系，而目前監(jiān)管部門以及各大科技企業(yè)之間暫未形成統(tǒng)一的測試標準及測試流程，各個企業(yè)針對自身產(chǎn)品的安全性表述往往是“自說自話”，市場上AI產(chǎn)品安全性參差不齊。騰訊朱雀實驗室研究發(fā)現(xiàn)，通過模擬實戰(zhàn)中的黑客攻擊路徑，擺脫傳統(tǒng)利用“樣本投毒”等攻擊方式，直接控制AI算法模型的神經(jīng)元，為算法模型“植入后門”，可在幾乎“無感”的情況下，實現(xiàn)完整的攻擊驗證。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，產(chǎn)品上線前，大多數(shù)科技企業(yè)會針對產(chǎn)品進行大量測試。但是多家科技公司指出，由于針對AI產(chǎn)品缺乏統(tǒng)一的測試標準以及底線要求，隨著傳統(tǒng)網(wǎng)絡(luò)攻擊、數(shù)據(jù)投毒等攻擊手段的升級，AI算法“黑盒”本身以及其衍生的安全問題將更加突出，產(chǎn)品的安全性將更加難以控制，亟待根據(jù)安全風(fēng)險變化，與時俱進完善產(chǎn)品測試標準以及安全測試公共服務(wù)環(huán)境。

1.4 技術(shù)手段探索不足導(dǎo)致安全監(jiān)管難發(fā)力

產(chǎn)業(yè)監(jiān)管通常包括備案式和主動檢查式兩種監(jiān)管模式。目前由于測試技術(shù)、測試手段不健全以及算法“黑盒”難題未解決等原因，即使科技企業(yè)將源代碼提交至監(jiān)管部門備案，或者交由第三方機構(gòu)進行安全審查，監(jiān)管部門同樣面臨算法內(nèi)部運行機制不清晰，以及算法運行結(jié)果難解釋等問題，導(dǎo)致算法備案、第三方審查等監(jiān)管方式無法發(fā)揮真正的監(jiān)管作用。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，由于上述技術(shù)難題，監(jiān)管部門只能從算法外側(cè)進行初步的安全檢查，難以進行更有針對性的監(jiān)管?？梢灶A(yù)見，即使算法存在“后門”等安全缺陷，且現(xiàn)有監(jiān)管體系在AI發(fā)展過程中存在不足，容易遺漏產(chǎn)品的重大安全風(fēng)險以及產(chǎn)品應(yīng)用可能引發(fā)的次生風(fēng)險。中國科學(xué)院大學(xué)發(fā)現(xiàn)，使用真實的惡意軟件替換AlexNet等AI算法模型中50%左右的神經(jīng)元，該模型的準確率仍保持在93.1%以上，同時該被“污染”的模型可成功規(guī)避防病毒引擎的安全掃描。

2 國外在AI算法監(jiān)管方面的實踐

2.1 “強問責”頂層規(guī)范算法安全使用

2.1.1 事前鼓勵算法備案。在算法正式應(yīng)用前，多國政府要求平臺企業(yè)應(yīng)根據(jù)不同算法的風(fēng)險等級，進行自我備案或向監(jiān)管部門備案。美國、澳大利亞均要求對平臺企業(yè)采取的算法進行監(jiān)管，并披露算法細節(jié)。

2.1.2 事中加強算法安全性舉證責任。在監(jiān)管部門啟動有關(guān)算法調(diào)查和行政處罰中，平臺企業(yè)承擔著自證合規(guī)的舉證責任。臉書前產(chǎn)品經(jīng)理豪根在美國國會參議院聽證會上指責臉書算法的危險性，公開指出臉書產(chǎn)品存在危害兒童、放大偏見、鼓勵兩極化等問題，隨后公司高層被要求就算法等問題進行解釋。

2.1.3 事后強化算法追責。當企業(yè)自己主動提供隱私政策和承諾后，監(jiān)管部門有理由對其違背自身隱私政策的行為，以“欺騙性貿(mào)易”的名義進行處罰。美國聯(lián)邦貿(mào)易委員會曾因臉書違反自身于2012年作出的企業(yè)隱私政策，對臉書處以5億美元的罰款。

2.2 “分場景”設(shè)置風(fēng)險安全管理規(guī)定

2.2.1 對高風(fēng)險應(yīng)用場景的算法進行嚴格監(jiān)管和限制。歐盟、美國、德國等主要地區(qū)均對高風(fēng)險應(yīng)用場景提出了特別規(guī)范要求，歐盟按照安全風(fēng)險的高低，將AI應(yīng)用場景分為“最低風(fēng)險、有限風(fēng)險、高風(fēng)險、不可接受的風(fēng)險”四個等級，等級越高的應(yīng)用場景受到的限制越嚴格。其中“高風(fēng)險”應(yīng)用場景主要包括與生物識別、關(guān)鍵基礎(chǔ)設(shè)施、教育培訓(xùn)、就業(yè)、執(zhí)法、移民、司法民主等領(lǐng)域內(nèi)的應(yīng)用，這類功能在啟用前應(yīng)履行嚴格義務(wù)，包括嚴格的風(fēng)險評估、通過高質(zhì)量數(shù)據(jù)最大限度降低風(fēng)險、增加必要的人工監(jiān)督等。美國對高風(fēng)險算法也提出了特別的規(guī)制要求，制定關(guān)于“高風(fēng)險自動決策系統(tǒng)”的評估規(guī)則。德國擬建立從不受監(jiān)督的無害AI系統(tǒng)到完全禁止的危險系統(tǒng)的五級監(jiān)管體系。

2.2.2 對大型科技企業(yè)的算法過程進行嚴格監(jiān)管。美國提出年收入超過5000萬美元或擁有超過100萬用戶的企業(yè)，應(yīng)進行算法影響評估，衡量在開發(fā)、設(shè)計和訓(xùn)練數(shù)據(jù)過程中，對算法準確性、公平性及對消費者隱私和安全的影響。法國要求平臺企業(yè)為用戶提供推薦排名的方式、影響排名因素等推薦系統(tǒng)的基本信息。

2.2.3 對涉及個人數(shù)據(jù)的算法進行嚴格監(jiān)管。歐盟為保障AI環(huán)境下的消費者利益，建立了嚴格的法律框架，如消費者權(quán)益保護法、個人數(shù)據(jù)保護法等。美國對學(xué)生入學(xué)資格篩選、個人簡歷篩選、信用卡申請等涉及個人數(shù)據(jù)的AI應(yīng)用場景提出了嚴格監(jiān)管舉措，要求必須滿足透明度和數(shù)據(jù)安全方面的規(guī)定。

2.3 “爭先導(dǎo)”占領(lǐng)全球AI治理制高點

針對AI算法監(jiān)管問題，國際間安全治理的爭奪正逐漸白熱化。

2.3.1 國際組織和聯(lián)盟爭相推出AI原則，但體現(xiàn)的價值管理、規(guī)范方式及約束路徑不同。聯(lián)合國提出應(yīng)對致命自主武器系統(tǒng)進行人類控制原則，并成立專門機構(gòu)研究算法等治理問題；二十國集團提倡以人類為中心、負責任的態(tài)度開發(fā)AI；經(jīng)濟合作與發(fā)展組織提出AI發(fā)展應(yīng)遵守法治、人權(quán)、民主價值觀和多樣性、公平公正等倫理原則；國際電氣和電子工程師協(xié)會倡導(dǎo)人權(quán)、福祉、數(shù)據(jù)自主性、有效性、透明、問責等原則；北約就AI武器化的規(guī)則制定進行協(xié)商，強調(diào)負責任的使用AI。

2.3.2 美歐等領(lǐng)先國家及地區(qū)爭奪AI治理先導(dǎo)權(quán)。美國提倡自下而上的治理原則，要求培養(yǎng)公眾對AI應(yīng)用的信任和信心，并強調(diào)AI倫理對軍事和情報的作用，發(fā)布了全球首份軍用AI倫理原則；歐盟提倡自上而下的治理原則，強調(diào)建立一個可信的AI框架，并提出具體可操作的評估準則和清單，創(chuàng)建“信任生態(tài)系統(tǒng)”，強化對科技發(fā)展及應(yīng)用的信心。

2.3.3 企業(yè)加強算法監(jiān)管，爭做產(chǎn)業(yè)健康發(fā)展先頭兵。谷歌、微軟、IBM、臉書、曠視、百度、騰訊等國內(nèi)外科技企業(yè)均提出了企業(yè)層面的AI價值觀，并設(shè)立了內(nèi)部管理機構(gòu)，踐行AI倫理原則。其中谷歌、臉書等表示愿公開披露算法細節(jié)，提供更多透明度和控制權(quán)，接受嚴格監(jiān)管，不斷改進算法。

3 應(yīng)對舉措

為應(yīng)對AI算法“黑盒”安全風(fēng)險，搶占規(guī)則制定的話語權(quán)，我國亟待抓緊完善算法披露及問責等頂層設(shè)計，改進現(xiàn)有監(jiān)管機制，提高算法透明度以及安全防護能力。

3.1 完善算法披露及問責等制度細則

一是明確算法輸出結(jié)果的底線要求。針對AI產(chǎn)品明確數(shù)據(jù)安全、網(wǎng)絡(luò)安全、倫理道德等方面的最低要求。二是在保障企業(yè)商業(yè)及技術(shù)秘密的情況下，明確科技企業(yè)對開發(fā)及使用的AI算法作最大限度的解釋性說明以及公開披露等強制性義務(wù)。三是完善算法問責與違法行為懲罰規(guī)定。針對科技企業(yè)等主體違反行業(yè)道德或相關(guān)法律法規(guī)時，除一定的經(jīng)濟處罰措施外，還應(yīng)當采取從時間上或經(jīng)營范圍限制其進入市場，甚至剝奪其進入市場資格等懲罰措施。

3.2 建立適配當前技術(shù)發(fā)展現(xiàn)狀監(jiān)管機制

一是AI應(yīng)用上線前，企業(yè)應(yīng)向監(jiān)管機構(gòu)提交算法代碼、企業(yè)內(nèi)部測試數(shù)據(jù)、測試環(huán)境、測試文檔等相關(guān)材料進行備案。監(jiān)管部門可聘請第三方機構(gòu)結(jié)合備案材料以及監(jiān)管機構(gòu)測試數(shù)據(jù)集進行安全檢測。二是借鑒歐盟的首部AI法案對我國應(yīng)用實行分類分級管理，破解傳統(tǒng)“一刀切”管理弊端。對于軍事武器等對高危領(lǐng)域的AI應(yīng)用實行嚴格管控，對于教育培訓(xùn)、金融服務(wù)等中風(fēng)險領(lǐng)域?qū)嵭羞m度檢測，對于游戲等低風(fēng)險領(lǐng)域營造較為寬松的監(jiān)管環(huán)境。三是建立公共測試數(shù)據(jù)環(huán)境支撐行業(yè)監(jiān)管。針對交通、教育、生產(chǎn)制造等重點領(lǐng)域，鼓勵公共服務(wù)機構(gòu)聯(lián)合產(chǎn)業(yè)鏈上下游建立公共測試環(huán)境，測試數(shù)據(jù)集中的數(shù)據(jù)體量、種類應(yīng)盡可能全面，尤其應(yīng)包含在極端條件下的測試用例，例如自動駕駛汽車行駛過程中“行人突然出現(xiàn)”等突發(fā)情況。

3.3 提高算法透明度及安全防護能力

一是重點突破特征關(guān)聯(lián)度較大等情況下的算法不可解釋難題。當前可解釋性方法及工具尚處于起步階段，解釋效果較不理想，無法滿足現(xiàn)有需求，亟待建立可解釋性評價指標體系，提高深度學(xué)習(xí)等算法解釋準確性和實時性。二是鼓勵業(yè)界開展算法及應(yīng)用相關(guān)風(fēng)險產(chǎn)生機制、影響研究。鼓勵科研單位聯(lián)合企業(yè)界，加強輸入數(shù)據(jù)驗證、AI模型攻防對抗演練等能力建設(shè)，建立AI算法“黑盒”測試環(huán)境、技術(shù)產(chǎn)品和測試標準。三是針對工業(yè)、金融業(yè)等重點領(lǐng)域AI應(yīng)用及風(fēng)險案例，征集安全解決方案和風(fēng)險應(yīng)對預(yù)案，積極在產(chǎn)業(yè)界推廣應(yīng)用。

4 結(jié)束語

在“新基建”等戰(zhàn)略背景下，AI對我國經(jīng)濟發(fā)展以及生產(chǎn)生活等各個方面的賦能作用將不斷凸顯，我國需借鑒國內(nèi)外優(yōu)秀經(jīng)驗，管控AI算法“黑盒”相關(guān)風(fēng)險，積極探索AI可解釋性技術(shù)，推動我國AI安全可靠發(fā)展。