人工智能安全國際標準化進展研究

張琳琳 王騰

(中國信息通信研究院安全研究所，北京 100191)

0 引言

人工智能作為引領(lǐng)未來的戰(zhàn)略性技術(shù)，日益成為驅(qū)動經(jīng)濟社會各領(lǐng)域從數(shù)字化、網(wǎng)絡(luò)化向智能化加速躍升的重要引擎，對人類文明發(fā)展和社會進步產(chǎn)生廣泛而深遠的影響，但與此同時，人工智能技術(shù)的應(yīng)用也帶來了國家安全、社會倫理、網(wǎng)絡(luò)安全、數(shù)據(jù)安全、隱私保護、人身安全等風險挑戰(zhàn)。世界各主要發(fā)達國家紛紛布局人工智能發(fā)展戰(zhàn)略規(guī)劃，高度關(guān)注人工智能技術(shù)應(yīng)用發(fā)展及安全風險防范。人工智能標準化工作有利于促進人工智能產(chǎn)業(yè)發(fā)展和技術(shù)創(chuàng)新，其中安全標準是人工智能標準體系的重要組成部分， ISO/IEC、ITU-T、ETSI、IEEE、NIST等國際標準組織積極推進人工智能安全標準制定，從不同角度逐步完善人工智能安全標準體系，為防范人工智能安全風險、鼓勵良性人工智能應(yīng)用、推動人工智能產(chǎn)業(yè)有序健康發(fā)展發(fā)揮基礎(chǔ)性、規(guī)范性、指引性作用。

1 人工智能安全國際標準研究進展

1.1 ISO/IEC JTC1

國際標準組織/國際電工委員會的第一聯(lián)合技術(shù)委員會(ISO/IEC JTC1)中開展人工智能安全標準化的研究組主要為SC42(人工智能)及SC27(信息安全)，工作涉及人工智能安全的標準項目見表1。

表1 ISO/IEC JTC1人工智能安全標準項目概況

SC42于 2017年10月成立，是ISO/IEC中負責人工智能標準的首要制定及管理單位，其下轄的WG3可信賴工作組負責人工智能安全標準制定[1]，由于傳統(tǒng)信息安全“保密性、完整性、可用性”已難以適應(yīng)新技術(shù)應(yīng)用領(lǐng)域的安全需求，可信賴的概念在安全領(lǐng)域國際標準工作中日益受到關(guān)注和重視，人工智能可信賴的內(nèi)涵包括可靠性、可用性、彈性、安全性、責任感、透明度、完整性等。當前，SC42可信賴系列標準化工作涵蓋人工智能可信賴概述、人工智能安全風險管理、人工智能系統(tǒng)偏見、人工智能系統(tǒng)對人身安全功能實現(xiàn)、神經(jīng)網(wǎng)絡(luò)魯棒性評估、人工智能倫理等相關(guān)議題。其中，ISO/IEC TR 24028概述了人工智能系統(tǒng)可信賴的基本概念，指出人工智能系統(tǒng)的技術(shù)脆弱性因素及部分緩解措施，提出評估緩解措施的有效性建議指標；ISO/IEC 23894基于通用風險管理指南ISO/IEC 31000，提供了人工智能安全風險管理方法，提出風險評估應(yīng)考慮的因素，并給出風險應(yīng)對措施建議；ISO/IEC TR 24027致力于降低人工智能輔助決策系統(tǒng)偏見的影響，并提供了偏見的評估技術(shù)和方法；ISO/IEC TR 5469提出了實現(xiàn)人工智能技術(shù)應(yīng)用中人身安全保護功能的方法；ISO/IEC TR 24029-1、ISO/IEC TR 24029-2系列報告系統(tǒng)梳理了現(xiàn)有神經(jīng)網(wǎng)絡(luò)魯棒性評估方法，并為方法的選擇、使用和管理提出建議；ISO/IEC TR 24368提供了人工智能道德和社會問題概述。截至2021年5月，SC42已發(fā)布ISO/IEC TR 24028、ISO/IEC TR 24029-1兩項人工智能安全技術(shù)報告，其他標準和技術(shù)報告均處于在研狀態(tài)。

此外，SC27在信息安全領(lǐng)域已開展多年工作，由于人工智能安全與傳統(tǒng)的信息系統(tǒng)安全具有相關(guān)性，并高度依賴數(shù)據(jù)和算法，因此SC27前期的基礎(chǔ)性信息安全標準、數(shù)據(jù)安全及隱私保護標準均可為人工智能安全提供參考依據(jù)。同時，2021年4月，SC27全會批準立項新標準研究項目“解決人工智能中的安全威脅和故障的指南”，也體現(xiàn)了由于新技術(shù)的發(fā)展變化，各工作組之間安全標準交叉融合的趨勢。

1.2 ITU-T

國際電信聯(lián)盟電信標準化部門(ITU-T)人工智能工作涉及多個研究組，包括SG17(安全研究)、SG5(環(huán)境與氣候變化)、SG16(多媒體)、SG2(業(yè)務(wù)提供和電信管理的運營問題)等，涉及人工智能安全的標準項目見表2。

表2 ITU-T人工智能安全標準項目概況

作為安全研究組，SG17高度重視人工智能安全標準制定，于2019年1月21日在瑞士日內(nèi)瓦組織召開人工智能、機器學(xué)習和安全研討會[2]，提出人工智能安全是SG17未來重要的標準化方向，SG17應(yīng)研究各種特定安全和隱私控制的標準差距，解決已確定的威脅和風險，開展標準制定以填補空白。從當前的工作來看，SG17已有3份技術(shù)報告在研，涵蓋機器學(xué)習安全應(yīng)用、人工智能技術(shù)應(yīng)用安全管理等方面。其中，TR.cs-ml提出基于機器學(xué)習的反垃圾郵件技術(shù)框架；TR.sgfdcml利用全同態(tài)加密技術(shù)為機器學(xué)習中的安全推理服務(wù)和數(shù)據(jù)聚合提供安全指導(dǎo)。2021年4月，SG17全會通過由我國主導(dǎo)的人工智能安全新立項TR.sec-ai，為人工智能安全技術(shù)應(yīng)用安全管理提供指南。

SG5、SG16、SG2等研究組也部分涉及人工智能安全標準化工作，SG5已發(fā)布標準L.1305，提出數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)技術(shù)規(guī)范，并考慮了人工智能技術(shù)在數(shù)據(jù)中心管理方面應(yīng)用的安全性；SG16在研項目F.Supp-OCAIB，為區(qū)塊鏈技術(shù)和人工智能技術(shù)融合應(yīng)用安全保護提供建議；SG2在研項目M.AI-TOM，為人工智能增強型電信運營管理系統(tǒng)提出框架指南，并考慮了人工智能安全性等相關(guān)問題。

1.3 ETSI

歐洲電信標準化協(xié)會(ETSI)開展人工智能安全標準化的研究組和委員會主要為行業(yè)規(guī)范組-保護人工智能(Industry Specification Group-Securing Artificial Intelligence，ISG-SAI)、行業(yè)規(guī)范組-體驗性網(wǎng)絡(luò)智能(Industry Specification Group-Experiential Netwoked Intelligence，ISG-ENI)、技術(shù)委員會-網(wǎng)絡(luò)安全(Technical Committee-Cybersecurity，TC Cyber)，涉及人工智能安全的標準項目見表3。

表3 ETSI人工智能安全標準項目概況

ISG-SAI成立于2019年，是ETSI專注于人工智能安全的工作組，圍繞人工智能安全問題陳述、威脅分析、數(shù)據(jù)供應(yīng)鏈安全、緩解策略、安全性測試以及人工智能硬件安全6個關(guān)鍵主題開展研究。目前，ISG-SAI已發(fā)布2份人工智能安全研究報告，其中ETSI GR SAI 004描述了以人工智能為基礎(chǔ)的系統(tǒng)安全問題挑戰(zhàn)，也提出了一些實際安全應(yīng)用與攻擊案例；ETSI GR SAI 005針對ETSI GR SAI 004中提出的安全問題挑戰(zhàn)提出了一系列緩解措施與指南。后續(xù)，ISG-SAI關(guān)注的重點議題將包括人工智能數(shù)據(jù)安全、完整性和隱私性、透明度、可解釋性、倫理與濫用、偏見緩解等方面。ISG-ENI 、TC Cyber等工作組也從各自標準化研究角度關(guān)注人工智能安全性。其中，ISG-ENI作為網(wǎng)絡(luò)運行管理研究組，關(guān)注利用人工智能技術(shù)提供自動化網(wǎng)絡(luò)部署的安全性；TC Cyber作為網(wǎng)絡(luò)空間安全技術(shù)研究組，主要關(guān)注人工智能技術(shù)在通用性、基礎(chǔ)性網(wǎng)絡(luò)安全方面的問題挑戰(zhàn)。

1.4 IEEE

電氣與電子工程師協(xié)會(IEEE)是較早關(guān)注并開展人工智能倫理研究的國際標準組織，在人工智能安全領(lǐng)域主要關(guān)注人工智能倫理影響分析與設(shè)計、隱私服務(wù)、數(shù)據(jù)治理、可信性、安全風險評估、透明性等方面的標準制定。2015年12月，為了探索與解決人工智能倫理與社會關(guān)注的問題，IEEE發(fā)起“自主和智能系統(tǒng)倫理全球倡議”(IGEAIS)，并分別于2016年、2017年、2019年發(fā)布并更新三版《人工智能道德準則設(shè)計》[3]。IEEE SA(IEEE標準協(xié)會)是隸屬于IEEE的國際標準工作組織，積極開展人工智能安全領(lǐng)域標準化工作，涉及人工智能安全的標準項目見表4。

表4 IEEE人工智能安全標準項目概況

IEEE SA建立了人工智能系統(tǒng)(AIS)社區(qū)，發(fā)布了全球人工智能系統(tǒng)人類福祉計劃、人工智能系統(tǒng)應(yīng)用風險和影響框架等倡議。在相關(guān)倡議引導(dǎo)下，IEEE SA下轄工作組在安全領(lǐng)域影響力較大的標準工作主要包括IEEE P7000TM系列和P2247TM系列，其中P7000TM系列作為人工智能倫理較為權(quán)威的標準，受到人工智能研究人員的長期關(guān)注；P2247TM作為深度學(xué)習、機器學(xué)習等技術(shù)要求與評估指南，為醫(yī)療、工業(yè)、金融等應(yīng)用場景人工智能應(yīng)用與產(chǎn)品提出安全指導(dǎo)。IEEE SA計算機學(xué)會下設(shè)的標準化委員會(C/SAB)和軟件與系統(tǒng)工程委員會(C/S2ESC)圍繞人工智能系統(tǒng)設(shè)計階段倫理、自主系統(tǒng)透明度、算法偏差、數(shù)據(jù)隱私保護、知識圖譜等領(lǐng)域開展標準制定。后續(xù)，人工智能系統(tǒng)社區(qū)也將關(guān)注自動駕駛、智能城市、工業(yè)人工智能等領(lǐng)域的安全標準化。

我國在IEEE人工智能安全標準化工作方面取得積極進展：2020年6月，微眾銀行牽頭立項可解釋人工智能體系架構(gòu)標準P2894，對人工智能可解釋性的定義、分類、應(yīng)用場景、性能評估等進行系統(tǒng)性的規(guī)范；2019年8月，我國牽頭成立IEEE知識圖譜標準工作組，由中國電子技術(shù)標準化研究院專家擔任主席，推動開展P2807知識圖譜系列標準制定。

1.5 NIST

美國國家標準與技術(shù)研究院(NIST)將人工智能作為重點標準領(lǐng)域，于2019年2月發(fā)布《關(guān)于維持美國在人工智能方面的領(lǐng)導(dǎo)地位的行政命令》(EO 13859)，呼吁聯(lián)邦機構(gòu)加強與人工智能標準相關(guān)的知識、領(lǐng)導(dǎo)力和開發(fā)或使用人工智能的機構(gòu)之間的協(xié)調(diào)，推動人工智能系統(tǒng)可信度的重點研究。NIST下設(shè)信息技術(shù)實驗室(Information Technology Laboratory，ITL)，重點關(guān)注人工智能系統(tǒng)的安全性和可信性、社會和倫理安全、人工智能技術(shù)治理、隱私政策和原則等。NIST涉及人工智能安全的標準項目見表5。

表5 NIST人工智能安全標準項目概況

此外，2020年NIST發(fā)布隱私框架路線圖，提出后續(xù)應(yīng)加強對人工智能隱私安全的關(guān)注。

2 人工智能安全國際標準化進展總結(jié)及發(fā)展建議

人工智能作為快速發(fā)展變化的新技術(shù)領(lǐng)域，其安全標準制定需要首先明晰概念術(shù)語、提出安全框架、梳理相關(guān)場景、提出安全原則等，并在標準中為未來人工智能安全技術(shù)產(chǎn)業(yè)的發(fā)展指引方向，達到標準引領(lǐng)技術(shù)進步和產(chǎn)業(yè)發(fā)展的作用。當前，從各標準化組織工作進展來看，人工智能安全國際標準化工作整體處于初級階段，標準化的重點方向主要包括基本概念、可信賴框架、評估方法梳理、安全風險分析、倫理安全原則等，并對認知科學(xué)、評估測量、車聯(lián)網(wǎng)應(yīng)用安全、區(qū)塊鏈應(yīng)用安全等后續(xù)人工智能安全潛在重點方向予以鋪墊和考慮，具有基礎(chǔ)性(基礎(chǔ)議題多)、探索性(技術(shù)報告多)、前瞻性(鋪墊方向多)等特點。

我國高度重視人工智能安全標準化工作，發(fā)布了《下一代人工智能發(fā)展規(guī)劃》《國家新一代人工智能標準體系建設(shè)指南》等文件，明確了安全標準作為人工智能標準體系的重要組成部分，提出應(yīng)發(fā)揮標準引領(lǐng)作用，保障我國人工智能安全。鑒于我國人工智能技術(shù)應(yīng)用具有一定的國際領(lǐng)先優(yōu)勢，我國應(yīng)積極參與國際標準化工作，一方面搶占人工智能安全標準化先機，提升我國在人工智能技術(shù)應(yīng)用領(lǐng)域的國際話語權(quán)；另一方面保持國內(nèi)外標準的協(xié)調(diào)一致，使我國人工智能安全技術(shù)產(chǎn)業(yè)符合國際標準相關(guān)要求，有利于我國人工智能技術(shù)和產(chǎn)品的國際輸出。

綜合考慮國際人工智能安全標準化現(xiàn)狀以及我國人工智能技術(shù)產(chǎn)業(yè)發(fā)展特點，針對我國進一步深化人工智能安全領(lǐng)域國際標準化工作，提出兩點建議：一是充分發(fā)揮我國人工智能技術(shù)應(yīng)用及數(shù)據(jù)規(guī)模優(yōu)勢，結(jié)合豐富的應(yīng)用領(lǐng)域和多樣化應(yīng)用場景，根據(jù)企業(yè)、高校、研究機構(gòu)關(guān)注側(cè)重點的差異，精確匹配國際上多個標準化組織的重點標準研制方向，有策略地牽頭和參與ISO/IEC(總體性標準)、ITU-T(ICT行業(yè)相關(guān)度較高的標準)、ETSI(地區(qū)性應(yīng)用指導(dǎo)性標準)、IEEE(倫理安全標準)等國際組織的標準化工作，鼓勵我國專家在國際標準組織任職及擔任國際標準項目編輯，打造兼具專業(yè)能力與外語水平的復(fù)合型國際標準專家隊伍。同時，鑒于人工智能國際標準在國際上具有一定敏感性，在標準化立項和推進過程中要秉承積極協(xié)商、靈活應(yīng)對、推進共識的工作策略，保障國際標準工作的順利推進。二是緊密跟蹤研究國內(nèi)外人工智能安全標準化工作動態(tài)和發(fā)展趨勢，把握人工智能安全領(lǐng)域國際標準研究態(tài)勢和重點方向。建立人工智能重點難點標準合作交流機制，借鑒各國在國際標準組織中的工作經(jīng)驗，參考形成我國人工智能安全國際標準化工作推進策略。充分吸收國外人工智能安全領(lǐng)域標準研究成果，借助國際力量豐富和推進我國人工智能安全標準制定，保持國家/行業(yè)標準與國際標準之間的協(xié)調(diào)一致，提高我國標準的先進性、規(guī)范性，確保人工智能安全標準能夠及時滿足人工智能安全保障和新興技術(shù)產(chǎn)業(yè)發(fā)展的需求。

3 結(jié)束語

我國人工智能產(chǎn)業(yè)規(guī)模、核心企業(yè)數(shù)量僅次于美國，位居全球第二位，覆蓋技術(shù)平臺、產(chǎn)品應(yīng)用等多個環(huán)節(jié)，醫(yī)療影像、智能語音、智能翻譯、自動駕駛等產(chǎn)品已達國際先進水平，智能安防、消費無人機等領(lǐng)域具備國際競爭優(yōu)勢，未來有望發(fā)展為全球最大的人工智能市場[4]。同時，由于人工智能技術(shù)應(yīng)用對數(shù)據(jù)的高度依賴，我國的數(shù)據(jù)規(guī)模優(yōu)勢能夠進一步助力人工智能技術(shù)應(yīng)用的發(fā)展。高質(zhì)量標準規(guī)范是人工智能得以創(chuàng)新發(fā)展的前提，我國人工智能標準領(lǐng)域的組織化建設(shè)、標準制修訂等方面已經(jīng)開展大量的工作，具備一定的工作基礎(chǔ)[5]。然而，在人工智能等新技術(shù)領(lǐng)域國際標準化方面，尚未將有利于我國技術(shù)產(chǎn)業(yè)發(fā)展的規(guī)則以標準方式推向國際，并有效融入全球人工智能治理框架。全面了解人工智能安全領(lǐng)域的國際標準化工作態(tài)勢，有利于我國專家有策略地牽頭立項和深度參與國際標準化工作，發(fā)揮我國大市場、產(chǎn)業(yè)鏈完備以及數(shù)據(jù)規(guī)模優(yōu)勢，在新技術(shù)應(yīng)用領(lǐng)域提升數(shù)字空間的國際影響力。