建設人工智能“上海高地”

7月8日至10日，2021世界人工智能大會在上海召開。在擁有比較成熟的產(chǎn)業(yè)技術和商業(yè)模式的基礎上，上海還應致力于人工智能的安全漏洞風險防范，全方位建設真正意義上的人工智能高地。

加緊制定通用安全標準

提案方? ? ?趙柏基? 上海市政協(xié)委員

背景情況? ? ? ? ? ? 從自動駕駛到智能安防，從語音助手到虛擬現(xiàn)實，人工智能技術正在迅速發(fā)展，潛力巨大。習近平總書記在十九屆中央政治局第九次集體學習時明確指出，要加強人工智能發(fā)展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。

問題及分析? ? ? 眾多科技巨頭先后在上海設立功能型總部和研發(fā)中心，一大批國內(nèi)外人工智能頭部企業(yè)的落戶，匯聚了權威專家資源，為上海在人工智能安全治理方面的先行先試提供了良好的土壤。隨著人工智能落地場景的增多，使用范圍的擴大，一系列系統(tǒng)性風險也逐漸浮出水面。

1.合規(guī)風險。數(shù)據(jù)是人工智能的基礎，在應用人工智能時，企業(yè)需要滿足包括數(shù)據(jù)收集、隱私保護在內(nèi)的各項合規(guī)要求。然而，目前針對人工智能的合規(guī)要求散見于數(shù)據(jù)安全和隱私保護等領域，不夠集中和清晰，存在很多“灰色地帶”，暗藏風險。例如，2017年，谷歌旗下的人工智能子公司DeepMind所開發(fā)的移動應用Streams，因收集患者醫(yī)療病歷被英國信息委員會裁定違反了英國數(shù)據(jù)保護法;2019年8月，瑞典北部的謝萊夫特奧市政府因允許該市某高中試用人臉識別技術進行考勤，被瑞典數(shù)據(jù)保護局以違反歐盟《通用數(shù)據(jù)保護條例》（GDPR）為由處以罰款。

2.道德、誠信風險。人工智能算法在決策時可能產(chǎn)生的偏見和歧視，以及引起的更復雜的誠信問題，是目前人工智能應用當中比較突出的道德和誠信風險。例如，美國某些地區(qū)的司法部門使用人臉識別系統(tǒng)（COMPAS）來預測罪犯再次犯罪的概率，并以此決定是否批準保釋或假釋。但從預測結(jié)果來看，被錯誤標記為“高風險”的黑人數(shù)量幾乎是白人的兩倍，而在真正實施再犯罪的人群中，被錯誤標記為“低風險”的白人數(shù)量是黑人的兩倍。

3.安全風險。人工智能應用的功能雖然強大，但安全應當始終被放在首要位置。尤其當人工智能被應用于自動駕駛、醫(yī)療、工業(yè)控制等與人身安全直接相關的領域更是如此?，F(xiàn)階段，我國的安全標準大多在應用安全領域，還缺乏人工智能自身的基礎性安全標準。

4.“黑箱”風險。人工智能的決策過程就像“黑箱”，其決策的邏輯和依據(jù)的不可解釋性，直接影響人工智能模型的試錯成本和可信度。例如，對應用在自動駕駛汽車中的神經(jīng)網(wǎng)絡來說，行人和路牌之間存在什么樣的差異？人工智能的哪個決策階段能夠發(fā)現(xiàn)兩者的區(qū)別？只有深入了解這一過程，才能有效避免錯誤。目前，多數(shù)的人工智能系統(tǒng)還缺乏有效的機制，讓人們完整理解其推理過程。

5.管控風險。人工智能的應用具備動態(tài)和自適應的特征，一旦在某一領域落地，發(fā)展會很迅速。如果治理和管控不力，將令政府和企業(yè)在應用人工智能時遇到各種想象不到的問題，甚至造成嚴重的社會危害。

? ? 建議? ? ? ? ? ??

1.盡快制定人工智能通用安全標準?？捎缮虾Ｊ薪?jīng)濟和信息化委員會牽頭，組織調(diào)研，邀請企業(yè)、審計機構等共同參與標準的制定，形成可落地、可審計的人工智能通用安全標準，并針對各應用場景的技術特點，分別提出安全要求，形成“通用+擴展”的安全標準體系。

2.針對關鍵人工智能系統(tǒng)和應用開展安全評估，形成行業(yè)準入機制，保障國家安全、社會穩(wěn)定與公眾利益。上海在全國率先發(fā)布了人工智能應用場景建設實施計劃。應用場景的落地是人工智能相關行業(yè)大規(guī)模商用的前奏。建議針對人工智能試點應用場景先行試用安全標準，通過獨立的、具有公信力的機構進行安全評估，充分驗證相關標準的可落地性、可審計性，積累經(jīng)驗。待時機成熟，可將其作為具有一定強制力的安全標準向相關行業(yè)全面推廣，為政府部門及監(jiān)管機構嚴把人工智能風險關，也為企業(yè)落地人工智能應用提供安全保障和準入依據(jù)。

3.積極參與制定國際人工智能安全與倫理道德標準，爭取話語權。目前，世界各國政府和監(jiān)管機構都非常關注人工智能的安全風險。德國政府與大型專業(yè)機構合作，共同制定人工智能通用安全審計標準。英國信息專員辦公室（ICO）發(fā)布了制定人工智能審計框架的計劃，并公開征求建議，獲得多個國家監(jiān)管機構和行業(yè)組織的積極響應。諸如此類的國際協(xié)作和國際智慧，對于上海探索自身的人工智能安全標準具有很高的參考價值，應積極參與，向世界展示人工智能風險防范的“上海方案”。

大力推動人工智能產(chǎn)業(yè)發(fā)展

提案方? ? ?王俊? 沈永銘? ?上海市政協(xié)委員

背景情況? ? ? ? ? 上海作為新時代改革開放的排頭兵、創(chuàng)新發(fā)展的先行者，其人工智能科技和產(chǎn)業(yè)位列全國第一梯隊。但不可否認，與國際頂級城市相比，上海還存在不小的差距，需要加快整合資源，聚集力量，實現(xiàn)重點突破。

? ?問題及分析? ? ??

1.本地領軍企業(yè)缺乏。人工智能作為高科技產(chǎn)業(yè)，初期主要依靠領軍企業(yè)帶動。當前在上海開疆拓土的人工智能領軍企業(yè)幾乎都是外地企業(yè)和外國企業(yè)，其研發(fā)核心、成果和生態(tài)往往不在上海，只是更多地將應用場景選在上海。

2.“硬科技”實力不足。目前，上海的人工智能企業(yè)大多集中在應用場景的挖掘和融合層面，在技術研發(fā)和突破方面還有待改進。尤其在底層芯片技術、傳感器硬件、算法等“硬科技”層面，整體實力不足。

3.產(chǎn)業(yè)發(fā)展生態(tài)缺失。前沿科技創(chuàng)新大都依靠小微企業(yè)、市場化人才不斷地創(chuàng)新、創(chuàng)業(yè)。一味要求高大上、國際化、高科技、高起點，不利于鼓勵創(chuàng)新。

4.針對性支持政策缺位。一是上海的人才引進政策缺乏與人工智能領域人才的對應性。二是上?，F(xiàn)行金融扶持政策的對象以大型成熟企業(yè)為主，對于多是小微型、初創(chuàng)型的人工智能企業(yè)來說缺乏力度和精準度。

5.數(shù)據(jù)隱私保護政策欠缺。人工智能領域關于數(shù)據(jù)隱私保護的政策尚不明確，用戶常因大數(shù)據(jù)的安全擔憂，在一定程度上影響了人工智能行業(yè)快速發(fā)展。

? ? 建議? ? ? ? ? ??

1.聚焦重點區(qū)域，孵化、扶持一批潛力企業(yè)，培育一批頭部企業(yè)，積極搶占產(chǎn)業(yè)制高點。抓緊在上海自貿(mào)試驗區(qū)臨港新片區(qū)出臺人工智能產(chǎn)業(yè)發(fā)展配套支持政策，全產(chǎn)業(yè)鏈集聚、整合資源。

2.聚焦關鍵環(huán)節(jié)，發(fā)布鼓勵清單，力爭在核心技術上有所突破，在某些環(huán)節(jié)形成領先優(yōu)勢。政府部門應加強與上海人工智能發(fā)展聯(lián)盟等行業(yè)組織的溝通，適時列出鼓勵清單，明確重點關注的關鍵環(huán)節(jié)，如人工智能芯片、傳感器、核心算法等方面，集中資金、資源、政策，加快推動實現(xiàn)突破性發(fā)展。

3.聚焦重點場景，發(fā)揮超大城市應用需求廣泛的優(yōu)勢，著力產(chǎn)業(yè)發(fā)展，營造良好環(huán)境。充分利用上海的資源優(yōu)勢，抓住長三角一體化示范區(qū)建設的重大機遇，發(fā)揮超大城市和長三角的優(yōu)勢，在更大范圍內(nèi)大力推進人工智能應用，替代傳統(tǒng)發(fā)展模式，為產(chǎn)業(yè)發(fā)展提供更廣闊的平臺和更優(yōu)化的營商環(huán)境。

4.聚焦重點人才，精準施策，形成有針對性的扶助人工智能科技和產(chǎn)業(yè)的人才支持政策。

5.聚焦產(chǎn)業(yè)生態(tài)，大膽“松綁”，營造環(huán)境。政府有關部門積極研究探索兼顧企業(yè)創(chuàng)新與隱私保護的引導性政策，使得人工智能產(chǎn)業(yè)能夠長期健康發(fā)展。

編輯：姚志剛 winter-yao@163.com