人工智能系統(tǒng)安全與隱私風(fēng)險(xiǎn)

徐大海

（北京欣智恒科技股份有限公司 北京市 100075）

人工智能是人類通過發(fā)明創(chuàng)造，賦予機(jī)器以人的才能、行為模式與思維習(xí)慣來代替人類進(jìn)行各項(xiàng)生產(chǎn)活動(dòng)或者更高精尖的操作。它的神奇與智能的一點(diǎn)就在于他可以自主的進(jìn)行學(xué)習(xí)，進(jìn)行錯(cuò)誤的糾正，自我組織系統(tǒng)以及自行動(dòng)的特征。人工智能一般而言是通過一定的程序進(jìn)行目標(biāo)制定，使人工智能具備人類一樣的思維方式，達(dá)到這個(gè)目標(biāo)才能稱之為人工智能。人工智能構(gòu)建在一定的生理結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)，通過一些計(jì)算機(jī)算法，建立神經(jīng)元網(wǎng)絡(luò)，模擬人類神經(jīng)信號(hào)的傳遞。人工智能不僅涉及到計(jì)算機(jī)科學(xué)，也涉及到生物學(xué)，數(shù)學(xué)，硬件，外部環(huán)境等，人工智能的算法與硬件芯片等需要共同進(jìn)步，才能管理好整個(gè)模塊促進(jìn)人工智能技術(shù)的發(fā)展。而且人工智能也有著對(duì)于人類社會(huì)倫理、道德法律法規(guī)的挑戰(zhàn)，在實(shí)際的運(yùn)行過程中，也要注意社會(huì)輿論公序良俗等。在與生產(chǎn)力結(jié)合大力發(fā)展經(jīng)濟(jì)的同時(shí)，也要注重其對(duì)人們生活的影響，社會(huì)的深遠(yuǎn)融合。

例如隨著各類人工智能應(yīng)用的出現(xiàn)和發(fā)展，其中的安全隱患也逐漸暴露出來，2018年發(fā)生在美國(guó)亞利桑那州的優(yōu)步無人車事故中，事發(fā)時(shí)處于自動(dòng)駕駛模式的無人車并沒有檢測(cè)到前方行人，駕駛員也未及時(shí)進(jìn)行干預(yù)，最終致使行人被撞身亡。并且人工智能增強(qiáng)了對(duì)隱私的直接監(jiān)控(direct surveillance)能力。近年來，各式各樣帶有傳感器和處理器的人工智能產(chǎn)品不斷涌入人們的學(xué)習(xí)、工作和生活中，極大地增強(qiáng)了對(duì)隱私的直接監(jiān)控能力。當(dāng)你在自家大院載歌載舞時(shí)，有人可能正在通過無人機(jī)監(jiān)視著你的一舉一動(dòng)[1]。因此本文從人工智能系統(tǒng)安全與隱私風(fēng)險(xiǎn)的現(xiàn)狀，探討未來在人工智能系統(tǒng)安全研究方面的發(fā)展與防范措施。

1 人工智能系統(tǒng)攻擊措施

1.1 輸入環(huán)節(jié)

人工智能系統(tǒng)通過傳感器（攝像頭、麥克風(fēng)、激光雷達(dá)、GPS 等）獲取外部環(huán)境數(shù)據(jù)，或者通過直接讀取文件獲取數(shù)據(jù)。

1.2 數(shù)據(jù)預(yù)處理環(huán)節(jié)

輸入的原始數(shù)據(jù)需要經(jīng)過格式轉(zhuǎn)換、尺度變換、數(shù)據(jù)壓縮等預(yù)處理工作，以滿足機(jī)器學(xué)習(xí)模型輸入格式要求，同時(shí)降低數(shù)據(jù)量以保證系統(tǒng)工作的實(shí)時(shí)性[2]。

1.3 機(jī)器學(xué)習(xí)模型

機(jī)器學(xué)習(xí)模型是人工智能系 統(tǒng)的核心，即“大腦”，主要包括訓(xùn)練和測(cè)試2 個(gè)階段。在訓(xùn)練階段，機(jī)器學(xué)習(xí)模型利用預(yù)處理過的訓(xùn)練數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行調(diào)節(jié)，以提升對(duì)于特定任務(wù)的 工作性能（通常用準(zhǔn)確率、召回率等指標(biāo)衡量）。對(duì)于強(qiáng)化學(xué)習(xí)，還存在模型與環(huán)境的動(dòng)態(tài)交互過程．當(dāng)訓(xùn)練完成時(shí)，機(jī)器學(xué)習(xí)模型就進(jìn)入了測(cè)試階段。訓(xùn)練好的模型將根據(jù)輸入提供相應(yīng)的輸出結(jié)果[3]。

1.4 輸出環(huán)節(jié)

人工智能系統(tǒng)會(huì)以標(biāo)簽、置信度等多種形式給予輸出，為后續(xù)的分類、決策等任務(wù)提供支持．由于人工智能系統(tǒng)所處環(huán)境的開放性，輸入、輸出2 個(gè)環(huán)節(jié)會(huì)直接暴露在攻擊威脅環(huán)境中．在后續(xù) 的介紹中將會(huì)看到，即使在預(yù)處理環(huán)節(jié)或機(jī)器學(xué)習(xí)模型被隱藏的情況下，攻擊者仍然可以通過發(fā)送樣本的方式對(duì)系統(tǒng)內(nèi)部結(jié)構(gòu)進(jìn)行推測(cè)并發(fā)動(dòng)攻擊[4]。

2 各環(huán)節(jié)安全風(fēng)險(xiǎn)

2.1 輸入環(huán)節(jié)安全風(fēng)險(xiǎn)

人工智能一般通過各種電子傳感器進(jìn)行信息的獲取，然后將采集的原始數(shù)據(jù)進(jìn)行下一步的處理、轉(zhuǎn)換。一些攻擊者通過偽裝這些傳感器，如攝像頭、麥克風(fēng)等進(jìn)行數(shù)據(jù)的竊取，然后將樣本輸送到其他的裝置之中。這也是被視為最嚴(yán)重的攻擊之一[5]。

2.2 預(yù)處理環(huán)節(jié)安全風(fēng)險(xiǎn)

在使用者無意的情況下可能進(jìn)行了數(shù)據(jù)的獲取傳輸工作。在數(shù)據(jù)處理階段只能就原始數(shù)據(jù)轉(zhuǎn)換成能夠被模型識(shí)別并最終輸入的樣式，因此在這個(gè)過程中仍然存在著風(fēng)險(xiǎn)。重采樣過程中由于文字或者圖片要被壓縮，會(huì)改變數(shù)據(jù)格式，因此也造成了更容易被攻擊。在實(shí)際的防控過程中，可以采用對(duì)重采樣情境下計(jì)入隨機(jī)質(zhì)量檢測(cè)措施來增大被入侵者攻擊的可能性[6]。

2.3 機(jī)器學(xué)習(xí)模型安全風(fēng)險(xiǎn)

機(jī)器通過學(xué)習(xí)模型來進(jìn)行下一步的動(dòng)作與決策，這也是人工智能的核心部分，攻擊者在這個(gè)環(huán)節(jié)有許多方式進(jìn)行攻擊，比如通過加入一部分有毒的數(shù)據(jù)代碼，使模型在學(xué)習(xí)數(shù)據(jù)時(shí)受到攻擊。還有可能在構(gòu)造模型時(shí)進(jìn)行異常干預(yù)，使機(jī)器在決策時(shí)出現(xiàn)錯(cuò)誤；還有的是攻擊者通過內(nèi)部觀察習(xí)得機(jī)器人的學(xué)習(xí)模式構(gòu)建策略，探索模型運(yùn)作的方式，進(jìn)而發(fā)起攻擊[7]。

2.4 輸出環(huán)節(jié)安全風(fēng)險(xiǎn)

輸出環(huán)節(jié)的結(jié)果直接影響著人工智能系統(tǒng)的運(yùn)行與決策。這些豐富的輸出端口也造成了攻擊者有許多的攻擊渠道，攻擊者可以對(duì)模型展開逆向追溯，獲取模型，或者利用置信度來構(gòu)造對(duì)抗樣本。在實(shí)際運(yùn)行過程中可以采用輸出值近似處理或者引入隨機(jī)波動(dòng)，來探索的準(zhǔn)確性，提高系統(tǒng)攻擊難度[8]。

3 人工智能帶來的隱私風(fēng)險(xiǎn)

人工智能的廣泛樣本都來源于海量的大數(shù)據(jù)與算法，雖然對(duì)人類提供了很大的便利，但是同時(shí)也造成了嚴(yán)重的隱私危機(jī)。主要是由于如何在人工智能的便利與人的隱私問題的取舍上取得一個(gè)平衡值[9]。在相關(guān)的法律保護(hù)措施以及條例中提供一定的幫助與借鑒。人工智能的核心便是需要大量的數(shù)據(jù)樣本搜集，不斷學(xué)習(xí)，這樣才能使人工智能走向越來越智能化。但是這也造成了人工智能對(duì)一個(gè)人隱私的權(quán)限越來越大了，獲取的途徑越來越多，安全性能越來越低。不管是搜索過什么買過什么看過什么都能隨時(shí)被人工智能抓取搜集到[10]。

不管是政府為主導(dǎo)進(jìn)行各部門資源共享，還是企業(yè)為了收集用戶數(shù)據(jù)進(jìn)行用戶細(xì)分市場(chǎng)，還是私人黑客為了牟利，都能非常方便的獲取人們的隱私。而且人工智能的傳感器端口有非常強(qiáng)的畫像識(shí)別功能。不管個(gè)人用戶的運(yùn)動(dòng)軌跡，行為偏好，個(gè)人習(xí)慣等，都能很容易被有關(guān)機(jī)構(gòu)或者個(gè)人所獲取。人工智能本身就是擬人化的產(chǎn)物，今后的世界人工智能可能在我們的生活中無孔不入，扮演著類似于人的效果[11]。它與許多機(jī)器工具不同的一點(diǎn)是他可能具有社交功能，處于人與機(jī)器的中間地帶，這也造成了用戶可能對(duì)此不設(shè)防，最終被這些機(jī)器程序所操控。而且現(xiàn)今人工智能的發(fā)展并不足夠成熟，仍然有一定的法律風(fēng)險(xiǎn)與社會(huì)倫理問題，在算法與大數(shù)據(jù)方面仍然存在許多問題，可能會(huì)被輕易攻擊的端口，被篡改的程序等都是隱患[12]。

人工智能是超越人類智慧的存在，但是在某些時(shí)候，它的決策仍然是由人類所編寫決定的，因此也受到編寫者自己行為習(xí)慣、道德水準(zhǔn)的影響，容易造成一定的偏差或者歧視現(xiàn)象。而且人工智能一直由于其類人化存在著嚴(yán)重的倫理問題，它的外表極具迷惑性，也會(huì)加劇人類更加暴露自己的隱私[13]。許多科學(xué)家甚至擔(dān)心人工智能的出現(xiàn)，會(huì)侵害人與人之間本身的正常社交，而使人類更傾向于與人工智能生活在一起。因?yàn)槿斯ぶ悄芡ㄟ^智能算法規(guī)避掉人類不喜歡的東西，最終人類只能處在不斷重復(fù)與自我欣賞的圈層內(nèi)，固步自封。因此從生理心理還是社會(huì)的角度人工智能均有許多隱私方面的風(fēng)險(xiǎn)缺陷[14]。

4 降低風(fēng)險(xiǎn)應(yīng)對(duì)措施

在移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)的加持下，一個(gè)“萬物互聯(lián)，人人在線，事事算法”的人工智能時(shí)代正在到來。我國(guó)為了享受到人工智能的紅利的同時(shí)規(guī)避掉安全系統(tǒng)風(fēng)險(xiǎn)與隱私風(fēng)險(xiǎn)也提出了許多應(yīng)對(duì)措施[15]。

4.1 完善相關(guān)法律體系

不管是計(jì)算機(jī)系統(tǒng)安全還是隱私保護(hù)條例，對(duì)于我國(guó)傳統(tǒng)的法律都提出了嚴(yán)峻的挑戰(zhàn)。因此在構(gòu)建《個(gè)人信息保護(hù)法》，應(yīng)當(dāng)緊隨當(dāng)下時(shí)代環(huán)境，提出更多的應(yīng)對(duì)措施。比如在人工智能自動(dòng)獲取用戶信息的時(shí)候，能建立一定的禁止機(jī)制，只有客戶自身同意獲取的信息才能采集用戶信息。對(duì)于每一項(xiàng)信息的采集用戶都有知情權(quán)與選擇權(quán)[16]。在實(shí)際立法過程中，可以去借鑒歐盟的《一般數(shù)據(jù)保護(hù)法》等條例。并且用戶有權(quán)對(duì)自己的數(shù)據(jù)進(jìn)行處理，包括修改刪除等。刪除了的數(shù)據(jù)人工智能不得在進(jìn)行搜集獲取[17]。并且對(duì)于用戶認(rèn)為敏感的數(shù)據(jù)，人工智能有禁止行為，不能無度的獲取。只有有相關(guān)的政策法律保護(hù)，才能全面保護(hù)人們的系統(tǒng)安全與隱私問題。對(duì)于惡意抓取攻擊端口來獲取數(shù)據(jù)獲利的黑客或者機(jī)構(gòu)應(yīng)當(dāng)明令禁止，出臺(tái)一定的處罰措施，負(fù)一定的法律責(zé)任[18]。

4.2 重視安全系統(tǒng)隱私保護(hù)路徑

相比于歐盟國(guó)家我國(guó)對(duì)于客戶安全系統(tǒng)隱私的保護(hù)措施，仍然有進(jìn)步的空間。一方面我國(guó)應(yīng)當(dāng)重視安全系統(tǒng)，隱私保護(hù)增強(qiáng)技術(shù)，提高網(wǎng)絡(luò)安全的能力，對(duì)于個(gè)人信息應(yīng)當(dāng)進(jìn)行一定的加密防火墻的措施。降低系統(tǒng)風(fēng)險(xiǎn)，數(shù)據(jù)被攻擊篡改，人工智能模型被反操控的可能，對(duì)于人工智能系統(tǒng)漏洞及時(shí)進(jìn)行修復(fù)，對(duì)于數(shù)據(jù)模型的攻擊行為要保證一定的攻擊難度[19]。避免針對(duì)用戶數(shù)據(jù)進(jìn)行萃取工具攻擊。在企業(yè)的細(xì)分市場(chǎng)競(jìng)爭(zhēng)中，尊重用戶的隱私。國(guó)家與有關(guān)政府也應(yīng)當(dāng)開發(fā)一定的隱私評(píng)估工具，來協(xié)助企業(yè)在一定的范圍內(nèi)進(jìn)行識(shí)別最小化系統(tǒng)風(fēng)險(xiǎn)[20]。

5 總結(jié)

人工智能的逐步成熟，既是機(jī)遇也是挑戰(zhàn)。人工智能的深度學(xué)習(xí)功能、數(shù)據(jù)獲取能力能在一定程度上代替人類勞動(dòng)，提高社會(huì)生產(chǎn)力，但是它的擬人化、智能化、學(xué)習(xí)化特征也造成了有較大的安全風(fēng)險(xiǎn)與隱私風(fēng)險(xiǎn)。如何發(fā)現(xiàn)、修復(fù)人工系統(tǒng)中的安全缺陷，規(guī)避人工智能應(yīng)用風(fēng)險(xiǎn)也成為了人類和社會(huì)日漸關(guān)心的問題。本文分析了相應(yīng)的安全隱私風(fēng)險(xiǎn)，討論了未來在人工智能系統(tǒng)安全隱私保護(hù)研究方面的發(fā)展與應(yīng)對(duì)措施。