攻擊人工智能系統(tǒng)對(duì)社會(huì)治安的危害與對(duì)策

（中國(guó)人民公安大學(xué)國(guó)家安全學(xué)院 北京 100038）

近年來(lái)，人工智能技術(shù)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域取得了突破性進(jìn)展，其在完成人臉識(shí)別等特定任務(wù)上的速度和精準(zhǔn)度已追平甚至超越人類(lèi)。社會(huì)各個(gè)行業(yè)都已開(kāi)展了人工智能系統(tǒng)的應(yīng)用，對(duì)其進(jìn)行攻擊會(huì)給社會(huì)治安帶來(lái)嚴(yán)重的危害。人工智能系統(tǒng)的安全性直接攸關(guān)人民生命財(cái)產(chǎn)安全。公安機(jī)關(guān)作為維護(hù)社會(huì)治安主要責(zé)任機(jī)關(guān)，開(kāi)展攻擊人工智能系統(tǒng)的防范對(duì)策研究迫在眉睫。

1 攻擊人工智能系統(tǒng)的方法對(duì)社會(huì)治安的危害

惡意攻擊者攻擊人工智能系統(tǒng)的方法主要包括對(duì)抗樣本攻擊、數(shù)據(jù)污染攻擊、模型萃取攻擊、系統(tǒng)漏洞攻擊、模型后門(mén)攻擊以及模型逆向攻擊。攻擊者利用攻擊達(dá)到的目的可以大致分為兩類(lèi)：（1）竊取系統(tǒng)內(nèi)的信息或者模型信息；（2）干擾人工智能能系統(tǒng)功能或降低其性能[1]。這些攻擊方式所達(dá)到的這兩類(lèi)目標(biāo)會(huì)對(duì)社會(huì)治安產(chǎn)生一系列的危害，具體可分為以下幾種。

1.1 危害交通安全

智能交通對(duì)于國(guó)家的發(fā)展起著至關(guān)重要的作用，在2019 中國(guó)智能交通年會(huì)上，介紹了交通運(yùn)輸?shù)膸讉€(gè)重要的工作，包括自動(dòng)駕駛、智慧公路和智能航運(yùn)三個(gè)方面。人工智能技術(shù)是智能交通實(shí)現(xiàn)的支撐力量，但是攻擊者利用攻擊人工智能系統(tǒng)來(lái)干擾系統(tǒng)功能會(huì)對(duì)智慧交通產(chǎn)生很多現(xiàn)實(shí)的危害。

對(duì)于自動(dòng)駕駛的交通工具，密歇根州華盛頓大學(xué)和加州大學(xué)伯克利分校的研究人員在2017 年通過(guò)研究發(fā)現(xiàn)，利用對(duì)抗樣本攻擊的方式，將停止標(biāo)志進(jìn)行小幅度的調(diào)整，則可使自動(dòng)駕駛汽車(chē)的計(jì)算機(jī)視覺(jué)算法不可見(jiàn)[2]，這意味著黑客可以強(qiáng)迫自動(dòng)駕駛汽車(chē)以危險(xiǎn)的方式行駛并可能導(dǎo)致事故，這樣路標(biāo)路牌就成了一個(gè)非常大的危害。與傳統(tǒng)交通相比，人工智能帶來(lái)的智能交通將會(huì)給人類(lèi)社會(huì)帶來(lái)巨大的人力成本的節(jié)約，如在貨運(yùn)、物流等方面的使用度會(huì)越來(lái)越高，但是在自動(dòng)駕駛技術(shù)內(nèi)，對(duì)判斷、路測(cè)等方面的智能算法的攻擊也會(huì)給路面交通，海面航行帶來(lái)巨大的挑戰(zhàn)。根據(jù)對(duì)抗樣本攻擊中對(duì)抗樣本的不同，攻擊者也可以使用帶有語(yǔ)意的激光束來(lái)命令汽車(chē)的走向，使得汽車(chē)錯(cuò)誤的聽(tīng)從攻擊者發(fā)出的激光束的語(yǔ)意來(lái)行走，這對(duì)交通安全將會(huì)產(chǎn)生極大的危害[2]。攻擊者利用模型后門(mén)的攻擊方式也會(huì)對(duì)交通安全產(chǎn)生巨大的安全隱患，如果在訓(xùn)練自動(dòng)駕駛汽車(chē)的智能系統(tǒng)時(shí)就植入后門(mén)，如將右轉(zhuǎn)交通標(biāo)志牌上添加trigger 后，將會(huì)被后門(mén)模型預(yù)測(cè)為左轉(zhuǎn)標(biāo)志牌。因此在使用模型之前，檢查預(yù)先訓(xùn)練的DNN 是否已經(jīng)被木馬化是必不可少的。

1.2 擾亂治安管理

目前，在維護(hù)社會(huì)治安的智能設(shè)備中，使用最多最為廣泛的智能設(shè)備之一就是智能攝像頭。智能攝像頭對(duì)維護(hù)社會(huì)治安來(lái)說(shuō)起著至關(guān)重要的作用，智能攝像頭主要使用于公民的日常生活，例如攝像頭門(mén)禁、智能手機(jī)開(kāi)鎖、臉部識(shí)別支付等，對(duì)于公安機(jī)關(guān)，智能攝像頭通常設(shè)置在道路、卡口、銀行等處，可用于人像的捕捉和案件預(yù)警，追捕犯罪嫌疑人和犯罪嫌疑車(chē)輛。但是通過(guò)攻擊人工智能系統(tǒng)來(lái)干擾智能系統(tǒng)的功能，會(huì)使得這些設(shè)備不能進(jìn)行有效的使用。經(jīng)過(guò)實(shí)驗(yàn)，若用特制的紙片戴在識(shí)別對(duì)象身上，則會(huì)使得智能攝像頭不能辨認(rèn)出人的信號(hào)，這樣公安機(jī)關(guān)在抓捕逃犯或者智能攝像頭在預(yù)測(cè)預(yù)警時(shí)，嫌疑人即可以逃脫智能攝像頭的捕捉。除了對(duì)抗樣本攻擊，模型后門(mén)的攻擊方式還可以在訓(xùn)練中設(shè)定攻擊者指定的人臉觸發(fā)器，讓系統(tǒng)對(duì)于攻擊者設(shè)定的指定人臉不能正確識(shí)別。同樣對(duì)于攝像頭門(mén)禁等，對(duì)智能攝像頭系統(tǒng)進(jìn)行攻擊，也可以使得攝像頭出現(xiàn)識(shí)別失誤，對(duì)社會(huì)治安的預(yù)測(cè)預(yù)警工作和公民人身、財(cái)產(chǎn)安全都會(huì)帶來(lái)危害。

1.3 侵犯公民人身權(quán)利

公民人身權(quán)利主要包括公民隱私權(quán)、姓名權(quán)、肖像權(quán)等。竊取、售賣(mài)、不法使用公民人身信息，會(huì)造成對(duì)公民各類(lèi)人身權(quán)利的侵犯。隨著科技不斷發(fā)展，現(xiàn)在人工智能系統(tǒng)的使用已經(jīng)遍布各行各業(yè)。人工智能系統(tǒng)內(nèi)數(shù)據(jù)量大，并且公民的個(gè)人信息、生活信息等不斷被這些智能系統(tǒng)所記錄并保留下來(lái)。如今售賣(mài)公民信息的案件層出不窮，且以低價(jià)就能購(gòu)得大批量的各類(lèi)公民信息，若這些擁有巨大信息量的公司和企業(yè)的人工智能系統(tǒng)被攻擊，那么公民的這些信息將會(huì)被竊取，公民的隱私權(quán)將會(huì)受到侵犯。如果公民的照片、姓名等被竊取并被用于牟利或者違法使用，也會(huì)侵犯公民的肖像權(quán)和姓名權(quán)等人身權(quán)利。同時(shí)，公民的這些個(gè)人信息被竊取，將會(huì)產(chǎn)生一系列的人身或者財(cái)產(chǎn)的安全隱患問(wèn)題。

1.4 侵犯公民財(cái)產(chǎn)權(quán)利

科技的進(jìn)步雖然給人們帶來(lái)了諸多便利，但是在帶來(lái)便利的同時(shí)也給經(jīng)濟(jì)犯罪提供了越來(lái)越有利的詐騙和勒索的手段。通過(guò)攻擊人工智能系統(tǒng)竊取信息不僅僅會(huì)導(dǎo)致公民個(gè)人信息泄漏，侵犯公民人身權(quán)利，還會(huì)侵犯公民的財(cái)產(chǎn)權(quán)。獲取公民一系列個(gè)人信息可以使得盜竊犯罪分子可以進(jìn)行推斷家庭人口情況、年齡分布和數(shù)量還有收入情況，可以幫助其有效分辨哪些家庭比較容易著手進(jìn)行盜竊?，F(xiàn)在電子商務(wù)行業(yè)非常發(fā)達(dá)，根據(jù)2019 年電子商務(wù)行業(yè)數(shù)據(jù)報(bào)告來(lái)看，2019 年移動(dòng)購(gòu)物用戶(hù)規(guī)模達(dá)7 億人，快遞企業(yè)業(yè)務(wù)量達(dá)156.1 億件，如此龐大的用戶(hù)數(shù)據(jù)量，如果被竊取將會(huì)產(chǎn)生大量的連鎖犯罪，如犯罪分子在竊取到公民購(gòu)物信息和快遞信息后，可以將信息售賣(mài)以侵犯公民隱私權(quán)，犯罪分子還可以使用該信息制作假的快遞包裹“送貨上門(mén)”，欺騙購(gòu)物者不知情的家庭成員以貨到付款的方式進(jìn)行詐騙，受騙人往往由于地址、姓名、電話(huà)、購(gòu)買(mǎi)的物品等都能對(duì)上而相信犯罪分子并且將錢(qián)財(cái)給予犯罪分子。這類(lèi)詐騙最近頻發(fā)，而且作案成功率較高，要杜絕這類(lèi)犯罪，源頭是保護(hù)存儲(chǔ)信息的人工智能系統(tǒng)，使得公民的信息不受侵犯。公民信息被竊取除了會(huì)誘發(fā)詐騙犯罪以外，甚至還會(huì)誘發(fā)勒索犯罪。若公民個(gè)人不愿意被其他人知道的隱私被攻擊者竊取，那么很有可能會(huì)發(fā)生攻擊者利用竊取到的隱私信息威脅公民，來(lái)獲取錢(qián)財(cái)?shù)姆缸镄袨椤?/p>

2 攻擊人工智能系統(tǒng)面臨危害的對(duì)策

攻擊人工智能系統(tǒng)給社會(huì)治安造成的危害是多方面的。隨著科技的不斷進(jìn)步，攻擊人工智能系統(tǒng)的方式也不斷增多。數(shù)字化社會(huì)里，公安機(jī)關(guān)使用的人工智能系統(tǒng)存儲(chǔ)了大量的秘密信息和公民信息。如果被攻擊，那么造成的后果往往不堪設(shè)想。公安機(jī)關(guān)作為維護(hù)社會(huì)安全與和諧穩(wěn)定的權(quán)力機(jī)關(guān)，亟須對(duì)這些攻擊采取相應(yīng)的防范對(duì)策，以免其造成嚴(yán)重的危害結(jié)果。

2.1 強(qiáng)化公安機(jī)關(guān)技術(shù)防范能力

由于在公安工作中公安隊(duì)伍技術(shù)力量較為薄弱，許多供其使用的人工智能系統(tǒng)都是公安機(jī)關(guān)與外界公司聯(lián)合開(kāi)發(fā)。公安機(jī)關(guān)只需要負(fù)責(zé)提供系統(tǒng)的功能需求，系統(tǒng)的開(kāi)發(fā)則交給外界公司。這樣會(huì)導(dǎo)致系統(tǒng)開(kāi)發(fā)后交給公安機(jī)關(guān)使用時(shí)，由于人工智能系統(tǒng)的黑盒特性，公安機(jī)關(guān)很難從一開(kāi)始發(fā)現(xiàn)系統(tǒng)可能存在的被攻擊的風(fēng)險(xiǎn)。所以，對(duì)于公安機(jī)關(guān)來(lái)說(shuō)，加強(qiáng)技術(shù)防范，掌握應(yīng)對(duì)攻擊的方法，是智慧化警務(wù)不斷深入推進(jìn)的必備要求。

2.2 建立人工智能系統(tǒng)安全評(píng)估體系

目前，人工智能系統(tǒng)遭受攻擊的事件時(shí)有發(fā)生。許多人工智能系統(tǒng)正在遭受到多種攻擊的威脅，這對(duì)社會(huì)造成了一些危害。對(duì)于國(guó)家機(jī)關(guān)使用的人工智能系統(tǒng)，如果受到攻擊，造成的危害會(huì)更加嚴(yán)重。所以對(duì)于一些具備收集信息功能的、大型的人工智能系統(tǒng)，在使用前，應(yīng)該經(jīng)過(guò)科學(xué)合理的評(píng)估，再進(jìn)入投放使用，更能保證人工智能系統(tǒng)在使用過(guò)程中的安全。

2.3 提高公民個(gè)人信息保護(hù)與財(cái)產(chǎn)安全意識(shí)

人工智能系統(tǒng)給商業(yè)發(fā)展和人民生活水平帶來(lái)大幅度提升的同時(shí)，也給公民人身權(quán)利和財(cái)產(chǎn)權(quán)安全造成了極大的隱患。由于科技發(fā)展水平日新月異，相應(yīng)的攻擊手段的種類(lèi)也不斷在增多，目前攻擊者攻擊人工智能系統(tǒng)，會(huì)造成公民的個(gè)人信息泄露，從而導(dǎo)致公民的人身、財(cái)產(chǎn)權(quán)利受到危害。由于普通公民不具備技術(shù)上能防備個(gè)人信息泄漏的技能，且犯罪手段日新月異，所以公安機(jī)關(guān)在日常治安管理過(guò)程中，需要在日常的工作中給公民宣傳預(yù)防網(wǎng)絡(luò)上各種詐騙方式，告知其謹(jǐn)慎在不熟悉的網(wǎng)絡(luò)平臺(tái)上進(jìn)行操作。

2.4 加強(qiáng)人工智能從業(yè)人員及企業(yè)管理

隨著我國(guó)科技水平的不斷發(fā)展，我國(guó)特種行業(yè)和特種作業(yè)人員的范圍也在不斷修改之中。人工智能從業(yè)人員隨著社會(huì)的發(fā)展，能做到的事情也就越來(lái)越多。如同開(kāi)鎖行業(yè)的開(kāi)鎖工，現(xiàn)在的人工智能從業(yè)人員可以利用自己的技術(shù)手段幫助人們開(kāi)通憑借人力辦不到的“鎖”，也能使用自己的技術(shù)私自開(kāi)“鎖”，竊取公民各類(lèi)信息，破壞人工智能系統(tǒng)，對(duì)社會(huì)造成非常大的危害，并且這類(lèi)危害會(huì)隨著社會(huì)的發(fā)展越發(fā)嚴(yán)重。所以，對(duì)于新時(shí)代的人工智能行業(yè)，公安機(jī)關(guān)作為社會(huì)治安的管理者與維護(hù)者，需要將人工智能行業(yè)與從事人工智能行業(yè)的人員納入日常管理的特種行業(yè)和從事特種行業(yè)人員內(nèi)部，進(jìn)行必要的監(jiān)督與管理。

3 結(jié)束語(yǔ)

隨著人工智能在對(duì)公安、衛(wèi)生、金融、交通等眾多行業(yè)的助力作用日趨顯著，攻擊人工智能系統(tǒng)給社會(huì)治安等方面帶來(lái)的危害也日趨嚴(yán)重。公安機(jī)關(guān)需要不斷探索對(duì)人工智能進(jìn)行合理管控的方式，全方位提升警察的專(zhuān)業(yè)素質(zhì)及公民的基本素質(zhì)，建立專(zhuān)門(mén)的管控部門(mén)及培養(yǎng)專(zhuān)門(mén)人才，從而才能保證我國(guó)人工智能技術(shù)在不斷發(fā)展的前提下，與社會(huì)安全保持一個(gè)良好的平衡，從正向推動(dòng)國(guó)家與社會(huì)的發(fā)展。