AI被一件T恤蒙蔽“雙眼”見識(shí)不夠是根本原因

只要穿上一件印有特殊圖案的T恤，就能騙過AI人體檢測(cè)系統(tǒng)，從而達(dá)到“隱身”效果？

近日，這一場(chǎng)景真實(shí)上演。美國(guó)東北大學(xué)和麻省理工學(xué)院等研究機(jī)構(gòu)，共同設(shè)計(jì)了基于對(duì)抗樣本技術(shù)的T恤。據(jù)研究人員介紹，這是全球首個(gè)在非剛性物體（如T恤）上，進(jìn)行的物理對(duì)抗性實(shí)驗(yàn)。AI人體檢測(cè)攝像頭無法準(zhǔn)確地檢測(cè)出穿著該T恤的行人，無論衣服發(fā)生怎樣的褶皺或變形，都能達(dá)到“隱身”效果。

這件能讓人在AI人體檢測(cè)系統(tǒng)下“隱身”的T恤，其背后的原理是什么？這種缺陷會(huì)不會(huì)導(dǎo)致安全問題，要如何解決？科技日?qǐng)?bào)記者就此采訪了有關(guān)專家。

特殊圖案便能騙過AI的“眼睛”

在本次實(shí)驗(yàn)中，一位穿著白T恤的男性和一位穿著黑T恤的女性從遠(yuǎn)處走來，在AI人體識(shí)別攝像頭下，只能看到穿黑T恤女性的身影。

這是如何做到的？原來研究人員使用了一種被稱為對(duì)抗攻擊的方法來欺騙AI。仔細(xì)觀察，白T恤上印有不同的色塊，這些色塊在人眼看來與普通圖案無異，但對(duì)于機(jī)器來說，卻會(huì)造成一定干擾。

中國(guó)科學(xué)院自動(dòng)化研究所王金橋研究員解釋說，科研人員對(duì)原T恤上的圖案進(jìn)行修改，通過技術(shù)手段生成具有較強(qiáng)干擾性的圖案替換原有圖案，改變了T恤原有的視覺外觀，使得AI模型對(duì)數(shù)據(jù)標(biāo)簽的預(yù)測(cè)發(fā)生混淆和錯(cuò)誤，從而到達(dá)攻擊的目的。

“攻擊者通過構(gòu)造微不足道的擾動(dòng)來干擾源數(shù)據(jù)，可以使得基于深度神經(jīng)網(wǎng)絡(luò)的人工智能算法輸出攻擊者想要的任何錯(cuò)誤結(jié)果。而這類被干擾之后的輸入樣本被稱之為對(duì)抗樣本?！蓖踅饦蛘f。

對(duì)抗樣本在實(shí)際中主要用來檢驗(yàn)一些安全系數(shù)較高的系統(tǒng)，通過對(duì)抗的方式來提高AI模型的安全性，抵御可能面臨的安全風(fēng)險(xiǎn)。比如刷臉支付，它必須具有一定的抗攻擊能力，以便避免災(zāi)難性的后果，比如不能讓攻擊者簡(jiǎn)單地利用照片或者定向修改原輸入就能破解用戶支付系統(tǒng)。

有實(shí)驗(yàn)表明，對(duì)于一個(gè)正確分類的熊貓圖像，在加入特定對(duì)抗樣本的干擾之后，人眼看到的仍然是熊貓，但是AI圖像識(shí)別模型卻將其分類為長(zhǎng)臂猿，且置信度高達(dá)99%。

不過，將對(duì)抗性圖案印在衣服上這種欺騙AI的方式有一個(gè)缺陷，只要圖案的角度和形狀發(fā)生變化，就會(huì)輕易被識(shí)破。過去在設(shè)計(jì)對(duì)抗樣本時(shí)，通常采用一些簡(jiǎn)單的變換，比如縮放、平移、旋轉(zhuǎn)、亮度、對(duì)比度調(diào)整以及添加自適應(yīng)的噪聲等。

王金橋解釋說，這些簡(jiǎn)單的變換，在產(chǎn)生靜態(tài)目標(biāo)的對(duì)抗樣本時(shí)往往比較有效，但是針對(duì)行人這種非剛體的動(dòng)態(tài)目標(biāo)則容易失效。動(dòng)態(tài)目標(biāo)由于運(yùn)動(dòng)以及姿態(tài)變化，將導(dǎo)致這些簡(jiǎn)單變換發(fā)生較大的改變，從而使得對(duì)抗樣本喪失原有的性質(zhì)。

“相比過去設(shè)計(jì)的對(duì)抗樣本，本次攻擊的成功率更高?！备Ｖ荽髮W(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院、福建新媒體行業(yè)技術(shù)開發(fā)基地副主任柯逍博士指出，為應(yīng)對(duì)人體移動(dòng)造成的T恤形變，科研人員采用“薄板樣條插值”的方法來建模行人可能發(fā)生的各種形變。同時(shí)，在訓(xùn)練階段使用T恤上棋盤圖案的格子來學(xué)習(xí)形變控制點(diǎn)位置變化關(guān)系，使得產(chǎn)生的對(duì)抗樣本更加真實(shí)，對(duì)人體形變的貼合度更高。

AI視覺系統(tǒng)受到多方因素干擾

除了對(duì)抗攻擊之外，在實(shí)際應(yīng)用中的很多環(huán)境因素和人為因素，都可能導(dǎo)致AI人體檢測(cè)出現(xiàn)失誤。

如在自動(dòng)駕駛場(chǎng)景下，由于天氣條件惡劣（如大雪、大霧等）或者光線及路況復(fù)雜，導(dǎo)致前方人員成像模糊等，會(huì)極大影響前方目標(biāo)檢測(cè)性能。在監(jiān)控場(chǎng)景下，可疑人員可能通過衣物、雨傘等的遮擋來干擾人工智能算法。

“排除本身緊急制動(dòng)功能問題，具備行人檢測(cè)功能的汽車也存在著無法及時(shí)、準(zhǔn)確地檢測(cè)出小目標(biāo)人體等問題?！笨洛信e例說，美國(guó)汽車協(xié)會(huì)曾對(duì)具備行人檢測(cè)功能的多個(gè)品牌車輛做過一個(gè)測(cè)試，測(cè)試中用到的被撞目標(biāo)包括成人假人與兒童假人。當(dāng)車前出現(xiàn)兒童或汽車時(shí)速達(dá)到48km時(shí)，僅一個(gè)品牌有一定概率檢測(cè)出行人，其余3家品牌在兩個(gè)場(chǎng)景下均未檢測(cè)到行人。

為何在AI視覺識(shí)別技術(shù)下的目標(biāo)檢測(cè)模型如此脆弱？“在人類眼中，輕微的圖像干擾并不會(huì)影響最終的判斷，但對(duì)于AI模型來說卻不是如此?！笨洛信e例說，有相關(guān)實(shí)驗(yàn)表明，一個(gè)測(cè)試表現(xiàn)良好的圖像檢測(cè)與識(shí)別分類器，并沒有像人類一樣學(xué)習(xí)與理解目標(biāo)圖像真正底層的信息，而只是在訓(xùn)練樣本上構(gòu)建了一個(gè)表現(xiàn)良好的機(jī)器學(xué)習(xí)模型。

據(jù)了解，現(xiàn)有的AI視覺識(shí)別技術(shù)通常采用深度神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是一種特征深層映射，只是學(xué)習(xí)數(shù)據(jù)的統(tǒng)計(jì)特征或數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，對(duì)數(shù)據(jù)量以及數(shù)據(jù)本身的豐富程度依賴較高，數(shù)據(jù)越多越豐富，則機(jī)器學(xué)習(xí)到的用于識(shí)別目標(biāo)物的特征越具有判識(shí)度，也越能反映關(guān)聯(lián)關(guān)系。

王金橋表示，但真實(shí)情況是，數(shù)據(jù)往往非常有限，使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的模式也比較有限，難以讓神經(jīng)網(wǎng)絡(luò)模型“見多識(shí)廣”，導(dǎo)致其面對(duì)從未見過的數(shù)據(jù)時(shí)表現(xiàn)往往不盡如人意。另一方面，這種統(tǒng)計(jì)特征分布以及關(guān)聯(lián)關(guān)系，一旦被攻擊者獲知或者破解，就有可能針對(duì)性地修改輸入樣本，從而改變模型的輸出，達(dá)到攻擊的目的。

AI視覺失靈易引發(fā)安全問題

穿上特殊T恤，達(dá)到所謂的“隱身”效果，其實(shí)就是混淆AI的視覺系統(tǒng)。AI目標(biāo)檢測(cè)技術(shù)的這種缺陷是否會(huì)導(dǎo)致安全問題的發(fā)生？

柯逍表示，美國(guó)汽車協(xié)會(huì)的汽車輔助駕駛案例中，行人被漏檢或者未能及時(shí)被檢測(cè)到，都可能導(dǎo)致交通事故的產(chǎn)生。此外，安防監(jiān)控漏檢危險(xiǎn)人物與物品也可能導(dǎo)致安全隱患，不法分子可以利用對(duì)抗攻擊來發(fā)現(xiàn)目標(biāo)檢測(cè)系統(tǒng)的漏洞，并進(jìn)行攻擊。

“安全問題的產(chǎn)生可能有模型本身缺陷問題，如泛化性能不足，訓(xùn)練數(shù)據(jù)單一，存在過擬合等現(xiàn)象。此時(shí)，應(yīng)當(dāng)盡可能地豐富訓(xùn)練數(shù)據(jù)，并在模型訓(xùn)練過程中加入防止過擬合的技術(shù)手段等來提升模型的實(shí)戰(zhàn)能力?！蓖踅饦蛘J(rèn)為，另一方面，實(shí)際系統(tǒng)中往往也需要考慮模型安全來增強(qiáng)結(jié)果可信度和模型的健壯性，加入攻擊模型的預(yù)判，提高對(duì)抗樣本的判別能力，從而降低安全風(fēng)險(xiǎn)。

當(dāng)前，科研人員正不斷提出精度更高、速度更快的AI目標(biāo)檢測(cè)模型，用于解決目標(biāo)檢測(cè)技術(shù)存在的漏檢、誤檢、實(shí)時(shí)性與魯棒性不強(qiáng)等問題。對(duì)于未來技術(shù)安全的構(gòu)建，還需要做哪些努力？

王金橋認(rèn)為，人工智能目前總體還處于起步階段，現(xiàn)有的人工智能算法本質(zhì)上還是學(xué)習(xí)簡(jiǎn)單的映射關(guān)系，并未真正地理解數(shù)據(jù)背后內(nèi)容及潛在的因果關(guān)系。因此，其理論創(chuàng)新和產(chǎn)業(yè)應(yīng)用還面臨著諸多的技術(shù)難點(diǎn)，需要科研人員持續(xù)攻關(guān)，實(shí)現(xiàn)真正意義上的智能以降低應(yīng)用的風(fēng)險(xiǎn)。

“其次，科研人員在進(jìn)行技術(shù)研究以及新技術(shù)的應(yīng)用過程中，應(yīng)當(dāng)盡可能地考慮各種安全問題，加入對(duì)抗樣本防攻擊模型，并做好相應(yīng)的處理措施?！蓖踅饦蚪ㄗh，從社會(huì)層面也應(yīng)當(dāng)建立和完善人工智能相關(guān)的法律法規(guī)，對(duì)技術(shù)的應(yīng)用范圍加以引導(dǎo)，對(duì)可能出現(xiàn)的安全問題作出相應(yīng)的指導(dǎo)和規(guī)范，營(yíng)造更加全面和成熟的科技創(chuàng)新環(huán)境。