黑客可以輕松愚弄人工智能算法

編譯 西岸

2018年6月，在國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）上，一組研究人員展示了他們用3D打印出來的海龜。大多數(shù)人都說它看起來就像一只海龜，但人工智能（AI）卻不這么認(rèn)為。很多時(shí)候，人工智能把海龜當(dāng)成步槍。類似的，它將3D打印的棒球視為濃縮咖啡。這些是“對(duì)抗性攻擊”的例子——巧妙地改變圖像、物體或聲音，愚弄人工智能，卻沒有引起人類的警覺。

人工智能領(lǐng)域一些重大進(jìn)步——尤其是機(jī)器學(xué)習(xí)算法，它可以在消化訓(xùn)練數(shù)據(jù)集以后識(shí)別聲音或物體——促進(jìn)了家庭語(yǔ)音助手和自動(dòng)駕駛汽車的發(fā)展。但令人驚訝的是，這些人工智能很容易受到欺騙。在這次會(huì)議上，“對(duì)抗性攻擊”是一個(gè)熱門話題，研究人員報(bào)告了新型欺騙人工智能算法的方法以及新的防御手段。本次會(huì)議的兩個(gè)最佳論文獎(jiǎng)之一授予了一項(xiàng)研究，該研究表明受保護(hù)的人工智能并不像它們的開發(fā)者想象得那么安全。麻省理工學(xué)院（MIT）的計(jì)算機(jī)科學(xué)家安尼施·阿塔伊（Anish Athalye）說:“我們?cè)跈C(jī)器學(xué)習(xí)領(lǐng)域的研究人員還不習(xí)慣于從安全角度思考問題。”

研究對(duì)抗性攻擊的計(jì)算機(jī)科學(xué)家說，他們正在提供一種服務(wù)，就像黑客找到軟件安全缺陷一樣。麻省理工學(xué)院的計(jì)算機(jī)科學(xué)家亞歷山大·馬德里（Aleksander Madry）表示：“我們需要重新考慮機(jī)器學(xué)習(xí)算法的所有路徑，使其更加安全。”研究人員表示，這些攻擊在科學(xué)上也很有用，它們?yōu)檠芯咳斯ぶ悄芴峁┝朔浅：玫拇翱?，可以用來研究原本?nèi)部邏輯無法被透徹解釋的神經(jīng)網(wǎng)絡(luò)。

這些攻擊因其不易察覺而引人注目。2017年，加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家唐恩·宋（Dawn Song）和她的同事在一個(gè)停車標(biāo)志上貼了一些貼紙，愚弄了一種常見的圖像識(shí)別人工智能，使其誤以為這是一個(gè)每小時(shí)45英里的限速標(biāo)志——這個(gè)結(jié)果肯定會(huì)讓自動(dòng)駕駛汽車公司抓狂。

利用貼紙或其他難以察覺的元素，對(duì)抗性攻擊欺騙圖像識(shí)別算法，使其認(rèn)為停車標(biāo)志是限速標(biāo)志，3D打印的烏龜是步槍

研究人員正在設(shè)計(jì)更加復(fù)雜的攻擊。即將到來的一場(chǎng)會(huì)議上，宋女士將展示不僅誤導(dǎo)圖像識(shí)別人工智能算法，而且使它們產(chǎn)生幻覺的技巧。在一次測(cè)試中，Hello Kitty出現(xiàn)在人工智能機(jī)器的街景視圖里，導(dǎo)致機(jī)器辨識(shí)不了街景里的汽車。

其中一些對(duì)抗性攻擊基于對(duì)目標(biāo)算法內(nèi)部結(jié)構(gòu)的了解進(jìn)行攻擊，即所謂的白盒攻擊。例如，攻擊者可以看到人工智能算法的“梯度”，它描述了輸入圖像或聲音的微小變化如何將輸出移動(dòng)到一個(gè)辨識(shí)的方向。如果你知道梯度，你就能計(jì)算出如何一點(diǎn)一點(diǎn)地改變輸入以獲得想要的錯(cuò)誤輸出——比如“步槍”的標(biāo)簽——而不需要以改變輸入圖像或聲音等容易被察覺的方式。在更具挑戰(zhàn)性的黑盒攻擊中，對(duì)抗性AI必須從外部探測(cè)目標(biāo)AI，并偵查目標(biāo)AI的輸入和輸出。

人工智能開發(fā)者不斷加強(qiáng)他們的防御。一種技術(shù)是將圖像壓縮作為圖像識(shí)別人工智能的一個(gè)步驟。這增加了算法中平滑梯度的鋸齒性，挫敗了一些攻擊者。但道高一尺魔高一丈，這種“梯度模糊處理”的方法已經(jīng)被破解。在ICML一篇獲獎(jiǎng)?wù)撐闹?，加州山景城谷歌的?jì)算機(jī)科學(xué)家尼古拉斯·卡利尼 （Nicholas Carlini）、阿塔伊和一位同事分析了最近人工智能會(huì)議中提及的9種圖像識(shí)別算法，其中7種將梯度模糊處理作為一種防御機(jī)制。該團(tuán)隊(duì)能夠通過避開圖像壓縮等方法成功破解這7種算法。

一個(gè)更強(qiáng)大的方法是訓(xùn)練一種具有一定約束的算法，以一種可驗(yàn)證的、數(shù)學(xué)的方式，防止它被對(duì)抗性攻擊引入歧途。但這些可驗(yàn)證的防御，其中有兩個(gè)就在ICML上被提及，到目前為止還沒有擴(kuò)展到現(xiàn)代人工智能系統(tǒng)中的大型神經(jīng)網(wǎng)絡(luò)中。

卡利尼希望開發(fā)人員除了關(guān)心如何使AI在基準(zhǔn)測(cè)試中表現(xiàn)良好，還能夠更加深入地研究防御系統(tǒng)是如何工作的，以及可能失敗的原因。

資料來源 Science