James+Kobielus

編譯 Charles

惡意攻擊能夠破壞人工智能系統(tǒng)，讓智能不再發(fā)揮作用，甚至劫持它們?nèi)氖路缸锘顒?dòng)。但是，剛剛出現(xiàn)了一些技術(shù)能夠阻止這種攻擊。

惡意攻擊對(duì)人工智能的應(yīng)用造成了極大的威脅，讓人越來越擔(dān)憂。如果攻擊者能夠不被發(fā)現(xiàn)的對(duì)圖像、視頻、語音和其他數(shù)據(jù)進(jìn)行篡改，以愚弄人工智能分類工具，那么很難信任這種非常復(fù)雜的技術(shù)能有效地完成其工作。

想象一下，這種攻擊會(huì)破壞人工智能自主車輛識(shí)別障礙物的能力，內(nèi)容過濾器不能有效地阻止干擾圖像，接入系統(tǒng)不能阻止未授權(quán)訪問。

有些人認(rèn)為惡意威脅源于當(dāng)今人工智能神經(jīng)網(wǎng)絡(luò)技術(shù)中的“深層缺陷”。畢竟，大家都知道很多機(jī)器學(xué)習(xí)算法很容易受到惡意攻擊，甚至是傳統(tǒng)的邏輯回歸分類器等算法。然而，您會(huì)很容易爭(zhēng)辯說，企業(yè)在構(gòu)建、培訓(xùn)、部署和評(píng)估人工智能模型的流程中已經(jīng)注意到這個(gè)問題帶來的漏洞。

這些問題對(duì)于人工智能專家而言并不是什么新東西，甚至現(xiàn)在有對(duì)抗惡意人工智能的Kaggle競(jìng)賽。

的確，人工智能領(lǐng)域缺乏在深度神經(jīng)網(wǎng)絡(luò)中建立對(duì)抗防御措施最佳實(shí)踐的明確共識(shí)。但是，從我在研究文獻(xiàn)和業(yè)界討論中所了解到的，即將出現(xiàn)支持這種對(duì)抗防御框架的核心方法。

展望未來，人工智能開發(fā)人員將遵循這些指導(dǎo)原則，在其應(yīng)用程序中建立對(duì)抗保護(hù)措施：

假設(shè)有可能對(duì)所有在用人工智能資產(chǎn)進(jìn)行惡意攻擊

由于人工智能部署非常廣泛，開發(fā)人員應(yīng)認(rèn)識(shí)到他們的應(yīng)用程序極易成為被惡意操縱的目標(biāo)。

人工智能的存在是為了實(shí)現(xiàn)認(rèn)知、感知和其他行為的自動(dòng)化，如果它們能產(chǎn)生令人滿意的結(jié)果，會(huì)因?yàn)槠洹爸悄堋倍玫奖頁(yè)P(yáng)。然而，人工智能在對(duì)抗惡意攻擊上非常脆弱，在認(rèn)知、感知和其他行為上可能表現(xiàn)的非常愚蠢，在同樣的環(huán)境下，會(huì)比任何正常人類都糟糕。

在啟動(dòng)人工智能開發(fā)之前進(jìn)行惡意風(fēng)險(xiǎn)評(píng)估

在開發(fā)人工智能應(yīng)用程序之前以及在其整個(gè)生命周期中，開發(fā)人員應(yīng)該坦率地評(píng)估項(xiàng)目在惡意攻擊面前所呈現(xiàn)的漏洞。

正如IEEE在2015年出版的研究論文所指出的，開發(fā)人員應(yīng)評(píng)估未授權(quán)方直接訪問人工智能項(xiàng)目關(guān)鍵組成的可能性，包括神經(jīng)網(wǎng)絡(luò)架構(gòu)、訓(xùn)練數(shù)據(jù)、超級(jí)參數(shù)、學(xué)習(xí)方法，以及所使用的損失函數(shù)等。

此外，論文還顯示，當(dāng)訓(xùn)練數(shù)據(jù)被用于優(yōu)化人工智能神經(jīng)網(wǎng)絡(luò)模型時(shí)，攻擊者可以從相同的源或分配的數(shù)據(jù)中收集替代數(shù)據(jù)集。這可以讓攻擊者深度分析有哪些偽造的輸入數(shù)據(jù)能夠愚弄一個(gè)分類器模型，而這類模型是采用目標(biāo)深度神經(jīng)網(wǎng)絡(luò)開發(fā)的。

在文章介紹的另一種攻擊方法中，攻擊者即使不能直接看到目標(biāo)神經(jīng)網(wǎng)絡(luò)和相關(guān)的訓(xùn)練數(shù)據(jù)，也可能利用戰(zhàn)術(shù)讓他們能觀察“輸入和輸出變化之間的關(guān)系…以應(yīng)用精心制作的惡意攻擊模板?！?/p>

把在人工智能訓(xùn)練流水線中生成對(duì)抗實(shí)例作為標(biāo)準(zhǔn)活動(dòng)

人工智能開發(fā)人員應(yīng)盡心于研究怎樣在卷積神經(jīng)網(wǎng)絡(luò)（CNN）所處理的圖像中置入聰明的對(duì)抗措施的各種方法。

數(shù)據(jù)科學(xué)家應(yīng)利用越來越多的開源工具，例如GitHub的工具，產(chǎn)生對(duì)抗實(shí)例來測(cè)試CNN和其他人工智能模型的漏洞。更廣泛地，開發(fā)人員應(yīng)考慮越來越多的基礎(chǔ)研究，研究重點(diǎn)是為訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)（GAN）產(chǎn)生各類對(duì)抗實(shí)例，包括那些不直接用于抵御網(wǎng)絡(luò)攻擊的實(shí)例。

認(rèn)識(shí)到對(duì)抗實(shí)例需要依靠人類管理者和算法鑒別器

惡意攻擊的有效性取決于它能否欺騙人工智能應(yīng)用程序的最后一道防線。

肉眼一眼就能看出對(duì)一副圖像的惡意操作，但仍然能愚弄CNN，把圖像分錯(cuò)類。相反，人類管理員可能很難區(qū)分不同的惡意操作，而GAN訓(xùn)練有素的鑒別器算法能毫不費(fèi)力地區(qū)分出來。

對(duì)于第二個(gè)問題，一種很有效的方法是，在GAN中，一個(gè)對(duì)抗模型改變輸入圖像中的每個(gè)數(shù)據(jù)點(diǎn)，盡可能讓分類出現(xiàn)錯(cuò)誤，而對(duì)抗鑒別器模型則要盡可能的減少分類錯(cuò)誤。

構(gòu)建使用一系列人工智能算法來檢測(cè)對(duì)抗實(shí)例的全套模型

對(duì)于惡意篡改圖像和其他數(shù)據(jù)對(duì)象等行為，有些算法要比其他算法更敏感。例如，坎皮納斯大學(xué)研究人員發(fā)現(xiàn)在一種場(chǎng)景中，一個(gè)淺分類器算法能夠比深層CNN更好地檢測(cè)出惡意圖像。他們還發(fā)現(xiàn)，一些算法非常適合用于檢測(cè)對(duì)整副圖像的操作，而其他算法能更好地找出一小部分圖像中的細(xì)微結(jié)構(gòu)。

使CNN能夠免受這些攻擊的一種方法是，在人工智能模型訓(xùn)練過程中，在反向傳播權(quán)重中添加康奈爾大學(xué)研究員Arild Nkland所謂的“對(duì)抗梯度”。對(duì)于數(shù)據(jù)科學(xué)團(tuán)隊(duì)，應(yīng)在開發(fā)和生產(chǎn)環(huán)境中使用A/B測(cè)試方法來測(cè)試不同算法在惡意檢測(cè)上的相對(duì)優(yōu)勢(shì)，這是比較周全的做法。

重用惡意攻擊防御知識(shí)以提高人工智能抵抗偽造輸入實(shí)例的能力

正如IEEE在2016年出版的一篇研究論文所指出的，數(shù)據(jù)科學(xué)家可以使用轉(zhuǎn)移學(xué)習(xí)技術(shù)來幫助CNN或者其他模型抵御對(duì)輸入圖像的惡意篡改。傳統(tǒng)的轉(zhuǎn)移學(xué)習(xí)技術(shù)涉及把統(tǒng)計(jì)知識(shí)從現(xiàn)有模型應(yīng)用到不同的模型中，文章討論了怎樣提取出模型的現(xiàn)有知識(shí)（通過對(duì)有效數(shù)據(jù)集進(jìn)行訓(xùn)練而得到），用于發(fā)現(xiàn)惡意篡改。據(jù)作者報(bào)告，“在訓(xùn)練過程中，我們使用防御提取技術(shù)幫助模型更好地推廣應(yīng)用于訓(xùn)練數(shù)據(jù)集之外的樣本，使模型能夠更順暢的在分布式神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)中進(jìn)行學(xué)習(xí)。”

結(jié)果是，一個(gè)模型能更好地識(shí)別出惡意實(shí)例（類似于其訓(xùn)練集里的實(shí)例）和非惡意實(shí)例（那些可能與訓(xùn)練集出現(xiàn)大幅偏離的實(shí)例）之間的差別。

如果沒有這些實(shí)踐作為其方法的標(biāo)準(zhǔn)部分，數(shù)據(jù)科學(xué)家可能會(huì)無意中把容易受騙的自動(dòng)算法放到他們的神經(jīng)網(wǎng)絡(luò)中。我們的生活越來越依賴人工智能在各種情況下去聰明的工作，因此，這些惡意漏洞可能會(huì)是災(zāi)難性的。這就是為什么數(shù)據(jù)科學(xué)家和人工智能開發(fā)人員必須制定適當(dāng)?shù)谋Ｗo(hù)措施來管理人工智能應(yīng)用程序的開發(fā)、培訓(xùn)和管理的原因。

James Kobielus是SiliconAngle Wikibon的人工智能、數(shù)據(jù)科學(xué)以及應(yīng)用開發(fā)首席分析師。

原文網(wǎng)址：

http：//www.infoworld.com/article/3215130/artificial-intelligence/how-to-prevent-hackers-ai-apocalypse.htmlendprint