謹(jǐn)防數(shù)據(jù)中毒破壞機(jī)器學(xué)習(xí)模型

Lucian Constantin ?陳琳華

數(shù)據(jù)中毒會(huì)導(dǎo)致機(jī)器學(xué)習(xí)模型失準(zhǔn)，從而得出錯(cuò)誤的結(jié)論。由于目前缺乏簡(jiǎn)單易行的解決辦法，因此安全專家必須重點(diǎn)關(guān)注數(shù)據(jù)中毒的檢測(cè)和預(yù)防。

過去的十年中，云計(jì)算的普及為廣大企業(yè)提供了高性能的運(yùn)算與數(shù)據(jù)存儲(chǔ)服務(wù)。受益于此，機(jī)器學(xué)習(xí)的應(yīng)用也迎來了爆發(fā)式的增長(zhǎng)。隨著上游供應(yīng)商將機(jī)器學(xué)習(xí)整合進(jìn)他們的產(chǎn)品當(dāng)中，這些機(jī)器學(xué)習(xí)的運(yùn)算結(jié)果也成為了用戶做決策的重要依據(jù)。對(duì)此，安全專家警告稱，針對(duì)機(jī)器學(xué)習(xí)技術(shù)漏洞進(jìn)行的網(wǎng)絡(luò)攻擊將會(huì)大量出現(xiàn)。

大多數(shù)網(wǎng)絡(luò)社交平臺(tái)、在線視頻網(wǎng)站、大型購(gòu)物網(wǎng)站、搜索引擎等服務(wù)都有基于機(jī)器學(xué)習(xí)技術(shù)的推薦系統(tǒng)。比如網(wǎng)飛用戶愛看的電影和表演，臉書用戶點(diǎn)贊或分享的內(nèi)容，推特用戶點(diǎn)贊或標(biāo)注的內(nèi)容，消費(fèi)者在亞馬遜購(gòu)物網(wǎng)站上購(gòu)買或?yàn)g覽過的商品以及網(wǎng)友通過谷歌搜索查詢過的信息，這些數(shù)據(jù)全都反饋給了這些公司的機(jī)器學(xué)習(xí)系統(tǒng)，從而可以更加準(zhǔn)確地給用戶推送適合其口味的信息。

網(wǎng)絡(luò)攻擊者試圖影響這些推薦系統(tǒng)并使其結(jié)果發(fā)生偏差，這早已不是什么新聞了。他們會(huì)用虛假的賬戶給某些特定的產(chǎn)品投贊成或反對(duì)票，并進(jìn)行分享和推廣。用戶甚至可以在地下市場(chǎng)或者“巨魔農(nóng)場(chǎng)”（注：專門在網(wǎng)絡(luò)上散播不實(shí)言論或發(fā)表煽動(dòng)性評(píng)論的網(wǎng)絡(luò)組織）購(gòu)買到這種操縱推薦系統(tǒng)的服務(wù)。

網(wǎng)絡(luò)安全供應(yīng)商F-Secure人工智能卓越中心的研究員Andrew Patel表示，“理論上，如果攻擊者了解某個(gè)用戶與系統(tǒng)交互的方式，他就可以設(shè)計(jì)一個(gè)專門針對(duì)該用戶的網(wǎng)絡(luò)攻擊，向其推薦油管視頻、推送惡意軟件或者誘導(dǎo)其關(guān)注冒充的社交賬戶等。因此，操縱算法可用于多種目的，包括提供虛假信息、網(wǎng)絡(luò)釣魚詐騙、改變公眾輿論、宣傳有害內(nèi)容以及損害品牌或個(gè)人名譽(yù)等。你甚至花錢就可以操縱谷歌搜索的鍵入自動(dòng)填充功能。”

什么是數(shù)據(jù)中毒

導(dǎo)致數(shù)據(jù)中毒或模型中毒類型的網(wǎng)絡(luò)攻擊會(huì)污染機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。由于篡改訓(xùn)練數(shù)據(jù)會(huì)妨礙模型做出準(zhǔn)確的預(yù)測(cè)，所以通常認(rèn)為數(shù)據(jù)中毒屬于完整性攻擊。其他的網(wǎng)絡(luò)攻擊根據(jù)其影響可以歸類為以下三種：

·機(jī)密性攻擊：攻擊者通過向模型輸入數(shù)據(jù)來推斷訓(xùn)練數(shù)據(jù)中潛在的機(jī)密信息。

·有效性攻擊：攻擊者對(duì)其輸入的數(shù)據(jù)進(jìn)行偽裝來欺騙系統(tǒng)，逃避正確的歸類。

·復(fù)制性攻擊：攻擊者反向還原模型以對(duì)其進(jìn)行復(fù)制或者本地分析，并策劃攻擊或?qū)崿F(xiàn)自身的經(jīng)濟(jì)企圖。

想要區(qū)分規(guī)避模型預(yù)測(cè)及分類的網(wǎng)絡(luò)攻擊與中毒攻擊，主要在于其持續(xù)性。發(fā)起中毒攻擊者的目的是欲使其輸入的數(shù)據(jù)被系統(tǒng)識(shí)別為訓(xùn)練數(shù)據(jù)。于是依照模型數(shù)據(jù)訓(xùn)練周期的長(zhǎng)短，兩種攻擊的時(shí)限也有所不同，比如有的中毒攻擊要花數(shù)周時(shí)間才能完成。

數(shù)據(jù)中毒可以通過“黑盒”或“白盒”兩種形式來實(shí)現(xiàn)?！昂诤小笔侵羔槍?duì)根據(jù)用戶反饋來更新學(xué)習(xí)模型的分類系統(tǒng)發(fā)動(dòng)的攻擊;“白盒”指攻擊者通過獲取學(xué)習(xí)模型和其訓(xùn)練數(shù)據(jù)的訪問權(quán)限（如果系統(tǒng)有多個(gè)數(shù)據(jù)源，那么漏洞往往出現(xiàn)在供應(yīng)鏈）發(fā)起的攻擊。

數(shù)據(jù)中毒攻擊案例

Patel介紹，從網(wǎng)絡(luò)安全角度來看，攻擊對(duì)象可能是使用機(jī)器學(xué)習(xí)來檢測(cè)網(wǎng)絡(luò)異常和可疑活動(dòng)的系統(tǒng)。如果攻擊者得知系統(tǒng)中使用了某種機(jī)器學(xué)習(xí)模型，那么他們就會(huì)嘗試在模型中輸入數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)會(huì)逐步降低識(shí)別的準(zhǔn)確性，最終他們的攻擊將不會(huì)被系統(tǒng)識(shí)別為異常。這也稱作模型偏斜。

一個(gè)真實(shí)案例來自對(duì)電子郵件服務(wù)使用的垃圾郵件過濾器的攻擊。谷歌反濫用研究團(tuán)隊(duì)負(fù)責(zé)人Elie Bursztein在2018年一篇關(guān)于攻擊機(jī)器學(xué)習(xí)的博客中表示：“現(xiàn)實(shí)中，我們常常發(fā)現(xiàn)一些頂尖的垃圾蟲團(tuán)隊(duì)試圖破壞Gmail的郵件過濾器，大量的垃圾郵件在他們的影響之下未被識(shí)別。在2017年11月到2018年年初，我們至少遭到過四次試圖扭曲我們的分類器的大規(guī)模惡意攻擊?！?/p>

另一個(gè)例子涉及到谷歌的VirusTotal病毒掃描服務(wù)，很多殺毒軟件都用這項(xiàng)服務(wù)擴(kuò)充自己的病毒庫(kù)。大家都已清楚，攻擊者在真正開始傳播之前會(huì)用VirusTotal來測(cè)試他們的惡意軟件從而逃避檢測(cè)，而現(xiàn)在他們還會(huì)利用VirusTotal進(jìn)行更持久的數(shù)據(jù)中毒攻擊。實(shí)際上2015年就有報(bào)道稱，通過VirusTotal進(jìn)行的主動(dòng)樣本中毒攻擊導(dǎo)致殺毒軟件誤將正常文件識(shí)別為惡意程序。

目前尚無解決良策

數(shù)據(jù)中毒最大的問題在于其修復(fù)非常困難。依據(jù)用途和使用者偏好，機(jī)器學(xué)習(xí)模型每隔一段時(shí)間會(huì)使用新收集的數(shù)據(jù)重新訓(xùn)練。由于數(shù)據(jù)中毒是長(zhǎng)期累積的，且通?？缭蕉鄠€(gè)訓(xùn)練周期，想要確定模型預(yù)測(cè)的準(zhǔn)確性什么時(shí)候開始發(fā)生偏差是非常困難的。

Patel表示，要想恢復(fù)數(shù)據(jù)中毒產(chǎn)生的影響，就需要耗費(fèi)大量時(shí)間分析受影響部分的歷史輸入記錄，對(duì)所有不良數(shù)據(jù)樣本加以識(shí)別并刪除。在這之后，還要對(duì)受攻擊前的版本的機(jī)器學(xué)習(xí)模型進(jìn)行再培訓(xùn)。然而，現(xiàn)實(shí)中在面對(duì)海量數(shù)據(jù)處理和大量網(wǎng)絡(luò)攻擊的情況下，通過這種方式進(jìn)行再培訓(xùn)根本不可行，導(dǎo)致模型無法修復(fù)。

微軟“可信賴機(jī)器學(xué)習(xí)”部門首席架構(gòu)師Hyrum Anderson談到：“學(xué)術(shù)界現(xiàn)在有一種全新的概念很吸引人，雖然還無法實(shí)際運(yùn)用，但那是遲早的事，就是所謂的機(jī)器反向?qū)W習(xí)。為GPT-3（OpenAI開發(fā)的一種語(yǔ)言預(yù)測(cè)模型）模型做一次數(shù)據(jù)訓(xùn)練需要花費(fèi)1600萬美元左右。如果數(shù)據(jù)是在中毒之后被識(shí)別，那么找到中毒數(shù)據(jù)并且重新訓(xùn)練的成本是十分昂貴的。但是如果能夠反向?qū)W習(xí)，比如說要求系統(tǒng)撤銷某些數(shù)據(jù)的影響、去除它們的權(quán)重，那樣建立防御機(jī)制要便宜得多。但是，我認(rèn)為機(jī)器反向?qū)W習(xí)距離實(shí)際運(yùn)用至少還有數(shù)年時(shí)間，所以目前的解決辦法還是用有效數(shù)據(jù)對(duì)模型進(jìn)行再培訓(xùn)，盡管該方式難度極高且花費(fèi)極大。”

重點(diǎn)在于檢測(cè)和預(yù)防

既然修復(fù)中毒模型難度極大，模型開發(fā)者必須花大功夫研究能夠阻止中毒攻擊或者能夠在下次訓(xùn)練周期之前檢測(cè)出惡意數(shù)據(jù)輸入的工具。這些工具包括輸入有效性檢查、速率限制、回歸測(cè)試、人工審核以及用各種統(tǒng)計(jì)學(xué)原理檢測(cè)數(shù)據(jù)異常的技術(shù)等。

比如說，如果大量數(shù)據(jù)來自于同樣的少數(shù)幾個(gè)賬戶、IP地址或者用戶，那么這些數(shù)據(jù)不應(yīng)在機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)中占較大比例，應(yīng)對(duì)訓(xùn)練數(shù)據(jù)接受單個(gè)特定用戶提供的數(shù)據(jù)量以及所占權(quán)重加以限制。通過“暗啟動(dòng)”（向一小部分用戶提前發(fā)布新功能），可以將新完成數(shù)據(jù)訓(xùn)練的分類器與以前的進(jìn)行比較，分析輸出有何不同。谷歌的Bursztein還建議構(gòu)建一個(gè)“黃金數(shù)據(jù)庫(kù)”，任何重新訓(xùn)練的模型都要對(duì)其做出精確預(yù)測(cè)，從而幫助檢測(cè)系統(tǒng)進(jìn)化。

Anderson表示，數(shù)據(jù)中毒只是系統(tǒng)中更為廣泛的問題中的一種特例，歸屬于數(shù)據(jù)漂移。每個(gè)人都會(huì)因?yàn)楦鞣N原因獲取壞數(shù)據(jù)，現(xiàn)在也有很多人在研究數(shù)據(jù)漂移的對(duì)策以及檢測(cè)運(yùn)行數(shù)據(jù)和模型性能出現(xiàn)重大變化的工具，包括大型云計(jì)算供應(yīng)商在內(nèi)。包含此類功能的服務(wù)有Azure Monitor（微軟Azure的一項(xiàng)完整堆棧監(jiān)視服務(wù)）和Amazon SageMaker（亞馬遜的一項(xiàng)機(jī)器學(xué)習(xí)托管服務(wù)）。

Anderson還說：“如果模型性能在在訓(xùn)練后明顯下降，不管是因?yàn)樵獾街卸竟暨€是僅僅收到一批不良的數(shù)據(jù)所導(dǎo)致，系統(tǒng)都能夠檢測(cè)得到。如果要解決此問題，就要徹底清除造成影響的中毒攻擊或者在模型訓(xùn)練中無意進(jìn)入系統(tǒng)的不良數(shù)據(jù)。因此，類似的工具在處理中毒攻擊問題上是很好的開端，這種AI風(fēng)險(xiǎn)管理框架已經(jīng)逐漸在業(yè)界內(nèi)形成規(guī)模?！?/p>

攻擊者要進(jìn)行中毒攻擊同樣需要獲取模型運(yùn)行方式的信息，所以盡可能少地泄露信息、為訓(xùn)練數(shù)據(jù)和模型本身提供強(qiáng)有力的訪問權(quán)限管理至關(guān)重要。從這個(gè)角度來看，機(jī)器學(xué)習(xí)防御與系統(tǒng)和數(shù)據(jù)的安全性和規(guī)范操作緊密相連，例如權(quán)限控制、啟用日志記錄、啟用文件和數(shù)據(jù)版本控制等。

Anderson表示，人工智能和機(jī)器學(xué)習(xí)模型的安全性大多與最基本的數(shù)據(jù)讀寫權(quán)限和模型、系統(tǒng)、服務(wù)器的訪問權(quán)限有關(guān)。在這種情況下，一些常規(guī)目錄下?lián)碛懈咴S可權(quán)限的小型數(shù)據(jù)服務(wù)或文件則容易導(dǎo)致中毒攻擊。

防范工作任重道遠(yuǎn)

正如企業(yè)會(huì)對(duì)其網(wǎng)絡(luò)和系統(tǒng)進(jìn)行常規(guī)的滲透檢查來發(fā)現(xiàn)薄弱環(huán)節(jié)，此類檢查應(yīng)該擴(kuò)充到機(jī)器學(xué)習(xí)環(huán)節(jié)當(dāng)中，并將機(jī)器學(xué)習(xí)視為大型系統(tǒng)或程序安全的一部分。

Patel說：“開發(fā)者在構(gòu)建模型時(shí)應(yīng)該對(duì)模型本身進(jìn)行模擬攻擊，從而了解怎樣才能對(duì)模型發(fā)動(dòng)攻擊，進(jìn)而嘗試構(gòu)筑能夠抵御這些攻擊的防御措施。檢測(cè)結(jié)果取決于模擬攻擊的數(shù)據(jù)，所以在對(duì)模型實(shí)施攻擊時(shí)可以觀測(cè)數(shù)據(jù)點(diǎn)有何特征，然后再建立相應(yīng)機(jī)制，將與中毒攻擊類似的數(shù)據(jù)點(diǎn)丟棄?！?/p>

Anderson正在積極參與微軟的機(jī)器學(xué)習(xí)模型防御工作。他在最近的一次USENIX Enigma會(huì)議上的演講中展示了他的團(tuán)隊(duì)在微軟所做的一種模擬攻擊嘗試。他們?cè)O(shè)法對(duì)一個(gè)資源供應(yīng)服務(wù)使用的機(jī)器學(xué)習(xí)模型進(jìn)行了逆向工程，這個(gè)模型可以保障虛擬資源有效分配并映射到硬件當(dāng)中。

在無法直接訪問此模型的情況下，Anderson的團(tuán)隊(duì)獲取了足夠多的關(guān)于模型如何收集數(shù)據(jù)的信息，從而創(chuàng)建了一個(gè)本地的復(fù)制模型，并對(duì)該模型發(fā)起躲避性攻擊，且未被系統(tǒng)實(shí)時(shí)檢測(cè)到。這樣一來，他們得以確定在一天中的什么時(shí)候、在哪些區(qū)域，以及以什么樣的虛擬機(jī)器、數(shù)據(jù)庫(kù)、大小和復(fù)制因子的組合來向?qū)嶋H的系統(tǒng)發(fā)起請(qǐng)求，能夠大概率確定機(jī)器學(xué)習(xí)模型向他們請(qǐng)求的提供高可用性服務(wù)的物理主機(jī)過度配置資源。

對(duì)于這些超額配置的資源，團(tuán)隊(duì)利用一個(gè)占用很多CPU和內(nèi)存資源的負(fù)載發(fā)起了“吵鬧鄰居”攻擊（一種壟斷帶寬、磁盤和CPU等資源的云計(jì)算架構(gòu)），對(duì)托管在同一個(gè)硬件上的高可用性服務(wù)造成了拒絕服務(wù)攻擊。Anderson總結(jié)到：“這次攻擊與IT系統(tǒng)出現(xiàn)的惡意攻擊驚人的相似。它們都具備反滲透、躲避監(jiān)控和執(zhí)行環(huán)節(jié)，最終影響服務(wù)的可用性?！?/p>

本文作者Lucian Constantin為美國(guó)CSO網(wǎng)站的資深作家，長(zhǎng)期專注于信息安全、隱私和數(shù)據(jù)保護(hù)等主題。

原文網(wǎng)址

https：//www.csoonline.com/article/3613932/how-data-poisoning-attacks-corrupt-machine-learning-models.html