機器學(xué)習(xí)系統(tǒng)的隱私和安全問題綜述

蔣夢斐 孫咪娜

摘要：機器學(xué)習(xí)主要分為聯(lián)邦學(xué)習(xí)和集中學(xué)習(xí)兩種訓(xùn)練模式，而大規(guī)模的數(shù)據(jù)收集也大大提高了機器學(xué)習(xí)的經(jīng)濟效益、社會效益，使其性能得到了良好的保障。但其學(xué)習(xí)系統(tǒng)的隱私與安全問題也在面臨著巨大的挑戰(zhàn)，各種攻擊手段都層出不窮，因此對于其攻擊手段開展防御研究十分有必要。本文就目前機器學(xué)習(xí)系統(tǒng)面臨的隱私、安全問題的攻擊手段、防御措施展開了研究，希望能夠推動機器學(xué)習(xí)體統(tǒng)的發(fā)展。

關(guān)鍵詞：機器學(xué)習(xí)系統(tǒng);隱私;安全;防御措施

引言：人工智能、計算機技術(shù)的應(yīng)用為我們的生活帶來了極大的便利，在機器學(xué)習(xí)方面，隨著該領(lǐng)域的不斷發(fā)展，相應(yīng)的安全、隱私問題也逐漸被人中重視起來。而機器學(xué)習(xí)系統(tǒng)面臨的隱私和安全問題對于訓(xùn)練數(shù)據(jù)的影響在于，前者會使其丟失、泄露、而后者將直接導(dǎo)致其內(nèi)在邏輯被破壞、篡改，而這兩類為題都是現(xiàn)今機器學(xué)習(xí)面臨的較為有挑戰(zhàn)性的問題，保護機器學(xué)習(xí)系統(tǒng)的隱私，構(gòu)建安全的機器學(xué)習(xí)系統(tǒng)已刻不容緩。

一、機器學(xué)習(xí)系統(tǒng)的隱私問題機器防御

（一）攻擊方法

在機器學(xué)習(xí)系統(tǒng)中，大量的測試數(shù)據(jù)能夠訓(xùn)練模型的基礎(chǔ)，是建立深度學(xué)習(xí)的保障，因此對于數(shù)據(jù)、算命、模型參數(shù)的保護十分重要。 模型提取攻擊、成員推理攻擊、屬性推理攻擊均屬于對于機器學(xué)習(xí)系統(tǒng)的隱私攻擊。其中模型提取攻擊是通過是目標(biāo)模型的參數(shù)進行竊取，應(yīng)用一定的方法后見相似甚至精確的模型，這類攻擊方法會造成目標(biāo)模型隱私的破壞。成員推理攻擊可通過訓(xùn)練攻擊模型、概率信息計算、相似樣本生成三種方法實現(xiàn)，其中訓(xùn)練攻擊模型通過將成員推理問題進行轉(zhuǎn)化，從而推斷目標(biāo)記錄的信息的一種方法，對于白盒攻擊、黑盒攻擊均可應(yīng)用。概率信息計算法不需要對目標(biāo)模型進行攻擊就能夠推斷其隸屬度。相似樣本生成法則是通過對生成的模型進行訓(xùn)練，從而提高樣本相似度的一種方法。屬性推理攻擊則是通過對訓(xùn)練數(shù)據(jù)集的統(tǒng)計屬性進行推理、統(tǒng)計的一種攻擊方法。

（二）次優(yōu)選擇

通過次優(yōu)模型的提供能夠?qū)δＰ吞崛磉M行防御，問了實現(xiàn)這種防御方法，可以通過對攻擊預(yù)測概率的提取來進行防御，攻擊者不能夠提取置信度，或是提取的置信度差異較大，能夠有效的延長攻擊時間，保障機器學(xué)習(xí)系統(tǒng)的隱私。其次通過對用戶提交的查詢請求超出閾值，就認定出現(xiàn)隱私攻擊，從而采取既定的防御手段。

（三）安全多方計算

如果多個數(shù)據(jù)放在一個服務(wù)器上進行學(xué)習(xí)，但并不愿意共享數(shù)據(jù)，此時就需要一個系統(tǒng)來保證在多個數(shù)據(jù)方能夠在共同學(xué)習(xí)模型時不共享彼此間的數(shù)據(jù)集，且各方能夠在訓(xùn)練過程中能夠通過模擬訓(xùn)練來實現(xiàn)全局參數(shù)庫的及時更新，保證在后期能夠獲得最新的參數(shù)。在多方計算中，訓(xùn)練模型為私密共享，這些數(shù)據(jù)能夠進行隱藏或是模型重構(gòu)，保障各數(shù)據(jù)方的隱私。

二、機器學(xué)習(xí)系統(tǒng)面臨的安全問題及其防御

（一）對學(xué)習(xí)算法及依賴庫的攻擊

機器學(xué)習(xí)模型是在使用機器學(xué)習(xí)時，使用者對自身的數(shù)據(jù)進行訓(xùn)練產(chǎn)生的，機器學(xué)習(xí)模型是通過對于能夠?qū)ξ粗臄?shù)據(jù)進行預(yù)測，通過這種方法能夠在不了解模型創(chuàng)建過程的前提下獲取結(jié)果模型。而攻擊者可以攻破庫函數(shù)、機器學(xué)習(xí)算法，從而對訓(xùn)練算法進行修改以及對數(shù)據(jù)集的信息進行編碼，從而竊取數(shù)據(jù)集的相關(guān)信息，盜取用戶隱私。這些數(shù)據(jù)可能對結(jié)果模型的黑盒、白盒進行攻擊，影響機器學(xué)習(xí)系統(tǒng)的安全。對于學(xué)習(xí)算法及依賴庫的攻擊，可以通過一定的隔離保護技術(shù)來對其進行保護。如應(yīng)用enclave技術(shù)能夠有效防止數(shù)據(jù)泄露，訓(xùn)練模型只有提供數(shù)據(jù)的用戶才可以進行差距，從而保障用戶數(shù)據(jù)的隱私，保障機器學(xué)習(xí)系統(tǒng)的安全。

（二）投毒攻擊

投毒攻擊的攻擊方式是通過對訓(xùn)練數(shù)據(jù)的污染造成的不良影響來造成污染，以此影響機器學(xué)習(xí)系統(tǒng)在深度學(xué)習(xí)的預(yù)測。投毒攻擊一般在訓(xùn)練階段前發(fā)生，能夠?qū)ο嚓P(guān)的參數(shù)、模型進行調(diào)整、替代，以此在攻擊機器學(xué)習(xí)系統(tǒng)的安全。對于投毒攻擊的防御，主要在于對于算法數(shù)據(jù)的保護。對于數(shù)據(jù)的保護，要求收集到的數(shù)據(jù)。不被篡改、重寫、偽造，能夠檢測出有毒的數(shù)據(jù)庫等。在保護數(shù)據(jù)時，為了保障數(shù)據(jù)的可靠，可以使用物聯(lián)網(wǎng)系統(tǒng)的數(shù)據(jù)來源模型，將該數(shù)據(jù)模型應(yīng)用到相應(yīng)的算法當(dāng)中，這一種防御方法還需進一步的研究。而通過對投毒數(shù)據(jù)進行檢測可以利用一種對訓(xùn)練模型在單個數(shù)據(jù)點的影響下的變化進行評價的一種方法。而機器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)算法因為存在一定的不確定性，因此較為脆弱。對于學(xué)習(xí)算法的保護可以利用魯棒學(xué)習(xí)算法，對其線性回歸等問題進行研究，能夠保證其防御性能的穩(wěn)定。

結(jié)束語：針對機器學(xué)習(xí)系統(tǒng)的安全攻擊、隱私攻擊的攻擊方法還有許多種，隨著機器學(xué)習(xí)的進一步發(fā)展，對于這些攻擊方法對應(yīng)的方法措施進行研究是十分有必要的。在未來發(fā)展中，只有對于機器學(xué)習(xí)系統(tǒng)的隱私、安全問題的進一步研究才能夠大大提高其安全性，攻防工作的研究也必將大大促進機器學(xué)習(xí)系統(tǒng)的應(yīng)用。

參考文獻：

[1]劉俊旭，孟小峰.機器學(xué)習(xí)的隱私保護研究綜述[J].計算機研究與發(fā)展，2020，57（02）：346-362.

[2]陳宇飛，沈超，王騫，李琦，王聰，紀守領(lǐng)，李康，管曉宏.人工智能系統(tǒng)安全與隱私風(fēng)險[J].計算機研究與發(fā)展，2019，56（10）：2135-2150.

[3]趙鎮(zhèn)東，常曉林，王逸翔.機器學(xué)習(xí)中的隱私保護綜述[J].信息安全學(xué)報，2019，4（05）：1-13.

[4]于穎超，丁琳，陳左寧.機器學(xué)習(xí)系統(tǒng)面臨的安全攻擊及其防御技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2018（09）：10-18.