陳傳濤 潘麗敏 羅森林 王子文
(北京理工大學(xué)信息系統(tǒng)及安全對(duì)抗實(shí)驗(yàn)中心 北京 100081)(chencht163@163.com)
隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,移動(dòng)終端設(shè)備已經(jīng)成為人們生活中不可或缺的工具,其中Android系統(tǒng)是市場(chǎng)占有量最大的移動(dòng)智能設(shè)備平臺(tái)[1].同時(shí),Android平臺(tái)也成為了移動(dòng)端惡意代碼主要攻擊的目標(biāo).據(jù)360互聯(lián)網(wǎng)安全中心報(bào)告顯示,2019全年共截獲移動(dòng)端新增惡意軟件樣本約180.9萬個(gè),其中Android系統(tǒng)漏洞位居產(chǎn)品漏洞數(shù)量的前列.與傳統(tǒng)的PC端相比移動(dòng)端有更多特有的攻擊入口,同時(shí)受到移動(dòng)平臺(tái)自身多種原因的限制,移動(dòng)端的保護(hù)能力弱、安全性低,使得其比PC端受攻擊更廣、攻擊成功率更高.
近年來,機(jī)器學(xué)習(xí)理論與技術(shù)日益成熟,逐漸廣泛應(yīng)用在惡意軟件檢測(cè)任務(wù)中,尤其在大數(shù)據(jù)場(chǎng)景下,機(jī)器學(xué)習(xí)模型提供了更高效的數(shù)據(jù)分類方法,大大提升了檢測(cè)效果[2-3].但是,機(jī)器學(xué)習(xí)在給人們帶來方便的同時(shí),也存在一定的安全隱患.2014年Szegedy等人[4]發(fā)現(xiàn)一些機(jī)器學(xué)習(xí)模型,包括先進(jìn)的神經(jīng)網(wǎng)絡(luò),很容易受到對(duì)抗性影響,即在數(shù)據(jù)集中通過故意添加一些細(xì)微的干擾所形成的輸入樣本,導(dǎo)致模型以高的置信度給出一個(gè)錯(cuò)誤的輸出.目前的研究發(fā)現(xiàn),機(jī)器學(xué)習(xí)算法面臨模型竊取攻擊的威脅日趨嚴(yán)峻[5-6].模型竊取攻擊是指,攻擊者在沒有任何關(guān)于該模型先驗(yàn)知識(shí)(訓(xùn)練數(shù)據(jù)、模型參數(shù)、模型類型等)的情況下,根據(jù)有限的信息獲取到模型內(nèi)部的參數(shù)或是構(gòu)造出與目標(biāo)模型相近似的替代模型,從而破壞目標(biāo)機(jī)器學(xué)習(xí)模型的機(jī)密性[7-9].由于機(jī)器學(xué)習(xí)模型對(duì)其所有者的商業(yè)價(jià)值,以及攻擊者可以使用竊取的模型來找到規(guī)避原始模型分類的可轉(zhuǎn)移性對(duì)抗樣本,所以保護(hù)機(jī)器學(xué)習(xí)模型的機(jī)密性變得至關(guān)重要.研究機(jī)器學(xué)習(xí)的模型竊取攻擊方法對(duì)進(jìn)一步探索如何提高模型的抗攻擊性、機(jī)密性具有重要意義[10-11].
本文重點(diǎn)研究從模型竊取的角度針對(duì)Android惡意軟件檢測(cè)模型的攻擊行為,提出一種基于FGSM樣本擴(kuò)充的模型竊取攻擊方法.在無法獲得目標(biāo)模型足夠多訓(xùn)練數(shù)據(jù)集的情況下,只利用極少量的樣本數(shù)據(jù),通過訪問目標(biāo)模型的輸入輸出接口,構(gòu)造出與目標(biāo)模型相似度非常高的替代模型.
模型竊取攻擊是指在黑盒條件下,利用特定手段獲取目標(biāo)模型內(nèi)部參數(shù),或構(gòu)造一個(gè)無限逼近目標(biāo)模型的替代模型,達(dá)到竊取模型信息的目的[12].模型竊取攻擊最早采用模型置信度來求解模型的參數(shù),機(jī)器學(xué)習(xí)模型如邏輯回歸(LR)、支持向量機(jī)(SVM)、神經(jīng)網(wǎng)絡(luò)(NN)等算法,其輸出結(jié)果往往是輸入數(shù)據(jù)屬于每個(gè)類別的置信度,通過比較置信度的大小決定模型的最終輸出.
早在2005年Lowd等人[13]提出一種針對(duì)線性分類器的模型參數(shù)竊取方法,根據(jù)目標(biāo)模型返回的預(yù)測(cè)類別標(biāo)簽,利用線性搜索的方法找到最接近目標(biāo)模型決策邊界的點(diǎn),進(jìn)而從這些點(diǎn)中提取出模型參數(shù).但是該方法只適用于線性的二分類器,在非線性分類器上的效果并不明顯.
2016年Tramèr等人[14]在已知模型輸出置信度的前提下,提出一種模型參數(shù)求解方法.其利用邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法本質(zhì)上是輸入與輸出的一種函數(shù)映射關(guān)系,置信度是模型函數(shù)最終輸出的特點(diǎn),將置信度和輸入數(shù)據(jù)構(gòu)造方程,最終求解函數(shù),得到模型參數(shù).對(duì)于決策樹算法來說,通過開發(fā)路徑尋找算法,利用置信度值作為樹中路徑的偽標(biāo)識(shí)符來發(fā)現(xiàn)樹結(jié)構(gòu).由于該攻擊方法前提是得到模型的置信度,而在實(shí)際應(yīng)用中很難得到目標(biāo)模型的輸出置信度,所以攻擊的局限性較大.
Papernot等人[15]利用基于雅克比矩陣的樣本擴(kuò)充方法,將少量的樣本數(shù)據(jù)集擴(kuò)充,將擴(kuò)充的樣本通過目標(biāo)模型打標(biāo)簽,進(jìn)而構(gòu)建出新的訓(xùn)練數(shù)據(jù)集,然后不斷更新訓(xùn)練替代模型,最終訓(xùn)練出與目標(biāo)模型相似度很高的替代模型.但該方法在訓(xùn)練替代模型時(shí)未考慮模型超參數(shù)選取,預(yù)測(cè)準(zhǔn)確率還有待提高.
2018年,Wang等人[16]提出了一種機(jī)器學(xué)習(xí)模型超參數(shù)竊取方法,根據(jù)模型超參數(shù)與目標(biāo)函數(shù)的導(dǎo)數(shù)的對(duì)應(yīng)關(guān)系,將模型參數(shù)、超參數(shù)和訓(xùn)練數(shù)據(jù)集之間的關(guān)系編碼為線性方程組,實(shí)現(xiàn)對(duì)超參數(shù)的竊取攻擊.該方法可以有效攻擊邏輯回歸、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)模型,但對(duì)于某些機(jī)器學(xué)習(xí)算法的攻擊仍然存在一定的估計(jì)誤差.
早期的模型竊取攻擊通過方程求解方法獲取目標(biāo)模型參數(shù),但由于需要模型的輸出置信度,導(dǎo)致使用范圍小、實(shí)用性差.近期模型竊取攻擊逐漸轉(zhuǎn)移到了訓(xùn)練與目標(biāo)模型預(yù)測(cè)準(zhǔn)確率接近的替代模型上.現(xiàn)有的模型竊取攻擊方法主要問題有:1)由于無法獲得大量訓(xùn)練數(shù)據(jù),基于少量訓(xùn)練數(shù)據(jù)得到的替代模型預(yù)測(cè)準(zhǔn)確率與目標(biāo)模型相差過大,達(dá)不到攻擊效果;2)基于訓(xùn)練數(shù)據(jù)擴(kuò)充的替代模型訓(xùn)練方法,其學(xué)習(xí)的是目標(biāo)模型邊界,且訓(xùn)練替代模型時(shí)沒有考慮超參數(shù)選取,導(dǎo)致替代模型的預(yù)測(cè)準(zhǔn)確率較低.
綜上所述,現(xiàn)有模型竊取方法存在適用范圍窄、依賴大量訓(xùn)練數(shù)據(jù)的問題,并且在訓(xùn)練替代模型時(shí)未充分考慮模型超參數(shù)選取,替代模型的預(yù)測(cè)準(zhǔn)確率不高.針對(duì)這些問題,本文提出一種基于FGSM樣本擴(kuò)充的模型竊取攻擊方法,該方法利用少量的樣本集,通過樣本擴(kuò)充生成訓(xùn)練數(shù)據(jù)不斷更新訓(xùn)練替代模型,并加入模型超參數(shù)選取方法提高替代模型的預(yù)測(cè)準(zhǔn)確率,最終得到與目標(biāo)模型相似程度很高的替代模型.
基于FGSM樣本擴(kuò)充的模型竊取攻擊方法如圖1所示.該方法首先進(jìn)行種子集收集,收集的種子集將作為初始樣本集,初始樣本集只要是符合目標(biāo)模型的輸入條件即可;其次,將初始樣本集輸入目標(biāo)模型打標(biāo)簽,由樣本集與標(biāo)簽共同組成訓(xùn)練集,使用訓(xùn)練集訓(xùn)練替代模型;然后,對(duì)訓(xùn)練集進(jìn)行擴(kuò)充,對(duì)于訓(xùn)練集中的每條樣本數(shù)據(jù),利用FGSM使其向替代模型邊界移動(dòng),得到離邊界更近的新的樣本點(diǎn),訓(xùn)練集中的每條樣本數(shù)據(jù)都可生成一條新樣本數(shù)據(jù);最后將生成的新樣本數(shù)據(jù)輸入目標(biāo)模型打標(biāo)簽,組成新的訓(xùn)練集,再次訓(xùn)練替代模型.隨著樣本擴(kuò)充輪次的增加,訓(xùn)練集數(shù)量呈指數(shù)倍數(shù)增長(zhǎng),訓(xùn)練的替代模型的預(yù)測(cè)準(zhǔn)確率逐漸提高,相似度也越接近目標(biāo)模型.
圖1 FGSM樣本擴(kuò)充模型竊取方法原理圖
首先,收集種子集作為初始化樣本集.種子集選取是模型竊取的基礎(chǔ),種子集可以來自訓(xùn)練集或者測(cè)試集,但要符合模型輸入數(shù)據(jù)格式.鑒于模型的訓(xùn)練數(shù)據(jù)很難獲取到,而測(cè)試集的獲取相對(duì)容易,所以一般種子集會(huì)從測(cè)試數(shù)據(jù)中選取.將收集的種子集作為初始樣本集,用于訓(xùn)練初始的替代模型,也是之后樣本擴(kuò)充的基礎(chǔ).
在得到初始樣本數(shù)據(jù)集后,接下來構(gòu)造替代模型的初始訓(xùn)練數(shù)據(jù)集.對(duì)于初始化的樣本集U0={X1,X2,X3,…,Xn},將集中的每條數(shù)據(jù)Xn輸入到目標(biāo)模型F中并得到輸出,即樣本集對(duì)于目標(biāo)模型F的標(biāo)簽集Y0={F(X1),F(X2),F(X3),…,F(Xn)},基于樣本集U0和標(biāo)簽集Y0,得到替代模型的初始訓(xùn)練集L0={U0,Y0}.
2.3.1 模型超參數(shù)選取
在機(jī)器學(xué)習(xí)中,超參數(shù)是開始學(xué)習(xí)過程之前設(shè)置值的參數(shù),而不是通過訓(xùn)練得到的參數(shù)數(shù)據(jù).超參數(shù)是機(jī)器學(xué)習(xí)模型中的關(guān)鍵參數(shù),好的超參數(shù)不僅可以提高學(xué)習(xí)的性能和效果,而且可以使訓(xùn)練后的模型具有很好的泛化能力.
對(duì)于超參數(shù)的選取,本文采用主流的K折交叉驗(yàn)證法.將訓(xùn)練集L分成K個(gè)非重疊組合,其中K-1個(gè)集合用于訓(xùn)練模型,剩下的1個(gè)集合作為驗(yàn)證集驗(yàn)證模型的準(zhǔn)確性.對(duì)于每個(gè)想要測(cè)試的超參數(shù)組合都使用該方法進(jìn)行測(cè)試,最終在驗(yàn)證集上準(zhǔn)確率最高的超參數(shù)組合進(jìn)行選擇.在每次的替代模型訓(xùn)練時(shí),都采用交叉驗(yàn)證的方法選取最優(yōu)的超參數(shù)組合.
2.3.2 新樣本生成
新樣本的生成過程如圖2所示.圖中表示一個(gè)二分類的問題,通過分類邊界將2種類別分開.對(duì)于每一個(gè)原始樣本,其通過向分類邊界移動(dòng)而得到新的樣本數(shù)據(jù).從圖中可以看出實(shí)心圓為原始樣本點(diǎn),空心圓為新樣本點(diǎn),新樣本點(diǎn)通過原始樣本點(diǎn)向分類邊界移動(dòng)得到.
圖2 新樣本生成過程圖
基于FGSM生成新的樣本,其原理如圖3所示,F(xiàn)GSM通過計(jì)算模型損失函數(shù)對(duì)輸入數(shù)據(jù)的梯度,找到梯度值最大的特征項(xiàng),說明此特征項(xiàng)對(duì)模型損失的影響較大,然后更改這一特征項(xiàng)的值,使輸入朝著增大模型損失的方向移動(dòng),生成新的樣本點(diǎn),新的樣本點(diǎn)更靠近模型的決策邊界.
圖3 FGSM樣本擴(kuò)充
Xnew=Xori.
(1)
(2)
根據(jù)這一索引值,找到新樣本Xnew中該索引值對(duì)應(yīng)的特征項(xiàng),改變這一特征項(xiàng)的值,改變規(guī)則為,如果這一特征項(xiàng)的值為0,則將其改為1,如果其為1,則將其改為0,得到新的樣本數(shù)據(jù)Xnew,即
(3)
新樣本點(diǎn)Xnew由原始樣本Xori移動(dòng)K個(gè)步長(zhǎng)得到,每改變1次特征項(xiàng)的值新樣本點(diǎn)將會(huì)向分類邊界移動(dòng)1次.
2.3.3 替代模型訓(xùn)練
首先對(duì)于樣本集中每個(gè)樣本都可采用上述方法生成1個(gè)新的樣本點(diǎn),新的樣本點(diǎn)與原來樣本點(diǎn)合并組成新的樣本集Ui;然后將新樣本集通過目標(biāo)模型F得到新樣本集的標(biāo)簽集Yi,即Yi=F(Ui);最后將Ui與Yi組成新的訓(xùn)練集Li,即Li={Ui,Yi}.
訓(xùn)練集每擴(kuò)充1次,就使用新的訓(xùn)練集訓(xùn)練更新1次替代模型,再基于新的替代模型進(jìn)行樣本擴(kuò)充.訓(xùn)練集的數(shù)據(jù)數(shù)量隨著擴(kuò)充輪次的增加呈指數(shù)趨勢(shì)增長(zhǎng),同時(shí)替代模型的預(yù)測(cè)能力將越來越接近目標(biāo)模型.
實(shí)驗(yàn)驗(yàn)證在沒有大量訓(xùn)練數(shù)據(jù)集的情況下,本文方法可以對(duì)目標(biāo)模型進(jìn)行有效的模型竊取,即能訓(xùn)練一個(gè)與目標(biāo)模型預(yù)測(cè)準(zhǔn)確率相近的替代模型.并與文獻(xiàn)[15](2017年)、文獻(xiàn)[16](2018年)進(jìn)行對(duì)比.
實(shí)驗(yàn)的數(shù)據(jù)源選用Drebin公開數(shù)據(jù)集.2014年Arp等人[17]提出一種輕量級(jí)的惡意軟件檢測(cè)方法Drebin,并制作成公開數(shù)據(jù)集.Drebin中包含129 013個(gè)Android應(yīng)用程序,其中123 453個(gè)是良性的應(yīng)用程序,5 560個(gè)是惡意的應(yīng)用程序.Drebin為所有的應(yīng)用程序提取了靜態(tài)特征,總共有545 333個(gè)特征,每個(gè)特征的值用二進(jìn)制數(shù)表示,即若應(yīng)用程序若存在某特征項(xiàng),則將該特征值置為1,不存在則為0.根據(jù)以上規(guī)則將這些特征制作成全部為二進(jìn)制數(shù)據(jù)的特征向量.
所有的545 333個(gè)特征分別從應(yīng)用程序的AndroidManifest.xml文件和反編譯DEX代碼中提取,并將這545 333個(gè)特征分為8個(gè)大類,包括:1)硬件組成;2)請(qǐng)求權(quán)限;3)APP組件;4)程序間的通信意圖;5)受限制的API調(diào)用;6)使用權(quán)限;7)可疑的API調(diào)用;8)網(wǎng)絡(luò)地址.其中前4個(gè)類別的特征從AndroidManifest.xml文件中提取,后4個(gè)類別的特征從反編譯的DEX代碼中提取.
實(shí)驗(yàn)所用的軟件資源如表1所示,硬件資源如表2所示.
表1 實(shí)驗(yàn)使用軟件列表
表2 實(shí)驗(yàn)使用硬件列表
為了評(píng)價(jià)模型竊取的有效性,選用一致率(Uniform_rate)衡量替代模型與原目標(biāo)模型的相似程度,選用測(cè)試集準(zhǔn)確率(T_Accuracy)評(píng)價(jià)替代模型的預(yù)測(cè)準(zhǔn)確率.測(cè)試集中包含M個(gè)樣本數(shù)據(jù),X={X1,X2,X3,…,XM},目標(biāo)模型為F(·),訓(xùn)練的替代模型為F′(·),將測(cè)試集樣本分別輸入目標(biāo)模型和替代模型,統(tǒng)計(jì)輸出中F(X)與F′(X)相同的樣本個(gè)數(shù),記為C.一致率(Uniform_rate)的計(jì)算公式具體定義如下:
(4)
混淆矩陣如表3所示.其中TN為將良性軟件判別為良性軟件的數(shù)量;FP為將良性軟件判別為惡意軟件的數(shù)量;FN為將惡意軟件判別為良性軟件的數(shù)量;TP為將惡意軟件判別為惡意軟件的數(shù)量.
表3 混淆矩陣
測(cè)試集準(zhǔn)確率T_Accuracy由測(cè)試集測(cè)得,測(cè)試集包括惡意軟件樣本和良性軟件樣本,其定義如式(5)所示:
(5)
實(shí)驗(yàn)的具體過程如下:
1) 從良性軟件樣本集中隨機(jī)抽取5 560個(gè)樣本,與5 560個(gè)惡意軟件樣本組成測(cè)試集,并利用交叉驗(yàn)證的方法選擇訓(xùn)練集與測(cè)試集.用訓(xùn)練集分別訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNN)、支持向量機(jī)(SVM)、邏輯回歸(LR)作為惡意軟件檢測(cè)模型.
2) 進(jìn)行模型竊取攻擊.替代模型選用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).為了測(cè)試不同種子集數(shù)量對(duì)模型竊取效果的影響,選擇種子集數(shù)分別為10,40,80,140訓(xùn)練替代模型.基于種子集數(shù)量對(duì)模型竊取效果的實(shí)驗(yàn)結(jié)果,選取最合適數(shù)量的種子集進(jìn)行模型竊取實(shí)驗(yàn).
3) 模型超參數(shù)選取.采用5折交叉驗(yàn)證法選取超參數(shù),將訓(xùn)練集平均分為5組,其中4組作為訓(xùn)練集,1組作為驗(yàn)證集.待選擇的模型超參數(shù)包括學(xué)習(xí)率learning_rate、正則項(xiàng)系數(shù)λ、每次訓(xùn)練數(shù)據(jù)量bitch,將這3個(gè)超參數(shù)的不同取值組合,分別訓(xùn)練模型,并用驗(yàn)證集驗(yàn)證,選取效果最好的超參數(shù)組合.超參數(shù)取值如表4所示:
表4 超參數(shù)交叉驗(yàn)證取值表
4) 訓(xùn)練集擴(kuò)充.訓(xùn)練數(shù)據(jù)每擴(kuò)充1次就訓(xùn)練更新1次替代模型,并測(cè)試替代模型的一致率與分類準(zhǔn)確率.
5) 分別采用文獻(xiàn)[15]、文獻(xiàn)[16]方法在本文訓(xùn)練的模型上進(jìn)行測(cè)試,測(cè)試模型一致率和測(cè)試集準(zhǔn)確率.對(duì)于文獻(xiàn)[15]方法移動(dòng)步長(zhǎng)為3,迭代最大次數(shù)為9次;對(duì)于文獻(xiàn)[16]的方法選取40個(gè)樣本集作為攻擊基礎(chǔ).
不同的種子集數(shù)量對(duì)替代模型的一致率實(shí)驗(yàn)結(jié)果如圖4所示.從圖4可以看出,當(dāng)選擇10個(gè)種子集時(shí),訓(xùn)練的替代模型的一致率在9輪擴(kuò)充輪次后只能達(dá)到70%左右,效果較差;當(dāng)選擇40個(gè)種子集時(shí),最終的替代模型的一致率可到達(dá)90%以上;當(dāng)選擇80,140個(gè)種子集時(shí),替代模型需要更少的輪次便可達(dá)到較高的一致率.所以選擇40個(gè)種子集較為合適,即通過少量的樣本實(shí)現(xiàn)較高的替代模型一致率.
圖4 種子集數(shù)量對(duì)替代模型一致率測(cè)試結(jié)果
利用測(cè)試集測(cè)得神經(jīng)網(wǎng)絡(luò)DNN模型、支持向量機(jī)模型SVM、邏輯回歸模型LR的測(cè)試集準(zhǔn)確率T_Accuracy分別為96.15%,95.35%,96.00%.通過本文方法分別對(duì)DNN模型、SVM模型、LR模型進(jìn)行替代模型訓(xùn)練,利用相同的測(cè)試集對(duì)替代模型進(jìn)行測(cè)試,不同擴(kuò)充輪次下實(shí)驗(yàn)結(jié)果如圖5、圖6所示:
圖5 不同擴(kuò)充輪次一致率結(jié)果圖
圖6 不同擴(kuò)充輪次測(cè)試集準(zhǔn)確率結(jié)果圖
為了可以更明顯地表示替代模型與目標(biāo)模型的相似度,采用混淆矩陣?yán)走_(dá)圖的形式進(jìn)行表示,結(jié)果如圖7~9所示:
圖7 竊取DNN模型混淆矩陣?yán)走_(dá)圖
圖8 竊取SVM模型混淆矩陣?yán)走_(dá)圖
圖9 竊取LR模型混淆矩陣?yán)走_(dá)圖
通過實(shí)驗(yàn)結(jié)果可以看出,使用本文方法竊取深度DNN模型的效果最佳,替代模型與目標(biāo)模型的契合度最高;使用本文方法對(duì)SVM模型以及LR模型進(jìn)行替代模型訓(xùn)練,得到的替代模型與目標(biāo)模型的契合度要略差于深度DNN模型,但是也達(dá)到了較高的竊取效果.
使用文獻(xiàn)[15]、文獻(xiàn)[16]方法對(duì)訓(xùn)練的深度DNN模型攻擊實(shí)驗(yàn),選取40個(gè)樣本為種子集,并用測(cè)試集測(cè)試分類模型,得到測(cè)試集準(zhǔn)確率與模型的一致率結(jié)果如表5所示:
表5 模型竊取方法對(duì)比實(shí)驗(yàn)結(jié)果表
現(xiàn)有的模型竊取攻擊方法對(duì)目標(biāo)模型信息要求過高、需要初始樣本集數(shù)量過多等問題導(dǎo)致模型竊取效果不佳,針對(duì)這些問題,本文提出了一種基于FGSM樣本擴(kuò)充的模型竊取攻擊方法.該方法在無法獲得訓(xùn)練數(shù)據(jù)、模型參數(shù)、模型類型的情況下,將收集的少量樣本數(shù)據(jù)通過FGSM進(jìn)行擴(kuò)充,并基于目標(biāo)模型決策結(jié)果合成訓(xùn)練集,最后利用超參數(shù)交叉驗(yàn)證方法訓(xùn)練得到與目標(biāo)模型預(yù)測(cè)效果相近的替代模型,完成模型竊取攻擊.基于Drebin數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,該方法在只需要40個(gè)初始樣本集的情況下,使用相同測(cè)試集測(cè)試,訓(xùn)練的替代模型與目標(biāo)模型預(yù)測(cè)準(zhǔn)確率差值均小于10%,同時(shí)模型一致率最高達(dá)93%,實(shí)現(xiàn)了較好的模型竊取攻擊.該方法在較少初始樣本集的情況下,訓(xùn)練得到的替代模型預(yù)測(cè)準(zhǔn)確率要高于現(xiàn)有的模型竊取方法.