一種基于增強(qiáng)型調(diào)度器的虛擬機(jī)軟件保護(hù)方法

謝 鑫 向 飛

1(湖南信息學(xué)院 湖南 長沙 410151)2(信息工程大學(xué) 河南 鄭州 450000)

0 引 言

伴隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等新興技術(shù)的迅速發(fā)展，大量基于這些新興技術(shù)的軟件得到開發(fā)和應(yīng)用，人們在使用這些頁面美觀、交互良好和操作便捷的軟件之時(shí)，卻往往忽略了軟件的安全性。提升軟件安全性是在軟件生命周期之中進(jìn)行，如對(duì)軟件架構(gòu)進(jìn)行安全設(shè)計(jì)，對(duì)代碼進(jìn)行安全性分析，對(duì)軟件進(jìn)行安全性測試以及對(duì)軟件進(jìn)行保護(hù)等。而軟件保護(hù)一般是在編碼中或者開發(fā)完成后采用若干安全技術(shù)對(duì)軟件進(jìn)行保護(hù)，防止攻擊者的逆向分析和惡意篡改。

現(xiàn)有主流的軟件保護(hù)技術(shù)有代碼混淆技術(shù)(Code Obfuscation)、軟件水印技術(shù)(Software Watermarking)、軟件防篡改技術(shù)(Software Tampering)和軟件胎記技術(shù)(Software Birthmarking)等。代碼混淆技術(shù)通過對(duì)源代碼或二進(jìn)制代碼進(jìn)行等價(jià)變形，使得代碼形態(tài)、結(jié)構(gòu)和內(nèi)容對(duì)于逆向分析變得難以理解，從而大大增加攻擊時(shí)間和經(jīng)濟(jì)開銷，迫使逆向分析者放棄攻擊的一種軟件保護(hù)技術(shù)。技術(shù)發(fā)展之初，學(xué)者Collberg將代碼混淆技術(shù)分為布局混淆、數(shù)據(jù)混淆、控制混淆和預(yù)防混淆，隨著近些年對(duì)于該技術(shù)的研究深入，研究熱點(diǎn)主要集中在采用虛擬機(jī)框架對(duì)軟件安全性進(jìn)行保護(hù)。

2002年國外軟件安全研究人員公開了虛擬機(jī)保護(hù)技術(shù)的設(shè)計(jì)框架，并從C/C++編碼角度給出了實(shí)現(xiàn)原理[1]。隨后國內(nèi)的看雪、吾愛破解等論壇上對(duì)該技術(shù)的討論和交流日益增多，緊接著越來越多基于虛擬機(jī)保護(hù)技術(shù)的商業(yè)工具被開發(fā)出來，并應(yīng)用于各種軟件的安全保護(hù)之中，如VMProtect、CodeVirtualizer和Themida等。除此之外，軟件安全人員不斷對(duì)虛擬機(jī)框架的安全性進(jìn)行改進(jìn)，主要成果有：Fang等[2]設(shè)計(jì)了一種多層級(jí)的虛擬機(jī)強(qiáng)度增強(qiáng)方法，該方法首先對(duì)軟件中需要保護(hù)的指令序列進(jìn)行虛擬機(jī)化，生成一系列虛擬指令序列和虛擬指令解釋函數(shù)，然后再對(duì)Handler中的若干指令進(jìn)行虛擬機(jī)化，再次生成新的Handler，反復(fù)迭代該過程生成最終用于保護(hù)關(guān)鍵代碼的虛擬機(jī)保護(hù)框架。楊明等[3]在單重虛擬機(jī)保護(hù)框架基礎(chǔ)上引入嵌套思想，基于多個(gè)不同強(qiáng)度的虛擬機(jī)保護(hù)框架嵌套保護(hù)軟件關(guān)鍵代碼，若逆向攻擊者沒有完全分析清楚前一重虛擬機(jī)保護(hù)機(jī)制時(shí)，則無法開展對(duì)下一重虛擬機(jī)保護(hù)機(jī)制的分析。房鼎益等[4]為提升虛擬機(jī)框架安全性，首先在虛擬機(jī)保護(hù)中引入了基于扭曲變形的加密模塊，然后加入了基于時(shí)間多樣性思想[5]的保護(hù)技術(shù)，構(gòu)造了多條等價(jià)執(zhí)行路徑，可以使軟件在每次執(zhí)行時(shí)路徑發(fā)生隨機(jī)改變，方法能有效抵御累積攻擊。之后又對(duì)Handler模塊進(jìn)行數(shù)據(jù)流混淆，對(duì)謂詞進(jìn)行隱藏，用雙進(jìn)程對(duì)虛擬機(jī)框架進(jìn)行保護(hù)，增強(qiáng)了框架抵御語義逆向攻擊的性能[6]。王懷軍等[7]為改進(jìn)框架的保護(hù)強(qiáng)度，首先引入寄存器輪轉(zhuǎn)指令和防調(diào)試指令，然后基于路徑多樣化構(gòu)造語義等價(jià)的變形Handler模塊，從而提升Handler模塊的整體強(qiáng)度[8-9]。張麗娜等[10]通過對(duì)字節(jié)碼進(jìn)行加解密實(shí)現(xiàn)虛擬機(jī)強(qiáng)度改進(jìn)。吳偉民等[11]在虛擬指令中嵌入虛擬花指令，并運(yùn)用模糊變換技術(shù)提升虛擬指令系統(tǒng)的復(fù)雜程度。湯戰(zhàn)勇等[12]通過對(duì)虛擬機(jī)的指令集進(jìn)行隨機(jī)化，使得受保護(hù)軟件的代碼呈現(xiàn)多樣化的形態(tài)。謝鑫等首先提出了將軟件中核心代碼進(jìn)行并行化，然后基于多種虛擬機(jī)對(duì)不同的并行代碼片段進(jìn)行保護(hù)[13]，逆向攻擊者只有分析清楚并行算法和不同虛擬機(jī)機(jī)理才能獲取受保護(hù)代碼的語義。之后又對(duì)Handler模塊進(jìn)行多樣化，變長切分和隨機(jī)亂序，用跳轉(zhuǎn)表對(duì)指令片段進(jìn)行重組[14]。另外，還在虛擬機(jī)框架上引入了多種不同加解密算法，實(shí)現(xiàn)了基于Handler模塊的動(dòng)態(tài)加解密保護(hù)方法[15]。

針對(duì)虛擬機(jī)保護(hù)的一般攻擊方法為：首先對(duì)虛擬機(jī)代碼入口進(jìn)行定位[16]，分析出虛擬機(jī)Dispatcher模塊的起始和終止位置，其次根據(jù)Dispatcher模塊的調(diào)度算法逐條讀取虛擬指令，分析每條虛擬指令對(duì)應(yīng)Handler模塊的功能，最后對(duì)所有執(zhí)行的虛擬指令序列進(jìn)行優(yōu)化，還原程序功能[17]。現(xiàn)有對(duì)于虛擬機(jī)保護(hù)的研究主要集中在虛擬指令和Handler模塊的改進(jìn)上，對(duì)Dispatcher模塊的增強(qiáng)保護(hù)研究較少，如Kuang等[18]提出了一種多Dispatcher虛擬機(jī)保護(hù)框架，赫朝輝[19]提出了一種混合式多層次Dispatcher結(jié)構(gòu)，抗攻擊性得到了一定提升，但強(qiáng)度依然不高。針對(duì)Dispatcher模塊隱蔽性低和抵御靜、動(dòng)態(tài)逆向攻擊強(qiáng)度不高的問題，提出一種基于增強(qiáng)型調(diào)度器的虛擬機(jī)軟件保護(hù)方法。

1 虛擬機(jī)保護(hù)基本原理

基于虛擬機(jī)的軟件保護(hù)方法主要采用虛擬化技術(shù)對(duì)軟件中關(guān)鍵算法所對(duì)應(yīng)的指令序列進(jìn)行虛擬化，然后通過嵌入軟件中的解釋器模塊對(duì)這些虛擬機(jī)指令進(jìn)行解釋執(zhí)行，從而完成軟件的正常運(yùn)行。虛擬機(jī)框架核心為虛擬指令集和解釋器模塊，虛擬指令集需要能對(duì)本地x86匯編指令集進(jìn)行完整表示，一條x86匯編指令一般對(duì)應(yīng)一條或多條虛擬指令。解釋器模塊主要包括：用于保存臨時(shí)寄存器環(huán)境中寄存器值的虛擬機(jī)上下文結(jié)構(gòu)(VMcontext)，用于對(duì)虛擬指令進(jìn)行解釋執(zhí)行的Handlers模塊，用于對(duì)Handlers進(jìn)行循環(huán)調(diào)用的Dispatcher模塊，用于表示虛擬指令序列的驅(qū)動(dòng)數(shù)據(jù)(VMdata)以及環(huán)境初始化(VMinit)和退出模塊(VMexit)等。

若要運(yùn)用虛擬機(jī)技術(shù)對(duì)程序進(jìn)行保護(hù)，首先需定位程序需保護(hù)的核心算法，抽取目標(biāo)指令序列，然后構(gòu)建完備的虛擬指令集，對(duì)目標(biāo)指令序列進(jìn)行虛擬化，生成虛擬指令序列，再將虛擬指令序列轉(zhuǎn)化為字節(jié)碼形式的驅(qū)動(dòng)數(shù)據(jù)，寫到原始程序空間之中，最后將VMcontext，Handlers和Dispatcher等模塊嵌入到需要保護(hù)的PE程序之中，生成保護(hù)后程序，基本原理如圖1所示。

圖1 基于虛擬機(jī)保護(hù)的基本原理

基于虛擬機(jī)保護(hù)后的軟件執(zhí)行過程主要分為如下步驟：

1) 軟件開始執(zhí)行，當(dāng)代碼執(zhí)行到保護(hù)代碼時(shí)，則轉(zhuǎn)向受保護(hù)軟件中嵌入的解釋器模塊執(zhí)行。

2) 運(yùn)用解釋器模塊中的初始化代碼對(duì)現(xiàn)場環(huán)境進(jìn)行保存，如：將真實(shí)寄存器值保存到Vmcontext中，對(duì)某些寄存器賦初值等。

3) 執(zhí)行Dispatcher模塊，從VMdata之中讀取字節(jié)數(shù)據(jù)，對(duì)字節(jié)碼數(shù)據(jù)進(jìn)行解碼，得到虛擬指令對(duì)應(yīng)的Handler索引值。

4) 通過索引值計(jì)算Handler函數(shù)在軟件中的地址，并轉(zhuǎn)向Handler函數(shù)代碼進(jìn)行執(zhí)行。

5) 執(zhí)行完Handler指令序列后轉(zhuǎn)向步驟3，循環(huán)執(zhí)行步驟3-步驟5，直到完成所有VMdata數(shù)據(jù)的解釋執(zhí)行。

6) 還原虛擬機(jī)框架現(xiàn)場，跳出解釋器，執(zhí)行程序后面未保護(hù)的代碼序列。

2 Dispatcher模塊安全性的增強(qiáng)方法

逆向攻擊者若要理解基于虛擬機(jī)保護(hù)的程序功能，則需分析清楚解釋器及相關(guān)模塊的工作機(jī)理和每一條虛擬指令的功能?，F(xiàn)有一些方法對(duì)虛擬指令和Handler強(qiáng)度進(jìn)行了改進(jìn)，使對(duì)于這些模塊的逆向分析變得困難，Dispatcher模塊成為了整個(gè)虛擬機(jī)保護(hù)框架中的短板，容易受到“動(dòng)態(tài)跟蹤，靜態(tài)分析”的攻擊。針對(duì)Dispatcher模塊安全性不高的問題，提出一種對(duì)Dispatcher模塊安全性增強(qiáng)的方法，基本思想為：首先采用多樣化技術(shù)生成多種語義等價(jià)但形態(tài)各異的Dispatcher模塊指令序列，再按照語義將其切分成若干指令序列片段，隨機(jī)選擇指令序列片段進(jìn)行加密和控制流迭代混淆處理，然后采用隨機(jī)函數(shù)將不同的指令片段進(jìn)行連接，最后將新生成的指令序列以及加解密分散嵌入到受保護(hù)程序之中，Dispatcher模塊安全性增強(qiáng)框架如圖2所示，具體步驟如下：

1) 將Dispatcher代碼分成三部分：Dispatcher入口代碼序列I，Dispatcher核心代碼序列C和Dispatcher出口代碼序列O。

2) 將Dispatcher核心代碼序列C隨機(jī)劃分成長度各異的指令片段，記做C=(C1,C2,…,Cn)。

3) 采用等價(jià)指令替換和花指令插入等方法[14]對(duì)C中的所有指令片段進(jìn)行多樣化，生成m種與C語義等價(jià)但形式不同的指令序列，記作S={S1,S2,…,Sm}，其中Si=(A1i,A2i,…,Ani)，且A1i和C1、A2i和C2、A3i和C3、…、Ani和Cn語義等價(jià)。

圖2 Dispatcher模塊安全性增強(qiáng)框架

4) 在多樣化代碼片段中隨機(jī)挑選若干指令序列，如A11、A2m、A22、A33、An1、Anm等，基于插入不透明謂詞的方法[20]對(duì)其進(jìn)行k次控制流迭代混淆，具體原理如圖3所示。

圖3 基于不透明謂詞的k次迭代控制流混淆示意

5) 基于步驟4所生成的指令序列集合，再次隨機(jī)挑選指令序列片段，如A1m、A23、A32、An2、A11、A22等，運(yùn)用多種不同的密碼算法對(duì)其進(jìn)行加密處理。

6) 用隨機(jī)函數(shù)對(duì)每一層指令序列片段進(jìn)行連接，如集合{A(i)1，A(i)2，…，A(i)m}中的每一個(gè)指令序列片段可隨機(jī)選擇執(zhí)行其下一層指令序列集合{A(i+1)1，A(i+1)2，…，A(i+1)m}中任意一個(gè)片段，最后生成網(wǎng)狀結(jié)構(gòu)的代碼路徑。

7) 將新生成的Dispatcher代碼和所有Handler函數(shù)代碼進(jìn)行連接，并將新生成的Dispatcher模塊和用于程序動(dòng)態(tài)執(zhí)行的隨機(jī)、加密和解密函數(shù)分散嵌入到程序空間之中，如圖4所示。

圖4 Dispatcher模塊和加解密函數(shù)分散嵌入程序空間

3 理論分析

3.1 強(qiáng)度分析

強(qiáng)度分析為基于增強(qiáng)型Dispatcher的虛擬機(jī)抵御靜動(dòng)態(tài)逆向分析攻擊的能力。原始虛擬機(jī)Dispatcher模塊代碼通常以未加密狀態(tài)存放在程序新增的區(qū)塊之中，攻擊者可以通過內(nèi)存斷點(diǎn)方式找到模塊入口，并通過內(nèi)存轉(zhuǎn)儲(chǔ)和反匯編等方法理解代碼執(zhí)行流程和調(diào)度方式。而安全性增強(qiáng)的Dispatcher模塊代碼采用了多樣化技術(shù)，基于不透明謂詞對(duì)控制流進(jìn)行了迭代混淆，而且對(duì)部分指令片段進(jìn)行動(dòng)態(tài)加解密處理。

若設(shè)原始虛擬機(jī)Dispatcher模塊執(zhí)行路徑為1，通過指令多樣化技術(shù)可以生成m種語義等價(jià)且形式不同的指令序列，將所有語義等價(jià)的指令序列分為n層，并采用隨機(jī)函數(shù)對(duì)不同層指令序列進(jìn)行連接，形成網(wǎng)狀結(jié)構(gòu)。若攻擊者采用指令動(dòng)態(tài)追蹤方法對(duì)Dispatcher模塊指令序列進(jìn)行記錄，理論上共可得到mn種不同的程序執(zhí)行路徑，大大增加了攻擊者動(dòng)態(tài)跟蹤分析的難度。

安全性增強(qiáng)的Dispatcher模塊在生成多樣化指令序列時(shí)，基于不透明謂詞對(duì)若干指令片段進(jìn)行控制流迭代混淆。若每進(jìn)行一次控制流迭代混淆，控制流邊數(shù)目增加一倍，當(dāng)?shù)鷎次時(shí)，單個(gè)指令序列的控制流邊數(shù)目變成2k個(gè)，若隨機(jī)挑選i個(gè)指令序列進(jìn)行混淆，則控制流邊數(shù)目將增長為i×2k個(gè)，極大增加了通過構(gòu)建代碼控制流圖進(jìn)行靜態(tài)逆向分析的難度。

另外，方法還對(duì)Dispatcher模塊中部分指令片段進(jìn)行了加密處理，只有在程序動(dòng)態(tài)運(yùn)行時(shí)才解密運(yùn)行。在程序未執(zhí)行時(shí)，這些指令片段為加密狀態(tài)保存在程序中，直接采用靜態(tài)逆向分析方法對(duì)其解析將出現(xiàn)亂碼指令，同樣增加了受保護(hù)程序的分析難度。

3.2 開銷分析

開銷分析為混淆前后程序時(shí)間和空間對(duì)比分析?；谠鰪?qiáng)型Dispatcher模塊的虛擬機(jī)保護(hù)框架相比原始虛擬機(jī)保護(hù)框架增加了多層隨機(jī)函數(shù)，控制流迭代混淆中的不透明謂詞以及指令序列片段加解密三部分時(shí)間開銷。

3.2.1 時(shí)間開銷分析

1) 若將多樣化Dispatcher模塊劃分成n個(gè)指令片段，每一次隨機(jī)函數(shù)運(yùn)行的平均時(shí)間為q，則時(shí)間開銷增長q×(n-1)；

2) 若在Dispatcher模塊單次執(zhí)行序列的n個(gè)指令片段中隨機(jī)選擇e1個(gè)指令片段進(jìn)行k次控制流迭代，每次迭代插入的不透明謂詞運(yùn)行平均時(shí)間為d，則時(shí)間開銷增長k×d×e1；

3) 若在Dispatcher模塊單次執(zhí)行序列的n個(gè)指令片段中隨機(jī)選擇了e2個(gè)指令序列進(jìn)行加密，每個(gè)指令片段解密平均時(shí)間為u，則時(shí)間開銷增長e2×u。由此可得，三部分總的時(shí)間開銷增長理論值為q×(n-1)+k×d×e1+e2×u。

若原始程序運(yùn)行在某個(gè)計(jì)算環(huán)境下的時(shí)間開銷為X1。改進(jìn)后的虛擬機(jī)保護(hù)框架中未引入加密方法時(shí)，則運(yùn)用該框架對(duì)原始程序進(jìn)行保護(hù)后的時(shí)間開銷為X2，該值一般為X1的1.5～10倍左右[5,12]?；谏鲜龇治?，若在現(xiàn)有虛擬機(jī)保護(hù)框架上再單獨(dú)對(duì)Dispatcher模塊進(jìn)行安全性增強(qiáng)，則時(shí)間開銷將進(jìn)一步增長，其增長的時(shí)間理論值為Z1=q×(n-1)+k×d×e1+e2×u。若Z值相比X2沒有大大增長，由于現(xiàn)有軟件和硬件計(jì)算能力不斷發(fā)展，本文增強(qiáng)方案將不會(huì)給受保護(hù)程序的正常運(yùn)行造成影響。但如果Z1值相比X2得到大幅度增長，權(quán)衡時(shí)間開銷和安全性來說，Dispatcher模塊增強(qiáng)方案是一種性價(jià)比不高的選擇。因此，在對(duì)Dispatcher模塊進(jìn)行安全性增強(qiáng)時(shí)，在保證方法具有一定強(qiáng)度的同時(shí)，要盡可能選擇運(yùn)行速度快的隨機(jī)函數(shù)、加解密函數(shù)和不透明謂詞，控制指令片段e1、e2和迭代次數(shù)，以此降低整個(gè)調(diào)度器增強(qiáng)方案對(duì)于虛擬機(jī)原始保護(hù)框架時(shí)間開銷增長的影響。

3.2.2 空間開銷分析

空間開銷的增長主要包括隨機(jī)函數(shù)代碼空間，基于控制流迭代的不透明謂詞和冗余代碼空間，以及加解密函數(shù)代碼空間。設(shè)隨機(jī)函數(shù)有f1個(gè)，平均代碼空間為r1；進(jìn)行了k次控制流迭代，插入f2個(gè)不透明謂詞，f3段冗余代碼，平均代碼空間為r2和r3；引入的f4個(gè)加解密函數(shù)平均代碼空間為r4，總空間開銷增長理論值為f1×r1+f2×r2+f3×r3+f4×r4。

若原始程序所占存儲(chǔ)空間為Y1。運(yùn)用改進(jìn)后的虛擬機(jī)保護(hù)框架對(duì)原始程序進(jìn)行保護(hù)后所占存儲(chǔ)空間Y2一般為Y1的1.5～2倍左右[5,12]?；谏鲜龇治?，若在現(xiàn)有虛擬機(jī)保護(hù)框架上再單獨(dú)對(duì)Dispatcher模塊進(jìn)行安全性增強(qiáng)，則空間開銷還將增長，其增長的理論值為Z2=f1×r1+f2×r2+f3×r3+f4×r4。若Z2值相比Y2沒有大大增長，由于現(xiàn)有內(nèi)存和硬盤等存儲(chǔ)能力的提升，則本文增強(qiáng)方案將不會(huì)給受保護(hù)程序的存儲(chǔ)開銷帶來影響。但如果Z2值相比Y2大幅度增長，權(quán)衡空間開銷和安全性來說，Dispatcher模塊增強(qiáng)方案仍需進(jìn)一步優(yōu)化。因此，在對(duì)Dispatcher模塊進(jìn)行安全性增強(qiáng)時(shí)，在保證方法具有一定強(qiáng)度的同時(shí)，要盡可能選擇占用存儲(chǔ)空間小的隨機(jī)函數(shù)、加解密函數(shù)和不透明謂詞，并且要對(duì)冗余代碼數(shù)目，迭代次數(shù)進(jìn)行控制，以此降低空間開銷增長的影響。

3.3 反混淆分析

針對(duì)基于增強(qiáng)型Dispatcher模塊的虛擬機(jī)保護(hù)框架的反混淆攻擊，一般首先對(duì)增強(qiáng)型Dispatcher模塊進(jìn)行代碼定位，然后采用反混淆技術(shù)對(duì)Dispatcher模塊代碼進(jìn)行處理。

原始虛擬機(jī)保護(hù)框架由于Dispatcher模塊集中存儲(chǔ)在受保護(hù)程序中的特定空間，逆向攻擊者基于斷點(diǎn)跟蹤較為容易對(duì)其進(jìn)行定位，并進(jìn)行分析和理解。而在改進(jìn)的虛擬機(jī)保護(hù)框架中將單一Dispatcher模塊轉(zhuǎn)化成多種語義等價(jià)且形式不同的Dispatcher模塊，并將代碼分散嵌入在整個(gè)程序空間的內(nèi)部，這種方式增加了Dispatcher模塊的隱蔽性。而對(duì)于攻擊者而已，若要成功理解Dispatcher模塊，首先需對(duì)分散在整個(gè)程序空間的代碼進(jìn)行定位，然后進(jìn)行代碼語義整合，最后對(duì)多種不同形式的Dispatcher進(jìn)行語義分析，極大增加了分析難度。

若要準(zhǔn)確定位出多樣化后的Dispatcher代碼，則需采用反混淆技術(shù)對(duì)代碼進(jìn)行處理?，F(xiàn)有反混淆方法主要基于優(yōu)化技術(shù)，典型方法有：等價(jià)指令整合、常量傳播和折疊、循環(huán)壓縮、流程優(yōu)化等[21]。這些技術(shù)能在一定程度上能對(duì)指令進(jìn)行約簡，對(duì)冗余流程進(jìn)行去除，對(duì)代碼結(jié)構(gòu)進(jìn)行優(yōu)化。但在安全增強(qiáng)型Dispatcher模塊中，不僅對(duì)代碼進(jìn)行了多樣化處理，還挑選了一些代碼片段進(jìn)行控制流膨脹，并采用加解密技術(shù)對(duì)部分指令片段進(jìn)行了處理。若要對(duì)其進(jìn)行反混淆，先要對(duì)加密指令片段進(jìn)行解密，然后對(duì)控制流膨脹后的代碼進(jìn)行定位、分析和約簡，最后對(duì)多樣化Dispatcher指令序列進(jìn)行語義歸一化處理，而代碼解密，膨脹控制流結(jié)構(gòu)約簡和代碼語義歸一都將大大增加攻擊者分析代價(jià)。

4 實(shí)驗(yàn)驗(yàn)證和分析

驗(yàn)證實(shí)驗(yàn)基本環(huán)境如下：

1) Intel(R) Core(TM) i3 CPU M380 2.53 Hz雙核處理器。

2) Windows 7 SP1 32位旗艦版操作系統(tǒng)，內(nèi)存容量2 GB。

3) 運(yùn)用Visual Studio2008對(duì)開源虛擬機(jī)框架(原始VM)[22]進(jìn)行編譯，并基于該框架進(jìn)行Dispatcher模塊安全性增強(qiáng)。

4) 基于C語言和標(biāo)準(zhǔn)插入排序(InsertionSort)、希爾排序(ShellSort)、快速排序(QuickSort)和冒泡排序(BubbleSort)算法實(shí)現(xiàn)了四款測試程序，以及4組(每組500個(gè))隨機(jī)測試數(shù)據(jù)。

5) 在操作系統(tǒng)目錄C:WindowsSystem32下，挑選網(wǎng)絡(luò)功能控制臺(tái)應(yīng)用程序ping.exe, route.exe和圖形化應(yīng)用程序notepad.exe, regedt32.exe和mspaint.exe作為典型應(yīng)用場景下的實(shí)際應(yīng)用測試程序。

4.1 測試程序時(shí)間和空間開銷

生成四款排序測試程序，并在不同參數(shù)條件下，運(yùn)用Dispatcher模塊安全性增強(qiáng)虛擬機(jī)框架對(duì)測試程序進(jìn)行保護(hù)，運(yùn)用生成的基準(zhǔn)測試程序和受保護(hù)程序?qū)y試數(shù)據(jù)進(jìn)行排序，對(duì)比保護(hù)前后測試程序的時(shí)間和空間開銷。

4.1.1 Dispatcher指令序列多樣化

基于原始VM虛擬機(jī)框架，運(yùn)用等價(jià)指令替換和花指令隨機(jī)嵌入等方法對(duì)Dispatcher指令序列進(jìn)行多樣化，添加Dispatcher入口代碼，Dispatcher其他代碼不進(jìn)行增強(qiáng)變換，將多樣化后語義等價(jià)Dispatcher數(shù)目記為M。當(dāng)M=1為原始VM，不同M下測試程序時(shí)間和空間開銷如表1和表2所示。由表1和表2可知，原始VM框架對(duì)測試程序進(jìn)行保護(hù)后，會(huì)給程序引入一定的時(shí)間和空間開銷。由于多樣化后不同路徑的Dispatcher指令序列規(guī)?；疽恢?，當(dāng)Dispatcher路徑數(shù)目增多時(shí)，保護(hù)后程序空間開銷將會(huì)線性增長，而無論有多少種Dispatcher路徑，受保護(hù)程序每次執(zhí)行時(shí)，都只選Dispatcher模塊中一條路徑執(zhí)行，因此當(dāng)M的值為1～5之間時(shí)，受保護(hù)程序的時(shí)間開銷基本穩(wěn)定。

表1 不同Dispatcher數(shù)目下測試程序時(shí)間開銷

表2 不同Dispatcher數(shù)目下測試程序空間開銷

4.1.2 Dispatcher指令序列分片

基于Dispatcher參數(shù)M=4時(shí)的虛擬機(jī)保護(hù)框架，對(duì)指令序列進(jìn)行分片，在每一層分片指令序列末尾采用隨機(jī)函數(shù)對(duì)分片代碼進(jìn)行連接，而Dispatcher其他部分不進(jìn)行安全性增強(qiáng)變換。將單個(gè)Dispatcher模塊執(zhí)行序列的分片數(shù)目記為N，在不同分片數(shù)目下測試程序的時(shí)間和空間開銷，實(shí)驗(yàn)數(shù)據(jù)如表3和表4所示。由表可知，向多樣化Dispatcher模塊中插入路徑隨機(jī)選擇函數(shù)時(shí)，將給受保護(hù)程序引入一定的時(shí)間和空間開銷。增長的時(shí)間開銷主要為連接不同指令片段間隨機(jī)選擇函數(shù)的執(zhí)行時(shí)間，由于Dispatcher模塊在選擇調(diào)度執(zhí)行Handler時(shí)，會(huì)被程序反復(fù)調(diào)度，因此Dispatcher模塊中指令分片數(shù)目越多，受保護(hù)程序所執(zhí)行的時(shí)間開銷就越大。而增長的空間開銷是由于不同指令分片間所插入的隨機(jī)選擇函數(shù)占用空間決定的。當(dāng)參數(shù)M=4、N=2時(shí)，表示在Dispatcher模塊中插入4個(gè)隨機(jī)選擇函數(shù)，當(dāng)M=4、N=3時(shí)，插入4×2=8個(gè)隨機(jī)選擇函數(shù)，以此類推。

表3 不同分片數(shù)目下測試程序時(shí)間開銷

表4 不同分片數(shù)目下測試程序空間開銷

4.1.3 Dispatcher指令片段控制流迭代

基于Dispatcher參數(shù)M=4、N=4時(shí)的虛擬機(jī)保護(hù)框架，隨機(jī)選擇6個(gè)指令片段進(jìn)行控制流迭代混淆，根據(jù)3.2中的理論分析，實(shí)驗(yàn)設(shè)計(jì)和選擇運(yùn)行速度快，所占存儲(chǔ)空間小，安全性高的基于二維超混沌映射方程組的不透明謂詞來對(duì)控制流進(jìn)行迭代混淆[20]，Dispatcher模塊中其他部分不進(jìn)行安全性增強(qiáng)變換。記單個(gè)指令片段迭代次數(shù)為K，K=0時(shí)為虛擬機(jī)保護(hù)框架未進(jìn)行控制流混淆的初始狀態(tài)，不同迭代次數(shù)下的測試程序時(shí)間和空間開銷如表5和表6所示。隨著迭代次數(shù)的增加，基于不透明謂詞的迭代控制流混淆方法將使得受保護(hù)程序的控制流循環(huán)復(fù)雜度[23]不斷增加，提升了虛擬機(jī)整體語義混淆能力。

表5 不同迭代次數(shù)下測試程序時(shí)間開銷

表6 不同迭代次數(shù)下測試程序空間開銷

4.1.4 Dispatcher指令片段加密

基于Dispatcher參數(shù)M=4、N=4和基于6個(gè)指令片段K=4時(shí)的虛擬機(jī)保護(hù)框架，隨機(jī)選擇Dispatcher模塊中的4個(gè)指令碎片進(jìn)行加密，記為D=4，根據(jù)軟件保護(hù)有效性評(píng)估指標(biāo)[23]和3.2中的理論分析，從算法簡單、實(shí)現(xiàn)便捷、加解密速度快、占用存儲(chǔ)空間小以及具有一定安全性的角度出發(fā)，實(shí)驗(yàn)在虛擬機(jī)保護(hù)框架中嵌入了TEA、RC4和Xor三種不同形式的加解密函數(shù)模塊，記為X=3，運(yùn)用該參數(shù)下的虛擬機(jī)框架(MNKDX_VM)對(duì)測試程序進(jìn)行保護(hù)，并對(duì)比測試程序在商業(yè)虛擬CV和VMP保護(hù)下的時(shí)間和空間開銷。

一般虛擬機(jī)保護(hù)框架中，當(dāng)Handler函數(shù)要執(zhí)行時(shí)都要通過Dispatcher模塊對(duì)其進(jìn)行調(diào)度執(zhí)行。由于MNKDX_VM的Dispatcher模塊中引入了多種加密函數(shù)對(duì)指令片段進(jìn)行加密處理，當(dāng)Dispatcher模塊需執(zhí)行時(shí)，首先要對(duì)該模塊中部分加密指令片段進(jìn)行解密，然后再解密指令片段運(yùn)行結(jié)束后，再次進(jìn)行加密。該種方式將使程序運(yùn)行時(shí)間大度增加，尤其在反復(fù)需要對(duì)Dispatcher模塊進(jìn)行調(diào)度的排序程序之中，具體實(shí)驗(yàn)數(shù)據(jù)如表7和表8。由此可得，在運(yùn)用本文提出的Dispatcher安全性增強(qiáng)方法時(shí)，需要權(quán)衡保護(hù)強(qiáng)度和性能開銷，合理調(diào)整M、N、K、D和X五個(gè)參數(shù)，通常只對(duì)軟件中關(guān)鍵算法或模塊進(jìn)行保護(hù)。

表7 不同虛擬機(jī)下測試程序時(shí)間開銷

表8 不同虛擬機(jī)下測試程序空間開銷

4.2 不同虛擬機(jī)下信息比較

對(duì)比不同虛擬機(jī)框架下受保護(hù)程序，相關(guān)信息如表9所示。商業(yè)級(jí)虛擬機(jī)框架CV和VMP中Handler數(shù)目比原始VM和MNKDX_VM要多，由于MNKDX_VM是基于原始VM框架的Dispatcher模塊強(qiáng)度升級(jí)，因此兩者Handler數(shù)目和指令序列狀態(tài)一致，MNKDX_VM中Dispatcher模塊中的指令狀態(tài)根據(jù)D數(shù)目部分或全部為密文。MNKDX_VM相比原始VM、CV和VMP在Dispatcher模塊強(qiáng)度上進(jìn)行了改進(jìn)，增加的加解密、隨機(jī)選擇和不透明謂詞等函數(shù)大幅度增加了逆向攻擊者的分析難度。

表9 不同虛擬機(jī)下測試程序信息比較

4.3 應(yīng)用程序保護(hù)

為了測試本文方法在實(shí)際場景下針對(duì)典型應(yīng)用程序的真實(shí)效果，在Win7操作系統(tǒng)下選取實(shí)驗(yàn)材料5)中五款程序，分別采用CV、VMP和MNKDX_VM對(duì)其進(jìn)行保護(hù)，相關(guān)實(shí)驗(yàn)測試結(jié)果如表10和表11所示。由數(shù)據(jù)可得，未受到保護(hù)時(shí)的原始程序都可以正常運(yùn)行，而且啟動(dòng)時(shí)間都小于0.5秒，當(dāng)采用VMP虛擬機(jī)保護(hù)軟件對(duì)其進(jìn)行保護(hù)時(shí)，notepad和regedt32兩款圖形化程序依然可以正常運(yùn)行，啟動(dòng)時(shí)間小于1秒，而其他三款程序都不能正常啟動(dòng)。當(dāng)采用CV虛擬機(jī)保護(hù)軟件對(duì)應(yīng)用程序進(jìn)行保護(hù)時(shí)，本文分別選擇了其中速度最快的虛擬機(jī)引擎tiger32_red和復(fù)雜程度最高的虛擬機(jī)引擎eagle32_black；當(dāng)采用CV對(duì)實(shí)際應(yīng)用程序進(jìn)行保護(hù)時(shí)，除了regedt32依舊能夠在較大的時(shí)間開銷(tiger32_red為3秒左右，eagle32_black為8秒左右)下正常運(yùn)行，其他應(yīng)用程序都不能夠正常啟動(dòng)。而在設(shè)定M=4、N=4、K=4、D=4和X=3，采用本文虛擬機(jī)框架對(duì)這些應(yīng)用程序進(jìn)行保護(hù)時(shí)，五款程序都能夠正常運(yùn)行，而且增長的時(shí)間開銷控制在一個(gè)較為合理的范圍。另外從實(shí)際場景下的應(yīng)用程序所占系統(tǒng)空間來看，本文方法保護(hù)后的程序所占系統(tǒng)空間相比CV和VMP有較大幅度的降低。

表10 不同虛擬機(jī)下應(yīng)用程序運(yùn)行狀態(tài)

續(xù)表10

表11 不同虛擬機(jī)下應(yīng)用程序空間開銷

5 結(jié) 語

本文針對(duì)現(xiàn)有虛擬機(jī)保護(hù)框架中Dispatcher模塊抗逆向攻擊安全性不高的問題，提出一種Dispatcher模塊安全性的增強(qiáng)方法，提升了虛擬機(jī)保護(hù)框架中Dispatcher模塊代碼對(duì)靜態(tài)反匯編、內(nèi)存斷點(diǎn)和優(yōu)化等逆向分析難度，提升了虛擬機(jī)保護(hù)框架的整體安全性。該方法同樣適用于現(xiàn)有其他虛擬機(jī)Dispatcher模塊的強(qiáng)度升級(jí)。但在強(qiáng)度提升的同時(shí)，將給受保護(hù)程序引入一些額外的函數(shù)及運(yùn)行控制信息，會(huì)帶來一定的時(shí)間和空間開銷。在實(shí)際使用本文方法時(shí)，需要合理對(duì)不同參數(shù)進(jìn)行設(shè)置，以平衡保護(hù)強(qiáng)度和性能開銷。下一步將對(duì)控制流迭代混淆和加解密方案進(jìn)行優(yōu)化，并在大量具有不同結(jié)構(gòu)的程序基礎(chǔ)上，對(duì)本文相關(guān)參數(shù)的最優(yōu)選擇問題進(jìn)行深入研究。