面向擬態(tài)存儲(chǔ)系統(tǒng)的高效同步方法研究

李婉桃 張帆 陳鑫 朱進(jìn) 黃瀟

摘 要：針對(duì)現(xiàn)有擬態(tài)存儲(chǔ)架構(gòu)中數(shù)據(jù)同步方法時(shí)延增速過(guò)快，導(dǎo)致系統(tǒng)安全調(diào)度時(shí)的性能下降問(wèn)題，提出了一種預(yù)同步模型，讓備用執(zhí)行體在異構(gòu)池中利用檢查點(diǎn)進(jìn)行數(shù)據(jù)預(yù)同步工作，從而減少執(zhí)行體上線時(shí)間。進(jìn)一步地，根據(jù)預(yù)同步模型的同步特點(diǎn)和切換調(diào)度情況，提出一種執(zhí)行周期最大有效率的檢查點(diǎn)放置（execution cycle maximum efficiency checkpointing，CMEC）方法。通過(guò)最大化每個(gè)執(zhí)行周期的有效工作率求得最佳的檢查點(diǎn)間隔，較好地平衡了檢查點(diǎn)開(kāi)銷(xiāo)和回滾開(kāi)銷(xiāo)。實(shí)驗(yàn)證明，與現(xiàn)有的全量同步策略相比，該方法縮短了執(zhí)行體上線過(guò)程中的同步時(shí)間開(kāi)銷(xiāo)，提高了同步效率，保障了系統(tǒng)在業(yè)務(wù)量不斷增加場(chǎng)景下的服務(wù)穩(wěn)定性和連續(xù)性。

關(guān)鍵詞：擬態(tài)存儲(chǔ)系統(tǒng)；預(yù)同步模型；檢查點(diǎn)；服務(wù)穩(wěn)定性和連續(xù)性

中圖分類(lèi)號(hào)：TP309.3?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）09-036-2792-06

doi：10.19734/j.issn.1001-3695.2023.02.0055

Research on efficient synchronization method for mimic storage system

Li Wantao1，2，Zhang Fan3，Chen Xin2，Zhu Jin2，Huang Xiao2

（1.School of Cyber Science & Engineering，Southeast University，Nanjing 210000，China；2.Endogenous Security Research Center，Purple Mountain Laboratory，Nanjing 210000，China；3.National Digital Switching System Engineering & Technological R&D Center，Zhengzhou 450000，China）

Abstract：Aiming at solving the problem that rapid increase of time delay in data synchronization within existing mimic storage architecture，which leads to the performance degradation during system security scheduling，this paper proposed a pre-synchronization model that enabled standby executors to utilize checkpoints in heterogeneous pools for data pre- synchronization，thereby reducing the time required for the executor to go online.Furthermore，according to the synchronization characteristics of the pre-synchronization model and the switching scheduling situation，this paper designed CMEC method.This method could determine the optimal checkpoint interval by maximizing the effective work rate of each execution cycle，balancing checkpoint overhead and rollback overhead.The experiments show that，compared with the existing full-volume synchronization strategy，this method shortens the synchronization time required for the executor to go online，improves the synchronization efficiency and ensures the stability and continuity of the system under increasingly heavy business loads.

Key words：mimic storage system；pre-synchronization model；checkpoint；service stability and continuity

0 引言

隨著云計(jì)算和大數(shù)據(jù)技術(shù)的高速發(fā)展與應(yīng)用，計(jì)算、存儲(chǔ)數(shù)據(jù)等資源愈發(fā)呈現(xiàn)共享化、集中化趨勢(shì)，在促進(jìn)服務(wù)能力更靈活高效的同時(shí)，也加劇了系統(tǒng)的功能安全與信息安全問(wèn)題。特別是近年來(lái)眾多隱私數(shù)據(jù)泄露與違法交易事件被頻繁曝出，使得人們對(duì)于重要業(yè)務(wù)和數(shù)據(jù)遷移上云抱有極大遲疑，數(shù)據(jù)安全已經(jīng)成為了制約新一代信息技術(shù)發(fā)展的核心問(wèn)題。

在整個(gè)數(shù)據(jù)安全的研究中，數(shù)據(jù)存儲(chǔ)系統(tǒng)的安全性與可靠性是一個(gè)重要方向。擬態(tài)存儲(chǔ)系統(tǒng)，正是從應(yīng)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)中的漏洞和后門(mén)問(wèn)題出發(fā)，基于內(nèi)生安全擬態(tài)防御理論與方法對(duì)分布式存儲(chǔ)架構(gòu)進(jìn)行重新設(shè)計(jì)和實(shí)現(xiàn)，期望為大數(shù)據(jù)和云計(jì)算場(chǎng)景提供更為安全可靠的數(shù)據(jù)存儲(chǔ)服務(wù)支撐。

其核心設(shè)計(jì)思想是劃定系統(tǒng)中核心元數(shù)據(jù)服務(wù)作為擬態(tài)防護(hù)邊界，引入動(dòng)態(tài)（dynamicity）、異構(gòu)（heterogeneity）、冗余（redundancy）和裁決反饋的機(jī)制［1，2］，改善原有分布式存儲(chǔ)系統(tǒng)架構(gòu)靜態(tài)、相似、單一的基因缺陷，使擬態(tài)化分布式存儲(chǔ)系統(tǒng)從結(jié)構(gòu)上具備對(duì)漏洞和后門(mén)內(nèi)生的抵御能力［3］，以此保證分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全。目前，擬態(tài)存儲(chǔ)系統(tǒng)的安全性在理論和原型測(cè)試上均得到較好印證，但在異構(gòu)執(zhí)行體構(gòu)建、擬態(tài)裁決調(diào)度的合理性、性能開(kāi)銷(xiāo)、魯棒性等方面仍存在諸多需要研究的問(wèn)題。

在擬態(tài)存儲(chǔ)系統(tǒng)中，擬態(tài)調(diào)度是提供系統(tǒng)動(dòng)態(tài)性的重要機(jī)制。當(dāng)某個(gè)執(zhí)行體受到攻擊輸出異常時(shí)，系統(tǒng)會(huì)調(diào)度其下線清洗恢復(fù)，同時(shí)從異構(gòu)池中選取“純凈”的執(zhí)行體上線繼續(xù)執(zhí)行元數(shù)據(jù)服務(wù)功能，以此往復(fù)保證系統(tǒng)功能和數(shù)據(jù)的安全魯棒。這個(gè)環(huán)節(jié)中至關(guān)重要的一點(diǎn)，就是要保證新上線執(zhí)行體的運(yùn)行狀態(tài)和數(shù)據(jù)能夠與已在線執(zhí)行體同步至相同狀態(tài)，否則便無(wú)法保證系統(tǒng)一致性的基礎(chǔ)前提。進(jìn)一步地，隨著擬態(tài)存儲(chǔ)系統(tǒng)規(guī)模與業(yè)務(wù)量的增大，所需同步的系統(tǒng)元數(shù)據(jù)體量和時(shí)間開(kāi)銷(xiāo)均會(huì)增加，導(dǎo)致系統(tǒng)服務(wù)連續(xù)性急劇下降。因此，為支撐系統(tǒng)快速且正確地調(diào)度切換，就需要研究和設(shè)計(jì)高效的同步方法，從而保證擬態(tài)存儲(chǔ)系統(tǒng)的可用性、穩(wěn)定性。

針對(duì)上述問(wèn)題，本文期望引入檢查點(diǎn)機(jī)制，從而利用數(shù)據(jù)的預(yù)同步來(lái)達(dá)成數(shù)據(jù)高效同步的目標(biāo)。盡管檢查點(diǎn)機(jī)制在鏡像管理、系統(tǒng)還原恢復(fù)等研究中均有涉及，但在擬態(tài)存儲(chǔ)系統(tǒng)中，該應(yīng)用仍然面臨著一定的難點(diǎn)：a）如何針對(duì)擬態(tài)存儲(chǔ)的多執(zhí)行體場(chǎng)景，設(shè)計(jì)簡(jiǎn)單合理的預(yù)同步模型與交互流程；b）如何根據(jù)擬態(tài)存儲(chǔ)的調(diào)度與數(shù)據(jù)同步特點(diǎn)，設(shè)置合理的檢查點(diǎn)間隔。對(duì)此，本文將著重研究和解決上述難點(diǎn)問(wèn)題，并通過(guò)實(shí)驗(yàn)測(cè)試來(lái)評(píng)估所提方法的正確性和有效性。

1 相關(guān)工作

文獻(xiàn)［4］給出了網(wǎng)絡(luò)空間擬態(tài)防御的動(dòng)態(tài)異構(gòu)冗余基本模型，在此基礎(chǔ)上文獻(xiàn)［5］面向Hadoop文件存儲(chǔ)系統(tǒng)設(shè)計(jì)了一種擬態(tài)化架構(gòu)，如圖1所示。

系統(tǒng)的元數(shù)據(jù)服務(wù)節(jié)點(diǎn)基于DHR模型重新進(jìn)行了設(shè)計(jì)實(shí)現(xiàn)。在保留原有功能接口和對(duì)外交互方式不變的基礎(chǔ)上，分發(fā)表決模塊將輸入的交互信息分發(fā)給多路在線的異構(gòu)執(zhí)行體，并且收集其返回的響應(yīng)結(jié)果進(jìn)行裁決輸出。當(dāng)裁決過(guò)程發(fā)現(xiàn)了不一致信息，就會(huì)將異常信息上報(bào)給反饋控制模塊進(jìn)行動(dòng)態(tài)調(diào)度處理。經(jīng)過(guò)對(duì)執(zhí)行體的下線、清洗、同步、上線等一系列操作，在線執(zhí)行體集合能夠?qū)Ξ?dāng)前攻擊迭代收斂至相對(duì)安全的狀態(tài)，以此保證整個(gè)系統(tǒng)的安全性和穩(wěn)定性。

文獻(xiàn)［5］提出了一種擬態(tài)存儲(chǔ)架構(gòu)并驗(yàn)證了其有效性，擬態(tài)防御技術(shù)也在Web、防火墻、SDN、數(shù)據(jù)庫(kù)等［6～9］領(lǐng)域得到了廣泛應(yīng)用，但它們都未給出數(shù)據(jù)同步的具體方法。目前擬態(tài)應(yīng)用中涉及到同步問(wèn)題的研究主要有如下兩種思路。一種思路是將各個(gè)執(zhí)行體維護(hù)的主要數(shù)據(jù)存放在后端數(shù)據(jù)庫(kù)中，凡是新上線的執(zhí)行體都和其他在線執(zhí)行體一樣，與數(shù)據(jù)庫(kù)交互從而保證數(shù)據(jù)狀態(tài)一致。例如文獻(xiàn)［10］提出利用異地的備份服務(wù)器資源池對(duì)數(shù)據(jù)庫(kù)服務(wù)器執(zhí)行體進(jìn)行備份同步；文獻(xiàn)［11］通過(guò)配置分布式數(shù)據(jù)庫(kù)在每個(gè)控制器節(jié)點(diǎn)上實(shí)現(xiàn)多節(jié)點(diǎn)間的數(shù)據(jù)同步；文獻(xiàn)［12］利用核心數(shù)據(jù)庫(kù)分析來(lái)自不同執(zhí)行體的數(shù)據(jù)并利用強(qiáng)一致性將數(shù)據(jù)整合成一個(gè)檢查點(diǎn)，解決擬態(tài)網(wǎng)絡(luò)操作系統(tǒng)在運(yùn)行過(guò)程中的數(shù)據(jù)同步問(wèn)題。但是，這種思路受限于原有應(yīng)用場(chǎng)景的數(shù)據(jù)存儲(chǔ)模型，針對(duì)擬態(tài)存儲(chǔ)系統(tǒng)執(zhí)行體處理邏輯和數(shù)據(jù)強(qiáng)綁定的情況則難以真正實(shí)施。另外一種思路是選擇相對(duì)可靠的執(zhí)行體作為同步數(shù)據(jù)源進(jìn)行數(shù)據(jù)和狀態(tài)同步。例如文獻(xiàn)［13］提出基于執(zhí)行體的歷史信息和異構(gòu)性的置信目標(biāo)選擇可靠執(zhí)行體，從中獲取元數(shù)據(jù)信息達(dá)到狀態(tài)同步。這些方法通常在確定同步源后，將同步所需的數(shù)據(jù)文件和配置文件全量拷貝至待上線執(zhí)行體，加載完畢后轉(zhuǎn)入正常工作。那么整個(gè)過(guò)程中，待同步數(shù)據(jù)量大小就變得十分關(guān)鍵。對(duì)于一個(gè)擬態(tài)存儲(chǔ)系統(tǒng)來(lái)說(shuō)，數(shù)據(jù)量會(huì)隨著環(huán)境擴(kuò)容和業(yè)務(wù)積累而不斷提升。當(dāng)數(shù)據(jù)量較小時(shí)，同步過(guò)程耗時(shí)較短，系統(tǒng)的服務(wù)連續(xù)性尚可保持；隨著數(shù)據(jù)量不斷增加，同步耗時(shí)將會(huì)逐漸增大，系統(tǒng)的可用性也會(huì)大打折扣。受系統(tǒng)還原恢復(fù)和虛擬機(jī)鏡像管理等應(yīng)用技術(shù)機(jī)制的啟發(fā)，本文期望借助檢查點(diǎn)機(jī)制，并設(shè)置合理的檢查點(diǎn)間隔來(lái)解決數(shù)據(jù)量持續(xù)增加下的數(shù)據(jù)同步效率問(wèn)題。由于該思路尚未應(yīng)用于擬態(tài)系統(tǒng)的研究，所以本文針對(duì)其他領(lǐng)域已有的檢查點(diǎn)設(shè)置方法進(jìn)行了梳理歸納。

檢查點(diǎn)間隔設(shè)置方法主要分為兩類(lèi)。一類(lèi)是檢查點(diǎn)間隔隨時(shí)間動(dòng)態(tài)的變化，以減少頻繁檢查點(diǎn)帶來(lái)的系統(tǒng)開(kāi)銷(xiāo)。文獻(xiàn)［14］提出了一種迭代檢查點(diǎn)算法來(lái)計(jì)算具有中等失敗風(fēng)險(xiǎn)的作業(yè)的有效間隔，以最小化檢查點(diǎn)的預(yù)期成本。Akber等人［15］建議在故障率較低的系統(tǒng)中連續(xù)增加檢查點(diǎn)間隔來(lái)減少檢查點(diǎn)的數(shù)量，從而減少檢查點(diǎn)的開(kāi)銷(xiāo)。然而，上述為減少檢查點(diǎn)開(kāi)銷(xiāo)而動(dòng)態(tài)增大檢查點(diǎn)間隔的方法更適用于一般運(yùn)行穩(wěn)定的系統(tǒng)，對(duì)于常需進(jìn)行突發(fā)調(diào)度切換的擬態(tài)系統(tǒng)來(lái)說(shuō)并不適合。另一類(lèi)設(shè)置則根據(jù)具體應(yīng)用場(chǎng)景，計(jì)算出一段時(shí)間內(nèi)的最佳檢查點(diǎn)間隔。文獻(xiàn)［16］針對(duì)長(zhǎng)期運(yùn)行的軟件，從能耗和執(zhí)行時(shí)間的角度確定檢查點(diǎn)的最佳數(shù)量，進(jìn)一步導(dǎo)出最佳檢查點(diǎn)間隔，以最小化總平均能耗或總平均執(zhí)行時(shí)間。文獻(xiàn)［17］針對(duì)運(yùn)行在易故障平臺(tái)上的軟件應(yīng)用程序，建立了一個(gè)數(shù)學(xué)模型，通過(guò)最小化應(yīng)用程序的平均執(zhí)行時(shí)間來(lái)估計(jì)最佳檢查點(diǎn)間隔。文獻(xiàn)［18］針對(duì)分布式流處理系統(tǒng)，計(jì)算在不同工作負(fù)載下的最優(yōu)檢查點(diǎn)間隔。這些研究聚焦于系統(tǒng)容錯(cuò)性能與檢查點(diǎn)開(kāi)銷(xiāo)間的平衡，而針對(duì)擬態(tài)架構(gòu)，檢查點(diǎn)設(shè)置更需要關(guān)注如何根據(jù)調(diào)度切換和同步特性實(shí)現(xiàn)檢查點(diǎn)開(kāi)銷(xiāo)和同步開(kāi)銷(xiāo)的折中考慮。

綜上所述，現(xiàn)有的動(dòng)態(tài)變化和特定應(yīng)用場(chǎng)景下的檢查點(diǎn)間隔都無(wú)法直接引入到擬態(tài)架構(gòu)中應(yīng)用，需要進(jìn)一步根據(jù)擬態(tài)存儲(chǔ)元數(shù)據(jù)執(zhí)行體進(jìn)行模型設(shè)計(jì)，進(jìn)而依據(jù)同步的模型和特點(diǎn)確定合適的檢查點(diǎn)間隔方法。

2 擬態(tài)預(yù)同步模型

在擬態(tài)存儲(chǔ)系統(tǒng)中，為確保新上線執(zhí)行體的運(yùn)行狀態(tài)和數(shù)據(jù)與已在線執(zhí)行體一致，需進(jìn)行元數(shù)據(jù)的同步。傳統(tǒng)方法是新上線的執(zhí)行體依據(jù)相應(yīng)算法選擇一路在線執(zhí)行體，逐一獲取元數(shù)據(jù)進(jìn)行全量同步，但是這種方法效率較低。本章旨在原有擬態(tài)架構(gòu)的基礎(chǔ)上引入檢查點(diǎn)機(jī)制，建立預(yù)同步模型以解決在擬態(tài)切換調(diào)度時(shí)執(zhí)行體元數(shù)據(jù)同步的效率問(wèn)題。架構(gòu)設(shè)計(jì)如圖2所示。

2.1 模型設(shè)計(jì)

與初始的擬態(tài)架構(gòu)一致，模型中有客戶端、分發(fā)表決器、反饋控制模塊、NameNode（元數(shù)據(jù)執(zhí)行體）及DataNode（數(shù)據(jù)節(jié)點(diǎn)）。在保證原有架構(gòu)基本不變的前提下，為充分利用架構(gòu)中各節(jié)點(diǎn)的功能和特性，針對(duì)待上線節(jié)點(diǎn)同步數(shù)據(jù)的需求，將其設(shè)計(jì)為合并節(jié)點(diǎn)的角色。該節(jié)點(diǎn)具有雙重身份：一是作為檢查點(diǎn)機(jī)制中的合并節(jié)點(diǎn)，主要用于提前進(jìn)行元數(shù)據(jù)的同步；其次，從擬態(tài)系統(tǒng)的角度來(lái)看，它亦為異構(gòu)池中可供調(diào)度切換上線的備用執(zhí)行體。同步中最關(guān)鍵的問(wèn)題即為數(shù)據(jù)的正確性和可靠性，數(shù)據(jù)源的安全性直接關(guān)系到合并節(jié)點(diǎn)所同步數(shù)據(jù)的可信度，因而讓反饋控制模塊在承擔(dān)執(zhí)行體切換工作的同時(shí)，負(fù)責(zé)在線執(zhí)行體集合中可信同步源的選取工作。

預(yù)同步模型在工作時(shí)，客戶端的請(qǐng)求經(jīng)分發(fā)表決模塊分發(fā)至三個(gè)在線執(zhí)行體，若請(qǐng)求為創(chuàng)建、修改、刪除等寫(xiě)操作則記錄至元數(shù)據(jù)執(zhí)行體的操作日志文件中。反饋控制模塊選擇一路可信執(zhí)行體作為同步源，即圖2中的主節(jié)點(diǎn)。異構(gòu)池中的合并節(jié)點(diǎn)定期從主節(jié)點(diǎn)中獲取元數(shù)據(jù)鏡像文件和操作日志，將它們合并為新的鏡像文件后傳回主節(jié)點(diǎn)。這種周期性地獲取鏡像文件和日志文件來(lái)合并的操作稱之為檢查點(diǎn)。

當(dāng)預(yù)同步模型進(jìn)行執(zhí)行體調(diào)度切換時(shí)，需要將合并節(jié)點(diǎn)上線。由于該節(jié)點(diǎn)的磁盤(pán)中已保存了一份與主節(jié)點(diǎn)相同的鏡像文件，只需將鏡像文件加載至內(nèi)存中，再使用從反饋控制模塊處獲得的主節(jié)點(diǎn)操作日志來(lái)恢復(fù)已在線執(zhí)行體的最新?tīng)顟B(tài)。這種方法極大地縮短了擬態(tài)切換中元數(shù)據(jù)同步和狀態(tài)恢復(fù)所需的時(shí)間，從而實(shí)現(xiàn)了備用執(zhí)行體的快速上線。

完成執(zhí)行體的上線工作后，需選取合適的節(jié)點(diǎn)作為新的同步源。預(yù)同步模型可支持主節(jié)點(diǎn)的動(dòng)態(tài)切換，任何在線執(zhí)行體均可成為新的主節(jié)點(diǎn)。如圖3所示，反饋控制模塊根據(jù)相應(yīng)算法選擇在線執(zhí)行體集合（圖為nn2，nn3和nn4）中的一路作為新的主節(jié)點(diǎn)或同步源，合并節(jié)點(diǎn)即為異構(gòu)池中的新備用執(zhí)行體。在提升同步效率的同時(shí)，保證了系統(tǒng)的靈活性和可靠性。

2.2 流程設(shè)計(jì)

為了實(shí)現(xiàn)流暢的執(zhí)行體切換，幫助預(yù)同步模型更好地融合進(jìn)原有擬態(tài)架構(gòu)中，針對(duì)多執(zhí)行體場(chǎng)景，設(shè)計(jì)了以下的交互流程。

圖4主要描述了預(yù)同步模型中，從系統(tǒng)發(fā)出切換調(diào)度命令開(kāi)始到切換工作完成的整個(gè)過(guò)程。當(dāng)擬態(tài)存儲(chǔ)系統(tǒng)需要下線執(zhí)行體時(shí)，需從異構(gòu)池中選取一個(gè)新的執(zhí)行體上線，并使之與其他在線執(zhí)行體達(dá)到一致的狀態(tài)，以保證擬態(tài)架構(gòu)的正常運(yùn)轉(zhuǎn)。在此過(guò)程中，步驟a）反饋控制模塊向待下線執(zhí)行體發(fā)送下線指令，并向異構(gòu)池中待上線的執(zhí)行體發(fā)送上線指令，以準(zhǔn)備進(jìn)行節(jié)點(diǎn)切換。在發(fā)送切換命令后，步驟b）中反饋控制模塊依據(jù)相應(yīng)的算法選擇一路執(zhí)行體作為新的同步源。

在選擇同步源之后，通過(guò)步驟c）在選定的新主節(jié)點(diǎn)上執(zhí)行切換腳本。該腳本將修改即將成為主備執(zhí)行體和普通執(zhí)行體的配置文件，為后續(xù)切換做好配置準(zhǔn)備工作。為確保所有在線執(zhí)行體的元數(shù)據(jù)狀態(tài)保持一致，步驟d）中反饋控制模塊將向在線執(zhí)行體發(fā)送進(jìn)入安全模式的命令，給予待上線的執(zhí)行體獲取余下操作日志的時(shí)機(jī)。隨后，步驟e）f）發(fā)送剩余操作日志，確保待上線執(zhí)行體已完全同步操作日志。

待上線執(zhí)行體完成對(duì)原主節(jié)點(diǎn)日志的同步后，將其元數(shù)據(jù)目錄更改為在線工作目錄，完成其余準(zhǔn)備工作后啟動(dòng)上線。同時(shí)，下線的執(zhí)行體需將元數(shù)據(jù)目錄更改為合并節(jié)點(diǎn)的工作目錄，并重新啟動(dòng)為新主節(jié)點(diǎn)對(duì)應(yīng)的合并節(jié)點(diǎn)。

該流程實(shí)際將預(yù)同步模型納入擬態(tài)架構(gòu)中，能夠高效自動(dòng)化地完成任意節(jié)點(diǎn)的切換，同時(shí)滿足隨機(jī)選取主節(jié)點(diǎn)的要求，提升了預(yù)同步模型下系統(tǒng)的安全性和穩(wěn)定性。

2.3 檢查點(diǎn)設(shè)置

在確定了預(yù)同步模型后，另一個(gè)關(guān)鍵問(wèn)題則是檢查點(diǎn)該如何設(shè)置。檢查點(diǎn)間隔即合并節(jié)點(diǎn)獲取鏡像文件和操作日志進(jìn)行合并的時(shí)間間隔。若間隔過(guò)短，頻繁地檢查點(diǎn)操作會(huì)增加系統(tǒng)開(kāi)銷(xiāo)，而間隔過(guò)長(zhǎng)則會(huì)增加回滾恢復(fù)的開(kāi)銷(xiāo)。為在擬態(tài)預(yù)同步模型中權(quán)衡加載日志的開(kāi)銷(xiāo)和檢查點(diǎn)開(kāi)銷(xiāo)，根據(jù)系統(tǒng)的切換和同步特點(diǎn)建立執(zhí)行周期模型，采用了一種執(zhí)行周期最大有效率的檢查點(diǎn)放置（execution cycle maximum efficiency checkpointing，CMEC）方法來(lái)確定適當(dāng)?shù)臋z查點(diǎn)序列，使得每個(gè)執(zhí)行周期中真正有效的執(zhí)行時(shí)間占比率達(dá)到最大，從而動(dòng)態(tài)地確定各個(gè)周期的最佳檢查點(diǎn)間隔。

系統(tǒng)在正常運(yùn)行、檢查點(diǎn)操作以及啟動(dòng)前日志的回滾恢復(fù)三個(gè)階段交替執(zhí)行。日志的回滾恢復(fù)常發(fā)生于擬態(tài)系統(tǒng)的調(diào)度切換中，為方便統(tǒng)計(jì)和計(jì)算相關(guān)開(kāi)銷(xiāo)數(shù)據(jù)，將兩個(gè)連續(xù)切換事件之間的時(shí)間段稱為執(zhí)行周期。如圖5所示，在時(shí)間t內(nèi)，執(zhí)行周期從時(shí)間t0的切換事件Sm開(kāi)始，經(jīng)過(guò)重放日志恢復(fù)過(guò)程R，正常運(yùn)行和檢查點(diǎn)操作，到下一個(gè)切換事件Sm+1結(jié)束。在執(zhí)行周期中，設(shè)每個(gè)檢查點(diǎn)操作均產(chǎn)生時(shí)間開(kāi)銷(xiāo)C，檢查點(diǎn)序列{C1，C2，C3，…，Cn-1}已經(jīng)成功地放置在時(shí)間{t1，t2，t3，…，tn-1}（n＝1，2，3，…）。執(zhí)行周期t被內(nèi)部檢查點(diǎn)序列劃分為多個(gè)間隔{I1，I2，…，In}［19］。

為尋找最佳的檢查點(diǎn)間隔，進(jìn)行如下假設(shè)：

a）擬態(tài)存儲(chǔ)系統(tǒng)執(zhí)行體切換時(shí)間遵循泊松分布，故障發(fā)生率為λ，故障即為擬態(tài)存儲(chǔ)系統(tǒng)中的切換事件；

b）采用順序的檢查點(diǎn)時(shí)，檢查點(diǎn)延遲對(duì)最佳的等距檢查點(diǎn)間隔的影響可以忽略不計(jì)，因此在該模型中不考慮檢查點(diǎn)延遲；

c）在一次執(zhí)行周期間，執(zhí)行體始終處于運(yùn)行狀態(tài)，無(wú)法改變其檢查點(diǎn)間隔。因此，假設(shè)在一次執(zhí)行周期中檢查點(diǎn)開(kāi)銷(xiāo)恒定，力求得到一次執(zhí)行周期中最佳的等距檢查點(diǎn)間隔。

將執(zhí)行周期中用于處理用戶請(qǐng)求的真正有效工作時(shí)間段稱之為工作段，檢查點(diǎn)開(kāi)銷(xiāo)C和恢復(fù)R稱之為附加段。在圖5中，tn-1后的X段也為附加段，因?yàn)樵赟m+1處發(fā)生了切換，切換后系統(tǒng)需回滾至In-1段的檢查點(diǎn)。設(shè)工作段在一個(gè)執(zhí)行周期內(nèi)的持續(xù)時(shí)間總和為W，附加段的持續(xù)時(shí)間總和為A，則該執(zhí)行周期的總持續(xù)時(shí)間為W+A。據(jù)更新獎(jiǎng)賞過(guò)程定理［20］，該執(zhí)行周期的有效工作率為

H=Σ（W）Σ（A+W）=E（W）E（A+W）（1）

設(shè)系統(tǒng)在長(zhǎng)為t的時(shí)間間隔內(nèi)發(fā)生切換的次數(shù)N（t）服從參數(shù)為λt的泊松分布λt（N（t）～λt），λ為切換發(fā)生率。兩次連續(xù)切換間的時(shí)間間隔T的概率分布函數(shù)為F（t）=1-e-λt，平均切換時(shí)間為1/λ，等于A+W的期望值，故H=Σ（W）/Σ（A+W）=λE（W）。下面將以圖6為框架計(jì)算一個(gè)執(zhí)行周期的有效率，設(shè)每個(gè)間隔Ii中真正工作時(shí)間為T(mén)，則檢查點(diǎn)間隔為T(mén)+C，從t0～tn-1的有效工作時(shí)間為tn-1-t0-R-（n-1）C。

設(shè)P（Ii）是切換事件Si在Ii段發(fā)生的概率，故

E（W）=P（I1）×0+∑∞i=2P（Ii）×（ti-1-t0-（i-1）C-R）（2）

P（Ii）=F（ti）-F（ti-1）（3）

由式（2）和（3）得有效利用率H（T）為

H（T）=λE（W）=λ∑∞i=2P（Ii）×（ti-1-t0-（i-1）C-R）=

λ∑∞i=1P（Ii+1）×（ti-t0-iC-R）=

λ∑∞i=1［（1-e-λ（i+1）（T+C））-（1-e-λi（T+C））］（iT-R）=

λ∑∞i=1（e-λi（T+C）-e-λ（i+1）（T+C））（iT-R）=

λ（1-e-λ（T+C））∑∞i=1（e-λi（T+C））（iT-R）=

λ（1-e-λ（T+C））（T∑∞i=1ie-λi（T+C）-R∑∞i=1e-λi（T+C））=

λ（1-e-λ（T+C））［Te-λ（T+C）（1-e-λ（T+C））2-Re-λ（T+C）1-e-λ（T+C）］=

λ［Te-λ（T+C）1-e-λ（T+C）-Re-λ（T+C）］

由此可知，只需對(duì)有效利用率H（T）求極值，找到H（T）T=0時(shí)的Topt，Topt+C即為最佳的檢查點(diǎn)間隔。與Te-λ（T+C）1-e-λ（T+C）相比，Re-λ（T+C）的值微乎其微，因此H（T）≈ λTe-λ（T+C）1-e-λ（T+C）。在實(shí)驗(yàn)中，假設(shè)平均切換時(shí)間為2 h，則λ=1.389 9×10-4，實(shí)驗(yàn)時(shí)檢查點(diǎn)開(kāi)銷(xiāo)C平均為2 s。代入λ和C的值繪制Η（T）≈ λTe-λ（T+C）1-e-λ（T+C）的函數(shù)圖像，得到H（T）取最大值時(shí)的Topt值。

圖7為當(dāng)C=2 s且λ=1.389×10-4時(shí)的部分函數(shù)圖像，其橫坐標(biāo)為T(mén)，縱坐標(biāo)為有效利用率H。

由圖7可知，當(dāng)0Topt時(shí)，有效利用率H（T）遞減。圖中的Topt約為168 s，最佳的檢查點(diǎn)時(shí)間間隔即170 s，其中包括了檢查點(diǎn)開(kāi)銷(xiāo)的2 s。CMEC方法在每個(gè)執(zhí)行周期中達(dá)到最大的有效工作率，表明檢查點(diǎn)和回滾的附加開(kāi)銷(xiāo)占比最低，進(jìn)而實(shí)現(xiàn)檢查點(diǎn)開(kāi)銷(xiāo)和日志開(kāi)銷(xiāo)的平衡。

3 實(shí)驗(yàn)與測(cè)試

本實(shí)驗(yàn)依托于現(xiàn)有HDFS，在四臺(tái)Vmware虛擬機(jī)環(huán)境中搭建了Haoop3.7.1集群，其中包含主機(jī)名為master、slave1、slave2、slave3，對(duì)應(yīng)實(shí)驗(yàn)中的nn1、nn2、nn3、nn4四個(gè)節(jié)點(diǎn)。通過(guò)修改對(duì)應(yīng)的配置文件和編寫(xiě)切換腳本，簡(jiǎn)要模擬了擬態(tài)存儲(chǔ)系統(tǒng)的同步和切換過(guò)程。針對(duì)預(yù)同步模型的效率提升、同步的準(zhǔn)確性和性能損失方面，設(shè)計(jì)了三個(gè)部分實(shí)驗(yàn)：首先比較引入預(yù)同步機(jī)制前后的同步數(shù)據(jù)量大小和同步時(shí)間差異；其次對(duì)新上線執(zhí)行體的元數(shù)據(jù)與其余執(zhí)行體進(jìn)行了一致性對(duì)比；最后測(cè)量了引入預(yù)同步機(jī)制前后的讀寫(xiě)吞吐速率。

3.1 時(shí)間開(kāi)銷(xiāo)

為評(píng)估預(yù)同步機(jī)制在元數(shù)據(jù)同步方面的效率，將執(zhí)行體上線前所需同步的數(shù)據(jù)量大小和同步時(shí)間作為關(guān)鍵的評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)將預(yù)同步機(jī)制下的同步上線開(kāi)銷(xiāo)與現(xiàn)有同步方案進(jìn)行了比較?，F(xiàn)有的擬態(tài)存儲(chǔ)系統(tǒng)采用全量同步策略，即執(zhí)行體上線前，將同步源的所有元數(shù)據(jù)文件逐一發(fā)送至待上線節(jié)點(diǎn)。

在全量同步和預(yù)同步兩種策略下，同步時(shí)間通常包括元數(shù)據(jù)文件傳輸和重放日志以恢復(fù)狀態(tài)的時(shí)間。在此實(shí)驗(yàn)中，僅計(jì)算元數(shù)據(jù)文件的傳輸時(shí)間，不考慮重放日志的時(shí)間，且預(yù)同步機(jī)制能夠定期合并日志，其需重放的日志數(shù)量也顯然少于全量同步。因此，實(shí)驗(yàn)使用TestDFSIO工具分別測(cè)試在HDFS中寫(xiě)入30、50、100、200、400個(gè)10 M文件時(shí)所需傳輸?shù)脑獢?shù)據(jù)文件（鏡像文件和操作日志）的大小。在原有的擬態(tài)架構(gòu)中，當(dāng)節(jié)點(diǎn)新上線時(shí)，其內(nèi)部數(shù)據(jù)為空，需完全同步鏡像和日志文件。相比之下，引入預(yù)同步機(jī)制后，因備用執(zhí)行體在異構(gòu)池時(shí)已由檢查點(diǎn)提前同步了主節(jié)點(diǎn)的鏡像文件，只需再同步日志文件即可。由圖8可知，隨著系統(tǒng)處理的數(shù)據(jù)量和業(yè)務(wù)量不斷增加，執(zhí)行體鏡像文件所存儲(chǔ)的數(shù)據(jù)規(guī)模也逐漸擴(kuò)大。由此導(dǎo)致全量同步的數(shù)據(jù)量逐漸增加，而預(yù)同步卻能保持相對(duì)穩(wěn)定。

當(dāng)網(wǎng)絡(luò)帶寬為2 Mbps時(shí)，繪出其傳輸所需時(shí)間曲線，如圖9所示。在2 Mbps的網(wǎng)絡(luò)帶寬下，當(dāng)寫(xiě)入文件數(shù)為30時(shí)，預(yù)同步的開(kāi)銷(xiāo)減小并不明顯，同步時(shí)間僅縮短了2 ms；而當(dāng)寫(xiě)入文件數(shù)增加到400時(shí)，預(yù)同步比全量同步方案的時(shí)間開(kāi)銷(xiāo)減小了18 ms。隨著網(wǎng)絡(luò)帶寬的增加，數(shù)據(jù)同步的開(kāi)銷(xiāo)相應(yīng)減少，預(yù)同步和全量同步方案間的差距亦隨之變小。當(dāng)網(wǎng)絡(luò)帶寬增加到20 Mbps，寫(xiě)入文件數(shù)為400時(shí)，兩種方案的同步時(shí)間差縮短為1.8 ms。這表明擬態(tài)預(yù)同步機(jī)制在網(wǎng)絡(luò)質(zhì)量較差且處理文件數(shù)較多的情況下表現(xiàn)出更加明顯的優(yōu)勢(shì)，而在網(wǎng)絡(luò)質(zhì)量好或處理文件較少也始終優(yōu)于原擬態(tài)的全量同步方案。無(wú)論系統(tǒng)的規(guī)模和業(yè)務(wù)量如何增長(zhǎng)，擬態(tài)預(yù)同步機(jī)制始終能夠保持穩(wěn)定和較高的同步效率，保證系統(tǒng)流暢的調(diào)度切換以支撐服務(wù)的連續(xù)性。

3.2 元數(shù)據(jù)一致性

實(shí)驗(yàn)前各執(zhí)行體的元數(shù)據(jù)為空，無(wú)任何文件，故可通過(guò)對(duì)比新上線執(zhí)行體與已在線執(zhí)行體的文件一致性，以檢驗(yàn)預(yù)同步的正確性。為此，選取圖3的切換情況進(jìn)行驗(yàn)證，在實(shí)際的擬態(tài)調(diào)度環(huán)境中，切換工作不會(huì)在所有日志均由檢查點(diǎn)操作合并后再進(jìn)行，故本實(shí)驗(yàn)分兩種情況來(lái)驗(yàn)證預(yù)同步的準(zhǔn)確性：a）驗(yàn)證合并節(jié)點(diǎn)nn4上線前已完全同步主節(jié)點(diǎn)的操作日志并生成鏡像文件的情況；b）驗(yàn)證nn4上線前并未完全同步主節(jié)點(diǎn)所有操作日志的情況。

首先驗(yàn)證情況a），將a.txt文件上傳至擬態(tài)HDFS的根目錄下，待nn4經(jīng)檢查點(diǎn)合并完操作日志生成新的鏡像文件后，進(jìn)行調(diào)度切換工作。模擬反饋控制模塊對(duì)nn1和nn4進(jìn)行下線和上線指令后，在其選定的主節(jié)點(diǎn)nn3上啟用切換腳本sync.sh。圖10為切換過(guò)程中的配置同步信息，切換完成后驗(yàn)證新上線的nn4節(jié)點(diǎn)，發(fā)現(xiàn)其狀態(tài)已由備用執(zhí)行體轉(zhuǎn)為Active執(zhí)行體，在根目錄文件中顯示已將a.txt文件同步過(guò)來(lái)。

隨后驗(yàn)證情況b），上傳a.txt文件至擬態(tài)HDFS的根目錄下，待上傳a.txt文件的操作日志被同步完成后上傳b.txt文件，不等合并節(jié)點(diǎn)nn4從主節(jié)點(diǎn)nn3獲取上傳b.txt的日志，反饋控制模塊發(fā)出切換命令，如圖11所示。

此時(shí)nn3的鏡像文件fsimage13中包含了a.txt的元數(shù)據(jù)信息并經(jīng)檢查點(diǎn)同步給了備用執(zhí)行體nn4，而文件b.txt上傳后還未進(jìn)行檢查點(diǎn)操作就發(fā)生了切換動(dòng)作，因此該文件的上傳日志并未寫(xiě)入檢查點(diǎn)fsimage13中，而位于edits_inprogress14文件中。nn3的元數(shù)據(jù)目錄如圖12所示。

在進(jìn)行切換工作后觀察新上線的nn4中是否存在b.txt文件。發(fā)現(xiàn)在nn4上線后，可以訪問(wèn)a.txt和b.txt，觀察其元數(shù)據(jù)目錄發(fā)現(xiàn)它已成功同步了未在檢查點(diǎn)fsimage13文件的上傳b.txt文件的操作日志。nn4的根目錄文件和nn4的元數(shù)據(jù)目錄如圖13、14所示。之所以能將檢查點(diǎn)后的操作記錄同步至待上線執(zhí)行體，是因?yàn)閚n4節(jié)點(diǎn)在切換腳本中同步了編輯日志文件edits_inprogress14，所以可以恢復(fù)上傳b.txt文件至擬態(tài)HDFS的元數(shù)據(jù)信息，從而保證了在未完全同步日志下執(zhí)行體切換前后元數(shù)據(jù)的一致性。實(shí)驗(yàn)表明，在兩種同步日志的情況下，預(yù)同步模型均能保證擬態(tài)調(diào)度切換工作的可靠性。

3.3 性能損失

由于擬態(tài)預(yù)同步模型的檢查點(diǎn)機(jī)制有一定的性能損耗，為評(píng)估擬態(tài)預(yù)同步模型的性能，并分析前文所述CMEC方法所得間隔的優(yōu)劣，使用基準(zhǔn)測(cè)試程序TestDFSIO對(duì)比了擬態(tài)存儲(chǔ)系統(tǒng)在不同同步策略和同步間隔下讀寫(xiě)操作的吞吐速率。具體比較了擬態(tài)系統(tǒng)現(xiàn)有的全量同步策略、預(yù)同步策略下的CMEC方法間隔170 s、小于CMEC間隔的固定間隔1（120 s）以及大于CMEC間隔的固定間隔2（220 s）這四種設(shè)置的性能差異。使用TestDFSIO工具分別測(cè)試上述四種方案在HDFS中讀寫(xiě)30、50、100、200、400個(gè)10 M文件時(shí)的吞吐速率。

根據(jù)圖15和16的讀寫(xiě)吞吐速率對(duì)比可知，隨著讀寫(xiě)數(shù)據(jù)量的增加，各方案的吞吐速率均呈現(xiàn)出先快后慢的增長(zhǎng)趨勢(shì)，全量同步策略在讀寫(xiě)操作下的性能始終優(yōu)于預(yù)同步策略。在預(yù)同步策略中，CMEC間隔在元數(shù)據(jù)讀寫(xiě)操作下的性能表現(xiàn)最佳，僅次于全量同步方案。盡管在寫(xiě)操作時(shí)與全量同步相比吞吐速率略有下降，特別在寫(xiě)入文件數(shù)為100時(shí)，下降約5%。而在讀操作時(shí)，隨讀取數(shù)據(jù)量的增加，CMEC間隔的性能表現(xiàn)逐漸與全量同步相當(dāng)。固定間隔為120 s的方案表現(xiàn)最差，因其小于CMEC間隔，頻繁的合并操作引入了更多的系統(tǒng)開(kāi)銷(xiāo)，當(dāng)寫(xiě)入文件數(shù)為200時(shí)，CMEC間隔相對(duì)其提升了約6%的吞吐速率。固定間隔為220 s的方案表現(xiàn)略差于CMEC間隔，即便其檢查點(diǎn)數(shù)量更少。由于間隔過(guò)長(zhǎng)，每個(gè)檢查點(diǎn)操作所需合并的日志數(shù)據(jù)開(kāi)銷(xiāo)也隨之增加，這導(dǎo)致該間隔下系統(tǒng)的讀寫(xiě)性能略低于最佳間隔。

在擬態(tài)架構(gòu)中引入預(yù)同步機(jī)制雖對(duì)性能有一定影響，但若按本文所提的CMEC方法設(shè)置預(yù)同步模型中的檢查點(diǎn)間隔，可以將損失降至最低。這表明預(yù)同步機(jī)制引入的性能損失是可承受的，且隨處理數(shù)據(jù)量的增加，損失率逐漸降低，這與本文預(yù)同步模型的初衷和適用場(chǎng)景不謀而合。

3.4 應(yīng)用與局限性分析

由于分布式存儲(chǔ)大多基于云計(jì)算和大數(shù)據(jù)的環(huán)境搭建，其數(shù)據(jù)體量本身較為龐大，同時(shí)需不斷地?cái)U(kuò)容以應(yīng)對(duì)增長(zhǎng)的業(yè)務(wù)需求。在實(shí)際應(yīng)用中如何保證調(diào)度切換時(shí)系統(tǒng)始終能高效地同步數(shù)據(jù)，而不因數(shù)據(jù)量的增加降低同步效率至關(guān)重要。本文方法可適用于擬態(tài)存儲(chǔ)系統(tǒng)，解決隨著集群規(guī)模不斷增擴(kuò)大而導(dǎo)致的業(yè)務(wù)量和數(shù)據(jù)量快速增長(zhǎng)的問(wèn)題。另外，本文方法還可在其他類(lèi)似的擬態(tài)架構(gòu)中使用。同時(shí)，本文方法亦能作為數(shù)據(jù)同步的一種參考方案，如云計(jì)算平臺(tái)、大規(guī)模數(shù)據(jù)中心等場(chǎng)景。希望研究結(jié)果能為擬態(tài)場(chǎng)景下的高效數(shù)據(jù)同步方法提供有益的參考和借鑒。

然而，本文方法在預(yù)同步機(jī)制的數(shù)據(jù)一致性驗(yàn)證上仍存在著一定的局限性，其中網(wǎng)絡(luò)中的數(shù)據(jù)延遲和數(shù)據(jù)質(zhì)量問(wèn)題可能會(huì)導(dǎo)致數(shù)據(jù)的不完整和同步的失敗。為了提高預(yù)同步模型的同步準(zhǔn)確率，需要結(jié)合實(shí)際擬態(tài)環(huán)境的數(shù)據(jù)一致性驗(yàn)證進(jìn)一步地研究和改進(jìn)。

4 結(jié)束語(yǔ)

為了應(yīng)對(duì)擬態(tài)系統(tǒng)在數(shù)據(jù)量和業(yè)務(wù)量持續(xù)增加的情況下，調(diào)度切換時(shí)元數(shù)據(jù)同步效率低下的問(wèn)題，本文提出了一種新穎的解決思路。通過(guò)在原有擬態(tài)架構(gòu)中引入檢查點(diǎn)機(jī)制來(lái)建立預(yù)同步模型，利用合并節(jié)點(diǎn)實(shí)現(xiàn)對(duì)元數(shù)據(jù)文件的預(yù)先同步進(jìn)而提升同步效率。在新上線的執(zhí)行體加載已同步的鏡像文件后，只需花費(fèi)少量時(shí)間重放日志即可投入運(yùn)行，保證了系統(tǒng)的穩(wěn)定性和服務(wù)的連續(xù)性。此外，根據(jù)模型的同步特性和調(diào)度切換情況，在建立執(zhí)行周期模型的基礎(chǔ)上提出了CMEC方法，通過(guò)最大化每個(gè)周期中的有效工作率推導(dǎo)出最優(yōu)檢查點(diǎn)間隔，較好地平衡了檢查點(diǎn)開(kāi)銷(xiāo)和回滾開(kāi)銷(xiāo)。實(shí)驗(yàn)結(jié)果表明，本文方法可提高擬態(tài)系統(tǒng)中的元數(shù)據(jù)同步效率，同時(shí)利用CMEC方法最小化對(duì)預(yù)同步機(jī)制對(duì)系統(tǒng)性能的影響，具有良好的可靠性和實(shí)用性。后續(xù)將進(jìn)一步優(yōu)化CMEC方法間隔的設(shè)置，記錄每個(gè)執(zhí)行周期的檢查點(diǎn)開(kāi)銷(xiāo)，以實(shí)現(xiàn)動(dòng)態(tài)調(diào)整檢查點(diǎn)間隔。

參考文獻(xiàn)：

［1］Yu Haiyang，Li Hui，Yang Xin，et al.On distributed object storage architecture based on mimic defense［J］.China Communications，2021，18（8）：109-120.

［2］Lin Zhili，Li Kedan，Hou Hanxu，et al.MDFS：a mimic defense theory based architecture for distributed file system［C］//Proc of IEEE International Conference on Big Data.Piscataway，NJ：IEEE Press，2017：2670-2675.

［3］Song Ke，Wei Shuai，Zhang Wenjian，et al.An equivalent scheduling strategy for cyberspace mimicry defense based on security priority［C］//Proc of International Conference on Advanced Mechatronic Systems.Piscataway，NJ：IEEE Press，2018：52-57.

［4］鄔江興.網(wǎng)絡(luò)空間擬態(tài)防御研究［J］.信息安全學(xué)報(bào)，2016，1（4）：1-10.（Wu Jiangxing.Research on mimic defense in cyberspace［J］.Journal of Information Security，2016，1（4）：1-10.）

［5］郭威，謝光偉，張帆，等.一種分布式存儲(chǔ)系統(tǒng)擬態(tài)化架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)工程，2020，46（6）：12-19.（Guo Wei，Xie Guangwei，Zhang Fan，et al.Design and implementation of a mimic architecture for distributed storage system［J］.Computer Engineering，2020，46（6）：12-19.）

［6］劉昕林，黃建華，羅偉峰，等.動(dòng)態(tài)異構(gòu)冗余架構(gòu)下Web實(shí)踐及安全性分析［J］.計(jì)算機(jī)應(yīng)用，2021，41（S1）：125-130.（Liu Xinlin，Huang Jianhua，Luo Weifeng，et al.Web practice and security analysis under dynamic heterogeneous redundant architecture［J］.Journal of Computer Applications，2021，41（S1）：125-130.）

［7］劉文賀，賈洪勇，潘云飛.基于執(zhí)行體防御能力的擬態(tài)防火墻執(zhí)行體調(diào)度算法［J］.計(jì)算機(jī)科學(xué)，2022，49（S2）：690-695.（Liu Wenhe，Jia Hongyong，Pan Yunfei.Mimic firewall executor scheduling algorithm based on executor defense ability［J］.Computer Science，2022，49（S2）：690-695.）

［8］顧澤宇，張興明，林森杰.基于擬態(tài)防御理論的SDN控制層安全機(jī)制研究［J］.計(jì)算機(jī)應(yīng)用研究，2018，35（7）：2148-2152.（Gu Zeyu，Zhang Xingming，Lin Senjie.Research on security mechanism for SDN control layer based on mimic defense theory［J］.Application Research of Computers，2018，35（7）：2148-2152.）

［9］萬(wàn)仕賢，趙瑜，吳承榮.擬態(tài)數(shù)據(jù)庫(kù)的網(wǎng)絡(luò)攻擊抵御能力評(píng)估和實(shí)證［J］.計(jì)算機(jī)應(yīng)用與軟件，2022，39（1）：319-327.（Wan Shi-xian，Zhao Yu，Wu Chengrong.Evaluation and demonstration of network attack resistance of mimetic database［J］.Computer Applications and Software，2022，39（1）：319-327.）

［10］樊永文，朱維軍，班紹桓，等.動(dòng)態(tài)異構(gòu)冗余數(shù)據(jù)保護(hù)安全架構(gòu)［J］.小型微型計(jì)算機(jī)系統(tǒng)，2019，40（9）：1956-1961.（Fan Yongwen，Zhu Weijun，Ban Shaohuan，et al.Dynamic heterogeneous and redundancy data protection architecture［J］.Journal of Chinese Computer Systems，2019，40（9）：1956-1961.）

［11］李軍飛，蘭巨龍，胡宇翔，等.SDN多控制器一致性的量化研究［J］.通信學(xué)報(bào)，2016，37（6）：86-93.（Li Junfei，Lan Julong，Hu Yuxiang，et al.Quantitative approach of multi-controllers consensus in SDN［J］.Journal on Communications，2016，37（6）：86-93.）

［12］Qi Chao，Wu Jiangxing，Hu Hongchao，et al.Dynamic-scheduling mechanism of controllers based on security policy in software-defined network［J］.Electronics Letters，2016，52（23）：1918-1920.

［13］楊珂，張帆，郭威.一種基于執(zhí)行體的歷史信息和異構(gòu)性的置信目標(biāo)快速構(gòu)建算法［J］.信息工程大學(xué)學(xué)報(bào)，2021，22（6）：694-698.（Yang Ke，Zhang Fan，Guo Wei.Fast construction algorithm for confidence targets based on historic information and heterogeneity of executive bodies［J］.Journal of Information Engineering University，2021，22（6）：694-698.）

［14］Frank A，Baumgartner M，Salkhordeh R，et al.Improving checkpoin-ting intervals by considering individual job failure probabilities［C］//Proc of IEEE International Parallel and Distributed Processing Symposium.Piscataway，NJ：IEEE Press，2021：299-309.

［15］Akber S M A，Chen Hanhua，Wang Yonghui，et al.Minimizing overheads of checkpoints in distributed stream processing systems［C］//Proc of the 7th International Conference on Cloud Networking.Pisca-taway，NJ：IEEE Press，2018：1-4.

［16］Gelenbe E，Siavvas M.Minimizing energy and computation in long-running software［J］.Applied Sciences，2021，11（3）：1169.

［17］Siavvas M，Gelenbe E.Optimum interval for application-level checkpoints［C］//Proc of the 6th IEEE International Conference on Cyber Security and Cloud Computing.Piscataway，NJ：IEEE Press，2019：145-150.

［18］Zhang Zhan，Li Wenhao，Qing Xiao，et al.Research on optimal checkpointing-interval for flink stream processing applications［J］.Mobile Network and Applications，2021，26（5）：1950-1959.

［19］Zhai Yongning，Li Weiwei.The optimal checkpoint interval for the long-running application［J］.International Journal of Advanced Pervasive and Ubiquitous Computing，2017，9（2）：45-54.

［20］Yao Kai，Zhou Jian.Renewal reward process with uncertain interar-rival times and random rewards［J］.IEEE Trans on Fuzzy Systems，2018，26（3）：1757-1762.

收稿日期：2023-02-22；修回日期：2023-04-11? 基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃專(zhuān)項(xiàng)資助項(xiàng)目（2022YFB3104300）

作者簡(jiǎn)介：李婉桃（1999-），女，湖南郴州人，碩士，主要研究方向?yàn)閿M態(tài)安全；張帆（1981-），男（通信作者），河南鄭州人，副研究員，博士，主要研究方向?yàn)橹鲃?dòng)防御、人工智能等（zhangfan@pmlabs.com.cn）；陳鑫（1989-），男，江蘇泗陽(yáng)人，碩士，主要研究方向?yàn)橹鲃?dòng)防御、擬態(tài)分布式文件存儲(chǔ)系統(tǒng)；朱進(jìn)（1989-），男，江蘇泰州人，碩士，主要研究方向?yàn)橹鲃?dòng)防御、擬態(tài)分布式文件存儲(chǔ)系統(tǒng)；黃瀟（1991-），男，江蘇徐州人，碩士，主要研究方向?yàn)橹鲃?dòng)防御、擬態(tài)分布式文件存儲(chǔ)系統(tǒng).