面向復(fù)雜系統(tǒng)的高效能仿真云體系架構(gòu)及應(yīng)用技術(shù)研究

邢 馳，柴旭東

（1.北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100083；2.北京仿真中心，北京 100854）

面向復(fù)雜系統(tǒng)的高效能仿真云體系架構(gòu)及應(yīng)用技術(shù)研究

邢 馳1，柴旭東2

（1.北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100083；2.北京仿真中心，北京 100854）

本文針對復(fù)雜系統(tǒng)仿真規(guī)模的不斷擴(kuò)大，建模與仿真的精度要求不斷提高等因素對仿真系統(tǒng)以及仿真支撐環(huán)境提出的更高要求，首先指出了復(fù)雜系統(tǒng)高效能仿真云的發(fā)展需求，其次提出了以高性能仿真計(jì)算機(jī)為仿真硬件載體的高效能仿真云架構(gòu)，然后對基于云計(jì)算的仿真系統(tǒng)多租戶，面向復(fù)雜系統(tǒng)的高性能RTI，以及高效能仿真云環(huán)境下的仿真容錯(cuò)等技術(shù)開展研究，得到了相應(yīng)的研究和解決方法。通過本文的方法能夠解決在大規(guī)模、復(fù)雜系統(tǒng)工程建模仿真過程中面臨的協(xié)同互操作，可重用性等問題，同時(shí)保證仿真運(yùn)行的高效性及可靠性。

復(fù)雜系統(tǒng)；高性能計(jì)算機(jī)；仿真云；多租戶；高性能RTI；容錯(cuò)

1 研究背景

復(fù)雜系統(tǒng)［1］在社會(huì)、生物、環(huán)境、軍事、水利工程等領(lǐng)域普遍存在。在復(fù)雜系統(tǒng)的建模仿真中存在多學(xué)科的異構(gòu)仿真模型，且模型之間需要頻繁的數(shù)據(jù)交互進(jìn)行協(xié)同仿真，以保證各個(gè)子系統(tǒng)組成的復(fù)雜系統(tǒng)性能最優(yōu)。例如在水利工程全生命周期的建模與仿真中，既要保證水庫模型符合外觀要求，還必須保證水庫的安全運(yùn)行，同時(shí)還要滿足水庫群的最優(yōu)化調(diào)度需求等。復(fù)雜系統(tǒng)的建模與仿真對仿真系統(tǒng)以及仿真支撐環(huán)境提出了更高的要求，在技術(shù)上要求保證整個(gè)仿真的高效、可靠的運(yùn)行，在應(yīng)用上減小運(yùn)行成本使得用戶能夠“用得起”高效的仿真資源。因此為了實(shí)現(xiàn)該目標(biāo)，不少專家學(xué)者對建模仿真系統(tǒng)開展研究。其中，建模仿真系統(tǒng)包括仿真軟件、仿真硬件以及仿真支撐環(huán)境，其中仿真支撐環(huán)境又包括了各種技術(shù)，如有運(yùn)行支撐技術(shù)、仿真容錯(cuò)技術(shù)等。

為了完成上述目標(biāo)，建模與仿真技術(shù)結(jié)合了“云計(jì)算”服務(wù)模式，提出了“云仿真”概念［2］。云仿真平臺(tái)提供對仿真資源（仿真的硬件資源以及軟件資源）的動(dòng)態(tài)管理，以及進(jìn)行網(wǎng)絡(luò)化建模仿真系統(tǒng)的協(xié)同運(yùn)行。

隨著高性能計(jì)算機(jī)技術(shù)的不斷發(fā)展，建模仿真應(yīng)用也被搬上了高性能計(jì)算機(jī)。典型的分布式仿真技術(shù)（DIS）以及高層體系結(jié)構(gòu)（HLA）也都應(yīng)用在高性能計(jì)算機(jī)上。在基于高性能計(jì)算機(jī)通訊技術(shù)的RTI方面（RTI是HLA［3～5］框架的核心），為多種類型的仿真盟員間的交互提供了一組通用服務(wù)實(shí)現(xiàn)盟員間數(shù)據(jù)的有序及按需傳送，通過盟員之間的接口規(guī)范實(shí)現(xiàn)無縫連接，完成盟員之間的互操作和可重用?，F(xiàn)如今，建模仿真界針對高性能計(jì)算機(jī)平臺(tái)對HLA進(jìn)行了改進(jìn)，其中包括美國Georgia大學(xué)的FDK［6］（Federated simulations Development Kit），Steinman等人基于并行仿真框架SPEEDES［7］（Synchronous Parallel Environment for Emulation and Discrete Event Simulation）實(shí)現(xiàn)了高性能RTI（HPC RTI），法國太空宇航局開發(fā)了面向高性能計(jì)算平臺(tái)的RTI軟件HP-CERTI［8］，國防科技大學(xué)也開展了相應(yīng)研究，提出了針對不同網(wǎng)絡(luò)環(huán)境的自適應(yīng)RTI［9］。綜上，雖然高性能RTI的研究已取得了可喜的成果，但應(yīng)用起來仍不能滿足復(fù)雜系統(tǒng)的仿真需求。

在仿真容錯(cuò)方面，基于HLA的分布式仿真系統(tǒng)的容錯(cuò)也有相關(guān)研究，其主要特點(diǎn)是在仿真節(jié)點(diǎn)上，根據(jù)仿真運(yùn)行的特點(diǎn)進(jìn)行容錯(cuò)。其并未考慮到在高性能計(jì)算機(jī)的多核情況下，以及仿真系統(tǒng)本身特性的條件下的容錯(cuò)技術(shù)。同時(shí)，現(xiàn)階段的仿真容錯(cuò)都聚焦在理論領(lǐng)域中，在實(shí)際的工程應(yīng)用中還尚未見到具體的使用。

針對上述問題，本文提出了一個(gè)面向復(fù)雜系統(tǒng)高效能仿真云的建模仿真運(yùn)行的支撐環(huán)境，其無論是在技術(shù)上還是在應(yīng)用上都勢在必行。本文首先從應(yīng)用和技術(shù)兩方面，分析了高效能仿真云的需求，然后在高性能計(jì)算機(jī)的硬件載體上提出了高效能仿真云的框架，最后對復(fù)雜系統(tǒng)高效能仿真云應(yīng)用的三項(xiàng)技術(shù)提出了研究思路。

2 復(fù)雜系統(tǒng)高效能仿真云的發(fā)展需求

2.1 應(yīng)用需求現(xiàn)有的仿真支撐環(huán)境已不能完全滿足復(fù)雜系統(tǒng)的全生命周期的仿真運(yùn)行，這樣對于仿真支撐環(huán)境需要提出新的要求。

（1）更高的計(jì)算能力。在仿真系統(tǒng)運(yùn)行過程中，往往對一次仿真的分析、評估、論證需要運(yùn)行成百上千、甚至上萬次，所消耗的時(shí)間從幾天到幾十天不等。這種耗時(shí)的仿真計(jì)算妨礙了仿真應(yīng)用的發(fā)展，因此仿真系統(tǒng)需要更高的計(jì)算能力來提高仿真運(yùn)行的速度。

（2）解決模型重用、異構(gòu)的問題。越來越大規(guī)模的仿真系統(tǒng)中，有的模型是依據(jù)新的建模仿真標(biāo)準(zhǔn)規(guī)范重新開發(fā)的（如HLA［10］或PDES等），但有的模型是以前仿真系統(tǒng)遺留下的，這種共存的局面，要求仿真支撐環(huán)境能夠兼容模型，讓已有的模型重用，并和新模型聯(lián)合仿真。

（3）能夠支持“海量用戶”的仿真支撐環(huán)境。建設(shè)一套完整的“高效”仿真環(huán)境，無論是在建設(shè)方面還是在運(yùn)行方面都要投入非常巨大的人力和財(cái)力，這就要求高效能仿真云能夠滿足資源共享，支持“海量用戶”的租用資源模式。

（4）保證仿真運(yùn)行的高可靠。復(fù)雜系統(tǒng)仿真運(yùn)行中會(huì)出現(xiàn)：硬件故障、網(wǎng)絡(luò)延遲、數(shù)據(jù)交換和通信出錯(cuò)概率大幅度的提升等問題，這就要求構(gòu)建的仿真運(yùn)行支撐環(huán)境在遇到這些問題時(shí)，能夠有應(yīng)對措施，以保證仿真運(yùn)行的高可靠性。

2.2 技術(shù)需求復(fù)雜系統(tǒng)高效能仿真的應(yīng)用需求需要相應(yīng)的技術(shù)需求做支撐。

（1）基于高性能計(jì)算機(jī)的仿真環(huán)境構(gòu)建。仿真支撐環(huán)境以高性能計(jì)算機(jī)為仿真硬件載體，為不同的用戶/租戶構(gòu)建所需的仿真系統(tǒng)，并且保證用戶/租戶之間數(shù)據(jù)、模型的隔離高安全特性。

（2）仿真服務(wù)的高效協(xié)同。根據(jù)高性能計(jì)算機(jī)本身多CPU、多核的特點(diǎn)，將仿真任務(wù)合理的安排到節(jié)點(diǎn)和核上，以提高仿真協(xié)同的高效性。

（3）仿真系統(tǒng)的容錯(cuò)遷移。仿真支撐環(huán)境能夠?qū)Ψ抡嫦到y(tǒng)進(jìn)行容錯(cuò)，并對出錯(cuò)模型進(jìn)行遷移和恢復(fù)運(yùn)行，使得模型遷移后，整個(gè)仿真系統(tǒng)恢復(fù)到失效的前一個(gè)狀態(tài)記錄點(diǎn)，繼續(xù)仿真運(yùn)行。

綜上所述復(fù)雜系統(tǒng)高效能仿真系統(tǒng)，要求建立一套以高性能計(jì)算機(jī)為硬件運(yùn)行環(huán)境，以高層體系結(jié)構(gòu)HLA為仿真規(guī)范，在高性能計(jì)算機(jī)上運(yùn)行RTI來支撐整個(gè)仿真系統(tǒng)的運(yùn)行，并且能將仿真資源以云模式提供給海量用戶，不斷保證仿真運(yùn)行過程中用戶之間數(shù)據(jù)的安全和隔離，并且能對仿真進(jìn)行容錯(cuò)，保證仿真能夠高效可靠的運(yùn)行。

3 面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)架構(gòu)

面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)要求能夠運(yùn)行在高性能計(jì)算機(jī)上，并且能支撐復(fù)雜系統(tǒng)的建模仿真運(yùn)行，其架構(gòu)見圖1所示。

該系統(tǒng)架構(gòu)首先要滿足通信網(wǎng)絡(luò)的要求，即能夠運(yùn)行在Infiniband網(wǎng)絡(luò)以及合理利用共享內(nèi)存，其次設(shè)計(jì)仿真管理的中間件模塊，其中包括：仿真錯(cuò)誤點(diǎn)檢測單元，仿真數(shù)據(jù)保存單元，仿真對象通信單元，在RTI總線上進(jìn)行通信管理單元以及仿真推進(jìn)管理單元。

仿真錯(cuò)誤點(diǎn)檢測單元：對仿真對象的每一個(gè)線程進(jìn)行監(jiān)控，能夠檢測仿真中是否因?yàn)榉抡婢€程運(yùn)行的問題導(dǎo)致仿真錯(cuò)誤。

圖1 面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)架構(gòu)

仿真數(shù)據(jù)保存單元：對每個(gè)節(jié)點(diǎn)上仿真對象的通信數(shù)據(jù)進(jìn)行保存，以便在仿真運(yùn)行過程中檢測到錯(cuò)誤后進(jìn)行仿真快速恢復(fù)。

仿真對象管理單元：管理節(jié)點(diǎn)內(nèi)CPU之間與核之間的仿真線程，進(jìn)程之間的通信。

通信管理單元：管理定性、定量、連續(xù)、離散系統(tǒng)之間的通信方式，實(shí)現(xiàn)復(fù)雜系統(tǒng)中的子系統(tǒng)、仿真模型之間交換數(shù)據(jù)，以達(dá)到復(fù)雜系統(tǒng)協(xié)同仿真。

仿真推進(jìn)管理單元：在RTI總線上加入仿真推進(jìn)管理單元可針對不同的仿真子系統(tǒng)，如連續(xù)系統(tǒng)可采用時(shí)間步長推進(jìn)方式，離散系統(tǒng)能夠采用時(shí)間推進(jìn)的方式。

4 復(fù)雜系統(tǒng)高效能仿真云應(yīng)用技術(shù)研究

面向復(fù)雜系統(tǒng)高效能仿真云的根本目的是解決目前大規(guī)模復(fù)雜系統(tǒng)仿真所面臨的上述應(yīng)用需求，針對以上需求，提煉出了以下三個(gè)關(guān)鍵技術(shù)，并開展了初步研究。

4.1 基于云計(jì)算的仿真系統(tǒng)多租戶技術(shù)

4.1.1 多租戶的系統(tǒng)架構(gòu) 針對多租戶［11-12］的內(nèi)涵，以及實(shí)現(xiàn)技術(shù)手段的不同，多租戶實(shí)現(xiàn)主要有以下各個(gè)階段，如圖2、表1所示［12］。

基于虛擬化技術(shù)的“云仿真”模式在圖2中屬于“共享硬件”階段，其能夠很好地利用虛擬化技術(shù)，從操作系統(tǒng)的層面將軟件分開，真正的做到了共享硬件的功能，為用戶創(chuàng)建虛擬機(jī)或集群，來滿足用戶的仿真需求。但在支持海量用戶方面，高性能仿真計(jì)算機(jī)資源非常寶貴，一臺(tái)高性能計(jì)算機(jī)資源能夠構(gòu)建的虛擬機(jī)是極其有限的，同時(shí)引入虛擬化技術(shù)對計(jì)算機(jī)性能有影響，這種“共享硬件”的方式不足以支持海量用戶。因此，要在多租戶方面做到不但共享硬件，而且共享軟件和操作系統(tǒng)，才能更好的支持多租戶以及保證高效能“仿真云”的高效性。

圖2 多租戶體系架構(gòu)

表1 多租戶不同階段

高效能“仿真云”平臺(tái)的多租戶系統(tǒng)模式，可按圖3的結(jié)構(gòu)進(jìn)行設(shè)計(jì)：在數(shù)據(jù)層面上，公共數(shù)據(jù)可以用來記錄租戶自身的信息，每個(gè)租戶中用戶的個(gè)數(shù)，租戶操作的一些信息，客戶數(shù)據(jù)指租戶間單獨(dú)的仿真模型以及仿真數(shù)據(jù)。通過底層數(shù)據(jù)的合理劃分，租戶能夠通過驗(yàn)證，利用上層的共享的軟件只能訪問租戶自己的數(shù)據(jù)區(qū)，而相對其他的租戶，數(shù)據(jù)具有隔離和安全性。

在這樣的層級(jí)架構(gòu)中，不同的應(yīng)用程序會(huì)組成不同的服務(wù)，為不同的租戶提供仿真服務(wù)，而在數(shù)據(jù)基礎(chǔ)層中，客戶數(shù)據(jù)管理根據(jù)通過公共數(shù)據(jù)區(qū)中記錄的租戶信息來判斷租戶的訪問權(quán)限，并在成功登錄操作后在租戶自己的客戶數(shù)據(jù)區(qū)存放仿真計(jì)算結(jié)果，或從中提取已完成的仿真結(jié)果展現(xiàn)給登陸租戶。

4.1.2 海量多租戶負(fù)載均衡 高效能仿真云環(huán)境下的多租戶技術(shù)不但是要保證數(shù)據(jù)的安全和隔離，整個(gè)系統(tǒng)能支持海量的仿真用戶，并且還能保證仿真運(yùn)行的高效性。針對復(fù)雜系統(tǒng)按照HLA標(biāo)準(zhǔn)規(guī)范組件仿真系統(tǒng)，RTI的體系結(jié)構(gòu)模型使用的是層次式結(jié)構(gòu)模型，這樣的結(jié)構(gòu)能夠減少全局操作的延遲，數(shù)據(jù)通信的高效，從而提高仿真系統(tǒng)運(yùn)行的效率。

圖3 多租戶的數(shù)據(jù)架構(gòu)

但在云環(huán)境下，就帶來一個(gè)問題，高效能仿真云中，每個(gè)計(jì)算節(jié)點(diǎn)都可以作為RTI中心服務(wù)器，如果仿真系統(tǒng)很大，會(huì)對網(wǎng)絡(luò)帶來很大的壓力。因此，在為用戶分配仿真環(huán)境時(shí)，盡量避免將不同仿真系統(tǒng)的RTI中心服務(wù)器分配在不同的計(jì)算節(jié)點(diǎn)上。如果在海量用戶存在情況下，即仿不同用戶的仿真系統(tǒng)數(shù)量大于高效能云環(huán)境的計(jì)算節(jié)點(diǎn)，可以將仿真系統(tǒng)較小，即通信量較小的兩個(gè)或多個(gè)RTI中心服務(wù)器部署在同一個(gè)仿真節(jié)點(diǎn)中。

將仿真高效能云資源建模，并進(jìn)行實(shí)施監(jiān)控，作為多個(gè)仿真系統(tǒng)部署的依據(jù)，模型如下［13］：

與高性能計(jì)算中心所建立的資源模型不同之處在于高性能計(jì)算中心是將計(jì)算任務(wù)進(jìn)行提交，進(jìn)行多核并行計(jì)算，因此不考慮網(wǎng)絡(luò)因素。但多學(xué)科協(xié)同仿真中，多個(gè)仿真聯(lián)邦，仿真模型之間存在著頻繁的交互，因此網(wǎng)絡(luò)帶寬嚴(yán)重影響仿真運(yùn)行效率以及可靠性，因此除了要均衡計(jì)算節(jié)點(diǎn)資源，還需要均衡網(wǎng)絡(luò)帶寬資源。

4.2 面向復(fù)雜系統(tǒng)高性能RTI技術(shù)面向復(fù)雜系統(tǒng)的高性能RTI技術(shù)主要分為兩個(gè)方面，第一，將RTI運(yùn)行在高性能計(jì)算機(jī)上，以提高RTI本身的通信速度。第二，RTI能夠支撐復(fù)雜系統(tǒng)中所包含的定性系統(tǒng)，定量系統(tǒng)，連續(xù)系統(tǒng)以及離散系統(tǒng)的仿真。

本文的高性能RTI主要是服務(wù)復(fù)雜系統(tǒng)，包含定性，定量，連續(xù)，離散系統(tǒng)所組成的更大的復(fù)雜系統(tǒng)能夠在RTI上進(jìn)行協(xié)同仿真。

在第3章中提出的高效能仿真云架構(gòu)中，RTI中心服務(wù)器中的仿真推進(jìn)管理單元的任務(wù)就是完成復(fù)雜仿真系統(tǒng)的子系統(tǒng)的分配部署，將一類系統(tǒng)（如連續(xù)子系統(tǒng)，離散子系統(tǒng)）分配在單一一個(gè)或多個(gè)節(jié)點(diǎn)中，使得在一個(gè)節(jié)點(diǎn)中不出現(xiàn)兩類仿真子系統(tǒng)，對不同的仿真子系統(tǒng)可以使用不同的時(shí)間推進(jìn)機(jī)制，例如對離散系統(tǒng)使用事件推進(jìn)機(jī)制，連續(xù)系統(tǒng)使用時(shí)間推進(jìn)機(jī)制，在子系統(tǒng)之間存在協(xié)同交互時(shí)，RTI服務(wù)器采用事件推進(jìn)機(jī)制，這樣可以保證各子系統(tǒng)的高效性，并且子系統(tǒng)之間能夠進(jìn)行協(xié)同仿真。

4.3 高效能仿真云環(huán)境下的仿真容錯(cuò)技術(shù)仿真系統(tǒng)的容錯(cuò)的重點(diǎn)主要包含兩個(gè)方面的內(nèi)容：第一，仿真模型失效檢測，第二，錯(cuò)誤后的仿真恢復(fù)。

4.3.1 仿真模型失效檢測 根據(jù)仿真運(yùn)行的過程中，仿真實(shí)例是被分配到不同的核，CPU以及節(jié)點(diǎn)上運(yùn)行的。將失效等級(jí)分為三個(gè)等級(jí)：①Core失效，②CPU失效，③節(jié)點(diǎn)失效。

目前針對失效檢測的方法大多使用周期心跳的方法，這種方法是運(yùn)行過程中仿真節(jié)點(diǎn)主動(dòng)按周期發(fā)送心跳信號(hào)或主程序在周期內(nèi)進(jìn)行心跳檢測，這種方法在計(jì)算機(jī)節(jié)點(diǎn)檢測中應(yīng)用非常廣泛，用于檢測計(jì)算機(jī)是否宕機(jī)。但基于HLA規(guī)范的仿真系統(tǒng)，這種心跳法除了影響仿真數(shù)據(jù)通訊之外，還會(huì)由于收到網(wǎng)絡(luò)延遲等產(chǎn)生失效誤判。而且計(jì)算節(jié)點(diǎn)沒有宕機(jī)，但仿真對象“死掉”這種情況無法及時(shí)檢測。

因此在系統(tǒng)中設(shè)計(jì)并實(shí)現(xiàn)仿真錯(cuò)誤點(diǎn)檢測單元，其原理類似計(jì)算機(jī)心跳的方式，在每隔固定周期內(nèi)監(jiān)控仿真聯(lián)邦、仿真對象是否依舊存在，但不同的是不是簡單的查詢計(jì)算機(jī)在線的網(wǎng)絡(luò)心跳方式，而是在仿真對象管理單元為每個(gè)仿真對象在不同的核上創(chuàng)建仿真線程后，對每一個(gè)仿真線程、CPU進(jìn)程進(jìn)行監(jiān)控，并采用主動(dòng)“推”的方式告訴RTI仿真對象是否“活著”，這種方法能夠及時(shí)發(fā)現(xiàn)仿真運(yùn)行過程中的仿真錯(cuò)誤。

4.3.2 仿真過程中的數(shù)據(jù)保存 在仿真系統(tǒng)運(yùn)行過程中，設(shè)置一個(gè)共享數(shù)據(jù)區(qū)，每個(gè)仿真成員在仿真數(shù)據(jù)交互的同時(shí)將交互的數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容、數(shù)據(jù)來源對象和數(shù)據(jù)的目的對象等數(shù)據(jù)記錄到仿真系統(tǒng)的共享數(shù)據(jù)區(qū)，并且在一定的時(shí)間段做一個(gè)仿真時(shí)間點(diǎn)。對此仿真時(shí)間點(diǎn)當(dāng)仿真系統(tǒng)一個(gè)或多個(gè)仿真成員發(fā)生錯(cuò)誤時(shí)，共享數(shù)據(jù)區(qū)記錄了這個(gè)仿真成員在之前所接收和發(fā)送的所有數(shù)據(jù)，以便于仿真恢復(fù)使用。

在檢測到仿真系統(tǒng)中一個(gè)或多個(gè)仿真節(jié)點(diǎn)失效后，將整個(gè)仿真系統(tǒng)進(jìn)行回退，回退到上一個(gè)記錄的仿真時(shí)間點(diǎn)，健康存在的仿真成員處于等待狀態(tài)，而已經(jīng)出錯(cuò)的仿真成員能夠重新加入到仿真聯(lián)邦中，并且能夠讀取共享數(shù)據(jù)區(qū)中跟自己有關(guān)的仿真數(shù)據(jù)，以獲得其他仿真成員發(fā)送給自己的數(shù)據(jù)消息，進(jìn)行“離線”推進(jìn)，當(dāng)推進(jìn)到時(shí)間記錄點(diǎn)時(shí)，標(biāo)志著此時(shí)的整個(gè)仿真系統(tǒng)的仿真狀態(tài)已經(jīng)達(dá)到此成員出錯(cuò)前的狀態(tài)，然后開始同時(shí)“在線”進(jìn)行仿真推進(jìn)，繼續(xù)仿真運(yùn)行。

5 結(jié)語

本文針對越來越復(fù)雜的仿真系統(tǒng)對仿真環(huán)境提出的新需求，以及根據(jù)云計(jì)算理念所要求對仿真資源應(yīng)用的新模式，提出了面向復(fù)雜系統(tǒng)高效能仿真云環(huán)境，總結(jié)并提煉了其中的關(guān)鍵技術(shù)，首先提出了高效能仿真云的體系架構(gòu)，其次，對基于云計(jì)算的仿真系統(tǒng)多租戶技術(shù)，面向復(fù)雜系統(tǒng)高性能RTI技術(shù)以及高效能仿真云環(huán)境下的仿真容錯(cuò)技術(shù)展開研究，并提出了相應(yīng)的研究方法。從而能夠解決在大規(guī)模、復(fù)雜系統(tǒng)工程建模仿真過程中面臨的協(xié)同互操作，可重用性等已存在的問題，并且保證仿真的運(yùn)行效率以及仿真運(yùn)行的可靠性。

［1］李伯虎，柴旭東，侯寶存，等.復(fù)雜工程系統(tǒng)高效能仿真技術(shù)中的幾個(gè)問題［J］.高性能計(jì)算發(fā)展與應(yīng)用，2010，33：3-12.

［2］李伯虎，柴旭東，侯寶存，等.一種基于云計(jì)算理念的網(wǎng)絡(luò)化建模與仿真平臺(tái)——“云仿真平臺(tái)”［J］.系統(tǒng)仿真學(xué)報(bào)，2009，21（17）：5292-5299.

［3］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Object Model Template（OMT）Specification［S］.2008.

［4］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Framework and Rules［S］. 2008.

［5］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Interface Specification［S］. 2008.

［6］Fujimoto R，Mclean T，Perumalla K，et al.Design of High Performance RTI Software［C］//Distributed Simulation and Real Time Applications，IEEE ACM International Symposium onIEEE Computer Society，2000：89.

［7］Steinman J S.WarpIV Kernel：Real Time HPC-RTI Prototype［C］//Proceedings of the Spring Simulation Interoperability Workshop，05S-SIW-071，2005.

［8］Adelantado M.HP-CERTI：Towards a high performance，high availability open source RTI for composable simulations［M］.04F-SIW-014.Orlando，USA：IEEE，2004.

［9］梁洪波，柳林，等.高性能RTI自適應(yīng)通信機(jī)制研究［J］.國防科技大學(xué)學(xué)報(bào)，2012，34（3）：148-153.

［10］周彥，戴劍偉.HLA仿真程序設(shè)計(jì)［M］.北京：電子工業(yè)出版社，2002.

［11］Guo C J，Sun W，Huang Y，et al.A Framework for Native Multi-Tenancy Application Development and Management［C］//E-Commerce Technology，IEEE International Conference on，and Enterprise Computing，E-Commerce，and E-Services，IEEE International Conference onIEEE Computer Society，2007：551-558.

［12］蔡維德.云計(jì)算中的多租戶及多租戶架構(gòu)［R］.北京：中國航天科工集團(tuán)第二研究所，2013.

［13］Xing C，Chai X D，Al Q W E.Simulation Job Scheduling on Clusters with Heterogeneous Scheduling Systems［C］//AsiaSim2013，CCIS 402，2013：403-408.

Research on architecture and application technology of high efficiency simulation cloud for complex systems

XING Chi1，CHAI Xudong2
（1.College of Automation Science and Electrical Engineering，Beihang University，Beijing 100083，China，2.Beijing Simulation Center，Beijing 100854，China）

With the expanding simulation scale of complex engineering systems，requirements of modeling and simulation accuracy continue to increase，which highly demand on simulation systems and simulation run support environment.In such a case，this paper first proposed the architecture of high efficiency simulation cloud，which is supported by high performance simulation computer，and propose the key technologies of high efficiency simulation cloud.Secondly，the paper is in depth research on key technologies，such as multi-tenant for simulation system，high performance RTI for complex system，and fault tolerance in the process of the simulation run which run on the high efficiency simulation cloud environment.Finally，this paper gives the corresponding research and solutions.By this method not only can we solve problems that already exist，such as collaborative interoperability，simulation model reuse issue in the process of largescale，complex systems engineering modeling and simulation，but also ensure reliability and efficiency when the simulation runs.

complex system；high efficiency simulation cloud；multi-tenant；high performance RTI（run time infrastructure）；fault tolerance

TP391.9

A

10.13244/j.cnki.jiwhr.2015.06.008

1672-3031（2015）06-0449-07

（責(zé)任編輯：李福田）

2015-07-10

科技部863項(xiàng)目（2013AA041302）；新型分析仿真及綠色設(shè)計(jì)軟件開發(fā)

邢馳（1984-），男，陜西人，博士生，主要從事導(dǎo)航制導(dǎo)與控制方向研究。E-mail：xingchi09@163.com