建模與仿真實施質量文獻綜述①

卞雪卡,劉玉坤

(北京郵電大學 自動化學院,北京 100876)

在離散事件仿真、連續(xù)事件仿真、基于Agent 的仿真這3 大類仿真中,國內(nèi)關于離散事件仿真已有廣泛的應用,但工程實施質量參差不齊,與發(fā)達國家仍存在一定的差距.如何提高仿真實施質量的問題亟待解決.本文將側重離散事件仿真,結合現(xiàn)有的研究成果來對建模與仿真(Modeling and Simulation,M＆S)實施質量進行綜述.

經(jīng)在知網(wǎng)數(shù)據(jù)庫中以標題含有表1各檢索詞為條件進行檢索,檢索結果如表1所示,由此可見,M＆S 技術已經(jīng)有比較多的應用,但從很多文獻中可以發(fā)現(xiàn),關于M＆S 的質量,并沒有在這些應用中體現(xiàn)出來.Annino JS 等[1]指出仿真分析失敗的7 個原因分別為:沒有制定可實現(xiàn)的目標、基本技能不完整、用戶參與程度不足、不恰當?shù)募毠?jié)水平、不合適的編程語言、使用未經(jīng)驗證或無效的模型、未能使用現(xiàn)代工具和技術.這7 種失敗的原因都導致了沒有實現(xiàn)高質量仿真工作的目標.Robinson S 等[2]也探討了通過質量方法降低仿真項目失敗的風險,其中特別強調(diào)了服務質量及其度量.Donn M[3]也提出在建筑設計上由于仿真方式存在的各種問題也降低了預測與現(xiàn)實之間關系的清晰度.由此可見,M＆S 實施質量在仿真研究中至關重要,它保證了整個仿真工作的可靠性.在M＆S 中,關于M＆S 實施質量并沒有清晰明確的定義,缺少系統(tǒng)性的研究框架和規(guī)范化體系.為了系統(tǒng)研究M＆S 過程中實施質量的問題,筆者試著梳理包含在M＆S 實施質量下的有可借鑒之處的各項研究成果,為筆者之后M＆S 實施質量的規(guī)范化研究奠定基礎,也期望為之后M＆S 實施質量的研究提供重要參考.

表1 仿真在物流領域的應用

1 M＆S 實施質量的定義及相關概念

1.1 M＆S 實施質量定義

IEEE 建模與仿真術語匯編標準[4]、軍事仿真術語[5]等中均沒有M＆S 實施質量的定義的明確說明,甚至,在上述幾個官方組織給出的術語匯編中,沒有提到質量這個詞,但是筆者發(fā)現(xiàn)在國內(nèi)外學者的少數(shù)研究中,給出了M＆S 實施質量的定義.

(1)由中國仿真學會編著的《建模與仿真技術詞典》[6]中,給出了仿真質量保證的定義:保證仿真過程的各項活動滿足計劃要求的措施與技術,典型的是校核、驗證與確認技術.這里給出的定義還是有一定的局限性,只強調(diào)了校核、驗證和確認,沒有從仿真工作開展的整個過程考慮M＆S 實施質量.

(2)Robinson S[7]針對離散事件仿真提出了仿真質量的概念,他將仿真質量分為3 個獨立但相關的方面:內(nèi)容質量、過程質量、結果質量,并分別解釋了對應的含義和評估方法.

(3)根據(jù)仿真模型的種類不同,Asbjornsen OA 等[8]分別定義了純經(jīng)驗模型、基本原則模型、隨機模型、模糊模型等模型質量的概念.

(4)國際標準化組織制定的軟件工程標準文件ISO9126[9]給出了仿真中的質量標準,其中包括6 個特性:功能性、可靠性、可用性、效率、可維護性、可移植性.

(5)從模型、數(shù)據(jù)、軟件3 個方面,Sherman GR 等[10]對這3 個方面的質量進行了研究,并對高質量的科學仿真做了要求.

(6)Balci O[11-15]通過對一般仿真的生命周期的研究,提出了適合一般仿真研究的可接受性評估的框架,給出了仿真生命周期每個環(huán)節(jié)應該考慮的質量因素,但是并沒有給出對M＆S 實施質量的明確的定義.

從上述不同學者的研究可以看出,M＆S 實施質量在國內(nèi)外尤其是國內(nèi)的研究非常少,而且沒有明確的定義.雖然M＆S 實施質量沒有很多研究,但是包含在M＆S 實施質量中的一些比較重要的概念還是有跡可循的.

1.2 M＆S 實施質量相關概念及辨析

M＆S 實施質量涉及了仿真生命周期的方方面面,系統(tǒng)性研究不多,但筆者發(fā)現(xiàn),對仿真生命周期中某一部分的質量的研究卻有不少.

(1)仿真生命周期

《建模與仿真技術詞典》[6]中對仿真生命周期的定義如下:仿真系統(tǒng)從概念實現(xiàn)到交付、使用和維護的整個過程,包括仿真的需求分析、概念設計、詳細設計、編碼實現(xiàn)、系統(tǒng)集成、系統(tǒng)測試、系統(tǒng)交付、系統(tǒng)運行與維護等過程.

(2)逼真度

逼真度實施研究小組術語匯編[16]對逼真度的定義如下:逼真度,從字面意思理解,它表明了一個事物對另一個事物的忠誠度.在建模中,逼真度用來表示一個模型代表其對應真實世界實體、屬性或交互的忠誠度.

(3)驗證(validation)、校核(verification)和確認(acceleration)

以上術語匯編中均有其定義,下面做出總結.

驗證(validation):檢查“是否做了正確的事情”,以保證一個產(chǎn)品、服務或系統(tǒng)滿足客戶與利益相關者的要求,遵循規(guī)定、規(guī)范說明或強制的條件,往往包括可接受性與適合性.其實就是仿真研究人員所建立的概念模型是否能夠代表真實對象系統(tǒng)或者其正確性程度.

校核(verification):將對象模型轉化為計算機可執(zhí)行的仿真模型時,需要保證仿真模型是對象模型的正確實現(xiàn),典型的是進行程序調(diào)試,這一過程成為校核.

確認(acceleration):官方對一個模型或仿真系統(tǒng)可用于特定目的的認可.

另外,以上相關標準、術語中,還對仿真可靠性、可信性、粒度、可視化、結果驗證等概念做了詳細的解釋,在本文中將不再贅述.以上概念雖沒有直接提到M＆S 實施質量,但也是研究M＆S 實施質量必不可少的環(huán)節(jié),對之后M＆S 實施質量的研究也有很重要的意義.

2 從不同的角度看M＆S 實施質量

M＆S 實施質量沒有明確的定義,國內(nèi)外的相關研究也很少.已有的與M＆S 實施質量的研究大都集中在逼真度和仿真驗證方面.逼真度和仿真驗證的研究現(xiàn)狀在文獻[17-19]中已做出詳細的總結,下面筆者將對M＆S 實施質量的研究進行總結.目前,國內(nèi)外M＆S 實施質量的研究成果很少,相關研究也不持續(xù),只能在眾多文獻找到幾篇相關文獻.在現(xiàn)有的M＆S 實施質量的研究成果中,筆者以標題含有“仿真”和“質量”為條件在各數(shù)據(jù)庫進行了檢索,并篩選和總結相關的文獻情況,如表2所示.經(jīng)過對文獻檢索結果進行分類,對應研究角度的文獻情況如表3所示.

表2 文獻檢索結果

表3 文獻檢索結果分類

由此可以看出,國內(nèi)外對于M＆S 實施質量的研究是非常欠缺的,但它作為M＆S 工作的重中之重,其研究又是很有必要的,因此,加強M＆S 實施質量的研究來保證M＆S 工作的質量很有意義.

2.1 從仿真工作的整體研究M＆S 實施質量

國內(nèi)外學者關于M＆S 實施質量的研究方向各不相同,有從仿真模型、數(shù)據(jù)、軟件的角度,如1984年,Sherman GR[10]提到從模型、數(shù)據(jù)、軟件3 個方面來保證仿真的質量,文中Sherman 提出了在質量保證程序和提高質量中的兩個關鍵要素,就是比較和嚴格審查.他主張用仿真的數(shù)據(jù)和結果與現(xiàn)場觀察的結果、備選方案、專家判斷進行比較.另外在這個過程中,還要利用一定的標準和工具.但是標準和工具是什么,Sherman并沒有提及,還需要之后進一步研究.還有從仿真設計的角度,如1986年,?ren TI[20]提出了認知仿真設計的質量保證,并提出了一系列相關概念,如實驗條件的適用性、模型行為的比較、模型庫的完整性、數(shù)據(jù)相關性等.有從“什么構成了良好的M＆S 研究”角度,如2008年Smith JS 等[21]在總結各位學者關于“什么構成了良好的M＆S 研究”這一問題時,提到其與其他學科的良好研究時相通的.因此,在進行M＆S 研究時可以借鑒其他領域的研究方法.也有其他領域的M＆S 質量的研究,如Gousseau P 等[22]提供了一個關于隔離建筑物周圍風流的LES 計算的V＆V 研究;Wang Z[23]對機械系統(tǒng)仿真的穩(wěn)定性、準確性、實時性和交互性進行了驗證;還有其他學者也進行了機械加工、醫(yī)療、地形等領域的仿真質量的研究.

除了上述研究方向各不同的文獻,值得一提的是李小奇關于仿真性和游景玉關于質量管理體系的研究.李小奇[24]總結了目前仿真技術應用存在的問題,針對這些問題首先提出航空產(chǎn)品仿真性的概念.仿真性是為了滿足用戶的需求而達到的產(chǎn)品具有的質量屬性.游景玉等[25]從軟件開發(fā)的角度結合ISO9000 標準,提出了管理者和軟件開發(fā)過程中應該注意的問題,并建立的相應的質量管理體系.兩位學者關于仿真性和質量管理體系的研究對之后的M＆S 實施質量的概念和管理體系規(guī)范化有很大的參考價值.

以上關于M＆S 實施質量的研究雖然已有些成果,但由于每位學者所抓取的角度不同,使得在總體的研究看起來比較混亂,因此尋找一個比較好的角度來研究M＆S 實施質量是很有必要的.將生命周期和M＆S實施質量的研究結合起來進行系統(tǒng)有序的研究是目前筆者所能看到的比較好的研究方法.Balci O 在文獻[14]中從產(chǎn)品、過程、項目3 個方面來評估仿真項目的質量,之后在仿真生命周期、validation 和verification等做出很多研究后.2015年總結出了仿真建模生命周期中的質量指標[11],在這篇文章中,他針對建模和仿真生命周期的各個環(huán)節(jié),提出了相應的評價指標,并給出了詳細的解釋.圖1是Balci 提出的建模仿真的生命周期模型,在此生命周期模型中,Balci 從問題的提出到最后模型的保存和重復使用,完整地呈現(xiàn)了仿真工作的整個流程.

圖1 Osman 建模與仿真生命周期

隨后,Balci 針對生命周期的每個環(huán)節(jié)均提出了相應的質量指標.

(1)制定問題的質量指標

哪些問題沒有完全考慮到、利益相關者和決策者、約束、目標、數(shù)據(jù)和信息、假設.

(2)需求質量指標

M＆S 需求準確性、清晰度、完整性、一致性、可行性、可修正性、穩(wěn)定性、可測試性、可追溯性.

(3)概念模型質量指標

在特定一類問題而不是一個仿真模型中概念模型的作用,在任意類型的仿真模型中概念模型的作用,仿真模型設計的可重用性、可組合性中概念模型的作用等.

(4)結構質量指標

適應性、符合標準、可靠性、可部署性、可擴展性、互操作性、可維護性、可修改性、開放性、性能、可伸縮性、生存能力、可測試性、可用性.

(5)仿真模型設計質量指標

適應性、復雜性、可組合性、正確性、詳細程度、效率、靈活性、完整性、互操作性、可維護性、模塊化、內(nèi)聚、耦合、可移植性、可重用性、可測試性.

(6)M＆S 應用質量指標

M＆S 應用的可靠性、功能、性能、可支持性、可用性.

(7)仿真結果質量指標

隨機數(shù)發(fā)生器的可靠性、隨機變數(shù)產(chǎn)生算法的正確性、隨機變數(shù)產(chǎn)生算法轉變?yōu)榭蓤?zhí)行代碼的正確性、統(tǒng)計技術是否合適等.

(8)提交結果質量指標

仿真結果解釋是否正確、仿真結果記錄是否恰當、仿真結果是否正確地傳達給決策者、仿真結果是否正確地轉換成了決策者理解的術語、仿真結果是否正確地轉換成可視化的圖表.

針對上述8 個環(huán)節(jié)的質量指標,Balci 對各個指標做出了詳細的解釋,在本文中不再進行贅述.質量指標有了,那如何去衡量這些指標? 然而筆者并未發(fā)現(xiàn)Balci 有后續(xù)的研究,這也是筆者想要繼續(xù)探索的.

2.2 從仿真數(shù)據(jù)研究M＆S 實施質量

從表2可見,M＆S 實施質量的研究除了從整體研究外,另外大部分研究都集中在數(shù)據(jù)方面.Byrne J 等[26]提到數(shù)據(jù)收集占整個周期的40%的時間.我們不僅要收集有效正確的數(shù)據(jù),還要將收集到的數(shù)據(jù)正確地用到仿真模型中.由此可見,數(shù)據(jù)在仿真實施過程中的重要性.

M＆S 過程中數(shù)據(jù)質量的評估,不少學者結合數(shù)據(jù)生命周期建立了相應的質量管理框架.Reiter M 等[27]提出了高質量的數(shù)據(jù)測量流程,并描述數(shù)據(jù)監(jiān)控和分析框架的質量,將該測量流程集成到工作流管理系統(tǒng)中.Kopp O 等[28]還介紹了控制仿真工作流程中數(shù)據(jù)質量的一些方法,提出了一個仿真工作流程中的數(shù)據(jù)質量框架.由決定數(shù)據(jù)質量的確定方法的框架,轉變?yōu)榛跀?shù)據(jù)質量根據(jù)數(shù)據(jù)質量驅動服務來選擇仿真服務.Vanbrabant L 等[29]提出了一個數(shù)據(jù)質量框架,對急診電子病歷中可能存在的數(shù)據(jù)質量問題進行了分類,描述了數(shù)據(jù)質量評估技術,使得醫(yī)療人員能夠識別和量化輸入數(shù)據(jù)中存在的潛在的數(shù)據(jù)質量問題.徐剛等[30]從數(shù)據(jù)質量全過程控制、用戶滿意度、綜合影響等因素,建立了能夠刻畫電商平臺數(shù)據(jù)質量控制變化的系統(tǒng)動力學模型,并用仿真方法進行了有效性驗證.桑作軍等[31]針對數(shù)據(jù)質量全生命周期管理的要求建立了軍事M＆S數(shù)據(jù)質量管理標準體系.2011年韓志軍等[32]建立了大型仿真系統(tǒng)數(shù)據(jù)質量評估的指標體系,用六級標度法評分獲得各指標的權重,促進了大型仿真系統(tǒng)可信度的提升.2016年韓志軍等[33]又建立了大型仿真推演系統(tǒng)數(shù)據(jù)質量評價體系,提出了定性指標的定量化、定量指標的無綱量化的指標指數(shù)確定方法,以及主觀賦權和客觀賦權相結合的方法確定權重,并基于AHP 方法進行了實例分析.

另外,關于輸入數(shù)據(jù)建模方面,Sun GB 等[34]提出對概念模型數(shù)據(jù)質量進行評估時要注意數(shù)據(jù)質量評估必須建立在一個前提上,而不是憑空存在的.比如:一些數(shù)據(jù)可能對這個仿真是高質量數(shù)據(jù),而對另一個仿真來說是低質量的.數(shù)據(jù)的verification 是評估方法和過程的特定數(shù)據(jù)設置數(shù)據(jù)指標的過程,比如正確性、完整性等,從而保證選擇到最合適的數(shù)據(jù).數(shù)據(jù)的validation 是指完全能夠代表真實對象系統(tǒng)的數(shù)據(jù).數(shù)據(jù)質量的評估是判斷數(shù)據(jù)是否是正確的類型、質量、數(shù)量來支撐它們最初的目的.另外,Sun GB從不同場景下的數(shù)據(jù)類型,分別對數(shù)據(jù)質量的評估方法進行了研究.Hamad H[35]用預測精度的新方法評估元模型擬合精度的可接受性.Sugihara M 等[36]提出的軟錯誤估計技術是通過循環(huán)精確指令集仿真計算機計算系統(tǒng)中所有內(nèi)存模塊上的軟錯誤數(shù)量,并考慮他們的動態(tài)行為.Gaudiani A 等[37]針對輸入?yún)?shù)的不確定性,提供了一種方法調(diào)整洪水模擬器以達到較低的誤差.

對于數(shù)據(jù)質量評估指標及方法,Bokrantz J 等[38]提出了一系列數(shù)據(jù)質量指標,如可訪問性、準確性、清晰度、完整性、一致性、通用性、精確性、相關性、分辨率、聲譽和可跟蹤性,這些指標作為指導標準,以確保高質量的生產(chǎn)數(shù)據(jù).高峰等[39]提出了適用于電網(wǎng)在線的數(shù)據(jù)質量評估方法,包括模型評估、在線參數(shù)評估、在線調(diào)度計劃評估,及自動校準方法等,極大的減少了工作量,提高了在線安全穩(wěn)定校核的精度.Zhang YC 等[40]提出了影響仿真可信度的3 個因素分別是數(shù)據(jù)、模型、場景,并對復雜系統(tǒng)建模中的輸入數(shù)據(jù)、過程數(shù)據(jù)、輸出數(shù)據(jù)質量評估方法進行了闡述和總結.另外,張英朝等[41]還提出了數(shù)據(jù)質量建模的概念,從準確度、完整性、時效性3 個角度建立衡量數(shù)據(jù)質量的三維空間,運用TOPSIS 方法來對復雜系統(tǒng)仿真各輸入數(shù)據(jù)源數(shù)據(jù)可信性進行計算分析.Dong JQ[42]從what、when、where、how、who、which、why 幾個方面來評估仿真研究中的數(shù)據(jù)質量.其中,what 指數(shù)據(jù)包含了哪些信息,when 指何時收集數(shù)據(jù),where 指數(shù)據(jù)收集的真實或者虛擬位置,how 指如何生成數(shù)據(jù),who 指模型與現(xiàn)實中人或組織的聯(lián)系,which 指主要參數(shù)如何映射到現(xiàn)實世界,why 指為什么數(shù)據(jù)會以這種方式產(chǎn)生,為什么使用仿真方法是合適的.

數(shù)據(jù)V＆V 方面,許國珍等[43,44]從數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)使用者兩個角度開展數(shù)據(jù)的V＆V＆C 活動,數(shù)據(jù)生產(chǎn)者通過質量元數(shù)據(jù)模板記錄數(shù)據(jù)質量,數(shù)據(jù)使用者通過V＆V＆C 過程模型開展V＆V＆C 活動,并開發(fā)出了管理工具PVV＆CM,以實現(xiàn)對V＆V＆C 的規(guī)范化管理.

以上,筆者從數(shù)據(jù)質量管理框架、輸入數(shù)據(jù)質量、誤差管理、數(shù)據(jù)質量評估指標、數(shù)據(jù)V＆V 等方面總結了現(xiàn)有的研究,數(shù)據(jù)作為M＆S 工作中重要的環(huán)節(jié),直接關系到概念的模型的質量,進而關系到仿真模型的質量,從而最終影響M＆S 實施的最終效果,所以,在M＆S 中,數(shù)據(jù)質量管理環(huán)節(jié)必不可少.

2.3 從建模過程研究M＆S 實施質量

怎么建模? 建模過程中應該注意什么問題? 這是M＆S人員在工作時必須要考慮的問題.Buzacott JA 等[45]從模型的輸入輸出、仿真時間長短、模型驗證、模型有效性、用戶交互、實驗設計等方面分別介紹了如何進行裝配的建模過程.Scholten H 等[46]從整體仿真建模過程討論了正確性、可靠性、可用性等質量問題,建立了quasimodem 模型,它表示原始模型的結構和建模過程的行為,它由一個鏈接幀結構組成,用戶可以對其進行調(diào)整.動作有框架,產(chǎn)品有框架,每個動作產(chǎn)生一個產(chǎn)品,使用一個或多個產(chǎn)品,或由動作和產(chǎn)品的子結構組成,使得建模過程變得明確可控.兩位學者的研究使我們應該注意在建模過程中應該明確建模的步驟,每步的輸入和產(chǎn)出分別是什么,影響因素是什么,以保證能夠達到預期的建模效果.

2.4 從模型質量研究M＆S 實施質量

前一小節(jié)的建模過程的最終產(chǎn)生的是M＆S 模型,對于模型質量的評估,Markiegi U 等[47]提出了基于150%可變性建模方法的可配置仿真模型的黑盒和白盒質量度量.其中,白盒測試質量度量包括結構覆蓋、功能覆蓋、特征兩兩覆蓋,黑盒質量度量包括基于反模式的測試質量度量、相似性.Dransch D 等[48]在文中提到仿真模型必須按照以下標準進行評估:模型行為的有效性、模型結構的有效性、經(jīng)驗有效性、預期目的的有效性.另外,Dransch 還提出了交互式可視化的概念,以用戶和任務為中心進行可視化設計,方法包括3 個步驟:分析推理過程并創(chuàng)建域任務模型、推斷認知行為并將其組合到類中、選擇合適的可視化與交互技術及其與計算分析的結合方法.并選擇了以用戶為基礎,以結果為導向,形成了評價形式.

2.5 從仿真結果研究M＆S 實施質量

還有少部分關于仿真結果的研究成果.Popescu V等[49]提出仿真結果的高質量可視化:仿真交互對象使用先進的渲染技術渲染;將仿真放置在周圍場景的上下文中;項目的可視化從建模開始.這樣能夠使不了解此過程或沒有參與調(diào)查的人能夠理解模型.另外Annino[1]、Stewart[2]兩位學者總結了仿真項目失敗的原因及風險,這些都是不規(guī)范的操作導致的后果.

2.6 其他

在做仿真工作時,除了以上幾個角度,仿真研究人員的思路、邏輯對仿真工作的實施也有著很大的影響.Stevenson[9]提到M＆S 實施質量取決于所獲得的見解的質量,M＆S 實施質量必須基于從已知科學中獲得的見解,管理和技術的脫節(jié)會導致仿真的不準確和不完整.從中強調(diào)了科學理論的重要性.另外,Stewart[7]針對離散事件仿真提出了仿真質量的概念;日本學者白鳥正樹[50]列舉了工學仿真產(chǎn)生誤差的各種原因,并提出了從以下3 個方面防止這些誤差的產(chǎn)生:從學術角度對誤差進行定量化和最小化、工程仿真質量管理系統(tǒng)的體系化和標準化、提高技術人員的技能.這也是筆者未來研究的工作重點.

3 關于M＆S 實施質量的總結

M＆S 實施質量是仿真工作中的重要環(huán)節(jié),但是目前并沒比較明確的定義,因為相關研究沒有系統(tǒng)化、規(guī)范化,學者們也提到,仿真質量這個詞語并不常見,但它的重要性卻不可否認.可見,M＆S 實施質量的研究至關重要.

從不同角度的M＆S 實施質量研究成果可以看出,還是有很多值得借鑒的地方:

(1)將生命周期、ISO9000 標準體系與M＆S 實施質量結合是一個比較好的研究方向;

(2)現(xiàn)有生命周期模型和質量指標比較完整但仍有不足;

(3)V＆V 作為貫穿M＆S 生命周期的重要部分,在研究中必不可少;

(4)數(shù)據(jù)質量評估已經(jīng)有比較完善的框架;

(5)建模過程、模型質量等應該注意的問題,即明確建模步驟,準確把握每個步驟的輸入和產(chǎn)出,保證模型行為和結構的有效性;

(6)借鑒仿真分析失敗、誤差產(chǎn)生的原因,要需制定可實現(xiàn)的目標、采用現(xiàn)代化的工具、注意細節(jié)、提高用戶參與度等.

但是現(xiàn)有相關研究仍存在不足:

(1)現(xiàn)有的M＆S 實施質量的研究比較混亂,沒有系統(tǒng)化和規(guī)范化;

(2)大部分還屬于比較片面的研究,沒有從整體出發(fā);

(3)生命周期質量指標只有概念性的介紹,缺乏后續(xù)的如何評估的研究.

4 結語

高M＆S 實施質量是仿真工作的最終目的,只有高質量的仿真才對真實對象系統(tǒng)具有決策意義,國內(nèi)大多數(shù)仿真的實施是不完整且不規(guī)范的,如今正是缺少一個規(guī)范的仿真實施質量的框架,因此,建立一個完整規(guī)范的仿真實施質量框架是非常有必要的.

文中總結了M＆S 定義及相關概念、從仿真工作整體研究M＆S 實施質量、從仿真數(shù)據(jù)和模型等研究M＆S 實施質量這幾個方面的研究成果.其中,Blaci 所提出的M＆S 生命周期模型及質量指標的概念對以后的研究有重要意義,但Blaci 并未對如何評估這些指標給出明確的闡述.在今后研究中,可以基于M＆S 生命周期模型,對其中的數(shù)據(jù)質量、概念模型質量、仿真模型質量、軟件質量等的指標進行評估,提出比較規(guī)范的仿真實施質量框架,供仿真人員參考,提高M＆S實施的質量,為現(xiàn)實世界提供更可靠的建議.