基于Web的通用效能評(píng)估仿真架構(gòu)實(shí)現(xiàn)研究

(中國(guó)運(yùn)載火箭技術(shù)研究院 研發(fā)中心，北京 100076)

0 引言

效能[1]是指在規(guī)定條件下達(dá)到規(guī)定使用目標(biāo)的能力。效能評(píng)估[2]指對(duì)某種事物或系統(tǒng)執(zhí)行某一項(xiàng)任務(wù)結(jié)果[3]或者進(jìn)程的質(zhì)量好壞、作用大小、自身狀態(tài)等效率指標(biāo)的量化計(jì)算或結(jié)論性評(píng)價(jià)，廣泛用于軍事、科研、制造行業(yè)，也可用于評(píng)估某種計(jì)劃、工程。隨著效能評(píng)估重要的突顯，各行業(yè)各領(lǐng)域?qū)π茉u(píng)估的需求極大增加，效能評(píng)估任務(wù)趨于復(fù)雜化、系統(tǒng)化、體系化，傳統(tǒng)針對(duì)效能評(píng)估軟件主要是從效能評(píng)估算法開(kāi)發(fā)方面創(chuàng)新[4]，對(duì)效能評(píng)估流程的創(chuàng)新很少[5-7]。

本文首先提出基于任務(wù)驅(qū)動(dòng)和角色審核的評(píng)估流程與任務(wù)管理模式，解決效能指標(biāo)分解和完整性審核難題?；跀?shù)據(jù)采集挖掘、統(tǒng)計(jì)分析等多種先進(jìn)的智能技術(shù)，將仿真系統(tǒng)產(chǎn)生的海量數(shù)據(jù)引入效能評(píng)估仿真分析環(huán)節(jié)，使得效能評(píng)估過(guò)程可有效利用仿真真實(shí)數(shù)據(jù)，提高效能評(píng)估結(jié)果的可信性。構(gòu)建基于腳本引擎調(diào)用的效能評(píng)估算法集成與擴(kuò)展，提升了效能評(píng)估仿真框架的通用性和擴(kuò)展性。最后，采用B/S模式，基于Web架構(gòu)，完成了通用效能評(píng)估仿真架構(gòu)實(shí)現(xiàn)，提升了效能評(píng)估系統(tǒng)的通用性和擴(kuò)展性，提高了效能評(píng)估工作效率。

1 基于Web的通用效能評(píng)估仿真架構(gòu)

利用Web架構(gòu)設(shè)計(jì)效能評(píng)估仿真架構(gòu)，可在Web瀏覽器中訪問(wèn)應(yīng)用系統(tǒng)，突破了傳統(tǒng)單機(jī)軟件的限制，可有效解決復(fù)雜系統(tǒng)效能評(píng)估中多個(gè)專業(yè)指標(biāo)協(xié)同分解、效能評(píng)估流程管理、效能指標(biāo)聚合等，為效能仿真平臺(tái)系統(tǒng)的便捷部署和大規(guī)模應(yīng)用提供了基礎(chǔ)。

1.1 功能架構(gòu)設(shè)計(jì)

基于Web的通用效能評(píng)估仿真架構(gòu)系統(tǒng)功能架構(gòu)分為三層，分別為數(shù)據(jù)層、服務(wù)層以及應(yīng)用層，其功能架構(gòu)如圖1所示。數(shù)據(jù)層主要包括任務(wù)數(shù)據(jù)以及效能評(píng)估模型數(shù)據(jù)，是系統(tǒng)開(kāi)發(fā)和運(yùn)行所需的以及產(chǎn)生的相關(guān)數(shù)據(jù)資源集合，通過(guò)數(shù)據(jù)服務(wù)接口向上層提供統(tǒng)一數(shù)據(jù)訪問(wèn)和存儲(chǔ)服務(wù)；服務(wù)層包括流程服務(wù)，任務(wù)管理服務(wù)，評(píng)估算法庫(kù)，評(píng)估算法執(zhí)行器以及仿真數(shù)據(jù)集成服務(wù)，實(shí)現(xiàn)了系統(tǒng)運(yùn)行共性服務(wù)模塊，提高系統(tǒng)模塊化程度；應(yīng)用層主要包括評(píng)估流程與任務(wù)管理，需求指標(biāo)建模，指標(biāo)評(píng)估，仿真數(shù)據(jù)集成以及多方案對(duì)比分析，是效能評(píng)估者直接接觸和使用的工具，與用戶通過(guò)交互，完成效能評(píng)估全流程仿真。

圖1 功能架構(gòu)設(shè)計(jì)

1.2 應(yīng)用模式設(shè)計(jì)

傳統(tǒng)效能評(píng)估系統(tǒng)主要是對(duì)效能評(píng)估算法的集成，從使用便捷和系統(tǒng)擴(kuò)展性來(lái)說(shuō)，都有很多遍不便的地方，本系統(tǒng)為解決傳統(tǒng)效能評(píng)估系統(tǒng)的應(yīng)用局限，對(duì)評(píng)估模式進(jìn)行了創(chuàng)新，基于評(píng)估流程化管理方式，實(shí)現(xiàn)任務(wù)驅(qū)動(dòng)執(zhí)行、任務(wù)導(dǎo)航和數(shù)據(jù)的自動(dòng)流轉(zhuǎn)?；诖诵茉u(píng)估過(guò)程主要分為5個(gè)步驟進(jìn)行，分別為指標(biāo)分解建模，指標(biāo)完整性審核，評(píng)估算法選擇與賦值，權(quán)重賦值以及評(píng)估計(jì)算及結(jié)果。

整個(gè)效能評(píng)估過(guò)程由流程進(jìn)行驅(qū)動(dòng)，并由流程進(jìn)行任務(wù)的初始化以及任務(wù)過(guò)程控制，從而保證從效能評(píng)估模型建模到效能評(píng)估整個(gè)過(guò)程的規(guī)范性。在指標(biāo)分解建模環(huán)節(jié)建立效能評(píng)估模型，并將模型在指標(biāo)完整性審核環(huán)節(jié)進(jìn)行審核，保證效能模型的完整性和正確性。通過(guò)完整性審核后即可選擇效能評(píng)估算法，并對(duì)指標(biāo)模型進(jìn)行賦值操作，在該環(huán)節(jié)可以引入綜合突防仿真數(shù)據(jù)。完成算法選擇與賦值后并指標(biāo)模型各項(xiàng)評(píng)估指標(biāo)進(jìn)行權(quán)重賦值，完成前四項(xiàng)工作后即可進(jìn)行效能評(píng)估，并得出評(píng)估結(jié)果，具體效能評(píng)估流程如圖2所示。

圖2 效能評(píng)估流程

2 通用效能評(píng)估系統(tǒng)開(kāi)發(fā)

通用效能評(píng)估系統(tǒng)采用B/S架構(gòu)，用戶可通過(guò)瀏覽器直接訪問(wèn)應(yīng)用系統(tǒng)，能夠?qū)崿F(xiàn)多用戶同時(shí)登陸，完成協(xié)同效能評(píng)估。系統(tǒng)前端采用設(shè)計(jì)流程圖(Raphael)進(jìn)行矢量繪圖，利用fusioncharts做統(tǒng)計(jì)分析圖，保證系統(tǒng)對(duì)各瀏覽器的兼容性。數(shù)據(jù)庫(kù)采用mysql關(guān)系型數(shù)據(jù)庫(kù)，服務(wù)層采用springmvc框架對(duì)外提供輕量級(jí)的http接口服務(wù)。

通用效能評(píng)估系統(tǒng)由指標(biāo)評(píng)估流程與任務(wù)管理，效能指標(biāo)體系動(dòng)態(tài)建模工具，指標(biāo)效能評(píng)估算法庫(kù)，效能多方案對(duì)比和仿真數(shù)據(jù)集成模塊5個(gè)模塊組成，系統(tǒng)軟件架構(gòu)如圖3所示。

圖3 系統(tǒng)軟件構(gòu)構(gòu)成

2.1 評(píng)估流程與任務(wù)管理

指標(biāo)評(píng)估流程采用流程化的方式管理效能評(píng)估活動(dòng)，實(shí)現(xiàn)任務(wù)的驅(qū)動(dòng)執(zhí)行，任務(wù)導(dǎo)航，以及數(shù)據(jù)的自動(dòng)流轉(zhuǎn)。評(píng)估流程與任務(wù)管理模塊主要的功能包括任務(wù)導(dǎo)航、任務(wù)回跳、任務(wù)驅(qū)動(dòng)執(zhí)行。流程圖中一個(gè)節(jié)點(diǎn)代表一項(xiàng)任務(wù)活動(dòng)，流程采用不同的顏色區(qū)分任務(wù)活動(dòng)狀態(tài)。

2.2 效能指標(biāo)體系結(jié)構(gòu)動(dòng)態(tài)建模

效能指標(biāo)體系結(jié)構(gòu)分解對(duì)應(yīng)于整個(gè)任務(wù)的指標(biāo)分解環(huán)節(jié)。指標(biāo)體系結(jié)構(gòu)分解通過(guò)建模工具實(shí)現(xiàn)，可用于對(duì)體系效能各專業(yè)指標(biāo)進(jìn)行建模，對(duì)指標(biāo)提升指標(biāo)分解的可視化和便捷性。通過(guò)該模塊可以滿足對(duì)的可用性、可信性、能力指標(biāo)體系進(jìn)行動(dòng)態(tài)建模，利用樹(shù)狀，網(wǎng)狀或環(huán)狀等視圖對(duì)指標(biāo)模型進(jìn)行展示，同時(shí)完成對(duì)指標(biāo)體系的編輯等。該模塊指標(biāo)建模庫(kù)分為指標(biāo)組節(jié)點(diǎn)、定量指標(biāo)、定性指標(biāo)三大類，通過(guò)不同的顏色方便用戶進(jìn)行區(qū)別。該模塊主要功能包括以下幾點(diǎn)：

1)指標(biāo)體系分類，實(shí)現(xiàn)對(duì)指標(biāo)體系的分類建模功能；

2)指標(biāo)動(dòng)態(tài)建模，實(shí)現(xiàn)對(duì)指標(biāo)體系的動(dòng)態(tài)可視化分解與圖元化建模功能；

3)指標(biāo)關(guān)聯(lián)關(guān)系建模，實(shí)現(xiàn)對(duì)指標(biāo)間的關(guān)聯(lián)關(guān)系進(jìn)行建模；

4)指標(biāo)多視圖瀏覽，實(shí)現(xiàn)對(duì)指標(biāo)模型按照多種可視化的方式進(jìn)行展示；

5)指標(biāo)模型保存，實(shí)現(xiàn)對(duì)指標(biāo)模型實(shí)例的保存及數(shù)據(jù)導(dǎo)出。

效能指標(biāo)體系結(jié)構(gòu)分解建模流程如圖4所示：用戶接到效能指標(biāo)分級(jí)任務(wù)后，通過(guò)Web登陸效能評(píng)估仿真系統(tǒng)，啟動(dòng)建模工具，通過(guò)拖動(dòng)指標(biāo)建模庫(kù)實(shí)現(xiàn)指標(biāo)創(chuàng)建，對(duì)拖入的指標(biāo)的基本屬性進(jìn)行設(shè)置，對(duì)不合理的指標(biāo)進(jìn)行刪除操作，動(dòng)態(tài)調(diào)整指標(biāo)模型直至合理。然后對(duì)各個(gè)指標(biāo)進(jìn)行權(quán)重分配和關(guān)系建模操作，賦值方式包括手動(dòng)賦值即人工計(jì)算每一層級(jí)每個(gè)指標(biāo)所占的權(quán)重，也可選擇采用模糊一致矩陣法進(jìn)行賦值，從而完成專業(yè)指標(biāo)體系建模。完成指標(biāo)建模后，可行選擇發(fā)布指標(biāo)給其他專業(yè)，或者導(dǎo)出文件，方便后續(xù)加載導(dǎo)入，導(dǎo)出的格式支持XML、Excel和txt。

圖4 效能指標(biāo)建模流程圖

2.3 指標(biāo)效能評(píng)估

效能評(píng)估環(huán)節(jié)對(duì)應(yīng)于效能評(píng)估任務(wù)，用于對(duì)指標(biāo)進(jìn)行效能評(píng)估。系統(tǒng)集成的評(píng)估的算法包括ADC算法、SEA法、模糊綜合法等多種效能評(píng)估算法，算法功能見(jiàn)表1，用戶可以根據(jù)實(shí)際情況選擇相應(yīng)的評(píng)估算法對(duì)指標(biāo)進(jìn)行評(píng)估。對(duì)定量指標(biāo)效能計(jì)算、定性指標(biāo)效能錄入等進(jìn)行了優(yōu)化設(shè)計(jì)。同時(shí)為實(shí)現(xiàn)不同效能指標(biāo)的聚合，研究了AHP層次聚合算法，實(shí)現(xiàn)指標(biāo)多層次算法聚合。系統(tǒng)提供了可擴(kuò)展接口開(kāi)發(fā)功能，方便后續(xù)的模型更新及算法升級(jí)，系統(tǒng)具備較好的擴(kuò)展性。該模塊具備對(duì)武器效能指標(biāo)進(jìn)行評(píng)估計(jì)算的能力，具體包括：

1)定量指標(biāo)效能計(jì)算，計(jì)算定量指標(biāo)的效能；

2)定性指標(biāo)效能錄入，通過(guò)錄入的方式錄入定性指標(biāo)效能；

3)AHP層次聚合算法，實(shí)現(xiàn)指標(biāo)多層次算法聚合；

4)權(quán)重校驗(yàn)，校驗(yàn)指標(biāo)權(quán)重和；

5)效能分級(jí)顯示，按照效能等級(jí)顯示指標(biāo)狀態(tài)；

6)評(píng)估算法選擇，實(shí)現(xiàn)多算法選擇。

系統(tǒng)提供可擴(kuò)展接口開(kāi)發(fā)功能，包括聚合算法擴(kuò)展接口，評(píng)估算法擴(kuò)展接口，指標(biāo)屬性接口擴(kuò)展接口，權(quán)重分配算法接口以及建模元素庫(kù)擴(kuò)展接口等。針對(duì)未內(nèi)置用戶自行開(kāi)發(fā)的算法，用戶可通過(guò)算法編輯器，可實(shí)現(xiàn)基于MATLAB、JavaScript等語(yǔ)言編制的算法進(jìn)行集成擴(kuò)展，通過(guò)腳本引擎對(duì)用戶編寫(xiě)的算法進(jìn)行解釋調(diào)用，算法擴(kuò)展如圖5所示。

表1 算法功能表

圖5 算法擴(kuò)展

2.4 多方案對(duì)比分析

進(jìn)行仿真評(píng)估和試驗(yàn)時(shí)會(huì)產(chǎn)生多個(gè)版本的數(shù)據(jù)。針對(duì)同一效能評(píng)估模型，用戶可以使用不同版本的數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行效能評(píng)估。通過(guò)多方案對(duì)比工具用戶可以快速的得出結(jié)論。

用戶可以導(dǎo)入不同的指標(biāo)方案，多方案對(duì)比工具能夠自動(dòng)對(duì)各指標(biāo)方案進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)的內(nèi)容包括滿足項(xiàng)、基本滿足項(xiàng)、以及不滿足項(xiàng)的比例；以及總效能等。并能據(jù)此給出直觀的統(tǒng)計(jì)圖方便用戶進(jìn)行對(duì)比分析，具體包括：

1)多方案指標(biāo)模型導(dǎo)入；

2)指標(biāo)項(xiàng)對(duì)比，高亮顯示；

3)刪除指標(biāo)方案模型；

4)綜合效能統(tǒng)計(jì)對(duì)比；

5)統(tǒng)計(jì)圖展示。

2.5 仿真數(shù)據(jù)集成模塊

仿真數(shù)據(jù)集成模塊主要是通過(guò)采集仿真試驗(yàn)數(shù)據(jù)，并通過(guò)數(shù)據(jù)處理分析，將仿真試驗(yàn)數(shù)據(jù)錄入到指標(biāo)模型中。

基于輕量級(jí)J2EE技術(shù)，通過(guò)jBPM框架實(shí)現(xiàn)復(fù)雜流程的設(shè)計(jì)與定制，滿足試驗(yàn)數(shù)據(jù)按不同專業(yè)進(jìn)行劃分，并且按處理順序從參數(shù)處理、判讀、預(yù)處理、計(jì)算分析、統(tǒng)計(jì)分析到綜合分析。用戶可對(duì)原始數(shù)據(jù)進(jìn)行規(guī)范化處理，將處理后的數(shù)據(jù)，通過(guò)數(shù)據(jù)曲線的自動(dòng)判讀和人工判讀對(duì)數(shù)據(jù)的有效性和數(shù)據(jù)峰值進(jìn)行選點(diǎn)，完成數(shù)據(jù)判讀工作。之后進(jìn)行數(shù)據(jù)預(yù)處理和計(jì)算分析，完成數(shù)據(jù)的分析工作，在對(duì)多組數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后，將處理后的試驗(yàn)數(shù)據(jù)引入到效能評(píng)估系統(tǒng)中。

通過(guò)引入仿真數(shù)據(jù)將仿真引入到效能評(píng)估環(huán)節(jié)，利用仿真過(guò)程及結(jié)果數(shù)據(jù)，支撐效能評(píng)估。

1)仿真數(shù)據(jù)文件導(dǎo)入，導(dǎo)入仿真文件；

2)仿真數(shù)據(jù)庫(kù)讀取，配置仿真數(shù)據(jù)庫(kù)信息，導(dǎo)入仿真數(shù)據(jù)；

3)仿真數(shù)據(jù)區(qū)塊選擇，選擇特定的數(shù)據(jù)區(qū)塊選擇、過(guò)濾條件配置；

4)數(shù)據(jù)提取算法選擇，取最大值、取最小值、取平均值。

3 應(yīng)用實(shí)例與分析

完成基于Web的通用效能評(píng)估仿真架構(gòu)系統(tǒng)開(kāi)發(fā)后，對(duì)軟件的功能和性能進(jìn)行測(cè)試和應(yīng)用。

3.1 指標(biāo)體系分解建模

效能評(píng)估系統(tǒng)指標(biāo)建模模塊采用可視化的建模方式建立指標(biāo)模型，利用多種圖元對(duì)定量指標(biāo)和定性指標(biāo)進(jìn)行區(qū)別描述，通過(guò)拖動(dòng)圖元到指標(biāo)模型樹(shù)的方式建立指標(biāo)項(xiàng)，通過(guò)編輯圖元的屬性對(duì)指標(biāo)項(xiàng)進(jìn)行配置。指標(biāo)節(jié)點(diǎn)層數(shù)可任意拖拽擴(kuò)展，滿足復(fù)雜體系指標(biāo)復(fù)雜多層指標(biāo)建模需求，對(duì)建立的指標(biāo)體系采用縮略圖的模式展示，方便全局查看。支持指標(biāo)模型的保存、導(dǎo)入等功能。

效能評(píng)估結(jié)果評(píng)判活動(dòng)是通過(guò)對(duì)指標(biāo)效能的統(tǒng)計(jì)、排名等，以詳細(xì)列表的方式對(duì)指標(biāo)結(jié)果進(jìn)行了全面的展示。支持對(duì)各項(xiàng)指標(biāo)權(quán)重的圖譜分析功能，提供各項(xiàng)指標(biāo)對(duì)比的雷達(dá)圖，可直觀進(jìn)行指標(biāo)權(quán)重對(duì)比分析，方便進(jìn)行合理性檢查，圖譜分析展示如圖6所示。通過(guò)結(jié)果評(píng)判可以直觀的反應(yīng)出復(fù)雜系統(tǒng)效能的整體狀況。

圖6 圖譜分析

3.2 仿真數(shù)據(jù)導(dǎo)入

效能評(píng)估系統(tǒng)中引入仿真試驗(yàn)結(jié)果，將極大提高效能評(píng)估結(jié)果的可行度。由于仿真數(shù)據(jù)一般較多，且數(shù)據(jù)文本的直觀性差，為實(shí)現(xiàn)將仿真數(shù)據(jù)引入效能評(píng)估回路，基于Web的通用效能評(píng)估仿真架構(gòu)支持結(jié)構(gòu)化的數(shù)據(jù)庫(kù)和非結(jié)構(gòu)化的文本仿真數(shù)據(jù)導(dǎo)入功能。

通過(guò)對(duì)試驗(yàn)數(shù)據(jù)的采集、數(shù)據(jù)轉(zhuǎn)換清洗處理、數(shù)據(jù)加載，分析并提取必要的效能評(píng)估信息。將試驗(yàn)仿真引入效能評(píng)估環(huán)節(jié)，利用仿真過(guò)程及結(jié)果數(shù)據(jù)，參與效能評(píng)估流程，為效能平臺(tái)提供了真實(shí)的試驗(yàn)結(jié)果支撐，全面提高效能評(píng)估系統(tǒng)結(jié)果的真實(shí)性。

3.3 多方案對(duì)比

復(fù)雜系統(tǒng)不同版本或者不同型號(hào)之間，可以通過(guò)方案對(duì)比工具進(jìn)行對(duì)比分析。多方案對(duì)比分析工具支持同時(shí)導(dǎo)入多個(gè)效能模型數(shù)據(jù)，在指標(biāo)對(duì)比列表中對(duì)不同方案的同一指標(biāo)項(xiàng)進(jìn)行對(duì)比，將效能不同項(xiàng)進(jìn)行高亮顯示，方便用戶快速進(jìn)行差異化比較。同時(shí)多方案對(duì)比工具提供統(tǒng)計(jì)圖和統(tǒng)計(jì)表，分別對(duì)各方案的各等級(jí)指標(biāo)分布情況，以及總效能進(jìn)行了對(duì)比。

多方案對(duì)比模塊解決了效能評(píng)估中經(jīng)常進(jìn)行相同型號(hào)不同版本及相似型號(hào)之間的效能比對(duì)問(wèn)題，通過(guò)快速導(dǎo)入效能模型及不同項(xiàng)的顯示，方便用戶快速進(jìn)行不同方案差異化定位，通過(guò)圖表直觀工具和統(tǒng)計(jì)工具，方便用戶進(jìn)行問(wèn)題定位和快速分析。多方案對(duì)比工具的實(shí)現(xiàn)為方案優(yōu)化、設(shè)計(jì)提升提供了重要支撐。

4 結(jié)論

針對(duì)效能評(píng)估中指標(biāo)多專業(yè)協(xié)同分析和指標(biāo)完整性審核問(wèn)題，提出了一種基于Web的通用效能評(píng)估仿真架構(gòu)，重點(diǎn)討論了系統(tǒng)開(kāi)發(fā)的流程方案，目前已經(jīng)初步完成了原型系統(tǒng)開(kāi)發(fā)。通過(guò)研究表明，基于此方法構(gòu)建的效能評(píng)估系統(tǒng)，能夠提高效能評(píng)估系統(tǒng)通用性、擴(kuò)展性和便捷性，通過(guò)Web系統(tǒng)機(jī)構(gòu)的設(shè)計(jì)，提升了平臺(tái)的通用性，可滿足不同復(fù)雜系統(tǒng)不同應(yīng)用場(chǎng)景效能仿真需求。通過(guò)可擴(kuò)展接口實(shí)現(xiàn)了系統(tǒng)的擴(kuò)展性，為后續(xù)新算法的集成提供支撐。通過(guò)拖拽式建模、多方案對(duì)比等人性化操作設(shè)計(jì)，提高的用戶使用的便攜性。研究成果為復(fù)雜系統(tǒng)效能評(píng)估提供了有效支撐。