可定制的效能評(píng)估系統(tǒng)研究與實(shí)現(xiàn)

曲凱++陳西選++徐珞++劉明哲

摘 要：效能評(píng)估技術(shù)在軍事領(lǐng)域應(yīng)用的擴(kuò)大和深入，對(duì)效能評(píng)估系統(tǒng)的通用性提出了需求。為此本文通過(guò)分析總結(jié)典型效能評(píng)估方法，并結(jié)合效能評(píng)估特點(diǎn)，設(shè)計(jì)了一套可定制的效能評(píng)估系統(tǒng)。該系統(tǒng)基于MDA方法，運(yùn)用了模型組合技術(shù)和插件式開(kāi)發(fā)技術(shù)，可滿(mǎn)足不同應(yīng)用系統(tǒng)的效能評(píng)估需求，極大的提高了效能評(píng)估系統(tǒng)的開(kāi)發(fā)效率。最后將該系統(tǒng)進(jìn)行了代碼實(shí)現(xiàn)，并通過(guò)具體應(yīng)用證明了系統(tǒng)具有通用性、靈活性和擴(kuò)展性。

關(guān)鍵詞：效能評(píng)估；可定制；通用

中圖分類(lèi)號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Introduction）

隨著效能評(píng)估技術(shù)在軍事領(lǐng)域應(yīng)用的擴(kuò)大和深入，評(píng)估對(duì)象涉及武器裝備系統(tǒng)、指揮控制系統(tǒng)、網(wǎng)絡(luò)通信系統(tǒng)等[1，2]，為滿(mǎn)足各評(píng)估對(duì)象在不同應(yīng)用場(chǎng)景下的評(píng)估需求，往往需要根據(jù)具體需求專(zhuān)門(mén)定制開(kāi)發(fā)效能評(píng)估系統(tǒng)，這種專(zhuān)用的效能評(píng)估系統(tǒng)忽略了可重用性和擴(kuò)展性，當(dāng)指標(biāo)體系或者評(píng)估方法等評(píng)估需求改變時(shí)，都需要投入人力物力重新修改評(píng)估系統(tǒng)。這種方式存在大量的重復(fù)開(kāi)發(fā)工作，開(kāi)發(fā)效率低下，造成資源的浪費(fèi)。為此，設(shè)計(jì)一套依據(jù)評(píng)估需求可定制的效能評(píng)估系統(tǒng)逐漸引起了人們的重視。

針對(duì)上述問(wèn)題，本文采用MDA（Model Driven Architecture）[3，4]方法，將評(píng)估對(duì)象、評(píng)估指標(biāo)體系、評(píng)估方法等抽象為模型，通過(guò)模型組合技術(shù)實(shí)現(xiàn)效能評(píng)估系統(tǒng)的按需定制；同時(shí)通過(guò)對(duì)效能評(píng)估方法的研究，提出了基于算子有向無(wú)環(huán)圖的評(píng)估計(jì)算模型構(gòu)建方法，實(shí)現(xiàn)了評(píng)估計(jì)算模型快速高效構(gòu)建；另外提出了基于插件的開(kāi)發(fā)方法，實(shí)現(xiàn)代碼的重用和系統(tǒng)的擴(kuò)展。最后依據(jù)系統(tǒng)架構(gòu)對(duì)效能評(píng)估系統(tǒng)進(jìn)行編碼實(shí)現(xiàn)，并通過(guò)具體應(yīng)用案例對(duì)系統(tǒng)進(jìn)行了驗(yàn)證。

2 系統(tǒng)分析（System analysis）

2.1 效能評(píng)估系統(tǒng)組成

效能是系統(tǒng)工程領(lǐng)域，尤其是軍事領(lǐng)域的重要概念。目前，不同組織提出了不同的效能定義，我國(guó)軍用標(biāo)準(zhǔn)《可靠性維修性保障性術(shù)語(yǔ)》對(duì)效能的定義為：系統(tǒng)在規(guī)定的條件下和規(guī)定的時(shí)間內(nèi)，滿(mǎn)足一組特定任務(wù)要求的程度，它與可用性、任務(wù)成功性和固有能力有關(guān)[5]。從效能的定義可知，效能是系統(tǒng)使命任務(wù)完成程度的一種綜合度量，是一個(gè)較為抽象的度量指標(biāo)，無(wú)法直接對(duì)其進(jìn)行評(píng)估，需要將待評(píng)估的效能指標(biāo)進(jìn)行逐層分解，直到分解為一系列可直接進(jìn)行測(cè)度的性能指標(biāo)，然后依據(jù)效能與性能指標(biāo)的依賴(lài)關(guān)系，通過(guò)對(duì)各性能指標(biāo)進(jìn)行綜合計(jì)算，從而對(duì)效能做出評(píng)估[6]，其根本目的是為待評(píng)估系統(tǒng)的優(yōu)化提供重要依據(jù)。

根據(jù)效能評(píng)估的定義可知，效能評(píng)估系統(tǒng)應(yīng)支持評(píng)估人員依據(jù)評(píng)估對(duì)象，構(gòu)建效能評(píng)估指標(biāo)體系，并可獲得給定評(píng)估條件下的各性能指標(biāo)的值，然后根據(jù)評(píng)估方法，對(duì)各性能指標(biāo)進(jìn)行綜合計(jì)算，最后對(duì)結(jié)果綜合分析和展示。由此看來(lái)，可定制效能評(píng)估系統(tǒng)的構(gòu)成要素可分為幾類(lèi)：

（1）評(píng)估對(duì)象：指被評(píng)估系統(tǒng)，從功能單一的裝備到結(jié)構(gòu)復(fù)雜的軍事信息系統(tǒng)，都可以作為評(píng)估對(duì)象。

（2）評(píng)估條件：規(guī)定的條件，通常指評(píng)估對(duì)象系統(tǒng)運(yùn)行的場(chǎng)景。

（3）評(píng)估指標(biāo)體系：層次化的評(píng)估對(duì)象度量指標(biāo)，一般上層為效能指標(biāo)，最底層為可直接度量的性能指標(biāo)。指標(biāo)的選取應(yīng)遵循獨(dú)立性、代表性與可操作性等原則[7]。

（4）評(píng)估數(shù)據(jù)：可分為主觀(guān)和客觀(guān)兩類(lèi)數(shù)據(jù)，其中主觀(guān)數(shù)據(jù)通常指由參與評(píng)估的人員直接給定的數(shù)據(jù)，如某些指標(biāo)評(píng)價(jià)數(shù)據(jù)、指標(biāo)權(quán)重?cái)?shù)據(jù)等，該類(lèi)數(shù)據(jù)主觀(guān)性較強(qiáng)；而客觀(guān)數(shù)據(jù)通常由評(píng)估對(duì)象直接產(chǎn)生或者采集得到，能夠較為客觀(guān)的反應(yīng)評(píng)估對(duì)象系統(tǒng)的性能指標(biāo)。

（5）評(píng)估計(jì)算模型：評(píng)估方法的具體實(shí)現(xiàn)，是評(píng)估系統(tǒng)核心組成部分，其選擇合理與否直接關(guān)系到評(píng)估結(jié)果的正確性[7]。

（6）評(píng)估分析模型：主要指效能評(píng)估結(jié)果影響因素分析方法，如指標(biāo)相關(guān)性分析、敏感性分析等方法。

可定制效能評(píng)估系統(tǒng)應(yīng)適用于不同的評(píng)估對(duì)象，允許評(píng)估人員根據(jù)評(píng)估需求，可視化構(gòu)建評(píng)估指標(biāo)體系，依據(jù)選擇的評(píng)估方法，動(dòng)態(tài)創(chuàng)建評(píng)估計(jì)算模型，完成評(píng)估數(shù)據(jù)提取、標(biāo)準(zhǔn)化處理、指標(biāo)綜合計(jì)算的效能評(píng)估過(guò)程，而不是局限于特定的評(píng)估對(duì)象與評(píng)估方法；系統(tǒng)還應(yīng)提供常用的分析方法并支持對(duì)分析方法的擴(kuò)展，來(lái)滿(mǎn)足評(píng)估需求。

2.2 效能評(píng)估流程

效能評(píng)估流程并不是固定不變的，它和具體的評(píng)估方法密切相關(guān)，以評(píng)估方法作為理論支持[8]。常用的評(píng)估方法包括層次分析法（AHP）、ADC分析法、模糊綜合評(píng)估法及系統(tǒng)效能分析法等，不同的評(píng)估方法，計(jì)算流程、輸入?yún)?shù)數(shù)據(jù)、適用解決問(wèn)題領(lǐng)域的不同等諸多因素，決定了效能評(píng)估流程也不盡相同，但從大的方面來(lái)說(shuō)，評(píng)估流程仍具有相似性，基本效能評(píng)估流程如圖1所示。

（1）評(píng)估建模

在評(píng)估建模階段，評(píng)估人員根據(jù)評(píng)估需求，針對(duì)評(píng)估對(duì)象建立評(píng)估指標(biāo)體系；明確評(píng)估數(shù)據(jù)，建立評(píng)估數(shù)據(jù)與評(píng)估指標(biāo)的映射關(guān)系模型；最后圍繞選擇的評(píng)估方法，同時(shí)結(jié)合評(píng)估指標(biāo)體系與數(shù)據(jù)模型構(gòu)建評(píng)估計(jì)算模型。

（2）評(píng)估計(jì)算

將評(píng)估指標(biāo)體系、數(shù)據(jù)源模型與評(píng)估計(jì)算模型等按照評(píng)估流程組裝為具體的評(píng)估任務(wù)，通過(guò)執(zhí)行評(píng)估任務(wù)，最終得到效能評(píng)估結(jié)果。

（3）評(píng)估分析

評(píng)估人員根據(jù)評(píng)估目標(biāo)，選擇具體分析方法，通過(guò)配置分析參數(shù)，挖掘?qū)υu(píng)估對(duì)象系統(tǒng)效能影響的關(guān)鍵因素，生成評(píng)估報(bào)告反饋給評(píng)估對(duì)象系統(tǒng)的設(shè)計(jì)開(kāi)發(fā)人員。

綜合上述分析，為實(shí)現(xiàn)效能評(píng)估系統(tǒng)的可定制、通用性，面臨三個(gè)主要問(wèn)題需要解決，一是獨(dú)立于具體的評(píng)估任務(wù)，面對(duì)由不同評(píng)估對(duì)象、評(píng)估指標(biāo)體系、評(píng)估數(shù)據(jù)、評(píng)估計(jì)算模型所創(chuàng)建出的不同評(píng)估任務(wù)，系統(tǒng)具有可執(zhí)行能力；二是評(píng)估計(jì)算模型的構(gòu)建要獨(dú)立于具體的評(píng)估方法，系統(tǒng)應(yīng)具有對(duì)評(píng)估計(jì)算模型動(dòng)態(tài)創(chuàng)建、修改的能力；三是系統(tǒng)應(yīng)具有擴(kuò)展能力，如隨著評(píng)估技術(shù)的發(fā)展，當(dāng)出現(xiàn)新的分析方法時(shí)，系統(tǒng)可實(shí)現(xiàn)對(duì)新分析方法的擴(kuò)展。

3 系統(tǒng)總體架構(gòu)（System total architecture）

基于對(duì)效能評(píng)估系統(tǒng)的分析，可定制效能評(píng)估系統(tǒng)框架采用分層架構(gòu)。使用可視化建模技術(shù)和模型組合技術(shù)可滿(mǎn)足效能評(píng)估的建模需求；使用基于算子組裝的評(píng)估計(jì)算模型構(gòu)建技術(shù)可滿(mǎn)足對(duì)不同評(píng)估方法的建模需求；基于插件技術(shù)的開(kāi)發(fā)可滿(mǎn)足效能評(píng)估系統(tǒng)的擴(kuò)展性需求。

效能評(píng)估系統(tǒng)框架為數(shù)據(jù)層、支撐層、功能層和視圖四層架構(gòu)，具體如圖2所示。

（1）數(shù)據(jù)層

數(shù)據(jù)層包括算子庫(kù)、模型庫(kù)和結(jié)果數(shù)據(jù)庫(kù)，其中算子庫(kù)存儲(chǔ)了已開(kāi)發(fā)好的各類(lèi)算子；模型庫(kù)中存儲(chǔ)著評(píng)估指標(biāo)體系、評(píng)估計(jì)算模型等各類(lèi)模型；結(jié)果數(shù)據(jù)庫(kù)存儲(chǔ)著評(píng)估計(jì)算結(jié)果和評(píng)估分析結(jié)果等數(shù)據(jù)。

（2）支撐層

支撐層包含了各功能開(kāi)發(fā)所需要的基礎(chǔ)插件，包括日志插件、數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)插件、算子訪(fǎng)問(wèn)插件和圖表繪制插件等，概括說(shuō)對(duì)下提供數(shù)據(jù)層的資源訪(fǎng)問(wèn)接口，并為上層的各功能插件提供基礎(chǔ)服務(wù)。

（3）功能層

功能層涵蓋了效能評(píng)估系統(tǒng)中各主要功能實(shí)現(xiàn)，是系統(tǒng)架構(gòu)中體現(xiàn)核心價(jià)值部分，主要包括模型檢驗(yàn)、計(jì)算引擎、算子組合、錯(cuò)誤定位、評(píng)估分析、報(bào)告生成、算子管理等插件。

（4）視圖層

視圖層為用戶(hù)提供交互界面，主要包括建模界面、結(jié)果展示界面等。如建模界面支持用戶(hù)在可視化環(huán)境下，以所見(jiàn)即所得的方式進(jìn)行模型構(gòu)建；結(jié)果展示界面支持以圖或表的形式為用戶(hù)提供更直觀(guān)的展現(xiàn)形式。

采用這種分層式架構(gòu)，并遵循面向接口設(shè)計(jì)的思想，則層與層之間的依賴(lài)是向下的，即各層只依賴(lài)于其下層的接口實(shí)現(xiàn)，在不改變接口定義的前提下，這種層次架構(gòu)是一個(gè)可抽取、可替換的“抽屜”式架構(gòu)。開(kāi)發(fā)人員可以只關(guān)注某一層，在定義好插件接口的前提下，很容易實(shí)現(xiàn)用新的插件來(lái)代替原有插件[9]，可以提高系統(tǒng)的開(kāi)發(fā)效率和代碼的復(fù)用性，并在后期易于維護(hù)，降低維護(hù)成本。

4 系統(tǒng)的實(shí)現(xiàn)與應(yīng)用（Implementation and

application of system）

4.1 系統(tǒng)實(shí)現(xiàn)

基于前面的分析與設(shè)計(jì)，為驗(yàn)證方案可行性初步實(shí)現(xiàn)了一個(gè)通用效能評(píng)估及分析系統(tǒng)。該系統(tǒng)框架基于C++語(yǔ)言實(shí)現(xiàn)，采用MVC框架架構(gòu)，其中用戶(hù)界面基于MFC實(shí)現(xiàn)，圖形展示基于MSChart控件二次開(kāi)發(fā)，部分算子及分析模型采用Matlab語(yǔ)言實(shí)現(xiàn)，以DLL形式集成到系統(tǒng)中，數(shù)據(jù)庫(kù)采用MySQL。

工具的運(yùn)行界面如圖3所示。

支持評(píng)估模型的可視化構(gòu)建，模型信息采用xml文件描述，以評(píng)估計(jì)算模型為例，在可視化建模界面中，通過(guò)拖拽算子、算子間采用有向線(xiàn)連接的方式實(shí)現(xiàn)計(jì)算流程，同時(shí)提供基于A(yíng)HP、ADC等評(píng)估方法的快速構(gòu)建計(jì)算模型向?qū)Вo助用戶(hù)自動(dòng)生成評(píng)估計(jì)算模型，支持構(gòu)建過(guò)程中對(duì)評(píng)估計(jì)算模型的實(shí)時(shí)校驗(yàn)和錯(cuò)誤定位功能，使用戶(hù)可及時(shí)發(fā)現(xiàn)并改正錯(cuò)誤。

算子庫(kù)中實(shí)現(xiàn)了包括基礎(chǔ)類(lèi)、控制類(lèi)、數(shù)據(jù)預(yù)處理類(lèi)和評(píng)估計(jì)算等類(lèi)型的算子，基礎(chǔ)類(lèi)算子負(fù)責(zé)數(shù)學(xué)運(yùn)算，如加減乘除等，可支持單值和矩陣兩種數(shù)據(jù)形式；控制類(lèi)算子負(fù)責(zé)控制計(jì)算流程，如開(kāi)始、分支、結(jié)束等；數(shù)據(jù)預(yù)處理類(lèi)算子負(fù)責(zé)完成評(píng)估數(shù)據(jù)的接入，實(shí)現(xiàn)了數(shù)據(jù)庫(kù)和文件兩種數(shù)據(jù)訪(fǎng)問(wèn)接口，可滿(mǎn)足當(dāng)前大部分系統(tǒng)的要求；評(píng)估計(jì)算類(lèi)算子包括權(quán)重計(jì)算、加權(quán)求和等和評(píng)估計(jì)算相關(guān)的算子。

4.2 系統(tǒng)應(yīng)用

通過(guò)在反導(dǎo)評(píng)估案例、通信網(wǎng)案例中的應(yīng)用，工具可滿(mǎn)足不同評(píng)估對(duì)象的評(píng)估需求，并具有如下特點(diǎn)：

（1）系統(tǒng)針對(duì)不同的評(píng)估對(duì)象，可建立相應(yīng)的評(píng)估指標(biāo)體系、評(píng)估計(jì)算模型，并提供多種分析手段，滿(mǎn)足其評(píng)估需求，使系統(tǒng)與具體的評(píng)估對(duì)象無(wú)關(guān)，體現(xiàn)了系統(tǒng)的可定制。

（2）可視化建模環(huán)境，無(wú)論是評(píng)估指標(biāo)體系構(gòu)建、數(shù)據(jù)源配置，還是評(píng)估計(jì)算模型構(gòu)建，都提供友好的界面，對(duì)用戶(hù)來(lái)說(shuō)所見(jiàn)即所得。

（3）系統(tǒng)支持對(duì)算子庫(kù)及分析方法的擴(kuò)展，用戶(hù)可基于算子開(kāi)發(fā)規(guī)范實(shí)現(xiàn)滿(mǎn)足自己需求的專(zhuān)用算子，或者新的分析方法，并支持不同開(kāi)發(fā)語(yǔ)言，體現(xiàn)了系統(tǒng)的可擴(kuò)展。

（4）系統(tǒng)支持用戶(hù)通過(guò)拖拽算子的方式實(shí)現(xiàn)評(píng)估計(jì)算模型組合式建模，通過(guò)有向線(xiàn)的方式建立算子間數(shù)據(jù)輸入輸出關(guān)系；為提高建模效率，同時(shí)提供評(píng)估計(jì)算模型的半自動(dòng)生成方法，體現(xiàn)了系統(tǒng)的易用性。

（5）系統(tǒng)支持圖、表等可視化展示形式，用戶(hù)可自定義展示方案，將計(jì)算或者分析結(jié)果數(shù)據(jù)按照定制的形式進(jìn)行可視化展示，體現(xiàn)了系統(tǒng)的靈活性。

（6）提供評(píng)估分析報(bào)告的編輯、生成功能，支持保存為HTML、doc等不同的文件格式。

5 結(jié)論（Conclusion）

本文對(duì)不同效能評(píng)估系統(tǒng)總結(jié)分析后，提出了與評(píng)估對(duì)象無(wú)關(guān)、可滿(mǎn)足不同評(píng)估需求的效能評(píng)估系統(tǒng)的設(shè)計(jì)方案，并為驗(yàn)證該設(shè)計(jì)的可行性進(jìn)行了源碼實(shí)現(xiàn)。工具提供可視化建模環(huán)境，可靈活定制評(píng)估流程，并支持組合式建模便于用

戶(hù)快速定制符合自身評(píng)估需求的評(píng)估系統(tǒng)。最后通過(guò)在反導(dǎo)與通信網(wǎng)兩種不同評(píng)估對(duì)象的效能評(píng)估應(yīng)用中，證明工具具有通用性和擴(kuò)展性，可滿(mǎn)足對(duì)通用效能評(píng)估系統(tǒng)的要求。當(dāng)然也存在著諸多不足之處，算子數(shù)量太少、分析方法不夠豐富、所支持的數(shù)據(jù)源類(lèi)型僅限于數(shù)據(jù)庫(kù)等，這些都限制了評(píng)估系統(tǒng)的應(yīng)用范圍，隨著不斷改進(jìn)與完善，相信該可定制的效能評(píng)估系統(tǒng)會(huì)更具有實(shí)用價(jià)值。

參考文獻(xiàn)（References）

[1] Gray，F(xiàn)rank B，William R.A Combat-Effectiveness Approach to Information Assurance[C].U.S.Air Force T and E Days 2010，2010：350-360.

[2] Research on Combat Effectiveness Evaluation of Radar EW System Based on Bayesian Network [J].Yu Jie Zheng.Advanced Materials Research，2011：204.

[3] Gray Booch，James Rumbaugh，Ivar Jacobson.The Unified Modeling Language User Guide[M].Addison Wesley，2005，MA.

[4] Anneke Kleppe，Jos Warmer，Wim Bast.MDA Explained：The Model Driven ArchitectureTM；Practice and Promise[M].Addison Wesley，April 21，2003，MA.

[5] 張杰，等.效能評(píng)估方法研究[M].北京：國(guó)防工業(yè)出版社，2009：

1-8.

[6] 夏曉凱.面向效能評(píng)估的系統(tǒng)體系結(jié)構(gòu)仿真與優(yōu)化技術(shù)研究[D].北京：北京航空航天大學(xué)，2015.

[7] 段成，吳克河.通用綜合評(píng)價(jià)支持系統(tǒng)的可配置評(píng)價(jià)模型研究[J].系統(tǒng)仿真學(xué)報(bào)，2012，24（3）：693-694.

[8] 張昶.武器裝備作戰(zhàn)效能通用分析評(píng)估框架的設(shè)計(jì)和實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2011.

[9] 雷霆，張宏軍，周志剛.通用演習(xí)評(píng)估系統(tǒng)分析與設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2004，24：189-190.

作者簡(jiǎn)介：

曲 凱（1984-），男，碩士，工程師.研究領(lǐng)域：軟件開(kāi)發(fā).

陳西選（1982-），男，碩士，高級(jí)工程師.研究領(lǐng)域：系統(tǒng)集成，軟件開(kāi)發(fā).

徐 珞（1976-），男，博士，研究員.研究領(lǐng)域：系統(tǒng)架構(gòu)，軟件開(kāi)發(fā).

劉明哲（1987-），男，碩士，工程師.研究領(lǐng)域：系統(tǒng)集成，軟件開(kāi)發(fā).