基于仿真大數(shù)據(jù)的效能評估指標(biāo)體系構(gòu)建方法

司光亞，高翔，劉洋，吳琳

國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部，北京 100091

基于仿真大數(shù)據(jù)的效能評估指標(biāo)體系構(gòu)建方法

司光亞，高翔，劉洋，吳琳

國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部，北京 100091

針對武器裝備效能評估指標(biāo)體系中評估指標(biāo)之間存在的相互依賴與影響的關(guān)系以及評估過程主觀性較強(qiáng)的情況，提出一種基于仿真大數(shù)據(jù)采用超網(wǎng)特征參數(shù)和ANP相結(jié)合構(gòu)建指標(biāo)體系的方法。以某次武器裝備體系仿真為例，給出了網(wǎng)絡(luò)化評估指標(biāo)體系構(gòu)建流程，并建立了具體的指標(biāo)體系，同時(shí)對指標(biāo)之間的關(guān)聯(lián)性進(jìn)行了深度挖掘。實(shí)驗(yàn)結(jié)果表明，提出的指標(biāo)體系構(gòu)建方法具有合理性和有效性，能夠?yàn)槲淦餮b備體系效能評估提供更為可靠的理論依據(jù)。

仿真大數(shù)據(jù)；效能評估；ANP；關(guān)聯(lián)性分析；網(wǎng)絡(luò)化指標(biāo)體系

1 引言

現(xiàn)代武器裝備體系是典型的復(fù)雜系統(tǒng)，呈現(xiàn)出網(wǎng)絡(luò)化特點(diǎn)。它的整體性、非線性、涌現(xiàn)性以及不確定性等復(fù)雜特征使得長期以來在武器裝備體系效能評估方面的研究進(jìn)展緩慢，嚴(yán)重影響了武器裝備體系的建設(shè)與發(fā)展。指標(biāo)體系建設(shè)是進(jìn)行效能評估的基礎(chǔ)和依據(jù)。由于武器裝備體系效能評估需要更多地反映體系效能評估的特點(diǎn)，傳統(tǒng)的“樹狀”武器裝備評估指標(biāo)體系和“加權(quán)求和”方法已不再適用[1,2]。如何對武器裝備體系的網(wǎng)絡(luò)化特點(diǎn)及其“涌現(xiàn)效應(yīng)”進(jìn)行研究，并深度挖掘各指標(biāo)之間的關(guān)聯(lián)關(guān)系，構(gòu)建全新的相互關(guān)聯(lián)的網(wǎng)絡(luò)化指標(biāo)體系，是需要解決的一項(xiàng)關(guān)鍵問題。因此，必須尋找新的方法構(gòu)造全新的效能評估指標(biāo)體系框架，在此基礎(chǔ)上，構(gòu)建具體的指標(biāo)體系，展開對武器裝備體系效能的有效評估。

許相莉等人[3]提出了一種基于復(fù)雜網(wǎng)絡(luò)理論的網(wǎng)絡(luò)化指標(biāo)體系框架，并以實(shí)際對抗推演中的指控體系為例構(gòu)建了具體的指標(biāo)體系，但是沒有給出構(gòu)建指標(biāo)體系的具體方法，同時(shí)傳統(tǒng)的復(fù)雜網(wǎng)絡(luò)模型已經(jīng)不適于描述體系。劉旸等人[4]提出信度層次分析法，按照權(quán)威領(lǐng)域?qū)＜以诓煌眯艆^(qū)間內(nèi)的置信度，對某型導(dǎo)彈驅(qū)逐艦的作戰(zhàn)效能進(jìn)行了評估，但是該方法缺乏考慮評估指標(biāo)之間的相互影響與依賴關(guān)系。趙剛等人[5]依據(jù)風(fēng)險(xiǎn)評估規(guī)范選取信息安全風(fēng)險(xiǎn)評估指標(biāo)，運(yùn)用網(wǎng)絡(luò)層次分析法（analytic network process, ANP）求出各評估指標(biāo)的影響權(quán)重，從而對信息系統(tǒng)的安全風(fēng)險(xiǎn)進(jìn)行綜合評價(jià)，但是該方法的評估數(shù)據(jù)主要來源于專家的經(jīng)驗(yàn)判斷，具有較強(qiáng)的主觀性。石福麗等人[6]提出了基于網(wǎng)絡(luò)層次分析法和仿真的武器裝備能力冪指數(shù)評估模型構(gòu)建框架，研究了網(wǎng)絡(luò)化評估指標(biāo)體系設(shè)計(jì)與優(yōu)化方法，但是該方法不適于對體系整體進(jìn)行效能評估。

針對上述問題，本文依托現(xiàn)有的大型仿真系統(tǒng)，引入與體系具有天然結(jié)構(gòu)類似性的超網(wǎng)絡(luò)模型，利用推演過程中產(chǎn)生的海量多源異構(gòu)仿真大數(shù)據(jù)，構(gòu)建武器裝備體系加權(quán)超網(wǎng)模型。在此基礎(chǔ)上，基于ANP構(gòu)建網(wǎng)絡(luò)化的效能評估指標(biāo)體系，同時(shí)利用數(shù)據(jù)挖掘技術(shù)分析效能指標(biāo)體系中指標(biāo)之間的關(guān)聯(lián)性，從而實(shí)現(xiàn)對武器裝備體系的效能評估。

通過大型仿真推演與實(shí)驗(yàn)得到的仿真大數(shù)據(jù)，涵蓋了陸、海、空、天多維戰(zhàn)場空間的全過程推演產(chǎn)生的全樣本時(shí)空數(shù)據(jù)，仿真實(shí)體規(guī)模龐大，為挖掘武器裝備體系結(jié)構(gòu)提供了可能；記錄了仿真推演中種類繁多、數(shù)量龐大的實(shí)體及其之間的復(fù)雜交互關(guān)系的數(shù)據(jù)，為效能評估指標(biāo)體系的相關(guān)性分析提供了可能；完整記錄了仿真推演的過程與結(jié)果數(shù)據(jù)，為展現(xiàn)難以可視化的不確定性和涌現(xiàn)性效能提供了可能。為此，仿真大數(shù)據(jù)為武器裝備體系效能評估提供了新的思路。

筆者主要基于具有關(guān)聯(lián)性特征的仿真大數(shù)據(jù)，跳過因果關(guān)系，通過動(dòng)態(tài)測量的方法對各指標(biāo)之間的關(guān)聯(lián)關(guān)系進(jìn)行深度挖掘。以武器裝備體系仿真產(chǎn)生的數(shù)據(jù)為分析對象，若指標(biāo)參數(shù)之間是線性關(guān)系，利用最小二乘法（多元線性回歸）通過對各項(xiàng)效能指標(biāo)的演化進(jìn)行動(dòng)態(tài)測量，充分挖掘各個(gè)層次指標(biāo)之間的網(wǎng)狀關(guān)聯(lián)性；若指標(biāo)參數(shù)之間是非線性關(guān)系，此時(shí)擬采用深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）來分析其關(guān)聯(lián)性。

2 效能評估指標(biāo)體系構(gòu)建

指標(biāo)體系，是指在評估活動(dòng)中由一系列相互關(guān)聯(lián)的本質(zhì)屬性指標(biāo)構(gòu)成的有機(jī)整體。構(gòu)建評估指標(biāo)體系是進(jìn)行武器裝備體系效能評估的首要前提。首先利用ANP構(gòu)建效能評估指標(biāo)體系，在此基礎(chǔ)上以仿真大數(shù)據(jù)為分析對象，結(jié)合回歸方法和深度學(xué)習(xí)方法挖掘指標(biāo)之間的關(guān)聯(lián)性。

2.1 指標(biāo)體系構(gòu)建方法的概念框架

圖1給出了指標(biāo)體系構(gòu)建方法的概念框架，該框架主要由加權(quán)超網(wǎng)模型構(gòu)建與指標(biāo)體系構(gòu)建兩個(gè)核心模塊組成。

（1）加權(quán)超網(wǎng)模型構(gòu)建模塊

首先對獲取的仿真大數(shù)據(jù)進(jìn)行預(yù)處理，這里的仿真大數(shù)據(jù)包括日志數(shù)據(jù)、報(bào)告數(shù)據(jù)、指令數(shù)據(jù)等。經(jīng)過必要的清洗、轉(zhuǎn)換和集成后，根據(jù)參考文獻(xiàn)[7]中加權(quán)超網(wǎng)模型的構(gòu)建算法構(gòu)建模型。

（2）指標(biāo)體系構(gòu)建模塊

在構(gòu)建加權(quán)超網(wǎng)模型后，與管理人員的評估目標(biāo)進(jìn)行交互，通過動(dòng)態(tài)測量不同的超網(wǎng)特征參數(shù)來構(gòu)建指標(biāo)體系中的基礎(chǔ)評估指標(biāo)，并基于 ANP構(gòu)建效能評估指標(biāo)體系。

2.2 網(wǎng)絡(luò)層次分析法

本文擬運(yùn)用網(wǎng)絡(luò)層次分析法（ANP）[8,9]設(shè)計(jì)和構(gòu)建評估武器裝備體系效能的多層次、多類別、相互關(guān)聯(lián)的網(wǎng)絡(luò)化指標(biāo)體系。

ANP模型的基本步驟如下。

· 分析問題，將決策問題進(jìn)行系統(tǒng)的分析、組合，形成元素和元素集，主要分析判斷元素層次是否內(nèi)部獨(dú)立，是否存在內(nèi)部依存和反饋。

· 構(gòu)造ANP的典型結(jié)構(gòu)，首先要構(gòu)造控制層，設(shè)定決策目標(biāo)和決策準(zhǔn)則?？刂茖又腥粲袃蓚€(gè)以上準(zhǔn)則，則這些準(zhǔn)則對上隸屬于目標(biāo)，對下分別控制著一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。再則構(gòu)造網(wǎng)絡(luò)層次，分析其網(wǎng)絡(luò)結(jié)構(gòu)和相互影響關(guān)系。

· 構(gòu)造 ANP的超矩陣計(jì)算權(quán)重，對組內(nèi)和組與組之間的相關(guān)元素逐個(gè)進(jìn)行兩兩比較，即計(jì)算超矩陣，計(jì)算相對權(quán)重。

典型的網(wǎng)絡(luò)化評估指標(biāo)體系如圖2所示。該體系由若干個(gè)指標(biāo)簇構(gòu)成，彼此互不隸屬，互不獨(dú)立。每個(gè)指標(biāo)或指標(biāo)簇彼此都不獨(dú)立，某一個(gè)指標(biāo)簇可能影響整個(gè)網(wǎng)絡(luò)化評估指標(biāo)體系中的任一指標(biāo)簇，反之亦可能受其影響。指標(biāo)簇中的指標(biāo)之間可能相互影響，也可能影響另一指標(biāo)簇或受其影響。

圖1 指標(biāo)體系構(gòu)建方法的概念框架

2.3 評估指標(biāo)的選取

根據(jù)Cares J[10]的《分布式網(wǎng)絡(luò)化作戰(zhàn)—網(wǎng)絡(luò)中心戰(zhàn)基礎(chǔ)》一書中對分布式網(wǎng)絡(luò)化部隊(duì)基本作戰(zhàn)能力指標(biāo)的描述，擬確定效能度量指標(biāo)為：抗毀性R1、重組性R2、分散性R3、隱蔽性R4、鄰近性R5、靈活性R6、適應(yīng)性R7和高效性R8。

武器裝備體系是由超大規(guī)模的傳感器、指揮控制、通信等實(shí)體或系統(tǒng)由各種有線或無線方式連接而成的復(fù)雜系統(tǒng)。由于超網(wǎng)模型與體系具有天然的結(jié)構(gòu)類似性，因而利用超網(wǎng)對武器裝備體系進(jìn)行建模與評估已成為該領(lǐng)域的研究熱點(diǎn)。本文根據(jù)參考文獻(xiàn)[7]的相關(guān)研究成果，在構(gòu)建武器裝備體系加權(quán)超網(wǎng)模型后，通過模型的特征參數(shù)（如節(jié)點(diǎn)數(shù)量、度、層級、連通度等）構(gòu)建指標(biāo)體系中的基礎(chǔ)評估指標(biāo)。擬確定的基礎(chǔ)評估指標(biāo)包括節(jié)點(diǎn)數(shù)量A1、度A2、層級A3、網(wǎng)絡(luò)重心數(shù)量及分布A4、連通度A5、鏈路節(jié)點(diǎn)比A6、介數(shù)A7、中立率A8、集群數(shù)量和集群規(guī)模A9。

在此基礎(chǔ)上，通過測量各指標(biāo)的動(dòng)態(tài)演化過程，充分挖掘各指標(biāo)之間的網(wǎng)絡(luò)化關(guān)聯(lián)關(guān)系，構(gòu)建基礎(chǔ)評估指標(biāo)與效能度量指標(biāo)之間的關(guān)聯(lián)關(guān)系，并通過海量仿真數(shù)據(jù)對各指標(biāo)展開基于動(dòng)態(tài)測量的相關(guān)性分析，挖掘它們之間的關(guān)聯(lián)性，形成具體、完整的相互關(guān)聯(lián)的網(wǎng)絡(luò)化效能指標(biāo)體系。

下面分別對上述效能度量指標(biāo)和基礎(chǔ)評估指標(biāo)進(jìn)行介紹[3]。

效能度量指標(biāo)主要度量和表現(xiàn)武器裝備體系的建設(shè)成果，如對體系的自適應(yīng)能力、重組能力、抗毀性、分散性、隱蔽能力、靈活性、高效性等能力的評估。系統(tǒng)效能度量指標(biāo)如下。

· 抗毀性R1：體系結(jié)構(gòu)被破壞的難易程度，即網(wǎng)絡(luò)在遭受破壞時(shí)保持一定連通狀態(tài)的性能。

· 重組性R2：迅速重新部署或集結(jié)各要素的能力，自適應(yīng)地演變成一定數(shù)量的節(jié)點(diǎn)、連接拓?fù)湟约爱a(chǎn)生有價(jià)值的自適應(yīng)行為的多尺度性能。

· 分散性R3：空間、信息、邏輯的分散程度，避免具有中心結(jié)構(gòu)。

· 隱蔽性R4：節(jié)點(diǎn)的隱蔽能力，通過較小的單元組合來提高凝聚能力，降低被發(fā)現(xiàn)的概率。

· 鄰近性R5：網(wǎng)絡(luò)結(jié)構(gòu)在信息和邏輯上的完備能力，突出大量較小的隱蔽目標(biāo)在信息上和邏輯上對作戰(zhàn)能力的貢獻(xiàn)。

· 靈活性R6：互操作能力，適應(yīng)激烈競爭和環(huán)境劇變，這是從重組性獨(dú)立出來的。

· 適應(yīng)性R7：網(wǎng)絡(luò)的自適應(yīng)能力。

· 高效性R8：體系的效率、瓶頸情況等。

基礎(chǔ)評估指標(biāo)反映的是武器裝備體系的整體性能，擬通過加權(quán)超網(wǎng)模型的特征參數(shù)進(jìn)行基礎(chǔ)評估指標(biāo)的構(gòu)建，這些指標(biāo)又可以分為個(gè)體行為評價(jià)指標(biāo)和體系整體行為評價(jià)指標(biāo)，如圖3所示。

圖2 網(wǎng)絡(luò)化評估指標(biāo)體系

其中，個(gè)體行為評價(jià)指標(biāo)主要的評價(jià)對象是武器裝備體系中個(gè)體及其交互行為構(gòu)成的結(jié)構(gòu)和行為特性，擬確定的指標(biāo)包括：活動(dòng)節(jié)點(diǎn)數(shù)量、度、層級、功能重心數(shù)量及分布和介數(shù)。體系整體行為評價(jià)指標(biāo)主要的評價(jià)對象是體系整體行為特性以及整體結(jié)構(gòu)特性，擬確定的指標(biāo)包括：連通度、鏈路節(jié)點(diǎn)比、中立率以及集群數(shù)量和集群規(guī)模。下面分別對這些指標(biāo)進(jìn)行介紹。

· 活動(dòng)節(jié)點(diǎn)數(shù)量A1：武器裝備體系中處于活動(dòng)狀態(tài)的節(jié)點(diǎn)數(shù)量。具體地，是指各個(gè)功能網(wǎng)絡(luò)中處于活動(dòng)狀態(tài)的節(jié)點(diǎn)數(shù)量。

· 度A2：包括體系中節(jié)點(diǎn)的入度、出度、平均度、最大度、度分布指標(biāo)。其中，度分布p(k)定義為任選一個(gè)節(jié)點(diǎn)，它的度正好為k的概率。

· 層級A3：武器裝備體系節(jié)點(diǎn)之間關(guān)系的平均層級數(shù)、最大層級數(shù)。指揮層級指的是指揮信息流從一個(gè)作戰(zhàn)實(shí)體到另一個(gè)作戰(zhàn)實(shí)體必須流經(jīng)的實(shí)體數(shù)。指揮層級可以用復(fù)雜網(wǎng)絡(luò)的平均路徑長度來表示。

· 功能重心數(shù)量及分布A4：武器裝備體系的功能重心情況。對于靜態(tài)網(wǎng)絡(luò)，最大網(wǎng)絡(luò)中心節(jié)點(diǎn)就是網(wǎng)絡(luò)中總度數(shù)最大的節(jié)點(diǎn)，該節(jié)點(diǎn)在整個(gè)網(wǎng)絡(luò)中十分重要，根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，可以認(rèn)為它（們）是網(wǎng)絡(luò)重心。

· 連通度A5：武器裝備體系的連通度，指武器裝備體系的各組成系統(tǒng)向體系內(nèi)部的其他系統(tǒng)尋求、獲取、提供信息和服務(wù)的能力。評價(jià)復(fù)雜網(wǎng)絡(luò)連通度可以選定譜范數(shù)。

· 鏈路節(jié)點(diǎn)比A6：武器裝備體系的鏈路節(jié)點(diǎn)比，可用于衡量體系的脆弱性和自適應(yīng)性等，它指的是網(wǎng)絡(luò)中的鏈路總數(shù)和網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)的比值。

· 介數(shù)A7：衡量武器裝備體系的瓶頸情況，包括體系的介數(shù)中心數(shù)量、最大節(jié)點(diǎn)介數(shù)、介數(shù)分布情況等指標(biāo)。

· 中立率A8：武器裝備體系的中立率，主要用于衡量體系的自適應(yīng)性。對于一個(gè)節(jié)點(diǎn)數(shù)為N的網(wǎng)絡(luò)，用鏈路的數(shù)量L減去網(wǎng)絡(luò)的大小N-1，然后再用網(wǎng)絡(luò)規(guī)模N進(jìn)行歸一化。

· 集群數(shù)量和集群規(guī)模A9：武器裝備體系結(jié)構(gòu)中的連通片數(shù)量、每個(gè)連通片內(nèi)的節(jié)點(diǎn)數(shù)量、每個(gè)集群的重心情況。

圖3 武器裝備體系基礎(chǔ)評估指標(biāo)

除了上述指標(biāo)，還有其他描述體系網(wǎng)絡(luò)的特征參量，例如連通子圖、聚類系數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)熵、特征譜等。選取何種特征參量作為體系的網(wǎng)絡(luò)化效能評估指標(biāo)，取決于體系網(wǎng)絡(luò)模型的實(shí)際含義。

2.4 評估指標(biāo)體系的簡化方法

目前，評估模型的復(fù)雜、收集數(shù)據(jù)的繁多已給評估組織者、數(shù)據(jù)提供者、評估專家?guī)砗艽蟮呢?fù)擔(dān)，評估模型簡化顯然有其現(xiàn)實(shí)的意義，主要體現(xiàn)在以下幾點(diǎn)：簡化的評估模型使得數(shù)據(jù)處理更加容易；簡化的評估模型會(huì)大大節(jié)約時(shí)間；簡化的評估模型使得對評估過程的控制更加容易；簡化的評估模型會(huì)提高評估實(shí)施的可行性。

指標(biāo)體系簡化主要有兩種方式，一是指標(biāo)變量個(gè)數(shù)的減少；二是組合方式的簡化。組合方式簡化還包括這樣一種情況，即指標(biāo)本身并不改變，但指標(biāo)變量的性質(zhì)發(fā)生了變化，從而使得評估簡單易行。

為此，以仿真大數(shù)據(jù)為基礎(chǔ)并結(jié)合高維數(shù)據(jù)降維思想，對指標(biāo)體系中的指標(biāo)進(jìn)行簡化。在初步構(gòu)建網(wǎng)絡(luò)化效能評估指標(biāo)體系后，本文采用了主成分分析法對指標(biāo)體系進(jìn)行化簡。

2.5 網(wǎng)絡(luò)化效能評估指標(biāo)體系構(gòu)建

本文以某次體系仿真推演產(chǎn)生的海量數(shù)據(jù)為研究對象，構(gòu)造武器裝備體系加權(quán)超網(wǎng)模型，同時(shí)利用超網(wǎng)模型的特征參數(shù)進(jìn)行基礎(chǔ)評估指標(biāo)的構(gòu)建，并對效能度量指標(biāo)進(jìn)行確定。在此基礎(chǔ)上，基于ANP模型建立效能評估指標(biāo)體系。圖4給出了效能評估指標(biāo)體系的構(gòu)建流程，具體如下。

· 目標(biāo)分析是建立評估指標(biāo)體系的前提，就是體系評估要達(dá)到的目的，即武器裝備體系評估結(jié)果最重要的不是“好壞”，而是“發(fā)現(xiàn)”，發(fā)現(xiàn)體系結(jié)構(gòu)、能力和效能上的問題，提高對體系的認(rèn)知。

圖4 指標(biāo)體系構(gòu)建流程

· 指標(biāo)體系結(jié)構(gòu)分析。不同的目標(biāo)結(jié)構(gòu)會(huì)帶來不同的評估指標(biāo)體系結(jié)構(gòu)形式，常見的評估指標(biāo)體系的結(jié)構(gòu)形式有兩種：層次型評估指標(biāo)體系和網(wǎng)絡(luò)型評估指標(biāo)體系。由于現(xiàn)代武器裝備體系是典型的復(fù)雜系統(tǒng)，呈現(xiàn)出網(wǎng)絡(luò)化特點(diǎn)，故擬建立網(wǎng)絡(luò)狀的評估指標(biāo)體系。

· 選擇參考模型。按復(fù)雜系統(tǒng)理論的觀點(diǎn)，武器裝備體系作戰(zhàn)效能“整體性質(zhì)不等于部分之和”，而是組成體系的眾多分系統(tǒng)完成特定作戰(zhàn)任務(wù)過程中涌現(xiàn)出來的體系作戰(zhàn)能力，故利用ANP模型設(shè)計(jì)和構(gòu)建評估武器裝備體系效能的網(wǎng)絡(luò)化指標(biāo)體系。

· 一般而言，體系級的效能指標(biāo)需要反映體系整體效果。根據(jù)武器裝備體系效能評估的需要，確定的效能度量指標(biāo)分別為抗毀性R1、重組性R2、分散性R3、隱蔽性 R4、鄰近性R5、靈活性R6、適應(yīng)性R7以及高效性R8。

· 基礎(chǔ)評估指標(biāo)是作戰(zhàn)仿真實(shí)驗(yàn)結(jié)果觀察到的、對戰(zhàn)場形勢具有決定作用的敵我雙方戰(zhàn)況數(shù)據(jù)的集合。確定的基礎(chǔ)評估指標(biāo)分別為活動(dòng)節(jié)點(diǎn)數(shù)量A1、度A2、層級A3、功能重心數(shù)量及分布A4、連通度A5、鏈路節(jié)點(diǎn)比A6、介數(shù)A7、中立率A8以及集群數(shù)量和集群規(guī)模A9。

· 指標(biāo)關(guān)聯(lián)性分析。通過指標(biāo)關(guān)聯(lián)性分析，可以得到各個(gè)指標(biāo)在綜合評估中的地位和影響程度。

· 在上述各項(xiàng)工作完成后，便可以形成一個(gè)初步的、可供實(shí)際操作的評估指標(biāo)體系。此外，還需要在實(shí)踐中檢驗(yàn)，并基于評估結(jié)果提出改進(jìn)建議，以得到滿意的綜合評估指標(biāo)體系。

圖5給出了初步構(gòu)建的網(wǎng)絡(luò)化效能評估指標(biāo)體系。該指標(biāo)體系的結(jié)構(gòu)包括：基礎(chǔ)評估指標(biāo)Ai、效能度量指標(biāo)Ri、指標(biāo)之間的關(guān)聯(lián)關(guān)系。

在該指標(biāo)體系中，基礎(chǔ)指標(biāo)與能力效果之間存在聚合關(guān)系。以抗毀性R6能力效果的評估為例，它與A4和A5、A6、A74類單項(xiàng)基礎(chǔ)指標(biāo)存在聚合關(guān)系，這4類指標(biāo)項(xiàng)的單項(xiàng)度量結(jié)果將影響抗毀性能力效果。同時(shí)，指標(biāo)之間存在影響關(guān)系，例如鄰近性R5和靈活性R6相互影響，此時(shí)使用雙箭頭連接線進(jìn)行表示。而當(dāng)效能指標(biāo)R中的內(nèi)部節(jié)點(diǎn)也存在關(guān)聯(lián)關(guān)系時(shí)，使用單箭頭曲線指向自己，如鄰近性R5。

圖5 網(wǎng)絡(luò)化效能評估指標(biāo)體系

3 基于深度學(xué)習(xí)和ANP相結(jié)合的指標(biāo)關(guān)聯(lián)性挖掘方法研究

傳統(tǒng)的樹狀指標(biāo)體系難以反映武器裝備體系的復(fù)雜系統(tǒng)特征和作戰(zhàn)效能生成機(jī)理，筆者主要基于具有關(guān)聯(lián)性特征的仿真數(shù)據(jù)，跳過因果關(guān)系，通過動(dòng)態(tài)測量的方法，對各指標(biāo)之間的關(guān)聯(lián)關(guān)系進(jìn)行深度挖掘。以武器裝備體系仿真產(chǎn)生的數(shù)據(jù)為分析對象，若指標(biāo)參數(shù)之間是線性關(guān)系，利用回歸分析中的最小二乘法通過對各項(xiàng)效能指標(biāo)的演化進(jìn)行動(dòng)態(tài)測量，充分挖掘各個(gè)層次指標(biāo)之間的網(wǎng)狀關(guān)聯(lián)性；若指標(biāo)參數(shù)之間是非線性關(guān)系，此時(shí)擬采用深度神經(jīng)網(wǎng)絡(luò)（DNN）來分析其關(guān)聯(lián)性。

圖6給出了評估指標(biāo)體系關(guān)聯(lián)性挖掘的流程。

首先，分析效能度量指標(biāo)之間的權(quán)重關(guān)系，根據(jù)專家給出的經(jīng)驗(yàn)數(shù)據(jù)，擬采用德爾菲（Delphi）法計(jì)算效能度量指標(biāo)之間的權(quán)重，建立加權(quán)矩陣?；具^程如下。

設(shè)指標(biāo)體系草案選定有n個(gè)評估指標(biāo)I1,I2,…,In，經(jīng)過專家意見咨詢并統(tǒng)計(jì)結(jié)果，綜合專家意見的總重要度分別為x1,x2,…,xn，對指標(biāo)總重要度排序進(jìn)行歸一化處理，得到n個(gè)評估指標(biāo)的歸一化排序向量(w1,w2,…,wn)，且w1+w2+…+wn=1。

其次，動(dòng)態(tài)測量基礎(chǔ)評估指標(biāo)的仿真參數(shù)，即通過仿真分析某些定量指標(biāo)之間的關(guān)聯(lián)度，獲取構(gòu)建初始超矩陣所需的參數(shù)。若指標(biāo)參數(shù)之間屬于線性關(guān)系，可以采用最小二乘法?；谧钚《朔ǖ幕具^程：假設(shè)輸入的一組基礎(chǔ)評估指標(biāo)為A=(a1,a2,…,am)，其中，ai為第i個(gè)指標(biāo)。這組指標(biāo)影響上層效能度量中的指標(biāo)為y，Aj(j=1,2,…,n)為第j時(shí)刻的實(shí)驗(yàn)指標(biāo)值。使用最小二乘法建立各指標(biāo)值與效能度量指標(biāo)之間的擬合關(guān)系回歸模型，進(jìn)而針對n個(gè)基礎(chǔ)評估指標(biāo)求得其對y的影響系數(shù)向量B=[b1,b2,…,bn]T，將這些影響系數(shù)進(jìn)行兩兩比較，可以形成由相對重要度構(gòu)成的判斷矩陣為C=(bi/bj)n×n=(cij)n×n。在此之后，對該判斷矩陣進(jìn)行微調(diào)，使其符合指標(biāo)判斷要求。若指標(biāo)參數(shù)之間屬于非線性關(guān)系，此時(shí)擬采用DNN分析各個(gè)指標(biāo)的關(guān)聯(lián)性。圖7給出了一個(gè)含多個(gè)隱層的深度神經(jīng)網(wǎng)絡(luò)模型，該模型的輸入維度是5，若設(shè)其層數(shù)為δ，則神經(jīng)元的個(gè)數(shù)為(δ-1)×5+1。

當(dāng)今深度學(xué)習(xí)（deep learning）正處于快速發(fā)展階段。其基本思想就是通過組合低層特征形成更加抽象的高層表示特征，即第i層的輸出作為第i+1層的輸入。DNN在計(jì)算機(jī)視覺領(lǐng)域的表現(xiàn)可謂見效非凡，如DNN在Google（谷歌）的Brain項(xiàng)目中的應(yīng)用。

最后，按順序構(gòu)造出初始超矩陣和極限超矩陣，進(jìn)而可以挖掘評估指標(biāo)體系關(guān)聯(lián)性。這里求解超矩陣是一種非常復(fù)雜的計(jì)算過程，手工運(yùn)算幾乎不可能。在實(shí)際應(yīng)用中，一般都使用計(jì)算機(jī)軟件進(jìn)行計(jì)算，例如Super Decisions，并且采用的計(jì)算方法是Calculus type（9.0）。

圖7 含多個(gè)隱層的深度神經(jīng)網(wǎng)絡(luò)模型

4 應(yīng)用實(shí)例

4.1 參數(shù)設(shè)置

以某次大型仿真對抗推演為例，對文中的模型與相關(guān)計(jì)算方法進(jìn)行驗(yàn)證。該次仿真推演與實(shí)驗(yàn)涵蓋了陸、海、空、天、電多維戰(zhàn)場空間，仿真實(shí)體規(guī)模龐大，采集了整個(gè)推演的全過程、全樣本時(shí)空數(shù)據(jù)，為挖掘武器裝備體系結(jié)構(gòu)以及對其進(jìn)行效能評估提供了可能。

首先，根據(jù)參考文獻(xiàn)[7]中的方法，通過采集仿真系統(tǒng)產(chǎn)生的數(shù)據(jù)構(gòu)造加權(quán)超網(wǎng)模型。在此基礎(chǔ)上，通過動(dòng)態(tài)測量超網(wǎng)模型特征參數(shù)獲取基礎(chǔ)評估指標(biāo)值。之后，根據(jù)Delphi法計(jì)算效能度量指標(biāo)之間的權(quán)重，通過咨詢相關(guān)專家的意見并統(tǒng)計(jì)結(jié)果，得到各個(gè)效能指標(biāo)的權(quán)重，并建立加權(quán)矩陣。

在建立基礎(chǔ)評估指標(biāo)判斷矩陣過程中，通過動(dòng)態(tài)測量基礎(chǔ)評估指標(biāo)仿真參數(shù)，獲取構(gòu)建初始超矩陣需要的參數(shù)。例如，對于指標(biāo)活動(dòng)節(jié)點(diǎn)數(shù)量y，層級x1、功能重心數(shù)量x2、連通度x3對其有影響，本問題涉及的3個(gè)指標(biāo)都屬于基礎(chǔ)評估指標(biāo)，可通過構(gòu)建武器裝備體系超網(wǎng)模型進(jìn)行獲取，通過動(dòng)態(tài)測量得到不同時(shí)刻的超網(wǎng)特征參數(shù)，如下所示。

根據(jù)上述介紹的最小二乘法，建立3個(gè)基礎(chǔ)評估指標(biāo)與活動(dòng)節(jié)點(diǎn)數(shù)量指標(biāo)值之間的回歸模型以及符合9個(gè)標(biāo)度要求的判斷矩陣。同時(shí)，可以計(jì)算得到評估指標(biāo)的初始權(quán)重。

回歸方程式為：

初始判斷矩陣為：

符合9個(gè)標(biāo)度要求的判斷矩陣為：

通過計(jì)算得到以上3個(gè)基礎(chǔ)評估指標(biāo)的初始權(quán)重分別為：0.548 5、0.240 9、

0.210 6，代入初始超矩陣。

需要說明的是，若指標(biāo)參數(shù)之間是非線性關(guān)系，此時(shí)采用DNN分析其關(guān)聯(lián)性。

4.2 實(shí)驗(yàn)結(jié)果及分析

圖8 初始超矩陣

類似地，計(jì)算全部指標(biāo)對應(yīng)的初始權(quán)重，得到初始超矩陣如圖8所示。同時(shí)，得到的加權(quán)超矩陣如圖9所示。

本文利用軟件Super Decisions進(jìn)行計(jì)算，得到評估指標(biāo)的極限超矩陣如圖10所示，從而獲得各個(gè)評估指標(biāo)最終權(quán)重。

如圖10所示，以效能評估指標(biāo)中的抗毀性R1為例，研究超網(wǎng)特征參數(shù)中的功能重心數(shù)量及分布A1、連通度A5、鏈路節(jié)點(diǎn)比A6和介數(shù)A74類單項(xiàng)基礎(chǔ)指標(biāo)對它的影響。指標(biāo)A4、A5、A6和A7的計(jì)算權(quán)重分別為0.047 783、0.039 968、0.020 025和0.048 336，根據(jù)計(jì)算結(jié)果對A4、A5、A6和A7進(jìn)行合成排序，得到4類單項(xiàng)基礎(chǔ)指標(biāo)的最終權(quán)重分別為0.306、0.256、0.128和0.31。

圖9 加權(quán)超矩陣

圖10 極限超矩陣

由此可知，在上述指標(biāo)中，重心數(shù)量及分布A4和介數(shù)A7二類單項(xiàng)基礎(chǔ)指標(biāo)對評價(jià)武器裝備體系抗毀性所占的權(quán)重比較大，這與實(shí)際分析結(jié)果一致，從而驗(yàn)證了本文方法的合理性和可靠性。在此基礎(chǔ)上，可以根據(jù)參考文獻(xiàn)[6]中的冪指數(shù)評估模型計(jì)算得到體系的綜合效能指數(shù)，從而實(shí)現(xiàn)對武器裝備體系的效能進(jìn)行評估。該方法是用相對數(shù)值簡明地反映分析對象特性的一種量化方法。

5 結(jié)束語

本文提出了基于仿真大數(shù)據(jù)的采用超網(wǎng)特征參數(shù)和ANP相結(jié)合構(gòu)建指標(biāo)體系的方法，深入研究了建模過程，并給出了指標(biāo)選取方法、指標(biāo)體系的簡化方法以及指標(biāo)關(guān)聯(lián)性挖掘方法。在此基礎(chǔ)上，以某次武器裝備體系仿真為研究對象，完成了具體指標(biāo)體系的實(shí)例構(gòu)建，并以實(shí)際仿真推演數(shù)據(jù)進(jìn)行了實(shí)例性仿真評估，驗(yàn)證了評估方法的合理性和有效性。本文提出的指標(biāo)體系構(gòu)建方法為研究人員評估武器裝備體系效能提供了有效的方法論指導(dǎo)與技術(shù)支持，可以直接服務(wù)于武器裝備體系論證。

[1] 胡曉峰, 許相莉, 楊鏡宇. 基于體系視角的賽博空間作戰(zhàn)效能評估[J]. 軍事運(yùn)籌與系統(tǒng)工程, 2013, 27(1): 5-9. HU X F, XU X L, YANG J Y. Operational effectiveness evaluation of cyberspace based on the perspective of system [J]. Military Operations Research and Systems Engineering, 2013, 27(1): 5-9.

[2] 張杰, 唐宏, 蘇凱, 等. 效能評估方法研究[M].北京: 國防工業(yè)出版社, 2009: 1-15．ZHANG J, TANG H, SU K, et al. Research on efficiency evaluation method[M]. Beijing: National Defense Industry Press, 2009: 1-15.

[3] 許相莉, 胡曉峰. 一種基于復(fù)雜網(wǎng)絡(luò)理論的網(wǎng)絡(luò)空間作戰(zhàn)效能評估指標(biāo)體系框架[J]. 軍事運(yùn)籌與系統(tǒng)工程, 2014, 28(1): 33-37, 41. XU X L, HU X F. A framework of evaluation index system of network space operational effectiveness based on complex network theory[J]. Military Operations Research and Systems Engineering, 2014, 28(1): 33-37, 41.

[4] 劉旸, 孟梅, 張恒, 等. 面向任務(wù)的驅(qū)逐艦作戰(zhàn)效能評估方法研究[J]. 哈爾濱工程大學(xué)學(xué)報(bào), 2013, 34(12): 1479-1489. LIU Y, MENG M, ZHANG H, et al. Research on the method of operational effectiveness evaluation oriented to the combat mission for destroyers[J]. Journal of Harbin Engineering University, 2013, 34(12): 1479-1489.

[5] 趙剛, 吳天水. 結(jié)合灰色網(wǎng)絡(luò)威脅分析的信息安全風(fēng)險(xiǎn)評估[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013, 53(12): 1761-1767. ZHAO G, WU T S. Information security risk assessment based on G-ANP[J]. Journal of Tsinghua University(Science and Technology), 2013, 53(12): 1761 -1767.

[6] 石福利, 楊峰, 許永平, 等. 基于ANP和仿真的武器裝備作戰(zhàn)能力冪指數(shù)評估方法[J]. 系統(tǒng)工程理論與實(shí)踐, 2011, 31(6): 1086-1094. SHI F L, YANG F, XU Y P, et al. Power index method for operational capability evaluation of weapon equipment based on ANP and simulation[J]. Systems Engineering-Theory&Practice, 2011, 31(6): 1086-1094.

[7] 高翔, 吳琳, 劉洋, 等. 基于加權(quán)超網(wǎng)模型的武器裝備體系效能分析[J]. 指揮與控制學(xué)報(bào), 2015, 1(2): 175-180. GAO X, WU L, LIU Y, et al. Weapon system-of-systems effectiveness analysis based on weighted network of networks model[J]. Acta Command and Control, 2015, 1(2): 175-180.

[8] 孫宏才, 田平, 王蓮芬. ANP與決策科學(xué)[M].北京: 國防工業(yè)出版社, 2011: 45-57. SUN H C, TIAN P, WANG L F. Network analytic hierarchy process and decision science[M]. Beijing: National Defense Industry Press, 2011: 45-57.

[9] 樊蓓蓓, 祁國寧, 俞濤. 基于網(wǎng)絡(luò)分析法的模塊化產(chǎn)品平臺(tái)中零部件模塊通用性分析[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2013, 19(5): 918-925. FAN B B, QI G N, YU T. Network analysis method for commonality analysis of parts modules in modules in modular product platform[J]. Computer IntegratedManufacturing Systems, 2013, 19(5): 918-925.

[10] CARES J. Distributed networked operations: the foundations of network centric warfare[M]. Nebraska: iUniverse, 2005: 35-48.

Method for building effectiveness evaluation index system based on big simulation data

SI Guangya, GAO Xiang, LIU Yang, WU Lin
The Department of Information Operation & Command Training, NDU of PLA, Beijing 100091, China

In order to cope with the interdependence and interrelationship between evaluation criteria in effectiveness evaluation index system, and to eliminate the subjectivity of expert’s preference in the evaluation process, making use of big simulation data, a method of building index system based on big simulation data of supernetting characteristic parameter and ANP was proposed. Then, by taking a weapon SoS simulation scenario as example, a process of building networked evaluation index system was proposed and the corresponding networked index system was built. Simultaneously, the correlation between criteria was deeply mined. The example analysis verifies the reasonability and effectiveness of proposed method for building evaluation index system. It provides reliable theoretical basis for weapon SoS effectiveness evaluation.

big simulation data, effectiveness evaluation, analytic network process, correlation analysis, networked index system

TP391.9

A

10.11959/j.issn.2096-0271.2016042

司光亞（1967-），男，國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部教授、總工程師，主要研究方向?yàn)閼?zhàn)爭復(fù)雜系統(tǒng)建模仿真。

高翔（1984-），男，國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部博士后，主要研究方向?yàn)轶w系分析與超網(wǎng)建模。

劉洋（1975-），女，博士，國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部副教授，主要研究方向?yàn)橛?jì)算機(jī)戰(zhàn)爭模擬。

吳琳（1974-），男，博士，國防大學(xué)信息作戰(zhàn)與指揮訓(xùn)練教研部教授、博士生導(dǎo)師，主要研究方向?yàn)閺?fù)雜系統(tǒng)與網(wǎng)絡(luò)、戰(zhàn)爭復(fù)雜系統(tǒng)建模。

2016-06-20

軍民共用重大研究計(jì)劃聯(lián)合基金資助項(xiàng)目（No.u1435218）；國家自然科學(xué)基金資助項(xiàng)目（No.61403401, No.61273189, No.61374179）

Foundation Items:The Union of National Natural Science Foundation and the General Equipment Department of China (No.u1435218), The National Natural Science Foundation of China (No.61403401, No.61273189, No.61374179)