美軍面向聯(lián)合環(huán)境的能力試驗方法研究

石治國, 韓 波, 林 木, 高愛國

(1.中國人民解放軍91351部隊,遼寧 葫蘆島 125106; 2.中國人民解放軍92941部隊,遼寧 葫蘆島 125000)

由于我軍開展裝備試驗鑒定的時間較短,缺乏系統(tǒng)、全面的試驗鑒定理論支撐,因此需要進一步探索如何高效開展一體化聯(lián)合試驗鑒定。美軍在裝備試驗鑒定方面經(jīng)過多年的研究和實踐,取得了許多經(jīng)驗。隨著作戰(zhàn)樣式逐漸向網(wǎng)絡(luò)化和體系化轉(zhuǎn)變,美軍認為,其傳統(tǒng)試驗鑒定過多關(guān)注系統(tǒng)級和體系級產(chǎn)品性能層面的評估,而新的試驗鑒定模式應(yīng)更加關(guān)注如何在能力層面發(fā)現(xiàn)和解決作戰(zhàn)體系存在的問題。由于這種采辦策略重點放在能力生成上,因此被稱為基于能力的采辦(Capability-Based Acquisition,CBA)。其試驗基本思想是面向聯(lián)合環(huán)境的試驗(Test in a Joint Environment,TIJE)[1-2],聯(lián)合環(huán)境是指在不同體系結(jié)構(gòu)、不同類型的異構(gòu)試驗環(huán)境資源之間互聯(lián)互操作構(gòu)建的聯(lián)合試驗環(huán)境。美國國防部基于該思想建立了對應(yīng)聯(lián)合環(huán)境試驗的需求生成機制——聯(lián)合能力集成與開發(fā)系統(tǒng)(Joint Capability Integration and Development System,JCIDS)、體系結(jié)構(gòu)建模規(guī)范——國防部體系結(jié)構(gòu)框架(DoD Architecture Framework,DoDAF)和研究機構(gòu)——聯(lián)合試驗與鑒定(Joint Test &Evaluation,JT&E)項目辦公室,美國國防部基于上述機制保證武器裝備在試驗周期中能夠進行高效的聯(lián)合能力試驗和評估[3-6]。

聯(lián)合環(huán)境下武器裝備性能的評估與聯(lián)合使命環(huán)境(Joint Mission Environment,JME)相關(guān),聯(lián)合使命環(huán)境是指通過不同使命、任務(wù)功能構(gòu)建的聯(lián)合環(huán)境。而傳統(tǒng)試驗鑒定領(lǐng)域中并沒有一個合適的理論體系來解決它們之間定義和集成的問題。因此,美國國防部授權(quán)JTEM(Joint Test &Evaluation Methodology)項目組開發(fā)了一種新的模型化方法。此前,美軍國防采辦政策中已經(jīng)有一個稱為“V模型”的系統(tǒng)工程方法[7],描述了組件、分系統(tǒng)與系統(tǒng)層面的試驗方法和規(guī)程,用于規(guī)范研制試驗評估到作戰(zhàn)試驗評估階段的采辦過程,但“V模型”無法解決能力層面的評估問題,這促使美國國防部開始對已有的研究成果進行整合和創(chuàng)新,并根據(jù)實踐經(jīng)驗提出了能力試驗方法(Capability Test Methodology,CTM),該方法適用于聯(lián)合環(huán)境。

本文在研究美軍CTM基本方法和應(yīng)用的基礎(chǔ)上,從模型化描述、評估指標體系與能力走廊、試驗空間與MTM探索性分析方法、能力試驗評估方法等方面對CTM進行綜述,最后分析該方法對我軍裝備試驗與鑒定的借鑒意義。

1 CTM的模型化描述

作為美軍面向聯(lián)合環(huán)境試驗的指導性方法,CTM包含一整套用以解決能力評估的理論、方法、程序、規(guī)程和試驗手段[8-10]。在CTM出臺以前,美國防部已經(jīng)有很多標準和機制用來指導聯(lián)合環(huán)境試驗,包括國防部分析議程(Analytic Agenda,AA)、JCIDS、DoDAF和國防采辦系統(tǒng)(Defense Acquisition System)等。JTEM在開發(fā)CTM時采用本體方法建立了一套術(shù)語集,對相關(guān)的概念進行了統(tǒng)一的規(guī)范。這套術(shù)語集主要包括3個模型[11-12]:

① 能力評估元模型(Capability Evaluation Metamodel,CEM),用于為CTM的評估和操作提供評估指標框架;

② 流程模型,用于提供各個操作之間的流程關(guān)系;

③ 聯(lián)合使命環(huán)境基礎(chǔ)模型。

作為CTM方法和流程的基礎(chǔ),CEM從認識論的角度對CTM進行了詳細的建模,CEM核心模型如圖1所示,其包括一系列概念和它們之間的關(guān)系和規(guī)則[13]。

圖1 CEM核心模型

CEM整合了DoD能力、體系、分析基線、能力差和評價指標等概念,為評估“能力”對體系使命效能(Joint Mission effectiveness,JMe)的貢獻率提供兼容平臺。CEM(又稱為“星模型”)與流程模型的輸出緊密關(guān)聯(lián),并形成了一個循環(huán)結(jié)構(gòu),如圖2所示。該結(jié)構(gòu)描述了CEM與流程和若干子流程之間的關(guān)系。

圖2 CTM的“星模型”

“星模型”的開發(fā)和集成聯(lián)合能力軸如圖3所示[14],該軸按照以下3個步驟進行。

圖3 “星模型”與“V模型”在需求生成方面對比

① 需求分析。從使命預期效果和關(guān)鍵任務(wù)兩方面發(fā)現(xiàn)能力問題。

② 功能分析和分配。從使命級和任務(wù)級層次出發(fā),映射到聯(lián)合能力域(Joint Capability Area,JCA)。

③ 綜合設(shè)計。在體系層面上進行邏輯設(shè)計使得CTM可以在裝備和非裝備兩方面考察體系能力問題。

“星模型”的2～6軸,表示系統(tǒng)集成與校核活動,具體如圖4所示。與“V模型”相比,CTM的試驗活動更加強調(diào)在能力生成過程中建立一個不斷校正、改進試驗評估活動的循環(huán)。該循環(huán)有以下好處:

圖4 “星模型”與“V模型”在試驗活動方面對比

① 不但關(guān)注能力域問題,而且對試驗活動本身進行限制,這使得試驗?zāi)軌蚣皶r糾正和調(diào)整,從而適應(yīng)特殊的任務(wù)需求。

② 發(fā)現(xiàn)體系缺陷后,對體系進行調(diào)整和改進,為能力生成提供穩(wěn)定保證。

2 評估指標體系與能力走廊

2.1 評估指標體系

美軍傳統(tǒng)的研制試驗鑒定是在系統(tǒng)性能層面進行的,側(cè)重于評估單個系統(tǒng)的效能、適用性和生存能力。但是對于由多個系統(tǒng)組成的體系,其整體的能力和性能不能再簡單地分解為部分之和。按照分類,體系評估的內(nèi)容包含了裝備和非裝備兩方面,非裝備方面是體系評估區(qū)別于傳統(tǒng)試驗評估最明顯的特征,包括條令、組織、訓練、裝備、領(lǐng)導力、人員和設(shè)施(DOTMLPF)。這些新內(nèi)容的加入大幅增加了試驗鑒定的復雜性,因此,CTM采用了新的評估指標體系,這個評估指標體系在兼容傳統(tǒng)試驗鑒定的基礎(chǔ)上,還將關(guān)鍵聯(lián)合問題(CJI)、使命預期效果和聯(lián)合任務(wù)整合到一起[13]。

簡單地說,CTM的評估指標體系按照3個層次進行衡量,可以描述為以下多元組:

Measure=

即指標層主要分為使命效能指標、任務(wù)性能指標和體系屬性指標。使命效能指標MOE(Measure of Effectiveness)用來評估系統(tǒng)行為、能力、作戰(zhàn)環(huán)境的變化對使命終態(tài)達到、使命目標實現(xiàn)、使命預期結(jié)果創(chuàng)建的影響;任務(wù)性能指標MOP(Measure of Performance)用來評估一項任務(wù)是否能夠完成,例如近空火力支援、聯(lián)合火力打擊任務(wù)等;體系屬性指標MOSA(Measure of System/SoS Attribute)是最底層的指標,包括一系列裝備和非裝備的性能屬性。在CTM中,能力的評估是在一個特定的想定和環(huán)境下進行的,即認為能力是在聯(lián)合使命環(huán)境以及規(guī)定的標準和條件下,通過一定的方式和方法完成一組任務(wù),最終達到使命預期效果的程度。系統(tǒng)和體系本身被看作實現(xiàn)任務(wù)集的手段之一,最終目的是實現(xiàn)使命預期效果,因此,系統(tǒng)或體系的不同配置和不同運用方式成為試驗變量之一,這與關(guān)注系統(tǒng)級、體系級產(chǎn)品自身性能的研制試驗評估、作戰(zhàn)試驗評估有明顯區(qū)別。

2.2 關(guān)鍵能力問題和關(guān)鍵作戰(zhàn)問題

為了確保需求部門提出的能力需求可精準地在試驗中得以復現(xiàn),分析人員需要在設(shè)計試驗之前明確關(guān)鍵能力問題(CCI)和關(guān)鍵作戰(zhàn)問題(COI)。

關(guān)鍵能力問題用來定義、組織、構(gòu)建基于能力思想的多維方案空間和多維響應(yīng)空間。關(guān)鍵能力問題中的主要元素包括要執(zhí)行的任務(wù)、使命預期效果、體系組成、條件(包含威脅和環(huán)境因素),其典型表述形式為評估在指定的條件A下使用體系配置Y執(zhí)行任務(wù)X以達到使命預期效果Z的能力,例如:評估在全面軍事行動下,當前/未來指揮控制系統(tǒng)執(zhí)行戰(zhàn)場空間消解任務(wù),以達到聯(lián)合作戰(zhàn)區(qū)域內(nèi)敵方威脅被摧毀或失效的能力。

關(guān)鍵作戰(zhàn)問題用來定義系統(tǒng)功能的實現(xiàn)與風險,與關(guān)鍵能力問題不同的是,關(guān)鍵作戰(zhàn)問題是一個成敗型的評價標準,它的失敗意味著系統(tǒng)沒有滿足用戶的需求。關(guān)鍵作戰(zhàn)問題一般以問題的形式表述,例如:網(wǎng)絡(luò)化支援裝備是否能與現(xiàn)有綜合火力體系兼容?在作戰(zhàn)環(huán)境下系統(tǒng)是否安全運行?某系統(tǒng)的飛行軌跡在線修正能力如何?

2.3 能力走廊及其矩陣

為了規(guī)范試驗指標的設(shè)計過程,CTM使用了一種稱為“能力走廊”的方法[9],它將試驗評估和聯(lián)合作戰(zhàn)想定(Joint Operational Context for Test,JOC-T)中所有關(guān)鍵因素結(jié)合起來,通過多個矩陣描述它們之間的關(guān)系。按照不同用途,能力走廊的矩陣可分為能力追溯矩陣和指標追溯矩陣。

能力追溯矩陣描述關(guān)鍵能力問題、關(guān)鍵作戰(zhàn)問題到使命預期效果、任務(wù)和體系元素的映射關(guān)系。根據(jù)任務(wù)需要,能力追溯矩陣靈活可調(diào),示例如圖5所示。圖5將關(guān)鍵能力問題映射到DOTMLPF條件、任務(wù)環(huán)境和體系配置的組合中。

圖5 能力追溯矩陣

指標追溯矩陣描述關(guān)鍵能力問題、關(guān)鍵作戰(zhàn)問題或者使命預期效果、任務(wù)和系統(tǒng)/體系元素到評估指標的映射關(guān)系,示例如圖6所示。圖6中將關(guān)鍵能力問題映射到了使命效能指標、任務(wù)性能指標和體系指標。

圖6 指標追溯矩陣

3 試驗空間與MTM探索性分析方法

通過試驗指標體系設(shè)計,CTM給出了聯(lián)合使命效能與其他試驗變量之間的關(guān)系[9],可表示為

JMe=f(SoS,JME,JM)

即聯(lián)合使命效能是我方體系SoS、聯(lián)合使命環(huán)境JME和規(guī)定的聯(lián)合使命JM的函數(shù)。將SoS、JME和JM作為坐標軸,可以把試驗變量看作是在三維空間上的樣本空間,稱為試驗空間。在具體的實例中,每一個坐標軸又可能包含更多的維度,這使得試驗空間變得非常復雜。

為了在如此復雜的試驗空間中展開試驗,CTM采用的策略是通過被稱為MTM的探索性分析方法對試驗空間進行篩選,如圖7所示。MTM探索性分析的第1步是設(shè)計一個試驗評估策略來生成一個試驗空間,并根據(jù)試驗空間定義的試驗因素和試驗指標,建立試驗需求。第2步是將試驗空間改進為總體試驗空間的子集,可以通過建模仿真技術(shù)來確定關(guān)鍵的試驗區(qū)域。最終的試驗是在一個LVC(Living-Virtual-Constructive,真實—虛擬—構(gòu)造)的分布式環(huán)境上進行的[15-17],通過分析試驗結(jié)果來判斷試驗是否滿足需求,通過不斷重復,完成聯(lián)合能力的評估。

圖7 MTM探索性分析方法

在試驗空間的探索性分析中,有很多經(jīng)典的試驗設(shè)計方法可以使用,包括正交設(shè)計、空間填充設(shè)計[18]等,對試驗空間進行探索的一般流程如圖8所示。在這方面已經(jīng)有很多成功的案例[19-23],例如美國海軍研究生院在涉及多達120個因素的試驗中使用了“中央復合設(shè)計”[23],Team6使用基于Agent的仿真工具MANA對一個“火力支援”任務(wù)的試驗空間進行了探索性分析[25-31]。

圖8 對試驗空間的探索性分析過程

4 能力試驗評估方法

CTM試驗結(jié)果的評估包括數(shù)據(jù)分析和SoS/JMe評估2條線程,流程進行如圖9所示。數(shù)據(jù)分析通過分析試驗定性和定量數(shù)據(jù),研究系統(tǒng)/體系在使命環(huán)境下對使命效能的貢獻是否具有統(tǒng)計意義,并研究在試驗期間發(fā)生了哪些重要的結(jié)果或重要的趨勢。SoS/JMe評估包括探索性分析、綜合評估,識別重大發(fā)現(xiàn)等步驟。評估過程通常使用的技術(shù)包括響應(yīng)曲面法、分類和回歸樹、輪廓和交互圖、多目標檢測響應(yīng)函數(shù)的決策分析等。

圖9 試驗結(jié)果分析與評估流程

5 實例分析

下面以一個優(yōu)化聯(lián)合空地系統(tǒng)(Joint Air Ground System,JAGS)摧毀敵方威脅能力的例子進行說明,JAGS是一套包含了各種作戰(zhàn)實體及其指揮、控制、通信等系統(tǒng)的聯(lián)合體,該系統(tǒng)使用戰(zhàn)術(shù)空域集成系統(tǒng)(Tactical Airspace Integration System,TAIS)作為其空域協(xié)調(diào)和管理的手段。試驗包含2個變量因素,一個使用2個不同版本的TAIS的代表當前/未來的系統(tǒng)方案,反映裝備層面要素;另一個使用2種不同的指控流程(傳統(tǒng)的和簡化的)代表非裝備層面要素影響。2個因素的組合構(gòu)成了一個被試“體系”和4種不同配置方案,通過執(zhí)行4次試驗對結(jié)果進行分析和評估。

5.1 試驗數(shù)據(jù)分析流程

(1) 使命效能指標分析。

對于使命效能指標MOE1“敵方威脅目標失效率”,在4種不同的體系配置下各進行了4次試驗,統(tǒng)計敵方威脅目標失效率,結(jié)果如表1所示,需關(guān)注這4種不同體系配置是否對使命效能指標MOE1具有明顯影響。

表1 敵方威脅目標失效率

這是一個多樣本非參數(shù)檢驗問題,使用Kruskal-Wallis的H統(tǒng)計量進行檢驗,針對假設(shè):H0(各樣本Xi代表的總體分布相同)和H1(各樣本Xi代表的總體分布不完全相同),求出混合后各樣本的秩和,構(gòu)造H統(tǒng)計量:

(1)

式中:Ri為第i個樣本的秩和;ni為第i個樣本的樣本數(shù)量。計算H=0.796,查自由度為3的χ2分布表,按a=0.05水平檢驗,不拒絕H0,因此還不能認為不同體系配置對完成使命的效能有顯著差異。

(2) 任務(wù)性能指標分析。

任務(wù)性能指標MOP1“執(zhí)行間接火力支援任務(wù)耗時”是一個時間維變量,可作為衡量不同體系配置對任務(wù)級性能的影響度量。在4種不同的體系配置下各收集了64個樣本,統(tǒng)計直方圖如圖10所示,任務(wù)耗時數(shù)據(jù)的均值和方差如表2所示,需關(guān)注不同體系配置是否對MOP1具有明顯影響。

表2 任務(wù)耗時數(shù)據(jù)的均值和方差

圖10 統(tǒng)計直方圖

該試驗樣本量比較大,可以用方差分析方法,首先提出原假設(shè)H0和備擇假設(shè)H1,構(gòu)造F檢驗統(tǒng)計量,計算得F=3.05,在a=0.05水平上選擇拒絕H0,即認為不同體系配置下的MOP1具有明顯差異。

(3) 體系屬性指標分析。

體系屬性指標MOSA1“決策速度”是一個衡量體系指揮效率的指標,該指標計算從空中支援請求進入指控鏈到指控系統(tǒng)完成評估的總耗時,它反映了整個OODA循環(huán)的效率。與上面類似,4種不同的體系配置下各收集了64個樣本,通過方差分析,選擇接受H0,即認為不同體系配置下的MOSA1沒有明顯差異。

5.2 SoS/JMe評估流程

5.1節(jié)的分析中統(tǒng)計了MOE1和MOP1的均值,它們從不同角度刻畫了不同體系配置在作戰(zhàn)行動中的效率,可以用來評估體系的貢獻率。但這還不足以全面反映體系對使命層次需求的滿足情況,例如某些體系配置下,在行動初期就可以對敵方威脅進行迅速、有效的打擊,但隨著時間的推移,敵方威脅數(shù)量逐漸減少,打擊效率必然下降,這種對影響整個行動進程的評價是MOE1和MOP1無法給出的。因此,這里還引入了“敵方威脅系統(tǒng)失效累計時間”的使命效能指標MOE2,計算公式為

(2)

式中:x為威脅目標數(shù)量;Ti為第i個目標的失效時間;Tn為行動結(jié)束時間;TD為期望的平均累計失效時間。

圖11解釋了使命效能指標MOE2與MOP1之間的區(qū)別,2個試驗樣本都是由多個單獨的間接火力支援任務(wù)組成,雖然總體任務(wù)平均耗時相同,即MOP1相同,但樣本1中的MOE2更高,即敵方威脅失效累計時間更長,相當于敵方威脅存在的累計時間更短,顯然,樣本1的體系配置更優(yōu)。

6 結(jié)束語

能力試驗法是美軍為了在聯(lián)合作戰(zhàn)環(huán)境下有效進行武器裝備聯(lián)合試驗與評估而開發(fā)的一種方法,并已在實踐應(yīng)用中獲得成功。本文對其方法模型進行了深入研究,分析其能力指標的構(gòu)建和評估方法,對我軍武器裝備體系貢獻率的評估具有很大的啟示。

目前,體系化建設(shè)已成為武器裝備發(fā)展的重要原則。我軍裝備建設(shè)正步入自主創(chuàng)新、成體系發(fā)展的歷史階段,裝備信息化程度顯著提高。為客觀有效地檢驗裝備的體系化實戰(zhàn)能力,可以借鑒美軍CTM方法的成功經(jīng)驗。CTM方法的基礎(chǔ)是其底層的系統(tǒng)工程結(jié)構(gòu),即CEM,它合并了能力、體系、分析基線、能力差距和評估措施概念,在評估體系對作戰(zhàn)能力需求滿足度時可提供更好的一致性。基于CEM概念,CTM建立了其龐雜的上層結(jié)構(gòu)——“星模型”,以增強系統(tǒng)在能力開發(fā)過程中的應(yīng)用。這種模型化驅(qū)動方法的好處在實際應(yīng)用中得到了充分體現(xiàn)。通過整合JCIDS能力概念、CJI和度量框架,建立了強大的能力評估循環(huán)。基礎(chǔ)的CEM底層結(jié)構(gòu)和能力“星模型”為體系貢獻率提供了一種科學的、符合系統(tǒng)工程原理的評估方法,其理論方法和實踐值得我軍借鑒。