• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    美軍試驗(yàn)鑒定即連續(xù)體概念研究

    2024-11-19 00:00:00楊濤張毅梁葆華李國(guó)樂(lè)
    航空兵器 2024年5期

    摘 要: 試驗(yàn)鑒定改革是美國(guó)國(guó)防采辦體系改革和美軍數(shù)字化轉(zhuǎn)型的重要組成。 面對(duì)人工智能、 自主等新興技術(shù)發(fā)展, 以及多域戰(zhàn)、 全域戰(zhàn)等體系化作戰(zhàn)要求給武器裝備能力交付帶來(lái)的試驗(yàn)鑒定挑戰(zhàn), 美國(guó)國(guó)防部積極推動(dòng)試驗(yàn)鑒定領(lǐng)域的數(shù)字化轉(zhuǎn)型, 其中一項(xiàng)重要舉措便是提出試驗(yàn)鑒定即連續(xù)體概念, 以期借助數(shù)字工程理念, 持續(xù)開(kāi)展試驗(yàn)策略與鑒定流程優(yōu)化, 進(jìn)一步提升武器裝備采辦效率與質(zhì)量。 本文簡(jiǎn)述了試驗(yàn)鑒定即連續(xù)體的發(fā)展情況, 分析研究了其框架內(nèi)容、 概念內(nèi)涵, 以及具體實(shí)施所需的能力要素, 給出了有關(guān)武器裝備試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型發(fā)展的啟示。

    關(guān)鍵詞: 試驗(yàn)鑒定即連續(xù)體; 數(shù)字化轉(zhuǎn)型; 數(shù)字工程; 使命任務(wù)工程; 系統(tǒng)工程

    中圖分類(lèi)號(hào): TJ760

    文獻(xiàn)標(biāo)識(shí)碼: A

    文章編號(hào): 1673-5048(2024)05-0034-07

    DOI: 10.12132/ISSN.1673-5048.2024.0114

    0 引 言

    近年來(lái), 大國(guó)競(jìng)爭(zhēng)日趨激烈, 為貫徹落實(shí)“第三次抵消戰(zhàn)略”重要舉措, 并應(yīng)對(duì)中俄等潛在對(duì)手在人工智能、 自主、 量子計(jì)算、 6G等新興技術(shù)方面前所未有的加速創(chuàng)新, 美國(guó)國(guó)防部正在大力推進(jìn)國(guó)防采辦政策制度改革, 特別是試驗(yàn)與鑒定(T&E)領(lǐng)域的變革轉(zhuǎn)型。

    同時(shí), 數(shù)字工程(DE)的持續(xù)推進(jìn), 為試驗(yàn)鑒定領(lǐng)域變革轉(zhuǎn)型帶來(lái)新的要求和方法, 人工智能、 有人-無(wú)人協(xié)同等作戰(zhàn)能力倍增技術(shù)和聯(lián)合全域作戰(zhàn)等體系化作戰(zhàn)概念給武器裝備能力交付提出新的要求, 美國(guó)國(guó)防部推出試驗(yàn)鑒定即連續(xù)體(T&EaaC, Test and Evaluation as a Continuum)概念, 以期利用數(shù)字工程方法, 促進(jìn)試驗(yàn)鑒定與使命任務(wù)工程(ME)、 系統(tǒng)工程(SE)的深度融合, 形成貫穿系統(tǒng)全生命周期的連續(xù)且不斷迭代的過(guò)程, 推動(dòng)試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型, 以此滿足美軍對(duì)于“以相關(guān)速度”交付能力的要求[1]。

    本文通過(guò)系統(tǒng)梳理美國(guó)國(guó)防部試驗(yàn)鑒定即連續(xù)體的發(fā)展背景與歷程, 對(duì)其主要內(nèi)容、 概念內(nèi)涵和實(shí)施能力要素進(jìn)行了分析研究, 并就有關(guān)武器裝備試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型發(fā)展提出了幾點(diǎn)啟示。

    1 T&EaaC發(fā)展背景與歷程

    1.1 產(chǎn)生背景

    在美國(guó)國(guó)防采辦活動(dòng)(特別是重大能力采辦活動(dòng))中, 目前試驗(yàn)鑒定范式的生成和執(zhí)行是以傳統(tǒng)串行過(guò)程進(jìn)行的, 主要通過(guò)依次實(shí)施承包商試驗(yàn)(CT)、 研制試驗(yàn)(DT)和作戰(zhàn)試驗(yàn)(OT), 來(lái)實(shí)現(xiàn)系統(tǒng)能力交付。 雖然近年來(lái)美軍在裝備采辦流程中持續(xù)推行“左移”策略, 但結(jié)合部分承包商試驗(yàn)、 研制試驗(yàn)和/或作戰(zhàn)使用要素形成的一體化試驗(yàn)鑒定(IT&E)在很大程度上也依舊是串行的, 而且仍然需要分別為研制試驗(yàn)和作戰(zhàn)試驗(yàn)建立鑒定框架。 因此, 美軍認(rèn)為, 隨著多域戰(zhàn)、 全域戰(zhàn)等概念提出, 以及人工智能、 自主等新興技術(shù)的發(fā)展, 當(dāng)前的武器裝備試驗(yàn)鑒定方式存在著一些問(wèn)題和挑戰(zhàn)。

    (1) 從本質(zhì)上講, 承包商試驗(yàn)和研制試驗(yàn)側(cè)重于需求驗(yàn)證, 而作戰(zhàn)試驗(yàn)則專(zhuān)注于評(píng)估任務(wù)有效性和適用性。 通常, 作戰(zhàn)試驗(yàn)在系統(tǒng)研制/開(kāi)發(fā)后期進(jìn)行, 這種做法缺乏在項(xiàng)目早期對(duì)系統(tǒng)在真實(shí)任務(wù)場(chǎng)景中性能的考慮和試驗(yàn)鑒定, 從而造成了某些場(chǎng)景中影響性能的問(wèn)題過(guò)晚暴露。 而當(dāng)問(wèn)題出現(xiàn)時(shí), 特別是當(dāng)系統(tǒng)研制/開(kāi)發(fā)的技術(shù)和組件成熟度較低時(shí), 解決這些問(wèn)題將變得異常困難。 同

    收稿日期: 2024-07-09

    作者簡(jiǎn)介: 楊濤(1986-), 男, 陜西勉縣人, 高級(jí)工程師。

    *通信作者: 張毅(1986-), 男, 貴州臺(tái)江人, 碩士, 高級(jí)工程師。

    時(shí), 由于項(xiàng)目規(guī)劃和資金安排通常不包括全面解決投入使用前發(fā)現(xiàn)的重大問(wèn)題所需的時(shí)間和資源, 所以, 為了

    在規(guī)定期限內(nèi)完成交付, 項(xiàng)目往往會(huì)調(diào)整所需的系統(tǒng)功能或性能指標(biāo), 這種做法極大降低了向作戰(zhàn)人員交付能

    力的效能。

    (2) 目前這種串行的試驗(yàn)鑒定方式不僅是從有限數(shù)量的資源密集型離散事件中收集有限的信息集, 而且沒(méi)有充分考慮在整個(gè)研制過(guò)程中、 部署與使用保障期間通過(guò)持續(xù)學(xué)習(xí)而不斷演進(jìn)的人工智能(AI)/機(jī)器學(xué)習(xí)(ML)支持系統(tǒng)。

    (3) 系統(tǒng)工程領(lǐng)域通常對(duì)系統(tǒng)工程“V”模型以串行方式進(jìn)行解釋?zhuān)?這導(dǎo)致試驗(yàn)方過(guò)晚參與到真實(shí)任務(wù)場(chǎng)景中的系統(tǒng)性能評(píng)估, 從而進(jìn)一步推遲了試驗(yàn)階段能夠提供的重要反饋信息, 而這些信息正是魯棒系統(tǒng), 尤其是AI/自主系統(tǒng)設(shè)計(jì)、 開(kāi)發(fā)和持續(xù)改進(jìn)所必需的。

    為應(yīng)對(duì)日益復(fù)雜多變的威脅環(huán)境, 在美國(guó)國(guó)防部試驗(yàn)鑒定組織體(Test and Evaluation Enterprise)總體試驗(yàn)與鑒定戰(zhàn)略指引下, 作戰(zhàn)試驗(yàn)鑒定局(DOT&E)以問(wèn)題和挑戰(zhàn)為導(dǎo)向, 開(kāi)始與各軍種試驗(yàn)鑒定主管以及國(guó)防部長(zhǎng)辦公室(OSD)下屬的試驗(yàn)鑒定組織機(jī)構(gòu)協(xié)調(diào)開(kāi)展試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型研究。 其中, 美軍計(jì)劃結(jié)合數(shù)字工程方法, 將試驗(yàn)與鑒定工作作為一個(gè)連續(xù)體, 集成到系統(tǒng)工程和使命任務(wù)工程中, 試驗(yàn)鑒定即連續(xù)體概念應(yīng)運(yùn)而生[1]。

    1.2 發(fā)展歷程

    航空兵器 2024年第31卷第5期

    楊 濤, 等: 美軍試驗(yàn)鑒定即連續(xù)體概念研究

    早在2010年, 時(shí)任美國(guó)國(guó)防部采辦、 技術(shù)與后勤副部長(zhǎng), 研制試驗(yàn)鑒定局(DDT&E)局長(zhǎng)Edward R. Greer曾提出一體化試驗(yàn)鑒定連續(xù)體的設(shè)想, 通過(guò)將試驗(yàn)鑒定工作前伸后延, 范圍覆蓋整個(gè)研制/開(kāi)發(fā)和采辦過(guò)程, 即從里程碑A(進(jìn)入技術(shù)開(kāi)發(fā)階段)前的裝備方案分析階段一直到后續(xù)作戰(zhàn)試驗(yàn)與鑒定(FOT&E)及里程碑C(進(jìn)入生產(chǎn)與部署階段)后的使用與保障階段, 同時(shí)引入系統(tǒng)工程理念, 在組件級(jí)研制/開(kāi)發(fā)中實(shí)現(xiàn)良好的系統(tǒng)規(guī)范, 以此來(lái)提高承包商研制試驗(yàn)與鑒定(DT&E)、 政府研制試驗(yàn)與鑒定和政府作戰(zhàn)試驗(yàn)與鑒定(OT&E)的效率[2]。 但由于實(shí)施成本較高, 缺乏可互操作的數(shù)字工程環(huán)境與工具, 以及缺少統(tǒng)一數(shù)據(jù)策略來(lái)支撐整個(gè)試驗(yàn)鑒定階段與采辦壽命周期的完整端到端知識(shí)與數(shù)據(jù)共享等因素制約, 轉(zhuǎn)型發(fā)展緩慢[3]。

    2018年, 美國(guó)國(guó)防部發(fā)布《國(guó)防部數(shù)字工程戰(zhàn)略》, 加速推動(dòng)數(shù)據(jù)整合和共享, 構(gòu)建了試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型的總體依據(jù), 表明美國(guó)國(guó)防采辦改革的大致方向, 將借助系統(tǒng)工程方法, 促進(jìn)數(shù)字工程在試驗(yàn)鑒定中的深化應(yīng)用[4-6]。 2020年11月, 美國(guó)國(guó)防部發(fā)布首版試驗(yàn)與鑒定指示文件DoDI 5000.89指出: “一體化試驗(yàn)和獨(dú)立鑒定是更大的試驗(yàn)鑒定連續(xù)體的一部分。 ”同時(shí), 結(jié)合《國(guó)防部數(shù)字工程戰(zhàn)略》要求, DoDI 5000.89指示還要求: “采辦項(xiàng)目要在任務(wù)背景下對(duì)系統(tǒng)進(jìn)行數(shù)字表征, 并(盡可能)使用數(shù)字生態(tài)系統(tǒng), 整合權(quán)威的模型、 數(shù)據(jù)和試驗(yàn)工件(如試驗(yàn)用例、 計(jì)劃、 缺陷和結(jié)果)來(lái)源, 以提高整個(gè)一體化試驗(yàn)鑒定連續(xù)體的效率。 ”因此, 試驗(yàn)鑒定需要變革并采用數(shù)字工程戰(zhàn)略思想, 以改進(jìn)建模與仿真校核與驗(yàn)證(V&V)流程以及整個(gè)生命周期內(nèi)的試驗(yàn)鑒定評(píng)估[7-8]。

    2021年5月, 美國(guó)空軍發(fā)布“數(shù)字工程的數(shù)字建設(shè)規(guī)范”, 概述了試驗(yàn)鑒定對(duì)于數(shù)字工程的重要性, 并強(qiáng)調(diào)試驗(yàn)鑒定必須與數(shù)字工程活動(dòng)相結(jié)合[9]。 與此同時(shí), 美國(guó)國(guó)防部期望通過(guò)對(duì)試驗(yàn)鑒定支撐能力交付的方式進(jìn)行變革, 建立一種新的試驗(yàn)鑒定范式, 使試驗(yàn)鑒定活動(dòng)在整個(gè)能力生命周期內(nèi)(從使命任務(wù)工程最初階段持續(xù)到使用與保障階段)為當(dāng)前復(fù)雜的技術(shù)開(kāi)發(fā)和部署決策提供支持, 以大大增強(qiáng)試驗(yàn)鑒定在以“相關(guān)速度”交付關(guān)鍵作戰(zhàn)能力方面的作用[10-11]。 緊接著, 2021年7月, 在國(guó)際試驗(yàn)鑒定協(xié)會(huì)(ITEA)第38屆試驗(yàn)與鑒定年會(huì)上, 美國(guó)國(guó)防部作戰(zhàn)試驗(yàn)鑒定局和研究與工程副部長(zhǎng)辦公室(OUSD(R&E))研制試驗(yàn)、 鑒定與評(píng)估處(DTE&A)首次提及“試驗(yàn)鑒定即連續(xù)體”一詞, 初步將其闡述為: “所有試驗(yàn)(測(cè)試)都是連續(xù)進(jìn)行的, 在此過(guò)程中, 當(dāng)前的試驗(yàn)會(huì)根據(jù)先前的試驗(yàn)結(jié)果進(jìn)行迭代更新和完善[12]。 ”至此, 美國(guó)國(guó)防部指示DoDI 5000.89中描述的“更大的試驗(yàn)鑒定連續(xù)體”有了更進(jìn)一步的發(fā)展和完善。 一體化試驗(yàn)鑒定的轉(zhuǎn)型如圖1所示。

    2022年6月, 美國(guó)國(guó)防部作戰(zhàn)試驗(yàn)鑒定局發(fā)布《2022財(cái)年作戰(zhàn)試驗(yàn)鑒定戰(zhàn)略更新》, 基于《國(guó)防部數(shù)字工程戰(zhàn)略》及其數(shù)字工程轉(zhuǎn)型, 總結(jié)提出了試驗(yàn)鑒定5大戰(zhàn)略支柱, 概述了變革試驗(yàn)鑒定基礎(chǔ)設(shè)施、 流程、 概念、 工具和人才隊(duì)伍的愿景, 以跟上技術(shù)、 威脅和作戰(zhàn)環(huán)境的快速演變[13-14]。 同年7月, 作為年度戰(zhàn)略更新的積極響應(yīng), 針對(duì)多域作戰(zhàn)(MDO)對(duì)試驗(yàn)鑒定在自主/人工智能使能、 一體化、 彈性和敏捷等方面的挑戰(zhàn), 為促進(jìn)試驗(yàn)鑒定轉(zhuǎn)型發(fā)展, 充分評(píng)估多域作戰(zhàn)環(huán)境中的戰(zhàn)斗能力, 美國(guó)國(guó)防部研制試驗(yàn)、 鑒定與評(píng)估處再次提出“試驗(yàn)鑒定即連續(xù)體”概念, 并明確指出試驗(yàn)鑒定即連續(xù)體概念建立在國(guó)防部2018年數(shù)字工程戰(zhàn)略基礎(chǔ)上, 通過(guò)使用數(shù)字工程使試驗(yàn)與鑒定成為系統(tǒng)工程和使命任務(wù)工程流程的組成部分, 不僅能支持單個(gè)系統(tǒng)的決策, 而且有助于實(shí)現(xiàn)國(guó)防部能力開(kāi)發(fā)組合的知情管理[15]。

    2023年3月, 美國(guó)國(guó)防部研制試驗(yàn)、 鑒定與評(píng)估處和美國(guó)海軍航空系統(tǒng)司令部(NASC)基于能力的試驗(yàn)鑒定辦公室正式聯(lián)合發(fā)布“試驗(yàn)鑒定即連續(xù)體”概念, 明確了“試驗(yàn)鑒定即連續(xù)體”的三大關(guān)鍵屬性內(nèi)容及三大能力要素, 并建議在復(fù)雜系統(tǒng)采辦中實(shí)施更加基于風(fēng)險(xiǎn)、 能力驅(qū)動(dòng)和一體化的復(fù)雜系統(tǒng)采辦試驗(yàn)鑒定方法[1, 3]。

    2 T&EaaC框架內(nèi)容

    2018年, 美國(guó)國(guó)防部在數(shù)字工程戰(zhàn)略中, 提出了5個(gè)關(guān)鍵目標(biāo)基礎(chǔ)[4]。 2022年, 作戰(zhàn)試驗(yàn)鑒定局新制定的戰(zhàn)略更新文件中, 總結(jié)提出了試驗(yàn)鑒定5大戰(zhàn)略支柱[12]。 在此基礎(chǔ)上, 依據(jù)戰(zhàn)略目標(biāo)和支柱衍生出總體框架, 試驗(yàn)鑒定即連續(xù)體主要構(gòu)成逐漸清晰[1]。 圖2所示為其總體框架。

    如圖2所示, 試驗(yàn)鑒定即連續(xù)體的主要內(nèi)容包括: 以能力和結(jié)果為中心的試驗(yàn); 敏捷、 可擴(kuò)展的鑒定框架; 增強(qiáng)的試驗(yàn)設(shè)計(jì)。 其中, 每個(gè)屬性內(nèi)容對(duì)于以“相關(guān)速度”交付能力都至關(guān)重要。

    2.1 以能力和結(jié)果為中心的試驗(yàn)

    以能力和結(jié)果為中心的試驗(yàn)又稱(chēng)“以任務(wù)為中心的試驗(yàn)”, 旨在盡早關(guān)注軍事能力在投入使用時(shí)的性能表現(xiàn)。 美國(guó)國(guó)防部認(rèn)為, 需要在裝備采辦過(guò)程中“像作戰(zhàn)一樣進(jìn)行試驗(yàn)”, 并確保在承包商試驗(yàn)和研制試驗(yàn)期間進(jìn)行的早期工程和技術(shù)驗(yàn)證試驗(yàn)?zāi)軌蛱峁┲苯又С肿罱K在作戰(zhàn)試驗(yàn)的任務(wù)環(huán)境中進(jìn)行性能評(píng)估的各種信息。 所有承包商試驗(yàn)和研制試驗(yàn)活動(dòng)與任務(wù)的直接結(jié)合, 可讓決策者非常清晰地了解整個(gè)采辦過(guò)程中任務(wù)級(jí)能力性能, 并能更早洞悉與當(dāng)前及預(yù)計(jì)威脅環(huán)境和任務(wù)級(jí)能力性能相關(guān)的風(fēng)險(xiǎn)。 這種任務(wù)背景還有助于探究作戰(zhàn)彈性, 例如, 在高度動(dòng)態(tài)或競(jìng)爭(zhēng)環(huán)境(包括與網(wǎng)絡(luò)空間攻擊造成的不利條件相關(guān)的環(huán)境)中作戰(zhàn)期間的彈性。

    此外, 以能力和結(jié)果為中心的試驗(yàn)強(qiáng)調(diào)盡早關(guān)注試驗(yàn)的彈性, 以便優(yōu)先考慮對(duì)試驗(yàn)結(jié)果的響應(yīng), 從而確定未來(lái)的試驗(yàn)要求和優(yōu)先級(jí)。 例如在賽博域, 美軍已開(kāi)始將重點(diǎn)從傳統(tǒng)僅關(guān)注防范網(wǎng)絡(luò)威脅的“控制”方法, 轉(zhuǎn)向更關(guān)注任務(wù)背景、 不利影響、 對(duì)不利影響的早期識(shí)別, 以及更好的恢復(fù)能力。 未來(lái), 隨著“需求”背景很可能從離散的關(guān)鍵性能參數(shù)和關(guān)鍵系統(tǒng)屬性演變?yōu)橥ㄟ^(guò)系統(tǒng)模型提供的“系統(tǒng)行為”之一, 連續(xù)試驗(yàn)過(guò)程將實(shí)現(xiàn)在基于模型的環(huán)境背景中, 對(duì)系統(tǒng)行為進(jìn)行更快速的評(píng)估。

    因此, 作為一個(gè)重要基礎(chǔ), 嚴(yán)格地執(zhí)行使命任務(wù)工程流程將提供有關(guān)國(guó)防部使命任務(wù)及執(zhí)行使命任務(wù)所需能力的表征, 從而實(shí)現(xiàn)系統(tǒng)需求的識(shí)別與更新。 然后, 利用基于模型的系統(tǒng)工程(MBSE)方法, 并使用共享能力表征, 可以對(duì)不斷演進(jìn)的武器系統(tǒng)(包括結(jié)合AI/ML的系統(tǒng))進(jìn)行迭代式的試驗(yàn)與鑒定。

    2.2 敏捷、 可擴(kuò)展的鑒定框架

    隨著數(shù)字工程和試驗(yàn)鑒定改革的持續(xù)推進(jìn), 美軍認(rèn)為, 當(dāng)前傳統(tǒng)的鑒定框架開(kāi)發(fā)工作開(kāi)始得太晚, 并且要跨科學(xué)技術(shù)(S&T)、 研制試驗(yàn)和作戰(zhàn)試驗(yàn)領(lǐng)域進(jìn)行整合, 實(shí)際效果較差。 要成功解決從使命任務(wù)工程到使用與保障階段的整個(gè)能力生命周期中的“決策空間”問(wèn)題, 需要在項(xiàng)目正式啟動(dòng)之前制定一個(gè)基礎(chǔ)性的總體鑒定框架。 新的鑒定框架要持續(xù)更新, 并確定支持決策所需的信息, 以及如何使用使命任務(wù)工程、 系統(tǒng)工程和試驗(yàn)鑒定活動(dòng)與工具來(lái)獲取這些信息。 總體鑒定框架還要具有適應(yīng)性和可擴(kuò)展性, 能用于適應(yīng)性采辦框架的6種路徑, 同時(shí)也可以根據(jù)轉(zhuǎn)為采辦項(xiàng)目之前的科學(xué)技術(shù)、 原型設(shè)計(jì)和實(shí)驗(yàn)工作進(jìn)行剪裁(定制)。 隨著性能信息的積累和項(xiàng)目的成熟, 這種框架將實(shí)現(xiàn)對(duì)試驗(yàn)鑒定活動(dòng)的迭代和持續(xù)優(yōu)化。

    按照美軍設(shè)想, 總體鑒定框架要包含對(duì)建模與仿真和其他對(duì)開(kāi)展試驗(yàn)鑒定即連續(xù)體至關(guān)重要的MBSE元素進(jìn)行校核、 驗(yàn)證與確認(rèn)(VV&A)所需的信息。 應(yīng)當(dāng)確定試驗(yàn)基礎(chǔ)設(shè)施, 包括需要獲取所需評(píng)估信息的LVC資產(chǎn), 以盡早明確對(duì)跨國(guó)防部能力組合的試驗(yàn)鑒定基礎(chǔ)設(shè)施資源的直接需求。 在基于模型的環(huán)境中開(kāi)發(fā)這種鑒定框架將有利于管理跨子系統(tǒng)、 系統(tǒng), 尤其是體系(SoS)元素的集成復(fù)雜性。 而且該框架還將支持管理跨異步開(kāi)發(fā)的校核與驗(yàn)證工作。

    目前, 這種方法已經(jīng)應(yīng)用到敏捷軟件開(kāi)發(fā)流程, 并且與以能力和結(jié)果為中心的試驗(yàn)相結(jié)合, 為決策者提供更多有關(guān)設(shè)計(jì)開(kāi)發(fā)與威脅環(huán)境是否一致的信息。 其優(yōu)勢(shì)在于支持早期投用和原型設(shè)計(jì)決策, 提高對(duì)整體系統(tǒng)彈性的理解, 并更好地了解支持能力交付所需的項(xiàng)目設(shè)計(jì)和驗(yàn)證工作的充分性和范圍。

    2.3 增強(qiáng)的試驗(yàn)設(shè)計(jì)

    開(kāi)發(fā)涵蓋特定能力隨時(shí)間演變的一體化試驗(yàn)策略, 同時(shí)考慮高度動(dòng)態(tài)和競(jìng)爭(zhēng)性任務(wù)環(huán)境, 是試驗(yàn)鑒定即連續(xù)體的關(guān)鍵組成部分。 因此, 以鑒定框架為基礎(chǔ), 增強(qiáng)的試驗(yàn)設(shè)計(jì)將擴(kuò)展美軍近年來(lái)為一體化試驗(yàn)改革所做的工作, 并更好地支持任務(wù)背景下的早期性能評(píng)估。

    首先, 增強(qiáng)的試驗(yàn)設(shè)計(jì)會(huì)將VV&A納入整個(gè)能力演進(jìn)或項(xiàng)目生命周期, 并向早期工程和技術(shù)驗(yàn)證試驗(yàn)提供初始數(shù)據(jù), 為能否實(shí)現(xiàn)預(yù)期能力結(jié)果提供依據(jù)。 還將采用迭代的“設(shè)計(jì)/試驗(yàn)/驗(yàn)證”方法, 全面評(píng)估不斷演進(jìn)的“系統(tǒng)行為”, 使能力開(kāi)發(fā)工作適應(yīng)不斷變化的作戰(zhàn)環(huán)境。

    其次, 增強(qiáng)的試驗(yàn)設(shè)計(jì)還會(huì)包括對(duì)人-機(jī)綜合(HSI)的魯棒性評(píng)估, 重點(diǎn)是對(duì)作戰(zhàn)人員接受和使用人工智能/機(jī)器學(xué)習(xí)使能系統(tǒng)所需的可信度進(jìn)行演示驗(yàn)證。 因?yàn)閷?duì)于美國(guó)國(guó)防部, 無(wú)論是監(jiān)管部門(mén)、 采購(gòu)部門(mén), 還是軍方用戶, 信任是基礎(chǔ)保證。 對(duì)于作戰(zhàn)人員來(lái)說(shuō), 在這種背景下, 人-機(jī)系統(tǒng)試驗(yàn)設(shè)計(jì)尤其重要。 在實(shí)際沖突中, 使用決策幾乎必須是瞬時(shí)的, 并且依賴于在使用系統(tǒng)時(shí)對(duì)系統(tǒng)正確校準(zhǔn)的信任。 因此, 信任和團(tuán)隊(duì)合作的指標(biāo)至關(guān)重要。

    最后, 增強(qiáng)的試驗(yàn)設(shè)計(jì)還會(huì)適當(dāng)結(jié)合科學(xué)試驗(yàn)與分析技術(shù)(STAT), 以提高試驗(yàn)效率, 并有利于開(kāi)展試驗(yàn)結(jié)果的嚴(yán)格評(píng)估。 貝葉斯統(tǒng)計(jì)近年來(lái)在這方面受到越來(lái)越多的關(guān)注, 就是因其提供了一種嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)方法, 可以將多個(gè)來(lái)源的預(yù)測(cè)和不確定性結(jié)合起來(lái), 并在一系列試驗(yàn)活動(dòng)中進(jìn)行更新。

    3 T&EaaC內(nèi)涵分析

    3.1 概念解析

    試驗(yàn)鑒定即連續(xù)體是將試驗(yàn)與鑒定從一系列基本上獨(dú)立于系統(tǒng)工程活動(dòng)和使命任務(wù)工程活動(dòng)而進(jìn)行的活動(dòng)集合進(jìn)行有效綜合, 形成的一種基于連續(xù)體的新的綜合性框架。 概念強(qiáng)調(diào)試驗(yàn)鑒定不是一種“一次性”活動(dòng), 而是需要貫穿整個(gè)系統(tǒng)全生命周期的持續(xù)過(guò)程。 從系統(tǒng)工程流程角度來(lái)看, 試驗(yàn)鑒定即連續(xù)體方法將試驗(yàn)鑒定從主要在系統(tǒng)工程“V”模型右側(cè)進(jìn)行的一組串行活動(dòng)(如圖3所示), 轉(zhuǎn)變?yōu)閺摹癡”模型左側(cè)就開(kāi)始的一系列活動(dòng)(如圖4所示)。 從實(shí)際運(yùn)行角度來(lái)看, 基于模型的環(huán)境和相關(guān)工具將使系統(tǒng)工程界能夠管理在“V”型連續(xù)體中同時(shí)開(kāi)展的許多復(fù)雜活動(dòng), 這樣使命任務(wù)工程界、 系統(tǒng)工程界和試驗(yàn)鑒定界就能夠盡早、 持續(xù)地協(xié)同工作, 并對(duì)動(dòng)態(tài)威脅環(huán)境做出快速響應(yīng), 最終將圖3所示的傳統(tǒng)“V”型結(jié)構(gòu)變?yōu)閳D4所示的壓縮折疊后的“V”型連續(xù)體結(jié)構(gòu)。

    由總體框架內(nèi)容可知, 執(zhí)行試驗(yàn)鑒定即連續(xù)體, 會(huì)將使命任務(wù)工程、 系統(tǒng)工程和試驗(yàn)鑒定整合為并行、 協(xié)同和聯(lián)合的工作。 通過(guò)協(xié)同使用使命任務(wù)分解、 相關(guān)任務(wù)條件以及由使命任務(wù)工程生成的相關(guān)效能和性能指標(biāo), 將使系統(tǒng)工程和試驗(yàn)鑒定能夠?qū)︱?yàn)證任務(wù)能力所需的設(shè)計(jì)迭代和試驗(yàn)活動(dòng)達(dá)成共識(shí), 這種經(jīng)過(guò)驗(yàn)證的任務(wù)能力對(duì)于在實(shí)際應(yīng)用中能夠自我學(xué)習(xí)和調(diào)整的智能裝備/系統(tǒng)尤為重要。 此外, 使命任務(wù)工程、 系統(tǒng)工程和試驗(yàn)鑒定組合方法的實(shí)施, 能夠更早、 更持續(xù)地關(guān)注任務(wù)完成而不是需求驗(yàn)證。 同時(shí), 由于強(qiáng)調(diào)系統(tǒng)工程和試驗(yàn)鑒定之間的共同責(zé)任, 這種連續(xù)體方法能使早期系統(tǒng)工程設(shè)計(jì)權(quán)衡和分析利用作戰(zhàn)試驗(yàn)最終用于驗(yàn)證任務(wù)效能的試驗(yàn)方法和條件。

    對(duì)于美國(guó)國(guó)防部而言, 一方面, 試驗(yàn)鑒定即連續(xù)體可以提供關(guān)于系統(tǒng)在威脅環(huán)境中實(shí)際性能的知情風(fēng)險(xiǎn)管理, 使各方能夠更早地了解研制/開(kāi)發(fā)進(jìn)展, 并對(duì)整個(gè)采辦生命周期中的試驗(yàn)情況和關(guān)鍵節(jié)點(diǎn)充滿信心, 確保所需能力如期交付, 以支持作戰(zhàn)人員。 另一方面, 試驗(yàn)鑒定即連續(xù)體能夠有效應(yīng)對(duì)當(dāng)前國(guó)防系統(tǒng)能力復(fù)雜性帶來(lái)的風(fēng)險(xiǎn)表征和總體保證改進(jìn)需求, 這些工作將自然而然地推動(dòng)傳統(tǒng)系統(tǒng)工程和試驗(yàn)鑒定活動(dòng)的整合和交織, 提供超學(xué)科、 連續(xù)的流程, 將設(shè)計(jì)演進(jìn)與VV&A耦合, 以推動(dòng)試驗(yàn)鑒定工作的更科學(xué)發(fā)展。

    3.2 能力要素分析

    為支撐試驗(yàn)鑒定即連續(xù)體3大關(guān)鍵屬性的實(shí)施需求, 美國(guó)國(guó)防部結(jié)合數(shù)字工程戰(zhàn)略的5大關(guān)鍵目標(biāo), 總結(jié)提出了實(shí)施試驗(yàn)鑒定即連續(xù)體的3大能力要素, 即魯棒的LVC試驗(yàn)、 基于模型的環(huán)境和“數(shù)字”人才隊(duì)伍。 融合這些能力要素, 可從采辦初期設(shè)計(jì)階段就提供關(guān)于系統(tǒng)性能和風(fēng)險(xiǎn)特征的及時(shí)且全面的信息, 從而實(shí)現(xiàn)裝備系統(tǒng)快速開(kāi)發(fā)和部署, 同時(shí)為日益復(fù)雜的系統(tǒng)和體系提供持續(xù)支持。

    3.2.1 魯棒的LVC試驗(yàn)

    鑒于現(xiàn)代作戰(zhàn)系統(tǒng)的復(fù)雜性, 美軍最新的理念認(rèn)為, 試驗(yàn)鑒定必須向全面涵蓋LVC方法轉(zhuǎn)型, 其中包括基于模型的試驗(yàn)。 由于系統(tǒng)復(fù)雜性和/或?qū)沂灸芰Φ拿舾行裕?對(duì)某些系統(tǒng)進(jìn)行真實(shí)、 露天試驗(yàn)面臨著巨大的挑戰(zhàn)。 因此, 增加使用建模與仿真及其他構(gòu)造性方法對(duì)于全面了解系統(tǒng)性能至關(guān)重要。 美國(guó)國(guó)防部將會(huì)繼續(xù)發(fā)展和完善其試驗(yàn)靶場(chǎng)和設(shè)施能力, 以建立可涵蓋盡可能多的威脅和作戰(zhàn)環(huán)境頻譜的LVC能力組合, 而這種轉(zhuǎn)變勢(shì)必需要在數(shù)字工程環(huán)境中建立“共享”基礎(chǔ)設(shè)施, 圖5所示為整個(gè)采辦生命周期內(nèi)的各種共享能力。

    這種轉(zhuǎn)變的優(yōu)勢(shì)之一是能夠進(jìn)行體系試驗(yàn)測(cè)試, 而這正是支持在全域作戰(zhàn)背景下概念評(píng)估的基本要求, 例如聯(lián)合全域指揮與控制(JADC2)評(píng)估。 由于組成體系能力的系統(tǒng)為異步開(kāi)發(fā), LVC框架將顯著提升集成度, 以支持能力驗(yàn)證, 特別是對(duì)于為實(shí)現(xiàn)共同目標(biāo)而協(xié)作的平臺(tái)的分布式或多代理AI/ML能力。 與此同時(shí), 這些LVC能力還能用于美軍成功完成全域作戰(zhàn)所需的逼真訓(xùn)練。 不過(guò), 美國(guó)國(guó)防部也強(qiáng)調(diào), 日益重視LVC試驗(yàn)并不意味著會(huì)減少對(duì)真實(shí)、 露天試驗(yàn)的需求, 以評(píng)估關(guān)鍵系統(tǒng)性能, 并為建模與仿真VV&A提供支持。 通過(guò)適當(dāng)?shù)腣V&A, LVC試驗(yàn)勢(shì)必會(huì)更全面、 更準(zhǔn)確地表征系統(tǒng)面對(duì)日益復(fù)雜的對(duì)手進(jìn)行多域作戰(zhàn)時(shí)的能力。

    3.2.2 基于模型的環(huán)境

    試驗(yàn)鑒定即連續(xù)體概念指出, 基于模型的環(huán)境是其最關(guān)鍵的能力要素。 美國(guó)國(guó)防部認(rèn)為, 能力開(kāi)發(fā)工作的復(fù)雜性, 加上增強(qiáng)的試驗(yàn)設(shè)計(jì)的復(fù)雜性, 都需要數(shù)字骨干和基于模型的方法來(lái)管理連續(xù)的試驗(yàn)鑒定活動(dòng), 將其與并行開(kāi)展的使命任務(wù)工程和系統(tǒng)工程活動(dòng)相結(jié)合, 并管理、 整理和分析所有這些活動(dòng)生成的數(shù)據(jù)。 這種基于模型的環(huán)境將整合敏捷、 可擴(kuò)展的鑒定框架, 并確保其與所有使命任務(wù)工程、 系統(tǒng)工程和試驗(yàn)鑒定活動(dòng)的一致性, 從而實(shí)現(xiàn)在試驗(yàn)鑒定采辦生命周期中提供關(guān)于建模、 仿真、 數(shù)據(jù)分析、 數(shù)據(jù)共享和使命任務(wù)工程-系統(tǒng)工程-試驗(yàn)鑒定集成的數(shù)字支持。

    利用基于模型的環(huán)境, 美國(guó)國(guó)防部裝備研制將從傳統(tǒng)的“設(shè)計(jì)-建造-試驗(yàn)-修復(fù)-試驗(yàn)”(Design-Build-Test-Fix-Test)流程模式過(guò)渡到更優(yōu)的“建模-試驗(yàn)-驗(yàn)證-設(shè)計(jì)-試驗(yàn)”(Model-Test-Validate-Design-Test)流程模式, 提供關(guān)于預(yù)期任務(wù)能力的早期和持續(xù)信息, 避免采用傳統(tǒng)流程時(shí)出現(xiàn)較晚發(fā)現(xiàn)能力方面不足等問(wèn)題。 目前, 美軍正在驗(yàn)證和使用這種新的擁有一條數(shù)字線索的流程, 通過(guò)高保真度“數(shù)字孿生”的潛在開(kāi)發(fā)來(lái)支持使用與保障階段的項(xiàng)目, 從使命任務(wù)工程初期開(kāi)始顯示系統(tǒng)性能建模的進(jìn)展。 此外, 為了更好地支持試驗(yàn)鑒定工作, 基于模型的環(huán)境還必須對(duì)系統(tǒng)將要運(yùn)行的聯(lián)合作戰(zhàn)空間進(jìn)行真實(shí)復(fù)現(xiàn)。

    3.2.3 “數(shù)字”人才隊(duì)伍

    美國(guó)國(guó)防部強(qiáng)調(diào), 為了支持基于模型的環(huán)境, 還需要一支掌握“數(shù)字”能力的人才隊(duì)伍, 他們需要精通與MBSE、 基于模型的試驗(yàn)鑒定和其他基于模型的方法相關(guān)的流程和工具。 隨著《國(guó)防采辦勞動(dòng)力改進(jìn)法案》(DAWIA)認(rèn)證流程和相關(guān)職能領(lǐng)域認(rèn)證的改革, 美軍數(shù)字人才隊(duì)伍建設(shè)轉(zhuǎn)型已經(jīng)初步開(kāi)始, 美國(guó)國(guó)防部需要付出更多的努力, 才能在國(guó)防部?jī)?nèi)獲取并發(fā)展有關(guān)使用基于模型的方法并行開(kāi)展使命任務(wù)工程、 系統(tǒng)工程、 試驗(yàn)鑒定連續(xù)體活動(dòng)所需的技術(shù)和管理技能。 此外, 美國(guó)國(guó)防部指出, 當(dāng)前的轉(zhuǎn)型工作并沒(méi)有推動(dòng)更廣泛的系統(tǒng)工程領(lǐng)域內(nèi)所需的全面集成, 來(lái)確保試驗(yàn)鑒定成為系統(tǒng)工程V&V工作的重要組成部分。 而且, 系統(tǒng)工程“V”模型的“折疊”并不否定良好的普通系統(tǒng)工程實(shí)踐, 重大挑戰(zhàn)則在于如何迭代管理這些實(shí)踐, 以確保與這種基于模型的新的系統(tǒng)工程“V”模型環(huán)境的動(dòng)態(tài)、 關(guān)聯(lián)性質(zhì)保持一致。

    4 研究啟示

    試驗(yàn)鑒定作為武器裝備能力交付的重要環(huán)節(jié), 在美國(guó)國(guó)防部推進(jìn)數(shù)字工程的過(guò)程中, 受到格外重視。 在裝備研制能力快速發(fā)展的背景下, 美軍新提出的試驗(yàn)鑒定即連續(xù)體概念對(duì)于當(dāng)前裝備試驗(yàn)鑒定的數(shù)字化轉(zhuǎn)型具有一定啟示。

    4.1 重視工程理念融合, 推動(dòng)試驗(yàn)鑒定數(shù)字化變革

    美國(guó)國(guó)防部針對(duì)當(dāng)前武器裝備復(fù)雜性特點(diǎn), 開(kāi)展的此系列舉措, 旨在推動(dòng)試驗(yàn)鑒定活動(dòng)與傳統(tǒng)系統(tǒng)工程的整合和交織, 期望提供超學(xué)科、 連續(xù)的流程, 將設(shè)計(jì)改進(jìn)與VV&A耦合。 與此同時(shí), 試驗(yàn)鑒定即連續(xù)體概念所強(qiáng)調(diào)的并行、 協(xié)同和聯(lián)合模式, 是“左移”策略的進(jìn)一步深化, 能夠盡早提供相關(guān)任務(wù)場(chǎng)景中系統(tǒng)試驗(yàn)的重要反饋信息, 滿足當(dāng)前AI/自主等魯棒系統(tǒng)設(shè)計(jì)開(kāi)發(fā)和持續(xù)改進(jìn)的需求。 應(yīng)當(dāng)借鑒連續(xù)體這種模式, 加快試驗(yàn)鑒定數(shù)字化轉(zhuǎn)型進(jìn)程, 增強(qiáng)裝備研制風(fēng)險(xiǎn)表征, 促進(jìn)試驗(yàn)鑒定前伸后延, 完善生命周期數(shù)據(jù)管理體系, 從而保證裝備系統(tǒng)整體交付能力目標(biāo)。

    4.2 重視基于模型的方法, 提升AI/ML等新興技術(shù)的試驗(yàn)鑒定效能

    早在F-22和F-35等裝備研制期間, 美軍就已經(jīng)進(jìn)行了大量建模與仿真研究實(shí)踐。 近年來(lái), 美國(guó)國(guó)防部在數(shù)字工程推進(jìn)和數(shù)字化轉(zhuǎn)型實(shí)施過(guò)程中, 持續(xù)深化試驗(yàn)鑒定數(shù)實(shí)結(jié)合的總體思路, 不斷強(qiáng)化像作戰(zhàn)一樣試驗(yàn)的理念, 推動(dòng)了LVC等基于模型的技術(shù)發(fā)展。 隨著未來(lái)裝備(如六代機(jī)、 蜂群)快速發(fā)展, 人工智能/自主技術(shù)已成為核心要素, 使得軟件能力在武器裝備研制中的比重越來(lái)越大, 美軍越發(fā)重視軟件能力的試驗(yàn)鑒定。 據(jù)悉, 美軍軟件工程領(lǐng)域正在通過(guò)“軟件采辦路徑”領(lǐng)導(dǎo)實(shí)施一種更具迭代性的基于模型的軟件開(kāi)發(fā)設(shè)計(jì)/測(cè)試方法, 以實(shí)現(xiàn)在試驗(yàn)鑒定采辦生命周期內(nèi), 提供連續(xù)體需要的關(guān)于建模、 仿真、 數(shù)據(jù)分析、 數(shù)據(jù)共享和使命任務(wù)工程-系統(tǒng)工程-試驗(yàn)鑒定集成的數(shù)字支持。 應(yīng)當(dāng)借鑒連續(xù)體這種做法, 加強(qiáng)基于模型的方法的研究與應(yīng)用, 提升AI/ML賦能的武器系統(tǒng)在跨所有作戰(zhàn)域的綜合環(huán)境中、 在專(zhuān)注于體系構(gòu)成和更大指數(shù)級(jí)攻擊面的任務(wù)線程中的試驗(yàn)鑒定效能, 確保裝備系統(tǒng)管用、 好用。

    4.3 重視結(jié)合裝備研制實(shí)際, 促進(jìn)試驗(yàn)鑒定科學(xué)發(fā)展

    隨著裝備系統(tǒng)復(fù)雜度和作戰(zhàn)體系化要求的不斷提升, 2022年6月, 美國(guó)國(guó)防部作戰(zhàn)試驗(yàn)鑒定局發(fā)布的《2022財(cái)年作戰(zhàn)試驗(yàn)鑒定戰(zhàn)略更新》, 為試驗(yàn)鑒定基礎(chǔ)設(shè)施、 工具、 流程和人才隊(duì)伍的變革制定了路線。 同時(shí), 美國(guó)國(guó)防部數(shù)字工程工作組專(zhuān)門(mén)成立基礎(chǔ)設(shè)施團(tuán)隊(duì)來(lái)解決基于數(shù)字工程的試驗(yàn)鑒定自動(dòng)化問(wèn)題, 美國(guó)空軍也在持續(xù)推進(jìn)試驗(yàn)策略與開(kāi)發(fā)流程改進(jìn)。 試驗(yàn)鑒定即連續(xù)體這種系統(tǒng)化方法便是美軍探索之一。 此外, 美國(guó)國(guó)防部近年來(lái)還在推動(dòng)MBSE、 貝葉斯方法、 超學(xué)科技術(shù)方法在試驗(yàn)鑒定中的應(yīng)用, 并加強(qiáng)了試驗(yàn)鑒定人員對(duì)于基于模型的試驗(yàn)鑒定等科學(xué)方法的培訓(xùn)學(xué)習(xí)。 在裝備研制邁向并駕齊驅(qū), 甚至領(lǐng)先超越的過(guò)程中, 應(yīng)當(dāng)借鑒美軍連續(xù)體發(fā)展思路, 秉持系統(tǒng)科學(xué)的發(fā)展理念, 結(jié)合數(shù)字化、 體系化、 智能化裝備發(fā)展需要, 加強(qiáng)相關(guān)試驗(yàn)鑒定能力提升方面的基礎(chǔ)研究, 形成一套標(biāo)準(zhǔn)化、 系統(tǒng)化、 科學(xué)化的試驗(yàn)鑒定理論和方法, 從而促進(jìn)試驗(yàn)鑒定科學(xué)可持續(xù)發(fā)展。

    5 結(jié) 束 語(yǔ)

    隨著數(shù)字工程戰(zhàn)略的持續(xù)推進(jìn), 多域作戰(zhàn)概念的日趨成熟, 人工智能/機(jī)器學(xué)習(xí)、 自主等新興技術(shù)的快速發(fā)展, 美國(guó)國(guó)防部認(rèn)為必須對(duì)整體采辦模式進(jìn)行變革轉(zhuǎn)型, 要求各軍種結(jié)合數(shù)字工程理念持續(xù)開(kāi)展試驗(yàn)策略與開(kāi)發(fā)流程優(yōu)化。 美軍后續(xù)可能將緊跟分布式人工智能和數(shù)字工程技術(shù)發(fā)展步伐, 繼續(xù)推動(dòng)該概念的驗(yàn)證、 完善和深入應(yīng)用等工作, 完善試驗(yàn)環(huán)境的數(shù)字化和LVC能力, 增強(qiáng)鑒定框架的靈活性和擴(kuò)展性, 提升復(fù)雜人工智能系統(tǒng)和多域作戰(zhàn)的試驗(yàn)鑒定能力, 以期達(dá)到試驗(yàn)鑒定改革效果。

    參考文獻(xiàn):

    [1] Collins C, Senechal K. Test and Evaluation as a Continuum[J]. The ITEA Journal, 2023, 44(1): 4-1-4-16.

    [2] Greer E R. The Integrated T&E Continuum, the Key to Acquisition Success[J]. The ITEA Journal, 2010, 31(4): 443-446.

    [3] Freeman L, Beling P, Esser K, et al. Positioning Test and Evaluation for the Digital Paradigm[J]. The ITEA Journal, 2023, 44(2): 7-1-7-11.

    [4] Office of the Deputy Assistant Secretary of Defense for Systems Engineering. DoD Digital Engineering Strategy[R]. Washington: United States Department of Defense, 2018.

    [5] 崔艷林, 王巍巍, 王樂(lè). 美國(guó)數(shù)字工程戰(zhàn)略實(shí)施途徑[J]. 航空動(dòng)力, 2021 (4): 84-86.

    Cui Yanlin, Wang Weiwei, Wang Le. US Digital Engineering Implementation Strategy[J]. Aerospace Power, 2021(4): 84-86. (in Chinese)

    [6] 衛(wèi)旭芳, 劉彬. 美軍數(shù)字工程建設(shè)發(fā)展研究及啟示[J]. 航空兵器, 2023, 30(3): 56-66.

    Wei Xufang, Liu Bin. Research on the Development of US Military Digital Engineering and Its Enlightenment[J]. Aero Weaponry, 2023, 30(3): 56-66.(in Chinese)

    [7] Office of the Under Secretary of Defense for Research and Engineering, Office of the Director, Operational Test and Evaluation. DoD Instruction 5000.89, Test and Evaluation[R]. Washington: United States Department of Defense, 2020.

    [8] Cortes L A, Wong M K, Cortes-Morales A, et al. Advance M&S in Acquisition T&E [R]. McLean: The MITRE Corporation, 2021.

    [9] The Office of the Assistant Secretary of the Air Force. Digital Building Code for Digital Engineering[R]. Washington: Department of the Air Force, 2021.

    [10] Bjorkman E, Grigaliunas J. Test and Evaluation-Where the Rubber Meets the Road in Digital Engineering[J]. Defense Acquisition Magazine, 2021, 50(6): 8-14.

    [11] DOT&E. 2021 DOT&E Annual Report[R]. Washington: United States Department of Defense, 2022.

    [12] Hobson S, Collins C. Transforming T&E to Adequately Assess Warfighting Capability in a Multi-Domain Operational Environment[C]∥1st T&E in a Multi-Domain Operational Environment Workshop, 2021.

    [13] DOT&E. DOT&E Strategy Update 2022[R]. Washington: United States Department of Defense, 2022.

    [14] Hobson S, Lowe P, Thomas N, et al. Proven Warfighting Capabili-ties Delivered at the Speed of Need[R]. Washington: United States Department of Defense, 2023.

    [15] Collins C. Multi-Domain Operations-Initiatives to Enable T&E Evolution[C]∥ITEA’s 2nd Annual Multi-Domain Operations Workshop, 2022.

    Research on US Military Test and Evaluation as a Continuum

    Yang Tao, Zhang Yi*, Liang Baohua, Li Guole

    (Chinese Flight Test Establishment, Xi’an 710089, China)

    Abstract: The reform of test and evaluation is a critical component of the US defense acquisition system reform and the digital transformation of the US military. Facing the challenges of test and evaluation brought by the development of emerging technologies such as artificial intelligence and autonomy, as well as the systematic operational requirements like multi-domain warfare and all-domain warfare, to the delivery of weapon equipment capabilities, the US Department of Defense is actively promoting digital transformation in the field of test and evaluation. One of the crucial measures is to put forward the concept of test and evaluation as a continuum, aiming to continuously optimize test strategies and evaluation processes with the help of digital engineering concepts, and further enhance the efficiency and qua-lity of acquiring weapon equipment. This article briefly outlines the development of test and evaluation as a continuum, analyzes its framework content and conceptual implications, discusses the specific capability elements required for implementation, and provides insights into the digital transformation of test and evaluation for weapon equipment.

    Key words: test and evaluation as a continuum; digital transformation; digital engineering; mission engineering; systems engineering

    麻豆国产97在线/欧美| 成年免费大片在线观看| 国产精品人妻久久久久久| 国产午夜福利久久久久久| 精品久久久久久,| 少妇的逼好多水| 性插视频无遮挡在线免费观看| 成年免费大片在线观看| 日韩在线高清观看一区二区三区 | 日日撸夜夜添| 久久亚洲真实| 亚洲不卡免费看| 国产成人一区二区在线| 亚洲乱码一区二区免费版| 国产欧美日韩精品亚洲av| 性色avwww在线观看| 91精品国产九色| 免费一级毛片在线播放高清视频| 亚洲一区二区三区色噜噜| 亚洲综合色惰| 一边摸一边抽搐一进一小说| 国产又黄又爽又无遮挡在线| 身体一侧抽搐| 国产精品三级大全| 亚洲人成伊人成综合网2020| 91狼人影院| 国产三级中文精品| 我要搜黄色片| 精品日产1卡2卡| 久久精品国产亚洲av涩爱 | 色哟哟哟哟哟哟| 国产精品久久久久久精品电影| 亚洲av熟女| 女人被狂操c到高潮| 欧美日本视频| 婷婷色综合大香蕉| 日本a在线网址| 久久久国产成人精品二区| 国产亚洲精品av在线| 日韩一本色道免费dvd| 天堂动漫精品| 一本久久中文字幕| 成年免费大片在线观看| 欧美高清性xxxxhd video| 色尼玛亚洲综合影院| 国内久久婷婷六月综合欲色啪| 婷婷丁香在线五月| 免费看日本二区| 日本一二三区视频观看| bbb黄色大片| 亚洲欧美激情综合另类| 少妇人妻精品综合一区二区 | 三级男女做爰猛烈吃奶摸视频| 波野结衣二区三区在线| 又紧又爽又黄一区二区| 国产精品综合久久久久久久免费| 久久久午夜欧美精品| 热99在线观看视频| 性色avwww在线观看| 老女人水多毛片| 国产亚洲精品久久久久久毛片| www.色视频.com| 夜夜爽天天搞| 国产大屁股一区二区在线视频| 一级黄色大片毛片| 国产精品,欧美在线| 日本一二三区视频观看| 中文字幕高清在线视频| av天堂在线播放| 狂野欧美激情性xxxx在线观看| 国产精品美女特级片免费视频播放器| 在线国产一区二区在线| 91av网一区二区| 日韩欧美免费精品| 亚洲一区高清亚洲精品| 亚洲经典国产精华液单| 夜夜爽天天搞| 黄色欧美视频在线观看| 三级国产精品欧美在线观看| 亚洲av日韩精品久久久久久密| 在线免费观看不下载黄p国产 | 毛片一级片免费看久久久久 | 亚洲自拍偷在线| 国产伦人伦偷精品视频| 中文字幕免费在线视频6| 黄色一级大片看看| 日韩欧美三级三区| 久久精品国产亚洲网站| 两性午夜刺激爽爽歪歪视频在线观看| 久久久久久久久大av| 国模一区二区三区四区视频| 啦啦啦韩国在线观看视频| 99久久久亚洲精品蜜臀av| 国产精品日韩av在线免费观看| 国产成人aa在线观看| 亚洲中文日韩欧美视频| 久久精品夜夜夜夜夜久久蜜豆| 夜夜爽天天搞| 免费人成在线观看视频色| 91午夜精品亚洲一区二区三区 | 伦理电影大哥的女人| 久久这里只有精品中国| 国产欧美日韩一区二区精品| 91狼人影院| 精品久久久久久久久亚洲 | 成人毛片a级毛片在线播放| 精品久久国产蜜桃| 中出人妻视频一区二区| 久久香蕉精品热| 亚洲av美国av| 免费在线观看成人毛片| 亚洲av五月六月丁香网| 亚洲国产欧洲综合997久久,| 久久精品国产99精品国产亚洲性色| 一个人看视频在线观看www免费| 97人妻精品一区二区三区麻豆| 国产伦人伦偷精品视频| 九色国产91popny在线| 亚洲中文字幕一区二区三区有码在线看| 久久人人爽人人爽人人片va| 韩国av在线不卡| 国产成人一区二区在线| 国产精品免费一区二区三区在线| 99在线视频只有这里精品首页| 国产欧美日韩精品一区二区| 久久国产乱子免费精品| 校园人妻丝袜中文字幕| 久久精品国产亚洲av天美| 国产亚洲精品久久久久久毛片| АⅤ资源中文在线天堂| 久久精品国产99精品国产亚洲性色| 亚洲色图av天堂| 久久久久久久久大av| 麻豆国产av国片精品| 中文字幕av在线有码专区| 国产午夜精品久久久久久一区二区三区 | 久久精品国产自在天天线| 欧美xxxx黑人xx丫x性爽| 久久久精品大字幕| 国产精品无大码| 亚洲av第一区精品v没综合| 欧美另类亚洲清纯唯美| 全区人妻精品视频| 男女边吃奶边做爰视频| 男人狂女人下面高潮的视频| 在线观看免费视频日本深夜| 有码 亚洲区| 国产成人aa在线观看| 日韩欧美在线乱码| 美女免费视频网站| 日韩欧美精品免费久久| 日本一本二区三区精品| 国产三级中文精品| 免费搜索国产男女视频| 国产在线精品亚洲第一网站| 久久精品人妻少妇| 欧美性感艳星| 亚洲精品乱码久久久v下载方式| 欧美最新免费一区二区三区| 天堂√8在线中文| 在现免费观看毛片| 久久久久免费精品人妻一区二区| 日韩欧美一区二区三区在线观看| 国内精品宾馆在线| 中国美白少妇内射xxxbb| 18禁黄网站禁片免费观看直播| 成人午夜高清在线视频| 观看免费一级毛片| 亚洲av中文av极速乱 | 欧美激情国产日韩精品一区| 精品一区二区免费观看| 99热6这里只有精品| 欧美激情国产日韩精品一区| 丰满人妻一区二区三区视频av| 熟女人妻精品中文字幕| 人妻制服诱惑在线中文字幕| 亚洲av免费在线观看| 乱系列少妇在线播放| 成人永久免费在线观看视频| 久久精品国产清高在天天线| 久久久久性生活片| 国产精品亚洲一级av第二区| 成人特级av手机在线观看| 啦啦啦啦在线视频资源| 九九在线视频观看精品| or卡值多少钱| 国产精品永久免费网站| 男人舔奶头视频| 亚洲av第一区精品v没综合| 欧美国产日韩亚洲一区| 国产乱人视频| 日韩av在线大香蕉| av在线老鸭窝| 欧美日本亚洲视频在线播放| 最后的刺客免费高清国语| 天堂av国产一区二区熟女人妻| 欧美日韩精品成人综合77777| 久久国内精品自在自线图片| 免费看光身美女| 国产高清视频在线观看网站| 国产精品久久电影中文字幕| 国产三级在线视频| 最近在线观看免费完整版| 亚洲性久久影院| 久久久成人免费电影| 熟女人妻精品中文字幕| 亚洲中文字幕日韩| 啪啪无遮挡十八禁网站| 亚洲国产日韩欧美精品在线观看| 日本精品一区二区三区蜜桃| 精品久久久久久成人av| 午夜影院日韩av| www.www免费av| 免费av观看视频| 久久这里只有精品中国| 久久精品国产99精品国产亚洲性色| 免费观看在线日韩| 亚洲精品影视一区二区三区av| 波多野结衣巨乳人妻| 搡女人真爽免费视频火全软件 | 女的被弄到高潮叫床怎么办 | 久久久国产成人精品二区| 亚洲第一区二区三区不卡| 观看美女的网站| 国产在线精品亚洲第一网站| 九九久久精品国产亚洲av麻豆| 久99久视频精品免费| 欧美精品啪啪一区二区三区| 在线观看一区二区三区| 午夜福利在线观看免费完整高清在 | 国产一区二区在线观看日韩| 男女视频在线观看网站免费| 中文字幕人妻熟人妻熟丝袜美| 免费在线观看影片大全网站| 美女高潮喷水抽搐中文字幕| 久9热在线精品视频| 欧美人与善性xxx| 午夜福利欧美成人| 一本久久中文字幕| 真人做人爱边吃奶动态| 美女免费视频网站| 成人无遮挡网站| 欧美最黄视频在线播放免费| 2021天堂中文幕一二区在线观| 久久精品综合一区二区三区| 又爽又黄无遮挡网站| 真人做人爱边吃奶动态| 日本色播在线视频| 日韩高清综合在线| 国产成人a区在线观看| 身体一侧抽搐| 色综合站精品国产| 少妇人妻精品综合一区二区 | 国产精品久久电影中文字幕| 一级av片app| 国产伦一二天堂av在线观看| 久久精品综合一区二区三区| 亚洲三级黄色毛片| 国产精品一及| 别揉我奶头 嗯啊视频| av天堂在线播放| 亚洲av免费高清在线观看| 久久久久国产精品人妻aⅴ院| 亚洲精品国产成人久久av| 国产 一区 欧美 日韩| 搡老岳熟女国产| 国产成人av教育| 国产精品亚洲一级av第二区| 亚洲精华国产精华精| 在线播放无遮挡| 国产成年人精品一区二区| 女的被弄到高潮叫床怎么办 | 人妻久久中文字幕网| 亚洲精品亚洲一区二区| 午夜爱爱视频在线播放| 国产熟女欧美一区二区| 亚洲精品久久国产高清桃花| 白带黄色成豆腐渣| а√天堂www在线а√下载| 真人做人爱边吃奶动态| 亚洲精品粉嫩美女一区| 免费观看精品视频网站| 久久久久久久久久黄片| 国产综合懂色| 国产私拍福利视频在线观看| 高清在线国产一区| 美女大奶头视频| 久99久视频精品免费| 成人特级黄色片久久久久久久| 日日干狠狠操夜夜爽| 日韩在线高清观看一区二区三区 | 午夜久久久久精精品| 欧美日韩精品成人综合77777| x7x7x7水蜜桃| 大型黄色视频在线免费观看| 精品一区二区三区视频在线| 麻豆久久精品国产亚洲av| 成人无遮挡网站| 国产毛片a区久久久久| 俄罗斯特黄特色一大片| 欧美高清成人免费视频www| 99热只有精品国产| 韩国av在线不卡| 老熟妇乱子伦视频在线观看| 久久久久久久久久成人| 永久网站在线| 18禁在线播放成人免费| 99热这里只有精品一区| 色哟哟哟哟哟哟| 亚洲精品国产成人久久av| 成人亚洲精品av一区二区| 中文亚洲av片在线观看爽| 色综合站精品国产| 成人鲁丝片一二三区免费| 亚洲成人免费电影在线观看| 国国产精品蜜臀av免费| 男人狂女人下面高潮的视频| 麻豆成人av在线观看| 国产精品人妻久久久影院| 精品久久久久久成人av| 精品国产三级普通话版| 久久精品国产亚洲av天美| 五月伊人婷婷丁香| 特大巨黑吊av在线直播| 黄片wwwwww| 最新在线观看一区二区三区| 久久人人精品亚洲av| x7x7x7水蜜桃| 久久精品人妻少妇| 免费在线观看成人毛片| 日本与韩国留学比较| bbb黄色大片| 一区二区三区高清视频在线| 人妻少妇偷人精品九色| 大型黄色视频在线免费观看| 非洲黑人性xxxx精品又粗又长| 一区二区三区高清视频在线| 国产美女午夜福利| 男女啪啪激烈高潮av片| 国产成人av教育| 久久热精品热| 一级黄片播放器| 日韩欧美 国产精品| 午夜精品在线福利| 精品一区二区三区人妻视频| 真人一进一出gif抽搐免费| 在线观看免费视频日本深夜| 禁无遮挡网站| 国产一级毛片七仙女欲春2| 男人的好看免费观看在线视频| 国产精品98久久久久久宅男小说| 嫩草影院入口| av福利片在线观看| 亚洲欧美清纯卡通| 亚洲电影在线观看av| 嫁个100分男人电影在线观看| 免费av不卡在线播放| 69av精品久久久久久| 国产探花极品一区二区| 日韩av在线大香蕉| 在线a可以看的网站| 欧美xxxx黑人xx丫x性爽| 黄色日韩在线| 最近最新免费中文字幕在线| 亚洲成人免费电影在线观看| 亚洲欧美日韩高清专用| 亚洲中文字幕一区二区三区有码在线看| 禁无遮挡网站| 91久久精品电影网| 午夜激情欧美在线| 午夜影院日韩av| 亚洲一区高清亚洲精品| eeuss影院久久| 亚洲av电影不卡..在线观看| 久久亚洲精品不卡| 精品久久久久久久久久久久久| 国产主播在线观看一区二区| 国产av一区在线观看免费| 久久久久久久久大av| 乱码一卡2卡4卡精品| 日日撸夜夜添| 人妻丰满熟妇av一区二区三区| 久久久久久久久久黄片| 可以在线观看毛片的网站| 哪里可以看免费的av片| 精品久久久久久久人妻蜜臀av| 亚洲无线在线观看| 欧美高清成人免费视频www| 听说在线观看完整版免费高清| 中国美白少妇内射xxxbb| 超碰av人人做人人爽久久| 搡老熟女国产l中国老女人| 在线观看美女被高潮喷水网站| 国产亚洲精品av在线| 免费大片18禁| 欧美精品啪啪一区二区三区| videossex国产| 国产视频一区二区在线看| 春色校园在线视频观看| 人妻夜夜爽99麻豆av| 能在线免费观看的黄片| 亚洲真实伦在线观看| xxxwww97欧美| 久久精品国产自在天天线| 亚洲国产精品久久男人天堂| 精品乱码久久久久久99久播| 可以在线观看毛片的网站| 欧美一区二区国产精品久久精品| 国产成人一区二区在线| 少妇猛男粗大的猛烈进出视频 | av在线老鸭窝| 亚洲av免费在线观看| 免费在线观看日本一区| 淫秽高清视频在线观看| 日本熟妇午夜| 99riav亚洲国产免费| 亚洲电影在线观看av| 久久久国产成人免费| 嫩草影视91久久| 成年免费大片在线观看| 日本 av在线| 国产 一区 欧美 日韩| 国产亚洲91精品色在线| netflix在线观看网站| 亚洲av一区综合| 成人国产综合亚洲| 最后的刺客免费高清国语| 永久网站在线| 免费在线观看成人毛片| 少妇被粗大猛烈的视频| 国产 一区 欧美 日韩| 亚洲熟妇熟女久久| netflix在线观看网站| 嫩草影院新地址| 婷婷精品国产亚洲av| www.www免费av| 两个人的视频大全免费| aaaaa片日本免费| 欧美色欧美亚洲另类二区| 亚洲自拍偷在线| 亚洲久久久久久中文字幕| 免费电影在线观看免费观看| av专区在线播放| 国国产精品蜜臀av免费| 免费看光身美女| 久久午夜福利片| 亚洲电影在线观看av| 亚洲成人久久爱视频| 国产午夜精品久久久久久一区二区三区 | 国产真实乱freesex| 国产av在哪里看| 91精品国产九色| 国产免费av片在线观看野外av| 老女人水多毛片| 色哟哟·www| 欧美高清成人免费视频www| 日本a在线网址| 小说图片视频综合网站| 日本欧美国产在线视频| 国产精品久久久久久亚洲av鲁大| 制服丝袜大香蕉在线| 国内精品一区二区在线观看| 日韩高清综合在线| 久久精品人妻少妇| 一卡2卡三卡四卡精品乱码亚洲| 丰满的人妻完整版| 99热精品在线国产| 欧美日韩乱码在线| 九九在线视频观看精品| 午夜激情福利司机影院| avwww免费| 九色国产91popny在线| 色综合站精品国产| 黄色配什么色好看| 在现免费观看毛片| 国产一区二区三区av在线 | 特大巨黑吊av在线直播| 在线免费观看的www视频| 日韩一区二区视频免费看| 美女xxoo啪啪120秒动态图| 国产毛片a区久久久久| 国产亚洲av嫩草精品影院| 日韩一本色道免费dvd| 99久国产av精品| 国产精品一及| 欧美高清成人免费视频www| 国产成人免费无遮挡视频| 午夜福利在线观看免费完整高清在| 99热6这里只有精品| 又大又黄又爽视频免费| 成人美女网站在线观看视频| 久久人人爽av亚洲精品天堂 | 乱系列少妇在线播放| 亚洲精品日韩av片在线观看| 中文字幕人妻熟人妻熟丝袜美| 欧美少妇被猛烈插入视频| 九草在线视频观看| 麻豆成人午夜福利视频| 成人黄色视频免费在线看| 精品亚洲成国产av| 亚洲av电影在线观看一区二区三区| 国产白丝娇喘喷水9色精品| av女优亚洲男人天堂| 欧美日韩视频精品一区| 乱码一卡2卡4卡精品| 国产精品欧美亚洲77777| 国产一区二区三区综合在线观看 | 国产精品福利在线免费观看| 极品少妇高潮喷水抽搐| 黑人猛操日本美女一级片| 大香蕉久久网| a 毛片基地| 日韩中字成人| 国产淫语在线视频| 国精品久久久久久国模美| av在线蜜桃| 热re99久久精品国产66热6| 一级毛片 在线播放| 国产精品人妻久久久久久| 大片免费播放器 马上看| 日韩一本色道免费dvd| 国产爽快片一区二区三区| 日韩av免费高清视频| 亚洲在久久综合| av不卡在线播放| 国产午夜精品久久久久久一区二区三区| 国产大屁股一区二区在线视频| 在线观看国产h片| 色网站视频免费| 韩国av在线不卡| 久久久久久伊人网av| 小蜜桃在线观看免费完整版高清| 99久久综合免费| 久久精品人妻少妇| 国产在线一区二区三区精| 亚洲精品国产成人久久av| .国产精品久久| 秋霞在线观看毛片| 我的女老师完整版在线观看| 日日摸夜夜添夜夜添av毛片| 中文字幕精品免费在线观看视频 | 极品少妇高潮喷水抽搐| 成人漫画全彩无遮挡| 色网站视频免费| 国产精品国产三级国产专区5o| 高清日韩中文字幕在线| 亚洲欧美成人精品一区二区| 最近手机中文字幕大全| 国产精品偷伦视频观看了| 国产色爽女视频免费观看| 国产综合精华液| 国产成人精品久久久久久| 91精品国产九色| 2018国产大陆天天弄谢| 岛国毛片在线播放| 欧美xxxx性猛交bbbb| 少妇人妻 视频| 国产成人午夜福利电影在线观看| 99久久综合免费| 午夜福利在线在线| 国产高清三级在线| 国产高清有码在线观看视频| 国内少妇人妻偷人精品xxx网站| 亚洲精品乱码久久久v下载方式| 伦理电影免费视频| 亚洲成人av在线免费| 国产亚洲一区二区精品| 亚洲国产欧美在线一区| 亚洲中文av在线| 国产中年淑女户外野战色| 七月丁香在线播放| 麻豆成人av视频| 大香蕉97超碰在线| 少妇被粗大猛烈的视频| 国产午夜精品一二区理论片| 亚洲va在线va天堂va国产| 少妇人妻一区二区三区视频| 夜夜爽夜夜爽视频| 91久久精品国产一区二区成人| 久久精品人妻少妇| 国产亚洲av片在线观看秒播厂| 国产综合精华液| 纵有疾风起免费观看全集完整版| 中文字幕免费在线视频6| 国产精品爽爽va在线观看网站| 最近中文字幕2019免费版| 男人狂女人下面高潮的视频| 精品久久久久久久久av| 久久久久久久久久人人人人人人| 欧美3d第一页| 国产精品免费大片| 99精国产麻豆久久婷婷| 美女高潮的动态| 一级片'在线观看视频| 亚洲中文av在线| 久久久久性生活片| 中文精品一卡2卡3卡4更新| 一个人看的www免费观看视频| 国产精品一二三区在线看| 又粗又硬又长又爽又黄的视频| 亚洲av二区三区四区| 麻豆精品久久久久久蜜桃| 欧美精品国产亚洲| av天堂中文字幕网| 啦啦啦啦在线视频资源| 又粗又硬又长又爽又黄的视频| 波野结衣二区三区在线| 亚洲av综合色区一区| 多毛熟女@视频| 免费观看av网站的网址| 欧美极品一区二区三区四区| a级毛片免费高清观看在线播放| 免费观看av网站的网址| 免费黄网站久久成人精品| 偷拍熟女少妇极品色|