聯(lián)合戰(zhàn)役兵棋AI設(shè)計難點問題研究?

任 航 賀筱媛 陶九陽

（1.國防大學(xué) 北京 100091）（2.中國人民解放軍31113部隊 南京 210008）

1 引言

兵棋是重要的作戰(zhàn)模擬手段形式，它使用棋盤和棋子代表真實的理信息和軍事力量，利用從軍事實踐活動中獲得的經(jīng)驗、原則和數(shù)據(jù)提煉形成規(guī)則，結(jié)合統(tǒng)計概率體現(xiàn)戰(zhàn)場的偶然性和不確定性。兵棋發(fā)展緊隨時代腳步，與軍事指揮發(fā)展同步，兵棋所覆蓋的領(lǐng)域由傳統(tǒng)的陸、海、空三維延伸至網(wǎng)絡(luò)、電磁以及太空等領(lǐng)域。

近年來以深度強化學(xué)習(xí)技術(shù)為代表的AI技術(shù)在游戲領(lǐng)域獲得巨大成功，相繼攻克了圍棋、紙牌和復(fù)雜的即時策略游戲［1～7］。兵棋決策遂成為智能技術(shù)亟待突破的下一個領(lǐng)域前沿。聯(lián)合戰(zhàn)役兵棋由于力量構(gòu)成以及層級關(guān)系自然成為當(dāng)前兵棋智能化研究的領(lǐng)域高地。伴隨聯(lián)合演訓(xùn)活動深入開展，聯(lián)合戰(zhàn)役兵棋智能化應(yīng)用需求也愈發(fā)急切。由于專業(yè)兵棋特別是聯(lián)合戰(zhàn)役兵棋嚴肅的軍事背景與游戲有著諸多差異，以致為相應(yīng)AI技術(shù)設(shè)置了應(yīng)用障礙。本文在梳理兵棋及兵棋研究歷史現(xiàn)狀基礎(chǔ)上，立足聯(lián)合戰(zhàn)役兵棋功能定位并結(jié)合聯(lián)合戰(zhàn)役兵棋智能化軍事需求，將聯(lián)合戰(zhàn)役兵棋與典型強化學(xué)習(xí)環(huán)境進行比較，分析相關(guān)技術(shù)落地中存在的實現(xiàn)難點。

2 兵棋及兵棋智能化研究的歷史現(xiàn)狀

自普魯士宮廷顧問馮·萊斯維茨肇始現(xiàn)代兵棋理論在國外發(fā)展已兩百余年。世界兵棋研究的中心從其誕生地的德國轉(zhuǎn)向現(xiàn)今的美國。20世紀80年代起美軍先后開發(fā)了聯(lián)合戰(zhàn)區(qū)級模擬系統(tǒng)（Joint Theater Level Simulation，JTLS）、聯(lián)合沖突戰(zhàn)術(shù)模擬系統(tǒng)（Joint Conflict and Tactical Simulation，JCATS）等典型兵棋系統(tǒng)，用以對作戰(zhàn)方案進行輔助分析與評估。美軍在智能兵棋推演的初步嘗試可以追溯至2007年美國防部高級研究計劃局（De?fense Advanced Research Projects Agency，DARPA）資助下啟動的“深綠”計劃［8］。美軍寄希望通過實現(xiàn)兵棋系統(tǒng)的自主決策控制從而擺脫人在回路推演方式的諸多運用限制。系統(tǒng)核心包括“指揮員助手”、“水晶球”以及“閃電戰(zhàn)”三大子功能模塊［9］。其中，“指揮員助手”模塊是人機接口工程，試圖實現(xiàn)從指揮作業(yè)草圖到作戰(zhàn)方案自動生成的轉(zhuǎn)變；“閃電戰(zhàn)”模塊實現(xiàn)系統(tǒng)推演仿真，快速生成可能態(tài)勢用以輔助作戰(zhàn)計劃檢驗；“水晶球”模塊主要實現(xiàn)戰(zhàn)場態(tài)勢認知的作用，輔助指揮員構(gòu)建未來可能的態(tài)勢圖景。由于龐大搜索空間加之算力缺乏，“深綠”計劃最終擱淺。隨著機器學(xué)習(xí)為代表的新興智能方法出現(xiàn)，兵棋智能化研究在短暫沉寂后又重新趨于活絡(luò)。2020年DARPA啟動“游戲破壞者”項目計劃，希圖在專業(yè)兵棋CMANO上實現(xiàn)人工智能技術(shù)的嵌入融合。同年蘭德公司發(fā)布題為《思維機器時代的威懾》專題報告，重點針對在未來戰(zhàn)爭中智能化武器系統(tǒng)對國家力量威懾與升級的影響進行兵棋推演［10］。

較之國外對兵棋智能推演的研究，國內(nèi)研究起步相對較晚。2017年起中國指控學(xué)會連續(xù)多年舉辦“全國兵棋推演大賽”。幾屆比賽中機器智能組的冠軍相繼為中科院自動化研究所、國防科技大學(xué)所摘得。上述團隊研發(fā)的“CASIA-先知V1.0”、“戰(zhàn)顱”系統(tǒng)，在人機對抗賽中以明顯優(yōu)勢擊敗人類組冠軍。2021年以臨機應(yīng)變?yōu)橹黝}，開創(chuàng)圖靈測試比賽模式的首屆“廟算杯”人機對抗測試賽成功舉行。在人機混合對戰(zhàn)中，中科院自動化所研發(fā)的智能體AlphaWar順利通過了通過圖靈測試，并以一分劣勢位居排名第一的人類選手之后。

國內(nèi)圍繞兵棋智能化的部分理論探索工作有：張可等以模糊遺傳系統(tǒng)為基礎(chǔ)建立兵棋決策的控制框架［11］；劉滿等通過挖掘歷史數(shù)據(jù)，利用兵棋的基本規(guī)則以及多屬性綜合評價軟優(yōu)選算法進行棋子控制［12］；李琛等將強化學(xué)習(xí)方法與規(guī)則相結(jié)合，基于Actor-Critic框架和產(chǎn)生式戰(zhàn)術(shù)規(guī)則研究多智能體決策方法［13］；Hanchao Wang等提出基于多智能體強化學(xué)習(xí)方法對棋子單元進行分層控制［14］；程愷等面向戰(zhàn)術(shù)兵棋提出兵棋AI的設(shè)計框架［15］。

總體來看，相關(guān)理論研究及產(chǎn)品主要集中于戰(zhàn)術(shù)層級，所包含的實體單位規(guī)模數(shù)量較為有限，實體間的指揮控制關(guān)系相對簡單。研究使用的平臺偏重于游戲娛樂，缺少軍事規(guī)則約束，與真實作戰(zhàn)場景還有不小距離。在這樣平臺中進行軍事決策問題研究，往往會由于微操等原因?qū)е聸Q策問題退化為單純的速度比拼，將軍事決策問題這個根本忽視。

3 聯(lián)合戰(zhàn)役兵棋智能化軍事需求分析

兵棋服務(wù)的對象核心是各層級指揮員，是指揮員學(xué)習(xí)戰(zhàn)爭規(guī)律錘煉戰(zhàn)爭思維的依托平臺，而非單純的軍事技能訓(xùn)練工具。兵棋主要用于戰(zhàn)爭分析與軍事訓(xùn)練，突出作戰(zhàn)過程的謀略和對抗特性。不同兵棋所關(guān)注問題的層級粒度不盡相同。指揮員決策的導(dǎo)向作用在戰(zhàn)略戰(zhàn)役層級更為凸顯，戰(zhàn)斗層級以上兵棋刻畫重點由交戰(zhàn)細節(jié)轉(zhuǎn)向決策本身，兵棋模型構(gòu)模精細程度逐漸減弱，決策輻射作用范圍逐漸擴展。戰(zhàn)役兵棋一方面凸顯決策這個中心功能，另一方面聚焦決策在戰(zhàn)術(shù)層級上的末端執(zhí)行，可謂起點于戰(zhàn)役，落點在戰(zhàn)術(shù)。

聚焦決策特別是關(guān)乎全局的宏觀決策是聯(lián)合戰(zhàn)役兵棋關(guān)注重點。聯(lián)合戰(zhàn)役兵棋直接應(yīng)用于作戰(zhàn)籌劃以及指揮對抗訓(xùn)練。作戰(zhàn)籌劃可以作為一個環(huán)節(jié)融入指揮對抗訓(xùn)練中，也可以作為一個獨立部分單獨運用。美軍在其聯(lián)合出版物JP5-0中明確規(guī)定兵棋推演在聯(lián)合作戰(zhàn)計劃制定流程中的地位作用。表1簡要梳理了聯(lián)合戰(zhàn)役兵棋推演對智能化的典型需求。其中，智能指揮官、智能輔助決策以及智能對手重點關(guān)注決策智能。智能指揮官輔助指揮員以快速推演的形式對作戰(zhàn)方案進行檢驗評估，以期及時發(fā)現(xiàn)方案中的漏洞不足進而對方案進行迭代升級。智能輔助決策重點就指揮員決策進行細化，將戰(zhàn)役級任務(wù)向下分解為能夠落地的戰(zhàn)術(shù)行動。智能指揮官、智能輔助決策共同構(gòu)成智能紅軍，與智能對手即智能藍軍相對應(yīng)。

表1 聯(lián)合戰(zhàn)役兵棋智能化需求分析簡表

智能藍軍主要構(gòu)成訓(xùn)練或方案檢驗過程中的條件對手，與智能紅軍類似但又非完全一致。與智能紅軍相比智能藍軍的構(gòu)設(shè)要求及實現(xiàn)難度更高。在進行基本的全維對抗外，還要盡可能地挖掘出所模擬對象的風(fēng)格特質(zhì)并以有效的方法手段最大化地加以呈現(xiàn)。智能紅軍直接對接指揮員及參謀團隊更強調(diào)與之共同的知識理解與表達，因而決策的可解釋性成為智能紅軍決策建模的重點；智能藍軍作為指揮員陪練，決策建模偏重于決策模型與對手決策模式約束的結(jié)合方式上。

智能紅軍抑或是智能藍軍是兵棋智能的外在應(yīng)用展現(xiàn)形式，除去見招拆招般的應(yīng)對以外，聯(lián)合戰(zhàn)役兵棋AI應(yīng)實現(xiàn)科學(xué)計劃與靈活作戰(zhàn)控制間的統(tǒng)一。聯(lián)合戰(zhàn)役兵棋決策智能需要凸顯復(fù)雜戰(zhàn)役態(tài)勢下智能的穩(wěn)局控局能力，面向終態(tài)目標(biāo)的長程規(guī)劃與階段目標(biāo)下的有效執(zhí)行能力，依托方案計劃的協(xié)調(diào)統(tǒng)籌與機變處置能力。由OODA理論聯(lián)合作戰(zhàn)指揮過程是一個以觀察、判斷、決策、行動為核心的滾動向前迭代過程。對抗各方通過一方面加速己方OODA循環(huán)另一方面力圖打破對方OODA循環(huán)鏈路方式握緊戰(zhàn)爭主動權(quán)，從而將對手置于己方作戰(zhàn)節(jié)奏下。聯(lián)合作戰(zhàn)復(fù)雜特性決定了方案計劃對作戰(zhàn)組織的重要作用。方案計劃為各作戰(zhàn)行動的協(xié)調(diào)提供了統(tǒng)一的參照基準，作戰(zhàn)行動通過方案計劃實現(xiàn)邏輯串聯(lián)，在時域、空域、頻域等方面完成功能組織的同步。

4 聯(lián)合戰(zhàn)役兵棋與典型強化學(xué)習(xí)AI平臺環(huán)境比較

4.1 典型強化學(xué)習(xí)AI研究平臺環(huán)境簡介

街機學(xué)習(xí)環(huán)境（Arcade Learning Environment，ALE）是通過游戲表現(xiàn)評價智能體通用能力的平臺［17］，其交互的對象是模擬Atari 2600的游戲環(huán)境［18］，內(nèi)容涵蓋搏擊、射擊、競技、冒險等多種類型。圍繞AI測試相關(guān)研究者挑選出57種固定游戲形成 Atari-57［17，19］評價基線，并將人類玩家平均得分（Human Normalized Score，HNS）作為衡量AI效果度量的依據(jù)標(biāo)準。

OpenAI Gym是OpenAI推出的強化學(xué)習(xí)開源測試平臺。Gym涵蓋經(jīng)典控制游戲、機器人操作、文字游戲以及Atari視頻游戲等不同類型的仿真環(huán)境。機器人操作使用MuJoCo物理引擎，用于研究機器人的精細仿真控制。Atari游戲部分直接對封裝了ALE內(nèi)容。Gym提供標(biāo)準化的學(xué)習(xí)輔助環(huán)境，智能體與環(huán)境的交互、仿真環(huán)境的步進都遵循嚴格的協(xié)議規(guī)范，仿真結(jié)果連續(xù)穩(wěn)定向外輸出。

星際爭霸是一款即時戰(zhàn)略游戲，涉及微觀動作操控、宏觀策略規(guī)劃、多任務(wù)學(xué)習(xí)以及多智能體協(xié)作等復(fù)雜決策問題。其與軍事決策高度的相似性使其具有極強的軍事借鑒價值。DeepMind與暴雪公司合作發(fā)布的學(xué)習(xí)環(huán)境SC2LE［20］同樣是智能研究重要的平臺。SC2LE包含應(yīng)用程序接口API、Py?thon開源工具PySC2以及數(shù)量巨大的對戰(zhàn)數(shù)據(jù)集。

棋牌類游戲作為受眾廣泛的博弈游戲同樣受到關(guān)注。得克薩斯農(nóng)工大學(xué)設(shè)計并開源了面向棋牌類游戲的強化學(xué)習(xí)平臺RLCard。RLCard支持斗地主、麻將、21點等八種牌類游戲，在其上有多種強化學(xué)習(xí)算法實現(xiàn)并能夠?qū)崿F(xiàn)并行訓(xùn)練［21］。RL?Card通過預(yù)訓(xùn)練模型或規(guī)則代替對手，使整個游戲變?yōu)榛谕婕乙暯堑膯沃悄荏w接口，并按照Ope?nAI Gym形式封裝環(huán)境。

表2 典型強化學(xué)習(xí)環(huán)境比較

4.2 聯(lián)合戰(zhàn)役兵棋環(huán)境特點及AI落地難點總結(jié)

深度強化學(xué)習(xí)綜合了深度學(xué)習(xí)與強化學(xué)習(xí)兩者優(yōu)點，深度學(xué)習(xí)實現(xiàn)信息知識的提取，強化學(xué)習(xí)重點在深度學(xué)習(xí)基礎(chǔ)上實現(xiàn)高水平?jīng)Q策。深度強化學(xué)習(xí)作為AI開發(fā)的關(guān)鍵技術(shù)，學(xué)習(xí)訓(xùn)練效果與環(huán)境高度相關(guān)。聯(lián)合戰(zhàn)役兵棋環(huán)境與典型強化學(xué)習(xí)AI環(huán)境相比更為復(fù)雜，無形中增加了兵棋AI的落地難度，主要困難挑戰(zhàn)集中在下述方面。

1）問題結(jié)構(gòu)規(guī)模復(fù)雜。聯(lián)合戰(zhàn)役兵棋決策規(guī)模與想定高度關(guān)聯(lián)，基于真實想定背景的聯(lián)合戰(zhàn)役兵棋棋子有數(shù)百個之多，所涉及的行動指令數(shù)量分布從數(shù)百到上千條不等，與指令相關(guān)的參數(shù)類型、取值范圍千差萬別。以各擁有100個作戰(zhàn)實體單位的中等想定規(guī)模推演為例，其復(fù)雜度可能達到1014400量級。棋牌類游戲有著嚴格的規(guī)則制約，其問題規(guī)模難以與兵棋相比較。表3總結(jié)了常見的棋牌類游戲規(guī)模。星際爭霸、Dota這類RTS游戲雖然存在類似情況，但由于相對固定的場景設(shè)置因而問題量級規(guī)模遠遜于兵棋。

表3 常見棋牌類游戲問題規(guī)模

2）實體間存在復(fù)雜的交互關(guān)聯(lián)關(guān)系。兵棋實體之間構(gòu)成復(fù)雜的交互關(guān)系網(wǎng)。伴隨作戰(zhàn)目的改變以及作戰(zhàn)進程演進，交互關(guān)系也在不斷調(diào)整。作戰(zhàn)體系中關(guān)鍵要素節(jié)點微小的變化都可能導(dǎo)致勝負天平發(fā)生不可逆的傾斜。作戰(zhàn)行動間關(guān)聯(lián)密切，聚焦于戰(zhàn)役關(guān)節(jié)點各作戰(zhàn)力量單元在整個時間域、空間域、信息域中形成復(fù)雜的纏繞交錯態(tài)勢。棋牌類游戲除牌面信息外不附加額外信息，RTS游戲中屬性信息相對有限屬性信息交互更多集中在傷害輸出方面，而兵棋實體中還包含有支援、保障、信息壓制等相關(guān)屬性信息。這些屬性信息及其之上衍生的關(guān)聯(lián)關(guān)系信息共同構(gòu)成AI決策所依賴的信息源。

3）不完全信息對作戰(zhàn)決策影響顯著。聯(lián)合戰(zhàn)役兵棋態(tài)勢以及對手信息的不確定程度更高。兵棋推演是不完全信息博弈對抗過程。由于存在“戰(zhàn)爭迷霧”，加之對手的隱真示假行動，及時準確掌握態(tài)勢信息愈發(fā)困難。不完全信息博弈在增加對抗性給人以更強體驗感的同時也增大了決策難度。從現(xiàn)有博弈場景分析來看，圍棋對抗中雙方信息完全公開透明，斗地主、德州撲克中不完全信息體現(xiàn)在對手手牌的估計，兵棋及RTS游戲中不完全信息集中于敵方狀態(tài)信息以及可能行動意圖的預(yù)判上。相較于敵方兵力信息，對敵方作戰(zhàn)意圖、行動策略估計更加困難，訓(xùn)練AI從宏觀視角綜合把握局面的難度更大。

4）統(tǒng)計隨機因素增加了對模型的學(xué)習(xí)難度。兵棋在描述戰(zhàn)爭一般規(guī)律的同時，融合有大量統(tǒng)計模型以刻畫偶然因素的影響。隨機性的影響充斥于交戰(zhàn)毀傷、對目標(biāo)偵察發(fā)現(xiàn)結(jié)果等裁決中。相較于棋牌類游戲兵棋執(zhí)行結(jié)果展現(xiàn)出高度不確定性。兵棋狀態(tài)轉(zhuǎn)移結(jié)果表現(xiàn)為狀態(tài)轉(zhuǎn)移概率分布，這也是minimax搜索難以移植于兵棋的重要原因。諸多隨機因素進一步增加了兵棋復(fù)雜程度，同樣增大了AI對兵棋模型結(jié)構(gòu)機理的捕捉以及學(xué)習(xí)難度。相較于游戲，基于model-based強化學(xué)習(xí)方法在聯(lián)合戰(zhàn)役兵棋中難以適用。學(xué)習(xí)出一個抽象的兵棋前向模型需要付出極高資源成本，因而無法像Atari游戲那樣利用習(xí)得模型進行前向規(guī)劃。

5）可借鑒的兵棋樣本數(shù)據(jù)相對缺乏。Alpha?Go、AlphaStar等的成功離不開高質(zhì)量對戰(zhàn)數(shù)據(jù)的支持。通過模仿高水平人類玩家，AI能夠迅速形成初始決策判斷能力，為后續(xù)訓(xùn)練奠定良好基礎(chǔ)。戰(zhàn)爭不同于游戲只有少數(shù)真實案例及演習(xí)數(shù)據(jù)可供借鑒。一方面聯(lián)合作戰(zhàn)對專業(yè)性的要求為組織運用聯(lián)合戰(zhàn)役兵棋推演設(shè)置了較高準入門檻，聯(lián)合戰(zhàn)役兵棋的應(yīng)用領(lǐng)域決定其僅僅面向少數(shù)軍事人員；另一方面保密的要求更降低了受眾基礎(chǔ)，導(dǎo)致無法像棋牌游戲、RTS游戲那樣有著海量參考數(shù)據(jù)可供利用。特別對于模擬藍軍這樣有著更高質(zhì)量要求的數(shù)據(jù)則更是缺乏。

6）初始力量設(shè)置并非絕對均衡?；谡鎸嵪攵ㄇ闆r的對陣雙方并非如游戲一樣力量對比大體相當(dāng)，以致推演初始就帶有明顯的局面優(yōu)劣差別，甚至可能出現(xiàn)一方實力對另一方全面碾壓的極端情形。兵棋推演中的不對稱特性主要表現(xiàn)在兩個方面：一是力量的不對稱性，集中體現(xiàn)在作戰(zhàn)力量多寡、武器性能強弱、信息手段優(yōu)劣等的差異上；二是作戰(zhàn)目標(biāo)的不對稱性，兵棋中作戰(zhàn)目標(biāo)與推演角色定位密切相關(guān)。兩方對戰(zhàn)的博弈游戲中消滅對手往往是其唯一目標(biāo)，而兵棋中作戰(zhàn)目標(biāo)受到自身紅藍角色背景制約。兵棋不對稱性間接造成一戰(zhàn)一棋這一比之棋類游戲的獨特運用形式，導(dǎo)致諸如自博弈的強化學(xué)習(xí)訓(xùn)練方法無法直接運用。

7）最終結(jié)果無法僅用簡單絕對的勝負二元值描述。戰(zhàn)爭目的帶具有多目標(biāo)屬性特點，圍繞相關(guān)屬性目標(biāo)指揮員通過環(huán)環(huán)相扣的精心設(shè)計實現(xiàn)其戰(zhàn)役目的。根據(jù)指揮員的特點偏好，兵棋AI需要在不同目標(biāo)間平衡取舍以盡可能地實現(xiàn)指揮員的作戰(zhàn)意圖。此外，戰(zhàn)爭目標(biāo)并非一成不變，指揮員會根據(jù)戰(zhàn)場需要動態(tài)進行目標(biāo)調(diào)整，兵棋AI需要具有一定的策略適應(yīng)性，能夠根據(jù)獎勵函數(shù)的變化進行策略的及時調(diào)整。

5 結(jié)語

伴隨以深度強化學(xué)習(xí)為代表的AI技術(shù)在競技游戲中不斷攻城略地，數(shù)據(jù)驅(qū)動的智能博弈對抗建模技術(shù)愈發(fā)受到行業(yè)領(lǐng)域關(guān)注。聯(lián)合戰(zhàn)役兵棋作為一種不完全信息下的復(fù)雜博弈環(huán)境，既有游戲激烈對抗的影子又兼具軍事問題的嚴肅主題。聯(lián)合戰(zhàn)役兵棋與戰(zhàn)術(shù)兵棋、RTS游戲、棋類游戲等相比有著明顯的特點區(qū)分。這些特點導(dǎo)致單純以強化學(xué)習(xí)為核心構(gòu)建的AI難以取得令人滿意的結(jié)果。一種現(xiàn)實而可行的解決方式是將人的知識與強化學(xué)習(xí)相結(jié)合，重點圍繞決策框架結(jié)構(gòu)、訓(xùn)練設(shè)計以及模型構(gòu)建等方面尋找解決問題的創(chuàng)新可能，具體知識與強化學(xué)習(xí)的結(jié)合方式尚有待后續(xù)更為深入的研究工作。