多目標空間探測智能軌跡優(yōu)化方法綜述*

李海洋 周曉東 張旭光 寶音賀西

(1.上海衛(wèi)星工程研究所，上海 201109) (2.上海航天技術研究院，上海 201109) (3.清華大學 航天航空學院，北京 100084)

引言

探索浩瀚宇宙是人類自古以來的夢想.隨著技術的進步，太空進入門檻降低，航天將有望迎來一段黃金時期，人類需要更加經濟、理性且可持續(xù)的太空探索與開發(fā)方案——多目標空間探測即為一種可選方案.多目標空間探測是指用一個或多個航天器對多個空間目標進行探測，其優(yōu)勢在于能夠以較低的花費獲取極大的收益，其難點在于任務的設計與優(yōu)化.深空探測任務設計中，部分任務需要借用行星進行引力輔助，或者在探測器完成其主要任務的前提下順便對其他天體進行飛越，這些都屬于一個航天器訪問多個目標的情況.表1是根據NASA統計的1958-2016年的深空探測任務[1]而整理得到的訪問多個目標的深空探測任務，這些任務均給人類帶來極大的科學收益.但是多目標空間探測任務與上述深空探測任務并不完全相同.上述深空探測任務以某一目標或少量目標為主要目標，其他目標的探測是通過借用其進行引力輔助或者在訪問主要目標的基礎上附加進行的.多目標空間探測與之不同之處主要有幾點：一是多目標空間探測并不存在主要目標，目標的選擇是為了任務整體收益的最大化；二是多目標空間探測的目標更多，可多達幾十個；三是多目標空間探測并不僅限于深空探測任務，地球軌道同樣有多目標空間探測的任務需求.因此能夠創(chuàng)造更大的收益.

表1 訪問多個目標的深空探測任務(按發(fā)射日期排序)Table 1 Space missions that visited multiple targets (sorted by launch date)

多目標空間探測從任務目標類型上可分為深空任務和地球軌道任務.深空多目標任務方面，探測目標主要為大行星及小天體(小行星和彗星)，其中小天體為重點[2].小天體被認為保留著太陽系早期物質，對于研究太陽系起源以及生命起源有著極其重要的科學價值；一些小天體上含有儲量豐富的稀有金屬，小天體采礦也有望形成一個新興產業(yè)；同時，一些小天體有著潛在的撞擊地球威脅，對小天體進行防御也是非常重要研究內容.地球軌道多目標任務方面，由于人類進入太空的能力已經較為成熟，更加高效地對空間進行開發(fā)利用將會是未來的重點，空間碎片清除、在軌燃料加注、在軌維修等方面對多目標空間探測均有重大需求.此外，多目標空間探測還可以是多個航天器協同進行，每個航天器對多個目標進行探測；多目標空間探測的目標并不局限于天體或者航天器，只要有探測價值均可視為目標.

雖然多目標空間探測有著諸多優(yōu)點，但也有許多困難，其中最為主要的困難之一為軌跡優(yōu)化，又分為轉移軌跡優(yōu)化和探測序列優(yōu)化兩部分.以多目標主帶小行星探測為例，目前已經編號的主帶小行星共計約12萬顆，假設篩除掉軌道偏心率較大、軌道傾角較大、以及絕對星等較大的小行星后，還剩下3000顆備選小行星.若考慮單個航天器訪問10顆小行星的多目標任務，每次訪問完一顆小行星后經過篩選，下一個可選目標為1000個，其可選的探測序列組合為3×1012個.為了從這些組合中選出最優(yōu)的探測序列，若采用窮舉法對所有的探測序列都進行一次評估，假設每次評估耗時1ms，則評估完所有探測序列的時間約為95年(不考慮使用并行計算等其他方法).通過這一簡單直觀的比較可見多目標空間探測任務設計之復雜，設計空間之巨大，優(yōu)化之難.因此，全局優(yōu)化，包含快速準確的轉移軌跡評估方法與高效的探測序列全局優(yōu)化方法，是多目標空間探測軌跡優(yōu)化的核心難點.

此外，未來航天任務對航天器的自主性能需求越來越高，對星上實時規(guī)劃、自主決策等方面有要求[3]，多目標空間探測任務同樣如此.面對未來可能會存在大量航天器同時進行多目標空間探測任務的情況(如SpaceX的星鏈計劃)，近地衛(wèi)星多航天器多目標協同自主工作將成為新模式，深空探測器由于器地時延更需要具備器上自主優(yōu)化的能力.此外，多目標探測任務中航天器自主優(yōu)化能力的提升也能大大降低地面飛控系統的負擔與壓力.在多目標空間探測任務中，需要能夠實時對轉移軌跡和探測序列進行優(yōu)化.但是航天器星上計算能力非常有限，任務設計時常用的優(yōu)化方法無法在航天器上執(zhí)行，因此與航天器星上計算能力相適應的實時優(yōu)化也是多目標空間探測軌跡優(yōu)化的重要挑戰(zhàn).

面對上述難點與挑戰(zhàn)，智能方法有望提供解決途徑.智能方法在航天動力學領域一直有著廣泛應用[4].航天動力學領域應用人工智能技術應以需求為導向，從需求出發(fā).作為航天動力學的研究內容之一，多目標空間探測軌跡優(yōu)化對智能方法的需求與其難點與挑戰(zhàn)是對應的.多目標空間探測軌跡優(yōu)化的全局優(yōu)化難度很大，需要解決轉移軌跡快速評估和探測序列全局優(yōu)化的問題，而智能方法在快速準確預測與求解組合優(yōu)化問題上有著優(yōu)異的表現.同時，面向未來航天任務的多目標空間探測軌跡優(yōu)化需要具備實時優(yōu)化的能力，需要解決轉移軌跡實時優(yōu)化和探測序列實時優(yōu)化的問題，而實時優(yōu)化也正是智能方法的研究重點之一.人工智能中常用的方法有樹搜索、進化計算以及機器學習，這三種方法也是航天動力學領域應用最多的智能方法[4].

多目標空間探測軌跡優(yōu)化近十幾年來已逐漸成為軌道動力學與控制領域的研究熱點，國際空間軌道設計競賽(Global Trajectory Optimization Competition, GTOC)和中國空間軌道設計競賽(China Trajectory Optimization Competition, CTOC)在其中起到了重要推動作用.本文首先通過國內外軌道競賽介紹多目標空間探測軌跡優(yōu)化的研究趨勢，然后從轉移軌跡優(yōu)化和探測序列優(yōu)化兩個方面對其中涉及智能方法的研究進行綜述，其中，轉移軌跡優(yōu)化將分為進化計算方法和機器學習方法兩個部分進行綜述.

1 多目標空間探測軌跡優(yōu)化國際研究趨勢

多目標空間探測軌跡優(yōu)化的研究，以國際空間軌道設計競賽GTOC和中國空間軌道設計競賽CTOC為代表.兩個競賽所研究的問題均為極具挑戰(zhàn)、幾乎不可能得到全局最優(yōu)解的問題，其中絕大多數問題是多目標空間探測軌跡優(yōu)化問題.此外，國內外高水平的研究團隊都會參加競賽，因此可以通過梳理競賽來窺探多目標軌跡優(yōu)化國際研究趨勢.

GTOC由歐洲空間局先進概念組的Dario Izzo博士在2005年發(fā)起，每一年或兩年舉辦一次，至今(2020年)已經舉辦了10屆，每屆的冠軍負責舉辦下一屆競賽.參與過該項賽事的團隊共有134個，除首屆外其他均為多目標空間探測問題.綜合各屆競賽題目來看，多目標空間探測的探測目標主要為小行星(近地小行星和主帶小行星)、木衛(wèi)系統、宇宙射線源和空間碎片；任務形式有單個探測器飛越或者交會、多個探測器協同探測等形式.

從參與團隊來看，在GTOC中起主導地位的為美國噴氣推進實驗室(Jet Propulsion Laboratory, JPL)和歐洲空間局先進概念組(European Space Agency′s Advanced Concepts Team, ESA-ACT).JPL獲得第一名的次數遙遙領先.JPL主導或參與了美國的多項深空探測任務，包括表1中提到的先鋒號系列、水手號系列、旅行者號、伽利略號、卡西尼號、深空1號、星塵號、深度撞擊號和黎明號，幾乎包含了所有表1中提到的美國任務，可以認為JPL無論在科研還是工程上都處于國際領先地位.ESA-ACT雖然僅獲得過一次冠軍，但是其成績始終穩(wěn)定靠前，綜合實力并不遜于JPL，作為競賽的發(fā)起方始終走在多目標空間探測軌跡優(yōu)化研究的最前線.此外，還有美國國家航空航天局多家研究中心(約翰遜研究中心，戈達德研究中心等)、法國國家太空中心、德國宇航局、俄羅斯赫魯尼契夫國家航天研制中心等多家航天機構，都靈理工大學、格拉斯哥大學、米蘭理工大學、莫斯科大學、奧斯汀大學等多家歐美航天強校持續(xù)參與到競賽中來并取得不錯的成績，充分說明多目標空間探測在科研和工程上均是極具挑戰(zhàn)的研究內容，一個團隊需要在科研和工程上都具備扎實的基礎才可以取得優(yōu)異的成績.

中國研究團隊包括清華大學、北京航空航天大學、南京航空航天大學、中科院、國防科技大學、西安衛(wèi)星測控中心、北京飛控中心、南京大學、西北工業(yè)大學、哈爾濱工業(yè)大學等(按參賽時間排序)同樣積極參與到GTOC中來，并且成績整體上在不斷進步，在第十屆競賽中首次包攬了前兩名，力壓歐美其他傳統強隊.圖1總結了各國各次競賽的參賽成績，橫坐標為競賽的屆次，縱坐標為該國在該次競賽中的分數.分數的計算方法為：該國所有參賽并提交正確結果的團隊里，第1名得16分，第2名得8分，第3名得4分，第4名得2分，其余得1分；這樣的計分方式，既能體現該國研究團隊的整體實力，又能體現該國的參與程度.從圖中可以看出，隨著競賽舉辦次數的增加，中國研究團隊在不斷縮小與歐美研究團隊的差距，且在第十屆競賽中成為第一；美國在JPL參賽的大多數屆次中仍然保持領先地位；歐洲中國研究團隊的沖擊分數而受到影響；俄羅斯分數在逐漸下降，這與其參與程度有一定關系；在美國、中國、歐洲、俄羅斯這四個航天大國中，中國有著非常強勁的勢頭，這也表明在多目標空間探測軌跡優(yōu)化領域中國的研究團隊緊跟著中國從航天大國邁向航天強國的步伐.

圖1 國際軌跡優(yōu)化競賽各國參賽成績Fig.1 Scores of global trajectory optimization competition of various nations

我國的研究團隊能在GTOC中取得如此優(yōu)異的成績，與我國自己的CTOC是分不開的.CTOC由清華大學在2009年發(fā)起，至今(2020年)已經舉辦了十屆，也已經有文獻對其進行了總結與回顧[5,6]，本文不再贅述.CTOC題目絕大多數也為多目標空間探測軌跡優(yōu)化問題，包括小行星探測、小行星表面巡游、空間碎片清除、多星編隊、木星磁場與木衛(wèi)探測等.參賽團隊也主要為上述參與過國際軌跡優(yōu)化競賽的團隊.每一次的GTOC與CTOC不僅鍛煉了我國的研究團隊，也一次次地為多目標空間探測任務提供新的思路，為將來我國開展多目標空間探測任務打下了夯實的基礎.

綜合各研究團隊在競賽中的求解方法來看，智能方法越來越多地被應用，而且取得的成績也越來越好[5].最近的兩屆GTOC中排名前三的團隊均采用了智能方法[7-9]，可見智能方法在多目標空間探測軌跡優(yōu)化中將會越來越重要.

接下來，本文分別從轉移軌跡優(yōu)化和探測序列優(yōu)化兩部分的智能方法進行綜述.

2 轉移軌跡優(yōu)化進化計算方法

轉移軌跡的形式一般為脈沖、連續(xù)推力、引力輔助(可以視為一種變軌形式)等.考慮到航天器所攜帶燃料有限且昂貴、任務時長有限等因素的制約，轉移軌跡設計的核心問題即為優(yōu)化問題，優(yōu)化目標通常為燃料消耗或者任務時長.轉移軌跡優(yōu)化問題為復雜的優(yōu)化問題，存在著許多局部最優(yōu)解.由于該類問題中許多優(yōu)化變量的梯度并不容易解析獲得或者不連續(xù)，基于梯度的優(yōu)化方法解決該類問題有著諸多困難，比如對初值的要求較高，或者不易跳出較差的局部解.進化計算，如遺傳算法，差分進化，粒子群優(yōu)化等，不需要優(yōu)化變量的梯度，且全局性較好，因此被廣泛應用到轉移軌跡優(yōu)化中.

2.1 脈沖軌跡優(yōu)化

Cage等[10]最早在1994年將遺傳算法應用到深空脈沖軌跡優(yōu)化中，并且指出遺傳算法明顯優(yōu)于當時通用的網格搜索算法.此后，Kim和Spencer[11]用遺傳算法研究了脈沖交會問題，并用霍曼轉移與雙橢圓轉移驗證了遺傳算法的最優(yōu)性.Abdelkhalik 和Mortari[12]改進了Kim論文中的求解模型，用遺傳算法計算了其中的算例并得到了更優(yōu)的結果.Vasile等將分支技術應用在進化算法中提出了進化分支算法，研究了地火轉移多脈沖軌跡優(yōu)化問題[13]，也提出了一種基于行為的元啟發(fā)算法應用到地球小行星的雙脈沖轉移軌跡優(yōu)化中[14].Radice和Olmo[15]用蟻群算法研究了雙脈沖轉移問題，不僅得到了之前研究中的最優(yōu)解，還發(fā)現了若干新的局部解.羅亞中[16]使用遺傳算法、并行模擬退火單純形等方法研究了空間最優(yōu)交會問題.Zhang等用遺傳算法研究了復雜約束條件下的交會問題[17]以及多目標優(yōu)化問題[18].Yao等[19]提出了一種自適應差分進化算法研究了脈沖問題.Sentinella和Casalino[20]將差分進化、遺傳算法與粒子群優(yōu)化并行計算優(yōu)化多脈沖問題.Pontani 等[21]用粒子群優(yōu)化研究了多脈沖交會問題，并建議對于交會問題可以首先嘗試使用粒子群優(yōu)化.Bessette和Spencer[22]研究了用差分進化、粒子群優(yōu)化以及進化策略優(yōu)化多脈沖轉移并進行比較，發(fā)現粒子群優(yōu)化效果更好.可以將進化計算方法的全局最優(yōu)性與非線性規(guī)劃等基于梯度算法的局部最優(yōu)性結合起來，使用進化計算為非線性規(guī)劃算法提供初值，能夠高效求解脈沖轉移軌跡優(yōu)化問題.

2.2 小推力軌跡優(yōu)化

小推力軌跡優(yōu)化領域智能方法同樣有著較多的應用.Rauwolf和Coverstone-Carroll[23]在1996年使用遺傳算法優(yōu)化了深空小推力軌跡，文中將小推力軌跡分成多段，每段內推力方向為固定值，優(yōu)化每段開關機以及推力方向角.除了將小推力軌跡進行分段，還可以將推力方向角用函數進行描述，從而優(yōu)化函數的參數.Dewell和Menon[24]將推力方向角表示為切比雪夫多項式的形式，用遺傳算法優(yōu)化切比雪夫多項式的系數，研究了地球同步軌道小推力轉移問題.Wall和Conway[25]將小推力方向角用三次多項式擬合，用遺傳算法優(yōu)化三次多項式系數.Ghosh和Conway[26]用B樣條曲線擬合小推力方向角，用粒子群優(yōu)化對B樣條曲線系數進行優(yōu)化.Lee等[27]使用李雅普諾夫Q函數進行小推力軌跡優(yōu)化，用遺傳算法優(yōu)化Q函數的參數，研究了同時考慮燃料消耗與飛行時間的多目標優(yōu)化問題.上述進化計算方法都是將小推力問題進行了一定的近似(比如將推力方向角用含參數的函數描述)，對于末端精度要求不高或者對最優(yōu)性要求不高的情況下適用.

除了直接優(yōu)化小推力開關機與方向角之外，還有許多學者使用智能方法為其他數值解法提供初值.Coverstone-Carroll等[28]用遺傳算法優(yōu)化協態(tài)變量與轉移時間，為SEPTOP(美國噴氣推進實驗室開發(fā)的小推力求解軟件)提供初值，研究了同時考慮燃料消耗與轉移時間的多目標優(yōu)化問題.Wuerl等[29]、Sentinella和Casalino[30]也研究了使用遺傳算法為小推力間接法求解提供初值.Pontani和Conway[31]研究了粒子群優(yōu)化在脈沖以及小推力軌跡優(yōu)化中的應用，應用之一即為小推力間接法求解提供初值.同樣，Jiang等[32]也使用粒子群優(yōu)化為小推力間接法求解提供初值.Shan和Ren[33]使用粒子群優(yōu)化提供協態(tài)初值，再將軌跡離散后作為初值用直接法進行求解.Chilan和Conway[34,35]將脈沖、連續(xù)推力段和滑行段整體進行優(yōu)化，機動類型也作為優(yōu)化的結果，使用遺傳算法為非線性規(guī)劃提供初值.可以看到進化計算方法在小推力軌跡優(yōu)化初值求解中有著較多應用，能夠充分發(fā)揮進化計算方法全局性好的優(yōu)勢.

2.3 引力輔助軌跡優(yōu)化

多次引力輔助的軌跡較為復雜，如圖 2所示，其優(yōu)化也有著許多研究.對于給定的引力輔助序列，如何選取引力輔助時刻以及如何施加深空機動是一個較為復雜的優(yōu)化問題，許多學者使用智能方法進行優(yōu)化.Vasile等設計了進化算法與分支策略結合的進化分支算法，研究了脈沖和小推力的含深空機動的多引力輔助軌跡優(yōu)化問題[36]，又提出了多主體協作搜索算法[37]，并對該算法進行了改進研究多目標優(yōu)化問題[38].Vasile等[39]還改進了差分進化算法，在含深空機動的多引力輔助問題上其性能優(yōu)于標準的差分進化算法.Olds等[40]和Qiao等[41]使用差分進化算法研究了含深空機動的多引力輔助軌跡優(yōu)化問題，發(fā)現算法的性能對算法參數設置非常敏感.Izzo等[42]在研究木衛(wèi)探測的問題時將參數自適應、約束處理等技術應用在進化算法上，避免了人工設置算法參數.Izzo等[43]還提出了空間剪枝方法研究多引力輔助問題，與差分進化、遺傳算法、粒子群優(yōu)化結合，提升了算法性能，Vasile等[44]在此基礎上研究了含深空機動的多引力輔助問題.Schütze等[45]用空間剪枝研究了小推力引力輔助多目標優(yōu)化.Schütze等[46]使用非支配排序遺傳算法NSGA-II對引力輔助軌跡多目標優(yōu)化進行了研究，同時NSGA-II的提出者Deb等[47]也用該算法研究了類似問題.

圖2 多引力輔助探測軌跡(圖片來自文獻[41])Fig.2 Trajectory of multiple gravity-assist mission

與小推力軌跡優(yōu)化問題類似，引力輔助軌跡優(yōu)化中也有學者使用智能方法為其他數值解法提供初值.Crain等[48]將遺傳算法得到的結果作為初值，使用遞歸二次規(guī)劃來進一步優(yōu)化.Woo等[49]使用遺傳算法為SEPTOP提供初值，研究了小推力引力輔助軌跡優(yōu)化問題.Yang等[50]使用粒子群優(yōu)化為含引力輔助的小推力間接法求解提供初值.此外，喬棟等[51,52]用差分進化為序列二次規(guī)劃提供初值，研究了使用引力輔助的小行星探測軌跡優(yōu)化問題.這些研究也再一次表明進化計算方法在提供優(yōu)化初值上的優(yōu)勢.

由于含深空機動的多引力輔助軌跡優(yōu)化問題的復雜性，許多學者以該問題為基礎將多種智能方法進行比較.Myatt等[53]比較了遺傳算法、差分進化、粒子群、交叉熵等多種算法，發(fā)現差分進化性能更優(yōu).Bessette和Spencer[54]比較差分進化和粒子群優(yōu)化，認為粒子群優(yōu)化性能更好，雖然二者均能找到最優(yōu)解，但是粒子群優(yōu)化需要的迭代次數更少.Sentinella和Casalino[55]將差分進化、遺傳算法與粒子群算法并行計算，每次迭代時三種算法共享最優(yōu)個體，在某些復雜問題上性能更好.Vasile[56]等比較了差分進化、遺傳算法、粒子群優(yōu)化等，認為各種算法的性能非常依賴于研究問題本身.

3 轉移軌跡優(yōu)化機器學習方法

機器學習在轉移軌跡優(yōu)化中的應用主要有兩個方面，一是對轉移軌跡優(yōu)化最優(yōu)指標(如最優(yōu)的燃料消耗或者轉移時間)的快速預測，二是設計實時最優(yōu)控制器.

3.1 最優(yōu)指標快速預測

由于多目標空間探測軌跡優(yōu)化需要大量優(yōu)化轉移軌跡，如果可以快速準確地對轉移軌跡的最優(yōu)指標進行預測，避免精確優(yōu)化求解，將會極大地提高計算速度.該問題可以概括為：已知初始軌道和末端軌道，如何做到不進行精確優(yōu)化而快速準確地給出最優(yōu)燃料消耗或者最優(yōu)轉移時間？該問題對小推力轉移尤其重要，因為小推力軌跡的優(yōu)化過程較為耗時.Edelbaum[57]早在1961年就研究過航天器軌道轉移所需要的最優(yōu)速度增量，給出了用初末軌道狀態(tài)差表示的速度增量表達式.但是Edelbaum所研究的軌道轉移是多圈轉移，其速度增量公式推導是以一個軌道周期為基本單位，將不足整數圈的部分忽略.但是在深空探測任務中，圈數非常多的小推力轉移是不現實的，更接近實際情況的是非整數圈轉移.針對該問題，Casalino[58]基于Edelbaum的方法研究了共面小偏心率軌道轉移的最優(yōu)速度增量估計公式，Gatto[59]又在其基礎上進一步研究了非共面軌道轉移的情況.在他們的方法中，最優(yōu)速度增量需要通過求解方程得到，而且對于交會問題還需要添加較為復雜的修正項.機器學習由于其處理數據關聯上的優(yōu)勢，對于該問題非常適用.Hennes等[60]以及Mereta等[61]使用機器學習方法預測燃料最優(yōu)小推力問題的剩余質量，使用了多種機器學習方法比如回歸森林和決策樹等，預測精度遠優(yōu)于雙脈沖近似.對于脈沖轉移問題，Shang等[62,63]使用高斯過程回歸方法預測地球到主帶小行星轉移的最優(yōu)速度增量，同樣是為了解決大量計算下精確優(yōu)化速度太慢的問題.Zhu[64,65]以及Li[66]等使用深度神經網絡預測小推力時間最優(yōu)問題、小推力燃料最優(yōu)問題以及多脈沖速度增量最優(yōu)問題，預測精度高達99%.此外，機器學習還可以用在進化計算優(yōu)化轉移軌跡的過程中，用來預測目標函數[67]或者提供初值[68].

3.2 實時最優(yōu)控制

實時最優(yōu)控制也是軌跡優(yōu)化的一個重要領域，近年來隨著神經網絡相關研究的進展，軌跡優(yōu)化領域基于神經網絡的實時最優(yōu)控制也有著較多研究，一般通過大量的數據訓練來進行，如圖3所示.Sánchez等[69]針對著陸問題系統地研究了基于神經網絡的實時最優(yōu)控制.在他們的研究中，首先需要通過優(yōu)化生成大量的狀態(tài)-控制對數據，然后使用生成的數據訓練神經網絡，訓練完成后，每當給神經網絡一個當前的狀態(tài)，神經網絡都應當給出接近最優(yōu)的控制律.為了提高神經網絡控制深空小推力軌跡的末端精度.Cheng等[70]設計了兩個神經網絡分別進行大范圍轉移段控制和末端精確控制.此外，對于小天體著陸問題，Cheng等訓練了神經網絡學習小天體的不規(guī)則引力場并進行了小天體著陸控制[71,72]，還訓練了神經網絡學習小天體著陸軌跡間接法的協態(tài)初值[73].Furfaro等[74]使用循環(huán)神經網絡設計著陸控制器.上述神經網絡控制的輸入為位置速度等狀態(tài)信息，但是在實際情況中精確的位置速度可能不易獲得，Furfaro等[75]設計了直接輸入著陸圖像的神經網絡控制器，使用卷積神經網絡以及循環(huán)神經網絡處理序列的圖像信息從而給出最優(yōu)控制律.

圖3 小行星著陸神經網絡控制軌跡[76]Fig.3 Asteroid landing trajectories using neural network control

強化學習方法在轉移軌跡優(yōu)化領域也有應用.Dachwald[76]在2004年就使用強化學習進行了太陽帆軌跡優(yōu)化，用遺傳算法訓練單層神經網絡作為最優(yōu)控制器.Dachwald使用強化學習的目的是為了避免優(yōu)化陷入局部最優(yōu)解，從而找到全局最優(yōu)解[77].在實時控制方面，Gaudet和Furfaro[78]使用強化學習訓練了小天體附近懸?？刂破?，Willis等[79]又在此基礎上將精度提高了一個量級.針對著陸問題，Gaudet等[80]使用強化學習訓練了六自由度的神經網絡控制器，Cheng等[81]使用強化學習訓練神經網絡預測著陸軌跡間接法的協態(tài)初值.

機器學習方法本質是對數據的處理，因而該方法在處理最優(yōu)指標預測等方面可以獲得大量數據的問題上具有明顯優(yōu)勢，但是對于航天中面臨的更多未知、小樣本的新問題如何應用，仍是值得深入研究的內容.

4 探測序列優(yōu)化智能方法

探測序列優(yōu)化是多目標空間探測軌跡優(yōu)化的核心問題，也是GTOC中最為常見的問題，如圖4中的木衛(wèi)巡游探測任務.探測序列優(yōu)化是一個組合優(yōu)化問題，若考慮時間因素則為離散-連續(xù)變量的組合優(yōu)化問題，離散變量為目標的選取以及排序等，連續(xù)變量為與目標飛越或者交會的時刻等.由于解空間巨大，探測序列優(yōu)化是一個極其復雜的優(yōu)化問題，研究中多用智能方法進行優(yōu)化.探測序列優(yōu)化主要包含多引力輔助序列優(yōu)化，多目標小天體探測序列優(yōu)化，以及多目標在軌服務與空間碎片清除序列優(yōu)化.

圖4 木衛(wèi)巡游探測任務[94]Fig.4 Jovian moons tour

4.1 引力輔助序列優(yōu)化

多引力輔助序列優(yōu)化與1.2.3小節(jié)中關于多引力輔助問題的研究不同，這里引力輔助的序列也變?yōu)榱舜齼?yōu)化的離散變量，與引力輔助時刻等構成了離散-連續(xù)變量的組合優(yōu)化問題.華鵬[82]使用粒子群算法確定行星序列，再用遺傳算法求解小推力軌道.Ceriotti和Vasile[83]提出了一種基于蟻群算法的多引力輔助序列優(yōu)化算法，并與遺傳算法進行了比較.之后，Vasile等[84]又提出了一種新的生物啟發(fā)式算法——絨泡菌優(yōu)化算法，進行了多引力輔助序列優(yōu)化，仿真表明該算法只需進行少量的參數調試即可得到優(yōu)異的性能.Gad和Abdelkhalik[85]針對引力輔助次數無法提前確定的問題，提出了隱藏基因遺傳算法，將引力輔助次數也變?yōu)閮?yōu)化的結果，后來又將隱藏基因遺傳算法進行了改進[86].之后，二人又提出了可變種群大小的遺傳算法研究了類似的問題[87]，算法性能得到進一步提升.Englander等[88]使用遺傳算法優(yōu)化外層序列，使用粒子群結合差分進化優(yōu)化內層連續(xù)變量，通過在遺傳算法中使用空值的辦法優(yōu)化引力輔助次數.Englander等[89]繼續(xù)使用遺傳算法優(yōu)化外層序列的同時，在內層使用盆地跳法優(yōu)化小推力轉移問題.此外，Izzo等[90]使用了一種集束搜索的懶人樹搜索算法(Lazy-Race Tree Search)研究了木衛(wèi)系統探測問題.Hennes和Izzo[91]使用蒙特卡洛樹搜索重現了卡西尼任務，得到了原任務一樣的引力輔助序列和非常接近的時間線.

4.2 小天體探測序列優(yōu)化

4.3 在軌服務與空間碎片清除序列優(yōu)化

多目標在軌服務與空間碎片清除序列優(yōu)化問題也有著較多研究.與小天體探測相比，在軌服務與空間碎片清除會更多地考慮目標全部訪問的問題.樹搜索方法方面，相關研究主要有Barbee等[108]使用的級數搜索算法、Madakat等[109]使用的分支定界方法、Olympio和Frouvelle[110]使用的分支和剪枝策略，以及Bérend和Olive[111]使用的多優(yōu)化指標的分支定界算法等.由于在軌服務與空間碎片清除序列優(yōu)化問題與旅行商問題具有較高的相似度，因此在旅行商問題上表現優(yōu)異的進化計算類方法同樣適用于在軌服務與空間碎片清除問題.模擬退火算法[112,113]、遺傳算法[114,115]、倒置算子的遺傳算法[116]、混合編碼遺傳算法[117]、多目標遺傳算法[118]、多目標粒子群算法[119]等都被用來研究在軌服務與空間碎片清除序列優(yōu)化問題.還有學者提出了改進的進化計算類方法，如多主體協作搜索算法[120]以及絨泡菌優(yōu)化算法[121]等.蟻群算法在該問題中也有較多應用.Stuart[122]使用蟻群算法，優(yōu)化了多航天器多目標空間碎片清除問題.Shen等[123]也使用蟻群算法，同時借用攝動帶來的軌道面漂移.Petropoulos等[7]使用遺傳算法將蟻群算法得到的結果再次進行優(yōu)化，求解了第九屆國際空間軌道設計競賽的空間碎片清除問題，取得了第一名的成績.因此，充分利用各個算法的優(yōu)勢，如蟻群算法能夠快速構建較優(yōu)的可行解，以及遺傳算法能夠在已有解的基礎上進一步優(yōu)化，將是求解優(yōu)化問題的一個重要思路.

5 結論

本文針對多目標空間探測軌跡優(yōu)化問題，對轉移軌跡優(yōu)化和探測序列優(yōu)化兩個部分的智能方法進行了綜述.轉移軌跡優(yōu)化中智能方法有著大量的應用，相比于其他優(yōu)化方法(間接法等)，智能方法的優(yōu)勢在于其不需要梯度信息，而且全局性較好，同時應對復雜約束的能力較強.在轉移軌跡快速評估方面，已有解析的方法，由于其在為了解析而做的簡化過程中會丟失部分信息，導致其精度存在瓶頸，因此智能方法會是一個突破口.未來的研究可以考慮將動力學性質與智能方法相結合，比如將解析推導與訓練神經網絡結合，使神經網絡學習到軌道轉移問題中的本質規(guī)律，而不只是數據的映射關系，再將其應用如轉移軌跡快速評估等航天動力學的問題中.探測序列優(yōu)化中，樹搜索算法的優(yōu)點在于其可以構建一個龐大的搜索樹，進化計算的優(yōu)點在于其全局反饋機制可以減少貪婪的情況，同時其隨機性使得進化計算具有更好的全局性，二者的結合將有望進一步提升全局優(yōu)化算法的性能.對于實時優(yōu)化問題，轉移軌跡實時優(yōu)化已有相關研究，但是面對復雜約束未知環(huán)境等的實時優(yōu)化仍是難點，而探測序列實時優(yōu)化研究較為空白，設想未來可能存在大量航天器同時進行多目標探測任務(大量航天器進行空間碎片清除或者小行星采礦)，探測序列實時優(yōu)化將是一個充滿挑戰(zhàn)的研究方向.