基于貝葉斯超參數(shù)優(yōu)化的Gradient Boosting方法的導(dǎo)彈氣動(dòng)特性預(yù)測

崔榕峰 馬海 郭承鵬 李鴻巖 劉哲

摘 要：在導(dǎo)彈設(shè)計(jì)與研發(fā)的初期階段，需要尋求高效且低成本的導(dǎo)彈氣動(dòng)力特性的分析方法。然而，氣動(dòng)性能分析過程中往往存在試驗(yàn)成本高、周期長、局限性大等問題。因此，本文采用基于提升（Boosting）的機(jī)器學(xué)習(xí)集成算法進(jìn)行導(dǎo)彈氣動(dòng)特性預(yù)測，通過輸入導(dǎo)彈的氣動(dòng)外形參數(shù)、馬赫數(shù)和迎角，對(duì)于導(dǎo)彈氣動(dòng)力系數(shù)實(shí)現(xiàn)快速預(yù)測。結(jié)果表明，Boosting能夠?qū)?dǎo)彈氣動(dòng)力系數(shù)進(jìn)行精準(zhǔn)高效預(yù)測。為進(jìn)一步提升預(yù)測精度，與傳統(tǒng)的機(jī)器學(xué)習(xí)參數(shù)調(diào)整方法相比，采用貝葉斯優(yōu)化方法對(duì)梯度提升（Gradient Boosting）算法超參數(shù)進(jìn)行優(yōu)化，調(diào)優(yōu)后的Gradient Boosting方法預(yù)測的導(dǎo)彈氣動(dòng)力系數(shù)與實(shí)際值吻合度得到提升，并將貝葉斯優(yōu)化的Gradient Boosting方法與XGBoost、LightGBM、Adaboost方法進(jìn)行了對(duì)比，貝葉斯優(yōu)化的Gradient Boosting方法預(yù)測精度優(yōu)于其他Boosting方法，證明了優(yōu)化方法的可行性與有效性。

關(guān)鍵詞：導(dǎo)彈； 氣動(dòng)特性； Boosting； Gradient Boosting； 貝葉斯優(yōu)化

中圖分類號(hào)：V211.3 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.19452/j.issn1007-5453.2023.07.003

在導(dǎo)彈氣動(dòng)外形方案設(shè)計(jì)階段，氣動(dòng)性能分析是重要的組成部分，通常會(huì)根據(jù)戰(zhàn)術(shù)指標(biāo)要求提出若干總體布局方案，并對(duì)各種方案進(jìn)行評(píng)估，同時(shí)還需要開展一些參數(shù)優(yōu)化，以確定幾個(gè)優(yōu)化方案。傳統(tǒng)的導(dǎo)彈氣動(dòng)性能參數(shù)獲取主要通過飛行試驗(yàn)方法、計(jì)算流體力學(xué)（CFD）方法和風(fēng)洞試驗(yàn)方法[1-2]。飛行試驗(yàn)和風(fēng)洞試驗(yàn)都存在成本高、周期長、存在局限性等問題，所以在導(dǎo)彈設(shè)計(jì)的初步階段不適宜使用，而CFD方法不可避免地存在計(jì)算復(fù)雜、計(jì)算代價(jià)高等問題[3-5]。

近年來，基于機(jī)器學(xué)習(xí)方法預(yù)測分析導(dǎo)彈的氣動(dòng)特性研究取得了一些突破性進(jìn)展。文獻(xiàn)[6]提出了一種基于神經(jīng)網(wǎng)絡(luò)的思維進(jìn)化算法，該方法對(duì)于導(dǎo)彈氣動(dòng)參數(shù)的預(yù)測具有明顯的優(yōu)化效果。文獻(xiàn)[7]提出了一種基于自動(dòng)核構(gòu)造高斯過程，對(duì)某導(dǎo)彈氣動(dòng)特性快速預(yù)測具有良好的性能。文獻(xiàn)[8]、[9]分別使用人工神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)對(duì)導(dǎo)彈的氣動(dòng)參數(shù)及氣動(dòng)外形進(jìn)行預(yù)測分析，試驗(yàn)結(jié)果也驗(yàn)證了其可行性。但目前提出的機(jī)器方法中，可能存在對(duì)于決策者的可解釋性較差、數(shù)據(jù)預(yù)處理過于復(fù)雜、預(yù)測結(jié)果過度擬和等問題。

本文采用一種基于提升（Boosting）方法中的梯度提升（Gradient Boosting）算法進(jìn)行導(dǎo)彈氣動(dòng)特性預(yù)測。近年來，Boosting方法作為機(jī)器學(xué)習(xí)中的一種集成方法被廣泛應(yīng)用于解決不同的分類與回歸問題，并取得了突破性的進(jìn)展[10]。在氣動(dòng)特性分析方面，與傳統(tǒng)的物理試驗(yàn)、數(shù)值仿真方法相比，Boosting方法因其快速且低損耗的預(yù)測優(yōu)勢，能夠縮減分析的時(shí)間與經(jīng)濟(jì)成本。同時(shí)，與其他機(jī)器學(xué)習(xí)方法相比，Boosting方法通過其決策樹的特性，從根本上減少了模型過擬合等問題。從時(shí)間復(fù)雜度上來看，建立決策樹需要的時(shí)間成本較低，與支持向量機(jī)或神經(jīng)網(wǎng)絡(luò)等算法相比，Boosting算法在計(jì)算時(shí)間上更具有優(yōu)勢[11]。

本文通過使用某模擬器軟件，將某導(dǎo)彈幾何外形與飛行條件參數(shù)作為輸入，并計(jì)算其對(duì)應(yīng)的氣動(dòng)力系數(shù)。應(yīng)用基于回歸樹的Boosting方法來驗(yàn)證模型方法對(duì)于導(dǎo)彈氣動(dòng)力系數(shù)預(yù)測的可行性和有效性，并通過貝葉斯優(yōu)化方法對(duì)于Boosting算法中的Gradient Boosting方法進(jìn)行優(yōu)化處理，并比較優(yōu)化前后的效果。

1 Boosting方法

Boosting方法是一種基于集成學(xué)習(xí)的機(jī)器學(xué)習(xí)技術(shù)。集成學(xué)習(xí)算法是指通過一系列弱學(xué)習(xí)器組合成一個(gè)強(qiáng)學(xué)習(xí)器，從而可以達(dá)到最小化預(yù)測誤差的目的。Boosting方法則以基于決策樹的集成方法為核心，進(jìn)行逐步增強(qiáng)的集成訓(xùn)練，通過不斷建立新的決策樹糾正先前決策樹模型中存在的錯(cuò)誤，直到精準(zhǔn)預(yù)測訓(xùn)練數(shù)據(jù)集或者添加的決策樹或回歸樹的數(shù)量達(dá)到了最大限度[11]。Boosting方法因描述和繪制決策樹相對(duì)容易，所以其可解釋性有助于決策者進(jìn)行可視化和理解。除此之外，基于樹的集成方法可以處理不同類型和分布的預(yù)測變量，需要很少的數(shù)據(jù)預(yù)處理，并且可以擬合復(fù)雜的非線性關(guān)系。同時(shí)，如果數(shù)據(jù)出現(xiàn)多重共線性的特征，不需要對(duì)數(shù)據(jù)進(jìn)行特征篩選從而減少變量之間的相關(guān)性[12]，并且Boosting方法具有非參數(shù)特點(diǎn)，可以不假定數(shù)據(jù)遵循特定的分布，從而節(jié)約數(shù)據(jù)轉(zhuǎn)換為正態(tài)分布的時(shí)間成本。另外，Boosting方法對(duì)過擬合具有魯棒性，其應(yīng)用存在高偏差的多個(gè)弱學(xué)習(xí)器，并將其組合成一個(gè)強(qiáng)學(xué)習(xí)器，所以從根本上減少了模型過擬合的問題[12]。

1.1 Gradient Boosting回歸樹方法

Gradient Boosting作為一種機(jī)器學(xué)習(xí)的算法，通過以弱學(xué)習(xí)模型不斷集合的形式產(chǎn)生最終的強(qiáng)學(xué)習(xí)模型。當(dāng)弱學(xué)習(xí)模型是回歸樹時(shí)，其被稱為Gradient Boosting回歸樹方法。Gradient Boosting決策樹方法采用構(gòu)建淺層樹，并且隨后生成的每一棵樹都在前一棵樹的基礎(chǔ)上學(xué)習(xí)和改進(jìn)。雖然每組淺層樹的預(yù)測效果一般，但是通過每組淺層樹之間不斷的梯度增強(qiáng)，最終形成的基于多組淺層樹的組合會(huì)得出有效的預(yù)測結(jié)果[16]。

Gradient Boosting回歸樹算法主要分成三個(gè)步驟：（1）確定優(yōu)化的損失函數(shù)并生成初始值；（2）建立單個(gè)回歸樹進(jìn)行預(yù)測分析；（3）通過循環(huán)添加新的回歸樹以最小化損失函數(shù)，最終得出一個(gè)疊合模型[13]。具體步驟為：

（3）為了最終能獲得最優(yōu)的模型性能，對(duì)第（2）步進(jìn)行K次迭代，從而將K個(gè)回歸樹逐步添加到組合模型中[14]。

Gradient Boosting回歸樹算法因以回歸樹作為基礎(chǔ)估計(jì)器，具備了回歸樹的優(yōu)點(diǎn)。首先，模型對(duì)于數(shù)據(jù)缺失值敏感度非常低，無須進(jìn)行數(shù)據(jù)填補(bǔ)工作。其次，因其具有非參數(shù)化的特征，無須進(jìn)行數(shù)據(jù)預(yù)處理的工作，如對(duì)于特征進(jìn)行標(biāo)準(zhǔn)化或歸一化處理。最后，回歸樹可以非常靈活地處理不同函數(shù)分布的數(shù)據(jù)。同時(shí)，回歸樹也具有很明顯的缺點(diǎn)，其中最大的問題則是模型易出現(xiàn)過度擬合，而Gradient Boosting與回歸樹算法結(jié)合所產(chǎn)生的集成方法則解決了此類問題，這是因?yàn)镚radient Boosting回歸樹算法采用的都是復(fù)雜程度相對(duì)較低的回歸樹（弱學(xué)習(xí)器），所得到的結(jié)果方差較小，通過梯度提升生成的疊合模型很有效地解決了結(jié)果過擬合的問題[15]。

1.2 其他的Boosting方法

除Gradient Boosting回歸樹算法外，基于Boosting的集成方法的算法也在其他方向有所進(jìn)展。其中自適應(yīng)提升（Adaboost）作為一種迭代提升的集成方法，同時(shí)被廣泛應(yīng)用。Adaboost與Gradient Boosting 的主要區(qū)別是基于不同的角度對(duì)上一輪迭代所產(chǎn)生的訓(xùn)練錯(cuò)誤進(jìn)行調(diào)整。Adaboost是根據(jù)當(dāng)前迭代中的實(shí)際結(jié)果調(diào)整權(quán)重，目的是在下一輪的模型訓(xùn)練和學(xué)習(xí)中，給予訓(xùn)練中產(chǎn)生的錯(cuò)誤數(shù)據(jù)更多關(guān)注，所以算法需要不斷對(duì)數(shù)據(jù)重新加權(quán)得到最終的聚合權(quán)重[16]。

另外，作為基于Gradient Boosting的二次開發(fā)算法，極端梯度提升算法（XGBoost）和輕量級(jí)梯度提升機(jī)（LightGBM）同樣展示出了高效的性能。XGBoost在損失函數(shù)上進(jìn)行了二階泰勒展開、引入了目標(biāo)函數(shù)的正則項(xiàng)等一系列改進(jìn)，在訓(xùn)練速度和精度上都有很大的提升[17]。而LightGBM則采用更優(yōu)的leaf-wise方法分裂葉子節(jié)點(diǎn)，與其他用于Boosting算法中的分裂算法depth-wise或level-wise進(jìn)行比較，leaf-wise可以在損失函數(shù)上降低更多且運(yùn)行速度更快[18]。

2 貝葉斯優(yōu)化方法

在機(jī)器學(xué)習(xí)中，超參數(shù)優(yōu)化可以使模型本身發(fā)揮出最佳的性能，所以對(duì)于機(jī)器學(xué)習(xí)算法進(jìn)行超參數(shù)優(yōu)化是必要的。然而，由于大量的超參數(shù)和復(fù)雜的模型，如集成方法或深度神經(jīng)網(wǎng)絡(luò)方法，超參數(shù)優(yōu)化在評(píng)估目標(biāo)函數(shù)以找到最優(yōu)解的過程中存在時(shí)間成本非常高的問題。到目前為止，網(wǎng)格搜索與隨機(jī)搜索常被用于解決超參數(shù)選取和優(yōu)化的問題[19]。其中，網(wǎng)格搜索是指通過一組手動(dòng)指定的超參數(shù)值進(jìn)行的窮舉搜索法，也稱暴力搜索法；而隨機(jī)搜索舍棄了暴力搜索的方法，尋找網(wǎng)格空間來選取隨機(jī)的參數(shù)組合。然而，這些方法都無法保證能獲取到超參數(shù)的最優(yōu)解且相對(duì)低效，通常會(huì)浪費(fèi)大量時(shí)間評(píng)估比較差的超參數(shù)[20]。

與隨機(jī)搜索或網(wǎng)格搜索相比，貝葉斯方法則擁有跟蹤過去評(píng)估結(jié)果的特點(diǎn)，將超參數(shù)映射到目標(biāo)函數(shù)形成一種概率模型，這種模型也被稱為目標(biāo)函數(shù)的代理模型[21]。與目標(biāo)函數(shù)相比，代理模型更容易進(jìn)行優(yōu)化。貝葉斯方法通過選擇在代理模型上表現(xiàn)出最佳的超參數(shù)，以此來評(píng)估實(shí)際目標(biāo)函數(shù)，接下來不斷更新代理模型，得出新的超參數(shù)結(jié)果，再次評(píng)估目標(biāo)函數(shù)，直到達(dá)到最大的迭代次數(shù)方才停止。貝葉斯方法的主要核心是通過在每次評(píng)估目標(biāo)函數(shù)后不斷更新代理模型，使其獲取到的數(shù)據(jù)誤差最小化[22]。整體上來看，貝葉斯優(yōu)化方法是有效的，其使用更多的時(shí)間在代理函數(shù)中選擇超參數(shù)，以減少對(duì)目標(biāo)函數(shù)的調(diào)用，并且通過評(píng)估過去結(jié)果中性能更好的超參數(shù)，可以在更少的迭代中找到比隨機(jī)搜索和網(wǎng)格搜索更優(yōu)的模型超參數(shù)設(shè)置。

綜上所述，假設(shè)F為目標(biāo)函數(shù)，S為超參數(shù)的搜索范圍、 s為選擇的超參數(shù)組合、K為采集函數(shù)、P為代理模型，Data表示采樣的數(shù)據(jù)集、 j為最大迭代次數(shù)，貝葉斯優(yōu)化的偽代碼流程可以表示為

3 試驗(yàn)流程與結(jié)果分析

3.1 數(shù)據(jù)集生成

本文采用某軟件對(duì)于輸入的某導(dǎo)彈參數(shù)與氣動(dòng)參數(shù)進(jìn)行升力、阻力系數(shù)生成，生成的導(dǎo)彈幾何外形如圖1所示，本文涉及的導(dǎo)彈幾何參數(shù)有彈翼軸向位置、彈翼展長、彈翼根弦長、十字舵展長、十字舵根弦長、十字舵梢弦長，氣動(dòng)參數(shù)有馬赫數(shù)、迎角。每種導(dǎo)彈參數(shù)在±10%的取值范圍內(nèi)波動(dòng)，并通過隨機(jī)生成的方式形成導(dǎo)彈參數(shù)數(shù)據(jù)。每組導(dǎo)彈幾何參數(shù)（共6個(gè)）在不同的來流工況 Ma = {0.5， 0.8， 1.2， 2.5， 3.5}、α = {0， 4.0， 8.0， 12.0， 16.0， 20.0， 24.0， 28.0} 組合下，共生成40個(gè)對(duì)應(yīng)的氣動(dòng)力系數(shù)。本文如上所述共產(chǎn)生185組不同的導(dǎo)彈幾何構(gòu)型，共生成7400個(gè)氣動(dòng)力系數(shù)。

3.2 試驗(yàn)流程介紹

本文的試驗(yàn)流程主要分為兩個(gè)部分：第一部分為論證Boosting方法對(duì)于導(dǎo)彈氣動(dòng)力系數(shù)預(yù)測的可行性和有效性，其中涉及的Boosting方法有：Gradient Boosting、XGBoost、LightGBM和Adaboost方法。第二部分是對(duì)Gradient Boosting方法進(jìn)行貝葉斯優(yōu)化，比較優(yōu)化前后的精準(zhǔn)度與擬和度的差異變化。試驗(yàn)使用交叉檢驗(yàn)方法將部分訓(xùn)練集作為檢驗(yàn)集進(jìn)行結(jié)果驗(yàn)證，訓(xùn)練集與測試集的比例為8∶2。本文提出的Boosting和貝葉斯優(yōu)化算法均基于Python 3.10開發(fā)環(huán)境開展，其中Gradient Boosting和Adaboost方法使用的是sklearn工具包，XGBoost和LightGBM分別使用的是xgboost和lightgbm工具包。

在貝葉斯優(yōu)化中，對(duì)XGBoost和LightGBM進(jìn)行初步優(yōu)化測試，其效果并不理想，優(yōu)化后的結(jié)果的精準(zhǔn)度無法超過其默認(rèn)設(shè)置。而Adaboost方法本身參數(shù)很少，優(yōu)化方法并不適用，最終選擇Gradient Boosting方法進(jìn)行貝葉斯優(yōu)化。優(yōu)化下的Gradient Boosting參數(shù)選取中，本次試驗(yàn)選擇了learning_rate、n_estimators、min_samples_split和max_depth共4種參數(shù)。其中，learning_rate表示學(xué)習(xí)率，其控制著每個(gè)回歸樹的貢獻(xiàn)度，本次試驗(yàn)學(xué)習(xí)率的取值范圍為0.1～1；n_estimators表示最終聚合模型的回歸樹數(shù)量，本次試驗(yàn)學(xué)習(xí)率的取值范圍為50～500；min_samples_split表示拆分每個(gè)回歸樹中內(nèi)部節(jié)點(diǎn)所需的最小樣本數(shù)，本次試驗(yàn)設(shè)計(jì)的取值范圍為2～5；max_depth表示每個(gè)回歸樹的最大深度，其控制著樹中的節(jié)點(diǎn)數(shù)，本次試驗(yàn)設(shè)計(jì)的取值范圍為1～5。試驗(yàn)共進(jìn)行100次迭代，通過貝葉斯優(yōu)化算法選取出在取值范圍內(nèi)最優(yōu)的超參數(shù)組合。

3.3 試驗(yàn)結(jié)果分析

從表1中Boosting方法預(yù)測升力系數(shù)的比較結(jié)果可知，如果暫時(shí)不計(jì)入Gradient Boosting優(yōu)化后的結(jié)果，XGBoost和LightGBM的預(yù)測結(jié)果精準(zhǔn)度良好，其次是Gradient Boosting，其精準(zhǔn)度的結(jié)果與前兩者相比略顯下降，最后是Adaboost，與其他三種方法相比，其各項(xiàng)指標(biāo)有所不足?？傮w來看，在Gradient Boosting方法優(yōu)化前，XGBoost與LightGBM對(duì)于導(dǎo)彈升力系數(shù)的預(yù)測效果顯著。

通過對(duì)Gradient Boosting進(jìn)行貝葉斯優(yōu)化，最終優(yōu)化選取的參數(shù)組合為（learning_rate = 0.19838，max_depth = 4，n_estimators = 499，min_samples_split = 4）。從表1中結(jié)果來看，Gradient Boosting模型方法與優(yōu)化前相比，在精準(zhǔn)度上有所提高，這說明貝葉斯優(yōu)化方法對(duì)于Gradient Boosting的性能提升有所幫助。同時(shí)通過對(duì)比發(fā)現(xiàn)，優(yōu)化后的Gradient Boosting在精準(zhǔn)度上均優(yōu)于其他Boosting方法，可見其優(yōu)化效果是可觀的。

從表2中Boosting方法預(yù)測阻力系數(shù)的比較結(jié)果能夠得出與表1中相同的結(jié)論。對(duì)于阻力系數(shù)，貝葉斯優(yōu)化下的Gradient Boosting最終選取的參數(shù)組合為（learning_rate= 0.09276，max_depth=4，n_estimators=475，min_samples_split =3），Gradient Boosting采用優(yōu)化得出的超參數(shù)組合后，與其他Boosting方法相比，對(duì)阻力系數(shù)的預(yù)測在精準(zhǔn)度方面展現(xiàn)出了最佳的性能。最后，通過對(duì)表1和表2進(jìn)行比較得出，Boosting方法對(duì)于阻力系數(shù)預(yù)測結(jié)果的精準(zhǔn)度與其升力系數(shù)相比，阻力系數(shù)的精準(zhǔn)度結(jié)果略好一些。

圖2與圖3分別展示出了Gradient Boosting優(yōu)化前后對(duì)于升力和阻力系數(shù)的預(yù)測擬和結(jié)果，圖中黑色虛線代表的是對(duì)角線，越靠近對(duì)角線的點(diǎn)，說明擬和程度越好。從圖2中能夠得出，無論是升力還是阻力系數(shù)分析，均可以觀察到模型優(yōu)化后擬和度有所提升。這可以說明貝葉斯優(yōu)化方法對(duì)于Gradient Boosting方法的優(yōu)化效果是顯著的。

圖4和圖5分別展示了在貝葉斯優(yōu)化方法前后，Gradient Boosting方法對(duì)于升力系數(shù)CL和阻力系數(shù)CD的預(yù)測結(jié)果的誤差直方圖，從圖中可以看出，無論是對(duì)于CL還是CD，貝葉斯優(yōu)化與Gradient Boosting方法結(jié)合后使誤差的范圍明顯縮小，其誤差結(jié)果更加趨近于零。另外，通過觀察優(yōu)化前后的誤差分布情況，貝葉斯優(yōu)化前后的誤差都近似于正態(tài)分布，這說明貝葉斯優(yōu)化與Gradient Boosting方法對(duì)于CL與CD的預(yù)測結(jié)果是有效的。

4 結(jié)論

針對(duì)風(fēng)洞試驗(yàn)方法和CFD方法對(duì)于導(dǎo)彈的氣動(dòng)力特性分析存在很多局限性問題，本文采用基于機(jī)器學(xué)習(xí)中多種Boosting集成學(xué)習(xí)算法與貝葉斯優(yōu)化方法對(duì)導(dǎo)彈氣動(dòng)數(shù)據(jù)進(jìn)行預(yù)測分析，得到的結(jié)論如下：

（1）通過比較Boosting方法中Gradient Boosting、XGBoost、LightGBM和Adaboost方法，試驗(yàn)結(jié)果表明XGBoost和LightGBM有著良好的準(zhǔn)確度。同時(shí)， Gradient Boosting在未優(yōu)化前的性能雖略差于前兩者，但也表現(xiàn)出了較高的精準(zhǔn)度和擬和程度。

（2）基于貝葉斯優(yōu)化下的Gradient Boosting方法與其他Boosting方法相比，可以得出采用貝葉斯優(yōu)化的Gradient Boosting方法表現(xiàn)出了最佳的性能，不僅在精準(zhǔn)度上達(dá)到最優(yōu)，而且擬合度也發(fā)生顯著的提升。這說明貝葉斯優(yōu)化方法對(duì)于模型性能的提升是有效的。

（3）目前數(shù)據(jù)集中考慮到的幾何參數(shù)有限，后續(xù)計(jì)劃增加構(gòu)型的數(shù)量進(jìn)一步增加樣本總量與樣本維度，探究Gradient Boosting貝葉斯優(yōu)化算法的極限適用范圍，并進(jìn)行貝葉斯優(yōu)化算法中高斯過程的算法改進(jìn)，從而提升預(yù)測的精準(zhǔn)度。

參考文獻(xiàn)

[1]Sun J， Cummings R M. Evaluation of missile aerodynamic characteristics using rapid prediction techniques[J]. Journal of Spacecraft and Rockets， 1984， 21（6）： 513-520.

[2]呂國鑫.飛航導(dǎo)彈氣動(dòng)設(shè)計(jì)[M].北京：中國宇航出版社，1989. Lyu Guoxin. Aerodynamic design of cruise missile [M]. Beijing： China Aerospace Press， 1989.（in Chinese）

[3]Yue Chunguo， Chang Xinlong， Zhang Youhong， et al. Numerical calculation of a missile’s aerodynamic characteristic[J]. Advanced Materials Research， 2011， 186： 220-224.

[4]Zhang Jian， Yang Lin， Zhang Wei， et al. Numerical simulation and experimental study for aerodynamic characteristics and powder transport behavior of novel nozzle[J]. Optics and Lasers in Engineering， 2020， 126： 105873.

[5]丘淦興. 利用飛行試驗(yàn)數(shù)據(jù)校驗(yàn)導(dǎo)彈氣動(dòng)參數(shù)[J]. 航天控制，1997（2） ： 1-5. Qiu Ganxing. Verification of aerodynamic parameters of missile using flight test data [J]. Aerospace Control， 1997（2） ： 1-5. （in Chinese）

[6]原智杰，張公平，崔茅，等.基于神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈氣動(dòng)參數(shù)預(yù)測[J].航空兵器，2020，27（5）：28-32. Yuan Zhijie， Zhang Gongping， Cui Mao， et al. Prediction of missile aerodynamic parameters based on neural network [J]. Aviation Weapons， 2020， 27 （5）： 28-32.（in Chinese）

[7]胡偉杰，黃增輝，劉學(xué)軍，等.基于自動(dòng)核構(gòu)造高斯過程的導(dǎo)彈氣動(dòng)性能預(yù)測[J].航空學(xué)報(bào)，2021，42（4）：289-302. Hu Weijie， Huang Zenghui， Liu Xuejun， et al. Prediction of aerodynamic performance of missiles based on automatic kernel construction Gaussian process [J]. Journal of Aeronautics， 2021，42（4）： 289-302. （in Chinese）

[8]Balla K， Sevilla R， Hassan O， et al. An application of neural networks to the prediction of aerodynamic coefficients of aerofoils and wings[J]. Applied Mathematical Modelling， 2021， 96： 456-479.

[9]Zan Bowen， Han Zhonghua， Xu Chenzhou， et al. Highdimensional aerodynamic data modeling using machine learning method based on convolutional neural network [J]. Advances in Aerodynamics， 2022， 4（1）： 1-31.

[10]Duffy N， Helmbold D. Boosting methods for regression[J]. Machine Learning， 2002， 47： 153-200.

[11]Elith J， Leathwick J， Hastie T. A working guide. to boosted regression trees[J]. Journal of Animal Ecology， 2008， 77（4）： 802-813.

[12]Zhang Y， Haghani A. A gradient boosting method to improve travel time prediction[J]. Transportation Research Part C： Emerging Technologies， 2015， 58： 308-324.

[13]Bentéjac C， Cs？rg？ A， Martínez-Mu？oz G. A comparative analysis of gradient boosting algorithms[J]. Artificial Intelligence Review， 2021， 54（3）： 1937-1967.

[14]Natekin A， Knoll A. Gradient boosting machines， a tutorial[J]. Frontiers in Neurorobotics， 2013， 7： 21.

[15]Bentéjac C， Cs？rg？ A， Martínez-Mu？oz G. A comparative anal‐ysis of gradient boosting algorithms[J]. Artificial Intelligence Review， 2021， 54： 1937-1967.

[16]Schapire R E. Explaining adaboost[M]. Berlin： Springer， 2013.

[17]Chen T， Guestrin C. Xgboost： A scalable tree boosting system[C]//Proceedings of the 22nd Acmsigkdd International Confer‐ence on Knowledge Discovery and Data Mining， 2016： 785-794.

[18]Ke G， Meng Q， Finley T， et al. Lightgbm： A highly efficient gradient boosting decision tree[J]. Advances in Neural Information Processing Systems， 2017， 30： 1-3.

[19]Buslim N， Rahmatullah I L， Setyawan B A， et al. Comparing Bitcoin’s prediction model using GRU， RNN， and LSTM by hyperparameter optimization grid search and random search[C].9th International Conference on Cyber and IT Service Management （CITSM）， 2021： 1-6.

[20]Victoria A H， Maragatham G. Automatic tuning of hyperparameters using Bayesian optimization[J]. Evolving Systems， 2021， 12（1）： 217-223.

[21]Snoek J， Larochelle H， Adams R P. Practical bayesian optimization of machine learning algorithms[J]. Advances in Neural Information Processing Systems， 2012， 25： 1-3.

[22]Pelikan M， Goldberg D E， Cantú-Paz E. BOA： The Bayesian optimization algorithm[C]//Proceedings of the Genetic and Evolutionary Computation Conference，1999.

[23]Ozaki Y， Tanigaki Y， Watanabe S， et al. Multiobjective treestructured parzen estimator for computationally expensive optimization problems[C]//Proceedings of the 2020 Genetic and Evolutionary Computation Conference， 2020： 533-541.

[24]Nguyen H P， Liu J， Zio E. A long-term prediction approach based on long short-term memory neural networks with automatic parameter optimization by Tree-structured Parzen Estimator and applied to time-series data of NPP steam generators[J]. Applied Soft Computing， 2020， 89： 106116.

Prediction of Missile Aerodynamic Data Based on Gradient Boosting under Bayesian Hyperparametric Optimization

Cui Rongfeng， Ma Hai， Guo Chengpeng， Li Hongyan， Liu Zhe

Aviation Key Laboratory of Science and Technology on Aerodynamics of High Speed and High Reynolds Number，AVIC Aerodynamics Research Institute， Shenyang 110034， China

Abstract： In the initial stage of missile design， the aerodynamic characteristics of missiles need to be quickly and preliminarily evaluated. When analyzing the aerodynamic performance of missiles， the traditional engineering method has the problem of high experiment costs and the long experiment period. Meanwhile， the CFD method is also difficult to calculate due to its complex calculation process， and the calculation cost is high. Therefore， this paper applys the method of missile aerodynamic data prediction based on several Boosting methods in machine learning. By inputting aerodynamic shape， mach number， and angle of attack data of the missile， the lift coefficient and drag coefficient are quickly predicted. The result shows that Boosting method can predict the aerodynamic coefficients of missiles accurately. In order to further improve the prediction accuracy， compared with other traditional hyperatameter selection methods， Bayesian Hyperparameter Optimization method as an automatic hyperatameter selection method is used to optimize the parameters of the Gradient Boosting algorithm， and it turns out that the predicted value is much closer to the actual value. Finally， the Gradient Boosting method under Bayesian Optimization is compared with XGBoost， LightGBM and Adaboost methods， and the Gradient Boosting method under Bayesian Optimization is more accurate than other Boosting methods， which proves the feasibility and effectiveness.

Key Words： missiles； aerodynamic characteristics； Boosting； Gradient Boosting； Bayesian optimization