DDPG方法在抖振約束下變彎度翼型/機翼設(shè)計的應(yīng) 用 研 究

周思歷, 孫 剛, 王 聰

(復(fù)旦大學(xué) 航空航天系, 上海 200433)

0 引 言

降低巡航阻力、提高巡航升阻比一直以來都是民用客機設(shè)計的重要指標[1]．傳統(tǒng)翼型常以50%燃油載荷對應(yīng)的升力系數(shù)為設(shè)計點進行設(shè)計[2-3]．但在其他燃油載荷下,翼型的升阻性能往往會下降明顯．相比于繼續(xù)優(yōu)化設(shè)計點獲得更好的50%燃油載荷附近的巡航性能,同步優(yōu)化其他燃油載荷下的非設(shè)計點無疑更能提升整段巡航的平均升阻性能,進而提升巡航的質(zhì)量和經(jīng)濟性[1]．

變彎度技術(shù)是近年來發(fā)展較快的一種減阻方式．通過后緣襟翼的偏轉(zhuǎn)實現(xiàn)翼型彎度的改變,在不同升力系數(shù)工況下獲得更低的巡航阻力[4]．如Kaul等[3]研究了5種不同的變彎度構(gòu)型與基礎(chǔ)翼型在-3°到10°迎角范圍下的升阻性能差異,其中4種構(gòu)型都表現(xiàn)出了優(yōu)于基礎(chǔ)翼型的性能．郭同彪等[5]以設(shè)計點單點優(yōu)化了兩種跨聲速翼型,再結(jié)合變彎度技術(shù)改善了非設(shè)計點的升阻性能．而變彎度技術(shù)還可與基礎(chǔ)翼型的優(yōu)化耦合,在基礎(chǔ)翼型設(shè)計階段納入變彎度技術(shù),通過基礎(chǔ)翼型的外形優(yōu)化和彎度搭配,同步提升了多升力系數(shù)工況的升阻性能．Niu等[4]以基礎(chǔ)翼型不同彎度下的最大升阻比作為評價指標來優(yōu)化翼型基礎(chǔ)外形,設(shè)計出各工況下通過彎度變化均可獲得較大升阻比的變彎度翼型．

而在民用客機設(shè)計中,比經(jīng)濟性要求更嚴格的是安全性．超臨界翼型設(shè)計的一個重要方面就是翼型的抖振特性．隨著飛行Mach數(shù)和迎角的增長,翼型上表面會產(chǎn)生激波誘導(dǎo)分離區(qū)域,激波與分離區(qū)相互作用,導(dǎo)致大范圍的激波自持振蕩,造成阻力激增與升力損失,甚至對翼面結(jié)構(gòu)造成影響和破壞,嚴重時還會引發(fā)飛機安全事故[6-7]．故在飛機設(shè)計階段就必須納入抖振特性的考慮,飛機巡航升阻性能的提升不能以抖振特性的減弱為代價．民用客機巡航也要求留有1.3g的抖振裕度,即在1.3g過載下仍具備正常飛行能力,不出現(xiàn)上述抖振現(xiàn)象[8]．

但精確抖振模擬的計算代價太大,直接代入優(yōu)化流程會導(dǎo)致難以接受的計算成本[9]．故尋常優(yōu)化設(shè)計中常以氣動參數(shù)曲線線性段偏移等方法[10-11]對抖振始發(fā)邊界進行判斷,但這也需計算出完整的氣動參數(shù)隨迎角變化的曲線,成倍增加優(yōu)化流程的計算量．故本文參考文獻[8],發(fā)展了一種描述翼型上表面流動分離的光滑連續(xù)函數(shù),基于抖振與流動分離的伴隨關(guān)系,通過對分離函數(shù)的限制,實現(xiàn)了抖振性能的約束．

而抖振約束下的變彎度翼型多升力系數(shù)工況優(yōu)化較為復(fù)雜,尋常基于梯度的優(yōu)化算法難以適用．而隨機方法如粒子群(PSO)、遺傳等群智能算法在設(shè)計空間內(nèi)“撒點式”的尋優(yōu)雖然常能找到合適的設(shè)計結(jié)果,但基于概率來選擇進化方向又導(dǎo)致了計算代價大、收斂速度慢、可能陷入局部最優(yōu)等缺點,在設(shè)計場景復(fù)雜、需要反復(fù)迭代的變彎度翼型優(yōu)化中,并不是合適的選擇．深度強化學(xué)習(xí)是近年來興起的熱點,在圖像處理[12-13]、自動駕駛[14-15]等領(lǐng)域已經(jīng)取得了較多研究成果,在翼型氣動優(yōu)化設(shè)計方面也有了一定的研究基礎(chǔ)[16-17]．不同于群智能算法“撒點式”逐漸收縮至最優(yōu)值附近的方式,深度強化學(xué)習(xí)是一類基于策略學(xué)習(xí)的機器算法,它通過與環(huán)境的不斷交互積累經(jīng)驗,從經(jīng)驗中逐漸學(xué)會回報最高的策略．而深度確定性策略梯度(DDPG)方法作為深度強化學(xué)習(xí)的經(jīng)典算法,具有以神經(jīng)網(wǎng)絡(luò)精確近似值函數(shù)、以經(jīng)驗緩沖離散樣本相關(guān)性、以目標網(wǎng)絡(luò)與現(xiàn)實網(wǎng)絡(luò)相結(jié)合提升訓(xùn)練穩(wěn)定性等特點,在高維連續(xù)動作任務(wù)中表現(xiàn)出了良好的性能,在氣動設(shè)計領(lǐng)域得到了一定程度的應(yīng)用．如Yan等[18]以升阻力系數(shù)為目標提出了一種基于DDPG的導(dǎo)彈氣動外形優(yōu)化方法,成功地設(shè)計出性能良好的導(dǎo)彈外形．Qin等[19]以總壓損失系數(shù)、吸力面相對層流面積等構(gòu)建DDPG回報函數(shù),實現(xiàn)了對壓氣機葉柵葉型的迭代修型,設(shè)計出降低3.59%總壓損失系數(shù)、提高25.4%吸力面相對層流面積的良好葉柵葉型．

本文將DDPG方法應(yīng)用于抖振約束下的變彎度翼型設(shè)計．首先,基于CFD數(shù)值計算樣本庫搭建了人工神經(jīng)網(wǎng)絡(luò)(ANN)代理模型,再結(jié)合變彎度技術(shù)構(gòu)建變彎度翼型優(yōu)化模型,添加幾何外形約束和分離函數(shù)約束,并以DDPG方法對此模型進行修型優(yōu)化,利用模型給出的氣動參數(shù)反饋,學(xué)習(xí)修型經(jīng)驗,完善修型策略,實現(xiàn)了翼型優(yōu)化設(shè)計．然后,與PSO和改進灰狼(GWO)兩種群智能算法對此模型的優(yōu)化結(jié)果進行比較,驗證了本文DDPG方法的良好性能．最后,以此變彎度模型和DDPG方法實現(xiàn)了某機翼截面翼型的變彎度優(yōu)化,并生成錐形后掠翼驗證翼型變彎度優(yōu)化對三維機翼的貢獻．本文主要內(nèi)容如下：第1節(jié)介紹了設(shè)計流程中的多種方法,包括變彎度技術(shù)、分離函數(shù)方法、DDPG方法;第2節(jié)介紹了具體設(shè)計過程,包括優(yōu)化模型、優(yōu)化過程、結(jié)果分析;第3節(jié)對本文工作進行了總結(jié)．

1 設(shè) 計 方 法

1．1 框架總述

針對巡航階段翼型調(diào)整后緣偏轉(zhuǎn)角度來改變彎度進而改變巡航升阻比的特點,本文搭建了基于DDPG方法的變彎度翼型設(shè)計框架,實現(xiàn)了翼型幾何外形設(shè)計和不同升力系數(shù)工況下的彎度選擇,并與兩種群智能算法的設(shè)計結(jié)果進行比較．

本文選擇類函數(shù)/形函數(shù)變換(CST)作為翼型幾何外形參數(shù)化方法,通過Latin超立方擾動生成設(shè)計空間內(nèi)的幾何外形樣本庫,加上彎度和迎角形成代理模型的輸入,通過CFD計算得到對應(yīng)性能參數(shù)作為輸出,訓(xùn)練ANN得到(幾何參數(shù)+彎度+迎角)-性能參數(shù)的代理模型,進而建立變彎度翼型優(yōu)化模型,實現(xiàn)輸入翼型CST參數(shù),輸出不同彎度下的最大升阻比曲線和其平均值．再搭建DDPG算法框架與此模型交互,學(xué)習(xí)翼型修型策略,并與群智能算法對此模型的優(yōu)化結(jié)果進行比較,驗證了DDPG方法的良好性能．

基于DDPG方法和群智能算法的變彎度翼型優(yōu)化設(shè)計框架如圖1所示．框架由三個模塊組成：群智能算法種群池、變彎度翼型優(yōu)化模型、DDPG智能體．其中優(yōu)化模型作為適應(yīng)度函數(shù)對群智能算法種群池個體的評價可以實現(xiàn)群智能算法的種群尋優(yōu);優(yōu)化模型作為環(huán)境供智能體交互學(xué)習(xí),可以實現(xiàn)DDPG方法修型策略的完善．群智能算法以翼型CST參數(shù)作為個體,以優(yōu)化模型計算個體適應(yīng)度值,實現(xiàn)種群尋優(yōu)與更新,循環(huán)迭代得到適應(yīng)度值最優(yōu)的個體．DDPG算法智能體接收CST參數(shù)作為狀態(tài),輸出CST參數(shù)變化量作為動作,通過環(huán)境的反饋學(xué)習(xí)修型策略,實現(xiàn)最優(yōu)翼型設(shè)計．最后經(jīng)CFD驗證,比較DDPG方法與群智能算法的設(shè)計結(jié)果,驗證DDPG方法在翼型氣動設(shè)計領(lǐng)域的良好性能,同時得到最優(yōu)翼型設(shè)計結(jié)果．

圖1 變彎度翼型優(yōu)化設(shè)計框架

1．2 變彎度技術(shù)

NASA于2010年提出后緣連續(xù)可變彎度襟翼(VCCTEF)概念[20-21],文獻[3,20,22]對二維多段式襟翼截面不同偏轉(zhuǎn)方式進行了詳細數(shù)值研究,研究表明圓形變形的三段式襟翼在多升力系數(shù)點下具有優(yōu)良的升阻性能．圓形變形方式指三段襟翼依次偏轉(zhuǎn)相同角度,如VCCTEF222表示三段襟翼依次偏轉(zhuǎn)2°,2°,2°．考慮到未來材料的發(fā)展,后緣連續(xù)偏轉(zhuǎn)的襟翼還被設(shè)定為襟翼各段間柔性材料連接,偏轉(zhuǎn)無縫隙、凸起等．故設(shè)定超臨界翼型變彎度方式為：以弦長70%～<80%,80%～<90%,90%以后為三段襟翼,每段襟翼繞該段前端厚度中點旋轉(zhuǎn),旋轉(zhuǎn)后的襟翼與翼型其余部分光滑連接,三段襟翼整體以圓形變形方式偏轉(zhuǎn)．

若直接以三個變量分別控制三段襟翼的偏轉(zhuǎn)角度,則一方面對應(yīng)于優(yōu)化中額外添加了三個變量,增加了優(yōu)化難度;另一方面優(yōu)化所需數(shù)據(jù)庫的樣本規(guī)模將依托于這三個變量的劃分密度成百倍增長,如每個變量離散為6個值,計算量就是6×6×6的倍數(shù)增長,是設(shè)計中難以接受的．而一個變量控制的圓形變形方式,則顯著降低了需求樣本的數(shù)量,即在基礎(chǔ)翼型計算量上僅僅擴大6倍,是可以接受的計算成本．此外,圓形變形方式還能帶來更好的升阻性能提升,并有效避免了文獻[3,20,22]中存在的如S形等低效的變形方式．故本文以圓形變形方式來實現(xiàn)變彎度的設(shè)計．

同一超臨界翼型在不同后緣彎度下具有不同的升阻性能,如圖2所示,通過在不同升力系數(shù)工況下改變后緣襟翼偏轉(zhuǎn)角度可以獲得各工況下最大的巡航升阻比,進而獲得巡航最大升阻比曲線,以此優(yōu)化翼型基礎(chǔ)外形,實現(xiàn)設(shè)計點與非設(shè)計點性能的多重提升．

圖2 超臨界翼型不同后緣偏轉(zhuǎn)角度的升阻比曲線

1．3 分離函數(shù)方法

在抖振邊界附近,隨著飛行Mach數(shù)、迎角(或升力系數(shù))的增大,機翼上表面流動分離區(qū)連續(xù)迅速增大,升力損失增加[8]．而流動分離區(qū)增加到一定大小時,其造成的升力損失接近于Mach數(shù)增加或迎角增加帶來的升力增長,升力系數(shù)曲線的增長就變得平緩了,抖振就伴隨發(fā)生了．于是可用上表面流動分離區(qū)的大小作為二維翼型抖振發(fā)生的判據(jù),如下式所示：

(1)

(2)

式中,V為實際流動速度,V∞為自由來流速度,Lref為上翼面參考面積(長度),k為銳度常數(shù),dL為上翼面流場近壁面基本單元．在本文設(shè)計中,分離區(qū)大小即分離函數(shù)值Ssep=0.04時對應(yīng)為抖振邊界,與文獻[8]一致．下文將與Δα=0.1方法[10]比較,驗證本文分離函數(shù)方法的可靠性．

Δα=0.1方法將翼型氣動參數(shù)(常為升力系數(shù))曲線線性段所在直線沿迎角α增大方向線性偏移0.1后,與原曲線的交點作為抖振邊界．如圖3所示,為RAE2822翼型采用Δα=0.1方法在不同Mach數(shù)下對于抖振邊界的判定結(jié)果,為了不同Mach數(shù)下升力系數(shù)曲線的可視化,將升力系數(shù)曲線按Mach數(shù)不同在α方向上進行了一定程度的偏移．圖4為分離函數(shù)方法判定的結(jié)果,圖5為兩種方法判斷的差距．Δα=0.1方法在較大Mach數(shù)時判定結(jié)果會偏小,與文獻[8]中的情形是一致的．故本文發(fā)展的分離函數(shù)方法是可靠的．

1．4 DDPG方法

DDPG是典型的深度強化學(xué)習(xí)方法[23],能夠解決高維連續(xù)動作空間的策略學(xué)習(xí)問題．本文將其改善并應(yīng)用于變彎度翼型設(shè)計,算法框架如圖6所示,算法流程如算法1所示．

DDPG智能體由兩層actor-critic網(wǎng)絡(luò)構(gòu)成,分別是actor(網(wǎng)絡(luò)參數(shù)為θμ)、critic(θQ)和target-actor(θμ′)、target-critic(θQ′),actor類網(wǎng)格根據(jù)所處狀態(tài)給出動作,critic類網(wǎng)格根據(jù)狀態(tài)-動作對給出價值估計．算法收集actor與環(huán)境互動的經(jīng)驗(st,at,rt,st+1)存入經(jīng)驗池R．經(jīng)驗池達到一定規(guī)模后,從中隨機選取小批次M條經(jīng)驗數(shù)據(jù),以target-actor基于下一狀態(tài)st+1預(yù)測下一動作at+1,target-critic預(yù)測對應(yīng)價值估計Q′,結(jié)合當(dāng)前回報r和遠期價值衰減系數(shù)γ形成critic當(dāng)前的價值期望yi=ri+γQ′,通過梯度下降算法最小化critic當(dāng)前價值估計Q與期望yi的差距更新critic網(wǎng)絡(luò)參數(shù)θQ,如算法1第14步所示．再通過梯度上升算法最大化critic價值估計Q更新actor網(wǎng)絡(luò)參數(shù)θμ,實現(xiàn)actor對于良好策略的學(xué)習(xí),如算法1第15步所示．最后以actor、critic網(wǎng)絡(luò)參數(shù)對target-actor、target-critic網(wǎng)絡(luò)參數(shù)進行軟更新,如算法1第16步所示,實現(xiàn)所有網(wǎng)絡(luò)的訓(xùn)練．

圖3 Δα=0.1方法在不同Mach數(shù)下的抖振邊界判定

圖4 分離函數(shù)方法在不同Mach數(shù)下的抖振邊界判定

圖5 Δα=0.1方法和分離函數(shù)方法的對比

DDPG算法中經(jīng)驗池的使用使得每批次訓(xùn)練樣本來自不同策略,打破了原有樣本間的相關(guān)性,提高了訓(xùn)練效率;同時離散的樣本在訓(xùn)練中可重復(fù)使用,提高了數(shù)據(jù)利用率,減輕了對數(shù)據(jù)總量的要求．這也是后文DDPG算法效率遠高于群智能算法的重要依據(jù)之一．但算法的確定性策略會帶來探索能力的匱乏,故在訓(xùn)練階段actor給出確定動作后,額外添加正態(tài)分布噪聲～N(0,σ2),并通過衰減系數(shù)φ實現(xiàn)前期較大的噪聲以及對應(yīng)的廣泛探索能力,和后期微小的噪聲以及足夠的收斂能力．

圖6 DDPG算法框架

算法1 DDPG算法流程

1 randomly initialize networkQ(s,a|θQ) andμ(s|θμ)

2 initialize target networkθQ′←θQ,θμ′←θμ

3 initialize replay buffer R

4 initialize noise parameterσ,～N(0,σ2)

5 for episode=1, EPISODE do

6 noise attenuation：σ=σ×φ

7 receive initial states1

8 while not done do

9 select actionat=μ(st|θμ)+according to the current policy

10 executeatand observe rewardrt, next statest+1, terminating information

11 store transition (st,at,rt,st+1) in R

12 sample a random minibatch ofMtransitions from R

13 setyi=ri+γQ′(si+1,μ′(si+1|θμ′)|θQ′)

15 update the actor policy using the sample policy gradient：

16 update the target networks：

θQ′←τθQ+(1-τ)θQ′

θμ′←τθμ+(1-τ)θμ′

17 end for．

2 設(shè) 計 過 程

2．1 優(yōu)化模型

第4屆阻力預(yù)測會議(DPW)[24]給出跨音速運輸機公共研究模型(CRM),大量學(xué)者基于其機翼和翼型結(jié)合變彎度技術(shù)開展了多項減阻研究[20,22]和抖振性能優(yōu)化研究[8-9]．在Kenway等[8]基于機翼外形優(yōu)化對抖振和流動分離的研究中,上表面流動分離首先發(fā)生于機翼中段,并隨迎角增加呈現(xiàn)向翼尖擴展的趨勢．故本文選取機翼展向60%截面為初始翼型,融合變彎度技術(shù)改善其基礎(chǔ)外形,在抖振性能不減的前提下,增強其巡航多升力系數(shù)點下的升阻性能．基于此,以CRM機翼和RAE2822翼型驗證三維、二維網(wǎng)格和計算方法的正確性,以2.5D和2.75D方法將機翼三維設(shè)計工況轉(zhuǎn)變?yōu)橐硇投S設(shè)計工況．再發(fā)散得到二維非設(shè)計工況,來研究變彎度翼型的多升力系數(shù)工況優(yōu)化．

CRM機翼設(shè)計工況為：巡航Mach數(shù)0.85、Reynolds數(shù)500萬、升力系數(shù)0.5．三維網(wǎng)格收斂性驗證如表1所示,網(wǎng)格數(shù)量與DPW總結(jié)文獻[24-25]相近．中等網(wǎng)格壓力云圖如圖7所示,不同截面壓力分布如圖8所示,參考值為文獻[26]的計算結(jié)果,文獻[27]也有類似結(jié)果．可以看出三維中等網(wǎng)格已基本收斂,可以用于后續(xù)研究．

表1 CRM機翼網(wǎng)格收斂性驗證

圖7 機翼表面壓力云圖

圖8 不同網(wǎng)格精度下機翼截面壓力分布

RAE2822翼型驗證工況為：Mach數(shù)0.73,Reynolds數(shù)6.5×106,迎角3.19°(升力系數(shù)0.803),二維網(wǎng)格收斂性驗證如圖9所示,其中參考值ref來自AGARD的case 9[28]．參考值的工況為：Ma=0.73,α=3.19°,Cl=0.803,Cd=0.016 8．虛曲線是Mach數(shù)修正為0.734[29],能更精確地對照ref的激波位置．可以看出二維中等網(wǎng)格已基本收斂,可以用于后續(xù)研究．

圖9 RAE2822翼型網(wǎng)格收斂性驗證

2.5D和2.75D方法是三維與二維流動差異的彌補,使得二維設(shè)計仍對三維設(shè)計有足夠的貢獻．2.5D方法稱為經(jīng)典后掠理論或余弦規(guī)則[30],適用于翼型與無限翼展后掠翼之間的參數(shù)轉(zhuǎn)換,如式(3)—(6)所示：

C′p=Cp/cos2Λ,

(3)

C′l=Cl/cos2Λ,

(4)

C′d=Cd/cos2Λ,

(5)

M′∞=M∞·cosΛ,

(6)

等式左邊為二維參數(shù),右邊為三維參數(shù),Λ為1/4弦線后掠角．

而實際機翼還需考慮根尖效應(yīng)的影響,在設(shè)計時額外對二維升力進行1.1～1.2倍放大[31],即

C′l=(1.1～1.2)Cl/cos2Λ．

(7)

但跨聲速機翼/翼型上表面激波的出現(xiàn),導(dǎo)致2.5D方法精度有了較大下降,基于激波位置附近1/2弦線后掠角的2.75D方法[32-33]就迅速發(fā)展而成,限于篇幅,不做介紹．而Streit等[34]也以1/2弦線后掠角改進了2.5D方法．本文分別以2.75D和改進2.5D方法將三維工況(Ma和Cl)轉(zhuǎn)換為二維工況,計算截面翼型的壓力分布,再轉(zhuǎn)換回三維壓力分布,與機翼實際三維計算結(jié)果對比,如圖10所示．可見改進后的2.5D與3D計算結(jié)果基本一致,只是因為缺少激波后的機翼展向流動信息導(dǎo)致激波后壓力分布有些差距．但2.75D方法不僅激波后表現(xiàn)不佳,在前緣上表面、尾緣上下表面更是與3D結(jié)果有著較大差距．故本文以改進2.5D方法進行后續(xù)設(shè)計,轉(zhuǎn)換前后的設(shè)計工況如表2所示,機翼1/2弦線后掠角取29.88°．

表2 2.5D方法工況轉(zhuǎn)換結(jié)果

基于巡航過程中燃油重量的不斷變化,設(shè)定巡航為升力系數(shù)0.7至0.9,0.01為間隔的均勻工況．如圖2所示,低于0.7時,各彎度下升阻比相近,變彎度設(shè)計意義不大;高于0.9時也對應(yīng)于最大角度的變彎度．故設(shè)定工況為0.7至0.9,也使得0.8為工況中心．文獻[35]介紹了具體根據(jù)巡航不同階段重量變化的工況比例,本文參考文獻[26],以多工況同等重要做方法研究．即設(shè)定優(yōu)化目標為多工況下的平均最大升阻比最大,對應(yīng)為圖2中不同彎度下的最大升阻比曲線的平均值最大．而若以此曲線按不同權(quán)值加權(quán)平均,也可實現(xiàn)不同重量工況的重要程度分級．但對本文方法研究無影響,僅是設(shè)計結(jié)果側(cè)重于不同重量工況階段,故不深入考慮．翼型的后緣襟翼角度離散為[0°,1°,2°,3°,4°,5°],更大范圍的角度變化在0.7至0.9的工況內(nèi)無明顯升阻性能提升,更密的襟翼角度分布也是使得最大升阻比曲線更加光滑,無突出性能提升．

圖10 2.5D、2.75D和3D計算的壓力分布對比

圖11 優(yōu)化模型

在優(yōu)化模型中,額外添加翼型厚度約束,為前緣半徑、最大厚度、尾緣厚度不小于初始的90%(不小于初始值為對照組);添加分離函數(shù)約束,為升力系數(shù)1.075以前分離函數(shù)值不大于0.04．分離函數(shù)值隨升力系數(shù)增長而增長,1.075前分離函數(shù)值不大于0.04也就保證了分離函數(shù)值達到0.04時升力系數(shù)不小于1.075,即抖振邊界不小于1.075．如圖14所示,1.075為初始翼型抖振邊界,約為設(shè)計升力系數(shù)0.798的1.35倍,圖14為初始翼型不同彎度下兩種方法得到的抖振邊界．優(yōu)化模型結(jié)合變彎度技術(shù)和分離函數(shù)方法,實現(xiàn)輸入14個CST參數(shù),輸出平均最大升阻比和多重約束信息．

2．2 優(yōu)化過程

基于上述優(yōu)化模型,本文以翼型14維CST參數(shù)作為狀態(tài),14維參數(shù)變化量作為動作,設(shè)立DDPG方法,從翼型初始外形出發(fā),學(xué)習(xí)回報最高的修型路線．其中回報函數(shù)如式(8)所示,r為獎勵函數(shù)值,x為CST參數(shù),f(x)為目標項,g(x)為約束項;f(x)具體如式(9)所示,g(x)在不同約束不滿足時取不同的常數(shù)值：

r=f(x)-g(x),

(8)

f(x)=c1×ec2×(Cl(x)/Cd(x))-c3,

(9)

式中Cl(x)與Cd(x)為CST參數(shù)對應(yīng)翼型的升阻力系數(shù),c1,c2,c3為常數(shù),在本文中取值為0.005,0.15,100,使得目標項f(x)在達到較優(yōu)值附近時回報函數(shù)具有更大的梯度,進而使得較優(yōu)值附近的微小進步也能夠被智能體所學(xué)習(xí)．

圖12 訓(xùn)練集和驗證集的損失函數(shù)收斂曲線

圖13 整體數(shù)據(jù)集預(yù)測的Cl, Cd, Ssep的線性回歸圖

圖14 初始翼型不同彎度下的抖振邊界

以此DDPG算法進行尋優(yōu),收斂曲線如圖15所示,橫軸為訓(xùn)練代數(shù),縱軸為獎勵函數(shù)值．其中紅色曲線為5步修型,actor動作上限為狀態(tài)空間大小的1/5,即actor通過5步可至狀態(tài)空間內(nèi)的任意狀態(tài),actor在達到給定升阻比以上或是累計5步后停止修型．藍色曲線為 1 步修型,actor動作上限為狀態(tài)空間大小,即1步可至狀態(tài)空間內(nèi)的任意狀態(tài)．

圖15 DDPG收斂曲線

為驗證DDPG方法設(shè)計結(jié)果的合理性,用優(yōu)劣兩種群智能算法對本文模型的優(yōu)化結(jié)果作對比,算法為PSO[38]和改進GWO[39]．兩種算法流程相似,如圖16所示,其中適應(yīng)度為優(yōu)化目標的相反數(shù)(轉(zhuǎn)為min問題),不滿足約束的個體適應(yīng)度受到額外懲罰．兩種算法收斂曲線如圖17所示,種群大小均為60,改進GWO具有更強的尋優(yōu)能力,其頭狼的額外混沌搜索能顯著增強尋優(yōu)效率和增加跳出局部最優(yōu)的能力．

圖16 群智能算法流程

圖17 群智能算法收斂曲線

2．3 結(jié)果分析

初始翼型和PSO、GWO、DDPG-5、DDPG-1的優(yōu)化翼型結(jié)果如表3所示,base 0表示不可變彎度的初始翼型,base表示可變彎度初始翼型．第一行為基于優(yōu)化模型得到的平均最大升阻比,第二行為算法運行時間．第三、四行為各翼型CFD計算驗證,分別是平均最大升阻比和抖振邊界．

其中各翼型基于優(yōu)化模型和CFD計算得到的升阻比相近,誤差在0.5%以內(nèi),說明本文基于ANN的優(yōu)化模型的精度是可以接受的．GWO、DDPG-5、DDPG-1優(yōu)化升阻比相近,且相比于PSO有更大的優(yōu)化效果,說明了本文DDPG算法對變彎度翼型優(yōu)化模型有著較強的優(yōu)化效果,與較優(yōu)的群智能算法有相當(dāng)?shù)膬?yōu)化能力,這是actor-critic網(wǎng)絡(luò)架構(gòu)和衰減噪聲的作用．a(chǎn)ctor-critic的結(jié)構(gòu)使得DDPG算法能夠更容易和更穩(wěn)定地學(xué)會修型策略,衰減的噪聲則在保證后期收斂能力的同時增強了前期的探索能力,保證了DDPG算法較強的尋優(yōu)能力．而分離函數(shù)在升力系數(shù)1.075前不大于0.04的約束也使得各優(yōu)化翼型均有不小于1.075的抖振邊界,淘汰掉了以降低抖振性能為代價減阻的一批翼型．最后在算法效率方面,雖通過ANN替代了CFD計算過程,但每個翼型以不同彎度和迎角對ANN的多次調(diào)用仍是算法運行的主要時間消耗,如何從更少的樣本中學(xué)會優(yōu)化方式是算法效率的關(guān)鍵．DDPG算法一邊根據(jù)當(dāng)前策略填充經(jīng)驗池,一邊從經(jīng)驗池中抽取歷史經(jīng)驗學(xué)習(xí),可實現(xiàn)對于歷史經(jīng)驗的重復(fù)使用,使其在樣本利用率方面具有顯見的優(yōu)勢,也就具有了優(yōu)于群智能算法的強大尋優(yōu)效率．而1步修型的DDPG-1在相同算法代數(shù)下僅生成和使用5步修型1/5的經(jīng)驗數(shù)據(jù),也就具有近5倍的算法效率,且優(yōu)化能力也不差于其他幾種,故DDPG-1無疑是本文優(yōu)化能力強且效率最高的算法,其優(yōu)化結(jié)果相比于初始不可變彎翼型也取得了6.8%的升阻比提升．

表3 優(yōu)化結(jié)果比較

初始翼型和不同優(yōu)化翼型的升阻比曲線如圖18所示,曲線的拐點是彎度發(fā)生變化,從升力系數(shù)0.7至0.9每條曲線的襟翼角度均從0°逐漸增加至5°．圖18中每條曲線均等價于圖2中的紫色曲線,是不同彎度下升阻比曲線的最大值．隨升力系數(shù)增長,升阻比與迎角均增長,在達到拐點時,彎度與迎角發(fā)生突變．之后升阻比與迎角均隨升力系數(shù)繼續(xù)增長,形成整條最大值曲線．而彎度若能連續(xù)變化,這些曲線的拐點也會更加細密,拐點處也就不會呈現(xiàn)嚴重的不連續(xù)現(xiàn)象,或者說曲線本身就會更加光滑連續(xù)．但曲線所處范圍不會在圖18的基礎(chǔ)上發(fā)生太大變化,即平均最大升阻比的值不會有太大變化．而彎度連續(xù)變化會使得數(shù)據(jù)庫需求樣本量成倍增加,故綜合考慮下,本文以離散彎度變化來簡化設(shè)計．

圖18 不同方法優(yōu)化的升阻比最大曲線

圖18中彩色實曲線是本文厚度約束不低于初始90%的優(yōu)化結(jié)果,彩色虛曲線是不低于初始100%的結(jié)果,黑色實曲線是可變彎度初始翼型,黑色虛曲線是不可變彎初始翼型．初始翼型從通用飛機標準模型CRM機翼上截取,性能本就良好,加入變彎度后在大升力系數(shù)工況下更得到明顯改善,故彩色虛曲線的群智能算法和DDPG方法在優(yōu)化翼型基礎(chǔ)外形后均只能取得較小性能改善．而適當(dāng)放松厚度約束后,才能取得如彩色實曲線所示的較大的升阻性能優(yōu)化．實際翼型設(shè)計中,略微放寬厚度約束,也是提升升阻性能的重要手段,但也伴隨著機翼容積減少等負面影響,需多方面綜合考慮．

實曲線對應(yīng)翼型基礎(chǔ)幾何外形如圖19所示,可見不同優(yōu)化結(jié)果均是翼型前半段下表面收縮,后半段整體下沉,尾緣變化更加平緩．這些變化使得翼型初始彎度更小,且最大彎度位置前移．一方面使得低升力工況下阻力更小;另一方面通過尾緣變彎獲得大升力的同時,最大彎度位置不會過于后移,也對應(yīng)具有更小的阻力．如此,優(yōu)化后翼型在不同升力系數(shù)工況下均具有比初始不可變彎翼型更優(yōu)的升阻性能,在整段巡航中具有更高的效率．

圖19 不同方法優(yōu)化的幾何外形

圖20 錐形后掠翼

(a) 初始 (b) DDPG-1優(yōu)化后(a) Initial curves (b) Curves after optimization by DDPG-1圖21 機翼升阻比曲線

基于僅優(yōu)化一個截面翼型的基礎(chǔ),分別以初始翼型和DDPG-1優(yōu)化翼型作截面,參考CRM機翼外翼段,以弦長1、展弦比6.6、后掠角35°、稍根比0.376作錐形后掠翼．根據(jù)改進2.5D方法對應(yīng)三維工況為Mach數(shù)0.9,升力系數(shù)0.446,這里外翼段后掠角不等同于CRM機翼后掠角,故三維工況有些變化．錐形后掠翼幾何外形如圖20所示,升阻比曲線如圖21所示．可見變彎度提高了多工況下的升阻比,且DDPG-1優(yōu)化也提高了后掠翼的升阻性能,說明變彎度以及二維翼型優(yōu)化對三維機翼優(yōu)化有著實際的貢獻．

3 總 結(jié)

1) 本文基于VCCTEF思想設(shè)計了一種變彎度翼型優(yōu)化模型,通過翼型基礎(chǔ)幾何外形優(yōu)化和彎度改變實現(xiàn)巡航多升力系數(shù)工況升阻性能提高,進而提升整段巡航性能．

2) 本文基于抖振與流動分離的伴隨關(guān)系,發(fā)展了二維翼型分離函數(shù)方法,通過對上表面流動分離的約束,限制抖振邊界不低于初始翼型,避免升阻性能優(yōu)化帶來抖振性能衰減的負面影響．文中也通過對比傳統(tǒng)抖振邊界判斷Δα=0.1方法驗證了本文分離函數(shù)方法的有效性．

3) 本文將DDPG方法應(yīng)用于上述變彎度翼型模型在巡航階段的多升力系數(shù)工況優(yōu)化,通過對算法的設(shè)置,實現(xiàn)DDPG智能體對多彎度多約束復(fù)雜模型的快速高效尋優(yōu)．并通過與群智能算法優(yōu)化結(jié)果的對比,驗證了DDPG方法的可行性與高效性．

4) 本文以上述優(yōu)化模型與方法實現(xiàn)了CRM機翼截面翼型的變彎度設(shè)計與優(yōu)化,實現(xiàn)了巡航階段6.8%的升阻比提升,并通過2.5D方法驗證了二維變彎度翼型設(shè)計對三維機翼設(shè)計的貢獻．