淺談高保真飛發(fā)一體化仿真軟件Kestrel

■ 項(xiàng)洋 / 中國航發(fā)研究院

美國近期發(fā)布了數(shù)字主線(Digital Thread)和數(shù)字工程等一系列數(shù)字化戰(zhàn)略，其中基于物理的高保真建模仿真軟件——計算研究和工程采辦工具環(huán)境（CREATE）被認(rèn)為是數(shù)字化戰(zhàn)略的關(guān)鍵支撐工具。CREATE中的高保真飛發(fā)一體化仿真軟件Kestrel在多個裝備型號上得到成功應(yīng)用，具有代表性。

近年來，隨著高性能計算技術(shù)的發(fā)展，為進(jìn)一步擴(kuò)展建模仿真技術(shù)在裝備采辦中的應(yīng)用，支撐裝備型號的全生命周期數(shù)字模型構(gòu)建，基于物理的裝備型號高保真建模仿真技術(shù)越來越受到重視。計算研究和工程采辦工具環(huán)境（CREATE）屬于美國國防部定義的大型計算科學(xué)工程軟件（CSE）項(xiàng)目，在高性能計算現(xiàn)代化計劃（HPCMP）的支持下開展，旨在開發(fā)和部署基于物理特性的高性能計算軟件產(chǎn)品，通過高保真數(shù)字模型的構(gòu)建和改進(jìn)，支撐各軍種武器裝備的設(shè)計和實(shí)現(xiàn)。CREATE包含5大模塊，每個模塊下有若干軟件產(chǎn)品，如圖1所示。作為CREATE中唯一的固定翼飛行器飛發(fā)一體化建模仿真軟件——Kestrel，體現(xiàn)了CREATE的總體發(fā)展戰(zhàn)略，并已在美國空軍多個武器裝備的采辦項(xiàng)目中得到了應(yīng)用，非常具有代表性。

Kestrel的設(shè)計理念

Kestrel的設(shè)計理念主要由以下因素推動：第一，裝備采辦中，與成本和性能相關(guān)的大多數(shù)問題可以歸因?yàn)槎鄬W(xué)科物理現(xiàn)象的建模仿真能力不完整或不充分；第二，對仿真軟件中新功能、新算法、新技術(shù)的需求是持續(xù)變化的。

根據(jù)上述推動因素，研發(fā)人員確立了以下的設(shè)計開發(fā)理念：一是具備針對下一代超算架構(gòu)的并行可擴(kuò)展性，從而持續(xù)滿足高保真仿真對計算資源的需求；二是采用“遺產(chǎn)轉(zhuǎn)換到原生”（legacy to native）的軟件開發(fā)方法，在軟件的全生命周期內(nèi)，先將遺產(chǎn)代碼集成到框架內(nèi)確保其功能，然后逐步重寫或重構(gòu)為原生代碼；三是軟件架構(gòu)高度模塊化，從而在實(shí)現(xiàn)多學(xué)科能力的同時提高代碼的可維護(hù)性和可支持性；四是遵循專業(yè)的軟件開發(fā)流程，包括配置管理、用戶支持以及自動化的單元、集成和系統(tǒng)測試。

圖1 CREATE的總體發(fā)展戰(zhàn)略、組成和應(yīng)用

Kestrel在12年中總共發(fā)布了10個版本，其軟件能力逐年提升，實(shí)現(xiàn)了開發(fā)與工程應(yīng)用的良性迭代，也證明了其開發(fā)理念和架構(gòu)設(shè)計的生命力。

Kestrel的架構(gòu)和組成

總體架構(gòu)

Kestrel的總體架構(gòu)充分體現(xiàn)了其設(shè)計理念。Kestrel從架構(gòu)上分為通用可擴(kuò)展基礎(chǔ)架構(gòu)（CSI）、仿真組件（CFD、FEA、運(yùn)動學(xué)和動力學(xué)、推進(jìn)系統(tǒng)等）和交互界面等3大部分，如圖2所示。CSI是Kestrel總體架構(gòu)的核心，由Python語言編寫，負(fù)責(zé)處理仿真過程中組件之間的執(zhí)行流程和通用操作，并管理統(tǒng)一的數(shù)據(jù)倉庫。仿真組件則通過統(tǒng)一的Python接口與CSI連接，將事件或數(shù)據(jù)發(fā)布到CSI上，或者訂閱CSI上的事件或數(shù)據(jù)。以流場求解組件KCFD為例，其訂閱事件為亞迭代步，即將流場解從當(dāng)前時間步推進(jìn)到下一個時間步；其訂閱和發(fā)布的數(shù)據(jù)為網(wǎng)格量、流場變量等。這種稱為“事件驅(qū)動”的架構(gòu)實(shí)現(xiàn)了Kestrel各組件之間的解耦，從而使得開發(fā)團(tuán)隊(duì)能夠在不修改已有架構(gòu)和組件的情況下快速開發(fā)原生組件，或者也可以通過開發(fā)工具包（SDK）將自研軟件和商業(yè)軟件以插件形式快速集成到Kestrel中。

并行管理

Kestrel通過CSI、數(shù)據(jù)倉庫（Data Warehouse）和并行庫統(tǒng)一管理組件的并行，采用了兩種顆粒度的并行策略。第一種是傳統(tǒng)的細(xì)顆粒度并行策略，網(wǎng)格被直接分區(qū)到所有核心上，通過信息傳遞接口（MPI）共享信息，通信開銷較大。第二種是新引入的粗顆粒度混合并行策略，網(wǎng)格以粗顆粒度的形式分區(qū)到節(jié)點(diǎn)，每個節(jié)點(diǎn)內(nèi)部共享內(nèi)存，在細(xì)顆粒度級別進(jìn)行計算，MPI僅用于節(jié)點(diǎn)之間的通信。這種混合方法允許節(jié)點(diǎn)內(nèi)進(jìn)行負(fù)載平衡、所需內(nèi)存更小、并行隱式性更高，并且比細(xì)顆粒度并行方案的輸入/輸出（I/O）性能更高。由于高性能計算CPU架構(gòu)正向每個計算節(jié)點(diǎn)的物理核心更多、每個核心的內(nèi)存更少的方向發(fā)展，粗顆粒度混合并行策略能更充分利用新架構(gòu)的計算資源，Kestrel目前正逐漸由細(xì)顆粒度策略向粗顆粒度混合策略轉(zhuǎn)移。

圖2 Kestrel架構(gòu)

典型組件

Kestrel的組件包含了流體、結(jié)構(gòu)、運(yùn)動學(xué)、動力學(xué)、控制系統(tǒng)和推進(jìn)系統(tǒng)等多個學(xué)科和專業(yè)方向。在流體仿真方面，Kestrel采用的是生成重疊網(wǎng)格，并在背景網(wǎng)格和貼體網(wǎng)格上分別求解的方案。背景網(wǎng)格為笛卡爾網(wǎng)格，采用的求解器為SAMCart；貼體網(wǎng)格為非結(jié)構(gòu)網(wǎng)格，采用的求解器為KCFD 或 COFFE。其中，KCFD是主要的貼體網(wǎng)格流場求解器，采用有限體積離散，時空均為二階精度，支持定?；蚍嵌ǔ５腞ANS、DES求解，可適用于不可壓、可壓、高超聲速、內(nèi)外流、化學(xué)反應(yīng)、燃燒等多種工況。COFFE是新引入的貼體網(wǎng)格流場高階求解器，采用流線迎風(fēng)/ Petrov-Galerkin（SU/PG）有限元離散，最終目標(biāo)是實(shí)現(xiàn)極高分辨率下的大渦模擬（LES），目前已實(shí)現(xiàn)了4階精度的延遲分離渦模擬（DDES）。在結(jié)構(gòu)仿真方面，Kestrel通過Sierra/SD求解器來求解線性和非線性結(jié)構(gòu)動力學(xué)問題和振動特征值問題。該求解器具備在數(shù)千核上求解1 億自由度問題的能力，支持低階和高階的一維梁桿、二維板殼、三維六面體和四面體單元。Kestrel通過流固耦合組件（FSI）來實(shí)現(xiàn)上述求解器的耦合仿真。

圖3 KUI和Jobview

Kestrel的推進(jìn)系統(tǒng)組件為Firebolt。該組件的設(shè)計目的是替代當(dāng)前飛發(fā)設(shè)計流程中僅將推進(jìn)系統(tǒng)視為飛行器仿真邊界條件的傳統(tǒng)方法，提供高保真、全物理的發(fā)動機(jī)及進(jìn)排氣系統(tǒng)的仿真。在采辦初期就把推進(jìn)系統(tǒng)納入到固定翼和旋翼飛行器的設(shè)計分析中，從而避免在采辦后期才曝露出飛發(fā)耦合設(shè)計缺陷。Firebolt的1.0版本實(shí)現(xiàn)了零維發(fā)動機(jī)與飛行器外流的耦合仿真，2.0版本是一個全三維非結(jié)構(gòu)求解器，通過在KCFD基礎(chǔ)上添加出入口邊界條件、旋轉(zhuǎn)參考系、滑移面、摻混面等適用于葉輪機(jī)的數(shù)值方法，實(shí)現(xiàn)了三維全環(huán)的葉輪機(jī)仿真，并通過Rotor35/37/67等標(biāo)準(zhǔn)模型驗(yàn)證了其保真度。

交互界面

Kestrel的交互界面設(shè)計原則包括“一站式”用戶輸入、提供便捷的單位和坐標(biāo)系轉(zhuǎn)換功能和盡可能驗(yàn)證用戶輸入，其交互界面包含了用戶界面（KUI）、設(shè)置可視化工具Jobview和命令行交互工具Capenter，如圖3所示。KUI的主要功能是設(shè)置仿真輸入?yún)?shù)，并將描述輸入?yún)?shù)的XML文件傳給CSI，同時還具有輸入?yún)?shù)驗(yàn)證、單位和坐標(biāo)系轉(zhuǎn)換功能。此外，KUI可以對仿真結(jié)果數(shù)據(jù)開展本地后處理。Jobview工具用于在三維視圖中對復(fù)雜工程進(jìn)行可視化的檢查驗(yàn)證、實(shí)體裝配、邊界條件設(shè)定等操作。Capenter用于在超算等非圖形環(huán)境下進(jìn)行仿真參數(shù)設(shè)置和提交。

軟件測試

Kestrel建立了4個層級的持續(xù)測試，通過把軟件缺陷盡可能早地暴露給開發(fā)人員和質(zhì)量保證測試團(tuán)隊(duì)，確保了快速迭代開發(fā)過程中的軟件產(chǎn)品質(zhì)量。持續(xù)測試的第一級是單元測試，測試組件或庫中的低層級代碼，聚焦代碼正確性；第二級是集成測試，從基礎(chǔ)架構(gòu)的角度測試單個組件，聚焦多語言之間的通信和事件排序；第三級是基于小網(wǎng)格、短時間的完整仿真過程的系統(tǒng)測試，聚焦組件之間的通信；第四級是大型仿真的驗(yàn)收測試，與文獻(xiàn)、地面試驗(yàn)和試飛的預(yù)期結(jié)果進(jìn)行比較。

Kestrel的測試能力逐年提高。2020年，Kestrel的每日測試包括了26000個單元測試、近1800個集成測試和 48個系統(tǒng)測試，覆蓋了所有組件。驗(yàn)收測試通過部署在超算上的自動驗(yàn)收測試系統(tǒng)（ATS）實(shí)現(xiàn)，根據(jù)敏捷開發(fā)的時間間隔，每兩周開展1次。該測試目前包含了127個單獨(dú)的作業(yè)，涵蓋了當(dāng)前所有Kestrel用例的復(fù)雜性和流程機(jī)制，運(yùn)行一次大約需要 15300h的CPU時間。

Kestrel應(yīng)用實(shí)例

基于零維發(fā)動機(jī)模型的飛發(fā)一體化仿真

2014年，Kestrel具備了零維穩(wěn)態(tài)和瞬態(tài)發(fā)動機(jī)模型（在Firebolt 1.0版本中實(shí)現(xiàn)）與飛行器高保真CFD模型的耦合仿真能力，從而可以在飛行器設(shè)計的初期就通過飛發(fā)一體化仿真研究發(fā)動機(jī)進(jìn)出口邊界條件給定、油門變化對飛行器性能影響等工程問題。研究人員使用Kestrel對3組飛發(fā)綜合構(gòu)型進(jìn)行了研究（見表1），結(jié)果表明，零維發(fā)動機(jī)模型能夠與外流求解器KCFD耦合，開展較為快速的飛發(fā)一體化仿真，并在定常和非定常工況下預(yù)測流場和飛行器響應(yīng)。上述3組算例證明，與傳統(tǒng)的僅給定發(fā)動機(jī)進(jìn)出口邊界條件的飛發(fā)聯(lián)合仿真相比，零維發(fā)動機(jī)的耦合方案能更好地對發(fā)動機(jī)入口和進(jìn)氣道流場的恢復(fù)和畸變特性進(jìn)行仿真。

表1 Kestrel 基于零維發(fā)動機(jī)模型的飛發(fā)一體化仿真算例

基于“全環(huán)三維風(fēng)扇+零維核心機(jī)模型”的飛發(fā)一體化仿真

2015年，Kestrel的推進(jìn)系統(tǒng)模塊Firebolt升級到2.0版本，具備了“飛行器+全環(huán)三維風(fēng)扇+零維核心機(jī)”的飛發(fā)一體化耦合仿真能力，從而可以以更高的保真度研究進(jìn)口總壓恢復(fù)和畸變等工程問題。研究者對A-10攻擊機(jī)和TF34發(fā)動機(jī)的綜合構(gòu)型在高迎角下機(jī)翼內(nèi)側(cè)前緣縫翼和失速條造成的氣流分離對發(fā)動機(jī)進(jìn)氣邊界的影響進(jìn)行了零維和全環(huán)兩種方法的建模和仿真，如圖4所示。全環(huán)的建模重點(diǎn)主要針對TF34發(fā)動機(jī)的單級風(fēng)扇，首先生成靜子和轉(zhuǎn)子的單通道網(wǎng)格（各約100萬單元），然后利用葉片通道的周期性生成全環(huán)網(wǎng)格（約7500萬單元）。加上A-10外流網(wǎng)格（約3500萬單元），最終生成的“飛行器+全環(huán)三維風(fēng)扇+零維核心機(jī)”一體化網(wǎng)格約1.05億單元。由于相對零維模型網(wǎng)格尺度變小，全環(huán)模型的時間步長也從1×10-4s減小到5×10-6s，從而增加了計算量。

研發(fā)人員將仿真結(jié)果與零維發(fā)動機(jī)仿真及試驗(yàn)結(jié)果進(jìn)行了對比，如圖5所示。結(jié)果表明，在總壓恢復(fù)系數(shù)預(yù)測方面，相比零維仿真，全環(huán)仿真的總壓恢復(fù)系數(shù)與試驗(yàn)結(jié)果符合得更好，最大誤差從1.4%下降為0.4%；在畸變系數(shù)的預(yù)測方面，全環(huán)同樣符合得更好，尤其是在大迎角時，畸變系數(shù)預(yù)測誤差為0.01，比零維更低?？傮w而言，全環(huán)模型比零維模型能更好地預(yù)測高迎角下飛機(jī)外流場對進(jìn)氣平面的總壓恢復(fù)系數(shù)和畸變系數(shù)的影響。

三維高性能風(fēng)扇仿真

2018年，Kestrel的核心求解器KCFD增加了摻混面功能，降低了壓氣機(jī)和風(fēng)扇CFD仿真的計算成本，從而能夠研究壓氣機(jī)的特性線等問題。研究者使用Kestrel對美國空軍研究實(shí)驗(yàn)室（AFRL）設(shè)計的高性能風(fēng)扇Rotor4進(jìn)行了仿真，其幾何模型和網(wǎng)格模型如圖6所示。

圖4 A-10的飛行器+全環(huán)三維風(fēng)扇+零維核心機(jī)的飛發(fā)一體化建模仿真

圖5 全環(huán)三維風(fēng)扇飛發(fā)一體化仿真結(jié)果與零維發(fā)動機(jī)飛發(fā)一體化仿真結(jié)果和試驗(yàn)結(jié)果的對比

圖6 Rotor4的幾何模型和網(wǎng)格模型

仿真的邊界條件為入口給定總壓、總溫和流量，出口邊界馬赫數(shù)上限為1.0。仿真的時間步為0.001s，湍流模型為k-ω SST，時空精度分別為一階和二階，分別計算了100%、95%和90%設(shè)計速度下的特性線，并與試驗(yàn)結(jié)果和商業(yè)軟件STAR-CCM+的仿真結(jié)果進(jìn)行對比。結(jié)果表明，在100%設(shè)計速度下，KCFD的特性線仿真精度比商業(yè)軟件更高，更接近于試驗(yàn)值。在這3個速度下，KCFD預(yù)測的失速和堵塞流量比試驗(yàn)值略高，效率值比試驗(yàn)值低3%～4%，壓比峰值預(yù)測較為精確，遠(yuǎn)離堵塞點(diǎn)時的壓比預(yù)測值與試驗(yàn)值符合得很好。該項(xiàng)研究驗(yàn)證了Kestrel的摻混面模型，研究人員認(rèn)為，盡管在近堵點(diǎn)預(yù)測精度下降，但Kestrel完全能夠預(yù)測單級的壓比。由于摻混面模型可顯著降低對計算資源的需求，在未來幾年都將是發(fā)動機(jī)開發(fā)人員的重要工具，因此有必要在Kestrel中繼續(xù)發(fā)展該模型，從而為進(jìn)一步提高飛發(fā)一體化仿真的保真度提供支持。

結(jié)束語

隨著數(shù)字孿生、數(shù)字主線、數(shù)字工程等數(shù)字化戰(zhàn)略的發(fā)展，基于物理的型號全生命周期仿真已成為發(fā)展趨勢，而發(fā)展具備多學(xué)科、多物理、多保真度、整機(jī)乃至飛發(fā)一體化仿真能力的航空發(fā)動機(jī)仿真軟件，是航空發(fā)動機(jī)工業(yè)部門及未來軍用采辦的重要方向。航空發(fā)動機(jī)仿真軟件具備學(xué)科與功能復(fù)雜、開發(fā)周期漫長和用戶需求持續(xù)變化等特點(diǎn)，通過分析美軍高保真飛發(fā)一體化仿真軟件的開發(fā)思路，得到一些降低軟件開發(fā)難度與風(fēng)險的啟示：一是在架構(gòu)設(shè)計上應(yīng)采用松耦合、 高靈活性的架構(gòu) ；二是采用 “敏捷開發(fā)”的思路，用“小步快跑” 的方式漸進(jìn)發(fā)展軟件，在確保原有功能的同時逐步添加新功能，推動軟件的持續(xù)健康發(fā)展；三是引入配置管理、持續(xù)集成、持續(xù)測試等軟件工程方法，特別是搭建基于超算的自動化測試系統(tǒng)確保軟件質(zhì)量和可信度。