基于LSTM 網(wǎng)絡(luò)模型的航天器熱變形預(yù)測(cè)

王 丁， 羅文波， 吳 瓊， 趙震波， 王云鋒

（1.北京空間飛行器總體設(shè)計(jì)部， 北京 100094； 2.中機(jī)生產(chǎn)力促進(jìn)中心， 北京100044）

0 引言

對(duì)于高精度測(cè)繪衛(wèi)星來說，各測(cè)量載荷之間需要配合使用，并保持相對(duì)位置穩(wěn)定。因此除測(cè)量載荷本身的精度外， 航天器結(jié)構(gòu)尺寸穩(wěn)定性對(duì)測(cè)量數(shù)據(jù)精度的影響也越來越不可忽略。目前，在國(guó)內(nèi)外高精度和科學(xué)探測(cè)衛(wèi)星中廣泛應(yīng)用的較為成熟的航天器結(jié)構(gòu)熱變形分析技術(shù)是基于在軌仿真分析溫度場(chǎng)計(jì)算熱變形。 游思梁等通過直接計(jì)算得到的溫度場(chǎng)計(jì)算得到天線在軌熱變形[1]；Stephen 等在針對(duì)LISA 衛(wèi)星開展的光機(jī)熱建模與分析中通過I-IDEAS 軟件仿真得到熱變形分析的溫度場(chǎng)[2]；劉振宇等利用I-IDEAS 軟件分析得到的在軌溫度場(chǎng)完成了對(duì)空間太陽翼的變工況在軌熱變形分析[3]；潘騰、張也馳等利用普通克里格法對(duì)溫度實(shí)測(cè)點(diǎn)進(jìn)行插值并以此計(jì)算了載荷結(jié)構(gòu)熱變形[4]；帥永等采用自適應(yīng)算法和加權(quán)算法求解航天器熱平衡試驗(yàn)中多熱源非線性溫度場(chǎng)反演問題[5]；羅文波等建立了一種基于模型和在軌測(cè)量數(shù)據(jù)的溫度場(chǎng)反演方法，并以此分析了結(jié)構(gòu)穩(wěn)定性指標(biāo)[6]。 但是目前方法均利用完整溫度場(chǎng)對(duì)航天器熱變形進(jìn)行計(jì)算，計(jì)算量大、資源需求多。 工程需求的航天器在軌熱變形分析一方面僅關(guān)注關(guān)鍵部位的變形情況； 另一方面衛(wèi)星上可利用的資源和可測(cè)量的數(shù)據(jù)十分有限。 因此，由部分已知信息獲取關(guān)鍵部位的變形情況具有重要的工程應(yīng)用價(jià)值。 本文利用航天器上有限個(gè)測(cè)量點(diǎn)的溫度測(cè)量數(shù)據(jù)， 通過長(zhǎng)短期記憶網(wǎng)絡(luò) （Long Short-Term Memory，LSTM）對(duì)其熱變形進(jìn)行預(yù)測(cè)，并對(duì)結(jié)果進(jìn)行了分析。

1 熱變形預(yù)測(cè)方法

1.1 總體思路

本文采用神經(jīng)網(wǎng)絡(luò)的方法， 通過有限個(gè)測(cè)量點(diǎn)的溫度測(cè)量數(shù)據(jù)對(duì)航天器結(jié)構(gòu)熱變形進(jìn)行預(yù)測(cè)。 首先選取有限個(gè)航天器有限元模型節(jié)點(diǎn)的溫度數(shù)據(jù)與變形數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的樣本集； 然后采用貝葉斯優(yōu)化算法對(duì)神經(jīng)網(wǎng)絡(luò)超參數(shù)進(jìn)行優(yōu)化； 最后對(duì)比選擇優(yōu)化后的神經(jīng)網(wǎng)絡(luò)用作航天器熱變形預(yù)測(cè)。 具體流程如圖1 所示。

圖1 熱變形預(yù)測(cè)方法流程

1.2 數(shù)據(jù)選取與處理

高分七號(hào)是我國(guó)首顆亞微米級(jí)高分辨率光學(xué)傳輸型立體測(cè)繪衛(wèi)星， 配置雙線陣相機(jī)和2 束激光測(cè)高儀， 能獲取高空間分辨率立體測(cè)繪遙感數(shù)據(jù)和高精度激光測(cè)高數(shù)據(jù)。本文采用文獻(xiàn)[6]中方法，基于在軌溫度測(cè)量數(shù)據(jù)反演出衛(wèi)星結(jié)構(gòu)在軌溫度場(chǎng)。 輸入數(shù)據(jù)為高分七號(hào)有限元模型節(jié)點(diǎn)溫度，在本文中作為精確值；輸出數(shù)據(jù)為高分七號(hào)兩個(gè)相機(jī)與激光測(cè)高儀安裝面擬合平面法線矢量之間的夾角，該夾角通過在有限元模型上施加完整溫度場(chǎng)計(jì)算而得，變形計(jì)算采用的有限元模型根據(jù)地面熱變形試驗(yàn)已完成模型修正， 在本文中作為精確值。用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的樣本集記為：式中：xi—輸入數(shù)據(jù)，組成輸入空間X；yi—輸出數(shù)據(jù)，組成輸出空間Y。

為了使用較少的作為輸入數(shù)據(jù)的節(jié)點(diǎn)， 即降低輸入數(shù)據(jù)維度，需要對(duì)衛(wèi)星有限元模型節(jié)點(diǎn)進(jìn)行選擇。高分七號(hào)完整有限元模型如圖2 所示， 其中載荷模型及其安裝結(jié)構(gòu)認(rèn)為是恒溫，需人工篩去，只保留部分結(jié)構(gòu)模型，如圖3 所示。然后識(shí)別出與輸入數(shù)據(jù)相關(guān)性高的節(jié)點(diǎn)，本文采 用 最 大 信 息 系 數(shù)[7]（Maximal Information Coefficient，MIC）作為相關(guān)性度量。

直接作為本文輸出數(shù)據(jù)的是衛(wèi)星載荷安裝面法線矢量間的夾角， 需要對(duì)有限元方法計(jì)算得到的安裝節(jié)點(diǎn)位移進(jìn)行轉(zhuǎn)化，轉(zhuǎn)換方法為文獻(xiàn)[8]中提出的點(diǎn)云數(shù)據(jù)平面擬合方法。 衛(wèi)星三個(gè)載荷安裝面法線矢量之間的夾角分別定義為O1、O2、O3。

為了消除數(shù)據(jù)數(shù)量級(jí)對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練精度的影響，需要對(duì)數(shù)據(jù)進(jìn)行歸一化。 設(shè)原始輸入數(shù)據(jù)為：

同理，輸出數(shù)據(jù)也在對(duì)原始數(shù)據(jù)進(jìn)行歸一化得到，并與輸入數(shù)據(jù)組成樣本集D。

1.3 基于LSTM 網(wǎng)絡(luò)模型的熱變形預(yù)測(cè)

圖2 高分七號(hào)完整有限元模型

圖3 高分七號(hào)部分結(jié)構(gòu)有限元模型

衛(wèi)星于軌道空間呈周期性運(yùn)動(dòng)， 其熱環(huán)境具有一定的周期性， 因此其溫度及熱變形數(shù)據(jù)是與時(shí)間相關(guān)的時(shí)間序列。 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）將時(shí)序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)中， 是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)。 循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)可以通過隨時(shí)間反向傳播算法（Backpropagation Through Time，BPTT）[9]來學(xué)習(xí)。 但是當(dāng)輸入序列比較長(zhǎng)時(shí)，會(huì)存在梯度消失和梯度爆炸問題[10]，即長(zhǎng)程依賴問題。 在眾多RNN 的變體中，長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）模型引入了輸入門、 遺忘門和輸出門的門控機(jī)制[13]， 彌補(bǔ)了RNN 的長(zhǎng)程依賴問題和長(zhǎng)期記憶能力不足等問題，使得循環(huán)神經(jīng)網(wǎng)絡(luò)能夠真正有效地利用長(zhǎng)距離的時(shí)序信息。

設(shè)一個(gè)給定的輸入序列為x1：T=（x1，x2，…，xt，…，xT），則LSTM 網(wǎng)絡(luò)前向計(jì)算公式可以表示為：

式中：ht、it、ft、ot、ct分別為t 時(shí)刻隱含層活性值、輸入門、遺忘門、 輸出門和細(xì)胞狀態(tài)；W、U、b 為網(wǎng)絡(luò)參數(shù)；σ 和tanh 分別為sigmoid 函數(shù)和雙曲正切激活函數(shù)。

LSTM 網(wǎng)絡(luò)參數(shù)學(xué)習(xí)采用的是與經(jīng)典反向傳播（Back Propagation，BP） 算法原理類似的BPTT 算法，其步驟為：①式（4）～式（9）計(jì)算LSTM 細(xì)胞的輸出值；②反向計(jì)算每個(gè)LSTM 細(xì)胞的誤差項(xiàng)； ③根據(jù)相應(yīng)的誤差項(xiàng)計(jì)算每個(gè)權(quán)重矩陣的梯度； ④應(yīng)用基于梯度的優(yōu)化算法更新權(quán)重矩陣。

目前， 深度神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)主要是通過梯度下降法來尋找一組最小化結(jié)構(gòu)風(fēng)險(xiǎn)的參數(shù)， 可以分為批量梯度下降、 隨機(jī)梯度下降和小批量梯度下降三種形式。 本文選用的是適應(yīng)性動(dòng)量估計(jì)（Adaptive moment estimation，Adam）算法[14]。 Adam 算法不但使用動(dòng)量作為參數(shù)更新的方向，而且可以自適應(yīng)調(diào)整學(xué)習(xí)率。 LSTM 網(wǎng)絡(luò)模型訓(xùn)練過程中使用的損失函數(shù)為常用于回歸問題的平方損失函數(shù)，其定義為：

式中：f（xi）為L(zhǎng)STM 網(wǎng)絡(luò)模型預(yù)測(cè)值。

LSTM 網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、隱含層和輸出層。 本文對(duì)比兩種不同隱含層的LSTM 網(wǎng)絡(luò)模型，分別記為neta和netb，兩種模型結(jié)構(gòu)分別如圖4、5 所示。 neta為單隱含層；netb兩層LSTM 層中間加一層丟棄層。

圖4 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)neta

圖5 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)netb

LSTM 網(wǎng)絡(luò)訓(xùn)練收斂判據(jù)為：①驗(yàn)證集最小均方誤差連續(xù)6 次不更新；②訓(xùn)練集最小均方誤差連續(xù)10 次不更新；③訓(xùn)練集均方誤差減小幅度連續(xù)10 次小于ε，本文中令ε=10-5。 三個(gè)收斂判據(jù)滿足其一，即停止網(wǎng)絡(luò)訓(xùn)練并認(rèn)為其收斂。

1.4 貝葉斯優(yōu)化LSTM 網(wǎng)絡(luò)模型超參數(shù)

在神經(jīng)網(wǎng)絡(luò)中，除了可學(xué)習(xí)參數(shù)外，還存在不能直接通過訓(xùn)練學(xué)習(xí)的超參數(shù)需優(yōu)化。 常用的超參數(shù)優(yōu)化方法有網(wǎng)格搜索、隨機(jī)搜索、遺傳算法、粒子群算法和貝葉斯優(yōu)化等。 其中貝葉斯優(yōu)化是一種以貝葉斯定理為理論基礎(chǔ)的自適應(yīng)的超參數(shù)優(yōu)化算法[15-16]，其根據(jù)當(dāng)前已經(jīng)試驗(yàn)的超參數(shù)組合來預(yù)測(cè)下一個(gè)可能的最大收益組合，只需要較少次數(shù)的目標(biāo)函數(shù)評(píng)估即可獲得理想解，非常適用于求解目標(biāo)函數(shù)未知、非凸、多峰和評(píng)價(jià)代價(jià)高的復(fù)雜優(yōu)化問題[17-18]。 本文采用貝葉斯優(yōu)化算法對(duì)LSTM 網(wǎng)絡(luò)模型的超參數(shù)進(jìn)行優(yōu)化，待優(yōu)化的變量及其約束條件如表1 所示。

表1 待優(yōu)化參數(shù)約束條件

2 度量指標(biāo)

2.1 超參數(shù)優(yōu)化目標(biāo)函數(shù)

通過貝葉斯優(yōu)化算法對(duì)LSTM 網(wǎng)絡(luò)模型超參數(shù)進(jìn)行優(yōu)化， 優(yōu)化過程中以測(cè)試集均方根誤差 （Root Mean Square Error，RMSE）作為待優(yōu)化目標(biāo)函數(shù)。 RMSE 計(jì)算公式為：

式中：f（xi）、yi分別為觀測(cè)值和目標(biāo)輸出值，n 為樣本數(shù)量。優(yōu)化過程中， 滿足優(yōu)化次數(shù)大于50 次且15 次沒有更新最小目標(biāo)值的條件，即認(rèn)為達(dá)到最優(yōu)解。

2.2 LSTM 網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)

RMSE 不僅可以作為優(yōu)化超參數(shù)的目標(biāo)函數(shù)， 而且可以對(duì)LSTM 網(wǎng)絡(luò)模型的整體預(yù)測(cè)精度進(jìn)行量化評(píng)價(jià)。除此之外，本文還分別選擇平均絕對(duì)誤差（MAE）、平均相對(duì)誤差（MAPE）和最大絕對(duì)誤差（MaxAE）從多角度對(duì)LSTM 網(wǎng)絡(luò)模型進(jìn)行精度量化評(píng)價(jià)，其計(jì)算公式分別如式（13）～式（15）所示。

式中：由于樣本變化范圍僅為其目標(biāo)值10-6量級(jí)，因此在計(jì)算MAPE 時(shí)， 選取樣本目標(biāo)值的峰峰值P 作為計(jì)算時(shí)的分母，P= max（yi）-min（yi），i=1，2，…，n。

3 算例分析

結(jié)合高分七號(hào)溫度測(cè)量在軌數(shù)據(jù)， 應(yīng)用貝葉斯算法優(yōu)化LSTM 網(wǎng)絡(luò)模型并展開分析。樣本原始數(shù)據(jù)來自高分七號(hào)在軌測(cè)量數(shù)據(jù)及有限元仿真分析熱變形， 共20 軌，每軌包括190 個(gè)測(cè)量時(shí)刻，即共3800 組數(shù)據(jù)。將樣本集D按70%、15%、15%的時(shí)序比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，其中訓(xùn)練集用于LSTM 網(wǎng)絡(luò)模型的參數(shù)學(xué)習(xí)，驗(yàn)證集用于防止訓(xùn)練過擬合，測(cè)試集用于模型預(yù)測(cè)結(jié)果檢驗(yàn)。

3.1 實(shí)驗(yàn)設(shè)計(jì)

為探究不同影響因素對(duì)預(yù)測(cè)精度的影響， 設(shè)計(jì)了變量包括輸入數(shù)據(jù)選取方法、輸入維度、輸出維度和LSTM網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)照實(shí)驗(yàn)組，如表2 所示。其中輸入數(shù)據(jù)選取方法為1.2 節(jié)中提到的MIC 方法，記mki為第i 個(gè)節(jié)點(diǎn)與第k 個(gè)夾角之間的MIC 值，其矩陣形式為：

MIC 值越大，相關(guān)性越高。 本文中根據(jù)MIC 系數(shù)選取輸入數(shù)據(jù)方法分為兩類：一類是矩陣M 每列取均值并降序排列，按輸入維度選取MIC 均值大的節(jié)點(diǎn)， 節(jié)點(diǎn)溫度即為輸入數(shù)據(jù)，記為方法M；另一類矩陣M 每行分別降序排列，分別選取每行MIC 系數(shù)大的節(jié)點(diǎn)，記為方法I。同時(shí)，由于有限元模型及溫度場(chǎng)自身特性，相鄰節(jié)點(diǎn)的MIC 值可能非常接近，因此從溫度測(cè)點(diǎn)分布的角度考慮， 需要對(duì)選出的節(jié)點(diǎn)再進(jìn)行一次相關(guān)性篩選。

為比較輸出維度對(duì)預(yù)測(cè)精度影響，設(shè)置了輸出維度分別為1 和3 的對(duì)照組， 相應(yīng)需要訓(xùn)練的LSTM 網(wǎng)絡(luò)模型數(shù)量分別為3 和1。

表2 實(shí)驗(yàn)組設(shè)置

3.2 結(jié)果分析

圖6 實(shí)驗(yàn)組A1-A8 及B1-B8 貝葉斯優(yōu)化結(jié)果

圖7 實(shí)驗(yàn)組C1-C4 貝葉斯優(yōu)化結(jié)果

貝葉斯優(yōu)化算法對(duì)LSTM 網(wǎng)絡(luò)模型超參數(shù)優(yōu)化結(jié)果如圖6-圖8 所示。 圖中所示橫坐標(biāo)為選取作為輸入數(shù)據(jù)的節(jié)點(diǎn)數(shù)量，即輸入維度；縱坐標(biāo)為測(cè)試集RMSE，其值越小表示對(duì)測(cè)試集整體的預(yù)測(cè)精度越高。 根據(jù)結(jié)果進(jìn)行分析可以得出如下結(jié)論：①整體上來說，RMSE 隨輸入維度增加呈下降趨勢(shì)，其中實(shí)驗(yàn)組B4 輸入維度為12，預(yù)測(cè)精度最高，RMSE值為0.0634。實(shí)驗(yàn)組B4 的LSTM 網(wǎng)絡(luò)模型測(cè)試集預(yù)測(cè)結(jié)果與目標(biāo)值對(duì)比情況， 見圖9； ②對(duì)比輸入數(shù)據(jù)選取方法M 和I， 方法M 在輸入維度為3 和6 時(shí)，預(yù)測(cè)效果優(yōu)于方法I； 但當(dāng)輸入維度較大， 即為9 和12時(shí)，方法I 預(yù)測(cè)效果優(yōu)于方法M；③輸入維度對(duì)多層結(jié)構(gòu)網(wǎng)絡(luò)netb預(yù)測(cè)精度的影響小于單層結(jié)構(gòu)網(wǎng)絡(luò)neta， 這與netb具有更好的泛化能力有關(guān)； ④實(shí)驗(yàn)組C1-C4 和C5-C8 整體隨輸入維度增加變化趨勢(shì)相似， 其中對(duì)輸出O3的預(yù)測(cè)精度隨輸入維度增加而更高的趨勢(shì)最大， 變化幅值分別為0.0602 和0.1055， 這與衛(wèi)星自身熱變形有關(guān)，即沿某一方向變化較明顯，其余兩個(gè)方向變化較弱。

圖8 實(shí)驗(yàn)組C5-C8 貝葉斯優(yōu)化結(jié)果

圖9 實(shí)驗(yàn)組B4 貝葉斯優(yōu)化結(jié)果

各實(shí)驗(yàn)組LSTM 網(wǎng)絡(luò)模型測(cè)試集預(yù)測(cè)結(jié)果的MAE、MAPE 和MaxAE 如表3 所示。MAE 和MAPE 最小值均為實(shí)驗(yàn)組C2 和C3， 其中MAE 最小值分別為7.956×10-6、8.609×10-6和7.177×10-6，MAPE 最小值分別為2.60%、2.63%和2.45%，但兩個(gè)實(shí)驗(yàn)組都出現(xiàn)對(duì)某一維度預(yù)測(cè)效果較差的現(xiàn)象，這與C 實(shí)驗(yàn)組采用三個(gè)獨(dú)立的LSTM 網(wǎng)絡(luò)模型分別對(duì)三個(gè)維度輸出進(jìn)行預(yù)測(cè)有關(guān)，即對(duì)三個(gè)維度輸出的預(yù)測(cè)各自獨(dú)立； 實(shí)驗(yàn)組A6 雖然對(duì)三維輸出的預(yù)測(cè)效果在對(duì)比實(shí)驗(yàn)組中不是最小值，但是對(duì)三維輸出整體預(yù)測(cè)效果較好。 MAPE 給出了LSTM 網(wǎng)絡(luò)模型預(yù)測(cè)的最大絕對(duì)誤差，其工程意義在于一定程度上給出了誤差變化范圍。

表3 LSTM 網(wǎng)絡(luò)模型預(yù)測(cè)MAE、MAPE 和MaxAE

4 結(jié)論

本文針對(duì)高精度測(cè)繪衛(wèi)星結(jié)構(gòu)尺寸穩(wěn)定性問題，提出了基于較少在軌溫度測(cè)點(diǎn)和LSTM 網(wǎng)絡(luò)模型的航天器熱變形預(yù)測(cè)方法， 包括訓(xùn)練數(shù)據(jù)選取與處理、LSTM 網(wǎng)絡(luò)模型預(yù)測(cè)以及超參數(shù)優(yōu)化等內(nèi)容。 原始在軌測(cè)量數(shù)據(jù)經(jīng)過選取和預(yù)處理，提高了計(jì)算精度。設(shè)計(jì)了包含多個(gè)對(duì)照實(shí)驗(yàn)組的LSTM 網(wǎng)絡(luò)模型預(yù)測(cè)實(shí)驗(yàn)。 采用貝葉斯優(yōu)化算法對(duì)LSTM 網(wǎng)絡(luò)模型超參數(shù)進(jìn)行優(yōu)化， 得到超參數(shù)的最優(yōu)解。 實(shí)驗(yàn)驗(yàn)證表明：①單層結(jié)構(gòu)LSTM 網(wǎng)絡(luò)模型與多層結(jié)構(gòu)相比， 單層結(jié)構(gòu)網(wǎng)絡(luò)對(duì)航天器熱變形問題預(yù)測(cè)更準(zhǔn)確，但是其受輸入維度影響更大，預(yù)測(cè)精度隨輸入維度增大而更高；②輸入數(shù)據(jù)選取方法根據(jù)不同維度輸出分別選取，以達(dá)到更高的預(yù)測(cè)精度；③對(duì)不同維度輸出分別做各自獨(dú)立的LSTM 網(wǎng)絡(luò)模型訓(xùn)練可以達(dá)到更高的精度，但資源占用更多。

本文探索了LSTM 網(wǎng)絡(luò)模型在航天器熱變形預(yù)測(cè)領(lǐng)域中的適用性，擴(kuò)展了深度學(xué)習(xí)技術(shù)的應(yīng)用范疇；分析了該方法在航天器熱變形預(yù)測(cè)問題中的結(jié)果，驗(yàn)證了該方法的有效性。