基于長(zhǎng)短期記憶網(wǎng)絡(luò)的載荷譜外推方法研究

向華榮，曾 敬，鄭國(guó)峰，秦致遠(yuǎn)

(1.重慶西部汽車試驗(yàn)場(chǎng)管理有限公司， 重慶 408300；2.中國(guó)汽車工程研究院股份有限公司， 重慶 401122)

在汽車或零部件的開發(fā)過程中，可靠性均需要通過道路試驗(yàn)進(jìn)行檢驗(yàn)。根據(jù)疲勞理論的損傷等效原理，在已知用戶使用環(huán)境及汽車載荷輸入的情況下，理論上可通過在試驗(yàn)場(chǎng)里按照一定比例混合各種強(qiáng)化路面，復(fù)現(xiàn)出用戶工況下的載荷輸入。通過試驗(yàn)場(chǎng)的強(qiáng)化路面，可以在較短的時(shí)間內(nèi)完成可靠性驗(yàn)證試驗(yàn)，達(dá)到減少試驗(yàn)時(shí)間、縮短研發(fā)周期的目的。出于降低研發(fā)成本和時(shí)間的考慮，一般用戶使用環(huán)境的汽車載荷輸入不會(huì)以目標(biāo)里程為基準(zhǔn)進(jìn)行載荷譜采集，而是根據(jù)用戶道路比例分布情況，按類型進(jìn)行采集，在樣本量足夠的前提下進(jìn)行載荷譜外推，實(shí)現(xiàn)目標(biāo)里程下的載荷譜獲取。

目前較為典型的外推方法包含參數(shù)外推法、按里程分位點(diǎn)外推法、峰值(peak over threshold，POT)外推法、雨流矩陣外推法[1-3]等。其中參數(shù)外推法的原理是獲取載荷譜均值、幅值的二維概率分布函數(shù)，基于概率密度分布函數(shù)以及外推目標(biāo)里程，將相應(yīng)的累積頻次進(jìn)行外推。POT外推法認(rèn)為載荷譜時(shí)間序列中超過閾值的峰值服從一定的分布，通過對(duì)超過閾值的峰值的概率密度函數(shù)的擬合，基于概率密度函數(shù)對(duì)峰值進(jìn)行外推。雨流矩陣外推法先將載荷譜通過雨流計(jì)數(shù)得到雨流矩陣，從雨流矩陣中選擇外推的閾值計(jì)算穿越等級(jí)密度，然后通過累積雨流矩陣獲取極限進(jìn)行雨流矩陣估計(jì)外推。也有學(xué)者[4]對(duì)通過雨流計(jì)數(shù)后的分布進(jìn)行核密度統(tǒng)計(jì)，得到非參數(shù)雨流外推模型后運(yùn)用蒙特卡洛方法隨機(jī)放置載荷循環(huán)進(jìn)行外推。上述方法可根據(jù)載荷譜的特點(diǎn)或應(yīng)用目的來進(jìn)行選擇，但往往在用分布函數(shù)進(jìn)行擬合或設(shè)置閾值時(shí)引入了人為因素，外推結(jié)果需要再轉(zhuǎn)化為時(shí)域程序譜作為下一步的輸入。

本文基于長(zhǎng)短期記憶網(wǎng)絡(luò)(long-short term memory，LSTM)算法，對(duì)采集到的載荷譜進(jìn)行外推[5-6]。該方法基于已有的采集樣本，對(duì)目標(biāo)里程下的剩余樣本進(jìn)行預(yù)測(cè)，直接得到目標(biāo)里程下時(shí)域譜結(jié)果，在主要步驟上可減少外推中主觀因素的影響。對(duì)不同外推方法進(jìn)行對(duì)比，結(jié)果表明：所提出的方法能夠?qū)崿F(xiàn)對(duì)載荷譜的外推，且基于LSTM的外推方法能很好地復(fù)現(xiàn)原始雨流圖分布特征。

1 基于長(zhǎng)短期記憶網(wǎng)絡(luò)算法的載荷譜外推理論

長(zhǎng)短期記憶網(wǎng)絡(luò)是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，LSTM可以識(shí)別并記憶時(shí)間序列中長(zhǎng)期信息的特征，并對(duì)當(dāng)前的輸出產(chǎn)生影響。LSTM直接利用計(jì)算機(jī)“學(xué)習(xí)”原數(shù)據(jù)的特征，故該方法能在主要步驟上減少人的主觀因素。目前該方法已成功運(yùn)用在語音識(shí)別、機(jī)器翻譯、交通流量預(yù)測(cè)、經(jīng)濟(jì)模型的擬合及預(yù)測(cè)上。黃婷婷等[7]通過LSTM神經(jīng)網(wǎng)絡(luò)的長(zhǎng)期依賴特性來提高金融時(shí)間序列的預(yù)測(cè)精度，楊甲甲等[8]成功將其運(yùn)用到工業(yè)負(fù)荷短期預(yù)測(cè)上，楊國(guó)田等[9]將其運(yùn)用到火電廠NOx排放預(yù)測(cè)上，取得較好效果。本文使用LSTM對(duì)載荷譜時(shí)間序列進(jìn)行學(xué)習(xí)后，通過得到的模型對(duì)原載荷譜進(jìn)行長(zhǎng)期預(yù)測(cè)，以達(dá)到“外推”的目的?；陂L(zhǎng)短期記憶網(wǎng)絡(luò)算法的載荷譜外推基本流程見圖1。

圖1 LSTM外推基本流程

根據(jù)圖1，基于長(zhǎng)短期記憶網(wǎng)絡(luò)算法的載荷譜外推方法的主要步驟如下：

步驟1 將載荷譜輸入到基于長(zhǎng)短期記憶網(wǎng)絡(luò)算法中。

步驟2 將輸入的載荷譜數(shù)據(jù)進(jìn)行正則化，并劃分訓(xùn)練集和測(cè)試集。劃分訓(xùn)練集的目的在于獲取適應(yīng)輸入樣本的數(shù)學(xué)模型；劃分測(cè)試集的目的在于通過訓(xùn)練得到數(shù)學(xué)模型，之后對(duì)樣本進(jìn)行載荷譜外推。

步驟3 基于LSTM算法，對(duì)輸入載荷譜進(jìn)行訓(xùn)練，獲取適應(yīng)輸入樣本的數(shù)學(xué)模型。LSTM算法由輸入層xt、輸出層ht、遺忘層ft、狀態(tài)更新層Ct組成。對(duì)于標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)，每個(gè)時(shí)刻的隱層狀態(tài)由當(dāng)前時(shí)刻的輸入與之前的隱層狀態(tài)相結(jié)合組成，即LSTM 具有“記憶”功能。

LSTM的一個(gè)單位的基本結(jié)構(gòu)如圖2所示，其中xt序列為輸入時(shí)間序列，ht為輸出時(shí)間序列。LSTM的最大特點(diǎn)就是輸入xt不僅會(huì)影響到輸出ht，還會(huì)將Ct-1改變?yōu)镃t,Ct和ht將輸入到下一個(gè)基本單元甚至傳遞到更遠(yuǎn)的基本單元并影響其狀態(tài)。

圖2 LSTM單元結(jié)構(gòu)

(1)

遺忘層ft由式(2)給出，它決定了過去記憶單元對(duì)當(dāng)前記憶單元的重要程度，其由一個(gè)sigmoid函數(shù)控制輸出。

ft=σ(Wf·[ht-1,xt]+bf)

(2)

輸入層由式(3)給出，其與遺忘層類似，也是通過一個(gè)sigmoid函數(shù)來控制輸出，得到一個(gè)在[0,1]范圍的值，控制被加入的新信息。

it=σ(Wi·[ht-1,xt]+bi)

(3)

綜合以上各層，最新記憶由式(4)給出，在整個(gè)學(xué)習(xí)過程中，其狀態(tài)會(huì)不斷更新。

(4)

輸出層由式(5)(6)給出，輸出門的作用是篩選出記憶單元和隱層單元中存在的冗余信息，輸出時(shí)如果已達(dá)到閾值，就將輸出與當(dāng)前層的計(jì)算結(jié)果相乘，并把得到的結(jié)果作為下一層的輸入；如果未達(dá)到閾值，則“遺忘”輸出結(jié)果。

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

采用交叉熵?fù)p失作為代價(jià)函數(shù)能更好地解決參數(shù)更新效率下降問題，其損失C可通過式(7)進(jìn)行計(jì)算，其中n表示樣本總數(shù)，zl表示實(shí)際值。

(1-z)ln(1-f(∑lwlxl+bl))

(7)

將訓(xùn)練的輸出數(shù)據(jù)與測(cè)試數(shù)據(jù)進(jìn)行對(duì)比，計(jì)算兩組數(shù)據(jù)的交叉熵代價(jià)函數(shù)。每一次訓(xùn)練中，經(jīng)過前向計(jì)算得到當(dāng)前訓(xùn)練階段的代價(jià)函數(shù)，通過誤差反向傳播進(jìn)行網(wǎng)絡(luò)參數(shù)的更新，直至n次訓(xùn)練后代價(jià)函數(shù)收斂為止。

4) 對(duì)輸入載荷譜進(jìn)行外推計(jì)算。通過得到的模型對(duì)原載荷譜進(jìn)行長(zhǎng)期預(yù)測(cè)，以達(dá)到“外推”的目的。

2 基于LSTM的載荷譜外推算法應(yīng)用

2.1 載荷譜采集

本次試驗(yàn)在樣車各輪輪心處及減震器上安裝加速度傳感器，彈簧及部分連桿部位安裝應(yīng)變片，在某汽車試驗(yàn)場(chǎng)的幾條主要特征強(qiáng)化路上進(jìn)行采集，見圖3。需要多次采集強(qiáng)化路面的載荷譜，最后取有效的載荷譜進(jìn)行剔除奇異點(diǎn)、消除趨勢(shì)項(xiàng)、濾波等預(yù)處理。各種試驗(yàn)路況信息見表1。

2.2 基于LSTM的載荷譜外推

基于谷歌發(fā)布的人工智能開源工具TensorFlow[10]建立LSTM外推模型。TensorFlow的特點(diǎn)是使用圖來表示計(jì)算任務(wù)，圖中的一個(gè)操作節(jié)點(diǎn)獲得0個(gè)或多個(gè)張量來執(zhí)行計(jì)算,生成 0個(gè)或多個(gè)張量，每個(gè)張量是一個(gè)類型化的多維數(shù)組。TensorFlow在會(huì)話的上下文中執(zhí)行圖，使用張量表示數(shù)據(jù)，通過變量維護(hù)狀態(tài)。

圖3 傳感器安裝及道路情況

路面類型路面長(zhǎng)度/m試驗(yàn)車速/(km·h-1)卵石路15030比利時(shí)路15040變波矩長(zhǎng)波路22045搓板路40035共振路18840碎石路20050

本文首先通過python環(huán)境導(dǎo)入TensorFlow、pandas、numpy模塊，將利用csv格式進(jìn)行保存的時(shí)域譜數(shù)據(jù)通過pandas.read_csv函數(shù)讀入程序，用data-numpy.mean(data))/numpy.std(data)函數(shù)進(jìn)行標(biāo)準(zhǔn)化處理。在TensorFlow中已將LSTM模型封裝為L(zhǎng)STMCell模塊。本文定義神經(jīng)元數(shù)量為100個(gè)，時(shí)間步長(zhǎng)為20 ms，批處理大小為60，學(xué)習(xí)步長(zhǎng)為0.000 1，在初始化輸入與輸出接口直接調(diào)用該模塊，利用圖1的流程進(jìn)行訓(xùn)練。本文通過NVIDIA提供的CUDA作為硬件支撐，在整個(gè)機(jī)器學(xué)習(xí)過程中，通過tensorboard可以看到整個(gè)學(xué)習(xí)過程中l(wèi)oss的變化，見圖4。當(dāng)學(xué)習(xí)準(zhǔn)確率達(dá)到98%時(shí)，繼續(xù)學(xué)習(xí)的收益變小，可停止訓(xùn)練。

圖4 訓(xùn)練過程中輸入層偏置b、權(quán)重W的變化

利用訓(xùn)練得到的超參數(shù)模型即可進(jìn)行外推，部分道路垂向加速度10倍外推結(jié)果如圖5所示。

2.3 基于LSTM的外推前后載荷譜對(duì)比

將LSTM方法外推數(shù)據(jù)與原始數(shù)據(jù)頻譜曲線進(jìn)行對(duì)比，部分道路頻譜曲線如圖6所示。

在頻譜圖上，外推前后數(shù)據(jù)頻譜在總的形態(tài)上有很好的一致性，利用Pearson相關(guān)系數(shù)法對(duì)一致性進(jìn)行檢驗(yàn)。Pearson相關(guān)系數(shù)ρX,Y衡量數(shù)組X和Y線性關(guān)聯(lián)性的程度，系數(shù)的取值總是在-1.0～1.0范圍，接近0的變量被成為無相關(guān)性，接近1或者-1被稱為具有強(qiáng)相關(guān)性。外推前后的頻譜曲線，經(jīng)Pearson相關(guān)系數(shù)法檢驗(yàn)后的結(jié)果如表2所示。經(jīng)LSTM方法外推前后數(shù)據(jù)的頻譜曲線有強(qiáng)相關(guān)性，說明該方法能對(duì)原始數(shù)據(jù)的頻譜特征有很高的學(xué)習(xí)率。

圖5 部分道路垂向加速度10倍外推結(jié)果

圖6 LSTM方法外推后與原始數(shù)據(jù)頻譜圖對(duì)比

表2 外推前后數(shù)據(jù)頻譜曲線的相關(guān)性

3 幾種外推方法的對(duì)比

對(duì)載荷譜的外推，普遍采用的幾種外推方法的特點(diǎn)見表3。

本文基于LSTM外推方法以及非參數(shù)核密度外推方法中分別采用expanechekov核函數(shù)、Circle核函數(shù)、均值核函數(shù)、幅值核函數(shù)對(duì)在卵石路上采集到的載荷譜進(jìn)行外推，幾種方法的雨流圖對(duì)比見圖7。

表3 幾種外推方法對(duì)比

圖7 卵石路載荷譜雨流圖對(duì)比

從雨流圖可以看出，非參數(shù)核密度外推法的分布趨于“單核”特征，LSTM方法外推分布具有“多核”特征，后者的分布情況及對(duì)各向的疏遠(yuǎn)點(diǎn)的復(fù)現(xiàn)效果更好，在實(shí)際工程運(yùn)用中可選擇LSTM方法進(jìn)行外推。

4 結(jié)束語

本文嘗試?yán)肔STM方法對(duì)汽車載荷譜進(jìn)行外推。LSTM外推方法引入人為因素較少，外推數(shù)據(jù)平穩(wěn)，且可直接表示為時(shí)域數(shù)據(jù)，便于轉(zhuǎn)化為臺(tái)架試驗(yàn)或加速壽命試驗(yàn)的輸入。對(duì)一段載荷譜采用LSTM方法進(jìn)行外推，并對(duì)外推前后的雨流圖進(jìn)行對(duì)比，結(jié)果表明：通過LSTM外推后的載荷譜能較好地復(fù)現(xiàn)原始雨流圖分布特征，該方法有很大的工程應(yīng)用潛力，同時(shí)也展現(xiàn)了機(jī)器學(xué)習(xí)在工程研發(fā)領(lǐng)域的應(yīng)用前景。

LSTM外推方法雖比較“智能”，但機(jī)器學(xué)習(xí)生成的模型不直觀，對(duì)原數(shù)據(jù)特征依賴度較大，所以對(duì)原數(shù)據(jù)的選擇與處理要求更高。未來有如下研究方向：① 進(jìn)一步探討更多種特征的原始載荷譜數(shù)據(jù)在外推前后的差異，建立載荷譜數(shù)據(jù)集；② 嘗試在臺(tái)架試驗(yàn)中進(jìn)行外推時(shí)域譜測(cè)試，并安排實(shí)車道路耐久測(cè)試，將真實(shí)部件損傷情況與仿真情況進(jìn)行對(duì)比。