基于LSTM 神經(jīng)網(wǎng)絡(luò)的彈藥消耗預(yù)測*

李廣寧，史憲銘，陳 磊，趙 美

（陸軍工程大學石家莊校區(qū)，石家莊 050000）

0 引言

彈藥保障是裝備作戰(zhàn)的基礎(chǔ)，彈藥消耗量預(yù)計可為彈藥籌措、儲備和補給的決策工作提供科學依據(jù)，彈藥消耗量預(yù)計結(jié)果的正確性和快捷性，是做好彈藥保障工作的關(guān)鍵。但在當前的彈藥消耗量預(yù)計過程中，考慮彈藥、目標和毀傷程度方面的研究較多，而考慮作戰(zhàn)環(huán)境影響的研究存在不足，造成在不同作戰(zhàn)環(huán)境條件下的彈藥消耗量預(yù)計結(jié)果往往一致性較強，甚至不作考慮。

彈藥消耗預(yù)測一直以來是后勤保障領(lǐng)域的重難點。目前，通過神經(jīng)網(wǎng)絡(luò)進行各因素預(yù)測彈藥消耗的方法有很多，比如齊浩淳等利用神經(jīng)網(wǎng)絡(luò)方法，建立了高寒山區(qū)彈藥消耗預(yù)測模型，描述了模型的預(yù)測過程和步驟，結(jié)合高寒山區(qū)的實際情況，分析了高寒山區(qū)彈藥供應(yīng)保障的消費需求；史憲銘等針對高原寒區(qū)特殊復雜的作戰(zhàn)背景，提出了一種基于模糊（back propagation，BP）神經(jīng)網(wǎng)絡(luò)的彈藥換算系數(shù)優(yōu)化模型。該模型借助模糊隸屬度，對難以量化的彈藥消耗影響因素進行量化，從而提高彈藥換算系數(shù)的準確性，進而構(gòu)建了彈藥換算系數(shù)的計算模型。對影響高原寒冷地區(qū)彈藥消耗的主要因素進行了模糊分析和量化，在此基礎(chǔ)上建立了模糊BP 神經(jīng)網(wǎng)絡(luò)模型；田德紅等利用（deep neural networks，DNN）確定網(wǎng)絡(luò)各層的最優(yōu)激活函數(shù)，基于（modified particle swarm optimization，MPSO）參數(shù)優(yōu)化得到網(wǎng)絡(luò)各層的最優(yōu)權(quán)重和閾值，進而構(gòu)建基于MPSO 和DNN 融合的航空彈藥訓練消耗預(yù)測模型；楊侃等主要結(jié)合武警部隊非致命武器（催淚彈）的一些性能指標，根據(jù)不同的事件規(guī)模，利用BP 神經(jīng)網(wǎng)絡(luò)對預(yù)測其反恐態(tài)勢的武器使用量基數(shù)的最小量進行分析和評估。這些文章通過分析神經(jīng)網(wǎng)絡(luò)的原理特性，分析各因素對于彈藥消耗的影響，訓練數(shù)據(jù)得到學習率，進而進行彈藥預(yù)測。

深度學習作為一種有著非常良好效果的人工智能算法，不同于傳統(tǒng)的預(yù)測方法，尤其是在處理非線性問題時。近年來，深度學習在彈藥預(yù)測中的熱度非常高。在我國專家學者的研究成果中，最常用的深度學習算法是簡單神經(jīng)網(wǎng)絡(luò)，特別是BP 神經(jīng)網(wǎng)絡(luò)。然而，BP 神經(jīng)網(wǎng)絡(luò)有著效率較低、網(wǎng)絡(luò)訓練失敗的可能性較大等缺點，對于長時間序列數(shù)據(jù)的訓練和預(yù)測難以使用。彈藥各階段消耗數(shù)據(jù)本質(zhì)上是時間序列，每一階段的彈藥消耗不僅僅受當前的因素影響，還受到上一階段的各因素如作戰(zhàn)決心、消耗限額、氣候環(huán)境等因素的影響，而LSTM 長短期記憶神經(jīng)網(wǎng)絡(luò)作為一種深度學習算法，特別適合對大數(shù)據(jù)時間序列進行預(yù)測分析，能夠獲得較好的預(yù)測效果。

因此，利用深度學習方法預(yù)測彈藥消耗，有助于提高裝備保障的快速度和準確度。本文基于模擬彈藥消耗數(shù)據(jù)，利用LSTM 網(wǎng)絡(luò)對長時間的彈藥消耗進行預(yù)測，并與RNN 神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果進行對比，同時討論了影響LSTM 預(yù)測結(jié)果的因素。經(jīng)過預(yù)測檢驗，擬合效果非常好。

1 方法簡介

1.1 BP 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入層、輸出層和隱含層。BP 神經(jīng)網(wǎng)絡(luò)具有任意復雜的模式分類能力和優(yōu)良的多維函數(shù)映射能力。本質(zhì)上來說，BP 算法就是以網(wǎng)絡(luò)誤差平方為目標函數(shù)、采用梯度下降法來計算目標函數(shù)的最小值。

1.2 RNN 神經(jīng)網(wǎng)絡(luò)

RNN（recurrent neural network，RNN）循環(huán)神經(jīng)網(wǎng)絡(luò)是一種可以處理關(guān)于時間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。與一般的神經(jīng)網(wǎng)絡(luò)相比，它可以處理時間序列變化的數(shù)據(jù)，因為循環(huán)神經(jīng)網(wǎng)絡(luò)隱含層的值不只是取決于當前這次的輸入，還取決于上一次隱藏層的值。

1.3 LSTM 神經(jīng)網(wǎng)絡(luò)

長短期記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，主要是為了解決長時間序列訓練過程中的梯度消失和梯度爆炸問題。和普通的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，長短期記憶神經(jīng)網(wǎng)絡(luò)能夠在更長的時間序列數(shù)據(jù)中，實現(xiàn)更好的預(yù)測功能。

2 建立模型

2.1 資料來源和影響因子

資料數(shù)據(jù)來源于某旅示例戰(zhàn)役144 個時間節(jié)點彈藥消耗示例數(shù)據(jù)，經(jīng)數(shù)據(jù)調(diào)研，選取4 個影響彈藥消耗因子。這些因子在彈藥消耗上有著明確的含義，裝備實力為各種輕型和重型武器裝備的轉(zhuǎn)換指數(shù)。

表1 示例彈藥消耗數(shù)據(jù)

2.2 實驗環(huán)境

本文提出的LSTM 神經(jīng)網(wǎng)絡(luò)方法使用Python語言實現(xiàn)。實驗的關(guān)鍵步驟實現(xiàn)如下所述。

2.2.1 調(diào)用Python 庫和函數(shù)

表2 調(diào)用Python 庫和函數(shù)

2.2.2 構(gòu)建LSTM 模型

2.2.3 擬合與預(yù)測

表3 模型的擬合與預(yù)測

2.3 歸一化處理

為了減少服務(wù)器的計算量，防止神經(jīng)網(wǎng)絡(luò)趨向于較大特征，影響模型的精度，采用Min-Max Normalization 的方法將所有數(shù)據(jù)縮放到區(qū)間［0，1］，具體公式如下：

上述是特征歸一化后的值，是當前特征的最小值和最大值。而后進行數(shù)據(jù)劃分，劃分為訓練集和測試集，進行LSTM 的訓練和預(yù)測。

2.4 參數(shù)調(diào)整

參數(shù)調(diào)整的最終目的是提高預(yù)測精度。在實踐中，預(yù)測精度反映在訓練預(yù)測結(jié)果和觀測值之間的RMSE 和MAE 上。

Batch：深度學習的優(yōu)化算法，就是如何針對梯度下降的問題。有兩種方式來解決參數(shù)更新的問題。一種是將所有數(shù)據(jù)集計算做一次損失函數(shù)，然后計算函數(shù)各參數(shù)的梯度，更新梯度。但是這樣計算量巨大，速度慢。這種計算方法稱為batch gradient descent，即批梯度下降。還有一種是每計算一個數(shù)據(jù)就要統(tǒng)計損失函數(shù)，然后通過損失函數(shù)計算梯度，更新參數(shù)。這種方法叫作隨機梯度函數(shù)，速度快，但是收斂性能不好。為了克服這兩種方法的缺點，本文采用的是mini-batch gradient decent，小幅度的梯度下降，減少了隨機性，計算量也大幅下降。最終選擇batch_size 值為20。

Epoch：為了能夠構(gòu)建預(yù)測速度精度符合標準的神經(jīng)網(wǎng)絡(luò)，需要對網(wǎng)絡(luò)訓練過程中使用的設(shè)置（超參數(shù)）作出許多決定。epoch 是指前向和后向傳播中所有批次的單一訓練迭代。如果epoch 數(shù)過小，網(wǎng)絡(luò)可能擬合不足；如果epoch 數(shù)過大，可能會有過擬合。經(jīng)過計算調(diào)試，選擇epoch=300。

3 實驗分析

3.1 特征選擇

特征選擇過程是對輸入數(shù)據(jù)進行降維的過程。通過去除冗余特征、降低輸入向量空間維數(shù)和優(yōu)化學習樣本，提高訓練效率。影響彈藥消耗預(yù)測的因素很多。不同時間、不同地點根據(jù)不同的地理條件有自己的主要控制因素。但本次的彈藥消耗數(shù)據(jù)量大，容易出現(xiàn)冗余數(shù)據(jù)，影響模型的訓練效率，必須去除。

本文通過測試多個閾值從特征的重要性中選擇特征。具體來說，每個輸入變量的特征重要性本質(zhì)上允許通過重要性來測試每個特征子集。

特征重要性分數(shù)可用于scikit-learn 中的特征選擇。由select from model 類實現(xiàn)，該類采用模型并將數(shù)據(jù)集轉(zhuǎn)換為具有選定特征的子集，閾值可用于決定選擇哪些特征。

通過XGBoost 模型，在訓練集上進行訓練，評估測試。利用從訓練數(shù)據(jù)集計算出的特征重要性，將模型封裝在一個select from model 實例中。本文使用這個模型來選擇特征，用選擇的特征子集去訓練選擇的模型，進而在同樣的特征方案進行評估測試集。運行，得到輸出，如表4 所示。

表4 選擇特征值結(jié)果

因此，選擇3 個特征向量。輸入層節(jié)點為3。

本文從彈藥消耗數(shù)據(jù)的特點出發(fā)，選取變化較大的4 個特征，剔除不變的無用特征。然后，利用XGBoost 算法對這4 個特征進行進一步的分析和篩選。這種算法有3 種計算特征重要性的方式：

“cover”：覆蓋率指標是指與此功能相關(guān)的觀察值的相對數(shù)量；

“gain”：說明特征分割的平均增益；

“frequency”：表示樹中特定特征出現(xiàn)的百分比。

本文中采用“gain”這種方式來計算特征重要性得分。python 中已經(jīng)有了打包好的XGBoost 算法庫，本文只需要調(diào)用這個庫就可以實現(xiàn)特征重要性分析。使用XGBoost 算法獲取每個特征的重要度得分，并按照從大到小的順序進行排序，如圖1 所示。

圖1 特征向量重要度分析

從圖3 可以得出f1（持續(xù)時間）、f3（參戰(zhàn)兵力）、f2（裝備實力），這3 個特征得分較高。因此，上述3個得分較高的特征更適合構(gòu)成實驗的樣本數(shù)據(jù)。

圖3 步長為5 時的測試結(jié)果

3.2 步長選擇

原始數(shù)據(jù)需要轉(zhuǎn)換成適合LSTM 神經(jīng)網(wǎng)絡(luò)輸入的三維形狀數(shù)據(jù)。在對模型進行檢驗時，采用了彈藥消耗的時間序列進行檢驗。結(jié)合模型及實際彈藥消耗情況，本文決定采用步長為1、5、10、20 四種情況來進行對比試驗。結(jié)合表5 和圖2～圖5 可以得出步長為10 時為最佳參數(shù)，MAE 的值最小，預(yù)測契合度很高。

表5 各步長對于MAE 值的對比

圖2 步長為1 時的測試結(jié)果

圖4 步長為10 時的測試結(jié)果

圖5 步長為20 時的測試結(jié)果

3.3 訓練測試

在確定好特性向量后，就可以進行神經(jīng)網(wǎng)絡(luò)訓練和預(yù)測，因為將窗口步長設(shè)定為10，所以144 個時間數(shù)據(jù)點被設(shè)定為134 組數(shù)據(jù)。

為了讓模型更加真實，將前120 組設(shè)置為訓練集，后14 組設(shè)置為測試集。將原數(shù)據(jù)訓練集命名為X_train，訓練后的對比數(shù)據(jù)為Y_train，后14 組測試集命名為X_test，訓練后的預(yù)測數(shù)據(jù)為Y_test。而后得出訓練對比和測試對比結(jié)果。

從圖6 中可以看出隨著訓練集的增加，擬合的效果雖然存在反復，但總體是效果越來越好。利用訓練集的擬合數(shù)據(jù)來進行測試集的擬合測試。從圖7 中可以看到，在消耗數(shù)量未達到400 時，還存在些微小的波動，但彈藥消耗量超過400 時，預(yù)測精度很高。

4 對比試驗

為了更好地驗證LSTM 模型的準確性，利用原始數(shù)據(jù)對本文提出的LSTM 模型、RNN 模型和BP模型進行了比較。LSTM 模型和RNN 模型用Python實現(xiàn)，BP 模型用Matlab 實現(xiàn)。同樣，根據(jù)所述方法，將數(shù)據(jù)分為訓練集和測試集。用訓練集訓練RNN神經(jīng)網(wǎng)絡(luò)模型和BP 神經(jīng)網(wǎng)絡(luò)模型，用模型在測試集上的精度來評價模型。RNN 神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)的訓練效果和測試效果如圖6～圖9 所示。BP神經(jīng)網(wǎng)絡(luò)模型和RNN 神經(jīng)網(wǎng)絡(luò)模型實驗準確性對比如表6 所示。

表6 各模型效果對比

圖6 LSTM 訓練對比

圖7 LSTM 測試對比

圖8 BP 測試對比

圖9 RNN 測試對比

如表所示，LSTM 模型在測試集上的RMSE、MAE 均小于BP 模型和RNN 模型，所以LSTM 模型的預(yù)測能力有非常好的正確率和穩(wěn)定性。而且可以看出，RNN 神經(jīng)網(wǎng)絡(luò)在前期雖然預(yù)測效果不好，但是后期的預(yù)測效果還是不錯的。

由于LSTM 模型對于時間序列數(shù)據(jù)的強大處理能力，在學習大量時間序列樣本數(shù)據(jù)之后，可以總結(jié)出一系列彈藥消耗因素的變化規(guī)律，這是BP 等前饋網(wǎng)絡(luò)模型無法完成的功能。

5 結(jié)論

在以往的研究中，彈藥預(yù)測的方法有很多，如BP 神經(jīng)網(wǎng)絡(luò)和最小二乘法。本文將LSTM 神經(jīng)網(wǎng)絡(luò)應(yīng)用于彈藥消耗預(yù)測，并對其可行性進行了探討，發(fā)現(xiàn)LSTM 網(wǎng)絡(luò)在預(yù)測時間序列彈藥消耗量方面優(yōu)于傳統(tǒng)方法。擴展LSTM 方法的應(yīng)用范圍，可以用LSTM 神經(jīng)網(wǎng)絡(luò)來構(gòu)建彈藥消耗換算體系，為彈藥消耗預(yù)測提供全新思路。