基于ELM的作戰(zhàn)方案樣本驗證及評估方法*

丁曉劍，程文迪

(信息系統(tǒng)工程重點實驗室,江蘇 南京 210007)

基于ELM的作戰(zhàn)方案樣本驗證及評估方法*

丁曉劍，程文迪

(信息系統(tǒng)工程重點實驗室,江蘇 南京 210007)

針對專家制定作戰(zhàn)方案訓(xùn)練樣本時容易受主觀性影響的問題，提出了基于ELM的樣本驗證及評估方法。首先根據(jù)ELM建立作戰(zhàn)方案樣本的預(yù)測模型，然后更正錯誤標記的樣本。仿真實驗表明，利用ELM模型訓(xùn)練更正后的樣本集能有效降低均方根誤差值和提高預(yù)測的準確率。與RBF神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練ELM模型的時間縮短了98.8%，而且無需調(diào)節(jié)激活函數(shù)的參數(shù)就可以得到足夠好的泛化性能。

超限學(xué)習機; 徑向基函數(shù)；作戰(zhàn)方案；評估；泛化性能

0 引言

現(xiàn)代化作戰(zhàn)需要在戰(zhàn)前經(jīng)過嚴格論證，建立多個可行的作戰(zhàn)方案，并從中選取最優(yōu)方案，該過程也稱為作戰(zhàn)方案評估。傳統(tǒng)的方法是由作戰(zhàn)參謀對方案進行推演分析，然后做出決策，給出作戰(zhàn)效果[1-2]。這種方法受人的主觀因素影響較大，決策結(jié)果具有不確定性。一個可行的方法是軍事專家根據(jù)經(jīng)驗對該任務(wù)建立訓(xùn)練樣本，給出可信的打擊效果。然后利用機器學(xué)習方法對作戰(zhàn)方案訓(xùn)練樣本集進行學(xué)習，得到預(yù)測網(wǎng)絡(luò)，再對不同的作戰(zhàn)方案進行預(yù)測。

上述方法會衍生一個重要的問題，如果根據(jù)經(jīng)驗建立的訓(xùn)練樣本的標簽值出現(xiàn)錯誤，是否會對未知的測試樣本預(yù)測造成影響。機器學(xué)習方法的成功率受訓(xùn)練樣本準確性的依賴較大，如果訓(xùn)練樣本的標簽值被錯誤地賦值，預(yù)測出的測試樣本可能也會出現(xiàn)錯誤，在訓(xùn)練樣本集較小的情況錯誤率會明顯放大。

針對這個問題，本文利用一種新型神經(jīng)網(wǎng)絡(luò)方法ELM (extreme learning machine)[3-6]對作戰(zhàn)方案進行建模，尋找可能標記錯誤的訓(xùn)練樣本，并測試ELM網(wǎng)絡(luò)在未知樣本上的泛化性能。

1 相關(guān)工作

神經(jīng)網(wǎng)絡(luò)類型算法由于其模式識別和函數(shù)逼近能力較強，在軍事作戰(zhàn)方案領(lǐng)域有較多成功的應(yīng)用。文獻[7]利用基于神經(jīng)網(wǎng)絡(luò)的集成方法建立了合成旅作戰(zhàn)方案評估網(wǎng)絡(luò)，有效降低了評價過程中認為因素的影響。文獻[8]設(shè)計了基于BP神經(jīng)網(wǎng)絡(luò)對一般性機動發(fā)射導(dǎo)彈作戰(zhàn)方案評估的方法，在短時間對多個作戰(zhàn)方案評估可以有效節(jié)約時間。文獻[9]利用徑向基(radial basis function, RBF)神經(jīng)網(wǎng)絡(luò)設(shè)計了聯(lián)合作戰(zhàn)方案的評估網(wǎng)絡(luò)，并給出了應(yīng)用實例。RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱層和輸出層3層組成的典型前饋式神經(jīng)網(wǎng)絡(luò)，不但具有最佳逼近性能和全局最優(yōu)性，而且結(jié)構(gòu)簡單，學(xué)習速度較快。然而RBF神經(jīng)網(wǎng)絡(luò)需要調(diào)節(jié)隱層節(jié)點個數(shù)、隱層節(jié)點中徑向基函數(shù)的中心和寬度、隱層到輸出層連接權(quán)值等多個參數(shù)才能得到最優(yōu)訓(xùn)練網(wǎng)絡(luò)，不僅耗時，而且網(wǎng)絡(luò)性能對參數(shù)值比較比較敏感。

ELM和RBF同屬于單隱層神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural network,SLFN)，但是ELM網(wǎng)絡(luò)可以表示為線性方程組的形式，而且線性方程組中的隱藏矩陣是隨機生成的，與訓(xùn)練樣本無關(guān)。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，ELM網(wǎng)絡(luò)能在最小化訓(xùn)練樣本錯誤的同時獲得較好的泛化性能。ELM網(wǎng)絡(luò)主要用于函數(shù)的逼近，既可以用于分類學(xué)習，也可以用于回歸分析。文獻[10]證明了當激活函數(shù)是Sigmoid函數(shù)g(x)=1/1+e-x時，SLFN可以以任意精度逼近任意的連續(xù)函數(shù)。文獻[11]已證明幾乎所有的分段連續(xù)函數(shù)(可微的或者不可微的)用于ELM時都具有全局逼近性質(zhì)。

2 ELM方法與方案建模

2.1 ELM方法

j=1,…,N，

(1)

(2)

這N個方程可稱為線性方程組的形式：

Hβ=T，

(3)

式中：

(4)

(5)

(6)

式中：H?為矩陣H的Moore-Penrose廣義逆。

ELM是基于參數(shù)隨機化和最小二乘解思想的SLFN，ELM算法可描述如下：

步驟1：隨機賦值輸入權(quán)wi和偏置bi，i=1,…,N；

步驟2：計算隱藏層輸出矩陣H；

步驟3：計算輸出權(quán)值β=H?T，其中T=(t1,…,tN)T。

算法步驟1中輸入權(quán)wi和偏置bi在(-1,1)N×(0,1)中基于平均概率分布隨機取值。步驟2矩陣H的計算參考式(4)，激活函數(shù)g(x)可選取sigmoidal函數(shù)或者指數(shù)函數(shù)等等。步驟3輸出權(quán)值β的計算參考式(6)，利用廣義逆矩陣的方法不但能最小化訓(xùn)練樣本的錯誤，還能最小化β模的值，能夠保證ELM算法具有較好的泛化性能。

2.2 ELM與RBF的比較

(7)

式中：βi=(βi1,βi2,…,βim)T為連接第i個核和輸出神經(jīng)元的權(quán)向量；μi=(μi1,μi2,…,μim)T為第i個核的中心；σi為核的寬度。一般用高斯函數(shù)的形式來表示核φ：

(8)

訓(xùn)練RBF網(wǎng)絡(luò)需要進行2個階段的學(xué)習：核參數(shù)和權(quán)值向量。首先確定核函數(shù)的中心和寬度，然后再進行連接權(quán)值的學(xué)習。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值。

與RBF網(wǎng)絡(luò)相比，ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機分布函數(shù)產(chǎn)生，并且與訓(xùn)練樣本無關(guān)。訓(xùn)練ELM網(wǎng)絡(luò)即連接權(quán)值β的學(xué)習，只需簡單地計算線性方程組，無需迭代過程。

3 實驗仿真與結(jié)果分析

本節(jié)實驗的目的是驗證ELM網(wǎng)絡(luò)在作戰(zhàn)方案評估中的效果以及與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的學(xué)習性能比較。ELM的激活函數(shù)使用常用的sigmoid函數(shù)，即g(x)=1/(1+exp(-x))。文獻[3]指出BP網(wǎng)絡(luò)由于其學(xué)習機制需要花費大量時間迭代得到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，并且泛化性能較差，在趨向于實時效果的作戰(zhàn)方案評估應(yīng)用中不太適合，本文不采用BP網(wǎng)絡(luò)進行試驗比較。

3.1 實驗數(shù)據(jù)

實驗的數(shù)據(jù)來自文獻[9]的航空兵火力打擊作戰(zhàn)方案數(shù)據(jù)，分為訓(xùn)練樣本集和擬評估測試樣本集。訓(xùn)練樣本集有8個樣本，見表1。測試樣本集有4個樣本，見表2。

表1 作戰(zhàn)方案訓(xùn)練樣本集Table 1 Training samples of battle scheme

表2 作戰(zhàn)方案測試樣本集Table 2 Testing samples of battle scheme

3.2 方案建模

借鑒文獻[9]中的航空兵火力打擊方案數(shù)據(jù)，ELM網(wǎng)絡(luò)的訓(xùn)練樣本xi可選取飛機機型、數(shù)量、攜彈威力、命中精度、突防高度、突擊速度等10個參數(shù)作為屬性，ti可選值有“襲擾”、“壓制”和“摧毀”。由ti的可選值可以看出，對方案的建模實際上是回歸學(xué)習的過程。將火力打擊效果 “襲擾”、“壓制”和“摧毀”量化為1，2和3。對測試樣本進行學(xué)習時，預(yù)測的火力打擊效果模型為

(9)

式中：f(xi)為ELM網(wǎng)絡(luò)對測試樣本xi的預(yù)測值。

3.3 訓(xùn)練樣本實驗分析

本節(jié)實驗的目的是驗證訓(xùn)練樣本的健壯性。訓(xùn)練樣本是由專家組聽取多方意見，共同決策而形成的較為可信的樣本。然而在戰(zhàn)前籌劃階段，由于時間緊任務(wù)重，專家制定的訓(xùn)練樣本也可能出現(xiàn)誤差。將訓(xùn)練樣本分為2組，用ELM網(wǎng)絡(luò)訓(xùn)練一組樣本，再用訓(xùn)練好的ELM網(wǎng)絡(luò)測試另一組樣本。每次實驗將樣本次序隨機打亂，取前4個樣本訓(xùn)練，后4個樣本測試。一共進行10次實驗，利用均方根誤差(root mean square error, RMSE)、預(yù)測正確率(test rate，TR)、預(yù)測錯誤的樣本(test error data, TED)和預(yù)測的值(prediction value, PV)作為測試指標。

從表3可以看出，在10次實驗中，預(yù)測錯誤的樣本以4號和8號居多。在第1，5，8次實驗中，8號樣本為訓(xùn)練樣本，4號樣本作為測試樣本預(yù)測的值接近于2，即8號樣本的標簽值。在第2，4，6，7，10次實驗中，4號樣本為訓(xùn)練樣本，8號樣本作為測試樣本預(yù)測的值接近于1，即4號樣本的標簽值。從表1分析4號樣本和8號樣本的特點，可以看出這兩個樣本在8個屬性上是完全一樣的，只有飛機數(shù)量和攜彈威力2個屬性的值上有少許不同，這說明2個樣本是很相似的，應(yīng)該賦予相同的標簽值。在第9次實驗中，雖然2個樣本都預(yù)測正確，但是8號樣本偏離標簽的值較4號樣本大一些。結(jié)合第3次實驗，8號樣本的標簽值應(yīng)賦予“襲擾”，即數(shù)值1。

下面比較ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本和更正后的訓(xùn)練樣本上的泛化性能，實驗采用本節(jié)的配置，結(jié)果見圖1。

表3 訓(xùn)練樣本實驗結(jié)果Table 3 Training samples simulation results

圖1 ELM在2個數(shù)據(jù)集上泛化性能比較Fig.1 Generalization performance comparison of ELM on two datasets

從圖1 a)可以看出，修正訓(xùn)練樣本的標簽值以后，RMSE值更小，這表明ELM網(wǎng)絡(luò)在更正后的樣本集上預(yù)測準度更高一些。在10次實驗中ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本集上的只有1次完全預(yù)測正確，而在更正后的訓(xùn)練樣本集上只有2次預(yù)測不正確。

3.4 ELM與RBF的泛化性能比較

本節(jié)的目的是分析ELM與RBF對表2測試樣本的泛化性能。測試指標包括訓(xùn)練時間(training time，TT)、均方根誤差(root mean square error, RMSE)和預(yù)測的值(prediction value, PV)。由于文獻[4]中沒有給出樣本的標簽值，我們通過多次實驗比較和屬性值的分析，得出4個樣本的標簽值為：“壓制”、“摧毀”、“襲擾”和“襲擾”，分別量化為：2，3，1，1。RBF網(wǎng)絡(luò)的學(xué)習利用Matlab軟件提供的神經(jīng)網(wǎng)絡(luò)工具箱，對4個樣本的PV為(2.045 7, 3.000 0, 1.192 6, 1.056 3)，RMSE值為0.102 9，TT為0.039 8 s。訓(xùn)練ELM網(wǎng)絡(luò)得到的PV為(1.808 2, 3.000 0, 1.048 5, 1.005 7)，RMSE值為0.099 0，TT為4.746 1e-4 s。

從上面的結(jié)果看出，RBF網(wǎng)絡(luò)的泛化性能和ELM相差不大，但是訓(xùn)練網(wǎng)絡(luò)的時間是ELM的83.86倍。這是由于訓(xùn)練RBF網(wǎng)絡(luò)首先要確定核函數(shù)的中心和寬度，然后再進行連接權(quán)值的學(xué)習。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值，所以網(wǎng)絡(luò)訓(xùn)練時間很長。當訓(xùn)練樣本較大時，將會極大增加網(wǎng)絡(luò)訓(xùn)練的時間，影響方案決策的效率。由于ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機分布函數(shù)產(chǎn)生，與訓(xùn)練樣本無關(guān)，所以ELM網(wǎng)絡(luò)無需迭代即可完成訓(xùn)練過程，所需訓(xùn)練時間很短。另外ELM網(wǎng)絡(luò)的所有參數(shù)都是由某分布隨機產(chǎn)生，與訓(xùn)練樣本無關(guān)，比較使用于時效性要求較高的軍事應(yīng)用場合。

4 結(jié)束語

作戰(zhàn)方案訓(xùn)練樣本集通常由專家根據(jù)經(jīng)驗制定，含有主觀因素，可能含有錯誤的標簽值。利用錯誤的訓(xùn)練樣本預(yù)測未知的樣本集，可能會得到錯誤的預(yù)測結(jié)果。而這種標記錯誤的樣本通常難以檢測，而且會加大作戰(zhàn)方案的評估誤差?；贓LM網(wǎng)絡(luò)的訓(xùn)練樣本檢測方法，能夠彌補專家決策方法的不足，消除由主觀因素帶來的影響，提高對未知作戰(zhàn)方案樣本的預(yù)測精度。

[1] 王鋒,李遠華,許長鵬. 基于動態(tài)推演的合同戰(zhàn)斗作戰(zhàn)方案評估研究 [J]. 裝備指揮技術(shù)學(xué)院學(xué)報，2012, 23(1): 40-44. WANG Feng, LI Yuan-hua, XU Chang-peng. Research on the Combined Combat Operational Plan Assessment Based on Dynamic Evolvement [J]. Journal of the Academy of Equipment Command & Technology, 2012, 23(1): 40-44.

[2] 齊燕博,王平. 基于推理的作戰(zhàn)方案評估系統(tǒng)研究 [J]. 計算機與數(shù)字工程, 2010, 38(1): 78-102. QI Yan-bo, WANG Ping. Reasoning Based Operational Scheme Assessment System [J]. Computer & Digital Engineering, 2010, 38(1): 78-102.

[3] HUANG G B, ZHU Q Y, SIEW CK. Extreme Learning Machine: Theory and Applications [J]. Neurocomputing, 2006, 70 (1-3): 489-501.

[4] HUANG G B, DING X J, ZHOU H M. Optimization Method Based Extreme Learning Machine for Classification[J]. Neurocomputing, 2010, 74(1-3):155-163.

[5] 丁曉劍,趙銀亮. 優(yōu)化極限學(xué)習機的序列最小優(yōu)化方法[J]. 西安交通大學(xué)學(xué)報, 2011, 45(6): 7-12. DING Xiao-jian; ZHAO Yin-liang. A Sequential Minimal Optimization Method for Optimization Extreme Learning Machine [J]. Journal of Xi′an Jiaotong University, 2011, 45(6): 7-12.

[6] HUANG G-B, ZHOU H, DING X, et al. Extreme Learning Machine for Regression and Multiclass Classification [J]. IEEE Trans Syst Man Cybern Part B，2012, 42(2): 513-529.

[7] 王靜巖,鄭建軍,吳裕樹. 一種基于神經(jīng)網(wǎng)絡(luò)的作戰(zhàn)方案評估方法[J]. 軍事運籌與系統(tǒng)工程, 2005, 19(1): 57-61. WANG Jing-yan, ZHEN Jian-jun, WU Yu-shu. A Neural Network Method for Battle Scheme Evaluation [J]. Military Operations Research and Systems Engineering, 2005, 19(1): 57-61.

[8] 高桂清,施旭鑫,李治,等. 基于BP神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈作戰(zhàn)方案評估方法[J]. 四川兵工學(xué)報, 2011, 32(11): 6-9. GAO Gui-qing, SHI Xu-xin, LI Zhi, et al. Evaluation Method of Missile Operation Scheme Based on BP Neural Network [J]. Journal of Sichuan Ordnance, 2011, 32(11): 6-9.

[9] 劉祖煌,程啟月.徑向基神經(jīng)網(wǎng)絡(luò)的聯(lián)合作戰(zhàn)方案評估仿真[J]. 火力指揮與控制, 2013, 38(1): 14-17. LIU Zu-huang, CHENG Qi-yue. Research on Evaluation Model of Joint Operation Scheme Based on RBF Nenral Network [J]. Fire Control & Command Control, 2013, 38(1): 14-17.

[10] LLANAS B, SAINZ F J. Constructive Approximate Interpolation by Neural Networks [J]. Joumal of Computational and Applied Mathematics, 2006, 188(2):283-308.

[11] HUANG G B, CHEN L. Enhanced Random Search Based Incremental Extreme Learning Machine [J]. Neurocomputing, 2008, 71(16-18):3460-3468.

[12] HUANG G B, BABRI H A. Upper Bounds on the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions [J]. IEEE Transactions on Neural Networks, 1998, 9 (1): 224-229.

Verification and Evaluation Method Research of Battle Scheme Samples Based on Extreme Learning Machine

DING Xiao-jian, CHENG Wen-di

(Science and Technology on Information Systems Engineering Laboratory,Jiangsu Nanjing 210007, China)

In order to overcome the deficiency of subjectivity in deciding the label of battle scheme training samples by experts, a verification and evaluation method based on extreme learning machine (ELM) is proposed. The prediction model of battle scheme samples is constructed based on ELM and the wrong samples are corrected. The simulation experimental results show that lower root mean square error and better testing rate can be obtained by training ELM model on correct samples. In contrast with RBF neural network, the training time of ELM is reduced by 98.8%, and a good generalization ability can be obtained without parameters of activation function needing to be adjusted.

extreme learning machine(ELM); radial basis function(RBF); battle scheme; evaluation; generalization ability

2014-09-13；

2014-10-20

丁曉劍(1982-)，男，江蘇南京人。工程師，博士，研究方向為聯(lián)合作戰(zhàn)推演評估技術(shù)。

通信地址：210007 江蘇省南京市1406信箱69分箱 E-mail：wjswsl@163.com

10.3969/j.issn.1009-086x.2015.04.034

E917; TP18；TP39

A

1009-086X(2015)-04-0204-06