一種基于改進迭代決策樹算法的目標威脅評估模型?

李寒雨 秦 克 李家志 羅 威 趙開敏

（中國艦船研究設(shè)計中心 武漢 430000）

一種基于改進迭代決策樹算法的目標威脅評估模型?

李寒雨 秦 克 李家志 羅 威 趙開敏

（中國艦船研究設(shè)計中心 武漢 430000）

為了解決當(dāng)前目標威脅程度評估的不足，完善威脅評估體系，在對目標威脅數(shù)據(jù)特點進行分析的基礎(chǔ)上，提出了一種基于改進迭代決策樹算法的目標威脅評估模型。通過實例對比驗證了該模型的有效性和正確性。

迭代決策樹；威脅判斷；評估模型

1 引言

目標威脅程度是指敵方目標對防空武器系統(tǒng)保衛(wèi)目標的威脅程度，或?qū)Ψ揽瘴淦飨到y(tǒng)保衛(wèi)目標實施攻擊的可能性程度。威脅評估是我方對敵方目標威脅量化的一個重要過程，是指揮控制抉擇的重要前提。在現(xiàn)代信息化戰(zhàn)場，作戰(zhàn)人員能夠從各種先進的偵察設(shè)備和戰(zhàn)場傳感器獲取敵方目標的原始數(shù)據(jù)，并通過數(shù)據(jù)預(yù)處理和一級處理得到目標類型、位置、速度等信息。如何對戰(zhàn)場情報中這些目標信息進行分析處理，并迅速、準確地進行威脅評估，以適應(yīng)高技術(shù)條件下現(xiàn)代戰(zhàn)爭對作戰(zhàn)指揮“快節(jié)奏、高效率”的要求，是一項充滿挑戰(zhàn)的課題［1］。

目前，國內(nèi)外對于目標威脅程度評估的研究主要采用的理論和方法有：多屬性決策［2～3］、對策論［4］、案例推理［5］、模糊集［6～7］、證據(jù)理論［8］、直覺模糊集［9～10］、粗糙集［11］、貝葉斯網(wǎng)絡(luò)［12～13］、神經(jīng)網(wǎng)絡(luò)［15］、支持向量機［16］、遺傳算法［17］、基于知識推理的方法［18］、云模型理論［19］等。這些方法各有所長，分別適應(yīng)不同的場景，他們之間的組合也能互相取長補短，提高處理的有效性。

迭代決策樹（Gradient Boosted Decision Trees，GBDT）作為回歸樹的一種，在具有高效率的同時，相對于一般的機器學(xué)習(xí)算法具有防止過擬合、泛化能力強等優(yōu)點，適用于目標威脅程度評估。GBDT的基本思想是通過構(gòu)建多個弱分類器，經(jīng)過多次迭代之后最終組合成一個強分類器。每一次迭代是為了改進上一次的結(jié)果，減少上一次模型的殘差，并且在殘差減少的梯度方向上建立新的組合模型［20］。本文擬將GBDT算法應(yīng)用到目標威脅程度評估中，并采用目前較為流行的XGBoost算法包，進行實驗。

2 迭代決策樹模型

2.1 原理及方法

GBDT 是 1999 年由 Jerome Friedman［21］提出的一種新型迭代決策樹算法，該算法由多棵決策樹組成，最后將所有樹的結(jié)果匯總作為最終答案。GBDT主要由三個概念組成：回歸決策樹（Regression Decision Tree）、梯度提升（Gradient Boosting）、縮減（Shrinkage）。

決策樹是一種常見的機器學(xué)習(xí)方法，不僅可以用于分類，還可用于回歸，它的作用在于數(shù)值預(yù)測，例如用戶的人數(shù)，商品的價格等。GBDT在運行時就使用到了回歸樹的這個性質(zhì)，它將累加所有樹的結(jié)果作為最終結(jié)果。所以，GBDT中的所有決策樹都是回歸樹，而非分類樹。

梯度提升的基本思想是：沿著梯度方向，構(gòu)造一系列的弱分類器函數(shù)，并以一定權(quán)重組合起來，形成最終決策的強分類器。在GBDT中每一棵樹所學(xué)習(xí)的是之前所有樹結(jié)論和的殘差，這個殘差就是一個加預(yù)測值后能得真實值的累加量。

縮減的基本思想是：每次步進小步逐漸逼近結(jié)果的效果，要比步進大步很快逼近結(jié)果的方式更容易避免過擬合。換句話說縮減思想不完全信任每一個棵殘差樹，它認為每棵樹只學(xué)到了真理的小部分，累加的時候只累加小部分，只有通過多學(xué)幾棵樹才能彌補不足?？s減仍然以殘差作為學(xué)習(xí)目標，但由于它采用的是逐步逼近目標的方式，導(dǎo)致各個樹的殘差是漸變的而不是陡變的。避免了過擬合。

算法的原理如下：

假定經(jīng)過多次迭代已經(jīng)產(chǎn)生了一個不太完美的分類器Fm，GBDT并不會去改變已經(jīng)產(chǎn)生的分類器集合，而是加入一個新的分類器h，使得Fm+1的性能會更好，其中，F(xiàn)m+1由式（1）得出。

假定理想狀態(tài)下，h的加入能夠消除Fm的誤差，即

則可以知道

那么我們梯度提升的任務(wù)就是將h擬合，通過訓(xùn)練來修正Fm之前的誤差，算法推導(dǎo)GBDT抽樣出最終的目標是在已有訓(xùn)練集(x1,y1)，(x2,y2)，…，(xn,yn)上使得整體的損失函數(shù)的期望最小，即

根據(jù)風(fēng)險最小化原則，梯度提升每一步求出的函數(shù)都需要最小化數(shù)據(jù)集上的損失函數(shù)，迭代構(gòu)造模型，初始化F0(x)為常函數(shù)，有

在基函數(shù)H中選取最近的梯度f。則對應(yīng)的系數(shù)γ：

在本例子中，損失函數(shù)h采用square-loss，各特征初始權(quán)值設(shè)置相同，則具體流程如下：

算法框架如下

2.2 GBDT算法的改進

1）初始權(quán)值的設(shè)定

梯度提升回歸算法是一種組合決策樹，通過對一系列的弱分類器累加，同時迭代逼近找出各分類器最佳權(quán)值，即損失函數(shù)在梯度下降方向時的參數(shù)，得出預(yù)測結(jié)果。原則上各個分類器的初始權(quán)值應(yīng)該設(shè)置相同，即如算法框架Step1中所示，然而在多次實驗后發(fā)現(xiàn)，目標類型與目標速度對威脅程度的影響遠遠大于其他屬性，故將初始權(quán)值優(yōu)化設(shè)計如下：

其中，βi為初始權(quán)值，Wi為權(quán)值影響因子。

那么算法框架Step1中初始化損失函數(shù)更改為

2）迭代樹數(shù)量的設(shè)定

迭代樹的數(shù)量表達了整個模型的復(fù)雜程度。根據(jù)奧卡姆剃刀原理［22］：在模型選擇時，能夠很好地解釋已知數(shù)據(jù)并且十分簡單的模型才是應(yīng)該選擇的模型。在實驗過程中進行動態(tài)選擇迭代樹的數(shù)量。

采用交叉驗證的方法，在驗證集上偏差最小并且方差最小的迭代樹數(shù)量作為最終模型。

3 實驗設(shè)計

3.1 評價指標

本次實驗的評價指標綜合參考最后預(yù)測的平均絕對誤差（MAE）和決定系數(shù)（R2）。

平均絕對誤差（MAE）是所有單個觀測值與算術(shù)平均值的偏差的絕對值的平均。與平均誤差相比，平均絕對誤差由于離差被絕對值化，不會出現(xiàn)正負相抵消的情況，因而，平均絕對誤差能更好地反映預(yù)測值誤差的實際情況。

決定系數(shù)（coefficient of determination，R2）是指回歸平方和（SSR）在總變差（SST）中所占的比重。決定系數(shù)可以作為綜合度量回歸模型對樣本觀測值擬合優(yōu)度的度量指標。決定系數(shù)越大，說明在總變差中由模型作出了解釋的部分占的比重越大，模型擬合優(yōu)度越好。反之可決系數(shù)小，說明模型對樣本觀測值的擬合程度越差。

3.2 目標威脅等級預(yù)測數(shù)據(jù)

取目標類型、目標速度、目標航向角、目標干擾能力、目標高度、目標距離作為輸入變量，目標威脅值作為輸出變量。借助python的pandas包對數(shù)據(jù)進行預(yù)處理，將標準化后得到的矩陣作為輸入，目標威脅值作為輸出，構(gòu)造模型進行訓(xùn)練。數(shù)據(jù)及處理過程如下：

不失一般性，對某一時刻來襲的75組不同的態(tài)勢進行分析，隨機篩選其中60組作為訓(xùn)練集，剩余15組作為測試集。部分屬性如表1所示。

其中，為了歸一化處理數(shù)據(jù)，對各個屬性采用G.A.Miller的9級量化理論進行量化，其中：

1）目標類型：目標的類型對威脅程度影響較大，其中大型目標如（轟炸機，殲敵轟炸機）威脅程度高，小型目標（如反艦導(dǎo)彈，隱形飛機）次之，直升機最小。按照大型目標、小型目標、直升機依次量化為3、5、8；

2）目標速度：目標的飛行速度直接影響對威脅的評估，即使是同一類型的目標，其速度不同，威脅程度也不大相同。其中，速度按照0m∕s～1800m∕s等間隔依次量化為9～1；

3）目標航向角：航向角越大，攻擊意圖越明顯。其中，按照0°～36°等間隔依次量化為9～1；

表1 訓(xùn)練集部分數(shù)據(jù)

4）目標干擾能力：電子干擾是空襲部隊典型的攻擊手段之一。其中，干擾能力按照強、中、弱、無依次量化為2、4、6、8；

5）目標高度：飛行高度越低，目標被發(fā)現(xiàn)的概率越低。目標較遠時，對我方的攻擊意圖不甚明顯。近距離突然出現(xiàn)的目標威脅性較大。其中，目標距離按照超低、低、中、高依次量化為2、4、6、8；

6）目標距離：目標與我艦的距離越近，防御時間越短，威脅性越大。其中，目標距離按照0～450km等間隔依次量化為9～1。

預(yù)處理之后部分屬性如表2所示。

將預(yù)處理之后的數(shù)據(jù)利用pandas的DataFrame函數(shù)進行轉(zhuǎn)換，形成訓(xùn)練集矩陣，代入模型進行訓(xùn)練。

部分預(yù)測數(shù)據(jù)如表3所示。

由于GBDT模型屬于樹模型，其對于特征的敏感度不高，所以在此不做歸一化等其他預(yù)處理工作。

表2 預(yù)處理后部分訓(xùn)練集數(shù)據(jù)

表3 部分測試集數(shù)據(jù)

3.3 實驗結(jié)果與分析

本次實驗引入隨機森林算法（RF）作為對比，采用Python語言實現(xiàn)改進的GBDT算法與RF算法。

首先，為了評估初始迭代樹數(shù)量對最終訓(xùn)練結(jié)果的影響，得到圖1所示初始迭代樹數(shù)量與R2值的關(guān)系。

圖1 初始迭代樹數(shù)量與R2值的關(guān)系

由圖1可知，在初始迭代樹個數(shù)設(shè)置為［1，20］時，上升趨勢明顯，在［20，45］時R2值略有波動，在初始迭代樹個數(shù)大于45之后，在交叉驗證過程中，不論是測試集還是訓(xùn)練集的R2數(shù)值都趨于穩(wěn)定。綜合考慮R2值與算法復(fù)雜度，初始迭代樹個數(shù)設(shè)置為45。

由于所選取的數(shù)據(jù)包具有自動調(diào)整迭代樹個數(shù)的功能，評定標準為在50次迭代中訓(xùn)練集的均方根誤差不改變。最終模型迭代樹個數(shù)為100。在迭代樹個數(shù)為100，取得的實驗結(jié)果與RF實驗結(jié)果對比如圖2所示。

圖2 預(yù)測結(jié)果對比圖

各個算法性能如表4所示。

表4 算法性能對比圖

由預(yù)測結(jié)果對比圖和性能表可以看出改進的GBDT算法的訓(xùn)練精度比隨機森林要更高，效果更好。平均絕對誤差為1.39%，滿足威脅程度評估的需求。證明了該方法的有效性。

4 結(jié)語

綜上所述，GBDT算法是由多個弱分類器累加組成的強分類器，具有很強的泛化能力，適合網(wǎng)格類數(shù)據(jù)的分析與預(yù)測。本文中，針對目標威脅值的特征，加入了初始權(quán)重調(diào)整函數(shù)，在具體運算的過程中加入了迭代樹自動選擇函數(shù)。實驗表明，改進算法取得了較小的絕對誤差和較大的決定系數(shù)，性能有一定的提升。對威脅程度評估提供了一個新的思路。然而由于條件限制，并沒有進行實時預(yù)測功能測試，因此對于算法模型的實際運行情況分析將成為下一步研究重點。

［1］王浩，劉敬民，張潔，等.先進戰(zhàn)斗機光電傳感器綜合系統(tǒng)及其光電對抗技術(shù)［J］.光電技術(shù)應(yīng)用，2005，20（5）：67-72.

［2］Qu C，He Y.A method of threat assessment using multiple attribute decision making［C］∕International Conference on Signal Processing.IEEE，2002：1091-1095.

［3］王小藝，劉載文，侯朝楨，等.基于模糊多屬性決策的目標威脅估計方法［J］. 控制與決策，2007，22（8）：859-863.

［4］George J，Crassidis J L，Singh T.Threat assessment using context-based tracking in a maritime environment［C］∕International Conference on Information Fusion.IEEE，2009：187-194.

［5］Looney C G，Liang L R.Cognitive situation and threat assessments of ground battlespaces［J］.Information Fusion，2003，4（4）：297-308.

［6］付昭旺，寇英信，王琳，等.基于模糊綜合評判法的空戰(zhàn)多目標威脅評估［J］. 電光與控制，2009，16（9）：29-32.

［7］黃潔，李弼程，趙擁軍.基于Choquet模糊積分的目標威脅評估方法［J］.信息工程大學(xué)學(xué)報，2012，13（1）：18-21.

［8］Benavoli A，Ristic B，F(xiàn)arina A，et al.An application of evidential networks to threat assessment［J］.IEEE Transactions on Aerospace and Electronic Systems，2009，45（2）.

［9］張媛媛，馮琦，周德云，等.基于直覺模糊集的空戰(zhàn)動態(tài)多屬性威脅評估［J］. 電光與控制，2015，22（2）：17-21.

［10］徐公國，段修生，李勝軍.基于區(qū)間直覺模糊集的目標優(yōu)先級求解方法［J］.火力與指揮控制，2016，41（12）：50-53.

［11］文志信，金棟，單潔.基于條件熵約簡和粗糙集規(guī)則匹配的反輻射無人機作戰(zhàn)目標威脅識別［J］.艦船電子工程，2011，31（6）：68-72.

［12］晏師勵，李德華.基于動態(tài)貝葉斯網(wǎng)絡(luò)的空戰(zhàn)目標威脅等級評估［J］.計算機與數(shù)字工程，2015，43（12）：2150-2154.

［13］卞泓斐，楊根源.基于動態(tài)貝葉斯網(wǎng)絡(luò)的艦艇防空作戰(zhàn)威脅評估研究［J］.兵工自動化，2015，6：006.

［14］李卉.基于BA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目標威脅估計［J］.山西電子技術(shù)，2016（3）：7-9.

［15］李姜，郭立紅.基于改進支持向量機的目標威脅估計［J］.光學(xué)精密工程，2014，22（5）：1354-1362.

［16］Gonsalves P G，Burge J E，Harper K A.Architecture for genetic algorithm-based threat assessment［C］∕Information Fusion，2003.Proceedings of the Sixth International Conference of.IEEE，2005：965-971.

［17］Liang Q.KUPS：Knowledge-based Ubiquitous and Persistent Sensor networks for Threat Assessment［C］∕IEEE Conference on Military Communications.IEEE Press，2006：3582-3588.

［18］季傲，姜禮平，吳強.基于改良云模型的艦艇防空威脅評估［J］.火力與指揮控制，2016，41（5）：35-38.

［19］王改革，郭立紅，段紅，等.基于螢火蟲算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目標威脅估計［J］.吉林大學(xué)學(xué)報：工學(xué)版，2013（4）：1064-1069.

［20］孫克雷，鄧仙榮.一種改進的基于梯度提升回歸算法的O2O電子商務(wù)推薦模型［J］.安徽建筑大學(xué)學(xué)報，2016（02）：87-91.

［21］Friedman J H.Stochastic gradient boosting［J］.Computational Statisticsamp; Data Analysis， 2002， 38（4）：367-378.

［22］王玨，周志華，周傲英.機器學(xué)習(xí)及其應(yīng)用［M］.北京：清華大學(xué)出版社，2006：7-8.

A Target Threat Assessment Model Based on Improved Gradient Boosted Decision Trees

LI Hanyu QIN KeLI JiazhiLUO WeiZHAO Kaimin
（China Ship Development and Design Center，Wuhan 430000）

In order to solve the shortcomings of the current target threat assessment model，the target threat assessment system is improved based on the analysis of characteristics of target threat data，the improved gradient boosted decision trees is applied in target threat assessment model.With a compared example，this paper proves the usefulness and the accuracy of the model.

GBDT，target threat assessment，evaluation model

TP301

10.3969∕j.issn.1672-9730.2017.10.006

Class Number TP301

2017年4月8日，

2017年5月27日

李寒雨，男，碩士，研究方向：艦載電子信息系統(tǒng)。秦克，男，碩士，研究員，研究方向：艦船信息系統(tǒng)。李家志，男，碩士，工程師，研究方向：艦船信息系統(tǒng)。羅威，男，博士，工程師，研究方向：艦船信息系統(tǒng)。趙開敏，男，碩士，工程師，研究方向：艦船信息系統(tǒng)。