基于主客觀權重集成的訓練評估方法

喬中濤+張延生+高鳳岐+楊葉舟

摘 要： 針對裝備維修仿真訓練中指標主觀賦權法成績評估的局限性，在評估中指標綜合權重集成了主觀權重和客觀權重。分別采用層次分析法計算指標主觀權重，熵值法計算客觀權值，按最優(yōu)化模型將主觀權值和客觀權值集成為綜合權值。這種方法考慮了每個評估指標成績差異性所攜帶的訓練水平信息，從而改進了傳統(tǒng)指標主觀賦權評估方法。通過實踐證明，基于該方法訓練評估結果有更高的可信度。

關鍵詞： 訓練評估； 熵值法； 客觀權值； 主觀權值

中圖分類號： TN911.1?34； TP391.9 文獻標識碼： A 文章編號： 1004?373X（2017）15?0090?04

Abstract： Since the index subjective weighting method has limitation to evaluate the result in simulation training of equipment maintenance， the subjective weight and objective weight in evaluation are integrated into the index comprehensive weight. The analytic hierarchy process is used to calculate the subjective weight of the index， and the entropy method is used to calculate the objective weight of the index. According to the optimization model， the subjective weight and objective weight are integrated into a comprehensive weight respectively. The training level information carried by score difference of every single evaluation index is considered in the method to improve the traditional index subjective weighting evaluation method. The practice result verifies that the training evaluation result of the method has high credibility.

Keywords： training evaluation； entropy method； objective weight； subjective weight

0 引 言

提高重要武器裝備的戰(zhàn)術操作或者維修訓練水平的一個重要途徑是采用訓練仿真系統(tǒng)，基于模擬仿真系統(tǒng)進行訓練可以在保證訓練強度的前提下降低消耗及訓練成本。

目前基于仿真訓練系統(tǒng)的訓練效果評估方法在各評價因素綜合時均采用主觀賦權方法，運用層次分析法或改進方法由專家主觀估計決定各個評分因素的重要性，即各指標權重[1?9]。在實踐中，通過對受訓人員大量考核樣本數(shù)據(jù)分析，各單項考核指標成績的標準差并不均勻，有時區(qū)別較大。這與受訓者對一些考核項目更重視的實際情況相吻合，說明基于主觀權值的綜合評估不能客觀反映單項科目訓練水平的不均衡性，而且主觀賦權評估方法獲得的評估結果有時與客觀情況有明顯出入。比如在成績相近的兩個訓練樣本中，其中個別單項評價指標成績差異性顯著，而單項成績明顯占優(yōu)的樣本總分卻處于劣勢，這種情況使評價可信度降低，而且受訓者無法獲得幫助性信息?？陀^上各單項指標成績的差異性包含了豐富的訓練效果信息，但主觀賦權方法依據(jù)的是評價指標之間的相對重要程度，而訓練單項指標成績差異性所包含的訓練信息不能被有效用于評估中。

針對主觀賦權評估方法中存在的不足，采用客觀熵值法對訓練水平差異性信息進行量化，從而獲得評估指標的客觀權值，然后按照最優(yōu)準則對客觀權值與主觀權值進行集成獲得各項合理權重，使綜合評估更加客觀地反映受訓者的訓練水平。

1 主觀賦權方法訓練評估

基于仿真訓練系統(tǒng)的訓練評估過程如下[1?9]：

（1） 采用德爾菲評估指標體系，該方法通過征詢專家組的意見建立與訓練科目密切相關的評價項——指標體系

（2） 基于層次分析法（AHP）確定各評價項的指標權重

（3） 在訓練過程中對受訓者每個評價項運用相應的方法完成各單指標評分，獲得原始成績數(shù)據(jù)

（4） 根據(jù)指標權重和各指標評分進行加權求和獲得綜合評估成績其流程如圖1所示。

以某型裝備維修訓練系統(tǒng)為例說明主觀方法賦權評估結果呈現(xiàn)的矛盾性。某訓練項目考核的指標定義為采用Satty提出的層次分析法（AHP）[10]以1～9標度法將定性問題進行定量化的分析，按各評價指標對衡量訓練水平的相對重要程度兩兩比較，構造6指標的判斷矩陣

按層次分析法定義的計算方式[10]，根據(jù)下面3個公式求解判斷矩陣的權重和一致性檢驗，其中為主觀權值，CR為一致性檢驗系數(shù)，CI為一致性指標，RI為平均一致性系數(shù)。

經計算一致性檢驗系數(shù)CR=0.024 1，CR<0.1表明判斷矩陣的判斷思維具有一致性。主觀權值向量[0.302 2，0.186 7，0.105 9，0.061 9，0.302 2，0.041 2]T。

矩陣是某次9人一組的維修訓練考核的成績數(shù)據(jù)，其中為6個評價指標的原始成績。

基于主觀權值對本次考核進行成績評估的結果為：

成績排序：在本組訓練考核結果中，各指標成績的標準差分別為[1.900 3，2.934 5，3.929 9，0.189 4，4.236 1，9.300 5]，標準差數(shù)據(jù)相差比較大，其中考核項標準差和明顯高于其他項。觀察的數(shù)據(jù)，從分指標成績看，優(yōu)于且優(yōu)勢較明顯， 但綜合成績卻劣于這使評估可信度受到質疑。分析整組訓練評估數(shù)據(jù)，有些指標成績數(shù)據(jù)比如離散度較弱，各操作人員之間水平差異性較小，對訓練水平評價信息貢獻小。而一些指標數(shù)據(jù)值離散度強，比如和操作成績差異大，它更能反映操作水平的差異。從成績綜合評估考慮，數(shù)據(jù)差異性大的指標在綜合評估時應該在權重上有所反映。主觀賦權法在訓練評估之前根據(jù)指標的重要程度確定權重，無法衡量在具體訓練中指標數(shù)據(jù)表現(xiàn)出來的對訓練水平的評價能力。

2 基于信息熵的客觀賦權方法

客觀賦權評估法是根據(jù)歷史數(shù)據(jù)分析各指標的相關關系或指標與結果的關系進行綜合評估。在客觀賦權法中，熵值法確定的權重能夠反映指標值的離散程度[10]。信息論借用熱力學熵的概念來表達平均信息量，在評估中用信息熵評價系統(tǒng)信息的有序程度和信息的效用值，在多屬性決策問題中熵值法利用指標數(shù)據(jù)信息熵來計算各評價指標的權值。其基本思想是：對于多指標評估問題，在多組評估數(shù)據(jù)中，哪個指標為評估決策提供的確定信息量大，這個指標對評估的貢獻就大，其權值就越高。

設為成績數(shù)據(jù)矩陣，數(shù)據(jù)為組分指標成績，包含個評價指標，熵值法客觀賦值采用如下步驟計算指標權重[10]。

（1） 線性變換法對成績矩陣進行規(guī)范化處理獲得評估矩陣

計算第個指標在第個成績的特征比重

計算第個指標的熵值

計算指標的差異性系數(shù)：

對于評估的第個指標，數(shù)據(jù)的差異性越小其熵值就越大，如果此指標的所有數(shù)據(jù)都相等，當系數(shù)取時，熵值取極限值1，則差異系數(shù)為0，表明此指標對訓練水平的評估無價值。相反，如果指標數(shù)據(jù)差異性越大，其熵值就越小，此指標包含的訓練水平比較信息就越多，所以值越大指標重要性越高。

（2） 計算指標的客觀權值。

下面采用熵值法根據(jù)維修訓練考核成績數(shù)據(jù)求6個指標的客觀權值。首先采用線性變換法對成績矩陣進行規(guī)范化處理，得到矩陣規(guī)范化選擇線性變換法是因為線性變換不會扭曲考核指標數(shù)據(jù)的差異性。

熵值法客觀權值大小與各指標數(shù)據(jù)包含的信息量相對應，且對指標數(shù)據(jù)的差異性敏感。可以看出，根據(jù)本組指標成績數(shù)據(jù)計算出的指標和客觀權重與其他指標相比較大，突出反映了指標和從數(shù)據(jù)視角對訓練水平評估的重要性。所以熵值法權重可以用來修正考核指標主觀權重，使權值包含客觀成分，科學的方法是將主觀權值與客觀權值按最優(yōu)準則進行集成，從而融合主客觀因素對訓練評估的貢獻。

3 基于主客觀權重綜合的訓練評估

獲得熵值法客觀權值后，在訓練成績評估中結合主觀賦權和客觀賦權的優(yōu)點，既考慮各指標的相對重要程度，又參考指標考核成績差異性對訓練水平評估所貢獻的信息量，綜合主客觀權重得到權值

完整評估流程與基于主觀賦權評估相比較，在獲得分指標成績后多了熵值法計算客觀權值及主客觀權值集成的步驟，如圖2所示。

在權值綜合中采用文獻[10]中的基于數(shù)據(jù)加權和最優(yōu)模型確定綜合系數(shù)和。其最優(yōu)模型為：

此模型最優(yōu)解為：

將歸一化處理即可得值。根據(jù)本組訓練成績數(shù)據(jù)得：=0.516 7，=0.483 3。根據(jù)系數(shù)對和進行綜合得權值：[0.163 3，0.114 1，0.090 9，0.229 2，0.195 0，0.207 4]T。根據(jù)綜合權值可以對原始成績綜合評估，結果為：

借助圖3觀察采用主觀賦權綜合評估和主客觀綜合賦權評估結果的對比，后者的成績差異度比前者明顯。對于和成績可信度問題，在采用主客觀綜合權值評估后訓練水平評價為而且優(yōu)勢明顯，可信度獲得改善。

在某型裝備維修訓練系統(tǒng)中，基于主客觀綜合權值不僅用于最后階段的總成績評估，分指標項評估中同樣采用了此算法。由于分指標評價中下一級子指標量綱往往不一致，所以先對訓練數(shù)據(jù)線性規(guī)范化，使數(shù)據(jù)之間可相互比較。根據(jù)主客觀綜合權值完成綜合評估，再對評估數(shù)據(jù)進行線性變換獲得百分制成績。

4 結 語

針對仿真訓練評估訓前無法預測分指標成績分布特性導致評估結果可信度差的情況，采用熵值法計算分指標成績對綜合訓練水平所貢獻的評估信息量，從而得到客觀評價權值，在總評價階段對客觀權值與主觀權值進行綜合，實現(xiàn)同期學員指標評價權重的動態(tài)調整，獲得較為理想的新權值，完成訓練水平綜合評估，改進了傳統(tǒng)評估方法，提高了訓練評估結果的可信度，同時可根據(jù)分考核指標成績情況給予訓練建議。

參考文獻

[1] 高文琦，張復春，王立波，等.飛行訓練成績評估模型的建立與實現(xiàn)[J].電子設計工程，2011（24）：50?52.

[2] 熊正祥，孫永侃，王立強.艦艇模擬訓練中指揮員的成績評估研究[J].計算機仿真，2011，28（4）：30?33.

[3] 鄒文萌，徐敬.水面艦艇模擬訓練成績評估方法研究[J].現(xiàn)代電子技術，2012，35（22）：101?103.

[4] 矯永康，李小民，毛瓊.改進模糊層次分析法在虛擬維修訓練評估中的應用[J].計算機工程，2014（10）：314?317.

[5] 漆政昆，王海濱，高峰.近程反導艦炮武器系統(tǒng)日常訓練射擊效果評估[J].艦船電子工程，2015，35（3）：28?31.

[6] 王欽釗，郭傲兵，李小龍，等.基于AHP的裝甲分隊模擬訓練成績評估方法[J].計算機仿真，2015，32（10）：458?462.

[7] 谷宗輝，閆肅.基于層次分析法的飛行模擬訓練評價體系設計[J].中國民航飛行學院學報，2015，26（1）：56?59.

[8] 侯玉，夏立，張朝亮.船舶電力系統(tǒng)模擬訓練評估算法[J].海軍工程大學學報，2015，27（1）：103?107.

[9] 武兆斌，陳黎，趙春霞.基于灰色聚類和層次分析的模擬訓練成績評定[J].系統(tǒng)仿真學報，2016，28（2）：416?423.

[10] 張全.復雜多屬性決策研究[M].沈陽：東北大學出版社，2008.