訓(xùn)練裝備體系使用效果評估方法研究

摘要：在信息化技術(shù)和作戰(zhàn)模式不斷發(fā)展變革的形勢下，為滿足作戰(zhàn)部隊提高操作使用能力和快速形成戰(zhàn)斗力的需要，采用理論學(xué)習(xí)和操作訓(xùn)練相結(jié)合、模擬訓(xùn)練和實(shí)裝操作相結(jié)合、單兵訓(xùn)練和體系訓(xùn)練相結(jié)合的訓(xùn)練裝備體系正在成為部隊進(jìn)行裝備訓(xùn)練的重要方式。為對訓(xùn)練裝備體系的使用效果進(jìn)行評估，本文研究建立了一套訓(xùn)練裝備使用效果評估方法，評估作戰(zhàn)部隊使用訓(xùn)練裝備體系進(jìn)行訓(xùn)練的效果，為工業(yè)部門設(shè)計和改進(jìn)訓(xùn)練裝備提供理論支撐，為部隊采購和使用訓(xùn)練裝備提供理論依據(jù)。

Abstract： Under the situation of continuous development and change of information technology and operation mode， in order to meet the needs of improving operational capability and rapidly forming combat effectiveness of the combat forces， the training equipment system which combines theoretical learning and operational training， simulation training and practical operation， individual training and system training is becoming an important way of equipment training. In order to evaluate the use effect of training equipment system， this paper studies and establishes a set of evaluation method to evaluate the use effect of training equipment system by combat forces， to provide theoretical support for industrial departments to design and improve training equipment， and to provide theoretical basis for departments to purchase and use training equipment.

關(guān)鍵詞：訓(xùn)練裝備體系;使用效果;評估;信息化

Key words： training equipment system;use effect;evaluation;informatization

中圖分類號：TP29 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1006-4311（2020）19-0211-03

0 ?引言

在信息化技術(shù)和作戰(zhàn)模式不斷發(fā)展變革的形勢下，科技進(jìn)步促進(jìn)高技術(shù)裝備大量列裝部隊，但實(shí)戰(zhàn)化要求帶來的高訓(xùn)練強(qiáng)度將對裝備帶來大量損耗，進(jìn)而提高裝備的維修保障費(fèi)用和不可用時間。為提高部隊的訓(xùn)練水平，實(shí)現(xiàn)戰(zhàn)斗力的快速形成和提升，理論學(xué)習(xí)和操作訓(xùn)練相結(jié)合、模擬訓(xùn)練和實(shí)裝操作、單兵訓(xùn)練和體系訓(xùn)練相結(jié)合的訓(xùn)練裝備體系正逐漸成為裝備訓(xùn)練的重要手段。

開展訓(xùn)練裝備體系使用效果的評估，是裝備訓(xùn)練不可缺少的環(huán)節(jié)，有利于建立完善訓(xùn)練裝備體系的使用效果評估機(jī)制，有利于實(shí)現(xiàn)訓(xùn)練裝備體系的有效管理，有利于推動訓(xùn)練內(nèi)容、訓(xùn)練方式和訓(xùn)練產(chǎn)品的改進(jìn)和革新。當(dāng)前針對訓(xùn)練裝備的研究集中于訓(xùn)練裝備的體系架構(gòu)[1]、產(chǎn)品[2]和訓(xùn)練方式[3]，針對訓(xùn)練裝備使用效果的評估僅關(guān)注操作人員的部分操作能力，如文獻(xiàn)[4]和文獻(xiàn)[5]選取了指揮能力、維修能力、情報能力等幾個方面對裝備使用人員進(jìn)行虛擬仿真訓(xùn)練的效果進(jìn)行了評估，維度較為單一，沒有站在用戶角度對訓(xùn)練裝備體系的使用效果進(jìn)行系統(tǒng)性的評估，未形成一套完善的考評體系。國外學(xué)者對培訓(xùn)效果評估的模型已進(jìn)行了大量研究，其中最為廣泛和經(jīng)典的是Kirkpatrick提出的四級評價模型，從評估的深度和難度將培訓(xùn)效果分為四個遞進(jìn)的層次：反應(yīng)、知識、行為、效果[6]。這一模型簡稱柯式模型，模型形式雖簡單，但全面、系統(tǒng)、操作性強(qiáng)。綜上，本文將基于柯式四級評估模型建立訓(xùn)練裝備體系使用效果的評估框架，對評估的指標(biāo)體系和評估方法進(jìn)行論述。

1 ?訓(xùn)練裝備體系使用效果評估指標(biāo)體系

1.1 構(gòu)建原則

構(gòu)建訓(xùn)練裝備體系使用效果評估指標(biāo)體系的目的在于準(zhǔn)確全面地對訓(xùn)練裝備體系的使用效果、訓(xùn)練效果進(jìn)行評估，能夠檢驗(yàn)部隊使用訓(xùn)練裝備提升理論水平、實(shí)操能力的效果，查找訓(xùn)練裝備體系設(shè)計中的不足，為教員制定培訓(xùn)訓(xùn)練計劃提供指導(dǎo)，為訓(xùn)練裝備的設(shè)計改進(jìn)提供依據(jù)。因此，為滿足上述要求，訓(xùn)練裝備體系使用效果評估指標(biāo)體系應(yīng)滿足以下原則。

1.1.1 全面性

全面性原則是指評估指標(biāo)的選取應(yīng)該能夠覆蓋訓(xùn)練裝備體系使用的各個方面，全面考慮訓(xùn)練裝備體系的使用者、使用方式和使用目標(biāo)。訓(xùn)練裝備體系使用過程中，涉及多種角色，采用理論培訓(xùn)、實(shí)操訓(xùn)練等多種方式，對各類崗位、流程和任務(wù)進(jìn)行訓(xùn)練，構(gòu)建訓(xùn)練裝備體系使用效果評估指標(biāo)體系時，應(yīng)能夠保證構(gòu)建的指標(biāo)體系能夠全面完整系統(tǒng)地體系出訓(xùn)練裝備體系使用過程中各環(huán)節(jié)存在的問題，對訓(xùn)練過程中的任務(wù)流程和崗位角色配合進(jìn)行跟蹤、評判。

1.1.2 針對性

針對性原則是指評估指標(biāo)的選取能夠有針對性地對訓(xùn)練裝備體系使用過程中的各種元素進(jìn)行度量和評估，在全面性的基礎(chǔ)上體現(xiàn)差異性，依據(jù)不同元素的重要性賦予相應(yīng)的權(quán)重。學(xué)員通過訓(xùn)練裝備體系對專業(yè)基礎(chǔ)理論、單兵單項(xiàng)操作、流程協(xié)同操作、故障處置操作等多種技能進(jìn)行訓(xùn)練，不同訓(xùn)練內(nèi)容下不同操作產(chǎn)生的最終影響不同，應(yīng)針對各項(xiàng)訓(xùn)練內(nèi)容的特點(diǎn)建立有針對性的細(xì)化指標(biāo)。

1.1.3 導(dǎo)向性

導(dǎo)向性是指訓(xùn)練裝備體系使用效果評估的指標(biāo)體系應(yīng)該能夠反映訓(xùn)練裝備體系的易用性、有效性，引導(dǎo)訓(xùn)練裝備的設(shè)計單位進(jìn)行設(shè)計和改進(jìn)，以使訓(xùn)練裝備的使用更加方便，更加高效地提升學(xué)員的專業(yè)技能。

1.1.4 可操作性

指標(biāo)體系的建立最終是為了對訓(xùn)練裝備體系的使用效果評估進(jìn)行有效的應(yīng)用，因此，指標(biāo)的選取和計算應(yīng)具有較強(qiáng)的可操作性?？刹僮餍詮?qiáng)主要包括三個方面：1）指標(biāo)數(shù)目應(yīng)合理，力求用精煉的指標(biāo)體現(xiàn)全面性、針對性和導(dǎo)向性的特征;2）指標(biāo)計算所需數(shù)據(jù)應(yīng)可測可獲取;3）指標(biāo)計算方法應(yīng)邏輯清晰、簡潔易行。

1.2 指標(biāo)體系的構(gòu)建

本文將柯式評估模型與訓(xùn)練裝備的架構(gòu)、功能和使用流程相結(jié)合，構(gòu)建訓(xùn)練裝備體系使用效果評估的指標(biāo)體系。

訓(xùn)練裝備體系分為基礎(chǔ)理論培訓(xùn)層、模擬操作訓(xùn)練層和實(shí)裝操作訓(xùn)練層三個層次?；A(chǔ)理論培訓(xùn)層通過教員教學(xué)和學(xué)員自學(xué)的方式使學(xué)員掌握裝備相關(guān)專業(yè)的基礎(chǔ)理論。模擬操作訓(xùn)練層通過模擬仿真或半實(shí)物仿真等形式模擬真實(shí)的操作流程，對學(xué)員的實(shí)際操作進(jìn)行遞進(jìn)式訓(xùn)練，操作訓(xùn)練內(nèi)容從是否故障注入的角度可分為正常流程操作和故障處置操作，從角色參與范圍的角度可分為單兵操作、分隊操作和全系統(tǒng)全流程合成操作。實(shí)裝操作訓(xùn)練層是指學(xué)員通過操作真實(shí)裝備進(jìn)行訓(xùn)練，是訓(xùn)練的最高層次。訓(xùn)練裝備體系的使用者分為管理員、教員和學(xué)員三種角色，其中管理員是對訓(xùn)練裝備進(jìn)行系統(tǒng)管理、安全管理的人員，教員是進(jìn)行教學(xué)計劃安排和教學(xué)實(shí)施的人員，學(xué)員是各個崗位、專業(yè)需要進(jìn)行學(xué)習(xí)的人員。

構(gòu)建訓(xùn)練裝備體系使用效果評估指標(biāo)體系如圖1所示。

根據(jù)柯式評估模型，將指標(biāo)體系分為四個維度：反應(yīng)維、知識維、行為維和效果維。反應(yīng)維體現(xiàn)的是訓(xùn)練裝備的使用者在使用整個訓(xùn)練裝備過程中最直接的感受，包括管理員、教員和學(xué)員的使用過程中對訓(xùn)練裝備的評價。知識維是指學(xué)員在經(jīng)過訓(xùn)練裝備體系的訓(xùn)練后對理論知識的掌握情況，通過基礎(chǔ)理論培訓(xùn)層的理論考試對學(xué)員的知識維水平進(jìn)行考核。行為維是指學(xué)員通過訓(xùn)練裝備體系的訓(xùn)練后實(shí)際操作的水平，可通過模擬操作訓(xùn)練層和實(shí)裝操作訓(xùn)練層對學(xué)員操作的數(shù)據(jù)進(jìn)行考核評分。效果維是指學(xué)員通過訓(xùn)練后對整個部隊的能力提升的影響，可通過全流程訓(xùn)練、演習(xí)和實(shí)戰(zhàn)任務(wù)中的操作情況進(jìn)行評估。

四個維度的一級指標(biāo)分別為綜合滿意度、理論培訓(xùn)成績、操作行為成績和綜合表現(xiàn)成績。

反應(yīng)維對應(yīng)的“綜合滿意度”下一級設(shè)置“管理員滿意度”、“教員滿意度”和“學(xué)員滿意度”3個二級指標(biāo)，分別對管理員、教員和學(xué)員使用的滿意度進(jìn)行評價，覆蓋了所有使用訓(xùn)練裝備的角色種類。管理員滿意度表征管理員日常對系統(tǒng)正常和故障狀態(tài)下進(jìn)行運(yùn)維和管理操作的滿意度，設(shè)置性能管理滿意度和故障管理滿意度;教員滿意度表征教員在制定教學(xué)計劃、實(shí)施教學(xué)、使用理論培訓(xùn)教材和批閱試卷等操作的滿意度;學(xué)員滿意度表征學(xué)員在進(jìn)行學(xué)習(xí)和考試過程中的滿意度。

知識維對應(yīng)的“理論培訓(xùn)成績”下一級設(shè)置“基礎(chǔ)理論成績”、“操作理論成績”和“故障處置理論成績”3個二級指標(biāo)，基礎(chǔ)理論成績表征學(xué)員對武器系統(tǒng)的功能組成、基本原理等知識的掌握情況，操作理論成績表征學(xué)員對負(fù)責(zé)崗位的正常流程操作知識的掌握情況，故障處置理論成績表征學(xué)員對異常情況的分析和相關(guān)處置措施理論的掌握情況。

行為維對應(yīng)的“操作行為成績”下一級設(shè)置“正常流程操作成績”和“故障處置操作成績”2個二級指標(biāo)，表征各學(xué)員進(jìn)行正常流程下的操作和故障流程下的故障定位、處置操作。正常流程操作成績由口令正確性、操作正確性和操作及時性決定，故障處置操作成績由故障定位正確性、故障處理及時性和故障處置正確性決定。

效果維對應(yīng)一級指標(biāo)為“綜合表現(xiàn)成績”，表征整個部隊在使用訓(xùn)練裝備進(jìn)行培訓(xùn)訓(xùn)練后在實(shí)戰(zhàn)演練中的綜合表現(xiàn)。

2 ?訓(xùn)練裝備體系使用效果評估指標(biāo)計算方法

評估指標(biāo)計算采用自下而上的評估流程，每個維度的指標(biāo)從低層次逐級向上進(jìn)行綜合評估，以一級指標(biāo)作為各維度評估結(jié)果。各維度各級指標(biāo)都采用歸一化處理，以0-100的分值進(jìn)行評估，保證評估的標(biāo)準(zhǔn)化。

2.1 反應(yīng)維

反應(yīng)維指標(biāo)通過問卷調(diào)查和算術(shù)平均方法進(jìn)行計算，計算流程如圖2所示。

具體步驟為：①向所有管理員、教員和學(xué)員分別發(fā)放調(diào)查問卷，其中，向每位管理員分別發(fā)放性能管理滿意度問卷和故障管理滿意度問卷，向每位教員分別發(fā)放計劃滿意度問卷、教學(xué)滿意度問卷、教材滿意度問卷和批閱滿意度問卷，向每位學(xué)員發(fā)放學(xué)習(xí)滿意度問卷和考試滿意度問卷，每份問卷的評分為0-100分，問卷評分即各項(xiàng)滿意度的評估結(jié)果;②分別對每位管理員、教員和學(xué)員所做的問卷評分結(jié)果進(jìn)行算術(shù)平均，得到單人“管理員滿意度”、單人“教員滿意度”和單人“學(xué)員滿意度”;③將單人“管理員滿意度”、單人“教員滿意度”和單人“學(xué)員滿意度”分別進(jìn)行算術(shù)平均，得到全體“管理員滿意度”、全體“教員滿意度”和全體“學(xué)員滿意度”;④將得到的全體“管理員滿意度”、全體“教員滿意度”和全體“學(xué)員滿意度”進(jìn)行算術(shù)平均，得到綜合滿意度，即為反應(yīng)維指標(biāo)計算結(jié)果。

2.2 知識維

知識維指標(biāo)通過理論考試和算術(shù)平均的方式進(jìn)行量化評估，計算流程為知識維：首先對每一位學(xué)員的三項(xiàng)考試成績進(jìn)行算術(shù)平均，得到單人“理論培訓(xùn)成績”，然后對所有學(xué)員的單人“理論培訓(xùn)成績”進(jìn)行加權(quán)平均，得到全體“理論培訓(xùn)成績”，即為知識維指標(biāo)計算結(jié)果。

2.3 行為維

行為維指標(biāo)通過操作評分、算術(shù)平均和加權(quán)平均的方法進(jìn)行量化評估。對每個學(xué)員的正常流程操作成績和故障處置操作成績進(jìn)行算術(shù)平均，得到每個學(xué)員的單人“操作行為成績”，然后對所有學(xué)員的單人“操作行為成績”進(jìn)行算術(shù)平均，得到全體“操作行為成績”，即為行為維指標(biāo)計算結(jié)果。

正常流程操作成績和故障處置操作成績的具體計算方法如下。

2.3.1 正常流程操作成績

每個學(xué)員的最終正常流程操作成績是由學(xué)員參與的所有正常流程評分進(jìn)行加權(quán)平均得到的，每個項(xiàng)目的權(quán)重由專家根據(jù)流程的重要性和安全性影響評分得到。每個學(xué)員在每個項(xiàng)目中的正常流程操作成績是通過對學(xué)員在負(fù)責(zé)崗位進(jìn)行操作訓(xùn)練時的口令正確性、操作正確性和操作及時性進(jìn)行綜合評定獲取的，計算公式如下式所示。

2.3.2 故障處置操作成績

每個學(xué)員的最終故障處置操作成績是由學(xué)員參與的所有故障處置操作項(xiàng)目評分進(jìn)行加權(quán)平均得到的，每個項(xiàng)目的權(quán)重由專家根據(jù)項(xiàng)目的重要性評分得到。與正常流程操作成績的計算方法類似，每個學(xué)員在每個項(xiàng)目中的故障處置操作成績是通過對學(xué)員在負(fù)責(zé)崗位進(jìn)行操作訓(xùn)練時的故障定位正確性、故障處置正確性和故障處理及時性進(jìn)行綜合評定獲取的，計算公式如下式所示。

2.4 效果維

效果維指標(biāo)“綜合表現(xiàn)成績”通過對整個部隊的訓(xùn)練素質(zhì)、任務(wù)執(zhí)行情況等綜合表現(xiàn)進(jìn)行定性分級量化，并由專家打分評定，分值為[0，100]。

3 ?結(jié)語

本文提出的訓(xùn)練裝備使用效果評估方法包括指標(biāo)體系和指標(biāo)計算方法，是基于訓(xùn)練裝備的體系和作戰(zhàn)部隊的訓(xùn)練方式構(gòu)建的，不僅能夠用于評估作戰(zhàn)部隊的訓(xùn)練效果，也能夠用于評估訓(xùn)練裝備體系的設(shè)計水平，為工業(yè)部門設(shè)計和改進(jìn)訓(xùn)練裝備提供理論支撐，為部隊采購和使用訓(xùn)練裝備提供理論依據(jù)。

參考文獻(xiàn)：

[1]鄭超，周暢，張陽，劉宸寧，陽加遠(yuǎn).信息化條件下的訓(xùn)練裝備體系研究[J].信息技術(shù)與信息化，2020（01）：220-224.

[2]賈麗，杜浩，李梓，等.基于虛擬現(xiàn)實(shí)技術(shù)的裝備維修訓(xùn)練系統(tǒng)設(shè)計[J].科技資訊，2019，017（008）：11-13.

[3]雷震，李慶全，何國良，等.信息化條件下美軍武器裝備訓(xùn)練的主要做法及啟示[J].中國科技信息，2015（007）：67-68，75.

[4]羅博峰，謝常達(dá)，彭雙震.虛擬仿真訓(xùn)練效果評估研究[J]. 艦船電子工程，2019（11）.

[5]時揚(yáng).裝備虛擬訓(xùn)練評估問題研究[J].艦船電子工程，2019，39（06）：15-16，27.

[6]Craig R L. The ASTD training and development handbook： A guide to human resource development[M]// The ASTD training and development handbook ： a guide to human resource development. 1996.