武器裝備IETM數(shù)字化教學(xué)性能評估

杜曉明，卜昭鋒，張建新, 裴國旭

(陸軍工程大學(xué) 石家莊校區(qū)， 石家莊　050003)

信息化背景下的裝備訓(xùn)練離不開交互式電子技術(shù)手冊(Interactive Electronic Technical Manual，簡稱IETM)，近年來，依托IETM輔助教學(xué)訓(xùn)練已越來越受到IETM研究、開發(fā)與使用人員的關(guān)注。IETM 數(shù)字化教學(xué)是借助計算機技術(shù)，通過集成各主流標準，使IETM 具有了教學(xué)、培訓(xùn)和訓(xùn)練功能[1]。將IETM 應(yīng)用于武器裝備的教學(xué)訓(xùn)練，提供了一種新的培訓(xùn)和訓(xùn)練手段，然而IETM數(shù)字化教學(xué)性能，是提高部隊訓(xùn)練質(zhì)量、縮短訓(xùn)練周期以及節(jié)約訓(xùn)練經(jīng)費的關(guān)鍵因素。但當前的面向教學(xué)的IETM存在著制定標準不統(tǒng)一、數(shù)據(jù)內(nèi)容不重用、學(xué)習(xí)過程難跟蹤、訓(xùn)練水平難掌握等問題，對推進我軍裝備模擬訓(xùn)練的現(xiàn)代化建設(shè)有重要影響。

層次分析法(AHP)和模糊綜合評判屬于傳統(tǒng)但較為成熟的評估方法。層次分析法是一種定性與定量分析相結(jié)合的系統(tǒng)評價方法，適用于評價對象結(jié)構(gòu)較為復(fù)雜的情況，各個指標不相互耦合，常應(yīng)用于指標權(quán)重的確定；模糊綜合評判是用模糊數(shù)學(xué)方法對多屬性事物做出一個較為合理的綜合這些屬性的總體評價。兩種方法應(yīng)用較為廣泛，常用于效能評估、效果評價以及能力評價等[2]。

采用AHP與模糊評判相結(jié)合的方法對IETM數(shù)字化教學(xué)的性能進行評估，可以為開發(fā)人員提供有效的決策支持，對系統(tǒng)的優(yōu)化設(shè)計有重要的借鑒作用。

1　建立評估指標體系

目前，我軍開發(fā)的面向教學(xué)的IETM，已逐漸用于裝備培訓(xùn)和輔助訓(xùn)練，取得了一定的效果，但是教學(xué)資源在不同平臺間的共享性不強，且功能較為單一。而IETM數(shù)字化教學(xué)是將IETM融合E-Learning功能，集成符合SCORM標準的學(xué)習(xí)管理系統(tǒng)(Learning Management System,簡稱LMS)[3]以及用于經(jīng)驗跟蹤的學(xué)習(xí)記錄存儲器(Learning Record Store,簡稱LRS)[4]，從而實現(xiàn)對課程學(xué)習(xí)的管理以及學(xué)習(xí)過程、學(xué)習(xí)效果的經(jīng)驗跟蹤。

為了準確的建立評估指標體系，通過咨詢研制單位以及使用單位的意見，并通過可行性分析，根據(jù)IETM數(shù)字化教學(xué)的主要性能和效果，對評價指標進行了選取。提出了系統(tǒng)性能的5個基本要素,即系統(tǒng)功能、系統(tǒng)組成、技術(shù)結(jié)構(gòu)、運行性能和集成環(huán)境，并對這些要素指標進行了進一步的細化，最終形成了由評判目標層A、基本要素層B和指標層C構(gòu)成的遞階層次結(jié)構(gòu)，如圖1所示。

2　利用AHP確定評估指標權(quán)重[2,5-6，10]

指標權(quán)重是各指標要素在整個指標體系中的重要程度，因此，確定權(quán)重對IETM數(shù)字化教學(xué)的性能評估至關(guān)重要。利用AHP來確定權(quán)重，是通過對同一層次的各元素關(guān)于上一層次準則的重要性兩兩進行比較，從而建立判斷矩陣，通過求解判斷矩陣最大特征值和特征向量(即權(quán)向量)得到該層次各指標要素相對于上一層次準則的權(quán)重，并通過一致性檢驗來檢查判斷矩陣中各元素間的關(guān)系是否恰當，以得到符合要求的權(quán)重。

2.1　建立判斷矩陣

建立判斷矩陣，需要對每一層次中各個元素的相對重要程度用數(shù)值表示出來，這個過程需要經(jīng)過專家對模型中各層次元素的相對重要程度進行兩兩比較，這種比較要通過標度來進行衡量。下面采用指數(shù)標度法對元素間的相對重要程度賦值，如表1所示。

表1　判斷矩陣指數(shù)標度及含義

通過對A—B層各元素相對于總目標R的兩兩比較，可得到判斷矩陣R為

同理，對B—C層各個相關(guān)聯(lián)的指標因素比較，可得R1、R2、R3、R4、R5五個判斷矩陣，如下所示：

2.2　層次單排序及一致性檢驗

層次單排序是根據(jù)各判斷矩陣來計算對于相關(guān)聯(lián)的上層元素而言本層次各元素的相對重要程度的權(quán)重，可歸結(jié)為計算各判斷矩陣的特征根與特征向量(即權(quán)向量)，計算最大特征根及其對應(yīng)的特征向量的方法主要有冪法、方根法、正規(guī)化求和法等。對于判斷矩陣R，需滿足式(1)：

Rω=λmaxω

(1)

其中，λmax為R的最大特征根，ω為對應(yīng)于λmax的歸一化特征向量。

由于各指標因素之間存在廣泛的差異性，建立判斷矩陣時，對指標間的相對重要性容易產(chǎn)生偏差，判斷矩陣很難做到完全的一致性。因此，需要對其進行一致性檢查，通常要求矩陣中的各元素基本上合理，相互之間不要有太大的矛盾即可，只有判斷矩陣通過一致性檢驗，所求得的特征向量才符合要求。本文通過公式 (2)、(3)求得一致性比率參數(shù)CI和CR的值，來對判斷矩陣進行一致性檢驗。

(2)

(3)

當一致性指標CI=0時，λmax=N,說明判斷矩陣具有完全的一致性。當隨機一致性指標CR<0.1時，認為判斷矩陣符合一致性；當CR≥0.1時，應(yīng)對各指標因素間的重要程度進行適當調(diào)整，直到CR<0.1，實現(xiàn)一致性為止。其中，公式中的N代表判斷矩陣的階數(shù)，平均隨機一致性指標RI的值如表2所示。

表2　平均隨機一致性指標RI的值

2.3　確定評估指標權(quán)重

下面采用方根法來對A-B層R的最大特征根和特征向量進行求解，得到B層各指標相對于R的權(quán)重，如表3所示。

表3　A-B層R1、R2、R3、R4、R5的權(quán)重

最大特征根λmax=5.256 3,CI=0.064 1，RI=1.12,CR=0.057 2,CR<0.10;即判斷矩陣R滿足一致性。權(quán)重ω=(0.389 6, 0.239 1, 0.154 1, 0.156 3, 0.061 0)T可以作為A-B層指標的權(quán)重。

同理，可得到B-C層各個指標的權(quán)重，并分別對判斷矩陣進行一致性檢驗。如表4～表8所示。

表4　B-C層 R11、R12、R13、R14、R15的權(quán)重

最大特征根λmax=5.086 1,CI=0.021 5，RI=1.12，CR=0.019 2,CR<0.10;即通過一致性檢驗，權(quán)重ω1=(0.064 6, 0.253 5, 0.413 2, 0.163 4, 0.105 3)T。

表5　B-C層 R21、R22、R23的權(quán)重

最大特征根λmax=3.106 5,CI=0.053 3，RI=0.58，CR=0.091 9,CR<0.10；即通過一致性檢驗，權(quán)重ω2=(0.530 4， 0.300 0， 0.169 6)T。

表6　B-C層 R31、R32的權(quán)重

最大特征根λmax=2,CI=0; 判斷矩陣具有完全的一致性，權(quán)重ω3=(0.560 8，0.439 2)T。

表7　B-C層 R41、R42、R43、R44的權(quán)重

最大特征根λmax=4.120 2,CI=0.040 1，RI=0.90，CR=0.044 6,CR<0.10；即通過一致性檢驗，權(quán)重ω4=(0.343 8, 0.211 0, 0.101 4, 0.343 8)T。

表8　B-C層 R51、R52、R53、R54的權(quán)重

最大特征根λmax=4.037 4,CI=0.012 5，RI=0.90，CR=0.013 9,CR<0.10；即通過一致性檢驗，權(quán)重ω5=(0.416 7, 0.122 9, 0.188 5, 0.271 8)T。

3　建立模糊評估模型[2,7-9]

由于模型中的各個評估指標因素都是模糊概念，很難用具體的數(shù)值表述出來，因此，應(yīng)用模糊評判理論對IETM裝備數(shù)字化教學(xué)系統(tǒng)進行評估。其具體過程是將評價指標看作是多因素組成的模糊集合，即因素集；再設(shè)定這些因素所選取的評審等級，組成評語的模糊集合，即評判集；分別求出各單一因素對評審等級的隸屬度，即模糊矩陣；最后根據(jù)各個因素在評價目標中的權(quán)重分配，通過計算評價進行量化。

1) 選取因素集和評價集

確定因素集U={u1,u2,…,un}，u表示影響目標評判的因素。IETM裝備數(shù)字化教學(xué)系統(tǒng)的因素集分別為：

R={R1，R2，R3，R4，R5}

R1={R11，R12，R13，R14，R15}

R2={R21，R22，R23}

R3={R31，R32}

R4={R41，R42，R43，R44}

R5={R51，R52，R53，R54}

2) 建立評價集

確定評判集V={v1,v2,…,vm}，v表示影響目標評判值的等級。在評估過程中，需要確定各指標的評價集，以便對各評價指標定量分析。下面采用4級10分制，把評價集劃分為4個評價等級，即V={V1，V2，V3，V4}={優(yōu)秀，良好，中等，一般}。系統(tǒng)性能評分標準如表9所示。

表9　系統(tǒng)性能評分標準表

選擇各區(qū)間的中值作為等級的參數(shù)，則4個等級所對應(yīng)的參數(shù)為V1=9.25、V2=8、V3=7、V4=5，其參數(shù)列向量為V=(9.25，8，7，5)T。

3) 單因素評判和確定權(quán)重集

單因素評判通常采取專家打分的方式進行。對單個因素Ri(i=1,2,…,n) 進行評判，將n個因素的評判集組成一個總的評價矩陣。在確定評價因素，并選定評價集的基礎(chǔ)上，對每個因素進行打分，確定其對評價集等級的隸屬程度，綜合10位專家意見對各個指標影響因素進行綜合評判，組成了一個總的評價矩陣，如表10所示。

對前述通過AHP求得的判斷矩陣R，R1，R2，R3，R4,R5的權(quán)重，取小數(shù)點后兩位后，如表11所示。

4) 計算模糊評價矩陣

單因素評判矩陣R可以看出：R的第i行反映了第i個因素影響評判對象隸屬于各個評語集的程度；R的第j列反映了所有因素影響評判對象隸屬于第j個評語集元素的程度。當權(quán)重集ω和單因素評判矩陣R已知時，可通過公式(4) 求得綜合評判矩陣：

(4)

式(4)中“°”表示合成運算，一般有四種計算模型，即：“取大取小型—主因素決定型、乘積取大型—主因素突出型、取小上界和型以及乘積求和型”。乘積求和型對所有因素依據(jù)權(quán)重大小均衡兼顧，適用于多個因素起作用的情況，這里采用此運算，即：

(5)

B1=ω1°R1=0.07，0.25，0.41，0.16，0.11 °

B1=0.333，0.236，0.236，0.195

同理可求得B2、B3、B4、B5，由此得到各準則關(guān)于總目標R的隸屬度矩陣：

求出總目標R的隸屬度向量，并進行歸一化處理：

B=ω°R=0.39，0.24，0.15，0.16，0.06 °

B=0.391，0.268，0.213，0.122

5) 求出所研究階段的性能得分

對照評價集參數(shù)向量V=(9.25，8，7，5)T，IETM裝備數(shù)字化教學(xué)系統(tǒng)的分數(shù)為：

S=B°VT=9.25×0.391+8×0.268+

7×0.213+5×0.122=7.862

6) 確定系統(tǒng)性能效果

通過對照系統(tǒng)性能評分標準表，S∈[8.5,7.5)，由此可確定IETM數(shù)字化教學(xué)的性能為良好，可以滿足裝備訓(xùn)練需求。

4　結(jié)論

在裝備信息化建設(shè)的進程中，IETM用于教學(xué)、培訓(xùn)、訓(xùn)練已經(jīng)成為趨勢，E-Learning理念促使了IETM向數(shù)字化教學(xué)方向發(fā)展。IETM融合E-Learning可以拓展IETM的功能，然而二者的融合還存在著標準不一、功能各異等問題。因此，急需一種機制來解決這些難題，本文采用層次分析與模糊評判相結(jié)合的方法對IETM數(shù)字化教學(xué)的性能進行評估，建立了評價指標體系，確定了各評價指標的權(quán)重，最終形成了模糊評估模型。從分析和計算過程來看，各種指標權(quán)重和評價標準在一定程度上還依賴于專家的經(jīng)驗，量化較為困難，存在一定的主觀因素。但總體來看，評價結(jié)果比較準確，基本真實反映了IETM數(shù)字化教學(xué)的性能水平。

由于IETM數(shù)字化教學(xué)的功能組成較為復(fù)雜，評價指標體系的建立還有待于進一步優(yōu)化論證，評估方法還有待于與先進評估手段融合，使得評估結(jié)果更具有客觀性和可靠性，對系統(tǒng)開發(fā)人員提供更佳的決策支持。

參考文獻:

[1]徐宗昌, 張光明, 李博. 基于IETM的裝備交互式訓(xùn)練研究[C]. 三亞: 中國系統(tǒng)仿真技術(shù)與應(yīng)用會議, 2012:670-673.

[2]方龍，馮根生，李曉明.現(xiàn)代軍事教育訓(xùn)練中的電子學(xué)習(xí)——E-Learning[J].坦克兵學(xué)刊，2008(2)：19-20.

[3]石全,王立欣等.系統(tǒng)決策與建模[M].北京:國防工業(yè)出版社,2016.

[4]馬小雨.基于模糊層次分析法的計算機網(wǎng)絡(luò)安全評價研究[J].信息通信，2017(1)：98-99.

[5]方海光,胡神神,杜舟.基于xAPI學(xué)習(xí)記錄的LMS網(wǎng)絡(luò)系統(tǒng)架構(gòu)研究[J].中國電化教育,2015 (2):65-69.

[6]PETER BERKING. Choosing a Learning Record Store Version 1.10[J]. ADL.2016:5-7.

[7]JIANG Weiwei.Study on IETM Domain Knowledge Representation[J].Scientific Journal of Information Engineering,2013,63(3):56-62.

[8]郝增明.數(shù)字化學(xué)習(xí)過程評價的客觀指標[J].現(xiàn)代遠距離教育，2004(2)：47-48.

[9]葉珍．基于AHP—模糊綜合評判法研究及應(yīng)用[D]．廣州：華南理工大學(xué)，2010：7-16.

[10] 楊海濤，馬東堂.層次分析法中判斷矩陣的一致性研究[J].現(xiàn)代電子技術(shù)，2007(258)：46-48.

[11] 郭齊勝，郅志剛，楊瑞平,等.裝備效能評估概論[M].北京：國防工業(yè)出版社，2005.

[12] 張憑博.基于AHP模糊綜合評價法的企業(yè)培訓(xùn)效果評估研究[D].大連：大連海事大學(xué)，2008.

[13] 劉志勇，姚俊金，趙美.高新裝備軍民融合維修保障風(fēng)險評估方法[J].兵工自動化，2016(6):27-30.

[14] 杜曉明，梁偉杰，朱寧.交互式電子技術(shù)手冊原理與技術(shù)[M].北京：國防工業(yè)出版社，2012.

[15] 荀麗丹，劉嫻.數(shù)字化教學(xué)應(yīng)用探索[J].信息化教學(xué)，2016,21(128)：128-129.