民航安全監(jiān)察員培訓(xùn)效果評估研究

尹 航 姜 蘭講師 楊 玲副教授

(1.首都經(jīng)濟(jì)貿(mào)易大學(xué) 管理工程學(xué)院，北京100070；2.中國民航管理干部學(xué)院 航空安全管理系，北京100102)

index system

0 引言

民航安全監(jiān)察員培訓(xùn)工作始終受到高度重視，民航各級行政機(jī)構(gòu)，民航有關(guān)院校根據(jù)相關(guān)規(guī)章標(biāo)準(zhǔn)要求以及行業(yè)發(fā)展實(shí)際，面向安全監(jiān)察員組織開展了大量專項(xiàng)培訓(xùn)，建立起了比較扎實(shí)的培訓(xùn)基礎(chǔ)，培訓(xùn)效果整體良好，取得了令人較為滿意的效果。同時，隨著培訓(xùn)規(guī)模的擴(kuò)大，也在一些培訓(xùn)班次中出現(xiàn)了需求評估把握不夠充分，培訓(xùn)課程設(shè)置不夠理想，培訓(xùn)針對性不強(qiáng)等問題。為了不斷改進(jìn)監(jiān)察員培訓(xùn)工作，更好的檢驗(yàn)和提高培訓(xùn)工作的實(shí)際效果，必須構(gòu)建科學(xué)合理的培訓(xùn)效果評估體系。

目前國際常用的培訓(xùn)效果評估模型主要有：柯氏四級評估模型、CIPP評估模型等[1-2]?？率纤募壴u估模型是世界上應(yīng)用最廣泛的培訓(xùn)評估工具，在培訓(xùn)評估領(lǐng)域具有難以撼動的地位。相對于柯式四級模型，CIPP能將評估納入到培訓(xùn)全部過程，不僅是對培訓(xùn)的必要性和可行性進(jìn)行分析，還可以對培訓(xùn)過程實(shí)現(xiàn)監(jiān)控，及時總結(jié)培訓(xùn)經(jīng)驗(yàn)與不足，其反饋信息將會對以后的培訓(xùn)項(xiàng)目產(chǎn)生積極影響[3-4]。

國內(nèi)關(guān)于安全培訓(xùn)的研究主要有：鹿中山等[5]將層次分析法與模糊綜合評價法結(jié)合對建筑施工現(xiàn)場進(jìn)行了安全評價，計算了各指標(biāo)的權(quán)重并排序；賀龍等[6]采用柯氏理論建立了安全培訓(xùn)效果評估模型；趙麗霞等[7]采用層次分析方法計算了煤礦安全培訓(xùn)效果影響因素指標(biāo)的權(quán)重；王雪[8]結(jié)合柯氏模型歸納總結(jié)出比較適合油田機(jī)關(guān)干部的培訓(xùn)評估模型；楊琳[9]等提出在醫(yī)學(xué)培訓(xùn)中聯(lián)合應(yīng)用柯氏模型和CIPP模型進(jìn)行評價可以起到互補(bǔ)的作用；殷蕾[10]構(gòu)建了高等職業(yè)院校教師培訓(xùn)效果評估指標(biāo)體系，并針對培訓(xùn)教師存在問題，提出了培訓(xùn)優(yōu)化策略。但對于民航安全監(jiān)察領(lǐng)域的培訓(xùn)效果評估還比較缺乏。

鑒于此，筆者擬結(jié)合民航安全監(jiān)察員的實(shí)際培訓(xùn)需求，綜合柯氏模型和CIPP模型的特點(diǎn)和評估價值，使用模糊綜合評價法研究探討民航安全監(jiān)察員培訓(xùn)效果評估體系，以期為提升民航安全監(jiān)察員工作水平提供幫助。

1 民航安全監(jiān)察員培訓(xùn)評估指標(biāo)體系的構(gòu)建

通過文獻(xiàn)分析，并根據(jù)民航安全監(jiān)察員培訓(xùn)特點(diǎn)，將培訓(xùn)效果評估模型、柯氏模型和CIPP模型相結(jié)合，初步構(gòu)建了安全監(jiān)管類監(jiān)察員培訓(xùn)效果評估模型，按照培訓(xùn)前評估、培訓(xùn)中評估、培訓(xùn)后評估3個部分，將參訓(xùn)學(xué)員轉(zhuǎn)化學(xué)習(xí)到實(shí)踐的過程，通過這3部分的評估有機(jī)結(jié)合起來。最后，按照專家意見建議進(jìn)行調(diào)整，得出修改后的民航安全監(jiān)察員培訓(xùn)評估指標(biāo)體系，見表1。

表1 民航安全監(jiān)察員培訓(xùn)效果評估指標(biāo)體系

2 確定培訓(xùn)效果評估各指標(biāo)權(quán)重

采用層次分析法結(jié)合專家群決策，立足民航安全監(jiān)察員培訓(xùn)實(shí)況，建立指標(biāo)權(quán)重評價的層次分析模型，以得到較為合理科學(xué)的各級指標(biāo)的權(quán)重。

2.1 專家群決策法構(gòu)建判斷矩陣

為了提高判斷矩陣的科學(xué)性，使用專家群決策法，衡量尺度劃分為9個等級，其中，9、7、5、3、1的數(shù)值分別對應(yīng)絕對重要、非常重要、較重要、略重要及同等重要，8、6、4、2的數(shù)值則表示重要程度介于相鄰兩個等級之間。以二級指標(biāo)為例，見表2，A“培訓(xùn)前評估”與B“培訓(xùn)中評估”兩個指標(biāo)進(jìn)行比較，如果某專家認(rèn)為“培訓(xùn)前評估”比“培訓(xùn)中評估”更重要，且程度為“非常重要”，則選擇靠近A“培訓(xùn)前評估”的數(shù)值7，以此類推。專家完成所有同一層級指標(biāo)的兩兩對比打分后，通過對每個專家判斷矩陣最大特征根的計算，確定其對應(yīng)特征向量，將各個評估指標(biāo)按照此特征向量來進(jìn)行重要性排序，從而進(jìn)行權(quán)系數(shù)的分配。

邀請10位評估專家對同一層級的各指標(biāo)重要度兩兩對比進(jìn)行打分。通過對所有專家的決策數(shù)據(jù)進(jìn)行集結(jié)，綜合考慮多個專家對各層因素兩兩對比評出的重要性結(jié)果，對所有專家的排序權(quán)重利用算術(shù)平均值完成數(shù)據(jù)集結(jié)，最后利用集結(jié)后的判斷矩陣排序權(quán)重計算總排序權(quán)重。

表2 指標(biāo)權(quán)重調(diào)查表(二級指標(biāo)為例)

2.2 一致性檢驗(yàn)

獲得各層次因素之間的判斷矩陣后，為了確保數(shù)據(jù)的合理性，需要進(jìn)行一致性檢驗(yàn)。首先，計算各專家對各指標(biāo)判斷矩陣的最大特征根，隨后計算一致性比率CR<0.1時，認(rèn)為層次排序通過一致性檢驗(yàn)。

2.3 各級指標(biāo)權(quán)重的確定

經(jīng)過層次分析得到的各級指標(biāo)相對最終培訓(xùn)效果評估目標(biāo)的排序權(quán)重，見表3。其中若設(shè)總目標(biāo)的權(quán)重為1，則第一級指標(biāo)相對總目標(biāo)的排序權(quán)重分別為：[0.3370，0.3981，0.2649]，第二級8個指標(biāo)相對總目標(biāo)的排序權(quán)重分別為：[0.1122，0.1682，0.0566，0.1136，0.2364，0.0481，0.1062，0.1587]，第三級共19個指標(biāo)的排序權(quán)重分別為：[0.0373，0.0547，0.0202，0.1002，0.0679，0.0423，0.0143，0.0335，0.0625，0.0176，0.0661，0.0685，0.1018，0.0361，0.0120，0.0524，0.0538，0.0987，0.0600]。

表3 各級指標(biāo)權(quán)重表

續(xù)表

3 基于模糊綜合評價法的培訓(xùn)效果評估方法建模

模糊綜合評價法是一種基于模糊數(shù)學(xué)的綜合評價方法。該綜合評價法根據(jù)模糊數(shù)學(xué)的隸屬度理論把定性評價轉(zhuǎn)化為定量評價，即用模糊數(shù)學(xué)對受到多種因素制約的事物或?qū)ο笞龀鲆粋€總體的評價。本文民航安全監(jiān)察員培訓(xùn)效果評估中，將評價指標(biāo)劃分為三個層級：一級指標(biāo)3個，二級指標(biāo)8個，三級指標(biāo)19個，各級評估指標(biāo)數(shù)目適中，可避免出現(xiàn)超模糊現(xiàn)象。

(1)確定評價目標(biāo)的因素集。目標(biāo)因素集為民航安全監(jiān)察員培訓(xùn)效果評估：

U={A，B，C}

(1)

式中：

A—培訓(xùn)前評估；

B—培訓(xùn)中評估；

C—培訓(xùn)后評估。

對3個子因素集進(jìn)一步細(xì)分，得到更多的因素集合，經(jīng)過逐級細(xì)分就建立起了總的因素體系及其表達(dá)方式，如前文所述的指標(biāo)體系構(gòu)建，本文的單因素集合最高達(dá)到三級。

(2)建立綜合評價的評語集。

將民航安全監(jiān)察員培訓(xùn)效果評估的等級劃分為五級，構(gòu)成五級評語集為：

V={v1，v2，v3，v4，v5}

={非常好，比較好，好，一般好，不太好}

(2)

(3)建立權(quán)重集。

(4)確定隸屬度函數(shù)。

為獲得各級指標(biāo)分別對五級評語集的隸屬度，采用模糊統(tǒng)計法來構(gòu)建隸屬度函數(shù)，并基于該方法設(shè)計培訓(xùn)效果評估調(diào)查問卷，問卷中各題選項(xiàng)分為“非常符合”、“比較符合”、“符合”、“不太符合”、“很不符合”5個等級，通過統(tǒng)計所有有效問卷中各個等級的投票數(shù)，并結(jié)合三角模糊函數(shù)來計算指標(biāo)相對各個等級的隸屬度。針對每個三級指標(biāo)設(shè)置有兩道題，所以每個三級指標(biāo)的分值為2～10分之內(nèi)。五級隸屬度函數(shù)分別為：

(3)

確定隸屬函數(shù)后，給定各項(xiàng)指標(biāo)的輸入值便可計算出對不同評價等級的隸屬度。

(5)確立模糊評價矩陣。

模糊評價矩陣包括單因素評價矩陣和模糊綜合評價矩陣。設(shè)因素集U中第i個元素對評語集V中第j個元素的隸屬度rij組成的集合，Ri=(ri1，ri2，…，rim)，稱Ri為第i個元素的單因素評價矩陣。rij反映了評價因素與評價等級之間用隸屬度表示的模糊關(guān)系。以p個單因素評價集R1，R2，…，Rp為行，組成矩陣R，稱為模糊綜合評價矩陣。

(4)

(6)多級模糊綜合評價。

建立多級模糊綜合評價模型，首先要對評估總目標(biāo)的因素集按照某種屬性劃分為多個子因素集合，然后各個子因素集合又劃分為更下一層次的多個子因素集合，以此類推。在進(jìn)行多級模糊綜合評價的時候，先對最底層因素進(jìn)行綜合評判，得到一級評判向量，再逐層往上進(jìn)行綜合評判，獲得二級評判向量、三級評判向量，以此類推，直至得到對評價總目標(biāo)的綜合評判向量。以二級模糊綜合評價為例，具體步驟是：

①一級模糊綜合評價。

將第二層的因素集分為若干個子集，其中第i個子集記為Ui={u1，u2，…，uk}，對于每一個Ui按一級模糊綜合評價模型分別進(jìn)行綜合評價，設(shè)因素權(quán)向量為Wi，Ui的模糊評價矩陣為Ri，則得到：

Bi=Wi°Ri=(b1，b2，…，bm)=(w1，w2，…，wk)°

(5)

式中：

° —某種模糊合成運(yùn)算(本文采用乘積求和進(jìn)行計算)；

B—模糊綜合評判集；

bi—模糊綜合評價指標(biāo)。

②二級模糊綜合評價。

(6)

4 模型應(yīng)用與求解

構(gòu)建民航安全監(jiān)察員培訓(xùn)效果模糊綜合評價數(shù)學(xué)模型，具體步驟如下：

(1)確定評價對象集。

X={安全監(jiān)察員培訓(xùn)效果}

(2)確定評語集。

V={Ⅴ-非常好，Ⅳ-比較好，Ⅲ-好，

Ⅱ-一般好，Ⅰ-不太好}

(3)確定評價指標(biāo)集。

U0={培訓(xùn)前評估，培訓(xùn)中評估，培訓(xùn)后評估}

U11={培訓(xùn)需求，項(xiàng)目設(shè)計，培訓(xùn)機(jī)構(gòu)}

U12={培訓(xùn)實(shí)施，培訓(xùn)師資，培訓(xùn)條件}

U13={學(xué)習(xí)效果，綜合素養(yǎng)}

U21={監(jiān)察員背景，監(jiān)察員需求，培訓(xùn)形式}

U22={培訓(xùn)方案，培訓(xùn)教員}

U23={教學(xué)條件，服務(wù)管理}

U24={課程設(shè)計，培訓(xùn)內(nèi)容，培訓(xùn)方式}

U25={監(jiān)察專業(yè)能力，監(jiān)察實(shí)踐經(jīng)驗(yàn)，監(jiān)察轉(zhuǎn)化效果}

U26={授課條件，后勤保障}

U27={監(jiān)察專業(yè)知識，監(jiān)察實(shí)踐應(yīng)用}

U28={監(jiān)察工作態(tài)度，監(jiān)察能力提升}

(4)由表3，得出權(quán)重向量：

W0=(0.337 0，0.3981，0.264 9)

W11=(0.332 9，0.499 1，0.168 0)

W12=(0.285 4，0.593 8，0.120 8)

W13=(0.400 9，0.599 1)

W21=(0.332 4，0.487 5，0.180 0)

W22=(0.595 7，0.403 7)

W23=(0.747 3，0.252 7)

W24=(0.294 9，0.550 2，0.154 9)

W25=(0.279 6，0.289 8，0.430 6)

W26=(0.750 5，0.249 5)

W27=(0.493 4，0.506 6)

W28=(0.621 9，0.378 1)

(5)確定評價隸屬度矩陣。

(6)三級模糊綜合評價。

將評價指標(biāo)的權(quán)重向量與各評價等級的評價隸屬度矩陣進(jìn)行模糊合成變換，采用普通矩陣乘積算法作為模糊合成算子。

①首先進(jìn)行一級模糊綜合評價，得到一級模糊綜合評判向量：

B21=(0.486 4，0.331 4，0.156 8，0.016 5，0.008 9)

B22=(0.554 2，0.313 5，0.109 1，0.022 7，0.000 0)

B23=(0.541 7，0.329 5，0.100 5，0.022 6，0.005 7)

B24=(0.445 8，0.340 9，0.173 8，0.028 8，0.010 7)

B25=(0.491 1，0.353 9，0.123 6，0.026 0，0.005 5)

B26=(0.469 7，0.388 3，0.113 6，0.026 5，0.001 9)

B27=(0.375 3，0.442 8，0.144 2，0.037 6，0.000 0)

B28=(0.469 7，0.349 3，0.175 3，0.005 7，0.000 0)

②再進(jìn)行二級模糊綜合評價，得到二級模糊綜合評判向量：

B11=(0.540 3，0.303 5，0.129 5，0.021 6，0.004 9)

B12=(0.490 4，0.330 2，0.141 5，0.030 4，0.007 5)

B13=(0.445 6，0.367 0，0.164 3，0.020 0，0.003 0)

③最后進(jìn)行三級模糊綜合評價，得到三級模糊綜合評判向量：

B=(0.495 3，0.330 9，0.143 5，0.024 7，0.005 4)

根據(jù)最大隸屬度原則，根據(jù)評判對象對評語集各等級的隸屬度大小，可以得到民航安全監(jiān)察員培訓(xùn)效果評估的整體情況、培訓(xùn)前、培訓(xùn)中和培訓(xùn)后工作情況的評價等級均為Ⅴ級非常好。同理可以得到二級指標(biāo)的評價等級也均為Ⅴ級非常好。

為了能對評估結(jié)果進(jìn)行量化比較，用分值“1，2，3，4，5”分別表示“不太好，一般好，好，比較好，非常好”各等級，并稱其為各等級的秩。然后用上文得到的模糊評判向量中對應(yīng)分量將各等級的秩加權(quán)求和，并歸一化，以滿分為5分，得到被評價對象的量化分值。

可知，民航安全監(jiān)察員培訓(xùn)效果評估的整體情況、培訓(xùn)前、培訓(xùn)中和培訓(xùn)后工作情況的量化分值分別為4.286 2、4.353 1、4.265 6、4.232 1。同理可以計算得到二級指標(biāo)的評價結(jié)果量化分值。通過對評估結(jié)果的量化，有助于多次培訓(xùn)工作的對比分評估。

5 結(jié)論

結(jié)合模糊綜合評價法與層次分析法、專家群決策以及問卷調(diào)查法，構(gòu)建了民航安全監(jiān)察員培訓(xùn)效果評估模型，并進(jìn)行實(shí)例應(yīng)用，結(jié)果表明，民航安全監(jiān)察員培訓(xùn)工作總體上充分到位，培訓(xùn)卓有成效。但是在培訓(xùn)需求、培訓(xùn)機(jī)構(gòu)、培訓(xùn)實(shí)施、培訓(xùn)師資、培訓(xùn)條件5項(xiàng)指標(biāo)上，仍有歸屬于Ⅰ級——不太好的評價，有待加強(qiáng)。另外，通過對各項(xiàng)指標(biāo)權(quán)重進(jìn)行排序，表明培訓(xùn)中的評估比培訓(xùn)前和培訓(xùn)后的評估更為重要，尤其應(yīng)當(dāng)重視提升項(xiàng)目設(shè)計、培訓(xùn)師資和綜合素養(yǎng)3個方面，以提高工作質(zhì)量，從而促進(jìn)培訓(xùn)工作取得更優(yōu)異的效果。

運(yùn)用本模型可對民航安全監(jiān)察員培訓(xùn)效果進(jìn)行定性與定量相結(jié)合的綜合評估，評估結(jié)果支持多次培訓(xùn)工作之間的對比分析，具有較好的實(shí)用價值。