培訓(xùn)效益評(píng)估實(shí)證分析研究

高學(xué)浩 馬旭玲 趙亞南 葉夢(mèng)姝 羅林明

摘 要：在總結(jié)分析國(guó)內(nèi)外培訓(xùn)效益評(píng)估理論研究與業(yè)務(wù)進(jìn)展的基礎(chǔ)上，以新一代天氣雷達(dá)培訓(xùn)效益評(píng)估為例，探索培訓(xùn)效益評(píng)估的技術(shù)與方法。

關(guān)鍵詞：培訓(xùn)效益；效益評(píng)估；雷達(dá)培訓(xùn)；投資回報(bào)率；實(shí)證分析

中圖分類號(hào)：G72 文獻(xiàn)標(biāo)識(shí)碼：A

一、引言

不斷提高培訓(xùn)質(zhì)量，提高廣大干部職工對(duì)培訓(xùn)作用正確認(rèn)識(shí)的一個(gè)重要途徑就是加強(qiáng)對(duì)培訓(xùn)評(píng)估理論和方法的研究與應(yīng)用，要客觀評(píng)價(jià)培訓(xùn)的效用，其中培訓(xùn)效益評(píng)估是證明培訓(xùn)價(jià)值貢獻(xiàn)的最直接的手段。

培訓(xùn)效益是指受訓(xùn)者經(jīng)培訓(xùn)提高回到工作崗位所帶來的收益與培訓(xùn)成本的差額。培訓(xùn)收益主要包括兩部分：一部分是可以通過一定途徑轉(zhuǎn)化為用貨幣表示的價(jià)值；還有一部分要么不能轉(zhuǎn)化，要么轉(zhuǎn)化成本過高，但是這部分的收益包含范圍是非常廣大的。

二、理論研究與業(yè)務(wù)進(jìn)展

（一）研究進(jìn)展

最先對(duì)培訓(xùn)效益進(jìn)行理論研究的是美國(guó)經(jīng)濟(jì)學(xué)家雅各布？明塞爾（Jacob Mincer）。1958年他發(fā)表的《人力資本投資與個(gè)人收入分配》首次建立了個(gè)人接受的培訓(xùn)量和其收入之間的數(shù)學(xué)模型，后來許多學(xué)者在雅各布？明塞爾的培訓(xùn)效益理論基礎(chǔ)上研究建立了很多數(shù)學(xué)模型和經(jīng)濟(jì)方法，其中較為著名的有三個(gè)培訓(xùn)投資收益的模型，分別是加里？S？貝克爾提出的在職培訓(xùn)的成本收益評(píng)估模型、菲利普斯的培訓(xùn)投資回報(bào)率模型及舍貝克和科恩提出的培訓(xùn)的效用公式。

在上述影響比較廣泛的培訓(xùn)效益評(píng)估理論模型中，根據(jù)ASTD（美國(guó)培訓(xùn)與發(fā)展協(xié)會(huì)）的調(diào)查顯示，菲利普斯的培訓(xùn)投資回報(bào)率模型是應(yīng)用最為廣泛的模型，本文的研究也是基于該模型的基礎(chǔ)上開展的。

（二）業(yè)務(wù)進(jìn)展

ASTD的調(diào)查發(fā)現(xiàn)，柯克帕特里克模型和菲利普斯模型是使用最為普遍的評(píng)估模型，五層評(píng)估包括反應(yīng)層評(píng)估（第一層），學(xué)習(xí)層評(píng)估（第二層），行為層評(píng)估（第三層），結(jié)果層評(píng)估（第四層）和投資回報(bào)率評(píng)估（第五層）。92%的調(diào)查對(duì)象說他們至少進(jìn)行第一層評(píng)估，但是其后的每級(jí)評(píng)估的使用都急劇下降，只有少數(shù)的組織使用第五級(jí)評(píng)估-投資回報(bào)率評(píng)估。

三、氣象培訓(xùn)效益評(píng)估實(shí)證研究

2014年中國(guó)氣象局氣象干部培訓(xùn)學(xué)院（以下簡(jiǎn)稱“干部學(xué)院”）選擇新一代天氣雷達(dá)平培訓(xùn)（以下簡(jiǎn)稱“雷達(dá)培訓(xùn)”）項(xiàng)目，探索開展培訓(xùn)效益評(píng)估，之所以選擇雷達(dá)培訓(xùn)項(xiàng)目有兩個(gè)原因：一是雷達(dá)培訓(xùn)是干部學(xué)院的核心班型，自1999年起至2013年底，已舉辦相關(guān)培訓(xùn)60余期，培訓(xùn)雷達(dá)業(yè)務(wù)及管理人員3000人次，今后還將繼續(xù)開展培訓(xùn)；二是通過對(duì)每期培訓(xùn)班的質(zhì)量調(diào)查發(fā)現(xiàn)，學(xué)員對(duì)培訓(xùn)班的滿意度評(píng)價(jià)高，在2008年開展的培訓(xùn)后效果評(píng)估中81.5%的學(xué)員認(rèn)為培訓(xùn)對(duì)工作幫助很大，2013年的培訓(xùn)后效果評(píng)估中，93.7%的學(xué)員和92.7%的送培單位認(rèn)為雷達(dá)應(yīng)用技能提高很大或較大?；谏厦鎯蓚€(gè)原因，選擇了對(duì)雷達(dá)培訓(xùn)項(xiàng)目開展更高層級(jí)的評(píng)估——投資回報(bào)率，探索培訓(xùn)效益評(píng)估的技術(shù)方法。

（一）評(píng)估模型

雷達(dá)培訓(xùn)效益評(píng)估采用國(guó)際上廣泛應(yīng)用的Phillips的投資回報(bào)率公式來計(jì)算雷達(dá)培訓(xùn)的投資回報(bào)率，即

基于上述公式，雷達(dá)培訓(xùn)效益評(píng)估中需要解決三個(gè)關(guān)鍵問題：（1）新一代天氣雷達(dá)產(chǎn)生多大的經(jīng)濟(jì)效益？（2）培訓(xùn)在其中有多大的貢獻(xiàn)度？（3）雷達(dá)培訓(xùn)的成本是多少？

（二）雷達(dá)培訓(xùn)的收益

1.新一代天氣雷達(dá)的經(jīng)濟(jì)效益

根據(jù)2008年國(guó)家公益性（氣象）行業(yè)科研專項(xiàng)“氣象服務(wù)評(píng)估方法與技術(shù)研究”中，計(jì)算了公共氣象服務(wù)的投入與產(chǎn)出效益比為1：63.19。雷達(dá)在增強(qiáng)災(zāi)害性天氣監(jiān)測(cè)和預(yù)警能力、增強(qiáng)國(guó)家防災(zāi)減災(zāi)能力、提升公共氣象服務(wù)水平方面發(fā)揮了重要作用，作為公共氣象服務(wù)的一種手段，其投入產(chǎn)出符合公共氣象服務(wù)的一般規(guī)律，因此，公共氣象服務(wù)的投入產(chǎn)出比即為雷達(dá)的投入產(chǎn)出比。基于此，雷達(dá)的投資效益計(jì)算公式為：

影響雷達(dá)作用發(fā)揮因素的投資效益=影響雷達(dá)作用發(fā)揮的各因素投入/公共氣象服務(wù)投入與產(chǎn)出比 （公式2）

通過上述公式，知道影響雷達(dá)作用發(fā)揮的各因素的投入，便可計(jì)算得出影響雷達(dá)作用發(fā)揮因素的投資效益。

2.培訓(xùn)在雷達(dá)效益發(fā)揮中的貢獻(xiàn)度

培訓(xùn)的直接作用是雷達(dá)業(yè)務(wù)及管理人員素質(zhì)的提高，通過業(yè)務(wù)及管理人員在氣象業(yè)務(wù)中應(yīng)用雷達(dá)產(chǎn)品，使雷達(dá)發(fā)揮效益，但是培訓(xùn)也不是人員素質(zhì)提高的唯一影響因素，只有全面客觀區(qū)分出可以使人員素質(zhì)提高的全部手段，才有可能客觀區(qū)分出培訓(xùn)在人員素質(zhì)提高中的作用程度。同理，人員素質(zhì)不是雷達(dá)效益發(fā)揮的唯一決定因素，只有全面客觀區(qū)分影響雷達(dá)效益發(fā)揮的其他因素，才能準(zhǔn)確客觀區(qū)分出人員素質(zhì)在雷達(dá)效益發(fā)揮中的作用程度。

（1）建立指標(biāo)體系

在多次專家咨詢的基礎(chǔ)上，研究建立雷達(dá)效益發(fā)揮影響因素指標(biāo)體系，見圖1。

雷達(dá)培訓(xùn)貢獻(xiàn)度主要通過評(píng)估培訓(xùn)在提高雷達(dá)業(yè)務(wù)及管理人員素質(zhì)方面的貢獻(xiàn)度及人員素質(zhì)在雷達(dá)作用發(fā)揮上的貢獻(xiàn)度的基礎(chǔ)上，來評(píng)估培訓(xùn)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度。即：

雷達(dá)培訓(xùn)的貢獻(xiàn)度=培訓(xùn)在雷達(dá)業(yè)務(wù)及管理人員素質(zhì)提高方面的貢獻(xiàn)度*人員素質(zhì)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度 （公式3）

（2）開展問卷調(diào)查

為獲得各要素的重要性得分，向所有參加過雷達(dá)培訓(xùn)的學(xué)員及選派過3名以上學(xué)員的送培單位領(lǐng)導(dǎo)發(fā)放了調(diào)查問卷，了解他們對(duì)“人員素質(zhì)等各要素在雷達(dá)效益發(fā)揮的重要性程度”及“培訓(xùn)等各種手段在雷達(dá)人員素質(zhì)提高上的有效性”的認(rèn)知程度。調(diào)查對(duì)象及參與調(diào)查對(duì)象見表1。

從調(diào)查對(duì)象所屬氣象部門行政別上看，覆蓋國(guó)家級(jí)、省級(jí)、地市級(jí)、縣級(jí)四個(gè)行政級(jí)別，其中來自省級(jí)和地市級(jí)氣象部門的比重較大；從崗位分布上看，主要來自業(yè)務(wù)崗、管理崗和科研崗，調(diào)查對(duì)象的類別、來源及崗位均具有代表性。

（3）計(jì)算雷達(dá)培訓(xùn)貢獻(xiàn)度

為了客觀評(píng)價(jià)培訓(xùn)在雷達(dá)效益發(fā)揮上的貢獻(xiàn)度，采用“調(diào)查求重”和“層次分析”相結(jié)合的方法來計(jì)算雷達(dá)培訓(xùn)的貢獻(xiàn)度。

各要素指標(biāo)重要性得分的計(jì)算：

雷達(dá)效益發(fā)揮上，每一項(xiàng)要素重要性程度得分。計(jì)算公式為：

其中，P為選擇不同重要性層次的人占總?cè)藬?shù)的比例，K為不同等級(jí)分值：絕對(duì)重要的分值為K1=7，非常重要的分值為K2=6，比較重要的分值為K3=5，一般的分值為K4=4，有點(diǎn)重要的分值為K5=3，不太重要的分值為K6=2，不重要的分值為K7=1。運(yùn)用這個(gè)公式，可得出各要素在雷達(dá)作用發(fā)揮中重要性程度得分見表2。

雷達(dá)人員素質(zhì)提高方面，每一要素有效性程度得分計(jì)算方法同上，得到表3。

各要素指標(biāo)權(quán)重的計(jì)算：

在本研究中，由于主要采用了向?qū)W員及送培單位領(lǐng)導(dǎo)調(diào)查的方法，為了更好的體現(xiàn)雷達(dá)業(yè)務(wù)及管理人員意見的指導(dǎo)性，將回收的語詞式的意見樣本先定量化，而后再根據(jù)重要程度的得分差異對(duì)應(yīng)到Saaty的1～9標(biāo)度進(jìn)行處理，即“調(diào)查求重”與“層次分析”相結(jié)合。這種數(shù)字轉(zhuǎn)換所得的判斷于直接運(yùn)用Saaty1～9標(biāo)度得到的判斷是近似的，其有效性可以通過一致性的測(cè)試得到驗(yàn)證。

按照這一思路，將前期得到的指標(biāo)重要性程度得分進(jìn)行對(duì)應(yīng)轉(zhuǎn)化。其中影響雷達(dá)效益發(fā)揮各要素最高的得分值為6.354，最低值為5.736，將其最高值和最低值之間的得分差（即0.618）也區(qū)分為8個(gè)區(qū)間，分別與Saaty的1～9標(biāo)度值相對(duì)應(yīng)，得到表4。

同理，得到影響雷達(dá)業(yè)務(wù)和管理人員素質(zhì)提高各要素指標(biāo)重要性程度差值與Saaty 1～9標(biāo)度對(duì)應(yīng)表見表5。

根據(jù)層次分析的方法，建立各判斷矩陣，按照左上角的準(zhǔn)則將左側(cè)的第一列指標(biāo)與最上行的各個(gè)指標(biāo)依次進(jìn)行比較，然后再將第二列與最上行指標(biāo)進(jìn)行比較，依此類推。其中比較的依據(jù)即為各對(duì)應(yīng)指標(biāo)之間的差值落入的“指標(biāo)重要性程度值差與Saaty1～9標(biāo)度對(duì)應(yīng)表”中相應(yīng)的標(biāo)度值。最后得到判斷矩陣。根據(jù)判斷矩陣得到其最大特征值所對(duì)應(yīng)的特征向量，歸一化處理后就得到其權(quán)重。

由于客觀事物的復(fù)雜性和人的主觀判斷的差異，每個(gè)判斷結(jié)果都無法保證完全的一致，因此為了保證評(píng)價(jià)結(jié)果的合理性，對(duì)這些矩陣的一致性進(jìn)行檢驗(yàn)。計(jì)算結(jié)果表明，判斷矩陣進(jìn)行層次單排序的結(jié)果具有較好的一致性。

在上面的計(jì)算得到了各指標(biāo)相對(duì)于上一層次的單排序權(quán)重值，利用單排序的權(quán)值結(jié)果，用上層次各指標(biāo)的組合權(quán)重加權(quán)，以此來得到一級(jí)指標(biāo)人員素質(zhì)下層各指標(biāo)相對(duì)于指標(biāo)體系最高層的組合權(quán)重值，即雷達(dá)培訓(xùn)的貢獻(xiàn)度見表6。

所以， 根據(jù)公式2，得出雷達(dá)培訓(xùn)的貢獻(xiàn)度為26.4%。

3.計(jì)算雷達(dá)培訓(xùn)成本

中國(guó)氣象局在雷達(dá)建設(shè)規(guī)劃中就明確規(guī)定，每建設(shè)一部雷達(dá)，都要開展相關(guān)業(yè)務(wù)及管理人員培訓(xùn)，有固定的雷達(dá)培訓(xùn)經(jīng)費(fèi)投入，所以，

雷達(dá)培訓(xùn)成本=每一部雷達(dá)投入的培訓(xùn)經(jīng)費(fèi)*建設(shè)雷達(dá)總數(shù) （公式5）

4.計(jì)算雷達(dá)培訓(xùn)的投資回報(bào)率

雷達(dá)培訓(xùn)的收益即為影響雷達(dá)效益發(fā)揮因素的投資效益*雷達(dá)培訓(xùn)的貢獻(xiàn)度，因此，得出雷達(dá)培訓(xùn)效益的計(jì)算公式，即：

雷達(dá)培訓(xùn)的效益=影響雷達(dá)效益發(fā)揮因素的投資效益*雷達(dá)培訓(xùn)的貢獻(xiàn)度-雷達(dá)培訓(xùn)成本 （公式6）

根據(jù)公式（2）、公式（3）和公式（5）的計(jì)算結(jié)果，可以計(jì)算得出雷達(dá)培訓(xùn)的收益。

根據(jù)公式1，雷達(dá)培訓(xùn)的投資回報(bào)率=（雷達(dá)培訓(xùn)收益-雷達(dá)培訓(xùn)成本）/雷達(dá)培訓(xùn)成本 =91.34：1

四、結(jié)語

本文以雷達(dá)培訓(xùn)效益評(píng)估為例，探索了培訓(xùn)效益評(píng)估的技術(shù)方法，為將來開展培訓(xùn)效益評(píng)估積累了經(jīng)驗(yàn)，并進(jìn)行了有益的嘗試。但是公共氣象服務(wù)的投入產(chǎn)出比是計(jì)算雷達(dá)培訓(xùn)效益的一個(gè)基礎(chǔ)數(shù)據(jù)，為開展雷達(dá)培訓(xùn)效益評(píng)估提供了可能，其他培訓(xùn)項(xiàng)目限于難以測(cè)算相關(guān)培訓(xùn)后業(yè)務(wù)上產(chǎn)生的效益及無法令人信服地指出哪些效益直接來源于培訓(xùn)，導(dǎo)致開展培訓(xùn)效益評(píng)估難度依然較大。

參考文獻(xiàn)

[1]馬旭玲等.關(guān)于氣象培訓(xùn)效益評(píng)估的思考[J].繼續(xù)教育，2014（12）.

[2]肖娟.培訓(xùn)效果評(píng)估方法及其應(yīng)用研究[D].南京：南京理工大學(xué)，2007.

[3]ASTD research report.Value of evaluation： making training evaluation more effective[EB/OL].http：//www.astd.org/，2011-5-23.

[4]李廉水，孫健，陳云峰等.氣象服務(wù)效益評(píng)估技術(shù)與方法[M].北京：科學(xué)出版社，2013.

[5]高學(xué)浩，胡欣，李洪臣等.2006年度中國(guó)氣象局軟科學(xué)項(xiàng)目《短期天氣預(yù)報(bào)員能力評(píng)價(jià)研究報(bào)告》，2007.