煤礦安全培訓(xùn)效果評估的多層次模型探索

劉 琴

煤礦安全生產(chǎn)是確保煤炭行業(yè)持續(xù)健康發(fā)展的重中之重。扎實有效的安全教育培訓(xùn)工作，可以提升企業(yè)作業(yè)人員的安全意識和綜合素質(zhì)，從而降低事故的發(fā)生概率。近年來，煤礦企業(yè)認(rèn)真貫徹落實黨中央、國務(wù)院關(guān)于安全生產(chǎn)的一系列指示精神，依法從嚴(yán)落實企業(yè)安全培訓(xùn)主體責(zé)任，把安全培訓(xùn)作為企業(yè)安全發(fā)展的基礎(chǔ)工程、生命工程和效益工程而常抓不懈。但是當(dāng)前我國各煤礦企業(yè)安全培訓(xùn)開展的水平參差不齊，系統(tǒng)化、科學(xué)化的培訓(xùn)體系沒有建立，同時存在信息滯后、技術(shù)空白的問題。如何知曉現(xiàn)有的培訓(xùn)是否達到了應(yīng)有的效果呢？對培訓(xùn)效果進行評估就顯得尤為重要。

一、當(dāng)前煤礦企業(yè)安全培訓(xùn)管理的現(xiàn)狀與問題分析

1.煤礦企業(yè)安全培訓(xùn)管理的現(xiàn)狀

目前，煤礦企業(yè)安全培訓(xùn)實施機構(gòu)在建立安全培訓(xùn)評估機制時，主要通過問卷調(diào)查、調(diào)研報告等多種形式進行評估。一是滿意度分析報告。各班級在培訓(xùn)課結(jié)束之前，由班主任組織抽取一定比例的學(xué)員召開座談會，征求對培訓(xùn)情況的意見與建議，并形成記錄，完成滿意度分析報告。在報告中要對教師的授課水平、選用的教材、課程設(shè)置以及后勤服務(wù)等是否到位做出總結(jié)。二是培訓(xùn)效果跟蹤反饋。企業(yè)通過多種形式的調(diào)查對培訓(xùn)學(xué)員的工作現(xiàn)場表現(xiàn)進行評估，掌握培訓(xùn)學(xué)員的工作態(tài)度、“三違”率以及工作質(zhì)量有無變化等。三是與送培單位反饋。每次培訓(xùn)后把培訓(xùn)情況向送培單位反饋，包括考試成績、考勤情況、發(fā)證情況和特殊表現(xiàn)等，把績效考核與學(xué)員培訓(xùn)期間的表現(xiàn)聯(lián)系起來，以驗證兩者之間的關(guān)系。

按照評估的層級來看，目前基本上所有的培訓(xùn)都進行了反應(yīng)層評估。該評估主要是針對師資和組織管理進行評估，輔之以考核測試的方式來強化受訓(xùn)者的理論知識。雖然也開展了學(xué)習(xí)成果評估、工作行為評估，但往往流于形式。

2.存在的問題

（1）評估缺乏科學(xué)性。在對礦井工作人員進行評估時，采取的主要評估方法是以班級、以教師為單位評估這兩種方式，落實到書面上就是填一份表格。這個表格能夠反映教師和學(xué)員對礦井工作人員評論的概況。但是在實際評估時，部分員工在填寫表格時比較隨意，這就會導(dǎo)致評估的效果并不理想。

（2）評估方法比較單一。培訓(xùn)單位多采用測試的方式對培訓(xùn)學(xué)員的理論水平進行評估，而測試結(jié)果并不能夠充分反映學(xué)員的綜合素質(zhì)與知識水平。在對實際操作技能進行評估時，多是相對固定的簡單操作，并不能夠充分提高學(xué)員的學(xué)習(xí)效率和積極性。學(xué)員培訓(xùn)的后續(xù)跟蹤調(diào)查不夠，多數(shù)培訓(xùn)僅關(guān)注考核成績是否過關(guān)，但是在測試之后并不能根據(jù)其知識盲點或者是漏洞進行對比分析。

（3）在評估時受個人因素的影響比較大，評估管理系統(tǒng)并沒有完善。在評估時，評估的個人因素，如領(lǐng)導(dǎo)偏好，對整個評估結(jié)果的影響比較大，這就難以客觀反映管理人員工作的實際情況。另外有一些工作人員，并沒有尊重培訓(xùn)的實際發(fā)生狀況，而是參考其他培訓(xùn)單位的培訓(xùn)狀況，或者想當(dāng)然地依據(jù)一些共性特征進行總結(jié)。顯然，這樣的總結(jié)不具有針對性和科學(xué)性，做出來的評估也就很難有實際效果。

（4）數(shù)據(jù)管理系統(tǒng)尚未完善。當(dāng)前我國煤礦企業(yè)安全培訓(xùn)的數(shù)據(jù)分析及其管理系統(tǒng)仍在建設(shè)和完善中，甚至許多單位仍停留在紙質(zhì)版階段，不管是存檔，還是上交給各個部門都不太方便，并且整理起來很費精力，也無法為后續(xù)工作提供科學(xué)、詳細的數(shù)據(jù)。

3.原因分析

（1）對安全培訓(xùn)效果評估重要性認(rèn)識不足。煤礦企業(yè)在實際安全培訓(xùn)過程中，更重視培訓(xùn)計劃的制定、培訓(xùn)班級組織、培訓(xùn)教學(xué)過程正常開展，但對安全培訓(xùn)內(nèi)容是否符合學(xué)生的學(xué)習(xí)水平，是否與企業(yè)發(fā)展的實際相結(jié)合，是否貼近現(xiàn)實社會以及教師在講課前的備課是否充分等考慮不足。尤其是對授課的質(zhì)量、課題互動和教學(xué)秩序等情況沒有進行有目的地進行信息收集，導(dǎo)致學(xué)員滿意度調(diào)查數(shù)據(jù)較少，對培訓(xùn)班結(jié)束后的跟蹤調(diào)查評估缺乏重視。由于培訓(xùn)過程信息和數(shù)據(jù)較少，造成評估工作停滯不前，評估機制更加難以完善，也就無法發(fā)現(xiàn)安全培訓(xùn)過程中出現(xiàn)的問題，難以制定有效的改進措施，進而影響了培訓(xùn)質(zhì)量的提升。

（2）安全培訓(xùn)效果評估的方法與培訓(xùn)現(xiàn)狀不相適應(yīng)。如前所述，現(xiàn)有的安全培訓(xùn)效果評估一直以來都是采用座談會或者發(fā)放調(diào)查問卷的方法，評估方法單一且缺乏層次性。在用數(shù)據(jù)對評估進行分析時，數(shù)據(jù)庫資料匱乏以及數(shù)據(jù)資料不夠準(zhǔn)確等問題都會影響到評估效果。學(xué)員滿意度調(diào)查問卷中指標(biāo)、權(quán)重設(shè)計的不合理、集中填寫問卷的方式也會人為地導(dǎo)致調(diào)查信息的失真。滿意度分析報告沒有采用數(shù)學(xué)統(tǒng)計方法進行科學(xué)的分析，沒有建立科學(xué)、系統(tǒng)的評價體系，使安全培訓(xùn)效果評估流于形式。

二、安全培訓(xùn)效果評估模型設(shè)計

安全培訓(xùn)效果評估流程的設(shè)計必須符合系統(tǒng)性、規(guī)范性以及標(biāo)準(zhǔn)化的要求，其目的是使評估操作者能夠全面依照流程設(shè)計進行評估，能夠促進評估操作者評估效率的提升，并且能夠?qū)υu估質(zhì)量做出保障。同時，在規(guī)范化、系統(tǒng)化、標(biāo)準(zhǔn)化的評估流程下，評估操作者的主觀性對評估結(jié)果所產(chǎn)生的影響將會有效降低，從而保障評估結(jié)果具有客觀性和準(zhǔn)確性。除此之外，在對評估流程進行設(shè)計的過程中，應(yīng)符合高效性、完整性以及可行性的要求。評估的具體流程如圖1所示。

圖1 培訓(xùn)效果評估流程

1.培訓(xùn)目標(biāo)分析

在展開培訓(xùn)工作之前，培訓(xùn)管理者應(yīng)制定培訓(xùn)目標(biāo)，并依照培訓(xùn)目標(biāo)設(shè)計培訓(xùn)內(nèi)容、展開培訓(xùn)工作，同時也能夠依照所制定的培訓(xùn)目標(biāo)，選擇培訓(xùn)方法等。依據(jù)培訓(xùn)目標(biāo)，對照效果評估結(jié)果分析其與培訓(xùn)目標(biāo)之間是否具有一致性，從而能夠明確培訓(xùn)工作所存在的不足之處，為培訓(xùn)管理的優(yōu)化完善帶來促進作用。

2.評估可行性分析

培訓(xùn)效果評估雖然具有重要意義，但培訓(xùn)效果評估并非適用于全部的培訓(xùn)活動，對不同培訓(xùn)工作展開評估時，要依照實際情況對評估層次進行選擇。在評估的可行性分析過程中，必須明確和依照培訓(xùn)項目的性質(zhì)來選擇評估方法。煤炭安全培訓(xùn)應(yīng)進行實操考核，只要在考核成績過關(guān)的情況下才能夠上崗工作，因此需要展開學(xué)習(xí)層評估。因此，在評估的過程中，必須融入對培訓(xùn)時間、難度等多方面影響因素的考量，并在此基礎(chǔ)上，結(jié)合相關(guān)數(shù)據(jù)信息，完成對工具考察表的設(shè)計，從而保障評估工作具有可行性。

3.確定培訓(xùn)評估層次

在客觀條件產(chǎn)生影響以及限制的情況下，三、四級評估并非適用于全部的評估項目，因此要依照評估可行性分析對評估等級進行確定，從而使評估工作更具針對性和有效性。行為層評估以及結(jié)果層評估缺乏經(jīng)驗，因此在初期評估的過程中不具有較高的適用性，但能夠依照實際情況對判定標(biāo)準(zhǔn)做出合理的調(diào)整。

4.確定評估操作者與評估對象

普遍情況下，評估操作者大多為培訓(xùn)管理者，培訓(xùn)管理者不僅具有較高的綜合能力和綜合素質(zhì)，同時具有豐富的培訓(xùn)經(jīng)驗等，因此培訓(xùn)管理者作為操作者開展的評估活動其結(jié)果都更具有效性。但是為避免被“指定”情況的發(fā)生，應(yīng)依照實際情況對評估操作者進行選擇。同時，在展開評估活動的過程中應(yīng)首先確定評估對象，詳細地描述其對象特征，從而使評估活動更具有針對性。

5.確定培訓(xùn)評估指標(biāo)

雖然定性指標(biāo)以及定量指標(biāo)皆具有較高的適用性，但由于培訓(xùn)評估指標(biāo)體系的特性，在實際應(yīng)用時應(yīng)注重對定量指標(biāo)的使用，若存在部分不可去除的定性指標(biāo)，在應(yīng)用的過程中應(yīng)將其做出量化處理。除此之外，評估指標(biāo)還分為共性、個性這兩種類型，因此，應(yīng)依照實際情況選擇適用的評估指標(biāo)。

6.確定評估工具

評估工具具有多樣化的特性，必須依照實際需求以及實際情況選擇適用性較高的評估工具。一般情況下，所使用的評估工具包括調(diào)查問卷、訪談以及測試等。

7.形成評估報告

在完成培訓(xùn)效果評估的基礎(chǔ)上，以報告的形式對數(shù)據(jù)信息的分析結(jié)果進行闡述。在評估報告中，各個層級所具有的優(yōu)劣、培訓(xùn)效果詳細信息均有體現(xiàn)。

8.反饋溝通培訓(xùn)效果

將評估報告內(nèi)所闡述的培訓(xùn)效果進行反饋，從而可以促使培訓(xùn)管理者、師資能夠依照反饋信息制定相應(yīng)的決策、優(yōu)化培訓(xùn)方法。參與培訓(xùn)的企業(yè)單位可以依照反饋信息完成績效評價，培訓(xùn)對象也能夠通過反饋信息明確培訓(xùn)環(huán)境情況以及自身知識能力的掌握程度等。

三、安全培訓(xùn)效果評估模型的應(yīng)用

1.評估對象基本情況

本論文以特種作業(yè)人員中的綜掘機操作工2017年的某次安全培訓(xùn)為例，闡述多層次安全培訓(xùn)效果評估模型的應(yīng)用。綜掘機操作工培訓(xùn)班培訓(xùn)人員較多，來自煤礦企業(yè)四個生產(chǎn)礦井。因其工種的特殊性、培訓(xùn)效果的可反饋性和良好的預(yù)期收益，在培訓(xùn)的過程中易受到管理人員的關(guān)注，容易進行評估工作。

通過對培訓(xùn)過程監(jiān)控，分析培訓(xùn)數(shù)據(jù)，結(jié)果證明，該培訓(xùn)效果有進行四級評估的條件。

此次培訓(xùn)有理論和實操兩種方式，培訓(xùn)崗位主要針對綜掘機司機，培訓(xùn)人員來自于2017年新入職或者轉(zhuǎn)崗的國內(nèi)煤礦企業(yè)4 個生產(chǎn)礦井單位。

2.培訓(xùn)效果評估的具體實施工作

首先確定評估對象與評估實施者，在培訓(xùn)班設(shè)班主任，由評估實施者擔(dān)任。班主任負責(zé)總體協(xié)調(diào)工作，整理培訓(xùn)指標(biāo)，收集評估數(shù)據(jù)，進行報告匯總。其他評估主體還包括1 名管理員、1 名理論部分主考官和3 名實操培訓(xùn)觀察員。行為層通過對3 至5 學(xué)員同事和1 名直接上級進行調(diào)查。反應(yīng)層和學(xué)習(xí)層全部進行調(diào)查評估，行為層和結(jié)果層評估對象抽樣數(shù)最小數(shù)為31 人。然后，設(shè)計評估模型，明確評估指標(biāo)和所占比重。

（1）綜掘機司機反應(yīng)層數(shù)據(jù)評估與結(jié)果處理。綜掘機司機的培訓(xùn)工作結(jié)束后，向各班學(xué)員發(fā)調(diào)查表，統(tǒng)計滿意度，通過培訓(xùn)學(xué)員分別對課堂教學(xué)授課、教學(xué)方法、教學(xué)手段、課堂互動、考核、后勤服務(wù)等進行滿意度調(diào)查評價，并將調(diào)查表全部收回。將每一位學(xué)員的培訓(xùn)滿意度評價錄入計算機，并進行分項匯總，得出評估平均得分，再與二級指標(biāo)、三級指標(biāo)相乘，便得到各個分項得分，最后累積相加可得出該評估層級的得分（見表1）。

表1 培訓(xùn)滿意度評價統(tǒng)計表

續(xù)表

通過統(tǒng)計發(fā)現(xiàn)，培訓(xùn)反應(yīng)層中得分最高的是D3，說明培訓(xùn)的整體課程安排能夠更貼近實際工作。具體來說，通過推行“一體化教學(xué)”模式，將理論教學(xué)和技能操作進行了有機結(jié)合，保證培訓(xùn)教學(xué)不脫離生產(chǎn)實際，解決了“工學(xué)矛盾”，對現(xiàn)場工作有促進作用。得分較低的是D6 和D13，其主要是學(xué)員認(rèn)為一是教材選用方面存在問題，教材內(nèi)容部分不符合生產(chǎn)實際，內(nèi)容更新跟不上現(xiàn)代化礦井機械化裝備的發(fā)展，導(dǎo)致生產(chǎn)工藝流程脫離實際；二是在培訓(xùn)過程中學(xué)員反映的問題沒能得到及時有效地解決。

（2）綜掘機操作工學(xué)習(xí)層評估數(shù)據(jù)統(tǒng)計與處理。理論培訓(xùn)前，綜掘機操作工平均分為72.6 分，四舍五入記為70 分，經(jīng)過理論培訓(xùn)平均分為94.7，提高了30.4%，評價為8 分；參加培訓(xùn)人員共55 名，其中分?jǐn)?shù)合格者共53 人，占96.4%，評價分?jǐn)?shù)9 分；考試環(huán)境評分為10 分，優(yōu)秀。對實操部分的培訓(xùn)效果評價，采取評估小組打分方式。評估小組由3 名高級技能人員構(gòu)成，對參加培訓(xùn)的人員逐個打分，得分為分項的平均分與權(quán)重系數(shù)的乘積（見表2）。

表2 考核評價統(tǒng)計表

通過數(shù)據(jù)可以看出，學(xué)員在理論考試成績提升率得分為8 分，原因是因為在培訓(xùn)之前參訓(xùn)對象對理論知識的掌握情況已經(jīng)達到了一定的水平，提升的空間比較有限，導(dǎo)致評估分?jǐn)?shù)較低。這樣的情況對培訓(xùn)主辦方及培訓(xùn)師提出了更高的要求，即要想得到更高的評價分，需要找到學(xué)員的盲區(qū)主要集中在什么地方，需要培訓(xùn)更加具備針對性。通過實操考核發(fā)現(xiàn)學(xué)員對崗位或設(shè)備危險源辨識清晰，操作準(zhǔn)備、步驟、流程、收尾工作做的很好，說明在平時的訓(xùn)練過程中，強化了安全意識，提高了操作水平，學(xué)員學(xué)習(xí)大有收獲。但學(xué)員們在“對本崗位實操內(nèi)容及目標(biāo)復(fù)述明確程度”方面有所欠缺，可能是由于學(xué)員不太喜歡背誦知識，加上年齡偏大記憶力減退的原因?qū)е隆?/p>

（3）綜掘機操作工反應(yīng)層評估數(shù)據(jù)統(tǒng)計與處理。由于學(xué)習(xí)層培訓(xùn)效果得分是9.10 分，不算極低值，行為層培訓(xùn)效果評價能夠正常進行。培訓(xùn)三個月后，進行了行為層首次培訓(xùn)評估工作。評估針對對31 名學(xué)員進行調(diào)查。這些學(xué)員來自4 個礦井、8 個區(qū)的20 個班組，并調(diào)查了19 名直接上級和62 名同級同事。該層次標(biāo)準(zhǔn)分的計算過程是：先計算各類評價者的平均分，與對應(yīng)的權(quán)重系數(shù)相乘，以此疊加出各項平均得分，再將該數(shù)值與分項系數(shù)相乘。計算數(shù)據(jù)詳見表3。

表3 行為變化評價統(tǒng)計表

（4）綜掘機操作工結(jié)果層評估數(shù)據(jù)統(tǒng)計與處理。培訓(xùn)三個月后，進行結(jié)果層首次培訓(xùn)評估工作，接受調(diào)查的人員基本同反應(yīng)層評估人員相一致。由于此期間有離職或調(diào)崗人員，調(diào)查的實際人數(shù)為30 人。調(diào)查內(nèi)容主要是責(zé)任設(shè)備的故障與隱患、生產(chǎn)中暴露的質(zhì)量問題等。從各調(diào)查人員所在單位臺賬中得到違章操作的相關(guān)數(shù)據(jù)，可以看出在責(zé)任設(shè)備出現(xiàn)故障的前面和后面3 個月，分別發(fā)生了72 次和51 次違章操作；分別發(fā)生了318 條和262 條責(zé)任設(shè)備隱患；培訓(xùn)前和培訓(xùn)后分別出現(xiàn)了178 和159 次產(chǎn)品質(zhì)量問題；受到地質(zhì)條件和生產(chǎn)輔助設(shè)備的影響，勞動效率有所不同，用目標(biāo)測定法得出數(shù)據(jù)。表4詳細列出了具體數(shù)據(jù)。

表4 培訓(xùn)成果評價統(tǒng)計表

（5）綜掘機操作工總體培訓(xùn)效果評估數(shù)據(jù)統(tǒng)計與處理。通過對四個層次數(shù)據(jù)分別評價，得到各層次各個部分的分值。其中，反應(yīng)層效果評估得分為9.29 分，學(xué)習(xí)層理論部分得分為9.10 分，行為層的評價分?jǐn)?shù)為9.47 分，結(jié)果層的評價分?jǐn)?shù)為9.60 分。將以上分?jǐn)?shù)與對應(yīng)部分權(quán)重系數(shù)相乘，得到9.4 分的綜合得分，即為這次為期三個月的綜掘機操作工培訓(xùn)效果評估分?jǐn)?shù)（見表5）。

表5 培訓(xùn)效果評估匯總表

為了驗證培訓(xùn)效果的持續(xù)性和穩(wěn)定性，同時避免學(xué)員參加其他培訓(xùn)的影響，培訓(xùn)結(jié)束后6 個月再次用同樣方法進行行為層和結(jié)果層的評估，并用兩次評估的比較結(jié)果分析隨著時間的推移培訓(xùn)效果的變化情況，并反饋給工作單位。針對具體情況，可以在工作單位采取經(jīng)常敲敲警鐘、不定期抽查應(yīng)掌握安全知識與技能等措施來鞏固培訓(xùn)效果。

3.實際運用效果評析

運用多層次評估模型對培訓(xùn)效果進行逐級評估，從整個評估過程來看，算是比較順利。從評估指標(biāo)的數(shù)據(jù)結(jié)果顯示，可以明顯地發(fā)現(xiàn)評估過程中哪些得分比較低，并有利于培訓(xùn)單位結(jié)合實際情況進行分析，查找原因。

反應(yīng)層和學(xué)習(xí)層在平常的培訓(xùn)管理工作中效果評估運用比較廣泛，評估的指標(biāo)、權(quán)重設(shè)計，數(shù)據(jù)收集和分析方法較為成熟，沒用顯示出明顯的問題［1］。需要注意的是，在學(xué)習(xí)層評價時，合格率并不是唯一的判斷這次培訓(xùn)效果的標(biāo)準(zhǔn)，還要綜合其他因素。

行為層評估方面一直以來是安全培訓(xùn)效果評估的最弱環(huán)節(jié)。在運用該模型進行評估時，需要加強與安全監(jiān)督部門和考核主管部門溝通和信息交流，需要對培訓(xùn)人員工作行為進行長期跟蹤、調(diào)查，保證數(shù)據(jù)收集的真實性和有效性。

對結(jié)果層的評估過程有很大的難度，表現(xiàn)在得到的數(shù)據(jù)未必是最準(zhǔn)確、有效和最完善的，收集過程很可能有疏漏，很多因素都會對某寫數(shù)據(jù)指標(biāo)造成一定影響，有些數(shù)據(jù)可能超出了控制范圍［2］。

另外，需要指出的是，本次調(diào)查的工種在評估時比較容易做出量化和評價，因此數(shù)據(jù)收集相對完整，結(jié)果層評估符合實際，具體評估過程基本順利。其他的工種，運用該模型進行培訓(xùn)效果評估時，需要合理地微調(diào)相應(yīng)的指標(biāo)，并適度結(jié)合部分質(zhì)性評價來保障評估效果。