基于模糊綜合評(píng)價(jià)法的應(yīng)急培訓(xùn)項(xiàng)目效果評(píng)估模型設(shè)計(jì)

成都市疾病預(yù)防控制中心（610041） 張 雙 庹曉莉 曾 偉

基于模糊綜合評(píng)價(jià)法的應(yīng)急培訓(xùn)項(xiàng)目效果評(píng)估模型設(shè)計(jì)

成都市疾病預(yù)防控制中心（610041） 張 雙 庹曉莉 曾 偉△

目的構(gòu)建應(yīng)急培訓(xùn)效果評(píng)估模型，不斷改進(jìn)和完善培訓(xùn)效果評(píng)估工作。方法采用德爾菲專家咨詢和模糊綜合判法構(gòu)建指標(biāo)體系和效果評(píng)價(jià)。結(jié)果對(duì)34名專家開展兩輪咨詢，專家權(quán)威均在0．77以上，平均值約0．80，第二輪專家意見協(xié)調(diào)系數(shù)經(jīng)檢驗(yàn)有統(tǒng)計(jì)學(xué)意義（P＜0．05），咨詢結(jié)果可靠。效果評(píng)估體系共包括4個(gè)一級(jí)指標(biāo)（反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層）和16個(gè)二級(jí)指標(biāo)，并確定了指標(biāo)權(quán)重。構(gòu)建的模糊綜合評(píng)估模型可以評(píng)估培訓(xùn)的總體效果和各層次培訓(xùn)效果，各層實(shí)施評(píng)估的時(shí)間依次在培訓(xùn)期間、培訓(xùn)剛結(jié)束、培訓(xùn)后3個(gè)月以及更長(zhǎng)的時(shí)間。評(píng)估方法可采用問卷法、關(guān)鍵人物訪談法、目標(biāo)考核法、資料收集法等。結(jié)論構(gòu)建的效果評(píng)估模型科學(xué)、合理、可靠，具有一定可操作性和推廣價(jià)值。

應(yīng)急培訓(xùn) 效果評(píng)估 德爾菲法 模糊綜合評(píng)價(jià)

為提高我市疾控隊(duì)伍應(yīng)急管理與現(xiàn)場(chǎng)處置能力，我中心于2012年啟動(dòng)了成都市現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目，至今已舉辦4期。培訓(xùn)質(zhì)量及效果如何，學(xué)員所學(xué)知識(shí)和技能有多少運(yùn)用到工作當(dāng)中，培訓(xùn)的預(yù)期目標(biāo)是否達(dá)到？暫未進(jìn)行過深入系統(tǒng)的評(píng)估?，F(xiàn)有的評(píng)估多是通過簡(jiǎn)單的問卷進(jìn)行單一的評(píng)價(jià)，培訓(xùn)人員關(guān)注的是培訓(xùn)過程的講授和指導(dǎo)，忽略了培訓(xùn)前的計(jì)劃，培訓(xùn)中期的質(zhì)量控制以及培訓(xùn)后效果與工作績(jī)效的有效結(jié)合［1］。如何提高培訓(xùn)成果的轉(zhuǎn)化率成為急需解決的課題，效果評(píng)估即成了培訓(xùn)工作的重要環(huán)節(jié)。基于此，本課題嘗試以我市現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目為例，構(gòu)建一套應(yīng)急培訓(xùn)效果評(píng)估體系。

資料與方法

1．理論基礎(chǔ) 采用柯氏評(píng)估模型作為評(píng)估的理論基礎(chǔ)。該模型是國(guó)際著名學(xué)者威斯康星大學(xué)教授唐·柯克帕在1959年提出的四層次模型，根據(jù)評(píng)估的深度和難度將培訓(xùn)效果的評(píng)估分為4個(gè)遞進(jìn)的層次：反應(yīng)層、學(xué)習(xí)層、行為層和效果層［2］，見表1。

表1 柯氏評(píng)估模型

2．評(píng)估體系構(gòu)建思路 應(yīng)用德爾菲專家咨詢法篩選評(píng)估指標(biāo)，計(jì)算指標(biāo)權(quán)重系數(shù)，運(yùn)用模糊綜合評(píng)判法對(duì)培訓(xùn)效果進(jìn)行綜合評(píng)價(jià)；對(duì)效果評(píng)估的具體實(shí)施進(jìn)行設(shè)計(jì)（包括評(píng)估對(duì)象、評(píng)估工具、評(píng)估時(shí)間等），完成評(píng)估體系的整體構(gòu)建。

3．德爾菲法

（1）專家咨詢

以柯氏四層次模型為指標(biāo)體系基礎(chǔ)框架，結(jié)合現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目背景和目的［3］，初步擬定評(píng)估指標(biāo)［4］，編制咨詢問卷，進(jìn)行2輪德爾菲專家咨詢。請(qǐng)專家對(duì)指標(biāo)的重要性進(jìn)行評(píng)判，并自行評(píng)價(jià)對(duì)指標(biāo)的熟悉程度（Cs）及判斷依據(jù)（Ca），同時(shí)收集專家對(duì)評(píng)估指標(biāo)體系的相關(guān)建議。重要性、專家熟悉程度以及判斷依據(jù)，根據(jù)不同程度，依次賦值［5］，量化見表2。

表2 重要性、熟悉程度、判斷依據(jù)量化表

（2）專家咨詢可靠性估計(jì)

專家咨詢的可靠程度一般用專家積極系數(shù)、專家權(quán)威程度和專家意見的協(xié)調(diào)系數(shù)來衡量。專家積極系數(shù)一般用問卷回收率來表示。專家的權(quán)威程度Cr＝（Cs＋Ca）/2，在0～1之間，值越高表示專家權(quán)威程度越高。專家意見的協(xié)調(diào)系數(shù)W，在0～1之間，值越高表示專家對(duì)全部指標(biāo)評(píng)分的協(xié)調(diào)程度越好；計(jì)算協(xié)調(diào)系數(shù)并進(jìn)行顯著性檢驗(yàn)判斷專家對(duì)各項(xiàng)指標(biāo)的評(píng)價(jià)是否存在較大分歧。

（3）指標(biāo)篩選及權(quán)重確定

采用界值法［5］篩選評(píng)價(jià)指標(biāo)，同時(shí)結(jié)合專家意見進(jìn)行取舍。采用加權(quán)均值法計(jì)算指標(biāo)權(quán)重，wj＝將指標(biāo)（j）重要性均值（j）與權(quán)威程度均值的乘積做分子，該指標(biāo)歸屬的某上級(jí)指標(biāo)下所有m個(gè)指標(biāo)重要性均值與權(quán)威程度均值的乘積累積之和做分母，兩者的比值為該指標(biāo)的權(quán)重系數(shù)，

4．?dāng)?shù)據(jù)處理與方法

采用Epidata建立數(shù)據(jù)庫，SPSS18．0進(jìn)行數(shù)據(jù)分析。計(jì)算各項(xiàng)指標(biāo)的重要性均值、標(biāo)準(zhǔn)差、滿分比、變異系數(shù)、專家積極系數(shù)、專家權(quán)威程度、專家意見協(xié)調(diào)系數(shù)、指標(biāo)權(quán)重，構(gòu)建模糊綜合評(píng)估模型。

結(jié) 果

1．咨詢專家的基本情況

共咨詢公共衛(wèi)生領(lǐng)域?qū)＜?4名，其中高級(jí)職稱20名（58．8%），中級(jí)職稱14名（41．2%）；平均工作年限17年。24人（70．6%）來源于衛(wèi)生技術(shù)部門，4人（11．8%）來源高等院校，6人（17．6%）為我市國(guó)家現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目畢業(yè)學(xué)員。

2．咨詢結(jié)果的可靠性估計(jì)

兩輪咨詢發(fā)出問卷34份，回收有效問卷34份，專家積極系數(shù)為100%；經(jīng)計(jì)算，一級(jí)、二級(jí)指標(biāo)專家權(quán)威程度在0．77～0．83，平均值為0．80。一般認(rèn)為，專家權(quán)威程度≥0．70為可以接受［6］；專家意見的協(xié)調(diào)系數(shù)，如表3所示，第二輪高于第一輪，意見趨于一致。一級(jí)、二級(jí)指標(biāo)的W分別為0．242、0．433，且經(jīng)χ2檢驗(yàn)后，P均小于0．05，有統(tǒng)計(jì)學(xué)意義，說明專家意見協(xié)調(diào)性較好，對(duì)指標(biāo)權(quán)重的估計(jì)較為穩(wěn)定可靠，結(jié)果可取。因此指標(biāo)權(quán)重的計(jì)算采用第二輪咨詢結(jié)果。

3．篩選指標(biāo)并確定指標(biāo)權(quán)重

根據(jù)界值法計(jì)算結(jié)果，所有初選指標(biāo)均保留，結(jié)合專家意見，對(duì)部分指標(biāo)解釋更具體，對(duì)部分指標(biāo)內(nèi)容進(jìn)行了擴(kuò)展。評(píng)估體系最終包括4個(gè)一級(jí)指標(biāo)，16個(gè)二級(jí)指標(biāo)，具體解釋及權(quán)重系數(shù)見表4。

4．構(gòu)建培訓(xùn)效果模糊綜合評(píng)估模型

步驟一：建立指標(biāo)權(quán)重集A，見表4。

步驟二：建立評(píng)語集

根據(jù)評(píng)價(jià)決策的實(shí)際需要，將評(píng)估效果按程度劃分為優(yōu)、良、中、差四個(gè)等級(jí)。即評(píng)語集V＝（優(yōu)、良、中、差）＝（v1，v2，v3，v4）

步驟三：建立模糊矩陣

模糊矩陣用Ri表示，Ri＝（Rij1，Rij2，Rij3，Rij4），其中Rij＝eijv/K，K為參加考評(píng)的總?cè)藬?shù)，v＝1，2，3，4，表示評(píng)估效果的等級(jí)。eijv為ij指標(biāo)考核結(jié)果中等級(jí)為v的人數(shù)?？傻玫揭韵履：u(píng)估矩陣Ri為：

以學(xué)習(xí)層為例（A2），若有100人參加考核評(píng)估，學(xué)習(xí)表現(xiàn)優(yōu)、良、中、差的人數(shù)分別為45人、33人、12人、10人，則R211＝0．45，R212＝0．33，R213＝0．12，R214＝0．10。理論知識(shí)考試優(yōu)、良、中、差的人數(shù)分別為60人、20人、15人、5人，則R221＝0．60，R222＝0．20，R223＝0．15 R224＝0．05。實(shí)踐操作考核優(yōu)、良、中、差的人數(shù)分別為55人、27人、11人、7人，則R231＝0．55，R232＝0．27，R233＝0．11，R234＝0．07。案例分析考試優(yōu)、良、中、差的人數(shù)分別為50人、32人、12人、6人，則R241＝0．50，R242＝0．32，R243＝0．12，R244＝0．06。得如下矩陣：

根據(jù)此步驟，可以得出反應(yīng)層、行為層和結(jié)果層的二級(jí)指標(biāo)模糊矩陣R1、R3、R4。

對(duì)R1、R2、R3、R4進(jìn)行初始模糊綜合評(píng)判，Bi＝Ai*Ri，得B2＝（0．5245，0．5770，0．1377，0．0344），經(jīng)歸一化處理后B2＝（0．41，0．45，0．11，0．03）?？芍?，“良”這一等級(jí)的隸屬度（比例）最高，“差”隸屬度最低，可以認(rèn)為，該培訓(xùn)學(xué)員的學(xué)習(xí)效果多為良好。根據(jù)此步驟，計(jì)算出B1、B3、B4，得出其他各層的評(píng)判效果。

步驟四：確定模糊綜合評(píng)判結(jié)果

（1）模糊綜合評(píng)判效果。

本研究培訓(xùn)效果模糊綜合評(píng)判結(jié)果為B＝A·R

（2）模糊綜合評(píng)估值

因評(píng)估效果分為優(yōu)、量、中、差四個(gè)等級(jí)，按4：3：2：1比例進(jìn)行劃級(jí)，按百分制計(jì)算綜合評(píng)估值。假設(shè)本研究綜合評(píng)估結(jié)果B＝（0．25，0．40，0．21，0．14），則模糊綜合評(píng)估值S＝B×V，其中V＝（100，75，50，25），據(jù)此，亦可計(jì)算出各層的評(píng)估值。

綜合評(píng)估值S＝0．25×100＋0．40×75＋0．21× 50＋0．14×25）＝69

表4 應(yīng)急培訓(xùn)效果評(píng)估指標(biāo)體系及指標(biāo)權(quán)重

學(xué)習(xí)層評(píng)估值S2＝0．41×100＋0．45×75＋0．11 ×50＋0．03×25）＝81

5．實(shí)施設(shè)計(jì)

對(duì)評(píng)估的時(shí)間和方法、工具進(jìn)行設(shè)計(jì)：反應(yīng)層在培訓(xùn)期間評(píng)估，采用問卷法、訪談或觀察等；學(xué)習(xí)層在培訓(xùn)期間和培訓(xùn)結(jié)束后盡快評(píng)估，采用考勤、觀察法、測(cè)試和演練等；行為層在培訓(xùn)結(jié)束后3個(gè)月或較長(zhǎng)時(shí)間內(nèi)評(píng)估，結(jié)果層在培訓(xùn)結(jié)束6個(gè)月－12個(gè)月后評(píng)估，可采用行為觀察法、關(guān)鍵人物訪談法、資料收集法以及目標(biāo)考核等方法。

討 論

1．指標(biāo)體系的全面性及推廣性：指標(biāo)的選取，涵蓋培訓(xùn)環(huán)境對(duì)效果的影響，知識(shí)技能的改善，培訓(xùn)后行為和績(jī)效提升等多方面，緊扣現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目?jī)?nèi)容，指標(biāo)選取合理、科學(xué)、全面。同時(shí)，該體系指標(biāo)具有較強(qiáng)的通用性，絕大多數(shù)指標(biāo)亦適用于其他培訓(xùn)，推廣性較好。

2．指標(biāo)設(shè)置的重要性和整體性：通過指標(biāo)權(quán)重系數(shù)可知，學(xué)習(xí)層和行為層權(quán)重系數(shù)相對(duì)較高，但各層相差不大，提示在開展現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)以及效果評(píng)估的時(shí)候，有側(cè)重點(diǎn)，但均需兼顧，做好培訓(xùn)保障、教學(xué)、成果轉(zhuǎn)化及跟蹤管理等工作，以確?？傮w效果。

3．模糊綜合評(píng)估模型的優(yōu)勢(shì)：模糊數(shù)學(xué)對(duì)不確定現(xiàn)象往往能進(jìn)行很好的說明和解釋［7］，本研究利用這一特點(diǎn)，對(duì)培訓(xùn)效果這一模糊的概念進(jìn)行綜合評(píng)價(jià)，更趨于合理可靠。且該模型既可以評(píng)估培訓(xùn)效果整體情況，還能分析各層次培訓(xùn)效果，便于培訓(xùn)的不同主體對(duì)與目標(biāo)培訓(xùn)有差距的地方進(jìn)行分析和改進(jìn)，有效實(shí)現(xiàn)培訓(xùn)效果的結(jié)果反饋［8］。

4．評(píng)估模型的可操作性：該模型雖暫時(shí)未能在實(shí)踐中得到應(yīng)用，但對(duì)各指標(biāo)都進(jìn)行了詳細(xì)釋意，且對(duì)反映層、學(xué)習(xí)層、行為層和結(jié)果層的評(píng)估方法或工具，評(píng)估對(duì)象以及評(píng)估時(shí)間都進(jìn)行設(shè)計(jì)，具有一定可操作性。

［1］王玲．GTH公司內(nèi)部培訓(xùn)效果評(píng)估方案設(shè)計(jì)．廣東：廣東工業(yè)大學(xué)，2012：1-67．

［2］Donald K．Great ideas Revisited：Revisiting Kirkpatrick｀s Four-Lever Mode．Training and Development，1996（1）：54-57．

［3］曾光．現(xiàn)場(chǎng)流行病學(xué)及中國(guó)現(xiàn)場(chǎng)流行病學(xué)培訓(xùn)項(xiàng)目．中華流行病學(xué)雜志，2003，24，（4）：322-324．

［4］Bhatnagar T，Gupte MD，Hutin YJ，et al．Seven years of the field epidemiology training programme（FETP）at Chennai，Tamil Nadu，India：an internal evaluation．Human Resources for Health，2012，10（36）：1-7．

［5］曾光主編．現(xiàn)代流行病學(xué)方法與應(yīng)用．北京：北京醫(yī)科大學(xué)中國(guó)協(xié)和醫(yī)科大學(xué)聯(lián)合出版社，1994：250．

［6］劉歡，吳晶，劉軍安，等．村衛(wèi)生室基本藥物制度績(jī)效評(píng)價(jià)指標(biāo)體系構(gòu)建研究．中國(guó)衛(wèi)生統(tǒng)計(jì)，2015，12，32（6）：935-938．

［7］孫振球主編．醫(yī)學(xué)綜合評(píng)價(jià)方法及其應(yīng)用．北京：華西工業(yè)出版社，2006：103．

［8］張波．重慶市公務(wù)員培訓(xùn)效果評(píng)估體系研究．重慶：重慶大學(xué)，2009：1-56．

（責(zé)任編輯：劉 壯）

△通信作者：曾偉，E-mail：3004658＠qq．com