獸醫(yī)現(xiàn)場流行病學(xué)基礎(chǔ)培訓(xùn)效果評估分析

劉麗蓉，康京麗，劉愛玲，常 凱，于麗萍，韋欣捷

（1.中國動物衛(wèi)生與流行病學(xué)中心，山東青島 266032；2.董家口海關(guān)，山東青島 264000）

2010 年底，農(nóng)業(yè)農(nóng)村部和聯(lián)合國糧農(nóng)組織（FAO）、美國國際發(fā)展署合作，依托農(nóng)業(yè)農(nóng)村部畜牧獸醫(yī)局、FAO 跨境動物疫病應(yīng)急中心中國辦公室與中國動物衛(wèi)生與流行病學(xué)中心，啟動了中國獸醫(yī)現(xiàn)場流行病學(xué)培訓(xùn)項(xiàng)目（以下稱CFETPV項(xiàng)目）。該項(xiàng)目每2 年舉行1 期，至今已開展了5期。自2012 年10 月起，為增強(qiáng)培訓(xùn)效果，選拔優(yōu)秀學(xué)員，每期培訓(xùn)班正式開始前，先開展為期4周的CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)，旨在普及獸醫(yī)現(xiàn)場流行病學(xué)知識、提高獸醫(yī)流行病學(xué)相關(guān)基礎(chǔ)技能。截至目前，基礎(chǔ)培訓(xùn)已培養(yǎng)學(xué)員163 人次，覆蓋全國31 個(gè)省（自治區(qū)、直轄市）、5 家部屬獸醫(yī)事業(yè)單位及3 所高校。隨著項(xiàng)目的擴(kuò)大發(fā)展，培訓(xùn)課程能否滿足實(shí)際需要，如何保證學(xué)員學(xué)習(xí)質(zhì)量，如何提升教學(xué)水平，是項(xiàng)目管理方需要深入思考的問題。因此，研究構(gòu)建一套科學(xué)合理的培訓(xùn)效果評價(jià)體系，對優(yōu)化完善獸醫(yī)流行病學(xué)人才培訓(xùn)項(xiàng)目具有重要意義。

1 培訓(xùn)效果評估概況

培訓(xùn)效果評估是依據(jù)項(xiàng)目的戰(zhàn)略目標(biāo)，運(yùn)用科學(xué)的理論、流程和方法，采用可操作的培訓(xùn)效果指標(biāo)體系，系統(tǒng)地搜集有關(guān)培訓(xùn)的描述性和評判性信息，從而對培訓(xùn)效果進(jìn)行評價(jià)和估量的過程[1]。這是一項(xiàng)系統(tǒng)性、復(fù)雜性的人力資源管理活動，在培訓(xùn)工作中發(fā)揮著重要作用[2]。近年來，國內(nèi)外學(xué)者廣泛開展了培訓(xùn)效果評估的研究。Kirkpatrick 1959 年首次提出了四層次培訓(xùn)評估模型的概念[3]，該模型按照評估深度和難度，分為4 個(gè)層次：反應(yīng)層、學(xué)習(xí)層、行為層、效果層。隨后，1991 年菲利普斯（Phillips）、1994 年考夫曼（Kaufman）分別在此基礎(chǔ)上提出了五級投資回報(bào)模型和五級評估模型[4-5]。國外醫(yī)護(hù)培訓(xùn)領(lǐng)域形成了較為完善的培訓(xùn)體系[6]，為評估科學(xué)化、結(jié)構(gòu)化和系統(tǒng)化提供了理論保障。國內(nèi)該類研究相較于國外起步較晚，蔡小慎等[7]建立了公務(wù)員培訓(xùn)效果評估模型，從德、能、勤、績、廉5 項(xiàng)能力與政治能力角度對行為層進(jìn)行評估。劉慧慧等[8]通過設(shè)計(jì)定性訪談提綱，從項(xiàng)目開展的必要性、成功的標(biāo)準(zhǔn)、是否成功及未來發(fā)展建議等方面了解了地方現(xiàn)場流行病學(xué)培訓(xùn)項(xiàng)目的實(shí)施效果及存在問題，但未能形成系統(tǒng)的培訓(xùn)效果評估體系。CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)評估工作尚處在探索階段，僅通過問卷形式，調(diào)查了解學(xué)員對教學(xué)及會務(wù)管理等的反饋信息。本研究以第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)為例，通過建立培訓(xùn)效果評估方法，評價(jià)參訓(xùn)學(xué)員的基本情況和培訓(xùn)效果，了解存在問題和發(fā)展需求，為繼續(xù)舉辦該項(xiàng)目提供決策依據(jù)，不斷提升項(xiàng)目的科學(xué)化、規(guī)范化、可持續(xù)化水平。

2 CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)效果評估方法的建立

Kirkpatrick 培訓(xùn)效果評估理論，由國際著名學(xué)者威斯康辛大學(xué)（Wisconsin University）榮譽(yù)教授Kirkpatrick 于1959 年提出。Kirkpatrick教授在管理學(xué)院任教30 年，曾為眾多公司和機(jī)構(gòu)提供過管理培訓(xùn)和開發(fā)方面的咨詢顧問服務(wù)，如可口可樂、通用電氣、IBM、百事達(dá)等，其最知名的理論——四層次培訓(xùn)效果評估理論，在教育界和企業(yè)界得到了最廣泛的應(yīng)用，在培訓(xùn)評估領(lǐng)域具有難以撼動的地位[9]。本研究基于Kirkpatrick 培訓(xùn)效果評估理論，通過分析CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)特點(diǎn)，在綜合研究國內(nèi)外各領(lǐng)域培訓(xùn)效果評估的基礎(chǔ)上，從反應(yīng)層和學(xué)習(xí)層兩個(gè)方面，初步構(gòu)建了CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)效果評估方法（圖1）。

2.1 反應(yīng)層評估

反應(yīng)層評估即學(xué)員對培訓(xùn)項(xiàng)目的反應(yīng)和評價(jià)，包括課程內(nèi)容、教學(xué)進(jìn)度、課程難易程度、與工作相關(guān)度、課程結(jié)構(gòu)、課程作業(yè)量、會務(wù)組織等7 方面的滿意度及問題建議。滿意度評估包括單項(xiàng)滿意度（Sj）和綜合滿意度（ST）評估，公式1、2 如下。

單項(xiàng)滿意度評估公式：

式中：

Sj：第 j 項(xiàng)評估內(nèi)容滿意度，j =1，2，……7，分別代表課程內(nèi)容、教學(xué)進(jìn)度、課程難易程度、與工作相關(guān)度、課程結(jié)構(gòu)、課程作業(yè)量和會務(wù)組織；

n：參與調(diào)查的學(xué)員數(shù)量；

xij：第i 位學(xué)員對第j 項(xiàng)評估內(nèi)容的滿意度評分；

SS：滿意度評分滿分值。

如，滿意度評分設(shè)置為1~5 分，滿分為5 分，4 位學(xué)員對課程內(nèi)容的滿意度評分分別為4、4、5、5 分，則課程內(nèi)容的滿意度為

式中：

ST：綜合滿意度；

Sj：單項(xiàng)滿意度；

m ：單項(xiàng)評估內(nèi)容的數(shù)量，這里m = 7。

如，學(xué)員對課程內(nèi)容、教學(xué)進(jìn)度、課程難易程度、與工作相關(guān)度、課程結(jié)構(gòu)、課程作業(yè)量和會務(wù)組織的滿意度分別為84%、80%、80%、75%、80%、73%和91%，則綜合滿意度為

2.2 學(xué)習(xí)層評估

學(xué)習(xí)層評估即學(xué)員參加培訓(xùn)后對知識技能掌握情況的自我評估，是反映學(xué)習(xí)效果最直接的層級，主要內(nèi)容包括流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測系統(tǒng)設(shè)計(jì)與評估、風(fēng)險(xiǎn)分析、流行病學(xué)研究設(shè)計(jì)及現(xiàn)場調(diào)查、疫情數(shù)據(jù)整理及分析和Excel數(shù)據(jù)透視表等7 方面知識技能。知識技能掌握度評估包括單項(xiàng)掌握度（Mj）評估和綜合掌握度（MT）評估見公式3、公式4。可通過配對樣本t 檢驗(yàn)來評判培訓(xùn)前后知識技能掌握度差異是否具有統(tǒng)計(jì)學(xué)意義。

單項(xiàng)知識技能掌握度評估公式：

式中：

Mj：第j 項(xiàng)知識技能掌握度，j=1，2，……7，分別代表流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測系統(tǒng)設(shè)計(jì)與評估、風(fēng)險(xiǎn)分析、流行病學(xué)研究設(shè)計(jì)及現(xiàn)場調(diào)查、疫情數(shù)據(jù)整理及分析和Excel 數(shù)據(jù)透視表；

n：參與調(diào)查的學(xué)員數(shù)量；

xij：第i 位學(xué)員對第j 項(xiàng)知識技能的掌握度自評分；

Sm：掌握度評分滿分值。

如，掌握度自我評分設(shè)置為1~5 分，滿分為5分，3 位學(xué)員對流行病學(xué)基礎(chǔ)理論的自我評分分別為3、4、5 分，則掌握度為

式中：

MT：綜合掌握度；

Mj：單項(xiàng)知識技能的掌握度；

m ：單項(xiàng)知識技能的數(shù)量，這里m=7。

如，學(xué)員對流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測系統(tǒng)設(shè)計(jì)與評估、風(fēng)險(xiǎn)分析、流行病學(xué)研究設(shè)計(jì)及現(xiàn)場調(diào)查、疫情數(shù)據(jù)整理及分析和Excel 數(shù)據(jù)透視表的掌握度分別為81%、76%、

3 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)應(yīng)用

3.1 對象與方法

3.1.1 調(diào)查對象 以2018 年11 月19 日至12 月14 日參加第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)，并完成學(xué)業(yè)的所有學(xué)員為研究對象，累計(jì)調(diào)查43 人。

3.1.2 調(diào)查方法 通過設(shè)計(jì)課前調(diào)查問卷和課后調(diào)查問卷，運(yùn)用Survey Monkey 在線調(diào)查工具對學(xué)員進(jìn)行問卷調(diào)查。調(diào)查內(nèi)容包括學(xué)員的基本情況、學(xué)員對培訓(xùn)的評價(jià)、培訓(xùn)前獲取獸醫(yī)流行病學(xué)知識的途徑、培訓(xùn)前后對有關(guān)知識的掌握情況，以及培訓(xùn)存在的問題和對項(xiàng)目發(fā)展的意見建議等。

3.1.3 數(shù)據(jù)分析方法 采用Excel 和SPSS 25.0 軟件對數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析。培訓(xùn)前后知識技能得分均值差異比較采用配對樣本t 檢驗(yàn)，檢驗(yàn)水準(zhǔn)為P=0.05。

3.2 結(jié)果

3.2.1 學(xué)員基本情況 本次參加調(diào)查的學(xué)員43人，通過培訓(xùn)前調(diào)查和培訓(xùn)后調(diào)查，共發(fā)放問卷86 份，回收86 份，有效應(yīng)答率100%，問卷合格率100%。學(xué)員基本情況見表1。

3.2.2 培訓(xùn)前獲取相關(guān)知識的途徑 調(diào)查結(jié)果顯示，學(xué)員參加培訓(xùn)前獲取獸醫(yī)流行病學(xué)知識的主要途徑是學(xué)校期間學(xué)習(xí)相關(guān)課程和工作后參加相關(guān)培訓(xùn)，各占比35%（表2），說明往期CFETPV 項(xiàng)目的輔助培訓(xùn)（高級管理人員培訓(xùn)、區(qū)域培訓(xùn)、大學(xué)師資培訓(xùn)等）及學(xué)員開展的遞延培訓(xùn)，在獸醫(yī)領(lǐng)域的影響力已慢慢凸顯。

3.2.3 反應(yīng)層評估 滿意度調(diào)查方面。課后問卷對培訓(xùn)班課程內(nèi)容、教學(xué)進(jìn)度、課程難易程度、與工作相關(guān)度、課程結(jié)構(gòu)、課程課業(yè)量及會務(wù)組織等7 方面進(jìn)行了滿意度調(diào)查。調(diào)查結(jié)果顯示，學(xué)員對培訓(xùn)班的綜合滿意度為80%。其中，對會務(wù)組織的滿意度最高（91%），其次為課程內(nèi)容（84%）、難易程度（80%）、課程結(jié)構(gòu)（80%）、教學(xué)進(jìn)度（80%）；與工作相關(guān)度的滿意度為75%，可能與部分學(xué)員來自綜合管理部門有關(guān)；課程課業(yè)量的滿意度較低（73%），部分學(xué)員反饋課業(yè)量較多，主要與核心班學(xué)員選拔考核有關(guān)（圖2）。培訓(xùn)存在的問題及對策建議方面。課后問卷調(diào)查結(jié)果顯示，學(xué)員提出的問題和建議主要集中在以下3 方面：一是培訓(xùn)內(nèi)容多、時(shí)間緊，較為抽象、理解困難，短期內(nèi)不易消化吸收。建議延長培訓(xùn)時(shí)間，提前發(fā)放培訓(xùn)課件，圍繞相關(guān)主題深入剖析，增加國內(nèi)重大動物疫病防控案例解析和經(jīng)驗(yàn)分享，加深獸醫(yī)流行病學(xué)基本理論的理解。二是部分外教的教學(xué)經(jīng)驗(yàn)不夠豐富，部分英文授課內(nèi)容與中方老師有重復(fù)。建議更多元化的利用國際組織和有關(guān)發(fā)達(dá)國家資源，積聚各方力量，優(yōu)化師資隊(duì)伍；項(xiàng)目辦圍繞培訓(xùn)主題與中外老師提前溝通，完善課程設(shè)計(jì)，提升培訓(xùn)質(zhì)量。三是由于該培訓(xùn)采用淘汰制，只有不到50%的學(xué)員能參加后續(xù)的2 年制核心培訓(xùn)。建議在廣泛征求各單位培訓(xùn)需求的基礎(chǔ)上，培訓(xùn)內(nèi)容的設(shè)置更貼近學(xué)員工作實(shí)際，如增加實(shí)際案例的詳解，增加統(tǒng)計(jì)學(xué)、地理信息系統(tǒng)有關(guān)知識和軟件的普及與應(yīng)用等。

表1 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)學(xué)員基本情況 單位：人

表2 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)學(xué)員培訓(xùn)前獲取獸醫(yī)流行病學(xué)知識的途徑 單位：人

圖2 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)滿意度評分

3.2.4 學(xué)習(xí)層評估 課前和課后問卷對學(xué)員培訓(xùn)前后有關(guān)知識技能的掌握情況進(jìn)行了對比調(diào)查，調(diào)查內(nèi)容包括學(xué)員對流行病學(xué)基礎(chǔ)理論、緊急流行病學(xué)調(diào)查、監(jiān)測系統(tǒng)設(shè)計(jì)與評估等7 個(gè)方面的知識技能掌握程度的自評價(jià)打分。評估結(jié)果顯示，培訓(xùn)前，學(xué)員對上述7 方面知識的綜合掌握度為46%。其中，緊急流行病學(xué)調(diào)查掌握度最高（51%），其次為流行病學(xué)基礎(chǔ)理論和Excel 數(shù)據(jù)透視表（47%），監(jiān)測系統(tǒng)設(shè)計(jì)與評估掌握度最低（40%）。培訓(xùn)后，學(xué)員對7 方面知識的綜合掌握度約為73%，其中，流行病學(xué)基礎(chǔ)理論掌握度最高（81%），其次為緊急流行病學(xué)調(diào)查（76%），疫情數(shù)據(jù)整理及分析掌握度最低（67%）。配對樣本t 檢驗(yàn)結(jié)果顯示，培訓(xùn)前后各項(xiàng)知識掌握程度差異具有統(tǒng)計(jì)學(xué)意義（P ＜0.01）（表3），說明培訓(xùn)后學(xué)員對7 方面知識技能的掌握度均有顯著提高。培訓(xùn)前后對比分析結(jié)果顯示，知識掌握度差別最大的是流行病學(xué)基礎(chǔ)理論，前后相差34 個(gè)百分點(diǎn)；其次為監(jiān)測系統(tǒng)設(shè)計(jì)與評估，前后相差31 個(gè)百分點(diǎn)（圖3）。

表3 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)學(xué)員培訓(xùn)前后知識技能掌握情況比較

圖3 第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)學(xué)員知識技能掌握程度自評價(jià)

4 討論

4.1 本次評估的局限性

依據(jù)Kirkpatrick 培訓(xùn)效果評估理論，反應(yīng)層和學(xué)習(xí)層的評估是在學(xué)員培訓(xùn)結(jié)束后立即收集相關(guān)信息，評估學(xué)員的態(tài)度、知識、技能方面的收獲，而行為層和結(jié)果層則主要衡量學(xué)員在工作中應(yīng)用培訓(xùn)內(nèi)容的程度，如行為改變、取得的業(yè)績等[3]。行為的改變和成果的產(chǎn)出需要一定的累計(jì)時(shí)間，一般要在半年以后開展。由于時(shí)間跨度短，本次評估主要是對獸醫(yī)流行病學(xué)知識的短期培訓(xùn)效果評估，也就是反應(yīng)層和學(xué)習(xí)層的評估，行為層和結(jié)果層的評估還有待后期進(jìn)一步跟蹤研究。

4.2 學(xué)員構(gòu)成變化

參加本次基礎(chǔ)培訓(xùn)的學(xué)員，以市級動物疫病預(yù)防控制機(jī)構(gòu)的年輕骨干為主（占學(xué)員的44%，往期不超過30%）。通過訪談了解到，省級動物疫病預(yù)防控制機(jī)構(gòu)符合報(bào)名條件的人員大部分已參加過往期的CFETPV 培訓(xùn)，培訓(xùn)時(shí)間又恰逢全國非洲豬瘟疫情發(fā)生的高峰期，難以派出合適的人員參加培訓(xùn)；市級動物疫病預(yù)控控制機(jī)構(gòu)最近幾年招聘的人員多為碩士學(xué)歷，是當(dāng)?shù)氐臉I(yè)務(wù)骨干及重點(diǎn)培養(yǎng)對象，符合培訓(xùn)班的報(bào)名條件，但缺乏系統(tǒng)、全面的獸醫(yī)流行病學(xué)學(xué)習(xí)背景，所以推薦他們參加培訓(xùn)，能在短時(shí)間內(nèi)提高其專業(yè)技術(shù)水平和工作能力，利于基層工作的開展。

4.3 反應(yīng)層評價(jià)滿意度較高

培訓(xùn)內(nèi)容（滿意度84%）實(shí)用性強(qiáng)，對實(shí)際工作有很大的幫助，尤其表現(xiàn)在流行病學(xué)基礎(chǔ)理論、監(jiān)測系統(tǒng)設(shè)計(jì)與評估、風(fēng)險(xiǎn)分析、流行病學(xué)研究設(shè)計(jì)與現(xiàn)場調(diào)查和Excel 數(shù)據(jù)透視表等方面。課程安排（滿意度83%）比較合理，采用專家授課、案例分析與練習(xí)操作相結(jié)合的方式，將枯燥、繁雜的流行病學(xué)概念變得生動起來。團(tuán)隊(duì)授課表現(xiàn)（滿意度89%）比較滿意，教學(xué)態(tài)度認(rèn)真，專業(yè)素質(zhì)高，語言表達(dá)能力強(qiáng)，能準(zhǔn)確把握課堂時(shí)間及進(jìn)度等。

4.4 學(xué)習(xí)層評價(jià)效果顯著

通過調(diào)查發(fā)現(xiàn)，培訓(xùn)前后，學(xué)員對7 方面知識的綜合掌握度由46%提升至73%。短短一個(gè)月的時(shí)間，理解程度由不太了解逐漸趨于一般至熟悉，培訓(xùn)效果顯著?？紤]到授課內(nèi)容較深奧，該培訓(xùn)已經(jīng)達(dá)到了普及獸醫(yī)流行病學(xué)基本技能的目的，這也說明了獸醫(yī)流行病學(xué)學(xué)習(xí)不是一蹴而就的，需要經(jīng)過一定時(shí)間的消化與實(shí)踐，進(jìn)一步印證了2 年核心培訓(xùn)的重要性。預(yù)期經(jīng)過隨后2 年的核心培訓(xùn)，學(xué)員將普遍達(dá)到熟悉，甚至是非常熟悉的水平。

5 小結(jié)

本研究基于Kirkpatrick 培訓(xùn)效果評估理論，通過分析CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)特點(diǎn)，在綜合研究國內(nèi)外培訓(xùn)效果評估的基礎(chǔ)上，從反應(yīng)層和學(xué)習(xí)層兩個(gè)方面，對CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)效果評估方法進(jìn)行了初步探討。以第五期CFETPV 項(xiàng)目基礎(chǔ)培訓(xùn)為例，開展了反應(yīng)層和學(xué)習(xí)層的評估。從評估結(jié)果看，學(xué)員對培訓(xùn)整體反應(yīng)比較滿意。經(jīng)過培訓(xùn)，學(xué)員對獸醫(yī)流行病學(xué)有關(guān)內(nèi)容的掌握有了顯著提高，為今后科學(xué)、規(guī)范開展流調(diào)工作奠定了堅(jiān)實(shí)的基礎(chǔ)。培訓(xùn)班經(jīng)過多年發(fā)展，培訓(xùn)效果顯著，建議項(xiàng)目組織方繼續(xù)總結(jié)經(jīng)驗(yàn)，跟蹤評估，查找不足，完善教學(xué)形式，適時(shí)更新教學(xué)內(nèi)容，優(yōu)化師資隊(duì)伍，不斷提升培訓(xùn)的科學(xué)化、規(guī)范化和持續(xù)化發(fā)展水平。