干部教育培訓項目評估*方法及指標問題研究
——以稅務部門為例

◆“干部教育培訓項目評估方法及指標問題研究”課題組

中共中央印發(fā)的《干部教育培訓工作條例》指出，“干部教育培訓是建設高素質干部隊伍的先導性、基礎性、戰(zhàn)略性工程”。干部教育培訓評估是調動干部學習、教師教學和培訓機構辦學的重要手段，對保障培訓質量、提升培訓效率具有重要意義。隨著項目管理和質量管理理念的引進，干部教育培訓項目評估的內涵越來越明確，評估工作在干部教育培訓管理中的定位進一步提升，其作用和意義不斷彰顯。為此，國家稅務總局專門成立課題組，就干部教育培訓項目評估方法及指標問題進行了一系列探索和研究，以期大力提升培訓質效，將干部教育培訓工作落到實處。

一、當前干部教育培訓項目評估存在的主要問題及原因

根據(jù)國內外公務員培訓和企業(yè)組織各類人員培訓情況，可以發(fā)現(xiàn)目前我國干部教育培訓項目評估中存在的主要問題和成因如下：

（一）評估理念尚未完全樹立，缺乏主動作為

一是在培訓實施過程中，教育培訓工作者對教育培訓管理的規(guī)律缺少認識，甚至不了解還有評估環(huán)節(jié)；二是對評估的意義作用沒有深刻領會，未能自覺主動使用評估手段促進培訓管理；三是對評估的實施被動完成，甚至有應付心態(tài)。

（二）評估人員專業(yè)性不夠強，缺乏有力的隊伍支撐

作為項目委托方的代表,教育培訓管理部門由于人員偏少、時間較緊、精力有限、專業(yè)能力不夠強等諸多原因，難以對所有培訓項目進行評估。即使評估了，其評估工作的整體專業(yè)化水平還不高，難以全面反映培訓項目管理中存在的問題。

（三）評估內容落實不到位，缺乏有效的督促檢查

符合我國國情、具有中國特色的干部教育培訓評估理論和模型尚未定型，導致在實際操作中，尚未真正落實《干部教育培訓工作條例》要求，存在“三重三輕”現(xiàn)象：一是重視訓后總體反應評估，輕視學員返回工作崗位后知識轉化評估；二是重視對培訓知識掌握程度的訓末評估，輕視訓前的需求分析、方案籌劃評估和訓中的計劃實施評估；三是重視對教育培訓機構辦學質量的訓末評估，輕視訓后行為變化及其提升工作績效的訓后評估，致使項目評估內容不全面，不能完整反映培訓效果。

（四）評估手段單調，未廣泛運用科學有效的現(xiàn)代化手段

項目評估數(shù)據(jù)采集的手段比較傳統(tǒng)，處理數(shù)據(jù)的信息化程度也不高，基本沒有建立相應數(shù)據(jù)庫，對評估數(shù)據(jù)價值的挖掘利用層次較低，不能滿足長期全面分析監(jiān)控的需要，導致項目評估的綜合評判功能弱化。

（五）評估指標與項目要素匹配不夠，指標權重設計不科學

目前，項目評估指標體系包括分項測評和總體測評兩部分，分項測評一般由培訓方案、培訓教學、培訓管理、培訓保障和培訓效果等指標組成。測評等級按學員滿意度分為“很好、好、一般、差”十分制等級效度。這類指標體系存在的突出問題主要有：一是指標體系不健全。現(xiàn)行評估指標主要衡量學員對培訓項目的反應，而對參訓人員行為層和結果層面涉及很少。二是評估標準不明確。每個指標僅作原則性描述，并無明確的評判標準，學員難以全面理解把握，使得評估得分“趨高、趨同”現(xiàn)象十分突出。三是指標權重不盡合理。需求分析、項目策劃、教學效果、學員考核等指標的評價權重劃分欠科學，對學用轉化和工作績效提高方面也未能給予足夠重視。日常管理和后勤保障即使不可或缺，也應成為項目評估的主要要素，但其重要程度顯然不能與方案設計和培訓教學等方面等量齊觀。

（六）評估制度不健全，結果運用不到位，缺乏有效的激勵和約束

項目評估結果的好壞對干部發(fā)展沒有影響，導致干部參與評估的積極性不高。因缺少有效的監(jiān)督制約措施，教育培訓機構沒有能夠在后續(xù)培訓中及時改進和解決評估中發(fā)現(xiàn)的問題。

二、稅務部門干部教育培訓項目評估的主要做法及成效

近年來，稅務部門認真貫徹習近平總書記關于加強干部教育培訓系列講話精神和《干部教育培訓工作條例》等規(guī)定，根據(jù)中央深化改革轉變職能和推行績效管理狠抓工作落實的部署，持續(xù)實施“人才強稅”戰(zhàn)略，加強培訓管理，深入開展培訓項目評估，不斷提升教育培訓質量和效益，為推進稅收中心工作和稅收治理現(xiàn)代化提供強有力的智力支持。

（一）準確定位，鎖定項目評估關鍵點

當前影響培訓項目評估功能發(fā)揮的關鍵問題是缺乏科學系統(tǒng)的評估方法和指標體系，對培訓項目評估缺乏硬性約束，造成培訓項目評估缺少有力抓手，評估工作難以深入。因此，稅務部門根據(jù)培訓管理實踐采取一系列方法措施。

一是制定培訓項目管理規(guī)范，為培訓管理提供依據(jù)。為服務和管理80萬稅務干部，國家稅務總局一直積極開展培訓戰(zhàn)略研究和培訓管理實踐，加強頂層設計。依據(jù)中共中央《干部教育培訓工作條例》和中華人民共和國國家標準《質量管理——培訓指南》（GB/T19025-2001 idt ISO 10015:1999），2003年制定印發(fā)了《全國稅務系統(tǒng)公務員培訓工作指導規(guī)范》，成為我國首個行業(yè)內干部教育培訓規(guī)范，為培訓項目策劃、設計、開發(fā)、實施和評估提供了指引，成為培訓項目評估的基本依據(jù)。

二是持續(xù)完善培訓項目評估的制度機制，為培訓項目評估提供保障。國家稅務總局在教育培訓規(guī)劃等文件中對培訓項目評估進行部署、明確要求的同時，在2006年印發(fā)《國家稅務總局培訓班質量評估暫行辦法》，作為對國家稅務總局舉辦培訓班次開展質量評估的依據(jù)和指南，在2011年將該暫行辦法修訂為《稅務系統(tǒng)培訓班質量評估辦法》，用以指導全系統(tǒng)各級機關對組織舉辦的各類培訓班進行項目評估。2014年初印發(fā)了《培訓班質量評估操作指南》，作為《稅務系統(tǒng)培訓班質量評估辦法》的補充，指導稅務系統(tǒng)開展評估工作，初步構建了較為全面系統(tǒng)的評估指標體系，增強了評估的可操作性、規(guī)范性和評估結果的客觀公正性。

三是集成聚合培訓項目評估管理組織力量，為項目評估奠定基礎。2014年，國家稅務總局整合教育中心內設機構職能，把分散在不同部門的項目評估職能歸并到考試評估處，實現(xiàn)培訓組織實施與檢查評估的相對分離。由考試評估處專門負責項目評估的頂層設計、制度完善、操作規(guī)范和推行實施等工作，提升了評估工作的專業(yè)化水平。

（二）系統(tǒng)思考，找準項目評估著力點

認識決定行動，態(tài)度決定結果。稅務部門找準了培訓項目評估的關鍵問題，設立研究課題，積極投入研究，力求為深化培訓項目評估做好頂層設計。教育培訓管理部門經(jīng)過深入調查研究，依據(jù)干部教育培訓項目管理要求、評估理論研究成果和實際工作情況，制定了科學嚴謹、規(guī)范適用、可測可操的指標體系和操作規(guī)范。2016年根據(jù)中共中央《干部教育培訓工作條例》和國家稅務總局有關進一步加強培訓管理的要求，修改印發(fā)了《稅務系統(tǒng)培訓項目質量評估辦法》（以下簡稱《評估辦法》）和《稅務系統(tǒng)培訓項目質量評估操作指南》（以下簡稱《操作指南》），從而全面建立了科學完善的培訓項目評估方法機制和指標體系。對培訓項目評估的目的、內容與指標、方法與程序、反饋與應用、管理與紀律作出了說明，主要特點是：

一是評估內容指標設置邏輯合理、簡潔明了。將項目評估內容按培訓設計、培訓實施、培訓管理、培訓效果四個方面分成若干二級指標。將“培訓設計”分解為需求分析、目標定位、方案策劃；將“項目實施”分解為師資配備、教學內容、教學方法、教學資料；將“培訓管理”分解為教學管理、學員管理、保障管理；將“培訓效果”分解為目標實現(xiàn)度、能力提升度、總體滿意度。對各項基本指標的質量等級及其系數(shù)進行了明確。評估指標的等級分為優(yōu)、良、中、差，與之對應的權重分別為 1、0.8、0.6、0.4。

二是評估方法流程規(guī)范、簡便易行。規(guī)定了評估程序為查看資料、組織學員填寫《稅務系統(tǒng)培訓項目質量評估測評問卷》、分別召開學員和教育培訓機構人員座談會、填寫《學員測評問卷匯總及評估分值表》、編報評估報告、歸檔評估資料等。

三是科學界定了各項評估指標的權重及總評得分計算方法。學員測評問卷測評等級為優(yōu)、良、中、差，《操作指南》評分等級為A、B、C、D，系數(shù)均分別為1.0、0.8、0.6、0.4。學員測評問卷一級測評指標培訓設計、項目實施、培訓管理、培訓效果的權重，分別為24、25、26、25。各二級測評指標的權重，需求分析、目標定位、方案策劃分別為5、5、14；師資配備、教學內容、教學方法、教學資料分別為4、6、7、8；教學管理、學員管理、保障管理分別為12、10、4；目標實現(xiàn)度、能力提升度、總體滿意度分別為12、8、5。同時統(tǒng)一確定了學員評估數(shù)據(jù)與教育培訓管理部門派出人員評估數(shù)據(jù)的匯總處理方法和評估報告內容。

（三）務求實效，抓牢項目評估支撐點

評估目的在于培訓目標的實現(xiàn)和培訓方法的改進，稅務教育培訓項目評估工作始終立足于實用和實效。一是狠抓制度落實。每年由教育培訓管理部門派人對主辦的培訓項目確定一定比例進行重點評估，其他項目委托教育培訓機構組織評估并報送結果，相關數(shù)據(jù)錄入稅務干部教育培訓管理信息系統(tǒng)，作為撥付培訓項目經(jīng)費的基本條件之一。二是上下聯(lián)動合理調配力量。國家稅務總局通過采取抽調人員組成評估小組方式，對主辦的培訓項目進行評估。三是貫徹落實開展評估操作培訓，培養(yǎng)專業(yè)化的培訓項目評估人才。

（四）持續(xù)創(chuàng)新，打造項目評估新亮點

通過持之以恒的理論研究和實踐探索，稅務部門形成了有自身特色的培訓項目評估辦法和指標體系，提高了培訓項目評估效果，發(fā)揮了對培訓的督促改進、激勵引導作用，增強了稅務培訓的針對性和實效性。

一是指標系統(tǒng)化。依據(jù)《干部教育培訓工作條例》、黨風廉政建設要求和稅務總局干部教育培訓的有關規(guī)定，以及培訓項目運行的基本模式和教育培訓的原理，針對原來評估中存在的籠統(tǒng)粗放和側重定性等問題，設計了更具全面性、科學性、可操作性、獨立性、穩(wěn)定性、動態(tài)性的指標體系。

二是操作規(guī)范化。對評估操作流程做出了具體規(guī)定。明確評估信息的收集渠道、方法與工具，以及匯總、分析評估信息定量和邏輯分析方法，確保收集的信息具有系統(tǒng)性、集中性、可用性。

三是方式多元化。評估的主體是教育培訓管理部門。一般情況下，由教育培訓管理部門對培訓項目策劃與實施情況及效果進行評估，教育培訓機構對教師教學質量進行評估。教育培訓管理部門未派出人員評估的，委托教育培訓機構或第三方進行評估。但教育培訓管理部門可不定期抽查培訓項目，使其在人力有限的情況下，提高項目評估的實施效果。

四是結果數(shù)量化。評估采用定性和定量相結合的辦法，培訓項目評估得分實行百分制。

五是成效持續(xù)化。經(jīng)過多年實踐，稅務部門各級教育培訓管理部門達成了對深化評估推動改革提升質量的共識，深化了對項目評估指標設計依據(jù)、原理的理解，熟悉了項目評估的工作程序與操作要領，積累了項目評估的經(jīng)驗。

三、深化干部教育培訓項目評估的總體要求及措施

依據(jù)《干部教育培訓工作條例》等規(guī)定，綜合各地區(qū)各部門的實踐探索和相關研究成果，課題組認為深化項目評估應堅持以下總體要求：以十九大精神和習近平新時代中國特色社會主義思想以及項目評估原則為指導，以提高培訓質效為目標，遵照《干部教育培訓工作條例》等規(guī)定，完善項目評估的制度、機制和指標體系，綜合運用多種方式規(guī)范實施項目評估，強化項目評估的結果運用，為教育培訓管理部門、教育培訓機構、學員選派單位及其他參與方全面落實項目評估要求提供基本指引。其基本措施主要包括以下方面：

（一）堅持評估原則，加強項目評估科學性

堅持科學規(guī)范、全面系統(tǒng)、問題導向、簡便易行等原則，做到凡訓必評，綜合運用直接評估與委托評估、重點評估與簡易評估、綜合評估與單項評估等方式，對所有培訓項目開展有針對性的評估。

重點評估針對重點培訓項目，應由教育培訓管理部門派出人員（含委托第三方）依據(jù)指標體系及操作標準明細逐項做出質量等級判定與組織學員填寫評估量表相結合方式進行，各按一定比例計算總評得分。簡易評估針對非重點項目，應由教育培訓管理部門委托教育培訓機構采取組織學員填寫評估量表、召開學員座談會聽取意見建議方式進行，依據(jù)評估情況確定計算總評得分。

定量與定性相結合確定結論，一是加權計算出各項指標的評估得分，再加總形成總評得分，二是對各指標及總評量化得分做出與評估標準差距情況（存在問題）的分析。

（二）健全指標體系，提高項目評估精準性

指標體系的基本要素應包括指標、權重、評估等級及其體系量表。指標以《干部教育培訓工作條例》明確的評估內容進行設定并依次分解細化，培訓設計、培訓實施、培訓管理、培訓效果為一級指標，在此基礎上分別設二級指標：“培訓設計”為需求分析、目標定位、方案策劃，“培訓實施”為師資配備、教學內容、教學方法、教學資料，“培訓管理”為教學管理、學員管理、保障管理，“培訓效果”為目標實現(xiàn)度、能力提升度、總體滿意度。特殊情況下，可增設其他指標，以全面反映部門行業(yè)特點。各指標要具有邏輯性，相互關聯(lián)，簡便易行，使項目評估完整、客觀、準確地反映培訓實施效果。

權重要根據(jù)各指標的重要程度及重點引導方向確定，采用百分數(shù)或其他整數(shù)形態(tài)。各指標的評估等級可設定為優(yōu)（A）、良（B）、中（C）、差（D），并確定對應等級的系數(shù)分別為1.0、0.8、0.6、0.4。

指標體系量表分為學員測評量表和專家評估量表兩種，在基本要素一致基礎上分別編制。其中專家評估量表，應將基本指標分解成可以評估的具體指標，增加“評估標準”要素和具體指標的等級判定指南，形成具體、系列化的操作工具。

（三）多種方式并舉，增強項目評估針對性

項目評估在時間上有訓前評估、訓中評估、訓末評估和訓后評估之分，在具體操作上有教育培訓管理部門直接組織評估，委托教育培訓機構（或第三方）評估之分。要充分發(fā)揮不同評估形式的特點和作用，增強項目評估的針對性和有效性。目前，培訓項目實施方式以集中培訓為主，同時網(wǎng)絡培訓日益廣泛。因此，應強化集中培訓項目的過程評估，同時鼓勵開展訓后評估，積極探索網(wǎng)絡培訓項目評估。有選擇地對持續(xù)時間較長的重點、典型項目，酌情增加訓中評估。

（四）完善實施機制，提升項目評估有效性

為保證項目評估信息的順利、有效收集與量化處理，需要建立健全有效的實施機制。

一是明確教育培訓管理部門、教育培訓機構、參訓學員及其選派單位等評估參與方的評估責任和問責措施，保證相關各方積極支持配合項目評估。同時鼓勵教育培訓管理部門按項目評估管理與項目評估工作分離的方式組織實施項目評估。

二是明確項目評估信息收集、處理的程序與方法。逐項列出各項指標評估信息的收集渠道、方法、工具與程序，同時明確匯總、整理、分析評估信息的定量和邏輯分析方法。要注意進行價值分析判斷，通過定量與定性相結合的方式做出項目評估結論。

三是依據(jù)指標的重要、復雜程度，開發(fā)特定評估信息的收集、匯總、量化處理的軟件工具。為保證信息收集、處理的精度和效率，要強化信息化支撐，擴大評估大數(shù)據(jù)的應用，在干部教育培訓管理信息系統(tǒng)中嵌入培訓評估信息化模塊，其中的學員測評問卷可用APP形式組織學員填寫。

（五）注重結果運用，強化項目評估的導向性

一是建立項目評估結果及時反饋運用機制。在結束時，教育培訓管理部門將項目評估結論及發(fā)現(xiàn)的問題反饋有關單位。教育培訓機構、學員選派單位等應根據(jù)評估報告及領導閱批意見，分析、研究問題，及時改進并報告。

二是建立激勵約束機制。落實《干部教育培訓工作條例》有關規(guī)定，切實將項目評估結果作為評價教育培訓機構辦學質量的重要標準，作為確定教育培訓機構承擔培訓任務的重要依據(jù)；切實將干部接受教育培訓情況作為干部考核的內容和任職、晉升的重要依據(jù)。

四、結語

雖然稅務部門在干部教育培訓項目評估的研究中取得了一定成效，但綜合各地區(qū)各部門的實踐探索和相關研究成果，課題組認為深化項目評估還有相當長的道路要走，今后應以提高培訓質效為目標，遵照《干部教育培訓工作條例》等規(guī)定，進一步完善項目評估的制度、機制和指標體系，綜合運用多種方式規(guī)范實施項目評估，強化項目評估的結果運用，為教育培訓管理部門、教育培訓機構、學員選派單位及其他參與方全面落實項目評估要求提供基本指引，助力教育培訓質量提升。

[1]邱慧嫻.干部教育培訓評估系統(tǒng)研究[D].上海：華東師范大學出版社,2015.

[2]劉彥琴,楊枝華,張一爾.干部教育培訓項目評估的研究和思考[J].繼續(xù)教育,2016,(1).