李書仁 岳躍軍 朱守勝
基于指標體系的第三方評價中指標體系是評價內容的具體體現(xiàn),是達到評價目的的根本途徑,因此在制定評價指標時應綜合考慮評價目的、評價內容并對指標進行充分的論證[1]。評價指標一旦確定后,在評價過程中唯一的評價內容依據(jù)即為指標體系中的具體指標項。在評價過程中確實發(fā)現(xiàn)不適用指標項,應統(tǒng)一反饋至評價項目組并與委托方或指標確認方溝通解決方法,做統(tǒng)一解決,避免自作主張,造成評價標準不統(tǒng)一的現(xiàn)象。
根據(jù)開展的多項基于指標體系的第三方評價工作經歷,總體上將評價程序總結為三個階段,分別為評價準備階段、評價實施階段及評價總結階段。
2.1.1 接受第三方評價項目委托
接受第三方評價項目委托執(zhí)行評價任務的單位稱之為評價主體單位。評價主體單位了解第三方評價項目的具體內容及要求,進行自身評估,考量自身是否具備項目開展的資格、條件及能力。在滿足相關要求的情況下,按照相關規(guī)定通過招投標等方式承接項目,接受第三方評價委托。接受委托后,需及時與委托方溝通項目開展事宜。
2.1.2 成立第三方評價工作組
接受第三方評價項目委托后,應及時成立第三方評價工作組,工作組所有參與人員均應符合合約資格要求,且應根據(jù)參與人員專業(yè)特點及工作經歷合理分配工作職能。評價工作組應任命評價項目總負責人、技術負責人及各評價小組的分負責人;制定項目質量管理與控制相關措施及規(guī)定。
2.1.3 組織評價指標培訓學習
評價指標體系中具體評價項的把握準確程度及統(tǒng)一性是保證評價標準一致性及評價結果公正客觀的重要保障,因此在評價實施前應組織評價人員進行評價指標的培訓學習。培訓的主要內容包括各評價指標制定的依據(jù)來源、目的;各評價指標評價的評價標準、細則;各評價指標評價內容的信息來源及應查閱的資料;評價過程的評價程序;評價過程中的紀律要求及注意事項等。
2.2.1 召開評價首次會議
評價小組抵達被評價單位后,為順利開展評價工作應組織由評價小組成員、被評價單位相關負責人,評價內容涉及部門人員等參加的首次評價會議。會議上評價小組應介紹評價小組成員組成、項目概況、評價目的、評價方式、評價內容、評價時長、評價紀律以及需被評價單位所做的配合工作等內容,并做好會議簽到表簽字、信息保密承諾簽字、公正廉潔承諾簽字等工作。
2.2.2 查閱數(shù)據(jù)及文件信息
按照評價指標中評價內容的信息來源及應查閱的資料的要求,被評價單位配合提供相應的信息及資料,評價人員查閱所提供信息及資料,對照評價細則相關的要求,做出評定,必要時可到外部現(xiàn)場進行查看以便做出評定。
2.2.3 現(xiàn)場記錄評價
根據(jù)所查閱的數(shù)據(jù)信息及文件資料,針對評價指標中涉及的內容進行充分研究、綜合評定,判斷其是否滿足相關要求,做出科學、客觀、公正的評定,并做好相應的記錄。
2.2.4 召開末次會議結果反饋
指標體系中所有內容評定完成后,召集被評價單位相關負責人及所有評價人員召開評價末次會議,對評價過程、評價結果、不足之處等方面進行反饋,聽取被評價單位的意見但原則上不對評價結果做出修改,雙方無意見后由被評價單位負責人及評價小組負責人對評級結果簽字確認。
以上整個評價實施階段過程中,為保證公正、公平及回看,可對評價過程進行錄像,對數(shù)據(jù)、文件資料進行拍照等。
當被評價單位為某一單一單位時,應著重對其評價內容存在的問題進行分類匯總,并結合評價指標中評價依據(jù)的具體要求給出問題整改的具體措施。當被評價單位為多家同類單位時,匯總分析時可從與同類型單位的橫向對比分析及與上級要求滿足性對比的縱向分析兩方面著手,結合各單位特點著重分析評價內容中的不足之處及其他單位好的做法。根據(jù)評價結果按照委托單位要求可進行同類型單位間的評價排序。在結果匯總分析及問題梳理總結的基礎上,應編制第三方評價報告。報告中應有且不限于以下內容:一是引言,主要介紹第三方評價的背景、任務來源等;二是工作概況,主要介紹第三方評價的依據(jù)、準備工作、工作流程等;三是評價過程,主要介紹評價的方法、數(shù)據(jù)文件信息來源及獲取方式、人員組成等;四是評價結果,主要介紹匯總結果分析、問題梳理總結等;五是結論及建議,根據(jù)評價結果整理評價結論,對于存在的重難點問題給予響應措施。同時,評價報告中要內容絕對真實可靠,要尊重科學尊重客觀事實,要層次分明、條理清晰、文字簡介恰當。
本部分所探討的評價方法是指在確定評價指標后,評價過程中的具體做法及步驟。評價指標確定后,在評價過程中應將評價指標作為唯一的評價標準依據(jù),應嚴格按照評價指標中的評價項目、評價細則、信息來源、記分方式等要求開展相關評價工作?;谥笜梭w系的第三方評價工作在評價過程中基本的做法流程可分成兩個部分,首先進行指標學習,其次是指標評定。
指標制定完成后,在開展正式評價前應組織全體評價人員學習,充分理解評價指標的含義,掌握評價要點及技術。當同時存在數(shù)個評價小組同時開展評價工作時,應組織所有評價小組對同一單位開展評價工作,分析對比各評價小組的評價結論,找出差異所在,針對差異之處再次組織培訓學習,盡最大努力消除因評價指標理解差異產生評價結果偏差與不公平的現(xiàn)象。
評價過程中,應按照評價指標的要求收集相關的評價資料,并對所收集資料進行研究、篩選、判斷及資料符合性評定,能準確評定的即可做出評價結果;無法判斷或資料信息模糊無法準確評定的,應及時與項目負責人討論、交流、匯報并做好相關記錄。
評價結果的運用首先應考慮評價的目的,現(xiàn)階段按照時間先后將評價工作大致分成事前評價、事中評價及事后評價[2],第三方評價結果的運用可主要考慮以下幾個方面。
各單位的評價結果可以以分數(shù)的形式進行量化,分數(shù)量化后即可進行排名。被評價單位可清楚認識本單位的排名情況,發(fā)現(xiàn)自身安全監(jiān)管工作的不足之處;上級單位一方面可清楚掌握評價指標所代表的工作開展成效情況,另一方面可掌握各單位相關工作開展的差異性。評價結果可作為被評價單位自身績效評定或上級單位對下屬單位績效評價的重要參考或依據(jù)。
評價結果在很大程度上能夠反映評價指標所對應工作內容的落實情況,其可作為落實獎懲措施的重要參考或依據(jù)。同時,為鼓勵相關單位積極開展并高度重視評價內容相關工作,可針對評價工作制定獎懲制度,這里需要特別注意的是獎懲制度一旦制定就應保證落實實施,否則將適得其反[3]。
事后評價的評價結果能反映已有政策要求的落實情況及成效情況,而這又是新政策制定或做出科學決策的重要參考。因此,評價結果可作為有關部門決策制定的重要參考。
評價主體即為評價單位,評價單位評價工作的規(guī)范性、合法性等情況將對評價質量產生較大的影響??蓮囊韵路矫姹O(jiān)管評價單位:一是評價主體單位應建立嚴格的第三方評價公正性保障制度,如學習培訓制度、評價人員對評價結果負責制度、評估過程及結果公開制度、評價人員互查互檢制度等;二是在評價過程中,嚴格控制評價質量,除評價人員現(xiàn)場評價主動控制評價質量外,委托單位或項目組負責人可在評價過程中采取擇時跟蹤或抽查評價組工作情況的措施加以監(jiān)管;同時評價工作結束后,可對評價小組工作情況進行復查,按照評價人員對評價結果負責制度進行監(jiān)管;三是廉潔管理,評價過程中廉潔是第三方評價公正、獨立的重要保障,廉潔監(jiān)管一方面應加強評價人員的自律性,另一方面通過所有參加第三方評價工作的人員包括評價單位人員及被評價單位人員均應簽署廉潔承諾書及建立“吃拿卡要”等行為的舉報、懲治制度等進行管理。
本文結合實際開展的基于指標體系的第三方評價工作經驗,總結了評價內容依據(jù)、包含三階段的評價程序及兩個步驟的評價方法,實踐表明所闡述的評價程序及步驟在基于指標體系的第三方評價工作中能切實保障評價工作客觀、專業(yè)、公平、公正的開展,真實有效發(fā)揮第三方評價技術的優(yōu)勢和作用。