后評價指標體系瑕疵及研究方向

□ 文/方興君 祁曉麗*

指標體系研究是項目后評價規(guī)范體系建設(shè)的重要內(nèi)容，深化后評價指標體系研究是創(chuàng)新后評價工作實踐，實現(xiàn)后評價工作由傳統(tǒng)的方式方法向“堅持問題導(dǎo)向”與“開展系統(tǒng)性評價”相結(jié)合轉(zhuǎn)變，促進項目后評價工作上臺階的著力點。開展系統(tǒng)性評價就是通過指標對比、量化分析、數(shù)據(jù)分析，發(fā)現(xiàn)那些不是顯而易見的傾向性、趨勢性的問題，客觀反映項目真實管理情況、揭示風險隱患，從而推動項目管理持續(xù)優(yōu)化提升，切實提升后評價工作價值，實現(xiàn)后評價工作目的。本文從后評價指標體系研究的必要性、后評價指標體系存在的不足和深化研究方向等方面進行探討，論述深化后評價指標體系研究對促進項目后評價工作上臺階的重要作用。

一、深化后評價指標體系研究的必要性

項目后評價是衡量投資項目有效性的重要工作，通過問題發(fā)現(xiàn)、信息反饋等方式，發(fā)揮投資項目閉環(huán)管理作用。尤其是后評價工作在強化投資項目事中事后監(jiān)管和持續(xù)促進企業(yè)優(yōu)化資源配置、減少投資風險、提升項目經(jīng)濟效益及競爭力等方面具有獨特優(yōu)勢，越來越受到企業(yè)管理層的重視。當前，各大央企都在研究如何將項目后評價工作開展得更好、更有成效，紛紛建立和完善項目后評價規(guī)范體系，包括項目后評價指標體系研究等。企業(yè)作為參與市場競爭的主體，需要全面客觀地評價項目實施的過程與結(jié)果，更好地服務(wù)于未來項目的前期投資決策，更有效地指導(dǎo)項目及同類項目的生產(chǎn)運營。因此，建立能夠全面客觀反映項目在行業(yè)或集團公司內(nèi)部績效水平的項目后評價指標體系日益引起廣泛的關(guān)注。

項目后評價指標體系是指在一個完整的邏輯框架內(nèi)將項目目的和項目各個階段的內(nèi)容，即投入、產(chǎn)出、效果、影響等都有機地結(jié)合起來的一組相互聯(lián)系的評價指標。包括由評價指標要素構(gòu)成的內(nèi)容框架和配套的評價方法、評價依據(jù)和評分標準，以及根據(jù)具體評價對象的內(nèi)容范圍、所處階段和評價目的等因素對指標體系進行調(diào)整的原則等全部內(nèi)容。

經(jīng)過多年探索實踐，中國石油項目后評價工作走在央企前列，隨著項目后評價信息管理系統(tǒng)上線應(yīng)用，標志著項目后評價工作進入了新的發(fā)展階段。在新的起點上，對項目后評價指標體系研究提出了更新、更高的要求，深化項目后評價指標體系研究的必要性主要表現(xiàn)以下幾方面：

一是項目后評價工作上臺階的需要。2005年，國資委發(fā)布的《中央企業(yè)固定資產(chǎn)投資項目后評價工作指南》，所附的項目后評價參考指標集，共分14類、88項指標，其中包含的評價要素近200多個。因為沒有規(guī)定不同類型項目后評價體系和相應(yīng)計算方法、評價方法、評價依據(jù)和評分標準等，項目后評價參考指標的可操作性不夠，應(yīng)用效果不理想。

中國石油組織相關(guān)單位分別于2008年、2014年和2016年對項目后評價指標體系進行了研究，構(gòu)建了較為完善的覆蓋各類業(yè)務(wù)的項目后評價指標體系內(nèi)容框架，為開展項目綜合評價評分和集團公司年度后評價項目排序奠定了基礎(chǔ)，為項目后評價信息管理系統(tǒng)建設(shè)提供了支持，但因與指標體系內(nèi)容框架相配套的計算方法、評價方法、評價依據(jù)和評分標準等研究不夠，與構(gòu)建科學合理和完整的項目后評價指標體系尚存差距。

目前，從國內(nèi)各行業(yè)項目后評價工作整體發(fā)展情況來看，深化項目后評價指標體系研究受到廣泛關(guān)注，都將其作為創(chuàng)新后評價工作實踐，實現(xiàn)后評價工作由傳統(tǒng)的方式方法逐步向“堅持問題導(dǎo)向”與“開展系統(tǒng)性評價”相結(jié)合轉(zhuǎn)變的切入點和著力點。開展系統(tǒng)性評價就是基于項目后評價信息管理系統(tǒng)、數(shù)據(jù)庫及應(yīng)用模型，通過指標對比、量化分析、數(shù)據(jù)分析，發(fā)現(xiàn)那些不是顯而易見的傾向性、趨勢性的問題，客觀反映項目真實管理情況、揭示風險隱患，從而推動項目管理持續(xù)優(yōu)化提升，切實提升后評價工作價值，實現(xiàn)后評價工作目的，促進項目后評價工作上臺階。

二是提升后評價工作質(zhì)量和成果水平的關(guān)鍵。指標體系有利于從多方面對一個復(fù)雜系統(tǒng)的特征及規(guī)律性進行認識和分析說明，項目后評價指標體系具有信息收集、描述、解釋和評價等功能，一方面有利于促進后評價工作突出重點、抓住關(guān)鍵、理清思路、規(guī)范運行；另一方面量化評價、橫向?qū)Ρ扔兄跍p少人為因素，提升后評價工作的客觀性，有助于項目后評價成果更好地應(yīng)用于所屬行業(yè)，增強項目投資的有效性，從同類項目對標分析中找差距，以促進項目管理的持續(xù)提升?？茖W的后評價指標體系是反映項目實施過程與效果的計量器，只有保證后評價指標體系的科學合理，才能保證和提升項目后評價工作質(zhì)量和成果水平。指標體系是提高后評價工作針對性、有效性和提升后評價成果客觀性、公正性的關(guān)鍵。

三是為年度后評價項目綜合評分與排序提供科學依據(jù)。項目后評價工作需要結(jié)合社會經(jīng)濟環(huán)境變化和企業(yè)發(fā)展目標，從整體角度對項目實施過程與效果進行量化分析、綜合評價，有利于使復(fù)雜問題簡單化，使簡單的問題規(guī)范化，為投資主體決策和實施主體建設(shè)及運營管理提供參考。指標體系科學合理與否對綜合評價質(zhì)量具有重要的影響，需要運用系統(tǒng)工程理論和反饋控制理論，根據(jù)項目及行業(yè)特點，在一個完整的邏輯框架內(nèi)建立能夠反映項目目標、實施過程、效益效果、影響與持續(xù)性的評價指標體系，提高項目后評價工作的客觀性，為開展年度后評價項目綜合評分與建立排序激勵機制提供科學依據(jù)，促進投資項目科學決策和提高管理水平，促進企業(yè)樹立投資的全局觀念，減少盲目投資行為和投資的短期行為，使投資項目能夠充分發(fā)揮創(chuàng)效能力，不斷提高企業(yè)競爭力。

四是后評價信息管理系統(tǒng)優(yōu)化升級的前提。項目后評價信息管理系統(tǒng)建設(shè)，是基于對整個后評價工作標準化、規(guī)范化和流程化管理的基本理念，采用工作流和數(shù)據(jù)流技術(shù)，實現(xiàn)后評價工作線上操作運行、線下研討提升和部分成果自動生成，實現(xiàn)不同階段、不同主體、不同評價人員之間的數(shù)據(jù)互動、信息共享與傳遞，提高項目后評價工作效率。通過數(shù)據(jù)庫建設(shè)與數(shù)據(jù)積累，方便日后從大數(shù)據(jù)方面進行數(shù)據(jù)深度挖掘與分析，提升成果水平。

后評價信息管理系統(tǒng)和數(shù)據(jù)庫建設(shè)需要有穩(wěn)定的后評價內(nèi)容要點和指標體系作為支撐，后評價指標體系研究是后評價信息系統(tǒng)中標準數(shù)據(jù)采集表、綜合評分模型和對比分析模型研究，以及項目數(shù)據(jù)庫建設(shè)的前置工作，與項目后評價信息系統(tǒng)建設(shè)完善及優(yōu)化升級密切相關(guān)。因此，項目后評價指標體系研究是集團公司后評價信息管理系統(tǒng)優(yōu)化升級的前提條件。

二、后評價指標體系研究存在的不足

經(jīng)過2008年、2014年和2016年三個階段的研究，中國石油基本實現(xiàn)了項目后評價指標體系內(nèi)容框架的構(gòu)建與完善。在總結(jié)現(xiàn)行后評價指標體系實際應(yīng)用情況和對項目各階段、各部分后評價內(nèi)容要點進行系統(tǒng)分析研究的基礎(chǔ)上，結(jié)合項目特點和后評價目標目的，按照系統(tǒng)性原則和依據(jù)項目實施各階段過程與結(jié)果的內(nèi)在邏輯關(guān)系對原有指標體系內(nèi)容框架進行補充、調(diào)整和明晰指標要素含義描述，完善了項目后評價指標體系內(nèi)容框架。但與建立科學系統(tǒng)完整的后評價指標體系和適應(yīng)項目后評價信息化建設(shè)的需要還有差距，缺少對評價指標要素所需的基礎(chǔ)數(shù)據(jù)與信息及來源的進一步梳理，以及配套的評價方法、評價依據(jù)、評價標準和調(diào)整原則等內(nèi)容的深入研究。

項目后評價指標體系研究存在的不足主要表現(xiàn)以下方面：一是對構(gòu)建的項目后評價指標體系篩選不足。建立科學合理的項目后評價指標體系，需要對構(gòu)建的后評價指標體系按照科學的篩選原則和方法開展篩選、細化工作，逐步提升后評價指標的準確性，最終建立科學合理的指標體系。

二是尚未建立規(guī)范的計算方法、評價方法。雖然2016年版指標體系增加了指標或要素屬性說明，但尚未完全對定量指標或要素給出計算公式，對定性指標或要素給出評價方法，影響了運用指標要素對評價事項進行深入分析評價的可操作性，不利于通過指標要素對比和數(shù)據(jù)挖掘分析去真正揭示項目的關(guān)鍵問題和提出針對性、可操作性的管理建議。

三是評價依據(jù)研究不夠，基礎(chǔ)數(shù)據(jù)信息及來源尚未規(guī)范統(tǒng)一。經(jīng)過多年探索實踐，中國石油制定了相對完善的各類項目后評價報告編制細則和相應(yīng)的后評價指標體系，但由于評價依據(jù)研究不夠，對所需的基礎(chǔ)數(shù)據(jù)信息及來源不清的，嚴重影響項目后評價工作思路的系統(tǒng)全面和工作效率的提高，以及出現(xiàn)后評價工作缺乏標準、判斷問題缺乏依據(jù)，后評價結(jié)果缺少證據(jù)支撐，未能客觀、準確地表述后評價結(jié)論的問題。與后評價指標體系對應(yīng)的評價標準依據(jù)的研究一直是后評價指標體系研究的短板，評價標準依據(jù)不明確、數(shù)據(jù)信息來源不統(tǒng)一，指標體系就是無源之水、無本之木，難以發(fā)揮應(yīng)有的作用。

四是尚未制定科學合理的評價評分標準。目前，現(xiàn)行指標體系沒有相應(yīng)的評價評分標準，項目綜合評價評分大多采用專家打分法等方法進行評價，評價結(jié)果與專家的經(jīng)驗、能力水平呈強相關(guān)關(guān)系，客觀性不夠，不利于項目排序激勵機制和后評價結(jié)果應(yīng)用于績效考核機制的建立，不利于同類項目對比分析，以對標找差距促進項目管理的持續(xù)提升。為了提高評價準確性，增強評價結(jié)論說服力，充分體現(xiàn)后評價的客觀、公正、公平原則，建立統(tǒng)一評價標準己經(jīng)迫在眉睫。

五是尚未完成綜合評價模型建立。由于對項目后評價指標體系的計算方法、評價方法、評價依據(jù)和評分標準等研究不足，也制約了后評價信息管理系統(tǒng)綜合評價模型的建立和應(yīng)用，影響了項目后評價信息管理系統(tǒng)的功能實現(xiàn)。

總之，項目后評價指標體系內(nèi)容框架的構(gòu)建只是在一定程度上解決了“評什么內(nèi)容”的問題，但缺少相應(yīng)配套的計算方法、評價方法、評價依據(jù)和評分指標，就是沒有解決“按什么方法”、“需要什么依據(jù)”、和“怎么評”的問題。解決前者可參考的文獻資料較多，考驗的是研究人員的項目后評價基本理論素養(yǎng)，而后者可借鑒的研究成果很少，需要創(chuàng)新、實踐性強，考驗的是研究人員的項目后評價實踐功底。評價方法、依據(jù)和標準的研究及制定相應(yīng)規(guī)范，工作量大，實踐性強，需要反復(fù)驗證，難以短時出成果，需要不斷探索總結(jié)，需要持之以恒發(fā)揚專業(yè)團隊的工匠精神才能取得突破。

三、后評價指標優(yōu)化研究方向

一是對構(gòu)建的后評價指標體系進行篩選優(yōu)化。主要是按照獨立性和相關(guān)性原則，通過運用主、客觀分析方法，尤其是運用數(shù)學分析方法，對項目后評價指標體系內(nèi)容框架進行優(yōu)化篩選，在指標體系構(gòu)建的“精、準”上下功夫。

三個階段指標體系研究完成情況示意圖表

二是完善與規(guī)范相應(yīng)的計算方法、評價方法。對優(yōu)化后的指標體系開展定量指標計算方法和定性指標評價方法研究與規(guī)范，完善各類業(yè)務(wù)定量指標的計算公式，通過計算公式表達實現(xiàn)定量化計算；明確定性指標的評價方法，盡量將定性指標通過差減法定量化或?qū)＜以u分法轉(zhuǎn)化為定量化評價，在提高指標體系的可度量、可操作性上下功夫。

三是梳理與統(tǒng)一評價依據(jù)，明確數(shù)據(jù)信息源。首先在指標要素計算方法、評價方法研究的基礎(chǔ)上，進一步完善指標要素評價所需的基礎(chǔ)數(shù)據(jù)與信息，然后針對所需的基礎(chǔ)數(shù)據(jù)與信息，對國家和集團公司有關(guān)項目全過程管理的相關(guān)制度規(guī)定和批復(fù)文件，以及項目投產(chǎn)以來的生產(chǎn)經(jīng)營統(tǒng)計和財務(wù)報表等進行梳理，研究統(tǒng)一規(guī)范的數(shù)據(jù)信息載體即數(shù)據(jù)信息來源。在統(tǒng)一評價依據(jù)，提高數(shù)據(jù)信息質(zhì)量上下功夫。

四是制定評分、評級標準和指標體系調(diào)整原則。針對指標要素的定量計算方法和定性評價方法，研究相應(yīng)的評分標準，給出綜合評分的指標權(quán)重、評級標準，通過制定相應(yīng)的定量化標準，便于同類項目之間的橫向?qū)Ρ?。項目后評價不僅從定性角度提出評價結(jié)論，還要運用量化評價技術(shù)，通過評價指標體系給出項目的總體評分，使得評價結(jié)果更科學合理。

后評價指標體系目的是通過量化指標來判斷項目的實施效果，項目類型繁多，目的不一、內(nèi)容多樣，評價指標的選取和評價標準的制定難以保證較強的通用性，以及有些時候量化指標不具有可比性等，需要結(jié)合項目特點、內(nèi)容范圍、所處階段和評價目的等因素，對評價指標進行適當調(diào)整，形成更為適宜的指標體系，需要研究指標體系配套的調(diào)整原則。

五是開展指標體系應(yīng)用實證分析。結(jié)合具體實際項目，對各類項目后評價指標體系應(yīng)用進行實證分析，驗證指標體系內(nèi)容框架及相應(yīng)評價方法依據(jù)的合理性，并制定相應(yīng)規(guī)定，以固化科學合理完整的項目后評價指標體系研究成果。