程素杰,張國興,張緒濤
(蘭州大學 管理學院,甘肅 蘭州 730000)
公共項目績效管理考評是市場經濟和社會進步對公共項目管理提出的必然要求。在市場經濟條件下,一個國家的公共部門投資在整個國家經濟投資中占有很大的比重,為社會和經濟的發(fā)展奠定了基礎[1]。改革開放以來,隨著政府投資的大型公共項目的增多,所謂的“面子工程”、“獻禮工程”、“爛尾工程”的現象此起彼伏。大規(guī)模、高標準公共項目的超前建設,使政府在公共項目竣工后陷于設施使用率低而維護成本昂貴的困境,例如珠海三灶機場由于20年前的超前建設,到目前為止其綜合利用率尚未達到10%。為遏制公共項目的低效循環(huán)及其衍生的社會腐敗問題,國家越來越重視公共項目績效管理考評工作,而且隨著政治和經濟體制改革不斷深入,社會公眾對項目績效管理的監(jiān)督意識不斷提升,公共項目績效管理的效率和價值導向問題也就逐漸受到重視。
我國公共項目績效管理考評工作始于20世紀80年代中后期,2003年黨的十六屆三中全會明確提出了建立項目績效考評體系的要求,為我國建立政府公共項目績效考評制度提出了任務;四川省監(jiān)察廳和省計委于2003年成立《政府投資重大建設項目違規(guī)行為分析及對策研究》課題組,設計了《關于重大建設項目建設情況問卷調查表》;2006年國家發(fā)改委和建設部聯合發(fā)布《建設項目經濟考評方法與參數(第三版)》,首次明確提出公共項目是政府委托相關部門生產或提供公共物品或服務來滿足社會公眾需要的項目;孫明遠(2009)認為財政投資項目績效考評應當與公共財政職能相匹配,不僅要衡量和考評財政投資的經濟性、效率性和效果性,還要反映活動實施主體對預定活動過程的遵從度及公眾滿意度[2]。
公共項目績效考評指標體系建設是開展績效考評工作的重點及難點,缺乏考評績效指標相應的考評活動就無法正常有效開展。公共項目往往被視作政府的“政績”,如何對其考評后給出相應的“成績單”,不僅是社會向前發(fā)展的客觀要求,亦為學術界值得關注的課題[3]。公共項目績效管理考評已成為一種社會現象,其績效管理考評指標體系研究就顯得日益重要。
西方對公共項目績效考評的研究較多。在政府部門實施系統(tǒng)化的績效測控和報告制度,將績效信息整合到政策和管理中,提高政府的績效、責任性和回應性[4]。美國是世界上最早實施公共項目考評工作的國家,經過多年的發(fā)展,美國的項目評估已建立了公共項目考評支持系統(tǒng)[5]。美國國會于1993年1月通過了《政府績效與結果法案》。美國政府又于1993年3月成立了國家績效評價委員會,負責法案的監(jiān)督和實施;澳大利亞聯邦政府從1985年開始實施科技項目的績效考評試點工作,1993年全面推行科技項目績效考評,1999年對公共部門所有支出預算進行績效考評;Norman Flynn(1997)指出政府績效管理的必要性體現在落實責任、滿足利害關系人的期望和對結果導向的強調[6]。Ammons(1995)也認為通過績效考評,組織可以獲取市民信任,市民也會覺得其在納稅后得到合理回報[7]。西方國家績效考評方法也日益豐富,“3E”考評法、標桿管理法、平衡記分卡法、凈值分析法、神經網絡法、關鍵成功因素法等,使得公共項目管理績效考評方法日益完善。
在我國,公共項目績效管理及其考評起步相對比較晚,一些國內研究者如賈康、白景明(2003)認為要解決我國各級政府存在的公共支出渠道多、規(guī)模大、資金低效甚至浪費等嚴重問題,客觀上需要一個科學合理的公共投資績效考評體系[8]。還有我國在一些重大公共項目方面如國家對攻關計劃的評價、“863”計劃評價和高新技術開發(fā)區(qū)評價方面開展了一系列研究和實踐探索[9-10]。張軍果等(2007)基于科技項目后評價視角構建了財政科技項目績效考評體系,運用模糊數學法計算科技項目的投入產出比并給出了基礎研究、應用研究和試驗發(fā)展三類項目的績效考評體系[11]。杜亞靈,尹貽林(2008)也認為公共項目管理績效改善的基礎和標尺是績效考評,只有通過全面有效的績效考評,深入分析績效考評結果,績效改善才能有的放矢、事半功倍[12]。翟啟江等(2009)根據環(huán)保公益性行業(yè)科研項目績效考評的探索和實踐,研究并提出了項目績效考評工作的內容、指標和流程[13]。
綜合文獻資料所述,目前國內外對公共項目績效管理考評工作,不論是相關部門的評價指引,還是學界的理論、方法和實證探討,雖然都冠名“績效”,但是大多還停留在學術探討交流的層面,一套統(tǒng)一完善的考評指標體系尚未形成。事實上,公共項目績效考評往往被忽視,與績效的內涵要求相差甚遠。特別是在我國計劃經濟條件下形成的政府公共項目等同“政治項目”思維的影響及由此衍生的重前期立項、輕后期評價的狀況并未得到根本改善,造成我國公共項目績效管理不到位、效率低下。而其更深層原因不僅是政府公共項目的非盈利性,更是通用的指標體系框架尚未完全體現項目績效管理的價值、構建的指標體系與公共項目績效管理考評價值目標難以耦合以及選用的考評工具不夠科學,最終導致公共項目績效管理考評工作主觀隨意性大、精度不夠、績效管理考評指標間的相對重要性得不到科學體現、績效管理考評價值失衡如公共服務、公共責任、公正公平價值的缺失,更不能體現公共項目所固有的正外部性,不能科學完善地考評公共項目的管理績效[14]。本文將基于層次分析法(Analytic Hierarchy Process簡稱AHP)和模糊綜合法的神經網絡模型,對公共項目績效管理指標體系進行考評,為科學地進行績效管理考評提供理論借鑒。
公共項目的管理績效指標體系要從哪些方面開展考評,一套系統(tǒng)科學完善的公共項目考評指標體系是實施項目績效考評的基礎,它直接關系到考評結果的有效性。在公共項目績效管理考評指標體系研究中,選取并建立項目績效管理考評指標要遵循一定原則,使其既具有公共項目績效管理考評的普遍適用性,又能體現項目績效管理的價值導向目標。公共項目績效管理考評指標體系構建應遵循的原則有:
(1)價值導向原則。這是公共項目績效管理考評指標從其績效管理的社會公眾滿意度和公平性目標中衍生而出的,強調績效管理考評指標對整個公共項目管理績效的引導作用,通過其引導促使項目績效管理相關利益方為績效管理目標做出貢獻。大型公共項目應該盡可能地使社會福利最大化,讓盡可能多的公眾享受其效益,能否讓受益者滿意是大型公共項目投資績效考評的核心準則[15]。
(2)相關性原則。只有與績效考核要實現的目標和考評內容高度相關,才能準確地做出客觀評價,因此相關性原則是構建公共環(huán)境項目績效考評指標體系所必須遵循的。
(3)實用性原則。根據財政經濟和社會發(fā)展的現狀和趨勢,設計并選擇相應的考評指標,公共項目績效考評指標的價值在于它的有效性、能應用于實踐及具有較強的可操作性。
(4)系統(tǒng)性原則。大多公共項目規(guī)模大,集環(huán)境、經濟、風險等因素為一體,對其評價必須采用系統(tǒng)觀點,在系統(tǒng)的相互關聯和制約中描述系統(tǒng)的特征。具體操作中,對指標體系的設計既要突出重點,又不能以偏概全,以便對項目績效管理做出整體的分析和考評。
(5)層次性原則。績效管理考評指標的構建應能準確反映各層次之間的支配關系,各指標有明確內涵,按照層次遞進的關系,組成層次分明結構合理的考評指標體系。
(6)獨立性原則。公共項目績效管理考評涉及的指標較多,許多指標存在一定的重復性和相關性,構建指標體系時應使考評指標相關性盡量小,指標之間互不影響,避免互相包容的關系。
(7)動態(tài)完善性原則。科學有效的項目績效考評是一個長期過程,并非一次完成的。保持考評指標動態(tài)完善,使公共項目績效考評測量的結果之間具有參考性;考評標準的適用性和有效性會隨著時間、環(huán)境條件的變化而變化,要依據具體情況動態(tài)地確定考評指標。
(8)操作便捷原則。不同公共項目的績效管理進行比較,其考評指標的構建在計算口徑上要一致,盡可能實現不同區(qū)域、不同公共項目的考評,使指標盡可能做到操作便捷性。同時,指標含義要明確,對考評指標要進行量化,使不同指標之間分別具有縱向和橫向的可比性。
(9)注重社會和國家的宏觀效果原則。公共項目是以提供公共物品為特征的項目,其考評指標的選取不應僅僅局限于公共項目本身的銷售收入和利潤方面,而應該選取那些以增進社會經濟效益、增加整個社會福利價值為基本依據的因素。
西方國家在公共項目績效管理考評指標設計上圍繞“三E”即經濟(Economy)、效率(Efficiency)、效益(Effective?ness)展開。我國現有的公共項目績效管理考評指標體系中,有可量化的“硬指標”如財務性指標和經濟性指標,又有難以量化的“軟指標”如社會性指標。但是整個考評體系框架并沒在完全體現市場經濟條件下公共項目績效管理考評價值導向目標的要求,如公共項目衍生出的公共服務的均衡化程度等。
由于很難對公共項目績效管理的全部行為活動和結果進行審核測量,本文綜合考慮到目前公共投資項目績效管理考評及其指標體系存在的問題,根據公共項目績效管理考評指標的原則,突出以公眾利益價值為本的公平責任性指標,多角度全方位對公共項目的管理績效進行考核評價,構建的公共項目績效考評指標體系層次結構圖如圖1所示。
圖1 公共項目績效管理考評指標層次結構圖
在確定了公共項目績效考評指標體系層級結構的基礎上,通過分析和研究構建的績效管理指標系統(tǒng)涵蓋了如圖1所示的6個一級指標、13個二級指標及每個二級指標相對應的如下若干關鍵考評要素:
(1)資金籌集指標。資金籌集合格率、資金充足率、資金到位率、籌集資金成本率、籌集資金風險。
(2)投資決策指標。內控制度健全有效率、資金使用合格率、資金支出結構合理率、資金支出合法率。
(3)收益類指標。經濟收益、財務凈現值、勞動生產率、投資回收期、財務凈現值率、投資利潤率、相關經濟產出。
(4)費用類指標。借款償還期、運營成本費用、償債備付率。
(5)社會就業(yè)指標??偼顿Y就業(yè)效益、單位投資就業(yè)人數、社會就業(yè)系數。
(6)社會人文指標。居民生活質量提高系數、居民與項目相關生活成本費用及損失減少系數、當地居民人均純收入增長系數。
(7)宏觀經濟指標。投資經濟增長率、經濟結構完善系數。
(8)資源消耗指標。項目單位凈產值綜合能耗、單位投資占用耗地、單位產品生產耗水量。
(9)生態(tài)環(huán)境治理指標。環(huán)保投資增長額、空氣凈化率、水土流失治理率、人均森林覆蓋變化率。
(10)利害關系指標。與公共項目績效管理多層委托關系中各契約方有直接/間接關系。
(11)利益均衡指標。利益相關者受到的影響、項目收益和受損群體的待遇是否公平、弱勢群體的價值利益是否得到更多關注。
(12)合同管理指標。合同完成率、非正常合同變更率。
(13)質量管理指標。工程質量事故的次數、返工損失金額。
不同的項目績效管理考評指標對公共項目管理績效的影響作用不同,所以在對公共項目績效管理考評指標體系的綜合考評中,各個指標對考評對象的作用及考評的價值目標并不同等重要。為了體現各個考評指標在指標體系中的作用及重要程度,要根據各指標要素對公共項目管理績效的影響高低確定其在整個績效考評指標體系中的權重。為此本文構建的測度考評指標體系指標權重的分析過程為:
(1)根據公共項目績效管理考評指標體系層次結構模型,用九分法比較尺度綜合專家群體咨詢意見構建判斷矩陣;
5.對公共項目指標體系的二級指標重復(1)-(4)。
以上用AHP法確立考評指標體系中各層次指標對整個項目績效考評目標影響的程度。由于公共項目績效管理考評指標體系中指標層級邊界存在模糊性,為了與精確指標相結合,更科學地考評出指標體系的優(yōu)劣程度,本文采用模糊綜合法計算模糊指標隸屬函數值。
(1)確定考評集。依據公共項目績效管理層級考評指標體系結構,目標層的指標集定義為UA={U1,…,}U6,分別表示財務性指標B1,經濟性指標B2,、、、,管理類指標B6;準則層的指標集Uk={Uk1,…,}Uk13,分別表示資金籌集指標C1,…,質量管理指標C13。評判集本文采用三級考評標準V={V1,V2,}V3,通過專家經驗法確定每個層級的上限值U1,U2,U3。
(2)確定指標隸屬函數值對于項目指標體系中的定性指標,如一級指標中的公平責任性指標等難以定量表示,需要根據相關的規(guī)程讓考評專家進行打分,轉換為定量指標,然后建立其隸屬函數,轉換方式如下:
得到項目績效考評體系中各個單項指標的考評矩陣:
(3)模糊綜合考評。一級單因素指標考評模型為:
再將考評模型Y=[yB1…yBn]T按照評語的不同等級以等差打分法量化得到綜合考評屬性集G。本文設F=[f1…fn]T是分數集合,fj代表第j級評語的分數,n是評語中等級的個數,以10分為滿分用公式進行等差打分,得到考評結果為G=YF。
以上用AHP模糊綜合法將公共項目績效考評指標的重要程度數量化,以此作為神經網絡的前端分析處理。根據項目績效考評指標體系中一級指標的個數來決定神經網絡模型輸入層神經元節(jié)點數,將得到的指標綜合考評屬性集G的相應值作為神經網絡的輸入量,將模型考評的結果值作為輸出量,隱含層的神經元個數通過樣本實驗中逐步增長的方法確定,最終確定神經網絡模型的拓撲結構。
公共項目績效考評指標體系是一類在復雜環(huán)境下的多層次、多指標的綜合指標的考評問題,而且各個指標的重要程度各不相同。另外,項目績效考評指標體系中既有類似于財務性指標、經濟性指標的定量指標,也有類似于公平責任性指標、環(huán)境性指標的定性指標。而定性指標是難以精確描述的,具有不確定性和模糊性,計量考評會有難度。采用基于AHP模糊綜合法的神經網絡考評模型能克服以上缺點。該模型在用AHP法確定公共項目績效管理考評指標體系中各個評價指標的權重的基礎上,再利用模糊綜合法進行模糊綜合數量化處理得到項目績效管理指標的綜合考評屬性值;接著將各個指標相對應的屬性值作為神經網絡考評模型的輸入量,將考評結果作為輸出量;需要強調的是,為了使這種考評模型更具有準確性和科學性,在對項目績效指標體系性能考評之前,要用一定數量的樣本訓練該神經網絡模型,使其獲得相關考評的知識經驗,形成相對科學完善的考評模型。本文基于AHP模糊綜合法的神經網絡績效指標體系考評模型如圖2所示。
圖2 基于A HP模糊綜合法的神經網絡績效指標體系考評模型
在實際應用中,相關公共項目績效考評部門可以將訓練好的神經網絡作為考評模型,把要考評的指標體系的相關指標屬性值輸入神經網絡得到項目績效考評指標體系的考評結果。顯然本文構建的基于AHP模糊綜合法的神經網絡模型是解決公共項目績效管理考評指標體系這一多因素、多指標考評問題較為有利的模型方法。
本文以某大型公共項目為例,對其績效管理考評指標體系進行綜合考評。按照圖1的層次結構,綜合專家群體咨詢意見,構建的相應的判斷矩陣及其權重如表1。
表1 A-Bi一級考評指標判斷矩陣
表2 二級指標權重及其總排序
二級指標總排序結果和大型公共項目的價值導向目標相吻合,而且對應二級指標權重為:WB1={0.2500,0.7500},WB2={0 .6667,0.3333},WB3={0 .0738,0.6434,0.2828},WB4={0 .1667,0.8333},WB5={0 .2500,0.7500},WB6={0.1250,0.8750。}
根據該大型公共項目的實際情況及專家經驗采用十分制法,確定隸屬函數屬性值的上限為(3,6,8),專家根據表2得出的某大型公共項目的二級指標總排序對各項二級指標的評分為(3,3,4,4,4,5,5,5,6,5,7,3,4)。則由公式(1)(2)(3)得到的二級指標考評矩陣分別為:
由公式(4)計算得到一級指標綜合考評模型矩陣為:
分別對yBi進行等差標量屬性值轉化,轉化的分數集為則該大型公共項目績效考評體系的一級指標綜合考評屬性集為:
最后以該大型公共項目的6個一級指標個數作為人工神經網絡模型輸入層的神經元節(jié)點數,采用逐步增長的方法確定隱含層單元數為7,輸出的節(jié)點數為1,將集合G對應的屬性值輸入,最終輸出的分值就是對整個公共項目績效管理考評指標體系的考評結果。本文將項目績效管理考評指標體系考評的結果分成優(yōu)、良好、中等、差四個等級,相對應的實數值會落在0和100之間,輸出結果屬于(90,100]時,說明指標體系水平優(yōu);屬于(80,90]時,說明指標體系水平良好;屬于(60,80],說明指標體系水平中等;屬于[0,60],說明指標體系水平差。
本文選用專家對10個公共項目的績效管理考評指標體系的考評數據和綜合考評結果作為訓練樣本,將其對應的一級指標綜合考評屬性集G對應的屬性值輸入神經網絡對其訓練,使得誤差達到預定值0.1%。再將該大型公共項目績效管理考評指標體系的一級指標屬性值G輸入訓練好的神經網絡,最終輸出的考評結果為83.6,而專家考評值為84.0,誤差在預定范圍之內,該公共項目的績效管理考評指標體系水平良好。
隨著社會的進步和體制改革的深入,公共項目績效管理的效能日益受到重視。本文嘗試性地構建了公共項目績效管理考評指標體系并建立AHP模糊綜合法神經網絡模型科學客觀地對考評指標體系進行綜合考評。其中涉及的考評指標范圍較全面并且具有普遍的適用性,通過考評也充分科學體現了各層級指標的重要程度及公共項目績效管理的公眾滿意度和利益價值導向目標,并通過具體算例分析得到較好的考評結果,也進一步說明此模型具有較強的操作和實用性能,為推行公共項目績效管理考評工作奠定理論基礎、提供方法借鑒。
值得指出的是,運用AHP模糊綜合法神經網絡指標考評模型在專家組給出判斷前不僅需要做一系列實地問卷調查,以盡可能降低主觀性,也要經過相關部門從理論和實踐相結合的角度出發(fā)而得出的管理活動結果數據的檢驗,不斷使公共項目績效管理考評指標體系臻于完善。
[1]理查·A·穆斯格夫.財政學原理[M].北京:中國財政經濟出版社,2003.
[2]孫明遠.財政投資項目績效評價研究[J].財經研究,2009(2):31.
[3]鄭方輝,陳佃慧.政府績效視野下的廣州BRT項目評價[J].華東經濟管理,2011(4):25.
[4]Nyhan,Ronald,Hebert.Performance Measurement in the Pub?lic Sector:Challenges and Opportunity[J].Public Productivi?ty&Management Review,1995(18):66.
[5]戴國慶,李麗亞.國外科技項目績效考評研究與借鑒[J].中國科技論壇,2005,6(5):45-47.
[6]Flynn Norman.Public Sector Management[M].New Jersery:Prentice Hall,1997.
[7]Ammons,David N.Overcoming the Inadequacies of Perfor?mance Measurement in Local Government:The Case ofLi?braries and Leisure Services[J].Public Administration Re?view,1995(1):37-47.
[8]賈康,白景明.如何認識和構建公共投資評審體系[J].中國財政,2003(7):9-10.
[9]李麗亞,宋揚.科技項目績效考評方法初探[J].中國科技論壇,2004(6):110.
[10]陳衍泰,陳國宏,李美娟.綜合評價方法分類及研究進展[J].管理科學學報,2004(2):28-3.
[11]張軍果,任浩,謝福泉.項目后評價視角下的財政科技項目績效評估體系研究[J].科學學與科學技術管理,2007(2):14-20.
[12]杜亞靈,尹貽林.公共項目管理績效評價研究[J].項目管理技術,2008(2):13.
[13]翟啟江,邵世才,陶鵬.環(huán)保公益性行業(yè)科研專項項目績效考評經驗及啟示[J].中國科技論壇,2009(8):7-10.
[14]劉瀛弢.公益性行業(yè)科研項目績效考評研究[J].中國軟科學,2010(6):107.
[15]陳強,鮑悅華.大型公共項目的受益者滿意度評價[J].投資研究,2006(10):13.