●宋鶴嬌
政府采購項目支出是高校財政支出的重要組成部分, 如何提高高校采購的投資效益, 使教育投入產(chǎn)出績效最大化,一直是備受關(guān)注的問題。在深化政府采購制度改革的背景之下,高校政府采購業(yè)務(wù)管理全面進入數(shù)據(jù)化時代,如何堅持新發(fā)展理念,結(jié)合政府采購大數(shù)據(jù)治理, 加快形成評價主體職責清晰、評價規(guī)則科學高效、評價過程可行可控、政策功能健全完備、技術(shù)支撐先進的政府采購績效評價體系具有重要意義。
隨著教育投資規(guī)模的不斷擴大,公眾對高校政府采購項目的關(guān)注度越來越高。 同時,大數(shù)據(jù)、云計算等信息手段在政府采購管理上充分運用,給政府采購工作提出了深化改革的方向,政府采購績效評價的研究也逐漸受到重視。 近年來,學術(shù)界取得了一定的研究成果, 但仍存在局限性:一是對指標體系的定性分析研究較多,定量分析顯得較為薄弱;二是部分研究重點放在現(xiàn)狀分析和展望上,對指標體系的架構(gòu)和評價方法研究還有待進一步深入;三是研究以理論分析為主,鮮有結(jié)合大數(shù)據(jù)和實際應(yīng)用的過程研判; 四是研究較為分散,少有以高校政府采購項目為績效研究對象的理論框架;五是研究注重績效評價過程的研判,忽視評價結(jié)果的運用,沒有建立評價結(jié)果促進工作提升的運用機制。
本文構(gòu)建了高校政府采購項目績效評價指標體系,并對指標進行分析解釋,選取科學的實驗方法,對指標進行賦權(quán), 并反復(fù)驗證其合理性,確定數(shù)據(jù)來源、 收集途徑及分析方法,選取代表性項目進行評價的實證分析與研究, 通過實踐不斷改進優(yōu)化,使指標體系趨于合理、健全,從而為推動政府采購績效管理全面實施提供有益借鑒。
本文以高校政府采購項目為對象, 選取了國際上比較常用的評價法則“4E 評價法”,確立“4E”指標,包括經(jīng)濟(Economy)、效率(Efficiency)、效能(Effectiveness)、公平(Equity)四方面主要內(nèi)容。
圖1 4E 理論模型
評價指標體系的設(shè)計兼顧系統(tǒng)性、 全面性、導(dǎo)向性和可操作性。筆者運用修正版的德爾菲法(Modified Delphi Method,MDM)進行調(diào)查問卷的設(shè)計,在對政府采購的政策分析和績效評價相關(guān)理論文獻研究的基礎(chǔ)上,通過訪談?wù){(diào)研、專家咨詢和問卷調(diào)查,反復(fù)進行篩選和論證,按照全流程管理方法和“4E”原則,選取了適用于政府采購決策、執(zhí)行、管理、驗收、反饋等各環(huán)節(jié)的績效評價指標,設(shè)計了《政府采購績效評價指標體系調(diào)查問卷》。 問卷調(diào)查的對象包括采購預(yù)算單位采購人代表、供應(yīng)商、集中采購機構(gòu)人員、財政監(jiān)管人員、專家評委等,共收到反饋問卷40 份。
為了提高問卷的填寫率和填寫質(zhì)量,在專家意見咨詢問卷中,采用了科學的李克特五點量表(Likert five-point scale)。 該量表由關(guān)于每條指標的名稱和解釋說明組成,每一指標有“非常同意”“同意”“沒有意見””不同意”“非常不同意”五種回答,分別記為5 分、4 分、3 分、2 分、1 分,專家根據(jù)對政府采購績效評價的認知及每條指標的理解判斷,逐條給出態(tài)度及意見,用加總方式來計分。 筆者將每位專家的態(tài)度,即對各道題的回答所得分數(shù)進行加總平均, 平均得分超過3.5 分的指標予以保留,據(jù)此確立了評價指標的具體內(nèi)容和層級架構(gòu),組成最終的評價指標體系。 通過問卷調(diào)查,使得本文指標的選取具有科學性和合理性。
指標體系的設(shè)計理念具體如下: 第一步,按照“4E 評價法”設(shè)計反映政府采購整體特征的一級指標,可以從經(jīng)濟性、效率性、效益性、公平性四個維度考察;第二步,在一級指標的基礎(chǔ)上設(shè)計二級指標,二級指標包括預(yù)算管理、資金管理、采購執(zhí)行效率、履約效率、支付效率、履約驗收管理、政策效力、各方滿意度、采購過程規(guī)范與監(jiān)督等方面;第三步,將反映整體情況的一級指標和反映績效實施情況的二級指標有機結(jié)合,并進行分解,設(shè)定三級指標。 具體指標內(nèi)容和解釋詳見下頁表1。
表1 項目采購績效評價指標體系
計算指標體系的效度與信度,并進行檢查和修正,進一步評估構(gòu)建的政府采購績效評價指標體系的合理性和科學性。
1.項目績效評價指標體系效度的檢測。 效度(Validity)即有效性,測量結(jié)果與政府采購績效評價指標體系越吻合,則效度越高。
評價指標效度評定常用內(nèi)容效度比(C.V.R)來表示。 另外,評價主體中認為某指標可以采用的評價人數(shù)記為m, 評價項目的總?cè)藬?shù)設(shè)為M。政府采購績效評價指標效度計算公式為:
當所有評價者都認為指標內(nèi)容不當時,C.V.R=-1; 當所有評價者都認為指標項目內(nèi)容很好時,C.V.R=1;當評價者中認為指標項目適合和不合適的人數(shù)對半時,C.V.R=0。
通過系統(tǒng)計算內(nèi)容效度比C.V.R, 得到了各個指標與政府采購績效這一評價對象之間關(guān)系的密切程度。 統(tǒng)計結(jié)果表明,約有85%指標的效度比值在0.65 以上,評價體系效度較高。
2.項目績效評價指標體系信度的檢測。 信度(Reliability)也就是可靠性,為確保指標體系建立的可靠性,筆者對問卷結(jié)果做了信度檢驗。 筆者運用SPSS 軟件檢驗了本次問卷的克隆巴赫系數(shù)(Cronbanch’s Alpha)。
克隆巴赫內(nèi)部一致性系數(shù)計算公式為:
α 為信度系數(shù),N 為子指標層所含的指標個數(shù),Si為指標的標準差,Si2表示第i 個指標的方差,S2為總分的方差。
一般認為,克隆巴赫系數(shù)大于0.8,則該量表的信度較好。 統(tǒng)計結(jié)果表明,總體的克隆巴赫系數(shù)為0.86,結(jié)果表明項目績效評價共性指標體系的內(nèi)部一致性比較高,具有良好的信度。
指標權(quán)重的確立是評價指標合理量化的關(guān)鍵。 傳統(tǒng)的權(quán)重設(shè)計往往靠主觀設(shè)定,在理論上缺乏科學依據(jù)。 本文運用層次分析法(Analytic Hierarchy Process,AHP)進行指標權(quán)重分配,通過對績效評價各項指標的定量分析,分別賦予合理的權(quán)重分配。
筆者根據(jù)層次分析法(AHP)的形式設(shè)計了“政府采購項目績效評價指標體系A(chǔ)HP 專家咨詢問卷”,用以確定各影響因素之間的相對權(quán)重,在同一個層次中對影響因素重要性進行兩兩比較。
筆者共發(fā)放55 份問卷, 發(fā)放對象包括采購人代表、專家評委、供應(yīng)商、集中采購機構(gòu)人員、政府采購監(jiān)管人員等,收回有效問卷50 份。使用Yaahp層次分析軟件,進行層次模型構(gòu)建、判斷矩陣數(shù)據(jù)計算、排序權(quán)重計算等。
運用幾何平均數(shù)的方式對問卷結(jié)果進行集結(jié),并進行了一致性檢驗,計算結(jié)果一致性比例為0.005,通過一致性檢驗。
上述判斷矩陣的一致性滿足要求, 根據(jù)矩陣的最大特征值, 通過Yaahp 層次分析軟件進一步計算得到對應(yīng)的特征向量,并通過標準化(使特征向量中各分量的和為1)將其轉(zhuǎn)化為權(quán)向量,從而得到各要素對其相應(yīng)的上層要素的影響權(quán)重,具體指標權(quán)重情況如表2 所示。
表2 項目采購績效評價指標體系權(quán)重表
筆者運用模糊綜合評價法對績效評價進行等級判斷,結(jié)合政府采購績效評價指標體系,設(shè)計績效評級評分表,將每個指標分為優(yōu)、良、合格、 不合格四個評價等級, 分別賦予 100、80、60、0 的分值。 對照評分表對已收集、 整理的數(shù)據(jù)進行分析, 并對所有指標評分, 科學計算后形成評價結(jié)果。 計算各指標的加權(quán)平均值得出績效得分, 全部評價指標的總和形成該項目整體績效得分。
項目績效評價總分計算公式如下:
項目績效評價總分=Σ 各指標評級分值×各指標權(quán)重
項目整體績效評價結(jié)果采用綜合評分定級的方法,總分值為100 分,績效評級分優(yōu)、良、合格、不合格。評價得分高于90 分(含90 分)的,績效評級為優(yōu);得分在75(含75 分)—90 分的,績效評級為良;得分在60(含60 分)—75 分的,績效評級為合格;得分在60 分以下的,績效評級為不合格(具體見表3)。
表3 項目績效評級方法
指標體系實踐應(yīng)用選取的對象是某高校的4K 電競綜合演播室建設(shè)項目,屬于政府采購的設(shè)計及施工一體化項目,采購方式為公開招標,允許進口設(shè)備投標。 該項目總預(yù)算資金1725 萬元,主要資金來源為中央財政、省財政、中央財政配套。
本課題選擇該項目作為績效評估方案的實證案例, 運用績效評價相關(guān)理論提出評價的具體方案, 結(jié)合項目采購的實際情況, 應(yīng)用評價指標體系,收集整理指標所對應(yīng)的基礎(chǔ)數(shù)據(jù),運用統(tǒng)計學和信息學的計算方法進行數(shù)據(jù)分析, 從而做出整體績效評價。
4K 電競綜合演播室建設(shè)項目績效評級總體思路如圖2。
圖2 項目績效評級路徑圖
在項目自評階段, 項目負責人根據(jù)評價指標體系和評價準則, 對照項目的實際情況,完成項目自評報告,并由專家組進行研判和可行性分析。
在現(xiàn)場評判階段, 專家組根據(jù)評價方案深入實地進行調(diào)研, 并召開績效評價現(xiàn)場會議,聽取項目負責人自評情況,同時對資料信息進行整理和分析, 將整理后的數(shù)據(jù)與指標進行對照評價。根據(jù)制定的評價指標體系,結(jié)合項目實施的實際情況,以科學、客觀、公正的原則,對各項指標進行績效評分, 并綜合計算出評級結(jié)果。
通過自評和專家評判, 分析項目績效評價結(jié)果,討論項目存在的問題,進一步核實評價結(jié)果,形成項目績效評價報告。
在績效評價實施過程中, 專家組使用模糊綜合評價法對項目績效進行評級并賦予分值。 對所有專家的意見進行加權(quán)平均后, 得出項目績效分值為94.91,該項目對應(yīng)的績效評級為“優(yōu)”。
以4K 電競綜合演播室建設(shè)項目為例進行的政府采購績效評價探索,立足績效看采購,從客觀的角度分析政府采購全過程, 全面評判政府采購項目的經(jīng)濟性、 效率性、效益性和公平性,梳理政府采購的有益措施和改進方向,有較好的實踐意義。
目前,我國對政府采購項目管理總體上還是偏重于前期審批和過程監(jiān)督,對于采購結(jié)果和績效的評價分析相對薄弱??冃гu價對政府采購項目實施具有重要的導(dǎo)向、規(guī)范與促進作用,強化績效評價工作迫在眉睫。
截至目前, 對政府采購的全過程績效評價和管理規(guī)范較少。這使得績效評價工作缺乏法律約束和制度保障,工作推進難度較大,迫切需要加快相關(guān)法律法規(guī)的建立與完善。通過制定政府采購項目績效評價與管理相關(guān)操作規(guī)范和管理辦法,推動政府采購項目績效評價工作逐漸納入法制化、規(guī)范化的軌道。
政府采購績效評價指標體系構(gòu)建必須有完善的數(shù)據(jù)來源和管理系統(tǒng),確保政府采購數(shù)據(jù)準確有效,信息搜集、分析和處理過程有效記錄。
從現(xiàn)有政府采購項目數(shù)據(jù)流分析,采購過程中產(chǎn)生的量化數(shù)據(jù)采集基礎(chǔ)較好, 采購預(yù)算執(zhí)行、信息發(fā)布、開標、評標、定標、合同簽訂等數(shù)據(jù)記錄較為清楚,可以直接用于績效評價指標的定量計算。但項目采購執(zhí)行中的一些數(shù)據(jù)容易出現(xiàn)缺失的情況,比如預(yù)算產(chǎn)生、立項依據(jù)、實施過程、驗收數(shù)據(jù)、采購人和供應(yīng)商的滿意度等,需要進一步設(shè)計數(shù)據(jù)采集模塊。
數(shù)據(jù)采集模塊可從政府采購項目立項決策體系、過程監(jiān)管體系、反饋數(shù)據(jù)收集體系進行建設(shè)。通過績效評價信息化管理模塊,可實現(xiàn)從項目預(yù)算到采購實施、驗收反饋等全過程、全方位的動態(tài)管理,各類信息可以實時查詢、統(tǒng)計和分析, 可以解決績效評價過程中數(shù)據(jù)資料收集困難的問題, 也為過程中績效評價和指標預(yù)警提供了可能性。應(yīng)用信息化手段,在政府采購執(zhí)行環(huán)節(jié)對績效評價指標進行實時計算和評價,對績效目標實現(xiàn)程度和采購進度進行 “實時監(jiān)控”,對采購過程中績效目標運行偏離、未達預(yù)期進度的采購項目, 各采購人可以及時分析原因并糾正。
政府采購作為預(yù)算執(zhí)行的重要方式和項目支出的重要組成,必須強化政府采購績效管理流程約束, 建立政府采購各關(guān)鍵環(huán)節(jié)的績效管理,切實強化程序性約束,協(xié)同推進預(yù)算管理、項目管理與政府采購管理,加強財務(wù)部門與業(yè)務(wù)部門的協(xié)調(diào)配合,確保政府采購績效管理延伸至使用終端。 要加快推進績效管理信息系統(tǒng)一體化建設(shè),打破單位預(yù)算、績效、業(yè)務(wù)、財務(wù)、采購、資產(chǎn)的“信息孤島”,實現(xiàn)項目支出績效評價和政府采購績效評價的有機結(jié)合和信息共享。加快建成全方位、全過程、全覆蓋的績效管理體系,避免多頭評價,交叉監(jiān)管。