城市軌道交通科研項(xiàng)目評(píng)價(jià)方法研究

王萌萌 史慕天

(1.中國(guó)科學(xué)院大學(xué) 北京 100049； 2.北京交通大學(xué)海濱學(xué)院 河北滄州 061199)

城市軌道交通科研項(xiàng)目評(píng)價(jià)方法研究

王萌萌1史慕天2

(1.中國(guó)科學(xué)院大學(xué) 北京 100049； 2.北京交通大學(xué)海濱學(xué)院 河北滄州 061199)

為提高城市軌道交通建設(shè)水平，開展了大量科技攻關(guān)項(xiàng)目研究并投入大量資金，如何評(píng)定研究成果優(yōu)劣，對(duì)軌道交通科研項(xiàng)目的評(píng)價(jià)就顯得越來(lái)越重要。提出以結(jié)果為導(dǎo)向進(jìn)行績(jī)效管理的評(píng)價(jià)方法，并運(yùn)用3E理論和層次分析法構(gòu)建以定量評(píng)價(jià)為主的評(píng)價(jià)體系框架，為未來(lái)軌道交通科研項(xiàng)目管理制度的改革提供理論基礎(chǔ)。

城市軌道交通；項(xiàng)目評(píng)價(jià)；績(jī)效管理

近10年來(lái)，我國(guó)的軌道交通獲得了空前的發(fā)展機(jī)遇，被視為疏解交通擁堵、突破城市發(fā)展瓶頸的重要途徑。在城市軌道交通快速發(fā)展的過(guò)程中,為了節(jié)省工程投資,我國(guó)政府規(guī)定了國(guó)產(chǎn)化率的比例,這一舉措大大促進(jìn)了該領(lǐng)域科研工作和自主創(chuàng)新工作的開展。國(guó)家和地方政府，甚至企業(yè)都大力開展了科技攻關(guān)，增加了大量科研經(jīng)費(fèi)的投入，形成了推動(dòng)行業(yè)發(fā)展的重要?jiǎng)恿Α榱烁玫厝嬲归_項(xiàng)目研究、技術(shù)創(chuàng)新，提高科研經(jīng)費(fèi)的使用效率，引入以結(jié)果為導(dǎo)向的績(jī)效管理理論，開展對(duì)城市軌道交通科研項(xiàng)目評(píng)價(jià)方法的研究，這對(duì)于提高城市軌道交通項(xiàng)目科研管理水平，具有重要的理論與實(shí)踐價(jià)值。

1 確立以結(jié)果為導(dǎo)向的管理目標(biāo)

長(zhǎng)期以來(lái)我國(guó)對(duì)于科研項(xiàng)目管理改革的重點(diǎn)主要集中在過(guò)程控制取向的制度建設(shè)，雖然取 得 了 不 少 成果，克服了資金使用不規(guī)范、監(jiān)管不 力 等 問 題，但 隨 著改革的深入，這種以過(guò)程控制為導(dǎo)向的制度，其局限性逐漸凸顯。很多問題不僅僅來(lái)自于制度本身的設(shè)計(jì)缺陷，其根源在于管理目標(biāo)上的偏差和管理理念上的不適應(yīng)。實(shí)踐證明，對(duì)于研究過(guò)程過(guò)于嚴(yán)格精細(xì)的控制不但起不到積極的推動(dòng)作用，反而會(huì)造成一定的限制。因此，對(duì)項(xiàng)目管理制度的完善必須從統(tǒng)一科研和管理的目的入手，把項(xiàng)目管理的關(guān)注點(diǎn)放到成果上去，推行以結(jié)果為導(dǎo)向的績(jī)效管理制度。

2 建立以績(jī)效為基準(zhǔn)的評(píng)價(jià)模型

以績(jī)效為基準(zhǔn)建立評(píng)價(jià)模型對(duì)項(xiàng)目進(jìn)行考評(píng)是建立以結(jié)果為導(dǎo)向的管理制度的核心環(huán)節(jié)，也是一個(gè)世界范圍內(nèi)的研究熱點(diǎn)。盡管目前沒有一個(gè)公認(rèn)的指標(biāo)體系可供借鑒，但依據(jù)國(guó)內(nèi)外政府和民間已經(jīng)取得的大量理論和實(shí)踐成果，可以建立一套相對(duì)合理的評(píng)價(jià)指標(biāo)體系。

根據(jù)新公共管理理論中的“3E”理論，對(duì)績(jī)效結(jié)果的評(píng)價(jià)一般從3個(gè)方面進(jìn)行指標(biāo)的選取和分解，即效果性(effectiveness)、效率性(efficiency)、經(jīng)濟(jì)性(economy)。對(duì)于科研活動(dòng)，也可以依此方式進(jìn)行分解，如圖1所示。

圖1 以結(jié)果為導(dǎo)向的科研過(guò)程“3E”指標(biāo)體系

與企業(yè)中實(shí)現(xiàn)的“投入—過(guò)程—產(chǎn)出”的結(jié)果導(dǎo)向績(jī)效管理略有不同，由于城市軌道交通科研自身具有戰(zhàn)略性、公益性和政策導(dǎo)向，不能簡(jiǎn)單地用產(chǎn)出經(jīng)濟(jì)指標(biāo)作為衡量，還應(yīng)考慮到成果自身具有的發(fā)展?jié)摿吧鐣?huì)影響。因此在依照“以結(jié)果為導(dǎo)向”的理念對(duì)科研活動(dòng)進(jìn)行過(guò)程分解時(shí),應(yīng)在企業(yè)的“投入—產(chǎn)出”程序后延伸一步，筆者將其稱為“投入—過(guò)程—產(chǎn)出—結(jié)果”的科研活動(dòng)程序，并針對(duì)這個(gè)過(guò)程劃分出4類指標(biāo)進(jìn)行效果性、效率性、經(jīng)濟(jì)性的績(jī)效綜合評(píng)價(jià)。

3 運(yùn)用層次分析法構(gòu)建評(píng)價(jià)體系

以軌道交通類應(yīng)用研究項(xiàng)目結(jié)題驗(yàn)收為例，對(duì)評(píng)價(jià)指標(biāo)進(jìn)行選擇和分解，具體見表1。

表1 軌道交通類應(yīng)用研究項(xiàng)目評(píng)價(jià)指標(biāo)

在權(quán)重的確定上通常采用的方法是層次分析法和熵值法，筆者選取可對(duì)定性和定量資料進(jìn)行綜合分析的層次分析法進(jìn)行指標(biāo)權(quán)重的計(jì)算。首先邀請(qǐng)從事城市軌道交通科研工作的六位專家對(duì)項(xiàng)目績(jī)效評(píng)價(jià)中的各項(xiàng)指標(biāo)重要度進(jìn)行評(píng)價(jià)，將每位專家的打分結(jié)果進(jìn)行分析匯總，用幾何平均方案構(gòu)造歸并后的判斷矩陣，見表2～5。

表2 效果性(B1)指標(biāo)判斷矩陣

表3 效率性(B2)指標(biāo)判斷矩陣

表4 經(jīng)濟(jì)性(B3)指標(biāo)判斷矩陣

表5 城市軌道交通項(xiàng)目績(jī)效(A)指標(biāo)判斷矩陣

對(duì)以上判斷矩陣進(jìn)行一致性檢驗(yàn)，結(jié)果如表6所示，其中W為歸一后的特征權(quán)向量，λmax為最大特征值，二者均通過(guò)Matlab7.0軟件運(yùn)算得出。

表6 判斷矩陣一致性檢驗(yàn)

除Ci→B3矩陣為二階矩陣，無(wú)需檢驗(yàn)一致性以外，其他矩陣CR值均小于0.1，一致性檢驗(yàn)通過(guò)，即由以上判斷矩陣計(jì)算得出的指標(biāo)權(quán)重是合理的，其中一級(jí)指標(biāo)權(quán)重見表7。

表7 項(xiàng)目評(píng)價(jià)一級(jí)指標(biāo)權(quán)重

從一級(jí)指標(biāo)的權(quán)重來(lái)看，效果性指標(biāo)所占比例最大，這也體現(xiàn)出科研項(xiàng)目績(jī)效管理中的一個(gè)突出特點(diǎn)，即對(duì)于科研績(jī)效的追逐不僅涉及工作數(shù)量和工作效率，更加看重的是科研成果對(duì)于宏觀層面的效益和影響，特別是成果在產(chǎn)出后較長(zhǎng)時(shí)期內(nèi)產(chǎn)業(yè)化和市場(chǎng)化的預(yù)期以及拉動(dòng)經(jīng)濟(jì)增長(zhǎng)和社會(huì)進(jìn)步的貢獻(xiàn)程度。

同理可以得到其他3個(gè)矩陣分別對(duì)應(yīng)的二級(jí)指標(biāo)權(quán)重,見表8。

表8 軌道交通項(xiàng)目績(jī)效評(píng)價(jià)指標(biāo)權(quán)重

最后對(duì)指標(biāo)層次和權(quán)重進(jìn)行總排序，同時(shí)檢驗(yàn)總排序的一致性。

CR<0.1，層次總排序一致性檢驗(yàn)通過(guò)。

將一級(jí)指標(biāo)和二級(jí)指標(biāo)的權(quán)數(shù)兩兩相乘即可得到此套評(píng)價(jià)體系內(nèi)各指標(biāo)的相應(yīng)權(quán)重，同時(shí)以立項(xiàng)時(shí)設(shè)定的績(jī)效目標(biāo)完成情況和質(zhì)量為依據(jù)設(shè)定評(píng)價(jià)標(biāo)準(zhǔn)并賦予相應(yīng)分值，便可得到城市軌道交通應(yīng)用研究項(xiàng)目結(jié)題階段的績(jī)效評(píng)價(jià)體系，具體見表9。

表9 城市軌道交通應(yīng)用研究項(xiàng)目績(jī)效評(píng)價(jià)體系

其中：a為績(jī)效目標(biāo)完成率，a=績(jī)效目標(biāo)值/實(shí)際完成值×100%

為驗(yàn)證此評(píng)價(jià)體系的可行性，特選取某科研機(jī)構(gòu)與城市軌道交通相關(guān)的項(xiàng)目進(jìn)行實(shí)證分析。對(duì)照項(xiàng)目任務(wù)書中的績(jī)效目標(biāo)，各評(píng)價(jià)指標(biāo)完成情況如下。

1) 成果先進(jìn)性C1：通過(guò)技術(shù)驗(yàn)收測(cè)試，研究成果均已達(dá)到或超出任務(wù)書中考核指標(biāo)，但部分核心部件沒有掌握自主創(chuàng)新知識(shí)產(chǎn)權(quán)，總體來(lái)說(shuō)基本完成了預(yù)期目標(biāo)。

2) 產(chǎn)業(yè)帶動(dòng)增長(zhǎng)率C2：項(xiàng)目任務(wù)書中要求進(jìn)行產(chǎn)業(yè)化推廣但未對(duì)產(chǎn)業(yè)帶動(dòng)增長(zhǎng)率設(shè)定具體標(biāo)準(zhǔn)。項(xiàng)目實(shí)際投入299.30萬(wàn)元，進(jìn)行成果轉(zhuǎn)化取得有效期五年的技術(shù)轉(zhuǎn)讓金額500萬(wàn)元，同時(shí)簽訂了未來(lái)五年的技術(shù)合作協(xié)議金額1 000萬(wàn)元，投入產(chǎn)出率501.17%。根據(jù)經(jīng)驗(yàn)可判定為超出目標(biāo)要求。

3) 交通發(fā)展貢獻(xiàn)度C3：根據(jù)驗(yàn)收專家組的評(píng)審意見，項(xiàng)目研究成果對(duì)于提高軌道交通建設(shè)水平的貢獻(xiàn)明顯，達(dá)到項(xiàng)目預(yù)期目標(biāo)。

4) 論文專利量C4：任務(wù)書中要求發(fā)表國(guó)內(nèi)核心期刊以上級(jí)別和國(guó)際論文2篇以上，取得專利2項(xiàng)，實(shí)際完成情況為發(fā)表論文11篇，其中EI檢索3篇，取得專利4項(xiàng)。論文專利完成量大于100%。

5) 項(xiàng)目完成時(shí)效C5：項(xiàng)目計(jì)劃執(zhí)行期為2009年6月至2011年6月，實(shí)際完成時(shí)間為2012年2月29日，超期8個(gè)月，完成時(shí)效133%。

6) 人才培養(yǎng)完成率C6：任務(wù)書中要求培養(yǎng)博士生3名，碩士生1名。實(shí)際依托此項(xiàng)目完成畢業(yè)論文的博士生1名，碩士生1名，另有2名博士生在讀，博士后出站1名。人才培養(yǎng)完成率75%。

7) 資金到位率C7：項(xiàng)目預(yù)算300萬(wàn)元，其中財(cái)政撥款150萬(wàn)元，自籌經(jīng)費(fèi)150萬(wàn)元，資金到位率100%。

8) 資金使用率C8：項(xiàng)目預(yù)算300萬(wàn)元，財(cái)政資金支出經(jīng)費(fèi)149.28萬(wàn)元，自籌支出經(jīng)費(fèi)150.02萬(wàn)元，總計(jì)299.30萬(wàn)元，資金使用率99.77%。

由此，該項(xiàng)目績(jī)效評(píng)價(jià)結(jié)果如表10所示。項(xiàng)目績(jī)效總得分87.27分，說(shuō)明該項(xiàng)目完成情況良好，基本實(shí)現(xiàn)了項(xiàng)目預(yù)期目標(biāo)。

表10 某項(xiàng)目績(jī)效評(píng)價(jià)

4 結(jié)語(yǔ)

以績(jī)效為基準(zhǔn)進(jìn)行考評(píng)是貫徹以結(jié)果為導(dǎo)向的項(xiàng)目管理制度的必要手段，事前設(shè)定績(jī)效目標(biāo)，事后針對(duì)目標(biāo)完成情況進(jìn)行評(píng)價(jià)和反饋，一方面可以降低項(xiàng)目申請(qǐng)中過(guò)多的行政干預(yù)，另一方面將項(xiàng)目執(zhí)行中各參與方的管理目標(biāo)統(tǒng)一起來(lái)，消除“委托—代理”關(guān)系中的“激勵(lì)不相容”問題。評(píng)價(jià)指標(biāo)按“3E”理論進(jìn)行選取并通過(guò)層次分析法計(jì)算權(quán)重后，“產(chǎn)業(yè)帶動(dòng)增長(zhǎng)率”和“交通發(fā)展貢獻(xiàn)度”等更注重于項(xiàng)目效益和長(zhǎng)遠(yuǎn)發(fā)展的指標(biāo)獲得了較高的權(quán)重，與“以結(jié)果為導(dǎo)向”的理念相吻合，同時(shí)對(duì)于城市軌道交通科研項(xiàng)目研究成果推動(dòng)交通事業(yè)進(jìn)步、實(shí)現(xiàn)社會(huì)效益最大化具有良好的引導(dǎo)作用?！百Y金到位率”指標(biāo)的權(quán)重較高則反映出科研活動(dòng)對(duì)于資源投入的依賴性，充足的資金供給為項(xiàng)目順利實(shí)施提供必要保障。應(yīng)用此套績(jī)效評(píng)價(jià)體系實(shí)現(xiàn)了績(jī)效結(jié)果量化展示，一方面有利于通過(guò)橫向比較引導(dǎo)科技資源的擇優(yōu)配置，另一方面通過(guò)縱向比較改善自身的科研管理水平。

由于時(shí)間和水平的局限，筆者對(duì)于城市軌道交通項(xiàng)目績(jī)效評(píng)價(jià)體系的指標(biāo)取舍和分解考慮的可能不夠細(xì)致和全面，對(duì)于權(quán)重的確定也可能存在更為合理有效的方法。相信在未來(lái)隨著我國(guó)科研管理改革的 不 斷深入，相關(guān)理論和實(shí)踐的持續(xù)積累，關(guān)于這一方面的研究會(huì)更加科學(xué)、系統(tǒng)和全面。

[2] 陸明.城市軌道交通系統(tǒng)綜合效益研究[D].北京：北京交通大學(xué),2012.

[3] 戚湧,李千目.科學(xué)研究績(jī)效評(píng)價(jià)的理論與方法[M].北京：科學(xué)出版社,2009.

[4] 王黎明,曹怡春.交通科技管理工作探析[J].科技創(chuàng)新與應(yīng)用,2013(17):297.

[5] 洪曉楓.交通科技成果評(píng)價(jià)理論與方法研究[D].武漢：武漢理工大學(xué),2003.

[7] 謝素華.基于綜合指數(shù)的交通科技項(xiàng)目績(jī)效評(píng)價(jià)方法研究[D].西安：長(zhǎng)安大學(xué),2009.

(編輯：王艷菊)

Evaluation Methods for Research Projects on Urban Rail Transit

Wang Mengmeng1Shi Mutian2

(1. University of Chinese Academy of Sciences, Beijing 100049; 2. Beijing Jiaotong University Haibin College, Cangzhou, Hebei 061199)

In order to improve the construction standard of urban rail transit, a large number of science and technology key projects and fund investment are needed. How to evaluate rail transit R&D projectsis becoming more and more important.This paper puts forward suggestion about performance management in result orientation. It adopts the “3E” theory and AHP method to build quantitative evaluation systemand provides theoretical basis for the future reform of rail transit R&D project management system.

urban rail transit; project evaluation; performance management

王萌萌，女，會(huì)計(jì)師，碩士研究生，研究方向?yàn)榭萍颊吲c管理，wmeng@mail.ioa.ac.cn

F530.7

A