科學(xué)基金項(xiàng)目成果后評(píng)價(jià)體系構(gòu)建及應(yīng)用

張仲位 朱洋 張彥明 張其斌 祁楌捷

摘要：文章提出一種采用層次分析法對(duì)已受理項(xiàng)目進(jìn)行評(píng)審的評(píng)審體系，通過(guò)研究分析不同學(xué)科科學(xué)基金項(xiàng)目后績(jī)效評(píng)估所涉及的評(píng)價(jià)指標(biāo)，選擇能夠反映科學(xué)基金項(xiàng)目特點(diǎn)的共性指標(biāo)并對(duì)其中的定量指標(biāo)分別設(shè)定權(quán)重，從數(shù)量、質(zhì)量、效率三方面得出項(xiàng)目綜合評(píng)分，然后結(jié)合關(guān)鍵定性指標(biāo)，建立了一套定量與定性相結(jié)合的科學(xué)、系統(tǒng)、實(shí)用的基金項(xiàng)目后評(píng)價(jià)指標(biāo)體系以及評(píng)價(jià)意見(jiàn)的反饋機(jī)制，最后通過(guò)實(shí)際數(shù)據(jù)驗(yàn)證了該評(píng)價(jià)體系的合理性與有效性。

關(guān)鍵詞：科學(xué)基金項(xiàng)目;評(píng)價(jià)體系;決策分析;科研管理;層次分析法

中圖分類(lèi)號(hào)：N32? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ?文章編號(hào)：2096-4706（2021）07-0101-06

Construction and Application of Post-Evaluation System of

Science Foundation Project Achievements

ZHANG Zhongwei1，ZHU Yang1，ZHANG Yanming2，ZHANG Qibin3，4，QI Yanjie5

（1.School of Mathematics and Physics，Lanzhou Jiaotong University，Lanzhou? 730070，China;2.Weiyuan County Water Authority，Dingxi? 748200，China;3.Gansu Computing Center，Lanzhou? 730070，China;4.Gansu Key Laboratory of Cloud Computing，Lanzhou? 730070，China;5.Gansu Rongzeyuan Data Technology Co. Ltd.，Lanzhou? 730070，China）

Abstract：This paper proposes an evaluation system of accepted projects by using analytic hierarchy process. By studying and analyzing the evaluation indexes involved in the post-performance evaluation of science foundation project in different disciplines，the common indexes that can reflect the characteristics of science foundation projects are selected，and the weights of the quantitative indexes are set respectively. The comprehensive scores of projects are obtained from the three aspects of quantity，quality and efficiency. Then combined with key qualitative indicators，a set of quantitative and qualitative combined science，system，practical foundation project evaluation index system，and feedback mechanism for evaluation opinion. Finally，the rationality and effectiveness of the evaluation system are verified by the actual data.

Keywords：science foundation project;evaluation system;decision analysis;scientific research management;analytic hierarchy process

收稿日期：2021-03-09

基金項(xiàng)目：甘肅省自然科學(xué)基金項(xiàng)目（17JR5 RA014）;甘肅省科技計(jì)劃資助項(xiàng)目（20YF3GA0 13）;甘肅省科技型中小企業(yè)技術(shù)創(chuàng)新基金項(xiàng)目（20 CX9JA128）

0? 引? 言

自然科學(xué)基金是各省市設(shè)立的用來(lái)鼓勵(lì)和支持地方自然科學(xué)創(chuàng)新與發(fā)展的重要舉措，目的在于培養(yǎng)科學(xué)技術(shù)人才，發(fā)現(xiàn)并發(fā)展前沿科學(xué)研究，增強(qiáng)各地基礎(chǔ)性研究的自主創(chuàng)新能力[1]。省市各個(gè)地方對(duì)自然科學(xué)基金研究的課題立題、中期檢查、結(jié)題驗(yàn)收都有相應(yīng)管理辦法，但對(duì)結(jié)題驗(yàn)收后項(xiàng)目?jī)?yōu)劣程度的定量評(píng)價(jià)缺乏系統(tǒng)性，或是采用的定量評(píng)價(jià)體系過(guò)于簡(jiǎn)單籠統(tǒng)，而且細(xì)化程度不夠[2-6]。

近年來(lái)，隨著甘肅省科學(xué)基金項(xiàng)目的發(fā)展，其管理措施也逐步完善。由于基金項(xiàng)目的后期管理工作是管理措施中較為薄弱的環(huán)節(jié)，它不僅對(duì)項(xiàng)目完成情況的評(píng)估有影響，也不利于新事物的發(fā)現(xiàn)，且浪費(fèi)了數(shù)據(jù)資源。因此，為適應(yīng)日益發(fā)展的基金事業(yè)，我們聯(lián)合甘肅省科技廳，從已有的項(xiàng)目數(shù)據(jù)中分析得出新的規(guī)律與價(jià)值，建立甘肅省已結(jié)題項(xiàng)目的后評(píng)價(jià)體系，從而提升項(xiàng)目基金的資助質(zhì)量與后期管理，提高使用效益?；痦?xiàng)目后評(píng)估是通過(guò)全面收集已結(jié)題項(xiàng)目的成果檢索率、引用率、專(zhuān)著出版、專(zhuān)利申請(qǐng)、人才培養(yǎng)、獲獎(jiǎng)情況、成果轉(zhuǎn)化等一系列指標(biāo)信息，利用層次分析法給予不同的指標(biāo)權(quán)重，對(duì)項(xiàng)目的價(jià)值以及創(chuàng)新水平做出客觀評(píng)價(jià)，為甘肅省科技廳基金管理機(jī)構(gòu)的項(xiàng)目后期管理提供依據(jù)。此外，通過(guò)該評(píng)估體系發(fā)掘前景較好、有發(fā)展?jié)摿Φ难芯款I(lǐng)域，為基金管理機(jī)構(gòu)的資金分配提供決策依據(jù)，增強(qiáng)省科技廳管理人員在項(xiàng)目基金分配中的判斷力。

1? 基金項(xiàng)目評(píng)價(jià)模型建立

1.1? 層次分析法簡(jiǎn)介

層次分析法于1970年初由美國(guó)運(yùn)籌學(xué)家薩蒂教授提出，是一種定性定量相結(jié)合的建模分析方法，用來(lái)解決無(wú)結(jié)構(gòu)決策問(wèn)題。層次分析法（Analytic Hierarchy Process，AHP）[8]是對(duì)人們的主觀評(píng)價(jià)進(jìn)行形式化表達(dá)以及客觀描述過(guò)程，得到權(quán)重之后，為了克服成對(duì)比較的缺點(diǎn)必須進(jìn)行一致性檢驗(yàn)。層次分析法的關(guān)鍵是對(duì)決策者主觀經(jīng)驗(yàn)判斷進(jìn)行量化表達(dá)，使得決策者在決策時(shí)候有據(jù)可依，避免過(guò)于依賴(lài)個(gè)人的主觀判斷，在目標(biāo)結(jié)構(gòu)復(fù)雜、所需數(shù)據(jù)較多的情況下更加實(shí)用[9]。由于在復(fù)雜問(wèn)題決策中AHP有較強(qiáng)的實(shí)際應(yīng)用性，故其應(yīng)用范圍廣泛，涉及經(jīng)濟(jì)規(guī)劃與管理、能源政策與分配、軍事指揮、交通運(yùn)輸、農(nóng)業(yè)、教育教學(xué)、人才培養(yǎng)、醫(yī)療建設(shè)等領(lǐng)域。

AHP的基本思想類(lèi)似于思考和識(shí)別復(fù)雜決策問(wèn)題的過(guò)程。將研究對(duì)象劃分為不同的組成部分，按照各組成部分的隸屬關(guān)系由高到低排序，構(gòu)建層次結(jié)構(gòu)。通過(guò)比較同一層的要素利用數(shù)學(xué)方法確定各層要素的權(quán)重。

1.2? 層次分析法的具體步驟

應(yīng)用AHP計(jì)算指標(biāo)權(quán)重系數(shù)就必須將指標(biāo)體系分層創(chuàng)建，因?yàn)樗怯?jì)算指標(biāo)權(quán)重系數(shù)的基礎(chǔ)，通過(guò)指標(biāo)之間的成對(duì)比較來(lái)判斷系統(tǒng)中各指標(biāo)的好壞，并根據(jù)評(píng)價(jià)結(jié)果綜合計(jì)算各指標(biāo)的權(quán)重系數(shù)。下文對(duì)具體步驟進(jìn)行介紹。

1.2.1? 建立遞階層次結(jié)構(gòu)

將煩瑣問(wèn)題中的各種因素分解為相互關(guān)聯(lián)、有序的層次，使之組織有序，層次分明，構(gòu)建清晰的層次分析結(jié)構(gòu)模型。評(píng)價(jià)體系形式如圖1所示。

1.2.2? 構(gòu)造判斷矩陣

矩陣用于表示相同等級(jí)中各指標(biāo)相對(duì)重要程度判斷，由多位專(zhuān)家進(jìn)行判斷。心理學(xué)家研表明“一個(gè)人區(qū)分信息水平能力的極限為7±2”，為了解決直接評(píng)價(jià)指標(biāo)的模糊性及不確定性，AHP法運(yùn)用了九分位的相對(duì)重要比例標(biāo)度來(lái)衡量相對(duì)指標(biāo)，構(gòu)成一個(gè)判斷矩陣B。矩陣中的每個(gè)元素bij表示水平索引相對(duì)于每列索引的重要性的成對(duì)比率[10-13]。如表1所示。

依據(jù)判斷矩陣B中兩個(gè)指標(biāo)的比較特征，顯然有bij>0，bii=1，bij=，i=1，2，3，…，n。因此，判斷矩陣B是否為一個(gè)正交矩陣時(shí)，只需作次比較即可。這里需要強(qiáng)調(diào)的是，如果認(rèn)為后一個(gè)指標(biāo)比前一個(gè)指標(biāo)重要，則用對(duì)應(yīng)值的倒數(shù)來(lái)表示其重要性。

1.2.3? 對(duì)各指標(biāo)權(quán)重系數(shù)進(jìn)行計(jì)算

單級(jí)層次排序，是指本級(jí)各因素對(duì)上一級(jí)某一因素的重要性排序。判斷矩陣是AHP法的信息來(lái)源基礎(chǔ)，用排序方法得到矩陣排序后，計(jì)算出各級(jí)指標(biāo)權(quán)重系數(shù)，如表2到8所示，一致性指標(biāo)CR均小于0.1，滿(mǎn)足判斷矩陣的一致性檢驗(yàn)。

1.2.4? 判斷矩陣的一致性檢驗(yàn)

對(duì)其他計(jì)算指標(biāo)權(quán)重的方法進(jìn)行比對(duì)后發(fā)現(xiàn)，層次分析法優(yōu)勢(shì)在于一致性檢驗(yàn)后可以與專(zhuān)家思維保持基本相同。這種與專(zhuān)家思維保持一致我們稱(chēng)為判斷一致性，指多個(gè)指標(biāo)相互比較時(shí)也可以相互協(xié)調(diào)互不干擾。例如，使用三個(gè)指標(biāo)（令它們分別為a、b、c）進(jìn)行兩兩比較。當(dāng)a比b略微重要，b比c稍微重要時(shí)，存在c比a稍微重要的評(píng)價(jià)，相互矛盾，此時(shí)稱(chēng)專(zhuān)家思想非不一致性。這種不一致的矛盾在多層次判斷中極易出現(xiàn)，僅僅是不一致的程度不同[14]。

將多位專(zhuān)家得到的最終判斷矩陣采用幾何平均法進(jìn)行綜合平均，得到最終的指標(biāo)評(píng)價(jià)判斷矩陣。判斷矩陣一致性的步驟為：

（1）一致性指標(biāo)CI表達(dá)式為：

（1）

其中λmax為判斷矩陣的最大特征值，可采用下文所述的方法計(jì)算。定義：

（2）

（2）式可以作為判斷矩陣的最大特征值對(duì)應(yīng)的特征向量：

（3）

（3）式可以近似看作判斷矩陣的最大特征值。

（2）一致性指標(biāo)RI。如表9所示。

（3）計(jì)算一致性比率CR，表達(dá)式為：

CR=

當(dāng)CR≤0.1時(shí)，判斷矩陣一致;當(dāng)CR>0.1時(shí)，則認(rèn)為判斷矩陣并沒(méi)有達(dá)到要求，需要重新分析賦值并進(jìn)行修正，直至檢驗(yàn)通過(guò)。由步驟三中的數(shù)據(jù)計(jì)算可知，一致性比率CR都小于0.1，接受判斷矩陣的一致性。

1.2.5? 組合權(quán)重計(jì)算

指標(biāo)權(quán)重是一級(jí)接著一級(jí)去計(jì)算的，設(shè)有一個(gè)由目標(biāo)層A、準(zhǔn)則層C、方案層P組成的分層模型（增加更多的分層模型，計(jì)算方法相同），目標(biāo)層A對(duì)準(zhǔn)則層C的相對(duì)權(quán)重W為：

W=（w1，w2，…，wk）T

式中W為各個(gè)指標(biāo)的權(quán)重系數(shù)值。

準(zhǔn)則層C的各準(zhǔn)則ci（i=1，2，3，…，k）（k為準(zhǔn)則數(shù)）對(duì)方案層P中的所有n個(gè)方案的相對(duì)權(quán)重為：

Wi=（w1i，w2i，…，wni）

通過(guò)W與Wi（Wi=1，2，3，…，k）計(jì)算各方案目標(biāo)的相對(duì)權(quán)重。對(duì)于該基金項(xiàng)目評(píng)價(jià)體系的組合權(quán)重計(jì)算如表10所示。

1.2.6? 權(quán)重指標(biāo)分析

由表10可以得到各層指標(biāo)的單層權(quán)重和總權(quán)重，對(duì)于該評(píng)價(jià)體系經(jīng)過(guò)上述分析，認(rèn)為一個(gè)基金項(xiàng)目的評(píng)審主要在于基礎(chǔ)類(lèi)評(píng)估，占比70%，其次是二層指標(biāo)中的效用性評(píng)估，將上表中的15個(gè)第三層指標(biāo)用1～15來(lái)表示，由圖2可以看出第三層指標(biāo)對(duì)于目標(biāo)層的相對(duì)權(quán)重大小，權(quán)重相對(duì)較大的是研究成果及專(zhuān)利，占比13.13%，說(shuō)明關(guān)鍵指標(biāo)占權(quán)重的比例較大，關(guān)鍵指標(biāo)在評(píng)價(jià)體系中可以發(fā)揮作用。權(quán)重較大的指標(biāo)基本上覆蓋了對(duì)基金項(xiàng)目進(jìn)行有效性評(píng)價(jià)的一些很重要的方面，然后由權(quán)重較小的指標(biāo)對(duì)基金項(xiàng)目有效性評(píng)價(jià)做一些有益的補(bǔ)充。

2? 實(shí)際應(yīng)用

為了檢驗(yàn)該評(píng)價(jià)體系的合理性，我們從甘肅省科學(xué)技術(shù)廳獲得了30個(gè)已經(jīng)完結(jié)的基金項(xiàng)目。根據(jù)該評(píng)價(jià)體系對(duì)這30個(gè)完結(jié)項(xiàng)目的優(yōu)良程度進(jìn)行評(píng)比，結(jié)果如表11所示。

如圖3所示，排在前三位的分別是加速器電源技術(shù)的研究、法醫(yī)物證技術(shù)與研究、甘肅大宗藥材當(dāng)歸、甘草膜分離提取技術(shù)及應(yīng)用研究，相對(duì)權(quán)重分別為0.049 2、0.046 5、0.044 5，與實(shí)際評(píng)比相符。

3? 結(jié)果與討論

通過(guò)對(duì)這30個(gè)完結(jié)項(xiàng)目的權(quán)重排名可知，依據(jù)該評(píng)價(jià)體系得到的項(xiàng)目權(quán)重排名和專(zhuān)家評(píng)比結(jié)果基本一致，因此在科學(xué)基金項(xiàng)目評(píng)審上可以借鑒該評(píng)價(jià)體系，根據(jù)每一級(jí)的指標(biāo)權(quán)重來(lái)確立評(píng)價(jià)主線，為科研項(xiàng)目的評(píng)審工作減壓，科研人員也可以根據(jù)該評(píng)價(jià)體系對(duì)科研經(jīng)費(fèi)的投入進(jìn)行合理分配，減少科研項(xiàng)目投資風(fēng)險(xiǎn)，提升研究經(jīng)費(fèi)的使用效率。

利用層次分析法確定項(xiàng)目評(píng)價(jià)指標(biāo)權(quán)重的優(yōu)點(diǎn)是可以有效避免權(quán)重確定的隨意性和模糊性等缺點(diǎn)，有助于提高評(píng)價(jià)的客觀性。本文所討論的方法是基于從粗到細(xì)、從散到集中的選擇方案的思想，符合人們的慣性思維，采用特征值法計(jì)算權(quán)重，后續(xù)可以考慮多種方法加權(quán)計(jì)算最終權(quán)重，保證模型的穩(wěn)健性。此外，建立判斷矩陣是確定評(píng)價(jià)標(biāo)準(zhǔn)權(quán)重系數(shù)的關(guān)鍵，判斷矩陣中必須采用科學(xué)合理的數(shù)據(jù)，不能依靠個(gè)人主觀判斷，在實(shí)際應(yīng)用中，它是綜合考慮統(tǒng)計(jì)數(shù)據(jù)、專(zhuān)家建議和決策者知識(shí)水平得出的。

4? 結(jié)? 論

本文針對(duì)基礎(chǔ)研究和應(yīng)用研究側(cè)重點(diǎn)不同導(dǎo)致的評(píng)價(jià)指標(biāo)多樣化，量化難度大等問(wèn)題，采用大數(shù)據(jù)采集與分析技術(shù)對(duì)我省已結(jié)題科學(xué)基金項(xiàng)目在結(jié)題后一定時(shí)期內(nèi)所產(chǎn)生的績(jī)效信息進(jìn)行收集和分析，在自然科學(xué)基金項(xiàng)目評(píng)價(jià)指標(biāo)體系中選擇了一些能夠反映基礎(chǔ)研究與應(yīng)用研究基金項(xiàng)目特點(diǎn)的共性指標(biāo)，并結(jié)合層次分析法構(gòu)建了定量與定性相結(jié)合的通用基金項(xiàng)目后評(píng)價(jià)指標(biāo)體系，最終形成評(píng)價(jià)報(bào)告。通過(guò)真實(shí)數(shù)據(jù)的檢驗(yàn)，該評(píng)價(jià)體系的評(píng)比結(jié)果與專(zhuān)家意見(jiàn)基本一致且效果顯著，效率提高，在實(shí)際應(yīng)用中，可根據(jù)具體情況與用途對(duì)該評(píng)價(jià)體系的指標(biāo)進(jìn)行適當(dāng)調(diào)整，以滿(mǎn)足實(shí)際需要。

參考文獻(xiàn)：

[1] 李雄詒，李新杰.我國(guó)省級(jí)自然科學(xué)基金管理體制研究 [J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2011，32（3）：16-20.

[2] 劉長(zhǎng)穎.層次分析法與高?？蒲许?xiàng)目評(píng)估指標(biāo)權(quán)重的確定 [J].遼寧師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，34（1）：30-33.

[3] 林建衡.層次分析法在高校科研項(xiàng)目評(píng)估中的應(yīng)用 [J].技術(shù)與創(chuàng)新管理，2004（2）：39-41.

[4] 王其冬，武佩珍，程建剛，等.層次分析法在國(guó)家自然科學(xué)基金項(xiàng)目評(píng)審中的應(yīng)用 [J].系統(tǒng)工程理論與實(shí)踐，2001（7）：119-123.

[5] 臧玉強(qiáng).層次分析法在科技成果綜合評(píng)價(jià)中的應(yīng)用 [J].濟(jì)寧師專(zhuān)學(xué)報(bào)，1999（6）：13-14.

[6] 王英凱.基于德?tīng)柗品ê蛯哟畏治龇ㄔ淼目蒲许?xiàng)目評(píng)價(jià)模型 [J].山西財(cái)經(jīng)大學(xué)學(xué)報(bào)，2001（S2）：148-149.

[7] 魏江，勾麗，周泯非.基礎(chǔ)研究績(jī)效的評(píng)價(jià)指標(biāo)分析 [J].南京理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2008，21（2）：64-69.

[8] SAATY T L，KEARNS K P. Analytical Planning [M].Elsevier，1985.

[9] DETURCK D M. The approach to consistency in the analytic hierarchy process [J].Mathematical Modelling，1987，9（3-5）：345-352.

[10] 曹亞平.層次分析法在建筑施工現(xiàn)場(chǎng)安全管理中的應(yīng)用 [J].山西建筑，2021，47（1）：190-192.

[11] 徐恒，時(shí)晨希，徐艷芳，等.基于層次分析法開(kāi)展醫(yī)院大型醫(yī)療設(shè)備用能評(píng)價(jià)及對(duì)策探討 [J].醫(yī)療衛(wèi)生裝備 2021，42（2）：78-81.

[12] 吳翼虎.基于層次分析法對(duì)山區(qū)高速公路路線設(shè)計(jì)方案評(píng)價(jià)模型的構(gòu)建與研究 [J].公路，2021，66（4）：56-61.

[13] 李秀峰，祝軍.共青團(tuán)“青年之家”實(shí)體平臺(tái)的評(píng)估指標(biāo)體系研究——基于德?tīng)柗品ê蛯哟畏治龇ǖ膽?yīng)用 [J].中國(guó)青年社會(huì)科學(xué)，2021，40（2）：28-39.

[14] 劉新憲，朱道立.選擇與判斷——AHP（層次分析法）決策 [M].上海：上?？茖W(xué)普及出版社，1990.

作者簡(jiǎn)介：張仲位（1996—），男，漢族，甘肅慶陽(yáng)人，碩士在讀，研究方向：時(shí)空數(shù)據(jù)挖掘與人工智能算法;通訊作者：張其斌（1978—），男，回族，甘肅蘭州人，甘肅省計(jì)算中心研究員，本科，研究方向：計(jì)算機(jī)應(yīng)用。