科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)應(yīng)用解析

郝 夢(mèng) 屈寶強(qiáng) 劉 蔚 陳白雪

（中國(guó)科學(xué)技術(shù)信息研究所，北京 100038）

0 引言

科學(xué)基金是科學(xué)研究快速和持續(xù)發(fā)展的強(qiáng)勁動(dòng)力，是科技創(chuàng)新的重要支撐力量。一直以來(lái)，面向科學(xué)基金的科研管理工作受到各領(lǐng)域?qū)W者的廣泛關(guān)注，優(yōu)化科研項(xiàng)目管理工作也成為學(xué)界研討的重要議題之一。

績(jī)效評(píng)價(jià)是科研管理的重要手段[1]，聚焦科學(xué)基金資助效果、貢獻(xiàn)度的評(píng)價(jià)活動(dòng)一方面為項(xiàng)目后期管理提供管理工具，另一方面也在一定程度上加強(qiáng)對(duì)項(xiàng)目管理的引導(dǎo)[2]，這將有效提升科學(xué)基金資助質(zhì)量和科研管理的效率效果。

績(jī)效評(píng)價(jià)方法多樣，尤以科學(xué)計(jì)量方法在實(shí)證研究中的應(yīng)用最為廣泛?？茖W(xué)計(jì)量學(xué)（Scientometrics）是借助定量數(shù)據(jù)描述科學(xué)以及研究活動(dòng)的特征，對(duì)科學(xué)進(jìn)行定量研究、分析與評(píng)估的學(xué)科[3]。它將數(shù)學(xué)方法引入科研管理實(shí)踐，為之提供了量化的管理手段、評(píng)估標(biāo)準(zhǔn)和決策依據(jù)[4]?？茖W(xué)計(jì)量學(xué)指標(biāo)是標(biāo)示科學(xué)研究深度、廣度和影響度等的信息[5]，它能夠清晰而有效地揭示科學(xué)研究的成果，在績(jī)效評(píng)價(jià)活動(dòng)中不可或缺。因此，有必要對(duì)科學(xué)基金資助績(jī)效評(píng)價(jià)中科學(xué)計(jì)量指標(biāo)的應(yīng)用情況進(jìn)行全面回顧，進(jìn)一步把握評(píng)價(jià)方向，有助于提高科研管理質(zhì)量。

1 文獻(xiàn)回顧

當(dāng)前面向科學(xué)基金資助績(jī)效評(píng)價(jià)的理論研究主要包含三類：一是項(xiàng)目管理中的績(jī)效評(píng)價(jià)系統(tǒng)構(gòu)建和過(guò)程研究，探討評(píng)價(jià)原則的制定、評(píng)價(jià)方式的選擇，并針對(duì)不同地區(qū)、科學(xué)基金、評(píng)價(jià)對(duì)象等提出相應(yīng)的政策建議。二是從評(píng)價(jià)目標(biāo)、評(píng)價(jià)流程、評(píng)價(jià)方法角度對(duì)各國(guó)科學(xué)基金績(jī)效評(píng)價(jià)實(shí)踐進(jìn)行梳理，發(fā)現(xiàn)其優(yōu)勢(shì)和不足并獲得啟示。三是構(gòu)建多個(gè)績(jī)效評(píng)價(jià)指標(biāo)體系，詳細(xì)闡述評(píng)價(jià)框架和指標(biāo)內(nèi)容設(shè)計(jì)、指標(biāo)權(quán)重分配等。

在實(shí)證研究方面，以評(píng)價(jià)視角關(guān)注科學(xué)基金在某一學(xué)科領(lǐng)域、國(guó)家（地區(qū)）等的資助成果，通過(guò)績(jī)效評(píng)價(jià)量化科學(xué)基金對(duì)各方科研活動(dòng)的影響。評(píng)價(jià)對(duì)象則為資助行為主體，主要包括各類科學(xué)基金、受資助人員、受資助機(jī)構(gòu)等，從資助者和被資助者角度探究科學(xué)基金資助活動(dòng)的成效。評(píng)價(jià)內(nèi)容以產(chǎn)出為主，期刊論文、專利、各類出版物的發(fā)布情況是績(jī)效評(píng)價(jià)的重要衡量指標(biāo)。此外，近年來(lái)，聚焦人才培養(yǎng)[6]的評(píng)價(jià)研究不斷涌現(xiàn)。在評(píng)價(jià)方法上，數(shù)理統(tǒng)計(jì)和評(píng)價(jià)分析方法散見(jiàn)于文，其中從知識(shí)產(chǎn)出、研究體系、政策制定信息支持、產(chǎn)品開(kāi)發(fā)信息支持、健康收益以及更廣泛的經(jīng)濟(jì)效益等5 個(gè)層面評(píng)價(jià)資助效果的回報(bào)模型（The Payback Framework）應(yīng)用較為成熟[7]。值得一提的是，科學(xué)基金投入產(chǎn)出關(guān)系也逐漸成為科學(xué)基金資助績(jī)效評(píng)價(jià)研究中的重要議題，如Rüdiger Mutz等[8]運(yùn)用貝葉斯隨機(jī)前沿分析方法進(jìn)行基金投入產(chǎn)出分析，發(fā)現(xiàn)盡管存在隨機(jī)波動(dòng)，基金績(jī)效產(chǎn)出尤其依賴于資助金額的多少；李新杰[9]采用DEA方法對(duì)16 個(gè)省級(jí)自然科學(xué)基金進(jìn)行相對(duì)效率評(píng)價(jià)，探究資助低效的原因。

目前，已有研究對(duì)科學(xué)基金資助效果進(jìn)行了全面揭示并提供多個(gè)可參考的維度和指標(biāo)，理論研究中的評(píng)價(jià)指標(biāo)構(gòu)建表現(xiàn)出宏觀把握、定性定量相結(jié)合等特點(diǎn)，而多維度、多視角下的實(shí)證研究展現(xiàn)了評(píng)價(jià)指標(biāo)構(gòu)建和評(píng)價(jià)維度選取的多種可能。本研究旨在通過(guò)全面回顧國(guó)內(nèi)外相關(guān)研究成果，梳理面向科學(xué)基金資助績(jī)效評(píng)價(jià)的科學(xué)計(jì)量指標(biāo)，揭示其內(nèi)部屬性特征和外部統(tǒng)計(jì)維度特征，以期為今后科學(xué)基金資助績(jī)效的評(píng)價(jià)研究提供較為完整且可參考的評(píng)價(jià)指標(biāo)體系。

2 研究設(shè)計(jì)

2.1 研究方法

內(nèi)容分析法是一種通過(guò)對(duì)文獻(xiàn)資料內(nèi)容進(jìn)行分析、認(rèn)識(shí)現(xiàn)象之間聯(lián)系的量化分析研究方法。內(nèi)容分析以理解資料核心詞語(yǔ)內(nèi)涵為基礎(chǔ)，兼顧辨別語(yǔ)義強(qiáng)度、認(rèn)識(shí)語(yǔ)境意義，進(jìn)而探究各部分資料之間的關(guān)系[10]。文獻(xiàn)計(jì)量分析方法為探究科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)提供了一種有效的量化途徑，有助于深入揭示指標(biāo)特征、結(jié)構(gòu)和發(fā)展規(guī)律。本研究通過(guò)內(nèi)容分析法對(duì)科學(xué)計(jì)量評(píng)價(jià)指標(biāo)進(jìn)行提取，運(yùn)用文獻(xiàn)計(jì)量分析方法從不同維度對(duì)指標(biāo)內(nèi)部屬性、分布結(jié)構(gòu)、數(shù)量關(guān)系等進(jìn)行比較分析，以期能夠較為全面的展示評(píng)價(jià)指標(biāo)應(yīng)用現(xiàn)狀和特點(diǎn)。

2.2 文獻(xiàn)選取

本研究以科學(xué)基金資助績(jī)效評(píng)價(jià)為研究對(duì)象，其內(nèi)涵包括但不限于科學(xué)基金資助的實(shí)施效果、績(jī)效、影響和效率。文獻(xiàn)選取以數(shù)據(jù)庫(kù)文獻(xiàn)檢索為基礎(chǔ)，同時(shí)運(yùn)用“滾雪球”文獻(xiàn)查找方法進(jìn)一步提升數(shù)據(jù)全面性。

選取萬(wàn)方數(shù)據(jù)、中國(guó)知網(wǎng)、Web of Science數(shù)據(jù)庫(kù)進(jìn)行國(guó)內(nèi)外文獻(xiàn)檢索。檢索式分別為題名:（基金）*主題:（資助效果+資助績(jī)效+績(jī)效評(píng)價(jià)+績(jī)效評(píng)估）*主題:（計(jì)量）、TI=‘基金’ AND SU=（‘資助效果’ OR ‘資助績(jī)效’ OR ‘績(jī)效評(píng)價(jià)’ OR ‘績(jī)效評(píng)估’） AND SU=‘計(jì)量’、（TS = (“funded research” OR “research funding” OR “Scientific funding”） OR TI = （“funding” OR “funded”）) AND TI = （“impact” OR “effect” OR “performance”） AND TS = Bibliometric Analysis，時(shí)間截至2020年8月29日。經(jīng)去重，共檢索得到170 篇文獻(xiàn)。逐篇進(jìn)行題名、摘要、關(guān)鍵詞概覽，剔除與研究主題不緊密相關(guān)、非實(shí)證研究文獻(xiàn)，遴選出符合要求的65 篇文獻(xiàn)?；诔醪藉噙x的文獻(xiàn)集合和文獻(xiàn)篩選原則①本研究遵循的文獻(xiàn)篩選原則是：選取運(yùn)用科學(xué)計(jì)量方法以科學(xué)基金資助績(jī)效評(píng)價(jià)為出發(fā)點(diǎn)、研究目的、落腳點(diǎn)的實(shí)證研究文獻(xiàn)。進(jìn)行參考文獻(xiàn)“滾雪球”。經(jīng)過(guò)4 輪“滾雪球”新增49 篇文獻(xiàn)，最終得到由114 篇主題高度相關(guān)的國(guó)內(nèi)外文獻(xiàn)組成的文獻(xiàn)集合作為本研究進(jìn)行內(nèi)容分析的對(duì)象。文獻(xiàn)遴選過(guò)程如圖1 所示。

2.3 編碼表構(gòu)建

構(gòu)建編碼表是內(nèi)容分析研究的基礎(chǔ)和依據(jù)[11]。本研究根據(jù)指標(biāo)編碼判定指標(biāo)的有無(wú)，描述指標(biāo)名稱、定義（公式）、特征及應(yīng)用維度等。為描述指標(biāo)內(nèi)部屬性特征，探究指標(biāo)構(gòu)建方式，揭示其發(fā)展性，依據(jù)指標(biāo)提出方式將指標(biāo)分為前人提出或應(yīng)用較為成熟的“因襲指標(biāo)”、在因襲基礎(chǔ)上根據(jù)研究實(shí)際提出或進(jìn)行合理修改的“發(fā)展指標(biāo)”、全新未借鑒前人研究成果的“創(chuàng)新指標(biāo)”，若指標(biāo)在文獻(xiàn)中定義模糊、未提供公式或無(wú)法歸為前三類，則識(shí)別為“無(wú)法判定”，由此建立“指標(biāo)構(gòu)建方式編碼表”。探究指標(biāo)結(jié)構(gòu)構(gòu)成，揭示其評(píng)價(jià)覆蓋度，參考溫克勒[12]從計(jì)量實(shí)體角度提出的科學(xué)計(jì)量指標(biāo)分類體系，將指標(biāo)分為面向單計(jì)量實(shí)體單維度的“總量指標(biāo)”（如文獻(xiàn)計(jì)量規(guī)模）、涉及多計(jì)量實(shí)體或單計(jì)量實(shí)體多等級(jí)水平的“復(fù)雜指標(biāo)”（如影響因子）、特定總量或復(fù)雜指標(biāo)復(fù)合并加權(quán)的“復(fù)合指標(biāo)”（如GPI總績(jī)效指數(shù)），由此構(gòu)建“指標(biāo)結(jié)構(gòu)類型編碼表”。

圖1 文獻(xiàn)遴選過(guò)程圖

為進(jìn)一步揭示指標(biāo)的外部統(tǒng)計(jì)維度特征，從評(píng)價(jià)內(nèi)容上探究指標(biāo)評(píng)價(jià)維度，參考溫克勒[13]從功能角度提出的科學(xué)計(jì)量指標(biāo)分類體系，在編碼實(shí)踐中調(diào)整形成包含“基金屬性指標(biāo)”“出版物產(chǎn)出指標(biāo)”“出版物影響力指標(biāo)”“專利產(chǎn)出指標(biāo)” “潛能指標(biāo)”“其他”等6 類指標(biāo)的 “評(píng)價(jià)維度編碼表”。 在實(shí)證研究中，評(píng)價(jià)指標(biāo)表現(xiàn)出的統(tǒng)計(jì)維度特征也全方位、多元化地計(jì)量分析資助效果，因此基于評(píng)價(jià)視角探究指標(biāo)的計(jì)量分析維度，建立由“國(guó)家（地區(qū)）”“學(xué)科/領(lǐng)域”“年份”等18 個(gè)維度構(gòu)成的 “統(tǒng)計(jì)維度編碼表”。在編碼過(guò)程中，若同一指標(biāo)分屬多個(gè)統(tǒng)計(jì)維度，則多個(gè)位置均需進(jìn)行標(biāo)識(shí)。

2.4 編碼過(guò)程

對(duì)指標(biāo)進(jìn)行識(shí)別是編碼的關(guān)鍵。兩名能夠深刻理解內(nèi)容分析法和本研究主題的編碼員首先以背對(duì)背編碼方式進(jìn)行試驗(yàn)性預(yù)編碼：對(duì)隨機(jī)抽取的10 篇文獻(xiàn)分別進(jìn)行研讀和指標(biāo)識(shí)別，討論編碼結(jié)果并細(xì)化編碼原則。鑒于指標(biāo)識(shí)別工作因文獻(xiàn)內(nèi)部差異和編碼員知識(shí)背景差異等而具有較高的復(fù)雜度，本研究遵循以下原則進(jìn)行指標(biāo)識(shí)別：（1）文中明確以“指標(biāo)”“指標(biāo)體系”等進(jìn)行標(biāo)識(shí)的，以及文中相關(guān)統(tǒng)計(jì)圖表內(nèi)涉及的統(tǒng)計(jì)項(xiàng)將優(yōu)先作為指標(biāo)進(jìn)行識(shí)別；（2）文中沒(méi)有明確以“指標(biāo)”等及其相似詞匯進(jìn)行標(biāo)識(shí)的，參考文獻(xiàn)集合中其他文獻(xiàn)對(duì)該內(nèi)容的標(biāo)識(shí)情況，并依據(jù)上下文內(nèi)容、基于作者使用意圖判斷其是否可以作為指標(biāo)進(jìn)行識(shí)別；（3）文中在研究背景、文獻(xiàn)綜述等部分出現(xiàn)的，以及沒(méi)有應(yīng)用于實(shí)證研究的指標(biāo)將不作為指標(biāo)進(jìn)行識(shí)別；（4）在一篇文獻(xiàn)中多次出現(xiàn)的指標(biāo)，以及一個(gè)評(píng)價(jià)指標(biāo)的總數(shù)、平均數(shù)、中位數(shù)以及歸一化處理等變體不進(jìn)行重復(fù)標(biāo)記，只標(biāo)記一次；（5）通過(guò)調(diào)查獲得的數(shù)據(jù)，不對(duì)調(diào)研對(duì)象態(tài)度性、描述性指標(biāo)進(jìn)行標(biāo)記。

兩名編碼員根據(jù)上述編碼原則進(jìn)行正式編碼，分別完成編碼后，雙方交換結(jié)果進(jìn)行審核，匯總和討論編碼不一致內(nèi)容。對(duì)討論意見(jiàn)相左的內(nèi)容，引入第三位編碼員加入討論，保留多數(shù)意見(jiàn)的編碼結(jié)果。根據(jù)上述步驟完成全部編碼，得到最終編碼結(jié)果。由于指標(biāo)全部直接來(lái)源于文獻(xiàn)，存在同一指標(biāo)對(duì)應(yīng)多種表述的情況，如“基金論文數(shù)量”和“科學(xué)基金論文數(shù)”，需進(jìn)行編碼結(jié)果內(nèi)容清洗：識(shí)別含義相同但表述不同的指標(biāo)，將其合并為統(tǒng)一編碼形式；對(duì)合并存疑指標(biāo)，如“基金論文數(shù)”和“publication（P）”同時(shí)保留作為不同指標(biāo)處理。完成內(nèi)容清洗的編碼結(jié)果用于進(jìn)一步統(tǒng)計(jì)分析。

3 研究結(jié)果

本研究以114 篇科學(xué)基金資助績(jī)效評(píng)價(jià)實(shí)證研究文獻(xiàn)進(jìn)行內(nèi)容分析，從評(píng)價(jià)關(guān)注點(diǎn)和評(píng)價(jià)對(duì)象角度進(jìn)行研究主題細(xì)分，其中聚焦某基金（如國(guó)家自然科學(xué)基金、中國(guó)博士后科學(xué)基金、National Science Foundation等）的文獻(xiàn)50 篇，占比近半數(shù)；29 篇文獻(xiàn)重點(diǎn)關(guān)注某學(xué)科或研究領(lǐng)域（如生物醫(yī)學(xué)、地球科學(xué)、圖書情報(bào)學(xué)等）以及23 篇文獻(xiàn)面向某地區(qū)（省市/區(qū)域/國(guó)家）進(jìn)行評(píng)價(jià)分析，占比近1/4。此外，評(píng)價(jià)對(duì)象主要包括基金項(xiàng)目、產(chǎn)出、受資助對(duì)象（受資助者、受資助機(jī)構(gòu)）、人才培養(yǎng)四類，其中重點(diǎn)聚焦產(chǎn)出和人才培養(yǎng)績(jī)效評(píng)價(jià)。值得一提的是，近半數(shù)文獻(xiàn)主題為產(chǎn)出績(jī)效評(píng)價(jià)，國(guó)內(nèi)文獻(xiàn)則超過(guò)七成。文獻(xiàn)主題的分布特征有效揭示了評(píng)價(jià)指標(biāo)的應(yīng)用情境，有助于對(duì)指標(biāo)內(nèi)涵進(jìn)行深入理解，輔助開(kāi)展統(tǒng)計(jì)分析。

3.1 指標(biāo)應(yīng)用情況分析

3.1.1 指標(biāo)應(yīng)用概況

包含58 篇中文文獻(xiàn)和56 篇英文文獻(xiàn)的文獻(xiàn)集合共識(shí)別出評(píng)價(jià)指標(biāo)272 個(gè)，篇均2.38 個(gè)，指標(biāo)總應(yīng)用頻次814 次，篇均7.14 次。指標(biāo)應(yīng)用頻次和相應(yīng)指標(biāo)數(shù)量及占比情況如表1 所示，其中近六成指標(biāo)只出現(xiàn)過(guò)一次，11 個(gè)指標(biāo)的應(yīng)用頻次超過(guò)10 次，5 個(gè)超過(guò)20 次，指標(biāo)的集中和分散趨勢(shì)較為明顯。

表1 具有不同應(yīng)用頻次指標(biāo)的數(shù)量及其 占總指標(biāo)數(shù)的百分比

3.1.2 指標(biāo)構(gòu)建方式及結(jié)構(gòu)類型

本研究界定了指標(biāo)構(gòu)建的4 種方式，其中105 個(gè)指標(biāo)是應(yīng)用較為成熟的因襲指標(biāo)，占比38.60%；半數(shù)指標(biāo)為發(fā)展指標(biāo)，根據(jù)研究實(shí)際進(jìn)行了合理修改，沒(méi)有實(shí)際脫離因襲指標(biāo)的使用情境；27 個(gè)指標(biāo)被定義為創(chuàng)新指標(biāo)，具有獨(dú)特性和創(chuàng)新性（表3）。同時(shí)，還有4 個(gè)指標(biāo)無(wú)法判定其構(gòu)建方式。需要說(shuō)明的是，“指標(biāo)構(gòu)建方式編碼表”對(duì)創(chuàng)新指標(biāo)的界定依托于前期遴選的文獻(xiàn)集合，創(chuàng)新指標(biāo)是否得到了普遍性認(rèn)可和驗(yàn)證不在本研究的討論范圍內(nèi)。

指標(biāo)的結(jié)構(gòu)類型反映了指標(biāo)結(jié)構(gòu)的復(fù)雜程度，反映了指標(biāo)考量?jī)?nèi)容的廣度和全局性。指標(biāo)數(shù)量和應(yīng)用頻次隨指標(biāo)構(gòu)建的復(fù)雜程度逐漸降低，其中復(fù)合指標(biāo)共15 個(gè)（圖2），主要為出版物產(chǎn)出/影響力指標(biāo)以及包含多個(gè)總量復(fù)合概念的其他指標(biāo)。

表2 應(yīng)用頻次TOP 10 指標(biāo)

表3 實(shí)證研究中的創(chuàng)新指標(biāo)

圖2 復(fù)合指標(biāo)數(shù)量

3.1.3 指標(biāo)評(píng)價(jià)維度及統(tǒng)計(jì)維度分布

各評(píng)價(jià)維度下指標(biāo)數(shù)量和應(yīng)用頻次分布情況呈現(xiàn)出出版物指標(biāo)聚集的特征，出版物指標(biāo)占比近七成，佐證了學(xué)界普遍關(guān)注和善于開(kāi)展產(chǎn)出績(jī)效評(píng)價(jià)研究。此外，潛能指標(biāo)僅次于出版物指標(biāo)，說(shuō)明從人才培養(yǎng)、學(xué)術(shù)活動(dòng)、獲獎(jiǎng)情況等方面對(duì)科學(xué)基金資助效果進(jìn)行考量同樣重要，這體現(xiàn)出學(xué)者對(duì)資助效果關(guān)注點(diǎn)的發(fā)散性和評(píng)價(jià)維度的多樣性。

不同構(gòu)建方式和結(jié)構(gòu)類型指標(biāo)的評(píng)價(jià)維度分流分布情況如圖3 所示。指標(biāo)數(shù)量和應(yīng)用頻次的分布趨勢(shì)大體一致，其中創(chuàng)新指標(biāo)和復(fù)合指標(biāo)的應(yīng)用頻次明顯少于其他類指標(biāo)。其中對(duì)于潛能指標(biāo)值：首先創(chuàng)新指標(biāo)傾向于潛能指標(biāo)，這在一定程度上反映了其他如面向出版物評(píng)價(jià)的指標(biāo)已發(fā)展較為成熟，當(dāng)前創(chuàng)新力度不大，而潛能指標(biāo)的創(chuàng)新勢(shì)頭正盛；其次潛能指標(biāo)大多是從已有成熟指標(biāo)發(fā)展而來(lái)的復(fù)雜總量指標(biāo)，表現(xiàn)出學(xué)界正加大對(duì)科學(xué)基金和受資助對(duì)象潛能考量的關(guān)注，但在指標(biāo)設(shè)計(jì)上仍不夠深入?？傮w而言，潛能指標(biāo)的發(fā)展為科學(xué)基金資助績(jī)效評(píng)價(jià)注入了新的活力。

圖3 評(píng)價(jià)維度分流分布情況

面向不同評(píng)價(jià)對(duì)象的多統(tǒng)計(jì)維度計(jì)量分析能夠更加全面、多元地展示出資助效果，熱力分布情況如圖4 所示。統(tǒng)計(jì)維度的總體應(yīng)用頻次為256 次，篇均2.25 次。其中，更多學(xué)者關(guān)注產(chǎn)出，面向?qū)W科/領(lǐng)域、機(jī)構(gòu)、年份、國(guó)家（地區(qū)）的統(tǒng)計(jì)維度應(yīng)用較多，聚焦受資助者的統(tǒng)計(jì)維度應(yīng)用頻次也不在少數(shù)。

3.1.4 指標(biāo)數(shù)理統(tǒng)計(jì)及評(píng)價(jià)分析方法/模型應(yīng)用概況

在本研究的文獻(xiàn)集合中，共使用了37 個(gè)指標(biāo)數(shù)理統(tǒng)計(jì)方法/模型，篇均0.32 個(gè)；共計(jì)應(yīng)用66 次，篇均0.58 次。現(xiàn)階段的實(shí)證研究在數(shù)理統(tǒng)計(jì)方法和模型應(yīng)用上存在嚴(yán)重不足，當(dāng)前仍普遍使用基礎(chǔ)統(tǒng)計(jì)方法，以計(jì)數(shù)為主。其中，應(yīng)用較多的數(shù)理統(tǒng)計(jì)方法有相關(guān)性分析、回歸分析和聚類分析，主要運(yùn)用負(fù)二項(xiàng)回歸模型（negative binomial regression models）、 斷 點(diǎn) 回 歸 模 型（Regression Discontinuity Design，RDD）、TOBIT回歸模型等支撐評(píng)價(jià)研究。此外，排序—頻度分析模型、時(shí)間序列分析方法、矢量誤差修正模型（Vector Error Correction Model，VECM）等方法和模型也逐漸應(yīng)用于相關(guān)實(shí)證研究中。

對(duì)于評(píng)價(jià)分析方法/模型的應(yīng)用也同樣欠缺，共識(shí)別7 個(gè)評(píng)價(jià)分析方法/模型應(yīng)用17 次，其中應(yīng)用較多的依次是回報(bào)模型（the payback framework）、Engel-Cox J等[14]提 出 的 邏 輯 分析模型（a logic model approach）和CAHS框架（the CAHS framework）。

3.2 國(guó)內(nèi)外指標(biāo)應(yīng)用情況對(duì)比分析

對(duì)比分析國(guó)內(nèi)外指標(biāo)應(yīng)用特征和趨勢(shì)能夠有效汲取實(shí)踐經(jīng)驗(yàn)，優(yōu)化科學(xué)基金績(jī)效評(píng)價(jià)活動(dòng)。國(guó)內(nèi)研究的數(shù)據(jù)來(lái)源和獲取方式較為單一，以開(kāi)放獲取數(shù)據(jù)庫(kù)檢索為主，產(chǎn)出數(shù)據(jù)（出版物、專利等）占比較大。而國(guó)外研究的數(shù)據(jù)收集方式則相對(duì)多樣，包括數(shù)據(jù)庫(kù)檢索、問(wèn)卷調(diào)查、訪談、案例研究等，其中約30%的研究存在至少兩種數(shù)據(jù)來(lái)源和數(shù)據(jù)獲取方式，可見(jiàn)國(guó)外學(xué)者將數(shù)據(jù)源選取作為輔助全方位評(píng)價(jià)資助效果的重要途徑。

3.2.1 指標(biāo)應(yīng)用情況對(duì)比

圖4 指標(biāo)統(tǒng)計(jì)維度分布情況

國(guó)內(nèi)文獻(xiàn)中指標(biāo)應(yīng)用頻次為552 次，篇均9.52 次；國(guó)外文獻(xiàn)中指標(biāo)應(yīng)用頻次為262 次，篇均4.68 次。國(guó)內(nèi)文獻(xiàn)共析出指標(biāo)197 個(gè)，篇均3.40 個(gè)；國(guó)外文獻(xiàn)共析出指標(biāo)112 個(gè)，篇均2個(gè)。國(guó)內(nèi)文獻(xiàn)的篇均指標(biāo)數(shù)及應(yīng)用頻次均明顯高于國(guó)外文獻(xiàn)。

在指標(biāo)構(gòu)建方式分布上，中文文獻(xiàn)中的因襲指標(biāo)和發(fā)展指標(biāo)均多于英文文獻(xiàn)，但創(chuàng)新指標(biāo)反之（圖5）。這反映了國(guó)內(nèi)學(xué)者在實(shí)證研究中更安于和善于運(yùn)用前人研究成果，研究開(kāi)拓性和創(chuàng)新性存在不足。

在指標(biāo)結(jié)構(gòu)類型分布上，中文文獻(xiàn)中的總量指標(biāo)和復(fù)雜指標(biāo)均多于英文文獻(xiàn)，但復(fù)合指標(biāo)反之（圖6）。這可能反映了國(guó)外學(xué)者更關(guān)注層級(jí)結(jié)構(gòu)化的完整評(píng)價(jià)體系，善于從全局和總體上把握評(píng)價(jià)實(shí)踐。

3.2.2 指標(biāo)數(shù)理統(tǒng)計(jì)及評(píng)價(jià)分析方法/模型應(yīng)用情況對(duì)比

國(guó)內(nèi)外研究中應(yīng)用指標(biāo)數(shù)理統(tǒng)計(jì)方法/模型分別為32 次和34 次，其中國(guó)內(nèi)應(yīng)用相關(guān)方法/模型較為均衡，而國(guó)外則以回歸分析為主，回歸模型使用廣泛。值得注意的是，國(guó)內(nèi)研究未使用任何評(píng)價(jià)分析方法和模型，而國(guó)外則較為重視評(píng)價(jià)分析方法/模型的應(yīng)用，如回報(bào)模型（the payback framework）已經(jīng)在同類型的研究中應(yīng)用較為成熟。

圖5 不同構(gòu)建方式形成的指標(biāo)分布情況對(duì)比

圖6 不同結(jié)構(gòu)類型指標(biāo)分布情況對(duì)比

3.3 科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)集構(gòu)建

基于內(nèi)容分析提取出的指標(biāo)，對(duì)應(yīng)其研究主題和評(píng)價(jià)對(duì)象進(jìn)行指標(biāo)梳理，剔除研究差異帶來(lái)的指標(biāo)特殊性，對(duì)指標(biāo)進(jìn)行整合歸一和合理精簡(jiǎn)，以指標(biāo)評(píng)價(jià)維度為架構(gòu)，形成科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)集，如圖8 所示。

4 討論與結(jié)論

4.1 討論

圖7 不同統(tǒng)計(jì)維度分布情況對(duì)比

圖8 科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)集

本研究跳出了對(duì)單一視角或維度下科學(xué)基金資助績(jī)效評(píng)價(jià)的分析，對(duì)評(píng)價(jià)指標(biāo)進(jìn)行深層次的測(cè)度和整合。國(guó)內(nèi)外也有學(xué)者對(duì)科學(xué)基金產(chǎn)出績(jī)效進(jìn)行述評(píng)，提取評(píng)價(jià)指標(biāo)并建立相應(yīng)的評(píng)估指標(biāo)體系。但已有研究的樣本量普遍相對(duì)較小，且提出的指標(biāo)以代表性指標(biāo)為主，或指標(biāo)及維度具有其特殊性而普適性不足，因此指標(biāo)體系不具備全面性特征[15-16]。在研究方法的選擇上，本研究選取了基于科學(xué)計(jì)量的內(nèi)容分析法，科學(xué)計(jì)量在客觀性方面的優(yōu)勢(shì)可以彌補(bǔ)同行評(píng)議的欠缺[17]，而內(nèi)容分析法則可以從本質(zhì)上將指標(biāo)進(jìn)行系統(tǒng)的挖掘和歸一[18]。因此，可以認(rèn)為本研究完成的統(tǒng)計(jì)分析和最終整理的評(píng)價(jià)指標(biāo)集對(duì)科學(xué)基金資助績(jī)效評(píng)價(jià)實(shí)踐具有一定借鑒作用，提供了一個(gè)較為全面的評(píng)估工具，同時(shí)也為科學(xué)基金資助績(jī)效評(píng)價(jià)量表的開(kāi)發(fā)奠定了良好基礎(chǔ)。

4.2 結(jié)論

本研究通過(guò)對(duì)114 篇國(guó)內(nèi)外科學(xué)基金資助績(jī)效評(píng)價(jià)實(shí)證研究文獻(xiàn)進(jìn)行內(nèi)容分析，識(shí)別出指標(biāo)272 個(gè)，共計(jì)應(yīng)用814 次。對(duì)上述指標(biāo)進(jìn)行分類統(tǒng)計(jì)和應(yīng)用討論，結(jié)果顯示：（1）評(píng)價(jià)指標(biāo)的規(guī)模較小但應(yīng)用比率相對(duì)較高；（2）評(píng)價(jià)指標(biāo)的選取傾向于應(yīng)用成熟的簡(jiǎn)單結(jié)構(gòu)指標(biāo)；（3）國(guó)內(nèi)外評(píng)價(jià)指標(biāo)的內(nèi)部屬性和外部特征總體趨勢(shì)較為一致，但在評(píng)價(jià)實(shí)踐中對(duì)于方法和工具的應(yīng)用存在較大差異?；趦?nèi)容分析和編碼最終整理形成科學(xué)基金資助績(jī)效評(píng)價(jià)指標(biāo)集。

研究的局限性：一是本研究遴選的文獻(xiàn)集合可能不能揭示實(shí)證研究全貌；二是考慮到文獻(xiàn)中析出指標(biāo)的復(fù)雜性，對(duì)于存疑指標(biāo)的編碼研討不夠考究，這在一定程度上會(huì)對(duì)最終研究結(jié)果產(chǎn)生輕微影響；三是綜合梳理形成的評(píng)價(jià)指標(biāo)集只可作為今后評(píng)價(jià)實(shí)踐的參考和基礎(chǔ)，后續(xù)還需針對(duì)不同類型的科學(xué)基金和績(jī)效評(píng)價(jià)情境等進(jìn)行具體分析，抽取指標(biāo)子集并賦予權(quán)重后完成績(jī)效評(píng)價(jià)工作。