科學(xué)基金項目立項評估：綜合評價信息可靠性的多指標(biāo)證據(jù)推理規(guī)則研究

朱衛(wèi)東，劉 芳，王東鵬，Jian-Bo Yang,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國 曼徹斯特 M15 6PB)

?

科學(xué)基金項目立項評估：綜合評價信息可靠性的多指標(biāo)證據(jù)推理規(guī)則研究

朱衛(wèi)東1，劉 芳2，王東鵬3，Jian-Bo Yang2,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國 曼徹斯特 M15 6PB)

公正合理的科研項目立項評估與選擇是國家自然科學(xué)基金管理活動的關(guān)鍵環(huán)節(jié)。綜合考慮科研項目的評估指標(biāo)體系和選擇流程，提出了利用歷史評估準(zhǔn)確性度量專家提供信息可靠性的方法，進(jìn)而提出了一種系統(tǒng)性的基于證據(jù)推理規(guī)則的科學(xué)基金項目評估決策模型。該模型使用證據(jù)推理合成規(guī)則對多專家多指標(biāo)評估信息進(jìn)行集結(jié)。在集結(jié)過程中：充分考慮評估指標(biāo)的權(quán)重以及評估等級的多樣性；鑒于參與項目評估的專家具有不同的知識背景和經(jīng)驗，提出利用歷史評估結(jié)果的準(zhǔn)確性衡量專家提供的評價信息可靠性的方法；應(yīng)用信度分布表征項目的整體評價結(jié)果，包含了更豐富的信息。國家自然科學(xué)基金項目評估的實例分析證明了該評估決策模型的有效性。

科學(xué)基金項目；立項評估選擇；證據(jù)推理；可靠性

1 引言

以科研活動為核心的企業(yè)或組織，都面臨著科研項目的立項評估和選擇問題。隨著備選項目的增加及資源的限制，如何科學(xué)合理地評估科研項目并從中選擇若干項目加以資助至關(guān)重要。公正合理的科研項目立項評估與選擇，不僅利于提高科研經(jīng)費的使用效率，并會對項目研究的成敗具有重要的影響[1-2]。

由于科研項目立項評估選擇的普遍性和重要性，一直受到學(xué)者的廣泛關(guān)注[3]。國內(nèi)外在項目立項評估選擇的理論及方法等方面做了大量的研究工作，并取得了不少成果[4-14]。目前，關(guān)于科研項目立項評估選擇方法通?？煞譃槎ㄐ院投糠椒▋深?。如圖1所示，定性方法包括同行評議法、Delphi法等，定量方法有得分排序法、決策分析等[3,8]。

圖1 科研項目立項評估常用方法分類

上述科研項目立項評估方法的研究成果從不同的角度豐富了學(xué)術(shù)界對評估方法的認(rèn)識，也為科研項目的評估實踐提供了有效支撐。在定性評估方面，同行評議是由從事特定領(lǐng)域或接近該領(lǐng)域的專家來評定一項研究工作的學(xué)術(shù)水平或重要性的一種方法。同行評議法已有幾百年的歷史，在評審科研項目申請、評定科研成果等方面一直發(fā)揮著重要影響與作用[8]。但評價信息的利用以及在分階段同行評議情況下如何進(jìn)行項目選擇的決策分析仍未受到學(xué)者的重視。在定量評估方面，近年來多屬性決策分析方法由于可以反映項目的實際評估選擇機(jī)制而被學(xué)者廣泛研究并應(yīng)用到科研項目的評估與選擇[10-11]。層次分析法由于相對直觀并易于理解，是決策分析模型中常用的方法之一，但由于“排序逆轉(zhuǎn)問題”和兩兩比較的工作導(dǎo)致工作量大而不適合大量指標(biāo)或者備選項目的情況，實際應(yīng)用范圍受到一定限制[12]。

針對以上方法的特點和局限性，本文提出基于證據(jù)推理(Evidential Reasoning，簡稱ER)規(guī)則[15-16]的科學(xué)基金項目立項評估決策模型，在同行評議信息的基礎(chǔ)上，利用證據(jù)推理規(guī)則集結(jié)專家的意見。ER規(guī)則是基于證據(jù)推理方法[17-18]和多屬性決策上的多信息集結(jié)方法。證據(jù)推理方法已被應(yīng)用到許多決策問題領(lǐng)域中，包含風(fēng)險評估，企業(yè)管理，供應(yīng)鏈管理和群決策等[19]。在ER規(guī)則框架下，權(quán)重用來表示一條證據(jù)相對于其他證據(jù)的重要程度，而可靠性是證據(jù)的固有屬性。證據(jù)的可靠性表示信息資源的質(zhì)量以及對給定問題提供正確評估的能力，它對決策的質(zhì)量具有重要影響，而現(xiàn)有研究如文獻(xiàn)[2]中利用原始ER方法合成專家意見時，僅考慮了權(quán)重對評審結(jié)果的影響。研究證明(1)當(dāng)每個證據(jù)都完全可靠的情況下，D-S證據(jù)合成規(guī)則是ER規(guī)則的一個特例；(2)當(dāng)證據(jù)的可靠性等于其歸一化的權(quán)重時，原始ER算子也成為ER規(guī)則的特例[15,20]。作為基本證據(jù)推理方法的擴(kuò)展，ER規(guī)則將對一個評價問題的評價集定義為識別框架，并賦予識別框架中各個元素一定的信度，根據(jù)各個信息源的重要性和可靠性，對各條證據(jù)進(jìn)行折扣，能很好地集結(jié)不同權(quán)重和不同可靠性下的多條證據(jù)。

綜合考慮科研項目的多指標(biāo)評價體系特點和項目選擇流程，本文提出了利用歷史評估準(zhǔn)確性度量專家提供信息可靠性的方法，并進(jìn)一步提出了基于證據(jù)推理的科研項目立項評估決策模型。該模型具有以下特點：充分考慮評估指標(biāo)的權(quán)重以及評估等級的多樣性；利用歷史評估結(jié)果的準(zhǔn)確性衡量具有不同知識背景和經(jīng)驗的專家提供的評估信息可靠性；應(yīng)用信度分布表征項目的整體評價結(jié)果，并引入效用函數(shù)得到項目的評價得分以供排序擇優(yōu)。

2 基于ER規(guī)則的科學(xué)基金項目立項評估決策模型

在同行評議情況下，首先將專家評議信息轉(zhuǎn)化為以信度表示的證據(jù)體。同時考慮專家提供的評價信息的權(quán)重和可靠性，在各個指標(biāo)上分別合成多個專家的意見。由于不同指標(biāo)使用的識別框架可能不同，需將不同的識別框架轉(zhuǎn)換到統(tǒng)一的框架上，然后考慮各個指標(biāo)的權(quán)重，利用ER規(guī)則合成公式集結(jié)不同指標(biāo)上的信息。最后利用效用函數(shù)得到科學(xué)基金項目的評價得分并進(jìn)行排序優(yōu)選?；贓R規(guī)則的立項評估模型涉及的相關(guān)流程如圖2所示。

圖2 基于ER規(guī)則的科學(xué)基金項目立項評估決策模型的相關(guān)流程

2.1 指標(biāo)評價的信度表示

在利用ER規(guī)則集結(jié)專家意見前，需將專家提供的評價信息轉(zhuǎn)化為證據(jù)體，并用信度分配的形式表示。

定義1 (識別框架[21])：一個判決問題，設(shè)人們所能認(rèn)識到的可能結(jié)果用集合Θ表示，那么人們所關(guān)心的任一命題都對應(yīng)于Θ的一個子集。Θ被稱為識別框架，它依賴于人們的認(rèn)識水平。舉例來說，科學(xué)基金項目評價指標(biāo)i劃分為差、中、良和優(yōu)四個等級，則識別框架可定義為Θn,i={H1,i,H2,i,…H4,i}={差，中，良，優(yōu)}。

定義2 (D-S基本信度分配[22])：設(shè)Θ為識別框架，2Θ是Θ的冪集。如果集函數(shù)m:2Θ→[0,1]，滿足∑A?Θm(A)=1和m(φ)=0，則稱函數(shù)m為Θ上基本可信度分配；m(A)稱為A的基本可信數(shù)或mass函數(shù)，表示證據(jù)支持命題A發(fā)生的程度。

設(shè)mn,i,k表示專家k提供的證據(jù)ei支持項目被評為Hn的程度，稱之為基本可信度。專家提供的評議信息可被視為一條支撐最終立項評估結(jié)果的證據(jù)，專家k在指標(biāo)i上給出的評價信息ei可表示為：

s(ei)={(Hn,i,mn,i,k)},i=1,…,L,n=1,…,Ni,k=1,…,K

(1)

2.2 基于效用的不同識別框架下的信息轉(zhuǎn)換

為便于專家對科學(xué)基金項目立項評估問題的認(rèn)識和理解，評價總體指標(biāo)和子指標(biāo)的識別框架中的評價等級可能不同。子指標(biāo)上的信息如何影響項目的總體指標(biāo)得分，需要將子指標(biāo)的信息轉(zhuǎn)化到總體指標(biāo)上。在此之前，需要將子指標(biāo)識別框架上的元素轉(zhuǎn)化到公共識別框架即總體指標(biāo)的識別框架上，才能對子指標(biāo)信息進(jìn)一步合成。轉(zhuǎn)化過程可以依據(jù)決策者偏好給出的等價規(guī)則來實現(xiàn)，當(dāng)決策者偏好規(guī)則不能獲得時，基于決策效用的信息轉(zhuǎn)化方法可用于實現(xiàn)此過程。定量或定性評價信息都能應(yīng)用這種基于效用或者規(guī)則的轉(zhuǎn)化方法[23]。

設(shè)總指標(biāo)上的識別框架Θ={Hj,j=1,…,N}，各元素的效用u(Hj)和子指標(biāo)各元素的效用u(Hn,i)(n=1,…,Ni)已知，一個原始評價信息{(Hn,imn,i)}可以通過以下等式轉(zhuǎn)化到總指標(biāo)上的信度分布{(Hj,βj,i)}：

(2)

(3)

(4)

各評估指標(biāo)等級的效用可由決策者偏好給出。當(dāng)決策者的偏好信息不能獲得時，可假設(shè)各等級在歸一化效用空間中呈線性分布，即u(Hj)=(j-1)/(N-1)(j=1,…,N)。

2.3 基于歷史評價信息的可靠性度量方法

由于專家的知識背景，經(jīng)驗和判斷能力的差異性，所提供的評價信息反應(yīng)項目實際科研質(zhì)量的程度可能有差異，可表達(dá)為評價信息的可靠性?？煽啃钥衫脤＜覛v史評價決策的準(zhǔn)確性來表示，而專家評估的最終結(jié)果分為資助和不資助兩種，因而專家的可靠性也分為兩種情況，分別用專家給出資助意見時的準(zhǔn)確率和專家給出不資助意見時的準(zhǔn)確率表示。若TP表示建議資助并實際資助了的項目數(shù)，F(xiàn)P為專家建議資助而實際沒有資助的項目數(shù)，F(xiàn)N為不建議資助但實際資助了的項目數(shù)，TN為區(qū)分出來實際沒有資助的項目數(shù)。本文構(gòu)造了如表1所示的混淆矩陣[24]，根據(jù)混淆矩陣可進(jìn)一步定義專家提供的評價信息的可靠性。

表1 科學(xué)基金項目評價信息可靠性的混淆矩陣

總體準(zhǔn)確度：

(5)

“資助”決策時的評價信息可靠性：

(6)

“不資助”決策時的評價信息可靠性：

(7)

根據(jù)歷史評審記錄，若一專家共評價項目20項，給出“資助”決策5個，“不資助”決策15個，其中“資助”決策和實際結(jié)果一致個數(shù)為2，“不資助”決策時一致個數(shù)為12。根據(jù)式(5)～(7)計算可得到專家評估的總體可靠性P=0.7，“資助”決策時的可靠性PTP=0.4，“不資助”決策時的可靠性PTP=0.8。當(dāng)專家參與當(dāng)前科學(xué)基金項目立項評估時，給“資助”意見情況下，其可靠性參數(shù)值可定義為0.4，反之為0.8。專家提供的評價信息的可靠性并非一成不變，可隨評審項目數(shù)的變化進(jìn)行動態(tài)調(diào)整。

2.4 群集結(jié)與多指標(biāo)合成的ER規(guī)則

科學(xué)基金項目評估是一個多專家多指標(biāo)的決策過程。首先，在各個指標(biāo)上合成多專家的意見，其次，將指標(biāo)上的信息通過轉(zhuǎn)化公式到公共識別框架上，最后合成多指標(biāo)上的信息。兩階段的合成過程可通過以下公式實現(xiàn)。

(8)

此時，證據(jù)ei可表示為：

(9)

ER規(guī)則的證據(jù)遞歸合成公式為：

(10)

(11)

(12)

(13)

上式為ER規(guī)則的遞歸合成公式，它具備交換律和結(jié)合律的性質(zhì)。與D-S合成公式相比，ER規(guī)則具有以下特點：(1)該方法考慮了證據(jù)的權(quán)重；(2)考慮了證據(jù)的可靠性；(3)合成沖突證據(jù)時將沖突信度分配給冪集，從而產(chǎn)生更為合理的結(jié)果。

設(shè)βj為支持Hj的聯(lián)合信度，則科學(xué)基金項目的評估結(jié)果可表示為以下信度分布：

S={(Hj,βj),j=1,2,…,N}

(14)

最后，計算科學(xué)基金項目的整體評價得分的效用公式定義如下：

(15)

進(jìn)而備選科學(xué)基金項目可利用以上評價得分進(jìn)行排序擇選。

3 實證研究

3.1 研究背景

國家自然科學(xué)基金委是由國家設(shè)立的用于資助基礎(chǔ)研究的部門，其資助項目采取宏觀引導(dǎo)、自主申請、平等競爭、同行評審、擇優(yōu)支持的機(jī)制，并充分發(fā)揮專家的作用。科學(xué)基金項目立項評審一般按照項目提交、初審、通訊評審、綜合處理、會議評審和最終決策的程序進(jìn)行，其中同行評議和專家意見的綜合處理階段是科學(xué)基金項目管理最重要的內(nèi)容。在通訊評審階段，三個或以上評審專家在對項目的創(chuàng)新性、研究內(nèi)容和工作基礎(chǔ)等評議的基礎(chǔ)上，給出綜合評價和資助與否的意見。在綜合處理階段，由項目主任將通訊評審專家給出的“綜合評價”和“資助意見”量化成得分，并撰寫通訊評審綜合意見。以管理學(xué)部為例，賦予項目綜合評價“差”、“中”、“良”和“優(yōu)”的分值為1、2、3、4，而資助意見“不予資助”、“可資助”和“優(yōu)先資助”的分值為0、1、2。將各個專家給出的意見賦值后，在兩個指標(biāo)上分別相加并除以專家數(shù)，所得兩個平均數(shù)之和即為項目評價的總成績。基于項目量化得分并考慮專家意見后，科學(xué)基金項目會被劃分為A、A-、B、E、C及D六個檔次，以確定能否進(jìn)入會評階段[25]。科學(xué)基金項目立項評估框架如圖3所示。

圖3 科學(xué)基金項目立項評估框架

國家自然科學(xué)基金現(xiàn)行的同行評議方法已實行多年，為科學(xué)基金項目的規(guī)范、公正評估選擇起到了重要作用。然而，現(xiàn)行方法仍存在諸多缺陷，主要表現(xiàn)在：①對多位專家評審意見的綜合過于簡單，量化信息過于粗糙[26-27]；②將多個具有不同知識背景、經(jīng)驗的專家提供的評議信息一視同仁[2]。本文提出的基于ER規(guī)則的科學(xué)基金項目立項評估決策模型能有效解決上述問題。

3.2 評估步驟與舉例說明

對于項目a1，共有五份有效的評審意見表，五個評審專家在兩個指標(biāo)上給出的意見分別是良、優(yōu)、優(yōu)、優(yōu)、中和可資助、優(yōu)先資助、可資助、優(yōu)先資助、不予資助。以項目a1為例，利用目前科學(xué)基金專家通訊評審的信息，科學(xué)基金項目立項評估選擇可通過以下步驟進(jìn)行。

步驟1 將原始評估信息轉(zhuǎn)化為證據(jù)體，即用信度分布的形式表示專家意見。利用2.1節(jié)的知識，設(shè)指標(biāo)1上的識別框架為Θi,1={H1,1,H2,1,H3,1,H4,1}={差，中，良，優(yōu)}，指標(biāo)2上的識別框架為Θi,2={H1,2,H2,2,H3,2}={不予資助，可資助，優(yōu)先資助}，項目a1的原始評估信息可表示如下：

(H3,1,1)；(H4,1,1);(H4,1,1);(H2,1,1)和(H2,2,1)；(H3,2,1);(H2,2,1);(H3,2,1);(H1,2,1)。 步驟2 確定專家權(quán)重和可靠性。目前國家自然科學(xué)基金委不區(qū)分通訊評審專家意見的相對重要性，因而本文也給同一項目的評審專家意見賦予相等的權(quán)重。即設(shè)五個專家的權(quán)重相等，標(biāo)準(zhǔn)化后即為0.2。專家提供的評價信息的可靠性可利用2.3節(jié)的混淆矩陣計算，由原始評審信息中的資助意見可知，前四個專家的評價信息可靠性用“資助”決策下的歷史準(zhǔn)確率衡量，而第五位專家用“不資助”決策下的歷史準(zhǔn)確率衡量，使用實際數(shù)據(jù)的計算結(jié)果分別為0.1538、0.3333、0.2726、0和1。歷史評審記錄缺失的專家的評價信息可靠性用當(dāng)年所有參與評審專家的平均值代替。現(xiàn)有數(shù)據(jù)求得的專家給“資助”決策時的評價信息可靠性為0.2726，而給“不資助”決策時的可靠性為0.9592。

表2 項目a1在兩指標(biāo)上分別合成多個專家意見的結(jié)果

步驟4 利用公式(2)～(4)將指標(biāo)上的信度分布轉(zhuǎn)換到公共識別框架上。由于科學(xué)基金綜合處理結(jié)果是將項目劃分到六個等級，因此，本文定義的公共識別框架包含六個元素。設(shè)所有識別框架元素的效用在[0，1]區(qū)間內(nèi)線性分布，則項目a1的轉(zhuǎn)化結(jié)果如表3所示。

表3 項目a1信息轉(zhuǎn)化及指標(biāo)合成結(jié)果

步驟5 考慮指標(biāo)權(quán)重的情況下，合成兩個指標(biāo)上的信息。分別賦予“綜合評價”和“資助意見”指標(biāo)的權(quán)重為2/3和1/3，其可靠性等于權(quán)重，利用公式(8)～(14)求得的結(jié)果如表3中ER規(guī)則合成結(jié)果行所示。

步驟6 利用效用函數(shù)計算項目的總體評價得分。項目a1的得分為0.7795。

3.3 實例分析

研究的數(shù)據(jù)樣本為國家自然科學(xué)基金委員會信息中心獲得的1225項管理學(xué)部項目的實際評審和立項信息，且所有項目均有五份有效評審意見表。項目評審信息主要包括：科學(xué)部項目編號、熟悉程度、綜合評價和資助意見。項目立項信息主要包括：科學(xué)部項目編號、項目批準(zhǔn)號和批準(zhǔn)金額等。將這1225個項目按科學(xué)部項目編號在立項信息中進(jìn)行匹配，查詢其是否最終得到立項。一般而言，在既定的同行評議意見下，科學(xué)處綜合處理結(jié)果與最終審定結(jié)果(是否立項)越一致，綜合處理方法就越科學(xué)、合理。按目前科學(xué)基金綜合處理的結(jié)果如圖4所示。

圖4 科學(xué)基金現(xiàn)行方法下資助項目與總體項目得分折線圖

由圖4可以看出，現(xiàn)行方法1225個項目的得分以近似正態(tài)分布的形式離散分布于[1.0，5.8]區(qū)間中的25個分值上。其中資助項目的得分也在一個較小區(qū)間中近似服從正態(tài)分布。但其中很多項目得分相同，因而難以區(qū)分。

為比較科學(xué)部現(xiàn)行方法與本文提出的方法的有效性，從樣本空間中隨機(jī)抽取了9個代表性的項目共45份項目評議書。項目原始評估信息、相關(guān)方法

表4 科學(xué)基金項目專家評價信息及現(xiàn)行方法與本文方法下得分的比較結(jié)果

對項目進(jìn)行評估排序和選擇的量化結(jié)果、及實際資助情況如表4所示。表4中x和Ox分別為用管理學(xué)部現(xiàn)行方法量化的項目得分和排序；y和Oy分別為本文方法量化的項目得分和排序。

從表4可以看出，和管理學(xué)部現(xiàn)行方法相比，兩種方法都同樣使用了專家通訊評審的意見并進(jìn)行處理，但求出的分值和排序具有較大變化。首先，用管理學(xué)部現(xiàn)行方法部分項目的得分相同，無法區(qū)分優(yōu)劣，如項目5和項目6，項目8和項目9。本文的方法有效避免了這一問題，下面的統(tǒng)計分析進(jìn)一步證明了此特點。其次，某些項目的排序發(fā)生了變化。如項目4和項目5，用現(xiàn)行方法的得分分別為4分和3.8分，而基于ER規(guī)則的方法項目5得分為0.6371，顯著高于項目4的0.6141分。分析發(fā)現(xiàn)，項目5在本文方法下評分較高的原因是在權(quán)重較大的“綜合評價”指標(biāo)上評價優(yōu)于項目4，且給出“資助”決策的專家，其提供信息的可靠性更高。反觀項目4，現(xiàn)行方法下得分較高的原因是專家3和專家5評價較高，而他們的可靠性相對較低。充分考慮并利用權(quán)重和可靠性參數(shù)，能夠獲得更加科學(xué)合理的立項評估結(jié)果。從立項結(jié)果看，項目5獲得了立項，而項目4沒有，這也證明了本文方法的有效性。

值得注意的是，項目5和項目6按現(xiàn)行方法得分相等，均為3.8分，依據(jù)本文提出的方法得分區(qū)別也不甚明顯，但資助結(jié)果卻截然相反。為此，我們分析兩個項目的信度分布結(jié)果，如圖5所示。

圖5 項目5和項目6的信度分布情況

從圖5中可以看出，兩個項目的信度分布有很大不同，項目5分布在兩個極端表明部分非共識評價優(yōu)秀，而項目6則所有評價較一般。由于科學(xué)基金項目的性質(zhì)，項目5上專家意見反差較大，屬非共識項目，可能具有更強(qiáng)的探索性。而項目6雖然評價都良好，但不符合科學(xué)基金項目的資助要求。

為進(jìn)一步驗證本文方法的有效性，應(yīng)用本文的方法和學(xué)部現(xiàn)行的方法分別將1225個項目量化得分排序之后進(jìn)行了統(tǒng)計分析。由于該1225個項目中有210個項目實際獲得了資助，因此本文首先比較了排序在前210名中兩種方法下各項目的資助情況，如表5所示。

表5 兩種方法下前210名項目的資助情況

從表5中可以看出，依據(jù)本文提出的方法排序后，前210個項目中有164個項目被資助了，而現(xiàn)行方法只有151個項目被資助。且現(xiàn)行方法排序結(jié)果中從第181名開始，有56個項目得分相同(4.0)?？紤]現(xiàn)行方法無法區(qū)分第181至第236之間的該56個項目，圖6以累積形式進(jìn)一步比較了本文提出的基于ER規(guī)則立項評估方法和科學(xué)基金現(xiàn)行方法的量化排序結(jié)果。

圖6 兩種方法下所有項目得分排序后實際資助情況對比

通過圖6可知，雖然兩種方法在排序前180名中的實際被資助項目數(shù)差別不大，但現(xiàn)行方法無法區(qū)分一組較大數(shù)目的56個項目，該組項目的評價得分在實際決策過程中無法傳遞有效信息，而本文提出的方法則避免了此類問題。此外，該方法可進(jìn)一步通過對歷史評價數(shù)據(jù)的學(xué)習(xí)調(diào)整評估參數(shù)，以減少排序在210名之后的實際被資助項目數(shù)。

4 結(jié)語

科學(xué)基金項目立項評估與選擇是一種多專家多指標(biāo)的決策問題，采用科學(xué)的方法表示專家的意見并進(jìn)行集結(jié)，是綜合處理階段的重要環(huán)節(jié)，也是科學(xué)基金項目立項的依據(jù)和基礎(chǔ)。本文提出了一種基于ER規(guī)則的科學(xué)基金項目立項評估模型，并給出了一種度量評估信息可靠性的方法。與現(xiàn)行方法和已有研究相比，本文的創(chuàng)新點在于：(1)充分利用目前已有的通訊評審信息，建立基于ER規(guī)則的多專家多指標(biāo)的評估模型，更具針對性，且不改變現(xiàn)行通訊評審體系和流程，可操作性強(qiáng)；(2)引入評估信息可靠性，可以有效利用不同質(zhì)量的評審信息；(3)結(jié)合應(yīng)用信度分布表征項目的整體評價結(jié)果，包含了更豐富的信息；(4)采用效用函數(shù)計算方案的綜合得分，在一定程度上減少項目得分相同的情況。

本文提出的方法可充分利用現(xiàn)行通訊評審的信息，改進(jìn)決策，提升資助結(jié)果的可說明性。在有限的科學(xué)基金項目立項評估抽樣信息基礎(chǔ)上的實證結(jié)果表明，新方法能夠利用專家歷史評估信息提高通訊評審意見集結(jié)的合理性。在實踐中，經(jīng)過長期的對立項評估專家歷史評估信息的積累，可以計算獲得更加可信的專家評估信息可靠性。而對于沒有歷史評估信息(第一次參與立項評估或歷史信息缺失)的評審專家，本文在實證分析中用平均值代替了此類專家信息，在實踐中這一做法值得改進(jìn)，例如可利用評價意見表里的熟悉程度對專家評估信息的可靠性進(jìn)行修正，未來可進(jìn)一步進(jìn)行相關(guān)研究。其次，衡量專家評估信息的可靠程度，對改進(jìn)科學(xué)基金通訊評審專家指派的合理性，具有重要的參考價值。另外可建立優(yōu)化模型學(xué)習(xí)指標(biāo)的權(quán)重和識別框架上各等級的效用，以得到更為合理的科學(xué)基金項目立項評估決策模型。

[1] 陳媛,樊治平. 基于研究領(lǐng)域匹配度的科研項目評審指派方法 [J]. 中國管理科學(xué),2011,19(2):169-173.

[2] 張洪濤, 朱衛(wèi)東, 王慧, 等. 多維框架證據(jù)推理的科研項目立項評估方法 [J]. 科研管理, 2013, 34(6): 122-128.

[3] 楊列勛. R&D 項目評估研究綜述 [J]. 管理工程學(xué)報, 2002, 16(2): 60-65.

[4] Poh K L, Ang B W, Bai F. A comparative analysis of R&D project evaluation methods [J]. R&D Management, 2001, 31(1): 63-75.

[5] Amiri M P. Project selection for oil-fields development by using the AHP and fuzzy TOPSIS methods [J]. Expert Systems with Applications, 2010, 37(9): 6218-6224.

[6] Feng Bo, Ma Jian, Fan Zhiping. An integrated method for collaborative R&D project selection: Supporting innovative research teams [J]. Expert Systems with Applications, 2011, 38(5): 5532-5543.

[7] Jung U, Seo D W. An ANP approach for R&D project evaluation based on interdependencies between research objectives and evaluation criteria [J]. Decision Support Systems, 2010, 49(3): 335-342.

[8] 王憑慧. 科學(xué)研究項目評估方法綜述 [J]. 科研管理, 1999, 20(3): 18-24.

[9] 陳媛, 樊治平. 科技類評審中項目選擇的兩階段綜合集成方法 [J]. 中國管理科學(xué), 2010, 18(2): 127-133.

[10] Khalili-Damghani K, Sadi-Nezhad S, Tavana M. Solving multi-period project selection problems with fuzzy goal programming based on TOPSIS and a fuzzy preference relation [J]. Information Sciences, 2013, 252: 42-61.

[11] Huang Chicheng, Chu Pinyu, Chiang Y H. A fuzzy AHP application in government-sponsored R&D project selection [J]. Omega, 2008, 36(6): 1038-1052.

[12] Heidenberger K, Stummer C. Research and development project selection and resource allocation: A review of quantitative modelling approaches [J]. International Journal of Management Reviews, 1999, 1(2): 197-224.

[13] Thamhain H J. Assessing the effectiveness of quantitative and qualitative methods for R&D project proposal evaluations [J]. Engineering Management Journal, 2014, 26(3): 3-12.

[14] Silva T, Jian Ma, Chen Yang. Process analytics approach for R&D project selection [J]. ACM Transactions on Management Information Systems (TMIS), 2015, 5(4): 21.

[15] Yang Jianbo, Xu Dongling. Evidential reasoning rule for evidence combination [J]. Artificial Intelligence, 2013, 205: 1-29.

[16] Chen Yue, Chen Yuwang, Xu Xiaobin, et al. A data-driven approximate causal inference model using the evidential reasoning rule [J]. Knowledge-Based Systems, 2015, 88: 264-272.

[17] Yang Jianbo, Xu Dongling. On the evidential reasoning algorithm for multiple attribute decision analysis under uncertainty [J].IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 2002, 32(3): 289-304.

[18] 杜元偉,楊娜. 大數(shù)據(jù)環(huán)境下雙層分布式融合決策方法 [J]. 中國管理科學(xué),2016,24(5):127-138.

[19] Xu Dongling. An introduction and survey of the evidential reasoning approach for multiple criteria decision analysis [J].Annals of Operations Research, 2012, 195(1): 163-187.

[20] Yang Jianbo, Xu Dongling. A study on generalising Bayesian inference to evidential reasoning[M].Belief Functions: Theory and applications. Switzertand:Springer International Publishing, 2014: 180-189.

[21] 朱衛(wèi)東, 張洪濤, 張晨, 等. 基于兩維語義的科學(xué)基金立項評估方法 [J]. 系統(tǒng)工程理論與實踐, 2012, 32(12): 2697-2703.

[22] Shafer G. A mathematical theory of evidence[M]. Princeton: Princeton University Press, 1976: 74-78.

[23] Yang Jianbo. Rule and utility based evidential reasoning approach for multiattribute decision analysis under uncertainties [J]. European Journal of Operational Research, 2001, 131(1): 31-61.

[24] Provost F, Kohavi R. Guest editors′ introduction: On applied research in machine learning [J]. Machine Learning, 1998, 30(2): 127-132.

[25] 陳曉田. 國家自然科學(xué)基金與我國管理科學(xué)(1986-2008)[M]. 北京: 科學(xué)出版社, 2009.

[26] 王雄, 吳慶田. 基于模糊語言的科研基金項目立項評估研究 [J]. 科技進(jìn)步與對策, 2007, 24(9): 61-63.

[27] 肖人毅, 王長銳. 科研基金項目立項評估方法的研究與改進(jìn) [J]. 系統(tǒng)工程理論與實踐, 2004, 5: 66-71.

[28] 王東鵬, 朱衛(wèi)東, 陳波, 等. 認(rèn)知視角的科學(xué)基金項目專家評議意見分析—基于 ER 規(guī)則的研究 [J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2015, 36(04): 22-35.

Research Project Evaluation and Selection in the NSFC: An Approach Based on the Evidential Reasoning Rule with Reliability

ZHU Wei-dong1, LIU Fang2, WANG Dong-peng3, Jian-Bo Yang2,4

(1.School of Economics, Hefei University of Technology, Hefei 230009, China; 2.School of Management, Hefei University of Technology, Hefei 230009, China; 3.School of Management, Hangzhou Dianzi University, Hangzhou 310018, China; 4.Manchester Business School, the University of Manchester, Manchester M15 6PB, UK)

Research project evaluation and selection is one of the core research management activities in the National Science Foundation of China (NSFC). Through taking into consideration evaluation criteria and selection procedure, a systematic method of implementing the evidential reasoning rule is presented to aggregate evaluation information on multiple criteria by multiple experts. The proposed method has the following strengths: 1) combine evaluation information with different weights and reliabilities effectively, 2) employ a confusion matrix for generating experts’ evaluation reliabilities, as experts may have different knowledge background and expertise, and 3) use a belief distribution to represent the overall performance profile of research projects in a more informative way. The belief distribution can be further transformed as utilities which are used to support the decision making of project selection. A case study on the project evaluation and selection of the National Science Foundation of China (NSFC) demonstrates the applicability and effectiveness of the proposed method.

research project in the NSFC; evaluation and selection; evidential reasoning; reliability

2015-01-28；

2015-09-02

國家自然科學(xué)基金資助項目(71071048)

簡介：劉芳(1988-)，女(漢族)，安徽界首人，合肥工業(yè)大學(xué)管理學(xué)院博士生，研究方向：決策分析，E-mail: fangliu.hfut@gmail.com.

1003-207(2016)10-0141-08

10.16381/j.cnki.issn1003-207x.2016.10.016

C931

A