汪志波 鄭新章 邱紀青 洪群業(yè)
(中國煙草科技信息中心,河南 鄭州 450001)
科研項目立項評審是科研項目管理工作的關鍵環(huán)節(jié),如何科學、客觀、公正地對立項科研項目進行評價,充分發(fā)揮科研項目立項評價的篩選作用,這對提高科研經費使用效率具有重要作用。科研項目立項評價要素以定性指標為主,因為評審專家在專業(yè)領域、科研經歷和個人偏好等方面的不同會導致對具體項目指標評判和評估上的較大差異,從而引起評估結果的可信度問題。針對科研項目立項評審,有關學者進行了有益的探索性研究。周春喜,梁威[1-2]采用灰色理論方法對科研項目進行立項評價。鮑海君等[3]運用可拓理論建立科研項目可拓綜合評價模型。曹耀艷[4]基于云理論解決評估過程中的模糊性和隨機性等問題的作用,將云理論中的云重心評價法運用于科研項目的立項評審。程安亭等[5]應用三角模糊數方法,建立基于FWGA 和FOWGA 算子相結合的科研項目立項評估模型。周光中等[6]提出二維語言評價信息的集結問題,應用主觀證據推理理論設計了相應的解決方法。郭健等[7]采用多粒度二元語義和灰色關聯(lián)分析的方法對科技項目進行立項評價。李書全等[8]使用支持向量機來評價科技項目。方崇[9]引入信息熵計算評價指標的權重,建立基于熵權的TOPSIS 科研項目立項綜合評價模型。
以上文獻提供了很好的參考和借鑒,但還存在不足,主要是專家判斷與評價結果表達之間的映射失真、信息描述不完全、評審意見信息的集結處理過于粗糙等。如文獻[1-3,8-9]將指標直接量化,沒有考慮指標的模糊性問題,只取有限個數的離散值;文獻[4,6-7]對指標賦予“優(yōu)、良、中、差”或“贊成、支持、反對”的評語,非此即彼,這與實際情況不一定相符。文獻[5]的計算過于復雜,較難被一般科技管理人員理解和應用。
科研項目立項評價的關鍵之一是評議意見的集結,集結過程是否合理直接關系到立項決策的科學性和客觀性。有簽于此,本文設計了一套較為系統(tǒng)、完善的科研項目立項評價指標體系,建立了基于集值統(tǒng)計-TOPSIS 的評價模型:首先,對指標進行區(qū)間賦值量化,對專家的量化區(qū)間集合采用集值統(tǒng)計方法進行點值估計,得到確定的評估值;最后,進行TOPSIS 排序選優(yōu)計算,在TOPSIS 計算時,引入2 個虛擬的參照項目,通過比較被評項目與參照項目加權歐氏距離,得到各項目的評價得分和排序。
項目立項、實施執(zhí)行、驗收完成、成果應用是科研項目的全生命周期階段,貫穿于科研項目全生命過程,對項目目標實現和成果價值具有重要影響的因素構成了科研項目立項評價的內容體系。
如圖1 所示,科研項目立項評價內容概念模型。項目組首先確定項目選題,分析與選題有關的技術發(fā)展趨勢及國內外研究現狀,指出項目的創(chuàng)新性、作用和意義;其次,設計研究方案,確定主要研究內容和關鍵技術問題,提出研究目標,整體規(guī)劃、計劃項目研究任務并對任務進行科學分解和合理分配;再次,以現有技術積累和科研條件為基礎,在科研經費支持下,科研團隊分工協(xié)作,推動項目主要內容完成,實現研究目標;最后,通過成果轉化,實現項目的最終目的。
作為實現評價目的的依據,評價指標的選取直接影響評價結果的客觀性、準確性。在設計科研項目立項評價指標體系時應遵循以下原則:
(1)系統(tǒng)性原則。指標體系是反映評價對象特征的多個屬性要素構成的系統(tǒng),指標應從系統(tǒng)的角度,全面、綜合地反映項目的整體情況。
(2)科學性原則。指標體系應能夠反映科研項目的特點和研究規(guī)律,指標概念界定正確,定義清晰合理,對科研項目的選擇起到指導作用。
(3)可比性原則。指標體系應具有普適性,指標的內涵和外延盡可能保持一致,便于項目之間橫向的比較和排序,使立項評價真正具有遴選作用。
(4)導向性原則。指標體系應有利于引導研究開發(fā)向重點領域和方向聚集,發(fā)揮科研項目立項評審在引導科技創(chuàng)新活動的開展、貫徹相關政策方面的激勵性作用。
(5)簡潔性原則。指標的邊界應盡可能明確,避免相關性強的多個指標同時出現,減少對同一內容的重復評價。
以科研項目立項評價內容概念模型為基礎,結合指標體系的系統(tǒng)性、科學性、可比性、導向性、簡潔性原則,建立科研項目立項評價指標體系。指標體系由目標層、主因素層、指標層構成,能夠客觀地反映科研項目立項評價的基本內涵,實現立項評價的優(yōu)選作用,其結構見表1。
圖1 科研項目立項評價內容概念模型
表1 科研項目立項評價指標體系
立項評價指標體系以定性指標為主,在實際操作過程中評價指標具有模糊性、不確定性,存在個人主觀因素帶來的偏差,難以給出準確的量化值。而評價專家根據評價標準,結合自身理解和經驗判斷,對評價項目的指標值更容易給出一個區(qū)間判斷結果,也更符合現實情況。此時,量化評估值不再是一個確定點,而是一個子集[10]。
在采用區(qū)間賦值形式量化時,對每個評價指標設立5 級評語,記評語集V = {v1,v2,v3,v4,v5},v1,v2,v3,v4,v5分別表示“優(yōu)” “良” “中”“差”“很差”,規(guī)定評價專家對各指標的取值區(qū)間為0 ~10,對應的各等級區(qū)間見表2。
表2 指標區(qū)間賦值量化形式
圖2 評價指標值的集值統(tǒng)計分布
應用數理統(tǒng)計的方法對指標的評估子集集合進行計算,得到確定的評估值,此即是集值統(tǒng)計方法[10-11]。分布區(qū)間上任一點a 的模糊覆蓋率為
由式(1)和式(2)可得
由式(3)和式(4)可得
在使用TOPSIS 法進行計算時,引入虛擬的最優(yōu)項目和最劣項目,虛擬最優(yōu)項目和虛擬最劣項目的各指標值分別為所有被評項目中各指標的最優(yōu)值和最差值。通過計算被評項目與最優(yōu)和最劣項目的距離得分來判斷被評項目的立項價值。TOPSIS 法的基本步驟如下:
(1)q 位專家對m 個項目的n 個指標進行區(qū)間賦值,通過集值統(tǒng)計方法計算得到各項目指標的評估值,評估值矩陣A= (aij)m×n。
(2)計算規(guī)范化決策矩陣Y = (yij)m×n,規(guī)范化值為
式中,aij為第i 個項目的第j 個指標的集值統(tǒng)計評估值;yij為第i 個項目的第j 個指標的規(guī)范化值。
(4)計算加權歐氏距離
則各備選項目的評價得分為
采用專家評議法,得到每位專家給出的一組權重值,算術平均各位專家給出的權重值,得到最終的指標層指標相對目標層的權重值,見表1。
聘請8 位專家E = {e1,e2,e3,e4,e5,e6,e7,e8},專家權重分別為0.20,0.15,0.15,0.15,0.10,0.10,0.10,0.05。針對被評審項目,8 位專家對指標進行區(qū)間賦值。項目1 的指標區(qū)間賦值見表3。
利用式(5),指標u1評估值的計算公式為
表3 項目1 指標的專家區(qū)間賦值
同理,計算得到P1項目指標u2-u10以及其他9 個項目各指標的集值統(tǒng)計評估值見表4。
依照TOPSIS 法的基本步驟,對各項目的評估值矩陣進行規(guī)范化,根據規(guī)范化矩陣,得到正理想解和負理想解分別為
Y+= (0.367,0.360,0.375,0.349,0.350,0.369,0.347,0.345,0.355,0.332)
Y-= (0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0)
計算各項目指標評估值與正負理想解之間的加權歐氏距離di+,di-,使用式(6)可以得到各項目不同評價要素層次的得分見表5。
評價結果分析。采用兩級評價結果分析作為項目是否應給予立項的依據:一是分析最終結果,即對項目目標層進行綜合評價;二是分析立項依據,方案設計、項目規(guī)劃合理性,研究能力和條件支撐等主因素層評價結果。項目P10,綜合評價結果為(9.14,“優(yōu)”),立項依據評價結果為(9.19,“優(yōu)”),方案設計、項目規(guī)劃合理性評價結果為(9.00,“優(yōu)”),研究能力和條件支撐評價結果為(9.27,“優(yōu)”),無論是總評價還是因素層評價,得分都在9.00 以上,且各因素層得分較均衡。項目P1,綜合評價結果為(8.24, “良”),立項依據評價結果為(7.94,“良”),方案設計、項目規(guī)劃合理性評價結果為(9.03,“優(yōu)”),研究能力和條件支撐評價結果為(8.44,“良”),相比主因素層的其他2 個評價因素,該項目在立項依據上有一定的欠缺。通過對比目標層、主因素層評價結果,做類似的分析,可遴選出真正有立項價值的科研項目。
表4 各項目的指標評估值
表5 各項目評價得分
科研項目立項評價定性指標量化存在不確定性、模糊性問題,從評價專家的心理活動過程來說,更容易給出待立項項目各指標值的大致范圍。對指標層指標進行區(qū)間賦值,使用集值統(tǒng)計與TOPSIS 相結合的方法計算得到各評價要素層次的評估值,有利于解決科研項目特有的不完全信息難以描述、專家判斷映射失真等問題,從而提高評價的準確性和精度。
[1] 周春喜. 基于灰色理論的科研項目立項評審[J]. 科學學與科學技術管理,2006 (4):39-43,154.
[2] 梁威. 多層次灰色綜合評價方法在科研項目立項評審中的應用[J]. 科技與管理,2009 (6):44-46,52.
[3] 鮑海君,徐保根. 科研項目立項的可拓綜合評價[J]. 軟科學,2009 (10):42-45.
[4] 曹耀艷. 基于云理論的科研項目立項評審[J]. 科技管理研究,2013 (7):168-171.
[5] 程安亭,王雄. 科研項目立項評估研究[J]. 科技進步與對策,2008 (7):164-167.
[6] 周光中,朱衛(wèi)東. 科學基金項目立項評審中語言評價信息集結方法[J]. 軟科學,2010 (11):38-41.
[7] 郭健,尹潔林. 基于多粒度二元語義和灰色關聯(lián)分析的科技項目立項評價[J]. 科技管理研究,2011 (13):48-51.
[8] 李書全,朱孔國,李武. 基于支持向量機的重大科技項目立項評價研究[J]. 科技與管理,2010 (1):53-56.
[9] 方崇. 基于信息熵的TOPSIS 模型在科研項目立項評價中的應用[J]. 科技管理研究,2010 (20):211-213,195.
[10] 高翠娟,張樺,胡玉清,等. 集值統(tǒng)計方法在項目風險概率估計中的應用[J]. 統(tǒng)計與決策,2012 (4):92-93.
[11] 周榮喜,李守榮,楊敏,等. 基于Delphi-AHP 和加權集值統(tǒng)計的高校突發(fā)事件預警評估[J] . 運籌與管理,2013(3):146-153. PMT