摘要:結(jié)合“雙一流”建設(shè),通過文獻研究及問卷咨詢,探索構(gòu)建高校科研評價指標體系。利用層次分析法對指標權(quán)重賦值,分析各項指標在科研評價體系中的重要度,為高校提升科研質(zhì)量,促進科技創(chuàng)新、成果轉(zhuǎn)化提供參考。
關(guān)鍵詞:科研評價;指標權(quán)重;層次分析
結(jié)合以往的研究基礎(chǔ),在高校“雙一流”建設(shè)背景下,科研評價體系亟待改革完善。建立有效合理的高??蒲性u價體系,對高校加快 “雙一流”建設(shè)和提升綜合實力意義重大。國家正推動改革科技評價制度,建立以科技創(chuàng)新質(zhì)量、貢獻、績效為導(dǎo)向的分類評價體系,正確評價科技創(chuàng)新成果的價值。在國家政策導(dǎo)向下,高校如何在實踐中將政策落地,形成具體的框架體系,需結(jié)合實際進行系統(tǒng)深入的研究分析。
本研究主要應(yīng)用問卷咨詢和層次分析法,探索構(gòu)建兼顧指標權(quán)重的高??蒲性u價體系。通過各項指標權(quán)重大小,分析其在科研評價體系中的重要度,為高校提升科研質(zhì)量,促進科技創(chuàng)新、成果轉(zhuǎn)化提供參考。
1研究方法
結(jié)合文獻分析、調(diào)研成果及國家現(xiàn)行政策,通過設(shè)計問卷,咨詢專家對科研評價指標的建議,再采用定性和定量結(jié)合的層次分析法(Analytic Hierarchy Process,AHP)確定科研評價指標權(quán)重,優(yōu)化評價體系。
層次分析法為美國運籌學家匹茨堡大學薩蒂(T.L.Saaty)教授提出,其基本原理是充分利用人的經(jīng)驗和判斷,對定量和非定量因素進行統(tǒng)一測度,通過兩兩比較方案或目標的相對重要性,構(gòu)造判斷矩陣,計算判斷矩陣的最大特征根和特征向量,進而得到方案或目標相對重要性的定量化描述[1]。AHP是將人的主觀判斷用數(shù)量形式表達和處理的方法,盡量減少個人主觀臆斷所帶來的弊端,使評價結(jié)果更可信[2]。
2具體步驟
2.1評價指標的篩選及確定
通過查閱大量文獻,結(jié)合高校科研評價的特點和實際情況,初步形成評價指標體系的框架,完成第一輪咨詢問卷的設(shè)計、發(fā)放和回收。 本輪咨詢問卷主要面向從事科研和科研管理的人員,共計130位,其參與積極性高,學科領(lǐng)域背景覆蓋面廣。咨詢專家的年齡在30歲以上的人數(shù)比例達90%,超過97%的咨詢專家具有博士研究生學歷,超過77%的咨詢專家具有副高及以上職稱,90%以上為從事一線科研的人員,從事10年以上本職工作的人數(shù)比例大于40%。
圖1的結(jié)果表明,專家對咨詢問卷中指標的認可度均在50%以上。特別是對于縱向項目經(jīng)費、國家級縱向項目、論文、國家級獎勵、省部級獎勵、專利技術(shù)實施許可或轉(zhuǎn)讓這幾個指標,參與問卷咨詢的專家認可度均達80%以上。咨詢專家還對指標內(nèi)涵及細化提出建設(shè)性意見,經(jīng)綜合分析,確定細化橫向項目、學術(shù)交流、科研基地、成果轉(zhuǎn)化四個方面的分類。
2.2基于層次分析法(AHP)的指標權(quán)重確定
2.2.1建立層次結(jié)構(gòu)模型
在初步構(gòu)建層次結(jié)構(gòu)模型及高??蒲兴皆u價指標體系的基礎(chǔ)上,經(jīng)征詢專家意見后進行了優(yōu)化。層次結(jié)構(gòu)共分為三層,頂層為目標層,該層為本研究的研究目標——高??蒲性u價指標體系,中間層為準則層,包括科研經(jīng)費、科研項目、學術(shù)交流、科研基地建設(shè)、高端人才隊伍、科研成果、科技獎勵和成果轉(zhuǎn)化8個維度,底層為指標層,該層為具體反映各維度的26個指標,見表1。
2.2.2構(gòu)建判斷矩陣
在構(gòu)建層次結(jié)構(gòu)模型的基礎(chǔ)上,邀請30位從事科研及管理的專家采用Saaty1-9標度評分標準進行賦值[3],構(gòu)建判斷矩陣。
30位專家中男性為24人,占比80%;年齡結(jié)構(gòu)分布較為平均,31-40歲12人,41-50歲10人,51-60歲8人;擁有博士研究生學位的專家為28人,占93.33%;擁有正高級專業(yè)技術(shù)職務(wù)的專家25人,占83.33%;28位專家從事教學科研工作,占93.33%;10年以上從事本職工作的專家23人,占73.33%。通過綜合30位專家的評價結(jié)果,能夠更為科學合理地反映高校科研評價的指標權(quán)重。
2.2.3一致性檢驗
對判斷矩陣均需進行一致性檢驗,驗證判斷矩陣求出的權(quán)值的合理性。
一致性和隨機性檢驗公式:
CI為一致性指標(Consistency Index),RI為平均隨機一致性指標。當CR<0.1時,認為判斷矩陣的一致性可接受,否則需要對判斷矩陣進行調(diào)整[4]。
本研究構(gòu)建的判斷矩陣均滿足,通過一致性檢驗。
2.2.4計算指標權(quán)重
在構(gòu)建判斷矩陣的基礎(chǔ)上,將數(shù)據(jù)代入Matlab程序,對準則層及指標層相對上一層的權(quán)重進行計算,分別得出30位專家的賦權(quán)。再按準則層和指標層分別對30位專家的賦權(quán)進行平均,得到準則層權(quán)重最終值和指標層的單層權(quán)重最終值,見表1。根據(jù)準則層權(quán)重及各指標單層權(quán)重,計算出各項指標的綜合權(quán)重,結(jié)果如表1所示。
3.指標權(quán)重分析
根據(jù)本次高校科研評價指標的權(quán)重結(jié)果分析,各指標對高??蒲兴降呢暙I度是不同的。
(1)準則層相對權(quán)重值結(jié)果分析
表1表明,層次分析法結(jié)果顯示高??蒲性u價指標體系的準則層(B)權(quán)重排序為B8>B5>B6>B7>B4>B2>B3>B1,即成果轉(zhuǎn)化>高端人才隊伍>科研成果>科技獎勵>科研基地>科研項目>學術(shù)交流>科研經(jīng)費。
科技成果轉(zhuǎn)化(B8)、科研成果(B6)權(quán)重值分別為0.1737和0.1689,在準則層位居第一、第三,體現(xiàn)科技成果及其轉(zhuǎn)化在助推創(chuàng)新驅(qū)動發(fā)展中的重要作用。完善科研成果評價機制,可以從導(dǎo)向入手解決科研成果轉(zhuǎn)化問題。論文、專利等指標在評價體系中占有一定比重,但是改變學術(shù)評價的“唯論文”等指揮棒是科研評價體制改革的關(guān)鍵環(huán)節(jié)。除了以專利技術(shù)實施許可或轉(zhuǎn)讓收益金額來體現(xiàn)科技成果轉(zhuǎn)化效能,如何將社會效益評價和經(jīng)濟效益評價有效納入科研成果評價,關(guān)注技術(shù)創(chuàng)新及其與科學的銜接,更是一個值得探討的問題。
高端人才隊伍(B5)的權(quán)重值為0.1724,僅次于科技成果轉(zhuǎn)化。所有科技活動都是由人來實施,人才必然是產(chǎn)出科研成果、實現(xiàn)科技成果轉(zhuǎn)化的主體。但需避免以“帽”取人,應(yīng)對素質(zhì)和能力進行全面甄別、考量。
科技獎勵(B7)也占有較高的比重,權(quán)重值為0.1653??萍吉剟钍菍蒲谐晒麅r值和作用的認可,具有重要的導(dǎo)向和激勵作用,直接關(guān)系到科技工作發(fā)展,關(guān)系到創(chuàng)新型國家建設(shè)戰(zhàn)略目標的實現(xiàn)。但同樣不能過度推崇獎勵,導(dǎo)致科研的動機偏離科研本身。
科研基地(B4)的權(quán)重值為0.1286,體現(xiàn)出科研基地是科技創(chuàng)新體系的重要組成部分,是科技創(chuàng)新、學科建設(shè)、人才培養(yǎng)以及參與市場競爭的重要平臺和載體。在“雙一流”建設(shè)背景下,加強科研基地建設(shè),對于促進學科持續(xù)性發(fā)展具有重大意義。
科研項目(B2)、學術(shù)交流(B3)、科研經(jīng)費(B1)是專家認為對高??蒲兴接绊懥^小的因素,權(quán)重值分別為0.0686、0.0658、0.0568。科研項目和科研經(jīng)費主要是科研投入的指標,若單純考量項目及經(jīng)費,不能對科研水平進行有效地評價。因此在整個科研評價指標體系中,將科研投入及科研產(chǎn)出同時考慮,并且賦予相應(yīng)的權(quán)重,才能全面合理地進行評價。
(2)指標層相對權(quán)重值結(jié)果分析
根據(jù)層次單排序結(jié)果,有以下特點:縱向科研經(jīng)費(X2)的相對權(quán)重值為0.6567,幾乎為橫向科研經(jīng)費(X1)的相對權(quán)重值的兩倍;科研項目中,橫向科研經(jīng)費數(shù)額高的項目總體上比縱向項目占更大的權(quán)重;相對于科研成果(B6)準則層,行業(yè)技術(shù)標準(X20)較科技論文(X17)的權(quán)重值更大,具有更高影響力;國家級獎勵(X21)的權(quán)重值遠大于其他獎勵類型的權(quán)重值,在獎勵中具有最大影響力。
(3)指標綜合權(quán)重值結(jié)果分析
指標綜合權(quán)重值是利用層次分析法得到的最終量化數(shù)據(jù),為構(gòu)建全面合理的科研評價體系提供參考。從層次總排序結(jié)果來看:國家級獎勵(X21)、國家級科研平臺(X12)、院士(X14)、專利技術(shù)實施許可或轉(zhuǎn)讓收益≥200萬(X24)和技術(shù)標準(X20)為影響高??蒲兴角?的指標;橫向項目(1000萬>單個項目經(jīng)費≥500萬)(X7)、國家級縱向項目(X3)、橫向項目(500萬>單個項目經(jīng)費≥200萬)(X8)、省部級縱向項目(X4)和市級縱向項目(X5)為對高??蒲兴接绊懥ψ畹偷?個指標。
綜上,層次分析的結(jié)果表明,影響高校科研水平的重點因素為成果轉(zhuǎn)化能力,高校應(yīng)加強科技成果轉(zhuǎn)化,為解決國家社會經(jīng)濟發(fā)展過程中的難點、熱點問題貢獻力量。本研究所構(gòu)建的評價指標體系及指標權(quán)重,尚待實際測試應(yīng)用以進一步優(yōu)化,以期為學??蒲性u價及考核管理等提供思路。
參考文獻:
[1]王英凱.基于德爾菲法和層次分析法原理的科研項目評價模型.山西財經(jīng)大學學報,2001,23:148-149
[2]鄧雪,李家銘,曾浩健等.層次分析法權(quán)重計算方法分析及其應(yīng)用研究.數(shù)學的實踐與認識,2012,42(7):94-100
[3]梁燕,耿燕,林玉偉,李相銀.基于層次分析法的高??萍紕?chuàng)新能力評價指標體系研究,科學學與科學技術(shù)管理,2009,5:194-196
[4]朱江,董先紅.基于德爾菲法和層次分析法構(gòu)建醫(yī)院藥學人員綜合評價指標體系,藥學服務(wù)與研究,2017(4):250-253
作者簡介:
黎梅(1983年-),女,重慶人,四川大學,講師,碩士學歷,研究方向:科研管理。
基金項目:
四川省軟科學研究計劃項目資助(項目立項編號:2019JDR0143)。