符合我國特色的醫(yī)學(xué)科技項目評價體系的初步構(gòu)建

楊濤蓮，鐘 華，安新穎 ，王 衛(wèi)，王健偉

1中國醫(yī)學(xué)科學(xué)院 北京協(xié)和醫(yī)學(xué)院，北京 100730 2中國醫(yī)學(xué)科學(xué)院 北京協(xié)和醫(yī)學(xué)院 醫(yī)學(xué)信息研究所，北京 100020

基金項目：中國醫(yī)學(xué)科學(xué)院中央級公益性科研院所基本科研業(yè)務(wù)費專項資金(2021-ZHL630-003)和北京協(xié)和醫(yī)學(xué)院中央高?；究蒲袠I(yè)務(wù)費資助項目(3332021089、3332022172)

科技項目評價是科技管理的重要手段，對提升決策水平、優(yōu)化資源配置、明晰科技發(fā)展方向、激勵科技創(chuàng)新與促進科技發(fā)展發(fā)揮著至關(guān)重要的作用。2018年7月，由中共中央辦公廳、國務(wù)院辦公廳發(fā)布的《關(guān)于深化項目評審、人才評價、機構(gòu)評估改革的意見》中明確提出“嚴格項目成果評價驗收”。醫(yī)學(xué)研究是關(guān)乎社會經(jīng)濟發(fā)展、國家安全穩(wěn)定、人民健康福祉的重要基礎(chǔ)，目前國內(nèi)對醫(yī)學(xué)科技項目評價研究較少，尚未形成適合我國特點、符合醫(yī)學(xué)科技創(chuàng)新活動規(guī)律的成熟科技項目評價制度[1]。本研究在梳理國內(nèi)外科技評價的基礎(chǔ)上，探索構(gòu)建符合我國醫(yī)學(xué)學(xué)科特色的醫(yī)學(xué)科技項目評價體系，為催生真正高水平的科技成果奠定基礎(chǔ)。

資料和方法

初始評價框架的搭建采用文獻調(diào)研法，在遵循科學(xué)規(guī)范、可操作性原則基礎(chǔ)上，梳理國內(nèi)外科技評價研究現(xiàn)狀與實踐[2-7]，結(jié)合我國醫(yī)學(xué)科學(xué)研究規(guī)律、特點及對科技項目管理的要求，運用收集整理國內(nèi)外具有醫(yī)學(xué)特色的評價指標總結(jié)得到醫(yī)學(xué)科技項目評價核心要素，圍繞標志性成果產(chǎn)出水平、社會經(jīng)濟效益、發(fā)展?jié)摿Φ确矫嫘纬沙跫壷笜丝蚣堋?/p>

評價指標的篩選和確定：邀請長期從事醫(yī)學(xué)基礎(chǔ)研究、臨床診療及技術(shù)研發(fā)等領(lǐng)域工作的專家及科研管理部門專家參與指標論證，采用德爾菲法開展兩輪專家咨詢，對指標適用性、重要性和可操作性進行打分，并結(jié)合專家意見和量化判斷對初級指標進行篩選、討論和修改，進而構(gòu)建醫(yī)學(xué)科技項目評價模型，形成準確清晰的指標體系。

評價指標權(quán)重的確定：采用層次分析法，構(gòu)建目標層、準則層和指標層的層次遞階結(jié)構(gòu)，按照Satty1-9比例標度法和差值比較法構(gòu)建矩陣，并邀請專家進行指標重要性兩兩比較判斷，采用方根法計算矩陣特征向量并進行一致性檢驗，最終確定各指標權(quán)重及組合權(quán)重。

分類評價體系的構(gòu)建醫(yī)學(xué)研究領(lǐng)域繁雜，為避免“一刀切”粗放式評價不利于科學(xué)技術(shù)發(fā)展，本評價體系以分類評價作為出發(fā)點，依據(jù)醫(yī)學(xué)科技項目類型分為基礎(chǔ)前沿類、疾病防治類、藥械研發(fā)類、技術(shù)支撐類、基礎(chǔ)性科技工作類開展分類評價?；A(chǔ)前沿類重點評價知識創(chuàng)新的質(zhì)量和水平。疾病防治類重點評價在疾病防治領(lǐng)域重大關(guān)鍵科技問題突破。藥械研發(fā)類重點評價創(chuàng)新性藥物、疫苗、醫(yī)療器械等研發(fā)情況。技術(shù)支撐類重點評價建成的平臺和技術(shù)體系的水平?；A(chǔ)性科技工作類重點評價科技資源庫、科學(xué)數(shù)據(jù)庫等建設(shè)與共享情況。

項目評價體系的應(yīng)用將構(gòu)建的醫(yī)學(xué)科技項目評價體系應(yīng)用于中國醫(yī)學(xué)科學(xué)院醫(yī)學(xué)與健康科技創(chuàng)新工程(以下簡稱“醫(yī)學(xué)創(chuàng)新工程”)重大項目的驗收評價工作。依據(jù)分類評價原則，將參加驗收的72個重大項目分為以下5組：基礎(chǔ)前沿類項目18個，疾病防治類項目16個，藥械研發(fā)類項目8個，技術(shù)支撐類項目17個，基礎(chǔ)性科技工作類項目13個。結(jié)合專家綜合評價中優(yōu)秀、良好和合格3檔評價結(jié)論，通過對中國醫(yī)學(xué)科學(xué)院MacRP科研管理平臺系統(tǒng)收錄的上述72個重大項目的990條代表作類型進行分析，采用描述性統(tǒng)計分析和百分比數(shù)據(jù)展示，探知不同項目類型的分檔評價結(jié)論與各類項目代表作類型選取的關(guān)聯(lián)性。

科研人員對評價體系的評價對科研人員就本研究建立的醫(yī)學(xué)科技項目評價體系滿意度進行調(diào)查，向承擔(dān)醫(yī)學(xué)創(chuàng)新工程項目的95名項目負責(zé)人發(fā)放問卷，問卷內(nèi)容包括對評價體系整體滿意度、代表作制度、分類評價、四重評價范式、動態(tài)調(diào)整機制、破“五唯”力度和對項目實施推動作用以及對科研人員的激勵作用等，滿意度分為非常滿意、比較滿意、一般、不滿意和非常不滿意5檔。統(tǒng)計收回問卷中項目負責(zé)人對各項問卷內(nèi)容的滿意度選擇，數(shù)據(jù)采取百分比展示，以了解科研人員對本評價體系的認可度。

結(jié) 果

醫(yī)學(xué)科技項目評價體系初步建成通過以上方法，創(chuàng)建并形成符合我國特色的多維綜合、差異化的分層分類的醫(yī)學(xué)科技項目評價指標體系，包含項目和項目承擔(dān)單位兩個層級。其中，項目評價指標包含2個一級指標和5個二級指標(表1)，在代表性成果和社會經(jīng)濟效益的賦值上依據(jù)不同項目類型設(shè)定不同分值；項目承擔(dān)單位評價指標包含5個一級指標和9個二級指標(表2)。為最大程度地調(diào)動項目各層級創(chuàng)新主體的積極性，全方位評價項目實施成效，構(gòu)建四層評價范式，具體為“項目自評+第三方評價(定量評價)+專家綜合評價(定性評價)+項目承擔(dān)單位評價”。項目自評由項目負責(zé)人組織專家組對項目內(nèi)人員對項目實施的貢獻度進行評價。第三方評價機構(gòu)對項目填報數(shù)據(jù)進行審核、處理與分析，提供學(xué)術(shù)表現(xiàn)分析報告。專家綜合評價根據(jù)項目類型實行基于任務(wù)書預(yù)期目標完成情況的結(jié)論評價和代表性成果水平及效果的分檔評價。為強化和落實項目承擔(dān)單位主體責(zé)任，建立針對項目承擔(dān)單位的評價機制。建立了基于評價結(jié)果的應(yīng)用機制，對優(yōu)秀項目和單位予以科研經(jīng)費獎補，對評價不合格的項目和單位建立“黑名單”，并在規(guī)定時間內(nèi)限制其申報項目的資格。

表1 醫(yī)學(xué)科技項目評價指標

表2 醫(yī)學(xué)科技項目承擔(dān)單位評價指標

項目分類評價結(jié)論與其代表作類型關(guān)聯(lián)度基于醫(yī)學(xué)科技項目分類評價體系在醫(yī)學(xué)創(chuàng)新工程重大項目驗收評價工作中的應(yīng)用實踐，對不同分檔評價結(jié)論的各類項目代表作類型進行分析，結(jié)果顯示：基礎(chǔ)前沿類評為優(yōu)秀的項目主要為論文(84.09%)、授權(quán)發(fā)明專利(9.09%)，評為良好的項目主要為論文(83.33%)、授權(quán)發(fā)明專利(11.33%)，評為合格的項目主要為論文(87.27%)、授權(quán)發(fā)明專利(10.91%)；疾病防治類評為優(yōu)秀的項目主要為論文(83.02%)、臨床指南(9.43%)，評為良好的項目主要為論文(76.17%)、臨床指南(6.22%)，評為合格的項目主要為論文(84.21%)、授權(quán)發(fā)明專利(10.53%)；藥械研發(fā)類評為優(yōu)秀的項目主要為論文(36.84%)、授權(quán)發(fā)明專利(26.32%)、臨床試驗(10.53%)、成果轉(zhuǎn)化(10.53%)、國內(nèi)外頂級學(xué)術(shù)會議報告(10.53%)、藥品注冊證書(5.26%)，評為良好的項目主要為論文(72.58%)、授權(quán)發(fā)明專利(9.68%)、臨床試驗(9.68%)；技術(shù)支撐類評為優(yōu)秀的項目主要為論文(65.96%)、平臺建設(shè)(12.77%)、授權(quán)發(fā)明專利(8.51%)、動物模型(8.51%)，評為良好的項目主要為論文(66.46%)、平臺建設(shè)(12.66%)、成果轉(zhuǎn)化(6.96%)、授權(quán)發(fā)明專利(6.33%)，評為合格的項目主要為論文(91.67%)、授權(quán)發(fā)明專利(8.33%)；基礎(chǔ)性科技工作類評為優(yōu)秀的項目主要為論文(59.02%)、平臺建設(shè)(16.39%)、成果轉(zhuǎn)化(11.48%)、臨床指南(9.84%)，評為良好的項目主要為論文(71.30%)、平臺建設(shè)(20.37%)、授權(quán)發(fā)明專利(5.56%)，評為合格的項目主要為論文(75.00%)、平臺建設(shè)(16.67%)、標準(8.33%)(圖1)。項目代表作形式多樣，論文在各類項目代表作中占比較高，但在評為優(yōu)秀的16個項目中5個項目僅選取1～2篇論文作為代表作(表3)，評價分檔結(jié)論與代表性成果選取類型相關(guān)，優(yōu)秀項目的代表作類型與項目類型關(guān)聯(lián)度更契合，比如藥械研發(fā)類優(yōu)秀項目代表作類型中授權(quán)發(fā)明專利與成果轉(zhuǎn)化占比較良好項目更高，更符合藥械研發(fā)類項目評價標準。

圖1 各類項目代表作類型情況

表3 優(yōu)秀項目代表作論文情況(篇)

科研人員對評價體系的滿意度對科研人員就建立的醫(yī)學(xué)科技項目評價體系滿意度進行調(diào)查，共發(fā)放95份問卷，回收80份。結(jié)果顯示：項目負責(zé)人對醫(yī)學(xué)科技項目評價體系整體滿意度為96.25%，對項目評價體系中具體舉措和效果滿意度從高到低依次為項目自評(95.00%)、第三方評價(定量評價)(95.00%)、分類評價(93.75%)、代表作制度(92.50%)、專家綜合評價(定性評價)(92.50%)、定性評價結(jié)果準確性(91.25%)、動態(tài)調(diào)整機制(87.50%)、破“五唯”力度(83.75%)、對項目實施推動作用(82.50%)和對科研人員的激勵作用(73.75%)。多數(shù)項目負責(zé)人比較認可本研究建立的醫(yī)學(xué)項目評價體系，但同時對激勵機制提出更高的要求。

討 論

根據(jù)醫(yī)學(xué)創(chuàng)新工程項目驗收評價數(shù)據(jù)分析，本研究初步構(gòu)建了以創(chuàng)新能力、質(zhì)量、貢獻為導(dǎo)向且符合我國特色的醫(yī)學(xué)科技項目評價體系，基本奠定了分類評價的核心地位和評價重點，代表性成果形式多樣一定程度上改善了既往“五唯”科研評價誤區(qū)，并實現(xiàn)了考評結(jié)果與目標校正、預(yù)算分配等掛鉤，較好地激發(fā)了科研人員創(chuàng)新活力。

分類評價導(dǎo)向的推行促使評價精準度提升未對醫(yī)學(xué)科研項目進行分類前，基礎(chǔ)性科技工作與基礎(chǔ)前沿類研究在過往實行統(tǒng)一評價，前者偏向于基礎(chǔ)性戰(zhàn)略性科技資源建設(shè)，后者偏向于前沿理論探索，分類評價為基礎(chǔ)性戰(zhàn)略性資源建設(shè)項目提供了保障機制，為科研人員潛心研究創(chuàng)造了良好的學(xué)術(shù)氛圍，推動科研人員真正回歸科學(xué)研究本身。依據(jù)分類評價效果，我院將項目評價前置，在項目立項評審環(huán)節(jié)中對項目預(yù)期成果和考核指標按照分類評價標準進行嚴格把關(guān)，比如疾病防治類項目應(yīng)重點關(guān)注改變臨床實踐，藥械研發(fā)類項目應(yīng)關(guān)注突破藥械研發(fā)中的“卡脖子”技術(shù)，更利于與科技計劃、科研機構(gòu)戰(zhàn)略目標契合。

多元評價指標的設(shè)立有力破除“五唯”我國科技評價中存在重數(shù)量輕質(zhì)量、急功近利[8-10]等現(xiàn)象，處在迫切需要轉(zhuǎn)變發(fā)展道路的關(guān)鍵時刻，即抑制過度量化評價傾向，發(fā)展更加關(guān)注科技質(zhì)量的評價制度和方法，以保證能夠有更多原創(chuàng)性科學(xué)與技術(shù)的突破性成果產(chǎn)出，實現(xiàn)從“量變到質(zhì)變”的轉(zhuǎn)化[11]。本研究中評價指標的設(shè)置考慮到各類醫(yī)學(xué)科研成果的科學(xué)、技術(shù)、社會、經(jīng)濟的多元價值，納入的代表作形式多樣化，對代表作的數(shù)量作了限制，一方面弱化對量化指標的追逐，另一方面正向引導(dǎo)科研人員優(yōu)先關(guān)注代表作的質(zhì)量，避免低水平的復(fù)制，強化對高水平科學(xué)研究的導(dǎo)向作用，更有利于篩選出有發(fā)展?jié)摿Φ暮庙椖?。項目與機構(gòu)評價相結(jié)合，發(fā)揮單位和項目負責(zé)人主導(dǎo)作用，調(diào)動項目實施各方的積極性。

定量評價為定性評價提供有效支撐當(dāng)前科技項目評價方法有同行評議方法、案例分析方法、回顧性分析方法與指標分析法[12]等，其中以同行評議方法較常用[13]。然而，同行評議存在一定的弊端，容易造成裙帶關(guān)系和性別歧視[14]，影響評價結(jié)果準確性和客觀性。代表作時代勢必要厘清定量評價與定性評價的關(guān)系，使評價更具可信度[15-16]。本研究對定量評價與定性評價相結(jié)合的方式進行了初步探索，建立的第三方評價(定量評價)機制既可減少同行評價的分歧和模糊操作空間，又可提升評價效率和評價準確性[17]，為同行評議提供客觀的數(shù)據(jù)支持。并引入外部高水平專家評價機制，突破內(nèi)部的學(xué)術(shù)裙帶關(guān)系，外部專家給予的中肯建議一方面加強了與外部兄弟單位的科研交流，另一方面提高了科研項目評價質(zhì)量，改善了過去驗收形式化的不良現(xiàn)象，切實推動項目高效實施。

綜上，本研究成功構(gòu)建了醫(yī)學(xué)科技項目評價體系，但仍處于初步階段，下一步將加強對定量評價與定性評價關(guān)系的深入探索，在保證科學(xué)評價基礎(chǔ)上如何進一步激發(fā)科研人員創(chuàng)新活力仍需不斷探究?？萍荚u價工作必須要回歸科學(xué)研究本身來尋求理性的評價方案，真正通過科學(xué)的評價方案去發(fā)現(xiàn)和培養(yǎng)優(yōu)秀的科學(xué)家，催生真正高水平的科技成果，培育真正前沿的科研項目，建設(shè)真正領(lǐng)先的科研機構(gòu)，評價的導(dǎo)向應(yīng)當(dāng)是引導(dǎo)相應(yīng)被評價的創(chuàng)新主體更好地發(fā)揮作用[18]，將科技創(chuàng)新的目的聚焦于對社會的貢獻服務(wù)[19]，建立適應(yīng)創(chuàng)新驅(qū)動發(fā)展和健康中國戰(zhàn)略的科技評價制度改革和評價體系仍然任重而道遠。