基于結(jié)構(gòu)-過程-結(jié)果理論的項目負責人科研信用評價體系研究

葉小剛

（廣東省科技創(chuàng)新監(jiān)測研究中心，廣東廣州 510033）

0 引言

近年來，隨著社交媒體的發(fā)展，科研工作者的誠信問題已從學術(shù)界內(nèi)部問題轉(zhuǎn)化為社會焦點問題，引發(fā)了全社會的廣泛討論與思考。2017年4月20日，世界上最大學術(shù)出版社之一的施普林格自然出版集團發(fā)表撤稿聲明，撤稿涉及來自中國的524名醫(yī)生和在讀醫(yī)學生[1]。這一事件點爆輿論。雖然該出版社聲明，并不會因此在今后的論文審查中加大對中國學者的論文審查力度，但是此次的集中撤稿事件已在國際上給中國學者帶來了惡劣的影響。

為加強科技信用管理，我國政府頒布一系列文件。2018年， 中共中央辦公廳、國務院辦公廳印發(fā)了《關(guān)于進一步加強科研誠信建設的若干意見》，提出完善科研誠信管理工作機制和責任體系，加強科研活動全流程誠信管理，進一步推進科研誠信制度化建設，嚴肅查處嚴重違背科研誠信要求的行為。2019年，中共中央辦公廳、國務院辦公廳印發(fā)了《關(guān)于進一步弘揚科學家精神加強作風和學風建設的意見》，提出堅守誠信底線，嚴查違背科研誠信要求的行為。但是因缺乏有效的科技信用評價體系，科技信用評價工作在科技部門管理中并沒有全面開展。

本文以科研活動中最重要主體之一的項目負責人為評價對象，基于國內(nèi)各地的科研信用評價實踐，借助結(jié)構(gòu)-過程-結(jié)果（SPO）理論從科研能力、科研過程與科研結(jié)果三方面構(gòu)建項目負責人信用評價指標，利用德爾菲法確立評價權(quán)重，提出AAA級、AA級、A級、B級以及C級五級標準，為科技管理部門加強科研誠信管理提供參考。

1 國內(nèi)科研信用評價探索

1.1 烏魯木齊

新疆烏魯木齊對科技信用的建設探索可追溯到2004年。2004年，我國頒布《關(guān)于在國家科技計劃管理中建立信用管理制度的決定》（國科發(fā)計字〔2004〕225 號），烏魯木齊緊跟國家政策，于同年10月7日制定頒布了《市科技局關(guān)于推進科技信用體系建設的實施方案》，開啟了地方建設科技信用的先河。2006年，烏魯木齊科技局頒布《關(guān)于進一步推動烏魯木齊市科技信用體系建設工作的通知》，明確將科技信用導入科技計劃項目管理的各個環(huán)節(jié)，企事業(yè)單位的科技信用等級作為計劃項目初審、復審、專家評估、立項管理等環(huán)節(jié)的重要條件，要求申請單位一般需要具備C級以上信用等級。2007年，烏魯木齊對科技信用評價指標體系、評價流程和評價方法等進行了二次研究，并開發(fā)科技信用評價管理系統(tǒng)，形成了現(xiàn)有的科技信用評價模式。烏魯木齊市科技信用評價對象主要是項目承擔單位,從科技實力、信用表現(xiàn)、管理能力、財務能力以及關(guān)聯(lián)信用等方面對項目承擔單位進行信用評價。截至2016年年末，烏木魯齊參與科技信用征信企事業(yè)單位達到1 100家，科技計劃項目到期驗收率從2004年的30%提升到2016年的70%，并得到科技部的高度認可，成為國內(nèi)科技信用體系建設工作的標桿。

1.2 重慶

2014年，重慶頒布《重慶市科學技術(shù)委員會科技計劃信用管理辦法（試行）》。2015年1月1日，重慶正式啟動科技信用管理機制，啟用科技信用管理系統(tǒng)。重慶市科技信用建設主要有以下特點：一是評價對象全面，評價標準清晰。重慶市科技信用評價對象涵蓋了科技活動中所有相關(guān)人員，包括項目專業(yè)管理機構(gòu)、項目承擔單位、項目負責人、評估評審專家四大主體，對于每一主體，都從道德規(guī)范與行為規(guī)范兩方面提出了科技信用評價指標體系，并明確了行為等級與扣分制。二是實行周期管理，動態(tài)調(diào)整信用記錄。重慶市科技信用管理實行記分制?？萍加媱澬庞糜浄殖跏挤种禐?0分，當相關(guān)責任主體在道德規(guī)范和行為規(guī)范上出現(xiàn)科研不端和失信行為時，根據(jù)科技計劃信用記錄扣減相應分值。其中，相關(guān)責任主體為項目承擔單位、評審評估機構(gòu)或?qū)＜业模u分周期為3年；相關(guān)責任主體為項目負責人的，評分周期為5年。三是劃分四級信用等級，結(jié)果應用廣泛。重慶市科技信用記分的默認分值為10分，根據(jù)相關(guān)對象的失信行為，扣以1分至10分不等的分值。對于信用等級為“良好”的，在市級科技計劃項目立項支持、評審評估委托、高新技術(shù)企業(yè)認定、科技獎勵評定以及組織推薦國家科技計劃項目等方面，在同等條件下予以優(yōu)先考慮；對信用等級為“嚴重失信”且信用分值為0分的，將其列入“黑名單”，取消其在市級科技計劃項目立項支持、評審評估委托、高新技術(shù)企業(yè)認定、科技獎勵評定以及組織推薦國家科技計劃項目等方面的資格。

1.3 廣東

廣東對科技信用的建設探索較早。2006年，為加強對專家?guī)斓墓芾?，清理不遵守評審規(guī)則的專家，廣東省科技廳引入了“黑名單”。在科技咨詢過程中，對于發(fā)生嚴重不良行為的專家，將其列入“黑名單”，間斷性或永久性禁止其參與有關(guān)的科技咨詢活動。2014年，廣東省科技廳頒布《廣東省科學技術(shù)廳關(guān)于省科技計劃信用的管理辦法（試行）》，明確了省科技計劃信用管理對象包括省科技計劃項目承擔單位、項目負責人、評估評審專家以及項目專業(yè)管理機構(gòu)等，科技信用信息包括良好信用記錄和不良信用記錄，對于不同等級科技信用評價結(jié)果的運用，管理辦法給出了明確的規(guī)定，為廣東省科技信用評價實踐奠定政策基礎(chǔ)。2017年廣東出臺《廣東省科學技術(shù)廳關(guān)于省級科技計劃(專項、基金等)嚴重失信行為記錄與懲戒暫行規(guī)定》，對存在嚴重失信行為的項目負責人、承擔單位及專業(yè)機構(gòu)等提出處理措施及意見。在政策指導下，廣東省大力推動科研誠信平臺建設，并于2018年4月啟用，截至2020年4月24日，平臺累計記錄173位項目負責人、117家承擔單位不良信用。

2 項目負責人科研信用評價指標體系構(gòu)建

2.1 維度來源

SPO理論是Donabedian提出的分析護養(yǎng)院服務質(zhì)量的經(jīng)典理論模型[2-3]。其中，結(jié)構(gòu)（structure）描述了提供照料的原始特征，包括服務時使用的硬件設施、人力資源以及配備資金等；過程（process）描述照料者為被照料對象所做的事，包括精神和身體上的各種照料、關(guān)心活動等；結(jié)果（outcome）描述了被照料者最后希望或者不希望達到的狀態(tài)，如被照料者健康狀態(tài)改善、情緒變好等[4]。SPO理論認為，良好的結(jié)構(gòu)會促進良好的過程，良好的過程會促進良好的結(jié)果。因結(jié)構(gòu)簡單、適用性強、便于操作等諸多特點，SPO理論模型在服務質(zhì)量領(lǐng)域獲得了廣泛的應用[5-7]。

本文借鑒SPO理論，從結(jié)構(gòu)、過程以及結(jié)果三方面構(gòu)造科技信用的3個維度?？萍夹庞檬强蒲腥藛T及相關(guān)機構(gòu)從事科技活動時的有關(guān)能力和表現(xiàn)[8]，因此，科技信用衡量的核心概念應該是科研能力與表現(xiàn)：結(jié)構(gòu)維度衡量的是科技相關(guān)主體固有的科研能力；過程描述的是科技工作者在科技活動中履行約定義務、遵守正式承諾、遵守科技界公認的行為準則的表現(xiàn)，重點關(guān)注的是不良表現(xiàn)；結(jié)果維度衡量的是科技相關(guān)主體在科技活動中取得的表現(xiàn)，重點關(guān)注的是突出表現(xiàn)和不良表現(xiàn)。

2.2 指標構(gòu)建

2.2.1 結(jié)構(gòu)

結(jié)構(gòu)主要衡量項目負責人的科研能力。白景永[9]在研究高校老師科研能力評價體系時，將高校老師的寫作能力、綜合分析能力、信息采集能力、計算機應用能力以及科研成果作為評價維度。譚雷等[10]在研究高校人才科研能力評價時提出，人事信息、科研寫作能力、項目開發(fā)能力、學術(shù)組織參與度以及學術(shù)活動參與度五大指標基本囊括了科研能力的全部指標。吳小妹等[11]通過專家訪談與問卷調(diào)查的方法，將科研能力評價指標體系分為能力表現(xiàn)、能力層次以及能力資源3個角度，其中，能力表現(xiàn)分為發(fā)表論文、發(fā)表專著、獲取專利、獲得獎項、研究報告以及項目資助6項。

綜合以上研究，本文將從寫作能力、項目開發(fā)能力以及學術(shù)影響能力等方面來衡量研究人員的科研能力。具體而言，寫作能力分為項目負責人論文發(fā)表情況以及著作出版情況；項目開發(fā)能力可以分為項目負責人主持或者參與的各類課題情況；學術(shù)影響能力分為研究成果獲各級獎項以及學術(shù)兼職情況。

2.2.2 過程與結(jié)果

目前科技信用的研究和實踐都尚處探索階段，但是中央政府和各省份已經(jīng)出臺有關(guān)意見，為科技信用評價的研究和探索奠定了政策方向。2016年《國家科技計劃（專項、基金等）嚴重失信行為記錄暫行規(guī)定》印發(fā)，對國家科技計劃申報、立項、實施、管理、驗收和咨詢評審評估等全過程的嚴重失信行為進行了規(guī)定，并提出了處理措施，根據(jù)這一文件并結(jié)合各省份相關(guān)實踐，本文提出項目負責人信用評價指標（見表1）。

表1 科技項目負責人信用評價指標體系

3 權(quán)重與評價標準構(gòu)建

3.1 權(quán)重確立方法

德爾菲法又名專家意見法，于20世紀40年代由蘭德公司開發(fā)，是專家調(diào)查法的重要形式。該方法依據(jù)系統(tǒng)的程序，采用匿名發(fā)表意見的方式，即專家之間不得互相討論、不發(fā)生橫向聯(lián)系，只能與調(diào)查人員發(fā)生關(guān)系，通過多輪次調(diào)查專家對問卷所提問題的看法，經(jīng)過反復征詢、歸納、修改，最后匯總成專家基本一致的看法，作為預測的結(jié)果[12]。德爾菲法的特點是匿名性、反饋性和統(tǒng)計性。

德爾菲法與其他評價方法相比，得到的結(jié)果更加可靠、科學、統(tǒng)一。首先，該方法充分利用了各專家的資源、經(jīng)驗、學識，得到的結(jié)果更可靠；其次，該方法使用匿名的方式防止了專家的從眾思想，能夠得到專家獨立的判研，使得結(jié)果更加科學；該方法最后在幾輪的收集反饋中專家意見逐漸趨于一致，避免了爭執(zhí)而久久沒有結(jié)果的情況，結(jié)果趨于統(tǒng)一。

3.2 確立權(quán)重

3.2.1 基本原理

考慮到直接用算術(shù)平均值計算各項指標權(quán)重會忽略了不同專家的權(quán)威程度，因此，在計算科技信用指標權(quán)重時，應考慮專家的權(quán)威程度。具體而言，權(quán)威程度越高的專家，對科技信用指標的判斷應該更可靠；另一方面，受德爾菲法問卷本身結(jié)構(gòu)影響，專家在考慮該項指標的重要程度時，僅從指標本身是否重要進行考慮，而缺少從所在維度以及整個指標體系來考慮該項指標應該處于什么樣的地位。因此，本研究引入所在維度權(quán)重以及滿分率計算具體評價指標權(quán)重的方法。

3.2.2 模型構(gòu)建

3.2.3 計算結(jié)果

根據(jù)公式（4）計算得到表2。為了更直觀分辨每個指標的相對大小，以每組指標的最大值為對照，計算出每個指標的相對大小。

表2 科技信用評價指標絕對權(quán)重與相對權(quán)重

3.3 評價標準確立

3.3.1 評價等級及內(nèi)涵

根據(jù)《廣東省科學技術(shù)廳關(guān)于省科技計劃信用的管理辦法（試行）》以及重慶、新疆等地區(qū)的實踐，本文將科技信用評分及等級劃分為以下五類：

（1）AAA級：90分及以上，信用優(yōu)秀，無任何不良科技信用記錄，科研能力、機構(gòu)管理能力突出；

（2）AA級：80至90分，信用良好，無任何不良科技信用記錄，科研能力較好、機構(gòu)組織能力良好；

（3）A級：70至80分，信用一般，無嚴重不良科技信用記錄；

（4）B級：60至70分，信用較差，存在較嚴重的不良科技信用記錄；

（5）C級：60分以下，嚴重失信，存在非常嚴重的失信行為。

考慮到與既有政策的承接性以及政策實施的可行性，本研究設定科技信用評價初始默認等級為A級80分，科研能力指標主要作為正向指標，科研過程與科研結(jié)果主要作為負面指標，科技主管部門根據(jù)各類信用主體遵守信用情況以及能力狀況，動態(tài)調(diào)整信用。

3.3.2 指標得分標準

根據(jù)表3，以20分為每一指標的最高得分，計算各指標的相對得分。為了方便指標的實際應用，本文對指標分數(shù)進行了取整處理。

表3 科技項目負責人科技信用評價指標得分標準

4 結(jié)語

項目負責人科研信用建設是營造良好學術(shù)環(huán)境的重要一環(huán)。本文基于新疆、重慶以及廣東等地區(qū)科技信用管理的實踐，構(gòu)建了科技項目負責人科研信用評價指標體系，為科技管理部門科研誠信體系建設提供參考。但是指標體系建設只是科研誠信建設的基礎(chǔ)，各級科技管理部門應進一步完善相關(guān)配套政策，對不同信用進行分級管理，加強結(jié)果應用，逐步將科技信用評價結(jié)果應用到相關(guān)科技業(yè)務中；同時，加強科技信用信息互通互享，建立聯(lián)合懲戒機制，共同打擊失信行為。