面向科技評(píng)估的專家評(píng)審系統(tǒng)研究與實(shí)踐

李家深

廣西壯族自治區(qū)科學(xué)技術(shù)情報(bào)研究所 南寧 530022

引言

2016年5月，習(xí)近平總書記在全國科技創(chuàng)新大會(huì)、兩院院士大會(huì)、中國科協(xié)第九次全國代表大會(huì)上的講話中提出，要改革科技評(píng)價(jià)制度，建立以科技創(chuàng)新質(zhì)量、貢獻(xiàn)、績(jī)效為導(dǎo)向的分類評(píng)價(jià)體系[1]。2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》，要求深化“三評(píng)”改革，激發(fā)科研人員積極性創(chuàng)造性，構(gòu)建科學(xué)、規(guī)范、高效、誠信的科技評(píng)價(jià)體系，推進(jìn)分類評(píng)價(jià)制度建設(shè)，發(fā)揮好評(píng)價(jià)指揮棒和風(fēng)向標(biāo)作用[2]。習(xí)近平總書記的重要講話和指示，以及“三評(píng)”改革意見，是加強(qiáng)科技評(píng)價(jià)工作的指導(dǎo)思想。黨的十八大以來，黨中央國務(wù)院高度重視科技評(píng)估工作，先后出臺(tái)一系列重要文件和措施，明確了科技評(píng)估工作思路，是開展科技評(píng)估工作的根本遵循。這些文件政策明確了科技評(píng)估的價(jià)值導(dǎo)向、實(shí)施方式、組織模式、結(jié)果應(yīng)用等，對(duì)評(píng)估機(jī)構(gòu)和人員的能力建設(shè)也提出了更高的要求。國家統(tǒng)計(jì)局發(fā)布的最新數(shù)據(jù)顯示，2021年我國R&D經(jīng)費(fèi)投入高達(dá)2.78萬億元，比上年增長14.2%[3]。在此背景下，如何充分發(fā)揮科技評(píng)估對(duì)科技創(chuàng)新的指導(dǎo)作用，高效利用快速增長的研發(fā)投入、進(jìn)而支持高質(zhì)量社會(huì)發(fā)展，是當(dāng)前科研評(píng)估工作所面臨的重大挑戰(zhàn)，也是科技評(píng)估研究的重要使命和機(jī)遇?？萍荚u(píng)估是一項(xiàng)知識(shí)密集型、專業(yè)性強(qiáng)的綜合性服務(wù)，科技評(píng)估活動(dòng)除需要科技評(píng)估人員、科技評(píng)估機(jī)構(gòu)，更需要科技評(píng)審專家的參與。如何充分發(fā)揮專家以及大數(shù)據(jù)關(guān)聯(lián)技術(shù)提升評(píng)估工作的公平性和公正性，提高評(píng)審專家遴選以及工作效率，構(gòu)建適用科技人才、科技項(xiàng)目、科技成果等多類科技評(píng)估場(chǎng)景的專家評(píng)審技術(shù)體系，是本研究擬解決的主要科學(xué)問題。

1 大數(shù)據(jù)背景下的科技評(píng)估研究現(xiàn)狀

1.1 國際科技評(píng)估制度與實(shí)踐

作為傳統(tǒng)科技強(qiáng)國，英國構(gòu)架了以科技計(jì)劃、項(xiàng)目和科研機(jī)構(gòu)評(píng)估為主體的科技評(píng)估體系。在該體系下，政府、公共組織和社會(huì)機(jī)構(gòu)相互協(xié)作，形成了自上而下多層次的科技評(píng)估組織架構(gòu)，保證了公共資源的合理分配和高效利用[4]。1976 年美國國會(huì)通過《國家科技政策、組織和重點(diǎn)法》，是較早以法律形式推動(dòng)科技評(píng)估工作的文件，因此也成為了美國至今為止較為重要科技管理法律依據(jù)。在操作層面，美國的科技項(xiàng)目評(píng)審?fù)傻谌綑C(jī)構(gòu)來承擔(dān)，在專家遴選過程中，采用輪換制和回避制[5]。除了國家研究評(píng)估委員會(huì)外，法國的一些中介評(píng)估機(jī)構(gòu)也承擔(dān)了一部分科技評(píng)估工作，專門從事技術(shù)轉(zhuǎn)移中基于科技創(chuàng)新價(jià)值評(píng)估的項(xiàng)目選擇工作[6]。此外，德國的馬普學(xué)會(huì)、日本的總務(wù)省都是各自國家科技評(píng)估體系中較為重要的組織或者機(jī)構(gòu)[7]。

1.2 我國的科技評(píng)估制度和系統(tǒng)建設(shè)

在科技發(fā)展日新月異的新世紀(jì)，科技評(píng)估的形式由單一的會(huì)議評(píng)審轉(zhuǎn)變?yōu)榫€上、線下混合評(píng)審的模式，評(píng)審的對(duì)象越來越多元化，項(xiàng)目數(shù)量越來越多。在此背景下，構(gòu)建具有中國特色的、基于數(shù)字化技術(shù)的評(píng)估體系是我國科技發(fā)展的必由之路。潘教峰等人提出了科技評(píng)估DIIS方法，也就是在科技評(píng)估中通過收集數(shù)據(jù)、揭示信息、綜合研判和形成方案的流程進(jìn)行方案的設(shè)計(jì)和實(shí)[8]。國內(nèi)有不少針對(duì)科技評(píng)估對(duì)象、評(píng)估相關(guān)方法、標(biāo)準(zhǔn)和系統(tǒng)的研究，如阮航等對(duì)科技成果評(píng)價(jià)體系的研究[9]，李子愚等對(duì)國際科技合作評(píng)估信息系統(tǒng)[10]，楊光針對(duì)科技項(xiàng)目評(píng)審的研究[11]。國家科技評(píng)估中心實(shí)行“小核心、大網(wǎng)絡(luò)”的運(yùn)行機(jī)制，除科技評(píng)估人員外，中心還聘有高級(jí)咨詢顧問10多名，在共享科技部、國家自然基金委專家?guī)斓耐瑫r(shí)，還專門建立了一支有近5000名評(píng)估專家的隊(duì)伍，其中包括中國科學(xué)院、中國工程院的數(shù)百名院士[12]。

1.3 大數(shù)據(jù)背景下的專家遴選策略研究

當(dāng)前科技評(píng)估方式一般有兩種：一是由管理部門直接邀請(qǐng)專家開展評(píng)估分析工作；二是管理部門委托評(píng)估機(jī)構(gòu)實(shí)施評(píng)估工作，評(píng)估機(jī)構(gòu)再邀請(qǐng)專家開展評(píng)估分析工作[13]。無論采用什么評(píng)議形式，比如單盲或者雙盲，以及哪種評(píng)議方式，比如通訊評(píng)審還是會(huì)議評(píng)審，基于同行評(píng)議的科技評(píng)估中，都是借助專家的專業(yè)知識(shí)，以評(píng)估對(duì)象責(zé)任主體提供的評(píng)估信息為基礎(chǔ)，按照一定的標(biāo)準(zhǔn)、程序?qū)υu(píng)估對(duì)象開展評(píng)估分析。專家評(píng)審工作的質(zhì)量和專家的遴選，直接關(guān)系到科技評(píng)估工作的成效。羅軍等人提出了針對(duì)專家評(píng)審工作質(zhì)量的評(píng)價(jià)模型，作者利用該模型對(duì)廣東省的重點(diǎn)領(lǐng)域研發(fā)項(xiàng)目評(píng)審效果進(jìn)行了評(píng)估[14]。數(shù)字化基礎(chǔ)設(shè)施的逐漸成熟給同行評(píng)議中的專家遴選帶來了便利條件，各種基于大數(shù)據(jù)的遴選算法或者系統(tǒng)應(yīng)運(yùn)而生，比如在算法設(shè)計(jì)方面，李振清等人開發(fā)的基于術(shù)語匹配的專家遴選系統(tǒng)[15]、賀穎等人設(shè)計(jì)的基于科學(xué)計(jì)量的專家遴選模型等[16]。在實(shí)踐方面，國家科技管理信息系統(tǒng)已使用相關(guān)技術(shù)實(shí)現(xiàn)了科技項(xiàng)目評(píng)審專家的遴選推薦[17]。

1.4 我國面向科技評(píng)估的專家評(píng)審面臨的挑戰(zhàn)

從科技投入與GDP的比例來看，我國已經(jīng)比較接近經(jīng)濟(jì)合作與發(fā)展組織（OECD）的平均水平，并且我國的科技評(píng)估工作在量化研究和應(yīng)用實(shí)踐方面也取得了較為豐富的成果。然而，在基于專家評(píng)審的定性評(píng)估方面，還存在很多不足。

（1）評(píng)估體系兼容性有待優(yōu)化。同行評(píng)議制度在全球?qū)W術(shù)界已經(jīng)有上百年的歷史，被廣泛用于學(xué)術(shù)論文評(píng)審、項(xiàng)目立項(xiàng)、成果鑒定、人才評(píng)價(jià)和機(jī)構(gòu)評(píng)估[18]。然而現(xiàn)有的基于同行評(píng)議的科技評(píng)估體系和系統(tǒng)大都是針對(duì)科技成果、科技項(xiàng)目等單一科技評(píng)估對(duì)象。

（2）評(píng)估工作對(duì)科技創(chuàng)新驅(qū)動(dòng)不夠。評(píng)估促進(jìn)科技創(chuàng)新是科技評(píng)估最重要的目標(biāo)之一。然而有研究表明，我國的科技評(píng)估政策對(duì)具體項(xiàng)目的指導(dǎo)作用較為有限，政策的驅(qū)動(dòng)效應(yīng)不夠顯著[19]。

（3）績(jī)效評(píng)價(jià)失位，投入產(chǎn)出效率低下。無論是基礎(chǔ)性研究項(xiàng)目還是面向重大應(yīng)用需求的產(chǎn)業(yè)項(xiàng)目，目前的科技項(xiàng)目的執(zhí)行存在較為嚴(yán)重的重立項(xiàng)、輕評(píng)估的問題。大量科技項(xiàng)目在執(zhí)行過程中，缺乏必要的中期監(jiān)督和后期考核，導(dǎo)致了資源配置效率和有效使用率比較低[20,21]。

從理論和技術(shù)層面來看，設(shè)計(jì)具有良好兼容性的評(píng)價(jià)體系和系統(tǒng)，采用大數(shù)據(jù)技術(shù)優(yōu)化專家遴選技術(shù)，實(shí)現(xiàn)科技項(xiàng)目全生命周期管理，是提升科技評(píng)估效率的有效途徑。

2 面向科技評(píng)估的專家評(píng)審體系設(shè)計(jì)

2.1 指標(biāo)體系設(shè)計(jì)

科技評(píng)估的效果依賴于評(píng)審指標(biāo)庫的建立。項(xiàng)目管理者可以根據(jù)項(xiàng)目、成果的特點(diǎn)靈活對(duì)指標(biāo)信息進(jìn)行添加、修改或刪除，最終形成完善的指標(biāo)體系?？萍荚u(píng)估涉及科技政策、科技計(jì)劃、科技項(xiàng)目、科技指南、科技人才、科技機(jī)構(gòu)、科技成果、科技績(jī)效等多種評(píng)估對(duì)象，每種評(píng)估對(duì)象所涉及評(píng)估指標(biāo)大相徑庭，如科技政策評(píng)估一般包含必要性、合理性、合規(guī)性、可行性、執(zhí)行力、效率、效果與影響等內(nèi)容；科技項(xiàng)目評(píng)估一般包括可行性、任務(wù)部署、資源配置與使用、組織管理、實(shí)施進(jìn)展、成果產(chǎn)出、知識(shí)產(chǎn)權(quán)、人才隊(duì)伍、目標(biāo)完成情況、效果與影響等內(nèi)容；科技成果評(píng)估一般包括科技成果的創(chuàng)新型、先進(jìn)性、成熟度、可行性、應(yīng)用前景、潛在風(fēng)險(xiǎn)、社會(huì)效益、經(jīng)濟(jì)效益等內(nèi)容；科技人才評(píng)估一般包括人才的創(chuàng)新能力、成果、貢獻(xiàn)、誠信等內(nèi)容[22]。為便于同類評(píng)審對(duì)象評(píng)審指標(biāo)的可復(fù)用性，以及評(píng)審指標(biāo)的管理需要建立評(píng)審指標(biāo)庫，用戶可根據(jù)科技評(píng)估對(duì)象的特點(diǎn)設(shè)置相應(yīng)的指標(biāo)，本研究根據(jù)科技評(píng)估對(duì)象的特點(diǎn)建立了科技人才（見表1）、科技項(xiàng)目、科技成果的通用評(píng)審指標(biāo)體系。

表1 科技評(píng)估技術(shù)評(píng)審指標(biāo)體系

2.2 基于大數(shù)據(jù)技術(shù)的專家遴選策略研究

科技評(píng)估項(xiàng)目中的任務(wù)管理中，除了常規(guī)的任務(wù)維護(hù)、項(xiàng)目組管理和項(xiàng)目管理外，最為重要的、也是關(guān)系到評(píng)估效果的關(guān)鍵環(huán)節(jié)是評(píng)估專家的遴選。本研究根據(jù)項(xiàng)目研究主題的寬泛程度設(shè)計(jì)了兩種專家遴選方式，一種針對(duì)項(xiàng)目主題相對(duì)寬泛的情況，根據(jù)專家研究領(lǐng)域分配評(píng)審專家，以大同行為主；另一種針對(duì)研究主題比較聚焦的情況，主要匹配小同行專家。如：某省科技廳要組織煤炭智能采掘技術(shù)榜單項(xiàng)目評(píng)審，需要尋找在煤炭地下氣化、小型微型燃?xì)鉁u輪發(fā)電機(jī)、燃料電池（氫燃料電池、固體氧化物燃料電池）發(fā)電等方向比較活躍的專家。對(duì)小同行專家的遴選，參考專家的代表作以及個(gè)人研究興趣，實(shí)現(xiàn)研究方向與待評(píng)審科技項(xiàng)目主題內(nèi)容的相似度計(jì)算[23]，從而完成評(píng)審專家的推薦。

專家個(gè)人研究方向的抽取主要依托北京萬方數(shù)據(jù)股份有限公司10億+的科技大數(shù)據(jù)，內(nèi)容涵蓋科技文獻(xiàn)、專利、技術(shù)標(biāo)準(zhǔn)、科技報(bào)告、科技成果、科技項(xiàng)目等。在專家識(shí)別過程中，通過工作單位、郵箱、出生日期、研究方向、合作關(guān)系、引用關(guān)系等維度進(jìn)行專家重名消歧，建立專家與科技產(chǎn)出的對(duì)應(yīng)關(guān)系。然后，分別從科技評(píng)估項(xiàng)目相關(guān)文檔和專家興趣描述數(shù)據(jù)中抽取特征項(xiàng)、分詞處理、詞項(xiàng)規(guī)范化，完成項(xiàng)目文檔與專家興趣的向量表示和相似度計(jì)算，最后得到按相關(guān)性強(qiáng)弱排序的候選專家列表，項(xiàng)目評(píng)審負(fù)責(zé)人可以根據(jù)推薦的專家列表，查看專家畫像，確定最終的項(xiàng)目評(píng)審專家。

2.3 適應(yīng)多場(chǎng)景的專家評(píng)審模式的設(shè)計(jì)

為了克服以往專家評(píng)審系統(tǒng)只能針對(duì)單一評(píng)審對(duì)象的缺陷，在本研究設(shè)計(jì)的專家評(píng)審體系中，除了提供較為靈活的、可配置的指標(biāo)體系外，可以根據(jù)相應(yīng)的任務(wù)需求，分配給專家按需定制的評(píng)審任務(wù)。專家在各自的任務(wù)列表中，根據(jù)個(gè)性化的項(xiàng)目評(píng)審要求，完成評(píng)審工作。具體的評(píng)審流程是，專家登錄系統(tǒng)后，可看到已分配待評(píng)審的項(xiàng)目組信息，專家在進(jìn)行項(xiàng)目評(píng)審前需先下載評(píng)審材料，進(jìn)入評(píng)審頁面后根據(jù)定制的指標(biāo)項(xiàng)填寫專家定量打分以及綜合評(píng)價(jià)意見和建議，最后得出綜合評(píng)分。對(duì)于科技人才（團(tuán)隊(duì)）評(píng)估，系統(tǒng)提供基于萬方數(shù)據(jù)海量科技大數(shù)據(jù)的科技人才、科技機(jī)構(gòu)畫像服務(wù)，輔佐專家進(jìn)行評(píng)審以及相關(guān)評(píng)審材料驗(yàn)證。

3 面向科技評(píng)估的專家評(píng)審系統(tǒng)設(shè)計(jì)

3.1 總體設(shè)計(jì)原則

面向科技評(píng)估的專家評(píng)審系統(tǒng)設(shè)計(jì)圍繞“任務(wù)—指標(biāo)—項(xiàng)目—專家”的業(yè)務(wù)邏輯開展，將項(xiàng)目評(píng)審全流程分解上線，使任務(wù)與項(xiàng)目的發(fā)布與管理、團(tuán)隊(duì)與專家的管理與評(píng)審工作系統(tǒng)化。實(shí)現(xiàn)從評(píng)審任務(wù)創(chuàng)建、評(píng)審指標(biāo)設(shè)置、評(píng)審專家遴選分配、評(píng)審打分、統(tǒng)計(jì)匯總、評(píng)審報(bào)告下載等全流程的信息化和標(biāo)準(zhǔn)化服務(wù)體系,全面提升評(píng)審工作的服務(wù)水平和服務(wù)能力,從根本上解決制約評(píng)審工作向前發(fā)展的瓶頸。嚴(yán)格制定評(píng)審流程、科學(xué)設(shè)置評(píng)審標(biāo)準(zhǔn),最大程度保障評(píng)審工作的科學(xué)性、嚴(yán)謹(jǐn)性、權(quán)威性、公平性。

3.2 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)根據(jù)項(xiàng)目、成果的特點(diǎn)構(gòu)建完善的評(píng)審流程，包含三類用戶角色：（1）系統(tǒng)管理員：評(píng)審任務(wù)設(shè)置，評(píng)審指標(biāo)庫進(jìn)行管理；（2）項(xiàng)目組管理員：針對(duì)待評(píng)審項(xiàng)目以或成果進(jìn)行評(píng)審專家的遴選分配，項(xiàng)目評(píng)審管理；（3）專家用戶：專家登錄系統(tǒng)后可查看待評(píng)審的項(xiàng)目或成果，并根據(jù)指標(biāo)對(duì)項(xiàng)目、成果進(jìn)行打分，系統(tǒng)根據(jù)專家評(píng)審的分?jǐn)?shù)生成可下載的評(píng)審報(bào)告。專家評(píng)審系統(tǒng)整體架構(gòu)見圖1。

圖1 面向科技評(píng)估的專家評(píng)審系統(tǒng)架構(gòu)

4 結(jié)語及展望

本文根據(jù)科技評(píng)價(jià)制度改革的需要，建立了以“任務(wù)—指標(biāo)—項(xiàng)目—專家”為主要管理維度的專家評(píng)審體系，實(shí)現(xiàn)多維度、全信息、全流程的實(shí)時(shí)跟蹤，針對(duì)科技評(píng)估對(duì)象的多樣性，提供了靈活的指標(biāo)模型庫設(shè)計(jì)和管理，可以支持多種權(quán)重評(píng)估，適合多種科技評(píng)估對(duì)象，針對(duì)科技評(píng)估項(xiàng)目研究主題的聚焦程度不同，提供了兩種不同的專家遴選推薦方式，提高了項(xiàng)目評(píng)審的質(zhì)量和效率、規(guī)范了項(xiàng)目成果評(píng)價(jià)驗(yàn)收的過程和結(jié)果，優(yōu)化了科技評(píng)估評(píng)審管理流程，提升了科技評(píng)估項(xiàng)目評(píng)審的公開公平公正。最后，根據(jù)研究中設(shè)計(jì)的評(píng)審體系設(shè)計(jì)開發(fā)了面向科技評(píng)估的專家評(píng)審系統(tǒng)。目前系統(tǒng)已在某科技評(píng)估中心科技評(píng)估業(yè)務(wù)中正式使用，取得了較為顯著的應(yīng)用效果。當(dāng)然，專家在線評(píng)審系統(tǒng)也存在一定的不足之處：目前評(píng)審系統(tǒng)用戶主要是科技評(píng)估機(jī)構(gòu)、專家，缺少科技評(píng)估項(xiàng)目委托方角色，沒有實(shí)現(xiàn)從委托方提交科技評(píng)估項(xiàng)目委托，科技評(píng)估機(jī)構(gòu)接受委托，組織專家評(píng)審，到科技評(píng)估機(jī)構(gòu)報(bào)告交付全流程線上化。下一步系統(tǒng)會(huì)針對(duì)這些不足之處進(jìn)行優(yōu)化完善。