科技項目評估中主要風險點調查與控制策略

■文/曹靜 蔡志剛（北京市科學技術研究院創(chuàng)新發(fā)展戰(zhàn)略研究所）

當前，我國科技創(chuàng)新正處于爬坡過坎的關鍵時期，隨著國際科技競爭形勢越來越嚴峻復雜，國家及各省市“十四五”規(guī)劃中都持續(xù)增加研發(fā)投入，不斷加大重大科技項目的部署力度，這對科技項目評估的需求與評估質量也提出了更高要求。為提高科技項目評估的科學化和專業(yè)化水平，避免或降低科技項目評估實際操作中的各類風險，課題組結合開展北京全國科技創(chuàng)新中心建設重點項目績效評估的實踐，采取專家調研訪談和問卷調查方式，重點針對科技項目評估中的信息采集、專家遴選兩個關鍵環(huán)節(jié)，對可能涉及到的主要風險點進行梳理，對其風險程度進行了量化調查分析，并提出了如何降低或避免風險的對策建議，這對更好地開展科技項目評估和科學決策有很好的政策價值。

一、科技項目評估風險的突出特征

科技項目評估是貫穿科技項目實施全過程的重要組成部分，無論立項評估、中期評估，還是績效評估，都是優(yōu)化和引導科技創(chuàng)新資源配置的重要政策工具。在評估操作中信息采集、專家遴選、評估方法等都會受各種主客觀風險因素的影響，進而直接決定了評估結果的客觀性和準確性，使得科技項目評估產(chǎn)生偏差，嚴重影響科技項目的實施推廣與資源配置，這就是科技項目評估的風險。由于對某一領域技術發(fā)展水平、技術成熟度、項目成果價值、社會經(jīng)濟效益等內(nèi)容進行評價的專業(yè)性很強，因此科技項目評估全過程中的風險往往存在如下突出特征。

（一）普遍性

科技項目評估過程中多種因素共同作用往往導致評估中風險的形成，在項目實施過程的立項、進展、績效等任何一個過程中，信息采集的內(nèi)容、渠道、對象和咨詢專家的水平、評估時間等諸多因素都會影響評估結論。同時，科技項目評估的利益相關方對評估內(nèi)容的理解不同也會產(chǎn)生風險，因此評估前的培訓、充足的評估時間、評估監(jiān)督等就非常重要，可以說科技項目評估中的風險具有普遍性和無處不在的特征。

（二）潛在性

科技項目評估的風險一般不易發(fā)現(xiàn)，通常需要經(jīng)過驗證才會體現(xiàn)出來，如果沒有驗證出來，那么由此造成的實際損失就顯現(xiàn)不出來，往往是評估完成了，決策執(zhí)行了，評估過程沒有考慮到的因素導致的問題也出現(xiàn)了。因此，科技項目評估的風險是一種可能的風險，具有潛在性。它造成的某種損失也有一個顯現(xiàn)的過程，這一過程的長短與社會公眾對評估風險的認知程度、評估工作所處的環(huán)境以及科技項目評估風險的內(nèi)容、性質緊密相關。

（三）可控性

科技項目評估是一項系統(tǒng)性的研究工作，雖然科技項目評估過程中的風險不可完全避免，但是如果掌握了科技項目評估中風險產(chǎn)生的規(guī)律、可能出現(xiàn)的環(huán)節(jié)、影響因素等（姜莉，2019），評估人員可以采取有效措施比如完善信息采集渠道、評估前開展專家培訓、建立專家遴選和退出機制等措施進行防范和降低風險，將風險控制在較低或能被接受的水平。因此，科技項目評估中的風險是可以控制的。

二、科技項目評估中的風險點調查分析

科技項目評估的過程是評估信息的收集、傳遞、交流、分析和運用的過程，從科技項目評估的工作形態(tài)上來看，包括信息采集、專家遴選、選擇評估方法、專家咨詢、形成結論、編寫報告等環(huán)節(jié)。其中信息采集和專家遴選是評估工作開始面臨的首要環(huán)節(jié)，信息采集的準確和完整程度、遴選的專家與評估任務的匹配程度直接影響評估結果的客觀公正，是科技項目評估的基礎，也是關鍵的環(huán)節(jié)。本部分通過案例分析、文獻研究和走訪調研，重點針對信息采集和專家遴選中可能涉及到的風險點進行梳理，形成風險點清單，再結合調查問卷研究對各個風險點的風險程度進行逐一判斷評價。

（一）項目評估工作中可能存在的主要風險點

結合課題組對北京全國科技創(chuàng)新中心建設重點項目的評估實踐，我們發(fā)現(xiàn)：由于評估組的信息采集一般來源于委托方、被委托方和公開渠道等，因此信息來源渠道是否可靠和可信、采集內(nèi)容準確與否，以及專家專業(yè)背景、對專家的監(jiān)督與評價機制等都是風險點所在。

例如，在信息采集渠道方面，評估組除通過秘書處與“七辦”（“一處七辦”是北京國際科技創(chuàng)新中心的組織架構。“一處”指北京國際科技創(chuàng)新中心秘書處，設在北京市科委；“七辦”指七個專項辦公室：重大科技計劃專項辦、中關村科學城專項辦、懷柔科學城專項辦、未來科學城專項辦、創(chuàng)新型產(chǎn)業(yè)集群與制造業(yè)高質量發(fā)展專項辦、全面創(chuàng)新改革與中關村先行先試專項辦、科技人才專項辦）順暢溝通外，還可以重點選取部分項目承擔單位參加訪談，拓寬信息采集的渠道和范圍。在信息采集內(nèi)容方面，除了被評估對象提供的信息，還增加了公開信息的搜集和問卷調查，從而為評估提供盡可能全面的證據(jù)。此外，為保證采集信息的準確性，如有些信息佐證材料不全，核驗也比較困難，就需要與項目單位多次溝通。在專家遴選方面，評估組發(fā)現(xiàn)在從專家?guī)炖镥噙x戰(zhàn)略研究專家和部分專業(yè)領域專家時，往往存在專家?guī)煨畔⒏虏患皶r、部分專業(yè)領域專家缺乏等問題，另外專家對科技項目評估的認識不一，一些專業(yè)領域專家對評估工作不太了解，需要進行評估前培訓和熟悉材料，這對專家判斷很關鍵。

為此，通過對評估機構專家調研訪談，結合對國家科技項目評審和管理辦法等相關文獻研究，重點針對信息采集和專家遴選兩大環(huán)節(jié)，共識別出十大風險點清單（見表1）。為方便記錄分析，對十大風險點進行了F1-F10編碼。

表1 信息采集和專家遴選的風險點清單

（二）十大風險點的風險程度調查分析

為對信息采集和專家遴選環(huán)節(jié)中10個主要風險點的風險程度進行判斷，課題組通過問卷調查的方法，重點面向國家和地方層面的評估機構、科技項目承擔單位的多位咨詢專家，定向發(fā)放調查問卷，共收回有效問卷63份。

同時，采用半定量的方式（朱軍，2020）進行風險程度的等級設置，分別對嚴重性程度、發(fā)生的可能性和對評估結果的影響用1～5整數(shù)分為5個等級，1～2級為低風險，3級為中風險，4～5級為高風險。經(jīng)調查統(tǒng)計得到最終風險程度等級（見表2）。

表2 信息采集和專家遴選的風險程度評價

可以看出：一是專家普遍認為被調查的所有風險點都為中風險或高風險。說明識別出的風險點在科技項目評估中比較重要，應該對這些風險點采取應對措施來進行控制。而且從嚴重程度來看，全部分布在信息采集環(huán)節(jié)，具體為信息采集內(nèi)容設計不全面、信息采集渠道不準確、信息采集對象不準確、對采集的信息核驗困難等4個高風險點。二是從發(fā)生的可能性來看，有3個風險點發(fā)生的可能性較高，分別為信息采集渠道不準確、信息采集對象不準確、缺乏對專家的監(jiān)督和評價機制。而其他風險點的發(fā)生可能性為中等。三是從對評估結果的影響來看，有7個風險點為高風險，僅有3個風險點為中風險，說明這十大風險點中絕大部分對評估結果的影響較大，需要格外進行關注。

通過以上分析，科技項目評估中信息采集和專家遴選中的十個風險點確實需要關注，因此對風險點提出控制措施，將有利于提高科技項目評估的質量。

（三）控制評估風險的主要舉措調查分析

信息采集準備：信息采集前，需要依據(jù)被評估對象的特點，研究信息采集內(nèi)容、采集準確性和采集方式等問題。包括研究設計評估指標和關鍵評估問題，以及人力、經(jīng)費、時間等評估資源；同時為確保評估信息的完整性，需確定評估信息材料是否涵蓋了評估調研材料、歷史材料、項目相關發(fā)展分析材料等，以保證材料齊全，不能隨意減少和遺漏相關信息，尤其是重要信息，以免影響決策。調查顯示，針對“信息采集內(nèi)容設計不全面”，有77.78%的專家認為需研究被評估對象，74.6%的專家認為需重視采集方式，60.32%的專家認為需研究信息涵蓋的內(nèi)容（見表3）。

表3 信息采集前需要準備的工作

信息采集渠道：一般來說，原始信息采集渠道以被評估對象提供信息為主，評估機構可充分利用自評調查表，并結合由被評估方提供的自評報告作為獲取評估信息的主要渠道。如針對“信息采集渠道和采集對象不準確”的調查顯示，93.65%的專家認為信息采集主要渠道是被評估對象提供，這可以充分保障信息采集渠道的準確性。常用的信息采集方式包括案卷研究、座談會、實地調研、問卷調查和案例研究等，每個信息采集方式各自有優(yōu)缺點，要根據(jù)評估對象的實際情況，選擇多種方式確保信息的全面客觀。

同時，為保證評估的客觀性，還可借助現(xiàn)代化信息技術，從可信的官方網(wǎng)站、微信公眾號等渠道，多角度采集與被評估對象相關的網(wǎng)絡信息，以補充和佐證原始信息。如跟蹤收集公開發(fā)布的科技項目的進展情況素材、各種媒體公開報道及相關資料等。

信息采集的質量：評估信息的質量對評估可信度影響很大，必須對采集的各類信息進行真實性、有效性和準確性的檢驗。針對“對采集的信息缺乏核驗”“信息缺乏標準化形式，難以編錄和分析”，調查中有71.43%的專家認為需要通過實地調研的方法對信息證明材料進行核查、對信息進行分類核對。因此，需要采取嚴格的技術手段，充分核驗評估信息。如評估科技項目的績效，采用對比分析的方法檢驗該項目績效與目標數(shù)據(jù)的關系，可要求項目承擔單位填報數(shù)據(jù)采集表，并提供支持憑證，便于評估人員對所有數(shù)據(jù)核驗支持憑證。對數(shù)據(jù)采集表中填寫不完整的部分，增加實地考察環(huán)節(jié)或答辯環(huán)節(jié)，由專家現(xiàn)場提問，核驗評估信息；對沒有標準格式難以編錄的信息要進行標注，進行詞頻和觀點分析，為評估提供支撐。

專家遴選方案：在科技項目評估中的專家遴選環(huán)節(jié)，篩選評估專家是第一步，專家遴選方案內(nèi)容主要包括專家來源、專家數(shù)量、專家結構等要素。合理的專家數(shù)量應該根據(jù)評估類型、評估對象性質、目的不同來確定，同時按照專家的年齡、學科、性別、地域、知識等特點組成結構、層次合理的專家隊伍。根據(jù)對專家遴選渠道的調查，92.06%的專家認為通過專家?guī)戾噙x專家是主要來源（見表4）。

表4 專家遴選的渠道情況

三、對控制科技項目評估風險的對策建議

（一）構建標準化的科技項目評估體系

科技項目評估的核心目的是將真實、客觀的高質量評估結論交付委托方，進而在評估主體和管理部門等各利益主體間建立責任機制，達到有利于調整科技計劃、研究方向和優(yōu)化配置資源的目標。因此，建議按照國家《科技評估通則》（2021年12月1日實施），加快科技項目評估的標準化建設，為北京國際科技創(chuàng)新中心建設等重點項目的評估提供參考。一是規(guī)范科技項目評估的程序，按照一定的原則和標準對科技項目進行專業(yè)化評價，完善評估程序中的各個環(huán)節(jié)，降低評估工作中的風險。二是明確評估主體、客體和第三方等相關部門的職責，以標準來優(yōu)化第三方評估機構的評估工作，引導評估機構建立科技項目評估的基本信息標準檔案，對評估運行狀況進行記錄和信息數(shù)據(jù)化，運用標準化機制約束評估。三是完善符合國際慣例的“同行專家評議”制度，根據(jù)評估對象和評估內(nèi)容，優(yōu)化評估方法體系，結合定量評估方法手段，彌補定性評估方法中主觀判斷較強的不足。

（二）建立信息采集、評估反饋等多方協(xié)作的評估機制

科技項目評估工作的系統(tǒng)性很強，需要利益相關各方密切合作，針對實際操作中普遍存在的“信息采集內(nèi)容不全面、不準確”“信息核驗困難”等諸多風險和對評估結果的準確性產(chǎn)生較大影響的情況，就需要評估方、被評估方、管理部門等多方協(xié)作才能保證項目評估的高質量完成，才能在順暢溝通中采集到準確可信的評估信息，便于通過整理分析核查，檢驗采集信息的質量。同時，與知識產(chǎn)權、財稅經(jīng)濟等相關部門協(xié)作，借助信息技術等客觀評估方法等來保證評估結果的客觀性和科學性。探索拓寬評估信息采集的范圍和渠道，嘗試引入愛思唯爾、科睿唯安等公司的數(shù)據(jù)庫，對重點項目的成效進行國際競爭力等對比評估，獲得更豐富的評估依據(jù)。

（三）建立專家遴選、使用和監(jiān)督評價機制

一是建立專家?guī)靹討B(tài)信息更新機制。針對“評估機構未建立專家?guī)?、專家信息不健全”等高風險情況，加快建立包括北京本地、國內(nèi)頂級和國外知名專家在內(nèi)的專家?guī)?，實現(xiàn)戰(zhàn)略專家和領域技術專家分類，以開放視野開展國際科技創(chuàng)新中心重點項目的評估。根據(jù)形勢需求和項目特點，及時更新、細化專家?guī)欤_保評估機構專家?guī)炷軐崿F(xiàn)專家分類、信息更新、智能抽取等功能。二是建立專家監(jiān)督、輪換等機制。結合專家信譽度評價和回避制度，加強對評估專家參加項目評估工作的業(yè)績進行監(jiān)督，建立評估專家的進入與退出機制，對參加項目評估的轉件實行輪換機制，如采取參加國際科技創(chuàng)新中心評估的專家進行定期輪換，簽署專家誠信承諾書等措施，提高評估的公平公正。三是建立對專家的專業(yè)化培訓機制。針對“缺乏對專家的評估培訓”和“給專家安排的評估準備時間太短”的情況，對專家進行評估專業(yè)知識培訓，確保專家熟悉評估工作的程序和規(guī)則，了解和掌握評估方法和要求，合理安排評估時間進度、工作量，確保專家能夠充分熟悉評估材料，順利開展評估工作。