上海地鐵創(chuàng)新成果與科研管理評(píng)價(jià)指標(biāo)體系優(yōu)化研究

文：張 敏丨上海申通地鐵集團(tuán)有限公司技術(shù)中心

創(chuàng)新是推動(dòng)高質(zhì)量發(fā)展、建設(shè)現(xiàn)代化經(jīng)濟(jì)體系的戰(zhàn)略支撐，本文針對(duì)目前上海地鐵在創(chuàng)新研究工作中的難點(diǎn)，結(jié)合科技創(chuàng)新評(píng)價(jià)和科研管理的實(shí)際需求，對(duì)創(chuàng)新策源、創(chuàng)新合作方、創(chuàng)新成果和評(píng)審專(zhuān)家建立綜合性的、科學(xué)的評(píng)價(jià)指標(biāo)體系。

創(chuàng)新是引領(lǐng)發(fā)展的第一動(dòng)力，上海地鐵從2005年開(kāi)展科研工作至今，經(jīng)過(guò)多年努力，集團(tuán)科研整體水平大幅提升，一些重要領(lǐng)域已經(jīng)處于行業(yè)先進(jìn)水平。但是上海地鐵科技創(chuàng)新在創(chuàng)新策源、創(chuàng)新成果評(píng)估、合作伙伴評(píng)估、評(píng)審專(zhuān)家評(píng)估方面仍然存一些亟待解決的問(wèn)題。為了改變以往對(duì)創(chuàng)新研究要素采用定性評(píng)價(jià)為主的評(píng)價(jià)方式，本文圍繞創(chuàng)新要素的評(píng)價(jià)研究，建立一個(gè)能夠?qū)ι虾５罔F的創(chuàng)新能力、成果質(zhì)量、合作方能力以及專(zhuān)家綜合情況進(jìn)行定量描述的綜合評(píng)價(jià)指標(biāo)體系。

一、創(chuàng)新策源評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)和權(quán)重

國(guó)內(nèi)軌道交通技術(shù)原先以跟跑為主，更多的是學(xué)習(xí)和借鑒一些發(fā)達(dá)國(guó)家的技術(shù)，隨著近年來(lái)行業(yè)的迅速發(fā)展，目前上海地鐵在智慧化、綠色化等諸多領(lǐng)域，已走在世界前列。從跟跑到領(lǐng)跑，需要進(jìn)一步強(qiáng)化集團(tuán)在前瞻性、引領(lǐng)性、原創(chuàng)性研究中的突破。

通過(guò)梳理分析相關(guān)政策文件與文獻(xiàn)，并結(jié)合專(zhuān)家訪談結(jié)果，在嚴(yán)格遵循全面性、客觀性與可行性指標(biāo)選取原則的基礎(chǔ)上，本文結(jié)合上海地鐵的科研需求和特性，對(duì)前瞻性項(xiàng)目和先進(jìn)性項(xiàng)目分別建立了不同側(cè)重點(diǎn)的評(píng)價(jià)指標(biāo)（表1、表2）。

表1 創(chuàng)新策源評(píng)價(jià)指標(biāo)體系（適用于前瞻性項(xiàng)目0-1）

表2 創(chuàng)新策源評(píng)價(jià)指標(biāo)體系（適用于先進(jìn)性項(xiàng)目1-N）

對(duì)于前瞻性項(xiàng)目，建立了以前瞻性為決策性指標(biāo)，以可行性為參考性指標(biāo)的評(píng)價(jià)體系。上海地鐵的策源前瞻性指標(biāo)從原創(chuàng)顛覆引領(lǐng)、卡脖子技術(shù)等維度進(jìn)行了定量判斷，主要為了評(píng)價(jià)對(duì)未來(lái)發(fā)展趨勢(shì)的預(yù)見(jiàn)性和透徹把握的能力，對(duì)目標(biāo)市場(chǎng)需求的準(zhǔn)確預(yù)估和洞察能力。

對(duì)于先進(jìn)性項(xiàng)目，建立了以先進(jìn)性為決策性指標(biāo)，以可行性為參考性指標(biāo)的評(píng)價(jià)體系。先進(jìn)性主要評(píng)價(jià)所形成的適配創(chuàng)新想法或理念的關(guān)鍵技術(shù)是否具有國(guó)際國(guó)內(nèi)的領(lǐng)先性和先進(jìn)性。

可行性主要用來(lái)評(píng)價(jià)創(chuàng)新想法和理念在經(jīng)濟(jì)效益、社會(huì)效益、技術(shù)和時(shí)間等維度上是否具備可研究性與可實(shí)施性。可行性作為評(píng)價(jià)項(xiàng)目的參考性指標(biāo)，起到輔助決策的作用。

二、創(chuàng)新合作方評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)和權(quán)重

本文通過(guò)對(duì)上海地鐵的技術(shù)人員、管理人員等相關(guān)方進(jìn)行訪談和調(diào)查，建立了包含三項(xiàng)符合性評(píng)價(jià)的創(chuàng)新合作方資信初步評(píng)價(jià)和包含二項(xiàng)一級(jí)指標(biāo)，七項(xiàng)二級(jí)指標(biāo)的創(chuàng)新合作方評(píng)價(jià)指標(biāo)體系。

對(duì)創(chuàng)新合作方的資信初步評(píng)價(jià)是符合性評(píng)價(jià)，具備良好資信的企業(yè)或團(tuán)隊(duì)是成為創(chuàng)新合作方的準(zhǔn)入門(mén)檻。符合性檢查包括：（1）評(píng)價(jià)當(dāng)日查詢得企業(yè)或項(xiàng)目組中有人員處于黑名單公示期的；（2）企業(yè)或項(xiàng)目組存有串通投標(biāo)、弄虛作假、行賄等違法行為；（3）信用分＜60分的；（各單位的信用得分以評(píng)價(jià)當(dāng)日在上海地鐵采購(gòu)電子商務(wù)平臺(tái)查詢?yōu)闇?zhǔn)。）凡其中一項(xiàng)不合格視為符合性評(píng)價(jià)不合格，符合性評(píng)價(jià)不合格的合作方不再進(jìn)入后續(xù)的詳細(xì)評(píng)價(jià)。

對(duì)創(chuàng)新合作方的詳細(xì)評(píng)價(jià)見(jiàn)創(chuàng)新合作方評(píng)價(jià)指標(biāo)體系（表3），在一級(jí)指標(biāo)中，合作態(tài)度的權(quán)重值最大，它是選擇合作方時(shí)最重要的因素。因?yàn)轫?xiàng)目合作研究需要雙方保持高頻率的需求探討和技術(shù)方案交流，如果對(duì)方溝通效率低下或理解能力和執(zhí)行能力不夠，將直接影響項(xiàng)目的順利開(kāi)展。

表3 創(chuàng)新合作方評(píng)價(jià)指標(biāo)體系

科研能力的權(quán)重值位列第二，這是因?yàn)閯?chuàng)新合作是以課題研究為目標(biāo)，通過(guò)理論、方法、機(jī)制、技術(shù)研究等手段形成研究成果。因此，合作方的人員資質(zhì)、相關(guān)領(lǐng)域的研究情況、平臺(tái)資質(zhì)等對(duì)項(xiàng)目的成果水平影響較大。如果合作方的項(xiàng)目負(fù)責(zé)人及團(tuán)隊(duì)人員長(zhǎng)期從事該領(lǐng)域研究，且在該領(lǐng)域已獲得一定的研究基礎(chǔ)和成就，將更有利于課題研究工作的開(kāi)展。

從二級(jí)指標(biāo)分析出的權(quán)重結(jié)果來(lái)看，成果水平較其他因素而言是衡量合作方更重要的因素。而人員資質(zhì)、溝通效率等是創(chuàng)新合作方能夠完成高水平成果的保障措施。人員資質(zhì)主要考察合作參與人員的綜合實(shí)力，合作方負(fù)責(zé)人作為整個(gè)項(xiàng)目的核心人員對(duì)項(xiàng)目的統(tǒng)籌、把控直接影響項(xiàng)目的進(jìn)展情況，同時(shí)項(xiàng)目研究主要依靠團(tuán)隊(duì)成員的智慧及群策力，因此合作方團(tuán)隊(duì)人員的配置、學(xué)歷、資歷也非常關(guān)鍵。溝通效率和執(zhí)行能力也很重要，因?yàn)楹献鲃?chuàng)新必定會(huì)有多次的交流溝通過(guò)程，且每次溝通都應(yīng)形成一個(gè)一致性意見(jiàn)并高效執(zhí)行。

創(chuàng)新合作方評(píng)價(jià)指標(biāo)體系運(yùn)用層次分析法和專(zhuān)家評(píng)議法，構(gòu)造以科研能力、合作態(tài)度為一級(jí)指標(biāo)并含七項(xiàng)二級(jí)指標(biāo)因子的遞階層次結(jié)構(gòu)模型。并對(duì)創(chuàng)新合作方的評(píng)價(jià)因素進(jìn)行了權(quán)重分析計(jì)算，為項(xiàng)目組選擇項(xiàng)目合作伙伴提供了參考。然而項(xiàng)目因自身特點(diǎn)和研究?jī)?nèi)容差異，不能一概而論，因此針對(duì)具體項(xiàng)目，其各項(xiàng)指標(biāo)的權(quán)重有可能存在差異，必要時(shí)應(yīng)進(jìn)行修正計(jì)算。

三、創(chuàng)新成果評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)和權(quán)重

科技創(chuàng)新成果是能夠直觀反映科技創(chuàng)新能力的重要指標(biāo)。本文對(duì)創(chuàng)新成果的創(chuàng)新性、實(shí)效性、先進(jìn)性、自主化四個(gè)主要維度進(jìn)行評(píng)價(jià)，形成可量化的創(chuàng)新成果評(píng)價(jià)指標(biāo)體系。

創(chuàng)新成果評(píng)價(jià)指標(biāo)體系的研究?jī)?nèi)容包括以下幾個(gè)方面：創(chuàng)新性主要考察成果的突破引領(lǐng)能力，用來(lái)評(píng)價(jià)設(shè)計(jì)是否新穎并性能可靠，是否能從系統(tǒng)角度提出解決方案的問(wèn)題等；實(shí)效性主要考察成果的轉(zhuǎn)化應(yīng)用能力，是否產(chǎn)生效益，起到提質(zhì)增效的作用，以及是否有良好的應(yīng)用前景和廣大的應(yīng)用范圍；先進(jìn)性主要考察成果在國(guó)際、國(guó)內(nèi)、行業(yè)的水平；自主化主要考察項(xiàng)目的自主化程度，關(guān)鍵核心內(nèi)容是否自研。

基于以上認(rèn)識(shí)，本文結(jié)合上海地鐵科研創(chuàng)新活動(dòng)的實(shí)際情況和需求導(dǎo)向，建立了適用于上海地鐵創(chuàng)新成果的評(píng)價(jià)指標(biāo)體系。選用創(chuàng)新性、實(shí)效性、先進(jìn)性和自主化四項(xiàng)指標(biāo)作為一級(jí)指標(biāo)，選用突破引領(lǐng)、應(yīng)用效益、業(yè)內(nèi)水平等五項(xiàng)作為二級(jí)指標(biāo)（表4）。

表4 創(chuàng)新成果評(píng)價(jià)指標(biāo)體系

從表4可以看出，在一級(jí)指標(biāo)中，創(chuàng)新性和實(shí)效性的權(quán)重值最大，這是因?yàn)閯?chuàng)新即技術(shù)或者理論的突破性成就，無(wú)疑是科學(xué)研究最重要的成果。而成果產(chǎn)生的綜合效益以及能夠?qū)嵤┑姆秶呛饬靠蒲谐尚Х浅Ｖ匾闹笜?biāo)。同時(shí)科研成果的先進(jìn)性即其在國(guó)際國(guó)內(nèi)、行業(yè)內(nèi)外造成的影響，也是側(cè)面衡量成果水平的重要因素。而隨著技術(shù)革新帶動(dòng)產(chǎn)業(yè)升級(jí)發(fā)展，也對(duì)核心關(guān)鍵技術(shù)、“卡脖子”技術(shù)的自主可控提出了新的要求。

從二級(jí)指標(biāo)看，突破引領(lǐng)、應(yīng)用效益、應(yīng)用范圍、業(yè)內(nèi)水平和自主創(chuàng)新是評(píng)價(jià)創(chuàng)新成果的重要因素。設(shè)計(jì)新穎性、性能可靠性、技術(shù)先進(jìn)性、方案系統(tǒng)性是對(duì)突破引領(lǐng)各維度的定量衡量，對(duì)上海地鐵來(lái)說(shuō)，應(yīng)用效益體現(xiàn)在直接經(jīng)濟(jì)效益、社會(huì)效益、綠色效益和綜合提質(zhì)效益幾個(gè)方面。實(shí)際/預(yù)期應(yīng)用范圍是指科研成果在全國(guó)/行業(yè)應(yīng)用情況以及在單位/線路應(yīng)用情況。業(yè)內(nèi)水平主要考量研究成果在攻克關(guān)鍵核心技術(shù)難點(diǎn)，填補(bǔ)行業(yè)空白等方面的成就，以及技術(shù)性能指標(biāo)對(duì)標(biāo)國(guó)際、國(guó)內(nèi)標(biāo)準(zhǔn)的水平。自主創(chuàng)新則考量核心關(guān)鍵部件的自研能力，主要包括算法、模型、工藝、材料、編程以及需求策源、頂層設(shè)計(jì)等方面的自主創(chuàng)新，不包括通用性的硬件裝備產(chǎn)品和軟件工具平臺(tái)等。

為保證評(píng)價(jià)的客觀公正性，項(xiàng)目負(fù)責(zé)人應(yīng)提供相關(guān)的資質(zhì)證明，如查新報(bào)告、應(yīng)用證明、專(zhuān)家論證意見(jiàn)等，并結(jié)合項(xiàng)目合同、考核指標(biāo)和關(guān)鍵技術(shù)等材料，作為評(píng)判依據(jù)。

四、評(píng)審專(zhuān)家評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)和權(quán)重

目前，專(zhuān)家評(píng)審制度是集團(tuán)用來(lái)評(píng)判和判定創(chuàng)新研究情況、創(chuàng)新資源分配的重要依據(jù)。由于專(zhuān)家評(píng)審制度具有一定的主觀色彩，其結(jié)果不僅受到評(píng)審專(zhuān)家自身研究領(lǐng)域、評(píng)審能力等內(nèi)部因素干擾，也受到多重外界環(huán)境因素干擾，因此，針對(duì)評(píng)審專(zhuān)家的評(píng)價(jià)指標(biāo)體系應(yīng)是一個(gè)多維度、全方面的評(píng)價(jià)指標(biāo)體系。

參考既有的指標(biāo)體系與度量方法，結(jié)合影響評(píng)議公正性的主觀因素以及評(píng)價(jià)指標(biāo)體系的構(gòu)建思路和原則，使用層次分析法和專(zhuān)家評(píng)議法，最終確定了包含三級(jí)指標(biāo)的評(píng)價(jià)指標(biāo)體系。

對(duì)評(píng)審專(zhuān)家的職業(yè)道德評(píng)價(jià)（表5）是符合性評(píng)價(jià)，具備良好的職業(yè)道德是成為評(píng)審專(zhuān)家的準(zhǔn)入門(mén)檻。凡是評(píng)價(jià)不合格的（即C1＜0.7或C2＞0）專(zhuān)家視為符合性評(píng)價(jià)不合格，將不予以推薦。符合性評(píng)價(jià)不合格的專(zhuān)家不再進(jìn)入后續(xù)的詳細(xì)評(píng)價(jià)。

表5 評(píng)審專(zhuān)家職業(yè)道德評(píng)價(jià)（符合性評(píng)價(jià)）

職業(yè)道德評(píng)價(jià)包括工作態(tài)度和信用記錄兩部分。由于項(xiàng)目評(píng)審是一項(xiàng)具有主觀性色彩的工作，因此專(zhuān)家的行為規(guī)范應(yīng)作為重點(diǎn)內(nèi)容來(lái)考察。其中，工作態(tài)度以參加評(píng)審工作的準(zhǔn)時(shí)性作為指標(biāo)，主要考察專(zhuān)家對(duì)評(píng)審會(huì)議的響應(yīng)性和準(zhǔn)時(shí)性。信用記錄通過(guò)考察是否有被投訴、徇私舞弊或其他不良記錄等指標(biāo)來(lái)評(píng)定。

評(píng)審專(zhuān)家評(píng)價(jià)指標(biāo)體系含三級(jí)指標(biāo)，其中一級(jí)指標(biāo)兩項(xiàng)、二級(jí)指標(biāo)五項(xiàng)、三級(jí)指標(biāo)十項(xiàng)。專(zhuān)家最終評(píng)價(jià)得分取兩項(xiàng)一級(jí)指標(biāo)值的累加值，即專(zhuān)家評(píng)價(jià)得分=D2+D3，得分越高表示評(píng)價(jià)結(jié)果越優(yōu)。本文取資質(zhì)能力和評(píng)審表現(xiàn)作為一級(jí)指標(biāo)，選用學(xué)術(shù)成就、資質(zhì)特長(zhǎng)、評(píng)審質(zhì)量等五項(xiàng)指標(biāo)作為二級(jí)指標(biāo)，選用職稱、承擔(dān)項(xiàng)目情況、獎(jiǎng)勵(lì)情況等十項(xiàng)指標(biāo)作為三級(jí)指標(biāo)（表6）。

表6 評(píng)審專(zhuān)家評(píng)價(jià)指標(biāo)體系

資質(zhì)能力包括基本信息、學(xué)術(shù)成就、資質(zhì)特長(zhǎng)三部分?？蒲许?xiàng)目支持創(chuàng)新，鼓勵(lì)創(chuàng)新，不僅要求專(zhuān)家具有一定的專(zhuān)業(yè)知識(shí)可以對(duì)項(xiàng)目的技術(shù)水平作出判斷，更需要專(zhuān)家對(duì)項(xiàng)目的創(chuàng)新性、產(chǎn)業(yè)化以及發(fā)展?jié)摿ψ鞒鲈u(píng)價(jià)。因此，對(duì)專(zhuān)家資質(zhì)能力的評(píng)價(jià)不僅包括其基本信息和學(xué)術(shù)成就，如職稱、承擔(dān)項(xiàng)目情況、學(xué)術(shù)論著等指標(biāo)，也包括其資質(zhì)特長(zhǎng)，如參與過(guò)專(zhuān)家評(píng)審的次數(shù)等指標(biāo)。

評(píng)審表現(xiàn)包括評(píng)審質(zhì)量、評(píng)審效率兩部分。評(píng)審表現(xiàn)是評(píng)審專(zhuān)家不同于其他科技人員的特質(zhì)，評(píng)審專(zhuān)家既需要擁有優(yōu)秀的品質(zhì)和良好的資質(zhì)能力，更要理解評(píng)審準(zhǔn)則，掌握評(píng)審方法，明確評(píng)審結(jié)果，以此保證評(píng)審建議的權(quán)威性以及評(píng)審的公正性和及時(shí)性。

評(píng)審專(zhuān)家評(píng)價(jià)指標(biāo)體系通過(guò)建立科學(xué)、可行的評(píng)價(jià)模型，對(duì)評(píng)審專(zhuān)家進(jìn)行客觀、公正的綜合評(píng)價(jià)，有利于科研評(píng)審工作的健康發(fā)展。

五、主要結(jié)論

本文針對(duì)目前上海地鐵在創(chuàng)新研究工作中的難點(diǎn)，結(jié)合科技創(chuàng)新評(píng)價(jià)和科研管理的實(shí)際需求，對(duì)創(chuàng)新策源、創(chuàng)新合作方、創(chuàng)新成果和評(píng)審專(zhuān)家建立了綜合性的、科學(xué)的評(píng)價(jià)指標(biāo)體系。

針對(duì)創(chuàng)新策源能力不足的問(wèn)題，結(jié)合上海地鐵的科研需求和特性，針對(duì)前瞻性項(xiàng)目和先進(jìn)性項(xiàng)目，分別以策源前瞻性和先進(jìn)性作為主要評(píng)價(jià)維度，以可行性指標(biāo)作為參考性評(píng)價(jià)指標(biāo)，建立了適用于上海地鐵的創(chuàng)新策源評(píng)價(jià)指標(biāo)體系，對(duì)創(chuàng)新需求、創(chuàng)新想法和創(chuàng)新理念等形成的多維度量化評(píng)價(jià)，可以為集團(tuán)評(píng)定創(chuàng)新需求和能力，考量創(chuàng)新資源的投入提供參考依據(jù)，并能進(jìn)一步強(qiáng)化集團(tuán)在前瞻性創(chuàng)新研究、引領(lǐng)性原創(chuàng)研究中的突破，逐步構(gòu)建“頂層策源—科研攻關(guān)—轉(zhuǎn)化應(yīng)用—產(chǎn)業(yè)引領(lǐng)”的整體創(chuàng)新鏈。

針對(duì)創(chuàng)新合作方綜合實(shí)力參差不齊的問(wèn)題，運(yùn)用層次分析法和專(zhuān)家評(píng)議法，構(gòu)造以具有良好企業(yè)資信為準(zhǔn)入門(mén)檻，以科研能力和合作態(tài)度為一級(jí)指標(biāo)并含七項(xiàng)二級(jí)指標(biāo)的評(píng)價(jià)模型，評(píng)價(jià)結(jié)果為項(xiàng)目負(fù)責(zé)人評(píng)價(jià)和選擇合作方提供了動(dòng)態(tài)可量化的依據(jù)。

針對(duì)項(xiàng)目研究成果的認(rèn)定與實(shí)際應(yīng)用聯(lián)系性不強(qiáng)，項(xiàng)目成果在現(xiàn)場(chǎng)應(yīng)用成效關(guān)注度不夠等問(wèn)題，結(jié)合上海地鐵科研創(chuàng)新活動(dòng)的實(shí)際情況和需求導(dǎo)向，建立了適用于上海地鐵創(chuàng)新成果評(píng)價(jià)指標(biāo)體系。評(píng)價(jià)體系選用創(chuàng)新性、實(shí)效性、先進(jìn)性和自主化四項(xiàng)指標(biāo)作為一級(jí)指標(biāo)，選用突破引領(lǐng)、應(yīng)用效益、業(yè)內(nèi)水平等五項(xiàng)作為二級(jí)指標(biāo)，形成多維度可量化的綜合指標(biāo)體系，指標(biāo)體系在經(jīng)過(guò)一段時(shí)間的試用和評(píng)估后，可以適時(shí)支撐如科研管理規(guī)定等相關(guān)制度和標(biāo)準(zhǔn)的優(yōu)化和完善，為進(jìn)一步提高創(chuàng)新能力，形成高質(zhì)量的創(chuàng)新成果起到促進(jìn)作用。

針對(duì)目前專(zhuān)家分類(lèi)分級(jí)規(guī)則較為單一且固定不變、對(duì)專(zhuān)家的評(píng)審情況缺乏反饋等問(wèn)題，使用層次分析法和專(zhuān)家評(píng)議法，形成以具有良好的職業(yè)道德為基礎(chǔ)準(zhǔn)則，以資質(zhì)能力和評(píng)審表現(xiàn)為一級(jí)指標(biāo)并含五項(xiàng)二級(jí)指標(biāo),十項(xiàng)三級(jí)指標(biāo)因子的評(píng)審專(zhuān)家評(píng)價(jià)指標(biāo)體系。體系通過(guò)建立科學(xué)、可行的評(píng)價(jià)模型，對(duì)評(píng)審專(zhuān)家進(jìn)行客觀、公正的多維度可量化評(píng)價(jià)，有助于優(yōu)化和完善專(zhuān)家?guī)斓慕ㄔO(shè)，為項(xiàng)目評(píng)審、咨詢等工作精準(zhǔn)匹配專(zhuān)家提供了支撐，有利于科研活動(dòng)的健康發(fā)展。