科技創(chuàng)新平臺績效評估系統(tǒng)設(shè)計
——基于熵值約束平衡計分卡模型

路文杰， 許 娜

(河北科技大學(xué) 經(jīng)濟管理學(xué)院，河北 石家莊 050018)

一、引言

科技創(chuàng)新平臺對于提升區(qū)域科技創(chuàng)新能力和水平、加速各類科技成果轉(zhuǎn)化、提高科技對經(jīng)濟與社會的貢獻率等做出了很大的貢獻。近年來，中國科技創(chuàng)新平臺建設(shè)突飛猛進，但仍然存在著亟待解決的突出問題，如重復(fù)建設(shè)、布局不合理、運行機制不完善等?？萍荚u估是促進科技創(chuàng)新平臺規(guī)范和提高其管理水平的重要手段，可以更大程度地發(fā)揮科研資源的效用。因此，為提高科技創(chuàng)新平臺運行績效，提高創(chuàng)新活動效率，對科技創(chuàng)新平臺績效評估方法進行研究具有較強的理論和實踐意義。

國外關(guān)于科技創(chuàng)新平臺及其運行機制的研究較多，Edward B .Acworth以知識整合團體模式(Knowledge Integration Community, KIC)為例，詳細(xì)剖析了這一可容納政府、產(chǎn)業(yè)與大學(xué)各方合作機構(gòu)的平臺運行機制。[1]William H. A. Johnson對于由產(chǎn)業(yè)、政府機構(gòu)和大學(xué)組成的合作組織促進新技術(shù)成功商業(yè)化的作用進行了探討。[2]關(guān)于科技創(chuàng)新平臺評價方法，國外常用的評估方法主要有定性和定量兩種，其中定性方法主要包括同行評議法、德爾菲法[3]、成本—效益分析法[4]以及面訪與問卷法[5]等；定量方法主要包括數(shù)據(jù)包絡(luò)分析法[6]、模糊綜合評價法等。[7][8]但不管是定性的評估還是定量的評估，評估過程都更側(cè)重于評估結(jié)果的比較，而很少從科技創(chuàng)新企業(yè)戰(zhàn)略管理和績效管理的角度進行衡量。

與先進國家相比，中國現(xiàn)有的科技平臺評估尚有較大的完善空間，評議制度和評價體系有待進一步規(guī)范。實踐方面，目前國內(nèi)對科技創(chuàng)新平臺的評估主要采用專家評價法，由專家依據(jù)固定的評估指標(biāo)體系及一些量化指標(biāo)的完成情況進行打分，各個專家分值加總或加權(quán)排出優(yōu)劣次序。理論方面，大部分學(xué)者提出了更豐富的評價指標(biāo)。如田雅娟等在常用的論文數(shù)量基礎(chǔ)上，提出了被引次數(shù)、h指數(shù)、發(fā)文期刊等質(zhì)量指標(biāo)并進行了深入分析。[9]許晚晴(2014)按照分類評價的原則，提出了基礎(chǔ)研究類、應(yīng)用基礎(chǔ)研究類和政策支持類不同職責(zé)和類別的實驗室兩級評估指標(biāo)。[10]李升澤(2014)基于利益相關(guān)者理論，使用績效棱柱模型，選取政府、 委托管理方、中小型企業(yè)和平臺技術(shù)服務(wù)人員幾個關(guān)聯(lián)方，建立平臺績效指標(biāo)評價體系和績效執(zhí)行進度的數(shù)學(xué)計算模型。[11]李小妹(2011)指出可以借鑒公共部門平衡計分卡模型評估平臺績效，同時還分別對平衡計分卡四個維度上的具體指標(biāo)體系設(shè)計進行了初步探討。[12]有少數(shù)學(xué)者確定了層次分析法、模糊評價法等確定權(quán)重的方法。如王乾磊(2015)結(jié)合平臺功能定位及其作用機制，構(gòu)建了適合平臺的27個績效指標(biāo)[13]，并用層次分析法確定其權(quán)重。張帆(2015)結(jié)合層次分析法(AHP)，設(shè)計制定出一套符合國家重點實驗室發(fā)展戰(zhàn)略的績效評估指標(biāo)評價體系。[14]李佳等(2018)將影響區(qū)域共享平臺綜合績效的因素分為資源集成、共享服務(wù)、運行管理與合作支持等四類，基于影響因素分析構(gòu)建了區(qū)域科技資源共享平臺綜合績效評價指標(biāo)體系,將熵權(quán)與層析分析法結(jié)合起來進行權(quán)重確定。[15]王婉娟(2016)所構(gòu)建的國家重點實驗室協(xié)同創(chuàng)新能力評價指標(biāo)中，除論文、專利、獲獎等常用指標(biāo)外，增加了創(chuàng)新成果市場轉(zhuǎn)化率、創(chuàng)新產(chǎn)品產(chǎn)值兩項科研成果的市場化指標(biāo)，采用模糊層次分析法確定了各級指標(biāo)權(quán)重。[16]

上述文獻大多數(shù)局限于利用平衡計分卡的思想或績效的含義，僅構(gòu)建出科技創(chuàng)新平臺績效評估指標(biāo)，雖有少數(shù)提出了確定指標(biāo)權(quán)重的方法，如專家評定法、層次分析法和德爾菲法等，但使用這些方法確定權(quán)重主要靠人的主觀判斷，除客觀性稍差之外，當(dāng)評價指標(biāo)較多時，每個評價指標(biāo)的權(quán)重差別會很小，因此按這些方法所確定的權(quán)重會不太準(zhǔn)確。此外，由主觀因素確定的權(quán)重相對穩(wěn)定，無法隨情況變化而靈活變動。因此，本文在國內(nèi)外文獻和實踐基礎(chǔ)上，首先基于平衡計分卡的理論構(gòu)建了科技創(chuàng)新平臺評估指標(biāo)；其次，針對傳統(tǒng)的專家評定法等確定權(quán)重方法造成的客觀性不足的缺點，構(gòu)建了基于熵值約束平衡計分卡的科技創(chuàng)新平臺評估模型。該模型能夠?qū)λ念愒u價維度權(quán)重做到動態(tài)賦權(quán)，不僅能夠得到綜合評價結(jié)果，而且可以對四個維度運算得分進行橫向比較分析，以找出被評估單位的優(yōu)勢和劣勢，并有針對性的給出建議和指導(dǎo)；最后設(shè)計科技創(chuàng)新平臺評估系統(tǒng)，實現(xiàn)系統(tǒng)自動運算，盡最大可能為科技創(chuàng)新平臺各級使用者提供方便。

二、模型構(gòu)建

(一)評估指標(biāo)體系構(gòu)建

從體系結(jié)構(gòu)上來講，科技創(chuàng)新平臺包括公共服務(wù)平臺(包括科技文獻信息共享平臺、科學(xué)數(shù)據(jù)共享平臺、大型科學(xué)儀器設(shè)備共享平臺和實驗動物等生物種質(zhì)資源共享公共服務(wù)平臺、科技投入融資平臺、公共檢測平臺等)、科技研發(fā)平臺(包括重點實驗室、工程技術(shù)研究中心和產(chǎn)業(yè)技術(shù)研究院)、科技成果產(chǎn)業(yè)化平臺(包括科技企業(yè)孵化器、生產(chǎn)力促進中心、產(chǎn)業(yè)基地、產(chǎn)權(quán)交易平臺等)。不同類別科技創(chuàng)新平臺運行管理特征不同。基于數(shù)據(jù)易得性和準(zhǔn)確性考慮，本文以重點實驗室這一典型科技創(chuàng)新平臺為例，探討其績效評估實踐。目前科技部開展國家及各省重點實驗室的評估是根據(jù)《國家重點實驗室建設(shè)與運行管理辦法》和《國家重點實驗室評估規(guī)則》(國科發(fā)基〔2014〕124號)所確實的指標(biāo)體系和評估程序進行。該評估指標(biāo)體系包括研究水平與貢獻、隊伍建設(shè)與人才培養(yǎng)，以及開放交流與運行管理三大類，每類指標(biāo)皆有若干評估要點，各類指標(biāo)權(quán)重分別為50%、30%、20%，見表1。

表1 國家重點實驗室評估指標(biāo)體系

本文在此評估指標(biāo)體系及要點基礎(chǔ)上，考慮平衡計分卡理論和目前的評估實踐以及數(shù)據(jù)的可獲得性，篩選出上述評估指標(biāo)體系中容易定量評估且各被評估單位差異較大的部分，建立表2所示的基于平衡計分卡的科技創(chuàng)新平臺績效評估指標(biāo)。

表2 基于平衡計分卡的科技創(chuàng)新平臺績效評估指標(biāo)

從財務(wù)的維度來看，科技創(chuàng)新平臺雖然不像企業(yè)一樣單純地追求經(jīng)濟利潤的增長，但為了維護平臺的正常運轉(zhuǎn)，其又必須擁有可運轉(zhuǎn)的資本，也要盡可能獲得更多的經(jīng)濟效益，所以本文選擇了平臺所獲得的各級經(jīng)費資助，具體包括國家、省、市級及以下項目經(jīng)費，以及依托單位撥付經(jīng)費、共建單位投入經(jīng)費，基本涵蓋了平臺的所有項目經(jīng)費來源。該類指標(biāo)主要從國家重點實驗室評估指標(biāo)體系中“開放交流與運行管理”類指標(biāo)中選擇其中與經(jīng)費有關(guān)的指標(biāo)。

從內(nèi)部流程維度講，為使國家和社會公眾這些目標(biāo)顧客滿意，科技創(chuàng)新平臺應(yīng)當(dāng)著力改進工作流程，所以本文除選擇科技創(chuàng)新平臺的支持保障因素，如固定工作人數(shù)、對外開放水平，如設(shè)置的開放課題數(shù)量、所驗收鑒定的課題數(shù)量，以及學(xué)術(shù)交流等指標(biāo)。該類指標(biāo)主要從國家重點實驗室評估指標(biāo)體系中“隊伍建設(shè)與人才培養(yǎng)”類指標(biāo)中獲得思路。

從顧客維度來看，科技創(chuàng)新平臺的服務(wù)對象是國家和社會公眾，其目標(biāo)是如何向國家和社會公眾提供他們所需的科技成果和創(chuàng)新服務(wù)，所以本文選擇了不同形式的科技成果作為指標(biāo)，如論文、專著、知識產(chǎn)權(quán)等，還選擇平臺所提供的創(chuàng)新服務(wù)指標(biāo)，如專有技術(shù)合同轉(zhuǎn)讓、專利轉(zhuǎn)讓等。該類指標(biāo)與國家重點實驗室評估指標(biāo)體系中“研究水平與貢獻”類指標(biāo)有所重合。

從學(xué)習(xí)與成長維度來看，此指標(biāo)是促進科技創(chuàng)新平臺可持續(xù)健康發(fā)展的重大推動力。只有不斷培育平臺科研人員良好的科研能力和科學(xué)素養(yǎng)，搭建好人才梯隊，打下堅實的智力基礎(chǔ)，才可以為其他維度，尤其是顧客維度，即向國家和社會公眾提供更多代表性科技成果和創(chuàng)新服務(wù)，所以本文選擇了科技創(chuàng)新平臺所培養(yǎng)的博士后、博士、碩士作為代表性指標(biāo)。該類指標(biāo)與國家重點實驗室評估指標(biāo)體系中“隊伍建設(shè)與人才培養(yǎng)”類評估要點有一致性。

(二)基于熵值約束的平衡計分卡模型

“熵”是在信息論中代表對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越?。恍畔⒘吭叫?，不確定性越大，熵也就越大[17]，進一步說明該指標(biāo)在綜合評價中所起的作用越大，則該指標(biāo)的權(quán)重越大；反之，如果信息熵值越小，則該指標(biāo)的權(quán)重應(yīng)該越小。

信息熵的表達式為

(1)

(1)式中，xi為第i個狀態(tài)值，p(xi)為出現(xiàn)第i個狀態(tài)的概率。

本文將熵值賦權(quán)法與平衡計分卡相結(jié)合，構(gòu)建基于熵值約束的平衡計分卡模型，此模型不僅能夠動態(tài)地反映評價維度之間的權(quán)重關(guān)系，而且使得基于平衡計分卡的科技創(chuàng)新平臺績效評估具有更強的可行性、適用性和可操作性。具體評價步驟如下。

1.計算指標(biāo)值xij在第j個指標(biāo)下的權(quán)重p(xij) 。

(2)

2.計算第j個指標(biāo)的熵值ej。

(3)

3.計算第j個指標(biāo)的差異性因數(shù)gj。對于給定的指標(biāo)j，xij的差異性越小，說明指標(biāo)j對于評價結(jié)果幾乎不起作用，此時ej的值越大，而當(dāng)xij的差異越大，ej的值越小，該指標(biāo)對于最后的評價結(jié)果所起的作用越大，因此需要定義差異性因數(shù)向量。

G=(g1,g2,…,gm)，

(4)

其中，

gj=1-ej，

(5)

則當(dāng)gj越大，指標(biāo)越重要。

4.原始權(quán)重的調(diào)整。首先還是需要專家給出所有評價維度的初始權(quán)重，設(shè)bj為專家給出的指標(biāo)原始權(quán)重，用差異性因數(shù)gj對專家組給出的權(quán)重進行調(diào)整為

aj=bi×gj,j=1,2,…,m。

(6)

經(jīng)過歸一化處理后，得到熵值法調(diào)整后的權(quán)重值W=(ω1,ω2,…,ωm)，其中，ωj為

(7)

5.計算平衡計分卡四個維度權(quán)重。

(8)

對平衡計分卡的四個維度：財務(wù)維度、客戶維度、內(nèi)部流程維度、創(chuàng)新學(xué)習(xí)維度按照公式(8)計算得分。四個維度的得分計算出來之后，將所有樣本數(shù)據(jù)按熵值法進行統(tǒng)一計算，得出的綜合得分即為評估結(jié)果。將評估結(jié)果和四維度運算得分進行比較分析，找出被評估單位的優(yōu)勢和劣勢并有針對性地給出建議和指導(dǎo)，從而達到以評估建、以評創(chuàng)優(yōu)的目的。

三、實證研究

選擇河北省8個信息技術(shù)領(lǐng)域的科技創(chuàng)新平臺的年報數(shù)據(jù)進行相關(guān)計算。按照上述數(shù)據(jù)采集說明，將河北省8個信息技術(shù)領(lǐng)域的科技創(chuàng)新平臺2016年年報統(tǒng)計數(shù)據(jù)整理帶入模型計算。在本模型中先用熵值法對河北省科技創(chuàng)新平臺按平衡計分卡中的四個維度進行分析計算，即將所有樣本從四個角度進行權(quán)重計算及比較，然后對所有樣本全面進行權(quán)重計算和評估。由樣本原始數(shù)據(jù)通過熵值法即公式(2)至公式(8)計算得到的四個維度的權(quán)重為(0.28,0.11，0.46,0.15)。

為了體現(xiàn)出熵值確定平衡計分模型權(quán)重的優(yōu)勢，本文將專家打分法確定權(quán)重的評價結(jié)果也同時計算出來，與本文構(gòu)建的基于熵值法確定權(quán)重的平衡計分卡模型的評估結(jié)果做出比較。專家打分法確定平衡計分卡維度權(quán)重的具體過程如下：首先選取河北省內(nèi)信息技術(shù)領(lǐng)域的15名實務(wù)專家與研究學(xué)者，以及省科技廳5名相關(guān)管理人員組成權(quán)重評估專家組,然后由評估專家給平衡計分卡的每個維度的重要性賦予一個評價分值，采取10分制評分法，最小為1分，最大為10分，分值越大維度越重要。通過專家組每位專家打分，統(tǒng)計得到每個維度的總得分，最后再進行歸一化處理，即可確定各維度的權(quán)重，綜合得到的四個維度的專家打分法的權(quán)重為(0.20,0.25,0.30,0.25)。

兩種權(quán)重確定法得到的平衡計分卡評估對比結(jié)果見表3。其中每個實驗室的各維度評估結(jié)果和總評估結(jié)果都有兩個，第一行為熵值法確定權(quán)重得到的評估結(jié)果，第二行斜體字體的為專家打分法得到的評估結(jié)果。

表3 科技創(chuàng)新平臺績效評估結(jié)果

由表3的結(jié)果可以看出，兩種模型得到的綜合評價結(jié)果和各維度的評價結(jié)果都不同。由于專家評價法給定的四個維度的權(quán)重差別不大，因此，每個實驗室的綜合評價結(jié)果與各實驗室在各維度上的評價結(jié)果的排序是一致的，體現(xiàn)不出維度的重要性的不同。而由熵值法確定維度權(quán)重的模型，由于權(quán)重的大小完全依賴于指標(biāo)數(shù)據(jù)的差異，而沒有任何主觀因素的參與，充分體現(xiàn)出了各實驗室在不同維度上的表現(xiàn)，其綜合評價結(jié)果更為客觀。

通過比較分析可以看出，總評估結(jié)果排名第一的單位河北省數(shù)字醫(yī)療工程重點實驗室，其財務(wù)維度、客戶維度均排名第一，內(nèi)部流程維度排名第二， 因此對該單位的指導(dǎo)建議是總體運行良好，適當(dāng)加強學(xué)習(xí)成長方面的建設(shè)?？偱琶詈笠幻暮颖笔】萍夹畔⑻幚韺嶒炇遥湄攧?wù)維度排名為最后第八、客戶維度排名第五、學(xué)習(xí)與成長維度排在第三位，其內(nèi)部流程維度排名靠前，為第一名，因此對該單位的指導(dǎo)建議是總體運行和其他單位相比較差，應(yīng)加強財務(wù)維度、客戶維度的建設(shè)和發(fā)展，具體指標(biāo)包括項目經(jīng)費的引入、高級別論文的發(fā)表及知識產(chǎn)權(quán)、專利的申請，但該單位內(nèi)部流程維度建設(shè)較好，即其學(xué)歷構(gòu)成合理，驗收或鑒定的科技成果及主辦大型學(xué)術(shù)會議較多。

四、科技創(chuàng)新平臺績效評估系統(tǒng)設(shè)計

科技創(chuàng)新平臺的評估工作持續(xù)時間長、任務(wù)量重，單純依靠傳統(tǒng)的人工統(tǒng)計、專家打分，費時費力而且主觀因素相對較多。信息技術(shù)的發(fā)展使得開發(fā)以計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)為基礎(chǔ)的智能化評估系統(tǒng)成為可能，該系統(tǒng)可以為科技創(chuàng)新平臺及時有效便利地提交資料提供平臺，同時也為主管部門及時高效收集信息、統(tǒng)計數(shù)據(jù)、智能評估提供幫助。開發(fā)智能化的評估系統(tǒng)可以促進管理信息化，它的應(yīng)用對于科技創(chuàng)新平臺的發(fā)展來說具有重要意義。該系統(tǒng)采用B/S軟件體系結(jié)構(gòu)，可以再根據(jù)需要進一步開發(fā)，滿足后續(xù)的發(fā)展需求。系統(tǒng)將完全采用計算機設(shè)計系統(tǒng)，努力做到界面簡潔、操作易懂、便于管理等。盡可能為使用者提供方便，提高使用效率。

(一)系統(tǒng)功能結(jié)構(gòu)設(shè)計

本系統(tǒng)的功能從應(yīng)用角度分為前臺管理模塊和后臺管理模塊兩大部分。用戶按照權(quán)限訪問使用相應(yīng)的功能模塊。在權(quán)限處理上，共劃分成三級權(quán)限：系統(tǒng)管理權(quán)限、依托單位權(quán)限、用戶級權(quán)限。其中，前臺管理模塊主要提供注冊和登陸功能，科技創(chuàng)新平臺相關(guān)人員以用戶的身份進行注冊和登錄，并具有查看公告、下載相應(yīng)文件、數(shù)據(jù)填報(錄入數(shù)據(jù)、修改數(shù)據(jù)、隨時保存數(shù)據(jù))、提交附件資料等基本的用戶級權(quán)限；依托單位具有附件下載、數(shù)據(jù)審核等權(quán)限；后臺管理模塊供科技創(chuàng)新平臺的主管單位使用，其功能主要是收集并存儲科技創(chuàng)新平臺所提交的資料，提取相關(guān)平衡計分所需指標(biāo)卡數(shù)據(jù)，對這些資料進行分析統(tǒng)計，給出審核意見，將熵值法嵌入，并根據(jù)平衡計分卡和熵值法原理建立評估模型，給出評估結(jié)果。

在數(shù)據(jù)庫設(shè)計中，以分布式數(shù)據(jù)庫為核心，前臺管理模塊收集信息，后臺審核通過后存入數(shù)據(jù)庫，評估模塊從數(shù)據(jù)庫中提取數(shù)據(jù)并進行整理，為用戶提供檢索、更新、模型運行等。在系統(tǒng)實施時選用PHP進行頁面開發(fā)，同時輔助采用其他前端腳本語言進行頁面布局與控制。功能模塊結(jié)構(gòu)如圖1所示。

圖1 前臺管理功能模塊結(jié)構(gòu)圖和后臺管理功能模塊結(jié)構(gòu)圖

(二)前臺管理功能模塊設(shè)計和數(shù)據(jù)庫設(shè)計

前臺的功能模塊中的注冊登錄功能可以用PHP實現(xiàn)，也可以采用其他頁面前端開發(fā)工具，如JQuery實現(xiàn)。

其中用戶注冊主要功能有：一是注冊信息表單填寫界面 JavaScript 腳本初步檢測用戶輸入的注冊信息。二是注冊處理模塊檢測注冊信息是否符合要求，檢測用戶名是否已存在。三是將注冊信息寫入數(shù)據(jù)表，注冊成功。

用戶注冊程序流程圖如圖2所示。

建表 SQL如圖3所示。

圖2 注冊功能程序流程圖

圖3 SQL 參考圖

(三)后臺管理功能模塊設(shè)計與實施

智能評估平臺的關(guān)鍵功能是數(shù)據(jù)運算與評估，在該模塊中，首先提取數(shù)據(jù)庫中的指標(biāo)數(shù)據(jù)，采用平衡計分卡方法對指標(biāo)數(shù)據(jù)進行四維度分類，對每一類指標(biāo)數(shù)據(jù)采用熵值法計算權(quán)重，并自動計算出各維度的評估結(jié)果和系統(tǒng)評價結(jié)果，使得管理者和被評估單位清晰地看出綜合評價排名及各維度評估排名，進而明確自己的優(yōu)勢與劣勢。

(四)系統(tǒng)仿真與測試

選取本文第四部分實證分析中的信息類重點實驗室2016年提交的8組評估數(shù)據(jù)進行仿真測試，并對測試結(jié)果進行分析。各維評估結(jié)果系統(tǒng)測試均可直接按照從大到小的順序給出，如圖4的學(xué)習(xí)與成長維度結(jié)果，其他維度結(jié)果不再一一列出。綜合評估結(jié)果如圖5所示，與表3中的結(jié)果一致。據(jù)此，該智能評估平臺既對所有參與評估的單位作出有效排名，同時也可以指出每個單位的相對優(yōu)勢及相對劣勢，從而為其長遠發(fā)展提供指導(dǎo)和建議。

圖4 學(xué)習(xí)與成長維度評估結(jié)果

圖5 總評估結(jié)果

五、研究結(jié)論

本文采取平衡計分卡的方法確定了科技創(chuàng)新平臺的評價指標(biāo)體系，并構(gòu)建了基于熵值約束平衡計分卡的科技創(chuàng)新平臺系統(tǒng)評估模型，對河北省信息領(lǐng)域的重點實驗室進行了實證研究。該評價系統(tǒng)能夠?qū)ζ胶庥嫹挚ǖ乃膫€評價維度指標(biāo)權(quán)重做到動態(tài)賦權(quán)，提高了評價結(jié)果的可靠性和真實性，而且具有可操作性。從實證分析結(jié)果可以看出，將熵值法引入平衡計分卡的權(quán)重計算過程中，使得四個維度的權(quán)重值可以隨實測數(shù)據(jù)而動態(tài)改變，降低了權(quán)重的主觀性，提高了綜合評價結(jié)果的客觀性?；贐/S軟件體系建立的創(chuàng)新平臺評估信息系統(tǒng)，實現(xiàn)了評估過程的自動運算。