基于相對標桿的科研質量評價

周文泳， 柏方云， 張 婧

（1.同濟大學 經濟與管理學院，上海200092； 2.上汽通用汽車有限公司， 上海 201206）

在教育部發(fā)布的《全面提高高等教育質量的若干意見》文件中明確指出：改革高?？蒲泄芾頇C制，建立以科研成果創(chuàng)造性、實用性以及科研對人才培養(yǎng)貢獻為導向的評價激勵機制。然而，目前由于科研質量管理的相對滯后，科研質量評價機制不夠完善，我國高校的科研質量與效率問題日趨突出［1-2］，如何科學合理地評價高校研究機構的質量并根據(jù)評價結果采取措施進一步提升研究機構科研活動的質量與效率是當前的難點和熱點問題，已成為高?？蒲邪l(fā)展中迫切需要研究的問題。

從國內外學者在科研質量評價的相關研究看，現(xiàn)有研究成果主要可歸納如下幾個方面：以質量保證為目的的科研質量評價、展示優(yōu)秀的科研質量評價、支持改進的科研質量評價［3-4］。在作者以往研究中闡述了支持改進的科研質量評價的概念模型和構成要素［5］。進而提出了評價與改進相結合的高校科研質量評價思路［6］。在關于高校科研質量評價方面，研究重點聚焦于科研評價的價值取向［7］，高校科研成果質量評價方法的改進［8］等方面。然而，目前關于支持改進的高?？蒲匈|量評價研究還不足。在針對高?？蒲行恃芯糠矫?，有學者采用多指標綜合評價方法［9-10］，但是沒有考慮到投入產出關系，不能客觀評價高?？蒲匈|量；也有學者通過DEA 分析方法對比各高校的科研效率［11-12］，但是沒有考慮低效率高校與高效率高校之間的可比性以及可及性，未能對高校科研質量的改進提供實現(xiàn)性較強的建議。

標桿管理是起源于在二十世紀八十年代的一種管理方法，是指行為組織以同行業(yè)一流組織的實踐為基準進行比較進而持續(xù)改進。目前，關于標桿管理應用的研究主要集中在標桿管理的實施流程研究［13］以及基于標桿管理的效率測度［14-15］。然而，現(xiàn)有標桿選擇的標準太高，其他行為主體在借鑒標桿的過程中，實際可操作性不強，嚴重影響了標桿管理的實施效果。因此針對科研質量評價和標桿管理理論應用情況的不足，本文提出了便于學習的相對標桿概念，構建基于相對標桿的科研質量評價概念模型，驗證基于相對標桿理論框架的合理性問題，一定程度上彌補高?？蒲匈|量評價現(xiàn)有研究的不足，也為我國高?？蒲泄芾碚叩目茖W制定提供參考依據(jù)。

1 理論分析

1.1 相對標桿的概念詮釋

標桿管理主要涉及兩個問題，即“標什么桿”和“如何標桿”。對于標桿對象的選擇，依據(jù)對象所屬組織的不同，分為內部標桿、外部標桿和功能性標桿三類，三類標桿的特點及優(yōu)缺點見表1。表1表明：最優(yōu)原則是遴選標桿的主要原則（即學習該領域內國際領先的最佳實踐和經驗［15］），但存在標桿管理的成本過高、執(zhí)行周期過長、學習難度過大等問題。

表1 三類典型標桿的對象特點、學習內容及優(yōu)缺點Tab.1 Object characteristics, learning content, advantages and disadvantages of the three types of typical benchmarks

為了克服傳統(tǒng)標桿管理中上述問題，本文提出了以低成本、精簡運作為原則的“相對標桿”概念。相對標桿有兩種理解，一種是動詞理解，指不斷尋找同行業(yè)內相對優(yōu)秀的工作流程、操作辦法或技術標準，以此為基準開展比較、診斷、改進和再比較的循環(huán)操作過程；另一種是名詞理解，指在某一實踐領域或主題下，就待改進組織而言，具有相對競爭優(yōu)勢的同質性組織。在動詞解釋下，相對標桿的學習對象是同行業(yè)內的其他相似性優(yōu)秀組織，不要求在行業(yè)具有領導者地位； 標桿的較優(yōu)實踐是可以轉化吸收的。這三種特性表明，相對標桿能夠有效化解傳統(tǒng)標桿管理中存在的“只向國外看齊”的經驗主義思想，助于實現(xiàn)支持質量改進、而非追求卓越的科研管理目標。

相對標桿管理是在相對標桿的基礎上，形成的一種內發(fā)式管理方法。其核心是通過調動組織內部員工的積極性和主動性，在不依靠外部力量的前提下，實現(xiàn)組織改革、解決潛在的或顯現(xiàn)的種種問題，以實現(xiàn)質量和績效改進的目標。其主要作用有以下3點：

⑴支持持續(xù)改進的工具。應用相對標桿管理方法能夠不斷發(fā)現(xiàn)行業(yè)內具有相對競爭優(yōu)勢的學習對象，提煉有效信息，實現(xiàn)持續(xù)改進。

⑵促進組織自我評價和自診斷。將本組織的工作流程、操作辦法等實踐活動與相對標桿進行比較分析，挖掘相對標桿的優(yōu)勢，能深刻剖析自身實踐的不足，促進組織的自我評價和自我診斷活動的開展。

⑶促進行業(yè)內組織間合作交流。參與相對標桿管理活動的組織擁有平等的地位，能夠降低信息壁壘和惡性競爭等因素對相對標桿管理的影響，促進雙方組織共享和交流各自的內部信息，實現(xiàn)組織利益的“雙贏”。

1.2 基于相對標桿的科研質量評價的目標與準則

開展基于相對標桿的科研質量評價活動，需要實現(xiàn)如下目標：①找出的科研過程、科研員工的工作質量、研究機構質量中存在薄弱環(huán)節(jié)和制約因素；②幫助解決科研質量問題、發(fā)現(xiàn)科研質量改進機會；③為制定科研質量改進目標、改進科研體系、優(yōu)化科研資源配置、改進科研質量提供有效支撐。

開展基于相對標桿的科研質量評價活動，需要遵循如下準則：①評價與改進相結合，評價以改進導向，評價過程與改進過程相結合；②自我診斷性評價，即研究機構、研究團隊與科研員工等三個層面自主參與、自我評價；③分類評價，按評價對象的不同屬性和特點確定相應的評價程序、評價標準，確保評價對象具有可比性與評價結果的科學性；④適度評價，評價的周期與范圍要適度，評價要與不同層次與不同對象的科研質量活動相適應；⑤定量與定性相結合［15］，根據(jù)評價對象的特點采與之相適應的定量與（或）定性的評價方法；⑥可操作性［16］，評價模型、流程和方法應具有可操作性。

1.3 基于相對標桿的科研質量評價的概念模型

結合科研質量管理、科研評價和標桿管理等相關理論［17］，構建高?？蒲袡C構的科研質量評價模型，如圖1所示。

圖1 基于相對標桿的科研質量評價概念模型Fig.1 A conceptual model of research quality evaluation based on relative benchmarking

該評價模型描述了高校科研機構通過引入標桿管理方法持續(xù)改進科研質量的全過程，包括5個部分，即引入標桿管理理念；標桿管理的隊伍建設；制定相關的操作規(guī)范和要求；組織開展科研機構的自我評估；實施以支持科研質量改進為目的的標桿管理。而實施標桿管理的過程又分為4個階段和10個步驟。在計劃準備階段，高校科研機構需要結合高校的整體發(fā)展戰(zhàn)略和科研機構的自身特點，在科研質量評價這一大目標下確定不同層面或者不同角度下的具體主題，比如，從戰(zhàn)略層、管理層和執(zhí)行層面上確定主題，從科研內容角度上確定出科技論文質量、科研項目完成質量和科研隊伍質量等評價主題。然后，在確定評價主題的基礎上，結合自我評估中總結出的關鍵問題，擬定評價要素，比如，針對科研機構的效率不佳問題，從科研投入和產出角度確定的九項評價要素（見表1）。以評價要素為標準，以相對標桿為評價原則，采用數(shù)據(jù)包絡分析等評價方法，確定出具有相對有效性的標桿學習對象。

調查分析階段的主要目的是尋找科研機構與標桿對象之間在科研質量方面的差距，而綜合診斷階段則是分析發(fā)現(xiàn)產生差距的根源。在問題診斷的過程中，主要遵循流程標桿和支持質量改進的指導思想，將科研過程劃分為顧客價值增值過程和相應的支持過程，前者是指能夠直接為科研顧客帶來價值的過程，比如，科技項目的承辦、科技專利的申請和授權、科技論文和著作的發(fā)表等；后者是指為前者提供輔助服務的科研過程，比如，學術交流平臺的構建、學術會議的承辦、重點實驗室的投入等。并采用SWOT分析、競爭力分析等競爭情報法和差距分析法等方法，診斷出這兩個過程中存在的問題，再制定出能夠提升顧客價值，進而提升科研質量的行動方案，并在行動反饋階段進行方案的實施、跟蹤監(jiān)督和反饋。

2 研究設計

2.1 研究對象與目標

以浙江大學、北京大學、上海交通大學、復旦大學、南京大學、四川大學、中山大學、武漢大學、華中科技大學、西安交通大學、東南大學、華南理工大學、廈門大學、同濟大學、北京師范大學、重慶大學、華東理工大學等我國985高校為研究對象開展實證研究。本研究借鑒標桿管理、質量評價、數(shù)據(jù)包絡分析法，從效率與質量視角，構建了一套較為系統(tǒng)的基于相對標桿的科研質量評價體系，為高校有效識別和改進科研質量問題提供積極幫助。

2.2 研究變量與測度

選取高?？蒲行试u價指標時，通常從投入產出兩個緯度加以遴選。本文給出如下高?？蒲匈|量評價指標：①3類投入指標（科研人員投入、科研經費投入、科研資源投入）；師資隊伍（X1）和 專職教師（X2）加以測度，科研經費以財政撥款收入（X3）和科研項目數(shù)量（X4）加以測度；科研資源投入以圖書館電子資源購置費（X5）和國家重點實驗室數(shù)（X6）加以測度。②四類產出指標（學術論文質量、科研項目質量、科技獲獎情況、科技專利質量）。學術論文質量以國外核心論文數(shù)量（Y1）和國內核心論文數(shù)量（Y2）加以測度，科研項目質量以事業(yè)收入（Y3）加以測度，科技獲獎情況以獲得國家三大科技獎項量（Y4）和教育部人文社科優(yōu)秀成果獎（Y5）加以測度，科技專利質量由科技成果轉化合同金額（Y6）加以測度。高?？蒲匈|量評價指標體系及其變量測度說明如表2所示。

表2 質量和效率視角下高校研究機構的科研評價指標體系Tab.2 Research evaluation index system of university research institutions from the perspective of quality and efficiency

2.3 研究方法與模型

在基于相對標桿對科研質量進行評價過程中，選取了基準排序方法并由MATLAB編程求解，Torgersen等人通過用非有效決策單元作為基準來測量決策單元重要性，獲得了有效決策單元的完全排序［17］。

（1） 使用加性模型來評價松弛的值。有效單元集V通過其松弛值等于0來識別。

（3）然后將式（2）用于所有決策單元。該式相當于Banker 等人的BCC 模型，但是其中的參考集是V，而不是包含所有單元。在輸入輸出約束條件中的松弛變量對效率改進的整體潛力有直接的影響。

（4）排序有效決策單元并評價特別重要的單元，按照式（3）中pk的平均值排列所有的有效決策單元。對所有DEA有效單元進行排序的依據(jù)并不是按照各單元的效率排序，而是找出當試圖提高非有效單元績效時最適合作為標桿的有效單元。有效單元定義了每個輸出變量整個的潛能。針對各個prk可以通過式（3）計算，其中k代表學校的編號，r代表輸出指標。 更大的權重表明參考單元在輸入輸出空間上是更接近的，也就是說通過投入相似的混合資源產出了相似的混合輸出。當要增加該非有效單元的產出時，如果現(xiàn)實可以復制的，應該向這個單元學習。yrj代表第j個學校的第r個輸出指標的值。

3 實證分析

3.1 數(shù)據(jù)來源

考慮到高?？蒲谢顒訌耐度氲疆a出需要一定轉化周期，參考對轉化周期的研究，本文將轉化周期定為1 年。本文以我國31 個高校為分析樣本，樣本原始數(shù)據(jù)來源于Web of Science數(shù)據(jù)庫、中國科學引文數(shù)據(jù)庫以及中文社會科學引文索引網站、各高校官方網站、青塔全景云數(shù)據(jù)管理平臺、教育部高等學校圖書情報工作指導委員會網站。其中投入指標為2019年度數(shù)據(jù)，產出指標為2020年度數(shù)據(jù)，相關數(shù)據(jù)如表3 所示。表3 的數(shù)據(jù)表明各高?？蒲型度氘a出規(guī)模差異非常顯著。

表3 全國31所高校的科研投入和產出情況Tab.3 Research inputs and outputs of 31 universities nationwide

3.2 效率分析

各高?？蒲谢顒有手笜藬?shù)據(jù)的指標見表4。經測算，31 所高?？蒲谢顒拥募夹g效率、純技術效率、純技術效率和規(guī)模效率的均值分別為0.972，0.987，0.985，表明目前所測高校的科研活動運作效率整體良好。依據(jù)表4的相關數(shù)據(jù)，對所選高校的科研活動效率及其成因展開討論。5 所高校U7、U10、U12、U19、U25、U28、U29、U30的效率為DEA 無效，其余所測高校的科研活動效率為DEA有效。表4同時表示了各高校的規(guī)模報酬情況以及投入冗余指標和產出不足指標。其中，U10在科研項目數(shù)量和國家重點實驗室數(shù)量兩個方面存在冗余，在事業(yè)收入和教育部人文社科優(yōu)秀成果獎方面存在不足。U19在財政撥款、科研項目數(shù)量和國家重點實驗室方面存在投入冗余的情況，在國內核心論文數(shù)量和事業(yè)收入方面產出不足。U29在科研項目數(shù)量和國家重點實驗室數(shù)量上投入冗余，在國內核心論文數(shù)量、事業(yè)收入、國家科學技術獎和科技成果轉化合同金額方面產出不足。

表4 31所高校科研活動效率分析Tab.4 Analysis of the efficiency of research activities in 31 universities

3.3 相對標桿選取及分析

DEA有效單元的效率值是1，因此只有非效率單元可以按照效率值排序。本文相對標桿選取按照作為標桿的合適性對有效單元進行排序，即根據(jù)有效單元的可及性、可比性以及哪些有效單元更能對比出非有效單元的增長潛力。根據(jù)對有效單元p的平均值大小排序，從中選取最適合作為非有效單元的相對標桿。由表5可知，最后一列展現(xiàn)了按照p平均值排序的有效決策單元的排名，并確定出特別重要的有效單元。特定輸出的參考值prk在輸出的6 個指標上按照百分比排列。從表中第一行的數(shù)據(jù)可以看出有效單元U5在各項輸出指標中非有效單元增長潛力值都是最大的，表明U5最適合作為非有效單元的相對標桿。有效單元有效單元U_2的輸出指標Y1～Y5可作為參考值，而輸出指標Y_6 則不能作為參考值；當有效單元的p_k^r值為0時，則不適合做其他單元的標桿；此外，與待改進單元相比，輸入輸出異質性太大的有效單元，不適合做標桿。

表5 針對所有有效單元j ∈V和輸出指標k ∈Y的參考值prkTab.5 The value of prk for all valid cells j ∈V and output indicators k ∈Y

以非有效單元U7為例，其技術效率為0.913，以U5作為相對標桿，U7的師資隊伍、專任教師、財政撥款以及科研項目數(shù) 和國家重點實驗室數(shù)量均高于U5，在產出方面，國內外核心論文數(shù)量近乎相等，在事業(yè)收入、國家科學技術獎、教育部人文社科優(yōu)秀成果獎以及科技成果轉化合同方面，均低于U5。由此明顯對比表明，以U7現(xiàn)有的科研投入規(guī)模在可操作性方面完全可以達到更高的科研質量成果。因此，U7面臨的最主要問題并不是投入更多的科研資源而是如何充分利用現(xiàn)有資源，提高科研管理水平，提高科研資源配置效率。

選取最合適的相對標桿后，應以相對標桿為目標對非有效單元進行科研質量改進，非有效高校進行改進的主要內容包括對組織質量和效率的改進、組織性能的改進和組織行為的改進3 個部分［18］。①組織質量和效率的改進需要以科研人員為起點，以達到相對標桿的科研競爭力為目標，在全面考慮高校科研總的系統(tǒng)效率的基礎上制定高?？蒲匈|量改進計劃，根據(jù)相對標桿的科研管理體系優(yōu)勢，改進自身的組織結構和管理模式。②組織性能的改進，借鑒相對標桿高校所構建的科研組織和文化環(huán)境，改進科研交流和合作平臺［3］，旨在改進組織性能的循環(huán)過程。③組織行為改進，即在科研人員中樹立不斷改進的意識，以相對標桿為目標，達到不斷提高科研質量目的。

4 結論與啟示

4.1 研究結論

該研究得出如下幾點結論：

（1）相對科研標桿是相同科研領域內相對優(yōu)秀、相對典型的研究機構或科研人員的做法和經驗，具有可及性、經濟性和可比性等優(yōu)點，尋找和學習相對標桿對于改進研究機構科研質量具有重要價值；

（2）基于相對標桿的科研質量評價，屬于支持改進的科研質量評價范疇，是研究機構發(fā)現(xiàn)自身科研質量的弱項、尋找和學習具有相對優(yōu)勢的標桿經驗、提升科研質量的過程，能有效克服傳統(tǒng)標桿管理中存在的成本過高、執(zhí)行周期過長、學習難度過大等問題；

（3）從質量和效率的視角出發(fā)，開展基于相對標桿的科研質量活動時，借助基準排序方法，利用圖1的評價思路和表1的評價指標體系，有助于高校研究機構發(fā)現(xiàn)科研質量的弱項、找到學習的相對標桿和改進其科研的質量和效率。

4.2 管理啟示

針對31所高?？蒲谢顒有蕟栴}，提出如下幾點對策建議：

（1）對于高?？蒲谢顒有侍幱诓煌潭容^低有效狀態(tài)的高校來說，建議改善各高?？蒲腥藛T與科研經費的比重，優(yōu)化科研成果轉化機制，以保證科研成果實用性為前提，實現(xiàn)高效科研質量提升到更高的層次。

（2）對純技術效率和規(guī)模效率均較低的高校來說，建議消除投入資源浪費，增強投入要素資源的配置力度，以實現(xiàn)科研質量最大化的目的。

（3）根據(jù)相對標桿的分析表明，在相近投入的前提下，部分高?？梢缘贸龈叱潭鹊膶W術論文質量、科研項目質量、科技獲獎情況和科技專利質量。由此表明更多的科研人員、經費投入并不是保證科研質量的必要條件，高校在提高科研質量的過程中，應該更注重如何構建科研環(huán)境以及科研激勵機制等，以達到在現(xiàn)有投入的基礎上得到更高產出的目的。

作者貢獻聲明：

周文泳：提出選題與相對標桿、學術構思、文稿審核；

柏方云：模型構建與編程求解、實證分析、文稿撰寫；

張婧：概念模型構建、論理分析，文稿撰寫。