科學數(shù)據(jù)中心綜合運行評價體系賦權研究

徐 波 王瑞丹 陳祖剛 李國慶 石 蕾 高孟緒

（1.國家科技基礎條件平臺中心，北京 100038；2.中國科學院空天信息創(chuàng)新研究院，北京 100094；3.國家對地觀測科學數(shù)據(jù)中心，北京 100094）

0 引言

科學數(shù)據(jù)中心是用來集中管理（存儲、計算、交換）科學研究數(shù)據(jù)的地方。在科學研究進入以數(shù)據(jù)驅動的“第四范式”背景下，科學數(shù)據(jù)成為科研工作乃至國家發(fā)展的重要戰(zhàn)略資源，科學數(shù)據(jù)中心成為科研工作取得重大突破性創(chuàng)新的關鍵基礎設施之一。近10年來，我國開展了不同層面的科學數(shù)據(jù)共享中心建設與運行工作，形成了一批層次不同、類型多樣的科學數(shù)據(jù)中心，為推動科學數(shù)據(jù)共享利用、提高資源利用效率發(fā)揮了積極的作用[1]。然而，我國現(xiàn)有的數(shù)據(jù)中心及其運行管理水平良莠不齊，降低了科學數(shù)據(jù)對科技創(chuàng)新的支撐和保障能力急需通過建立完善的評價體系，促進數(shù)據(jù)中心提升能力建設[2]。

科學數(shù)據(jù)中心的評價工作較早地受到國外相關部門和國際組織的重視，并且有較多的科學數(shù)據(jù)中心主管機構或第三方組織對科學數(shù)據(jù)中心進行系統(tǒng)的評價。如由互聯(lián)網(wǎng)基金會發(fā)起的“開放數(shù)據(jù)晴雨表”對全球各國政府數(shù)據(jù)開放和使用進行評估[3]，對115 個國家15 個領域的1 725 個數(shù)據(jù)集進行調(diào)查、分析和評估，并在此基礎上形成了大量的科學數(shù)據(jù)中心多指標評價體系；國際數(shù)據(jù)系統(tǒng)（WDS）的數(shù)據(jù)倉儲核心認證（CTS）作為國際上領導性的科學數(shù)據(jù)中心評價和認證標準，采取包括倉儲背景信息、組織結構、存儲內(nèi)容管理和技術基礎4 個維度在內(nèi)的17 項指標進行多指標評價，這一方案普遍適用于數(shù)據(jù)存儲機構的評估。

我國也有很多機構和科學研究團隊對科學數(shù)據(jù)中心運行績效評價指標開展了研究和實踐，并初步建立了多指標評價體系。尤其是2011年隨著包含科學數(shù)據(jù)的國家科技基礎條件平臺正式運行服務，我國相關管理部門對國家科技基礎條件平臺的考核評價工作也同步啟動[4]，建立了針對平臺運行績效的評價體系。評價體系從資源整合、運行管理、服務成效和服務數(shù)量4 個方面[5]，建立了資源增量與質量等12 個評價指標，有效地促進了我國國家科技基礎條件平臺的發(fā)展。

值得注意的是，雖然國內(nèi)外相關的數(shù)據(jù)中心評價形成了多指標體系的共識，但體系賦權的定量化程度都還較低，評估重點難以根據(jù)實際確定，權重系數(shù)易根據(jù)某些政策性因素約束采用“一刀切”方式固定不變。這種自上而下制定的規(guī)則，很難與同行專家的專業(yè)認知相結合，不能有效輸入專家的智慧，加強評價指標的科學性。

科學數(shù)據(jù)中心評價的指標權重是評價體系的關鍵技術之一，賦權是否合理直接影響評價的科學性。無論是從科學數(shù)據(jù)中心管理實踐還是理論研究的角度出發(fā)，在當前背景下，構建一套適應我國科學數(shù)據(jù)戰(zhàn)略需求的合理數(shù)據(jù)中心評價體系的賦權機制，對推動數(shù)據(jù)中心的管理和運行能力的提升，更好地利用科學數(shù)據(jù)價值，支撐國家重大戰(zhàn)略需求，具有十分重要的意義。本文將面向科學數(shù)據(jù)中心運行狀況綜合評價的重大需求，針對已有的多指標評價體系，提出了一套耦合層次分析法和相關性分析法的高可操作性、高可靠性賦權方法，為實現(xiàn)科學數(shù)據(jù)中心運行狀況科學合理評價以及類似任務的賦權提供方法借鑒。

1 研究現(xiàn)狀

賦權是各個評價體系的關鍵技術之一，已經(jīng)有較多的研究人員針對具體的應用場景開展了研究?，F(xiàn)有的賦權方法主要分為主觀方法、客觀方法和主客觀組合權重分配法3 種形式。

主觀方法由具有專業(yè)經(jīng)驗的專家結合指標體系，通過主觀判斷的方式實現(xiàn)，這類方法主要適用于評價體系的初創(chuàng)期，提出合理的指標權重分配。楊行等[6]運用層次分析法，從站點品牌、性能外觀、數(shù)據(jù)范圍、數(shù)據(jù)渠道以及數(shù)據(jù)價值5 個方面構建科學數(shù)據(jù)共享網(wǎng)站的資源可見性評價框架，對科學數(shù)據(jù)共享網(wǎng)站的資源可見性評價進行分析和討論；司莉等[7]選擇運營管理、數(shù)據(jù)資源、平臺功能、服務效率和影響4 個一級指標，利用分析層次結構過程來設置指標權重，并使用專家評分方法給出指標的分數(shù)，對中國8 個主要的科學數(shù)據(jù)類國家平臺進行績效評估。

客觀方法是指根據(jù)決策矩陣的指標取值情況，利用客觀數(shù)據(jù)實現(xiàn)指標權重的分配[8]，適用于評價體系廣泛應用期的優(yōu)化與改進。劉永志[9]經(jīng)過對《中國統(tǒng)計年鑒》中分地區(qū)科學技術相關的統(tǒng)計數(shù)據(jù)進行主成分分析，將51 個屬性變量降維用8 個主成分來表示，計算主成分得分，得到31 個行政單位的科學技術相關的綜合得分，并且給出參考意見。

主客觀組合權重分配法是將主觀法和客觀法組使用，利用決策者主觀知識與經(jīng)驗和決策數(shù)據(jù)的客觀事實綜合確定指標權重，達到相互補充的目的。

對于目前我國科學數(shù)據(jù)中心的評價，尚未完全達到成熟期，體系中的客觀數(shù)據(jù)還不夠完善，所以指標賦權方法主要在主觀方法中選擇。主觀方法中，最具代表性的方法有層次分析法、專家調(diào)查法、相關系數(shù)法、網(wǎng)絡層次分析法、效用函數(shù)法和基于證據(jù)推理的權重分配法。根據(jù)相關學者的調(diào)研，發(fā)現(xiàn)各個學科領域的專家開展的指標權重確定方法研究中，層次分析法和專家調(diào)查法所占比例較大。這兩種方法在實際使用案例中分別占了約37.02%、30.80%[10]，可見這兩種方法具有很強的實用性。但是，層次分析法的主觀性較強，如何剔除主觀性是提高層次分析法精度必須解決的問題。本文提出一種層次分析法和相關系數(shù)法相結合的權重計算方法應用于科學數(shù)據(jù)中心評價指標權重研究，為評價指標體系提供可操作性強、可靠性高的權重計算方法，保證科學數(shù)據(jù)中心評價的科學性。

2 評價指標體系

隨著數(shù)據(jù)量的增加和科學數(shù)據(jù)中心的急速發(fā)展，數(shù)據(jù)中心的業(yè)務鏈變得更長，信息化程度提升更快，對數(shù)據(jù)中心的學科綜合性和發(fā)展方向差異性要求也越來越高。同時，隨著我國科研創(chuàng)新能力和學術影響力逐步增強，國際化需求也更加強烈。因而，本文在國內(nèi)外的多套數(shù)據(jù)中心評價指標體系的基礎上，根據(jù)《科學數(shù)據(jù)管理辦法》[11]對科學數(shù)據(jù)中心包括科學數(shù)據(jù)整合匯交、分類分級、加工整理和分析挖掘，保障科學數(shù)據(jù)安全，推動開放共享，加強國內(nèi)外交流與合作等職責的內(nèi)在要求和《國家科技資源共享服務平臺管理辦法》[12]對科學數(shù)據(jù)中心“進行分類評價，重點考核科技資源整合能力、服務成效、組織運行管理及專項經(jīng)費使用情況”等內(nèi)容考核內(nèi)容的相關規(guī)定，結合科學數(shù)據(jù)中心管理機構的統(tǒng)一管理需求，本文提出了一套全流程全體系化的多指標評價體系，從資源整合、平臺服務、分析與挖掘、運行管理、支撐條件、可持續(xù)能力和國際影響力7 個方面對科學數(shù)據(jù)中心現(xiàn)狀以及運行成效進行綜合評價。7 個一級指標包括清單任務完成度、資源數(shù)量、增量與質量等27 個二級指標（圖1）。在科學數(shù)據(jù)中心評價時，各科學數(shù)據(jù)中心只需填報二級指標的資料，經(jīng)過對二級指標進行橫向量化以后，成為各科學數(shù)據(jù)中心總的運行分數(shù)。該指標體系涵蓋了科學數(shù)據(jù)中心現(xiàn)有實力的評價指標和指定時間段內(nèi)的運行績效指標，是一個綜合的評價系統(tǒng)，其目的是為各個數(shù)據(jù)中心生成一個既考慮數(shù)據(jù)中心現(xiàn)狀又發(fā)揮數(shù)據(jù)中心主觀能動性的綜合評價分數(shù)，管理機構可以依據(jù)綜合評價分數(shù)的高低，為各個數(shù)據(jù)中心分配運行經(jīng)費。在27 個二級指標中屬于科學數(shù)據(jù)中心現(xiàn)有實力評價的指標包括現(xiàn)有資源量、數(shù)據(jù)管理能力、數(shù)據(jù)分析挖掘能力、工具應用能力、工作場地、信息設施、人才團隊與培養(yǎng)、國際化人才、國際用戶。

圖1 科學數(shù)據(jù)中心運行狀況綜合評價指標體系

3 研究方法

3.1 層次化系統(tǒng)建立

層次分析法是指將與決策有關的元素分解成目標、準則、因素等層次，在此基礎上進行定性和定量分析的決策方法。該方法是美國運籌學家匹茨堡大學教授薩蒂于20 世紀90年代初提出的[13]。它將一個復雜的多目標決策問題看作一個系統(tǒng)，將目標分解為多指標（或準則、約束）的若干層次，建立判斷矩陣，并求解矩陣特征向量的辦法，求得每一層次的各元素優(yōu)先權重。層次分析法的判斷矩陣是通過一致矩陣法獲取，不把所有因素放在一起比較，而是兩兩相互比較，采用相對尺度，以盡可能減少性質不同的諸因素相互比較的困難，提高準確度。

使用層次分析法計算科學數(shù)據(jù)中心評價賦權，首先需要對評價指標體系進行層次化分解，形成有序的遞階結構。如圖2所示，建立的科學數(shù)據(jù)中心評價指標體系的一級指標層次化系統(tǒng)，目標層為科學數(shù)據(jù)中心運行評價A，因素層主要包括資源整合情況（A1）、平臺服務情況（A2）、分析與挖掘（A3）、運行管理情況（A4）、支撐條件情況（A5）、可持續(xù)能力（A6）、國際影響力（A7），A=A1+A2+A3+A4+A5+A6+A7。

如圖3所示，建立的關于資源整合情況的二級指標層次化系統(tǒng)，目標層為資源整合情況A1，因素層包括清單任務完成度（A11），資源數(shù)量、增量與質量（A12）、資源合作網(wǎng)絡（A13）、數(shù)據(jù)資源匯交（A14），A1=A11+A12+A13+A14。

依次建立各個二級指標層次化系統(tǒng)，最終共建立8 個層次化系統(tǒng)，即一級指標構成1 個層次化系統(tǒng)，7 個二級指標分別構建一個層次化系統(tǒng)，共計8 個層次化系統(tǒng)。

圖2 科學數(shù)據(jù)中心評價指標體系的一級指標層次化系統(tǒng)

圖3 科學數(shù)據(jù)中心評價指標體系資源整合情況二級指標層次化系統(tǒng)

3.2 科學數(shù)據(jù)中心評價體系權重確定

3.2.1 構造各層次化系統(tǒng)兩兩比較矩陣

對于每個層次化系統(tǒng)，首先建立其因素層的各個因子兩兩之間的相對重要性的評價表，8 個層次化系統(tǒng)共建立8 張評價表。然后邀請熟悉數(shù)據(jù)工作的專家對各個指標相對重要性進行評分，采用Saaty 1-9 標度評分標準進行評估賦分[14]，見表1。最后，邀請我國熟悉科學數(shù)據(jù)中心工作的20 位專家。專家遴選需滿足以下條件：（1）熟悉科學數(shù)據(jù)中心管理工作；（2）對科學數(shù)據(jù)發(fā)展理論有一定的研究和認識；（3）來自不同領域不同專業(yè)的數(shù)據(jù)中心。請專家分別對8 張評價表進行評分，形成了指標重要性兩兩比較判斷矩陣，獲得多個比較矩陣，如式（1）所示為其中一位專家對科學數(shù)據(jù)中心評價一級指標的相對重要性打分形成的判斷矩陣。

表1 Saaty 1—9 標度評分標準

可以發(fā)現(xiàn)對于同一層次化系統(tǒng)的n個指標，兩兩判斷矩陣P=[pij]應滿足pii=1，pij×pji=1。

3.2.2 數(shù)據(jù)分析與結果

對獲得的關于8 個層次化系統(tǒng)多個比較矩陣，首先計算一級指標對總目標A的權重，計算方法為對所有的有關總目標A的比較矩陣進行矩陣的一致性檢驗。一致性檢驗的目的是考察專家打分內(nèi)在的邏輯一致性以排除隨機或錯誤給出的相對重要性評分。一致性檢驗的具體方法為計算矩陣的最大特征值λmax，獲取一致性指標C1，見式（2），C1的值越大，判斷矩陣的不一致性越嚴重，不一致性通過矩陣檢驗系數(shù)CR表達，CR的計算方法如式（3）所示，其中RI為隨機一致性指標[15]，其值根據(jù)表2獲取。當CR的值小于0.1時，判斷矩陣被認為通過一致性檢驗，這時，其最大特征值λmax對應的歸一化后的特征向量可以作為相應指標的權重向量。若CR>0.1，則此判斷矩陣未通過一致性檢驗，其提供的值不可信。

表2 隨機一致性指標RI取值表

例如，式（1）中矩陣P的最大特征值為7.300 7，C1=（7.300 7-7）/6=0.05；CR=0.05/1.32=0.037 9，由于CR的值小于0.1，可以把矩陣P的最大特征值對應的特征向量R=[-0.837 0,-0.428 8,-0.216 4,-0.216 4,-0.102 8,-0.095 0,-0.048 7]歸一化后的值[0.430 3,0.220 5,0.111 3,0.111 3,0.052 9,0.048 8,0.025 0]作為A1—A7 這7 個指標的權重值。

按照以上方法對所有專家評價產(chǎn)生的比較矩陣進行分析，得到了有效權重向量（有的專家的比較矩陣未通過一致性檢驗，為無效權重向量），如表3所示?？梢园l(fā)現(xiàn)，各個專家的權重向量存在一定差距，但總體上差別不大，可見各個專家對指標的重要性程度有著較為一致的認識。為了進一步選出低質量的專家評價矩陣，把有效權重向量求取平均值，計算每位專家的權重向量和平均值向量的皮爾遜相關系數(shù)，把相關系數(shù)較小的權重向量剔除，計算剩余權重向量的平均值，作為考核指標的最終權重。皮爾遜相關系數(shù)的計算方法如下：

其中，X、Y是兩個權重向量，分別是X、Y的平均值。皮爾遜相關系數(shù)越接近于1或-1，相關度越強（1 為正相關，-1 為負相關），相關系數(shù)越接近于0，相關度越弱。通常情況下，皮爾遜相關系數(shù)的值為[0.8,1]代表二者極強相關，[0.6,0.8]代表強相關，0.6 以下的相關系數(shù)代表中等程度及以下相關。有效權重向量和平均值的權重向量的相關系數(shù)分別為如表4所示。

從表4可以發(fā)現(xiàn)第3、4、5、20 位專家對一級指標的權重向量與平均值的相關系數(shù)低于0.6，可以判定為低質量的評價，予以剔除，最終把第1、8、9、10、11、12、14、……、19 位專家的權重向量求取平均值作為一級指標的最終權重，即資源整合情況的指標權重為0.309、平臺服務情況的權重為0.254、分析與挖掘權重為0.094、運行管理情況為0.108、支撐條件情況為0.088、可持續(xù)能力為0.087、國際影響力為0.060。

用以上方法，分別對各個二級指標層次化系統(tǒng)的指標求取權重，然后用二級指標的權重乘以相應的一級指標的權重，獲取最終的權重系數(shù)，如圖4所示（所有的系數(shù)都以百分比顯示）。

表3 各個專家的比較矩陣對應的國家科學數(shù)據(jù)中心一級指標的權重

表4 各個專家權重向量與平均值向量的相關系數(shù)

4 結論與討論

本研究通過邀請科學數(shù)據(jù)領域的專家，對提出的科學數(shù)據(jù)中心評價指標體系的一級、二級指標的相對重要性進行評分，生成指標相對重要性矩陣，計算矩陣的特征值和特征向量，把特征向量歸一化后獲取各個指標的權重。對各個專家的指標權重求取平均值，再由平均值和各個專家的權重值進行相關性分析，剔除相關系數(shù)較低的值，剩余值再求平均數(shù)作為各個指標最終權重。把層次分析與相關系數(shù)相結合的方法應用于科學數(shù)據(jù)中心運行狀況的評價之中。本方法具有兩個方面的優(yōu)點：一是把專家的專業(yè)知識作為科學數(shù)據(jù)中心指標權重大小的判斷依據(jù)；二是減少層次分析法的主觀性，提取熟悉科學數(shù)據(jù)工作的專家共識。

圖4 科學數(shù)據(jù)中心績效考核評價指標體系及其權重

從計算的評價體系指標的最終權重中可以看出（圖4），其7 個一級評價指標的權重并不相同，甚至相差很大，其中數(shù)據(jù)“資源整合”和共享“平臺服務”是科學數(shù)據(jù)中心評價指標體系中權重最大的因子，這也暗示了各個科學數(shù)據(jù)中心必須把數(shù)據(jù)資源整合和數(shù)據(jù)共享服務作為工作的重中之重。在二級指標中，“清單任務完成度”“資源數(shù)量、增量與質量”“資源服務量”和“數(shù)據(jù)資源匯交”在數(shù)據(jù)中心的工作中占有較大權重，是數(shù)據(jù)中心較為核心的具體工作。從總體上看，本文提出的方法能有效支撐科學數(shù)據(jù)中心開展量化評價，指導數(shù)據(jù)中心明確工作的重心，具有重要的評價和指導意義。未來，可以對二級指標進一步細化，形成更加詳細的三級指標，利用本研究提出的方法計算三級指標的權重，實現(xiàn)各個科學數(shù)據(jù)中心提供其運行狀況數(shù)據(jù)資料后，其運行績效分數(shù)的自動生成，增強評價的自動化和智能化水平。