國內(nèi)外開放數(shù)據(jù)評價研究綜述*

盛小平 焦鳳枝

(上海大學圖書情報檔案系 上海 200444)

隨著開放數(shù)據(jù)運動的進一步發(fā)展，開放數(shù)據(jù)評價成為人們關注的焦點之一。國外產(chǎn)生了“開放政府數(shù)據(jù)指數(shù)”“開放數(shù)據(jù)準備度”“全球開放數(shù)據(jù)晴雨表”等評價工具，國內(nèi)開發(fā)了“中國開放數(shù)林指數(shù)”評價方法。同時，有關開放數(shù)據(jù)評價的理論研究也逐漸走向深入，產(chǎn)生了一系列相關研究成果。盡管國內(nèi)已發(fā)表開放政府數(shù)據(jù)質量[1]等研究述評，但未見相關綜述全面反映國內(nèi)外開放數(shù)據(jù)評價研究成果。2021年5月1-2日，筆者選擇CNKI期刊文獻中的“來源類別”為“核心期刊”和“CSSCI”，以“開放”“數(shù)據(jù)”“評價”或“評估”作為并列“篇名”檢索詞，查詢并去除重復文獻3篇、CSSCI來源擴展版文獻5篇、不相關文獻9篇后，得到50條相關記錄；以同樣的篇名檢索詞查詢CNKI碩博論文庫，并去除不相關文獻后得到30條相關記錄；同時，筆者以“open data”與“evaluation”或“measurement”或“assessment”為并列“title”檢索詞，查詢國外主要全文數(shù)據(jù)庫(含EBSCO、Proquest、Elsevier、Springer、Taylor & Francis、Emerald、SAGE Premier、Wiley-Blackwell、Web of science)，去除不相關文獻后得到59條相關記錄；此外，分別以“開放數(shù)據(jù)”“open data”作為“正題名”檢索詞，檢索國家圖書館“中文文獻庫”和“外文文獻庫”，得到與開放數(shù)據(jù)評價相關的3本圖書，因此，本文共得到142篇相關文獻。由于開放數(shù)據(jù)包括開放政府數(shù)據(jù)、開放科學數(shù)據(jù)(或研究數(shù)據(jù)、科研數(shù)據(jù))、開放機構數(shù)據(jù)、開放個人數(shù)據(jù)等，且現(xiàn)有研究成果主要集中于開放政府數(shù)據(jù)和開放科學數(shù)據(jù)，故本文將兩者評價合在一起來綜述開放數(shù)據(jù)評價研究成果。基于所收集文獻的文本分析與人工統(tǒng)計，發(fā)現(xiàn)開放數(shù)據(jù)評價涉及的分主題較多，出現(xiàn)頻次相對較高的分主題是：數(shù)據(jù)質量評價(35次)、平臺評價(25次)、政策評價(20次)、評價模型(18次)、價值評價(16次)、隱私風險評價(12次)、評價工具(10次)，而其他分主題，如開放數(shù)據(jù)的技術評價、服務評價、用戶參與評價，開放數(shù)據(jù)生態(tài)系統(tǒng)評價、開放數(shù)據(jù)計劃評價、開放數(shù)據(jù)源評價、開放數(shù)據(jù)安全評價等，出現(xiàn)頻次都在5次以下。為反映國內(nèi)外開放數(shù)據(jù)評價的主要研究內(nèi)容，本文選取出現(xiàn)頻次較高(10次以上)的7個分主題，覆蓋開放數(shù)據(jù)評價要素、模型、工具三部分(見圖1)。

圖1 開放數(shù)據(jù)評價研究核心內(nèi)容框架

1 對開放數(shù)據(jù)政策評價的研究

目前該主題研究主要集中于開放政府數(shù)據(jù)政策評價與科學數(shù)據(jù)開放共享政策評價兩方面。這些研究可劃分為整體性評價和階段性評價兩類。開放數(shù)據(jù)政策整體性評價是指對開放政府數(shù)據(jù)或科學數(shù)據(jù)政策全過程、全要素的評價。國內(nèi)涌現(xiàn)了2種評價方法：a.基于開放政府數(shù)據(jù)政策的準備度、執(zhí)行度、影響力三維度的評價。其中，準備度評價是指對準備實施開放政府數(shù)據(jù)的各項政策措施包括數(shù)據(jù)管理、平臺建設、組織機構、公眾利用能力等方面的評價；執(zhí)行度評價是對開放政府數(shù)據(jù)政策具體執(zhí)行情況的評價，如開放政府數(shù)據(jù)的數(shù)量和質量的評價；影響力評價是指開放政府數(shù)據(jù)政策給政府和社會帶來的效益如社會發(fā)展、政治影響的評價[2]；b.基于科學數(shù)據(jù)開放共享政策評價指標體系的評價，該評價指標體系由4個一級指標(含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)利用)、7個二級指標(含數(shù)據(jù)提交、數(shù)據(jù)保存、數(shù)據(jù)備份、數(shù)據(jù)審查、數(shù)據(jù)增刪、數(shù)據(jù)開放共享、權益劃分)、25個三級指標(含數(shù)據(jù)提交的強制性、數(shù)據(jù)提交格式等)組成[3]。國外涌現(xiàn)了其他評價方法,如基于開放政府數(shù)據(jù)的政策背景、政策內(nèi)容、文化三維度的評價。其中，政策背景評價包括對組織層次、政策目標和動機、平臺發(fā)布的數(shù)據(jù)、資源配置和經(jīng)濟環(huán)境、社會和政治背景、開放數(shù)據(jù)驅動力與阻抗力等方面的評價；政策內(nèi)容評價包括對平臺發(fā)布數(shù)據(jù)的技術、數(shù)據(jù)本身和開放數(shù)據(jù)進程的評價；文化評價包括個人主義文化和集體主義文化的評價[4]。

開放數(shù)據(jù)政策階段性評價是指對開放數(shù)據(jù)政策生命周期中的某一階段進行評價，涉及前期政策方案評價和政策實施效果評價。目前，國內(nèi)出現(xiàn)了利用4個一級指標(含目標標準、內(nèi)容標準、公共價值標準、可行標準)和22個二級指標(含目的性、必要性等)來對開放政府數(shù)據(jù)前期政策方案進行評價的方法[5]。國外涌現(xiàn)了評價開放數(shù)據(jù)政策實施效果的方法。如采用數(shù)據(jù)可用性、共享數(shù)據(jù)可訪問性、數(shù)據(jù)完整性和數(shù)據(jù)可理解性四個指標進行評價[6]。

總之，目前人們對開放數(shù)據(jù)政策評價在評價維度、層次與指標上有明顯差異，未形成一種權威的觀點。事實上，開放數(shù)據(jù)政策評價還不能忽視開放數(shù)據(jù)政策內(nèi)容、要素、效益與效率的評價。

2 對開放數(shù)據(jù)平臺評價的研究

該主題研究主要涉及平臺整體績效評價以及單項的平臺效率、平臺可用性和平臺服務質量評價。

2.1 對開放數(shù)據(jù)平臺整體績效評價的研究

開放數(shù)據(jù)平臺整體績效評價出現(xiàn)了兩類評價方法，即二級評價方法和三級評價方法。二級評價方法有5種方法(見表1)。從整體上看，5種二級評價方法在一級評價指標和二級評價指標上各不相同，但一級評價指標多數(shù)強調了平臺功能與數(shù)據(jù)質量兩方面；從微觀評價指標上看，“數(shù)據(jù)格式”是最常用的評價指標，其次是“數(shù)據(jù)量”“數(shù)據(jù)集種類”“完整性”“元數(shù)據(jù)完整性”“可獲取性”“機器可讀”“公眾參與”“許可”“準確性”等指標。三級評價方法有4種方法(見表2)。它與二級評價方法的主要區(qū)別是多數(shù)三級評價方法增加了作為一級指標的描述性指標，如基礎層、數(shù)據(jù)層、平臺層、應用層等。從整體上看，4種三級評價方法差異很大，但在一級和二級指標上同樣強調了平臺功能與數(shù)據(jù)質量兩方面。從微觀評價指標來看，二級評價指標“互動交流”“導航服務”和三級評價指標“數(shù)據(jù)集下載量”“數(shù)據(jù)接口”“數(shù)據(jù)更新”“檢索功能”“分類”出現(xiàn)次數(shù)相對較多，其他評價指標往往不同。

表1 二級開放數(shù)據(jù)平臺績效評價方法

表2 三級開放數(shù)據(jù)平臺績效評價方法

對于開放數(shù)據(jù)平臺整體績效評價，國外以二級評價方法為主，國內(nèi)兼具二級和三級兩類評價方法。文獻[16]僅提出了三級評價指標體系，并未論證其有效性。

2.2 對開放數(shù)據(jù)平臺效率評價的研究

開放數(shù)據(jù)平臺效率評價主要包括如下3種不同方法：a.以數(shù)據(jù)量、數(shù)據(jù)內(nèi)容、連通率、下載速度、網(wǎng)站總頁面數(shù)、網(wǎng)站的不重復鏈接數(shù)作為輸入指標，和以下載量、訪問量、網(wǎng)站外鏈接量作為輸出指標的評價方法[17]；b.以Web對象的數(shù)量、連通率、總頁面數(shù)、不重復鏈接數(shù)、下載時間、網(wǎng)站內(nèi)容作為輸入指標，和以下載量作為唯一輸出指標的評價方法[18]；c.以數(shù)據(jù)集總量、數(shù)據(jù)領域覆蓋度、數(shù)據(jù)可機讀格式占比、承諾高頻更新數(shù)據(jù)集占比、元數(shù)據(jù)完整性作為輸入指標，和以數(shù)據(jù)集平均訪問量、數(shù)據(jù)集平均下載量作為輸出指標的評價方法[19]。當前研究成果中衡量開放數(shù)據(jù)平臺效率的輸入和輸出指標比較少，可增加用戶體驗類輸入指標和經(jīng)濟效益與社會效益類輸出指標。

2.3 對開放數(shù)據(jù)平臺可用性評價的研究

目前有2種開放數(shù)據(jù)平臺可用性評價方法：a.基于系統(tǒng)狀態(tài)的可見性、系統(tǒng)與現(xiàn)實的匹配性、用戶控制與自由等21條可用性原則的評價方法[20]。b.基于開放數(shù)據(jù)集規(guī)范、開放數(shù)據(jù)集反饋、開放數(shù)據(jù)集請求三維度的評價方法，其中，開放數(shù)據(jù)集規(guī)范維度包括數(shù)據(jù)集描述、數(shù)據(jù)集發(fā)布者等7個評價指標，開放數(shù)據(jù)集反饋維度包括文檔和導覽、論壇和聯(lián)系方式等4個評價指標，開放數(shù)據(jù)集請求維度包括申請書、請求列表、參與過程3個評價指標[21]。在上述評價方法中，國內(nèi)提出的第一種評價方法強調平臺自身功能，將可用性與易用性聯(lián)系起來的評價方法；國外提出的第二種評價方法是結合平臺功能與用戶使用效果來進行綜合評估的。相對而言，第二種平臺可用性評價方法更加合理。

2.4 對開放數(shù)據(jù)平臺服務質量評價的研究

開放數(shù)據(jù)平臺服務質量評價有2種評價方法：a.基于有形性、易用性、可靠性、響應性、移情性5維度的評價方法，其中有形性維度包含可視化、導引性2個指標；易用性維度包含時效性、全面性、規(guī)范性3個指標；可靠性維度包含穩(wěn)定性、安全性2個指標；響應性維度包含快捷性、反饋性2個指標；移情性維度包含交互性、吸引性2個指標[22]。b.基于網(wǎng)站可達性、數(shù)據(jù)易用性、網(wǎng)頁可用性、服務舒適性、用戶滿意、用戶信任6維度的評價方法。其中，網(wǎng)站可達性維度包括網(wǎng)頁查找、網(wǎng)站鏈接有效、網(wǎng)頁響應3個指標；數(shù)據(jù)易用性維度包括數(shù)據(jù)及時性、數(shù)據(jù)全面性、數(shù)據(jù)客觀性3個指標；網(wǎng)頁可用性維度包括網(wǎng)站導航、檢索功能、頁面設計效果3個指標；服務舒適性維度包括在線服務、數(shù)據(jù)下載、用戶注冊3個指標；用戶滿意維度包括總體滿意度、達到理想滿意度、達到預期滿意度3個指標；用戶信任維度包括對網(wǎng)站內(nèi)容信任、對網(wǎng)站期望信任、會經(jīng)常光顧網(wǎng)站3個指標[23]。

以上兩種方法分別以SERVQUAL模型和結構方程模型為基礎評價了服務質量，前者從服務提供者和使用者的視角出發(fā)，而后者僅從使用者的視角，視角的不同致使選取的評價指標呈現(xiàn)差異。易用性、可達性、可靠性及響應性是影響開放數(shù)據(jù)平臺服務質量的關鍵因素，應都納入其中。

3 對開放數(shù)據(jù)質量評價的研究

此主題研究包含開放數(shù)據(jù)集質量評價與開放數(shù)據(jù)元數(shù)據(jù)質量評價兩方面。

3.1 對開放數(shù)據(jù)集質量評價的研究

數(shù)據(jù)集質量評價主要有兩類評價方式：一是直接使用屬性指標如準確性、完整性、一致性[24]，可用性、及時性、可理解性[25]，原始性、更新頻率、機器可讀、全面性[26]，可審核性、可信任性、可見性、覆蓋面、互連性[27]等進行評價。二是建立不同的分級評價指標體系進行評價，包括基于重復性、準確性、完整性的三維二級評價方法[28]，和基于數(shù)據(jù)精度、數(shù)據(jù)服務、數(shù)據(jù)時效、數(shù)據(jù)易用的四維二級評價方法[29]，以及基于可追溯性、及時性、有效性、完整性、一致性、準確性、可理解性的七維二級評價方法[30]。雖然七維評價方法比四維、三維評價方法更加全面，但是由于數(shù)據(jù)質量屬性有多種多樣，包括可訪問性、準確性、現(xiàn)實性、可用性、可信性、明確性、完整性、綜合性、一致性、正確性、及時性、易用性、靈活性、互用性、可解釋性、易學性、精確性、不重復、客觀性、冗余度、關聯(lián)性、安全性、時事性、可追蹤性、效用性、有效性、價值性等[31]，因此，目前開放數(shù)據(jù)集質量評價方法仍不全面，不能系統(tǒng)地評估開放數(shù)據(jù)集質量。

3.2 對開放數(shù)據(jù)元數(shù)據(jù)質量評價的研究

開放數(shù)據(jù)的元數(shù)據(jù)質量評價也有兩類評價方法：一是直接使用完整性、及時性、原始性等6個指標進行評價[32]。二是通過建立二級評價指標體系進行評價(見表3)。在整體上看，3種評價方法都注重對元數(shù)據(jù)形式質量、內(nèi)容質量、效用質量進行評價，但評價指標差異較大。從微觀評價指標來看，“存在性”“開放性”是3種方法共用的指標，“可獲取性”“可發(fā)現(xiàn)性”“許可”“文件格式”“開放格式”出現(xiàn)在兩種評價方法中，其他評價指標各不相同。這種分歧意味著今后需要加強開放數(shù)據(jù)元數(shù)據(jù)質量評價標準建設。

表3 開放數(shù)據(jù)元數(shù)據(jù)質量評價方法

4 對開放數(shù)據(jù)價值評價的研究

該主題集中于價值評價框架與實施利益兩方面。目前涌現(xiàn)了2種價值評價框架：a.基于用戶目標實現(xiàn)、提供者目標實現(xiàn)2維評價框架。其中，用戶目標實現(xiàn)維度評價指標包括數(shù)據(jù)提供能力、數(shù)據(jù)搜索及下載能力、用戶反饋能力、數(shù)據(jù)易用性；提供者目標實現(xiàn)維度評價指標包括數(shù)據(jù)展示能力、數(shù)據(jù)處理能力、數(shù)據(jù)上傳能力、數(shù)據(jù)提供者反饋能力[36]。b.基于平臺內(nèi)容、用戶參與、開發(fā)利用3維評價框架。其中，平臺內(nèi)容維度評價指標包括類目完備性、更新及時性、可讀性、可訪問性；用戶參與維度評價指標包括熱度、用戶評價；開發(fā)利用維度評價指標包括開放應用情況、活動舉辦情況[37]。

實踐調查結果顯示，開放政府數(shù)據(jù)計劃實施利益通常是運營利益和技術利益，其次是經(jīng)濟利益，最后是政治與社會利益。這些利益主要包括增加了透明度、重用數(shù)據(jù)能力，增加公眾授權，改進政策制定流程和改善行政管理流程[38]；改進內(nèi)部流程和自動化的數(shù)據(jù)服務，提高員工積極性，提高客戶友好度和關注度，改善政府形象，提高公民的參與，促進經(jīng)濟增長，提高經(jīng)濟效率[39]。在開放數(shù)據(jù)價值評價中，國外更傾向于實證研究，國內(nèi)側重于理論分析。

5 對開放數(shù)據(jù)隱私風險評價的研究

國內(nèi)學者認為，開放數(shù)據(jù)隱私風險評價需要數(shù)據(jù)開放者根據(jù)自身隱私保護需求，使用標記語言對其提供的原始數(shù)據(jù)字段等信息進行隱私等級標記，數(shù)據(jù)使用者通過使用需求語言聲明其使用需求，最終通過矩陣計算確定隱私泄露風險等級[40]；國外學者提出了開放數(shù)據(jù)隱私風險評價模型，該模型由開放數(shù)據(jù)隱私屬性、決策引擎、使用限制、隱私風險緩解措施、隱私風險指示器5部分組成[41]。不過，開放數(shù)據(jù)風險不僅僅是隱私風險，還包括數(shù)據(jù)系統(tǒng)性風險、經(jīng)濟風險、政府治理體系風險、國家安全風險等。

在開放數(shù)據(jù)隱私風險評價方面，英國、法國、新西蘭等采取了一些有效措施，如在《隱私法》、《數(shù)據(jù)保護法》等相關政策法律中明確個人隱私評判標準；運行包括隱私風險評價的隱私影響評估(PIA)工具，實施隱私影響評估；制定包括個人隱私數(shù)據(jù)如何收集、使用及保管的隱私評估準則[42-44]，這些措施值得我國借鑒。

6 對開放數(shù)據(jù)評價模型的研究

該主題集中于開放政府數(shù)據(jù)評價模型研究，可分為一般評價模型和專門評價模型兩類。一般評價模型是對開放數(shù)據(jù)總體情況的評價，涌現(xiàn)了三種評價方法：a.三維三級評價模型，即從數(shù)據(jù)開放水平、平臺完善程度、社會創(chuàng)新三個維度建立三級指標體系來對開放政府數(shù)據(jù)進行評價[45]；b.四維三級評價模型，即從基礎保障層、開放質量層、用戶參與層、價值釋放層四個維度建立三級指標體系來對開放政府數(shù)據(jù)進行評價[46]；c.九維二級評價模型，即從政策規(guī)劃、法律法規(guī)、組織領導、個人能力、組織架構、技術基礎、開放政府原則、創(chuàng)新、參與九個維度建立二級指標體系來對開放政府數(shù)據(jù)進行評價[47]。上述三種模型中，三維三級評價模型和四維三級評價模型側重于開放數(shù)據(jù)水平與價值的評價；九維二級評價模型側重于開放政府數(shù)據(jù)要素的評價。

專門評價模型包括：a.開放數(shù)據(jù)成熟度模型，往往依據(jù)設定的開放數(shù)據(jù)等級來考察相關開放數(shù)據(jù)活動的執(zhí)行情況[48-49]。b.政府數(shù)據(jù)開放效率評價模型，從數(shù)據(jù)、技術、資金、利用率、透明度5個維度，利用政府透明度、數(shù)據(jù)集平均下載量、數(shù)據(jù)層指數(shù)、平臺層指數(shù)、人均財政支出5個指標進行評價[50]。c.政府開放數(shù)據(jù)利用效率評價模型，利用數(shù)據(jù)利用比例、數(shù)據(jù)應用主題的覆蓋程度、數(shù)據(jù)影響力3個指標來進行評價[51]。在專門評價模型中，國外側重于構建開放數(shù)據(jù)成熟度模型，國內(nèi)側重于政府數(shù)據(jù)開放效率評價模型和政府開放數(shù)據(jù)利用效率評價模型。

7 對開放數(shù)據(jù)評價工具的研究

該主題中的評價工具是指國內(nèi)外有代表性的系統(tǒng)完整地評價開放數(shù)據(jù)并經(jīng)過實際應用的開放數(shù)據(jù)評估體系。目前國外已經(jīng)開發(fā)了多種開放數(shù)據(jù)評價工具，主要包括開放數(shù)據(jù)準備度、開放數(shù)據(jù)晴雨表、全球開放數(shù)據(jù)指數(shù)、歐洲公共部門信息記分牌[52]、開放數(shù)據(jù)清單、“經(jīng)合組織的開放、有用和可重用的數(shù)據(jù)指數(shù)”(OECD OURdata Index)[53]、開放政府數(shù)據(jù)指數(shù)、歐洲開放數(shù)據(jù)成熟度評價工具、歐洲開放數(shù)據(jù)監(jiān)控儀[54-55]等。上述評價工具在評價目的、評價主體、評價對象、評價方法、數(shù)據(jù)獲取方法等方面各具特色。開放數(shù)據(jù)晴雨表和開放政府數(shù)據(jù)指數(shù)綜合性較高，前者采用了最全面的視角，包括準備、實施和影響；后者專門測量數(shù)據(jù)集的可用性和開放性，是所有工具中最面向供應方的[52]；僅歐洲開放數(shù)據(jù)監(jiān)控儀是通過網(wǎng)絡自動采集數(shù)據(jù)，實現(xiàn)動態(tài)評價[54]。不過，評估工具的設計并沒有考慮到開放數(shù)據(jù)水平與發(fā)展是會受到國家經(jīng)濟與社會等水平的影響[53]。我國開發(fā)的“中國開放數(shù)林指數(shù)”雖然出現(xiàn)在《中國地方政府數(shù)據(jù)開放報告》中，但鮮見學術文獻研究該評價工具。

8 結 語

綜上所述，國內(nèi)外對于開放數(shù)據(jù)評價進行了廣泛探索，涌現(xiàn)了許多研究成果。這些成果既探討了一般的和專門的開放數(shù)據(jù)評價模型以及實用的國外開放數(shù)據(jù)評價工具，也解析了開放數(shù)據(jù)政策評價、平臺評價、數(shù)據(jù)質量評價、價值評價、隱私風險評價等具體問題，取得了顯著進展。然而，現(xiàn)有研究仍存在如下不足之處：第一，開放數(shù)據(jù)評價理論有待進一步充實與完善，體現(xiàn)在：a.人們常常將對政府數(shù)據(jù)開放和政府開放數(shù)據(jù)、開放政府數(shù)據(jù)與開放科學數(shù)據(jù)混淆不清，實際上這些概念彼此不同。b.理論研究出現(xiàn)失衡現(xiàn)象，具體表現(xiàn)為：對開放數(shù)據(jù)平臺層、數(shù)據(jù)層評價研究居多，而對價值評價研究相對較少，對一個機構開放數(shù)據(jù)的整體評價研究更少；對政府數(shù)據(jù)開放評價研究居多，而對科學數(shù)據(jù)開放評價研究甚少；對國外開放數(shù)據(jù)評價模型或工具介紹居多，而對國內(nèi)原創(chuàng)性開放數(shù)據(jù)評價工具以及對現(xiàn)有工具的二次開發(fā)研究甚少。第二，從開放數(shù)據(jù)評價實踐來看，盡管國外實施了許多開放數(shù)據(jù)評價項目，但多數(shù)從國家層面進行，缺少對城市或機構的開放數(shù)據(jù)評價實踐；國內(nèi)很少像國外一樣開展政府開放數(shù)據(jù)的隱私風險評估與防控。因此，從開放數(shù)據(jù)評價內(nèi)容看，未來需加強對價值評價等研究；從開放數(shù)據(jù)類別上來講，需加強對開放科學數(shù)據(jù)、公共數(shù)據(jù)評價的相關研究。隨著國內(nèi)開放數(shù)據(jù)的快速發(fā)展，我國應該借鑒國外的評價工具與方法，建立一套科學的開放數(shù)據(jù)評價標準，以評估與優(yōu)化國內(nèi)開放數(shù)據(jù)實踐。