區(qū)域衛(wèi)生數據用于臨床療效分析的可用性研究

葉琪，趙亮，阮彤，馮東雷，高炬，劉珉

1. 華東理工大學，上海 200237；

2. 萬達信息股份有限公司，上海 200040；

3. 上海中醫(yī)藥大學附屬曙光醫(yī)院，上海 201203

1 引言

在過去的十余年中，為促進醫(yī)療信息的互聯互通與信息共享，加強衛(wèi)生監(jiān)管監(jiān)督，各省市大多建立了區(qū)域衛(wèi)生信息平臺。經過若干年的積累，這些平臺已經收集和存儲了區(qū)域內醫(yī)院的大量電子病歷（electronic medical record，EMR）數據，這些數據不但記錄了病人的基礎信息，也記錄了醫(yī)生的診斷信息、患者的用藥等治療信息。將這些數據用于臨床科研，對激活區(qū)域衛(wèi)生數據有重要的作用。臨床科研人員可以通過對海量臨床電子病歷數據的分析發(fā)現病人治療的效果、病情的變化情況，從而促進新治療方案的提出和藥物的研發(fā)。近幾年各國政府正在積極推動使用電子病歷進行臨床研究，例如，美國國立衛(wèi)生研究院推動的戰(zhàn)略健康IT高級研究項目（Strategic Health IT Advanced Research Projects，SHARP）[1]等。而在療效分析、轉歸分析和臨床工作流分析等臨床科研中，基于電子病歷的研究也受到廣泛的關注[2-4]。

由于區(qū)域衛(wèi)生平臺上的數據來源于醫(yī)院電子病歷系統，或醫(yī)院多個信息系統融合而成的臨床數據中心（clinical data repository，CDR），這些系統在醫(yī)院發(fā)展過程中經歷了多次版本變化，而在不同系統之間，數據的統一表示、關聯和集成都存在各種問題。區(qū)域衛(wèi)生平臺數據又來源于不同醫(yī)院，異構性更強。同時，醫(yī)生錄入電子病歷主要記錄醫(yī)療過程，記錄過程中數據本身會有缺失，而如何記錄和表示這個過程，也缺乏語義規(guī)范。

另外，無論是區(qū)域平臺的構造，還是電子病歷本身，都并不直接面向科學研究。從管理收費角度來看質量良好的數據可能無法滿足臨床科研的需求。因此，為了掌握區(qū)域平臺數據能否或在多大程度上支撐某一類臨床科研，就需要在做科研之前，對數據進行質量評估。評估結果可以用于設計與細化實驗分析過程，也可以用于未來改造醫(yī)學系統，提升電子病歷數據質量。

目前，電子病歷的研究工作集中在提出電子病歷數據的度量指標以及利用指標發(fā)現數據集合上的質量問題[5]。例如，Weiskopf N G等人[6]提出了Breadth、Documentation、Density、Predictive等多個面向數據完整性的指標，并在醫(yī)院數據上進行了驗證。參考文獻[7]提出電子病歷數據中存在的錯誤和不準確主要包括數據實體錯誤、數據字段缺失、整個記錄缺失以及數據抽取和變換過程引發(fā)的錯誤。參考文獻[8]提出了面向電子病歷的3個數據質量維度：一致性、完整性和真實性，從外部規(guī)定和內部特征兩個方面給出了質量度量指標，并給出了每個度量指標的實例，但這些度量指標沒有應用在具體的數據集中。參考文獻[9]不僅從完整性、準確性和及時性3個方面定義了13個評估指標，還利用這13個指標對支持iSanté系統的95家機構的數據進行了定量評估，發(fā)現了各機構的數據質量問題，并給出機構的數據質量排名。

在上述研究中，使用哪些質量指標評估數據完全是根據評估者的經驗。根據數據質量公認的定義[10]，質量是“數據適合使用的程度（fit to use）”，數據使用的場景是數據質量的核心，數據質量評估的結果應反映數據與使用的適合程度。為此，本文提出了一套基于“數據可用性”的通用評估流程，該流程包括評估需求模板的設計、評估需求的采集以及從評估需求中得到的評估度量。根據此評估流程，可以獲得一系列評估度量。基于該方法，針對某個省級區(qū)域平臺的心力衰竭病人數據的臨床療效分析需求，做了數據質量可用性評估。

2 相關工作

Wang R Y[11]最早提出了一種基于過程管理的數據質量管理（total data quality management，TDQM）方法，引入了工程管理中質量管理的方法，全面管理數據的質量。該方法分為4個步驟：定義、評估、分析、提高。該方法面向數據庫用戶建立一套信息質量度量體系，評估數據錯誤率、數據丟失率，并記錄一致性和最近數據情況等。隨后Lee Y W等人[12]提出了信息質量評估方法（methodology for information quality assessment，AIMQ），幫助企業(yè)全面了解信息質量狀況，并能隨時監(jiān)視信息質量的改進過程。AIMQ將信息按信息產品質量和信息服務質量、符合規(guī)范和滿足用戶期望情況分為4類：健全信息、有用信息、可信賴信息、可用信息。通過專家調研得到每類信息的質量維度，構建產品服務性能/信息質量（product service performance /information quality，PSP/IQ）模型。TDQM和AIMQ從不同角度分別建立了信息質量度量體系，但這兩種方法均沒有涉及評估需求的產生過程，且建立的指標體系與應用場景無關。

考慮具體的應用場景，Batini C等人[13]提出了一種綜合數據質量管理方法——CDQM（complete data quality methodology）。CDQM關注數據與組織之間的密切關系，認為數據質量評估和改進與業(yè)務流程和組織密切相關。該方法將評估分為3個階段：數據狀態(tài)的重構、評估和選擇最優(yōu)的改進流程。數據狀態(tài)的重構階段重新建立組織機構、流程、服務和數據之間的關系；評估階段根據與提供服務有關的主要問題定義新的質量維度，評估數據流和數據庫的數據質量，并確定質量問題所在的位置。該方法能快速發(fā)現產生質量問題的數據所在位置，為提升數據質量提供了依據。此外，Woodall P等人[14]提出了一種數據質量評估的混合方法，目的是省略不必要的評估步驟，節(jié)約數據質量評估的成本、時間和資源。通過抽取現有評估技術中的活動，對不同的活動進行分類，然后明確評估目標，根據需求選擇所需的活動，省略不必要的活動或者將這些活動并行運行，組合成新的評估技術。上述研究的評估目標主要是提升企業(yè)的數據質量，要求數據符合管理需求。但在實際應用中，數據集除了適用于管理，還有許多其他用途。

在醫(yī)療領域中，參考文獻[15]針對衣原體病和淋病患者的電子報告（ePR）進行數據質量評估。評估過程分為5個步驟：驗證報告文件格式，確認所需字段都存在；分析ePR記錄是否都可報告；分析ePR記錄是否都能正確顯示；平行驗證歷史數據中患者地址、治療日期、治療信息、種族、民族的完整性，測試ePR每日數據記錄的完整性和及時性；重新評估過程，對實驗室報告記錄進行再次驗證，并將結果作為金標準。參考文獻[16]對電子病歷的數據用于產科研究的可靠性進行了評估。研究者首先從電子病歷報告中提取數據，然后根據經驗定義了評估指標：分娩方法、誘導產程、宮頸成熟、頂點呈現和產后出血等，對評估指標的數據一致性進行了評估。由于在醫(yī)療領域中每種應用場景的質量要求各不相同，評估的度量體系也各不相同，因此，需要定義一套可操作的通用評估流程，分析數據集在不同的應用場景中是否適用。

3 評估方法

本文提出的數據可用性評估方法如圖1所示。首先，通過評估需求模板收集評估需求，匯聚需求得到評估字段；其次，利用數據集成和數據篩選過程確定評估需求；再次，建立評估映射關系并定義評估度量，定義評估度量后可返回更新評估映射；最后，利用錯誤自動檢測技術定量地評估數據質量，并根據評估結果分析數據的可用性。

整個過程可分為以下6個步驟：

步驟1 收集評估需求；

步驟2 確定評估數據；

步驟3 建立評估映射；

步驟4 定義評估度量；

步驟5 評估數據質量；

步驟6 分析評估結果。

整個過程主要由3類角色參與，第一類角色是領域專家（例如臨床醫(yī)生），其負責步驟1，參與步驟3和步驟5。第二類角色是數據管理者以及負責系統構建與數據集成的信息技術（information technology，IT）工程師，其負責步驟2和步驟3，同時參與步驟5。第三類角色是構造與執(zhí)行質量度量的數據質量工程師，其負責步驟4和步驟5。對于步驟6，需要3類角色共同參與，解釋數據結果。

3.1 收集評估需求

為了采集評估需求的具體內容，本文定義了一個評估需求模板，見表1。質量評估需求模板包括：需求編號、評估字段類別、評估字段、質量要求、字段重要程度、語義相關字段與需求來源。評估需求的核心是評估字段和質量要求。例如，評估字段是臨床診療中錄入或使用的數據字段；質量要求是基于業(yè)務規(guī)則或醫(yī)療信息標準，對數據字段質量相關特性的描述。字段類別描述了評估字段屬于哪一類信息，需求來源是提供評估需求的人或參考資料，語義相關字段描述了與評估字段發(fā)揮類似作用的字段信息。

表1 評估需求模板

圖1 數據可用性評估方法示意

通過Delphi過程確定最終評估需求。Delphi方法[17]又被稱為專家調查法，它利用多輪專家咨詢調查，能快速匯集不同的意見，具有針對性強、科學性強等特點，被用于關鍵因素分析[18]、診療方案的有效性調查[19,20]等領域。在本文中，首先，選擇第一類和第二類角色作為領域專家；其次，臨床科研人員填寫評估需求模板中的評估內容，數據質量工程師根據《中國心力衰竭診斷和治療指南2014》[21]和文獻資料補充評估內容，數據管理人員和IT工程師補充需求模板中的質量要求，最終根據評估需求模板進行多輪調查，確定對臨床療效分析研究重要的評估內容。

面向心力衰竭的療效分析研究的需求，基于Delphi過程，最終得到的評估字段包括年齡、性別、診斷編碼、疾病名稱、體征信息（血壓、心率）、檢驗信息（血脂、腦鈉尿肽（brain natriuretic peptide，BNP）等）、影像檢查（心電圖、心臟彩超）和療效信息。

3.2 確定評估數據

評估數據來源于某個省級區(qū)域平臺，該平臺對該省內的多家醫(yī)院內部的醫(yī)院信息系統（hospital information system，HIS）、臨床信息系統（clinical information system，CIS）、實驗室信息管理系統（laboratory information management system，LIS）和放射信息系統（radiology information system，RIS）等原始業(yè)務數據進行整合，然后根據統一的接口規(guī)范進行整合處理。整合過程需糾正部分數據（例如醫(yī)院代碼等），將整合后的數據上傳到中心數據庫。

本文關注了區(qū)域平臺的心力衰竭病人數據，選擇了2013—2016年在區(qū)域平臺覆蓋的醫(yī)院門診就診或住院的患者，經過篩選最終得到大約380萬條記錄，其中住院記錄122 177條，門診就診記錄3 673 222條，病人大約26萬人。

3.3 建立評估映射

建立步驟1中評估字段與步驟2中評估數據集之間的映射關系。針對表1的需求字段，根據區(qū)域平臺的數據交換接口規(guī)范，說明評估字段的數據來源，如果評估字段存在于多個數據源中，則選定評估字段來自哪個數據源；說明評估字段是結構化數據類型、文本類型還是影像類型。

3.4 定義評估度量

針對心力衰竭療效分析需求，根據步驟1中醫(yī)生對評估需求模板的反饋，給出心力衰竭療效分析的評估度量指標體系。根據前面得到的評估需求字段刪除評估需求中無數據來源的評估字段，選擇、組合或自定義評估指標，最終得到患者的基本信息（出生日期、性別）、體征信息（血壓、心律）、診斷信息（診斷編碼、診斷名稱）、檢驗信息（血脂、BNP）和療效信息（治療效果、死亡信息）共計10個指標。

上述10個評估指標利用參考文獻[22]提出的金標準、數據元素存在性、數據元素一致性、數據源一致性等評估方法，根據表1中得到的質量要求（評估規(guī)則），從數據的完整性和一致性兩個方面進行評估。其中，完整性評估判斷評估字段值是否為空、是否為無意義的系統默認值，評估度量見表2。

一致性評估判斷評估字段是否遵循了統一的規(guī)范、是否保持了統一的格式以及不同數據來源的相同內容是否一致，評估度量規(guī)則見表3。

表2和表3中定義的度量規(guī)則可以是復合規(guī)則（復合規(guī)則由多個基本規(guī)則組成）。

3.5 評估數據質量

本文采用基于錯誤自動檢測技術[23,24]的比率法評估數據質量。根據表2和表3定義的完整性和一致性的評估度量規(guī)則進行錯誤檢測，執(zhí)行查詢語句，發(fā)現違反規(guī)則的所有記錄，迅速發(fā)現數據集中的錯誤，計算出符合度量規(guī)則的記錄數與總記錄數之間的比率。評估算法描述如下。

表2 評估指標的完整性度量規(guī)則

表3 評估指標的一致性度量規(guī)則

輸入：評估數據集S0，評估指標i，評估指標i的度量規(guī)則表{Ri1…Rin}。

輸出：評估結果Vi。

方法：

4 評估結果

從總體上看，本次評估的某區(qū)域平臺的心力衰竭患者數據在療效分析研究中具有一定的可用性。一方面，區(qū)域衛(wèi)生數據為臨床研究提供了豐富的樣本數。本次評估的心力衰竭的患者總數達到26萬，記錄數達380萬。另一方面，數據整體完整性水平較高，評估結果如圖2所示?；颊呋拘畔⒅械某錾掌诤托詣e完整性分別達到75.18%和99.82%。診斷信息中的診斷編碼、診斷名稱完整比例分別為80.18%和82.31%。治療結果的完整性高達99.44%。但是，現有區(qū)域數據質量存在的一些問題制約了數據的使用。具體包括以下幾個方面。

（1）部分數據的完整性存在問題

血壓和心率數據缺失較多，血壓和心率數據完整性分別為16.34%和4.96%，出現這一情況是由于這兩個指標不直接影響醫(yī)院的管理，區(qū)域衛(wèi)生平臺并未強制要求提交相關信息，部分醫(yī)院的血壓和心率數據沒有集成到區(qū)域衛(wèi)生平臺中。此外，死亡信息的完整性也較低（比例為7.92%）。主要原因是受傳統風俗觀點的影響，很多重癥患者臨終前會選擇回家，在醫(yī)院死亡的患者比例較低。

（2）檢驗項目的分類和名稱的統一會提高數據的可用性

檢驗項目中血脂和BNP數據完整性不能完全反映數據的真實情況。見表4，血脂和BNP檢驗收費記錄占總檢驗記錄的比例分別為11.04%和2.45%。明顯可以看出，無論是有這兩項檢驗收費的記錄數還是包含這些檢查項目的報告數都較少，與患者的實際就診情況不符。

出現上述情況的原因是各家醫(yī)院檢驗的項目分類不盡相同，項目名稱也是由各家醫(yī)院自行規(guī)定的，由于分類和名稱不統一，所以無法得到準確的統計數據。例如，血脂的檢驗項目包括多種，不同醫(yī)院血脂包含的指標個數和指標名稱各不相同。血脂檢驗項目可以包括總膽固醇、甘油三酯、高密度脂蛋白、低密度脂蛋白4項檢驗指標，也可以包括總膽固醇、甘油三酯、高密度脂蛋白膽固醇、低密度脂蛋白膽固醇、載脂蛋白AI、載脂蛋白B 6項指標。每項指標名稱也不統一，例如高密度脂蛋白可記為“高密度脂蛋白膽固醇”“HDL”“HDL-C”等。由于沒有統一的標準，在提交的收費記錄和檢驗信息中，有的醫(yī)院使用血脂這一項目名稱，有的醫(yī)院使用具體的檢驗指標項目，檢驗名稱多達10余種，造成數據分析的大量誤差。檢驗項目數據完整性情況見表4。

圖2 數據整體的完整性

（3）診斷術語的不統一影響數據的可用性

雖然區(qū)域衛(wèi)生平臺要求醫(yī)院提交的診斷數據必須遵守國家標準GB/T 14396（可看作中國版ICD-10），但使用標準中的診斷編碼和診斷名稱進行檢索時，仍然無法獲得完整的診斷數據。將診斷編碼、診斷名稱與GB/T 14396標準比較，發(fā)現與標準不相符的編碼和名稱比例分別為17.38%和81.81%。出現這種情況的主要原因是現有ICD-10的編碼內容不夠豐富，不能滿足臨床和管理的需要?，F有編碼內容無法精準描述疾病的精確部位、是首次確診還是復發(fā)、是否做了手術等疾病狀況。雖然部分醫(yī)院通過擴展院內編碼或者擴展疾病名稱的方式滿足了臨床需求（此時院內信息系統上傳時需要與標準GB/T 14396進行轉換），但是部分醫(yī)院將院內編碼直接上傳造成了部分編碼與標準不一致。

（4）雖然平臺已制定數據交換接口規(guī)范，但部分數據提交時未遵守規(guī)范

接口規(guī)范規(guī)定性別編碼“1”代表男性，“2”代表女性，實際數據中同一患者性別編碼不相同的比例為42.67%。規(guī)范規(guī)定出生日期的格式為“YYYYMMDD”，但實際數據表示各不相同。造成這一現象的原因是數據的產生部門及錄入途徑不同，且各業(yè)務子系統的建設時期不同，制定的內部數據規(guī)范也各不相同，而且醫(yī)院進行數據整合時也沒有將內部數據按照規(guī)范要求進行格式轉換或數據映射。

為了提高數據的可用性，需要從多方面入手提高數據的質量?？梢钥紤]從以下幾方面進行改進。

首先，區(qū)域衛(wèi)生平臺還需要集成更多的業(yè)務數據。血壓和心率數據是心血管疾病的重要指標之一，現有平臺中這兩個指標的數據缺失較多，需要部分醫(yī)院將血壓和心率數據集成到區(qū)域衛(wèi)生平臺。此外，影像數據（心電圖和心臟彩超）直接影響著心血管疾病的預后（也是療效評估的依據），對療效研究發(fā)揮著重要作用。而現有系統中缺乏此類檢查數據，區(qū)域數據平臺如果能集成這些數據，將會增強療效分析研究數據的可用性。

表4 檢驗項目數據完整性情況

其次，建立或使用統一規(guī)范的元數據。國際疾病分類（international classification of diseases，ICD）編碼與名稱一致性比較低，而檢驗項名稱也缺乏統一規(guī)范，需要大量的數據后處理工作。未來需在標準的疾病細分層面的基礎上使用規(guī)范的ICD編碼，全面使用衛(wèi)生和計劃生育委員會正在積極推廣的新版標準《GB/T 14396-2016 疾病分類與代碼》。引入一套完整的檢驗項名稱和編碼規(guī)則，改善相關數據的質量。此外，補充現有臨床術語或者編碼與標準術語或規(guī)范之間的映射表，實現數據的匹配和映射。

最后，建立數據質量管理的閉環(huán)機制。各醫(yī)院嚴格遵守數據上傳規(guī)范，減少數據的缺失和格式的不統一，同時區(qū)域平臺定期給出數據質量情況分析，敦促各醫(yī)院不斷提高上傳數據的質量。

5 結束語

本文提出了一種基于實用的標準化數據質量評估框架，通過引入預定義的評估需求模板收集評估需求，并利用Delphi過程快速匯聚各方共識，最終形成廣泛認可的評估需求，然后根據評估需求采集評估數據，建立映射關系，再定義評估度量，完成評估任務。該評估方法回答了數據集對不同應用場景是否可用的問題，雖然僅評估了從某區(qū)域數據平臺采集的數據集對心力衰竭臨床療效研究是否可用，但是該評估方法不僅適用于評估臨床療效這一場景，還適用于其他的應用場景。

未來重點考慮利用SNOMED CT、LONIC編碼作為臨床術語表示的標準，建立現有數據與標準的映射表，解決術語不統一的問題。

[1]REA S, PATHAK J, SAVOVA G, et al.Building a robust, scalable and standardsdriven infrastructure for secondary use of EHR data[J]. Journal of Biomedical Informatics, 2012, 45(4): 763-771.

[2]BROWN J S, HOLMES J H, SHAH K, et al.Distributed health data networks: a practical and preferred approach to multiinstitutional evaluations of comparative effectiveness, safety, and quality of care[J]. Medical Care, 2010, 48(6): 45-51.

[3]BAYLEY K B, BELNAP T, SAVITZ L,et al. Challenges in using electronic health record data for CER: experience of 4 learning organizations and solutions applied[J]. Medical Care, 2013, 51(8): 80-86.

[4]MICHELLE R H, SARAH R B, ISAAC H G,et al. Secondary use of electronic health record data for clinical workflow analysis[J]. Journal of the American Medical Informatics Association, 2018,52(1): 40-46.

[5]REIMER A P, MILINOVICH A,ELIZABETH A M. Data quality assessment framework to assess electronic medical record data for use in research[J]. International Journal of Medical Informatics, 2016, 90(6): 40-47.

[6]WEISKOPF N G, HRIPCSAK G,SWAMINATHAN S, et al. Defining and measuring completeness of electronic health records for secondary use[J].Journal of Biomedical Informatics, 2013,46(5): 830-836.

[7]SUKUMAR S R, NATARAJAN R,FERRELL R K. Quality of big data in health care[J]. International Journal of Health Care Quality Assurance, 2015,28(6): 212-218.

[8]KAHN M G, CALLAHAN T J, BARNARD J,et al. A harmonized data quality assessment terminology and framework for the secondary use of electronic health record data[J]. EGEMS(Wash DC), 2016,4(1): 1244-1261.

[9]PUTTKAMMER N, BASEMAN J G,DEVINE E B, et al. An assessment of data quality in a multi-site electronic medical record system in Haiti[J]. International Journal of Medical Informatics, 2016,86(2): 104-116.

[10]JURAN J M. Juran on planning for quality[M].New York: Free Press, 1988: 14-23.

[11]WANG R Y. A product perspective on total data quality management[J]. Communications of the ACM, 1998, 41(2): 58-65.

[12]LEE Y W, STRONG D M, KAHN B K, et al.AIMQ: a methodology for information quality assessment[J]. Information &Management, 2002, 40(3): 133-146.

[13]BATINI C, SCANNAPIECO M. Data and information quality[M]. Heidelberg:Springer Press, 2016: 353-402.

[14]WOODALL P, BOREK A, PARLIKAD A K. Data quality assessment: the hybrid approach[J]. Information& Management,2013, 50(7): 369-382.

[15]TSENG M, RAKETICH N, SIMMONS C.Evaluation of chlamydia and gonnorhea electronic provider reports data quality[J].Journal of the Public Health Information,2018, 9(1): 337-344.

[16]ALTMAN M R, COLORAFI K, DARATHA K B. The reliability of electronic health record data used for obstetrical research[J]. Applied Clinical Informatics,2018, 9(1): 156-162.

[17]DALKEY N C, ROURKE D L.Experimental assessment of Delphi procedures with group value judgements [M].Santa Monica: Advanced Research Projects Agency, 1971: 1-58.

[18]MCGINN C A, GAGNON M P, SHAW N,et al. Users’ perspectives of key factors to implementing electronic health records in Canada: a Delphi study[J]. BMC Medical Informatics and Decision Making, 2012,12(11): 1-13.

[19]王磊, 張儉, 郭力恒, 等. 基于改良德爾菲法對急性心肌梗死中醫(yī)診療方案的調查分析[J].中西醫(yī)結合心腦血管病雜志, 2010, 8(10):1165-1167.WANG L, ZHANG J, GUO L H, et al.Investigation and analysis of traditional Chinese medicine diagnosis and treatment plan for acute myocardial infarction based on modified Delphi method[J]. Chinese Journal of Integrative Medicine on Cardio-/Cerebrovascular Disease, 2010,8(10): 1165-1167.

[20]KERRY N L, KATY A C, SARA T B, et al.Development of a core outcome set for clinical effectiveness trials in esophageal cancer resection surgery[J]. Annals of Surgery, 2018, 267(4): 700-710.

[21]中華醫(yī)學會心血管病學分會. 中國心力衰竭診斷和治療指南2014[J]. 中華心血管病雜志,2014, 42(2): 3-10.Chinese Society of Cardiology. Chinese heart failure diagnosis and treatment guide 2014 [J]. Chinese Journal of Cardiology, 2014, 42(2): 3-10.

[22]WEISKOPF N G , WENG C H. Methods and dimensions of electronic health record data quality assessment: enabling reuse for clinical research[J]. Journal of the American Medical Informatics Association, 2013, 20(2): 144-151.

[23]CHEN W, FAN W, MA S. Analyses and validation of conditional dependencies with built-in predicates[C]// Database and Expert Systems Applications,August 31-September 4, 2009, Linz,Austria. Heidelberg: Springer Press,2009: 576-591.

[24]KONTOKOSTAS D, WESTPHAL P, AUER S, et al. Test-driven evaluation of linked data quality[C]// The 23rd International Conference on World Wide Web, April 7-11,2014, Seoul, Korea. New York: ACM Press,2014: 747-758.