大數(shù)據(jù)環(huán)境下面向知識服務的數(shù)據(jù)清洗研究*

蔣 勛 劉喜文

（1.南京大學信息管理學院 江蘇南京 210039）

（2.無錫城市職業(yè)技術學院電子信息工程系 江蘇無錫 214153）

1 引言

隨著以微博、社交網(wǎng)絡等為代表的新型信息發(fā)布方式的不斷涌現(xiàn)，人類社會的數(shù)據(jù)種類和規(guī)模正以前所未有的速度在不斷地增加和累積，大數(shù)據(jù)時代正式到來。在大數(shù)據(jù)環(huán)境下探討知識服務，不再局限在傳統(tǒng)的文獻服務，而必須同步數(shù)據(jù)的爆發(fā)式增長與社會化趨勢，將視角瞄準大量的碎片化信息、用戶行為、用戶關系，并將焦點匯聚在由此產(chǎn)生的實時數(shù)據(jù)、非結構化數(shù)據(jù)及機器數(shù)據(jù)。知識服務的內(nèi)涵，將隨著大數(shù)據(jù)的驅動而深刻發(fā)生變化，它將幫助一個組織更好地調(diào)用內(nèi)部、外部以及公共信息，并進行數(shù)據(jù)分析，做出前瞻性的數(shù)據(jù)判斷。

美通社最新發(fā)布的 《大數(shù)據(jù)市場：2012至2018年全球形勢、發(fā)展趨勢、產(chǎn)業(yè)分析、規(guī)模、份額和預測》報告指出，2012年全球大數(shù)據(jù)市場產(chǎn)值為63億美元，預計2018年該產(chǎn)值將達483億。2012年，美國政府撥款2億美元啟動“大數(shù)據(jù)研究和發(fā)展倡議”計劃。IBM、微軟、Google等國外IT巨頭早已嗅到了“大數(shù)據(jù)時代”的商機，這些國際巨頭借助自己擁有領先技術和豐富資源，以及穩(wěn)定的大客戶群，實力雄厚，率先涉足。

我國互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）對中國大數(shù)據(jù)技術和服務市場2012～2016年的預測與分析指出：該市場規(guī)模將會從2011年的7760萬美元增長到2016年的6.17億美元，未來5年的復合增長率達51.4%，市場規(guī)模增長近7倍。在國內(nèi)，大數(shù)據(jù)正在引起越來越多的企業(yè)關注。不但阿里巴巴、騰訊等把大數(shù)據(jù)當成近期的重點項目。作為國內(nèi)互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)源地和創(chuàng)新高地，中關村也在搶抓大數(shù)據(jù)發(fā)展機遇，著手布局大數(shù)據(jù)產(chǎn)業(yè)。

學術界、工業(yè)界甚至政府機構都已經(jīng)開始密切關注大數(shù)據(jù)問題，并對其產(chǎn)生了濃厚的興趣。大數(shù)據(jù)是新一代信息技術的集中反映，表現(xiàn)在數(shù)據(jù)從簡單的處理對象轉變?yōu)橐环N基礎性資源，大數(shù)據(jù)的規(guī)模效應正在給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)，知識管理方式上的變革正在醞釀和發(fā)生。如何有效存儲、管理、組織和更新大規(guī)模的數(shù)據(jù)，如何有效利用存儲的數(shù)據(jù)進行推理獲取知識并求解問題，這也是目前圖書情報領域一個重要研究課題，正如Google的首席經(jīng)濟學家Hal Varian所說，數(shù)據(jù)是廣泛可用的，所缺乏的是從中提取出知識的能力。由此，可以認為數(shù)據(jù)收集的根本目的是根據(jù)需求從數(shù)據(jù)中提取有用的知識，并將其應用到具體的領域之中。大數(shù)據(jù)環(huán)境下，更需要高效的知識提取手段，使得大數(shù)據(jù)源源不斷提供有用的知識，而非知識被“淹沒”在大數(shù)據(jù)中。在“數(shù)據(jù)海洋”中對大數(shù)據(jù)進行知識提取，最有可能的手段是讓大數(shù)據(jù)“縮水”，祛除一些噪聲數(shù)據(jù)，對剩下的那些蘊含所需知識的數(shù)據(jù)進行提取，這也是進行知識管理的前提，更是知識服務的基礎。

而在大數(shù)據(jù)環(huán)境下，要做好數(shù)據(jù)分析并以此做出數(shù)據(jù)判斷的基礎工作是數(shù)據(jù)清洗。大數(shù)據(jù)的維度包含了數(shù)量、多樣性、速度、精確性等，在如此大維度中不可避免的存在著粗糙的、不合時宜的數(shù)據(jù)，如何將這些非清潔數(shù)據(jù)有效轉化成高質量的干凈數(shù)據(jù)，涉及到知識組織中的數(shù)據(jù)清理。數(shù)據(jù)的質量體現(xiàn)出數(shù)據(jù)的價值，更是知識服務水平的保障。數(shù)據(jù)清洗的最終目的就是提高數(shù)據(jù)的質量。

2 相關研究綜述

系統(tǒng)科學理論對知識組織研究過程中一些問題和現(xiàn)象進行了科學的闡釋和有效地引導。借助控制論（Control Theory）可為實現(xiàn)知識服務提供理論支持，具體而言過程化的控制思想對數(shù)據(jù)加工處理環(huán)節(jié)的數(shù)據(jù)質量控制、加工處理環(huán)節(jié)的時間、進度等控制，為知識組織工程的時間、進度和質量的控制提供了有效地理論支撐。在系統(tǒng)科學理論的指導下，就可從控制論角度出發(fā)采用數(shù)據(jù)清洗手段解決在知識組織過程中數(shù)據(jù)的質量控制、數(shù)據(jù)和知識生產(chǎn)流程控制等難題，并能基于控制論基本原理解決知識組織過程中大量復雜問題。

在數(shù)據(jù)清洗問題上，王曰芬教授領銜的研究團隊就從問題產(chǎn)生的背景和國內(nèi)外研究現(xiàn)狀進行了系統(tǒng)的綜述研究，并給出數(shù)據(jù)清洗的定義和對象且說明了數(shù)據(jù)清洗的基本原理、模型，以及分析相關算法和工具，進一步給出了數(shù)據(jù)清洗評估方法。他們的成果對今后數(shù)據(jù)清洗的研究奠定了基礎。曹建軍等認為數(shù)據(jù)清洗是數(shù)據(jù)質量研究的起點，從數(shù)據(jù)質量的角度明確數(shù)據(jù)清洗的作用，并提出了數(shù)據(jù)清洗的一般系統(tǒng)框架，該框架具備了柔性、可擴展性、交互性好、松耦合的特點。葉煥倬等研究了相似重復數(shù)據(jù)清理方法，重點對檢測和清除算法按照算法類型及相關改進思路進行分類綜述，值得注意的是他們的視野已關注到將知識和語義的概念引入到數(shù)據(jù)清理框架中。王宏志等的研究在一定程度上容忍非清潔數(shù)據(jù)的存在，側重研究包含非清潔數(shù)據(jù)的數(shù)據(jù)庫管理技術，提出了非清潔數(shù)據(jù)的表示方法，支持非清潔數(shù)據(jù)的數(shù)據(jù)操作，這樣的非清潔數(shù)據(jù)模型包括一個以關系操作為核心的操作代數(shù)，可以有效地支持非清潔數(shù)據(jù)的各種該應用。而介于清潔數(shù)據(jù)與非清潔數(shù)據(jù)中間的不確定數(shù)據(jù)，周傲英教授等注意到數(shù)據(jù)的不確定性普遍存在并且表現(xiàn)形式多種多樣，提出了針對不確定數(shù)據(jù)的數(shù)據(jù)模型運用排序、剪枝等啟發(fā)式技術設計新型算法，進一步綜述了數(shù)據(jù)模型、數(shù)據(jù)預處理與集成、存儲與索引、查詢處理等方面的工作。張巖等的研究中，給出了衡量數(shù)據(jù)質量的方法，并且可根據(jù)用戶對結果質量的需求給出達到一定質量的查詢結果。葉鷗等的研究瞄準中文數(shù)據(jù)清洗問題產(chǎn)生的背景、國內(nèi)外研究現(xiàn)狀與研究熱點，突出了中文數(shù)據(jù)清洗基本原理、模型及算法并著重闡明了中文數(shù)據(jù)清洗的方法，也總結中文數(shù)據(jù)清洗研究的不足，并對中文數(shù)據(jù)清洗的研究及應用進行了展望。

已有的研究成果，對本文展開數(shù)據(jù)清洗的研究在模型、技術、方法奠定了基礎，控制論又從知識服務方向提供了從事數(shù)據(jù)清洗的理論指導?，F(xiàn)階段，針對數(shù)據(jù)清洗的研究不多，從知識服務的角度探究數(shù)據(jù)清洗的研究成果更少。而大數(shù)據(jù)引來了國內(nèi)外越來越多的關注，逐漸發(fā)展成國民經(jīng)濟中一個重要產(chǎn)業(yè)，標志性的特征就是：①數(shù)據(jù)種類和規(guī)模正以前所未有的速度在不斷地增加和累積；②數(shù)據(jù)分析的深度需求與知識服務廣泛整合的鴻溝在拉大。在如此大數(shù)據(jù)的環(huán)境下，以知識服務為目的，深入研究數(shù)據(jù)清洗，將面臨的問題：一方面是在知識組織過程中很多非清潔的數(shù)據(jù)是很難被徹底清洗干凈；另一方面，對非清潔數(shù)據(jù)的清洗可能造成部分知識的丟失或失真；再一方面，知識庫中信息更新頻繁，要同步執(zhí)行非清潔數(shù)據(jù)的辨識與清洗將極大影響知識庫系統(tǒng)的效率，以致知識組織的過程低效。

針對面臨的問題，本文從容忍非清潔數(shù)據(jù)存在的研究視角試圖解決從包含非清潔數(shù)據(jù)的知識庫中獲取滿足清潔度要求的查詢結果的問題，也就是要給出非清潔數(shù)據(jù)的清潔度的描述。而非清潔來自兩個方面，一方面是數(shù)據(jù)本身的非清潔，表現(xiàn)特征是數(shù)據(jù)的錯誤、不準確、不完整；另一方面是數(shù)據(jù)間的非清潔，表現(xiàn)特征是數(shù)據(jù)的重復、冗余、不一致。針對非清潔的兩個方面，本文的研究工作將從元組上添加清潔度來描述數(shù)據(jù)清潔度，以此實現(xiàn)非清潔數(shù)據(jù)的清潔度的描述。

3 大數(shù)據(jù)對數(shù)據(jù)清洗的基礎性需求

大數(shù)據(jù)不僅數(shù)量大，而且是異構和多媒體的。在大數(shù)據(jù)環(huán)境下探討知識服務的解決方案、實現(xiàn)途徑和方法，以及實現(xiàn)知識服務涉及到的技術問題。首先在宏觀層面明確大數(shù)據(jù)對實現(xiàn)知識服務的要求，其次在技術實現(xiàn)層面找到支持數(shù)據(jù)處理、信息分析和知識服務涉及的基礎性突破，即數(shù)據(jù)清洗。

3.1 大數(shù)據(jù)對知識服務的要求

大數(shù)據(jù)的價值在于提煉其中隱藏在數(shù)據(jù)中的規(guī)律和有關知識，它對知識服務的要求集中體現(xiàn)在兩個方面：首先是大數(shù)據(jù)環(huán)境下的數(shù)據(jù)整合與規(guī)劃。大數(shù)據(jù)不僅僅是容量大、內(nèi)容豐富，而且其結構是異構的，數(shù)據(jù)產(chǎn)生的速度也是飛速的，數(shù)據(jù)中蘊含的知識也是無法衡量的。數(shù)據(jù)的繁雜、良莠不齊，使數(shù)據(jù)的利用效率受到影響。通過整合與規(guī)劃提高數(shù)據(jù)的利用效率、提升數(shù)據(jù)的使用價值；其次數(shù)據(jù)的知識關聯(lián)與組織。孤立的數(shù)據(jù)價值低，也只能完成傳統(tǒng)的信息服務。針對大數(shù)據(jù)的知識服務必須將數(shù)據(jù)進行關聯(lián)，使之能夠為解決問題直接提供知識。通過分析知識組織的關聯(lián)機制，構建以知識服務為目標的知識地圖，確保從傳統(tǒng)的信息服務能夠上升到知識服務層面。

3.2 知識服務對數(shù)據(jù)清洗的需求

在知識組織過程中，知識庫“吸收”數(shù)據(jù)且“供給”知識，最終目的是為知識服務提供滿足應用所要求的合適的查詢結果，數(shù)據(jù)是知識的基礎，數(shù)據(jù)質量決定了知識的價值，而數(shù)據(jù)質量問題是由非清潔數(shù)據(jù)造成的。為此，知識服務若要實現(xiàn)高端的服務水平，基礎在于知識組織，瓶頸在于數(shù)據(jù)清洗。數(shù)據(jù)清洗的目的是檢測數(shù)據(jù)本身的非清潔和數(shù)據(jù)間的非清潔，剔除或者改正它們，以提高數(shù)據(jù)的質量。知識服務不僅需要分析非清潔數(shù)據(jù)的各種類型不一致、不精確、錯誤、冗余、過時等的解決方案，更需要追溯非清潔數(shù)據(jù)的形成源頭，如：①數(shù)據(jù)本身來源不清潔導致的非清潔數(shù)據(jù)，例如數(shù)據(jù)采集和錄入的精確；②數(shù)據(jù)模式的不清潔和信息集成中模式不匹配導致的非清潔數(shù)據(jù)；③數(shù)據(jù)的查詢請求本身是不清潔的，導致獲取了非清潔的查詢結果。最終結合不同來源與不同類型，反饋修正解決方案使之能配合知識表示效用，以及在提高知識服務水平的同時，保障知識服務的效率。

4 數(shù)據(jù)清洗的基本框架模型

以一個非清潔數(shù)據(jù)的片段為例，如表1所示，可以很容易判斷：①不完整的數(shù)據(jù)有：（ID：3、字段：City）“BJ”；②錯誤的數(shù)據(jù)有：（ID：6、字段：Name）“Mal-Mart”；③冗余的數(shù)據(jù)：（ID：1、3、6）表示同一個實體。

表1 非清潔數(shù)據(jù)的片段

對非清潔數(shù)據(jù)，數(shù)據(jù)清洗的框架模型分5個部分逐步進行，整個框架如圖1所示。

圖1 數(shù)據(jù)清洗的框架模型

4.1 準備

包括需求分析、大數(shù)據(jù)類別分析、任務定義、小類別方法定義、基本配置，以及基于以上工作獲得數(shù)據(jù)清洗方案等。通過需求分析明確知識庫系統(tǒng)的數(shù)據(jù)清洗需求，大數(shù)據(jù)類別分析將大數(shù)據(jù)歸類以便同類數(shù)據(jù)進行分析，任務定義要明確具體的數(shù)據(jù)清洗任務目標，小類別方法定義確定某類非清潔數(shù)據(jù)合適的數(shù)據(jù)清洗方法，基本配置完成數(shù)據(jù)接口等的配置，要形成完整的數(shù)據(jù)清洗方案，并整理歸檔。上述案例，可以看出表1描述的是超市的相關信息。

4.2 檢測

對數(shù)據(jù)本身及數(shù)據(jù)間的預處理檢測包括相似重復記錄、不完整記錄、邏輯錯誤、異常數(shù)據(jù)等，并且對檢測結果進行統(tǒng)計，全面獲得的數(shù)據(jù)質量信息，并將相關信息整理歸檔。上述案例（表1）檢測出存在有：①不完整的數(shù)據(jù)、②錯誤的數(shù)據(jù)、③冗余的數(shù)據(jù)。

4.3 定位

對檢測結果的歸檔信息進行數(shù)據(jù)質量進行評估，獲得非清潔數(shù)據(jù)的定位并進行數(shù)據(jù)追蹤分析，分析非清潔數(shù)據(jù)及由此可能的知識表示的影響，分析產(chǎn)生非清潔的根本原因；進而確定數(shù)據(jù)質量問題性質及位置，給出非清潔的修正方案，并將相關信息歸檔。根據(jù)定位分析情況，可能需要返回“檢測”階段，進一步定位需要修正數(shù)據(jù)的位置。上例中非清潔數(shù)據(jù)片段的位置：（ID：3、字段：City）、（ID：6、字段：Name）、（ID：1、3、6）。

4.4 修正

在定位分析的基礎上，對檢測出的非清潔數(shù)據(jù)進行修正，包括非清潔數(shù)據(jù)標記、不可用數(shù)據(jù)刪除、重復記錄合并、缺失數(shù)據(jù)估計與填充等，并對數(shù)據(jù)修正過程進行存儲管理。上例中在定位后，修正上述三類數(shù)據(jù)，經(jīng)過修正后，得到如表2所示數(shù)據(jù)片斷。

表2 經(jīng)過修正的數(shù)據(jù)片段

4.5 驗證

對修正后的數(shù)據(jù)與任務定義的符合性進行比對驗證，如果結果與任務目標不符合，則做進一步定位分析與修正，甚至返回“準備”中調(diào)整相應準備工作。表2反映出經(jīng)過一輪修正后的數(shù)據(jù)片斷，與表1相比部分不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、冗余的數(shù)據(jù)得到了清洗，但清洗過后的數(shù)據(jù)顯然還不完美，依然有明顯不一致的地方。

5 基本框架模型的局限

實際大數(shù)據(jù)應用中，前面提出的基本模型具有局限性：首先，大數(shù)據(jù)通常是異構且碎片化的，多數(shù)情況下這些類型的非清潔數(shù)據(jù)是難以被徹底清洗干凈的；其次，對非清潔數(shù)據(jù)的清洗可能會造成蘊含知識的損失，以致知識的失真；最后，對于知識庫頻繁更新，同步執(zhí)行非清潔數(shù)據(jù)的辨識和清洗將極大地減低系統(tǒng)的效率。

再如上例中，從表1到表2，在一定程度是進行了數(shù)據(jù)清洗， 但深入觀察可以發(fā)現(xiàn) （ID：6、 字段：Name）“Walmart”雖然不存在拼寫錯誤，但表示方式與其他的“Wal-Mart”并不一致，還有（字段：Phn）的表示也不一致，這些不一致的地方閱讀者容易理解，而機器很難“理解”。也就是，經(jīng)過一輪的數(shù)據(jù)清洗，出現(xiàn)了知識內(nèi)涵一致的元組（“Walmart”與“Wal-Mart”），卻存在表示字符上的差異，這是否意味著需要進一步進行數(shù)據(jù)清洗？如果由機器進行更細膩的數(shù)據(jù)清洗，必然將出現(xiàn)一部分信息的丟失或失真，并且?guī)頇C器計算上的負擔。因此，數(shù)據(jù)清洗是必要的，但清洗過后，依然存在非清潔數(shù)據(jù)也是必然的。

從上述分析可以看出，非清潔數(shù)據(jù)的辨識與清洗很難保證徹底消除非清潔數(shù)據(jù)，特別大數(shù)據(jù)的多維度性，給清洗帶來了困難，且隨著清洗的細膩程度逐步提高，知識庫系統(tǒng)的運行性能將逐步降低伴隨將逐步丟失數(shù)據(jù)中蘊藏的信息，不能快速有效地解決非清潔數(shù)據(jù)帶來的問題。為此，大數(shù)據(jù)的存在，需要在一定程度上容忍非清潔數(shù)據(jù)的存在。這樣，研究管理包含非清潔數(shù)據(jù)的知識庫系統(tǒng)成為了重要的問題，其核心在于如何從包含非清潔數(shù)據(jù)的知識庫中得到滿足應用所要求清潔度的查詢結果。

6 非清潔數(shù)據(jù)的清潔度的機制

6.1 清潔度獲取

清潔度本質上反應的是數(shù)據(jù)質量。目前，清潔度定義可以用兩種方法描述：一種是概率的方法，即將元組清潔度定義為該元組準確的概率；另一種是相對誤差的方法，即定義元組對于真實值的相對誤差。其中應用最為廣泛的是概率的方法。如表1中，可以判斷元組1、3和6表示同一個實體，因此，可以合并這3條元組，根據(jù)這個數(shù)據(jù)片段只能判斷“Name”取值更可能為“Wal-Mart”，但機器無法完全排除“Mal-Mart”，為了描述每個可能取值的質量，賦予每個值一個概率值，表示該值的清潔度。如“Wal-Mart”在同一個實體3條元組出現(xiàn)了2次，則清潔度為2/3，從而得出該條實體各元組的清潔度，如表3所示。

表3 元組清潔度

在實際應用中，元組的清潔度可以通過人工或者自動的方法獲取，主要來源包括：

（1）人工添加。最直接的方法是由用戶根據(jù)領域知識和數(shù)據(jù)的來源添加數(shù)據(jù)的清潔度。這種方法的問題在于，當數(shù)據(jù)量很大時，需要大量的人力。

（2）屬性清潔度組合。由于一些屬性的清潔度是可以預知的，比如在科學統(tǒng)計數(shù)據(jù)庫中描述某儀器采回數(shù)據(jù)的關系，模式為(Time,Value)，其中：Value列來源于數(shù)據(jù)采集設備，該設備的相對誤差是知道的；而 Time列是在采樣時由系統(tǒng)添加，可以看成清潔的列。因此，該關系中元組的清潔度定義為Value列的清潔度。

（3）模式轉換。在信息集成中，在數(shù)據(jù)之間進行模式轉換會產(chǎn)生清潔度的損失，在一些信息集成方法中會給出模式轉換時數(shù)據(jù)的損失，經(jīng)過歸一化以后，該損失可以用作表示數(shù)據(jù)清潔度。

（4）信息提取。信息提取的過程中，一些技術會根據(jù)原始數(shù)據(jù)的特點或者機器學習的方法求得某數(shù)據(jù)屬于某元組概率或者準確率，這個值可用作數(shù)據(jù)清潔度的描述。

（5）實體識別。當前，有很多實體識別的方法將數(shù)據(jù)集合劃分成為實體，通過描述同一實體的不同元組之間的不一致性來描述實體的清潔度。

以上多種方法在一些應用中是可以結合使用的，根據(jù)本模型的特點，在結合使用時，元組的清潔度應為多來源清潔度的乘積。一方面使得元組的清潔度滿足取值在［0,1］之間；另一方面，這樣的方法體現(xiàn)了多種清潔度的復合。例如信息提取系統(tǒng)中，首先進行信息提取，然后進行實體識別，則最終結果的清潔度可以定義為信息提取步驟的清潔度與實體識別步驟清潔度的乘積。

6.2 操作的實現(xiàn)策略

通過在每個關系中添加描述清潔度的列（如表3），現(xiàn)有的關系數(shù)據(jù)庫系統(tǒng)可以對本模型所描述的數(shù)據(jù)進行管理。然而，現(xiàn)有關系數(shù)據(jù)庫中的管理機制不足以支持所有的操作。考慮到隨著操作的進行數(shù)據(jù)清潔度是遞減的，因此根據(jù)查詢的需求，在操作執(zhí)行的過程中某些環(huán)節(jié)需要過濾掉清潔度不可能滿足查詢要求的中間結果，這樣可以減小中間結果的數(shù)據(jù)量，從而加速查詢的處理。例如，對于如果查詢要求結果中每條元組的清潔度在 0.5以上，則在查詢處理的過程中可以過濾掉清潔度小于0.5的中間結果，因為由這些中間結果生成最終結果的清潔度一定小于 0.5。

6.3 基于閥值的相似連接算法

相似連接是在兩個元組集合中選擇出滿足相似性下界（閥值）的元組對。目前已經(jīng)有很多衡量相似性的方法：編輯距離、Hamming距離、杰卡德相似度以及余弦相似度等。本小節(jié)考慮的是基于編輯距離的相似連接。對于給定的兩個字符串 r和 s，r和 s的編輯距離 ed（r，s）是指從 r變?yōu)閟所需要的最少的編輯操作（包括：刪除、插入和替換 ）次數(shù)。如表4中，ed （Wal-Mart，Mal-Mart）=1，ed（80103389，010-80103389）=4。 在實體關系數(shù)據(jù)庫中，屬性值可能含有多個取值，本書對相似連接算法給出如下定義。

表4 集合R和S

定義1：相似連接。給定兩個屬性值集合R和S及編輯距離閥值k，R和S的相似連接是指選出所有的屬性值組合（r，s），其中 r∈R，s∈S，而且 r和 s滿足至少存在一組可能取值 r和 s。 它們的編輯距離 ed（r，s）≤k。

以表4為例，給出兩個集合R和S。若編輯距離閥值k 設為 3，則對應相似連接結果僅為（r，s）與（r，s），因為ed （Wal-Mart，Mal-Mart） =1 ≤3，ed （Jerry Strauss，Jerry Strauss）=0≤3。 其余相似連接中（r，s）、（r，s）顯然其編輯距離均超過閥值3，表5給出了連接結果。

表5 集合R和S的相似連接結果

其中，第二條元組（ID=2），ed （Jerry Smith，Jerry Strauss）＞3、ed（Jerry Smith，Jeff Strauss）＞3，故第二條元組對應清潔度為1/5*2/5+1/5*3/5=0.2。

在實際關系數(shù)據(jù)庫中，所有可能值都有對應的清潔度，所以，所有相似連接結果也都會有一個清潔度，表示該結果的質量，如表5結果所示，而在實際應用中，我們只對清潔度比較高的結果感興趣，對于那些較低清潔度的結果可以忽略。

定義2：基于閥值的相似連接。給定兩個屬性值集合R和S及編輯距離閥值k和清潔度閥值α，R和S的閥值相似連接是指選出所有的屬性值組合 （r，s），其中r∈R，s∈S，而且r和s連接結果的清潔度不低于α。

上例中，如果清潔度閥值α設為0.3，表5中兩個集合 R 和 S 的閥值的相似連接結果不再是（r，s）與（r，s），因為第二條元組對應清潔度為1/5*2/5+1/5*3/5=0.2，該結果不滿足清潔度閥值要求。

基于閥值的相似連接算法的特點是當編輯距離閥值k較大且清潔度閥值較小時，連接結果大小將接近于n（n是連接集合的大?。?，反之連接結果集比較大。

6.4 清潔度的機制的研究不足

目前關于非清潔數(shù)據(jù)的清潔度機制的研究成果非常少，匯聚在圖書情報領域的成果更少。而事實上，知識來源于數(shù)據(jù)的提煉，大數(shù)據(jù)大維度與碎片化中蘊含了豐富的知識內(nèi)涵。上一節(jié)的探討，只描述了清潔度機制的框架，研究也還停留在數(shù)據(jù)本身的處理，而清潔度機制是一項復雜的研究，還有深入優(yōu)化的研究空間。譬如，將清潔度機制與知識的語義距離結合，如ed（Wal-Mart，Mal-Mart）=1，ed（80103389，010-80103389）=4，雖然存在編輯距離，其實它們都是同一個知識點，進一步的研究將涉及到是先進行知識的語義距離計算還是先進行清潔度計算，或者兩者并行計算，這將是圖書情報領域又一個難點。

7 結語

大數(shù)據(jù)時代的到來給知識服務帶來了變革，迫使其將碎片化信息、社會化的信息提煉成描述用戶行為、用戶關系，并能解決問題的知識。為此，本文從大數(shù)據(jù)的研究背景下提出了對知識服務的要求，并面向知識服務，數(shù)據(jù)清洗的過程又是大數(shù)據(jù)環(huán)境下的瓶頸。給出了數(shù)據(jù)清洗的基本框架模型及其局限性，針對大數(shù)據(jù)的多維度性，在元組上增加了清潔度的描述，基于此研究了應對大數(shù)據(jù)環(huán)境下的非清潔數(shù)據(jù)的清潔度機制。

通過研究也發(fā)現(xiàn)了不足，下一步針對大數(shù)據(jù)的數(shù)據(jù)清洗將從知識的概念層次性入手，能體現(xiàn)知識之間的語義交叉這樣更適用于大數(shù)據(jù)的大維度，根據(jù)知識的概念層次，通過消除知識的重復應用，建立原子知識序列，優(yōu)化了用戶的請求，減少了對知識庫掃描的次數(shù)，從而提高了數(shù)據(jù)清洗效率。

［1］孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)［J］.計算機研究與發(fā)展，2013，50(1)：146-169.

［2］The Economist.Data，data，everywhere-A special report on managing information ［EB/OL］.［2013-04-26］.http://www.economist.com/node/15557443.

［3］王曰芬，章成志.數(shù)據(jù)清洗研究綜述［J］.現(xiàn)代圖書情報技術，2007，(12)：50-56.

［4］曹建軍，刁興春，陳爽.數(shù)據(jù)清洗及其一般性系統(tǒng)框架［J］.計算機科學，2012，39(11)：207-211.

［5］葉煥倬，吳迪.相似重復記錄清理方法研究綜述［J］.現(xiàn)代圖書情報技術，2010，(9)：56-66.

［6］王宏志，李建中，高宏.一種非清潔數(shù)據(jù)庫的數(shù)據(jù)模型［J］.軟件學報，2012，23(3)：539-549.

［7］周傲英，金澈清，王國仁等.不確定性數(shù)據(jù)管理技術研究綜述［J］.計算機學報，2009，32(1)：1-16.

［8］張巖，楊龍，王宏志.劣質數(shù)據(jù)庫上閾值相似連接結果大小估計［J］.計算機學報，2012，35(10)：2159-2168.

［9］葉鷗，張璟，李軍懷.中文數(shù)據(jù)清洗研究綜述［J］.計算機工程與應用，2012，48(14)：121-129.