基于云計算的海量大數(shù)據(jù)智能清洗系統(tǒng)設計

黃正鵬 王力 張明富

摘? 要： 大數(shù)據(jù)資源是企業(yè)擁有的最重要的戰(zhàn)略資源之一，也是管理層制定遠景規(guī)劃，提高市場競爭力的主要方式和途徑，但大數(shù)據(jù)中會存在錯誤、冗余和不完整的數(shù)據(jù)，降低了大數(shù)據(jù)的總體質(zhì)量。為此設計一種基于云計算的海量大數(shù)據(jù)智能清洗系統(tǒng)，改善現(xiàn)有大數(shù)據(jù)清洗系統(tǒng)在臟數(shù)據(jù)處理性能上的不足。分析了基于云計算的大數(shù)據(jù)智能清洗系統(tǒng)的總體框架和硬件構成，數(shù)據(jù)清洗系統(tǒng)的硬件部分由數(shù)據(jù)預處理模塊、數(shù)據(jù)云聚類模塊、數(shù)據(jù)識別模塊和實體劃分模塊等部分組成;給出了智能大數(shù)據(jù)清洗系統(tǒng)的總體軟件工作流程，并重點分析大數(shù)據(jù)空間聚類、相似度計算等關鍵的數(shù)據(jù)處理技術。驗證結果表明，提出的基于云計算的海量大數(shù)據(jù)智能清洗系統(tǒng)設計的總體功能性較為完善，在系統(tǒng)性能測試方面也能夠保持95%以上的數(shù)據(jù)查準率和召回率。

關鍵詞： 云計算; 海量大數(shù)據(jù); 智能清洗系統(tǒng); 云聚類; 查準率; 召回率

中圖分類號： TN02?34? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）03?0116?05

Design of intelligent cleaning system for massive data based on cloud computing

HUANG Zhengpeng， WANG Li， ZHANG Mingfu

（School of Information Engineering， Guizhou University of Engineering Science， Bijie 551700， China）

Abstract： Big data resource is one of the most important strategic resources owned by the enterprise. It is also the main way and approach for the management to make long?term plans and improve market competitiveness of the enterprise. However， there are errors， redundancies and incomplete data in big data， which reduces the overall quality of big data. For this reason， an intelligent cleaning system for massive data based on cloud computing is designed to improve the shortcomings of the dirty data processing performance in the existing big data cleaning system. The overall framework and hardware structure of the intelligent cleaning system for big data based on cloud computing are analyzed. The hardware of the system consists of data preprocessing module， data cloud clustering module， data identification module and entity partition module. The overall software workflow of the intelligent cleaning system for big data is provided， and the key data processing technologies like big data clustering and similarity calculation are emphatically analyzed. The verification results show that the proposed intelligent cleaning system for massive data based on cloud computing has perfect overall functions and the precision and recall rate of data can be kept above 95% in the system performance testing.

Keywords： cloud computing; massive data; intelligent cleaning system; cloud clustering; precision; recall rate

0? 引? 言

當前大數(shù)據(jù)已經(jīng)成為企業(yè)重要的戰(zhàn)略資源和決勝未來的關鍵因素，大數(shù)據(jù)具有海量性的特征，但只有真實、完整的大數(shù)據(jù)才有價值[1?2]。大數(shù)據(jù)體系內(nèi)包含大量冗余、錯誤的干擾性臟數(shù)據(jù)，降低了數(shù)據(jù)整體質(zhì)量的同時還會干擾管理者的決策。由此可見，數(shù)據(jù)質(zhì)量將會對企業(yè)現(xiàn)有數(shù)據(jù)的分析、整合及應用產(chǎn)生十分重要的影響，在大數(shù)據(jù)的使用之前必須對全部數(shù)據(jù)進行系統(tǒng)清洗和處理，以提高大數(shù)據(jù)的總體質(zhì)量。隨著數(shù)據(jù)挖掘技術的發(fā)展[3?5]，人們對于大數(shù)據(jù)的質(zhì)量要求越來越高，但數(shù)據(jù)庫中不完整的數(shù)據(jù)和臟數(shù)據(jù)會誤導決策，從使用成本和效率的角度來考慮，如果系統(tǒng)數(shù)據(jù)庫中存在大量的臟數(shù)據(jù)，會拖慢系統(tǒng)的響應時間，增加數(shù)據(jù)處理的成本費用[6?7]。影響數(shù)據(jù)質(zhì)量的原因主要包括兩點：在數(shù)據(jù)錄入系統(tǒng)時即存在缺陷或完整程度不高;隨著數(shù)據(jù)庫系統(tǒng)軟硬件的升級，原有的過期數(shù)據(jù)也會轉變成為干擾數(shù)據(jù)，需要及時地清除掉釋放系統(tǒng)的內(nèi)存空間，以保證系統(tǒng)的整體功能性不被破壞。目前主要的臟數(shù)據(jù)清洗系統(tǒng)設計包括單機式清洗方案[8?9]和集中式處理方案[10?11]兩種。其中，單機式大數(shù)據(jù)清洗系統(tǒng)是一種孤立式的數(shù)據(jù)清理方案，即直接在單機上運行相關的大數(shù)據(jù)清理程序，對現(xiàn)有的數(shù)據(jù)庫的冗余、錯誤進行處理，清理完成后形成數(shù)據(jù)庫的狀態(tài)報告。這種數(shù)據(jù)清理系統(tǒng)運行較為靈活，但數(shù)據(jù)處理能力有限。集中式大數(shù)據(jù)清理方案是以局域網(wǎng)為單位，整合局域網(wǎng)范圍內(nèi)的數(shù)據(jù)處理資源，與單機式系統(tǒng)相比，集中數(shù)據(jù)清洗方案的數(shù)據(jù)處理能力能夠得到本質(zhì)上的提升，但面對海量大數(shù)據(jù)處理任務時仍舊無能為力。針對現(xiàn)有數(shù)據(jù)清洗系統(tǒng)存在的數(shù)據(jù)處理能力弱，清洗效率低下的不足，本文設計一種基于云計算的海量數(shù)據(jù)清洗系統(tǒng)，利用云計算強大的云端空間并行計算能力[12?13]，提高大數(shù)據(jù)清洗系統(tǒng)的數(shù)據(jù)處理能力、效率和準確性，同時也能夠避免在大數(shù)據(jù)清洗過程中過濾掉部分關鍵有用數(shù)據(jù)。

1? 大數(shù)據(jù)智能清洗系統(tǒng)總體框架設計

隨著信息產(chǎn)業(yè)和網(wǎng)絡技術的發(fā)展，企業(yè)的經(jīng)營決策越來越依賴于大數(shù)據(jù)，規(guī)模較大的企業(yè)擁有企業(yè)級數(shù)據(jù)庫，并有專業(yè)人員進行數(shù)據(jù)管理，而規(guī)模較小的企業(yè)可以將本企業(yè)的數(shù)據(jù)存儲于云端，由云端專業(yè)的數(shù)據(jù)存儲企業(yè)或部門進行數(shù)據(jù)維護和綜合管理。目前，對企業(yè)運營大數(shù)據(jù)的分析，已經(jīng)成為企業(yè)經(jīng)營決策的主要依據(jù)，大數(shù)據(jù)的質(zhì)量從某種程度上說將決定企業(yè)的經(jīng)營業(yè)績。在數(shù)據(jù)庫的建立和維護中，各種異構的數(shù)據(jù)源將被不斷地加載到本地數(shù)據(jù)庫中，因此數(shù)據(jù)庫的規(guī)模將會不斷增大。在數(shù)據(jù)的存儲和維護中，數(shù)據(jù)的錯誤錄入、關鍵數(shù)據(jù)遺失、個別數(shù)據(jù)過期及惡意數(shù)據(jù)攻擊等問題都會頻繁發(fā)生。因此，在數(shù)據(jù)導入和使用前必須對全部數(shù)據(jù)進行清洗和維護，去除干擾的冗余錯誤數(shù)據(jù)，提高海量大數(shù)據(jù)的價值。

大數(shù)據(jù)的清洗過程具體包括海量冗余數(shù)據(jù)的識別與剔除、錯誤數(shù)據(jù)的糾正、不完整數(shù)據(jù)的補充、不規(guī)范數(shù)據(jù)的格式轉換等。處理海量大數(shù)據(jù)最有效的方式是云計算，因為云是一種多配置、擴展性極強的虛擬化資源處理系統(tǒng)，能夠提供硬件構建、軟件開發(fā)等云端服務，并且具有強大的并行數(shù)據(jù)計算和處理能力。云計算以互聯(lián)網(wǎng)為中心，將虛擬資源進行了深度整合，并按照用戶的需求提供多樣化的服務。云計算的大數(shù)據(jù)處理方式是一種廣義上的并行計算方式，能夠同時處理多用戶的海量數(shù)據(jù)資源。云計算平臺基于云資源而建立，云平臺的網(wǎng)絡兼容性十分強大，針對用戶的不同需求提供多樣化的定制服務。鑒于海量大數(shù)據(jù)智能化清洗處理的需要，本文設計一種基于云計算平臺的數(shù)據(jù)清洗系統(tǒng)，用戶通過云端向云平臺的開發(fā)者提出大數(shù)據(jù)處理要求，云端針對用戶的數(shù)據(jù)清洗要求整合虛擬的硬件、軟件資源，為用戶提供個性化的服務，基于云計算平臺的海量大數(shù)據(jù)清理系統(tǒng)總體框架設計如圖1所示。

云平臺的基礎服務層是總體框架的核心部分，能夠?qū)⒃贫颂摂M化的硬件和軟件資源整合，為用戶提供全方位、便捷的數(shù)據(jù)清洗服務。本文分別從硬件結構設計和軟件流程設計兩個方面，系統(tǒng)闡述了基于云計算的海量大數(shù)據(jù)智能清洗系統(tǒng)。

2? 基于云計算的大數(shù)據(jù)智能清洗系統(tǒng)硬件設計

大數(shù)據(jù)清洗的主要目的是清除冗余、錯誤的干擾數(shù)據(jù)，提高大數(shù)據(jù)的總體質(zhì)量，以便更好地為數(shù)據(jù)的使用者服務。數(shù)據(jù)清洗系統(tǒng)硬件模塊的設計圍繞著大數(shù)據(jù)的云端聚類、特征提取、分體識別等要求執(zhí)行，而數(shù)據(jù)清洗過程中最重要的環(huán)節(jié)是數(shù)據(jù)重復記錄或相似記錄檢測與消除。冗余的錯誤數(shù)據(jù)指數(shù)據(jù)庫中表達方式雷同或拼寫錯誤的數(shù)據(jù)，這些數(shù)據(jù)存在于數(shù)據(jù)庫系統(tǒng)中會干擾正常數(shù)據(jù)的分類和識別。為消除海量大數(shù)據(jù)中的冗余錯誤數(shù)據(jù)，本文在硬件模塊設計中增加了大數(shù)據(jù)預處理模塊，對進入云端的海量大數(shù)據(jù)采用字符區(qū)位定碼策略，降低字符或符號的錯誤率，降低數(shù)據(jù)的匹配難度并提高對臟數(shù)據(jù)的檢測率?；谠朴嬎愕暮Ａ看髷?shù)據(jù)清洗系統(tǒng)的硬件模塊構成，如圖2所示。

未經(jīng)過處理的海量大數(shù)據(jù)進入清洗系統(tǒng)后，首先到達數(shù)據(jù)預處理模塊，數(shù)據(jù)預處理模塊的最主要功能是去除冗余干擾，并對整個數(shù)據(jù)進行降維處理，降低后續(xù)數(shù)據(jù)聚類分析的難度。造成數(shù)據(jù)庫中出現(xiàn)冗余的主要原因是不同輸入源頭的同一數(shù)據(jù)的格式存在差異，而且在數(shù)據(jù)的傳遞、存儲和交互中也容易發(fā)生錯誤。預處理模塊將輸入清洗系統(tǒng)的每一條數(shù)據(jù)都進行了模式的匹配與變換，大數(shù)據(jù)的格式變換后有助于后續(xù)模塊的聚類分析及特種識別，也能夠減少后續(xù)數(shù)據(jù)處理的代價。云計算數(shù)據(jù)處理中常用多條屬性值來表示一個實體，基于這種特性云端聚類模塊采用索引列表的方式，將具有同一字段特征的數(shù)據(jù)進行初步歸類，依靠同屬性索引歸類的方式將相同字段的冗余數(shù)據(jù)匯聚到同一個索引下，進而刪除字段雷同但不完整或不合理的干擾數(shù)據(jù)，以達到大數(shù)據(jù)智能清洗的目的。

在實體屬性識別中，不同實體描述的重要性程度不同，貢獻率也不同。為此，基于云計算的海量大數(shù)據(jù)清洗系統(tǒng)臟數(shù)據(jù)識別模塊為每一類輸入系統(tǒng)的數(shù)據(jù)都匹配了不同的權值。權值的比重由相關大數(shù)據(jù)專家按照領域知識而設定，本文模塊還可以按照索引的類別進行模塊類別的劃分，得到實體模塊的相似度，再通過數(shù)據(jù)分類閾值大小判斷冗余刪除結果是否輸出。采用大數(shù)據(jù)實體模塊劃分的方法進行錯誤數(shù)據(jù)和冗余數(shù)據(jù)的刪除降低了數(shù)據(jù)處理的成本，也有效地縮小了函數(shù)閾值的邊界，適用于海量大數(shù)據(jù)的清洗處理要求。

3? 系統(tǒng)總體實現(xiàn)流程設計與關鍵技術研究

根據(jù)海量大數(shù)據(jù)智能清洗系統(tǒng)硬件結構規(guī)劃的總體性要求，設計了基于云計算技術的系統(tǒng)總體軟件工作流程，如圖3所示。

當智能清洗系統(tǒng)開始運行后，將原始的大數(shù)據(jù)信息輸入預處理模塊，數(shù)據(jù)的原始信息要經(jīng)過系統(tǒng)的初步審核，審核成功后將大數(shù)據(jù)導入系統(tǒng)。數(shù)據(jù)導入后系統(tǒng)要基于云計算平臺對原始大數(shù)據(jù)進行聚類分析，識別出異常的風險數(shù)據(jù)。風險數(shù)據(jù)的識別與處理要依據(jù)大數(shù)據(jù)聚類的相似度計算，通常將風險數(shù)據(jù)或異常數(shù)據(jù)視為缺失數(shù)據(jù)處理。設大數(shù)據(jù)類[A]和[B]分別為兩個不同的數(shù)據(jù)實體，那么[A]和[B]之間的實體相似度函數(shù)[GA，B]可以表示為：

大數(shù)據(jù)導入智能清洗系統(tǒng)后，按照數(shù)據(jù)實體之間的相似度先判斷實體之間的相似程度，進行初步的數(shù)據(jù)聚類。之后再分析實體內(nèi)部冗余數(shù)據(jù)的關鍵字段特征，對于缺失的數(shù)據(jù)而言可以直接進行數(shù)據(jù)同步，而對于不完整的大數(shù)據(jù)而言要按照一定標準將不完整的部分補充完整，經(jīng)初步聚類后的MAP輸出屬性索引與索引值見表1。

大數(shù)據(jù)的云端聚類分析按照數(shù)據(jù)實體之間的相似度與索引值，對進入智能清洗系統(tǒng)的大數(shù)據(jù)進行類別劃分。對于數(shù)據(jù)聚類分析模塊而言，每輸入一組數(shù)據(jù)將要確定一個數(shù)據(jù)相似性的分類標準。數(shù)據(jù)聚類分析需要經(jīng)過多次反復分組和聚類才能實現(xiàn)，大數(shù)據(jù)聚類分析方法是基于一種數(shù)據(jù)收斂變化的思想，利用多次大數(shù)據(jù)聚類實現(xiàn)在全局范圍內(nèi)尋優(yōu)，對于每次不符合數(shù)據(jù)聚類的冗余數(shù)據(jù)、殘缺數(shù)據(jù)和錯誤數(shù)據(jù)予以清洗和消除。基于云計算的數(shù)據(jù)清洗系統(tǒng)在數(shù)據(jù)聚類和實體模塊劃分中，將每一個輸入系統(tǒng)的數(shù)據(jù)集都作為一個初始的類別，然后按照數(shù)據(jù)集的閾值范圍與特性，對數(shù)據(jù)集進行多次拆分與合并，最后將特性相近的數(shù)據(jù)集歸于一類，在按照聚類索引值分類的過程中，逐步清洗掉不完整和冗余的數(shù)據(jù)，以達到縮小大數(shù)據(jù)規(guī)模的目的。云計算能夠利用其強大的空間并行計算能力，在整個輸入大數(shù)據(jù)范圍內(nèi)尋優(yōu)，數(shù)據(jù)聚類與實體模塊劃分的主要步驟如下：

Step1：確定大數(shù)據(jù)聚類分析的準則，并按照實體間的相似度初步分組。

Step2：確定數(shù)據(jù)類別的重心與索引值，并確定其他分組數(shù)據(jù)與重心的距離。

Step3：清洗掉離重心距離過遠的干擾數(shù)據(jù)和冗余數(shù)據(jù)并重新分組計算。

Step4：重復上述步驟，直到得到與實體重心數(shù)據(jù)特征一致的數(shù)據(jù)集合，即通過多次性能收斂在全局范圍內(nèi)得到最優(yōu)解。

對于非缺陷數(shù)據(jù)而言，直接將這些安全數(shù)據(jù)存儲于系統(tǒng)數(shù)據(jù)庫，并進行數(shù)據(jù)的更新與同步;而對于冗余、有缺陷和不完整的數(shù)據(jù)而言，與在數(shù)據(jù)導入時識別出的數(shù)據(jù)一并清洗處理，并將清洗的結果顯示出來。系統(tǒng)管理員可以對清洗結果的滿意程度做出判斷，如果對于清洗的結果不滿意，系統(tǒng)可以返回到缺失數(shù)據(jù)處理步驟重新處理。如果大數(shù)據(jù)清洗程序能夠達到滿意的效果，直接同步清洗結果并輸出打印報告，方便后續(xù)的查詢及使用操作。

4? 結果驗證

4.1? 系統(tǒng)功能測試

基于云計算的海量大數(shù)據(jù)系統(tǒng)功能實驗，主要考慮到對系統(tǒng)整體功能的驗證，系統(tǒng)各模塊接口功能列表和實驗環(huán)境設置如表2所示。

大數(shù)據(jù)清洗系統(tǒng)的功能測試能夠保證系統(tǒng)的可靠運行，模塊的功能測試環(huán)節(jié)與系統(tǒng)的軟件工作流程趨于一致，包括用戶登錄、信息輸入、數(shù)據(jù)導入、數(shù)據(jù)處理等環(huán)節(jié)，基于云計算的海量大數(shù)據(jù)清洗系統(tǒng)的功能測試結果，如表3所示。對數(shù)據(jù)清洗系統(tǒng)每個模塊的基礎性功能都進行驗證，全部測試項目都通過了驗證，表明系統(tǒng)的功能性較為穩(wěn)定。

4.2? 系統(tǒng)性能測試

系統(tǒng)性能方面的測試主要檢測基于云計算的大數(shù)據(jù)智能清洗系統(tǒng)，在清洗臟數(shù)據(jù)方面的能力，取一個實驗用的樣本數(shù)據(jù)集包括數(shù)據(jù)29 812條，人為添加重復性干擾臟數(shù)據(jù)188條，每2 500條數(shù)據(jù)檢測一次檢測系統(tǒng)的查準率[ξ]和召回率[ζ]：

式中：[Nc]為準確識別并清洗的數(shù)據(jù)條目;[Na]為臟數(shù)據(jù)的總條目;[Ntal]為總數(shù)據(jù)數(shù)量。分別驗證傳統(tǒng)集中式大數(shù)據(jù)清洗系統(tǒng)與本文基于云計算的數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)清洗查準確和召回率，30 000條數(shù)據(jù)的性能測試結果如圖4，圖5所示。

從傳統(tǒng)大數(shù)據(jù)清洗系統(tǒng)與基于云計算的大數(shù)據(jù)清洗系統(tǒng)查準率對比結果可知，隨著查詢條件的增加，傳統(tǒng)集中式大數(shù)據(jù)清洗系統(tǒng)的查準率呈現(xiàn)出快速下降的趨勢，當查詢30 000條數(shù)據(jù)記錄時，查準率已經(jīng)跌至90.36%;而文中基于云計算的大數(shù)據(jù)清洗系統(tǒng)的臟數(shù)據(jù)查準率始終保持在98%以上。在大數(shù)據(jù)清洗召回率的對比方面，當查詢30 000條數(shù)據(jù)記錄時，傳統(tǒng)數(shù)據(jù)清洗系統(tǒng)的召回率已經(jīng)低于90%，且在整個大數(shù)據(jù)的查詢清洗過程中召回率出現(xiàn)了波動的情況;而文中提出基于云計算的大數(shù)據(jù)清洗系統(tǒng)的召回率，盡管也出現(xiàn)了下降的情況，但總體數(shù)據(jù)清洗處理召回率仍可以保持在95%以上，具有傳統(tǒng)清洗系統(tǒng)所不可比擬的優(yōu)勢。

5? 結? 論

大數(shù)據(jù)在企業(yè)決策與管理層戰(zhàn)略制定中發(fā)揮著越來越重要的作用，但數(shù)據(jù)庫中冗余、錯誤和不完整的數(shù)據(jù)會對大數(shù)據(jù)的真實性和完整性造成不利的影響。云計算是處理大數(shù)據(jù)問題最有效的方法之一，本文基于云計算設計了一種海量大數(shù)據(jù)智能清洗系統(tǒng)，能夠改善數(shù)據(jù)清洗的效率和效果。大數(shù)據(jù)在未來的市場競爭中將會發(fā)揮越來越重要的作用，而保證大數(shù)據(jù)的真實、完整和有效，并不斷提高企業(yè)大數(shù)據(jù)的質(zhì)量，是發(fā)揮出大數(shù)據(jù)資源優(yōu)勢的必要條件之一。

參考文獻

[1] 陶盈春，張紅麗，徐健.異常值探測在大數(shù)據(jù)分析中的應用研究[J].情報科學，2018，36（3）：75?80.

[2] 柴謙益，鄭文斌，潘捷凱，等.基于大數(shù)據(jù)分析的智能配電網(wǎng)狀態(tài)監(jiān)測與故障處理方法研究[J].現(xiàn)代電子技術，2018，41（4）：105?108.

[3] 顏磊，祁冰.基于Android平臺的移動學習系統(tǒng)大數(shù)據(jù)挖掘技術研究[J].現(xiàn)代電子技術，2017，40（19）：142?144.

[4] 王磊，陳青，高洪雨，等.基于大數(shù)據(jù)挖掘技術的智能變電站故障追蹤架構[J].電力系統(tǒng)自動化，2018（3）：84?91.

[5] 劉炳含，付忠廣，王永智，等.基于并行計算的大數(shù)據(jù)挖掘技術及其在電站鍋爐性能優(yōu)化中的應用[J].動力工程學報，2018，38（6）：431?439.

[6] 朱會娟，蔣同海，周喜，等.基于動態(tài)可配置規(guī)則的數(shù)據(jù)清洗方法[J].計算機應用，2017，37（4）：1014?1020.

[7] 潘瑋，牟冬梅，李茵，等.關鍵詞共現(xiàn)方法識別領域研究熱點過程中的數(shù)據(jù)清洗方法[J].圖書情報工作，2017，61（7）：111?117.

[8] 馬平全，宋凱，紀建偉.基于N?Gram算法的數(shù)據(jù)清洗技術[J].沈陽工業(yè)大學學報，2017，39（1）：67?72.

[9] 王沖，鄒瀟.基于Spark框架的電力大數(shù)據(jù)清洗模型[J].電測與儀表，2017，54（14）：33?38.

[10] 林峻，嚴英杰，盛戈皞，等.考慮時間序列關聯(lián)的變壓器在線監(jiān)測數(shù)據(jù)清洗[J].電網(wǎng)技術，2017（11）：3733?3740.

[11] 曲朝陽，張藝競，王永文，等.基于spark框架的能源互聯(lián)網(wǎng)電力能源大數(shù)據(jù)清洗模型[J].電測與儀表，2018，55（2）：39?44.

[12] 周東清，彭世玉，程春田，等.梯級水電站群長期優(yōu)化調(diào)度云計算隨機動態(tài)規(guī)劃算法[J].中國電機工程學報，2017，37（12）：79?90.

[13] 閆明，王秀芬，李強，等.基于數(shù)據(jù)對稱打包的云計算并行核心失敗校驗緩解[J].微電子學與計算機，2017（5）：73?78.