基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)研究

孫 瑜

(中國(guó)人民解放軍92941部隊(duì) 45分隊(duì)，遼寧 葫蘆島 125001)

0 引言

在軍隊(duì)數(shù)據(jù)信息化管理過(guò)程中，受到存儲(chǔ)方式以及管理系統(tǒng)差異等多方面的影響，數(shù)據(jù)的來(lái)源以及格式通常會(huì)存在較大的差異。不同的數(shù)據(jù)庫(kù)所存儲(chǔ)的數(shù)據(jù)在量綱和格式上均有所不同，然而在軍隊(duì)信息化管理中，通常需要對(duì)數(shù)據(jù)進(jìn)行集成化處理，在該過(guò)程中，涉及將不同來(lái)源的數(shù)據(jù)進(jìn)行整合，通過(guò)特定的方式對(duì)數(shù)據(jù)進(jìn)行歸一化處理，從而實(shí)現(xiàn)信息化數(shù)據(jù)分析。因此，為提高對(duì)多源異構(gòu)數(shù)據(jù)的管理效率以及智能化分析水平，需要采取必要的手段對(duì)數(shù)據(jù)進(jìn)行治理。所謂數(shù)據(jù)治理指的是通過(guò)統(tǒng)一的方式，對(duì)多源異構(gòu)數(shù)據(jù)中的噪聲部分、冗余部分進(jìn)行剔除，同時(shí)對(duì)異常數(shù)據(jù)進(jìn)行檢測(cè)，并通過(guò)設(shè)定檢測(cè)閾值，實(shí)現(xiàn)對(duì)異常數(shù)據(jù)的過(guò)濾處理。除此之外，還需要對(duì)數(shù)據(jù)中的不準(zhǔn)確部分進(jìn)行糾正，對(duì)時(shí)間尺度進(jìn)行歸一化調(diào)整，從而保證數(shù)據(jù)的完整性以及連續(xù)性。

對(duì)此，文獻(xiàn)[1]結(jié)合學(xué)習(xí)事件，針對(duì)遠(yuǎn)程教育系統(tǒng)中產(chǎn)生的多源異構(gòu)數(shù)據(jù)進(jìn)行語(yǔ)義融合處理，并對(duì)數(shù)據(jù)治理技術(shù)的實(shí)踐可能性進(jìn)行了探討與分析。文獻(xiàn)[2]結(jié)合大數(shù)據(jù)技術(shù)，針對(duì)高爐數(shù)據(jù)中的冗余以及過(guò)曝問(wèn)題進(jìn)行了合理分析，在此基礎(chǔ)上提出了具體的數(shù)據(jù)治理方案。文獻(xiàn)[3]結(jié)合半監(jiān)督學(xué)習(xí)算法，針對(duì)多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)特點(diǎn)，對(duì)數(shù)據(jù)治理流程進(jìn)行了優(yōu)化。文獻(xiàn)[4]以區(qū)域教育網(wǎng)格多維數(shù)據(jù)作為研究對(duì)象，通過(guò)結(jié)合大數(shù)據(jù)平臺(tái)，構(gòu)建出了系統(tǒng)化的數(shù)據(jù)治理體系，為區(qū)域教育數(shù)據(jù)管理提供了高保真數(shù)據(jù)。文獻(xiàn)[5]針對(duì)使用一種異構(gòu)數(shù)據(jù)進(jìn)行深度學(xué)習(xí)故障診斷不可避免地會(huì)導(dǎo)致診斷準(zhǔn)確性差的問(wèn)題，通過(guò)設(shè)計(jì)具有交替優(yōu)化機(jī)制的融合網(wǎng)絡(luò)，提出了一種深度公共特征提取方法。從兩種異構(gòu)數(shù)據(jù)中獨(dú)立提取的粗糙特征用于以另一種優(yōu)化方式訓(xùn)練所設(shè)計(jì)的融合網(wǎng)絡(luò)。建立了替代優(yōu)化所需的新的損失函數(shù)；因此，所有網(wǎng)絡(luò)都可以進(jìn)行全局調(diào)諧。通過(guò)融合網(wǎng)絡(luò)的交替優(yōu)化訓(xùn)練過(guò)程，可以很好地提取多源異構(gòu)數(shù)據(jù)的深層共性特征，提高了深度學(xué)習(xí)故障診斷方法的準(zhǔn)確性。文獻(xiàn)[6]從經(jīng)濟(jì)、社會(huì)和生態(tài)3個(gè)維度建立了可持續(xù)發(fā)展的標(biāo)準(zhǔn)體系，并給出了10個(gè)次級(jí)標(biāo)準(zhǔn)。然后為了充分表達(dá)專家的猶豫和模糊性，使用語(yǔ)言模糊猶豫集來(lái)描述主觀評(píng)價(jià)信息，并開(kāi)發(fā)了云模型來(lái)處理LFHS的隨機(jī)性和模糊性。文獻(xiàn)[7]提出了一個(gè)基于資源描述框架的模糊時(shí)空RDF圖模型，該模型由萬(wàn)維網(wǎng)聯(lián)盟(W3C)提出，以三元組(主語(yǔ)、謂語(yǔ)、賓語(yǔ))表示數(shù)據(jù)。其次，對(duì)多源異構(gòu)模糊時(shí)空數(shù)據(jù)的相關(guān)異構(gòu)問(wèn)題進(jìn)行分析和分類，并利用模糊時(shí)空RDF圖模型定義相應(yīng)的規(guī)則來(lái)解決這些異構(gòu)問(wèn)題。此外，還根據(jù)RDF三元組的特點(diǎn)，分析了RDF三元組中多源異構(gòu)模糊時(shí)空數(shù)據(jù)集成的異構(gòu)問(wèn)題，并給出了FRDFG的集成方法。上述方法均可以在一定程度上實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的有效治理，但是在治理效果上還有待優(yōu)化。多源異構(gòu)數(shù)據(jù)由于自身的數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，數(shù)據(jù)間的信息冗余程度較高，因此常規(guī)的治理方法無(wú)法去除掉過(guò)多的冗余部分。同時(shí)，由于多源異構(gòu)數(shù)據(jù)的規(guī)模較大，導(dǎo)致數(shù)據(jù)治理效率較低。

為了對(duì)數(shù)據(jù)治理效果進(jìn)行優(yōu)化與調(diào)整，本文提出了一種基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)。使用ETL功能對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，在數(shù)據(jù)處理過(guò)程中引入互信息系數(shù)進(jìn)行非線性數(shù)據(jù)相關(guān)性分析，并構(gòu)建多源異構(gòu)數(shù)據(jù)治理體系。實(shí)驗(yàn)結(jié)果驗(yàn)證了該技術(shù)在數(shù)據(jù)清洗方面具有較高的查準(zhǔn)率，顯示對(duì)于云數(shù)據(jù)中心多源異構(gòu)數(shù)據(jù)的理想治理效果。該研究提供了一種新的思路和方法，可以為數(shù)據(jù)治理領(lǐng)域的進(jìn)一步研究和實(shí)踐提供有益的參考。

1 多源異構(gòu)數(shù)據(jù)治理架構(gòu)及原理

云數(shù)據(jù)中心具備強(qiáng)大的大規(guī)模數(shù)據(jù)處理能力和彈性擴(kuò)展性，能夠輕松應(yīng)對(duì)多源異構(gòu)數(shù)據(jù)的處理需求。此外，云數(shù)據(jù)中心提供了豐富的數(shù)據(jù)集成和協(xié)同處理工具，通過(guò)統(tǒng)一的平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的整合和清洗，更有效地發(fā)現(xiàn)數(shù)據(jù)之間的相關(guān)性。另外，云數(shù)據(jù)中心還擁有高級(jí)的安全機(jī)制和數(shù)據(jù)備份策略，確保數(shù)據(jù)的安全性和完整性?；谠茢?shù)據(jù)中心進(jìn)行多源異構(gòu)數(shù)據(jù)治理還能降低運(yùn)維成本，用戶無(wú)需投入昂貴的設(shè)備和人力資源，由云服務(wù)提供商負(fù)責(zé)維護(hù)和管理。因此，結(jié)合以上優(yōu)勢(shì)，本文基于云數(shù)據(jù)中心，對(duì)多源異構(gòu)數(shù)據(jù)的治理架構(gòu)進(jìn)行設(shè)計(jì)，由此構(gòu)建出的數(shù)據(jù)中心架構(gòu)如圖1所示。

圖1 基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理體系架構(gòu)圖

通過(guò)上述數(shù)據(jù)治理中心的架構(gòu)圖可以看出，本文所構(gòu)建出的數(shù)據(jù)治理體系主要包括3個(gè)部分，分別為私有云、邊緣側(cè)以及設(shè)備端[8-9]。其中，私有云部分主要以云數(shù)據(jù)中心作為載體，集成了多源異構(gòu)數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫(kù)，對(duì)實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，通過(guò)云數(shù)據(jù)中心平臺(tái)，可以對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行調(diào)取。而邊緣側(cè)主要負(fù)責(zé)提供數(shù)據(jù)治理服務(wù)，具體包括數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)相關(guān)性分析以及數(shù)據(jù)分類。通過(guò)結(jié)合機(jī)理模型以及數(shù)據(jù)庫(kù)的智能診斷功能，對(duì)數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，從而實(shí)現(xiàn)數(shù)據(jù)量綱的統(tǒng)一。同時(shí)，在邊緣側(cè)結(jié)構(gòu)中，還需要對(duì)多源異構(gòu)數(shù)據(jù)中的異常部分以及冗余部分進(jìn)行智能化處理，以此優(yōu)化數(shù)據(jù)治理效果。設(shè)備端的主要功能在于物聯(lián)網(wǎng)的動(dòng)態(tài)感知，通過(guò)配備多種傳感器，對(duì)當(dāng)前服務(wù)的系統(tǒng)對(duì)象進(jìn)行感知，從而獲取實(shí)時(shí)數(shù)據(jù)，并將其傳送到私有云，實(shí)現(xiàn)數(shù)據(jù)循環(huán)治理[10]。

2 多源異構(gòu)數(shù)據(jù)治理架構(gòu)設(shè)計(jì)

2.1 多源異構(gòu)數(shù)據(jù)清洗

多源異構(gòu)數(shù)據(jù)在實(shí)際應(yīng)用中面臨數(shù)據(jù)質(zhì)量不高、格式不統(tǒng)一和缺失異常值等問(wèn)題。由于數(shù)據(jù)來(lái)源的不同和數(shù)據(jù)傳輸過(guò)程中的擾動(dòng)，數(shù)據(jù)可能包含錯(cuò)誤、重復(fù)、無(wú)效值和缺失值等不規(guī)范數(shù)據(jù)。為了解決這些問(wèn)題，為確保多源異構(gòu)數(shù)據(jù)的準(zhǔn)確性、完整性和一致性，在多源異構(gòu)數(shù)據(jù)在入庫(kù)存儲(chǔ)之前，需要對(duì)其中的不規(guī)范數(shù)據(jù)進(jìn)行清洗處理。數(shù)據(jù)清洗能夠發(fā)現(xiàn)和修復(fù)數(shù)據(jù)中的錯(cuò)誤和缺失。通過(guò)識(shí)別和糾正異常值、重復(fù)值和無(wú)效值等錯(cuò)誤，數(shù)據(jù)清洗可以保證數(shù)據(jù)的可靠性和準(zhǔn)確性。其次，數(shù)據(jù)清洗可以統(tǒng)一數(shù)據(jù)的格式和結(jié)構(gòu)，在多源異構(gòu)數(shù)據(jù)中消除不一致性，使得數(shù)據(jù)能夠進(jìn)行有效的整合和對(duì)比分析。此外，數(shù)據(jù)清洗還可以處理缺失值和異常值，填充缺失值、插值等方法能夠幫助補(bǔ)全數(shù)據(jù)并保持?jǐn)?shù)據(jù)的完整性。

對(duì)此，本文通過(guò)構(gòu)建數(shù)據(jù)清洗流程，通過(guò)定義數(shù)據(jù)轉(zhuǎn)換模式以及匹配規(guī)則，采用中間數(shù)據(jù)庫(kù)對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行轉(zhuǎn)換清洗，最后存入到目標(biāo)數(shù)據(jù)庫(kù)中，從而實(shí)現(xiàn)數(shù)據(jù)治理。一般來(lái)說(shuō)，多源異構(gòu)數(shù)據(jù)[11-13]的來(lái)源主要有兩個(gè)，分別為不同規(guī)模的數(shù)據(jù)源以及外部文件。其中，數(shù)據(jù)源中的數(shù)據(jù)抽取可以通過(guò)SQL語(yǔ)句實(shí)現(xiàn)，而外部文件無(wú)法直接通過(guò)指令對(duì)數(shù)據(jù)進(jìn)行調(diào)取，因此需要先抽取外部文件中的數(shù)據(jù)，然后將其傳送到中間數(shù)據(jù)庫(kù)中進(jìn)行統(tǒng)一清洗與轉(zhuǎn)換。對(duì)此，本文采用關(guān)系型數(shù)據(jù)庫(kù)中的ETL功能對(duì)數(shù)據(jù)進(jìn)行清洗，ETL數(shù)據(jù)清洗功能如圖2所示。

圖2 ETL數(shù)據(jù)清洗功能

多源異構(gòu)數(shù)據(jù)的清洗流程主要包括4個(gè)步驟，分別為數(shù)據(jù)源分析、數(shù)據(jù)轉(zhuǎn)換模式定義、工作流驗(yàn)證與評(píng)估以及執(zhí)行工作流[14]。

步驟1：數(shù)據(jù)源分析。本文首先將手動(dòng)檢查以及程序自動(dòng)檢查兩種方式進(jìn)行結(jié)合，對(duì)多源異構(gòu)數(shù)據(jù)的來(lái)源進(jìn)行篩查，從而明確數(shù)據(jù)的描述信息以及分布范圍等，明確多源異構(gòu)數(shù)據(jù)的當(dāng)前質(zhì)量水準(zhǔn)。手動(dòng)檢查是指專業(yè)的數(shù)據(jù)管理人員或領(lǐng)域?qū)＜覍?duì)多源異構(gòu)數(shù)據(jù)進(jìn)行目視檢查和分析。通過(guò)手動(dòng)檢查，可以獲取數(shù)據(jù)的直觀認(rèn)識(shí)，并發(fā)現(xiàn)可能存在的問(wèn)題或潛在風(fēng)險(xiǎn)。程序自動(dòng)檢查是利用算法、規(guī)則或模型來(lái)自動(dòng)檢測(cè)和評(píng)估多源異構(gòu)數(shù)據(jù)的質(zhì)量。通過(guò)程序自動(dòng)檢查，可以對(duì)大量數(shù)據(jù)進(jìn)行快速檢測(cè)和分析，發(fā)現(xiàn)數(shù)據(jù)中的異?；蝈e(cuò)誤，同時(shí)還可以提供數(shù)據(jù)的描述統(tǒng)計(jì)信息、數(shù)據(jù)分布范圍等。綜合應(yīng)用手動(dòng)檢查和程序自動(dòng)檢查的方法，在多源異構(gòu)數(shù)據(jù)來(lái)源的篩查過(guò)程中，可以有效地明確多源異構(gòu)數(shù)據(jù)的描述信息、判斷數(shù)據(jù)質(zhì)量水平和數(shù)據(jù)分布范圍，從而為后續(xù)的數(shù)據(jù)分析、挖掘和決策提供可靠和準(zhǔn)確的基礎(chǔ)。同時(shí)，該方法還能夠節(jié)約時(shí)間和人力成本，提高數(shù)據(jù)的管理效率和質(zhì)量。

步驟2：數(shù)據(jù)轉(zhuǎn)換模式定義。對(duì)元數(shù)據(jù)的存儲(chǔ)格式進(jìn)行規(guī)定，具體格式如表1所示。

表1 元數(shù)據(jù)的存儲(chǔ)格式

數(shù)據(jù)源唯一標(biāo)識(shí)符在完成數(shù)據(jù)源分析后，本文對(duì)數(shù)據(jù)轉(zhuǎn)換模式以及數(shù)據(jù)清洗規(guī)則進(jìn)行定義。由于不同數(shù)據(jù)源之間的語(yǔ)義規(guī)則有所不同，因此在對(duì)數(shù)據(jù)轉(zhuǎn)換模式定義時(shí)，可以通過(guò)構(gòu)建等價(jià)實(shí)體關(guān)系表，對(duì)不同數(shù)據(jù)源之間的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換與統(tǒng)一處理。對(duì)此，本文選擇構(gòu)建數(shù)據(jù)庫(kù)層面索引表，將不同數(shù)據(jù)源的數(shù)據(jù)按照數(shù)據(jù)庫(kù)進(jìn)行分類，通過(guò)索引的形式進(jìn)行管理，從而實(shí)現(xiàn)數(shù)據(jù)模式轉(zhuǎn)換。然后對(duì)數(shù)據(jù)清洗[15-17]規(guī)則進(jìn)行定義，針對(duì)元數(shù)據(jù)的數(shù)據(jù)特點(diǎn)，本文為了方便對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行高效調(diào)度，數(shù)據(jù)清洗規(guī)則進(jìn)行表2的定義。

表2 多源異構(gòu)數(shù)據(jù)清洗規(guī)則

步驟3：工作流驗(yàn)證與評(píng)估。該步驟中，本文關(guān)注的是針對(duì)多源數(shù)據(jù)的異常值判定。異常值是指與樣本的大部分觀測(cè)值顯著不同的觀測(cè)值，可能是由于測(cè)量誤差、輸入錯(cuò)誤、系統(tǒng)故障或其他未知因素引起的。箱型圖是一種常用的可視化工具，用于展示數(shù)據(jù)的分布情況和異常值的存在。其主要由一個(gè)矩形箱體和兩條延伸的觸須構(gòu)成。因此，針對(duì)多源數(shù)據(jù)的異常值判定[18]，本文結(jié)合箱型圖的方式，通過(guò)對(duì)數(shù)據(jù)的邊緣?mèng)敯粜詫?duì)異常數(shù)據(jù)進(jìn)行識(shí)別。通過(guò)邊緣?mèng)敯粜苑治?，能夠利用箱型圖的特性來(lái)識(shí)別異常數(shù)據(jù)。異常數(shù)據(jù)可能表現(xiàn)為遠(yuǎn)離箱體的離群點(diǎn)，因?yàn)橄潴w表示了數(shù)據(jù)的中間50%的范圍。所以，如果數(shù)據(jù)超出了觸須長(zhǎng)度的1.5倍范圍，那么該數(shù)據(jù)點(diǎn)有可能被視為異常數(shù)據(jù)。

這一過(guò)程中，假設(shè)數(shù)據(jù)上邊緣以及下邊緣分別為A和B，則異常數(shù)據(jù)的判定表達(dá)式如下所示。

A=Q3+1.5(Q3-Q1)

(1)

B=Q1-1.5(Q3-Q1)

(2)

其中，Q1代表多源異構(gòu)數(shù)據(jù)的下四分位數(shù)，Q3代表多源異構(gòu)數(shù)據(jù)的上四分位數(shù)。箱型圖的具體示意圖如圖3所示。

圖3 箱型圖示意圖

步驟4：執(zhí)行工作流。結(jié)合上述異常數(shù)據(jù)的判定方法，對(duì)異常值進(jìn)行剔除，從而完成數(shù)據(jù)清洗。具體步驟如下：

1)首先，準(zhǔn)備待清洗的多源數(shù)據(jù)。

2)異常數(shù)據(jù)判定：結(jié)合箱型圖的方式，對(duì)數(shù)據(jù)的邊緣?mèng)敯粜赃M(jìn)行分析，識(shí)別異常數(shù)據(jù)。箱型圖根據(jù)數(shù)據(jù)的分布情況繪制出最小值、下四分位數(shù)、中位數(shù)、上四分位數(shù)和最大值，利用這些統(tǒng)計(jì)量來(lái)判斷是否存在異常值。將超過(guò)上下四分位數(shù)1.5倍或3倍的差距的數(shù)據(jù)點(diǎn)視為異常值。

3)異常值剔除：根據(jù)異常數(shù)據(jù)的判定結(jié)果，將被標(biāo)記為異常的數(shù)據(jù)進(jìn)行剔除。剔除異常值的方式是刪除包含異常值的整行數(shù)據(jù)。

4)數(shù)據(jù)清洗結(jié)果驗(yàn)證：經(jīng)過(guò)異常數(shù)據(jù)剔除后，使用描述性統(tǒng)計(jì)分析方法驗(yàn)證數(shù)據(jù)清洗的效果，查看異常值是否被成功剔除，并評(píng)估數(shù)據(jù)的質(zhì)量和一致性。

2.2 數(shù)據(jù)相關(guān)性分析

在完成數(shù)據(jù)清洗后，盡管數(shù)據(jù)的質(zhì)量得到了提升，仍然可能存在冗余的信息。冗余數(shù)據(jù)可能是指多個(gè)數(shù)據(jù)字段之間存在高度重復(fù)或高度相關(guān)的情況，這種情況下，一些數(shù)據(jù)字段可能具有相似的信息，對(duì)于分析和決策過(guò)程中產(chǎn)生了冗余。為了降低冗余情況并提高數(shù)據(jù)治理效率，本文采用了皮爾遜相關(guān)系數(shù)法[19]進(jìn)行多源異構(gòu)數(shù)據(jù)的相關(guān)性分析。皮爾遜相關(guān)系數(shù)是一種衡量?jī)蓚€(gè)變量之間線性相關(guān)關(guān)系強(qiáng)度和方向的統(tǒng)計(jì)量。通過(guò)計(jì)算數(shù)據(jù)字段之間的皮爾遜相關(guān)系數(shù)，可以判斷它們之間的相關(guān)程度，并識(shí)別出那些存在較高相關(guān)性的數(shù)據(jù)字段，從而降低數(shù)據(jù)信息的冗余情況，提高數(shù)據(jù)治理效率。

假設(shè)在多源異構(gòu)數(shù)據(jù)庫(kù)中，存在兩個(gè)隨機(jī)數(shù)據(jù)分別為X和Y，則這兩個(gè)數(shù)據(jù)之間的相關(guān)性為ρ(X，Y)。為保證分析效果，本文采用線性優(yōu)化的方式對(duì)數(shù)據(jù)相關(guān)性進(jìn)行計(jì)算，具體計(jì)算公式如下所示[20]。

(3)

其中：Var(X)和Var(Y)分別代表隨機(jī)數(shù)據(jù)X和Y對(duì)應(yīng)的方差大小，Cov(X，Y)代表兩個(gè)隨機(jī)數(shù)據(jù)之間的協(xié)方差。

上述公式可以針對(duì)多源異構(gòu)數(shù)據(jù)中呈現(xiàn)線性關(guān)系的數(shù)據(jù)進(jìn)行相關(guān)性分析，例如同一屬性下的衍生數(shù)據(jù)等[21]。但是針對(duì)相關(guān)性并不明顯的隨機(jī)數(shù)據(jù)，采用上述公式無(wú)法深度挖掘出隨機(jī)數(shù)據(jù)之間的非線性關(guān)系。因此為了保證相關(guān)性分析的效果更為全面，本文引入互信息系數(shù)這一參數(shù)，對(duì)隨機(jī)數(shù)據(jù)之間的相關(guān)程度進(jìn)行判定。

互信息系數(shù)是一種衡量?jī)蓚€(gè)變量之間關(guān)聯(lián)程度的統(tǒng)計(jì)量，通過(guò)引入互信息系數(shù)進(jìn)行數(shù)據(jù)相關(guān)性分析，可以更準(zhǔn)確地識(shí)別和量化數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。引入互信息系數(shù)有助于提高數(shù)據(jù)治理的準(zhǔn)確性和效率，同時(shí)，互信息系數(shù)的值可以根據(jù)隨機(jī)數(shù)據(jù)的聯(lián)合概率密度計(jì)算而得，具體計(jì)算公式如下所示。

(4)

其中，I(X；Y)代表互信息系數(shù)[22]，p(x，y)代表隨機(jī)變量X與Y的聯(lián)合概率密度函數(shù)，p(x)和p(y)代表兩個(gè)隨機(jī)變量X與Y對(duì)應(yīng)的邊緣分布密度函數(shù)。通過(guò)上述公式對(duì)互信息系數(shù)進(jìn)行求解，然后結(jié)合相關(guān)度閾值，對(duì)隨機(jī)數(shù)據(jù)之間的相關(guān)程度進(jìn)行判定，具體判定規(guī)則如圖4所示。

圖4 數(shù)據(jù)相關(guān)性判斷規(guī)則

根據(jù)上述數(shù)據(jù)相關(guān)性判斷規(guī)則可以看出，相關(guān)系數(shù)越接近與1，代表兩個(gè)隨機(jī)數(shù)據(jù)之間的相關(guān)性越強(qiáng)。在對(duì)多源異構(gòu)數(shù)據(jù)相關(guān)性進(jìn)行分析時(shí)，首先結(jié)合互信息系數(shù)，對(duì)數(shù)據(jù)相關(guān)性進(jìn)行判斷，然后結(jié)合皮爾遜相關(guān)系數(shù)法[23-24]，計(jì)算相關(guān)系數(shù)，從而實(shí)現(xiàn)數(shù)據(jù)相關(guān)性的有效分析。

結(jié)合上述提出的數(shù)據(jù)清洗以及數(shù)據(jù)相關(guān)性分析等內(nèi)容，即可構(gòu)建出數(shù)據(jù)治理機(jī)制，通過(guò)結(jié)合私有云平臺(tái)，對(duì)關(guān)系型數(shù)據(jù)庫(kù)在內(nèi)的多種數(shù)據(jù)進(jìn)行集成存儲(chǔ)，并對(duì)數(shù)據(jù)進(jìn)行清洗以及相關(guān)性分析，從而實(shí)現(xiàn)數(shù)據(jù)治理。至此，基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)設(shè)計(jì)完成。

3 實(shí)驗(yàn)結(jié)果與分析

為了證明本文提出的基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)的實(shí)際治理效果優(yōu)于常規(guī)的多源異構(gòu)數(shù)據(jù)治理技術(shù)，在理論部分的設(shè)計(jì)完成后，構(gòu)建實(shí)驗(yàn)環(huán)節(jié)，對(duì)本文方法的治理效果進(jìn)行檢驗(yàn)。

3.1 實(shí)驗(yàn)說(shuō)明

為驗(yàn)證本文提出的基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)在實(shí)際治理性能方面的有效性，本次實(shí)驗(yàn)選取了兩種常規(guī)的多源異構(gòu)數(shù)據(jù)治理技術(shù)作為對(duì)比對(duì)象，分別為文獻(xiàn)[1]基于學(xué)習(xí)事件的遠(yuǎn)程教育多源異構(gòu)數(shù)據(jù)語(yǔ)義融合與實(shí)踐研究和文獻(xiàn)[2]基于半監(jiān)督學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)治理方法。通過(guò)構(gòu)建實(shí)驗(yàn)平臺(tái)，采用3種治理方法對(duì)同一組多源異構(gòu)數(shù)據(jù)進(jìn)行治理，對(duì)比不同方法的實(shí)際治理效果。

3.2 實(shí)驗(yàn)準(zhǔn)備

1)硬件環(huán)境準(zhǔn)備：

本次實(shí)驗(yàn)采用Hadoop集群框架對(duì)實(shí)驗(yàn)平臺(tái)進(jìn)行搭建，通過(guò)部署主節(jié)點(diǎn)以及從屬節(jié)點(diǎn)，分別模擬不同數(shù)據(jù)源之間的數(shù)據(jù)傳輸操作。Hadoop框架版本為2.5.0，采用Winows系統(tǒng)對(duì)框架進(jìn)行開(kāi)發(fā)。

2)數(shù)據(jù)準(zhǔn)備：

為保證實(shí)驗(yàn)的可靠性，本次實(shí)驗(yàn)的測(cè)試數(shù)據(jù)來(lái)自某系統(tǒng)的用戶負(fù)荷數(shù)據(jù)。測(cè)試系統(tǒng)參數(shù)，如表3所示。

表3 系統(tǒng)參數(shù)

通過(guò)對(duì)該系統(tǒng)的歷史運(yùn)行數(shù)據(jù)進(jìn)行調(diào)取，構(gòu)建原始數(shù)據(jù)集。

局部異常因子是一種用于檢測(cè)和識(shí)別異常數(shù)據(jù)的統(tǒng)計(jì)方法，它基于數(shù)據(jù)的局部密度和離群程度來(lái)判斷數(shù)據(jù)是否異常。在云數(shù)據(jù)中心等復(fù)雜環(huán)境中，數(shù)據(jù)源可能具有不同的特征和分布，可能會(huì)涉及多個(gè)數(shù)據(jù)類型和數(shù)據(jù)來(lái)源。而且，由于數(shù)據(jù)傳輸、存儲(chǔ)、處理等過(guò)程中可能引入噪聲、錯(cuò)誤或數(shù)據(jù)異常，這些異常數(shù)據(jù)對(duì)于數(shù)據(jù)治理和決策過(guò)程可能會(huì)產(chǎn)生負(fù)面影響。因此，在基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理測(cè)試中，為準(zhǔn)確測(cè)試出不同方法對(duì)于異常數(shù)據(jù)的識(shí)別效果，本次實(shí)驗(yàn)通過(guò)引入局部異常因子，對(duì)異常數(shù)據(jù)進(jìn)行仿真，樣本數(shù)據(jù)的異常因子經(jīng)過(guò)打亂后會(huì)更具備真實(shí)性，其具體分布如圖5和圖6所示。

圖5 局部異常因子原始分布圖

圖6 局部異常因子排序分布圖

本次實(shí)驗(yàn)共設(shè)置了6個(gè)訓(xùn)練集以及6組測(cè)試集，每個(gè)實(shí)驗(yàn)數(shù)據(jù)集中包含的樣本數(shù)據(jù)均有所不同，具體數(shù)據(jù)集分配如表4所示。

表4 數(shù)據(jù)集分配情況

表4中，測(cè)試集A、測(cè)試集B、測(cè)試集C、測(cè)試集D、測(cè)試集E分別對(duì)應(yīng)訓(xùn)練集A、訓(xùn)練集B、訓(xùn)練集C、訓(xùn)練集D、訓(xùn)練集E。同時(shí)，為了滿足多源異構(gòu)數(shù)據(jù)的多源性和異構(gòu)性，綜合利用手動(dòng)檢查和程序自動(dòng)檢查方法對(duì)表4中的數(shù)據(jù)集A、B、C、D、E數(shù)據(jù)類型進(jìn)行篩選，并將其總結(jié)為表5。

表5 被分配數(shù)據(jù)集概況

為對(duì)原始數(shù)據(jù)集中的離群點(diǎn)進(jìn)行檢測(cè)，對(duì)負(fù)荷數(shù)據(jù)的離群點(diǎn)進(jìn)行聚類分析，分3個(gè)維度對(duì)數(shù)據(jù)進(jìn)行展示，從而構(gòu)建三維散點(diǎn)圖，具體如圖7所示。

圖7 負(fù)荷數(shù)據(jù)三維散點(diǎn)圖

3.3 實(shí)驗(yàn)步驟

步驟1：數(shù)據(jù)準(zhǔn)備：按照3.2部分準(zhǔn)備多源異構(gòu)數(shù)據(jù)，并確保數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)清洗和預(yù)處理，以保證數(shù)據(jù)的質(zhì)量和一致性。

步驟2：互信息系數(shù)分析：使用互信息系數(shù)來(lái)判斷數(shù)據(jù)之間的相關(guān)性?；バ畔⑹且环N度量?jī)蓚€(gè)隨機(jī)變量之間的關(guān)聯(lián)程度的統(tǒng)計(jì)量。通過(guò)計(jì)算互信息系數(shù)，可以評(píng)估兩個(gè)數(shù)據(jù)變量之間的非線性關(guān)聯(lián)程度。較高的互信息系數(shù)表明兩個(gè)變量之間具有較強(qiáng)的相關(guān)性。

步驟3：皮爾遜相關(guān)系數(shù)分析：在確定了可能存在相關(guān)性的數(shù)據(jù)變量后，使用皮爾遜相關(guān)系數(shù)計(jì)算它們之間的相關(guān)性。皮爾遜相關(guān)系數(shù)衡量的是兩個(gè)變量之間的線性關(guān)聯(lián)程度。皮爾遜相關(guān)系數(shù)的取值范圍從-1到1，其中-1表示完全負(fù)相關(guān)，1表示完全正相關(guān)，0表示無(wú)相關(guān)性。

步驟4：分別利用本文設(shè)計(jì)方法、常規(guī)方法1與常規(guī)方法2對(duì)用戶負(fù)荷數(shù)據(jù)進(jìn)行治理，同時(shí)，為提高實(shí)驗(yàn)結(jié)果的對(duì)比性，本次實(shí)驗(yàn)設(shè)定了兩種不同的測(cè)試條件，分別為局部異常因子為4和8的異常數(shù)據(jù)集。通過(guò)采用3種數(shù)據(jù)治理方法對(duì)同一組數(shù)據(jù)集進(jìn)行處理，對(duì)比不同異常數(shù)據(jù)密度下，3種方法的實(shí)際處理效果。

3.4 數(shù)據(jù)治理性能對(duì)比結(jié)果

本次對(duì)比實(shí)驗(yàn)選取的對(duì)比指標(biāo)為不同方法的數(shù)據(jù)治理性能，具體衡量指標(biāo)為數(shù)據(jù)查全率，計(jì)算公式如下所示。

(5)

其中，NTP代表準(zhǔn)確檢測(cè)出異常數(shù)據(jù)的數(shù)量，NFN代表錯(cuò)誤認(rèn)定為異常數(shù)據(jù)的數(shù)量，NFP代表未被檢測(cè)出異常數(shù)據(jù)的數(shù)量。具體實(shí)驗(yàn)結(jié)果如圖8和圖9所示。

圖8 局部異常因子為4的查準(zhǔn)率對(duì)比結(jié)果

圖9 局部異常因子為8的查準(zhǔn)率對(duì)比結(jié)果

通過(guò)上述實(shí)驗(yàn)結(jié)果可以看出，局部異常因子的值會(huì)在一定程度上影響方法的治理效果。通過(guò)數(shù)值上的對(duì)比可以看出，本文提出的基于云數(shù)據(jù)中心的多源異構(gòu)數(shù)據(jù)治理技術(shù)的查準(zhǔn)率明顯高于兩種常規(guī)的治理方法，具備更為理想的治理效果。

3.5 數(shù)據(jù)治理準(zhǔn)確率對(duì)比

實(shí)驗(yàn)選取治理準(zhǔn)確率作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，表示為公式(6)：

(6)

式中，p為治理準(zhǔn)確率；p1為多源異構(gòu)數(shù)據(jù)被檢測(cè)出異常的次數(shù)；p2為多源異構(gòu)數(shù)據(jù)被檢測(cè)出正常的次數(shù)。

基于以上指標(biāo)，對(duì)3.2部分設(shè)置的多源異構(gòu)數(shù)據(jù)進(jìn)行進(jìn)一步細(xì)分，得到準(zhǔn)確率實(shí)驗(yàn)數(shù)據(jù)集為表6。

表6 準(zhǔn)確率實(shí)驗(yàn)數(shù)據(jù)集

表6所示的數(shù)據(jù)集中包含了不同用戶和設(shè)備的用戶負(fù)荷數(shù)據(jù)，時(shí)間戳表示每個(gè)測(cè)量數(shù)據(jù)的時(shí)間點(diǎn)，用戶ID標(biāo)識(shí)不同的用戶，設(shè)備ID標(biāo)識(shí)不同的設(shè)備，用戶負(fù)荷表示對(duì)應(yīng)時(shí)間點(diǎn)的用戶負(fù)荷值(以千瓦為單位)?；谝陨蠑?shù)據(jù)集，分別利用本文設(shè)計(jì)方法、常規(guī)方法1與常規(guī)方法2對(duì)多源異構(gòu)負(fù)荷數(shù)據(jù)進(jìn)行治理準(zhǔn)確率實(shí)驗(yàn)。治理結(jié)果如圖10所示。

圖10 治理準(zhǔn)確率實(shí)驗(yàn)結(jié)果

從圖10中可以看出，本文設(shè)計(jì)的方法對(duì)比其它兩種方法而言，對(duì)多源異構(gòu)數(shù)據(jù)的治理準(zhǔn)確率較高，能夠準(zhǔn)確治理多源異構(gòu)數(shù)據(jù)。

4 結(jié)束語(yǔ)

本文針對(duì)常規(guī)的多源異構(gòu)數(shù)據(jù)治理方法在治理性能方面較差的問(wèn)題進(jìn)行了研究，提出了一種結(jié)合云數(shù)據(jù)中心的新型數(shù)據(jù)治理技術(shù)。在關(guān)系型數(shù)據(jù)庫(kù)中使用ETL功能進(jìn)行數(shù)據(jù)清洗的基礎(chǔ)上，引入互信息系數(shù)進(jìn)行數(shù)據(jù)相關(guān)性分析，并以云數(shù)據(jù)中心為基礎(chǔ)，構(gòu)建多源異構(gòu)數(shù)據(jù)治理體系，從而實(shí)現(xiàn)數(shù)據(jù)治理的目標(biāo)。該研究的創(chuàng)新點(diǎn)在于結(jié)合了云數(shù)據(jù)中心的優(yōu)勢(shì)。云數(shù)據(jù)中心具有高效的數(shù)據(jù)存儲(chǔ)和處理能力，可以支持大規(guī)模的數(shù)據(jù)處理任務(wù)。通過(guò)將數(shù)據(jù)治理與云數(shù)據(jù)中心相結(jié)合，可以充分利用云平臺(tái)的資源和計(jì)算能力，提高數(shù)據(jù)治理的整體性能和效果。

在今后的研究工作中，還存在一些需要進(jìn)一步探索和優(yōu)化的方面。首先，將對(duì)數(shù)據(jù)治理技術(shù)進(jìn)行約簡(jiǎn)處理，以減少數(shù)據(jù)處理的復(fù)雜性和冗余性。約簡(jiǎn)處理可以針對(duì)不同類型的數(shù)據(jù)，采用適當(dāng)?shù)姆椒ㄟM(jìn)行特征選擇和降維，從而提高數(shù)據(jù)清洗的效果，并減少計(jì)算和存儲(chǔ)的開(kāi)銷。其次，將完善多源異構(gòu)數(shù)據(jù)治理體系的構(gòu)建和管理機(jī)制。多源數(shù)據(jù)的種類繁多，數(shù)據(jù)結(jié)構(gòu)和格式各不相同，需要建立統(tǒng)一的數(shù)據(jù)模型和標(biāo)準(zhǔn)，以便更好地對(duì)數(shù)據(jù)進(jìn)行整合和分析。最后，將進(jìn)一步探索云數(shù)據(jù)中心與邊緣計(jì)算的結(jié)合方式，實(shí)現(xiàn)數(shù)據(jù)治理的分布式處理。