知識(shí)發(fā)現(xiàn)過程中的數(shù)據(jù)預(yù)處理技術(shù)研究

毛田野，李華，鄭健，張驍駿

（91388 部隊(duì)，廣東 湛江 524022）

0 引言

“數(shù)據(jù)就是未來新時(shí)代的石油”。隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的快速發(fā)展和大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)作為一種生產(chǎn)要素在社會(huì)發(fā)展中的重要性日益凸顯，對(duì)數(shù)據(jù)的挖掘應(yīng)用與知識(shí)發(fā)現(xiàn)已經(jīng)逐漸滲透到了工業(yè)、軍事、教育等各個(gè)行業(yè)領(lǐng)域。但與此同時(shí)，我們所面對(duì)的數(shù)據(jù)體系越來越龐大，數(shù)據(jù)存儲(chǔ)規(guī)模已經(jīng)達(dá)到了PB（Petabyte）、甚至EB（Exabyte）的級(jí)別，數(shù)據(jù)類型和組織形式也越來越多樣化[1，2]。海量數(shù)據(jù)的處理對(duì)我們來說本身就是一個(gè)不小的挑戰(zhàn)，而且原始數(shù)據(jù)中可能還包含著許多問題數(shù)據(jù)，例如數(shù)據(jù)屬性值出現(xiàn)了缺失或錯(cuò)誤、數(shù)據(jù)信息存在重復(fù)冗余以及數(shù)據(jù)結(jié)構(gòu)不一致等[3]，對(duì)我們從中進(jìn)行知識(shí)發(fā)現(xiàn)造成了諸多困難。因此，數(shù)據(jù)預(yù)處理技術(shù)的重要性日益凸顯出來：一方面，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理能夠排除問題數(shù)據(jù)，提高源數(shù)據(jù)的規(guī)范性，節(jié)省后續(xù)處理海量數(shù)據(jù)的時(shí)間；另一方面，數(shù)據(jù)預(yù)處理能夠優(yōu)化改良問題數(shù)據(jù)，提升源數(shù)據(jù)的質(zhì)量。如圖1 所示，目前數(shù)據(jù)預(yù)處理的工作內(nèi)容主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)歸約以及數(shù)據(jù)變換等處理過程。在知識(shí)發(fā)現(xiàn)過程中，數(shù)據(jù)預(yù)處理扮演著承上啟下的重要角色[4，5]。

圖1 知識(shí)發(fā)現(xiàn)的基本過程示意圖Figure1 Schematic diagram of knowledge discovery

1 數(shù)據(jù)清洗

數(shù)據(jù)清洗是指檢測(cè)數(shù)據(jù)中存在的問題數(shù)據(jù)，通過填寫缺失的數(shù)值、識(shí)別和刪除離群點(diǎn)以及光滑噪聲數(shù)據(jù)等方法對(duì)數(shù)據(jù)進(jìn)行處理，形成合理的數(shù)據(jù)集合[5]。根據(jù)所處理的問題數(shù)據(jù)類型，數(shù)據(jù)清洗可以分為以下幾種。

1.1 清洗缺失數(shù)據(jù)

由于系統(tǒng)存在缺陷或者出現(xiàn)運(yùn)行錯(cuò)誤等問題，導(dǎo)致所產(chǎn)生數(shù)據(jù)集的某些屬性值出現(xiàn)丟失，這種情況稱為數(shù)據(jù)缺失。例如某武器裝備信息表Weapon中某些記錄的“型號(hào)”屬性W.marque 的值被記為空（NULL）。關(guān)鍵信息的缺失，會(huì)導(dǎo)致數(shù)據(jù)集的價(jià)值大大降低，影響后續(xù)的信息匹配和計(jì)算，因此對(duì)缺失數(shù)據(jù)進(jìn)行清洗有很大的必要性。常見的清洗方法主要分為刪除法和填充法兩大類。

1.1.1 刪除法

刪除法即是直接對(duì)存在屬性缺失的數(shù)據(jù)進(jìn)行刪除。該方法操作過程簡(jiǎn)單易行，經(jīng)常作為缺省的方法用于缺失數(shù)據(jù)比較少的情況下。但當(dāng)缺失數(shù)據(jù)占數(shù)據(jù)集的比例比較大時(shí)，采用直接刪除的方法可能會(huì)導(dǎo)致所得到的數(shù)據(jù)分析結(jié)果發(fā)生偏離，進(jìn)而影響結(jié)論的準(zhǔn)確性。此外，當(dāng)缺失的數(shù)據(jù)為有價(jià)值的關(guān)鍵信息時(shí)，刪除法顯然會(huì)對(duì)后續(xù)的數(shù)據(jù)挖掘工作造成不利影響。

1.1.2 填充法

在實(shí)際操作中，人們更多地會(huì)利用最接近缺失值的數(shù)據(jù)來填充缺失數(shù)據(jù)，這種方法稱為填充法或插補(bǔ)法。利用填充法對(duì)數(shù)據(jù)進(jìn)行清洗主要可以通過以下幾種途徑來實(shí)現(xiàn)。

（1）聚合值填充：當(dāng)數(shù)據(jù)對(duì)象可直接進(jìn)行加減運(yùn)算時(shí)，則取算數(shù)平均值來填充缺失值，其他數(shù)據(jù)對(duì)象的眾數(shù)、中位數(shù)等均可用來賦予該缺失值。使用聚合值進(jìn)行填充的方法簡(jiǎn)單快速，但有可能會(huì)產(chǎn)生有偏估計(jì)，對(duì)缺失數(shù)據(jù)和其他數(shù)據(jù)之間原本的相關(guān)性產(chǎn)生不利影響。

（2）模型預(yù)測(cè)插補(bǔ)：通過機(jī)器學(xué)習(xí)模型對(duì)缺失值進(jìn)行預(yù)測(cè)和插補(bǔ)，例如假設(shè)缺失值所在變量與樣本中其他變量之間存在線性關(guān)系，然后通過建立回歸模型對(duì)缺失值進(jìn)行預(yù)測(cè)和填補(bǔ)。該方法利用了盡可能多的現(xiàn)有數(shù)據(jù)，得到的結(jié)果更具有說服力，但往往容易忽略隨機(jī)誤差。其他常用的模型還有決策樹、貝葉斯、隨機(jī)森林等。

（3）極大似然估計(jì)：通過引入隱變量創(chuàng)建概率模型來對(duì)未知參數(shù)進(jìn)行極大似然估計(jì)，也可稱為忽略缺失值的數(shù)學(xué)期望。該方法適用范圍也比較廣泛，估計(jì)量具有一致性和有效性，但解方程時(shí)有可能得不到解或者不是有限解[6]。

1.2 清洗重復(fù)數(shù)據(jù)

在同一數(shù)據(jù)庫(kù)中可能會(huì)出現(xiàn)相同對(duì)象或?qū)傩該碛胁煌拿Q，或者多個(gè)屬性表示同一特征的情況，這種現(xiàn)象稱為數(shù)據(jù)重復(fù)或數(shù)據(jù)冗余，主要包括屬性重復(fù)和屬性值重復(fù)兩種情況。在數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用中，大多數(shù)系統(tǒng)都存在數(shù)據(jù)重復(fù)現(xiàn)象。

比較算法是處理數(shù)值型數(shù)據(jù)重復(fù)的常用方法。首先通過專門的公式計(jì)算出記錄不同屬性的相似度，例如當(dāng)需要判斷某關(guān)系表中A 屬性和B 屬性兩者之間是否相互冗余時(shí)，可以通過皮爾遜相關(guān)系數(shù)即公式（1）來進(jìn)行相關(guān)性計(jì)算[7]：

式中，rA，B為A 與B 屬性相似度；N 為A 或B屬性的屬性值個(gè)數(shù)；ai和bi分別為A、B 屬性的每個(gè)屬性值分別為A、B 屬性的平均值；σA和σB分別為A、B 屬性的標(biāo)準(zhǔn)差為A、B 兩屬性叉積的和。

得到不同屬性相似度之后，再考慮每個(gè)屬性的不同權(quán)重值，加權(quán)平均后得到記錄的相似度。若相似度超過了某一閾值，則認(rèn)為兩條記錄是存在冗余的，可對(duì)其中的一條記錄進(jìn)行刪除操作，否則則認(rèn)為兩條記錄指向不同的實(shí)體。此外，近鄰排序法也常用于相似度計(jì)算[8]，即對(duì)記錄按關(guān)鍵字進(jìn)行排序后，以固定步長(zhǎng)（窗口）來檢測(cè)其中的記錄是否相似，可以在一定程度上減少記錄的比較次數(shù)。需要注意的是，比較算法對(duì)計(jì)算機(jī)的運(yùn)行速度和儲(chǔ)存空間要求比較高，配置有限的個(gè)人計(jì)算機(jī)往往采用在線刪除和離線刪除相結(jié)合的手段[9]。對(duì)于分類型數(shù)據(jù)的冗余檢測(cè)，可以利用公式（2）假設(shè)檢驗(yàn)中的卡方檢驗(yàn)來實(shí)現(xiàn)[10]，通過能否拒絕原假設(shè)來對(duì)屬性是否冗余進(jìn)行判斷。

式中，χ2為卡方值，其值越大表明變量越有可能相關(guān)；Ob 代表某個(gè)類別的觀測(cè)值，Ex 代表計(jì)算出來的期望值（Ex=行總數(shù)×列總數(shù)∕總數(shù)）。

1.3 清洗噪聲數(shù)據(jù)

由于系統(tǒng)工作狀況等原因，實(shí)際采集的數(shù)據(jù)、整理所得到的數(shù)據(jù)集往往會(huì)包含部分不在合理數(shù)據(jù)域內(nèi)的數(shù)據(jù)，這些“離群”的數(shù)據(jù)被稱為噪聲數(shù)據(jù)。本質(zhì)上來講，噪聲數(shù)據(jù)是一種隨機(jī)誤差。常見的處理噪聲數(shù)據(jù)的方法可以分為噪聲平滑和噪聲過濾兩大類。

1.3.1 噪聲平滑

平滑噪聲數(shù)據(jù)可以通過以下幾種方法來實(shí)現(xiàn)。

（1）分箱法：把需要進(jìn)行預(yù)處理的數(shù)據(jù)分到若干個(gè)箱中，然后通過考察周圍臨近的數(shù)值來對(duì)有序數(shù)列進(jìn)行平滑，分箱實(shí)質(zhì)上是一種數(shù)據(jù)離散化。一般來講，箱的寬度越大，光滑的效果越好，也可以指定箱子的寬度，即箱值的范圍是一個(gè)常量。箱平均值、中位數(shù)以及最近的邊界值等均可作為噪聲數(shù)據(jù)的替代對(duì)象[11]。

（2）回歸法：由大多數(shù)穩(wěn)定的數(shù)據(jù)樣本擬合得到回歸函數(shù)，根據(jù)回歸系數(shù)和預(yù)測(cè)變量反解出自變量的近似值，然后對(duì)原始數(shù)據(jù)進(jìn)行近似值替換。該方法需要建立在穩(wěn)定數(shù)據(jù)的基礎(chǔ)之上，而且只有符合線性趨勢(shì)的數(shù)據(jù)樣本才能進(jìn)行回歸分析。對(duì)于比較復(fù)雜的多因素模型可利用多線性回歸法進(jìn)行平滑，將數(shù)據(jù)擬合到多維曲面上，去噪聲效果比較好[12]。

（3）均值法：利用異常值臨近的若干數(shù)據(jù)均值來替換離群點(diǎn)的一種去噪方法。該方法操作簡(jiǎn)單、計(jì)算速度快，但局限于具有序列特征的樣本，尤其是當(dāng)數(shù)據(jù)集具有正弦時(shí)序特征時(shí)，均值法的去噪效果比較顯著。

1.3.2 噪聲過濾

利用聚類的方法找到并刪除數(shù)據(jù)集中的離群點(diǎn)，這種方法稱為噪聲過濾，又叫作離群點(diǎn)分析。在該方法中，聚類生成的數(shù)據(jù)對(duì)象集合被稱為簇，同一簇中的數(shù)據(jù)對(duì)象具有比較高的相似度，落在簇之外的點(diǎn)則被直觀地稱為離群點(diǎn)。本質(zhì)上來講，利用聚類進(jìn)行噪聲過濾是一種形式的數(shù)據(jù)規(guī)約，該方法需要預(yù)先知道數(shù)據(jù)樣本的分布特征，并建立在標(biāo)準(zhǔn)的統(tǒng)計(jì)學(xué)基礎(chǔ)上，對(duì)數(shù)據(jù)和檢驗(yàn)類型的充分性要求也比較高，否則難以保證能發(fā)現(xiàn)所有的離群點(diǎn)。

2 數(shù)據(jù)集成

所謂數(shù)據(jù)集成，通俗來講是指將來自多個(gè)數(shù)據(jù)源的異構(gòu)數(shù)據(jù)合并在一起，并存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中。數(shù)據(jù)樣本的來源和涉及領(lǐng)域越廣泛，數(shù)據(jù)集成的難度也會(huì)越大，該過程需要解決數(shù)據(jù)的選擇、數(shù)據(jù)的一致性以及兼容性等問題[13]。而數(shù)據(jù)的一致性和兼容性主要面臨多數(shù)據(jù)源中屬性的語(yǔ)義差異、結(jié)構(gòu)差異和冗余重復(fù)等難題。

2.1 屬性語(yǔ)義問題

例如在對(duì)來自兩個(gè)數(shù)據(jù)源中的武器裝備信息統(tǒng)計(jì)表進(jìn)行集成時(shí)，發(fā)現(xiàn)兩個(gè)數(shù)據(jù)樣本中都有名為“Date”的屬性，但實(shí)際上一個(gè)記錄的是出廠時(shí)間，另一個(gè)記錄的是列裝時(shí)間。上述情況在數(shù)據(jù)集成中是經(jīng)常發(fā)生的，通常需要操作人員在數(shù)據(jù)集成之前對(duì)數(shù)據(jù)樣本進(jìn)行調(diào)研，確認(rèn)各個(gè)屬性的實(shí)際意義。

2.2 屬性結(jié)構(gòu)問題

屬性結(jié)構(gòu)差異幾乎是數(shù)據(jù)集成中必須要解決的問題。以武器裝備信息表Weapon 中的“造價(jià)”屬性W.price 為例，表1 總結(jié)了數(shù)據(jù)集成中幾種常見的屬性結(jié)構(gòu)差異問題。針對(duì)這類問題，往往需要在數(shù)據(jù)集成過程中對(duì)數(shù)據(jù)屬性進(jìn)行結(jié)構(gòu)上的明確，通過再定義來對(duì)數(shù)據(jù)進(jìn)行約束，避免屬性結(jié)構(gòu)問題對(duì)數(shù)據(jù)集成造成阻力。

表1 常見的屬性結(jié)構(gòu)差異Table1 Common differences of property structure

2.3 冗余重復(fù)問題

仍以武器裝備信息表中的造價(jià)屬性為例，兩個(gè)數(shù)據(jù)樣本記錄的都是某型武器裝備的造價(jià)情況，但一個(gè)屬性名為“Price”，另一個(gè)屬性名為“Value”，若對(duì)兩個(gè)表進(jìn)行數(shù)據(jù)集成，則同時(shí)保留的兩個(gè)屬性是相互冗余的。對(duì)于判斷數(shù)值型屬性是否相互冗余，可以通過公式（1）來實(shí)現(xiàn)，標(biāo)稱型屬性則可通過公式（2）來實(shí)現(xiàn)，具體方法在此不再贅述。此外，對(duì)數(shù)據(jù)重復(fù)還可以通過表的主鍵進(jìn)行判定，沒有主鍵的表則需要在數(shù)據(jù)集成前進(jìn)行調(diào)研和定義主鍵，或者對(duì)表進(jìn)行拆分和整合。

3 數(shù)據(jù)變換

數(shù)據(jù)變換是指采用線性或者非線性的數(shù)學(xué)變換方法對(duì)數(shù)據(jù)進(jìn)行規(guī)格化處理，將多維數(shù)據(jù)壓縮成較少維的數(shù)據(jù)，以達(dá)到消除其在時(shí)間、空間、屬性及精度等特征表現(xiàn)方面差異的目的。簡(jiǎn)單來講，數(shù)據(jù)變換就是根據(jù)需要將數(shù)據(jù)從一個(gè)大的區(qū)間壓縮到一個(gè)小的區(qū)間內(nèi)。例如將數(shù)據(jù)集{-5，2，18，100}轉(zhuǎn)換為數(shù)據(jù)集{-0.5，0.2，1.8，10}即是一個(gè)簡(jiǎn)單的數(shù)據(jù)變換過程。又如在武器裝備信息表Weapon中，裝備“造價(jià)”屬性W.price 要比裝備的“使用壽命”屬性W.age 的值大得多，如果不進(jìn)行數(shù)據(jù)變換而直接開展基于類似神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘工作的話，W.price 屬性的作用將會(huì)在數(shù)據(jù)對(duì)象的距離計(jì)算中被遠(yuǎn)遠(yuǎn)放大，進(jìn)而對(duì)數(shù)據(jù)挖掘帶來不利影響。表2 總結(jié)了幾種常用的數(shù)據(jù)變換方法[14]。

表2 常用的數(shù)據(jù)變換方法Table2 Common methods of data transformation

4 數(shù)據(jù)歸約

在盡可能保證數(shù)據(jù)原有的完整性和有效性基礎(chǔ)上，通過使用降低數(shù)據(jù)規(guī)模、減少數(shù)據(jù)存儲(chǔ)空間、將數(shù)據(jù)以合乎要求的方式表示出來等策略對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作叫作數(shù)據(jù)歸約[15]。對(duì)數(shù)據(jù)集進(jìn)行歸約處理將有助于改善后續(xù)挖掘分析效果。數(shù)據(jù)規(guī)約過程所涉及的方法主要有以下幾種。

4.1 維度歸約

維度歸約是使用數(shù)據(jù)編碼或數(shù)據(jù)變換方案，以得到原始數(shù)據(jù)的簡(jiǎn)化或壓縮表示，其核心是減少隨機(jī)變量或?qū)傩缘膫€(gè)數(shù)。維度歸約常用的技術(shù)手段主要有小波變換、主成分分析、屬性子集選擇以及單變量重要性等。

4.1.1 小波變換

小波變換是一種由傅里葉變換發(fā)展而來的線性信號(hào)處理技術(shù)。在方法上，小波變換將傅里葉變換的基由無(wú)限長(zhǎng)的三角函數(shù)基換成了有限長(zhǎng)會(huì)衰減的小波基，能實(shí)現(xiàn)在獲取頻率的同時(shí)定位時(shí)間[16]。當(dāng)用于數(shù)據(jù)變量X 的時(shí)候，可以將其變成數(shù)值上不同的小波系數(shù)向量X’，向量具有相同的長(zhǎng)度。在數(shù)據(jù)歸約中，每個(gè)元組可以看作為一個(gè)n 維數(shù)據(jù)向量X=（x1，x2，…，xn），用來描述n 個(gè)數(shù)據(jù)庫(kù)屬性在元組上的n 個(gè)測(cè)量值，對(duì)數(shù)據(jù)進(jìn)行小波變換后截?cái)鄶?shù)據(jù)，保留最強(qiáng)的小波系數(shù)，從而保留近似的壓縮數(shù)據(jù)，達(dá)到數(shù)據(jù)歸約的目的。

在實(shí)際的數(shù)據(jù)預(yù)處理操作中，小波變換適合用于處理高維度數(shù)據(jù)，如數(shù)據(jù)立方體等，可以將變換用于第一個(gè)維，然后第二個(gè)，如此依次進(jìn)行。對(duì)于稀疏或者傾斜數(shù)據(jù)，以及具有有序?qū)傩缘臄?shù)據(jù)，小波變換往往也能給出較好的處理效果。除數(shù)據(jù)歸約以外，小波變換在圖像壓縮處理、計(jì)算機(jī)嗅覺等領(lǐng)域也有廣泛的應(yīng)用[17，18]。

4.1.2 主成分分析

相對(duì)于小波變換法，主成分分析（Principal Component Analysis，PCA）更適合用于處理離散或稀疏數(shù)據(jù)。該方法通常是搜索k 個(gè)最能代表數(shù)據(jù)的n 維正交向量（k≤n），將原始數(shù)據(jù)投影到一個(gè)更小的空間中，實(shí)現(xiàn)維度歸約[19]。其基本處理過程如圖2 所示。

圖2 主成分分析處理過程Figure2 Process of principal component analysis

4.1.3 屬性子集選擇

屬性子集選擇是通過檢測(cè)相關(guān)程度較弱或重復(fù)的屬性，對(duì)其刪除來達(dá)到數(shù)據(jù)歸約目的的一種方法。該方法的關(guān)鍵之處在于找到最小屬性集，使得該屬性集的數(shù)據(jù)概率分布與包含所有屬性的原分布盡可能地接近，簡(jiǎn)單來講即是用最小屬性集“描述”原數(shù)據(jù)樣本。壓縮搜索空間的啟發(fā)式算法為該方法常用算法，其策略為期望通過做局部最優(yōu)選擇來獲得全局最優(yōu)解，實(shí)踐證明該方法的確行之有效[20，21]。常用的基本啟發(fā)式方法包括：逐步向前選擇、逐步向后刪除、逐步向前選擇與向后刪除的結(jié)合、決策樹歸納等。

4.1.4 單變量重要性

單變量重要性是從統(tǒng)計(jì)學(xué)和信息的角度分析單變量與目標(biāo)變量的相關(guān)性，對(duì)預(yù)測(cè)能力較低的變量進(jìn)行刪除。常用的方法主要有：利用皮爾遜相關(guān)系數(shù)或卡方檢驗(yàn)分析目標(biāo)變量與單變量之間的相關(guān)性、利用線性回歸對(duì)變量的表決系數(shù)進(jìn)行重要性排序、利用決策樹提取變量的重要度并進(jìn)行排序等[22]。

4.2 數(shù)值歸約

數(shù)值歸約是指選擇替代的、較小的數(shù)據(jù)形式來替換原數(shù)據(jù)，達(dá)到減小數(shù)據(jù)量的目的。數(shù)值歸約技術(shù)主要可以分為參數(shù)化模型和非參數(shù)化模型兩大類[23]。

4.2.1 參數(shù)化模型

參數(shù)化數(shù)據(jù)歸約可以利用回歸和對(duì)數(shù)線性模型來實(shí)現(xiàn)。對(duì)于數(shù)值型數(shù)據(jù)，采用回歸模型建模方法，使之?dāng)M合到一條直線上。例如可以用以下公式將隨機(jī)變量Y 表示成另一個(gè)隨機(jī)變量X 的線性函數(shù)：Y=aX+b，其中X 稱為自變量，Y 稱為因變量，假定Y 的方差為常量，a 和b 分別為直線的Y 軸截取和斜率，可用最小二乘法求得。當(dāng)分析多個(gè)分類變量間的關(guān)系時(shí)，可以采用對(duì)數(shù)線性模型。常見的邏輯回歸就是對(duì)數(shù)線性模型的一種。

4.2.2 非參數(shù)化模型

常見的非參數(shù)化數(shù)據(jù)歸約主要包括以下幾種：

（1）直方圖。利用直方圖將屬性的數(shù)據(jù)分布劃分為若干不相交的子集或桶，桶表示給定屬性的一個(gè)連續(xù)空間。該方法適用于處理近似稀疏和稠密數(shù)據(jù)、高傾斜和均勻數(shù)據(jù)。

（2）聚類。將數(shù)據(jù)元組劃分為群或簇，一個(gè)簇中的對(duì)象相互相似，不同簇中的對(duì)象相互相異，在數(shù)據(jù)歸約中，用數(shù)據(jù)的簇來替代原始數(shù)據(jù)。

（3）抽樣。因?yàn)槌闃踊谟眯?shù)據(jù)量的樣本來表示大數(shù)據(jù)集的思想，所以剛好適用于數(shù)據(jù)歸約。常見的抽樣方法有樣本無(wú)放回隨機(jī)抽樣、樣本有放回隨機(jī)抽樣、聚類抽樣、分層抽樣等。

（4）數(shù)據(jù)立方體聚集。將細(xì)粒度的屬性聚集到粗粒度的屬性，最細(xì)的粒度是最小的立方體，每個(gè)較高層抽象成更大的立方體，進(jìn)一步減小數(shù)據(jù)的規(guī)模。

5 結(jié)語(yǔ)

綜上所述，數(shù)據(jù)預(yù)處理工作包含了許多處理步驟，每一個(gè)步驟都有多種不同的實(shí)現(xiàn)方法，也有不少方法能夠應(yīng)用在不同的預(yù)處理階段中。例如，回歸法既可以在數(shù)據(jù)清洗階段用于平滑噪聲，又可以在數(shù)據(jù)歸約階段實(shí)現(xiàn)數(shù)值歸約；相關(guān)性分析可以用于數(shù)據(jù)清洗、數(shù)據(jù)集成以及數(shù)據(jù)規(guī)約等。不同預(yù)處理方法之間既相互獨(dú)立又相互關(guān)聯(lián)，實(shí)施起來也沒有嚴(yán)格的先后順序，在實(shí)際的應(yīng)用過程中，需要針對(duì)具體研究的問題以及面向數(shù)據(jù)的類型選用合適的預(yù)處理方法。在當(dāng)今大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)的重要性日益彰顯，同時(shí)我們所面對(duì)的數(shù)據(jù)體系規(guī)模也越來越龐大，數(shù)據(jù)預(yù)處理技術(shù)發(fā)展至今仍是一個(gè)活躍的研究領(lǐng)域。作為對(duì)海量數(shù)據(jù)挖掘分析和知識(shí)發(fā)現(xiàn)過程的核心環(huán)節(jié)，它也將會(huì)發(fā)揮越來越重要的作用。