毛田野,李華,鄭健,張驍駿
(91388 部隊(duì),廣東 湛江 524022)
“數(shù)據(jù)就是未來新時(shí)代的石油”。隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的快速發(fā)展和大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)作為一種生產(chǎn)要素在社會(huì)發(fā)展中的重要性日益凸顯,對(duì)數(shù)據(jù)的挖掘應(yīng)用與知識(shí)發(fā)現(xiàn)已經(jīng)逐漸滲透到了工業(yè)、軍事、教育等各個(gè)行業(yè)領(lǐng)域。但與此同時(shí),我們所面對(duì)的數(shù)據(jù)體系越來越龐大,數(shù)據(jù)存儲(chǔ)規(guī)模已經(jīng)達(dá)到了PB(Petabyte)、甚至EB(Exabyte)的級(jí)別,數(shù)據(jù)類型和組織形式也越來越多樣化[1,2]。海量數(shù)據(jù)的處理對(duì)我們來說本身就是一個(gè)不小的挑戰(zhàn),而且原始數(shù)據(jù)中可能還包含著許多問題數(shù)據(jù),例如數(shù)據(jù)屬性值出現(xiàn)了缺失或錯(cuò)誤、數(shù)據(jù)信息存在重復(fù)冗余以及數(shù)據(jù)結(jié)構(gòu)不一致等[3],對(duì)我們從中進(jìn)行知識(shí)發(fā)現(xiàn)造成了諸多困難。因此,數(shù)據(jù)預(yù)處理技術(shù)的重要性日益凸顯出來:一方面,對(duì)數(shù)據(jù)進(jìn)行預(yù)處理能夠排除問題數(shù)據(jù),提高源數(shù)據(jù)的規(guī)范性,節(jié)省后續(xù)處理海量數(shù)據(jù)的時(shí)間;另一方面,數(shù)據(jù)預(yù)處理能夠優(yōu)化改良問題數(shù)據(jù),提升源數(shù)據(jù)的質(zhì)量。如圖1 所示,目前數(shù)據(jù)預(yù)處理的工作內(nèi)容主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)歸約以及數(shù)據(jù)變換等處理過程。在知識(shí)發(fā)現(xiàn)過程中,數(shù)據(jù)預(yù)處理扮演著承上啟下的重要角色[4,5]。
圖1 知識(shí)發(fā)現(xiàn)的基本過程示意圖Figure1 Schematic diagram of knowledge discovery
數(shù)據(jù)清洗是指檢測(cè)數(shù)據(jù)中存在的問題數(shù)據(jù),通過填寫缺失的數(shù)值、識(shí)別和刪除離群點(diǎn)以及光滑噪聲數(shù)據(jù)等方法對(duì)數(shù)據(jù)進(jìn)行處理,形成合理的數(shù)據(jù)集合[5]。根據(jù)所處理的問題數(shù)據(jù)類型,數(shù)據(jù)清洗可以分為以下幾種。
由于系統(tǒng)存在缺陷或者出現(xiàn)運(yùn)行錯(cuò)誤等問題,導(dǎo)致所產(chǎn)生數(shù)據(jù)集的某些屬性值出現(xiàn)丟失,這種情況稱為數(shù)據(jù)缺失。例如某武器裝備信息表Weapon中某些記錄的“型號(hào)”屬性W.marque 的值被記為空(NULL)。關(guān)鍵信息的缺失,會(huì)導(dǎo)致數(shù)據(jù)集的價(jià)值大大降低,影響后續(xù)的信息匹配和計(jì)算,因此對(duì)缺失數(shù)據(jù)進(jìn)行清洗有很大的必要性。常見的清洗方法主要分為刪除法和填充法兩大類。
1.1.1 刪除法
刪除法即是直接對(duì)存在屬性缺失的數(shù)據(jù)進(jìn)行刪除。該方法操作過程簡(jiǎn)單易行,經(jīng)常作為缺省的方法用于缺失數(shù)據(jù)比較少的情況下。但當(dāng)缺失數(shù)據(jù)占數(shù)據(jù)集的比例比較大時(shí),采用直接刪除的方法可能會(huì)導(dǎo)致所得到的數(shù)據(jù)分析結(jié)果發(fā)生偏離,進(jìn)而影響結(jié)論的準(zhǔn)確性。此外,當(dāng)缺失的數(shù)據(jù)為有價(jià)值的關(guān)鍵信息時(shí),刪除法顯然會(huì)對(duì)后續(xù)的數(shù)據(jù)挖掘工作造成不利影響。
1.1.2 填充法
在實(shí)際操作中,人們更多地會(huì)利用最接近缺失值的數(shù)據(jù)來填充缺失數(shù)據(jù),這種方法稱為填充法或插補(bǔ)法。利用填充法對(duì)數(shù)據(jù)進(jìn)行清洗主要可以通過以下幾種途徑來實(shí)現(xiàn)。
(1)聚合值填充:當(dāng)數(shù)據(jù)對(duì)象可直接進(jìn)行加減運(yùn)算時(shí),則取算數(shù)平均值來填充缺失值,其他數(shù)據(jù)對(duì)象的眾數(shù)、中位數(shù)等均可用來賦予該缺失值。使用聚合值進(jìn)行填充的方法簡(jiǎn)單快速,但有可能會(huì)產(chǎn)生有偏估計(jì),對(duì)缺失數(shù)據(jù)和其他數(shù)據(jù)之間原本的相關(guān)性產(chǎn)生不利影響。
(2)模型預(yù)測(cè)插補(bǔ):通過機(jī)器學(xué)習(xí)模型對(duì)缺失值進(jìn)行預(yù)測(cè)和插補(bǔ),例如假設(shè)缺失值所在變量與樣本中其他變量之間存在線性關(guān)系,然后通過建立回歸模型對(duì)缺失值進(jìn)行預(yù)測(cè)和填補(bǔ)。該方法利用了盡可能多的現(xiàn)有數(shù)據(jù),得到的結(jié)果更具有說服力,但往往容易忽略隨機(jī)誤差。其他常用的模型還有決策樹、貝葉斯、隨機(jī)森林等。
(3)極大似然估計(jì):通過引入隱變量創(chuàng)建概率模型來對(duì)未知參數(shù)進(jìn)行極大似然估計(jì),也可稱為忽略缺失值的數(shù)學(xué)期望。該方法適用范圍也比較廣泛,估計(jì)量具有一致性和有效性,但解方程時(shí)有可能得不到解或者不是有限解[6]。
在同一數(shù)據(jù)庫(kù)中可能會(huì)出現(xiàn)相同對(duì)象或?qū)傩該碛胁煌拿Q,或者多個(gè)屬性表示同一特征的情況,這種現(xiàn)象稱為數(shù)據(jù)重復(fù)或數(shù)據(jù)冗余,主要包括屬性重復(fù)和屬性值重復(fù)兩種情況。在數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用中,大多數(shù)系統(tǒng)都存在數(shù)據(jù)重復(fù)現(xiàn)象。
比較算法是處理數(shù)值型數(shù)據(jù)重復(fù)的常用方法。首先通過專門的公式計(jì)算出記錄不同屬性的相似度,例如當(dāng)需要判斷某關(guān)系表中A 屬性和B 屬性兩者之間是否相互冗余時(shí),可以通過皮爾遜相關(guān)系數(shù)即公式(1)來進(jìn)行相關(guān)性計(jì)算[7]:
式中,rA,B為A 與B 屬性相似度;N 為A 或B屬性的屬性值個(gè)數(shù);ai和bi分別為A、B 屬性的每個(gè)屬性值分別為A、B 屬性的平均值;σA和σB分別為A、B 屬性的標(biāo)準(zhǔn)差為A、B 兩屬性叉積的和。
得到不同屬性相似度之后,再考慮每個(gè)屬性的不同權(quán)重值,加權(quán)平均后得到記錄的相似度。若相似度超過了某一閾值,則認(rèn)為兩條記錄是存在冗余的,可對(duì)其中的一條記錄進(jìn)行刪除操作,否則則認(rèn)為兩條記錄指向不同的實(shí)體。此外,近鄰排序法也常用于相似度計(jì)算[8],即對(duì)記錄按關(guān)鍵字進(jìn)行排序后,以固定步長(zhǎng)(窗口)來檢測(cè)其中的記錄是否相似,可以在一定程度上減少記錄的比較次數(shù)。需要注意的是,比較算法對(duì)計(jì)算機(jī)的運(yùn)行速度和儲(chǔ)存空間要求比較高,配置有限的個(gè)人計(jì)算機(jī)往往采用在線刪除和離線刪除相結(jié)合的手段[9]。對(duì)于分類型數(shù)據(jù)的冗余檢測(cè),可以利用公式(2)假設(shè)檢驗(yàn)中的卡方檢驗(yàn)來實(shí)現(xiàn)[10],通過能否拒絕原假設(shè)來對(duì)屬性是否冗余進(jìn)行判斷。
式中,χ2為卡方值,其值越大表明變量越有可能相關(guān);Ob 代表某個(gè)類別的觀測(cè)值,Ex 代表計(jì)算出來的期望值(Ex=行總數(shù)×列總數(shù)∕總數(shù))。
由于系統(tǒng)工作狀況等原因,實(shí)際采集的數(shù)據(jù)、整理所得到的數(shù)據(jù)集往往會(huì)包含部分不在合理數(shù)據(jù)域內(nèi)的數(shù)據(jù),這些“離群”的數(shù)據(jù)被稱為噪聲數(shù)據(jù)。本質(zhì)上來講,噪聲數(shù)據(jù)是一種隨機(jī)誤差。常見的處理噪聲數(shù)據(jù)的方法可以分為噪聲平滑和噪聲過濾兩大類。
1.3.1 噪聲平滑
平滑噪聲數(shù)據(jù)可以通過以下幾種方法來實(shí)現(xiàn)。
(1)分箱法:把需要進(jìn)行預(yù)處理的數(shù)據(jù)分到若干個(gè)箱中,然后通過考察周圍臨近的數(shù)值來對(duì)有序數(shù)列進(jìn)行平滑,分箱實(shí)質(zhì)上是一種數(shù)據(jù)離散化。一般來講,箱的寬度越大,光滑的效果越好,也可以指定箱子的寬度,即箱值的范圍是一個(gè)常量。箱平均值、中位數(shù)以及最近的邊界值等均可作為噪聲數(shù)據(jù)的替代對(duì)象[11]。
(2)回歸法:由大多數(shù)穩(wěn)定的數(shù)據(jù)樣本擬合得到回歸函數(shù),根據(jù)回歸系數(shù)和預(yù)測(cè)變量反解出自變量的近似值,然后對(duì)原始數(shù)據(jù)進(jìn)行近似值替換。該方法需要建立在穩(wěn)定數(shù)據(jù)的基礎(chǔ)之上,而且只有符合線性趨勢(shì)的數(shù)據(jù)樣本才能進(jìn)行回歸分析。對(duì)于比較復(fù)雜的多因素模型可利用多線性回歸法進(jìn)行平滑,將數(shù)據(jù)擬合到多維曲面上,去噪聲效果比較好[12]。
(3)均值法:利用異常值臨近的若干數(shù)據(jù)均值來替換離群點(diǎn)的一種去噪方法。該方法操作簡(jiǎn)單、計(jì)算速度快,但局限于具有序列特征的樣本,尤其是當(dāng)數(shù)據(jù)集具有正弦時(shí)序特征時(shí),均值法的去噪效果比較顯著。
1.3.2 噪聲過濾
利用聚類的方法找到并刪除數(shù)據(jù)集中的離群點(diǎn),這種方法稱為噪聲過濾,又叫作離群點(diǎn)分析。在該方法中,聚類生成的數(shù)據(jù)對(duì)象集合被稱為簇,同一簇中的數(shù)據(jù)對(duì)象具有比較高的相似度,落在簇之外的點(diǎn)則被直觀地稱為離群點(diǎn)。本質(zhì)上來講,利用聚類進(jìn)行噪聲過濾是一種形式的數(shù)據(jù)規(guī)約,該方法需要預(yù)先知道數(shù)據(jù)樣本的分布特征,并建立在標(biāo)準(zhǔn)的統(tǒng)計(jì)學(xué)基礎(chǔ)上,對(duì)數(shù)據(jù)和檢驗(yàn)類型的充分性要求也比較高,否則難以保證能發(fā)現(xiàn)所有的離群點(diǎn)。
所謂數(shù)據(jù)集成,通俗來講是指將來自多個(gè)數(shù)據(jù)源的異構(gòu)數(shù)據(jù)合并在一起,并存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中。數(shù)據(jù)樣本的來源和涉及領(lǐng)域越廣泛,數(shù)據(jù)集成的難度也會(huì)越大,該過程需要解決數(shù)據(jù)的選擇、數(shù)據(jù)的一致性以及兼容性等問題[13]。而數(shù)據(jù)的一致性和兼容性主要面臨多數(shù)據(jù)源中屬性的語(yǔ)義差異、結(jié)構(gòu)差異和冗余重復(fù)等難題。
例如在對(duì)來自兩個(gè)數(shù)據(jù)源中的武器裝備信息統(tǒng)計(jì)表進(jìn)行集成時(shí),發(fā)現(xiàn)兩個(gè)數(shù)據(jù)樣本中都有名為“Date”的屬性,但實(shí)際上一個(gè)記錄的是出廠時(shí)間,另一個(gè)記錄的是列裝時(shí)間。上述情況在數(shù)據(jù)集成中是經(jīng)常發(fā)生的,通常需要操作人員在數(shù)據(jù)集成之前對(duì)數(shù)據(jù)樣本進(jìn)行調(diào)研,確認(rèn)各個(gè)屬性的實(shí)際意義。
屬性結(jié)構(gòu)差異幾乎是數(shù)據(jù)集成中必須要解決的問題。以武器裝備信息表Weapon 中的“造價(jià)”屬性W.price 為例,表1 總結(jié)了數(shù)據(jù)集成中幾種常見的屬性結(jié)構(gòu)差異問題。針對(duì)這類問題,往往需要在數(shù)據(jù)集成過程中對(duì)數(shù)據(jù)屬性進(jìn)行結(jié)構(gòu)上的明確,通過再定義來對(duì)數(shù)據(jù)進(jìn)行約束,避免屬性結(jié)構(gòu)問題對(duì)數(shù)據(jù)集成造成阻力。
表1 常見的屬性結(jié)構(gòu)差異Table1 Common differences of property structure
仍以武器裝備信息表中的造價(jià)屬性為例,兩個(gè)數(shù)據(jù)樣本記錄的都是某型武器裝備的造價(jià)情況,但一個(gè)屬性名為“Price”,另一個(gè)屬性名為“Value”,若對(duì)兩個(gè)表進(jìn)行數(shù)據(jù)集成,則同時(shí)保留的兩個(gè)屬性是相互冗余的。對(duì)于判斷數(shù)值型屬性是否相互冗余,可以通過公式(1)來實(shí)現(xiàn),標(biāo)稱型屬性則可通過公式(2)來實(shí)現(xiàn),具體方法在此不再贅述。此外,對(duì)數(shù)據(jù)重復(fù)還可以通過表的主鍵進(jìn)行判定,沒有主鍵的表則需要在數(shù)據(jù)集成前進(jìn)行調(diào)研和定義主鍵,或者對(duì)表進(jìn)行拆分和整合。
數(shù)據(jù)變換是指采用線性或者非線性的數(shù)學(xué)變換方法對(duì)數(shù)據(jù)進(jìn)行規(guī)格化處理,將多維數(shù)據(jù)壓縮成較少維的數(shù)據(jù),以達(dá)到消除其在時(shí)間、空間、屬性及精度等特征表現(xiàn)方面差異的目的。簡(jiǎn)單來講,數(shù)據(jù)變換就是根據(jù)需要將數(shù)據(jù)從一個(gè)大的區(qū)間壓縮到一個(gè)小的區(qū)間內(nèi)。例如將數(shù)據(jù)集{-5,2,18,100}轉(zhuǎn)換為數(shù)據(jù)集{-0.5,0.2,1.8,10}即是一個(gè)簡(jiǎn)單的數(shù)據(jù)變換過程。又如在武器裝備信息表Weapon中,裝備“造價(jià)”屬性W.price 要比裝備的“使用壽命”屬性W.age 的值大得多,如果不進(jìn)行數(shù)據(jù)變換而直接開展基于類似神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘工作的話,W.price 屬性的作用將會(huì)在數(shù)據(jù)對(duì)象的距離計(jì)算中被遠(yuǎn)遠(yuǎn)放大,進(jìn)而對(duì)數(shù)據(jù)挖掘帶來不利影響。表2 總結(jié)了幾種常用的數(shù)據(jù)變換方法[14]。
表2 常用的數(shù)據(jù)變換方法Table2 Common methods of data transformation
在盡可能保證數(shù)據(jù)原有的完整性和有效性基礎(chǔ)上,通過使用降低數(shù)據(jù)規(guī)模、減少數(shù)據(jù)存儲(chǔ)空間、將數(shù)據(jù)以合乎要求的方式表示出來等策略對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作叫作數(shù)據(jù)歸約[15]。對(duì)數(shù)據(jù)集進(jìn)行歸約處理將有助于改善后續(xù)挖掘分析效果。數(shù)據(jù)規(guī)約過程所涉及的方法主要有以下幾種。
維度歸約是使用數(shù)據(jù)編碼或數(shù)據(jù)變換方案,以得到原始數(shù)據(jù)的簡(jiǎn)化或壓縮表示,其核心是減少隨機(jī)變量或?qū)傩缘膫€(gè)數(shù)。維度歸約常用的技術(shù)手段主要有小波變換、主成分分析、屬性子集選擇以及單變量重要性等。
4.1.1 小波變換
小波變換是一種由傅里葉變換發(fā)展而來的線性信號(hào)處理技術(shù)。在方法上,小波變換將傅里葉變換的基由無(wú)限長(zhǎng)的三角函數(shù)基換成了有限長(zhǎng)會(huì)衰減的小波基,能實(shí)現(xiàn)在獲取頻率的同時(shí)定位時(shí)間[16]。當(dāng)用于數(shù)據(jù)變量X 的時(shí)候,可以將其變成數(shù)值上不同的小波系數(shù)向量X’,向量具有相同的長(zhǎng)度。在數(shù)據(jù)歸約中,每個(gè)元組可以看作為一個(gè)n 維數(shù)據(jù)向量X=(x1,x2,…,xn),用來描述n 個(gè)數(shù)據(jù)庫(kù)屬性在元組上的n 個(gè)測(cè)量值,對(duì)數(shù)據(jù)進(jìn)行小波變換后截?cái)鄶?shù)據(jù),保留最強(qiáng)的小波系數(shù),從而保留近似的壓縮數(shù)據(jù),達(dá)到數(shù)據(jù)歸約的目的。
在實(shí)際的數(shù)據(jù)預(yù)處理操作中,小波變換適合用于處理高維度數(shù)據(jù),如數(shù)據(jù)立方體等,可以將變換用于第一個(gè)維,然后第二個(gè),如此依次進(jìn)行。對(duì)于稀疏或者傾斜數(shù)據(jù),以及具有有序?qū)傩缘臄?shù)據(jù),小波變換往往也能給出較好的處理效果。除數(shù)據(jù)歸約以外,小波變換在圖像壓縮處理、計(jì)算機(jī)嗅覺等領(lǐng)域也有廣泛的應(yīng)用[17,18]。
4.1.2 主成分分析
相對(duì)于小波變換法,主成分分析(Principal Component Analysis,PCA)更適合用于處理離散或稀疏數(shù)據(jù)。該方法通常是搜索k 個(gè)最能代表數(shù)據(jù)的n 維正交向量(k≤n),將原始數(shù)據(jù)投影到一個(gè)更小的空間中,實(shí)現(xiàn)維度歸約[19]。其基本處理過程如圖2 所示。
圖2 主成分分析處理過程Figure2 Process of principal component analysis
4.1.3 屬性子集選擇
屬性子集選擇是通過檢測(cè)相關(guān)程度較弱或重復(fù)的屬性,對(duì)其刪除來達(dá)到數(shù)據(jù)歸約目的的一種方法。該方法的關(guān)鍵之處在于找到最小屬性集,使得該屬性集的數(shù)據(jù)概率分布與包含所有屬性的原分布盡可能地接近,簡(jiǎn)單來講即是用最小屬性集“描述”原數(shù)據(jù)樣本。壓縮搜索空間的啟發(fā)式算法為該方法常用算法,其策略為期望通過做局部最優(yōu)選擇來獲得全局最優(yōu)解,實(shí)踐證明該方法的確行之有效[20,21]。常用的基本啟發(fā)式方法包括:逐步向前選擇、逐步向后刪除、逐步向前選擇與向后刪除的結(jié)合、決策樹歸納等。
4.1.4 單變量重要性
單變量重要性是從統(tǒng)計(jì)學(xué)和信息的角度分析單變量與目標(biāo)變量的相關(guān)性,對(duì)預(yù)測(cè)能力較低的變量進(jìn)行刪除。常用的方法主要有:利用皮爾遜相關(guān)系數(shù)或卡方檢驗(yàn)分析目標(biāo)變量與單變量之間的相關(guān)性、利用線性回歸對(duì)變量的表決系數(shù)進(jìn)行重要性排序、利用決策樹提取變量的重要度并進(jìn)行排序等[22]。
數(shù)值歸約是指選擇替代的、較小的數(shù)據(jù)形式來替換原數(shù)據(jù),達(dá)到減小數(shù)據(jù)量的目的。數(shù)值歸約技術(shù)主要可以分為參數(shù)化模型和非參數(shù)化模型兩大類[23]。
4.2.1 參數(shù)化模型
參數(shù)化數(shù)據(jù)歸約可以利用回歸和對(duì)數(shù)線性模型來實(shí)現(xiàn)。對(duì)于數(shù)值型數(shù)據(jù),采用回歸模型建模方法,使之?dāng)M合到一條直線上。例如可以用以下公式將隨機(jī)變量Y 表示成另一個(gè)隨機(jī)變量X 的線性函數(shù):Y=aX+b,其中X 稱為自變量,Y 稱為因變量,假定Y 的方差為常量,a 和b 分別為直線的Y 軸截取和斜率,可用最小二乘法求得。當(dāng)分析多個(gè)分類變量間的關(guān)系時(shí),可以采用對(duì)數(shù)線性模型。常見的邏輯回歸就是對(duì)數(shù)線性模型的一種。
4.2.2 非參數(shù)化模型
常見的非參數(shù)化數(shù)據(jù)歸約主要包括以下幾種:
(1)直方圖。利用直方圖將屬性的數(shù)據(jù)分布劃分為若干不相交的子集或桶,桶表示給定屬性的一個(gè)連續(xù)空間。該方法適用于處理近似稀疏和稠密數(shù)據(jù)、高傾斜和均勻數(shù)據(jù)。
(2)聚類。將數(shù)據(jù)元組劃分為群或簇,一個(gè)簇中的對(duì)象相互相似,不同簇中的對(duì)象相互相異,在數(shù)據(jù)歸約中,用數(shù)據(jù)的簇來替代原始數(shù)據(jù)。
(3)抽樣。因?yàn)槌闃踊谟眯?shù)據(jù)量的樣本來表示大數(shù)據(jù)集的思想,所以剛好適用于數(shù)據(jù)歸約。常見的抽樣方法有樣本無(wú)放回隨機(jī)抽樣、樣本有放回隨機(jī)抽樣、聚類抽樣、分層抽樣等。
(4)數(shù)據(jù)立方體聚集。將細(xì)粒度的屬性聚集到粗粒度的屬性,最細(xì)的粒度是最小的立方體,每個(gè)較高層抽象成更大的立方體,進(jìn)一步減小數(shù)據(jù)的規(guī)模。
綜上所述,數(shù)據(jù)預(yù)處理工作包含了許多處理步驟,每一個(gè)步驟都有多種不同的實(shí)現(xiàn)方法,也有不少方法能夠應(yīng)用在不同的預(yù)處理階段中。例如,回歸法既可以在數(shù)據(jù)清洗階段用于平滑噪聲,又可以在數(shù)據(jù)歸約階段實(shí)現(xiàn)數(shù)值歸約;相關(guān)性分析可以用于數(shù)據(jù)清洗、數(shù)據(jù)集成以及數(shù)據(jù)規(guī)約等。不同預(yù)處理方法之間既相互獨(dú)立又相互關(guān)聯(lián),實(shí)施起來也沒有嚴(yán)格的先后順序,在實(shí)際的應(yīng)用過程中,需要針對(duì)具體研究的問題以及面向數(shù)據(jù)的類型選用合適的預(yù)處理方法。在當(dāng)今大數(shù)據(jù)時(shí)代背景下,數(shù)據(jù)的重要性日益彰顯,同時(shí)我們所面對(duì)的數(shù)據(jù)體系規(guī)模也越來越龐大,數(shù)據(jù)預(yù)處理技術(shù)發(fā)展至今仍是一個(gè)活躍的研究領(lǐng)域。作為對(duì)海量數(shù)據(jù)挖掘分析和知識(shí)發(fā)現(xiàn)過程的核心環(huán)節(jié),它也將會(huì)發(fā)揮越來越重要的作用。