• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    知識(shí)發(fā)現(xiàn)過程中的數(shù)據(jù)預(yù)處理技術(shù)研究

    2022-03-27 11:02:14毛田野李華鄭健張驍駿
    智能物聯(lián)技術(shù) 2022年5期
    關(guān)鍵詞:預(yù)處理噪聲變量

    毛田野,李華,鄭健,張驍駿

    (91388 部隊(duì),廣東 湛江 524022)

    0 引言

    “數(shù)據(jù)就是未來新時(shí)代的石油”。隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的快速發(fā)展和大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)作為一種生產(chǎn)要素在社會(huì)發(fā)展中的重要性日益凸顯,對(duì)數(shù)據(jù)的挖掘應(yīng)用與知識(shí)發(fā)現(xiàn)已經(jīng)逐漸滲透到了工業(yè)、軍事、教育等各個(gè)行業(yè)領(lǐng)域。但與此同時(shí),我們所面對(duì)的數(shù)據(jù)體系越來越龐大,數(shù)據(jù)存儲(chǔ)規(guī)模已經(jīng)達(dá)到了PB(Petabyte)、甚至EB(Exabyte)的級(jí)別,數(shù)據(jù)類型和組織形式也越來越多樣化[1,2]。海量數(shù)據(jù)的處理對(duì)我們來說本身就是一個(gè)不小的挑戰(zhàn),而且原始數(shù)據(jù)中可能還包含著許多問題數(shù)據(jù),例如數(shù)據(jù)屬性值出現(xiàn)了缺失或錯(cuò)誤、數(shù)據(jù)信息存在重復(fù)冗余以及數(shù)據(jù)結(jié)構(gòu)不一致等[3],對(duì)我們從中進(jìn)行知識(shí)發(fā)現(xiàn)造成了諸多困難。因此,數(shù)據(jù)預(yù)處理技術(shù)的重要性日益凸顯出來:一方面,對(duì)數(shù)據(jù)進(jìn)行預(yù)處理能夠排除問題數(shù)據(jù),提高源數(shù)據(jù)的規(guī)范性,節(jié)省后續(xù)處理海量數(shù)據(jù)的時(shí)間;另一方面,數(shù)據(jù)預(yù)處理能夠優(yōu)化改良問題數(shù)據(jù),提升源數(shù)據(jù)的質(zhì)量。如圖1 所示,目前數(shù)據(jù)預(yù)處理的工作內(nèi)容主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)歸約以及數(shù)據(jù)變換等處理過程。在知識(shí)發(fā)現(xiàn)過程中,數(shù)據(jù)預(yù)處理扮演著承上啟下的重要角色[4,5]。

    圖1 知識(shí)發(fā)現(xiàn)的基本過程示意圖Figure1 Schematic diagram of knowledge discovery

    1 數(shù)據(jù)清洗

    數(shù)據(jù)清洗是指檢測(cè)數(shù)據(jù)中存在的問題數(shù)據(jù),通過填寫缺失的數(shù)值、識(shí)別和刪除離群點(diǎn)以及光滑噪聲數(shù)據(jù)等方法對(duì)數(shù)據(jù)進(jìn)行處理,形成合理的數(shù)據(jù)集合[5]。根據(jù)所處理的問題數(shù)據(jù)類型,數(shù)據(jù)清洗可以分為以下幾種。

    1.1 清洗缺失數(shù)據(jù)

    由于系統(tǒng)存在缺陷或者出現(xiàn)運(yùn)行錯(cuò)誤等問題,導(dǎo)致所產(chǎn)生數(shù)據(jù)集的某些屬性值出現(xiàn)丟失,這種情況稱為數(shù)據(jù)缺失。例如某武器裝備信息表Weapon中某些記錄的“型號(hào)”屬性W.marque 的值被記為空(NULL)。關(guān)鍵信息的缺失,會(huì)導(dǎo)致數(shù)據(jù)集的價(jià)值大大降低,影響后續(xù)的信息匹配和計(jì)算,因此對(duì)缺失數(shù)據(jù)進(jìn)行清洗有很大的必要性。常見的清洗方法主要分為刪除法和填充法兩大類。

    1.1.1 刪除法

    刪除法即是直接對(duì)存在屬性缺失的數(shù)據(jù)進(jìn)行刪除。該方法操作過程簡(jiǎn)單易行,經(jīng)常作為缺省的方法用于缺失數(shù)據(jù)比較少的情況下。但當(dāng)缺失數(shù)據(jù)占數(shù)據(jù)集的比例比較大時(shí),采用直接刪除的方法可能會(huì)導(dǎo)致所得到的數(shù)據(jù)分析結(jié)果發(fā)生偏離,進(jìn)而影響結(jié)論的準(zhǔn)確性。此外,當(dāng)缺失的數(shù)據(jù)為有價(jià)值的關(guān)鍵信息時(shí),刪除法顯然會(huì)對(duì)后續(xù)的數(shù)據(jù)挖掘工作造成不利影響。

    1.1.2 填充法

    在實(shí)際操作中,人們更多地會(huì)利用最接近缺失值的數(shù)據(jù)來填充缺失數(shù)據(jù),這種方法稱為填充法或插補(bǔ)法。利用填充法對(duì)數(shù)據(jù)進(jìn)行清洗主要可以通過以下幾種途徑來實(shí)現(xiàn)。

    (1)聚合值填充:當(dāng)數(shù)據(jù)對(duì)象可直接進(jìn)行加減運(yùn)算時(shí),則取算數(shù)平均值來填充缺失值,其他數(shù)據(jù)對(duì)象的眾數(shù)、中位數(shù)等均可用來賦予該缺失值。使用聚合值進(jìn)行填充的方法簡(jiǎn)單快速,但有可能會(huì)產(chǎn)生有偏估計(jì),對(duì)缺失數(shù)據(jù)和其他數(shù)據(jù)之間原本的相關(guān)性產(chǎn)生不利影響。

    (2)模型預(yù)測(cè)插補(bǔ):通過機(jī)器學(xué)習(xí)模型對(duì)缺失值進(jìn)行預(yù)測(cè)和插補(bǔ),例如假設(shè)缺失值所在變量與樣本中其他變量之間存在線性關(guān)系,然后通過建立回歸模型對(duì)缺失值進(jìn)行預(yù)測(cè)和填補(bǔ)。該方法利用了盡可能多的現(xiàn)有數(shù)據(jù),得到的結(jié)果更具有說服力,但往往容易忽略隨機(jī)誤差。其他常用的模型還有決策樹、貝葉斯、隨機(jī)森林等。

    (3)極大似然估計(jì):通過引入隱變量創(chuàng)建概率模型來對(duì)未知參數(shù)進(jìn)行極大似然估計(jì),也可稱為忽略缺失值的數(shù)學(xué)期望。該方法適用范圍也比較廣泛,估計(jì)量具有一致性和有效性,但解方程時(shí)有可能得不到解或者不是有限解[6]。

    1.2 清洗重復(fù)數(shù)據(jù)

    在同一數(shù)據(jù)庫(kù)中可能會(huì)出現(xiàn)相同對(duì)象或?qū)傩該碛胁煌拿Q,或者多個(gè)屬性表示同一特征的情況,這種現(xiàn)象稱為數(shù)據(jù)重復(fù)或數(shù)據(jù)冗余,主要包括屬性重復(fù)和屬性值重復(fù)兩種情況。在數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用中,大多數(shù)系統(tǒng)都存在數(shù)據(jù)重復(fù)現(xiàn)象。

    比較算法是處理數(shù)值型數(shù)據(jù)重復(fù)的常用方法。首先通過專門的公式計(jì)算出記錄不同屬性的相似度,例如當(dāng)需要判斷某關(guān)系表中A 屬性和B 屬性兩者之間是否相互冗余時(shí),可以通過皮爾遜相關(guān)系數(shù)即公式(1)來進(jìn)行相關(guān)性計(jì)算[7]:

    式中,rA,B為A 與B 屬性相似度;N 為A 或B屬性的屬性值個(gè)數(shù);ai和bi分別為A、B 屬性的每個(gè)屬性值分別為A、B 屬性的平均值;σA和σB分別為A、B 屬性的標(biāo)準(zhǔn)差為A、B 兩屬性叉積的和。

    得到不同屬性相似度之后,再考慮每個(gè)屬性的不同權(quán)重值,加權(quán)平均后得到記錄的相似度。若相似度超過了某一閾值,則認(rèn)為兩條記錄是存在冗余的,可對(duì)其中的一條記錄進(jìn)行刪除操作,否則則認(rèn)為兩條記錄指向不同的實(shí)體。此外,近鄰排序法也常用于相似度計(jì)算[8],即對(duì)記錄按關(guān)鍵字進(jìn)行排序后,以固定步長(zhǎng)(窗口)來檢測(cè)其中的記錄是否相似,可以在一定程度上減少記錄的比較次數(shù)。需要注意的是,比較算法對(duì)計(jì)算機(jī)的運(yùn)行速度和儲(chǔ)存空間要求比較高,配置有限的個(gè)人計(jì)算機(jī)往往采用在線刪除和離線刪除相結(jié)合的手段[9]。對(duì)于分類型數(shù)據(jù)的冗余檢測(cè),可以利用公式(2)假設(shè)檢驗(yàn)中的卡方檢驗(yàn)來實(shí)現(xiàn)[10],通過能否拒絕原假設(shè)來對(duì)屬性是否冗余進(jìn)行判斷。

    式中,χ2為卡方值,其值越大表明變量越有可能相關(guān);Ob 代表某個(gè)類別的觀測(cè)值,Ex 代表計(jì)算出來的期望值(Ex=行總數(shù)×列總數(shù)∕總數(shù))。

    1.3 清洗噪聲數(shù)據(jù)

    由于系統(tǒng)工作狀況等原因,實(shí)際采集的數(shù)據(jù)、整理所得到的數(shù)據(jù)集往往會(huì)包含部分不在合理數(shù)據(jù)域內(nèi)的數(shù)據(jù),這些“離群”的數(shù)據(jù)被稱為噪聲數(shù)據(jù)。本質(zhì)上來講,噪聲數(shù)據(jù)是一種隨機(jī)誤差。常見的處理噪聲數(shù)據(jù)的方法可以分為噪聲平滑和噪聲過濾兩大類。

    1.3.1 噪聲平滑

    平滑噪聲數(shù)據(jù)可以通過以下幾種方法來實(shí)現(xiàn)。

    (1)分箱法:把需要進(jìn)行預(yù)處理的數(shù)據(jù)分到若干個(gè)箱中,然后通過考察周圍臨近的數(shù)值來對(duì)有序數(shù)列進(jìn)行平滑,分箱實(shí)質(zhì)上是一種數(shù)據(jù)離散化。一般來講,箱的寬度越大,光滑的效果越好,也可以指定箱子的寬度,即箱值的范圍是一個(gè)常量。箱平均值、中位數(shù)以及最近的邊界值等均可作為噪聲數(shù)據(jù)的替代對(duì)象[11]。

    (2)回歸法:由大多數(shù)穩(wěn)定的數(shù)據(jù)樣本擬合得到回歸函數(shù),根據(jù)回歸系數(shù)和預(yù)測(cè)變量反解出自變量的近似值,然后對(duì)原始數(shù)據(jù)進(jìn)行近似值替換。該方法需要建立在穩(wěn)定數(shù)據(jù)的基礎(chǔ)之上,而且只有符合線性趨勢(shì)的數(shù)據(jù)樣本才能進(jìn)行回歸分析。對(duì)于比較復(fù)雜的多因素模型可利用多線性回歸法進(jìn)行平滑,將數(shù)據(jù)擬合到多維曲面上,去噪聲效果比較好[12]。

    (3)均值法:利用異常值臨近的若干數(shù)據(jù)均值來替換離群點(diǎn)的一種去噪方法。該方法操作簡(jiǎn)單、計(jì)算速度快,但局限于具有序列特征的樣本,尤其是當(dāng)數(shù)據(jù)集具有正弦時(shí)序特征時(shí),均值法的去噪效果比較顯著。

    1.3.2 噪聲過濾

    利用聚類的方法找到并刪除數(shù)據(jù)集中的離群點(diǎn),這種方法稱為噪聲過濾,又叫作離群點(diǎn)分析。在該方法中,聚類生成的數(shù)據(jù)對(duì)象集合被稱為簇,同一簇中的數(shù)據(jù)對(duì)象具有比較高的相似度,落在簇之外的點(diǎn)則被直觀地稱為離群點(diǎn)。本質(zhì)上來講,利用聚類進(jìn)行噪聲過濾是一種形式的數(shù)據(jù)規(guī)約,該方法需要預(yù)先知道數(shù)據(jù)樣本的分布特征,并建立在標(biāo)準(zhǔn)的統(tǒng)計(jì)學(xué)基礎(chǔ)上,對(duì)數(shù)據(jù)和檢驗(yàn)類型的充分性要求也比較高,否則難以保證能發(fā)現(xiàn)所有的離群點(diǎn)。

    2 數(shù)據(jù)集成

    所謂數(shù)據(jù)集成,通俗來講是指將來自多個(gè)數(shù)據(jù)源的異構(gòu)數(shù)據(jù)合并在一起,并存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中。數(shù)據(jù)樣本的來源和涉及領(lǐng)域越廣泛,數(shù)據(jù)集成的難度也會(huì)越大,該過程需要解決數(shù)據(jù)的選擇、數(shù)據(jù)的一致性以及兼容性等問題[13]。而數(shù)據(jù)的一致性和兼容性主要面臨多數(shù)據(jù)源中屬性的語(yǔ)義差異、結(jié)構(gòu)差異和冗余重復(fù)等難題。

    2.1 屬性語(yǔ)義問題

    例如在對(duì)來自兩個(gè)數(shù)據(jù)源中的武器裝備信息統(tǒng)計(jì)表進(jìn)行集成時(shí),發(fā)現(xiàn)兩個(gè)數(shù)據(jù)樣本中都有名為“Date”的屬性,但實(shí)際上一個(gè)記錄的是出廠時(shí)間,另一個(gè)記錄的是列裝時(shí)間。上述情況在數(shù)據(jù)集成中是經(jīng)常發(fā)生的,通常需要操作人員在數(shù)據(jù)集成之前對(duì)數(shù)據(jù)樣本進(jìn)行調(diào)研,確認(rèn)各個(gè)屬性的實(shí)際意義。

    2.2 屬性結(jié)構(gòu)問題

    屬性結(jié)構(gòu)差異幾乎是數(shù)據(jù)集成中必須要解決的問題。以武器裝備信息表Weapon 中的“造價(jià)”屬性W.price 為例,表1 總結(jié)了數(shù)據(jù)集成中幾種常見的屬性結(jié)構(gòu)差異問題。針對(duì)這類問題,往往需要在數(shù)據(jù)集成過程中對(duì)數(shù)據(jù)屬性進(jìn)行結(jié)構(gòu)上的明確,通過再定義來對(duì)數(shù)據(jù)進(jìn)行約束,避免屬性結(jié)構(gòu)問題對(duì)數(shù)據(jù)集成造成阻力。

    表1 常見的屬性結(jié)構(gòu)差異Table1 Common differences of property structure

    2.3 冗余重復(fù)問題

    仍以武器裝備信息表中的造價(jià)屬性為例,兩個(gè)數(shù)據(jù)樣本記錄的都是某型武器裝備的造價(jià)情況,但一個(gè)屬性名為“Price”,另一個(gè)屬性名為“Value”,若對(duì)兩個(gè)表進(jìn)行數(shù)據(jù)集成,則同時(shí)保留的兩個(gè)屬性是相互冗余的。對(duì)于判斷數(shù)值型屬性是否相互冗余,可以通過公式(1)來實(shí)現(xiàn),標(biāo)稱型屬性則可通過公式(2)來實(shí)現(xiàn),具體方法在此不再贅述。此外,對(duì)數(shù)據(jù)重復(fù)還可以通過表的主鍵進(jìn)行判定,沒有主鍵的表則需要在數(shù)據(jù)集成前進(jìn)行調(diào)研和定義主鍵,或者對(duì)表進(jìn)行拆分和整合。

    3 數(shù)據(jù)變換

    數(shù)據(jù)變換是指采用線性或者非線性的數(shù)學(xué)變換方法對(duì)數(shù)據(jù)進(jìn)行規(guī)格化處理,將多維數(shù)據(jù)壓縮成較少維的數(shù)據(jù),以達(dá)到消除其在時(shí)間、空間、屬性及精度等特征表現(xiàn)方面差異的目的。簡(jiǎn)單來講,數(shù)據(jù)變換就是根據(jù)需要將數(shù)據(jù)從一個(gè)大的區(qū)間壓縮到一個(gè)小的區(qū)間內(nèi)。例如將數(shù)據(jù)集{-5,2,18,100}轉(zhuǎn)換為數(shù)據(jù)集{-0.5,0.2,1.8,10}即是一個(gè)簡(jiǎn)單的數(shù)據(jù)變換過程。又如在武器裝備信息表Weapon中,裝備“造價(jià)”屬性W.price 要比裝備的“使用壽命”屬性W.age 的值大得多,如果不進(jìn)行數(shù)據(jù)變換而直接開展基于類似神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘工作的話,W.price 屬性的作用將會(huì)在數(shù)據(jù)對(duì)象的距離計(jì)算中被遠(yuǎn)遠(yuǎn)放大,進(jìn)而對(duì)數(shù)據(jù)挖掘帶來不利影響。表2 總結(jié)了幾種常用的數(shù)據(jù)變換方法[14]。

    表2 常用的數(shù)據(jù)變換方法Table2 Common methods of data transformation

    4 數(shù)據(jù)歸約

    在盡可能保證數(shù)據(jù)原有的完整性和有效性基礎(chǔ)上,通過使用降低數(shù)據(jù)規(guī)模、減少數(shù)據(jù)存儲(chǔ)空間、將數(shù)據(jù)以合乎要求的方式表示出來等策略對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作叫作數(shù)據(jù)歸約[15]。對(duì)數(shù)據(jù)集進(jìn)行歸約處理將有助于改善后續(xù)挖掘分析效果。數(shù)據(jù)規(guī)約過程所涉及的方法主要有以下幾種。

    4.1 維度歸約

    維度歸約是使用數(shù)據(jù)編碼或數(shù)據(jù)變換方案,以得到原始數(shù)據(jù)的簡(jiǎn)化或壓縮表示,其核心是減少隨機(jī)變量或?qū)傩缘膫€(gè)數(shù)。維度歸約常用的技術(shù)手段主要有小波變換、主成分分析、屬性子集選擇以及單變量重要性等。

    4.1.1 小波變換

    小波變換是一種由傅里葉變換發(fā)展而來的線性信號(hào)處理技術(shù)。在方法上,小波變換將傅里葉變換的基由無(wú)限長(zhǎng)的三角函數(shù)基換成了有限長(zhǎng)會(huì)衰減的小波基,能實(shí)現(xiàn)在獲取頻率的同時(shí)定位時(shí)間[16]。當(dāng)用于數(shù)據(jù)變量X 的時(shí)候,可以將其變成數(shù)值上不同的小波系數(shù)向量X’,向量具有相同的長(zhǎng)度。在數(shù)據(jù)歸約中,每個(gè)元組可以看作為一個(gè)n 維數(shù)據(jù)向量X=(x1,x2,…,xn),用來描述n 個(gè)數(shù)據(jù)庫(kù)屬性在元組上的n 個(gè)測(cè)量值,對(duì)數(shù)據(jù)進(jìn)行小波變換后截?cái)鄶?shù)據(jù),保留最強(qiáng)的小波系數(shù),從而保留近似的壓縮數(shù)據(jù),達(dá)到數(shù)據(jù)歸約的目的。

    在實(shí)際的數(shù)據(jù)預(yù)處理操作中,小波變換適合用于處理高維度數(shù)據(jù),如數(shù)據(jù)立方體等,可以將變換用于第一個(gè)維,然后第二個(gè),如此依次進(jìn)行。對(duì)于稀疏或者傾斜數(shù)據(jù),以及具有有序?qū)傩缘臄?shù)據(jù),小波變換往往也能給出較好的處理效果。除數(shù)據(jù)歸約以外,小波變換在圖像壓縮處理、計(jì)算機(jī)嗅覺等領(lǐng)域也有廣泛的應(yīng)用[17,18]。

    4.1.2 主成分分析

    相對(duì)于小波變換法,主成分分析(Principal Component Analysis,PCA)更適合用于處理離散或稀疏數(shù)據(jù)。該方法通常是搜索k 個(gè)最能代表數(shù)據(jù)的n 維正交向量(k≤n),將原始數(shù)據(jù)投影到一個(gè)更小的空間中,實(shí)現(xiàn)維度歸約[19]。其基本處理過程如圖2 所示。

    圖2 主成分分析處理過程Figure2 Process of principal component analysis

    4.1.3 屬性子集選擇

    屬性子集選擇是通過檢測(cè)相關(guān)程度較弱或重復(fù)的屬性,對(duì)其刪除來達(dá)到數(shù)據(jù)歸約目的的一種方法。該方法的關(guān)鍵之處在于找到最小屬性集,使得該屬性集的數(shù)據(jù)概率分布與包含所有屬性的原分布盡可能地接近,簡(jiǎn)單來講即是用最小屬性集“描述”原數(shù)據(jù)樣本。壓縮搜索空間的啟發(fā)式算法為該方法常用算法,其策略為期望通過做局部最優(yōu)選擇來獲得全局最優(yōu)解,實(shí)踐證明該方法的確行之有效[20,21]。常用的基本啟發(fā)式方法包括:逐步向前選擇、逐步向后刪除、逐步向前選擇與向后刪除的結(jié)合、決策樹歸納等。

    4.1.4 單變量重要性

    單變量重要性是從統(tǒng)計(jì)學(xué)和信息的角度分析單變量與目標(biāo)變量的相關(guān)性,對(duì)預(yù)測(cè)能力較低的變量進(jìn)行刪除。常用的方法主要有:利用皮爾遜相關(guān)系數(shù)或卡方檢驗(yàn)分析目標(biāo)變量與單變量之間的相關(guān)性、利用線性回歸對(duì)變量的表決系數(shù)進(jìn)行重要性排序、利用決策樹提取變量的重要度并進(jìn)行排序等[22]。

    4.2 數(shù)值歸約

    數(shù)值歸約是指選擇替代的、較小的數(shù)據(jù)形式來替換原數(shù)據(jù),達(dá)到減小數(shù)據(jù)量的目的。數(shù)值歸約技術(shù)主要可以分為參數(shù)化模型和非參數(shù)化模型兩大類[23]。

    4.2.1 參數(shù)化模型

    參數(shù)化數(shù)據(jù)歸約可以利用回歸和對(duì)數(shù)線性模型來實(shí)現(xiàn)。對(duì)于數(shù)值型數(shù)據(jù),采用回歸模型建模方法,使之?dāng)M合到一條直線上。例如可以用以下公式將隨機(jī)變量Y 表示成另一個(gè)隨機(jī)變量X 的線性函數(shù):Y=aX+b,其中X 稱為自變量,Y 稱為因變量,假定Y 的方差為常量,a 和b 分別為直線的Y 軸截取和斜率,可用最小二乘法求得。當(dāng)分析多個(gè)分類變量間的關(guān)系時(shí),可以采用對(duì)數(shù)線性模型。常見的邏輯回歸就是對(duì)數(shù)線性模型的一種。

    4.2.2 非參數(shù)化模型

    常見的非參數(shù)化數(shù)據(jù)歸約主要包括以下幾種:

    (1)直方圖。利用直方圖將屬性的數(shù)據(jù)分布劃分為若干不相交的子集或桶,桶表示給定屬性的一個(gè)連續(xù)空間。該方法適用于處理近似稀疏和稠密數(shù)據(jù)、高傾斜和均勻數(shù)據(jù)。

    (2)聚類。將數(shù)據(jù)元組劃分為群或簇,一個(gè)簇中的對(duì)象相互相似,不同簇中的對(duì)象相互相異,在數(shù)據(jù)歸約中,用數(shù)據(jù)的簇來替代原始數(shù)據(jù)。

    (3)抽樣。因?yàn)槌闃踊谟眯?shù)據(jù)量的樣本來表示大數(shù)據(jù)集的思想,所以剛好適用于數(shù)據(jù)歸約。常見的抽樣方法有樣本無(wú)放回隨機(jī)抽樣、樣本有放回隨機(jī)抽樣、聚類抽樣、分層抽樣等。

    (4)數(shù)據(jù)立方體聚集。將細(xì)粒度的屬性聚集到粗粒度的屬性,最細(xì)的粒度是最小的立方體,每個(gè)較高層抽象成更大的立方體,進(jìn)一步減小數(shù)據(jù)的規(guī)模。

    5 結(jié)語(yǔ)

    綜上所述,數(shù)據(jù)預(yù)處理工作包含了許多處理步驟,每一個(gè)步驟都有多種不同的實(shí)現(xiàn)方法,也有不少方法能夠應(yīng)用在不同的預(yù)處理階段中。例如,回歸法既可以在數(shù)據(jù)清洗階段用于平滑噪聲,又可以在數(shù)據(jù)歸約階段實(shí)現(xiàn)數(shù)值歸約;相關(guān)性分析可以用于數(shù)據(jù)清洗、數(shù)據(jù)集成以及數(shù)據(jù)規(guī)約等。不同預(yù)處理方法之間既相互獨(dú)立又相互關(guān)聯(lián),實(shí)施起來也沒有嚴(yán)格的先后順序,在實(shí)際的應(yīng)用過程中,需要針對(duì)具體研究的問題以及面向數(shù)據(jù)的類型選用合適的預(yù)處理方法。在當(dāng)今大數(shù)據(jù)時(shí)代背景下,數(shù)據(jù)的重要性日益彰顯,同時(shí)我們所面對(duì)的數(shù)據(jù)體系規(guī)模也越來越龐大,數(shù)據(jù)預(yù)處理技術(shù)發(fā)展至今仍是一個(gè)活躍的研究領(lǐng)域。作為對(duì)海量數(shù)據(jù)挖掘分析和知識(shí)發(fā)現(xiàn)過程的核心環(huán)節(jié),它也將會(huì)發(fā)揮越來越重要的作用。

    猜你喜歡
    預(yù)處理噪聲變量
    抓住不變量解題
    噪聲可退化且依賴于狀態(tài)和分布的平均場(chǎng)博弈
    也談分離變量
    控制噪聲有妙法
    基于預(yù)處理MUSIC算法的分布式陣列DOA估計(jì)
    淺談PLC在預(yù)處理生產(chǎn)線自動(dòng)化改造中的應(yīng)用
    絡(luò)合萃取法預(yù)處理H酸廢水
    SL(3,3n)和SU(3,3n)的第一Cartan不變量
    基于自適應(yīng)預(yù)處理的改進(jìn)CPF-GMRES算法
    一種基于白噪聲響應(yīng)的隨機(jī)載荷譜識(shí)別方法
    嘟嘟电影网在线观看| 国产一级毛片七仙女欲春2| 欧美一级a爱片免费观看看| 非洲黑人性xxxx精品又粗又长| 99久国产av精品国产电影| videossex国产| 一个人观看的视频www高清免费观看| 久久精品久久精品一区二区三区| 淫秽高清视频在线观看| 国产一区亚洲一区在线观看| 午夜福利在线观看免费完整高清在| 特大巨黑吊av在线直播| 99久国产av精品国产电影| 久久久久网色| 午夜爱爱视频在线播放| 啦啦啦啦在线视频资源| 久热久热在线精品观看| 午夜福利在线观看免费完整高清在| 午夜福利在线观看免费完整高清在| 日韩av不卡免费在线播放| 男女下面进入的视频免费午夜| 久久久久久大精品| 精品人妻熟女av久视频| 赤兔流量卡办理| 午夜福利网站1000一区二区三区| 99久久中文字幕三级久久日本| 卡戴珊不雅视频在线播放| 亚洲一区高清亚洲精品| 久久久久免费精品人妻一区二区| 国产乱人视频| 日韩强制内射视频| 美女高潮的动态| 看黄色毛片网站| 亚洲中文字幕一区二区三区有码在线看| 亚洲伊人久久精品综合 | 99久国产av精品| 国产免费男女视频| 蜜臀久久99精品久久宅男| 国产精品三级大全| 国产乱来视频区| 亚洲人成网站在线观看播放| 在线观看av片永久免费下载| 国产精品爽爽va在线观看网站| 麻豆成人午夜福利视频| 国产欧美日韩精品一区二区| ponron亚洲| 国产亚洲91精品色在线| 熟女人妻精品中文字幕| 免费人成在线观看视频色| 精品熟女少妇av免费看| 国产高清视频在线观看网站| 1024手机看黄色片| 成人午夜精彩视频在线观看| 91久久精品电影网| 国产视频首页在线观看| 欧美3d第一页| 欧美不卡视频在线免费观看| 国产精品av视频在线免费观看| 久久6这里有精品| 嘟嘟电影网在线观看| 久久精品国产亚洲av涩爱| 久久精品人妻少妇| 国产一区二区在线观看日韩| 99久久成人亚洲精品观看| 狂野欧美激情性xxxx在线观看| 国产一区二区在线av高清观看| 婷婷色综合大香蕉| 日本免费一区二区三区高清不卡| 在线观看av片永久免费下载| 久久亚洲精品不卡| 天美传媒精品一区二区| 国产精品美女特级片免费视频播放器| 直男gayav资源| 成人高潮视频无遮挡免费网站| 人人妻人人澡欧美一区二区| 久久久久久久久大av| 丰满乱子伦码专区| 毛片一级片免费看久久久久| 99国产精品一区二区蜜桃av| 国产精品嫩草影院av在线观看| 一级毛片我不卡| 亚洲最大成人手机在线| av在线天堂中文字幕| 美女脱内裤让男人舔精品视频| 三级经典国产精品| 在线观看66精品国产| 在线观看av片永久免费下载| 精华霜和精华液先用哪个| 亚洲伊人久久精品综合 | 国产精品av视频在线免费观看| 免费播放大片免费观看视频在线观看 | 少妇熟女aⅴ在线视频| 黄色配什么色好看| 国语自产精品视频在线第100页| 岛国毛片在线播放| 国产精品乱码一区二三区的特点| 国产探花在线观看一区二区| 女人久久www免费人成看片 | 1024手机看黄色片| 高清毛片免费看| 赤兔流量卡办理| 中文亚洲av片在线观看爽| 日本与韩国留学比较| 在线免费观看的www视频| av视频在线观看入口| 乱系列少妇在线播放| 亚洲美女搞黄在线观看| 欧美日本视频| 成人毛片60女人毛片免费| 搡女人真爽免费视频火全软件| 亚洲av一区综合| 国产中年淑女户外野战色| 高清毛片免费看| 国产单亲对白刺激| 18禁在线播放成人免费| 国产精品爽爽va在线观看网站| 午夜免费激情av| 久久精品国产99精品国产亚洲性色| 国产免费又黄又爽又色| 波野结衣二区三区在线| 自拍偷自拍亚洲精品老妇| 日韩三级伦理在线观看| 久久综合国产亚洲精品| 亚洲国产精品成人久久小说| 精品人妻一区二区三区麻豆| 免费看光身美女| 亚洲精品乱码久久久久久按摩| 日韩三级伦理在线观看| 最后的刺客免费高清国语| 晚上一个人看的免费电影| 亚洲国产成人一精品久久久| 欧美一区二区国产精品久久精品| 长腿黑丝高跟| 国产精品爽爽va在线观看网站| 91在线精品国自产拍蜜月| 能在线免费看毛片的网站| 性插视频无遮挡在线免费观看| 建设人人有责人人尽责人人享有的 | 我要看日韩黄色一级片| 亚洲最大成人手机在线| 高清毛片免费看| 久久精品国产亚洲av涩爱| 91午夜精品亚洲一区二区三区| 在线免费观看的www视频| 校园人妻丝袜中文字幕| 国产乱人偷精品视频| 亚洲欧美精品自产自拍| 青青草视频在线视频观看| 欧美极品一区二区三区四区| 欧美一区二区精品小视频在线| 欧美性猛交╳xxx乱大交人| 老司机福利观看| 高清午夜精品一区二区三区| 色哟哟·www| 久久精品国产99精品国产亚洲性色| 老司机影院毛片| 国产精品国产三级国产av玫瑰| 一二三四中文在线观看免费高清| 亚洲av免费高清在线观看| 欧美xxxx性猛交bbbb| a级一级毛片免费在线观看| 亚洲自拍偷在线| 少妇猛男粗大的猛烈进出视频 | 中文字幕制服av| 国产高清不卡午夜福利| 噜噜噜噜噜久久久久久91| 99久国产av精品| 欧美日韩一区二区视频在线观看视频在线 | 国产亚洲精品av在线| 看非洲黑人一级黄片| 午夜免费激情av| 免费av观看视频| 3wmmmm亚洲av在线观看| 国产真实乱freesex| 色5月婷婷丁香| 亚洲综合色惰| 亚洲一区高清亚洲精品| 一区二区三区高清视频在线| 亚洲aⅴ乱码一区二区在线播放| 十八禁国产超污无遮挡网站| 哪个播放器可以免费观看大片| 国语对白做爰xxxⅹ性视频网站| 日韩一区二区视频免费看| 亚洲自拍偷在线| 一级毛片久久久久久久久女| 成人性生交大片免费视频hd| 青春草国产在线视频| 国产 一区 欧美 日韩| 中文资源天堂在线| 久久婷婷人人爽人人干人人爱| 99在线视频只有这里精品首页| 国产伦一二天堂av在线观看| 精品午夜福利在线看| 久久久久性生活片| 日韩大片免费观看网站 | 熟女电影av网| 久久综合国产亚洲精品| 久久久久久久亚洲中文字幕| 久久欧美精品欧美久久欧美| 性插视频无遮挡在线免费观看| 国产激情偷乱视频一区二区| 日韩精品有码人妻一区| 国产老妇伦熟女老妇高清| 亚洲无线观看免费| 亚洲av福利一区| 久久国内精品自在自线图片| 日本黄色片子视频| 国产精品电影一区二区三区| 色综合色国产| 欧美日韩在线观看h| 视频中文字幕在线观看| 美女高潮的动态| 特级一级黄色大片| 日韩精品青青久久久久久| 日本猛色少妇xxxxx猛交久久| 99在线视频只有这里精品首页| 精品久久久噜噜| 成年女人看的毛片在线观看| 亚州av有码| 一二三四中文在线观看免费高清| 啦啦啦啦在线视频资源| 麻豆一二三区av精品| 中文字幕av成人在线电影| 亚洲欧洲日产国产| 成人av在线播放网站| 免费人成在线观看视频色| 欧美日韩在线观看h| 久久久色成人| 插逼视频在线观看| 一级二级三级毛片免费看| 午夜久久久久精精品| 日韩av不卡免费在线播放| 精品久久久久久久末码| 免费看光身美女| 免费不卡的大黄色大毛片视频在线观看 | 国产片特级美女逼逼视频| 一级黄片播放器| 亚洲丝袜综合中文字幕| 91午夜精品亚洲一区二区三区| 亚洲最大成人av| 久久人人爽人人片av| 尾随美女入室| 中文欧美无线码| 精品欧美国产一区二区三| 国产精品国产高清国产av| 91久久精品国产一区二区三区| 久久精品国产鲁丝片午夜精品| 神马国产精品三级电影在线观看| 久久久国产成人免费| .国产精品久久| 美女xxoo啪啪120秒动态图| 国产高清三级在线| 久久久久久久久大av| 久久精品国产99精品国产亚洲性色| 国产高潮美女av| videossex国产| 国产亚洲精品av在线| 亚洲av福利一区| 国产久久久一区二区三区| 日本五十路高清| 午夜精品在线福利| 在线a可以看的网站| 国产成年人精品一区二区| 中文乱码字字幕精品一区二区三区 | 国产黄片视频在线免费观看| 最近的中文字幕免费完整| 欧美变态另类bdsm刘玥| 只有这里有精品99| 亚洲欧美日韩卡通动漫| 午夜久久久久精精品| 免费观看在线日韩| 最后的刺客免费高清国语| 国产成人freesex在线| 亚洲欧洲日产国产| 99热精品在线国产| 亚洲av成人av| 国产日韩欧美在线精品| 我的女老师完整版在线观看| 亚洲国产精品国产精品| 日本wwww免费看| 又爽又黄无遮挡网站| 日韩欧美 国产精品| 最后的刺客免费高清国语| 日本熟妇午夜| 一级毛片久久久久久久久女| 中国美白少妇内射xxxbb| 亚洲内射少妇av| 高清在线视频一区二区三区 | 久久精品夜色国产| 永久免费av网站大全| 精品久久久久久久末码| 一个人看的www免费观看视频| 亚洲av一区综合| 少妇的逼水好多| 黑人高潮一二区| 老司机福利观看| 国产精品福利在线免费观看| 99热6这里只有精品| av在线蜜桃| 国产精品久久视频播放| 国产白丝娇喘喷水9色精品| 亚洲av电影在线观看一区二区三区 | 久久久久网色| 1000部很黄的大片| 久久久国产成人免费| 你懂的网址亚洲精品在线观看 | 欧美精品一区二区大全| 欧美色视频一区免费| 在线天堂最新版资源| or卡值多少钱| 色尼玛亚洲综合影院| 日本与韩国留学比较| 久久久色成人| www.av在线官网国产| 床上黄色一级片| 老师上课跳d突然被开到最大视频| 黄片wwwwww| 建设人人有责人人尽责人人享有的 | 床上黄色一级片| 国产精品麻豆人妻色哟哟久久 | 亚洲精品影视一区二区三区av| 免费观看精品视频网站| 日本欧美国产在线视频| 一级av片app| 国产伦在线观看视频一区| 婷婷六月久久综合丁香| 一个人免费在线观看电影| 欧美成人午夜免费资源| 纵有疾风起免费观看全集完整版 | 高清午夜精品一区二区三区| 99九九线精品视频在线观看视频| 国产色爽女视频免费观看| 91av网一区二区| 国产老妇伦熟女老妇高清| kizo精华| 精品人妻偷拍中文字幕| a级毛片免费高清观看在线播放| 国产精品一二三区在线看| 国产精品国产高清国产av| 噜噜噜噜噜久久久久久91| 免费一级毛片在线播放高清视频| 99在线人妻在线中文字幕| 老女人水多毛片| 久久久久久久久大av| av线在线观看网站| 七月丁香在线播放| 最近最新中文字幕大全电影3| 亚洲国产精品专区欧美| 尤物成人国产欧美一区二区三区| 午夜a级毛片| 成人二区视频| 少妇丰满av| 18禁动态无遮挡网站| 五月伊人婷婷丁香| 九九爱精品视频在线观看| 在线观看一区二区三区| 99久久人妻综合| 男人舔女人下体高潮全视频| 国产精品久久电影中文字幕| 免费av毛片视频| 亚洲图色成人| 亚洲综合色惰| 国产成人a区在线观看| 爱豆传媒免费全集在线观看| 亚洲天堂国产精品一区在线| 亚洲国产欧洲综合997久久,| 青春草视频在线免费观看| 国产欧美另类精品又又久久亚洲欧美| 99热这里只有是精品50| 日本猛色少妇xxxxx猛交久久| 成人一区二区视频在线观看| 亚洲欧洲日产国产| 日韩在线高清观看一区二区三区| 免费看美女性在线毛片视频| 天天一区二区日本电影三级| 亚洲精品影视一区二区三区av| 国产白丝娇喘喷水9色精品| 欧美激情在线99| 人妻制服诱惑在线中文字幕| 国产精品久久视频播放| 亚洲第一区二区三区不卡| 18禁裸乳无遮挡免费网站照片| 国产精品一区二区在线观看99 | 色哟哟·www| 99久久精品一区二区三区| 久久久久久国产a免费观看| 大又大粗又爽又黄少妇毛片口| 国内少妇人妻偷人精品xxx网站| 丰满乱子伦码专区| 欧美激情在线99| 2021天堂中文幕一二区在线观| 性色avwww在线观看| 中国美白少妇内射xxxbb| 在线免费观看的www视频| 能在线免费观看的黄片| 在线观看66精品国产| 欧美一区二区亚洲| 国产精品麻豆人妻色哟哟久久 | 2022亚洲国产成人精品| 又爽又黄无遮挡网站| av国产免费在线观看| 99热这里只有精品一区| 丰满人妻一区二区三区视频av| 国产又黄又爽又无遮挡在线| 国产精品人妻久久久影院| 国产一区有黄有色的免费视频 | 国产精品女同一区二区软件| 国产毛片a区久久久久| 91精品伊人久久大香线蕉| 亚洲成色77777| 国产精品久久视频播放| 亚洲av日韩在线播放| 水蜜桃什么品种好| 91aial.com中文字幕在线观看| 女人被狂操c到高潮| 亚洲精品日韩av片在线观看| 99热这里只有精品一区| 亚洲精品乱久久久久久| 久久精品熟女亚洲av麻豆精品 | 91精品伊人久久大香线蕉| 在线观看66精品国产| 久久国内精品自在自线图片| 91午夜精品亚洲一区二区三区| 国产精品一二三区在线看| 精华霜和精华液先用哪个| 亚洲不卡免费看| 久久久成人免费电影| 国产 一区 欧美 日韩| 国产av不卡久久| 久久久久久久久中文| 亚洲av电影在线观看一区二区三区 | 免费在线观看成人毛片| 黄片wwwwww| av黄色大香蕉| 精品久久国产蜜桃| 熟妇人妻久久中文字幕3abv| 99久久无色码亚洲精品果冻| 亚洲中文字幕一区二区三区有码在线看| 乱系列少妇在线播放| 神马国产精品三级电影在线观看| 91精品国产九色| 亚洲精品成人久久久久久| 精品久久久久久成人av| 国产精品一及| 成人午夜精彩视频在线观看| 日本免费a在线| www.av在线官网国产| 午夜老司机福利剧场| 国产免费福利视频在线观看| 99热全是精品| 精品国产三级普通话版| 国产免费又黄又爽又色| 18禁在线播放成人免费| 欧美最新免费一区二区三区| 亚洲欧美中文字幕日韩二区| 日韩欧美精品v在线| 别揉我奶头 嗯啊视频| 丰满人妻一区二区三区视频av| 99久久精品一区二区三区| 超碰av人人做人人爽久久| 日韩,欧美,国产一区二区三区 | 国产爱豆传媒在线观看| 久热久热在线精品观看| 国产精品国产三级国产av玫瑰| 国产探花在线观看一区二区| 免费观看人在逋| av天堂中文字幕网| 能在线免费观看的黄片| av国产免费在线观看| 午夜久久久久精精品| 色哟哟·www| 一个人看视频在线观看www免费| 国产成人a∨麻豆精品| 永久网站在线| 人妻系列 视频| 免费播放大片免费观看视频在线观看 | 在线观看66精品国产| 国产淫片久久久久久久久| 国产三级在线视频| 精品久久久久久久久久久久久| 国产高清视频在线观看网站| 国产成人一区二区在线| 日韩欧美精品免费久久| 男人舔奶头视频| 欧美另类亚洲清纯唯美| АⅤ资源中文在线天堂| 两性午夜刺激爽爽歪歪视频在线观看| 一本久久精品| 蜜臀久久99精品久久宅男| 欧美高清性xxxxhd video| 亚洲av成人av| 伊人久久精品亚洲午夜| 成人无遮挡网站| 国产高潮美女av| 91精品国产九色| 久久久久久久久久黄片| 日韩在线高清观看一区二区三区| 好男人视频免费观看在线| 久久久久久九九精品二区国产| 蜜桃亚洲精品一区二区三区| 国产成年人精品一区二区| 中文资源天堂在线| 成人无遮挡网站| 男女啪啪激烈高潮av片| 欧美高清性xxxxhd video| 一边亲一边摸免费视频| 九草在线视频观看| 亚洲国产色片| 看非洲黑人一级黄片| 欧美97在线视频| 免费看美女性在线毛片视频| 你懂的网址亚洲精品在线观看 | 国产成人91sexporn| 精品久久久久久久人妻蜜臀av| 日日摸夜夜添夜夜爱| 我的老师免费观看完整版| 久久精品国产99精品国产亚洲性色| 日韩大片免费观看网站 | 国产老妇伦熟女老妇高清| 国产精品无大码| 男女那种视频在线观看| av在线天堂中文字幕| 成年版毛片免费区| 国产美女午夜福利| 搡女人真爽免费视频火全软件| 亚洲丝袜综合中文字幕| 卡戴珊不雅视频在线播放| 欧美一区二区精品小视频在线| 亚洲av不卡在线观看| 黑人高潮一二区| 久久久久久久久久成人| 大香蕉97超碰在线| 欧美日韩在线观看h| 亚洲国产精品久久男人天堂| 麻豆国产97在线/欧美| 大香蕉久久网| 最近2019中文字幕mv第一页| 久久99热这里只有精品18| 人人妻人人看人人澡| 性插视频无遮挡在线免费观看| 日韩一本色道免费dvd| 午夜精品国产一区二区电影 | 又粗又爽又猛毛片免费看| 亚洲美女搞黄在线观看| 淫秽高清视频在线观看| 国产毛片a区久久久久| 简卡轻食公司| 国产伦精品一区二区三区视频9| 赤兔流量卡办理| videossex国产| 日本五十路高清| 久久人妻av系列| 深爱激情五月婷婷| 夜夜看夜夜爽夜夜摸| 成人二区视频| 99在线人妻在线中文字幕| 色综合色国产| 在线免费观看不下载黄p国产| 国产极品天堂在线| 日本黄色片子视频| 黄片wwwwww| 国产 一区 欧美 日韩| 国产精品国产三级国产av玫瑰| 啦啦啦韩国在线观看视频| 国产精品爽爽va在线观看网站| 中国美白少妇内射xxxbb| 乱人视频在线观看| 搞女人的毛片| 少妇猛男粗大的猛烈进出视频 | 又爽又黄无遮挡网站| 精品久久久久久久久亚洲| 中文字幕免费在线视频6| 久久久久久久久大av| 午夜精品一区二区三区免费看| 色哟哟·www| 久久久久久久久久成人| 欧美成人a在线观看| 寂寞人妻少妇视频99o| 欧美xxxx性猛交bbbb| 日本色播在线视频| 亚洲图色成人| 亚洲国产欧美在线一区| 久久这里有精品视频免费| 久久综合国产亚洲精品| 成人高潮视频无遮挡免费网站| 能在线免费观看的黄片| 99热网站在线观看| av在线亚洲专区| 中文乱码字字幕精品一区二区三区 | 国产私拍福利视频在线观看| 尾随美女入室| 毛片女人毛片| 国内揄拍国产精品人妻在线| 91精品一卡2卡3卡4卡| 99久国产av精品国产电影| 男女下面进入的视频免费午夜| 18+在线观看网站| 亚洲四区av| 91av网一区二区| 欧美变态另类bdsm刘玥| 国产精华一区二区三区| 色噜噜av男人的天堂激情| 国产精品人妻久久久久久| 亚洲最大成人手机在线| 成人国产麻豆网| 亚洲性久久影院| 国产人妻一区二区三区在| 菩萨蛮人人尽说江南好唐韦庄 | 欧美一区二区国产精品久久精品| 插逼视频在线观看| 亚洲av不卡在线观看| 嫩草影院精品99| 国产一级毛片七仙女欲春2| 亚洲美女搞黄在线观看| 免费观看人在逋|