基于三支決策的缺失數(shù)據處理綜述

竺凡超 李紅宇

（哈爾濱師范大學 黑龍江省哈爾濱市 150025）

1 引言

在進入大數(shù)據應用時代的背景下，隨著當前我國計算科學與信息技術的快速發(fā)展，數(shù)據存儲及獲取能力有了很大的提高，數(shù)據整體規(guī)模呈現(xiàn)急速增長姿態(tài)。然而由于諸多人為因素，數(shù)據分析獲取時間限制等諸多技術方面上的原因，出現(xiàn)了大量具有缺失性的數(shù)據在企業(yè)數(shù)據的采集分析和數(shù)據研究結果推論上都將會帶來比較大的困難，往往容易直接造成數(shù)據分析推論結果出現(xiàn)偏差，影響數(shù)據決策者的正確性。缺失大量數(shù)據的采集處理已經成為一個非常具有巨大挑戰(zhàn)且?guī)缀醪豢杀苊獾募夹g難題。目前已經提出了很多正確處理缺失數(shù)據的有效方法，如何更有效的正確處理這些具有缺失性的數(shù)據，隨著三支決策思想的引入后也得到了很大程度的改善。

2 三支決策理論概念

三支決策理論是由著名的加拿大華人中國學者姚一豫等人于上世紀九十年代研究并提出的，在二支決策基礎上的一種新的決策理論與方法。三支決策與傳統(tǒng)的二支決策相比，大大減少了失敗決策帶來的風險。二支決策強制的對數(shù)據劃分為正域、負域,而三支決策在此基礎上增加了第三種域，即不確定域。它作為當信息來源不足以做出接受或者拒絕時的一種過渡的決策行為。其目的是快速、低成本、高收益的決策,并具有一定的容錯能力。這種方法將一個整體分成三個部分,然后對這三個部分中的一部分或全部采取行動。在許多實際情況下,能夠將復雜的問題處理簡單化，是最符合現(xiàn)在人類社會普遍認知的一種決策處理模式。

3 數(shù)據缺失概念及原因

數(shù)據缺失是指因為各種原因導致的數(shù)據不完整。在現(xiàn)實情況中，存儲及管理數(shù)據中經常存在這類問題，幾乎在各種領域科學研究中也是普遍存在，也是各種實用數(shù)據庫在大多數(shù)情況下存在的不可避免地問題。主要原因如下：

（1）人為原因造成。數(shù)據的使用和轉錄很大程度上受人為因素影響。人為的錯誤的操作、人為的判定數(shù)據重要性、對數(shù)據的錯誤理解，往往會導致無法挽回的影響。

（2）存儲設備的限制導致。數(shù)據采集到使用，都是依靠設備轉移和存儲?？紤]技術原因和設備的自有限制，容易導致數(shù)據丟失。

（3）數(shù)據屬性導致的必然缺失。數(shù)據的信息在不同維度不可能做到完全獨立不相關，所以在相關維度的某些數(shù)據不存在。例如，在未婚女性的丈夫信息必然是空缺的。

（4）歷史的原因導致。隨著我國科技的進步，每一個領域都有不停更新的信息維度，導致以往獲取的數(shù)據無法滿足最新的信息維度。在新的維度下，數(shù)據就是缺失的。

（5）索取這些信息的代價太大。

（6）系統(tǒng)實時性能要求較高。即在求得到這些信息前迅速做出判斷或決策。

4 數(shù)據缺失機制

在對缺失數(shù)據進行處理前，我們先來了解數(shù)據缺失的機制以及形式。

（1）完全變量—不含缺失值的變量（屬性）的數(shù)據集。

（2）不完全變量—含有缺失值的變量的數(shù)據集。

缺失機制描述的是缺失數(shù)據與未缺失數(shù)據之間的關系,有助于幫助完整數(shù)據來解決缺失數(shù)據問題。在專家、學者系統(tǒng)探討和深入研究了目標變量與缺失數(shù)據的基本相關性之后,分別重新地定義出了完全隨機數(shù)據缺失、隨機數(shù)據缺失和非隨機數(shù)據缺失(不可忽略缺失)這三種不同的數(shù)據缺失的情況。

（1）完全隨機缺失—某個變量是否缺失與它自身的值無關，也與其他任何一個變量的值無關。例如，由于測量設備故障導致某些值的缺失。

（2）隨機缺失—在控制了其他變量已觀測到的值后，某個變量是否確實與它自身的值無關。例如，人們是否投入收入可能與性別、教育程度、職業(yè)等有關系。

（3）非隨機缺失—即使控制了其他變量已觀測到的值，某個變量是否缺失仍然與它自身的值有關。例如，在控制了性別、教育程度、職業(yè)等已觀測因素之后，如果收入本身的值是否存在缺失還需要依賴于收入本身的值，那么收入就是非隨機缺失的。

5 缺失數(shù)據的處理

5.1 刪除法

刪除法是最簡單的方法，常用的刪除法有列表刪除、個案刪除和配對刪除。如果數(shù)據集對象符合以下兩個特征，一是該數(shù)據集對象出現(xiàn)多個缺失的變量，二是被刪除的該含缺失值的數(shù)據量對象在整個樣本數(shù)據集中所占有的數(shù)據比例很小的情況下，刪除法將會是缺失數(shù)據處理眾多方法中更加簡單和有效的方法。可是這種方法有很大的局限性，它減少了原始數(shù)據的樣本個數(shù)，造成樣本資源的浪費，且被刪除的對象在樣本集中的缺失和隱藏數(shù)據將沒有再獲取的可能。在面對樣本數(shù)據集中樣本不多的情況，用刪除法將對數(shù)據信息的客觀性和結果的正確性造成嚴重的影響；而且很可能得到錯誤的結果，尤其當每個變量缺失的比例很大的情況下。

5.2 數(shù)據填補法

5.2.1 平均值填補

平均值填充屬于單一填補法的一種,其主要針對兩種不同屬性類型的樣本缺失數(shù)據，分別是離散型數(shù)據和連續(xù)型數(shù)據。把所有不缺失該屬性的樣本的均值對缺失值進行填充的方法常常出現(xiàn)在數(shù)據屬性連續(xù)的情況下；把所有不缺失該屬性數(shù)據中取值頻率最多的值進行缺失值填充則常常用來處理屬性離散的數(shù)據。這種方法的主要思想是根據數(shù)據集的完整屬性推測缺失屬性,將出現(xiàn)次數(shù)最多或者所有取值中心點作為填充值,優(yōu)點很明顯就是速度快效率高,但也導致了所有的填充值集中樣本之間的差異減小,樣本缺失數(shù)據的屬性分布在一定程度上受到了改變。一般情況下對于比較簡單的完全隨機缺失的數(shù)據集則很適合用平均值填補進行處理,但對于處理復雜情況，平均值填補效果并不好。

5.2.2 期望最大化法

期望最大化法即所謂的EM算法，是常常用來處理大量的不完整數(shù)據的一種迭代求精算法。期望步和最大化步是期望最大化法每一次迭代都包含的步驟。期望最大化法有一個基本的思想就是先預估缺失數(shù)據初值,然后計算出模型參數(shù)的值,接著再對期望步和最大化步的數(shù)據進行迭代,不斷更新缺失數(shù)據的值,直到整個算法完全收斂。這種數(shù)據填充方法在穩(wěn)定的計算步驟下就已經能找到一個全局最優(yōu)的解,不僅簡單快速而且有很高的精度。但這種方法沒有充分考慮數(shù)據局部的相似性,在數(shù)據填充上用的是整個的數(shù)據集樣本,當原始樣本數(shù)據量很大的時候往往直接影響整個算法執(zhí)行的速度,且算法的穩(wěn)定性及收斂速度與初值的選擇有很大的關系。

5.2.2 聚類填補

聚類指的是通過一系列方法，例如常見的k-means聚類算法，最大最小距離聚類算法等等。把具有類似的元素的樣本分類成一個集合，在數(shù)據分類中有著多方面的應用。另外這些數(shù)據組本身沒有類別，它作為對象的集合叫做簇。聚類即是對每一個這樣的簇都進行描述的過程

目前主流的聚類填補方法主要是兩種。第一種方法是,只對缺失數(shù)據中完整的數(shù)據來進行聚類,然后把缺失的數(shù)據對象和聚類中心分別進行相似度對比,然后將缺失數(shù)據對象劃分到這幾個聚類的簇中,再根據簇中的整體信息進行填補。這種處理方法的最大缺點主要是沒有很好的考慮到缺失數(shù)據的信息和缺失數(shù)據的整體分布情況,對聚類的準確性有影響。第二種方法是,對缺失數(shù)據進行簡單的填補或不處理,直接進行聚類,根據缺失的數(shù)據對象所屬的簇進行填補。這種處理方法則沒有很好的考慮到缺失數(shù)據帶來的信息干擾,影響聚類的準確度,同時增加了聚類的難度。

在大多數(shù)聚類模型中算法沒有充分考慮各屬性在數(shù)據聚類中可能發(fā)揮作用不同的實際情況。蘇婷等人首先提出了一個針對缺失數(shù)據的考慮屬性權重信息的三支決策聚類模型。這個模型根據當前數(shù)據對象屬性的缺失率和當前數(shù)據對象屬性的重要性不同,并按照信息量下降的順序劃分成了四類:充分數(shù)據、有價值數(shù)據、不充分數(shù)據和無效數(shù)據。然后引入三支決策思想對這四個分類進行相應的處理,模型將當前信息不足,不能分類的數(shù)據對象做不承諾處理,也就相當于劃分到類簇的邊界域。接著提出了一個基于鄰域對象的缺失數(shù)據區(qū)間描述方法,使用領域內數(shù)據對象屬性值的區(qū)間形式,從而來估計缺失的數(shù)據,這種區(qū)間形式表示的缺失數(shù)據比數(shù)據近鄰的平均值表示更具有魯棒性。在針對不同的分類進行不完備數(shù)據的填充，符合三支決策的思想，也帶來了比以往二支決策處理下更理想的結果。

聚類在缺失數(shù)據填充中發(fā)揮著不可忽視的作用，類似的將三支決策思想引入聚類,在對缺失數(shù)據進行填充,對聚類填補的準確性有很大好處，但聚類填補也有在面對缺失的特征不做處理，過分依賴不缺失的數(shù)據。

5.2.3 多重填補法

多重插補法也是處理缺失數(shù)據的一種有效的策略。它分為三個步驟：先為每個缺失值產生一個可能的填充值，然后用針對完整數(shù)據集的統(tǒng)計方法對填補數(shù)據集合都準確的進行分析，最后綜合所有數(shù)據集的結果，分析推斷出最終的值。比較常用的多重填補法有PMM法、趨勢得分法和馬爾科夫鏈蒙特卡羅法等等。

多重填補法的優(yōu)勢體現(xiàn)在以下三個方面：

（1）多重填補法將輔助信息合理的利用起來，提供m個值來代替的方法，保持了原數(shù)據集的不確定性。

（2）多重填補法可以做到盡可能真實的情況下去模擬缺失數(shù)據的分布，這樣就能夠盡可能地保持變量之間的原始關系。

（3）多重填補法能夠相對準確地給出信息，用于衡量實際估計結果的各種不確定性,彌補了單一插補法估計結果過于簡單的這個缺陷。

當然多重填補法也同樣存在一些不足，多重填補法需要比單一填補法做更多的工作，大量因數(shù)據填補而產生的數(shù)據集需要有更大的存儲空間,且需要更多的精力去落實到工作上。

5.3 不處理法

不處理法主要指的是貝葉斯網絡和人工神經網絡等。貝葉斯網絡僅在對領域知識具有一定了解且對變量間的依賴關系較清楚的情況下可以使用。人工神經網絡可以有效的對付缺失值，但人工神經網絡在這方面的具體研究還有待進一步深入展開。

6 總結

上述簡單介紹了在數(shù)據缺失時的3大類缺失數(shù)據處理方式，根據鮑曉蕾[3]等人對缺失數(shù)據填補方法的研究，在缺失率分別為10%、20%、30%、40%和50%做出對比。當缺失率（10%）時，缺失數(shù)據所有方法的處理結果均較好，當隨著原始數(shù)據缺失率增大，只有多重填補法能取得較為理想的效果?？紤]到多重填補法的復雜性等缺點及時間成本，我們可以引入三支決策思想來對缺失的數(shù)據進行更合理的填補處理。面對實際數(shù)據的缺失率（10%）時，我們可以采用刪除法達到更加簡單有效的處理。當數(shù)據缺失率（10%）時且（M%）時，采用合適的填充法。當數(shù)據缺失率（M%）時，選用多重填補法來填充數(shù)據，達到更理想的處理。M值的選定根據對數(shù)據處理結果的具體要求和客觀條件來酌情選擇，將大大減少處理復雜度。最終根據數(shù)據缺失的不同類型，選擇不同的方法才是關鍵，三支決策思想無疑會對未來確屬數(shù)據處理這一方面提供巨大幫助。