基于Python的數(shù)據(jù)挖掘

李彥

摘要：隨著大數(shù)據(jù)時代的到來，商業(yè)、政府機構(gòu)等許多部門和行業(yè)都面臨著數(shù)量越來越多的數(shù)據(jù)資料，因此數(shù)據(jù)挖掘受到外界越來越廣泛的關(guān)注。該文就陽光集團所提供的西南某省的具體數(shù)據(jù)，基于python語言對其進行數(shù)據(jù)清洗、數(shù)據(jù)挖掘以及回歸分析。

關(guān)鍵詞：python；數(shù)據(jù)挖掘；數(shù)據(jù)清洗；回歸分析

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）23-0015-06

1 涉及技術(shù)簡介與具體項目背景

Python是一種面向?qū)ο蟮慕忉屝陀嬎銠C程序設(shè)計語言，由荷蘭人Guido van Rossum于1989年發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。Python語法簡潔清晰、封裝性很好并且擁有豐富且強大的庫。

數(shù)據(jù)挖掘指的是從數(shù)量極其廣大的數(shù)據(jù)中通過各種特定算法來搜索其中隱藏著的信息的過程，所以又名為資料勘探。數(shù)據(jù)挖掘?qū)儆谟嬎銠C科學(xué)的一種，但其中綜合了多個學(xué)科例如統(tǒng)計學(xué)、信息檢索等方面的內(nèi)容。

數(shù)據(jù)清洗，顧名思義就是指將“臟”數(shù)據(jù)清洗干凈以符合操作規(guī)范。數(shù)據(jù)清洗的工作內(nèi)容一般包括一致性檢查以及無效值和缺失值的處理。

回歸分析是回歸方程的一項重要應(yīng)用。所謂預(yù)測就是對給定的X值，估計Y值將落在什么范圍?；貧w預(yù)測方法有多種類型。依據(jù)相關(guān)關(guān)系中自變量的個數(shù)不同分類，可分為一元回歸分析預(yù)測法和多元回歸分析預(yù)測法。

本次項目的背景是使用陽光集團所提供的西南某省的具體量體數(shù)據(jù)來進行預(yù)測。此數(shù)據(jù)集中包括了性別、身高、體重、衣長等對回歸預(yù)測具有重大參考意義的數(shù)據(jù)。所以，根據(jù)這些數(shù)據(jù)，進行對應(yīng)的預(yù)測就成為本次項目的目的。例如：當(dāng)測試一個從未測試過的員工的量體數(shù)據(jù)時，可以依據(jù)他/她的身高、體重數(shù)據(jù)，來大致預(yù)測出該員工其他項數(shù)據(jù)比如衣長、肩寬等的可能取值。本次數(shù)據(jù)目的是根據(jù)身高、體重的值來預(yù)測緊胸圍和緊臀圍。

2 項目所面臨的問題以及解決方法

2.1 清洗數(shù)據(jù)（異常值處理、處理方法優(yōu)化）

1）格式處理

本次項目采用python中的pandas包來進行數(shù)據(jù)的讀取，然而經(jīng)過試驗，pandas的data frame格式并不能讀取中文，所以將對應(yīng)的屬性值改成英文（sex， height， weight， jxw， jtw）才可以方便pandas的讀取。與此同時，性別屬性的兩個屬性值“男”“女”也不能在pandas中進行操作，因此更換采用0-1型數(shù)據(jù)格式（“男”為1，“女”為0）。

2）缺失值處理

隨后，通過np.where查詢語句，我們發(fā)現(xiàn)本數(shù)據(jù)集內(nèi)有大量值為空（NaN）的屬性格，這些數(shù)據(jù)必定會對數(shù)據(jù)的處理和預(yù)測產(chǎn)生負(fù)面的影響。

考慮到本次項目的準(zhǔn)確性以及其他數(shù)據(jù)依舊具有相當(dāng)?shù)拇硇?，我們決定將這些數(shù)據(jù)全部刪除。原csv文件中有5998條數(shù)據(jù)，相關(guān)數(shù)據(jù)經(jīng)過刪除NaN值后，還剩下3292條數(shù)據(jù)。

3）異常值處理

首先導(dǎo)入matplotlib相關(guān)包，然后先對這些輸出畫出一個箱型圖。

從圖3中可以看出數(shù)據(jù)最開始的離散程度還是很大的，尤其是身高和緊臀圍屬性，經(jīng)計算的標(biāo)準(zhǔn)差高達(dá)36.049和16.831。通過常理可知，身高和緊臀圍1000多的數(shù)據(jù)必然出現(xiàn)問題，而且有極大可能是厘米和米單位換算出現(xiàn)問題可以暫時當(dāng)作訓(xùn)練集保留，通過后期的預(yù)測來校驗；同時明顯小于常理值的數(shù)據(jù)也肯定出現(xiàn)了問題，這些數(shù)據(jù)大概率是錄入數(shù)據(jù)的時候出現(xiàn)了問題，因此刪除。

同時3σ原則也可以很有效的過濾數(shù)據(jù)。正常的一組數(shù)據(jù)，mean+3σ到mean-3σ之間就會涵蓋總數(shù)據(jù)的99.7%，所以當(dāng)將數(shù)據(jù)集中的數(shù)據(jù)范圍框定在mean+3σ到mean-3σ之間即可進行相對有效的數(shù)據(jù)過濾。未經(jīng)過箱型圖法過濾的數(shù)據(jù)過濾后，淘汰的數(shù)據(jù)恰恰也是1000多的數(shù)據(jù)和遠(yuǎn)遠(yuǎn)小于常理值的數(shù)據(jù)。但這并不代表箱型圖法和3σ原則效果一樣。

當(dāng)數(shù)據(jù)的離散程度較大時，3σ原則處理數(shù)據(jù)的效果會由于箱型圖法。若一組數(shù)據(jù)較為集中，則其標(biāo)準(zhǔn)差σ就會非常小，因此淘汰的數(shù)據(jù)就會相應(yīng)減少；而箱型圖主要是按照percentile四分位值來構(gòu)圖的，當(dāng)數(shù)據(jù)的離散程度較小時，四分位差就會顯得很小，從而會錯過濾很多正常值。然而這次數(shù)據(jù)是比較集中的人體數(shù)據(jù)，因此采用3σ原則會優(yōu)于箱型圖法。

2.2 填寫數(shù)據(jù)錯誤（反預(yù)測）

正如上文所提到的那樣，在填寫數(shù)據(jù)時，難免會發(fā)生錯誤。暫且把這些錯誤分為兩種，一種是不可猜測的錯誤數(shù)據(jù)，比如將160填寫成60或者16等；另一種時刻猜測的錯誤數(shù)據(jù)，比如將160填寫成1600。實際上，第一種錯誤因為無法猜測，對于數(shù)據(jù)的回歸和預(yù)測是沒有正面影響的，然而第二種數(shù)據(jù)，可以猜測到錯誤原因的，則需要基于其他數(shù)據(jù)的預(yù)測來檢測其正確性。以兩組錯數(shù)據(jù)[0，1550，53，84，90]、[0，1550，50，93]為例。除去這兩組數(shù)據(jù)后，再通過對這組數(shù)據(jù)的梯度下降回歸（gradientDescent），經(jīng)過10000次迭代，可以得到大致的預(yù)測結(jié)果。當(dāng)輸入[sex， weight]時，可以得到預(yù)測結(jié)果[height]。帶入數(shù)據(jù)[0， 53]和[0， 50]，分別得到了結(jié)果160和159。

兩組數(shù)據(jù)都在誤差范圍內(nèi)，因此可將數(shù)據(jù)1550改為155填入表內(nèi)。再測定錯誤數(shù)據(jù)[0，158，52，88，994]這組數(shù)據(jù)中，緊臀圍數(shù)據(jù)994明顯高于常理值，因此再帶入預(yù)測。設(shè)定程序為輸入[sex， weight]得到[jtw]的預(yù)測值，輸入數(shù)據(jù)[0，52]可以得到結(jié)果[92]。因此可以相信此條錯誤數(shù)據(jù)也是因為單位出現(xiàn)了問題。將99或者94帶入即可。

涉及體重時，考慮到常用單位為斤和公斤，也可能會存在類似誤差。第一次3σ篩選后得出的錯誤數(shù)據(jù)如圖8：

經(jīng)過預(yù)測后，我們發(fā)現(xiàn)，體重中有些數(shù)值接近于預(yù)測值的兩倍。于是我們考慮到在體重錄入時，員工可能會將自己的體重單位默認(rèn)為“斤”和“公斤”，這兩個單位見正好是兩倍關(guān)系。所以可以將記錄體重約為預(yù)測體重兩倍的記錄認(rèn)定為單位錯誤，處理這些數(shù)據(jù)時候，可以將數(shù)據(jù)/2，再帶入計算。再具體程序中，將1.5倍視為單位錯誤。通過參數(shù)count_d來記錄替換次數(shù)。

最終得出在所有數(shù)據(jù)記錄中，替換次數(shù)為489次。

2.3 回歸算法比較與優(yōu)化（均以身高+體重預(yù)測緊臀圍為例）

這次項目，我們使用了python中的scipy包，它涵蓋了很多便捷的數(shù)據(jù)處理方法，比如回歸、聚類、分類等算法。當(dāng)我們需要對數(shù)據(jù)進行回歸預(yù)測時，這個包里的內(nèi)容給予了我們極大的幫助。但是在諸多回歸方法中，應(yīng)該如何甄別各回歸方法的效率呢？我們可以使用scipy包中自帶有score的評分包來對回歸方法進行評分。

最開始時，我們采取的性別0-1化對項目結(jié)果有著超乎預(yù)期外的影響，當(dāng)程序讀取整則數(shù)據(jù)時，（以普通最小二乘法為例）整個算法的預(yù)測評分才只有0.65。預(yù)測結(jié)果如圖9和圖10。

然而當(dāng)我們將男女分開進行測試時，女生的評分為0.89，男生的評分為0.87。相比較之前合并處理的結(jié)果有了很大的提升，對應(yīng)的預(yù)測結(jié)果圖也顯示出了較好的預(yù)測結(jié)果。

普通最小二乘（OLS）是一種類型的線性最小二乘用于估計未知方法參數(shù)在一個線性回歸模型。OLS 通過最小二乘法原則選擇一組解釋變量的線性函數(shù)的參數(shù)：最小化給定數(shù)據(jù)集中觀察到的因變量（被預(yù)測變量的值）與預(yù)測變量之間差異的平方和通過線性函數(shù)。

幾何上，這被視為與因變量軸平行的平方距離之和，集合中的每個數(shù)據(jù)點與回歸表面上的對應(yīng)點之間的差異 - 差異越小，模型越適合數(shù)據(jù)。得到的估計量可以用簡單的公式表示，特別是在右側(cè)的簡單線性回歸（單個回歸量）的情況下。

如上文所述，女生的評分為0.89，男生的評分為0.87。

Ridge Regression嶺回歸（吉洪諾夫正規(guī)化）（0.89，0.87）

嶺回歸（英文名：ridge regression， Tikhonov regularization）是一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，實質(zhì)上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數(shù)更為符合實際、更可靠的回歸方法，對病態(tài)數(shù)據(jù)的擬合要強于最小二乘法。

在統(tǒng)計學(xué)和機器學(xué)習(xí)中，套索（最小絕對收縮和選擇算子）（也稱為Lasso或LASSO）是一種回歸分析方法，它執(zhí)行變量選擇和正則化，以提高其產(chǎn)生的統(tǒng)計模型的預(yù)測準(zhǔn)確性和可解釋性。Lasso最初是制定的最小二乘模型，這個案例揭示了估計量行為的大量數(shù)據(jù)，包括它與嶺回歸和最佳子集選擇的關(guān)系以及套索系數(shù)估計與所謂的軟閾值之間的聯(lián)系。它還揭示了（如標(biāo)準(zhǔn)線性回歸）如果協(xié)變量是共線的，系數(shù)估計不必是唯一的。

盡管最初定義為最小二乘法，但是套索正則化很容易擴展到各種統(tǒng)計模型，包括廣義線性模型，廣義估計方程，比例風(fēng)險模型和M-估計，以直接的方式。Lasso執(zhí)行子集選擇的能力依賴于約束的形式，并且具有各種解釋，包括幾何，貝葉斯統(tǒng)計和凸分析。

在統(tǒng)計學(xué)中，最小角度回歸（LARS）是一種將線性回歸模型擬合到高維數(shù)據(jù)的算法，由Bradley Efron，Trevor Hastie，Iain Johnstone和Robert Tibshirani開發(fā)。

LARS解決方案不是給出矢量結(jié)果，而是由表示參數(shù)矢量的L1范數(shù)的每個值的解的曲線組成。該算法類似于前向逐步回歸，但不是在每個步驟中包括變量，而是在與殘差的每個相關(guān)性等角度的方向上增加估計參數(shù)。

在統(tǒng)計學(xué)中，貝葉斯線性回歸是一種線性回歸方法，其中統(tǒng)計分析是在貝葉斯推斷的背景下進行的。當(dāng)回歸模型具有正態(tài)分布的誤差時，并且如果假設(shè)特定形式的先驗分布，則可以獲得模型參數(shù)的后驗概率分布的顯式結(jié)果。

在統(tǒng)計，多項式回歸是一種形式的回歸分析，其中所述的關(guān)系獨立變量 X和因變量 ?建模為?個程度多項式在X。多項式回歸擬合的值之間的非線性關(guān)系X和相應(yīng)的條件均值的?表示為E，（? | X），并已被用于描述非線性現(xiàn)象，例如組織的生長速率，湖泊沉積物中碳同位素的分布，[2]和疾病流行的進展。雖然多項式回歸擬合數(shù)據(jù)的非線性模型，但作為統(tǒng)計估計問題，它是線性的，在某種意義上，回歸函數(shù)E（y|x）在從數(shù)據(jù)估計的未知參數(shù)中是線性的。因此，多項式回歸被認(rèn)為是多元線性回歸的特例。

本次實驗結(jié)果所呈現(xiàn)的回歸方法評分都比較相近，當(dāng)已知[身高，體重]，預(yù)測[緊臀圍]時，女生和男生數(shù)據(jù)采用適用的回歸方法所得的評分都分別為0.89和0.87?？赡茉蛴幸韵聨讉€：

a） 在數(shù)據(jù)清洗時，拋棄了太多異常值，導(dǎo)致數(shù)據(jù)離散程度較小，如上圖所顯示的那樣，呈現(xiàn)出比較密集的散點，這樣的分布可能會導(dǎo)致回歸算法不能有效的得出最優(yōu)的曲線。

b） 本次數(shù)據(jù)集雖然總數(shù)居高達(dá)5998條，但是經(jīng)過數(shù)據(jù)清洗之后，剩下了僅僅3000多條。不充分的數(shù)據(jù)，也會導(dǎo)致算法得到的結(jié)果有相異度，但是相異度太小，無法體現(xiàn)。當(dāng)數(shù)據(jù)集的數(shù)據(jù)記錄足夠多，展現(xiàn)出足夠豐富的屬性值時，各個回歸方法的優(yōu)點才會各自體現(xiàn)。

c） 本次數(shù)據(jù)集的記錄是反映人體的量體數(shù)據(jù)，眾所周知，人體的量體數(shù)據(jù)比較集中，會導(dǎo)致無法有效擬合等問題。

與此同時，我們也可以發(fā)現(xiàn)，LARS Lasso和多項式回歸算法并不適合于低維度的數(shù)據(jù)分析，當(dāng)需要處理多維數(shù)據(jù)集時，這兩個算法可能才會體現(xiàn)出優(yōu)勢。

2.4 預(yù)測相關(guān)數(shù)據(jù)的準(zhǔn)確性

本次項目所使用的所有回歸算法，都帶有predict函數(shù)，可以通過train集得出對應(yīng)最優(yōu)回歸曲線，然后使用test集對得出的曲線進行驗證，從而得到預(yù)測值和正確率。

在上文數(shù)據(jù)清洗時，已經(jīng)運用到predict函數(shù)，來對數(shù)據(jù)是否具有不可猜測的錯誤性進行驗證。當(dāng)然，在絕大多數(shù)其他實際案例中都可以通過predict函數(shù)來對未知數(shù)據(jù)的屬性進行預(yù)測。本項目將通過員工（已知性別）的身高、體重，預(yù)測未知的緊胸圍和緊臀圍。（不適用方法將推薦在預(yù)測時使用）

當(dāng)將test數(shù)據(jù)帶入算法時，會得到對應(yīng)的一個predict集，在matplotlib包中調(diào)用plot和scatter方法，畫出x=y和散點。散點坐標(biāo)為（預(yù)測值，測試值），當(dāng)散點越靠近直線則表示預(yù)測值越精準(zhǔn)。下面為各算法對于不同的隨機數(shù)據(jù)集展現(xiàn)出的預(yù)測情況。

由于這些回歸算法的評分幾乎相同，所以所得到的預(yù)測結(jié)果的正確率并沒有多大的區(qū)別，從而導(dǎo)致以上這些曲線除了一些細(xì)小的變化，幾乎并沒有相異度。

與此同時，LARS Lasso的曲線也可以由算法也可以得到結(jié)果如圖39，40：

由上圖可以更加肯定的得出這樣的結(jié)果：回歸算法的預(yù)測準(zhǔn)確率和算法評分是呈正相關(guān)的關(guān)系。

3 數(shù)據(jù)挖掘的應(yīng)用前景和展望

目前數(shù)據(jù)挖掘得到了充分而迅速的發(fā)展，現(xiàn)在的數(shù)據(jù)挖掘熱點在于各種大數(shù)據(jù)的精確挖掘，例如網(wǎng)站上的數(shù)據(jù)挖掘，如上文提到的電子商務(wù)內(nèi)容；對生物的基因信息進行數(shù)據(jù)發(fā)掘；從大批量文本中進行數(shù)據(jù)挖掘等。未來的發(fā)展趨勢很大程度上也會沿著這三個方向進行進一步的發(fā)展和完善。我國的數(shù)據(jù)挖掘尚不成熟，處于發(fā)展階段，但各行各業(yè)對于數(shù)據(jù)挖掘的重視程度正逐步提高，對數(shù)據(jù)挖掘的研究和應(yīng)用也越來越廣泛。

4 總結(jié)

數(shù)據(jù)挖掘是一個常見而好用的數(shù)據(jù)處理工具，在如今的電子商務(wù)時代和大數(shù)據(jù)時代并行的時代背景下顯得尤為重要，目前國內(nèi)外對數(shù)據(jù)挖掘的熱度正逐漸上升，多個數(shù)據(jù)量大且對數(shù)據(jù)處理需求較大行業(yè)已經(jīng)開始應(yīng)用數(shù)據(jù)挖掘來進行輔助決策，數(shù)據(jù)處理在日常的數(shù)據(jù)分析中也開始逐步應(yīng)用。但是就目前而言數(shù)據(jù)挖掘還存在著許多缺憾和不足，例如在數(shù)據(jù)量非常大時，數(shù)據(jù)發(fā)掘的速度和效率亟待提高、動態(tài)數(shù)據(jù)的挖掘方式不足、對多數(shù)據(jù)類型的挖掘方法不夠等。作為數(shù)據(jù)的分析者，必須理解和掌握數(shù)據(jù)挖掘的原理和使用方法，熟練和合理的應(yīng)用數(shù)據(jù)挖掘，從而能解釋和應(yīng)用最終的數(shù)據(jù)挖掘結(jié)果，使得數(shù)據(jù)挖掘能真正有利于自己的工作，服務(wù)于行業(yè)。

【通聯(lián)編輯：梁書】