大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用分析

盧文亮 中國人民大學(xué) 102200

在各個領(lǐng)域的發(fā)展過程中，信息資源是最為重要的生產(chǎn)管理因素之一，可以為各領(lǐng)域的發(fā)展提供有效的參考和依據(jù)。云技術(shù)以及互聯(lián)網(wǎng)技術(shù)的發(fā)展為信息資源的存儲和分析提供了堅實有力的技術(shù)基礎(chǔ)，因此，各行業(yè)想要獲得更大的發(fā)展，就需要注重對隱藏的數(shù)據(jù)進行深入挖掘，將其進行有效整合，從中獲取有效的信息。在此過程中，數(shù)據(jù)挖掘技術(shù)就顯的尤為重要，科學(xué)合理的運用數(shù)據(jù)挖掘技術(shù)可以實現(xiàn)對數(shù)據(jù)信息的最大化利用，利用對數(shù)據(jù)信息挖掘分析的結(jié)果來指導(dǎo)行業(yè)的發(fā)展。與此同時，也要注重數(shù)據(jù)信息的安全和保密，完善各項數(shù)據(jù)保密技術(shù)，有效保護各項數(shù)據(jù)信息。

1.數(shù)據(jù)挖掘技術(shù)概述

數(shù)據(jù)挖掘技術(shù)顧名思義就是對數(shù)據(jù)信息的深入挖掘，尋找其中有價值的數(shù)據(jù)信息，具體來講就是利用統(tǒng)計學(xué)、云技術(shù)、大數(shù)據(jù)技術(shù)以及人工智能技術(shù)等高科技技術(shù)，在龐大的數(shù)據(jù)庫中發(fā)掘其中隱藏的數(shù)據(jù)信息，以此來為相關(guān)決策提供支持【1】。之所以被稱之為數(shù)據(jù)挖掘技術(shù)，主要是這項技術(shù)所要尋找的信息是之前尚未明確的，但是其具有潛在的價值，因此需要在龐大的數(shù)據(jù)庫中進行挖掘。這項技術(shù)需要以多項高科技技術(shù)為基礎(chǔ)，從龐大的數(shù)據(jù)信息中識別具有價值的信息，從而為決策人員進行決策提供一定的參考和指導(dǎo)，以規(guī)避風(fēng)險，做出合理的判斷。

數(shù)據(jù)挖掘的基礎(chǔ)是需要龐大的數(shù)據(jù)信息，且數(shù)據(jù)信息的來源必須真實有效，這樣才能在其中發(fā)掘出一些之前尚未明確的，且具有相應(yīng)的利用價值的信息。被挖掘的數(shù)據(jù)庫中的數(shù)據(jù)可以是多種多樣的，包括未識別的數(shù)據(jù)、隨機的數(shù)據(jù)、缺損數(shù)據(jù)、不完整數(shù)據(jù)等，但是數(shù)據(jù)量必須要大，只有以龐大的數(shù)據(jù)為基礎(chǔ)，才有可能從其中挖掘出有價值的信息。

數(shù)據(jù)挖掘技術(shù)并不是一項簡單的技術(shù)，而是多種技術(shù)的有機結(jié)合，數(shù)據(jù)挖掘技術(shù)可以在挖掘數(shù)據(jù)的過程中實現(xiàn)對數(shù)據(jù)的歸納和整理，使這些數(shù)據(jù)信息得到最大化的利用。數(shù)據(jù)挖掘技術(shù)可以從對數(shù)據(jù)的簡單分析到復(fù)雜演繹，從表面深入到隱藏的部分，通過一個極其復(fù)雜的過程從原始數(shù)據(jù)中尋找出具有利用價值的信息。同時其挖掘數(shù)據(jù)的過程中，其所歸納和整理的數(shù)據(jù)也可以對其加以利用，譬如信息檢索、查詢等。

2.數(shù)據(jù)挖掘技術(shù)的主要方法

2.1 聚類

聚類的分析方法主要是針對一組數(shù)據(jù)信息，將其按照數(shù)據(jù)信息的類別以及其相似度將其分為不同的層級，制定出科學(xué)的、覆蓋范圍廣的、詳盡的判斷模型，使這部分?jǐn)?shù)據(jù)信息中，同類別數(shù)據(jù)具備較高的相似性，不同類別數(shù)據(jù)具備較低的相似性，以此為決策人員的決策提供參考。這種方法一般在市場營銷中使用的比較多，譬如對客戶的分類、尋找潛在客戶、預(yù)測銷售狀況、分析商品的周期等【2】。

2.2 關(guān)聯(lián)

關(guān)聯(lián)主要指的是原始數(shù)據(jù)中各部分?jǐn)?shù)據(jù)信息之間所存在的聯(lián)系或者關(guān)系，具體來說就是原始數(shù)據(jù)中的這部分?jǐn)?shù)據(jù)信息很可能與另一部分?jǐn)?shù)據(jù)信息之間存在一些隱藏的聯(lián)系，通過對兩部分?jǐn)?shù)據(jù)信息的分析可以發(fā)現(xiàn)其中隱藏的關(guān)聯(lián)性。例如，當(dāng)你在維護和客戶的關(guān)系的時候，就可以在該企業(yè)的客戶數(shù)據(jù)源中挖掘有效信息，在大量的關(guān)系交流的記錄中挖掘有效信息，挖掘有價值的線索，挖掘出不明顯的影響市場的關(guān)鍵節(jié)點，這對商品價格預(yù)判、銷售走勢、客戶類群分辨、銷售整體方向的規(guī)劃等具有重要的參考價值。

2.3 回歸分析

回歸分析主要是利用原始數(shù)據(jù)時間上的分布特征，構(gòu)建一個可以把數(shù)據(jù)信息回歸到預(yù)測變量中的函數(shù)關(guān)系，然后利用相應(yīng)的數(shù)學(xué)理論，分析變量與變量之間的關(guān)系。關(guān)于回歸分析的要點主要有以下幾項，一是數(shù)據(jù)信息之間關(guān)系的分析，二是預(yù)判走向的分析，三是數(shù)據(jù)變量的趨勢分析。

2.4 分類

分類的方法主要就是在原始數(shù)據(jù)中選擇一組具有相同特點的數(shù)據(jù)，依照事先確定的標(biāo)準(zhǔn)對其進行相應(yīng)的分類，將原始數(shù)據(jù)中的部分?jǐn)?shù)據(jù)信息歸入到某種既定的類別中。把數(shù)據(jù)源中的數(shù)據(jù)對象聯(lián)結(jié)到某種特殊的類別當(dāng)中【3】。例如可以把某一組數(shù)據(jù)對象聯(lián)結(jié)到顧客的分類中，然后對顧客的屬性進行分析，對顧客的特點進行分析，做滿意度調(diào)查、然后評判顧客的購買意向以及購買力.以某一個汽車廠商為例，如果這個汽車廠商把數(shù)據(jù)源中的顧客依據(jù)對汽車的愛好分門別類，這樣一線的銷售人員便可以把握主動，直接向這類顧客銷售相應(yīng)的產(chǎn)品，投其所好，大大提高了效率。

2.5 變化和偏差分析

原始數(shù)據(jù)中存在諸多存在偏差的數(shù)據(jù)信息，這其中隱藏著一些有利用價值的信息，譬如模式中的反?，F(xiàn)象，數(shù)據(jù)分類當(dāng)中的反?，F(xiàn)象，現(xiàn)實和期望之間的偏差等，對于這些存在偏差的數(shù)據(jù)信息進行分析，主要是研究現(xiàn)實中的結(jié)果和參照物之間的差別。在一些大型企業(yè)中，管理人員應(yīng)該對危機預(yù)警系統(tǒng)中的反?，F(xiàn)象和信息重點關(guān)注，對其進行深入挖掘分析，可以有效幫助管理人員挖掘出潛在的危機，從而提前做出應(yīng)對，規(guī)避風(fēng)險，降低危機造成的損失。

2.6 特征

數(shù)據(jù)源也可以根據(jù)特征進行數(shù)據(jù)分類，從中提取關(guān)于這些特征的特征式，這類公式可以提現(xiàn)該數(shù)據(jù)源的整體特點【4】。例如在一線的銷售人員在預(yù)防顧客流失的時候就可以先將顧客按照特征進行分類，然后再從中提取出顧客流失特征的特征式，就可以很快分找出造成顧客流失的很多原因以及特征了，然后再從特征中找出主要特征和次要特征，通過對這些顧客流失的特征分析就可以提前預(yù)防顧客流失的情況了。

2.7 Web網(wǎng)頁

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)已經(jīng)實現(xiàn)了大范圍的普及，人們在生活和工作大量的利用網(wǎng)絡(luò)進行交互，這就使得網(wǎng)絡(luò)中留存了大量的信息?；ヂ?lián)網(wǎng)中的數(shù)據(jù)包羅萬象，包括金融信息、企業(yè)信息、人力資源信息以及潛在的用戶群體信息等等，通過對互聯(lián)網(wǎng)數(shù)據(jù)的挖掘可以找出諸多有利用價值的信息。對于這部分?jǐn)?shù)據(jù)挖掘的重點在于預(yù)期可能會對企業(yè)的發(fā)展造成的影響因素，包括內(nèi)因和外因，或者說是潛在的內(nèi)因和外因，通過對這些影響因素進行分析，從而指導(dǎo)企業(yè)的發(fā)展方向，促使管理人員進行科學(xué)的決策。

3.數(shù)據(jù)挖掘技術(shù)的應(yīng)用

3.1 教育領(lǐng)域

在教育領(lǐng)域運用數(shù)據(jù)挖掘及時，可以讓老師對學(xué)生產(chǎn)生更深入的認(rèn)識和了解，通過對學(xué)生的基礎(chǔ)信息、興趣愛好、各學(xué)科的學(xué)習(xí)狀況等數(shù)據(jù)信息的挖掘分析，可以從中了解到學(xué)生優(yōu)勢、不足以及在學(xué)習(xí)中存在的薄弱環(huán)節(jié)，便于老師進行針對性的指導(dǎo)和幫助，從而有效提升教學(xué)質(zhì)量和教學(xué)效率。此外，數(shù)據(jù)挖掘技術(shù)的運用可以使各項教育資源配置進一步優(yōu)化，從而更好的開展教學(xué)。

3.2 科研領(lǐng)域

數(shù)據(jù)挖掘技術(shù)在科研領(lǐng)域也有廣泛的應(yīng)用，科研領(lǐng)域所取得的各項科研成果往往依賴于各種實驗以及對于實驗數(shù)據(jù)的整理、歸納和分析，找出實驗數(shù)據(jù)所表明的關(guān)系或者規(guī)律，并對其加以概括和引申。由于一項科研成果的出現(xiàn)往往需要大量的實驗，因此就會產(chǎn)生大量的實驗數(shù)據(jù)，如果采用人工對其進行整理、歸納和分析，其難度相對較大，工作量也極大，而利用數(shù)據(jù)挖掘技術(shù)可以很輕易的完成，只要構(gòu)建相應(yīng)的數(shù)據(jù)模型，然后依次對實驗數(shù)據(jù)進行深入分析，可以更高效的找出其中所隱含的信息，從而對科研方向提高相應(yīng)的參考。

3.3 電信領(lǐng)域

電信行業(yè)在人們的生活和工作中發(fā)揮著重要作用，可以讓人們便捷的實現(xiàn)交流和溝通，時間和空間上的限制極小。由于電信行業(yè)的用戶群體極為龐大，各個用戶群體之間往往所需要的服務(wù)也不盡相同，所以就需要有針對性的為用戶提供相應(yīng)的服務(wù)【5】。這就需要通過挖掘用戶信息，分析用戶的偏好以及所需要的服務(wù)類型，從而為用戶提供更優(yōu)質(zhì)的服務(wù)。數(shù)據(jù)挖掘技術(shù)的運用可以使電信企業(yè)在對龐大的用戶信息的分析中，明確各個用戶群體的偏好，有根據(jù)的預(yù)判其所需要的服務(wù)，并有針對性的為用戶提供其可能需要的服務(wù)，從而提升電信企業(yè)的服務(wù)水平。在電信領(lǐng)域用戶的需求就是潛在的、具有利用價值的信息，企業(yè)需要對用戶日常的使用習(xí)慣進行分析，挖掘用戶潛在的需求，并最大程度的滿足用戶的需求，這樣才能使電信企業(yè)獲得更大的發(fā)展。

3.4 市場營銷領(lǐng)域

數(shù)據(jù)挖掘技術(shù)最初就是在市場營銷當(dāng)中所使用的，主要是該領(lǐng)域需要記錄龐大的客戶信息，并通過對客戶信息的挖掘和分析，找出客戶的潛在需求，并為其提供相應(yīng)的產(chǎn)品。同時，還需要為客戶推薦其可能感興趣或者需要的產(chǎn)品，從而達到提升銷售業(yè)績的效果【6】。數(shù)據(jù)挖掘技術(shù)在市場營銷領(lǐng)域的使用，一定程度上降低了市場營銷的難度，同時也最大限度的使客戶的需求得到了滿足，形成了一種雙贏的局面。無論是對于銷售人員還是對于客戶，雙方都達成了各自的目的，各自的需求都得到了極大的滿足。

3.5 制造業(yè)領(lǐng)域

近年來，隨著人們物質(zhì)生活水平的不斷提升，人們對于市場上提供的各項產(chǎn)品的要求也逐漸變高。對于制造業(yè)領(lǐng)域而言，如何根據(jù)用戶的喜好拉優(yōu)化自身的產(chǎn)品是一個極為重要的問題。數(shù)據(jù)挖掘技術(shù)在制造業(yè)領(lǐng)域的應(yīng)用，可以用客戶的需求信息中發(fā)掘客戶所需要的產(chǎn)品，或者客戶對于產(chǎn)品某一方面的喜好。同時，將這些信息運用到產(chǎn)品的升級和研發(fā)當(dāng)中，從而使產(chǎn)品更加符合客戶的需求和喜好，是產(chǎn)品在市場上具備一定的競爭力，從而為企業(yè)創(chuàng)造更大的效益。

4.數(shù)據(jù)安全

當(dāng)前，在大數(shù)據(jù)的背景下，各個領(lǐng)域?qū)τ跀?shù)據(jù)信息的重視和利用都達到了一個前所未有的高度，對于數(shù)據(jù)信息的發(fā)掘和利用一方面促進了各個領(lǐng)域更好的發(fā)展，另一方面也最大程度的滿足了人們的需求，產(chǎn)生了極高的經(jīng)濟效益和社會效益。但是我們在享受大數(shù)據(jù)給我們帶來便利的同時，也要認(rèn)識到其中所存在的安全隱患，比如數(shù)據(jù)安全【7】。數(shù)據(jù)的泄露會對人們的生活和工作帶來極大的影響，尤其是關(guān)于個人隱私信息的泄露，不僅侵犯了人們的隱私權(quán)，同時對于人們也造成了一些潛在的威脅。

此外，部分別有用心之人可能通過對數(shù)據(jù)的分析，得出某些信息，從而進行一些危害社會的活動。譬如，通過對人口健康數(shù)據(jù)、基因測序數(shù)據(jù)的挖掘，可以預(yù)判國民身體健康走向；通過對移動消費的數(shù)據(jù)挖掘，可以得出國民消費的金融數(shù)據(jù)；通過對社會文化的分析可以得出國民的文娛喜好和思想文化偏好，這些分析結(jié)果很可能會被不法分子利用，從事某些破壞活動，進而影響到國家和人們的安全。

部分人員受利益的驅(qū)使，從事倒賣信息的活動，目前，甚至已經(jīng)形成了一個龐大的利益鏈條，其中尤其是個人隱私信息的倒賣，使得人們已無隱私可言，對人們的生活是極大的威脅。而目前，我國在這方面的法律機制尚不完善，加之網(wǎng)絡(luò)追責(zé)的難度較大，使得這種情況很難得到有效治理【8】。

因此，我們要以辯證的眼光看待大數(shù)據(jù)，不僅要積極的利用其優(yōu)勢，從而促進社會各個行業(yè)的發(fā)展。與此同時，我們也要認(rèn)識到其中所存在的隱患，并逐步完善相應(yīng)的保護機制，確保對于數(shù)據(jù)信息的利用在合理合法的范圍之內(nèi)，從而促進其良性發(fā)展。

結(jié)語

綜上所述，數(shù)據(jù)挖掘技術(shù)在各個領(lǐng)域的發(fā)展都發(fā)揮了極大的作用，不僅促進了各個領(lǐng)域的發(fā)展，同時也滿足了人們的需求。但是目前我國對于數(shù)據(jù)挖掘技術(shù)的運用還有極大的提升空間，因此，仍要進一步探究數(shù)據(jù)挖掘技術(shù)的價值，使其發(fā)揮更大的作用