淺析大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用

文世敏

【摘 要】隨著信息技術(shù)的快速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)融入人們生活的方方面面，當(dāng)下社會(huì)迎來(lái)了大數(shù)據(jù)時(shí)代。數(shù)據(jù)挖掘技術(shù)是大數(shù)據(jù)時(shí)代人類普遍使用的一項(xiàng)技術(shù)，也是現(xiàn)如今一項(xiàng)值得重點(diǎn)研究的課題。因?yàn)橥ㄟ^(guò)對(duì)大數(shù)據(jù)的深入分析對(duì)比，人們可以更加深入地了解數(shù)據(jù)背后所隱藏的奧秘。文章通過(guò)對(duì)大數(shù)據(jù)時(shí)代、數(shù)據(jù)挖掘技術(shù)的簡(jiǎn)要介紹和概括，詳細(xì)論述大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)時(shí)代；數(shù)據(jù)；數(shù)據(jù)挖掘技術(shù)；應(yīng)用

【中圖分類號(hào)】P311.13 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2018）06-0109-02

1 大數(shù)據(jù)概述

大數(shù)據(jù)顧名思義就是根據(jù)大量數(shù)據(jù)的集合，而“大”不僅僅是數(shù)量大，而且還有容量大、類型多、存儲(chǔ)速度快、應(yīng)用價(jià)值高等含義。大數(shù)據(jù)這一概念提出于2008年，此后，人們對(duì)大數(shù)據(jù)的了解越來(lái)越多，大數(shù)據(jù)也越來(lái)越融入人們的生活，在一定程度上改變著人們的生活。到目前為止，其對(duì)金融業(yè)、零售業(yè)、農(nóng)業(yè)等各個(gè)領(lǐng)域都產(chǎn)生了極大的影響，人類社會(huì)步入大數(shù)據(jù)時(shí)代。

1.1 大數(shù)據(jù)的特點(diǎn)

（1）Variety，大數(shù)據(jù)種類繁多，既包括結(jié)構(gòu)化數(shù)據(jù)，又包括網(wǎng)絡(luò)日志、錄音文件、視頻文件、圖形文件、地理位置信息文件等。

（2）Volume，通過(guò)各種各樣的設(shè)備產(chǎn)生大量數(shù)據(jù)，其產(chǎn)生的數(shù)據(jù)規(guī)模很龐大。

（3）Velocity，處理速度相當(dāng)快速，對(duì)數(shù)據(jù)的實(shí)時(shí)處理有著較高的要求。

（4）Value，價(jià)值密度低。

1.2 大數(shù)據(jù)的意義

大數(shù)據(jù)的意義實(shí)際上就是為了挖掘出龐大的數(shù)據(jù)集合背后的價(jià)值。阿里巴巴通過(guò)大數(shù)據(jù)分析每個(gè)用戶使用淘寶的瀏覽記錄，追蹤用戶需求，并主動(dòng)向用戶推薦相關(guān)商品。谷歌針對(duì)用戶檢索的詞條進(jìn)行數(shù)據(jù)挖掘，基于其中45個(gè)檢索詞組合的一個(gè)數(shù)學(xué)模型可以高精度預(yù)測(cè)流感，其預(yù)測(cè)結(jié)果的正確性達(dá)到97%，也就是說(shuō)，誤差率僅為3%。通過(guò)大數(shù)據(jù)，了解這些數(shù)據(jù)背后的價(jià)值，不僅可以總結(jié)出行業(yè)目前的發(fā)展?fàn)顩r，還能夠?qū)π袠I(yè)的未來(lái)發(fā)展做出預(yù)測(cè)，為之后的管理決策提供可靠的支持。

1.2.1 數(shù)據(jù)挖掘的內(nèi)涵、過(guò)程和方法解析

“數(shù)據(jù)挖掘”和“數(shù)據(jù)挖掘技術(shù)”這兩個(gè)詞雖然之前在某些行業(yè)應(yīng)用比較普遍，但是隨著大數(shù)據(jù)時(shí)代的到來(lái)，已經(jīng)在我們生活周?chē)?jīng)常被提及，成為現(xiàn)今階段至關(guān)重要的一項(xiàng)關(guān)鍵技術(shù)。數(shù)據(jù)挖掘技術(shù)在不斷地影響、改變著數(shù)據(jù)信息在生活、生產(chǎn)等方面的作用。

（1）數(shù)據(jù)挖掘的概念。數(shù)據(jù)挖掘這個(gè)概念，雖然其誕生很早，但是到目前為止其仍屬于一個(gè)新興的事物。數(shù)據(jù)挖掘一開(kāi)始主要應(yīng)用于商業(yè)領(lǐng)域，后來(lái)逐漸發(fā)展到各個(gè)行業(yè)的生產(chǎn)、管理部門(mén)中。數(shù)據(jù)挖掘就是將各種各樣不規(guī)則且非常復(fù)雜的數(shù)據(jù)，通過(guò)一定的技術(shù)手段，從中找出相對(duì)比較隱秘、具備潛在價(jià)值等特點(diǎn)的信息，從而為行業(yè)的發(fā)展提供參照。

（2）數(shù)據(jù)挖掘的基本過(guò)程。數(shù)據(jù)挖掘有3個(gè)基本過(guò)程。第一個(gè)過(guò)程是數(shù)據(jù)準(zhǔn)備。這是一個(gè)最基本但是非常重要的過(guò)程，只有首先把數(shù)據(jù)準(zhǔn)備工作做好，才能保障之后要完成的數(shù)據(jù)挖掘工作是最有效的。數(shù)據(jù)準(zhǔn)備也就是對(duì)原始數(shù)據(jù)進(jìn)行相應(yīng)的篩選、優(yōu)化、整理、轉(zhuǎn)換的過(guò)程。第二個(gè)過(guò)程是數(shù)據(jù)挖掘。作為最關(guān)鍵的一個(gè)過(guò)程，在進(jìn)行數(shù)據(jù)挖掘時(shí)，首先需要準(zhǔn)確了解數(shù)據(jù)挖掘所需要達(dá)到的最終目標(biāo)，其次需要找到合適的分析方法，最后合理地進(jìn)行數(shù)據(jù)挖掘，將其中有價(jià)值的數(shù)據(jù)充分使用。第三個(gè)過(guò)程是模式評(píng)價(jià)與分析。這一過(guò)程主要就是對(duì)結(jié)果進(jìn)行相應(yīng)的分析和解釋，轉(zhuǎn)化為人們能夠容易理解的結(jié)論，讓相應(yīng)行業(yè)得以使用。

1.2.2 數(shù)據(jù)挖掘的基本分析方法

數(shù)據(jù)挖掘的核心是數(shù)據(jù)分析方法。需要從數(shù)據(jù)的分析方法開(kāi)始，深入研究，才能發(fā)現(xiàn)這些數(shù)據(jù)背后所具有的意義和內(nèi)涵。無(wú)論生活中的哪一種特殊數(shù)據(jù)，只要深入探究這些數(shù)據(jù)的內(nèi)容，都會(huì)或多或少地發(fā)現(xiàn)這些數(shù)據(jù)的特殊規(guī)律和分布情況。因此，掌握數(shù)據(jù)分析方法相當(dāng)重要。一般常見(jiàn)的數(shù)據(jù)分析方法有以下幾種。

（1）聚類分析方法。聚類分析方法就是將一些不具體的、模糊的、沒(méi)有指向的數(shù)據(jù)信息搜集在一起，然后按照分類進(jìn)行整理、編輯，最后形成具有統(tǒng)一特征、具體表現(xiàn)的數(shù)據(jù)信息源，為之后的分析研究提供保障。

（2）關(guān)聯(lián)分析方法。事實(shí)上，不同的數(shù)據(jù)之間或多或少會(huì)有一些關(guān)聯(lián)性，而這些關(guān)聯(lián)性很難通過(guò)我們自身的力量去發(fā)現(xiàn)，這就需要人們依據(jù)關(guān)聯(lián)分析方法識(shí)別出數(shù)據(jù)信息之間的關(guān)聯(lián)性，制定出數(shù)據(jù)之間的關(guān)聯(lián)管理方案，從而達(dá)到完成對(duì)數(shù)據(jù)信息分辨的任務(wù)。這樣一個(gè)任務(wù)通常有著很強(qiáng)的目的性，因此，這個(gè)方法比較適合用于完成一些要求較高的、比較復(fù)雜的數(shù)據(jù)信息處理工作。

（3）特征性數(shù)據(jù)分析方法。當(dāng)今時(shí)代是一個(gè)數(shù)據(jù)信息資源大爆發(fā)的時(shí)代，各種各樣的數(shù)據(jù)資源緊緊圍繞在我們身邊，很多情況下，面對(duì)大量的數(shù)據(jù)，需要根據(jù)特定的特征要求進(jìn)行分類，來(lái)研究其表現(xiàn)出的規(guī)律，這種根據(jù)特定特征型數(shù)據(jù)進(jìn)行的分析方法即為特征性數(shù)據(jù)分析方法。例如，醫(yī)院每天接診無(wú)數(shù)病人，通過(guò)對(duì)這些病歷信息的分析，可以知道不同年齡層患某種疾病的可能性，提前做好預(yù)防措施；通過(guò)復(fù)雜的大批量數(shù)據(jù)對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行分析，實(shí)現(xiàn)對(duì)于計(jì)算機(jī)或人腦而言非常復(fù)雜的模式抽取及趨勢(shì)分析；可視化技術(shù)是數(shù)據(jù)挖掘中應(yīng)用非常廣泛的一種輔助技術(shù)，它借助圖形、圖像、動(dòng)畫(huà)等手段形象地指導(dǎo)操作、引導(dǎo)挖掘和表達(dá)結(jié)果等。

2 大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的應(yīng)用

當(dāng)前，數(shù)據(jù)挖掘技術(shù)已經(jīng)融入大數(shù)據(jù)環(huán)境中，為企業(yè)創(chuàng)造出更多的經(jīng)濟(jì)效益。因此，我國(guó)各大行業(yè)要想在競(jìng)爭(zhēng)中占據(jù)有利的地位，發(fā)揮不可替代的作用，實(shí)現(xiàn)信息資源的合理應(yīng)用，充分利用數(shù)據(jù)挖掘技術(shù)是必不可少的。下面簡(jiǎn)要分析大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)的具體應(yīng)用。

2.1 市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域

市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域可以說(shuō)是使用數(shù)據(jù)挖掘技術(shù)最早的一個(gè)領(lǐng)域。通過(guò)數(shù)據(jù)挖掘技術(shù)可以進(jìn)一步分析掌握不同的顧客的消費(fèi)習(xí)慣和消費(fèi)特點(diǎn)，從而在一定程度熟練掌握顧客購(gòu)買(mǎi)時(shí)的心理，激發(fā)顧客的購(gòu)買(mǎi)欲望，從而達(dá)到提升銷(xiāo)售業(yè)績(jī)的目的。目前數(shù)據(jù)挖掘技術(shù)在市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域的應(yīng)用，已經(jīng)不能簡(jiǎn)單解釋為超市購(gòu)物，它已經(jīng)逐步應(yīng)用到保險(xiǎn)、醫(yī)療和電子商務(wù)等行業(yè)中，為各個(gè)行業(yè)提供了潛在客戶群體，使他們能充分利用資源而不斷實(shí)現(xiàn)發(fā)展。

2.2 科學(xué)研究領(lǐng)域

在科學(xué)研究的過(guò)程中，科學(xué)家們往往需要通過(guò)分析各種各樣的數(shù)據(jù)，并從這些數(shù)據(jù)中找出一些能為研究做出參考的有用信息，掌握其中的規(guī)律，達(dá)到最終的研究目標(biāo)。也就是說(shuō)，數(shù)據(jù)挖掘技術(shù)是科學(xué)研究領(lǐng)域的一項(xiàng)很重要的輔助工具。因此，通過(guò)數(shù)據(jù)挖掘技術(shù)可以在一定的時(shí)間內(nèi)找出數(shù)據(jù)間存在的規(guī)律，最終發(fā)現(xiàn)一系列的信息和結(jié)論。例如，利用數(shù)據(jù)挖掘技術(shù)對(duì)DNA進(jìn)行詳細(xì)地分析研究，可以提高親子鑒定的準(zhǔn)確率等。所以，數(shù)據(jù)挖掘技術(shù)在科學(xué)研究領(lǐng)域也是至關(guān)重要的。

2.3 制造業(yè)領(lǐng)域

在生產(chǎn)制造業(yè)領(lǐng)域中，隨著人們生活品質(zhì)的提高，用戶對(duì)產(chǎn)品質(zhì)量的要求也越來(lái)越高。制造商可以通過(guò)對(duì)各個(gè)產(chǎn)品的數(shù)據(jù)進(jìn)行分析，進(jìn)一步提升產(chǎn)品的質(zhì)量和生產(chǎn)效率，從而降低生產(chǎn)商成本，提高用戶的滿意度。例如，分析造成產(chǎn)品缺陷的數(shù)據(jù)，就可以首先找出生產(chǎn)過(guò)程中能夠影響生產(chǎn)效率的各種因素，再通過(guò)數(shù)據(jù)挖掘技術(shù)進(jìn)行分析，最終找出其原因，進(jìn)一步提升產(chǎn)品的使用效率。

2.4 教育領(lǐng)域

如今，學(xué)校、家長(zhǎng)不只是關(guān)心學(xué)生的學(xué)習(xí)成績(jī)，而且還關(guān)心學(xué)生的心理健康教育。數(shù)據(jù)挖掘技術(shù)在今天的教育領(lǐng)域中也起到了不可替代的作用。學(xué)校利用數(shù)據(jù)挖掘技術(shù)，可以充分掌握和分析學(xué)生們的心理特征，可以使學(xué)校老師針對(duì)不同心理健康的學(xué)生采用不同的方法進(jìn)行知識(shí)的講解、內(nèi)容的安排。也可以利用數(shù)據(jù)挖掘技術(shù)分析學(xué)生的學(xué)習(xí)成績(jī)，及時(shí)準(zhǔn)確地了解到學(xué)生們的薄弱之處，有針對(duì)性地對(duì)薄弱之處進(jìn)行講解和指導(dǎo)，從而有效提高教學(xué)效率，提升教學(xué)質(zhì)量，使學(xué)生成績(jī)得以提升。

3 結(jié)語(yǔ)

數(shù)據(jù)挖掘技術(shù)在市場(chǎng)營(yíng)銷(xiāo)、科學(xué)研究、制造業(yè)、教育、電信等領(lǐng)域中發(fā)揮著至關(guān)重要的作用，就其發(fā)展前景來(lái)看，隨著數(shù)據(jù)挖掘技術(shù)研究的不斷深化，該項(xiàng)技術(shù)將會(huì)被運(yùn)用到更多的領(lǐng)域和行業(yè)中去?？傊?，大數(shù)據(jù)時(shí)代下，數(shù)據(jù)挖掘技術(shù)的發(fā)展和應(yīng)用會(huì)越來(lái)越有意義。

參 考 文 獻(xiàn)

[1]孫澤.淺析大數(shù)據(jù)時(shí)代[J].中國(guó)民商，2018（1）：244.

[2]Chen H，Deng Y.Enlightenment and Exploration of Big Data[J].Information Security & Communications Privacy，2013.

[3]田志民，梁品超，任艷紅，等.大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].當(dāng)代教育實(shí)踐與教學(xué)研究，2017（10）：4.

[責(zé)任編輯：鐘聲賢]