大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用

郭偉偉 吳文臣 隋亮

摘要：在大數(shù)據(jù)時代背景下，各行各業(yè)受到大數(shù)據(jù)的影響，在數(shù)據(jù)應用與共享上有了極大的便利。數(shù)據(jù)的價值在大數(shù)據(jù)時代下十分重要，不再單純是數(shù)字、額度，而是一種非物質(zhì)產(chǎn)物。而數(shù)據(jù)挖掘技術在大數(shù)據(jù)時代下廣泛應用于各行業(yè)之中，本文就從數(shù)據(jù)挖掘技術概念入手，分析幾種常見的數(shù)據(jù)挖掘技術，然后提出數(shù)據(jù)挖掘技術在各領域中的實際應用，希望能夠給相關人員提供參考。

關鍵詞：大數(shù)據(jù);數(shù)據(jù)挖掘;技術;應用

中圖分類號：TP311 文獻標識碼：A 文章編號：1007-9416（2020）08-0103-03

大數(shù)據(jù)技術能夠?qū)?shù)據(jù)實施集優(yōu)化處理與數(shù)據(jù)管理，但實際數(shù)據(jù)操作中還存在數(shù)據(jù)搜索不精準等問題，影響用戶對數(shù)據(jù)的使用情況。數(shù)據(jù)挖掘技術的出現(xiàn)能夠有效解決該問題，保證數(shù)據(jù)搜索的精準性，同時還能對數(shù)據(jù)進行必要的編輯處理。在大數(shù)據(jù)時代下，數(shù)據(jù)挖掘技術已經(jīng)在各領域中有了廣泛應用，為推動社會進步發(fā)展做出了巨大貢獻[1]?；诖?，加強對大數(shù)據(jù)時代數(shù)據(jù)挖掘技術與應用的研究具有十分現(xiàn)實的意義。

1 數(shù)據(jù)挖掘技術概述

數(shù)據(jù)挖掘主要是對隨意性強、模糊性質(zhì)數(shù)據(jù)的處理，能夠?qū)崿F(xiàn)對不是十分精確數(shù)據(jù)的深度挖掘。數(shù)據(jù)挖掘的過程相對復雜，且存在多種數(shù)據(jù)挖掘方法，不同挖掘方法在數(shù)據(jù)處理中相關步驟基本相同：第一，對待挖掘數(shù)據(jù)特點、形式等進行前提判斷，并分析這些數(shù)據(jù)是否具有挖掘的意義;第二，確定數(shù)據(jù)衡量標準，選擇恰當標準，將殘余數(shù)據(jù)進行清理;第三，實施深度挖掘，最終得到數(shù)據(jù)挖掘的結(jié)果。

目前，在各領域中數(shù)據(jù)挖掘都發(fā)揮了重要作用，能夠?qū)崿F(xiàn)對行業(yè)所需數(shù)據(jù)實施精準定位，將其中實用數(shù)據(jù)進行挖掘。同時，能夠?qū)?shù)據(jù)信息進行深度挖掘，根據(jù)數(shù)據(jù)實施市場預測，做出更加合理的判斷。基于數(shù)據(jù)挖掘技術，從大數(shù)據(jù)庫中提取出有用的信息，其具有一定判定功能，通過對數(shù)據(jù)中變量動態(tài)分析，客觀判定數(shù)據(jù)，對根據(jù)數(shù)據(jù)情況將挖掘?qū)ο蟮奶卣髅枥L出來。

2 數(shù)據(jù)挖掘技術方法

現(xiàn)階段，經(jīng)過科學技術發(fā)展，數(shù)據(jù)挖掘技術方法呈現(xiàn)出不同類型，以便于適應更多行業(yè)發(fā)展需求。大數(shù)據(jù)作為一個海量數(shù)據(jù)資源庫，利用數(shù)據(jù)挖掘技術想要實現(xiàn)精準分析，必須根據(jù)實際情況選擇針對性的數(shù)據(jù)挖掘技術。

2.1 聚類分析法

聚類分析法指的是將不同類型數(shù)據(jù)進行有效的歸類處理，整理零碎的數(shù)據(jù)信息，提升數(shù)據(jù)信息的條理性。聚類和分類有所區(qū)別，不是簡單的將數(shù)據(jù)進行分類，在數(shù)據(jù)對象不清晰情況下，尋找數(shù)據(jù)組中具有價值意義的信息[2]。聚類分析法缺點也十分明顯，即無法準確進行數(shù)據(jù)分類，因此目前聚類分析法僅運用于數(shù)據(jù)識別、心理學等領域中。

2.2 關聯(lián)分析法

根據(jù)相關理論發(fā)現(xiàn)任何事物之間都存在關聯(lián)性，這也是數(shù)據(jù)最為基本特征，為了在海量數(shù)據(jù)庫中提取有用的信息，必須能夠探索出數(shù)據(jù)和數(shù)據(jù)之間的規(guī)律。而關聯(lián)分析法即在這個背景下產(chǎn)生，利用數(shù)據(jù)之間關聯(lián)性進行數(shù)據(jù)挖掘，利用諸多具有關聯(lián)的數(shù)據(jù)最終找到想要的數(shù)據(jù)，并對數(shù)據(jù)進行辨別處理，最后將其運用到行業(yè)分析中。

2.3 特征分析法

在我國產(chǎn)業(yè)發(fā)展中，數(shù)據(jù)類型不斷增多，且數(shù)據(jù)量呈現(xiàn)持續(xù)增多的趨勢。面對這些數(shù)據(jù)量龐大、結(jié)構復雜、種類繁多的數(shù)據(jù)，需要針對其特征加以分類。這個過程中需要借助于先進的計算機設備，對數(shù)據(jù)加以虛擬分類，之后基于所需要數(shù)據(jù)的特征，對已經(jīng)分類數(shù)據(jù)深度挖掘，最終得到想要的數(shù)據(jù)結(jié)果。

隨著科學技術發(fā)展，數(shù)據(jù)挖掘方法會越來越豐富，也將發(fā)揮更大的作用。

3 大數(shù)據(jù)時代數(shù)據(jù)挖掘技術的具體應用

現(xiàn)如今，數(shù)據(jù)挖掘技術已經(jīng)廣泛應用于不同領域中，是由于其能適應各行業(yè)，能夠?qū)κ袌鲞M行精準預測，對促進企業(yè)發(fā)展，提高其生產(chǎn)效益具有重要意義。

3.1 在科研領域的應用

在科學研究過程中，必須以大量數(shù)據(jù)為基礎?？梢哉f，數(shù)據(jù)對科研領域具有重要的作用，包括原始資料數(shù)據(jù)、實驗數(shù)據(jù)等，都關系到科研工作的成敗，不僅需要分析數(shù)據(jù)之間關系，同時需要對數(shù)據(jù)進行統(tǒng)計學分析。因此，在科研領域中可以利用數(shù)據(jù)挖掘技術，根據(jù)科研項目提供數(shù)據(jù)為基礎，對所需要數(shù)據(jù)進行深度挖掘，快速羅列出所需數(shù)據(jù)，能夠為科研工作人員提供必要參考。

3.2 在電信領域的應用

在計算機互聯(lián)網(wǎng)發(fā)展過程中，電信產(chǎn)業(yè)逐漸興起并發(fā)展起來，成為人們?nèi)粘Ｉ钪胁豢扇鄙俚囊徊糠?，而電信企業(yè)發(fā)展中必須應用海量數(shù)據(jù)，才能為用戶提供更加優(yōu)質(zhì)的服務。電信數(shù)據(jù)往往具有較強的綜合性特點，一旦受到限制，則嚴重影響服務質(zhì)量[3]。利用數(shù)據(jù)挖掘技術，對相關數(shù)據(jù)條理化處理，更加全面的了解和記錄用戶信息，對服務過程中出現(xiàn)的各種問題。利用數(shù)據(jù)挖掘為電信企業(yè)提供精準的用戶信息，對電信企業(yè)優(yōu)化、高效運行提供便利。

3.3 在教育領域的應用

新時期，現(xiàn)代化教育工作開展中，對于學生個人發(fā)展情況、學習情況較為關注，而只有相關數(shù)據(jù)采用準確反映學生個人情況。在學校中，學生成績、各科學習都會形成數(shù)據(jù)，而在教育領域中使用數(shù)據(jù)挖掘技術，能更準確的分析學生各項素質(zhì)，最終得到的分析結(jié)果能為教師教學、學校管理工作提供參考，對促進現(xiàn)代化教育教學工作發(fā)展具有重要意義[4]。

3.4 在制造業(yè)領域的應用

經(jīng)濟發(fā)展下，我國人民生活水平有了質(zhì)的飛躍，對產(chǎn)品的質(zhì)量、功能都提出更高要求。在制造業(yè)領域中，產(chǎn)品數(shù)據(jù)、消費者需求數(shù)據(jù)等是制造業(yè)關鍵，通過數(shù)據(jù)挖掘技術對產(chǎn)品數(shù)據(jù)分類整理，并進行統(tǒng)計學分析，能夠?qū)Ρ瘸霎a(chǎn)品的優(yōu)點與缺點，根據(jù)數(shù)據(jù)結(jié)果對產(chǎn)品進行改良，不僅能有利于提升產(chǎn)品生產(chǎn)的效率，同時也能保證產(chǎn)品更加符合消費者需求，為制造商創(chuàng)造更大的經(jīng)濟效益，同時也制造出更多優(yōu)質(zhì)的產(chǎn)品。可以說，制造業(yè)領域中應用數(shù)據(jù)挖掘技術，對其自身的推動作用是巨大的。

3.5 在醫(yī)療領域的應用

新時期，醫(yī)學逐漸發(fā)達起來，但要想精準的進行疾病診斷依舊是一項難度較大的工作。通過數(shù)據(jù)挖掘技術，能在疾病診斷方面提供重要幫助，提升相關檢測精準度，還能降低醫(yī)務工作者的勞動量，提升疾病診治的效率，從疾病中拯救更多患者。在長期積累下，醫(yī)院數(shù)據(jù)量十分龐大，且具有處理方式繁雜、類型復雜等，傳統(tǒng)數(shù)據(jù)處理方式并無法發(fā)揮這些數(shù)據(jù)價值[5]。應用數(shù)據(jù)挖掘正好能解決該問題，對醫(yī)生進行疾病診斷提供重要幫助。

3.6 在計算機安全領域的應用

通過數(shù)據(jù)挖掘技術，能夠幫助用戶有效篩選、甄別網(wǎng)絡中存在的威脅計算機安全的軟件、病毒等。一些不法分子會利用偽裝，將一些病毒隱藏在軟件中，而一般殺毒軟件無法順利檢測出來。利用數(shù)據(jù)挖掘技術能夠輕松檢測出惡意軟件行為模式，并對其益害進行判斷，對凈化網(wǎng)絡環(huán)境，維護計算機網(wǎng)絡用戶安全具有重要幫助。

4 大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術的發(fā)展

發(fā)展至今，各行業(yè)都意識到數(shù)據(jù)挖掘技術在其發(fā)展中扮演的角色，也越來越重視數(shù)據(jù)挖掘開發(fā)?；诖髷?shù)據(jù)時代背景，數(shù)據(jù)挖掘技術必須有進一步發(fā)展，才能更好迎合時代發(fā)展需求。

4.1 多媒體數(shù)據(jù)發(fā)展

多媒體指的是包括文字、圖片、音頻、視頻為一體的集合媒體形式，在計算機網(wǎng)絡發(fā)展中呈現(xiàn)出更多元化形式，多媒體數(shù)據(jù)類型更多、復雜程度更甚。為了能夠?qū)@些更加多元復雜數(shù)據(jù)分析，傳統(tǒng)數(shù)據(jù)收集、分析技術已經(jīng)無法滿足，需要采用新型的數(shù)據(jù)挖掘技術，對多媒體數(shù)據(jù)實施即時精準處理，探求到掩藏在數(shù)據(jù)下的真實信息。

4.2 改進數(shù)據(jù)挖掘算法

算法是數(shù)據(jù)挖掘技術中關鍵環(huán)節(jié)，大數(shù)據(jù)讓數(shù)據(jù)搜集更加便利，但同時也標志著數(shù)據(jù)量呈現(xiàn)出幾何倍數(shù)增加。為了能夠快速處理海量數(shù)據(jù)信息，必須更精確的數(shù)據(jù)挖掘技術，必須對算法加以創(chuàng)新、改進，提升數(shù)據(jù)挖掘技術效率，促進其在更多領域能夠發(fā)揮更大作用。

4.3 與其他系統(tǒng)的集成

數(shù)據(jù)挖掘?qū)嵤┻^程中，并非只需要一種方法，很多時候需要多種計算模式共用，才能更加及時獲取有用信息。在應用數(shù)據(jù)挖掘技術中，應該保持更加靈活的原則，與各系統(tǒng)集成發(fā)展，保證數(shù)據(jù)挖掘發(fā)揮更大的價值。

5 結(jié)語

通過上述分析可知，在大數(shù)據(jù)時代背景下，數(shù)據(jù)的價值逐漸凸顯出來，而面對種類繁多、數(shù)量龐大的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理技術已經(jīng)無法滿足需求。而數(shù)據(jù)挖掘技術在這一背景下應運而生，并廣泛運用在各行各業(yè)中，無論是教育、醫(yī)療，還是電信、科研、制造，數(shù)據(jù)挖掘技術都發(fā)揮了重要作用。在市場經(jīng)濟發(fā)展環(huán)境下，數(shù)據(jù)類型還會不斷增多，必須加強對數(shù)據(jù)挖掘技術的開發(fā)與應用，保證其為社會進步與發(fā)展做出更大貢獻。

參考文獻

[1] 李陽.基于Spark的并行數(shù)據(jù)挖掘研究及應用[J].電子科技大學學報.2018，14（8）：69-70.

[2] 徐偉.基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術和應用分析[J].安陽師范學院學報.2018，20（8）：117-118.

[3] 裴海平.淺談數(shù)據(jù)挖掘技術在管理信息系統(tǒng)中的應用[J].科教導刊.2018，24（2）：119-120.

[4] 王長林.大數(shù)據(jù)和數(shù)據(jù)挖掘技術在煙草行業(yè)的應用分析[J].現(xiàn)代信息科技.2018，13（1）：28-30.

[5] 王娟.大數(shù)據(jù)時代數(shù)據(jù)挖掘在管理會計中的應用探討[J].現(xiàn)代商貿(mào)工業(yè).2019，16（2）：87-88.