數(shù)據(jù)分析挖掘技術(shù)淺析

郭東峰

摘 ?要：眾所周知，大數(shù)據(jù)已經(jīng)成為現(xiàn)代社會(huì)發(fā)展的重要推動(dòng)力量之一，大數(shù)據(jù)具有信息量大、種類多元等特點(diǎn)，這就使得我們?cè)诶么髷?shù)據(jù)的過程中一定要高度關(guān)注數(shù)據(jù)處理的時(shí)效和速度，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。數(shù)據(jù)分析挖掘技術(shù)便是要從海量的數(shù)據(jù)信息當(dāng)中尋找到隱藏其中的有效信息，進(jìn)而確保大數(shù)據(jù)應(yīng)用的價(jià)值和作用。該文將就數(shù)據(jù)分析挖掘技術(shù)進(jìn)行深入的分析和探究。

關(guān)鍵詞：大數(shù)據(jù) ?分析挖掘技術(shù) ?應(yīng)用分析 ?創(chuàng)新突破

中圖分類號(hào)：TP311 ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? 文章編號(hào)：1672-3791（2020）10（a）-0017-03

Abstract： As we all know， big data has become one of the important driving forces for the development of modern society. Big data has the characteristics of large amounts of information and diverse types， which makes us pay attention to the timeliness and speed of data processing in the process of using big data to ensure the real-time and accuracy of data. Data analysis and mining technology is to find the hidden effective information from the massive data information， so as to ensure the value and role of big data application. In this paper， data analysis and mining technology will be in-depth analysis and exploration.

Key Words： Big data; Analysis and mining technology; Application analysis; Innovation and breakthrough

伴隨著社會(huì)的發(fā)展與時(shí)代的進(jìn)步，大數(shù)據(jù)已經(jīng)滲透到了我們工作和生活的方方面面，并且呈現(xiàn)出非常重要的應(yīng)用價(jià)值，而掌握大數(shù)據(jù)分析和挖掘技術(shù)則是高效應(yīng)用大數(shù)據(jù)的重要前提。以下是筆者結(jié)合自己多年相關(guān)工作經(jīng)驗(yàn)，就此議題提出自己的幾點(diǎn)看法和建議。

1 ?大數(shù)據(jù)分析和挖掘技術(shù)的概念

1.1 大數(shù)據(jù)分析技術(shù)

何為大數(shù)據(jù)分析技術(shù)，其從理論層面來解釋，指的就是對(duì)現(xiàn)有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的改進(jìn)技術(shù)，開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘技術(shù)、特異群組挖掘技術(shù)、圖挖掘技術(shù)等新型數(shù)據(jù)挖掘技術(shù)。突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等大數(shù)據(jù)挖掘技術(shù)。

1.2 大數(shù)據(jù)挖掘技術(shù)

何為大數(shù)據(jù)挖掘技術(shù)，顧名思義，其指的就是從海量、有噪聲、模糊、不完全、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)當(dāng)中去提取隱含在其背后不為人所熟知和了解，但是有具備應(yīng)用價(jià)值的潛在信息和知識(shí)的過程。

2 ?大數(shù)據(jù)挖掘技術(shù)的分類

根據(jù)筆者的調(diào)查和研究，發(fā)現(xiàn)當(dāng)前在大數(shù)據(jù)挖掘技術(shù)領(lǐng)域當(dāng)中，所涉及的大數(shù)據(jù)挖掘技術(shù)的分類方法有很多種，根據(jù)不同的分類標(biāo)準(zhǔn)，大數(shù)據(jù)挖掘技術(shù)可以分為以下幾種類型。

（1）按照挖掘任務(wù)分類。大數(shù)據(jù)挖掘技術(shù)可以分為分類或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或者依賴模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等。

（2）按照挖掘方法分類。大數(shù)據(jù)挖掘技術(shù)可以分為機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)方法、統(tǒng)計(jì)方法和數(shù)據(jù)庫方法。

（3）按照挖掘?qū)ο蠓诸?。大?shù)據(jù)挖掘技術(shù)可以分為面向?qū)ο髷?shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、空間數(shù)據(jù)庫、文本數(shù)據(jù)源、時(shí)態(tài)數(shù)據(jù)庫、多媒體數(shù)據(jù)庫和異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫和環(huán)球網(wǎng)Web。

3 ?當(dāng)前比較具有代表性的幾類數(shù)據(jù)挖掘技術(shù)以及具體應(yīng)用分析

3.1 關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則的模式其實(shí)相對(duì)比較簡(jiǎn)單直接，其是讓兩個(gè)或者兩個(gè)以上項(xiàng)之間建立起關(guān)聯(lián)并確定項(xiàng)與項(xiàng)之間的關(guān)系。關(guān)聯(lián)規(guī)則在現(xiàn)實(shí)中的應(yīng)用主要體現(xiàn)銷售系統(tǒng)當(dāng)中，即確定產(chǎn)品與產(chǎn)品之間的關(guān)聯(lián)性，考慮產(chǎn)品之間的共同趨勢(shì)。比如，一般消費(fèi)者在超市購物時(shí)，購買了各種生吃蔬菜之后會(huì)選擇購買沙拉醬或者千島醬，用于制作蔬菜沙拉。還有，消費(fèi)者在購買衣服的時(shí)候，選擇了上衣之后也會(huì)考慮到褲子或者鞋子的搭配等，這就是關(guān)聯(lián)規(guī)則的實(shí)際應(yīng)用。其實(shí)，關(guān)聯(lián)規(guī)則是一個(gè)非常簡(jiǎn)單的方法，但是關(guān)聯(lián)規(guī)則背后蘊(yùn)藏著是人們的智慧，是人們對(duì)于大數(shù)據(jù)的洞察與應(yīng)用。現(xiàn)代社會(huì)中有越來越多的企業(yè)選擇應(yīng)用關(guān)聯(lián)規(guī)則來搜集信息和制定營(yíng)銷方案，其在增加企業(yè)經(jīng)濟(jì)效益中發(fā)揮著非常重要的作用。目前，關(guān)于關(guān)聯(lián)規(guī)則的主要應(yīng)用領(lǐng)域集中在市場(chǎng)營(yíng)銷、產(chǎn)品交叉或者搭配銷售以及實(shí)物擺放組織等諸多方面。

3.2 聚類

聚類，顧名思義，就是將各種數(shù)據(jù)信息記錄組合在一起的方式，聚類可以幫助用戶加深對(duì)數(shù)據(jù)庫中所發(fā)生事情的認(rèn)知程度，幫助用戶做出更加正確的選擇。

關(guān)于聚類的具體應(yīng)用，其中比較具有代表性的便是企業(yè)對(duì)市場(chǎng)的劃分。根據(jù)聚類方式，企業(yè)可以通過查看各個(gè)對(duì)象分組的情況來將市場(chǎng)細(xì)化分為多個(gè)客戶子集，也就是對(duì)市場(chǎng)進(jìn)行細(xì)分，然后根據(jù)每一個(gè)子集即細(xì)分后市場(chǎng)的情況來制定出具有針對(duì)性的營(yíng)銷策略，這樣一來，企業(yè)的營(yíng)銷效果必然會(huì)得到很大的提升。

3.3 分類

分類即實(shí)現(xiàn)對(duì)各項(xiàng)的分門別類。我們會(huì)就特定類別的項(xiàng)標(biāo)記清楚各自的屬性，然后按照標(biāo)記的屬性將其劃分到各個(gè)類別當(dāng)中去，根據(jù)類別來預(yù)測(cè)其未來的發(fā)展方向和形式，進(jìn)而提高預(yù)測(cè)的準(zhǔn)確程度。

以信貸公司為例來對(duì)分類這一方式進(jìn)行說明：信貸公司會(huì)制定出符合市場(chǎng)形勢(shì)的分類標(biāo)準(zhǔn)，公司員工會(huì)按照既定的分類標(biāo)準(zhǔn)對(duì)全部貸款申請(qǐng)人的實(shí)際情況進(jìn)行審核，在審核過后，將貸款申請(qǐng)人劃分為高信用風(fēng)險(xiǎn)、中信用風(fēng)險(xiǎn)和低信用風(fēng)險(xiǎn)3類等級(jí)當(dāng)中去，然后根據(jù)不同風(fēng)險(xiǎn)等級(jí)的服務(wù)內(nèi)容和標(biāo)準(zhǔn)來為貸款申請(qǐng)人提供信貸服務(wù)，這就有效保障了信貸業(yè)務(wù)的安全性，對(duì)于維護(hù)信貸公司的利益有著非常大的幫助作用。

3.4 決策樹

決策樹的價(jià)值主要在于對(duì)數(shù)據(jù)進(jìn)行分類和預(yù)測(cè)，從一個(gè)問題開始，通過決策樹我們可能得到多個(gè)答案，而每一個(gè)答案背后又會(huì)繼續(xù)出現(xiàn)更深一步的問題，而隨后出現(xiàn)的這些問題又會(huì)被用于分類和識(shí)別，便形成了決策樹的形式。

在具體應(yīng)用中，手機(jī)供應(yīng)商通過會(huì)選擇通過決策樹的形式來對(duì)流失的客戶或者不更新收集的客戶進(jìn)行分類，其會(huì)將數(shù)據(jù)分成多個(gè)葉結(jié)點(diǎn)，所有葉結(jié)點(diǎn)的數(shù)據(jù)記錄數(shù)的和等于輸入數(shù)據(jù)的記錄總數(shù)，也就是兩個(gè)或者兩個(gè)以上子結(jié)點(diǎn)中所包含的數(shù)據(jù)記錄的總和等于上一級(jí)父結(jié)點(diǎn)中的數(shù)據(jù)記錄總數(shù)。手機(jī)供應(yīng)商需要在及時(shí)存儲(chǔ)決策樹出現(xiàn)上下移動(dòng)過程中的客戶數(shù)量變化，通過數(shù)據(jù)的變化來分析客戶的流失情況。

3.5 序列模式

何為序列模式，其主要是根據(jù)序列來對(duì)發(fā)生的相似事件的趨勢(shì)以及發(fā)生同樣情況的可能性進(jìn)行識(shí)別。序列模式在實(shí)際生產(chǎn)生活中有著非常廣泛的應(yīng)用，生產(chǎn)商和經(jīng)銷商主要是利用序列模式這一數(shù)據(jù)挖掘技術(shù)來理解和評(píng)估廣大消費(fèi)者的購買行為，也會(huì)通過數(shù)據(jù)和序列模式來做出產(chǎn)品展示的決策。比如，序列模式可以幫助產(chǎn)品供應(yīng)商識(shí)別固定時(shí)間段內(nèi)客戶們?cè)诓煌瑫r(shí)間購買同一類產(chǎn)品的幾何，也可以使用序列模式來根據(jù)瀏覽頻率和過去購買歷史記錄來對(duì)客戶下一次做出購買商品行為的預(yù)測(cè)，提前將商品推薦給客戶或者直接將商品添加到客戶的購物車當(dāng)中去。

4 ?數(shù)據(jù)分析挖掘技術(shù)的創(chuàng)新與突破

4.1 可視化分析

數(shù)據(jù)的可視化屬于基礎(chǔ)功能，數(shù)據(jù)可視化，不管是對(duì)數(shù)據(jù)分析領(lǐng)域的專家還是對(duì)普通用戶而言，都是通過圖像的形式呈現(xiàn)出來，讓數(shù)據(jù)透過圖像的形式來說話，這樣數(shù)據(jù)分析專家和普通用戶都可以得到最直接的結(jié)果。

4.2 預(yù)測(cè)性分析

預(yù)測(cè)性分析是數(shù)據(jù)分析挖掘技術(shù)的重要價(jià)值體現(xiàn)之一，數(shù)據(jù)分析人員可以通過分析圖像，也可以對(duì)數(shù)據(jù)挖掘結(jié)果進(jìn)行分析，進(jìn)而對(duì)未來的方向和可能出現(xiàn)的結(jié)果做出前瞻性判斷和預(yù)測(cè)，而且預(yù)測(cè)的結(jié)果準(zhǔn)確性也比較高。

4.3 數(shù)據(jù)挖掘算法

如果說圖像是機(jī)器語言翻譯的重要途徑和結(jié)果，那么，數(shù)據(jù)挖掘就相當(dāng)于是機(jī)器中的母語。我們可以通過各種各樣的分析和計(jì)算方式來實(shí)現(xiàn)對(duì)數(shù)據(jù)的挖掘和精煉，比如分割、集群、孤立點(diǎn)分析等，提煉數(shù)據(jù)背后所隱藏著的有效信息。數(shù)據(jù)挖掘算法不僅要保證能夠應(yīng)對(duì)海量的數(shù)據(jù)，同時(shí)也要追求處理的速度和效率。

5 ?結(jié)語

綜上所述，大數(shù)據(jù)時(shí)代已然來臨，我們需要借助和利用大數(shù)據(jù)去解決現(xiàn)實(shí)工作和生活中存在的各種問題，大數(shù)據(jù)終將成為我們最得力的解決工具。大數(shù)據(jù)分析挖掘技術(shù)可以幫助我們從海量的數(shù)據(jù)信息當(dāng)中分析和挖掘出對(duì)我們有利、有效的信息資源，其為各行各業(yè)的發(fā)展與決策提供重要的參考依據(jù)，未來伴隨著大數(shù)據(jù)分析挖掘技術(shù)的不斷創(chuàng)新與升級(jí)，大數(shù)據(jù)在我們現(xiàn)實(shí)生活中所發(fā)揮的作用將會(huì)越來越強(qiáng)大。

參考文獻(xiàn)

[1] 劉政宇.大數(shù)據(jù)分析挖掘技術(shù)及其決策應(yīng)用研究[J].科學(xué)技術(shù)創(chuàng)新，2019（23）：84-85.

[2] 李加慶，原士棟.數(shù)據(jù)挖掘關(guān)鍵技術(shù)分析探索[J].計(jì)算機(jī)產(chǎn)品與流通，2020（3）：81.

[3] 林翔，賈璐，吳小勇.大數(shù)據(jù)技術(shù)在裝備體系仿真實(shí)驗(yàn)中的應(yīng)用模式及難點(diǎn)分析[J].兵工自動(dòng)化，2019，38（7）：26-29.

[4] 李希堯.基于數(shù)據(jù)挖掘技術(shù)的股票數(shù)據(jù)分析研究[D].電子科技大學(xué)，2020.

[5] 會(huì)淵凱.基于數(shù)據(jù)挖掘技術(shù)的NBA金州勇士隊(duì)取勝的影響因素分析[D].燕山大學(xué)，2019.

[6] 王者.基于數(shù)據(jù)挖掘技術(shù)的變電站巡檢機(jī)器人故障分析與自主特巡系統(tǒng)[D].山東大學(xué)，2019.

[7] 楊林芬.基于大數(shù)據(jù)分析技術(shù)的名老中醫(yī)醫(yī)案價(jià)值挖掘研究[D].云南大學(xué)，2019.

[8] 劉宇.基于數(shù)據(jù)挖掘技術(shù)的廣東省2005—2016年預(yù)防接種異常反應(yīng)分析[D].南方醫(yī)科大學(xué)，2019.