大數據時代的數據挖掘技術及應用研究

周力

摘 要：為了適應大數據時代的需求，拓展自身的專業(yè)知識，不斷去學習一些先進的技術尤為重要。其中數據挖掘工作已經逐漸成為當前社會主要研究的課題，通過對數據更加深入的分析和研究就可以使數據得到更加充分的利用。本文針對大數據挖掘技術的基本方法及應用進行分析并提出了具體運用策略。

關鍵詞：大數據；數據挖掘技術；互聯網

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1671-2064（2018）07-0007-02

著名未來學家阿爾文·托夫勒早于1980年著書，把“大數據”激動地頌贊是“第三次浪潮的華彩樂章”。不過，大約從2009年開始，“大數據”才成為互聯網信息技術行業(yè)的流行詞匯。美國Internet數據研究中心指出，世界互聯網上的數據以年50%增加，并且以兩年翻番增加，目前世界上91%以上的大數據是最近幾年才產生的。若是把“大數據”看作產業(yè)，那這份產業(yè)的價值關鍵是去提高對這些大數據的“加工能力”，通過“加工”完成數據的“增值”。從技術角度來看，我們必須學會從大量的不規(guī)則、復雜、模糊、隨機的數據中獲得人們事先沒有覺察的、隱隱的、潛值的知識的過程。

1 大數據的表象

數據增長有四個方向的挑戰(zhàn)和機遇：量（Volume）即數據多少、速（Velocity）即數據輸入輸出的速度、類（Variety）即多樣性、真實性（Veracity）即高質量的數據。對大數據的定義各有不同，但都廣泛提及這4V特征。

大量化（Volume）表征的是數據的量和數據的完整性。多樣性（Variety）表現在數據格式和來源都變得越來越多樣，而且非結構化的數據類型占3/4以上?？焖俣龋╒elocity）是指數據產生得快、處理得快，它滿足人們對信息的實時性需求。真實性（Veracity）則是指數據的重要性在于對決策的支持，數據規(guī)模并不能決定其能否為決策提供幫助，真實性和質量才是獲得真知和思路最重要的因素，是制定成功決策最堅實的基礎。為此，我們需要篩選、挖掘并發(fā)現、理解海量數據信息的真實性及它們間的關系，讓數據“說話”。

2 數據挖掘技術的基本概述

人工智能技術就是數據挖掘技術的體現，而人工智能技術的開發(fā)與運用就是與數據挖掘技術的應用相對應的，也就是說數據挖掘其實是依賴機器學習算法技術的提升來實現數據的整體創(chuàng)新的技術。其主要目的就是將一些規(guī)律之外的數據或者是相對于比較復雜的數據信息進行深入的挖掘，從而獲取一些隱秘不容易被人知道的信息，并且還能夠根據信息的具體形式從而判斷其是否具有大量的潛在價值，通過對數據的深入調查分析并將其轉換成對自身有意義的數據信息來制定公司企業(yè)的發(fā)展計劃，從而使企業(yè)獲得巨大的經濟利潤，保證公司的穩(wěn)定發(fā)展。

3 數據挖掘技術的方法介紹

數據挖掘技術的核心就是數理分析，通過分析方法的不同來解決不同類別的問題，以實現數據挖掘的潛值。該技術主要就是對人工智能的利用，通過對人工智能技術大力的研究并逐漸利用從而實現技術的總體創(chuàng)新。而其分析手段也有很多種，第一是聚類分析法，這種方法主要就是對收集到的數據按照其共性進行相關的分組，逐漸以板塊的形式呈現出來，把一些毫無相關的數據進行深入的研究和分析從而將其分成不同的組別，然后在這些組別中尋找到有一定價值的信息并充分的進行利用。但是這種分析方法也存在著明顯的缺陷，由于數據信息的屬性以及其類別很難保持聯系就導致此方法只適用于一些統計學計算、數據的識別過程以及相關的心理學研究上。第二是人工神經網絡，這種方法通過復雜的大批量數據進行分析，實現對于計算機或人腦而言非常復雜的模式抽取及趨勢分析，它是建立在自學習的數學模型基礎之上的，神經網絡一般是有指導的學習，也能夠無指導聚類，但輸入神經網絡中的值都是數值型的。所以就應該在收集到數據的同時就按照自身的實際需求來對數據進行有目的的分析。第三是關聯性分析法，因為有時候收集到的數據并不能直接進行應用，所以需要去對具有隱蔽性的數據以關聯性進行識別，完成數據顯性，這種分析方法是帶有一定精準目的性，因此這種分析方法主要就是應用在一些需要精準的數據分析上，例如一些非常精確的檔案信息管理工作。第四是特征性數據分析法，網絡上的數據信息隨著互聯網逐漸廣泛的應用其數量呈現出瘋漲的態(tài)勢，導致數據的整理過程更加具有難度，對此，為了能夠更好的解決這種情況，當前的數據整理工程師就應該對特征數據分析法進行應用。

在具體實施應用中，根據不同需求選擇適合的分析法是數據挖掘技術的核心要素。目前，在諸多數據挖掘中典型的是決策樹學習法。數據挖掘領域的編程算法很多，而且是實現數據挖掘的核心技術。結合“聚類分析法”以C4.5算法為例，此算法可以解決：用數據增益率來選擇屬性，它克服了用數據增益選擇屬性時偏向選擇取值多的屬性的不足；在樹構造過程中進行剪枝；能夠完成對連續(xù)屬性的離散化處理；能夠對不完整數據進行處理。其優(yōu)點是：產生的分類規(guī)則易于理解，準確率較高。其缺點是：在構造樹的過程中，需要對數據集進行多次的順序掃描和排序，因而導致算法的低效。除了這些還有很多種數據分析方法是對計算機的應用來把大量的虛擬信息進行更好的分類分析，找到數據之間的共性以及不同的特征狀態(tài)去進行更加深入的分析，從而為企業(yè)決策者提供更加準確的參考依據。

4 數據挖掘技術的應用舉例

4.1 以大數據為創(chuàng)新方向的行業(yè)競爭力不斷提升

數據挖掘技術的具體流程是先對海量數據進行保存、分析、整理、選擇、轉換等，然后才是對數據進行挖掘、評估、運用。

首先是在市場營銷領域，該領域是最先應用的數據挖掘技術，并且也是運用最廣的一個領域。依據政府2017年6月提供的數據，我國超過7.5億網絡用戶。他們當中有96%都是智能手機一類移動設備的使用者，也就是說，他們每天都上網。有調查報告稱，除網民的姓名、年齡、性別個人數據外，對于網民去何地、購買何物或在網上搜索什么、與誰聯系等數據也都能夠由人工智能采集并分析，幫助企業(yè)向消費者提供后期最適宜的產品和服務。其次是科學研究和實驗往往產生巨大的數據。科學研究中一般是根據研究內容選擇數據挖掘技術分析法去計算而找到數據中存在的規(guī)律，達成數據挖掘的價值，獲得科學知識的新成果。據說，天文學和基因學是最早產生大數據變革的領域，現在的基因儀15分鐘就可以完成過去需要10年才能完成的30億對堿基對的排序工作量。接下來是制造業(yè)，隨著人民日益增長的美好生活需要的不斷提高，對于生活用品質量的要求也更高，所以就應該加大數據挖掘技術的應用。對產品的生產以及經濟效益進行準確的預測，然后根據當前的實際狀況對分析產品缺陷的原因，對其進行完善與修正，制造出更多高質量的產品，進而幫助企業(yè)獲取更多的經濟利潤，還能夠對我國制造業(yè)起到推動作用，所以就要求數據挖掘技術能夠在制造行業(yè)中有更好的運用方式。

4.2 將數據挖掘技術運用到高校管理中

高校人員密集，伴隨著各種隨身設備、物聯網和云計算、云存儲等技術的發(fā)展，人和物的所有軌跡都可以被記錄，數據因此被大量生產出來。隨著數據挖掘技術在高校教育教學管理中的大量運用，反映招生、就業(yè)、助困、教學評價、后勤服務、科研、學生思想政治工作等工作方面的相關數據一方面困惑我們，另一方面缺乏開發(fā)利用。所以數據挖掘尤其需要在高校管理中進一步開發(fā)。怎樣做好高校管理工作，我們可以通過數據挖掘技術的合理運用來探討?？梢詮膹娀髷祿庾R、提高利用大數據的能力、完善利用大數據技術體系及制度保障著手，不斷提高工作的針對性、精準性，挖掘高校教育的管理運行的潛在規(guī)律，夯實高校管理基礎。比如，通過對課堂教學、學生的心理和其生活中的一些數據進行分析就能夠幫助老師在教學的過程中有所依據，并且制定合理的教學方案，然后對學生的學習成績以及他們平時課堂上的表現來了解到學生在學習過程中難以接受的知識點，從而對教學方法進行調整，促進老師可以有針對性的教學；還可以將數據挖掘技術應用到教學方法中去，來優(yōu)化學生的教學資源，使教學的相關資源發(fā)揮出更大的作用，從而使教學的方式和條件得到一定程度的提高。我們知道，數據挖掘技術在高校管理中的應用范圍是比較廣的，其內容比較復雜，但對每個小部分都能利用數據挖掘技術進行管理，比如招生就業(yè)評價，學生成績管理，課堂教學評價系統等等。

4.3 幫助企業(yè)的管理者更好的做出決策

每一個企業(yè)的管理者在做出一些決策的時候都不是憑借個人的喜好和猜測進行制定，都是根據一些基礎的數據進行提取和分析從而為決策者提高一些理論基礎。每一個企業(yè)都有其相關的決策和管理系統，而這些個系統在運作的時候就需要對數據挖掘技術大力的應用，并最終為領導者提供一個系統化的數據倉庫，這些倉庫里面的信息保證了其內容的真實性、超前性和完整性。這個數據倉庫的建立需要相關的工作人員將簡單的數據進行查詢并統計起來逐漸轉變成業(yè)務洞察及管理的方式，然后由決策者對于一些項目進行完善和優(yōu)化，保證其覆蓋范圍和一些系統的數據具有很好的質量，最終使集團能夠將數據的收集工作更好的進行下去，提高企業(yè)的使用機制，并且有效的使企業(yè)決策者能夠制定出更加符合公司發(fā)展的策略。每一個企業(yè)的決策系統都是經過一定時間的優(yōu)化與提升最終逐步建立起來，在該系統的發(fā)展過程中，其主要的工作以及職責也變得更加重要，從而使得企業(yè)的整個管理系統有更大工作范圍，幫助決策者更好制定相關規(guī)定。從當前各個行業(yè)對數據挖掘技術的應用情況來看，該技術已經發(fā)揮出了更加重要的作用，并且根據當前的大體趨勢來看，在未來的航空航天以及處理一些刑偵案件時都會對數據挖掘技術有更加深入的應用，要想實現這些就應該對當前的技術進行研究與創(chuàng)新然后逐漸完善企業(yè)的管理和決策系統。

5 結語

繼實驗科學、理論科學和計算科學之后，大數據已被定義為科學探索的第四范式?；ヂ摼W的數據爆炸孕育了大數據學科，將理論、實驗和計算仿真等范式統一起來。大數據的價值在于預測未知領域、非特定因素的未來趨勢，在于破解長期的、普遍的社會難題。在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來。簡言之，從各種各樣類型的數據中，快速挖掘獲得有價值信息的能力，就是大數據挖掘技術，懂得這一點至關重要，也正是這一點促使該技術具備走向眾多企業(yè)的潛力。通過各行各業(yè)的不斷創(chuàng)新，大數據挖掘技術會逐步為人類創(chuàng)造更多的價值。

參考文獻

[1]舒永芳.大數據時代下數據挖掘技術在電力企業(yè)中的應用研究[J].低碳世界，2016，（36）：102-102.

[2]程軍鋒.Web數據挖掘研究[J].重慶三峽學院學報，2013，（3）：43-45.

[3]凌小萍，鄧伯軍.大數據時代高校思想政治教育探究[J].廣西師范大學學報，2015，（1）：62-67.