大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用

盧盛繼

遼寧水利職業(yè)學院

大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用

盧盛繼

遼寧水利職業(yè)學院

人類進入信息化時代以后，短短的數(shù)年時間，積累了大量的數(shù)據(jù)，步入了大數(shù)據(jù)時代，數(shù)據(jù)技術也就應運而生，成為了一種新的主流技術。而研究數(shù)據(jù)挖掘技術的理念、方法以及應用領域，將對我國各個領域的未來帶來更多的機遇和挑戰(zhàn)。本文就大數(shù)據(jù)時代下數(shù)據(jù)挖掘技術與應用進行探究。

大數(shù)據(jù) 數(shù)據(jù)挖掘 互聯(lián)網(wǎng)

數(shù)據(jù)挖掘是一門新興的學科，它誕生于20世紀80年代，主要面向商業(yè)應用的人工只能研究領域。從技術角度來看，數(shù)據(jù)挖掘就是從大量的復雜的、不規(guī)則的、隨機的、模糊的數(shù)據(jù)中獲取隱含的、人們事先沒有發(fā)覺的、有潛在價值和知識的過程。

1 數(shù)據(jù)挖掘的基本分析方法

分析方法是數(shù)據(jù)挖掘的核心工作，通過科學可靠的算法才能實現(xiàn)數(shù)據(jù)的挖掘，找出數(shù)據(jù)中潛在的規(guī)律，通過不同的分析方法，將解決不同類型的問題。目前常用的方法有聚類分析、特征數(shù)據(jù)分析法、關聯(lián)性分析等。

1.1 聚類分析法

簡單來說聚類分析就是通過將數(shù)據(jù)對象進行聚類分組，然后形成板塊，將毫無邏輯的數(shù)據(jù)變成了有聯(lián)系性的分組數(shù)據(jù)，然后從其中獲取具有一定價值的數(shù)據(jù)內容進行進一步的利用。由于這種分析方法不能夠較好的就數(shù)據(jù)類別、屬性進行分類，所以聚類分析法一般都運用心理學、統(tǒng)計學、數(shù)據(jù)識別等方面。

1.2 特征性數(shù)據(jù)分析法

網(wǎng)絡數(shù)據(jù)隨著信息時代的到來變成了數(shù)據(jù)爆炸式，其數(shù)據(jù)資源十分廣泛并且得到了一定的普及，如何就網(wǎng)絡爆炸式數(shù)據(jù)進行關于特性的分類就成為了當下數(shù)據(jù)整理分類的主要內容。此外還有很多方法都是通過計算機來進行虛擬數(shù)據(jù)的分類，尋找數(shù)據(jù)之間存在的普遍規(guī)律性完成數(shù)據(jù)的特性分析從而進行進一步分類。

1.3 關聯(lián)性分析法

有時數(shù)據(jù)本身存在一定的隱蔽性使得很難通過普通的數(shù)據(jù)分析法進行數(shù)據(jù)挖掘和利用，這就需要通過關聯(lián)性分析法完成對于數(shù)據(jù)信息的關聯(lián)性識別，來幫助人力完成對于數(shù)據(jù)分辨的任務，這種數(shù)據(jù)分析方法通常是帶著某種目的性進行的，因此比較適用于對數(shù)據(jù)精準度相對較高的信息管理工作。

2 數(shù)據(jù)挖掘技術的應用

數(shù)據(jù)挖掘技術的具體流程就是先通過對于海量數(shù)據(jù)的保存，然后就已有數(shù)據(jù)中進行分析、整理、選擇、轉換等，數(shù)據(jù)的準備工作是數(shù)據(jù)挖掘技術的前提，也是決定數(shù)據(jù)挖掘技術效率及質量的主要因素。在完成數(shù)據(jù)準備工作后進一步對數(shù)據(jù)進行挖掘，然后對數(shù)據(jù)進行評估，最后實現(xiàn)運用。因此，數(shù)據(jù)挖掘能夠運用到很多方面。通過數(shù)據(jù)挖掘技術將大數(shù)據(jù)融合在各種社會應用中，數(shù)據(jù)挖掘的結果參與到政府、企業(yè)、個人的決策中，發(fā)揮數(shù)據(jù)挖掘的社會價值，改變人們的生活方式，最大化數(shù)據(jù)挖掘的積極作用。

2.1 在高校管理中的應用

數(shù)據(jù)挖掘技術在高校管理的內容主要包括：高校招生錄取工作、貧困生選定以及優(yōu)秀生評定等。高校每年的招生工作是學校可持續(xù)發(fā)展的重要環(huán)節(jié)，直接影響到高校教學質量以及發(fā)展情況。比如數(shù)據(jù)挖掘技術在高校管理中的應用主要是對學生高考成績、志愿填報、以及生源來源地等多方面信息進行整理分類匯總。具體步驟是通過進行數(shù)據(jù)的收集和預處理，建立相關數(shù)據(jù)模型，采用分類算法，提取和挖掘對用戶有用的信息，然后進行數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式。

2.2 在高校課堂教學評價中的應用

數(shù)據(jù)挖掘技術在高校課堂教學評價系統(tǒng)中的應用主要也是利用關聯(lián)分析法。首先先對數(shù)據(jù)進行預處理工作，數(shù)據(jù)的預處理是數(shù)據(jù)挖掘技術的關鍵步驟，并且直接影響著數(shù)據(jù)挖掘技術的應用效率。數(shù)據(jù)預處中要將教師的基本信息、教師教授課程以及教師的職稱、學歷、學生信息以及學生課表相關信息進行數(shù)據(jù)初始記錄。

2.3 在高校學生信息管理系統(tǒng)中的應用

高校學生信息管理系統(tǒng)中管理要素主要是學校的領導、任課教師、學生以及家長。系統(tǒng)的功能要包括：對不同的用戶設置不同的使用權限；對學生的基本信息以及學生瀏覽管理網(wǎng)站的記錄要做到明確記錄；各個學院不同專業(yè)的學生課程要能準確公布并允許學生根據(jù)實際情況修改；成績管理要能實現(xiàn)大批量添加及修改；還有比如評優(yōu)活動、黨務管理等具體功能。數(shù)據(jù)挖掘技術在高校學生信息管理系統(tǒng)中的應用主要是利用決策樹的方法。

2.4 高校圖書館信息系統(tǒng)中的應用

數(shù)據(jù)挖掘技術最基本的應用就是通過對現(xiàn)有的數(shù)據(jù)進行分析來了解學校圖書館現(xiàn)有資源利用情況，為圖書館的未來建設提供可靠數(shù)據(jù)。數(shù)據(jù)挖掘技術能夠使圖書館資源得到極大程度的優(yōu)化整合。

3 結語

數(shù)據(jù)挖掘技術是近幾年新產(chǎn)生的網(wǎng)絡技術，可是它的廣泛應用性受到了很多公司以及研究人員的喜愛。這些年來，伴隨著時間的推移以及網(wǎng)絡技術的不斷發(fā)展大數(shù)據(jù)挖掘技術不斷的被更新，開發(fā)，而且在金融、管理、教學等行業(yè)中都得到了廣泛的應用。我相信隨著網(wǎng)絡技術的不斷發(fā)展，大數(shù)據(jù)挖掘技術的應用面將會越來越廣。

[1]董彩云,曲守寧.數(shù)據(jù)挖掘及其在高校教學系統(tǒng)中的應用[J].濟南大學學報（自然科學版）,2004

[2]陸川,王靜靜.數(shù)據(jù)挖掘技術在高校教學管理中的應用研究[J].北京：電腦開發(fā)與應用,2009,3

[3]中國電子科學研究院學報 編輯部.大數(shù)據(jù)時代[J].中國電子科技研究院學報,2013