數(shù)據(jù)挖掘在教育應(yīng)用中的淺析

[摘 要]現(xiàn)在社會的發(fā)展使得信息量日益增加，如何在龐大的數(shù)據(jù)中尋找對自己有用的數(shù)據(jù)成為必須要考慮的事情。數(shù)據(jù)挖掘可以從龐大的數(shù)據(jù)庫中提取隱藏的預(yù)測信息。因為數(shù)據(jù)挖掘是一種擁有巨大潛力的新技術(shù)，所以數(shù)據(jù)挖掘現(xiàn)在被廣泛的應(yīng)用于各種商業(yè)途徑中，包括零售銷售、電子商務(wù)、遙感技術(shù)、生物信息學(xué)等。教育是一個國家進步的要素之一。挖掘在教育中被稱為教育信息挖掘。教育數(shù)據(jù)挖掘的的重點就是應(yīng)用合理的、快速的方法從教育數(shù)據(jù)庫中發(fā)現(xiàn)知識。教育數(shù)據(jù)挖掘可以分析學(xué)生的趨勢和行為，得到一個對不同類型學(xué)生教育的最優(yōu)化教育方式。當(dāng)大量的數(shù)據(jù)存儲在教育數(shù)據(jù)庫中，為了得到需要的數(shù)據(jù)和發(fā)現(xiàn)隱藏數(shù)據(jù)間的關(guān)系，可以應(yīng)用數(shù)據(jù)挖掘技術(shù)與軟件。數(shù)據(jù)挖掘的功能有很多種，在教育數(shù)據(jù)挖掘中，流行的功能有關(guān)聯(lián)、分類、聚類、離散點分析、關(guān)聯(lián)規(guī)則、預(yù)測等。本文主要從數(shù)據(jù)挖掘現(xiàn)在大規(guī)模使用的行業(yè)中分析數(shù)據(jù)挖掘的特點，以及應(yīng)用到教育，主要是高等教育的可能性。

[關(guān)鍵詞]數(shù)據(jù)挖掘 教育

一、引言

當(dāng)今社會，大量的數(shù)據(jù)每天在不斷堆徹，我們需要在數(shù)據(jù)挖掘中尋求一種從大量數(shù)據(jù)中提取知識的方法。數(shù)據(jù)挖掘有兩個因素，大小與維度。存儲數(shù)據(jù)到知識中有一個巨大地空白，就是數(shù)據(jù)怎樣被翻譯，而得到數(shù)據(jù)與數(shù)據(jù)的相似性，再進行歸納和總結(jié)。現(xiàn)在的手工數(shù)據(jù)分析已經(jīng)無法對大型的數(shù)據(jù)進行分析，所以我們需要尋找一種新的方法對數(shù)據(jù)進行分析。數(shù)據(jù)挖掘可以幫助我們更深入的了解數(shù)據(jù)。

數(shù)據(jù)挖掘在一些領(lǐng)域的作用：

銀行業(yè)：貸款/信用卡的批準(zhǔn)，基于老客戶預(yù)測優(yōu)質(zhì)客戶，每月/每個地區(qū)/每個部門的債務(wù)和收益的變化趨勢以及因素，產(chǎn)品、促銷信息的訪問統(tǒng)計信息，例如訪問的最大值、最小值、總和，平均數(shù)、趨勢等。

電信業(yè)：判別潛在的欺詐用戶和他們的典型使用模式，檢測試圖準(zhǔn)備欺詐性的客戶賬戶，發(fā)現(xiàn)不尋常的模式，發(fā)現(xiàn)使用模式為一組通信服務(wù)的客戶群體，使銷售的特定服務(wù)得到促進，提高一些地區(qū)特定服務(wù)的可用性。

DNA分析技術(shù)：比較每個單位頻繁發(fā)生的不同模式，例如是否生病；識別基因的順序在不同的疾病中發(fā)揮了重要的作用。

預(yù)測和描述是數(shù)據(jù)挖掘的兩個基本目標(biāo)。預(yù)測涉及到使用數(shù)據(jù)集中的一些變量或域來預(yù)測其他我們所關(guān)心變量的未知或未來的值；另一方面，描述關(guān)注的則是找出描述可由人類解釋的數(shù)據(jù)模式。所以，數(shù)據(jù)挖掘活動分成預(yù)測性數(shù)據(jù)挖掘和描述性數(shù)據(jù)挖掘。

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是一個基于知識發(fā)現(xiàn)的過程。數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中發(fā)現(xiàn)有趣知識的過程。

二、數(shù)據(jù)挖掘

數(shù)據(jù)庫、數(shù)據(jù)倉庫、萬維網(wǎng)或其他信息存儲庫是一個或一組數(shù)據(jù)庫、數(shù)據(jù)倉庫、電子表格或其他類型的信息存儲庫。數(shù)據(jù)清理和數(shù)據(jù)集成的技術(shù)可以對這些數(shù)據(jù)進行執(zhí)行。基于用戶的數(shù)據(jù)挖掘的請求，數(shù)據(jù)庫或數(shù)據(jù)倉庫服務(wù)器負責(zé)獲取相關(guān)數(shù)據(jù)。知識庫的領(lǐng)域知識，用于指導(dǎo)搜索或評估結(jié)果模式的興趣度。這樣的知識可以包括概念層和用戶的信念。數(shù)據(jù)挖掘引擎是數(shù)據(jù)挖掘系統(tǒng)中不可或缺的部分，數(shù)據(jù)挖掘系統(tǒng)在理想情況下由組功能模塊的任務(wù)，比如表征，關(guān)聯(lián)及相關(guān)分析、分類、預(yù)測、聚類分析、異常值分析與演化分析等。模式評估模塊是一個組件，通常包括興趣度度量和與數(shù)據(jù)挖掘模塊交互，以專注于搜索聚焦在有趣的模式上。提供信息來幫助搜索聚焦，基于數(shù)據(jù)挖掘的中間結(jié)果執(zhí)行探索性數(shù)據(jù)挖掘。模式評價模塊還可以結(jié)合數(shù)據(jù)挖掘模塊，但是這取決于所用數(shù)據(jù)挖掘方法的實現(xiàn)。用戶界面模塊在通信用戶和數(shù)據(jù)挖掘系統(tǒng)之間聯(lián)系，允許用戶與系統(tǒng)的交互，允許用戶瀏覽一個數(shù)據(jù)挖掘查詢或任務(wù)。

許多人把數(shù)據(jù)挖掘的同視為另一個廣泛使用的術(shù)語，數(shù)據(jù)中的知識發(fā)現(xiàn)。知識發(fā)現(xiàn)過程包括在數(shù)據(jù)挖掘過程中選擇所需要的數(shù)據(jù)、可以獲得許多不同的數(shù)據(jù)來源。預(yù)處理數(shù)據(jù)包括發(fā)現(xiàn)數(shù)據(jù)錯誤或者丟失的數(shù)據(jù)。可能有許多不同的活動在這段時間執(zhí)行。錯誤的數(shù)據(jù)可能被修正或移除，而缺少的數(shù)據(jù)必須提供。預(yù)處理還包括：去除數(shù)據(jù)的噪聲或數(shù)據(jù)的不一致，收集必要的數(shù)據(jù)模型或者數(shù)據(jù)的含噪聲，數(shù)據(jù)占時間序列信息和已知的數(shù)據(jù)變量。數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)轉(zhuǎn)換成公共格式來處理。一些數(shù)據(jù)可能被編碼或轉(zhuǎn)化為更多的可用的格式。數(shù)據(jù)簡化，減少維度（比如特征選擇，即屬性子集的選擇、啟發(fā)式方法等）和數(shù)據(jù)轉(zhuǎn)換方法（如取樣、聚合、泛化等） 可用于減少可能正在考慮的數(shù)據(jù)值的數(shù)目。數(shù)據(jù)挖掘是任務(wù)的執(zhí)行，產(chǎn)生得到期望的結(jié)果。翻譯/評價是數(shù)據(jù)挖掘結(jié)果怎么呈現(xiàn)給用戶，是極其重要的。因為有用的結(jié)果是依賴于翻譯/評價。各種各樣的可視化以及圖形用戶界面策略被用于在翻譯/評價步驟中。不同種類的知識需要不同類型的表示方法，如分類、聚類、關(guān)聯(lián)規(guī)則等

數(shù)據(jù)挖掘的功能和產(chǎn)品包括數(shù)據(jù)庫，信息檢索，統(tǒng)計，算法和機器學(xué)習(xí)。

三、基于教育的數(shù)據(jù)挖掘

基于教育的數(shù)據(jù)挖掘是一門新興學(xué)科，主要是關(guān)注與發(fā)展探索來自教育環(huán)境中獨特的數(shù)據(jù)，并使用這些方法來更好地了解學(xué)生，和設(shè)置讓他們的學(xué)習(xí)。數(shù)據(jù)挖掘是從巨大的數(shù)據(jù)量提取提取有趣的（不平凡的，隱含的，先前未知的，潛在有用的）模式或知識。當(dāng)我們知道教育數(shù)據(jù)庫中存儲著大量的數(shù)據(jù)，通過不同的數(shù)據(jù)挖掘技術(shù)的開發(fā)和使用，得到所需要的數(shù)據(jù)和發(fā)現(xiàn)隱藏的關(guān)系。我們可以利用基于教育系統(tǒng)的數(shù)據(jù)挖掘技術(shù)：預(yù)測中途退學(xué)的學(xué)生，學(xué)生之間的關(guān)系，大學(xué)入學(xué)考試結(jié)果和他們的成就，預(yù)測學(xué)生的學(xué)習(xí)成績，發(fā)現(xiàn)在本科教學(xué)大綱中學(xué)生感興趣的相關(guān)學(xué)科、可能在學(xué)術(shù)成就上的知識發(fā)現(xiàn)、在計算機編程設(shè)計中根據(jù)學(xué)生不同的學(xué)習(xí)風(fēng)格對學(xué)生的表現(xiàn)進行分類，預(yù)測學(xué)校之間的相似性和差異。

（1）關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則反映一個事物與其他事物之間的相互依存性和關(guān)聯(lián)性。如果兩個或者多個事物之間存在一定的關(guān)聯(lián)關(guān)系，那么一個事物就能通過其他事物預(yù)測到。發(fā)現(xiàn)關(guān)聯(lián)規(guī)則需要經(jīng)歷兩個步驟：

1.找出所有頻繁項集。

2.由頻繁項集生成滿足最小信任度閾值的規(guī)則。

關(guān)聯(lián)規(guī)則是支持度和信任度分別滿足用戶給定閾值的規(guī)則的條件。信任度意思是蘊含的強度，即事務(wù)D中c%的包含X的交易同時包含X、Y。若X的支持度是support（x），規(guī)則的信任度為即為：support（X、Y）/support（X），這是一個條件概率P（Y|X），即confidence（X、Y）= P（Y|X）。支持度閾值是指用戶規(guī)定的支持度的上下極值。

（2）分類

數(shù)據(jù)地圖在預(yù)先定義的組和級別中的數(shù)據(jù)挖掘任務(wù)是分類。也被稱為監(jiān)督式學(xué)習(xí)。它包括兩個步驟：

1.模型結(jié)構(gòu)：它包含預(yù)先設(shè)定的一系列的類。每個元組/樣本被認為屬于一個預(yù)定義的類。這個事務(wù)的元組用于模型建設(shè)的是試驗集。該模型表示為分類規(guī)則，決策樹，或數(shù)學(xué)公式。

2.使用模型：該模型用于分類未來或未知的對象。與由模型的分類相比較得出試驗集的一些已知標(biāo)記。由模型正確分類的試驗集得出準(zhǔn)確率。試驗集是獨立的，否則將發(fā)生多余的工作。

在基于教育的數(shù)據(jù)挖掘中，一個學(xué)生通過考慮的結(jié)果，可以得出該學(xué)生的最終會達到怎樣的水平。用來表示學(xué)生最終水平的合理規(guī)則是決策樹規(guī)則。

（3）預(yù)測

預(yù)測是應(yīng)用于模型的連續(xù)價值函數(shù)，也就是預(yù)測未知數(shù)據(jù)和缺失的值。在這個模型中，我們可以推導(dǎo)出許多組合數(shù)據(jù)的其他一些方面的數(shù)據(jù)?；诮逃臄?shù)據(jù)挖掘預(yù)測可以用來檢測學(xué)生的行為，預(yù)測與了解學(xué)生的學(xué)習(xí)成果。

（4）聚類分析

聚類分析是最重要的非監(jiān)督式學(xué)習(xí)方法，主要是找到各種事務(wù)的分組，這樣在一個組里面的所有物體彼此之間都是相類似的，但又和其他分組里的物體是不同的。

在基于教育的數(shù)據(jù)挖掘中，聚類分析已經(jīng)被用于根據(jù)學(xué)生的行為對學(xué)生進行分組。例如聚類分析可以用來區(qū)分在非活躍的學(xué)生中表現(xiàn)較活躍的學(xué)生。

四、結(jié)論

將數(shù)據(jù)挖掘技術(shù)應(yīng)用在教育系統(tǒng)中是如何工作的，如圖所示。

圖解釋了如何找到與學(xué)生之間的關(guān)聯(lián)關(guān)系、關(guān)聯(lián)分類和聚類是有效的。他們評估學(xué)生的學(xué)習(xí)進度，根據(jù)不同的因素，利用收集到的數(shù)據(jù)之間的聯(lián)系。研究小學(xué)生科學(xué)為基礎(chǔ)的網(wǎng)絡(luò)模塊的日志文件，并對他們進行了分析。所以此數(shù)據(jù)挖掘模型可以運用到教育中。如果將這種模型運用到基于網(wǎng)絡(luò)的課程，智能網(wǎng)絡(luò)為基礎(chǔ)的教育體系，學(xué)習(xí)內(nèi)容管理系統(tǒng)中，將會給研究者與教師節(jié)省大量的時間并可以給教育研究者、教師以及學(xué)習(xí)者提出寶貴的意見。

本文提出了一種在教育過程中基于網(wǎng)絡(luò)的系統(tǒng)記錄的數(shù)據(jù)特征提取，分類學(xué)生以預(yù)測他們的最終成績。本文設(shè)計，實施和評價了一系列對數(shù)據(jù)集的模式分類和比較數(shù)據(jù)集的性能。數(shù)據(jù)挖掘在教育應(yīng)用中，有四種分類器用于分開不同的學(xué)生。多重的分類組合導(dǎo)致在分類性能中有一個顯著的改善。本文介紹了遺傳算法來提高預(yù)測精度，及使用精確度大約是10%至12%遺傳算法的聯(lián)合收割機分類器性能與非遺傳算法相比。在數(shù)據(jù)較多或者是人數(shù)較多的因素上，這種方法在判別有危險性傾向的學(xué)生上是相當(dāng)有用的，以及可以及時給予教師提供適當(dāng)?shù)慕ㄗh。在本中，通過分析資料，確定了基于教育的數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則是有用的。從數(shù)據(jù)挖掘當(dāng)今廣泛應(yīng)用案例研究中，證明這種方法非常適合教育資料，教師可以輕松地解釋余弦值和附加值（或相似內(nèi)容在教育中的提升）。本文解釋了在教育中應(yīng)用數(shù)據(jù)挖掘技術(shù)是有用的，特別是提高高等教育的學(xué)生的表現(xiàn)。以及利用關(guān)聯(lián)規(guī)則，分類規(guī)則，使用決策樹，根據(jù)學(xué)生的表現(xiàn)將學(xué)生按組聚類。使用EM聚類和使用異常分析發(fā)現(xiàn)異常值的數(shù)據(jù)，利用這些知識來提高性能。本文分析了利用聚類分析和k —均值算法技術(shù)在考試成績與學(xué)生的成果之間的學(xué)生學(xué)習(xí)關(guān)系。根據(jù)大學(xué)的學(xué)生的特性進行分組學(xué)生，聚類過程使用K均值聚類。調(diào)查分析了數(shù)據(jù)挖掘應(yīng)用到傳統(tǒng)的教育系統(tǒng)中，特別是基于網(wǎng)絡(luò)的課程，智能網(wǎng)絡(luò)為基礎(chǔ)的教育體系，學(xué)習(xí)內(nèi)容管理系統(tǒng)。這些系統(tǒng)使用的是數(shù)據(jù)源和知識發(fā)現(xiàn)的目標(biāo)。在以上每種情況下的數(shù)據(jù)挖掘技術(shù)，如統(tǒng)計和可視化，聚類，分類，異常檢測，關(guān)聯(lián)規(guī)則挖掘模式挖掘和文本挖掘應(yīng)用。在本文中，我們研究了數(shù)據(jù)挖掘技術(shù)如何應(yīng)用到教育系統(tǒng)中。數(shù)據(jù)挖掘可以在高等教育中特別是如何提高學(xué)生的成績上發(fā)揮作用。

參考文獻：

[1]數(shù)據(jù)挖掘概念與技術(shù)[M] 北京：機械工業(yè)出版社，2007，5—10

[2] Behrouz.et.al.， （2003） Predicting Student Performance： An Application of Data Mining Methods with The Educational Web—Based System Lon—CAPA ？ 2003 IEEE[J]， Boulder， CO

[3] Sheikh， L Tanveer B. and Hamdani， S.， \"Interesting Measures for Mining Association Rules\"[J]. IEEE—INMIC Conference December. 2004

[4] Romero C. and Ventura S.，\"Educational data mining： A Survey from 1995 to 2005\"[J].Expert Systems with Applications （33） 135—146. 2007