基于Spark的學(xué)生學(xué)習(xí)數(shù)據(jù)挖掘

連惠群

（福建警察學(xué)院 福建省福州市 350007）

1 引言

對(duì)高校各門(mén)科目的學(xué)習(xí)，很多時(shí)候?qū)W生和老師都無(wú)法了解知識(shí)薄弱環(huán)節(jié)，往往存在學(xué)生不能有效學(xué)習(xí)，老師無(wú)法進(jìn)行針對(duì)性輔導(dǎo)的現(xiàn)象?，F(xiàn)在各高校有很多在線教學(xué)系統(tǒng)、練習(xí)系統(tǒng)和考試系統(tǒng)可供使用，但很多系統(tǒng)只能針對(duì)單次考試的分析，學(xué)生答題情況也不能完全保存。本文以公安知識(shí)學(xué)習(xí)為例，為了更好的服務(wù)學(xué)員及教員，將全面地保存學(xué)員們的答題情況，把每次的錯(cuò)題保存，以及記錄每位學(xué)員各個(gè)模塊具體的修煉分值，讓學(xué)員了解自己的薄弱環(huán)節(jié)；將每道題答題次數(shù)和錯(cuò)誤數(shù)進(jìn)行記錄；另外根據(jù)學(xué)員平時(shí)練習(xí)的情況，運(yùn)用Spark決策樹(shù)回歸分析算法進(jìn)行數(shù)據(jù)挖掘，預(yù)測(cè)最終得分，提前預(yù)判，做好前期輔導(dǎo)準(zhǔn)備工作。

2 相關(guān)工作

關(guān)于答題情況數(shù)據(jù)挖掘，李永舉[1]以大學(xué)本科線性代數(shù)成績(jī)?yōu)槔?，在運(yùn)用Python的基礎(chǔ)上運(yùn)用聚類和關(guān)聯(lián)規(guī)則算法對(duì)其進(jìn)行挖掘與分析，找出試卷中知識(shí)點(diǎn)之間的關(guān)聯(lián)規(guī)則。王蕭[2]分析在線測(cè)評(píng)數(shù)據(jù)，提取學(xué)生的學(xué)習(xí)特征，使用聚類算法將學(xué)習(xí)特征相同的學(xué)生聚類，根據(jù)學(xué)生的學(xué)習(xí)特征抽取學(xué)生之間的關(guān)系，生成學(xué)生知識(shí)圖譜。本文主要從服務(wù)學(xué)員和教員出發(fā)，讓學(xué)員和教員切實(shí)知道知識(shí)點(diǎn)的薄弱之處，為學(xué)員切實(shí)掌握公安知識(shí)點(diǎn)而服務(wù)，為教員更好地服務(wù)學(xué)員，能夠進(jìn)行針對(duì)性地輔導(dǎo)而服務(wù)。

3 相關(guān)算法

3.1 修煉分值計(jì)算方法

我們把該題的錯(cuò)誤數(shù)除以答題總數(shù)，得到該學(xué)員在該題上的得分（錯(cuò)誤率越高，該學(xué)員能夠答對(duì)，則他得到的分?jǐn)?shù)越多，該模塊的修煉值越高，以此類推）。而該學(xué)員該模塊的修煉分是該模塊所有答題的平均分，代碼部分截圖如圖1所示。

3.2 錯(cuò)題處理相關(guān)代碼

如果答題錯(cuò)誤，我們?cè)阱e(cuò)題記錄表中搜索該錯(cuò)題的學(xué)員號(hào)，如果與該次答題的學(xué)員號(hào)有相同，則更新該學(xué)員在該道題的錯(cuò)誤次數(shù)加1，并更新最后一次答題的狀態(tài)，否則添加一條新的記錄。代碼部分截圖如圖2所示。

按照此算法，錯(cuò)題登記表數(shù)據(jù)庫(kù)部分截圖如圖3所示。

3.3 決策樹(shù)回歸分析算法

分類與回歸樹(shù)（classification and regression tree, CART）模型由Breiman等人在1984年提出，是應(yīng)用廣泛的決策樹(shù)學(xué)習(xí)方法。CART同樣由特征選擇、樹(shù)的生成及剪枝組成，既可以用于分類也可以用于回歸。CART是在給定輸入隨機(jī)變量X條件下輸出隨機(jī)變量Y的條件概率分布的學(xué)習(xí)方法。CART假設(shè)決策樹(shù)是二叉樹(shù)，內(nèi)容結(jié)點(diǎn)特征的取值為“是”和“否”，左分支是取值為“是”的分支，右分支是取值為“否”的分支。這樣的決策樹(shù)等價(jià)于遞歸地二分每個(gè)特征，將輸入空間即特征空間劃分為有限個(gè)單元，并在這些單元上確定預(yù)測(cè)的概率分布，也就是在輸入給定的條件下輸出的條件概率分布[3]。本文用到的決策樹(shù)回歸分析算法部分截圖如圖4所示。

4 具體實(shí)現(xiàn)

4.1 數(shù)據(jù)準(zhǔn)備

圖1：模塊修煉值計(jì)算部分代碼

圖2：錯(cuò)題處理模塊部分代碼

圖3：錯(cuò)題登記記錄表部分截圖

圖4：決策樹(shù)回歸分析代碼部分截圖

圖5：測(cè)試數(shù)據(jù)部分截圖

圖6：運(yùn)行結(jié)果

我們登記學(xué)員每次練習(xí)的成績(jī)，及最終測(cè)試成績(jī)，部分?jǐn)?shù)據(jù)截圖如圖5所示。根據(jù)數(shù)據(jù)運(yùn)行測(cè)試的優(yōu)化結(jié)果，我們把每次成績(jī)除以100并保留1位小數(shù)。

4.2 數(shù)據(jù)分析

我們把每位學(xué)員平時(shí)練習(xí)的成績(jī)作為特征feature，最終測(cè)試成績(jī)等級(jí)作為標(biāo)簽Label，部分結(jié)果如圖6所示，預(yù)測(cè)值可作為提前預(yù)判，以及前期輔導(dǎo)準(zhǔn)備工作而服務(wù)。結(jié)果顯示，大部分預(yù)測(cè)值與真實(shí)值相差不大。

5 結(jié)語(yǔ)

本文以公安知識(shí)學(xué)習(xí)為例，對(duì)學(xué)員們的公安知識(shí)答題情況進(jìn)行挖掘。為了服務(wù)學(xué)員，系統(tǒng)把錯(cuò)題保存，以及記錄每位學(xué)員各個(gè)模塊具體的修煉分值，讓學(xué)員了解自己的薄弱環(huán)節(jié)；將每道題答題次數(shù)和錯(cuò)誤數(shù)進(jìn)行記錄，讓教員明確學(xué)員知識(shí)點(diǎn)掌握細(xì)節(jié)情況；另外根據(jù)學(xué)員平時(shí)練習(xí)的情況，運(yùn)用Spark決策樹(shù)回歸分析算法進(jìn)行數(shù)據(jù)挖掘，預(yù)測(cè)最終得分，提前預(yù)判，做好前期輔導(dǎo)準(zhǔn)備工作。本文存在一些不足，如數(shù)據(jù)量不夠多，最后四次測(cè)試有個(gè)別學(xué)員沒(méi)有參與且測(cè)試題簡(jiǎn)單成績(jī)較集中，對(duì)回歸分析結(jié)果可能存在一點(diǎn)影響。另外，對(duì)回歸分析算法及參數(shù)調(diào)優(yōu)等需要進(jìn)行進(jìn)一步的研究，這將是后續(xù)的工作。