離群點(diǎn)檢測技術(shù)在教育教學(xué)中的應(yīng)用*

陳世超 楊現(xiàn)民 潘青青 邢蓓蓓

（江蘇師范大學(xué) 智慧教育研究中心，江蘇徐州 221116）

引言

隨著互聯(lián)網(wǎng)的普及與發(fā)展，在線教育在整個(gè)教育生態(tài)體系中的地位越來越凸顯，以MOOC為代表的在線課程學(xué)習(xí)也越來越受到學(xué)習(xí)者的推崇。然而，在實(shí)際的學(xué)習(xí)過程中，相關(guān)研究發(fā)現(xiàn)不同學(xué)習(xí)者的學(xué)習(xí)水平和效果存在較大差異[1][2]：一方面，部分學(xué)習(xí)者進(jìn)行在線學(xué)習(xí)時(shí)表現(xiàn)出極高的積極性和參與度，能夠獲得優(yōu)質(zhì)的學(xué)習(xí)效果；另一方面，部分學(xué)習(xí)者動(dòng)機(jī)不足，不能深度參與，甚至是游離在學(xué)習(xí)活動(dòng)之外。這種兩極化的離群現(xiàn)象表現(xiàn)得十分突出，在一定程度上影響了在線教學(xué)的整體質(zhì)量和效果。

近年來，在線教育數(shù)據(jù)呈現(xiàn)“爆炸式”增長，數(shù)據(jù)挖掘技術(shù)在教育中的應(yīng)用研究受到了廣大研究者的普遍關(guān)注，國外的相關(guān)研究主要集中于學(xué)習(xí)行為特點(diǎn)及其關(guān)系[3][4][5]，國內(nèi)研究則傾向于將數(shù)據(jù)挖掘視為一種技術(shù)工具，實(shí)現(xiàn)對在線學(xué)習(xí)的監(jiān)測和評估。數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的應(yīng)用日益廣泛，如為學(xué)生提供建議、為教師提供反饋、預(yù)測學(xué)生表現(xiàn)、發(fā)現(xiàn)不良學(xué)生行為、對學(xué)生進(jìn)行分組、構(gòu)建課程、規(guī)劃和調(diào)度、數(shù)據(jù)分析和可視化等[6]。數(shù)據(jù)挖掘技術(shù)能夠分析教學(xué)中的離群數(shù)據(jù)，解決在線學(xué)習(xí)效果的極端現(xiàn)象，挖掘教育中被忽視的隱藏價(jià)值，為教育教學(xué)的質(zhì)量提升和科學(xué)決策提供借鑒。

一 離群點(diǎn)檢測技術(shù)的內(nèi)涵及應(yīng)用價(jià)值

離群點(diǎn)檢測（Outlier Detection，OD）又被稱為異常檢測、孤立點(diǎn)檢測、偏差檢測，是識(shí)別不符合預(yù)期模式或數(shù)據(jù)集的項(xiàng)目、事件或觀察結(jié)果[7]。目前，研究者對于離群點(diǎn)的研究尚未有統(tǒng)一的定義。獲得廣大研究者認(rèn)同的是由Hawkins[8]給出的離群點(diǎn)的本質(zhì)性定義：離群點(diǎn)是數(shù)據(jù)集中偏離大部分?jǐn)?shù)據(jù)的數(shù)據(jù)，由于偏離其它數(shù)據(jù)太多，使人懷疑這些數(shù)據(jù)的偏離并非由隨機(jī)因素產(chǎn)生，而是產(chǎn)生于完全不同的機(jī)制。

離群點(diǎn)在不同情境中的側(cè)重點(diǎn)不同，通過對這種顯著偏離預(yù)期行為和狀態(tài)的數(shù)據(jù)、項(xiàng)目或事件進(jìn)行異常捕捉和分析，一方面降低了錯(cuò)誤決策的風(fēng)險(xiǎn)，幫助識(shí)別和預(yù)防不良影響；另一方面可以發(fā)現(xiàn)潛在的、有意義的信息，幫助領(lǐng)域工作從業(yè)者快速定位特殊信息，為行業(yè)的決策者制定高質(zhì)量決策。離群點(diǎn)檢測算法可以大致分為五類：基于分布的離群點(diǎn)、基于深度的離群點(diǎn)、基于聚類的離群點(diǎn)、基于距離的離群點(diǎn)和基于密度的離群點(diǎn)[9]，如圖1所示。

圖1 離群點(diǎn)檢測算法的分類

二 離群點(diǎn)檢測技術(shù)在教育教學(xué)中的應(yīng)用框架

當(dāng)前教育數(shù)據(jù)挖掘已經(jīng)受到國內(nèi)外教育工作者的重視，其技術(shù)的應(yīng)用價(jià)值也逐漸凸顯。相對而言，離群點(diǎn)檢測技術(shù)在教育中的應(yīng)用研究卻相對較少。根據(jù)研究對象的不同，可將離群檢測分為對學(xué)習(xí)者、教師、教育資源、學(xué)校、地區(qū)等的離群，其分析結(jié)果則應(yīng)用于學(xué)生狀態(tài)檢測、優(yōu)質(zhì)師資鑒別、資源質(zhì)量篩選、學(xué)校水平衡量以及教育發(fā)展評估等多個(gè)方面。通過離群點(diǎn)檢測發(fā)現(xiàn)教育教學(xué)中的特殊現(xiàn)象，并進(jìn)行深入分析，及時(shí)采取措施干預(yù)，從中發(fā)現(xiàn)新的規(guī)律和方法，對教育的應(yīng)用指導(dǎo)具有重要意義。

1 學(xué)習(xí)者離群

學(xué)習(xí)者離群主要通過收集學(xué)習(xí)者的基本信息、學(xué)習(xí)狀態(tài)（測驗(yàn)評分、考試成績、課后作業(yè)、互動(dòng)頻次、發(fā)言次數(shù)）、性格特征、課堂問題行為、家庭狀況等數(shù)據(jù)，對其學(xué)習(xí)和生活軌跡進(jìn)行追蹤檢測，定位異常學(xué)習(xí)者，分析其行為規(guī)律，進(jìn)而為學(xué)習(xí)者糾正學(xué)習(xí)誤區(qū)、合理分配資源、增加個(gè)性化指導(dǎo)、加強(qiáng)心理輔導(dǎo)，降低學(xué)習(xí)者的失敗風(fēng)險(xiǎn)。Cheng等[10]采用基于聚類的離群點(diǎn)檢測算法在學(xué)習(xí)社區(qū)中定位異常學(xué)習(xí)行為，即首先使用聚類方法將類似行為模式的學(xué)習(xí)者聚集到群集中，再對沒有聚類的數(shù)據(jù)進(jìn)行離群檢測，構(gòu)建基于行為因素分析的行為過濾模型，實(shí)現(xiàn)對學(xué)習(xí)者的定位與分析，進(jìn)而為其提供個(gè)性化的監(jiān)督與指導(dǎo)。

2 教師離群

教師質(zhì)量評估是檢驗(yàn)教學(xué)質(zhì)量的重要手段，借助離群點(diǎn)檢測技術(shù)可以從教師本身及其相關(guān)信息視角出發(fā)，對教師的教學(xué)質(zhì)量進(jìn)行評估。教師離群主要通過收集教師的個(gè)人信息、職稱、教學(xué)風(fēng)格、提問傾向、教學(xué)行為等數(shù)據(jù)來直接說明教學(xué)效果，同時(shí)收集學(xué)生的學(xué)習(xí)成績、評教等數(shù)據(jù)，間接反映教師的教學(xué)成果。對數(shù)據(jù)的離群分析，主要用于鑒別優(yōu)秀教師、篩選特色教師、加強(qiáng)評教有效性、提升教師素養(yǎng)、促進(jìn)地區(qū)優(yōu)秀師資共享等，使教師質(zhì)量的評估結(jié)果更為準(zhǔn)確、客觀。Farooqui等[11]在對教師的資質(zhì)識(shí)別研究中主張?zhí)崛‰x群點(diǎn)的特征，通過學(xué)生成績來識(shí)別成功的教學(xué)工作范例，其研究發(fā)現(xiàn)：某班級未能通過考試的學(xué)生比重高達(dá) 42%，這和教師素質(zhì)以及教師能否與學(xué)生和諧相處有很大關(guān)系，因此該校制定相應(yīng)措施，為學(xué)生配備相應(yīng)的教師進(jìn)行授課，使其水平得到更大程度的發(fā)揮，從而改善學(xué)習(xí)效果和課堂實(shí)踐。

3 教育資源離群

大數(shù)據(jù)背景下的教育資源來源復(fù)雜多樣，同時(shí)也產(chǎn)生了大量的劣質(zhì)資源、同質(zhì)資源，為使用者帶來了一定的不便，因此，資源的質(zhì)量問題引起了廣大研究者的關(guān)注。利用離群點(diǎn)檢測技術(shù)發(fā)現(xiàn)離群數(shù)據(jù)，可以達(dá)到對信息的檢測和量化作用。教育資源離群主要通過收集資源內(nèi)容、資源類型（文本、音頻、視頻、圖片、日志）、資源來源以及資源操作（資源下載、資源上傳、資源刪除、資源更新、資源分享、資源瀏覽、資源轉(zhuǎn)載、資源訂閱、資源收藏、資源評論）等數(shù)據(jù)，用于快速定位需求資源、檢測在線資源質(zhì)量、分析資源熱度、擴(kuò)散度以及淘汰指數(shù)等。如網(wǎng)絡(luò)上一些劣質(zhì)資源、虛假信息以及與學(xué)習(xí)無關(guān)的資源，利用相關(guān)資源作掩護(hù)，以達(dá)到避免被過濾和淘汰的目的。而通過離群檢測可以發(fā)現(xiàn)資源內(nèi)容異常、識(shí)別資源相關(guān)度，從而過濾掉不匹配的內(nèi)容，為用戶提供與學(xué)習(xí)內(nèi)容相關(guān)的優(yōu)質(zhì)資源。

4 學(xué)校離群

學(xué)校的辦學(xué)質(zhì)量和水平是人們關(guān)注的重要指標(biāo)，不同地區(qū)的學(xué)校在教育管理、教育教學(xué)等方面都有各自不同的特色，教學(xué)成績也存在較大差異。為了均衡學(xué)校之間的教學(xué)水平，凸顯優(yōu)質(zhì)學(xué)校特色，有必要對學(xué)校的辦學(xué)情況進(jìn)行離群檢測。學(xué)校離群主要通過收集學(xué)校的教輔設(shè)施（種類、數(shù)量、能耗、新舊）、師資力量（職稱、獲獎(jiǎng)情況、教學(xué)手段、管理手段、教學(xué)風(fēng)格）、學(xué)生表現(xiàn)（學(xué)風(fēng)學(xué)氣、考試成績、獲獎(jiǎng)情況、畢業(yè)率）等數(shù)據(jù)，對學(xué)校的整體教育教學(xué)水平和校園安全隱患進(jìn)行實(shí)時(shí)監(jiān)測、統(tǒng)計(jì)和分析。徐琰等[12]對某高校的能耗情況進(jìn)行了基于統(tǒng)計(jì)的離群點(diǎn)檢測，結(jié)合能耗監(jiān)控系統(tǒng)發(fā)現(xiàn)和分析異常能耗數(shù)據(jù)，與校園能耗規(guī)律進(jìn)行比較，最終得出該校能耗的異常情況并進(jìn)行及時(shí)預(yù)警，以達(dá)到節(jié)約能耗的目的。

5 地區(qū)離群

教育的差異性在很大程度上影響了一個(gè)國家和地區(qū)的整體水平，為了對地區(qū)的教育發(fā)展水平進(jìn)行整體性評估，有必要對區(qū)域的教育發(fā)展指數(shù)進(jìn)行離群點(diǎn)檢測分析。地區(qū)離群主要通過收集地區(qū)的教育發(fā)展指數(shù)，包括兒童入學(xué)學(xué)齡、成人識(shí)字率、學(xué)生性別平等指數(shù)等區(qū)域性數(shù)據(jù)，將超出設(shè)定閾值的數(shù)據(jù)提取出來，發(fā)現(xiàn)教育高風(fēng)險(xiǎn)地區(qū)，并調(diào)查原因，有針對性地采取措施，實(shí)現(xiàn)區(qū)域間教育年齡的均衡發(fā)展。Jana等[13]通過離群檢測技術(shù)對印度35個(gè)州的教育發(fā)展進(jìn)行了離群定位分析，以教育發(fā)展指數(shù)的四個(gè)指標(biāo)作為基準(zhǔn)，最終檢測到分值較低或較高的數(shù)據(jù)，對各項(xiàng)指標(biāo)進(jìn)行深入分析，找出具體的影響因素，為教育教育的區(qū)域發(fā)展制定相應(yīng)的規(guī)劃和政策。

三 離群點(diǎn)檢測技術(shù)在教育教學(xué)中的應(yīng)用流程

與一般數(shù)據(jù)挖掘技術(shù)不同，離群點(diǎn)檢測技術(shù)專門針對那些與一般常規(guī)數(shù)據(jù)相差甚遠(yuǎn)的小規(guī)模數(shù)據(jù)。判斷一個(gè)對象是否離群，需要重視那些偏離正常模式的數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)隱藏的、有價(jià)值的信息來指導(dǎo)和發(fā)展教育?？偟膩碚f，離群點(diǎn)檢測技術(shù)在教育教學(xué)中的應(yīng)用一般需要經(jīng)過以下七個(gè)流程（如圖2所示）：

①確定分析對象。離群分析對象包括學(xué)習(xí)者、教師、教育資源和學(xué)校以及地區(qū)等教育教學(xué)要素，而離群對象的確定取決于研究者的需求，對不同的研究對象進(jìn)行離群分析，會(huì)得到不同的研究結(jié)論，從而為各層次、區(qū)域的教育教學(xué)提供相應(yīng)的參考。

圖2 離群點(diǎn)檢測技術(shù)在教育應(yīng)用中的流程

②明確分析目的。鎖定具體分析對象，根據(jù)研究者的關(guān)注點(diǎn)確定離群點(diǎn)檢測的目的，主要包括積極的離群點(diǎn)檢測和消極的離群點(diǎn)檢測，然后再將分析目的具體化，如對學(xué)生進(jìn)行個(gè)性化指導(dǎo)、鑒別優(yōu)質(zhì)師資、剔除劣質(zhì)資源、監(jiān)控校園安全等。離群點(diǎn)檢測分析的目的直接決定了整個(gè)分析流程的趨勢，針對分析對象實(shí)際存在的問題并結(jié)合環(huán)境和背景，離群點(diǎn)檢測會(huì)對研究對象進(jìn)行深入挖掘和定位，最終得到的檢測結(jié)果和采取的措施都是為分析目的而服務(wù)。

③數(shù)據(jù)采集。根據(jù)離群對象及其目的，充分考慮影響分析對象數(shù)據(jù)變化的各種因素，既包括教學(xué)活動(dòng)、管理活動(dòng)、科研活動(dòng)、校園生活等正式環(huán)境下產(chǎn)生的學(xué)習(xí)數(shù)據(jù)，也包括家庭、社區(qū)、博物館、圖書館等非正式環(huán)境下的學(xué)習(xí)活動(dòng)等數(shù)據(jù)。教育數(shù)據(jù)本身來源多元，數(shù)據(jù)的采集更具復(fù)雜性，應(yīng)該合理使用數(shù)據(jù)采集技術(shù)，配置數(shù)據(jù)采集的范圍和類型，對數(shù)據(jù)全面、動(dòng)態(tài)、自然地進(jìn)行采集[14]。

④數(shù)據(jù)預(yù)處理。教育系統(tǒng)的數(shù)據(jù)類型復(fù)雜、多樣呈現(xiàn)，因此對于復(fù)雜的時(shí)間序列樣本、非數(shù)值型樣本以及多維數(shù)據(jù)樣本，需要按照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)的預(yù)處理，主要任務(wù)包括數(shù)據(jù)清理、數(shù)據(jù)集成和數(shù)據(jù)變換等，在不丟失數(shù)據(jù)意義的條件下將數(shù)據(jù)轉(zhuǎn)換成規(guī)范的、適合離群點(diǎn)檢測的形式。

⑤選擇離群算法。根據(jù)數(shù)據(jù)對象的類型、結(jié)構(gòu)、數(shù)量以及具體呈現(xiàn)的一般規(guī)律，選擇合適的離群算法，每種離群點(diǎn)檢測算法都有其特殊的適用范圍，如表1所示。陸柳生等[15]在研究中用基于密度的算法對學(xué)生的學(xué)習(xí)成績進(jìn)行檢測，確定離群因子，根據(jù)公式確定疑似離群對象，定位可疑離群學(xué)生，結(jié)合相關(guān)的因素分析其學(xué)習(xí)狀態(tài)，準(zhǔn)確找出學(xué)習(xí)狀態(tài)異常的學(xué)生予以干預(yù)。

⑥離群狀態(tài)分析。根據(jù)選擇的算法進(jìn)行檢測，定位疑似離群對象，與正常狀態(tài)數(shù)據(jù)進(jìn)行比較，結(jié)合實(shí)際背景單獨(dú)對離群對象進(jìn)行深入分析，總結(jié)可能引起離群的具體原因。若存在錄入錯(cuò)誤或偏差，應(yīng)該及時(shí)修正，保證結(jié)果的客觀性與真實(shí)性。若不是由于錯(cuò)誤導(dǎo)致的離群事件，需要更為嚴(yán)密的進(jìn)行檢測，并且持續(xù)、動(dòng)態(tài)地觀察離群對象與一般模式的偏離程度，探究其離群的存在意義。

⑦離群結(jié)果干預(yù)。對離群檢測對象進(jìn)行深度挖掘和分析，根據(jù)分析存在的原因，結(jié)合具體的教學(xué)情境有針對性地采取措施，進(jìn)行適當(dāng)干預(yù)，對于積極的離群現(xiàn)象加以強(qiáng)化，對于消極的離群現(xiàn)象加以改進(jìn)。

表1 常用離群點(diǎn)檢測方法優(yōu)劣分析

四 離群點(diǎn)檢測技術(shù)在教育教學(xué)中應(yīng)用面臨的挑戰(zhàn)

離群點(diǎn)檢測技術(shù)在教育領(lǐng)域有著廣泛的應(yīng)用前景，近年來受到越來越多研究者的關(guān)注。由于教育數(shù)據(jù)本身在不斷地動(dòng)態(tài)生成，且每個(gè)人的顯性、隱性數(shù)據(jù)都各有不同，其應(yīng)用也不可避免地將面臨更為復(fù)雜的挑戰(zhàn)。利用離群點(diǎn)檢測技術(shù)對教育數(shù)據(jù)進(jìn)行監(jiān)督和評估，還需要綜合考慮多種相關(guān)問題。

1 離群點(diǎn)的范圍界定

在實(shí)際的教育教學(xué)情境中，涉及的教育教學(xué)數(shù)據(jù)繁多、復(fù)雜，并且隨著時(shí)間的推移在不斷動(dòng)態(tài)生成。以教育要素作為研究對象進(jìn)行離群點(diǎn)檢測，需要考慮到離群點(diǎn)的范圍和數(shù)量等重要問題。首先，離群點(diǎn)沒有一個(gè)明確的范圍界定，本身呈現(xiàn)出一定的主觀性和相對性，這就從根源上導(dǎo)致了離群數(shù)據(jù)范圍的模糊和不確定性，最后結(jié)果的科學(xué)性和準(zhǔn)確性將會(huì)受到影響。其次，數(shù)據(jù)的存在形式多樣，可能隱藏在一定的模式、趨勢背后，往往不容易被發(fā)現(xiàn)，并且離群點(diǎn)的檢測算法多種多樣，不同的算法選擇會(huì)直接影響到離群點(diǎn)的確定。最后，在教育情境中存在很多不相關(guān)因素的干擾，雖然也是離群數(shù)據(jù)，但是跟研究目的和對象關(guān)系不大，這樣的檢測結(jié)果往往也是無效的。因此，判斷教育領(lǐng)域的離群數(shù)據(jù)，在檢測之前需要對離群點(diǎn)的范圍或者閾值進(jìn)行清晰的界定和規(guī)劃，在充分分析離群目的、確定離群對象的基礎(chǔ)上，選擇合適的離群檢測方法，對離群數(shù)據(jù)進(jìn)行合理的判斷和分析，作用于教育的決策制定。

2 離群點(diǎn)的認(rèn)識(shí)誤區(qū)

離群點(diǎn)由于本身體量小、范圍極端，通常會(huì)被研究者認(rèn)為是誤差或無效數(shù)據(jù)，有的還會(huì)影響研究對象整體的精確度，造成誤導(dǎo)，增加分析難度，故研究人員往往將離群點(diǎn)視為“消極點(diǎn)”或“壞值”。實(shí)際上，離群點(diǎn)這種少量的、特殊存在的極端數(shù)據(jù)，不僅僅是從誤差分析上給研究者提示，而且也會(huì)提供一些容易忽略的重要潛在信息。在教育領(lǐng)域，離群數(shù)據(jù)代表學(xué)習(xí)者的學(xué)習(xí)實(shí)際，反映了個(gè)體的獨(dú)有特征和偏好。在教育教學(xué)過程中會(huì)不可避免地出現(xiàn)偏離常規(guī)的數(shù)據(jù)，其學(xué)習(xí)規(guī)律和特征都值得深入探索。而探究這些離群現(xiàn)象及其背后潛藏的關(guān)聯(lián)因素，可以幫助學(xué)習(xí)者減少失敗風(fēng)險(xiǎn)，提高學(xué)習(xí)效率和質(zhì)量。另外，離群數(shù)據(jù)也是打破常規(guī)、特立獨(dú)行、創(chuàng)新創(chuàng)造的體現(xiàn)，符合新時(shí)代的人才培養(yǎng)目標(biāo)，對這樣的數(shù)據(jù)進(jìn)行分析往往會(huì)獲得更大的價(jià)值。

3 離群點(diǎn)的后期處理

在對離群點(diǎn)進(jìn)行判別和驗(yàn)證后，需要對離群點(diǎn)進(jìn)行后期處理，以便精準(zhǔn)地服務(wù)于教育決策。首先，從技術(shù)的角度分析離群點(diǎn)的產(chǎn)生原因，若是因?yàn)榧夹g(shù)失誤或人為錄入錯(cuò)誤，就需要將這樣的離群數(shù)據(jù)剔除，以降低后期的操作難度、提升數(shù)據(jù)的精確度，盡可能地避免主觀因素的影響。其次，排除技術(shù)失誤的因素，采用合適的智能挖掘算法對離群點(diǎn)進(jìn)行挖掘，構(gòu)建分析模型，確定合適的離群范圍，盡可能地減少離群點(diǎn)的主觀性和相對性帶來的誤差影響。最后，將離群點(diǎn)的分析結(jié)果以可視化的形式呈現(xiàn)出來，以便結(jié)合具體的教育教學(xué)情境詳細(xì)分析離群點(diǎn)的產(chǎn)生原因，并有針對性地提出相關(guān)措施和規(guī)劃，以發(fā)揮出更為實(shí)用的應(yīng)用價(jià)值。

[1]Macfadyen L P, Dawson S. Mining LMS data to develop an “early warning system” for educators: A proof of concept[J]. Computers & Education, 2010,(2):588-599.

[2]Wong L. Student engagement with online resources and its impact on learning outcomes[J]. Journal of Information Technology Education: Innovations in Practice, 2013,(12):129-146.

[3]Psaromiligkos Y, Orfanidou M, Kytagias C, et al. Mining log data for the analysis of learners’ behaviour in web-based learning management systems[J]. Operational Research, 2011,(2):187- 200.

[4]Munk M, Drlik M. Impact of different pre-processing tasks on effective identification of users’ behavioral patterns in web-based educational system[J]. Procedia Computer Science, 2011,(4):1640-1649.

[5]Morris L V, Finnegan C, Wu C C. Tracking student behavior, persistence, and achievement in online courses[J]. The Internet and Higher Education, 2005,(3):221-231.

[6]Romero C, Ventura S. Educational data mining: A review of the state-of-the-art[J]. IEEE Transactions on Systems Man & Cybernetics, 2010,(6):601-618.

[7]Han J W, Kamber M, Pei J著.范明,孟小峰譯.數(shù)據(jù)挖掘概念與技術(shù)(第三版)[M].北京:機(jī)械工業(yè)出版社,2012:351-352.

[8]Hawkins D M. Identification of outliers[M]. London: Chapman and Hall, 1980:1-3.

[9]薛安榮,鞠時(shí)光,何偉華,等.局部離群點(diǎn)挖掘算法研究[J].計(jì)算機(jī)學(xué)報(bào),2007,(8):1455-1463.

[10]Cheng Y, Miao Y C, Tan P F, et al. Research on mining and detection method of abnormal learning behavior[A].International Conference on Information System and Artificial Intelligence[C]. Hong Kong: Conference Publishing Services, 2016:566-570.

[11]Farooqui T, Mustafa I, Christie T. Outliers in educational achievement data: Their potential for the improvement of performance[J]. Pakistan Journal of Statistics, 2014,(1):71-82.

[12]徐琰,肖基毅.離群點(diǎn)分析在高校能耗監(jiān)控系統(tǒng)中的應(yīng)用[J].南華大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,(2):89-93.

[13]Jana M, Sar N. Modeling of hotspot detection using cluster outlier analysis and Getis-Ord Gi* statistic of educational development in upper-primary level, India[J]. Modeling Earth Systems and Environment, 2016,(2):60-61.

[14]楊現(xiàn)民,唐斯斯,李冀紅.發(fā)展教育大數(shù)據(jù):內(nèi)涵、價(jià)值和挑戰(zhàn)[J].現(xiàn)代遠(yuǎn)程教育研究,2016,(1):50-61.

[15]陸柳生,余明暉.基于離群點(diǎn)檢測的學(xué)生學(xué)習(xí)狀態(tài)分析方法[J].計(jì)算機(jī)與現(xiàn)代,2016,(3):35-40.