• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學(xué)習(xí)績(jī)效預(yù)測(cè)模型構(gòu)建:源于?學(xué)習(xí)行為大數(shù)據(jù)分析

    2021-05-19 06:15:48胡航杜爽梁佳柔康忠琳
    中國(guó)遠(yuǎn)程教育 2021年4期
    關(guān)鍵詞:決策樹分類器準(zhǔn)確率

    胡航 杜爽 梁佳柔 康忠琳

    【摘要】

    隨著教育大數(shù)據(jù)分析技術(shù)的發(fā)展,學(xué)習(xí)預(yù)測(cè)研究已成為學(xué)習(xí)分析技術(shù)的一個(gè)重要研究方向,但通過不同場(chǎng)景學(xué)習(xí)行為日志數(shù)據(jù)進(jìn)行學(xué)習(xí)預(yù)測(cè)研究較少。研究采集了823名大學(xué)生學(xué)習(xí)場(chǎng)景中在線學(xué)習(xí)日志數(shù)據(jù)和生活場(chǎng)景中一卡通消費(fèi)和借閱圖書日志數(shù)據(jù),構(gòu)建在線學(xué)習(xí)行為、早起行為、借閱行為和學(xué)習(xí)績(jī)效預(yù)測(cè)指標(biāo),通過五種機(jī)器學(xué)習(xí)模型對(duì)學(xué)習(xí)績(jī)效進(jìn)行預(yù)測(cè)分析,結(jié)合提升(Boosting)和裝袋(Bagging)兩種方法提升預(yù)測(cè)模型的準(zhǔn)確率,并與人工神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)性能對(duì)比。研究表明,多場(chǎng)景行為表現(xiàn)指標(biāo)有較強(qiáng)的預(yù)測(cè)能力,深度神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確率最高(82%)但耗時(shí)最多。同時(shí),結(jié)合決策樹與規(guī)則模型建立了分類規(guī)則集,構(gòu)建了一種結(jié)合決策樹和深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)行為診斷模型,該模型兼具高預(yù)測(cè)準(zhǔn)確率、易讀性高和易操作等特點(diǎn),可實(shí)現(xiàn)多場(chǎng)景學(xué)習(xí)行為診斷,實(shí)現(xiàn)精準(zhǔn)教學(xué)干預(yù)與學(xué)習(xí)資源推薦。

    【關(guān)鍵詞】? 大學(xué)生;學(xué)習(xí)行為;多場(chǎng)景;學(xué)習(xí)績(jī)效;預(yù)測(cè)模型;機(jī)器學(xué)習(xí);決策樹;神經(jīng)網(wǎng)絡(luò)

    【中圖分類號(hào)】? ?G40-057? ? ? ? ?【文獻(xiàn)標(biāo)識(shí)碼】? A? ? ? ?【文章編號(hào)】? 1009-458x(2021)4-0008-13

    一、引言

    隨著教育大數(shù)據(jù)的廣泛應(yīng)用,學(xué)習(xí)預(yù)測(cè)研究已成為學(xué)習(xí)分析技術(shù)的一個(gè)重要研究方向。學(xué)習(xí)分析技術(shù)已從原理探究、應(yīng)用價(jià)值等理論研究轉(zhuǎn)向基于教育大數(shù)據(jù)的學(xué)習(xí)行為分析、數(shù)據(jù)可視化、學(xué)習(xí)預(yù)測(cè)等實(shí)際應(yīng)用研究(胡航, 等, 2020)。學(xué)習(xí)預(yù)測(cè)研究主要依據(jù)之前和當(dāng)前的學(xué)習(xí)活動(dòng)特征對(duì)學(xué)習(xí)者未來的結(jié)果表現(xiàn)進(jìn)行預(yù)估,如學(xué)習(xí)成績(jī)、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力等,通過不同形式的學(xué)習(xí)預(yù)測(cè)來改善學(xué)習(xí)成效和學(xué)習(xí)體驗(yàn)(AlShammari, Aldhafiri, & Al-Shammari, 2013; Nkhoma, Sriratanaviriyakul, Cong, & Lam, 2014)。學(xué)習(xí)結(jié)果預(yù)測(cè)集中在成績(jī)預(yù)測(cè)理論模型構(gòu)建、成績(jī)預(yù)測(cè)模型實(shí)證研究、算法準(zhǔn)確性對(duì)比、算法開發(fā)、預(yù)警因素研究和綜述研究等方面,主要采用決策樹、回歸分析、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯、支持向量機(jī)等方法來預(yù)測(cè)學(xué)習(xí)績(jī)效和學(xué)習(xí)效果(王改花, 等, 2019)。隨著機(jī)器學(xué)習(xí)、情感分析、模式識(shí)別等智能技術(shù)的不斷發(fā)展和成熟,特別是深度神經(jīng)網(wǎng)絡(luò)識(shí)別技術(shù)與教育領(lǐng)域的結(jié)合,為學(xué)習(xí)預(yù)測(cè)研究提供了有力的技術(shù)支撐,逐步應(yīng)用于學(xué)生學(xué)習(xí)追蹤、表現(xiàn)預(yù)測(cè)、教學(xué)輔助工具和行為分析等場(chǎng)景(陳德鑫, 等, 2019)。盡管學(xué)習(xí)預(yù)測(cè)研究有了一些初步成果,但以優(yōu)化學(xué)習(xí)過程和改善學(xué)習(xí)成效為目標(biāo)的學(xué)習(xí)預(yù)測(cè)研究還未在教育領(lǐng)域得到深入實(shí)踐和應(yīng)用,距離準(zhǔn)確和大規(guī)模應(yīng)用還較遠(yuǎn)(牟智佳, 等, 2017)。如何建立具有較高預(yù)測(cè)性能、兼具易讀性和易操作性的學(xué)習(xí)預(yù)測(cè)方法,并依據(jù)預(yù)測(cè)結(jié)果進(jìn)行差異化的干預(yù)與推薦應(yīng)用,成為亟待解決的問題。本研究采用深度神經(jīng)網(wǎng)絡(luò)結(jié)合機(jī)器學(xué)習(xí)分析技術(shù),運(yùn)用多場(chǎng)景學(xué)習(xí)行為數(shù)據(jù),構(gòu)建學(xué)習(xí)行為診斷模型,以期為學(xué)習(xí)績(jī)效預(yù)測(cè)分析和學(xué)習(xí)干預(yù)提供參考和指導(dǎo)。

    二、研究基礎(chǔ)與研究問題

    (一)基于機(jī)器學(xué)習(xí)的預(yù)測(cè)研究

    機(jī)器學(xué)習(xí)是一組使計(jì)算機(jī)能夠在沒有人為編程干預(yù)的情況下進(jìn)行自我學(xué)習(xí)的新技術(shù),在社會(huì)的各個(gè)行業(yè)得到廣泛應(yīng)用(Kannammal, 2015)。隨著技術(shù)的不斷成熟,機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)在教育領(lǐng)域的應(yīng)用也越來越廣泛和深入。監(jiān)督學(xué)習(xí)主要尋找能夠從外部提供的實(shí)例中進(jìn)行推理的算法,從而產(chǎn)生一般的假設(shè),其目標(biāo)是根據(jù)預(yù)測(cè)器的特征建立一個(gè)清晰的類標(biāo)簽分類模型(Kotsiantis, 2007)。監(jiān)督學(xué)習(xí)在教育領(lǐng)域中的研究?jī)?nèi)容主要集中在成績(jī)預(yù)測(cè)理論模型構(gòu)建、成績(jī)預(yù)測(cè)模型實(shí)證研究、算法準(zhǔn)確性對(duì)比、算法開發(fā)、預(yù)警因素研究、綜述研究等方面。黃等(Huang & Fang, 2013)基于多元線性回歸(Multiple Linear Regressions,MLR)、多層感知網(wǎng)絡(luò)(Multi-Layer Perceptron,MLP)、徑向基函數(shù)網(wǎng)絡(luò)(Radial Basis Function,RBF)和支持向量機(jī)(Support Vector Machine,SVM)四種類型的數(shù)學(xué)建模技術(shù),結(jié)合六種預(yù)測(cè)變量組合開發(fā)了一個(gè)預(yù)測(cè)數(shù)學(xué)模型,發(fā)現(xiàn)支持向量機(jī)模型的平均準(zhǔn)確率最高。塞勒姆等(Slim, Heileman, Kozlick, & Abdallah, 2014)以第一學(xué)期學(xué)生的基本信息(初始成績(jī)、性別等)作為基線,分析了預(yù)測(cè)指標(biāo)與平均績(jī)點(diǎn)(GPA)的相關(guān)關(guān)系,利用貝葉斯信念網(wǎng)絡(luò)(Bayesian Belief Network,BBN)預(yù)測(cè)了學(xué)生在學(xué)術(shù)生涯早期的表現(xiàn),在第二學(xué)期加入其他行為表現(xiàn)指標(biāo)后提高了模型的預(yù)測(cè)準(zhǔn)確率。馬布蒂等(Marbouti, Diefes-Dux, & Strobel, 2015)通過采集大一新生前九周的出勤率、測(cè)驗(yàn)和作業(yè)數(shù)據(jù),利用邏輯回歸(Logistic Regression,LR)模型對(duì)中期考試進(jìn)行預(yù)測(cè),并在后期的研究中通過SVM、樸素貝葉斯分類器(Naive Bayes,NB)、決策樹(Decision Tree,DT)、多層感知機(jī)等各種監(jiān)督學(xué)習(xí)中常用的分類預(yù)測(cè)器,以邏輯回歸為基線模型進(jìn)行準(zhǔn)確率的比較(Marbouti, Diefes-Dux, & Madhavan, 2016)。胡塞等(Hussain, Zhu, Zhang, & Abidi, 2018)為了預(yù)測(cè)學(xué)生學(xué)習(xí)活動(dòng)的參與程度,利用在虛擬網(wǎng)絡(luò)環(huán)境中采集的學(xué)生行為數(shù)據(jù),對(duì)五種監(jiān)督學(xué)習(xí)算法進(jìn)行了預(yù)測(cè)比較,發(fā)現(xiàn)基于J48決策樹、JRIP和梯度增強(qiáng)分類器在準(zhǔn)確率、Kappa值和召回率(Recall)方面表現(xiàn)出更好的性能。近年來,一些學(xué)者開始將多種機(jī)器學(xué)習(xí)分類器混合使用,結(jié)合樸素貝葉斯分類器的高準(zhǔn)確率和J48分類器的效率,利用學(xué)生學(xué)習(xí)的基本信息和行為表現(xiàn)數(shù)據(jù)進(jìn)行學(xué)習(xí)成績(jī)的預(yù)測(cè)和學(xué)生表現(xiàn)的評(píng)估(Karthikeyan, Thangaraj, & Karthik, 2020)。這些研究不僅表現(xiàn)了不同學(xué)習(xí)行為數(shù)據(jù)對(duì)學(xué)習(xí)績(jī)效和學(xué)習(xí)效果之間存在顯著的相關(guān)性,還反映出行為表現(xiàn)指標(biāo)良好的預(yù)測(cè)效果。

    在預(yù)測(cè)準(zhǔn)確率提升方法上,除了采用基于不同機(jī)器學(xué)習(xí)對(duì)預(yù)測(cè)效果進(jìn)行篩選外,還可以采用集成算法AdaBoost模型對(duì)學(xué)生進(jìn)行分類預(yù)測(cè),提升分類器的預(yù)測(cè)準(zhǔn)確率(Han, Tong, Chen, Liu, & Liu, 2017)。尚蒂尼等(Shanthini, Vinodhini, & Chandrasekaran, 2018)將REPTree作為元學(xué)習(xí)的決策樹方法,基于Adaboost、Bagging、Dagging和Grading四種代表性分類器技術(shù)構(gòu)建不同的決策樹,發(fā)現(xiàn)Adaboost是基于學(xué)生測(cè)試成績(jī)預(yù)測(cè)學(xué)生學(xué)習(xí)績(jī)效的最佳元決策分類器,在測(cè)試集上的準(zhǔn)確率從89.4%提升到97.6%。陳子健等(2017)采用Bagging和Boosting集成學(xué)習(xí)方法構(gòu)建集成式學(xué)習(xí)成績(jī)分類預(yù)測(cè)模型,能不同程度地提升貝葉斯網(wǎng)絡(luò)(BN)、決策樹(DT)和人工神經(jīng)網(wǎng)絡(luò)(ANN)三種算法的分類性能,真正率、精度和召回率的準(zhǔn)確率從73%~75%提高到79.3%。因此,本研究在機(jī)器學(xué)習(xí)模型的選擇和優(yōu)化上,使用提升(Boosting)和裝袋(Bagging)兩種方法提升模型的準(zhǔn)確率,改進(jìn)模型的預(yù)測(cè)性能。

    (二)基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)績(jī)效預(yù)測(cè)研究

    1. 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)研究

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是模仿生物神經(jīng)元對(duì)等物,由被稱為神經(jīng)元的處理單元相互連接而組成的一套機(jī)器學(xué)習(xí)方法(Adewale, Bamidele, & Lateef, 2018),神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是分層的,神經(jīng)元在連續(xù)的層中進(jìn)行組裝,每一層的輸出被輸入到連續(xù)的層中,在輸入層、隱藏層和輸出層上部署了非線性函數(shù)的組合。神經(jīng)網(wǎng)絡(luò)應(yīng)用于社會(huì)的各個(gè)領(lǐng)域,在教育領(lǐng)域主要通過不同的神經(jīng)網(wǎng)絡(luò)算法組合實(shí)現(xiàn)學(xué)生學(xué)習(xí)效果預(yù)測(cè)和學(xué)習(xí)預(yù)警等。里庫(kù)倫佐等(Lykourentzou, Giannoukos, Mpardis, Nikolopoulos, & Loumos, 2009)提出一種多前饋神經(jīng)網(wǎng)絡(luò),將早期學(xué)生在電子學(xué)習(xí)課程中的測(cè)試成績(jī)作為網(wǎng)絡(luò)的輸入數(shù)據(jù)集,動(dòng)態(tài)預(yù)測(cè)學(xué)生十周后的最終成績(jī)。牟智佳等(2017)選擇決策樹、樸素貝葉斯網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)三種預(yù)測(cè)分類算法,比較學(xué)習(xí)時(shí)長(zhǎng)和學(xué)習(xí)次數(shù)預(yù)測(cè)學(xué)生在MOOC中輟學(xué)的準(zhǔn)確率,發(fā)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率最優(yōu),達(dá)到99%以上。法友米等(Fayoumi & Hajjar, 2020)以學(xué)生的學(xué)術(shù)指標(biāo)源作為輸入數(shù)據(jù)集,開發(fā)了一套基于神經(jīng)網(wǎng)絡(luò)模型的決策支持系統(tǒng),用于評(píng)估和預(yù)測(cè)學(xué)生學(xué)業(yè)表現(xiàn),并將該模型與大數(shù)據(jù)和分析研究相結(jié)合,以實(shí)現(xiàn)高級(jí)可視化。

    2. 深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)研究

    深度神經(jīng)網(wǎng)絡(luò)方法被稱為“表示學(xué)習(xí)方法”,由若干層非線性模塊組成。該方法能夠使系統(tǒng)足夠熟練地學(xué)習(xí)復(fù)雜問題,從而使系統(tǒng)足夠健壯,能夠?qū)?fù)雜和微小的特殊情況產(chǎn)生敏感(Waheed, et al., 2020)。與統(tǒng)計(jì)學(xué)方法相比,深度神經(jīng)網(wǎng)絡(luò)促進(jìn)了泛化,使其能夠從數(shù)據(jù)中正確推斷出隱藏的模式(Montavon, Samek, & Müller, 2018)。近年來,越來越多的學(xué)者將機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合??吕锔龋–orrigan & Smeaton, 2017)通過分析學(xué)生與虛擬學(xué)習(xí)環(huán)境的互動(dòng)次數(shù)預(yù)測(cè)學(xué)生學(xué)習(xí)成績(jī),運(yùn)用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的變異長(zhǎng)短期記憶(LSTM),以隨機(jī)森林為基準(zhǔn)對(duì)結(jié)果進(jìn)行評(píng)估,LSTM方差高達(dá)13.3%;依安達(dá)等(Iyanda, Ninan, Ajayi, & Anyabolu, 2018)利用前期單一學(xué)習(xí)成績(jī)(表現(xiàn)因子)預(yù)測(cè)學(xué)生的后期學(xué)習(xí)成績(jī),發(fā)現(xiàn)廣義回歸神經(jīng)網(wǎng)絡(luò)(徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的一種特殊形式)整體性能優(yōu)于多層感知機(jī)模型(MLP)。

    深度神經(jīng)網(wǎng)絡(luò)的搭建對(duì)研究者的技術(shù)要求較高,需要具備一定的程序開發(fā)經(jīng)驗(yàn)。懷卡托智能分析環(huán)境Weka,不僅集合了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機(jī)器學(xué)習(xí)算法,還能基于神經(jīng)網(wǎng)絡(luò)對(duì)圖形、文本等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,對(duì)學(xué)生的學(xué)習(xí)成績(jī)進(jìn)行分類預(yù)測(cè)(Meruelo, Jacobus, Idy, Nguyen-Louie, & Tapert, 2018)。Weka提供了深度神經(jīng)網(wǎng)絡(luò)組件WekaDeeplearning4j。它是一個(gè)基于Java語(yǔ)言的開源深度學(xué)習(xí)庫(kù),廣泛支持各種深度學(xué)習(xí)算法的模型框架,為研究者通過圖形用戶界面應(yīng)用深度學(xué)習(xí)技術(shù)提供了新的手段(Lang, Bravo-Marquez, Beckham, Hall, & Frank, 2019)。

    通過文獻(xiàn)分析發(fā)現(xiàn),國(guó)內(nèi)外學(xué)者采用機(jī)器學(xué)習(xí)在學(xué)習(xí)成績(jī)、學(xué)習(xí)評(píng)價(jià)等方面做了大量研究,但現(xiàn)有研究基礎(chǔ)還存在以下不足:一是學(xué)習(xí)分析場(chǎng)景較為單一,通常是基于某一具體學(xué)習(xí)情境的學(xué)習(xí)效果預(yù)測(cè),較少將多樣化的學(xué)習(xí)環(huán)境納入研究范疇,其應(yīng)用推廣受到限制;二是預(yù)測(cè)數(shù)據(jù)來源的局限性,較少形成較為完整的學(xué)習(xí)活動(dòng)數(shù)據(jù)鏈路,影響學(xué)習(xí)結(jié)果的準(zhǔn)確率;三是預(yù)測(cè)方法受限于有限的數(shù)據(jù)類型和數(shù)據(jù)量,傳統(tǒng)的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法較多,采用深度神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)進(jìn)行學(xué)習(xí)績(jī)效預(yù)測(cè)研究,特別是基于多場(chǎng)景、多模態(tài)數(shù)據(jù)源進(jìn)行教育大數(shù)據(jù)挖掘的研究較少。

    (三)研究問題

    此前,研究團(tuán)隊(duì)通過行為指標(biāo)的聚類和關(guān)聯(lián)建立了早起和借閱行為與學(xué)習(xí)績(jī)效的關(guān)系,并從元認(rèn)知角度進(jìn)行了分析和探討(杜爽, 等, 2020)。在此基礎(chǔ)上,本研究基于大學(xué)生網(wǎng)絡(luò)課程學(xué)習(xí)過程、早起行為和圖書借閱行為,將課內(nèi)學(xué)習(xí)表現(xiàn)與課外學(xué)習(xí)行為數(shù)據(jù)聯(lián)系在一起,建立多個(gè)學(xué)習(xí)場(chǎng)景的數(shù)據(jù)鏈路,通過對(duì)不同機(jī)器學(xué)習(xí)分類模型的預(yù)測(cè)分析和性能提升,結(jié)合深度神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)大學(xué)生學(xué)習(xí)績(jī)效進(jìn)行分類預(yù)測(cè),主要聚焦以下問題:

    ①哪些預(yù)測(cè)指標(biāo)對(duì)學(xué)習(xí)績(jī)效有較好的預(yù)測(cè)能力?

    ②基于研究樣本,哪些機(jī)器學(xué)習(xí)模型具有更好的預(yù)測(cè)性能和效能?

    ③結(jié)合不同預(yù)測(cè)模型的優(yōu)勢(shì),如何建立用于教學(xué)干預(yù)與學(xué)習(xí)推薦系統(tǒng)的學(xué)習(xí)行為診斷模型?

    三、研究設(shè)計(jì)

    (一)數(shù)據(jù)來源及變量構(gòu)建

    1. 數(shù)據(jù)來源

    以C市S高校2018級(jí)所有3,243名大學(xué)生作為數(shù)據(jù)采集對(duì)象,共采集到2018年9月至2019年8月23,948條日志數(shù)據(jù)和18,342條成績(jī)數(shù)據(jù)。學(xué)習(xí)場(chǎng)景數(shù)據(jù)來源于在線課程學(xué)習(xí)數(shù)據(jù),包括學(xué)校超星學(xué)習(xí)平臺(tái)中的學(xué)習(xí)日志數(shù)據(jù);生活場(chǎng)景數(shù)據(jù)包括圖書借閱數(shù)據(jù)和早起數(shù)據(jù),來源于圖書館業(yè)務(wù)日志和一卡通消費(fèi)日志數(shù)據(jù);學(xué)習(xí)績(jī)效數(shù)據(jù)來自超星學(xué)習(xí)平臺(tái)的在線測(cè)試成績(jī)和學(xué)校教務(wù)系統(tǒng)中對(duì)應(yīng)課程的期末筆試成績(jī)兩個(gè)方面。

    日志數(shù)據(jù)記錄了所有學(xué)生的活動(dòng),但這些數(shù)據(jù)存在不同程度的缺失和數(shù)據(jù)不平衡情況。對(duì)于數(shù)據(jù)缺失問題,如在一卡通借閱數(shù)據(jù)中有32.5%的學(xué)生在圖書館沒有借閱記錄,而剩下的學(xué)生中又有25.2%的學(xué)生僅借閱過1次,一卡通消費(fèi)數(shù)據(jù)也有類似問題。數(shù)據(jù)缺失的原因主要是大學(xué)目前沒有對(duì)借閱圖書進(jìn)行硬性要求,借閱圖書是學(xué)生進(jìn)行主動(dòng)學(xué)習(xí)的一種行為表現(xiàn);在一卡通消費(fèi)數(shù)據(jù)中也并非所有學(xué)生都會(huì)在早上有消費(fèi)行為。因此在數(shù)據(jù)預(yù)處理階段,除了將重復(fù)、無(wú)效等記錄進(jìn)行刪除之外,還將缺少4個(gè)或更多變量值的學(xué)生記錄進(jìn)行刪除,保證樣本數(shù)據(jù)的完整性和有效性。

    對(duì)于數(shù)據(jù)不平衡問題,如在學(xué)習(xí)績(jī)效分布中有82.4%的學(xué)生學(xué)習(xí)績(jī)效大于或等于80,僅有17.6%的學(xué)生小于80。對(duì)于這種偏態(tài)分布的數(shù)據(jù)采用分層抽樣方法,對(duì)學(xué)習(xí)績(jī)效大于或等于80的學(xué)生進(jìn)行隨機(jī)抽樣(樣本量減少),對(duì)學(xué)習(xí)績(jī)效小于80的學(xué)生利用SMOTE方法進(jìn)行重復(fù)抽樣(樣本量增加),抽樣后樣本中學(xué)習(xí)績(jī)效的兩種類別比例接近1∶1,確保樣本數(shù)據(jù)的代表性和無(wú)偏性。通過對(duì)數(shù)據(jù)的多次校驗(yàn)和處理,最終抽取出823名學(xué)生的有效數(shù)據(jù)作為本研究的樣本。

    2. 預(yù)測(cè)變量的構(gòu)建

    在預(yù)測(cè)指標(biāo)的選擇和處理上,不同學(xué)者針對(duì)不同研究目的有不同的選取方式和處理方式,本研究采用傾向性指標(biāo)和行為表現(xiàn)指標(biāo)相結(jié)合的方式(范逸洲, 等, 2018)。傾向性指標(biāo)也稱“靜態(tài)指標(biāo)”,即在學(xué)習(xí)進(jìn)行中不會(huì)改變的變量,如性別、民族等。具有某些傾向性指標(biāo)(如良好初試成績(jī))的學(xué)習(xí)者能夠在后期呈現(xiàn)出較好的學(xué)習(xí)狀態(tài)(Mckay, Miller, & Tritz, 2012),初始自我調(diào)節(jié)的學(xué)習(xí)能力、學(xué)習(xí)驅(qū)動(dòng)力也能很好地估計(jì)學(xué)習(xí)者能否獲得較高的測(cè)試分?jǐn)?shù)(Shum & Crick, 2012)。行為表現(xiàn)指標(biāo)也稱“動(dòng)態(tài)指標(biāo)”,即隨著學(xué)習(xí)的進(jìn)行會(huì)發(fā)生改變的變量,如行為次數(shù)、行為規(guī)律、行為的發(fā)生時(shí)長(zhǎng)等。多數(shù)研究者在建立學(xué)習(xí)績(jī)效和學(xué)習(xí)效果預(yù)測(cè)模型中均加入了行為表現(xiàn)指標(biāo)(Huang, et al., 2013; Slim, et al., 2014; Hussain, et al., 2018; Karthikeyan, et al., 2020)。傾向性指標(biāo)與行為表現(xiàn)指標(biāo)相互影響,如果對(duì)學(xué)習(xí)早期或中期的學(xué)習(xí)效果進(jìn)行預(yù)測(cè),傾向性指標(biāo)的預(yù)測(cè)能力較強(qiáng)(Whitener, 1989),而對(duì)學(xué)習(xí)中后期的學(xué)習(xí)績(jī)效進(jìn)行預(yù)測(cè),傾向性指標(biāo)的預(yù)測(cè)能力逐漸減弱而行為表現(xiàn)指標(biāo)的預(yù)測(cè)能力隨之增強(qiáng),后期將成為核心預(yù)測(cè)指標(biāo) (Park & Tennyson, 1986)。

    本研究將兩類指標(biāo)結(jié)合,傾向性指標(biāo)包括學(xué)生的性別、院系、專業(yè)等基本信息,行為表現(xiàn)指標(biāo)包括學(xué)習(xí)場(chǎng)景(在線課程)和生活場(chǎng)景(早起行為和借閱行為),預(yù)測(cè)結(jié)果為學(xué)習(xí)績(jī)效變量。在研究早期采集兩類指標(biāo)所對(duì)應(yīng)的預(yù)測(cè)變量值,而在后期數(shù)據(jù)處理階段對(duì)其進(jìn)行篩選。具體指標(biāo)如表1所示。

    (二)模型選擇與評(píng)估指標(biāo)

    1. 預(yù)測(cè)模型選擇

    在預(yù)測(cè)模型選擇上,主要聚焦在多場(chǎng)景學(xué)習(xí)過程中通過傾向性指標(biāo)和行為表現(xiàn)指標(biāo)預(yù)測(cè)大學(xué)生學(xué)習(xí)績(jī)效是否大于、等于或小于80分,是一個(gè)典型的二分類問題。因此,采用機(jī)器學(xué)習(xí)中常用的二分類模型——決策樹(J48)、RIPPER規(guī)則模型(JRip)、支持向量機(jī)(SVM)、貝葉斯網(wǎng)絡(luò)(BayesNet)和邏輯回歸(Logistic)分別比較不同模型對(duì)本研究樣本的預(yù)測(cè)性能。預(yù)測(cè)模型分為兩個(gè)階段:一是進(jìn)行監(jiān)督學(xué)習(xí),將已知的學(xué)習(xí)績(jī)效等級(jí)作為類別標(biāo)簽用于模型對(duì)預(yù)測(cè)變量的訓(xùn)練,建立模型參數(shù);二是使用測(cè)試數(shù)據(jù)將模型用于未知類別的判定,以評(píng)估模型的預(yù)測(cè)性能。

    2. 預(yù)測(cè)模型的評(píng)估指標(biāo)

    對(duì)二分類模型的性能評(píng)估指標(biāo),一般統(tǒng)計(jì)預(yù)測(cè)正確與否的數(shù)量后計(jì)算評(píng)估指標(biāo)。常用的統(tǒng)計(jì)參數(shù)包括:True Positive(真正,TP)被模型預(yù)測(cè)為正的正樣本;True Negative(真負(fù),TN)被模型預(yù)測(cè)為負(fù)的負(fù)樣本;False Positive(假正,F(xiàn)P)被模型預(yù)測(cè)為正的負(fù)樣本;False Negative(假負(fù),F(xiàn)N)被模型預(yù)測(cè)為負(fù)的正樣本。對(duì)模型預(yù)測(cè)效果最為直觀的評(píng)估指標(biāo)是準(zhǔn)確率(Accuracy),反映了分類算法對(duì)整個(gè)樣本的判定能力,但僅用準(zhǔn)確率來判斷模型的預(yù)測(cè)效果并不能客觀反映出整個(gè)模型的預(yù)測(cè)能力,還需要通過查看模型Kappa值、召回率(Recall)、靈敏度、特異度等指標(biāo)進(jìn)行綜合分析。本研究主要分析以下評(píng)估指標(biāo):

    準(zhǔn)確率 = (TP+FP)/(TP+FP+TN+FN);

    靈敏度 = 真正率(TPR)= TP/(TP+FN);

    特異度 = 1 - 假正率(FPR)= FP/(FP+TN);

    召回率 = TP/(FP+FN)。

    準(zhǔn)確率反映整個(gè)模型判定正確的樣本比例,體現(xiàn)模型對(duì)整個(gè)樣本的判別能力;靈敏度也稱“真正率”(TP Rate),反映正確判定的正例占總的正樣本的比值;特異度也稱“假正率”(FP Rate),反映錯(cuò)誤判定為正例占總的負(fù)樣本的比例;召回率反映了被分類算法正確判定的正例占總的正例的比例。

    在此基礎(chǔ)上,基于混淆矩陣構(gòu)建靈敏度與特異度的關(guān)系圖,即ROC(Receiver Operating Characteristic)曲線,分別在實(shí)際正樣本和負(fù)樣本中觀察相關(guān)概率分布,通過計(jì)算曲線下面積AUC(Area Under Curve)評(píng)估模型的預(yù)測(cè)能力。

    (三)研究方法與研究工具

    1. 研究方法

    預(yù)測(cè)方法為分析數(shù)據(jù)和生成模型參數(shù)提供有力的技術(shù)保障,本研究的分析過程如圖1所示:①在數(shù)據(jù)清洗的基礎(chǔ)上對(duì)預(yù)測(cè)變量進(jìn)行相關(guān)性和信息增益率計(jì)算,篩選出與學(xué)習(xí)績(jī)效關(guān)系最佳的預(yù)測(cè)變量;②使用十折交叉驗(yàn)證的方法對(duì)五個(gè)模型進(jìn)行訓(xùn)練和測(cè)試;③在單一預(yù)測(cè)模型的基礎(chǔ)上采用Bagging和Boosting方法集成分類器提升各模型預(yù)測(cè)效果,同時(shí)進(jìn)行預(yù)測(cè)效果評(píng)估;④以人工神經(jīng)網(wǎng)絡(luò)(ANN)為基線模型,與使用DeepLearning4j深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法進(jìn)行比較,計(jì)算AUC值來評(píng)估預(yù)測(cè)性能;⑤為了提供用于后期進(jìn)行學(xué)習(xí)行為判斷依據(jù),對(duì)決策樹進(jìn)行可視化分析,結(jié)合JRip規(guī)則算法共同生成用于診斷學(xué)習(xí)行為的規(guī)則集;⑥結(jié)合前期各預(yù)測(cè)模型的優(yōu)勢(shì),構(gòu)建基于規(guī)則集的學(xué)習(xí)行為診斷模型,為建立教學(xué)干預(yù)與學(xué)習(xí)資源推薦系統(tǒng)提供可行依據(jù)。

    2. 研究工具

    常見的學(xué)習(xí)預(yù)測(cè)工具有Weka、SPSS、SQL Sever 2008 Data Mining、SSAS等,或者幾種工具交替使用共同完成數(shù)據(jù)分析和預(yù)測(cè)評(píng)估。本研究基于PC平臺(tái)Intel Corei5-9300H和Windows版本1909,為了讓W(xué)ekaDeeplearning4j更好地發(fā)揮性能,安裝了支持GPU CUDA 10.2的安裝包。分析工具使用Weka3.8和Clementine12,利用兩者的優(yōu)勢(shì)達(dá)到最佳研究效果。在數(shù)據(jù)預(yù)處理、分類預(yù)測(cè)、集成分類器和深度學(xué)習(xí)分析階段,采用Weka分析工具;在決策樹可視化和規(guī)則集生成階段,采用Clementine分析工具。

    四、數(shù)據(jù)分析結(jié)果

    (一)預(yù)測(cè)變量的篩選

    1. 相關(guān)性分析與排序

    對(duì)所有預(yù)測(cè)變量進(jìn)行相關(guān)性分析,計(jì)算各變量與學(xué)習(xí)績(jī)效F之間的皮爾遜相關(guān)系數(shù),可衡量變量之間的線性相關(guān)關(guān)系。同時(shí),計(jì)算變量之間的方差膨脹因子(VIF),檢測(cè)他們之間是否存在高度共線性。若相關(guān)系數(shù)小于0.1或VIF大于10,則表明該變量對(duì)學(xué)習(xí)績(jī)效的預(yù)測(cè)效果不佳,應(yīng)考慮刪除。從表2可以發(fā)現(xiàn),在13個(gè)預(yù)測(cè)變量中ZY和Pro的相關(guān)系數(shù)小于0.1,并且ZY和VY的VIF數(shù)值遠(yuǎn)高于其他變量,因此將ZY變量刪除,其他變量保持不變。刪除ZY后重新進(jìn)行計(jì)算發(fā)現(xiàn),VY的VIF降至1.917,符合共線性要求。

    2. 信息增益率分析與排序

    計(jì)算所有預(yù)測(cè)變量與學(xué)習(xí)績(jī)效F之間的信息增益率。信息增益率能有效反映預(yù)測(cè)信息量的大小,它是通過計(jì)算變量的熵度量(屬性熵和類別條件熵的比值)來評(píng)估最佳預(yù)測(cè)變量對(duì)學(xué)習(xí)績(jī)效的信息攜帶量,是一種有效地從樣本中選擇屬性的方法(Karthikeyan, et al., 2020)。研究采用Weka中InfoGain屬性評(píng)估器,同時(shí)采用Ranker進(jìn)行降序排序(如表3所示)。從表3可以看出,Dep、Sex、Pro和ZY四個(gè)變量的信息增益率最低,小于或接近0.1。因此,結(jié)合相關(guān)性分析結(jié)果,刪除ZY、Dep、Sex和Pro四個(gè)變量。從中可以發(fā)現(xiàn),雖然相關(guān)性和信息增益率排序順序有所不同,但最終保留的9個(gè)變量數(shù)是一致的。

    (二)分類預(yù)測(cè)模型效果分析

    采用十折交叉驗(yàn)證法對(duì)各個(gè)分類模型進(jìn)行訓(xùn)練和測(cè)試。交叉驗(yàn)證法先將數(shù)據(jù)集分成十份,然后輪流將其中的九份作為訓(xùn)練數(shù)據(jù),剩下的一份作為測(cè)試數(shù)據(jù),最后通過將每次正確率的平均值作為算法精度的評(píng)估值,這樣可以最大化利用樣本進(jìn)行模型訓(xùn)練(Wong & Yeh, 2020)。經(jīng)過各模型的參數(shù)調(diào)優(yōu),得到各模型的預(yù)測(cè)結(jié)果(如表4所示),各模型的Kappa值在0.357~0.573之間,Kappa值在0.21~0.40屬于一般一致性(fair),在0.41~0.60屬于中等一致性(moderate)(Viera & Garrett, 2005),說明各模型分類結(jié)果一致性和信度基本達(dá)到要求。

    從預(yù)測(cè)結(jié)果分析看,真正率最高且假正率最低的是J48,準(zhǔn)確率達(dá)到0.724,其次是JRip和SVM,最低的是BayesNet和Logistic模型,準(zhǔn)確率僅有0.685。召回率、ROC面積與模型真正率基本成正比,模型的耗時(shí)在0.01~0.03秒之間,構(gòu)建速度很快。其中,與BayesNet準(zhǔn)確率一致的Logistic(0.685),假正率卻低于前者(0.333<0.345),假正率越低說明模型的錯(cuò)誤越少,表明Logistic模型的預(yù)測(cè)能力優(yōu)于BayesNet。

    (三)采用Boosting和Bagging集成方法提升分類器預(yù)測(cè)效果

    兩種集成方法都使用特殊算法將分類器的分類結(jié)果進(jìn)行組合來判斷預(yù)測(cè)類別,但使用不同的分類策略。提升(Boosting)為每一個(gè)訓(xùn)練樣本賦一個(gè)權(quán)重,在每一輪提升過程結(jié)束時(shí)自動(dòng)調(diào)整權(quán)重。裝袋(Bagging)是將原數(shù)據(jù)集進(jìn)行有放回的抽樣,構(gòu)建出大小和原數(shù)據(jù)集一樣的新數(shù)據(jù)集,再對(duì)所有基分類器的預(yù)測(cè)值進(jìn)行多數(shù)表決(陳子健, 等, 2017)。因此,兩種方法對(duì)不同分類器的預(yù)測(cè)效果和預(yù)測(cè)性能的提高是不一樣的(如圖2所示)。

    從圖2可以發(fā)現(xiàn),各預(yù)測(cè)模型通過兩種集成分類器在真正率、準(zhǔn)確率和召回率上均有不同程度的提高,假正率都有所降低。比較兩種集成方法,除了JRip模型之外,其余預(yù)測(cè)模型使用裝袋(Bagging)比使用提升(Boosting)無(wú)論是在真正率、準(zhǔn)確率和召回率上都有所提高,其中增幅最大的是邏輯回歸模型,準(zhǔn)確率從0.685提高到了0.719,增幅最小的是貝葉斯網(wǎng)絡(luò),增幅不到0.01。JRip模型在使用提升集成方法而并非在裝袋集成方法取得最好的預(yù)測(cè)性能,這可能與JRip算法本身的運(yùn)行機(jī)制有關(guān),但準(zhǔn)確率已從0.717提高到0.741,與準(zhǔn)確率最高的J48(0.744)效果相當(dāng);J48在采用裝袋集成方法后的假正率下降到所有模型中最低的0.259,預(yù)測(cè)性能進(jìn)一步得到優(yōu)化。

    (四)人工神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果分析

    Weka中的人工神經(jīng)網(wǎng)絡(luò)分類器是MultilayerPerceptron,運(yùn)行之前需要構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu),設(shè)置激活函數(shù)、損失函數(shù)、隱藏層數(shù)和學(xué)習(xí)率。深度學(xué)習(xí)分類器在Weka中采用Dl4jMlpClassifier,除了與神經(jīng)網(wǎng)絡(luò)相似的基本設(shè)置之外,還需要設(shè)置網(wǎng)絡(luò)類型、監(jiān)聽器類型、Epoch個(gè)數(shù)等參數(shù),然后將之前的9個(gè)預(yù)測(cè)變量作為模型輸入加載到兩個(gè)神經(jīng)網(wǎng)絡(luò)中運(yùn)行,同樣采用十折交叉驗(yàn)證法對(duì)分類模型進(jìn)行訓(xùn)練和測(cè)試,關(guān)鍵參數(shù)設(shè)置和預(yù)測(cè)結(jié)果如表5所示。

    從表5可以看到,相較之前五個(gè)機(jī)器學(xué)習(xí)模型,兩個(gè)神經(jīng)網(wǎng)絡(luò)模型的真正率、準(zhǔn)確率、召回率、ROC面積等預(yù)測(cè)指標(biāo)均有較大幅度的提升,Kappa值分別為0.674和0.715,模型分類結(jié)果的一致性達(dá)到了高度一致(substantial,0.61~0.80)等級(jí),模型準(zhǔn)確率分別達(dá)到了0.796和0.820,同時(shí)假正率也降低到0.206和0.179。之后還進(jìn)行了不同方案的模型參數(shù)調(diào)試,如設(shè)置不同的隱藏層數(shù)和修改學(xué)習(xí)率、Epoch數(shù)等,最終經(jīng)過多次嘗試和運(yùn)行,基于本研究的數(shù)據(jù)集深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果整體上高于人工神經(jīng)網(wǎng)絡(luò)。但兩種神經(jīng)網(wǎng)絡(luò)模型運(yùn)行十折交叉驗(yàn)證的時(shí)間較長(zhǎng),模型耗時(shí)比其他機(jī)器學(xué)習(xí)模型多出較多。

    為了比較各個(gè)模型的預(yù)測(cè)性能,計(jì)算出五個(gè)機(jī)器學(xué)習(xí)模型和兩個(gè)神經(jīng)網(wǎng)絡(luò)模型的ROC面積AUC, AUC的值在0.5到1之間,越接近1預(yù)測(cè)性能越好。圖3是五種機(jī)器學(xué)習(xí)預(yù)測(cè)模型在采用提升或裝袋集成分類器后的最優(yōu)AUC值。一般認(rèn)為AUC值為0.6~0.75時(shí)區(qū)分能力一般,大于0.75時(shí)區(qū)分能力較好??梢钥吹交诒狙芯繑?shù)據(jù)預(yù)測(cè)性能最優(yōu)的是J48決策樹模型,AUC=0.818表示模型的預(yù)測(cè)能力較好,其余模型的AUC值分布在0.736至0.791之間,模型性能尚可接受。對(duì)比兩個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型(如圖4所示)可以發(fā)現(xiàn),兩者均高于前五種機(jī)器學(xué)習(xí)預(yù)測(cè)模型0.039~0.168,且深度神經(jīng)網(wǎng)絡(luò)的AUC值已達(dá)到了0.904,說明該模型的預(yù)測(cè)性能很好。

    (五)決策樹可視化分析

    深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型雖然可以得到較高的準(zhǔn)確率,但無(wú)法直觀解釋各預(yù)測(cè)指標(biāo)與學(xué)習(xí)績(jī)效之間的關(guān)系,特別是變量的預(yù)測(cè)重要性等特征,需要進(jìn)一步深入分析,因此采用較為直觀、利于理解并基于本研究數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率較高的決策樹模型進(jìn)行可視化構(gòu)圖。采用Clementine中決策樹生成器生成樹狀結(jié)構(gòu)圖,共生成21個(gè)節(jié)點(diǎn),因節(jié)點(diǎn)5至節(jié)點(diǎn)13的分裂條件與父節(jié)點(diǎn)重復(fù),且這8個(gè)節(jié)點(diǎn)只覆蓋50名學(xué)生,所以將這8個(gè)節(jié)點(diǎn)進(jìn)行折疊,折疊后的13個(gè)節(jié)點(diǎn)可以解釋823名學(xué)生中773名學(xué)生的變量分布(如圖5所示)。

    根據(jù)決策分類圖中的路徑分析,可以較為直觀地分析學(xué)生的學(xué)習(xí)績(jī)效等級(jí)關(guān)系,例如通過節(jié)點(diǎn)0、1、15這條路徑可以得出:如果平均早起時(shí)間早于7.200(7:12AM)并且早起規(guī)律大于0.911(好于91.1%的學(xué)生),那么模型可以預(yù)測(cè)他的學(xué)習(xí)績(jī)效達(dá)到“≥80”這個(gè)等級(jí)。

    從決策樹分類結(jié)構(gòu)圖中可以發(fā)現(xiàn),對(duì)學(xué)習(xí)績(jī)效預(yù)測(cè)影響最大的是平均早起時(shí)間,其次是早起規(guī)律、學(xué)習(xí)訪問量、任務(wù)點(diǎn)完成數(shù)、早起次數(shù)及借書量,而視頻學(xué)習(xí)時(shí)長(zhǎng)、借閱深度和平均借書時(shí)長(zhǎng)三個(gè)變量沒有出現(xiàn)在決策樹結(jié)構(gòu)圖中。在Clementine中決策樹生成器算法為C5.0,它選擇具有最高信息增益的變量作為節(jié)點(diǎn)的分裂條件,因此可以看到分裂順序與表2中預(yù)測(cè)變量的排序順序基本一致。三個(gè)沒有出現(xiàn)的變量主要原因是在決策樹生產(chǎn)完后進(jìn)行了剪枝(Pruning),剪枝方法可以處理模型對(duì)數(shù)據(jù)的過擬合問題,通常剪枝方法使用統(tǒng)計(jì)度量,剪去最不可靠的分枝,起到精簡(jiǎn)模型的作用。

    (六)基于決策樹和JRip算法生成分類規(guī)則

    為了增強(qiáng)決策樹分類結(jié)構(gòu)的易讀性,利用JRip模型產(chǎn)生的規(guī)則與決策樹結(jié)果共同生成規(guī)則集。JRip是RIPPER規(guī)則算法的簡(jiǎn)稱,采用貪婪算法構(gòu)造規(guī)則集,采用錯(cuò)誤率降低剪枝REP(Reduced Error Pruning)技術(shù),相較于決策樹有更好的剪枝和停止準(zhǔn)則,可以進(jìn)一步簡(jiǎn)化和優(yōu)化規(guī)則集。生成的規(guī)則集按照學(xué)習(xí)績(jī)效“≥80”A型和“<80”B型進(jìn)行分類,并根據(jù)該規(guī)則所能分類的比例進(jìn)行排序(如B類規(guī)則1中“63;0.746”表示該規(guī)則可對(duì)63人中的74.6%也就是47人進(jìn)行分類),比例越高說明規(guī)則的信度越高。選取每一類型比例最高的前三條規(guī)則,最終生成用于學(xué)習(xí)行為診斷模型的規(guī)則集(如表6所示)。

    從表6規(guī)則集中可以發(fā)現(xiàn),在生活場(chǎng)景中早起行為的平均早起時(shí)間是所有規(guī)則中的第一條,而且早起規(guī)律也是較為重要的規(guī)則,其次是學(xué)習(xí)場(chǎng)景中的網(wǎng)絡(luò)學(xué)習(xí)中學(xué)習(xí)訪問量和任務(wù)點(diǎn)完成數(shù),而同樣是生活場(chǎng)景的借閱行為中的借書數(shù)量卻只出現(xiàn)了兩次?;诒狙芯繕颖緮?shù)據(jù),可以將三個(gè)場(chǎng)景的學(xué)習(xí)行為對(duì)學(xué)習(xí)績(jī)效的預(yù)測(cè)重要性排序:早起行為 > 網(wǎng)絡(luò)學(xué)習(xí) > 借閱行為。

    五、研究討論與總結(jié)

    (一)行為表現(xiàn)指標(biāo)有較強(qiáng)的預(yù)測(cè)能力

    從預(yù)測(cè)指標(biāo)的分析中,傾向性指標(biāo)在相關(guān)分析和信息增益率比較排序后被全部刪除掉,排名靠前的均為行為表現(xiàn)指標(biāo),說明傾向性指標(biāo)和行為表現(xiàn)指標(biāo)對(duì)于學(xué)習(xí)績(jī)效的預(yù)測(cè)能力存在較大差異。這與早期的一些預(yù)測(cè)研究結(jié)果是相符的(斯伯克特, 等, 2012; Park, et al., 1986),學(xué)習(xí)活動(dòng)開展初期傾向性指標(biāo)的預(yù)測(cè)能力較強(qiáng),而隨著學(xué)習(xí)活動(dòng)的開展行為表現(xiàn)指標(biāo)逐漸替代傾向性指標(biāo),成為預(yù)測(cè)學(xué)習(xí)績(jī)效的主要參數(shù)。學(xué)生的基本屬性隨著時(shí)間的推移,對(duì)學(xué)生自身的發(fā)展而言,在校園學(xué)習(xí)場(chǎng)景和生活場(chǎng)景中發(fā)生的學(xué)習(xí)行為對(duì)學(xué)習(xí)績(jī)效的影響也隨之增加。

    不同場(chǎng)景行為表現(xiàn)指標(biāo)的預(yù)測(cè)能力在模型預(yù)測(cè)中是不一樣的,而不同的生活場(chǎng)景對(duì)學(xué)習(xí)績(jī)效的預(yù)測(cè)能力也存在差別。主要原因在于:一是學(xué)習(xí)場(chǎng)景中的在線學(xué)習(xí)數(shù)據(jù)僅能反映學(xué)生真實(shí)學(xué)習(xí)活動(dòng)中的部分表現(xiàn),通過在線學(xué)習(xí)日志分析對(duì)基于MOOC等遠(yuǎn)程在線教學(xué)活動(dòng)的預(yù)測(cè)能力較強(qiáng),而對(duì)于混合式學(xué)習(xí)、翻轉(zhuǎn)課堂等需要結(jié)合線下課程共同實(shí)施的活動(dòng),對(duì)學(xué)生最終學(xué)習(xí)績(jī)效的預(yù)測(cè)能力可能是有限的(Hellas, et al.,2018);二是在生活場(chǎng)景中由于早起與借閱數(shù)據(jù)量的差異影響了預(yù)測(cè)能力,該預(yù)測(cè)數(shù)據(jù)中早起行為幾乎包括所有學(xué)生每天早上的一卡通消費(fèi)日志,數(shù)據(jù)采集量較大,而圖書館借閱日志的生成需要學(xué)生主動(dòng)進(jìn)行借閱圖書行為后才能產(chǎn)生,有些學(xué)生一學(xué)期或一學(xué)年的借閱量都較少,也就是這兩種行為數(shù)據(jù)的密度分布存在差異,對(duì)學(xué)生行為表現(xiàn)的度量顯然是不一樣的,從而影響了學(xué)習(xí)績(jī)效的預(yù)測(cè)效果。

    (二)機(jī)器學(xué)習(xí)模型預(yù)測(cè)性能分析

    將多種機(jī)器學(xué)習(xí)分類器混合使用,可以兼具各分類器的性能和效率優(yōu)勢(shì),綜合和集成多類預(yù)測(cè)模型能顯著提升預(yù)測(cè)能力。本研究采用的五種機(jī)器學(xué)習(xí)模型通過兩種集成方法后預(yù)測(cè)準(zhǔn)確率平均提升1.01~3.4個(gè)百分點(diǎn),提升后的預(yù)測(cè)準(zhǔn)確率在69.3%~74.4%,與其他學(xué)者82%~89%(Huang, et al., 2013)、60%~63%(Hamoud, Hashim, & Awadh, 2018)、82%~88%(Hussain, et al., 2018)和60%~73%(武法提, 等, 2019)采用不同工具進(jìn)行學(xué)習(xí)績(jī)效預(yù)測(cè)的準(zhǔn)確率基本一致。這些模型在預(yù)測(cè)指標(biāo)和預(yù)測(cè)方法的選擇上都與具體應(yīng)用場(chǎng)景和數(shù)據(jù)樣本有關(guān)。這說明數(shù)據(jù)樣本的差異性使得同一預(yù)測(cè)方法在不同樣本中的預(yù)測(cè)效果存在差異,而同一數(shù)據(jù)樣本采用不同的預(yù)測(cè)方法也會(huì)得到不同的預(yù)測(cè)結(jié)果。因此,在選擇預(yù)測(cè)方法時(shí)需要根據(jù)具體的數(shù)據(jù)樣本類型和分布等情況,基于預(yù)測(cè)目標(biāo)的要求采用有針對(duì)性的預(yù)測(cè)算法,才能實(shí)現(xiàn)較為可靠和可信的預(yù)測(cè)結(jié)果。

    (三)深度神經(jīng)預(yù)測(cè)性能和效能分析

    從人工神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果來看,僅采用Weka中基本分類器構(gòu)建預(yù)測(cè)模型,在沒有采用提升與裝袋集成分類器的情況下就達(dá)到了較高的預(yù)測(cè)準(zhǔn)確度(0.796,0.82)。其他學(xué)者采用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的準(zhǔn)確率在65%以上(孫發(fā)勤, 等, 2019; Corrigan, et al., 2017)。深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率均高于人工神經(jīng)網(wǎng)絡(luò),且在Kappa值、召回率等指標(biāo)上均較好。因此,深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型可用于對(duì)學(xué)生學(xué)習(xí)行為的精準(zhǔn)預(yù)測(cè),相較于其他機(jī)器學(xué)習(xí)預(yù)測(cè)模型,其優(yōu)異的預(yù)測(cè)性能可用于學(xué)習(xí)行為診斷和學(xué)習(xí)干預(yù)方式的界定。

    但深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型也存在耗時(shí)較多的問題。從圖6可以看到,在機(jī)器學(xué)習(xí)模型中各初始預(yù)測(cè)模型的耗時(shí)一般只需0.01~0.03秒,采用了提升和裝袋集成分類器后模型的耗時(shí)開始大幅度增加,但耗時(shí)區(qū)間基本在0.08~0.44秒之間,小于0.5秒。而采用神經(jīng)網(wǎng)絡(luò)分類器的兩個(gè)模型耗時(shí)在5.66~7.78秒之間,與基本的機(jī)器學(xué)習(xí)模型耗時(shí)相比多了10~15倍。從人工神經(jīng)網(wǎng)絡(luò)與深度神經(jīng)網(wǎng)絡(luò)模型的效能上比較(如圖7所示),預(yù)測(cè)準(zhǔn)確率僅提高了2.4個(gè)百分點(diǎn),耗時(shí)就增加了2.12秒,這從預(yù)測(cè)的代價(jià)來說是較大的。不過隨著計(jì)算機(jī)性能的不斷提升,特別是基于并行計(jì)算的GPU價(jià)格下放,無(wú)論是機(jī)器學(xué)習(xí)還是神經(jīng)網(wǎng)絡(luò)算法在GPU上的計(jì)算速度將得到很大改善,計(jì)算效能也有極大提升,這為基于深度神經(jīng)網(wǎng)絡(luò)的智能化預(yù)測(cè)應(yīng)用提供了極大的技術(shù)保障。

    (四)構(gòu)建學(xué)習(xí)行為診斷模型

    雖然基于神經(jīng)網(wǎng)絡(luò)算法的預(yù)測(cè)結(jié)果好于其他分類器,但對(duì)于希望挖掘?qū)W習(xí)動(dòng)機(jī)和學(xué)習(xí)發(fā)生的內(nèi)在機(jī)理,目前深度神經(jīng)網(wǎng)絡(luò)算法對(duì)于學(xué)習(xí)技術(shù)研究來說還是一個(gè)黑盒算法,尚不能提供一個(gè)具體的用于學(xué)習(xí)效果診斷的評(píng)判依據(jù)。深度神經(jīng)網(wǎng)絡(luò)模型能得到一個(gè)比較理想的預(yù)測(cè)結(jié)果,但預(yù)測(cè)的可操作性還不夠具體。因此,本研究提出一種結(jié)合決策樹規(guī)則集和深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)行為診斷模型,相比單一診斷模型,該模型不僅具有深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度,而且兼具決策樹和規(guī)則算法的易讀性和可操作性,提升整體模型的泛化能力(如圖8所示)。

    從圖8可以看到,該模型分為知識(shí)推理引擎、知識(shí)解釋引擎和知識(shí)應(yīng)用引擎三個(gè)部分。在知識(shí)推理階段,主要是從學(xué)生基礎(chǔ)信息庫(kù)和學(xué)習(xí)事件數(shù)據(jù)庫(kù)中采集模型需要的訓(xùn)練集,用于不同預(yù)測(cè)模型的參數(shù)建立,通過深度神經(jīng)網(wǎng)絡(luò)建立準(zhǔn)確率較高的預(yù)測(cè)模型,用于判斷行為數(shù)據(jù)的預(yù)測(cè)結(jié)果。同時(shí),采用基于決策樹和規(guī)則算法的機(jī)器學(xué)習(xí)預(yù)測(cè)模型生成用于預(yù)測(cè)診斷的規(guī)則集,通過測(cè)試集驗(yàn)證其預(yù)測(cè)效果。在知識(shí)解釋引擎中,根據(jù)預(yù)測(cè)結(jié)果和預(yù)測(cè)規(guī)則建立學(xué)習(xí)行為診斷模型,通過關(guān)鍵詞AND(并且)、OR(或者)或者不同規(guī)則表達(dá)式的混合使用,當(dāng)新的驗(yàn)證集數(shù)據(jù)進(jìn)行診斷并形成預(yù)測(cè)結(jié)果時(shí),解釋引擎具有的IF(條件)THEN(應(yīng)用)結(jié)構(gòu)將觸發(fā)診斷規(guī)則,繼而根據(jù)診斷分類(A型或B型)執(zhí)行特定的應(yīng)用。知識(shí)應(yīng)用引擎根據(jù)特定類型提供相應(yīng)的推薦和干預(yù)模型,對(duì)于學(xué)習(xí)績(jī)效較好的A型依據(jù)資源推薦策略,提供更具個(gè)性化的學(xué)習(xí)資源推薦;對(duì)于學(xué)習(xí)績(jī)效一般的B型依據(jù)診斷模型中規(guī)則集分析學(xué)習(xí)行為的欠缺之處,提供有針對(duì)性的學(xué)習(xí)行為干預(yù)策略,并對(duì)干預(yù)后的學(xué)習(xí)行為進(jìn)行檢測(cè)和評(píng)估,通過對(duì)學(xué)習(xí)績(jī)效的測(cè)試和評(píng)價(jià)檢測(cè)推薦和干預(yù)模型的實(shí)施效果,同時(shí)將后期活動(dòng)的數(shù)據(jù)經(jīng)過預(yù)處理后存入學(xué)習(xí)事件數(shù)據(jù)庫(kù)中,為進(jìn)一步更新和優(yōu)化預(yù)測(cè)模型提供數(shù)據(jù)保障。

    (五)學(xué)習(xí)績(jī)效預(yù)測(cè)機(jī)制與教育價(jià)值

    學(xué)習(xí)績(jī)效預(yù)測(cè)的目的不僅是計(jì)算出較高準(zhǔn)確率的分類結(jié)果,更重要的是利用預(yù)測(cè)結(jié)果為學(xué)習(xí)者提供服務(wù),促使學(xué)習(xí)者優(yōu)化學(xué)習(xí)路徑,改善學(xué)習(xí)成效(Thomas, 2016),從預(yù)測(cè)機(jī)制和教育價(jià)值上分析:

    一是在不同場(chǎng)景數(shù)據(jù)的模型預(yù)測(cè)上,局限在一個(gè)具體場(chǎng)景中的學(xué)習(xí)績(jī)效預(yù)測(cè)難以將預(yù)測(cè)結(jié)果泛化到整個(gè)學(xué)習(xí)環(huán)境中去,而基于多場(chǎng)景數(shù)據(jù)的預(yù)測(cè)模型能比較全面地反映學(xué)習(xí)績(jī)效與場(chǎng)景中不同學(xué)習(xí)行為之間的重要性,不僅對(duì)預(yù)測(cè)的準(zhǔn)確率和預(yù)測(cè)效果都有較大的提升,而且預(yù)測(cè)診斷后可以基于規(guī)則為學(xué)生提供在不同學(xué)習(xí)場(chǎng)景的改善意見。如一名學(xué)生經(jīng)過深度神經(jīng)網(wǎng)絡(luò)模型診斷為A類型后,發(fā)現(xiàn)符合A類規(guī)則2,說明該學(xué)生有較好的學(xué)習(xí)能動(dòng)性,但生活規(guī)律一般,因此可以在生活場(chǎng)景中鼓勵(lì)學(xué)生定制學(xué)習(xí)規(guī)劃表、推薦與學(xué)科專業(yè)相關(guān)的圖書,在學(xué)習(xí)場(chǎng)景中推薦相關(guān)網(wǎng)絡(luò)課程、提供數(shù)字化學(xué)習(xí)資源等手段,為學(xué)生提升學(xué)習(xí)效率、改進(jìn)學(xué)習(xí)方法、提升學(xué)習(xí)效果提供幫助和指導(dǎo)(胡航, 等, 2020)。隨著智能影像分析和情感識(shí)別等技術(shù)的日益完善,未來可以獲取學(xué)習(xí)者更多場(chǎng)景的數(shù)據(jù),如在課程學(xué)習(xí)過程中內(nèi)在心理狀態(tài)變化數(shù)據(jù)等,將學(xué)習(xí)表情、學(xué)習(xí)情感、學(xué)習(xí)注意力,從心理學(xué)視角分析學(xué)習(xí)行為和狀態(tài),探測(cè)影響學(xué)習(xí)結(jié)果的影響因素(牟智佳, 等, 2017),從而提高學(xué)習(xí)預(yù)測(cè)準(zhǔn)確率。

    二是在學(xué)習(xí)行為的干預(yù)上,根據(jù)被預(yù)測(cè)的等級(jí)進(jìn)行對(duì)應(yīng)級(jí)別的干預(yù)措施。如預(yù)測(cè)為學(xué)習(xí)較差類的學(xué)生進(jìn)行級(jí)別較大的干預(yù)(Perelmutter, McGregor, & Gordon, 2017),然而由于預(yù)測(cè)等級(jí)的具體原因不清晰,常以一類學(xué)生為單位進(jìn)行集體干預(yù)。通過本研究提供的學(xué)習(xí)行為診斷模型,可以反過來從判斷規(guī)則中找到每個(gè)學(xué)生學(xué)習(xí)行為中的問題和薄弱點(diǎn),避免以群體為單位的粗粒度干預(yù)方式,從而為每個(gè)學(xué)生提供有針對(duì)性的干預(yù)措施,使個(gè)性化的“精準(zhǔn)干預(yù)”成為可能(胡航, 等, 2019)。如一名學(xué)生經(jīng)過模型診斷為B類型后,發(fā)現(xiàn)平均早起時(shí)間晚于7.2,并且網(wǎng)絡(luò)課程學(xué)習(xí)訪問量低于88次,符合B類型的規(guī)則1,因此教師可以針對(duì)該學(xué)生的具體情況采取鼓勵(lì)早起學(xué)習(xí)、增加網(wǎng)絡(luò)課程學(xué)習(xí)時(shí)間等干預(yù)措施,從而激發(fā)和調(diào)動(dòng)學(xué)生的學(xué)習(xí)意識(shí)和學(xué)習(xí)積極性,同時(shí)也為教育政策制定、教學(xué)資源規(guī)劃和教學(xué)方法實(shí)施提供決策支撐。

    三是在教育決策上,大數(shù)據(jù)分析與預(yù)測(cè)技術(shù)的發(fā)展為教育決策的制定提供了新的契機(jī),同時(shí)也帶來了新的挑戰(zhàn)。本研究采集的數(shù)據(jù)由于部分屬性值的缺失(稀疏性)和不平衡(異質(zhì)性),需要高維度的數(shù)據(jù)特征度量和抽樣方法,增加了數(shù)據(jù)處理的難度,降低了數(shù)據(jù)的使用率(從3,243名學(xué)生中抽取出823名),也影響了研究樣本對(duì)總體的解釋程度。因此,基于大數(shù)據(jù)分析的教育決策發(fā)展也面臨一系列亟待解決的問題。但隨著基于大數(shù)據(jù)智能技術(shù)的發(fā)展,特別是面向異構(gòu)大數(shù)據(jù)的新一代統(tǒng)計(jì)推斷體系以及適用于噪聲數(shù)據(jù)挖掘方法和預(yù)測(cè)方法的不斷完善,將為學(xué)校教育管理者和教師分析教育現(xiàn)象和結(jié)果之間的聯(lián)系提供更加可靠的數(shù)據(jù)基礎(chǔ),從而增加教育決策的成功率,降低教育決策風(fēng)險(xiǎn)和成本。

    六、結(jié)語(yǔ)

    本文采用學(xué)生學(xué)習(xí)場(chǎng)景和生活場(chǎng)景中的學(xué)習(xí)行為日志數(shù)據(jù),通過五種機(jī)器學(xué)習(xí)模型和兩種神經(jīng)網(wǎng)絡(luò)模型對(duì)學(xué)習(xí)績(jī)效進(jìn)行預(yù)測(cè),分析和比較預(yù)測(cè)結(jié)果和預(yù)測(cè)效能,結(jié)合深度神經(jīng)網(wǎng)絡(luò)模型的高預(yù)測(cè)準(zhǔn)確率和決策樹與規(guī)則模型的易讀性和易操作性,構(gòu)建了基于規(guī)則集的學(xué)習(xí)行為診斷模型。在研究還存在一些局限性,限于數(shù)據(jù)的缺失和不平衡,研究樣本還未能全覆蓋;三個(gè)場(chǎng)景中的學(xué)習(xí)行為數(shù)據(jù)預(yù)測(cè)學(xué)習(xí)績(jī)效還未能涵蓋大學(xué)學(xué)習(xí)場(chǎng)景中對(duì)學(xué)習(xí)績(jī)效影響的其他因素。在后期研究中,將在更多學(xué)習(xí)場(chǎng)景中整合不同學(xué)習(xí)類型和學(xué)習(xí)行為數(shù)據(jù),針對(duì)每個(gè)學(xué)習(xí)場(chǎng)景自身的特點(diǎn)和性質(zhì)采取不同的智能化學(xué)習(xí)分析技術(shù),為學(xué)習(xí)者和教育工作者提供更加精準(zhǔn)的預(yù)測(cè)與干預(yù)服務(wù),形成教學(xué)實(shí)驗(yàn)、教學(xué)研究、教學(xué)實(shí)踐的教育大數(shù)據(jù)研究與實(shí)踐的教科研發(fā)展閉環(huán)。

    [參考文獻(xiàn)]

    陳德鑫,占袁圓,楊兵. 2019. 深度學(xué)習(xí)技術(shù)在教育大數(shù)據(jù)挖掘領(lǐng)域的應(yīng)用分析[J]. 電化教育研究(2):68-76.

    陳子健,朱曉亮. 2017. 基于教育數(shù)據(jù)挖掘的在線學(xué)習(xí)者學(xué)業(yè)成績(jī)預(yù)測(cè)建模研究[J]. 中國(guó)電化教育(12):75-81,89.

    杜爽,飛云倩,何牧,胡航. 2020. 大學(xué)生“早起”和“借閱”行為與學(xué)習(xí)績(jī)效的關(guān)系研究[J]. 中國(guó)遠(yuǎn)程教育(11):47-58,77.

    范逸洲,汪瓊. 2018. 學(xué)業(yè)成就與學(xué)業(yè)風(fēng)險(xiǎn)的預(yù)測(cè)——基于學(xué)習(xí)分析領(lǐng)域中預(yù)測(cè)指標(biāo)的文獻(xiàn)綜述[J]. 中國(guó)遠(yuǎn)程教育(1):5-15,44,79.

    胡航,李雅馨,曹一凡,趙秋華,郎啟娥. 2019. 腦機(jī)交互促進(jìn)學(xué)習(xí)有效發(fā)生的路徑及實(shí)驗(yàn)研究——基于在線學(xué)習(xí)系統(tǒng)中的注意力干預(yù)分析[J]. 遠(yuǎn)程教育雜志(4):54-63.

    胡航,李雅馨,郎啟娥,楊海茹,趙秋華,曹一凡. 2020. 深度學(xué)習(xí)的發(fā)生過程、設(shè)計(jì)模型與機(jī)理闡釋[J]. 中國(guó)遠(yuǎn)程教育(1):54-61,77.

    牟智佳,武法提. 2017. MOOC學(xué)習(xí)結(jié)果預(yù)測(cè)指標(biāo)探索與學(xué)習(xí)群體特征分析[J]. 現(xiàn)代遠(yuǎn)程教育研究(3):58-66,93.

    牟智佳,武法提. 2017. 教育大數(shù)據(jù)背景下學(xué)習(xí)結(jié)果預(yù)測(cè)研究的內(nèi)容解析與設(shè)計(jì)取向[J]. 中國(guó)電化教育(7):26-32.

    斯伯克特,任友群. 2012. 教育傳播與技術(shù)研究手冊(cè)[M]. 上海:華東師范大學(xué)出版社.

    孫發(fā)勤,馮銳. 2019. 基于學(xué)習(xí)分析的在線學(xué)業(yè)成就影響因素研究[J]. 中國(guó)電化教育(3):48-54.

    王改花,傅鋼善. 2019. 網(wǎng)絡(luò)學(xué)習(xí)行為與成績(jī)的預(yù)測(cè)及學(xué)習(xí)干預(yù)模型的設(shè)計(jì)[J]. 中國(guó)遠(yuǎn)程教育(2):39-48.

    武法提,田浩. 2019. 挖掘有意義學(xué)習(xí)行為特征:學(xué)習(xí)結(jié)果預(yù)測(cè)框架[J]. 開放教育研究(6):75-82.

    AlShammari, I. A., Aldhafiri, M. D., & Al-Shammari, Z. (2013). A Meta-Analysis of Educational Data Mining on Improvements in Learning Outcomes. College Student Journal, 47(2), 326-333.

    Adewale, A. M., Bamidele, A. O., & Lateef, U. O. (2018). Predictive modelling and analysis of academic performance of secondary school students: Artificial Neural Network approach. International Journal of Science and Technology Education Research, 9(1), 1-8.

    Corrigan, O., & Smeaton, A. F. (2017). A course agnostic approach to predicting student success from VLE log data using recurrent neural networks. In European Conference on Technology Enhanced Learning (pp. 545-548).

    Fayoumi, A. G. , & Hajjar, A. F. (2020). Advanced learning analytics in academic education: academic performance forecasting based on an artificial neural network. International Journal on Semantic Web and Information Systems (IJSWIS), 16.

    Hamoud, A. K., Hashim, A. S., & Awadh, W. A. (2018). Predicting Student Performance in Higher Education Institutions Using Decision Tree Analysis. International Journal of Interactive Multimedia and Artificial Intelligence, 5(2), 26-31.

    Han, M., Tong, M., Chen, M., Liu, J., & Liu, C. (2017). Application of Ensemble Algorithm in Students Performance Prediction. In 2017 6th IIAI International Congress on Advanced Applied Informatics (IIAI-AAI), 735-740.

    Hellas, A., Ihantola, P., Petersen, A., Ajanovski, V. V., Gutica, M., Hynninen, T., … & Liao, S. N. (2018). Predicting academic performance: a systematic literature review. 23rd Annual Conference on Innovation and Technology in Computer Science Education (ITiCSE 2018), 175-199.

    Huang, S, & Fang, N. (2013). Predicting student academic performance in an engineering dynamics course: A comparison of four types of predictive mathematical models. Computers in Education, 61(1), 133-145.

    Hussain, M., Zhu, W., Zhang, W., & Abidi, S. M. R. (2018). Student Engagement Predictions in an e-Learning System and Their Impact on Student Course Assessment Scores. Computational Intelligence and Neuroscience, 2018, 6347186.

    Iyanda, A. R., Ninan, O. D., Ajayi, A. O., & Anyabolu, O. G. (2018). Predicting Student Academic Performance in Computer Science Courses: A Comparison of Neural Network Models. International Journal of Modern Education and Computer Science, 10(6), 1-9.

    Navamani, J. M. A., & Kannammal, A. (2015). Predicting Performance of Schools by Applying Data Mining Techniques on Public Examination Results. Research Journal of Applied Sciences, Engineering and Technology, 9(4), 262-271.

    Karthikeyan, V. G., Thangaraj, P., & Karthik, S. (2020). Towards developing hybrid educational data mining model (HEDM) for efficient and accurate student performance evaluation. Soft Computing, 1-11.

    Kotsiantis, S. B. (2007). Supervised Machine Learning: A Review of Classification Techniques. Informatica (Lithuanian Academy of Sciences), 31(3), 249-268.

    Lang, S., Bravo-Marquez, F., Beckham, C. J., Hall, M. A., & Frank, E. (2019). WekaDeeplearning4j: A deep learning package for weka based on Deeplearning4j. Knowledge Based Systems, 178, 48-50.

    Lykourentzou, I., Giannoukos, I., Mpardis, G., Nikolopoulos, V., & Loumos, V. (2009). Early and dynamic student achievement prediction in e-learning courses using neural networks. Journal of the Association for Information Science and Technology, 60(2), 372-380.

    Marbouti, F., Diefes-Dux, H. A., & Strobel, J. (2015). Building Course-Specific Regression-based Models to Identify At-risk Students. 2015 ASEE Annual Conference & Exposition.

    Marbouti, F., Diefes-Dux, H. A., & Madhavan, K. (2016). Models for early prediction of at-risk students in a course using standards-based grading. Computers in Education, 103, 1-15.

    McKay, T., Miller, K., & Tritz, J. (2012). What to do with actionable intelligence: E 2 Coach as an intervention engine. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 88-91).

    Meruelo, A. D. , Jacobus, J. , Idy, E. , Nguyen-Louie, T. , & Tapert, S. F. (2018). Early adolescent brain markers of late adolescent academic functioning. Brain Imaging and Behavior, 13(1), 1-8.

    Montavon, G., Samek, W., & Müller, K. R. (2018). Methods for interpreting and understanding deep neural networks. Digital Signal Processing, 73, 1-15.

    Nkhoma, M., Sriratanaviriyakul, N., Cong, H. P., & Lam, T. K. (2014). Examining the mediating role of learning engagement, learning process and learning experience on the learning outcomes through localized real case studies. Journal of Education and Training, 56(4), 287-302.

    Park, O. C., & Tennyson, R. D. (1986). Computer-Based Response-Sensitive Design Strategies for Selecting Presentation Form and Sequence of Examples in Learning of Coordinate Concepts. Journal of Educational Psychology, 78(2), 153-158.

    Perelmutter, B., McGregor, K. K., & Gordon, K. R. (2017). Assistive technology interventions for adolescents and adults with learning disabilities. Computers in Education, 114, 139-163.

    Shanthini, A., Vinodhini, G., & Chandrasekaran, R. M. (2018). Predicting Students Academic Performance in the University Using Meta Decision Tree Classifiers. Journal of Computer Science, 14(5), 654-662.

    Shum, S. B., & Crick, R. D. (2012). Learning dispositions and transferable competencies: pedagogy, modelling and learning analytics. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 92-101).

    Slim, A., Heileman, G. L., Kozlick, J., & Abdallah, C. T. (2014). Predicting student success based on prior performance. In 2014 IEEE Symposium on Computational Intelligence and Data Mining (CIDM) (pp. 410-415).

    Thomas, S. (2016). Future Ready Learning: Reimagining the Role of Technology in Education. 2016 National Education Technology Plan. Office of Educational Technology, US Department of Education.

    Viera, A. J., & Garrett, J. M. (2005). Understanding interobserver agreement: the kappa statistic. Family Medicine, 37(5), 360-363.

    Waheed, H., Hassan, S.-U., Aljohani, N. R., Hardman, J., Alelyani, S., & Nawaz, R. (2020). Predicting academic performance of students from VLE big data using deep learning models. Computers in Human Behavior, 104, 106189.

    Whitener, E. M. (1989). A Meta-Analytic Review of the Effect on Learning of the Interaction between Prior Achievement and Instructional Support. Review of Educational Research, 59 (1), 65-86.

    Wong, T.-T., & Yeh, P.-Y. (2020). Reliable Accuracy Estimates from k -Fold Cross Validation. IEEE Transactions on Knowledge and Data Engineering, 32(8), 1586-1594.

    收稿日期:2020-09-11

    定稿日期:2020-11-29

    作者簡(jiǎn)介:胡航,博士,副教授,碩士生導(dǎo)師,西南大學(xué)教師教育學(xué)院卓越教學(xué)中心副主任,深度學(xué)習(xí)研究中心主任(400715)。

    杜爽,碩士,講師,四川外國(guó)語(yǔ)大學(xué)教育技術(shù)中心(400031)。

    梁佳柔,碩士研究生;康忠琳,碩士研究生。西南大學(xué)教育學(xué)部(400715)。

    責(zé)任編輯 韓世梅

    猜你喜歡
    決策樹分類器準(zhǔn)確率
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    一種針對(duì)不均衡數(shù)據(jù)集的SVM決策樹算法
    決策樹和隨機(jī)森林方法在管理決策中的應(yīng)用
    電子制作(2018年16期)2018-09-26 03:27:06
    高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
    BP-GA光照分類器在車道線識(shí)別中的應(yīng)用
    加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
    結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機(jī)的TSK分類器
    基于決策樹的出租車乘客出行目的識(shí)別
    男的添女的下面高潮视频| 久久精品人人爽人人爽视色| 亚洲av中文av极速乱| 99久久中文字幕三级久久日本| 亚洲欧美日韩卡通动漫| 久久精品久久久久久久性| 精品亚洲乱码少妇综合久久| 日本黄色日本黄色录像| 蜜臀久久99精品久久宅男| 亚洲一级一片aⅴ在线观看| 日韩成人av中文字幕在线观看| 欧美精品亚洲一区二区| 考比视频在线观看| 婷婷色麻豆天堂久久| 久久人人爽人人爽人人片va| 国产精品久久久久久精品电影小说| 亚洲少妇的诱惑av| 国产精品久久久久久久电影| 99热网站在线观看| 午夜福利影视在线免费观看| tube8黄色片| 日韩,欧美,国产一区二区三区| 这个男人来自地球电影免费观看 | 日韩 亚洲 欧美在线| 免费黄频网站在线观看国产| 制服丝袜香蕉在线| 精品午夜福利在线看| 91精品伊人久久大香线蕉| 婷婷成人精品国产| 伊人久久精品亚洲午夜| 久久久久精品久久久久真实原创| 一级毛片我不卡| 自线自在国产av| 亚洲,欧美,日韩| 最新的欧美精品一区二区| 精品久久国产蜜桃| 国产日韩欧美视频二区| 国产精品99久久久久久久久| 69精品国产乱码久久久| 久久青草综合色| 热re99久久精品国产66热6| 国产又色又爽无遮挡免| 成人手机av| 高清av免费在线| 99久国产av精品国产电影| 免费黄频网站在线观看国产| av网站免费在线观看视频| 国产男人的电影天堂91| 欧美精品亚洲一区二区| h视频一区二区三区| 寂寞人妻少妇视频99o| 十分钟在线观看高清视频www| 国产免费一区二区三区四区乱码| 国产高清三级在线| 亚洲av欧美aⅴ国产| 国产成人精品婷婷| 久久人人爽人人片av| 久久狼人影院| 午夜日本视频在线| 色视频在线一区二区三区| 国产亚洲一区二区精品| 91精品一卡2卡3卡4卡| 亚洲精品日韩在线中文字幕| 色视频在线一区二区三区| 亚洲精品中文字幕在线视频| 色94色欧美一区二区| 少妇人妻 视频| 少妇猛男粗大的猛烈进出视频| 在线亚洲精品国产二区图片欧美 | 春色校园在线视频观看| av专区在线播放| 国产av码专区亚洲av| 亚洲av男天堂| 国产老妇伦熟女老妇高清| 欧美 日韩 精品 国产| 亚洲,欧美,日韩| 国产熟女午夜一区二区三区 | 中文字幕人妻丝袜制服| 成人国产av品久久久| 在线精品无人区一区二区三| 成人手机av| 久久99热这里只频精品6学生| 婷婷成人精品国产| 高清午夜精品一区二区三区| 有码 亚洲区| 九色亚洲精品在线播放| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲三级黄色毛片| 我的老师免费观看完整版| 午夜激情久久久久久久| 韩国av在线不卡| 欧美老熟妇乱子伦牲交| 少妇丰满av| 国产免费视频播放在线视频| 亚洲国产毛片av蜜桃av| 男女边摸边吃奶| 黑人欧美特级aaaaaa片| 欧美日韩亚洲高清精品| 熟女电影av网| 97在线视频观看| 亚洲五月色婷婷综合| 亚洲精品久久成人aⅴ小说 | 人人妻人人澡人人爽人人夜夜| 午夜日本视频在线| 黄色怎么调成土黄色| 欧美成人精品欧美一级黄| 欧美激情极品国产一区二区三区 | 一区二区三区免费毛片| 大又大粗又爽又黄少妇毛片口| 制服丝袜香蕉在线| 欧美国产精品一级二级三级| 91精品国产九色| 国产在线免费精品| 黑人高潮一二区| 在现免费观看毛片| 欧美激情国产日韩精品一区| av免费在线看不卡| a级毛片黄视频| 考比视频在线观看| 欧美日韩视频精品一区| 国产成人免费无遮挡视频| 99久久人妻综合| 九九在线视频观看精品| av一本久久久久| 性色av一级| 成年人免费黄色播放视频| 成人国产麻豆网| 一本大道久久a久久精品| 久久婷婷青草| 69精品国产乱码久久久| 亚洲精品日本国产第一区| 国产av一区二区精品久久| 在线观看免费日韩欧美大片 | 日本免费在线观看一区| 国产精品欧美亚洲77777| 韩国av在线不卡| 久久鲁丝午夜福利片| 九九久久精品国产亚洲av麻豆| 亚洲av免费高清在线观看| av专区在线播放| 日本与韩国留学比较| 国产高清有码在线观看视频| 久久精品国产亚洲av天美| 夜夜看夜夜爽夜夜摸| 一边亲一边摸免费视频| 18禁动态无遮挡网站| 老司机影院毛片| 少妇的逼好多水| 在线观看www视频免费| 岛国毛片在线播放| 高清av免费在线| 久久久精品区二区三区| 日本免费在线观看一区| 日韩成人av中文字幕在线观看| 亚洲国产精品国产精品| 视频在线观看一区二区三区| 大片免费播放器 马上看| 欧美一级a爱片免费观看看| 亚洲精品自拍成人| 亚洲高清免费不卡视频| 久久毛片免费看一区二区三区| 国产精品无大码| 国产精品久久久久久av不卡| 少妇被粗大的猛进出69影院 | 18禁裸乳无遮挡动漫免费视频| 久久久久精品性色| 精品酒店卫生间| 亚洲一级一片aⅴ在线观看| 最近的中文字幕免费完整| 一个人看视频在线观看www免费| 亚洲国产av影院在线观看| 热99国产精品久久久久久7| 熟女av电影| 日韩精品有码人妻一区| 欧美xxxx性猛交bbbb| 国产探花极品一区二区| 啦啦啦在线观看免费高清www| 亚洲欧美日韩另类电影网站| 免费高清在线观看日韩| 亚洲欧洲日产国产| 黑人巨大精品欧美一区二区蜜桃 | 国产精品欧美亚洲77777| 晚上一个人看的免费电影| 国产有黄有色有爽视频| 欧美日韩视频高清一区二区三区二| 日日啪夜夜爽| 91国产中文字幕| 毛片一级片免费看久久久久| 久久久欧美国产精品| 看非洲黑人一级黄片| 大香蕉97超碰在线| 亚洲无线观看免费| 精品午夜福利在线看| 久久精品久久久久久久性| 99精国产麻豆久久婷婷| 国产精品欧美亚洲77777| 中文字幕免费在线视频6| 永久网站在线| 国产成人免费无遮挡视频| 精品视频人人做人人爽| 日本wwww免费看| 欧美日韩av久久| 国产在线视频一区二区| 91久久精品国产一区二区三区| 女的被弄到高潮叫床怎么办| 制服丝袜香蕉在线| 亚洲婷婷狠狠爱综合网| 成年女人在线观看亚洲视频| 国产一区二区在线观看av| a 毛片基地| 日本黄色日本黄色录像| 久久ye,这里只有精品| 亚洲美女搞黄在线观看| 国产精品国产三级专区第一集| 精品少妇内射三级| 日日摸夜夜添夜夜添av毛片| 自拍欧美九色日韩亚洲蝌蚪91| 免费看av在线观看网站| 一级毛片黄色毛片免费观看视频| 久久青草综合色| 久久精品熟女亚洲av麻豆精品| 一区在线观看完整版| 国产亚洲精品久久久com| 久久亚洲国产成人精品v| 国产成人91sexporn| 97精品久久久久久久久久精品| 亚洲中文av在线| 一级毛片电影观看| 精品亚洲成a人片在线观看| 一级,二级,三级黄色视频| 好男人视频免费观看在线| 成人午夜精彩视频在线观看| 一本色道久久久久久精品综合| a级毛色黄片| 国产熟女欧美一区二区| 欧美性感艳星| 秋霞伦理黄片| 少妇人妻 视频| 一边摸一边做爽爽视频免费| 男女免费视频国产| 亚洲高清免费不卡视频| 日日摸夜夜添夜夜添av毛片| 欧美另类一区| 国产精品麻豆人妻色哟哟久久| av免费观看日本| 成年人午夜在线观看视频| 国产白丝娇喘喷水9色精品| 国产精品欧美亚洲77777| 伊人久久国产一区二区| 最黄视频免费看| 亚洲国产精品成人久久小说| 国产av码专区亚洲av| 日韩成人av中文字幕在线观看| 久久99热6这里只有精品| 欧美日韩一区二区视频在线观看视频在线| 一区二区三区四区激情视频| 亚洲欧美成人精品一区二区| 欧美另类一区| 一级爰片在线观看| www.色视频.com| 国产无遮挡羞羞视频在线观看| 我的老师免费观看完整版| 国产精品久久久久久av不卡| 日韩成人伦理影院| 亚洲欧洲日产国产| 亚洲三级黄色毛片| 亚洲国产精品专区欧美| 中文字幕制服av| 婷婷色麻豆天堂久久| 99久国产av精品国产电影| 女人久久www免费人成看片| 男女国产视频网站| 午夜免费观看性视频| 国产伦精品一区二区三区视频9| 亚洲精品第二区| 一级毛片黄色毛片免费观看视频| av卡一久久| 日韩成人伦理影院| av又黄又爽大尺度在线免费看| 国产精品久久久久久久久免| 只有这里有精品99| 最近的中文字幕免费完整| 日本-黄色视频高清免费观看| 久久人人爽av亚洲精品天堂| 少妇的逼水好多| 日韩大片免费观看网站| 极品少妇高潮喷水抽搐| 视频区图区小说| 国产乱来视频区| 男女免费视频国产| 国产精品熟女久久久久浪| 精品酒店卫生间| 黄片播放在线免费| av专区在线播放| 国产精品国产三级国产av玫瑰| 女的被弄到高潮叫床怎么办| 蜜臀久久99精品久久宅男| av女优亚洲男人天堂| 免费高清在线观看日韩| 王馨瑶露胸无遮挡在线观看| 国产精品一区二区在线观看99| 久久综合国产亚洲精品| 免费看不卡的av| 大码成人一级视频| 久久久久久久久久久丰满| av免费观看日本| 三级国产精品片| 永久免费av网站大全| 国产免费一区二区三区四区乱码| 国产精品一区二区在线观看99| 免费观看性生交大片5| 中国美白少妇内射xxxbb| 又粗又硬又长又爽又黄的视频| 丝瓜视频免费看黄片| 如日韩欧美国产精品一区二区三区 | 成人无遮挡网站| 国产在线视频一区二区| av国产精品久久久久影院| 国产伦理片在线播放av一区| 9色porny在线观看| 久久亚洲国产成人精品v| 免费av中文字幕在线| tube8黄色片| 亚洲伊人久久精品综合| 亚洲少妇的诱惑av| 一级毛片 在线播放| 精品99又大又爽又粗少妇毛片| 久久99蜜桃精品久久| 国产精品99久久99久久久不卡 | 三级国产精品片| 日韩av不卡免费在线播放| 亚洲av免费高清在线观看| 人体艺术视频欧美日本| 99九九在线精品视频| 日韩熟女老妇一区二区性免费视频| 天美传媒精品一区二区| 欧美激情国产日韩精品一区| 中国国产av一级| 日韩精品免费视频一区二区三区 | 国产亚洲最大av| 久久久a久久爽久久v久久| 亚洲一区二区三区欧美精品| 少妇人妻久久综合中文| av播播在线观看一区| 日韩成人av中文字幕在线观看| 丝袜喷水一区| 男女啪啪激烈高潮av片| 午夜免费鲁丝| 乱码一卡2卡4卡精品| 久久久久久久久久久久大奶| av国产精品久久久久影院| 成人综合一区亚洲| 欧美日韩视频精品一区| 在现免费观看毛片| 人妻制服诱惑在线中文字幕| 精品午夜福利在线看| 如何舔出高潮| 高清黄色对白视频在线免费看| 综合色丁香网| 中文字幕久久专区| 欧美日韩精品成人综合77777| a级毛片黄视频| 国产精品一区二区三区四区免费观看| 女人精品久久久久毛片| 成年人午夜在线观看视频| 国产成人精品在线电影| 国产男人的电影天堂91| 建设人人有责人人尽责人人享有的| 99精国产麻豆久久婷婷| 18禁在线播放成人免费| 国产色爽女视频免费观看| 男人操女人黄网站| 免费日韩欧美在线观看| 91精品三级在线观看| 欧美精品国产亚洲| 在线亚洲精品国产二区图片欧美 | 啦啦啦中文免费视频观看日本| 欧美精品高潮呻吟av久久| 成人手机av| 男人爽女人下面视频在线观看| 精品熟女少妇av免费看| 黄色视频在线播放观看不卡| 日韩av在线免费看完整版不卡| 99热6这里只有精品| 久久久亚洲精品成人影院| 97精品久久久久久久久久精品| 视频在线观看一区二区三区| 亚洲成人一二三区av| 国产熟女午夜一区二区三区 | 亚洲av福利一区| 男人添女人高潮全过程视频| 伦理电影免费视频| 丝袜喷水一区| 精品国产乱码久久久久久小说| 少妇 在线观看| 在线精品无人区一区二区三| 亚洲综合色网址| 晚上一个人看的免费电影| 高清午夜精品一区二区三区| 男女国产视频网站| 亚洲美女搞黄在线观看| 在线看a的网站| 日韩成人av中文字幕在线观看| 亚洲三级黄色毛片| 久久久久精品久久久久真实原创| 久久久久国产精品人妻一区二区| 最近中文字幕2019免费版| 一级二级三级毛片免费看| 亚洲三级黄色毛片| 国产成人91sexporn| 嘟嘟电影网在线观看| 午夜福利网站1000一区二区三区| 亚洲精品av麻豆狂野| 97超碰精品成人国产| 午夜激情久久久久久久| 精品亚洲乱码少妇综合久久| 如日韩欧美国产精品一区二区三区 | 丝袜在线中文字幕| 极品人妻少妇av视频| 国产日韩欧美在线精品| a级毛片免费高清观看在线播放| 亚洲人成网站在线观看播放| 精品少妇久久久久久888优播| 日韩,欧美,国产一区二区三区| 国产精品久久久久久av不卡| 国产免费福利视频在线观看| 一级黄片播放器| 日本与韩国留学比较| 晚上一个人看的免费电影| 一区二区av电影网| 又黄又爽又刺激的免费视频.| 国产男女内射视频| 91精品一卡2卡3卡4卡| 狂野欧美激情性xxxx在线观看| 又黄又爽又刺激的免费视频.| 26uuu在线亚洲综合色| 久久午夜福利片| 日韩在线高清观看一区二区三区| 精品午夜福利在线看| 午夜精品国产一区二区电影| 寂寞人妻少妇视频99o| 91久久精品国产一区二区成人| kizo精华| 少妇的逼好多水| 高清黄色对白视频在线免费看| 视频中文字幕在线观看| 欧美激情国产日韩精品一区| 午夜91福利影院| 人妻夜夜爽99麻豆av| 狂野欧美白嫩少妇大欣赏| 一区二区三区精品91| 18禁观看日本| 免费不卡的大黄色大毛片视频在线观看| 国产成人精品一,二区| 国产精品免费大片| 国产精品99久久久久久久久| 欧美日韩国产mv在线观看视频| 我的老师免费观看完整版| 日韩一区二区三区影片| 日韩伦理黄色片| 99久久人妻综合| 亚洲综合色网址| 国产精品不卡视频一区二区| 高清不卡的av网站| 日本免费在线观看一区| 一级黄片播放器| 少妇被粗大猛烈的视频| 亚洲第一av免费看| 欧美性感艳星| 亚洲成人av在线免费| 男女边吃奶边做爰视频| 国产综合精华液| 在线精品无人区一区二区三| av国产精品久久久久影院| 国产av码专区亚洲av| a 毛片基地| 中文欧美无线码| 亚洲av在线观看美女高潮| av又黄又爽大尺度在线免费看| 97超碰精品成人国产| 卡戴珊不雅视频在线播放| 国产有黄有色有爽视频| 一边摸一边做爽爽视频免费| 搡女人真爽免费视频火全软件| 夜夜爽夜夜爽视频| 色视频在线一区二区三区| 久久国产精品大桥未久av| 丝袜脚勾引网站| 日本与韩国留学比较| 伊人久久国产一区二区| 一级毛片电影观看| videosex国产| 久久久久网色| 国产一区二区三区av在线| 新久久久久国产一级毛片| 国产精品欧美亚洲77777| 国产一区二区三区综合在线观看 | 国产欧美日韩一区二区三区在线 | 亚洲精华国产精华液的使用体验| 亚洲欧美日韩卡通动漫| 人妻夜夜爽99麻豆av| 亚洲av综合色区一区| 一级毛片 在线播放| 少妇被粗大的猛进出69影院 | 美女国产高潮福利片在线看| 69精品国产乱码久久久| 国产免费又黄又爽又色| 亚洲情色 制服丝袜| 九九在线视频观看精品| 麻豆精品久久久久久蜜桃| 极品人妻少妇av视频| 国产av一区二区精品久久| 久久国产亚洲av麻豆专区| 九九在线视频观看精品| 建设人人有责人人尽责人人享有的| 精品久久久久久电影网| 日韩欧美一区视频在线观看| 久久99热这里只频精品6学生| 亚洲第一区二区三区不卡| 久久人人爽人人片av| 精品久久久久久电影网| 国产成人午夜福利电影在线观看| 久久午夜福利片| 亚洲精品视频女| 亚洲人成网站在线播| 国产成人精品婷婷| 黄色配什么色好看| 亚洲精品日本国产第一区| 哪个播放器可以免费观看大片| 亚洲av成人精品一区久久| 成人18禁高潮啪啪吃奶动态图 | 黑人欧美特级aaaaaa片| 黑丝袜美女国产一区| 最近2019中文字幕mv第一页| 久久精品国产自在天天线| 国产淫语在线视频| 久久97久久精品| 寂寞人妻少妇视频99o| 婷婷成人精品国产| 又粗又硬又长又爽又黄的视频| 国产在线视频一区二区| 男人爽女人下面视频在线观看| 日韩中字成人| 国产色婷婷99| 最近中文字幕高清免费大全6| 天堂中文最新版在线下载| 婷婷色av中文字幕| 午夜激情久久久久久久| 少妇高潮的动态图| 国产精品99久久99久久久不卡 | 精品国产国语对白av| a级毛片在线看网站| 中文字幕免费在线视频6| 男女边吃奶边做爰视频| 久久女婷五月综合色啪小说| 久久精品夜色国产| 99热网站在线观看| 久久久久久久久久成人| 成年人午夜在线观看视频| 婷婷色麻豆天堂久久| a级毛色黄片| 国产欧美日韩综合在线一区二区| 国产在线一区二区三区精| 一区二区av电影网| 极品少妇高潮喷水抽搐| 国产男人的电影天堂91| 久久久久久久亚洲中文字幕| 日本vs欧美在线观看视频| av在线app专区| 精品午夜福利在线看| 亚洲精品久久成人aⅴ小说 | 在线观看www视频免费| 少妇被粗大猛烈的视频| 亚洲少妇的诱惑av| 大片电影免费在线观看免费| 在线观看免费视频网站a站| 搡老乐熟女国产| 九草在线视频观看| 夜夜骑夜夜射夜夜干| 三级国产精品欧美在线观看| 韩国av在线不卡| 最黄视频免费看| 乱码一卡2卡4卡精品| 一级a做视频免费观看| 人人妻人人爽人人添夜夜欢视频| 亚洲色图综合在线观看| 夫妻性生交免费视频一级片| 免费日韩欧美在线观看| 蜜臀久久99精品久久宅男| 久久久国产欧美日韩av| 国产成人av激情在线播放 | 国语对白做爰xxxⅹ性视频网站| 免费人妻精品一区二区三区视频| 精品久久久噜噜| 毛片一级片免费看久久久久| 一区二区三区精品91| 美女中出高潮动态图| 王馨瑶露胸无遮挡在线观看| 日本av免费视频播放| 久久这里有精品视频免费| 最后的刺客免费高清国语| 亚洲美女黄色视频免费看| av专区在线播放| av电影中文网址| 一区在线观看完整版| 少妇的逼水好多| av不卡在线播放| 26uuu在线亚洲综合色| 亚洲精品一二三| 国产老妇伦熟女老妇高清| 极品人妻少妇av视频| 伊人久久精品亚洲午夜| 免费黄色在线免费观看| 精品午夜福利在线看| 欧美最新免费一区二区三区|