• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    在線教學(xué)平臺(tái)學(xué)習(xí)者參與方式研究

    2021-08-12 02:12肖睿劉千慧尚俊杰黃文彬
    中國遠(yuǎn)程教育 2021年7期
    關(guān)鍵詞:被動(dòng)小節(jié)框架

    肖睿 劉千慧 尚俊杰 黃文彬

    【摘要】? 隨著注冊(cè)學(xué)生規(guī)模的擴(kuò)大,在線教學(xué)平臺(tái)面臨著學(xué)生輟學(xué)率高、參與度低的挑戰(zhàn),通過分析學(xué)生狀態(tài)并提供及時(shí)指導(dǎo)是提高教學(xué)效果的主要途徑。學(xué)生的學(xué)習(xí)參與方式被認(rèn)為是與學(xué)生成績明顯相關(guān)的一個(gè)重要因素。ICAP框架(Interactive-Constructive-Active-Passive Framework)提出了一種將學(xué)習(xí)活動(dòng)分類為不同參與方式的方法,本文利用平臺(tái)日志數(shù)據(jù),通過構(gòu)建不同學(xué)習(xí)活動(dòng)所對(duì)應(yīng)的三個(gè)特征(被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比),等級(jí)聚類得到學(xué)生的學(xué)習(xí)參與方式。結(jié)果表明,共840個(gè)學(xué)習(xí)回合被劃分為四類參與方式:被動(dòng)(n=80)、主動(dòng)(n=366)、建構(gòu)(n=75)和閑散(n=319)。研究發(fā)現(xiàn),不同參與方式下的學(xué)習(xí)成績存在差異,且根據(jù)學(xué)生參與方式序列可以識(shí)別出困難型、平衡型和輕松型三類學(xué)習(xí)狀態(tài)。研究表明,基于ICAP框架,利用在線教學(xué)平臺(tái)日志數(shù)據(jù)自動(dòng)識(shí)別學(xué)生不同學(xué)習(xí)參與方式,可以為在線學(xué)情分析和教學(xué)設(shè)計(jì)改善等提供有益參考。

    【關(guān)鍵詞】? 在線教學(xué)平臺(tái);在線學(xué)習(xí);學(xué)生參與;學(xué)習(xí)投入;ICAP框架;等級(jí)聚類;學(xué)習(xí)分析;日志分析

    【中圖分類號(hào)】?? G434???????? 【文獻(xiàn)標(biāo)識(shí)碼】? A?????? 【文章編號(hào)】? 1009-458x(2021)7-0067-09

    一、問題提出

    隨著互聯(lián)網(wǎng)與計(jì)算機(jī)的全球化普及,在線教育成為一種受全世界學(xué)習(xí)者青睞的學(xué)習(xí)方式。然而,在注冊(cè)學(xué)習(xí)者規(guī)模大幅增長的同時(shí),學(xué)習(xí)者后續(xù)的學(xué)習(xí)參與度卻極低,僅有大約5%的學(xué)生能夠完成課程并取得最終成績(蔣卓軒, 等, 2015),影響在線教育課程的教學(xué)效果。學(xué)習(xí)參與是衡量學(xué)生學(xué)習(xí)過程質(zhì)量的一個(gè)重要指標(biāo),反映了學(xué)習(xí)者對(duì)于正在經(jīng)歷的學(xué)習(xí)活動(dòng)在認(rèn)知、情感和行為上的投入狀態(tài)(張娜, 2012)。積極的學(xué)習(xí)參與可以促進(jìn)學(xué)生學(xué)術(shù)和個(gè)人的發(fā)展(Ng, Barlow, & Elliott, 2018),因此對(duì)于教育者、管理者以及其他相關(guān)方而言促進(jìn)學(xué)生參與是當(dāng)前的重要問題(Lutz, et al., 2018)。對(duì)在線教學(xué)平臺(tái)上的學(xué)習(xí)參與進(jìn)行量化研究,實(shí)現(xiàn)自動(dòng)標(biāo)記,并提供適當(dāng)?shù)膶W(xué)情監(jiān)測和學(xué)習(xí)干預(yù)等支持服務(wù),對(duì)于促進(jìn)學(xué)生的深層次學(xué)習(xí)(穆肅, 等, 2019)、提高在線教學(xué)平臺(tái)的教學(xué)效果具有重要意義。

    學(xué)生參與(student engagement)也可譯為“學(xué)習(xí)投入”“學(xué)業(yè)投入”“學(xué)習(xí)參與度”。張娜(2012)認(rèn)為,參與主要側(cè)重于行為,而投入側(cè)重以行為為載體的心理活動(dòng),尤其是情感的高度投入。由于本研究主要討論的是在線教學(xué)平臺(tái)上學(xué)生的日志數(shù)據(jù),側(cè)重于學(xué)生的行為分析,因此本文統(tǒng)一以“學(xué)生參與”指代這一名詞。學(xué)生參與是一個(gè)寬泛而復(fù)雜的多維度概念(Anderson, 2017),涉及學(xué)生教育經(jīng)歷的不同方面和時(shí)間的不同維度(Dmello, Dieterle, & Duckworth, 2017)?;诓煌睦碚搨鹘y(tǒng),學(xué)生參與可以被分為情感參與、行為參與和認(rèn)知參與等幾種類型(Fredricks, Blumenfeld, & Paris, 2004)。

    在線教學(xué)過程中,促使學(xué)生參與學(xué)習(xí)正在成為一個(gè)越來越難實(shí)現(xiàn)的任務(wù)(Astleitner, 2018)。教師無法通過與學(xué)習(xí)者面對(duì)面的接觸收集更多的信息,同時(shí)參與的學(xué)習(xí)者人數(shù)更多,在線學(xué)習(xí)的互動(dòng)方式和評(píng)價(jià)方式等均發(fā)生了明顯變化。因此,如何在在線教育的新環(huán)境中識(shí)別學(xué)生參與情況成為一個(gè)有挑戰(zhàn)的議題。與傳統(tǒng)教學(xué)環(huán)境不同,在線教學(xué)環(huán)境的一個(gè)優(yōu)勢是積累了豐富的日志數(shù)據(jù),記錄了學(xué)生具體的學(xué)習(xí)活動(dòng)信息,研究者與教師可以通過對(duì)學(xué)習(xí)者行為模式的闡述而推斷得到學(xué)習(xí)者的學(xué)習(xí)參與情況(Ramesh, Goldwasser, Huang, Daumé III, & Getoor, 2013)。

    本研究結(jié)合ICAP框架,基于在線教學(xué)平臺(tái)的日志數(shù)據(jù)分析學(xué)習(xí)者的參與方式,從而為學(xué)習(xí)者提供個(gè)性化的教學(xué)方案,提高教學(xué)質(zhì)量。研究中關(guān)注的問題包括:如何基于學(xué)生的日志數(shù)據(jù)識(shí)別不同的參與方式?如何驗(yàn)證識(shí)別得到的不同參與方式?學(xué)生參與方式的識(shí)別對(duì)學(xué)生學(xué)情分析與教學(xué)設(shè)計(jì)改善具有什么啟示?

    二、相關(guān)研究

    (一)學(xué)生參與

    學(xué)生參與常用的測量方法是自我報(bào)告法,這類方法成本較低,易于管理,但是存在主觀程度高,易受社會(huì)期望、回憶偏差影響等問題(Dmello, et al., 2017)。非問卷的參與測量方法(如訪談法、教師打分法、工作樣本分析法等)(張娜, 2012)依然相對(duì)主觀,存在同樣的問題。Dmello等人(2017)提出了一類“先進(jìn)—分析—自動(dòng)”的學(xué)習(xí)參與測量方法,其中基于日志數(shù)據(jù),通過分析學(xué)生的交互模式可以識(shí)別學(xué)生參與。學(xué)習(xí)分析技術(shù)可以深入挖掘與分析學(xué)生在各個(gè)維度的學(xué)習(xí)參與數(shù)據(jù),獲取其學(xué)習(xí)參與行為的潛在規(guī)律和特點(diǎn)(萬力勇, 2019)。

    在在線教育領(lǐng)域,現(xiàn)有對(duì)學(xué)生參與的研究多是基于對(duì)“參與”的一種寬泛的定義,缺乏理論基礎(chǔ)(Lan, Brinton, Yang, & Chiang, 2017),因此很難適用于不同的在線教學(xué)平臺(tái)。Anderson等人(2014)通過分析高成績和低成績學(xué)生的不同行為模式來描繪學(xué)生在慕課的參與情況。蔣卓軒等人(2015)從時(shí)間、成績和論壇三個(gè)角度分析學(xué)生的學(xué)習(xí)參與行為。還有研究者將學(xué)生參與簡單分為是否兩種狀態(tài)加以討論(Kizilcec, Piech, & Schneider, 2013)。另一類研究將學(xué)生參與視為隱性變量加以測量。Ramesh等人(2013)根據(jù)論壇行為特征將學(xué)生的參與方式分為被動(dòng)、主動(dòng)和不參與三類。Lan等人(2017)將學(xué)習(xí)參與視作一個(gè)與學(xué)習(xí)成績直接相關(guān)的、有具體取值的潛變量。

    (二)ICAP框架

    ICAP框架(Interactive-Constructive-Active- Passive Framework)是基于學(xué)生活動(dòng)區(qū)分學(xué)習(xí)參與方式的理論框架(Lutz, et al., 2018)。2009年其雛形被提出(Chi, 2009),隨后Chi與Wylie(2014)基于對(duì)多個(gè)實(shí)驗(yàn)的總結(jié)梳理提出了完整的ICAP框架。根據(jù)潛在的知識(shí)改變過程、預(yù)期認(rèn)知結(jié)果與學(xué)習(xí)成果,表1列出了ICAP四種參與方式的區(qū)別,據(jù)此提出了一個(gè)可驗(yàn)證的假設(shè)——在學(xué)習(xí)效果方面:交互活動(dòng) > 建構(gòu)活動(dòng) > 主動(dòng)活動(dòng) > 被動(dòng)活動(dòng)。

    ICAP框架以“學(xué)習(xí)者為中心”理念關(guān)照學(xué)習(xí)發(fā)生過程(王志軍, 等, 2019),考慮認(rèn)知參與和行為參與的對(duì)應(yīng)關(guān)系,并給出了每種參與方式的操作化定義,是一種綜合性教育理論和實(shí)證研究結(jié)果(李麗琴, 等, 2019)。盛群力和丁旭(2018)認(rèn)為,ICAP框架可以在教學(xué)中幫助轉(zhuǎn)變學(xué)習(xí)方式,辨別外顯活動(dòng)與認(rèn)知過程的一致性,評(píng)估學(xué)習(xí)效果,指導(dǎo)課程設(shè)計(jì),改進(jìn)教學(xué)實(shí)踐。研究人員可以根據(jù)學(xué)習(xí)者的行為表現(xiàn)判斷學(xué)習(xí)者的不同認(rèn)知層次,并以此預(yù)測學(xué)習(xí)者可能的學(xué)習(xí)成果。ICAP框架已被用于分類學(xué)生的各種活動(dòng),從而提供教學(xué)反饋,提高元認(rèn)知技能(Marzouk, Rakovic, & Winne, 2016);衍生形成有層次的教學(xué)指導(dǎo)策略(Astleitner, 2018);改善教學(xué)方式,促使學(xué)生進(jìn)一步參與活動(dòng)(Chi, et al., 2018);改進(jìn)任務(wù)設(shè)計(jì)方式(Lam & Muldner, 2017);標(biāo)注學(xué)生評(píng)論信息,從而改善教學(xué)內(nèi)容(Yogev, Gal, Karger, Facciotti, & Igo, 2018);對(duì)學(xué)生的論壇消息(Wang, Yang, Wen, Koedinger, & Rosé, 2015)、參與類型(Piotrkowicz, Dimitrova, Mitrovic, & Lau, 2018; Le Lant & Lawson, 2019)和教師的指導(dǎo)活動(dòng)(Demonbrun, et al., 2017)等進(jìn)行分類。

    然而,現(xiàn)有針對(duì)ICAP框架的實(shí)證研究多是基于線下傳統(tǒng)的實(shí)驗(yàn)或者教室場景,對(duì)在線教育的相關(guān)討論十分有限。有個(gè)別研究者將ICAP框架應(yīng)用到了在線教育領(lǐng)域中,如Haney等人(2016)通過對(duì)學(xué)生的點(diǎn)擊行為和成績數(shù)據(jù)的描述性分析發(fā)現(xiàn),與具體學(xué)習(xí)行為相對(duì)應(yīng)的學(xué)生參與方式會(huì)影響學(xué)生的整體成績。國內(nèi)也少有學(xué)者討論和應(yīng)用ICAP框架(盛群力, 等, 2017)。

    綜上所述,現(xiàn)有學(xué)生參與研究存在測量方法不理想、缺乏理論基礎(chǔ)等問題,且國內(nèi)較少有學(xué)者應(yīng)用ICAP框架探討學(xué)生參與。根據(jù)ICAP框架,在線教學(xué)平臺(tái)中學(xué)習(xí)者的各類學(xué)習(xí)行為(如觀看視頻、完成作業(yè)、參與討論、線上測試等),可以根據(jù)其潛在的認(rèn)知過程被劃分為不同的參與方式,從而實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)行為、參與方式和學(xué)習(xí)成果等的描述和理解,為平臺(tái)的改善、課程的設(shè)置和教學(xué)的改進(jìn)等提供理論支撐和有效建議。

    三、研究設(shè)計(jì)

    (一)數(shù)據(jù)來源

    本研究的數(shù)據(jù)來源于“課工場”在線教學(xué)平臺(tái)上的WEB前端課程,該課程分為44個(gè)課程小節(jié),每個(gè)小節(jié)包含學(xué)生必須學(xué)習(xí)的視頻、作業(yè)和測試。在測試中,如果每個(gè)知識(shí)點(diǎn)的答題準(zhǔn)確率均超過0.67,學(xué)生就可以學(xué)習(xí)下一個(gè)課程小節(jié),否則學(xué)生就需要在一段時(shí)間后重新測試。因此,為了通過課程小節(jié),學(xué)生有可能進(jìn)行多次的測試。完成所有的課程內(nèi)容后,最終測試用于評(píng)估學(xué)生的最終學(xué)習(xí)成果。2017年共14位學(xué)生進(jìn)行了為期4個(gè)月的學(xué)習(xí)。在線教學(xué)平臺(tái)記錄下的日志數(shù)據(jù)包含學(xué)生觀看視頻、完成作業(yè)、進(jìn)行測試的記錄,原始數(shù)據(jù)集共包含322,307條記錄。在線下學(xué)生每天至少參加一次小組討論,班主任會(huì)人工記錄每位學(xué)生的問題。

    為了更好地描述學(xué)生在每一學(xué)習(xí)階段的參與情況,定義學(xué)生每完成一次測試即為完成一個(gè)學(xué)習(xí)回合。在每個(gè)學(xué)習(xí)回合中學(xué)生可能會(huì)進(jìn)行各種學(xué)習(xí)活動(dòng),每個(gè)課程小節(jié)中可能需要經(jīng)過多個(gè)回合的學(xué)習(xí)才能通過。然后,清理數(shù)據(jù)記錄中的重復(fù)值和異常值,共得到14位學(xué)生的501條課程小節(jié)記錄和840條學(xué)習(xí)回合記錄,課程小節(jié)與學(xué)習(xí)回合時(shí)長的平均值、中位數(shù)和四分位差如表2所示。

    每一課程小節(jié)中的學(xué)生人數(shù)和回合總數(shù)如圖1所示。從圖中可以看到,并不是所有學(xué)生都可以完成44個(gè)小節(jié)的學(xué)習(xí)內(nèi)容,其中一些人在課程的中后期,特別是在第30個(gè)小節(jié)之后被落下。同時(shí),人數(shù)的逐漸減少也導(dǎo)致了總回合數(shù)的逐漸減少。通過初步分析可以發(fā)現(xiàn),為了通過每個(gè)課程小節(jié)學(xué)生可能會(huì)進(jìn)行多個(gè)學(xué)習(xí)回合,根據(jù)ICAP框架的定義每個(gè)回合的參與方式都有可能發(fā)生變化。因此,本研究選取840個(gè)學(xué)習(xí)回合作為研究對(duì)象,基于日志數(shù)據(jù)識(shí)別每個(gè)回合中學(xué)生采取的參與方式。

    (二)聚類特征的抽取

    為了理解學(xué)生在每一學(xué)習(xí)回合中的不同參與方式,本文希望基于ICAP框架從數(shù)據(jù)集中抽取學(xué)生的行為特征對(duì)應(yīng)于3類不同的學(xué)習(xí)活動(dòng)。首先,為了區(qū)別被動(dòng)與主動(dòng)的學(xué)習(xí)活動(dòng),定義被動(dòng)與主動(dòng)的視頻觀看記錄。ICAP框架中對(duì)被動(dòng)學(xué)習(xí)活動(dòng)的舉例即為學(xué)生在沒有更多操作行為的情況下一直觀看視頻,此時(shí)學(xué)生是在被動(dòng)地接受老師所講授的知識(shí),達(dá)到的是對(duì)知識(shí)的最淺層理解;主動(dòng)學(xué)習(xí)活動(dòng)舉例是學(xué)生在視頻中多次進(jìn)行暫停、重播、拖動(dòng)等交互操作,此時(shí)學(xué)生是在對(duì)視頻中的知識(shí)進(jìn)行選擇性地學(xué)習(xí)、回憶與加強(qiáng)。因此,如果視頻中學(xué)生的交互操作越多,學(xué)生更有可能是在記錄學(xué)習(xí)筆記或者幫助更好地理解學(xué)習(xí)材料,學(xué)生在學(xué)習(xí)中的參與程度就越深。一般來說,學(xué)生會(huì)在視頻最開始點(diǎn)擊播放,因此每次觀看視頻活動(dòng)至少有一次交互。為了盡量剔除沒有真正體現(xiàn)學(xué)生操作視頻的交互記錄,區(qū)分主動(dòng)與被動(dòng)的學(xué)習(xí)活動(dòng),參考已有對(duì)觀看視頻記錄的區(qū)分方法(Haney, Atiq, Deboer, & Cox, 2016),如果交互的次數(shù)大于兩次(一次最初播放+一次其他交互),則標(biāo)記這條記錄為主動(dòng),否則標(biāo)記為被動(dòng)。

    然后,定義每個(gè)學(xué)習(xí)回合中被動(dòng)、主動(dòng)和建構(gòu)三類學(xué)習(xí)活動(dòng)的對(duì)應(yīng)行為特征:被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比。課程中的作業(yè)都是具體的課程項(xiàng)目,學(xué)生需要綜合應(yīng)用學(xué)到的知識(shí),并通過編寫代碼的方式將思路和想法付諸實(shí)踐。每一個(gè)作業(yè)都沒有參考答案,因此在完成作業(yè)的過程中學(xué)生是在對(duì)已學(xué)習(xí)、已掌握的知識(shí)進(jìn)行進(jìn)一步加工,生成一個(gè)新的綜合性的學(xué)習(xí)成果。因此,完成作業(yè)可以被歸為建構(gòu)的學(xué)習(xí)活動(dòng)。為了消除學(xué)習(xí)回合時(shí)長差異的影響,將三個(gè)總時(shí)長分別除以所處學(xué)習(xí)回合時(shí)長,得到對(duì)應(yīng)活動(dòng)的時(shí)長占比。三個(gè)特征的平均值、中位數(shù)和四分位差如表3所示。

    (三)研究方法

    聚類是一種將相似樣本劃分到同一類簇中的無監(jiān)督算法。為了探究與不同行為特征對(duì)應(yīng)的學(xué)生參與方式,本研究對(duì)840個(gè)學(xué)習(xí)回合進(jìn)行聚類分析,每一個(gè)回合對(duì)應(yīng)一種參與方式。每一回合通過一個(gè)3維向量表示,對(duì)應(yīng)上文所述的3類特征。數(shù)量級(jí)不同的特征會(huì)導(dǎo)致無效的聚類結(jié)果,因此在聚類前對(duì)每一個(gè)特征進(jìn)行標(biāo)準(zhǔn)化處理。然后計(jì)算向量兩兩之間的余弦相似度距離,對(duì)于兩個(gè)向量[Vi]=(v1i,v2i,…,vti)與[Vj]=(v1j,v2j,…,vtj),余弦相似度計(jì)算如公式(1)所示,而向量[Vi]與[Vj]的距離通過1-sim([Vi],[Vj])計(jì)算。

    sim([Vi],[Vj])=[Vi?VjVi*|Vj|]????????????????? (1)

    基于余弦相似度距離,本研究采用等級(jí)聚類中的凝聚方法,連接方法采用完全連接法(Johnson, 1967; Defays, 1977)。凝聚方法是一種自下而上的等級(jí)聚類方法,在最初每一個(gè)數(shù)據(jù)點(diǎn)均被視作一個(gè)類簇,隨后類簇之間相繼凝聚直到最終僅保留下一個(gè)類簇。在每一輪迭代中,類簇之間兩兩被連接為一個(gè)新類簇,完全連接法通過計(jì)算連接后新類簇的直徑(類簇內(nèi)數(shù)據(jù)點(diǎn)兩兩之間距離的最大值),選擇直徑最小的新類簇作為一輪迭代的凝聚結(jié)果。

    然后,通過計(jì)算Clainski-Harabaz(CH)指數(shù)確定最佳的聚類個(gè)數(shù),如公式(2)所示。

    s = [SSBSSW] × [N-kk-1]????????????????????? (2)

    式中k是聚類個(gè)數(shù),N是總樣本數(shù)。[SSB]表示類間平均離差,用于衡量類簇之間的分離程度;[SSW]表示類內(nèi)平均離差,用于衡量類簇內(nèi)樣本之間的分離程度(Caliński & Harabasz, 1974)。CH指數(shù)越高表明聚類效果越好。在本研究中,等級(jí)聚類算法通過Python實(shí)現(xiàn),計(jì)算結(jié)果標(biāo)明最佳聚類個(gè)數(shù)為4。

    四、數(shù)據(jù)分析與發(fā)現(xiàn)

    (一)參與方式聚類結(jié)果

    通過等級(jí)聚類的凝聚方法得到四個(gè)類之后,計(jì)算每一類三個(gè)特征的平均值,結(jié)果如圖2所示。通過對(duì)四類子群的學(xué)習(xí)活動(dòng)特征的分析,本研究對(duì)四類參與方式進(jìn)行了探索與界定。

    類別1:被動(dòng)參與方式

    類別1包含10%(n=80)的學(xué)習(xí)回合。類別1的主動(dòng)視頻時(shí)長占比與作業(yè)時(shí)長占比均不太突出,都僅高于類別4,唯一比其他三類高的是被動(dòng)視頻時(shí)長占比。在初期接觸新知識(shí)時(shí),一些學(xué)生在觀看視頻過程中并不會(huì)過多地采取暫停和拖動(dòng)行為?;谳^高的被動(dòng)視頻時(shí)長占比、較少的操作行為和作業(yè)時(shí)長,定義類別1為被動(dòng)參與方式。

    類別2:主動(dòng)參與方式

    類別2包含44%(n=366)的學(xué)習(xí)回合。類別2的主動(dòng)視頻時(shí)長占比明顯高于其他類別,而被動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比則較低。該類描繪了一種學(xué)生主動(dòng)采取行動(dòng)的學(xué)習(xí)參與方式。學(xué)習(xí)中如果遇到較難理解的部分,一些學(xué)生會(huì)在觀看視頻時(shí)頻繁進(jìn)行暫停和拖動(dòng)操作,從而消化、回顧、比較不同的知識(shí)點(diǎn)。基于較高的主動(dòng)視頻時(shí)長占比,定義類別2為主動(dòng)參與方式。

    類別3:建構(gòu)參與方式

    類別3包含9%(n=75)的學(xué)習(xí)回合。類別3的視頻相關(guān)特征均不突出,僅比類別4高一些,但是作業(yè)時(shí)長占比是四個(gè)類別中最高的。這表明在類別3中,學(xué)生通常將主要精力放在解決、完成作業(yè)中遇到的問題上。在完成作業(yè)的過程中,學(xué)生是在進(jìn)一步加工所學(xué)知識(shí),并生成新的學(xué)習(xí)成果,從而達(dá)到對(duì)知識(shí)的深度理解,因此根據(jù)ICAP框架定義類別3為建構(gòu)參與方式。

    類別4:閑散參與方式

    類別4包含38%(n=319)的學(xué)習(xí)回合。和其他類別相比,類別4的三個(gè)特征的標(biāo)準(zhǔn)化后均值都非常小,表明學(xué)生并沒有進(jìn)行過多的學(xué)習(xí)活動(dòng)。類別4的產(chǎn)生更多是因?yàn)閷W(xué)生在沒有通過測試的情況下,需要間隔一定的時(shí)間后才能再次進(jìn)行測試。在多輪測試未通過的過程中,學(xué)生可能已經(jīng)對(duì)相應(yīng)的知識(shí)點(diǎn)進(jìn)行了多次的復(fù)習(xí)和回顧,不再需要重新觀看視頻或者完成作業(yè),因此處在一種閑散等待的狀態(tài)中?;蛘呤窃诮?jīng)歷了多次挫折之后,學(xué)生選擇了偷懶放松,希望能在多次測試中刷到足夠數(shù)量的題目,從而在下一次測試中順利通過?;谳^少的行為記錄,定義類別4為閑散參與方式。

    在得到四種不同類別的參與方式之后,將類別作為因素、三個(gè)特征作為觀察值進(jìn)行單因素方差分析。計(jì)算得到的p值均小于0.05,表明四個(gè)類別的三個(gè)特征有顯著差別,聚類結(jié)果可以用于后續(xù)的進(jìn)一步分析與討論。

    (二)參與方式整體分布

    為了探究四種不同的參與方式在整體學(xué)習(xí)過程中的分布,繪制每個(gè)課程小節(jié)四種參與方式的平均回合數(shù)(如圖3所示)。

    整體而言,前半學(xué)期的學(xué)習(xí)回合總數(shù)要多于后半部分。最初學(xué)生通常需要一些時(shí)間來適應(yīng)平臺(tái)上課程的運(yùn)作方式和具體規(guī)則,相應(yīng)地可能需要更多的回合去完成每個(gè)課程小節(jié)的學(xué)習(xí)。針對(duì)小節(jié)1和3的較高的平均學(xué)習(xí)回合數(shù),主要是因?yàn)閷W(xué)生被某個(gè)具體的測試題目卡住而無法通過。這些過多的閑散回合可能表明學(xué)生可能正在跨越知識(shí)上的一些“盲點(diǎn)”,他們無法在測試中通過這些知識(shí)點(diǎn)的考察,同時(shí)也沒有或者不知道該如何采取行動(dòng)去掌握這些知識(shí)點(diǎn)。這種問題信號(hào)可以被及時(shí)反饋給老師,幫助提供相應(yīng)的輔導(dǎo)。

    從四種參與方式的對(duì)比來看,被動(dòng)、主動(dòng)和建構(gòu)三種參與方式的平均總回合數(shù)在整個(gè)學(xué)期都比較穩(wěn)定,總數(shù)在1上下浮動(dòng)。被動(dòng)和建構(gòu)的參與方式在課程的最開始即出現(xiàn),而主動(dòng)參與方式更多地出現(xiàn)在小節(jié)25及以后,隨后被動(dòng)的參與方式逐漸減少,主動(dòng)和建構(gòu)的參與方式逐漸占據(jù)主導(dǎo)。

    (三)參與方式與學(xué)習(xí)成績

    為探究不同參與方式下學(xué)習(xí)成績的差異,在控制回合發(fā)生排序一定的情況下,比較不同參與方式的平均成績。從數(shù)據(jù)集中分別截取課程小節(jié)中排序?yàn)?和2的回合數(shù)據(jù)(排序在3及以后的學(xué)習(xí)回合數(shù)據(jù)過少,不在此進(jìn)行討論),比較不同參與方式下的平均成績(如表4所示)。

    從表4數(shù)據(jù)可知,排序?yàn)?時(shí),平均成績是主動(dòng)參與方式高于被動(dòng)參與方式;排序?yàn)?時(shí),主動(dòng)參與方式的平均成績略低于被動(dòng)參與,且四種參與方式的成績存在顯著差異。這可能是因?yàn)榕判驗(yàn)?時(shí)的樣本數(shù)過少導(dǎo)致的。根據(jù)ICAP框架的假設(shè),認(rèn)知程度越深入的參與方式越有利于學(xué)習(xí)者獲得更好的學(xué)習(xí)成績,因此被動(dòng)、主動(dòng)和建構(gòu)三種參與方式的回合成績應(yīng)該逐步提高。分析結(jié)果表明,三類參與方式對(duì)應(yīng)的成績與ICAP框架的假設(shè)基本吻合。

    值得說明的一點(diǎn)是,閑散參與方式的平均成績是四種參與方式中最高的。這一現(xiàn)象存在兩種可能性。一種是因?yàn)榻?jīng)過之前回合中學(xué)習(xí)的積累,學(xué)生只要再通過一次測試即可以完成課程小節(jié)的學(xué)習(xí),導(dǎo)致閑散參與的回合發(fā)生總是與高成績相聯(lián)系。另外一種可能性是,高水平的學(xué)生主動(dòng)選擇了閑散參與的方式。有部分學(xué)生已經(jīng)事先掌握了課程小節(jié)中的知識(shí),在學(xué)習(xí)過程中會(huì)采取更少的學(xué)習(xí)行為,但是在測試中可能取得更高的分?jǐn)?shù),從而產(chǎn)生一次高成績的閑散回合。

    (四)不同學(xué)生的參與方式

    為了展示典型學(xué)生的參與方式序列,對(duì)每位學(xué)生學(xué)習(xí)的小節(jié)數(shù)、回合數(shù)、小節(jié)數(shù)/回合數(shù)和最終成績進(jìn)行了統(tǒng)計(jì)(如表5所示)。小節(jié)數(shù)與回合數(shù)的比值越高,說明學(xué)生能夠在更少的學(xué)習(xí)回合內(nèi)通過課程小節(jié),根據(jù)這一比值的大小,可以將學(xué)生大致均分為三類:第一類學(xué)生(n=5)的比值較低,且整體上完成的小節(jié)數(shù)也有限;第二類學(xué)生(n=5)的比值中等;第三類學(xué)生(n=4)的比值較高,完成的小節(jié)數(shù)也都在40及以上。

    在這三類學(xué)生中分別挑選4、8、14三位學(xué)生,繪制他們的參與方式序列(如圖4a、4b、4c所示)。三位學(xué)生分別代表困難型、平衡型和輕松型三種不同的學(xué)習(xí)狀態(tài)。

    如圖4a所示,學(xué)生4的學(xué)習(xí)狀態(tài)表現(xiàn)得較為困難。從整體上來看,學(xué)生4經(jīng)歷了更少的小節(jié)和更多的回合,特別是在小節(jié)10與12中學(xué)習(xí)回合數(shù)分別為8和7。學(xué)生4一開始采取的主要是被動(dòng)與建構(gòu)方式,小節(jié)13之后以閑散方式為主,小節(jié)27之后僅涉及被動(dòng)和主動(dòng)方式。線下的記錄也可以反映該學(xué)生的這一狀態(tài)。在小節(jié)1,這位學(xué)生被評(píng)價(jià)為“缺乏編程訓(xùn)練,學(xué)習(xí)進(jìn)度較慢”,所以在編程作業(yè)上花費(fèi)了大量時(shí)間,使得小節(jié)1均為建構(gòu)回合。在小節(jié)10~12之間,學(xué)生4連續(xù)若干天反映自己“完成測試題有難度,需要查詢后作答”“看懂視頻比較吃力”,從而解釋小節(jié)10和12的較多學(xué)習(xí)回合,且以被動(dòng)和主動(dòng)參與方式為主。同時(shí),學(xué)生也反映自己在小節(jié)13之后,“通過測試有難度,不太能理解視頻內(nèi)容”,因此在參與方式上表現(xiàn)得比較消極。

    相比之下,學(xué)生8的學(xué)習(xí)狀態(tài)表現(xiàn)得更為平衡。絕大部分課程小節(jié)都能夠在3個(gè)回合中完成,且學(xué)生8的閑散回合更少。同時(shí),隨著課程的進(jìn)行,被動(dòng)參與方式越來越少,主動(dòng)、建構(gòu)和閑散參與方式也在學(xué)習(xí)的后期被更多地采用。

    與學(xué)生4和學(xué)生8相比,學(xué)生14的學(xué)習(xí)狀態(tài)整體來說更加輕松。大部分小節(jié)可以在一個(gè)回合內(nèi)結(jié)束,且多數(shù)是在一個(gè)閑散回合內(nèi)結(jié)束。在小節(jié)30及以后,學(xué)生14以主動(dòng)的學(xué)習(xí)參與方式較多,說明學(xué)生14習(xí)慣多次交互幫助理解課程內(nèi)容,因此可以推測學(xué)生14的理解能力也比較強(qiáng)。根據(jù)線下記錄,學(xué)生14的學(xué)習(xí)進(jìn)度一直快于其他學(xué)生,學(xué)習(xí)進(jìn)程基本是按部就班地推進(jìn),并且很少會(huì)被記錄到存在一些異常問題。

    五、討論

    本研究基于ICAP框架,提出了利用日志數(shù)據(jù)自動(dòng)識(shí)別學(xué)習(xí)者參與方式的方案,通過一門在線課程的數(shù)據(jù)進(jìn)行了實(shí)證研究,并在此基礎(chǔ)上分析了整體課程期間參與方式的分布,探究了參與方式與學(xué)習(xí)成績之間的關(guān)系,以及不同學(xué)生參與方式的差異?;谏鲜鰯?shù)據(jù)分析結(jié)果,可以得出以下結(jié)論:

    第一,ICAP框架可以作為在線學(xué)習(xí)數(shù)據(jù)分析的理論基礎(chǔ),實(shí)現(xiàn)對(duì)學(xué)生參與方式的自動(dòng)標(biāo)注。通過定義ICAP框架中與被動(dòng)、主動(dòng)和建構(gòu)相對(duì)應(yīng)的學(xué)習(xí)活動(dòng)特征并聚類,可以發(fā)現(xiàn)在參與方式上具有明顯不同模式的學(xué)習(xí)者,從而為后續(xù)的學(xué)情監(jiān)測和學(xué)習(xí)干預(yù)等服務(wù)提供支撐。同時(shí),分析結(jié)果中不同參與方式成績的比較也基本驗(yàn)證了ICAP框架中對(duì)學(xué)習(xí)成果的假設(shè),即建構(gòu) >被動(dòng) >主動(dòng),這也與Haney等人(2016)的研究結(jié)論相一致。然而,受本研究平臺(tái)數(shù)據(jù)的限制,暫時(shí)無法討論其他可以從ICAP框架衍生出的更為豐富的學(xué)習(xí)活動(dòng)特征,后續(xù)ICAP框架的應(yīng)用研究可以在此基礎(chǔ)上進(jìn)一步擴(kuò)展。

    第二,教學(xué)管理方式會(huì)影響學(xué)生實(shí)際采取的參與方式。本研究所采用的課程規(guī)定學(xué)生必須觀看視頻、完成作業(yè)之后才能進(jìn)行測試,反映到參與方式的整體分布上,每一課程小節(jié)學(xué)生基本都需要經(jīng)歷被動(dòng)、主動(dòng)和建構(gòu)三種參與方式中的一種或者多種,這一現(xiàn)象可能與所學(xué)習(xí)的知識(shí)點(diǎn)無關(guān)。隨著學(xué)習(xí)的逐步深入,學(xué)生也會(huì)逐步調(diào)整合適的參與方式以適應(yīng)課程內(nèi)容,反映在后期主動(dòng)和建構(gòu)參與方式的增多。根據(jù)ICAP框架,被動(dòng)、主動(dòng)和建構(gòu)三種參與方式對(duì)學(xué)習(xí)效果的促進(jìn)程度是逐漸遞增的,已有學(xué)者結(jié)合ICAP框架改進(jìn)學(xué)習(xí)資源設(shè)計(jì)(王志軍, 等, 2019)和教學(xué)模式(李麗琴, 等, 2019),因此如何改善教學(xué)設(shè)計(jì)以促進(jìn)學(xué)生更深層次的學(xué)習(xí)參與是可以研究且需要深入探討的問題。

    第三,本研究發(fā)現(xiàn),同一參與方式如果發(fā)生的順序不同,對(duì)應(yīng)學(xué)習(xí)成績也存在差異。被動(dòng)與主動(dòng)的參與方式隨著發(fā)生順序的延后,平均學(xué)習(xí)成績有所降低??赡艿慕忉屖?,如果被動(dòng)與主動(dòng)的參與方式傾向于隨后發(fā)生,更可能說明學(xué)生在學(xué)習(xí)過程中遇到了困難,或者反映了學(xué)生的學(xué)習(xí)能力不足。被動(dòng)的參與方式一般會(huì)在知識(shí)點(diǎn)學(xué)習(xí)初期出現(xiàn),而如果學(xué)生在后期采取了被動(dòng)參與方式,可能是因?yàn)橛龅搅藷o法解決的難題,同時(shí)又不清楚難題對(duì)應(yīng)的知識(shí)點(diǎn)的具體位置,只能“回爐重造”,從頭開始學(xué)習(xí)相應(yīng)的視頻內(nèi)容。在這種情況下,學(xué)生對(duì)整體的知識(shí)體系沒有明確的把握,甚至對(duì)個(gè)別知識(shí)點(diǎn)還沒有達(dá)到簡單記憶的水平,因此很有可能在小節(jié)測試中取得比較低的成績,此時(shí)就需要提供對(duì)應(yīng)的教學(xué)指導(dǎo)或者干預(yù),而建構(gòu)與閑散參與方式隨著發(fā)生順序的延后,平均學(xué)習(xí)成績?cè)谔岣?。這比較符合正常的學(xué)習(xí)規(guī)律,說明后來發(fā)生的建構(gòu)參與和閑散參與更有可能幫助學(xué)生提高成績。

    第四,學(xué)生在整個(gè)課程中的參與方式序列可以反映不同學(xué)生的學(xué)習(xí)狀態(tài)。本研究根據(jù)學(xué)生參與方式的序列識(shí)別出學(xué)生三類學(xué)習(xí)狀態(tài):困難型、平衡型和輕松型。教師對(duì)學(xué)生的線下記錄也驗(yàn)證了學(xué)生的實(shí)際學(xué)習(xí)狀態(tài)與問題。比較三位典型學(xué)生的情況可以發(fā)現(xiàn),學(xué)生整體的學(xué)習(xí)狀態(tài)又可能受到學(xué)生本人的學(xué)習(xí)能力、課程的教學(xué)設(shè)計(jì)和教師的教學(xué)水平等因素的影響,從而影響學(xué)生整體的學(xué)習(xí)效率。后續(xù)基于對(duì)更多學(xué)生日志數(shù)據(jù)的收集與分析,有可能進(jìn)一步實(shí)現(xiàn)學(xué)生學(xué)習(xí)狀態(tài)的分類,以及對(duì)學(xué)生整體學(xué)習(xí)效果的預(yù)測,從而為及時(shí)的教學(xué)干預(yù)提供參考。

    六、總結(jié)

    本研究基于日志數(shù)據(jù),根據(jù)ICAP框架對(duì)認(rèn)知參與活動(dòng)的操作性界定,創(chuàng)造性地提出了與三種參與方式相對(duì)應(yīng)的學(xué)習(xí)活動(dòng)特征——被動(dòng)視頻時(shí)長占比、主動(dòng)視頻時(shí)長占比和作業(yè)時(shí)長占比,并通過聚類分析得到了被動(dòng)、主動(dòng)、建構(gòu)和閑散四種參與方式。本研究所提取的三種特征與具體的學(xué)習(xí)環(huán)境無關(guān),因此可以被推廣應(yīng)用到其他在線教學(xué)場景中。通過學(xué)習(xí)成績的對(duì)比可以發(fā)現(xiàn),不同參與方式下的成績與ICAP框架的假設(shè)基本吻合,學(xué)生整體的參與方式序列還可以反映不同學(xué)生的學(xué)習(xí)狀態(tài),線下記錄也驗(yàn)證了描述的合理性。本研究的結(jié)果說明,ICAP框架可以用于識(shí)別學(xué)生參與方式,從而為后續(xù)的教學(xué)設(shè)計(jì)和成績預(yù)測等提供參考。

    雖然得到了一些較有啟發(fā)性的研究結(jié)果,本研究還存在以下不足:首先,數(shù)據(jù)所涵蓋的學(xué)生數(shù)量有限,現(xiàn)有研究也不足以通過14人的數(shù)據(jù)分析學(xué)生在整體學(xué)習(xí)參與方式上的差異。后續(xù)計(jì)劃通過收集更多學(xué)生的日志數(shù)據(jù),嘗試比較不同學(xué)生的學(xué)習(xí)參與方式序列,從而識(shí)別出不同學(xué)生的學(xué)習(xí)行為模式。其次,在ICAP框架中,同樣的學(xué)習(xí)活動(dòng)蘊(yùn)含的可能是不同層次的認(rèn)知活動(dòng)(Chi, et al., 2014),本文并沒有對(duì)此加以討論。例如,盡管學(xué)生在不進(jìn)行任何操作的情況下觀看視頻,如果學(xué)生在這一過程中進(jìn)行的是將新知識(shí)與已掌握的舊知識(shí)進(jìn)行對(duì)比、整合等認(rèn)知活動(dòng),那么這些行為就應(yīng)該被劃分到主動(dòng)而不是被動(dòng)參與方式下。因此,有研究也指出應(yīng)該結(jié)合行為和認(rèn)知兩個(gè)層次上的信息去定義和分析學(xué)生參與(Lutz, et al., 2018)。最后,限于數(shù)據(jù)來源,本研究無法將ICAP框架中交互的參與方式囊括到具體的分析中。后續(xù)計(jì)劃通過對(duì)線下記錄的編碼處理,梳理學(xué)生在討論、協(xié)作等方面的學(xué)習(xí)活動(dòng),從而為交互參與方式的描繪提供數(shù)據(jù)支持。

    [參考文獻(xiàn)]

    蔣卓軒,張巖,李曉明. 2015. 基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測[J]. 計(jì)算機(jī)研究與發(fā)展,52(3):614-628.

    李麗琴,許鋒華. 2019. 基于ICAP學(xué)習(xí)方式分類學(xué)的初中物理習(xí)題教學(xué)模式變革[J]. 教學(xué)與管理(36):115-118.

    穆肅,王孝金. 2019. 參與和投入而非膚淺和簡單——在線學(xué)習(xí)中的深層次學(xué)習(xí)[J]. 中國遠(yuǎn)程教育(2):17-25,92-93.

    盛群力,丁旭. 2018. “ICAP學(xué)習(xí)方式分類學(xué)”的循證研究[J]. 武漢科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),20(2):218-223.

    盛群力,丁旭,滕梅芳. 2017. 參與就是能力——“ICAP 學(xué)習(xí)方式分類學(xué)”研究述要與價(jià)值分析[J]. 開放教育研究,23(2):46-54.

    萬力勇. 2019. 數(shù)字化學(xué)習(xí)中的學(xué)習(xí)者參與:聯(lián)結(jié)學(xué)習(xí)動(dòng)機(jī)與學(xué)習(xí)績效——訪俄亥俄州立大學(xué)知名學(xué)者謝魁教授[J]. 現(xiàn)代遠(yuǎn)程教育研究,31(4):11-18,46.

    王志軍,馮小燕. 2019. 基于學(xué)習(xí)參與視角的移動(dòng)學(xué)習(xí)資源畫面設(shè)計(jì)研究[J]. 電化教育研究(6):91-97.

    張娜. 2012. 國內(nèi)外學(xué)習(xí)參與及其學(xué)校影響因素研究綜述[J]. 心理研究,5(2):83-92.

    Anderson, E. (2017). Measurement of online student engagement: utilization of continuous online student behavior indicators as items in a partial credit rasch model. USA: University of Denver.

    Anderson, A., Huttenlocher, D., Kleinberg, J., & Leskovec, J. (2014). Engaging with massive online courses. In Proceedings of the 23rd International Conference on World Wide Web (pp. 687-698). ACM.

    Astleitner, H. (2018). Multidimensional engagement in learning-an integrated instructional design approach. Journal of Instructional Research, 7, 6-32.

    Caliński, T., & Harabasz, J. (1974). A dendrite method for cluster analysis. Communications in Statistics-Theory and Methods, 3(1), 1-27.

    Chi, M. T. (2009). Active-constructive-interactive: A conceptual framework for differentiating learning activities. Topics in Cognitive Science, 1(1), 73-105.

    Chi, M. T., Adams, J., Bogusch, E. B., Bruchok, C., Kang, S., Lancaster, M., et al. (2018). Translating the ICAP theory of cognitive engagement into practice. Cognitive Science, 42(6), 1777-1832.

    Chi, M. T., & Wylie, R. (2014). The ICAP framework: Linking cognitive engagement to active learning outcomes. Educational Psychologist, 49(4), 219-243.

    Defays, D. (1977). An efficient algorithm for a complete link method. The Computer Journal, 20(4), 364-366.

    Demonbrun, M., Finelli, C. J., Prince, M., Borrego, M., Shekhar, P., Henderson, C., et al. (2017). Creating an instrument to measure student response to instructional practices. Journal of Engineering Education, 106(2), 273-298.

    Dmello, S., Dieterle, E., & Duckworth, A. (2017). Advanced, analytic, automated (AAA) measurement of engagement during learning. Educational Psychologist, 52(2), 104-123.

    Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109.

    Johnson, S. C. (1967). Hierarchical clustering schemes. Psychometrika, 32(3), 241-254.

    Haney, C. L., Atiq, S. Z., Deboer, J., & Cox, D. (2016). Comparing different learning activities in a global neuroscience MOOC. In Proceedings of the 123rd ASEE Annual Conference & Exposition. ASEE.

    Kizilcec, R. F., Piech, C., & Schneider, E. (2013). Deconstructing disengagement: analyzing learner subpopulations in massive open online courses. In Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (pp. 170-179). ACM.

    Kuh, G. D. (2003). What were learning about student engagement from nsse: benchmarks for effective educational practices. Change: The Magazine of Higher Learning, 35(2), 24-32.

    Lam, R., & Muldner, K. (2017). Manipulating cognitive engagement in preparation-to-collaborate tasks and the effects on learning. Learning and Instruction, 52, 90-101.

    Lan, A. S., Brinton, C. G., Yang, T. Y., & Chiang, M. (2017). Behavior-based latent variable model for learner engagement. In Proceedings of the 10th International Conference on Educational Data Mining (pp. 64-71). ERIC.

    Le Lant, C., & Lawson, M. J. (2019). A new student engagement observational instrument for use with students with intellectual disability. Journal of Research in Special Educational Needs, 19(4), 304-314.

    Lutz, B. D., Barlow, A. J., Hunsu, N., Groen, C. J., Brown, A. P. E. S., Adesope, O., et al. (2018). Measuring engineering students in-class cognitive engagement: survey development informed by contemporary educational theories. In Proceedings of the 125th ASEE Annual Conference & Exposition. ASEE.

    Marzouk, Z., Rakovic, M., & Winne, P. H. (2016). Generating learning analytics to improve learners metacognitive skills using nstudy trace data and the ICAP framework. In Proceedings of the Learning Analytics and Knowledge Workshop on Learning Analytics for learners (pp. 11-16). CEUR.

    Ng, C., Bartlett, B., & Elliott, S. N. (2018). Engagement for what purpose? Engagement toward what outcome? Empowering engagement for students from challenging backgrounds. In C. Ng, B. Bartlett, & S.N. Elliott (Eds.), Empowering engagement (pp.191-209). New York: Springer.

    Piotrkowicz, A., Dimitrova, V., Mitrovic, A., & Lau, L. (2018). Using the explicit user profile to predict user engagement in active video watching. In Proceedings of the 26th Conference on User Modeling, Adaptation and Personalization (pp. 365-366). ACM.

    Ramesh, A., Goldwasser, D., Huang, B., Daumé III, H., & Getoor, L. (2013). Modeling learner engagement in MOOCs using probabilistic soft logic. In Proceedings of NIPS Workshop on Data Driven Education.

    Wang, X., Yang, D., Wen, M., Koedinger, K., & Rosé, C. P. (2015). Investigating how students cognitive behavior in mooc discussion forums affect learning gains. In Proceedings of the 8th International Conference on Educational Data Mining (pp.226-233). ERIC.

    Yogev, E., Gal, K., Karger, D., Facciotti, M. T., & Igo, M. (2018). Classifying and visualizing students cognitive engagement in course readings. In Proceedings of the 5th Annual ACM Conference on Learning at Scale (pp.1-10). ACM.

    收稿日期:2020-03-25

    定稿日期:2020-08-04

    作者簡介:肖睿,博士研究生,北京大學(xué)教育學(xué)院學(xué)習(xí)科學(xué)實(shí)驗(yàn)室(100871)。

    劉千慧,碩士研究生,本文通訊作者,北京大學(xué)信息管理系(100871)。

    尚俊杰,博士,副教授,博士生導(dǎo)師,北京大學(xué)教育學(xué)院學(xué)習(xí)科學(xué)實(shí)驗(yàn)室(100871)。

    黃文彬,博士,副教授,碩士生導(dǎo)師,北京大學(xué)信息管理系(100871)。

    猜你喜歡
    被動(dòng)小節(jié)框架
    框架
    羌族薩朗舞歌巴茸的音樂分析
    ——以羌族舞歌《葉忍》為例
    新聞?wù)Z篇中被動(dòng)化的認(rèn)知話語分析
    快把我哥帶走
    廣義框架的不相交性
    德沃夏克
    ——《幽默曲》賞析
    主動(dòng)句都能轉(zhuǎn)換成被動(dòng)句嗎
    第五課 拒絕被動(dòng)
    李斯特《匈牙利狂想曲第十一首》音樂分析
    WTO框架下
    亚洲av片天天在线观看| av网站在线播放免费| 亚洲欧美日韩另类电影网站| 亚洲av五月六月丁香网| 一级毛片高清免费大全| 黑人操中国人逼视频| www.精华液| 高清av免费在线| 午夜久久久在线观看| 亚洲成a人片在线一区二区| 成人国语在线视频| 人妻久久中文字幕网| 老司机午夜福利在线观看视频| 别揉我奶头~嗯~啊~动态视频| 美女 人体艺术 gogo| 日本vs欧美在线观看视频| 国产单亲对白刺激| 人妻久久中文字幕网| 91老司机精品| 夜夜躁狠狠躁天天躁| 国产1区2区3区精品| 中文字幕精品免费在线观看视频| 色综合婷婷激情| 欧美乱码精品一区二区三区| 一级毛片女人18水好多| 中文字幕高清在线视频| 无限看片的www在线观看| 国产激情欧美一区二区| 一级毛片高清免费大全| 9191精品国产免费久久| 一本综合久久免费| www日本在线高清视频| 色老头精品视频在线观看| 亚洲av五月六月丁香网| av电影中文网址| 免费观看精品视频网站| 咕卡用的链子| 欧美国产精品va在线观看不卡| 欧美激情久久久久久爽电影 | 国产亚洲欧美精品永久| 亚洲avbb在线观看| 日韩欧美在线二视频| 男女高潮啪啪啪动态图| 50天的宝宝边吃奶边哭怎么回事| 亚洲国产欧美网| 色老头精品视频在线观看| 一二三四在线观看免费中文在| 亚洲自偷自拍图片 自拍| 欧美精品啪啪一区二区三区| 欧美另类亚洲清纯唯美| 精品无人区乱码1区二区| 成人国语在线视频| 色综合欧美亚洲国产小说| 日韩大尺度精品在线看网址 | 麻豆成人av在线观看| 国内久久婷婷六月综合欲色啪| 久久久国产成人精品二区 | 欧美亚洲日本最大视频资源| 国产视频一区二区在线看| 在线国产一区二区在线| 脱女人内裤的视频| 91在线观看av| 一本综合久久免费| 亚洲午夜理论影院| 女性被躁到高潮视频| 九色亚洲精品在线播放| 一区二区三区激情视频| 999精品在线视频| 日韩中文字幕欧美一区二区| 亚洲三区欧美一区| 亚洲熟女毛片儿| 悠悠久久av| 亚洲一区中文字幕在线| 国产精品一区二区精品视频观看| 成年版毛片免费区| 成人av一区二区三区在线看| 精品久久久久久,| 精品国产一区二区三区四区第35| 亚洲第一青青草原| 欧美黄色片欧美黄色片| 女性生殖器流出的白浆| 久久亚洲真实| 国产色视频综合| 97超级碰碰碰精品色视频在线观看| 久久久国产成人精品二区 | 国产三级在线视频| 91成人精品电影| 精品国产一区二区三区四区第35| 在线视频色国产色| 日韩欧美一区二区三区在线观看| 99在线人妻在线中文字幕| 国产精品自产拍在线观看55亚洲| 亚洲aⅴ乱码一区二区在线播放 | 狠狠狠狠99中文字幕| 精品免费久久久久久久清纯| 成人手机av| 99热国产这里只有精品6| 操出白浆在线播放| 操美女的视频在线观看| 女人精品久久久久毛片| 中文字幕最新亚洲高清| 怎么达到女性高潮| 日韩国内少妇激情av| 757午夜福利合集在线观看| 中文亚洲av片在线观看爽| 岛国在线观看网站| 9热在线视频观看99| 男人舔女人的私密视频| 日本 av在线| 久久久久久大精品| 欧美日韩乱码在线| 国产黄色免费在线视频| 欧美日韩福利视频一区二区| 国产97色在线日韩免费| 亚洲一区高清亚洲精品| 制服人妻中文乱码| 免费在线观看视频国产中文字幕亚洲| 色婷婷久久久亚洲欧美| 后天国语完整版免费观看| 国产欧美日韩综合在线一区二区| 免费不卡黄色视频| √禁漫天堂资源中文www| 一级毛片女人18水好多| 色综合婷婷激情| 在线观看免费视频日本深夜| 丰满饥渴人妻一区二区三| 好男人电影高清在线观看| 99re在线观看精品视频| 欧美激情极品国产一区二区三区| 这个男人来自地球电影免费观看| 久久午夜亚洲精品久久| 精品国产一区二区久久| 国产精品久久电影中文字幕| 日日夜夜操网爽| 国产精品98久久久久久宅男小说| 在线观看66精品国产| 精品久久蜜臀av无| 熟女少妇亚洲综合色aaa.| 久久青草综合色| 精品国产国语对白av| 在线观看免费视频日本深夜| 好男人电影高清在线观看| 国产主播在线观看一区二区| 中文字幕人妻丝袜一区二区| 日本免费a在线| 欧美乱妇无乱码| 久久久国产成人精品二区 | 亚洲美女黄片视频| 国产欧美日韩一区二区三| 中文字幕另类日韩欧美亚洲嫩草| 曰老女人黄片| 亚洲精品国产区一区二| 黑人巨大精品欧美一区二区蜜桃| 亚洲精品一二三| 黄色视频,在线免费观看| 1024视频免费在线观看| 成人手机av| 夫妻午夜视频| 淫妇啪啪啪对白视频| 日韩国内少妇激情av| 欧美亚洲日本最大视频资源| 精品人妻1区二区| 18禁国产床啪视频网站| 亚洲精品粉嫩美女一区| 中文字幕另类日韩欧美亚洲嫩草| 国产精品偷伦视频观看了| 国产国语露脸激情在线看| 热99re8久久精品国产| 亚洲男人的天堂狠狠| 在线观看免费高清a一片| 岛国在线观看网站| 日韩精品青青久久久久久| 在线观看免费视频网站a站| 国产欧美日韩精品亚洲av| 亚洲av成人av| 亚洲国产欧美一区二区综合| 欧美成狂野欧美在线观看| 中文字幕色久视频| 久久伊人香网站| 大码成人一级视频| 免费观看精品视频网站| 国产精品99久久99久久久不卡| 亚洲精品在线观看二区| 黄片小视频在线播放| 精品免费久久久久久久清纯| 香蕉国产在线看| 亚洲成a人片在线一区二区| 亚洲在线自拍视频| 在线国产一区二区在线| 女同久久另类99精品国产91| 欧美+亚洲+日韩+国产| 久久精品国产亚洲av香蕉五月| 精品久久久久久久毛片微露脸| 国产黄色免费在线视频| bbb黄色大片| 国产亚洲欧美精品永久| 黄色怎么调成土黄色| 亚洲专区国产一区二区| 久久人人精品亚洲av| 欧美激情极品国产一区二区三区| 亚洲五月天丁香| 久久久国产成人精品二区 | 国产视频一区二区在线看| 欧美av亚洲av综合av国产av| 十八禁网站免费在线| 人成视频在线观看免费观看| 亚洲一区高清亚洲精品| 麻豆一二三区av精品| 黄网站色视频无遮挡免费观看| 在线视频色国产色| 亚洲av日韩精品久久久久久密| 国产成人影院久久av| 狂野欧美激情性xxxx| 看免费av毛片| 亚洲欧美精品综合一区二区三区| 精品国产超薄肉色丝袜足j| 国产又爽黄色视频| 久久精品影院6| 国产黄a三级三级三级人| 狠狠狠狠99中文字幕| www.www免费av| 少妇的丰满在线观看| 丁香六月欧美| 久久久久国产精品人妻aⅴ院| 精品一区二区三区视频在线观看免费 | 日本 av在线| 久久精品国产亚洲av香蕉五月| 午夜福利免费观看在线| 18美女黄网站色大片免费观看| 性欧美人与动物交配| 精品国产乱子伦一区二区三区| 一二三四在线观看免费中文在| av天堂在线播放| www.999成人在线观看| 电影成人av| 两性午夜刺激爽爽歪歪视频在线观看 | 丰满迷人的少妇在线观看| 老司机亚洲免费影院| 国产av在哪里看| 亚洲精品国产精品久久久不卡| 夜夜爽天天搞| 国产精品亚洲av一区麻豆| 久久人妻av系列| 亚洲五月色婷婷综合| 日韩欧美一区视频在线观看| 亚洲狠狠婷婷综合久久图片| 成年人黄色毛片网站| 国产aⅴ精品一区二区三区波| 曰老女人黄片| 国产又色又爽无遮挡免费看| 亚洲七黄色美女视频| 久久久国产成人精品二区 | 国产成人精品在线电影| 久9热在线精品视频| 搡老乐熟女国产| 97人妻天天添夜夜摸| 91成人精品电影| 国产av精品麻豆| 亚洲一卡2卡3卡4卡5卡精品中文| www.自偷自拍.com| 国产精品免费一区二区三区在线| 狠狠狠狠99中文字幕| 大码成人一级视频| 国产亚洲精品一区二区www| 伊人久久大香线蕉亚洲五| 亚洲熟妇熟女久久| 久99久视频精品免费| 黄色a级毛片大全视频| 欧美日韩黄片免| 久久中文看片网| 一区二区三区精品91| 国产高清videossex| 国产精品免费视频内射| 日本欧美视频一区| 久久久久久久精品吃奶| 亚洲欧美精品综合久久99| 咕卡用的链子| 日韩精品青青久久久久久| 欧美日本中文国产一区发布| 久久九九热精品免费| 国产激情欧美一区二区| 纯流量卡能插随身wifi吗| 在线天堂中文资源库| 午夜精品久久久久久毛片777| 久久青草综合色| 亚洲av成人不卡在线观看播放网| 久久久国产精品麻豆| aaaaa片日本免费| 久久国产亚洲av麻豆专区| 好男人电影高清在线观看| 19禁男女啪啪无遮挡网站| 69精品国产乱码久久久| 老司机福利观看| 亚洲精品一卡2卡三卡4卡5卡| 日本 av在线| 国产黄色免费在线视频| 黄片播放在线免费| 亚洲一区二区三区色噜噜 | 在线免费观看的www视频| 十八禁人妻一区二区| 国产激情久久老熟女| 曰老女人黄片| 久久亚洲精品不卡| 日韩高清综合在线| 久久人妻av系列| 老司机靠b影院| 99在线人妻在线中文字幕| 女警被强在线播放| 久久精品国产综合久久久| 无遮挡黄片免费观看| 99国产精品一区二区蜜桃av| 99久久综合精品五月天人人| 岛国在线观看网站| 国产不卡一卡二| 免费看十八禁软件| 亚洲欧洲精品一区二区精品久久久| 亚洲欧美激情在线| 99精品欧美一区二区三区四区| 久久九九热精品免费| 高潮久久久久久久久久久不卡| 伊人久久大香线蕉亚洲五| 久久精品人人爽人人爽视色| 欧美丝袜亚洲另类 | 日韩欧美在线二视频| av电影中文网址| 亚洲美女黄片视频| 日日干狠狠操夜夜爽| 欧美日韩亚洲国产一区二区在线观看| 女性被躁到高潮视频| 狠狠狠狠99中文字幕| 国产精品永久免费网站| 亚洲 欧美 日韩 在线 免费| 国产一区二区激情短视频| 亚洲欧美激情综合另类| 色老头精品视频在线观看| 宅男免费午夜| 久久香蕉激情| 亚洲av成人一区二区三| 免费少妇av软件| 久久久久国内视频| 人妻丰满熟妇av一区二区三区| 欧美日韩亚洲高清精品| 免费高清在线观看日韩| 老司机福利观看| 精品一区二区三区视频在线观看免费 | 另类亚洲欧美激情| 欧美色视频一区免费| 欧美乱色亚洲激情| 黄色女人牲交| 久久久国产成人免费| 色综合婷婷激情| 亚洲第一av免费看| 免费看十八禁软件| 免费一级毛片在线播放高清视频 | 日本五十路高清| 国产有黄有色有爽视频| 天堂影院成人在线观看| 久久婷婷成人综合色麻豆| 国产成年人精品一区二区 | 少妇 在线观看| 亚洲男人天堂网一区| 久久久精品国产亚洲av高清涩受| 女性被躁到高潮视频| 深夜精品福利| 精品久久久久久电影网| 色老头精品视频在线观看| 亚洲成人国产一区在线观看| 久久这里只有精品19| 手机成人av网站| 长腿黑丝高跟| 欧美黄色淫秽网站| 亚洲一区中文字幕在线| 亚洲av成人av| 欧美黄色淫秽网站| 国产亚洲av高清不卡| 精品国产乱码久久久久久男人| 国产片内射在线| ponron亚洲| 一夜夜www| 亚洲在线自拍视频| 亚洲成人免费av在线播放| 麻豆av在线久日| 亚洲中文日韩欧美视频| 午夜福利欧美成人| 久久性视频一级片| 午夜日韩欧美国产| 久热这里只有精品99| 99精品久久久久人妻精品| 国产精品乱码一区二三区的特点 | 美女高潮到喷水免费观看| 亚洲精品国产一区二区精华液| 黄色 视频免费看| 欧美成人性av电影在线观看| 亚洲精品久久午夜乱码| 午夜免费成人在线视频| 视频在线观看一区二区三区| 精品国产国语对白av| 久久狼人影院| 亚洲色图 男人天堂 中文字幕| 国产亚洲精品一区二区www| 一a级毛片在线观看| 国产精品偷伦视频观看了| 亚洲欧美一区二区三区久久| 一区福利在线观看| bbb黄色大片| 一二三四在线观看免费中文在| 露出奶头的视频| 国产aⅴ精品一区二区三区波| 亚洲精品一区av在线观看| 一边摸一边抽搐一进一小说| 午夜91福利影院| 欧美黑人欧美精品刺激| 亚洲欧美精品综合久久99| 亚洲精品在线美女| 亚洲av熟女| 一区二区三区国产精品乱码| 精品国产美女av久久久久小说| 日本撒尿小便嘘嘘汇集6| 在线观看www视频免费| 亚洲国产精品一区二区三区在线| 淫妇啪啪啪对白视频| 午夜福利欧美成人| 女警被强在线播放| 国产亚洲av高清不卡| 亚洲av第一区精品v没综合| 国产精品电影一区二区三区| 午夜免费观看网址| 少妇的丰满在线观看| 国产欧美日韩一区二区三区在线| 老鸭窝网址在线观看| 9191精品国产免费久久| 日韩欧美一区二区三区在线观看| 最新在线观看一区二区三区| 麻豆久久精品国产亚洲av | av电影中文网址| 欧美日本中文国产一区发布| 午夜成年电影在线免费观看| av中文乱码字幕在线| 久9热在线精品视频| 精品少妇一区二区三区视频日本电影| 成人亚洲精品一区在线观看| 最新美女视频免费是黄的| 久久国产精品男人的天堂亚洲| x7x7x7水蜜桃| 精品国产亚洲在线| a级毛片在线看网站| 欧美国产精品va在线观看不卡| 国产一区二区在线av高清观看| 成人18禁高潮啪啪吃奶动态图| 亚洲国产看品久久| 色婷婷av一区二区三区视频| 每晚都被弄得嗷嗷叫到高潮| 桃红色精品国产亚洲av| 色老头精品视频在线观看| 99国产综合亚洲精品| 久久 成人 亚洲| 18禁国产床啪视频网站| 大码成人一级视频| 国产亚洲精品第一综合不卡| 国产极品粉嫩免费观看在线| 中文亚洲av片在线观看爽| 一个人观看的视频www高清免费观看 | 精品少妇一区二区三区视频日本电影| 国产伦人伦偷精品视频| av国产精品久久久久影院| 国产在线精品亚洲第一网站| 亚洲成人免费av在线播放| 一区二区三区精品91| 国产免费男女视频| 国产亚洲欧美在线一区二区| 免费av中文字幕在线| 亚洲成人精品中文字幕电影 | 久久久国产一区二区| 久久欧美精品欧美久久欧美| 黄色片一级片一级黄色片| 日本黄色视频三级网站网址| 99国产精品一区二区蜜桃av| 好看av亚洲va欧美ⅴa在| 99在线人妻在线中文字幕| 免费久久久久久久精品成人欧美视频| 在线视频色国产色| 99精品久久久久人妻精品| 身体一侧抽搐| 高清毛片免费观看视频网站 | 亚洲激情在线av| 国产亚洲欧美精品永久| 精品久久久久久,| 亚洲成a人片在线一区二区| 自线自在国产av| 一级作爱视频免费观看| 日本黄色视频三级网站网址| 中国美女看黄片| 国产精品乱码一区二三区的特点 | 69av精品久久久久久| 欧美 亚洲 国产 日韩一| 日韩欧美免费精品| 9191精品国产免费久久| 欧美激情极品国产一区二区三区| 精品一区二区三区av网在线观看| 午夜福利一区二区在线看| 国产亚洲欧美精品永久| 国产av在哪里看| 国产成人一区二区三区免费视频网站| 亚洲欧美日韩另类电影网站| 日韩人妻精品一区2区三区| www日本在线高清视频| 欧美激情高清一区二区三区| 亚洲av成人一区二区三| 国产精品九九99| 国产激情欧美一区二区| 亚洲精品美女久久av网站| 免费观看精品视频网站| 人人妻人人爽人人添夜夜欢视频| 国产aⅴ精品一区二区三区波| 久久精品国产清高在天天线| 国产片内射在线| 黄色女人牲交| 在线播放国产精品三级| 他把我摸到了高潮在线观看| 日韩欧美在线二视频| 婷婷六月久久综合丁香| 美女扒开内裤让男人捅视频| 国产又爽黄色视频| 色综合欧美亚洲国产小说| 国产xxxxx性猛交| 色综合欧美亚洲国产小说| 日韩 欧美 亚洲 中文字幕| 老司机午夜福利在线观看视频| 亚洲美女黄片视频| 欧美黄色淫秽网站| 久久人人精品亚洲av| 欧美中文日本在线观看视频| 美女大奶头视频| 欧美一级毛片孕妇| 久久国产精品男人的天堂亚洲| 亚洲第一欧美日韩一区二区三区| 搡老岳熟女国产| 熟女少妇亚洲综合色aaa.| 久久精品aⅴ一区二区三区四区| 黄色丝袜av网址大全| 欧美午夜高清在线| 在线播放国产精品三级| 亚洲精品一二三| 人人澡人人妻人| 欧美激情极品国产一区二区三区| 看免费av毛片| 国产精品九九99| 美女福利国产在线| 午夜福利在线免费观看网站| 国产99久久九九免费精品| 亚洲av成人av| 丰满迷人的少妇在线观看| 国产深夜福利视频在线观看| 俄罗斯特黄特色一大片| 成人国语在线视频| 亚洲精品一卡2卡三卡4卡5卡| 国产蜜桃级精品一区二区三区| 1024香蕉在线观看| 免费人成视频x8x8入口观看| 久久久精品国产亚洲av高清涩受| 一区二区三区国产精品乱码| 午夜91福利影院| 国产一区二区三区综合在线观看| xxxhd国产人妻xxx| 一二三四社区在线视频社区8| 性少妇av在线| 日韩 欧美 亚洲 中文字幕| 国产欧美日韩精品亚洲av| 狂野欧美激情性xxxx| 国产精品亚洲一级av第二区| 黄片大片在线免费观看| 亚洲午夜理论影院| 国产av精品麻豆| 国产精品 欧美亚洲| 国产高清激情床上av| 国产区一区二久久| 午夜免费成人在线视频| 99精国产麻豆久久婷婷| av电影中文网址| 国产精品一区二区三区四区久久 | 91麻豆精品激情在线观看国产 | 法律面前人人平等表现在哪些方面| 欧美 亚洲 国产 日韩一| 欧美黑人欧美精品刺激| 人人澡人人妻人| 免费少妇av软件| 欧美中文综合在线视频| 欧美午夜高清在线| 亚洲人成伊人成综合网2020| 久久狼人影院| 亚洲欧美激情综合另类| 老汉色∧v一级毛片| 成人黄色视频免费在线看| 色老头精品视频在线观看| 老鸭窝网址在线观看| 91在线观看av| 国产一卡二卡三卡精品| 桃色一区二区三区在线观看| 久久久国产欧美日韩av| 91麻豆av在线| 久久人人精品亚洲av| aaaaa片日本免费| 女同久久另类99精品国产91| 久久九九热精品免费| 欧美日韩亚洲高清精品| 午夜免费激情av| 日韩中文字幕欧美一区二区| 最近最新中文字幕大全免费视频| 亚洲精品一卡2卡三卡4卡5卡| 国产精品偷伦视频观看了| 国产精品乱码一区二三区的特点 | 国产深夜福利视频在线观看| 亚洲成a人片在线一区二区| 在线观看www视频免费| 视频区图区小说|