• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    教育數(shù)據(jù)挖掘中的學習者建模研究

    2018-09-25 04:42徐鵬飛鄭勤華陳耀華陳麗
    中國遠程教育 2018年6期
    關(guān)鍵詞:學習分析在線教育在線學習

    徐鵬飛 鄭勤華 陳耀華 陳麗

    【摘 要】 近五年網(wǎng)絡(luò)教育的變革和深度學習等人工智能技術(shù)的飛速發(fā)展給學習者模型的研究和應(yīng)用帶來了新的機遇和挑戰(zhàn)。目前,教學數(shù)據(jù)中蘊含的大量價值亟待挖掘,而實踐中絕大部分教學環(huán)境對學習者的理解、狀態(tài)跟蹤和自適應(yīng)性仍處于初級階段。如何從數(shù)據(jù)中建立學習者模型、如何在教學環(huán)境中設(shè)計和使用學習者模型是下一階段教育變革的核心技術(shù)問題。為此,本文從知識狀態(tài)模型、認知行為模型、情感模型和綜合模型四個類別分別闡述了具有代表性的學習者模型及其主要應(yīng)用場景。研究認為,深度學習未來將在學習者模型的研究和實踐中扮演重要角色,而基于各種學習者數(shù)據(jù)對學生進行全面而綜合性建模的綜合模型應(yīng)用是大勢所趨。

    【關(guān)鍵詞】 在線教育;在線學習;學習者模型;學習分析;教育數(shù)據(jù)挖掘

    【中圖分類號】 G40-057 【文獻標識碼】 A 【文章編號】 1009-458x(2018)6-0005-7

    一、引言

    當前,我國的教育信息化發(fā)展進入到以有效支持教與學、促進學生個性化發(fā)展為核心訴求的新階段。《教育信息化十年發(fā)展規(guī)劃(2011-2020年)》在基礎(chǔ)教育信息化發(fā)展水平框架中提出,學校教育教學方式的變革要在學生多樣性、個性化學習的改變上取得突破?!秶抑虚L期教育改革和發(fā)展規(guī)劃綱要(2010-2020年)》也指出,“關(guān)心每個學習者,促使學生更加主動積極地發(fā)展,尊重教育規(guī)劃和學生身心發(fā)展規(guī)律,為每個學生提供適合的教育”。在這一進程中,對學習者模型的研究尤為重要。

    學習者模型是對真實學習者的一種抽象表示,代表了學習者的知識技能、認知行為、情感體驗等方面的水平和特征(Chrysafiadi & Virvou, 2013)。在智能輔導系統(tǒng)中,學習者模型扮演著大腦的角色,它可以在學習者學習的過程中跟蹤其狀態(tài)的變化,并自適應(yīng)地給學習者提供合適的交互。而在大規(guī)模在線學習環(huán)境中,學習者模型可以對大規(guī)模的學習者進行定性或定量描述,為教師和學習環(huán)境設(shè)計人員的決策提供重要參考。在大數(shù)據(jù)和人工智能的時代,學習者模型有著非常廣闊的研究空間和應(yīng)用場景。

    構(gòu)建一個學習者模型的初期要考慮的主要因素包括作為數(shù)據(jù)來源和應(yīng)用場景的教學環(huán)境、所選擇建模的學習者特征以及所采用的建模技術(shù)(Chrysafiadi & Virvou, 2013),因此學習者模型可以從教學環(huán)境、建模對象、建模技術(shù)這三個角度進行分類。本文采取的分類方式是按照建模對象,即“以學習者的哪一個方面作為基準進行建模”來進行分類。本文將按照學習者知識狀態(tài)模型、學習者認知行為模型、學習者情感模型和學習者綜合模型這四個類別,分別介紹目前一些具有代表性的學習者模型,為相關(guān)研究人員和從業(yè)者提供參考。

    二、以知識狀態(tài)為基準的學習者模型

    以知識狀態(tài)為基準的學習者模型所關(guān)注的是學習者在學習的過程中其知識狀態(tài)的變化。從建模技術(shù)角度看,常用的方法有覆蓋模型(Stansfield, Carr, & Goldstein, 1976)、鉛版模型(Rich, 1979)、偏差模型(Mayo, 2001)、貝葉斯知識跟蹤模型(Corbett & Anderson 1994)等。覆蓋模型是把學生所擁有的知識集看作是專家知識的子集,通過將學生知識子集與原集進行比較,可以根據(jù)學生的知識缺陷向其推送適當?shù)膶W習內(nèi)容和學習策略。鉛版模型一個簡單的分組用戶模型,將用戶分成幾組,每組學生包含學生知識、偏好、興趣、學習目標、學習歷史等。偏差模型記錄學生的問題解決路徑與專家路徑的偏差,這些偏差描述了學生在特定知識點中的某種不足,并且能夠根據(jù)偏差的類型給出具體的補救措施。張舸等(2012)評述了上述幾種典型的學習者模型建模方法,而本小節(jié)將重點介紹基于貝葉斯知識跟蹤的學習者知識狀態(tài)模型(Corbett & Anderson, 1994)。

    貝葉斯知識跟蹤(Bayesian Knowledge Tracing, BKT)模型假設(shè)每項知識(或技能)有四個參數(shù):初始概率、習得概率、猜對概率、疏忽概率(如表1所示)。初始概率p(L0)是學生在與學習系統(tǒng)產(chǎn)生交互之前“已掌握”該技能的概率;p(T)是學生在每次學習機會(或問題)之后,從“未掌握”狀態(tài)轉(zhuǎn)移到“已掌握”狀態(tài)的概率;p(G)是學生在“未掌握”狀態(tài)下猜對相關(guān)問題答案的概率;p(S)是學生在“已掌握”狀態(tài)下答錯問題答案的概率。前兩個參數(shù)與知識掌握相關(guān),而后兩個參數(shù)則與答題表現(xiàn)相關(guān)。BKT是一個相當簡單和受限的隱馬爾科夫模型:其隱式節(jié)點代表知識點掌握情況,只有“0”和“1”兩種狀態(tài),分別代表“未掌握”和“已掌握”;其顯式節(jié)點代表學生完成練習的情況,也是“0”和“1”兩種狀態(tài),分別代表“錯誤”和“正確”。

    表1 貝葉斯知識跟蹤(BKT)的四個參數(shù)

    [參數(shù) 說明 解釋 p(L0) 初始概率 學生在與學習系統(tǒng)交互前掌握知識點的概率 p(T) 習得概率 學生從不會到會的轉(zhuǎn)移概率 p(G) 猜對概率 學生在不會的狀態(tài)下仍然猜對的概率 p(S) 疏忽概率 學生在會的狀態(tài)下仍然做錯的概率 ]

    基本BKT模型中的四個參數(shù)分別是針對各個技能點和題目設(shè)置的,并沒有考慮學生個體在能力上的差異。針對該局限性,Wang和Heffernan (2012)、Pardos和Heffernan (2010)分別對BKT模型提出了多種擴展,通過增加隱式節(jié)點使模型能夠模擬學習者在個體能力上的差異。Yudelson、Koedinger和Gordon (2013)通過比較各種個性化擴展的方式,發(fā)現(xiàn)在習得概率p(T)上的個性化對模型的預測效果有較大的作用;相比之下,針對p(L0)的個性化對模型的預測效果的提升較小。

    基本BKT模型的另一個缺點是需要依賴專家建立的技能模型,并需要對每個問題進行標注,將其映射到相關(guān)技能或主題。除了知識跟蹤模型外,技能模型還可以用于其他場景,比如檢查技能與投入度的關(guān)系(Doddannara, Gowda, Baker, Gowda, & Carvalho, 2013)。但是,技能模型本身的創(chuàng)建和相關(guān)標注是一項具有挑戰(zhàn)性且耗時耗力的工作,而且在實際中練習與技能之間的映射關(guān)系并不總是簡單清晰的,可能是復雜而模糊的,這一方面會提高知識跟蹤模型的構(gòu)建成本,另一方面也會限制知識跟蹤模型的應(yīng)用場景。因此,研究者基于題目中包含的文本和學習者的交互數(shù)據(jù),嘗試采用主題建模(Thai-Nghe, Horváth, & Schmidt-Thieme, 2010)或技能分解(Desmarais, 2012)等方式來自動發(fā)現(xiàn)技能或?qū)栴}進行標注。盡管目前看來自動化技能發(fā)現(xiàn)和問題標注的效果與專家手動方式的效果相比還有一定差距(Slater, Baker, Almeda, Bowers, & Heffernan, 2017),但隨著自然語言處理、知識圖譜和人工智能等領(lǐng)域的發(fā)展,這種方式可能會逐步代替?zhèn)鹘y(tǒng)方式,從而使知識跟蹤模型更加便捷和通用。

    學習者模型近年來也受到深度學習熱潮的席卷。Piech等(2015) 認為即便加上諸多擴展BKT依然有其局限性,例如在BKT模型中學生對知識的理解或技能的掌握是二值的,學生的響應(yīng)數(shù)據(jù)(對答案的標記)也是二值的;這兩個假設(shè)在許多場景下也許不太現(xiàn)實,限制了BKT的建模等能力。Piech等(2015) 提出了深度知識跟蹤模型(Deep Knowledge Tracing, DKT),它使用循環(huán)神經(jīng)網(wǎng)絡(luò)模型,基于學生的測驗數(shù)據(jù)對學生進行連續(xù)性的隱式建模。和BKT不同的是,DKT對技能掌握和學生響應(yīng)采用了連續(xù)的表示。從實驗結(jié)果來看,DKT對學生表現(xiàn)的預測更加準確,并且不依賴專家構(gòu)建的領(lǐng)域知識結(jié)構(gòu)和相關(guān)標注。DKT的主要缺點是可解釋性不如BKT。有趣的是,在分析了DKT的成功后,Khajah、Lindsey和Mozer (2016) 用已提出的BKT擴展進行適當組合后,獲得了非常接近的效果。從他們的實驗結(jié)果來看,深度模型在學習者建模領(lǐng)域還沒有像在某些領(lǐng)域那樣取得很大的領(lǐng)先優(yōu)勢。但毫無疑問,DKT是深度學習方法在學習者建模領(lǐng)域的一次成功的具有突破性的嘗試,有力地促進了知識跟蹤模型領(lǐng)域的研究。

    三、以認知行為為基準的學習者模型

    學習者知識狀態(tài)模型一般僅僅基于學習者的測評數(shù)據(jù)進行建模,但實際上學習者在教學環(huán)境中留下的數(shù)字足跡遠不止測評數(shù)據(jù),這一點在學習管理系統(tǒng)(LMS)和大規(guī)模在線學習環(huán)境下尤為明顯。彭文輝等(2006)從信息檢索學習行為、信息加工學習行為、信息發(fā)布學習行為、人際溝通交流行為、基于問題解決的學習行為五個維度構(gòu)建了多維度的網(wǎng)絡(luò)學習行為模型。Veeramachaneni等(2013) 則將MOOCs下學習者的行為分為觀察、提交、協(xié)作三類。觀察類行為指的是學習者瀏覽和觀察網(wǎng)站上的資源,如維基、論壇、授課視頻和電子書等的行為;提交類行為指的是學習者提交自己生成的內(nèi)容和反饋,如作業(yè)、考試、測驗、練習、筆記、實驗等;在協(xié)作類下,學習者與其他學習者產(chǎn)生交互,如論壇模塊內(nèi)的討論、維基模塊內(nèi)的協(xié)同編輯等。盡管學習者認知行為模型的研究和應(yīng)用并不僅僅受限于MOOCs這一個學習環(huán)境,但MOOCs由于其較大的學生規(guī)模、多樣并開放的交互方式,無疑為學習者認知行為模型的研究提供了非常好的土壤。

    依據(jù)學習者的行為數(shù)據(jù),我們可以選取合適的特征對學習者進行分組。例如,Anderson等(2014) 根據(jù)觀看視頻和提交作業(yè)的情況,將學習者按照投入模式分為觀察型、解題型、全面型、收集型和局外型五個類別。觀察型主要觀看視頻,很少提交作業(yè);解題型與其相反,主要行為是提交作業(yè),而觀看視頻行為則很少;全面型綜合了觀察型和解題型,既觀看視頻也提交作業(yè);收集型也很少提交作業(yè),但他們主要是下載視頻,至于有沒有觀看則無從知曉;局外型則是注冊了課程但整體行為量低于一定閾值的不活躍用戶。宗陽等(2016)基于學習平臺上記錄的行為數(shù)據(jù)和RFM模型將學習者分為八個學習者價值類型,每個類型都具有不同的行為特征。

    我們也可以基于行為數(shù)據(jù)對學習者的認知行為從某個角度進行量化。例如,Sinha等(2014) 認為學習者與教學視頻的交互數(shù)據(jù)是MOOCs環(huán)境下覆蓋學習者最多的一類數(shù)據(jù),而且僅僅通過這單項數(shù)據(jù)就可以對學習者進行有效的認知行為建模。他們從三個層面研究了學習者觀看授課視頻時產(chǎn)生的交互數(shù)據(jù):最底層是基本操作,包括播放、暫停、向前搜尋、向后搜尋、向前滾動、向后滾動、加速和減速八種點擊操作;第二層是有認知含義的行為性動作,包含重看、跳過、快看、慢看、理清概念、核對參考和速率改變;第三層是代表認知投入水平的信息處理指數(shù),由對第二層的動作進行加權(quán)重求和得到。該模型顯示從最底層的點擊數(shù)據(jù)可以派生出一組有認知意義的度量,并可用于預測學習者的高層行為和學業(yè)表現(xiàn)。提交和協(xié)作類的數(shù)據(jù),比如論壇數(shù)據(jù),雖然可能量相對不大,但可能包含了觀察類數(shù)據(jù)所反映不了的重要信息。例如,學習者在協(xié)作過程中所形成的社會網(wǎng)絡(luò)是研究者非常關(guān)注的主題 (Joksimovi et al., 2016)。

    論壇、維基等模塊中包含的文本數(shù)據(jù)則可以用計算語言學的工具進行深入的分析。例如,Dowell等(2015) 基于文本數(shù)據(jù)建立了一個面向語言和語篇的學習者模型,并用它來預測學習者的社會網(wǎng)絡(luò)中心性和學業(yè)表現(xiàn),是一項很有意思的工作。他們認為盡管社會網(wǎng)絡(luò)分析具有完善的理論基礎(chǔ)并且在教育領(lǐng)域有成熟的應(yīng)用,但由于大規(guī)模在線課程的開放性,MOOCs中的社會網(wǎng)絡(luò)分析需要更細致的解釋。例如,在社會網(wǎng)絡(luò)中心性和學業(yè)表現(xiàn)的相關(guān)性上研究者在少量實驗上得出的結(jié)論可能是相互矛盾的。他們使用計算語言學工具來對每個學習者所貢獻的文本數(shù)據(jù)分別從敘事性、深度銜接性、指稱銜接性、句法復雜性、詞匯具體性五個維度進行量化,進而對學習者進行建模。實驗發(fā)現(xiàn),學業(yè)表現(xiàn)出眾的人群和處于社會網(wǎng)絡(luò)中心的人群并不一樣,這兩組人群在上述模型上的差異主要體現(xiàn)在敘事性、深度銜接性和指稱銜接性這三個維度。處于社會網(wǎng)絡(luò)中心的人群的敘事性較強,而詞匯和想法的重合較少;相比之下,學業(yè)出眾人群的語篇更偏向說明性而非敘事性,詞匯和想法的銜接較多。相比其他學習者,這兩組人群的共同特點是句法更簡單、詞匯較抽象。這項工作構(gòu)建的學習者模型反映了學習者語言和語篇的差別,實驗證明該模型可以更好地預測和解釋學業(yè)表現(xiàn)和社會網(wǎng)絡(luò)中心性這兩個研究者特別關(guān)注的點。

    和深度知識跟蹤模型(DKT)類似,Tang等(2016) 也提出了面向?qū)W習者行為的深度模型。該深度行為模型可以根據(jù)學習者的歷史行為來預測學習者下一步的行為,實驗顯示和傳統(tǒng)模型相比,深度模型在預測準確率上有一定的優(yōu)勢。該深度模型和深度知識跟蹤模型(DKT)一樣采用循環(huán)神經(jīng)網(wǎng)絡(luò)來表示學習者,但該行為模型考慮了學習者所有類別的行為數(shù)據(jù),而不僅僅是DKT所考慮的評測數(shù)據(jù)。此類模型的應(yīng)用場景可能包括自動化推薦系統(tǒng):系統(tǒng)可以根據(jù)學習者的歷史行為來預測其下一步行為,評估該行為是否會達到理想的學習結(jié)果,并進一步選擇是否干預以及合適的推薦內(nèi)容。

    四、以情感為基準的學習者模型

    研究者發(fā)現(xiàn)情感與認知、動機和行為密切相關(guān),在學習過程中扮演關(guān)鍵角色。根據(jù)建構(gòu)主義理論框架,學習者的情感狀態(tài)可能會系統(tǒng)性地影響他們處理新資料的方式 (Craig, Graesser, Sullins, & Gholson, 2004)。如果教師和教學環(huán)境能幫助最小化學習者的恐懼、受挫、壓力等負面情緒,促進學習者的開心、享受等正面情緒,學習者將更有可能成功實現(xiàn)學習目標。因此,在線教學環(huán)境中的學習者情感建模受到了越來越多的重視。學習者情感模型可以從幾個角度進行分類。根據(jù)模型在時間軸上的粒度可以分為快照式情感模型和連續(xù)式情感模型:快照式情感模型只建模學習者在關(guān)鍵時間點,如學習前和學習后的情感;連續(xù)式情感模型則對學習者在學習過程中的情感變化進行連續(xù)的跟蹤。情感模型還可以根據(jù)模型數(shù)據(jù)收集的方式分為主觀情感模型和客觀情感模型:主觀情感模型的數(shù)據(jù)可能來源于學習者通過問卷調(diào)查、訪談等方式自己報告的數(shù)據(jù);客觀情感模型的數(shù)據(jù)來源于學習者與學習環(huán)境的交互數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)等。隨著技術(shù)的進步,客觀連續(xù)的情感模型受到越來越多的重視并得到很大的發(fā)展,因此下文將主要關(guān)注客觀連續(xù)的情感模型。

    情感模型在所關(guān)注的情感維度上可能存在一定差異。例如,Pekrun (2005) 通過一系列定性的案例研究發(fā)現(xiàn),學習者最常報告的是正面情感是享受、希望、自豪和放松,而最常報告的負面情感是焦慮、憤怒、無聊和羞愧。Ekman和Friesen (1978) 則集中于和面部表情相關(guān)的基本情感。Craig、Graesser、Sullins和Gholson (2004) 用一個手動情感編碼系統(tǒng)觀察到在智能輔導系統(tǒng)中出現(xiàn)了沮喪、無聊、興趣、迷惑、歡欣和中性六種情感狀態(tài)。Kort、Reilly和Picard (2002) 提出一個結(jié)合情感維度和學習階段的四象限螺旋式模型。其中,橫向的情感坐標軸可能跨越多個情感集的負面情緒和正面情緒,如焦慮-信心、無聊-入迷、泄氣-欣快、沮喪-鼓勵、恐懼-興奮等。豎軸是學習軸,表示了從“反學習”的狀態(tài)到建構(gòu)式學習的轉(zhuǎn)變。該模型認為學習者的狀態(tài)在不同的象限間移動,教師或者學習環(huán)境應(yīng)該跟蹤該移動路徑來決定合適的干預策略。知識維度也可以作為第三個坐標軸加入該模型中。

    情感模型的數(shù)據(jù)來源可以是多種多樣的。例如,Ekman和Friesen (1982) 用臉部動作編碼系統(tǒng)研究了情感的表現(xiàn)形式,這套系統(tǒng)認為基本情感可以用臉部的特定特征來編碼,這些臉部模式可以用來識別六種基本情感,包括快樂、悲傷、驚訝、厭惡、憤怒和恐懼。這項工作是許多學習環(huán)境使用人臉圖像進行情感建模的重要參考(Afzal & Robinson, 2010; Ez-Zaouia, Lavou, & Elise, 2017)。但僅僅通過臉部表情或聲調(diào)變化來進行情感建??赡艽嬖谝欢ǖ木窒扌浴1热缫粋€內(nèi)向的學習者可能會控制其情感的顯示,而導致算法無法檢測其內(nèi)心的情感波動。由于情感狀態(tài)也會影響生物指標,如心率、血壓、皮膚電傳導、顏色和溫度 (Picard, 1997)。學習者通常難以控制這些生物指標,因此它們可以為情感建模提供可靠的信息。但單個生物指標往往不足以識別特定情感,因此多模態(tài)的數(shù)據(jù)采集和融合有助于情感建模的準確性。例如,Kapoor、Burleson和Picard (2007) 在實驗室環(huán)境下使用相機、壓力傳感椅、壓力鼠標和皮膚電傳導傳感器等多種傳感器。此外,文字作為信息傳播的一種主要形式,在情感的表達中也具有非常重要的作用,因此學習者在論壇或微博上的文本也可以作為學習者情感模型的數(shù)據(jù)來源(黃煥, 2014; 疏鳳芳等, 2012)。

    在采集多模態(tài)的數(shù)據(jù)之后,情感建模往往需借助機器學習領(lǐng)域的模型和技術(shù)來處理多模態(tài)數(shù)據(jù)的復雜性和情感識別過程中的不確定性。例如,Kapoor、Burleson和Picard (2007)采用特征提取和情感分類兩個模塊從多模態(tài)數(shù)據(jù)中構(gòu)建情感建模。而Conati (2002)則基于人臉、皮膚電傳導、心跳等數(shù)據(jù),采用動態(tài)貝耶斯網(wǎng)絡(luò)來監(jiān)控學習者情感??偟膩碚f,有兩種多模態(tài)數(shù)據(jù)的融合策略:一種是特征層融合,基于不同模態(tài)構(gòu)建特征向量,用于分類器的輸入;另一種是決策層融合,每個模態(tài)都有自己單獨的分類器,而這些分類器的結(jié)果將組合在一起用作一個最終分類器的輸入。盡管特征層融合有可能獲得更好的識別效果(Caridakis et al., 2008),但是決策層融合無疑具有更加模塊化的優(yōu)勢 (Pantic, 2005)。采用決策層融合的策略,開發(fā)者可以直接調(diào)用第三方提供的情感識別API,從而大大簡化了情感模型的構(gòu)建。

    目前,在學習者情感模型中常用的特征有人臉圖像或視頻、語音和文本等(Ez-Zaouia, Lavou, & Elise, 2017)??梢灶A見,隨著普適計算、穿戴式設(shè)備、情感計算和人工智能等領(lǐng)域的發(fā)展,學習者情感模型將更加多模化與智能化,其應(yīng)用場景也更為廣闊。

    五、學習者綜合模型

    學習者綜合模型指的是對學習者多個方面進行綜合而建立的整體性模型。例如,在自適應(yīng)學習系統(tǒng)中可以通過對學習者的知識水平、認知能力、偏好信息進行綜合性建模,提高自適應(yīng)學習系統(tǒng)適應(yīng)學習者的能力(賈冰, 2010)。除了在自適應(yīng)學習系統(tǒng)中的應(yīng)用外,學習者綜合模型還有兩類比較典型的應(yīng)用場景。一類是預測性模型,這類模型為了提高預測準確率而綜合考慮了學習者的多種信息;另一類是評價性模型,這類模型為了提高評價的客觀性和全面性,也盡可能多地考慮學習者的多種信息。

    預測性學習者綜合模型的一個典型應(yīng)用場景是MOOCs環(huán)境下的退學預測(Nagrecha, Dillon, & Chawla, 2017)。因為高退學率是MOOCs最顯著的一個缺點,所以退學預測一直是MOOCs研究的一個重要主題。退學預測的大多數(shù)研究采用的是監(jiān)督式分類的方法,系統(tǒng)可以采用點擊流、作業(yè)評分、社會網(wǎng)絡(luò)甚至人口學信息等多種數(shù)據(jù)源,通過特征工程和機器學習算法來優(yōu)化預測準確率。這類學習者綜合模型雖然綜合了學習者在多個方面的信息,但模型的可解釋性存在一定的挑戰(zhàn)。目前主要有兩種方法可以保留預測性模型的可解釋性:第一種方法是需要采用線性模型、決策樹等可解釋的分類技術(shù),這種方式可能要損失一定的預測表現(xiàn);第二種方法是使用Parzen (Baehrens et al., 2009) 或LIME (Ribeiro, Singh, & Guestrin, 2016)等模型解釋技術(shù)。

    評價性學習者綜合模型的提出則主要為學生評價服務(wù),需要以教學目標作為價值判斷的依據(jù)和準繩。例如,鄭勤華等(2016)以學生綜合評價為目標,通過理論演繹和專家訪談構(gòu)建了以投入度、完成度、調(diào)控度、聯(lián)通度和主動性為核心的五維度綜合評價參考理論模型,并通過學習行為數(shù)據(jù)聚合特征變量,構(gòu)建了相應(yīng)的計算模型,如圖1所示。其中,投入度從活躍性、持續(xù)性等方面對學生在線學習的投入程度進行評價;完成度以課程的教學目標為標準對學生實際完成情況進行評價,對于不同類型的課程教學目標的側(cè)重點不同,完成度的指標以及權(quán)重設(shè)置也會進行相應(yīng)調(diào)整;主動性包括完成自主學習任務(wù)的主動性、參與教師指定教學活動的主動性以及進行交互的主動性等,主動性在一定程度上表征了學習者的學習動機水平與變化情況;調(diào)控度從學習的規(guī)律性、持續(xù)性、效率等方面對學生調(diào)控自己學習過程的水平進行評價,是對學生認知策略、自主學習能力進行表征和評價的重要維度;聯(lián)通度則對學生建立社會化認知網(wǎng)絡(luò)的能力進行評價,包括建立連接的能力、維護連接的能力等。聯(lián)通度的評價核心是交互,包括學生與資源的交互、學生與教師及其他學習同伴的交互。

    六、討論和建議

    學習者模型是一個涉及認知心理學、教育學、計算機科學等多個學科的領(lǐng)域。學習者模型最初來源于智能教學系統(tǒng)(Intelligent Tutor System,ITS),由于智能教學系統(tǒng)強調(diào)在學習過程中診斷學習者的知識,因此早期的學習者模型主要用于描述學習者的知識狀態(tài)。我們可以看到隨著學習環(huán)境的變革、相關(guān)技術(shù)的進步、認知理論的發(fā)展,學習者模型也在不斷地發(fā)展和演化?,F(xiàn)在,學習者模型的表示范疇已不僅限于知識狀態(tài),它可能涵蓋了學習者的情感、認知、元認知等多個方面。

    關(guān)于學習者模型的一個重要趨勢是其應(yīng)用場景越來越多樣化。除了自適應(yīng)學習系統(tǒng)這一典型應(yīng)用外,學習者模型還可以用于對學習者的分組(Anderson等, 2014)、對學業(yè)表現(xiàn)和重要事件的預測(Nagrecha, Dillon, & Chawla, 2017)、對學習者的綜合評價(鄭勤華, 等, 2016)、儀表盤(Ez-Zaouia, Lavou, & Elise, 2017)等不同的應(yīng)用場景。在不同應(yīng)用場景下,模型使用者對學習者模型的訴求是存在差異的。例如,在預測性應(yīng)用場景中,模型使用者更關(guān)注模型預測的準確率,而較少關(guān)注模型的復雜度與可解釋性;在儀表盤和分組等應(yīng)用中,模型的可解釋性就顯得更為重要,模型的復雜度必須在可控的范圍內(nèi)??傊?,學習者模型是對真實學習者的抽象表示,根據(jù)不同的應(yīng)用場景和實際情況,選擇合適的學習者表示方式和建模技術(shù)至關(guān)重要。

    學習者模型的構(gòu)建方式也在逐漸變化。在傳統(tǒng)的智能輔導系統(tǒng)中,知識狀態(tài)跟蹤模型的先決條件是領(lǐng)域知識結(jié)構(gòu)以及問題與知識的映射關(guān)系的建立,而這項工作傳統(tǒng)上是專家手動完成的。與之類似的是,在傳統(tǒng)的分組和預測應(yīng)用中,特征的選取也往往由專家手動完成。而隨著自然語言處理和深度學習等技術(shù)的發(fā)展,這些專家手動完成的工作可能將逐步被半自動或全自動的數(shù)據(jù)驅(qū)動的程序所代替。深度知識跟蹤模型(Piech et al., 2015)是此趨勢的一個比較典型的案例。在此趨勢下,學習者模型的構(gòu)建將更多地依賴智能的程序和大量的數(shù)據(jù),而非專家的領(lǐng)域知識。為充分享受到學習者建模技術(shù)的變革成果,從業(yè)機構(gòu)可以從兩個方面著手來應(yīng)對上述趨勢:一是根據(jù)在機構(gòu)內(nèi)部根據(jù)實際情況進行相關(guān)的數(shù)據(jù)和人才儲備;二是充分了解并借助機構(gòu)外部的相關(guān)資源,例如人臉表情識別等人工智能云服務(wù)。

    學習者模型應(yīng)用場景多樣化、構(gòu)建方式自動化這兩大趨勢都離不開數(shù)據(jù)這一推手。大規(guī)模在線學習環(huán)境可以采集到大量的學習行為數(shù)據(jù),為學習者模型的構(gòu)建提供了有力的數(shù)據(jù)支撐,同時也為學習者模型提供了新的應(yīng)用場景。傳感技術(shù)的發(fā)展,也在不斷地延伸著學習者模型的數(shù)據(jù)來源和應(yīng)用場景?;诟鞣N學習者數(shù)據(jù),全面對學生進行綜合性建模的綜合模型具有更廣的應(yīng)用前景。近年來,人工智能尤其是深度學習的發(fā)展,使得大規(guī)模數(shù)據(jù)的利用效率、智能模型的學習能力得到了很大的提升,為構(gòu)建更強大的學習者模型提供了有力支持。

    [參考文獻]

    黃煥. 2014. 面向e-Learning的學習者情感建模及應(yīng)用研究[D]. 武漢:華中師范大學國家數(shù)字化學習工程技術(shù)研究中心.

    賈冰. 2010. 自適應(yīng)學習系統(tǒng)中學習者模型的表示及特征值獲取方法研究[D]. 長春:東北師范大學教育部數(shù)字化學習支撐技術(shù)工程研究中心.

    彭文輝,楊宗凱,黃克斌. 2006. 網(wǎng)絡(luò)學習行為分析及其模型研究[J]. 中國電化教育(10):31-35.

    疏鳳芳,趙呈領(lǐng),萬力勇,等. 2012. 基于qq群的網(wǎng)絡(luò)課堂交互特性研究. 現(xiàn)代教育技術(shù),22(7):83-88.

    張舸,周東岱,葛情情. 2012. 自適應(yīng)學習系統(tǒng)中學習者特征模型及建模方法述評[J]. 現(xiàn)代教育技術(shù),22(5):77-82.

    鄭勤華,陳耀華,孫洪濤,等. 2016. 基于學習分析的在線學習測評建模與應(yīng)用——學習者綜合評價參考模型研究[J]. 電化教育研究(9):33-40.

    宗陽,鄭勤華,陳麗. 2016. 中國moocs學習者價值研究——基于RFM模型的在線學習行為分析[J]. 現(xiàn)代遠距離教育(2):21-28.

    Afzal, S. & Robinson, P. (2010). Modelling affect in learning environments-motivation and methods. IEEE international conference on advanced learning technologies, 438-442.

    Anderson, A., Huttenlocher, D., Kleinberg, J., & Leskovec, J. (2014). Engaging with massive online courses, International conference on World Wide Web, 687-698.

    Baehrens, D., Schroeter, T., Harmeling, S., Kawanabe, M., Hansen, K., & Müller, K. R. (2009). How to explain individual classification decisions. Journal of Machine Learning Research, 11(9), 1803-1831.

    Caridakis, G., Castellano, G., Kessous, L., Raouzaiou, A., Malatesta, L., Asteriadis, S., & Karpouzis, K. (2008). Multimodal emotion recognition from expressive faces, body gestures and speech. International Federation for Information Processing, 247, 375-388.

    Chrysafiadi, K. & Virvou, M. (2013). Student modeling approaches: a literature review for the last decade. Expert Systems with Applications, 40(11), 4715-4729.

    Conati, C. (2002). Probabilistic assessment of users emotions in educational games. Applied Artificial Intelligence, 16(7-8), 555-575.

    Corbett, A. T. & Anderson, J. R. (1994). Knowledge tracing: modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 4(4), 253-278.

    Craig, S., Graesser, A., Sullins, J., & Gholson, B. (2004). Affect and learning: an exploratory look into the role of affect in learning with Auto-Tutor. Journal of Educational Media, 29(3), 241-250.

    Desmarais, M. C. (2012). Mapping question items to skills with non-negative matrix factorization. ACM KDD-Explorations, 13 (2), 30-36.

    Doddannara, L. S., Gowda, S. M., Baker, R. S. J. D., Gowda, S. M., & Carvalho, A. M. J. B. D. (2013). Exploring the Relationships between Design, Students Affective States, and Disengaged Behaviors within an ITS. Artificial Intelligence in Education. Springer Berlin Heidelberg, 31-40.

    Dowell, N. M., Skrypnyk, O., Joksimovic, S., Graesser, A. C., Dawson, S., Ga?evic, D., Kovanovic, V. (2015). Modeling learners social centrality and performance through language and discourse. International Conference on Educational Data Mining, 250-257.

    Ekman, P. & Friesen, W. (1978) Facial Action Coding System, Consulting Psychologist Press, Palo Alto, CA.

    Ez-Zaouia, M., Lavou, & Elise. (2017). Emoda: a tutor oriented multimodal and contextual emotional dashboard. International Conference on learning analytics & knowledge, 429-438.

    Joksimovi?, S., Manataki, A., Ga?evi?, D., Dawson, S., Kovanovi?, V., & De Kereki, I. F. (2016). Translating network position into performance: importance of centrality in different network configurations, International Conference on Learning Analytics & Knowledge, 314–323.

    Kapoor, A., Burleson, W., & Picard, R. W. (2007). Automatic prediction of frustration. International Journal of Human-Computer Studies, 65(8), 724-736.

    Khajah, M., Lindsey, R. V., & Mozer, M. C. (2016). How deep is knowledge tracing? arXiv preprint arXiv:1604.02416.

    Kort, B., Reilly, R., & Picard, R. W. (2002). An affective model of interplay between emotions and learning: reengineering educational pedagogy-building a learning companion. IEEE international conference on Advanced Learning Technologies, 43-46.

    Mayo, M. J. (2001). Bayesian student modelling and decision-theoretic selection of tutorial actions in intelligent tutoring systems. University of Cantebury, New Zealand.

    Nagrecha, S., Dillon, J. Z., & Chawla, N. V. (2017). MOOC dropout prediction: lessons learned from making pipelines interpretable. International Conference on World Wide Web, 351-359.

    Pardos, Z. A. & Heffernan, N. T. (2010). Modeling individualization in a bayesian networks implementation of knowledge tracing. International Conference on User Modeling, Adaptation, and Personalization, 6075(12), 255-266.

    Pantic, M. (2005). Affective multimodal human-computer interaction. ACM International Conference on Multimedia, 669-676.

    Pekrun, R. (2005). Progress and open problems in educational emotion research. Learning & Instruction, 15(5), 497-506.

    Picard, R. W. (1997). Affective computing. MIT Press.

    Piech, C., Spencer, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Computer Science, 3(3), 19-23.

    Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). "Why Should I Trust You?": explaining the predictions of any classifier. ACM SIGKDD, 1135-1144.

    Rich, E. (1979). User modeling via stereotypes. Cognitive Science, 3(4), 329-354.

    Sinha, T., Jermann, P., Li, N., & Dillenbourg, P. (2014). Your click decides your fate: inferring information processing and attrition behavior from mooc video clickstream interactions. EMNLP Workshop on Modelling Large Scale Social Interaction in Massive Open Online Courses.

    Slater, S., Baker, R., Almeda, M. V., Bowers, A., & Heffernan, N. (2017). Using correlational topic modeling for automated topic identification in intelligent tutoring systems. International Conference on Learning Analytics & Knowledge, 393-397.

    Stansfield, J. L., Carr, B. P., & Goldstein, I. P. (1976). Wumpus advisor I: A first implementation of a program that tutors logical and probabilistic reasoning skills. At Lab Memo 381, Massachusetts Institute of Technology, Cambridge, Massachusetts.

    Tang, S., Peterson, J. C., & Pardos, Z. A. (2016). Modelling student behavior using granular large scale action data from a mooc. arXiv preprint arXiv:1608.04789.

    Thai-Nghe, N., Horváth, T., & Schmidt-Thieme, L. (2010). Factorization models for forecasting student performance. International Conference on Educational Data Mining, 11-20.

    Veeramachaneni, K., Dernoncourt, F., Taylor, C., Pardos, Z., & OReilly, U. M. (2013). MoocDB: developing data standards for mooc data science. AIED workshops, 17.

    Wang, Y. & Heffernan, N. T. (2012). The student skill model. International conference on intelligent tutoring systems, 399-404.

    Yudelson, M. V., Koedinger, K. R., & Gordon, G. J. (2013). Individualized Bayesian knowledge tracing models. International conference on artificial intelligence in education, 171-180.

    收稿日期:2017-11-20

    定稿日期:2018-01-17

    作者簡介:徐鵬飛,博士,講師,北京師范大學信息科學與技術(shù)學院(100875)。

    鄭勤華,博士,副教授,碩士生導師;陳耀華,博士研究生;陳麗,博士,教授,博士生導師。北京師范大學遠程教育研究中心(100875)。

    責任編輯 郝 丹

    猜你喜歡
    學習分析在線教育在線學習
    大數(shù)據(jù)思維下教學過程數(shù)據(jù)分析及應(yīng)用研究
    在線學習過程管理大數(shù)據(jù)的建設(shè)與應(yīng)用
    簡析小學勞動與技術(shù)教育的有效合作學習
    信息化環(huán)境下高職英語教學現(xiàn)狀及應(yīng)用策略研究
    提高機械原理教學質(zhì)量的幾點思考
    慕課中美應(yīng)用差異的四大原因分析
    基于混合式學習理念的大學生自主學習能力的培養(yǎng)研究
    基于SOA的在線學習資源集成模式的研究
    淺析大數(shù)據(jù)在教育中的應(yīng)用
    混合學習模式及其實施要點 
    午夜成年电影在线免费观看| 国产一区在线观看成人免费| 黑人巨大精品欧美一区二区mp4| 少妇的丰满在线观看| 91av网站免费观看| 五月玫瑰六月丁香| 久久久国产欧美日韩av| 九九在线视频观看精品| 韩国av一区二区三区四区| 黄色丝袜av网址大全| 欧美丝袜亚洲另类 | 成人国产一区最新在线观看| 亚洲va日本ⅴa欧美va伊人久久| 中文字幕久久专区| 法律面前人人平等表现在哪些方面| 久久这里只有精品19| 午夜成年电影在线免费观看| 欧美黑人巨大hd| 天堂√8在线中文| 一进一出好大好爽视频| 啦啦啦免费观看视频1| 国产精品综合久久久久久久免费| 免费无遮挡裸体视频| 国产伦在线观看视频一区| 99精品在免费线老司机午夜| 最近最新中文字幕大全电影3| 日本撒尿小便嘘嘘汇集6| tocl精华| 一边摸一边抽搐一进一小说| 黄频高清免费视频| 国产一区二区在线av高清观看| 在线观看一区二区三区| 日本五十路高清| 一区二区三区高清视频在线| 成年版毛片免费区| 一个人看视频在线观看www免费 | 一卡2卡三卡四卡精品乱码亚洲| 亚洲成av人片免费观看| 亚洲aⅴ乱码一区二区在线播放| 19禁男女啪啪无遮挡网站| 岛国视频午夜一区免费看| 亚洲片人在线观看| 午夜影院日韩av| 亚洲 国产 在线| 国产精品亚洲一级av第二区| 免费无遮挡裸体视频| 亚洲自偷自拍图片 自拍| 午夜日韩欧美国产| 国产精品电影一区二区三区| 法律面前人人平等表现在哪些方面| 精品久久蜜臀av无| 美女高潮的动态| 非洲黑人性xxxx精品又粗又长| 久久久色成人| 黄片大片在线免费观看| 亚洲av熟女| 国产精品自产拍在线观看55亚洲| 哪里可以看免费的av片| 精品国产美女av久久久久小说| 啦啦啦免费观看视频1| 久久人人精品亚洲av| 18禁观看日本| av福利片在线观看| 亚洲自偷自拍图片 自拍| 欧美黄色淫秽网站| 精品一区二区三区视频在线 | 97碰自拍视频| 天堂av国产一区二区熟女人妻| 成人三级做爰电影| 97超级碰碰碰精品色视频在线观看| 1024手机看黄色片| 男插女下体视频免费在线播放| 嫩草影院入口| 天天躁日日操中文字幕| 免费搜索国产男女视频| 亚洲黑人精品在线| 狠狠狠狠99中文字幕| 亚洲九九香蕉| 欧美性猛交黑人性爽| 亚洲熟妇熟女久久| 国产私拍福利视频在线观看| 久久精品aⅴ一区二区三区四区| 国产成人系列免费观看| 波多野结衣高清无吗| 我的老师免费观看完整版| 小说图片视频综合网站| 在线观看免费视频日本深夜| 天天一区二区日本电影三级| 亚洲成av人片在线播放无| 国产成人精品久久二区二区免费| 国产伦精品一区二区三区四那| 国产精品一区二区免费欧美| 午夜成年电影在线免费观看| 校园春色视频在线观看| 久久久国产成人精品二区| e午夜精品久久久久久久| 操出白浆在线播放| 最近在线观看免费完整版| 欧美乱妇无乱码| 美女cb高潮喷水在线观看 | 一区二区三区国产精品乱码| 高潮久久久久久久久久久不卡| 99久久成人亚洲精品观看| 欧洲精品卡2卡3卡4卡5卡区| 精品日产1卡2卡| 狂野欧美激情性xxxx| 国产伦人伦偷精品视频| 久久精品影院6| 人人妻,人人澡人人爽秒播| 窝窝影院91人妻| 午夜精品久久久久久毛片777| 亚洲国产欧洲综合997久久,| 两个人的视频大全免费| 精品国内亚洲2022精品成人| 一进一出抽搐动态| 综合色av麻豆| 久久人人精品亚洲av| 香蕉久久夜色| 性欧美人与动物交配| 听说在线观看完整版免费高清| www.自偷自拍.com| 亚洲av成人一区二区三| 亚洲成a人片在线一区二区| 国产一区二区三区在线臀色熟女| 亚洲真实伦在线观看| 欧美日韩国产亚洲二区| 性欧美人与动物交配| 亚洲av第一区精品v没综合| 黄色视频,在线免费观看| 免费看美女性在线毛片视频| 我要搜黄色片| 99国产精品一区二区蜜桃av| а√天堂www在线а√下载| 色播亚洲综合网| 最近最新免费中文字幕在线| 母亲3免费完整高清在线观看| 我要搜黄色片| 国产高清有码在线观看视频| a级毛片在线看网站| 在线观看午夜福利视频| 一本一本综合久久| 欧美日韩福利视频一区二区| 国产麻豆成人av免费视频| 无人区码免费观看不卡| 成年免费大片在线观看| 97超级碰碰碰精品色视频在线观看| 国产视频内射| 成人鲁丝片一二三区免费| 久久精品国产99精品国产亚洲性色| 欧美黄色淫秽网站| 久久久久国产一级毛片高清牌| 欧美极品一区二区三区四区| 欧美国产日韩亚洲一区| 黑人欧美特级aaaaaa片| 怎么达到女性高潮| 日韩欧美在线乱码| 国产伦一二天堂av在线观看| 亚洲自偷自拍图片 自拍| 欧美精品啪啪一区二区三区| 变态另类成人亚洲欧美熟女| 日本黄色视频三级网站网址| 成人国产一区最新在线观看| 免费看a级黄色片| 少妇人妻一区二区三区视频| 欧美av亚洲av综合av国产av| 国产一区在线观看成人免费| 日韩欧美一区二区三区在线观看| 日本精品一区二区三区蜜桃| 久久精品综合一区二区三区| 国产精品av久久久久免费| 国产成人精品无人区| а√天堂www在线а√下载| 国产精品久久视频播放| 一边摸一边抽搐一进一小说| 真人一进一出gif抽搐免费| 午夜激情欧美在线| 久久精品国产99精品国产亚洲性色| 91麻豆av在线| svipshipincom国产片| 窝窝影院91人妻| 久久久久免费精品人妻一区二区| 欧美乱色亚洲激情| 日本成人三级电影网站| 亚洲精品在线美女| 国产精品亚洲美女久久久| 美女扒开内裤让男人捅视频| 丝袜人妻中文字幕| 亚洲中文av在线| 丁香欧美五月| 999精品在线视频| 黑人操中国人逼视频| 国产久久久一区二区三区| 久99久视频精品免费| 制服丝袜大香蕉在线| 日本 av在线| 一进一出抽搐gif免费好疼| 香蕉久久夜色| 男女那种视频在线观看| av片东京热男人的天堂| tocl精华| 亚洲五月天丁香| 亚洲精品国产精品久久久不卡| 美女大奶头视频| 国产一区二区在线av高清观看| 性色av乱码一区二区三区2| 俺也久久电影网| 99热6这里只有精品| 欧美成人免费av一区二区三区| 亚洲av成人精品一区久久| 9191精品国产免费久久| 在线观看66精品国产| 大型黄色视频在线免费观看| 色噜噜av男人的天堂激情| 床上黄色一级片| 免费观看人在逋| 日本 欧美在线| 99久久国产精品久久久| 久久伊人香网站| 国产成人精品久久二区二区免费| 精品福利观看| 成人国产一区最新在线观看| www日本黄色视频网| 日韩三级视频一区二区三区| 69av精品久久久久久| 成人av在线播放网站| 国产成人啪精品午夜网站| 国产精品电影一区二区三区| 成人国产综合亚洲| 午夜视频精品福利| 国产真人三级小视频在线观看| 亚洲av免费在线观看| 午夜亚洲福利在线播放| 久久性视频一级片| 美女扒开内裤让男人捅视频| 免费在线观看日本一区| 国产乱人伦免费视频| 日韩精品青青久久久久久| 久久精品国产亚洲av香蕉五月| 成在线人永久免费视频| 国产成人影院久久av| 欧美3d第一页| 国产综合懂色| 老熟妇乱子伦视频在线观看| 我的老师免费观看完整版| 亚洲片人在线观看| 一个人免费在线观看的高清视频| 嫁个100分男人电影在线观看| 首页视频小说图片口味搜索| 亚洲人成网站高清观看| 岛国在线观看网站| 国产精品久久久久久亚洲av鲁大| 1024香蕉在线观看| 51午夜福利影视在线观看| 精品一区二区三区视频在线 | 真人一进一出gif抽搐免费| 国产激情久久老熟女| 精品久久久久久久人妻蜜臀av| 日本黄色视频三级网站网址| 国产不卡一卡二| 久久久国产精品麻豆| 后天国语完整版免费观看| 亚洲国产精品久久男人天堂| 国产精品亚洲美女久久久| 国产爱豆传媒在线观看| 99久久精品热视频| 一个人免费在线观看电影 | 婷婷精品国产亚洲av| 午夜影院日韩av| 亚洲精品美女久久av网站| 在线观看午夜福利视频| 亚洲欧美精品综合久久99| 精品久久久久久久人妻蜜臀av| 国产精品久久久久久久电影 | 最好的美女福利视频网| 免费电影在线观看免费观看| 99国产精品一区二区蜜桃av| 无人区码免费观看不卡| 国产探花在线观看一区二区| 国产精品一区二区三区四区免费观看 | 国产精品野战在线观看| 亚洲电影在线观看av| 九九久久精品国产亚洲av麻豆 | 亚洲人成电影免费在线| 国产av一区在线观看免费| 超碰成人久久| 国产三级中文精品| 成年女人永久免费观看视频| 香蕉国产在线看| 午夜成年电影在线免费观看| 亚洲自偷自拍图片 自拍| 亚洲av成人不卡在线观看播放网| www.999成人在线观看| 天天躁日日操中文字幕| 久久草成人影院| 一级毛片高清免费大全| 999精品在线视频| 97超视频在线观看视频| 色播亚洲综合网| 成年女人毛片免费观看观看9| 午夜日韩欧美国产| 每晚都被弄得嗷嗷叫到高潮| 国产精品久久久人人做人人爽| 两个人视频免费观看高清| 精品无人区乱码1区二区| 免费观看精品视频网站| 夜夜看夜夜爽夜夜摸| 黄色女人牲交| 色精品久久人妻99蜜桃| 色综合欧美亚洲国产小说| 国产亚洲精品综合一区在线观看| 1000部很黄的大片| 深夜精品福利| 久久久久国内视频| 99热这里只有精品一区 | 国产激情久久老熟女| 黄色成人免费大全| 国产精品久久久久久精品电影| 成人无遮挡网站| 丰满人妻熟妇乱又伦精品不卡| 一二三四在线观看免费中文在| 国产一区在线观看成人免费| 91av网站免费观看| 欧美黄色淫秽网站| 韩国av一区二区三区四区| 国产男靠女视频免费网站| 久久久国产精品麻豆| 久久久国产成人免费| 淫妇啪啪啪对白视频| 国内精品美女久久久久久| 亚洲av成人av| 别揉我奶头~嗯~啊~动态视频| 久久午夜综合久久蜜桃| av福利片在线观看| 亚洲美女视频黄频| 久久天躁狠狠躁夜夜2o2o| 99久久成人亚洲精品观看| 国产视频一区二区在线看| 久久久成人免费电影| 嫩草影院入口| 国产人伦9x9x在线观看| 在线观看66精品国产| 亚洲激情在线av| 久久久久九九精品影院| 日韩欧美国产在线观看| 熟女电影av网| 18禁国产床啪视频网站| 青草久久国产| 制服人妻中文乱码| 在线观看免费视频日本深夜| 十八禁网站免费在线| 青草久久国产| 中文字幕久久专区| 老熟妇仑乱视频hdxx| 亚洲精品国产精品久久久不卡| 一进一出抽搐动态| 午夜日韩欧美国产| 村上凉子中文字幕在线| av视频在线观看入口| 午夜成年电影在线免费观看| 亚洲人成网站在线播放欧美日韩| 亚洲av美国av| 国产真实乱freesex| 99久久精品一区二区三区| 97碰自拍视频| 久久久久久久午夜电影| 99在线视频只有这里精品首页| 日本一二三区视频观看| 热99re8久久精品国产| 99热这里只有是精品50| 夜夜看夜夜爽夜夜摸| 午夜免费观看网址| 青草久久国产| 国产又黄又爽又无遮挡在线| 色老头精品视频在线观看| 国内揄拍国产精品人妻在线| 香蕉丝袜av| 亚洲欧美精品综合久久99| 99国产精品一区二区三区| 少妇丰满av| 51午夜福利影视在线观看| 午夜免费激情av| 丰满人妻熟妇乱又伦精品不卡| 亚洲国产精品久久男人天堂| 亚洲欧美精品综合一区二区三区| 一区福利在线观看| 中国美女看黄片| 国产av一区在线观看免费| 国产99白浆流出| 亚洲熟妇中文字幕五十中出| 成人性生交大片免费视频hd| 欧美最黄视频在线播放免费| 色哟哟哟哟哟哟| 久久久精品欧美日韩精品| 久久久久性生活片| 欧美绝顶高潮抽搐喷水| 男女午夜视频在线观看| 亚洲黑人精品在线| 人妻久久中文字幕网| 国产伦在线观看视频一区| 美女免费视频网站| 狠狠狠狠99中文字幕| 亚洲avbb在线观看| 色老头精品视频在线观看| 日韩欧美一区二区三区在线观看| 亚洲国产精品成人综合色| 欧美中文综合在线视频| 九九在线视频观看精品| 99re在线观看精品视频| 俺也久久电影网| 亚洲av成人精品一区久久| 亚洲中文字幕日韩| 国产一区二区在线av高清观看| 成年人黄色毛片网站| 波多野结衣巨乳人妻| 好男人电影高清在线观看| 香蕉av资源在线| 中亚洲国语对白在线视频| 级片在线观看| 成人av一区二区三区在线看| 长腿黑丝高跟| 欧美3d第一页| 久久精品亚洲精品国产色婷小说| 九九久久精品国产亚洲av麻豆 | 偷拍熟女少妇极品色| 日韩有码中文字幕| 无限看片的www在线观看| 在线视频色国产色| 男女之事视频高清在线观看| 中出人妻视频一区二区| 全区人妻精品视频| 老汉色av国产亚洲站长工具| x7x7x7水蜜桃| 国产伦在线观看视频一区| 九九久久精品国产亚洲av麻豆 | 99riav亚洲国产免费| av片东京热男人的天堂| 一本综合久久免费| 午夜a级毛片| 嫩草影院精品99| a级毛片在线看网站| 九色国产91popny在线| 欧美日本视频| 99国产极品粉嫩在线观看| 欧美黑人巨大hd| 国内久久婷婷六月综合欲色啪| 亚洲中文字幕一区二区三区有码在线看 | 日日摸夜夜添夜夜添小说| 欧美av亚洲av综合av国产av| 91久久精品国产一区二区成人 | 免费电影在线观看免费观看| 国产精品久久视频播放| 少妇的丰满在线观看| 日本黄色视频三级网站网址| 国产av不卡久久| 久久久国产成人精品二区| 少妇熟女aⅴ在线视频| 午夜a级毛片| 国产成人影院久久av| www.www免费av| 99久久综合精品五月天人人| 国产精品亚洲一级av第二区| 久久精品影院6| 成人鲁丝片一二三区免费| 免费看光身美女| www.999成人在线观看| 亚洲人与动物交配视频| 白带黄色成豆腐渣| 亚洲激情在线av| 欧美乱妇无乱码| 国产精品亚洲美女久久久| 成人三级黄色视频| 亚洲国产色片| 好看av亚洲va欧美ⅴa在| 国产精品一及| 久久久久九九精品影院| 欧美日本视频| 少妇丰满av| 可以在线观看的亚洲视频| 韩国av一区二区三区四区| 国产91精品成人一区二区三区| 久久久色成人| 少妇熟女aⅴ在线视频| 久久久成人免费电影| 亚洲成a人片在线一区二区| 又黄又粗又硬又大视频| www日本黄色视频网| 操出白浆在线播放| 亚洲av成人一区二区三| 国产蜜桃级精品一区二区三区| 给我免费播放毛片高清在线观看| 亚洲最大成人中文| 久久久水蜜桃国产精品网| 99热6这里只有精品| 全区人妻精品视频| 91在线精品国自产拍蜜月 | av女优亚洲男人天堂 | 久久中文字幕人妻熟女| 狂野欧美激情性xxxx| 一区二区三区高清视频在线| 男女之事视频高清在线观看| 国产精品电影一区二区三区| 国产成人系列免费观看| 一进一出抽搐动态| 欧美日韩瑟瑟在线播放| 中文字幕人妻丝袜一区二区| 国产成人一区二区三区免费视频网站| 99视频精品全部免费 在线 | 成人鲁丝片一二三区免费| 999精品在线视频| 在线观看美女被高潮喷水网站 | x7x7x7水蜜桃| 午夜两性在线视频| 午夜福利免费观看在线| 亚洲av成人精品一区久久| 日本五十路高清| 亚洲五月婷婷丁香| 亚洲av成人一区二区三| 88av欧美| 97超级碰碰碰精品色视频在线观看| 国内精品美女久久久久久| 欧美日韩乱码在线| 久久久久久久久中文| 啦啦啦免费观看视频1| 在线免费观看不下载黄p国产 | 麻豆国产av国片精品| 啦啦啦观看免费观看视频高清| 午夜福利在线在线| 这个男人来自地球电影免费观看| 久久久久免费精品人妻一区二区| 一进一出好大好爽视频| 久久精品国产99精品国产亚洲性色| 日本成人三级电影网站| 成人午夜高清在线视频| 高潮久久久久久久久久久不卡| avwww免费| av女优亚洲男人天堂 | 97人妻精品一区二区三区麻豆| 熟女人妻精品中文字幕| 亚洲午夜精品一区,二区,三区| 欧美性猛交╳xxx乱大交人| 国产精品 欧美亚洲| 91av网一区二区| 好男人在线观看高清免费视频| 99热这里只有精品一区 | 亚洲精品一卡2卡三卡4卡5卡| 精品国产乱码久久久久久男人| 色综合欧美亚洲国产小说| 亚洲 国产 在线| 成人av在线播放网站| 欧美激情久久久久久爽电影| 亚洲av电影在线进入| 成人亚洲精品av一区二区| 日韩成人在线观看一区二区三区| 日本 欧美在线| 亚洲va日本ⅴa欧美va伊人久久| 美女高潮喷水抽搐中文字幕| 国产人伦9x9x在线观看| 国产乱人视频| 欧美日韩一级在线毛片| 欧美激情久久久久久爽电影| 国产精品自产拍在线观看55亚洲| 制服人妻中文乱码| 国产精品香港三级国产av潘金莲| 麻豆成人午夜福利视频| 一级黄色大片毛片| 欧美性猛交╳xxx乱大交人| 亚洲午夜精品一区,二区,三区| 亚洲九九香蕉| 久久国产精品人妻蜜桃| 国产主播在线观看一区二区| bbb黄色大片| 国产精品1区2区在线观看.| 狠狠狠狠99中文字幕| 99久久成人亚洲精品观看| 三级国产精品欧美在线观看 | 18禁黄网站禁片午夜丰满| 午夜福利高清视频| 午夜福利视频1000在线观看| 亚洲专区字幕在线| 国产精品精品国产色婷婷| 国内精品久久久久精免费| 免费电影在线观看免费观看| 成人鲁丝片一二三区免费| 亚洲精品一区av在线观看| 高清毛片免费观看视频网站| 一个人看的www免费观看视频| 久久中文字幕一级| 好看av亚洲va欧美ⅴa在| 免费高清视频大片| 日韩欧美国产在线观看| 国产真人三级小视频在线观看| 狂野欧美激情性xxxx| 亚洲专区中文字幕在线| 亚洲人成电影免费在线| 九九在线视频观看精品| 亚洲精品久久国产高清桃花| 无限看片的www在线观看| 俄罗斯特黄特色一大片| 日韩大尺度精品在线看网址| 久久精品国产清高在天天线| 免费看日本二区| 国产一区在线观看成人免费| 色综合欧美亚洲国产小说| www.自偷自拍.com| 热99re8久久精品国产| 精品国产亚洲在线| 毛片女人毛片| 又紧又爽又黄一区二区| 丝袜人妻中文字幕| 免费看光身美女| 欧美激情在线99| 757午夜福利合集在线观看| 精品久久久久久久毛片微露脸| 小蜜桃在线观看免费完整版高清| 五月玫瑰六月丁香|