• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    智慧教育視域下基于OIM關(guān)系鏈的學(xué)習(xí)分析規(guī)則研究*

    2018-11-24 03:28:58郁曉華張瑩淵
    遠(yuǎn)程教育雜志 2018年6期
    關(guān)鍵詞:聚類學(xué)習(xí)者案例

    郁曉華 張瑩淵

    (華東師范大學(xué) 教育學(xué)部 教育信息技術(shù)學(xué)系,上海 200062)

    一、引言

    智慧教育本質(zhì)是數(shù)據(jù)驅(qū)動(dòng)下教與學(xué)的決策與變革,“智慧”的核心即是對(duì)教育數(shù)據(jù)的充分挖掘與創(chuàng)新應(yīng)用。而學(xué)習(xí)分析技術(shù),毫無疑問為智慧教育視域下的教學(xué)服務(wù),提供強(qiáng)而有力的證據(jù)支持。學(xué)習(xí)分析是對(duì)學(xué)習(xí)行為的觀察和理解,進(jìn)而追溯行為發(fā)生的情境和環(huán)境并加以優(yōu)化,但學(xué)習(xí)分析又因教育應(yīng)用問題情境和服務(wù)對(duì)象的不同,而形成了不同的內(nèi)容取向和技術(shù)方法。

    隨著學(xué)習(xí)分析實(shí)踐的日漸豐富與深入,教學(xué)情境的日趨開放性和多樣化,越來越多的學(xué)習(xí)分析研究和實(shí)踐發(fā)現(xiàn):要有目標(biāo)地開展學(xué)習(xí)分析的數(shù)據(jù)收集;要有方案地執(zhí)行分析處理;要有策略地實(shí)施教育應(yīng)用,這樣才能確保最后的應(yīng)用成效。而這一行動(dòng)方向,需采用一定的教育學(xué)方法(Pedagogy-based)加以指導(dǎo)。

    OIM(Objective/Indicator/Metric,即目標(biāo)/指示/度量,下同)關(guān)系鏈,最早由Chatti等于2012年提出[1]。它描述了圍繞教育應(yīng)用的目標(biāo),如何選擇數(shù)據(jù)指標(biāo),然后加以轉(zhuǎn)換并度量處理的一套學(xué)習(xí)分析實(shí)施的設(shè)計(jì)邏輯。OIM可有效指導(dǎo)學(xué)習(xí)分析實(shí)踐的開展,并確保分析結(jié)果產(chǎn)生最大化的教育效益。

    在此設(shè)計(jì)思想基礎(chǔ)上,本研究試圖對(duì)當(dāng)前學(xué)習(xí)分析中常見的分析目標(biāo)、數(shù)據(jù)指標(biāo)和技術(shù)方法加以梳理。然后,基于三者的相關(guān)性,從現(xiàn)有實(shí)踐案例中提煉出特定的學(xué)習(xí)分析規(guī)則,構(gòu)建不同問題情境下目標(biāo)、數(shù)據(jù)和方法之間的一般性實(shí)施路徑。進(jìn)而,結(jié)合當(dāng)前跨平臺(tái)、多元化的開放學(xué)習(xí)生態(tài)環(huán)境,嘗試提出基于OIM關(guān)系鏈的開放學(xué)習(xí)分析系統(tǒng)架構(gòu)。

    二、OIM關(guān)系鏈的設(shè)計(jì)思想

    當(dāng)前,以數(shù)據(jù)驅(qū)動(dòng)教育決策為特征的智慧教育,激發(fā)了學(xué)習(xí)分析技術(shù)的新一輪發(fā)展熱潮。雖然,自2010年學(xué)習(xí)分析技術(shù)正式形成以來,多元化的學(xué)習(xí)分析實(shí)踐產(chǎn)出了大量的分析結(jié)果,揭示了一些教育發(fā)現(xiàn),但由于缺乏教育學(xué)方法的指導(dǎo)[2],意義邏輯離散零亂,很難有效加以應(yīng)用與推廣。在由美國(guó)國(guó)家教育部2012年發(fā)布的《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》報(bào)告中指出,“在規(guī)劃教育大數(shù)據(jù)挖掘和學(xué)習(xí)分析具體應(yīng)用的時(shí)候,一定要按照“解決問題界定→分析數(shù)據(jù)選擇→技術(shù)選擇”的技術(shù)路線進(jìn)行,避免不必要的人力和物力的浪費(fèi)”[3]。

    許多研究開始關(guān)注在實(shí)施學(xué)習(xí)分析時(shí)引入教育學(xué)方法的指導(dǎo),讓數(shù)據(jù)的收集有目標(biāo)可以引導(dǎo),分析處理有方案可以遵循,結(jié)果應(yīng)用有策略可以落實(shí),以實(shí)現(xiàn)教育效益的最大化。以Lisa和Elias的學(xué)習(xí)分析持續(xù)改進(jìn)循環(huán)模型[4],和Cooper[5]的學(xué)習(xí)分析特征框架模型為代表,他們提出可嵌入一定的理論指導(dǎo),以使分析應(yīng)用的思路清晰有效,同時(shí)認(rèn)為優(yōu)質(zhì)的教學(xué)實(shí)踐、領(lǐng)域知識(shí)與需求視角,可被引入提供參考。

    基于此,本研究嘗試引入OIM關(guān)系鏈的設(shè)計(jì)思想,通過案例提煉,建構(gòu)基于不同問題情境的目標(biāo)、數(shù)據(jù)和方法之間的應(yīng)用路徑,并將抽象的OIM關(guān)系鏈思想,轉(zhuǎn)化為具體的OIM關(guān)系鏈分析規(guī)則,以更好指導(dǎo)學(xué)習(xí)分析的實(shí)踐應(yīng)用[6]。

    OIM關(guān)系鏈?zhǔn)怯蓪W(xué)習(xí)分析領(lǐng)域?qū)<褻hatti等最早提出,原指目標(biāo)/指標(biāo)/度量關(guān)系鏈(Objective/Indicator/Metric)[7],意圖通過良好的設(shè)計(jì)邏輯,來指導(dǎo)學(xué)習(xí)分析實(shí)踐的有效開展。本研究在參考這一思想的基礎(chǔ)上,為更好提升實(shí)踐性,進(jìn)行了一些調(diào)整和擴(kuò)展,使OIM關(guān)系鏈轉(zhuǎn)變?yōu)槟繕?biāo)/數(shù)據(jù)/方法關(guān)系鏈(Objective/Indicator/Method)。

    Objective維持原意,即學(xué)習(xí)分析的目標(biāo),比如評(píng)估教學(xué)設(shè)計(jì)、識(shí)別高危學(xué)生、預(yù)測(cè)學(xué)習(xí)表現(xiàn)、提供個(gè)性化和自適應(yīng)等。目標(biāo)有不同層次,不同利益相關(guān)者有不同的問題情境和目標(biāo)需求。

    Indicator的含義有所調(diào)整,原指學(xué)習(xí)分析的測(cè)量指標(biāo),包括用于衡量學(xué)習(xí)者學(xué)習(xí)投入度的登錄頻次和在線時(shí)長(zhǎng),衡量學(xué)習(xí)者學(xué)習(xí)成效的作答正確率、完成任務(wù)數(shù)量等等。由于大部分的測(cè)量指標(biāo),都是由原始數(shù)據(jù)經(jīng)過一定的算法加工處理后獲得,最后也體現(xiàn)為一組數(shù)據(jù)。并且,對(duì)數(shù)據(jù)的選擇和理解具有一定的情境性,同樣的數(shù)據(jù)信息可度量不同的問題情境,即作用于不同的分析目標(biāo)。因此,本研究在此不嚴(yán)格區(qū)分?jǐn)?shù)據(jù)和指標(biāo)概念的不同。

    Method為增加的維度,指數(shù)據(jù)分析的方法與技術(shù),例如:統(tǒng)計(jì)分析法、社會(huì)網(wǎng)絡(luò)分析、自然語言處理、數(shù)據(jù)挖掘等。學(xué)習(xí)分析的本質(zhì)就是挖掘隱藏在教育數(shù)據(jù)背后的有趣信息與模式,但技術(shù)手段需要選取得當(dāng),才能省事且不費(fèi)力地揭示盡可能多的有價(jià)值信息。

    總的來講,新OIM關(guān)系鏈?zhǔn)菄@特定學(xué)習(xí)分析應(yīng)用情境,關(guān)于目標(biāo)、指標(biāo)、方法之間關(guān)系組合的高度概括。它描述了為實(shí)現(xiàn)一定學(xué)習(xí)分析目標(biāo),需要選擇哪些數(shù)據(jù)進(jìn)行轉(zhuǎn)換,并加以度量,然后采用何種算法展開分析的一套實(shí)踐邏輯。

    通過梳理國(guó)內(nèi)外關(guān)于學(xué)習(xí)分析實(shí)踐的典型框架或指導(dǎo)模型,本研究抽取其中常涉及到的目標(biāo)(簡(jiǎn)稱O)、數(shù)據(jù)(簡(jiǎn)稱 I)、方法(簡(jiǎn)稱 M)的分類描述,最終確定了17個(gè)OIM分類值,如表1所示。

    表1 OIM分類指標(biāo)編碼表

    三、基于OIM關(guān)系鏈的學(xué)習(xí)分析規(guī)則的建構(gòu)

    (一)研究設(shè)計(jì)

    本研究從學(xué)習(xí)分析與知識(shí)(International Conference on Learning Analytics and Knowledge,LAK)國(guó)際會(huì)議近五年(2013-2017)的論文中,篩選出學(xué)習(xí)分析應(yīng)用實(shí)踐的有效案例144個(gè);然后,基于案例元分析法,從分析目標(biāo)(O)、數(shù)據(jù)指標(biāo)(I)和技術(shù)方法(M)三個(gè)維度、17個(gè)分類值,對(duì)案例加以整理和標(biāo)識(shí);接著,使用統(tǒng)計(jì)分析軟件SPSS.24,應(yīng)用聚類分析(包括二階聚類和系統(tǒng)聚類)對(duì)案例進(jìn)行分組,進(jìn)而對(duì)聚類結(jié)果加以解讀,提煉出學(xué)習(xí)分析實(shí)踐的常見模式,挖掘所隱含的OIM特征,以此建構(gòu)出基于OIM關(guān)系鏈的學(xué)習(xí)分析規(guī)則。

    (二)研究對(duì)象

    作為學(xué)習(xí)分析領(lǐng)域最為權(quán)威的國(guó)際會(huì)議之一,LAK會(huì)議由學(xué)習(xí)分析研究協(xié)會(huì)(Society for Learning Analytics Research,SoLAR)發(fā)起并組織。自2011年SoLAR成立以來,每年召開一次。本研究的學(xué)習(xí)分析實(shí)踐案例均來自此會(huì)議,所選取2013-2017年間LAK會(huì)議的主題和案例抽取情況,如表2所示。

    表2 2013-2017年LAK會(huì)議主題與案例抽取情況

    案例抽取的原則為:(1)案例來自真實(shí)的教育實(shí)踐。具體可分為兩種情況:一是使用現(xiàn)實(shí)教育中的真實(shí)數(shù)據(jù)開展學(xué)習(xí)分析探索,以揭示一定的教育問題;二是基于一定的教與學(xué)理論,提出應(yīng)用模型框架并開展實(shí)踐,然后采用學(xué)習(xí)分析技術(shù)加以檢驗(yàn)[17]。學(xué)習(xí)分析的理論和趨勢(shì)研究,以及關(guān)于學(xué)習(xí)分析中道德規(guī)范的探討等,不在本研究的案例篩選范疇內(nèi)。(2)案例必須有清楚的學(xué)習(xí)分析目標(biāo)和過程,即在論文中有明確的關(guān)于數(shù)據(jù)集、數(shù)據(jù)項(xiàng)、分析過程、方法手段等內(nèi)容的詳細(xì)介紹。

    (三)研究過程

    1.?dāng)?shù)據(jù)準(zhǔn)備

    依據(jù)OIM分類指標(biāo)編碼表(表1),本研究從分析目標(biāo)、數(shù)據(jù)指標(biāo)、技術(shù)方法三個(gè)維度的17個(gè)分類指標(biāo)出發(fā),對(duì)入選的144個(gè)學(xué)習(xí)分析案例逐篇標(biāo)記,“0”表示是,“1”表示否,形成如圖1所示的數(shù)據(jù)矩陣。

    圖1 案例OIM指標(biāo)標(biāo)記示例

    2.聚類分析

    (1)分類變量的相關(guān)性分析。本研究首先分別對(duì)目標(biāo)、數(shù)據(jù)、方法三個(gè)維度的分類變量,進(jìn)行了相關(guān)性分析。6個(gè)目標(biāo)變量之間的相關(guān)系數(shù)r基本都小于0.5;6個(gè)數(shù)據(jù)變量之間的相關(guān)系數(shù)r基本都小于0.2;5個(gè)方法變量之間的相關(guān)系數(shù)r基本都小于0.3。結(jié)果表明:6個(gè)目標(biāo)變量之間、6個(gè)數(shù)據(jù)變量之間以及5個(gè)方法變量之間都不高度相關(guān),均可納入各自的聚類模型。

    (2)二階聚類確定最佳聚類數(shù)。為了確定最佳聚類數(shù),本研究采用了兩階聚類法。兩階聚類法可確定在當(dāng)前群體中,出現(xiàn)的聚類形成自然而有意義的差異;當(dāng)使用連續(xù)變量和分類變量以及未預(yù)先確定聚類數(shù)量時(shí),兩階聚類法優(yōu)于其他形式的聚類分析[18]。因此,本研究分別以目標(biāo)、數(shù)據(jù)、方法為聚類變量,對(duì)144條案例數(shù)據(jù)進(jìn)行了二階聚類,然后,結(jié)合Bayesian信息標(biāo)準(zhǔn)(BIC)數(shù)值較小、BIC變化量和距離測(cè)量比率數(shù)值較大,以及各類的特征變化,最終判定目標(biāo)分類的最佳聚類數(shù)為10類,預(yù)測(cè)變量的重要性為 O5>O3>O6>O1>O4>O2。 同理可得,數(shù)據(jù)分類的最佳聚類數(shù)為10類;預(yù)測(cè)變量的重要性為I3>I4>I2>I6>I5>I1。方法分類的最佳聚類數(shù)為 8類;預(yù)測(cè)變量的重要性為 M2>M3>M1>M5>M4。

    (3)系統(tǒng)聚類。接著,采用方法選擇“組內(nèi)聯(lián)接”,測(cè)量選擇 “二元”|“平方歐氏距離”|存在 “1”|不存在“0”。本研究對(duì)144個(gè)案例,分別以目標(biāo)、數(shù)據(jù)、方法為聚類變量進(jìn)行了系統(tǒng)聚類。然后,再對(duì)每一類聚類結(jié)果進(jìn)行描述性統(tǒng)計(jì),即統(tǒng)計(jì)每一個(gè)目標(biāo)類/數(shù)據(jù)類/方法類的案例集合中,各個(gè)目標(biāo)/數(shù)據(jù)/方法指標(biāo)標(biāo)記的頻數(shù)。最終,綜合頻數(shù)和頻率,以確定每一個(gè)目標(biāo)類/數(shù)據(jù)類/方法類的目標(biāo)特征,結(jié)果如表3所示。

    表3 目標(biāo)類/數(shù)據(jù)類/方法類的類型特征

    (4)聚類變量的方差檢驗(yàn)。為了驗(yàn)證聚類結(jié)果的可靠性,本研究對(duì)目標(biāo)、數(shù)據(jù)、方法的聚類結(jié)果,分別進(jìn)行單因素方差分析。以分類變量為因變量,以系統(tǒng)聚類結(jié)果產(chǎn)生的類變量為因子。結(jié)果顯示,各聚類變量差異顯著。因此,該分類有效果,17個(gè)變量對(duì)聚類都起到了作用,都可納入聚類模型中。

    3.多重對(duì)應(yīng)分析與OIM關(guān)系鏈建構(gòu)策略

    為了建構(gòu)完整的OIM關(guān)系鏈,我們需要了解不同目標(biāo)類、數(shù)據(jù)類、方法類變量彼此之間的相關(guān)性。設(shè)置每個(gè)變量權(quán)重為1,“解的維數(shù)”為2,對(duì)分類變量進(jìn)行多重對(duì)應(yīng)分析,得到如圖2所示的類別點(diǎn)聯(lián)合圖。十字虛線是散點(diǎn)圖的坐標(biāo)軸,通過觀察變量散點(diǎn)間的相對(duì)位置,可知道變量間相關(guān)性的強(qiáng)弱。

    上述144個(gè)案例的系統(tǒng)聚類結(jié)果,反映了當(dāng)前學(xué)習(xí)分析實(shí)踐在目標(biāo)、數(shù)據(jù)、方法選擇上的常見組合;而多重對(duì)應(yīng)分析結(jié)果則揭示出目標(biāo)、數(shù)據(jù)、方法組合之間的相關(guān)性。將兩者結(jié)合,可作為OIM關(guān)系鏈的建構(gòu)策略。例如:目標(biāo)類散點(diǎn)CLU10_O7表示“警告|識(shí)別”,以它為圓心在類別點(diǎn)的聯(lián)合圖中畫圓,如圖2所示。

    圖2 OIM關(guān)系鏈建構(gòu)策略實(shí)例

    CLU10_O7附近有數(shù)據(jù)類散點(diǎn)CLU10_I6、CLU10_I7、CLU10_I8,方法類散點(diǎn)CLU8_M2、CLU8_M8。通過連線比較發(fā)現(xiàn),CLU10_I6、CLU8_M8與CLU10_O7最為接近。由此,可建構(gòu)這樣一條OIM關(guān)系鏈,即以“警告|識(shí)別(CLU10_O7)”為分析目標(biāo)的學(xué)習(xí)分析實(shí)踐,可能選擇“學(xué)習(xí)者心理數(shù)據(jù)、行為過程數(shù)據(jù) (CLU10_I6)”,并采用 “數(shù)據(jù)挖掘技術(shù)(CLU8_M8)”。

    四、典型的OIM關(guān)系鏈

    基于上述多重對(duì)應(yīng)分析結(jié)果和OIM關(guān)系鏈建構(gòu)策略,結(jié)合當(dāng)下學(xué)習(xí)分析應(yīng)用實(shí)踐的熱點(diǎn)話題,本研究提煉出10條典型的學(xué)習(xí)分析OIM關(guān)系鏈,如圖3、表4所示。

    第一條:理解學(xué)習(xí)行為 (O1-I2 I4 I5-M1 M2 M3)

    圖3 典型的OIM關(guān)系鏈圖譜

    表4 典型的OIM關(guān)系鏈

    學(xué)習(xí)分析最根本的任務(wù),就是對(duì)學(xué)習(xí)環(huán)境中所捕獲的大量學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析處理,進(jìn)而加以理解,以促進(jìn)學(xué)習(xí)的優(yōu)化。研究者們通過對(duì)學(xué)習(xí)者的在線視頻觀看情況、學(xué)習(xí)任務(wù)完成狀況、在線測(cè)驗(yàn)得分,以及論壇參加與發(fā)言等數(shù)據(jù)進(jìn)行收集和處理,以可視化方式呈現(xiàn),形成對(duì)個(gè)體學(xué)習(xí)行為的過程報(bào)告;或者將學(xué)習(xí)者的行為痕跡與認(rèn)知或情感過程進(jìn)行關(guān)聯(lián),以協(xié)助細(xì)致地理解行為所發(fā)生的情境。

    隨著Kinect、Leap Motion和計(jì)算機(jī)視覺等新興傳感技術(shù)的運(yùn)用,新穎而能有意識(shí)進(jìn)行學(xué)習(xí)支持交互的學(xué)習(xí)環(huán)境,被不斷研發(fā)出來。在此環(huán)境中,更多與學(xué)習(xí)相關(guān)的數(shù)據(jù)得以被捕捉、記錄和分析,比如眼神、語言、肢體運(yùn)動(dòng)、面部表情、腦電波、皮膚電、身體激素分泌等。這使得對(duì)學(xué)習(xí)者學(xué)習(xí)行為的理解,更加全面、透徹。在此規(guī)則下的典型案例有Maldonado等[19]、Andrade[20]的研究。

    第二條:評(píng)估學(xué)習(xí)設(shè)計(jì) (O1 O6-I4 I5 I6-M1 M2)

    有效的學(xué)習(xí)設(shè)計(jì)是在線學(xué)習(xí)成功的關(guān)鍵。教師所創(chuàng)建的學(xué)習(xí)內(nèi)容要求可訪問且包容性強(qiáng),一方面,能支持學(xué)習(xí)不同階段任務(wù)的發(fā)展需要;另一方面,還要能應(yīng)對(duì)學(xué)習(xí)者需求和偏好的多樣性。對(duì)這一創(chuàng)作過程進(jìn)行評(píng)價(jià),可確保最終的教學(xué)效果。

    為了實(shí)現(xiàn)此目標(biāo),研究者們分析學(xué)習(xí)者在學(xué)習(xí)系統(tǒng)中的行為數(shù)據(jù)和學(xué)習(xí)成績(jī),將兩者關(guān)聯(lián)以診斷課程的設(shè)計(jì)效果,找出能有效增強(qiáng)學(xué)習(xí)成效的教學(xué)實(shí)踐模型。進(jìn)而,對(duì)各種類型學(xué)習(xí)者的數(shù)據(jù)進(jìn)行模式識(shí)別和趨勢(shì)模擬,提煉能夠幫助教師改進(jìn)學(xué)習(xí)內(nèi)容或教學(xué)活動(dòng)的信息,以優(yōu)化他們的學(xué)習(xí)設(shè)計(jì)。此規(guī)則下的典型案例有Avila等[21]的研究。

    第三條:評(píng)估文本寫作 (O1 O4-I5 I6-M1 M4 M5)

    文本寫作是教學(xué)中經(jīng)常運(yùn)用到的交流和反思實(shí)踐活動(dòng)。學(xué)習(xí)者發(fā)言可為教師開展形成性學(xué)習(xí)評(píng)估提供豐富的數(shù)據(jù)參考。傳統(tǒng)方式的文本評(píng)價(jià)由教師主導(dǎo),但教師因自身閱歷、情緒狀態(tài)以及理解能力等限制,評(píng)估結(jié)果往往受主觀因素影響較大,因而,學(xué)習(xí)者的學(xué)習(xí)狀態(tài)與結(jié)果很難被全面、客觀、合理地加以反映。

    當(dāng)前,自然語言處理、文本建模、文本挖掘等技術(shù)的發(fā)展,使得依賴技術(shù)實(shí)現(xiàn)分析和解讀文本成為可能,其可有效協(xié)助教師和管理者基于學(xué)習(xí)者的文本信息,開展學(xué)習(xí)診斷與評(píng)估。此規(guī)則下的典型案例有 Chen 等[22],Whitelock 等[23]的研究。

    第四條:識(shí)別高危學(xué)生(O2 O3-I1 I4 I5-M1 M5)

    對(duì)高危學(xué)生 (包括學(xué)習(xí)能力較弱的學(xué)生或存在輟學(xué)可能的學(xué)生)的預(yù)警與干預(yù),可有效提升在線學(xué)習(xí)平臺(tái)的學(xué)生保有率,降低學(xué)校和教育機(jī)構(gòu)的輟學(xué)率,改善在線學(xué)習(xí)的服務(wù)質(zhì)量。在智慧教育的大背景下,如何利用教育大數(shù)據(jù)成功識(shí)別高危學(xué)生人群,是當(dāng)前在線教育發(fā)展迫切需要解決的難題。

    從理論上看,當(dāng)數(shù)據(jù)的數(shù)量和類型足夠豐富時(shí),記錄學(xué)習(xí)者真實(shí)行為表現(xiàn)的學(xué)習(xí)數(shù)據(jù),即是最好的預(yù)測(cè)數(shù)據(jù)源。因此,可將學(xué)習(xí)者當(dāng)前課程的學(xué)習(xí)狀況與歷史測(cè)評(píng)成績(jī)相結(jié)合,然后,對(duì)學(xué)生的危險(xiǎn)程度加以評(píng)估和診斷。但在具體實(shí)踐中,相對(duì)簡(jiǎn)單的學(xué)習(xí)者學(xué)業(yè)成績(jī)、學(xué)習(xí)活動(dòng)參與數(shù)據(jù)、學(xué)習(xí)者的人口學(xué)統(tǒng)計(jì)信息,仍然是使用最多的評(píng)估變量。在完成對(duì)數(shù)據(jù)的清洗、歸集等預(yù)處理之后,學(xué)習(xí)分析通常會(huì)以機(jī)器學(xué)習(xí)技術(shù)為核心,建立風(fēng)險(xiǎn)預(yù)測(cè)模型,以此展開對(duì)高危學(xué)生的甄別。常用的預(yù)測(cè)算法有Logistic回歸、支持向量機(jī)(SVM)、樸素貝葉斯(Naive Bayes)、隨機(jī)森林(Random Forests)、決策樹(Decision trees)等。此規(guī)則下的典型案例有Hlostaetal等[24],Lorenzo等[25]的研究。

    第五條:學(xué)習(xí)者分類(O1 O3-I1 I3 I4 I5-M5)

    構(gòu)建學(xué)習(xí)者模型,對(duì)學(xué)習(xí)者進(jìn)行分類是實(shí)現(xiàn)個(gè)性化學(xué)習(xí)機(jī)制的關(guān)鍵。研究者們首先需要收集學(xué)習(xí)者在學(xué)習(xí)系統(tǒng)中的行為過程和結(jié)果數(shù)據(jù),結(jié)合人口學(xué)統(tǒng)計(jì)信息、學(xué)習(xí)興趣、學(xué)習(xí)風(fēng)格和偏好等學(xué)習(xí)者的基本信息數(shù)據(jù),使用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法,構(gòu)建出不同類型學(xué)習(xí)者的學(xué)習(xí)特征集。例如,聚類分析和關(guān)聯(lián)規(guī)則分析,常被用來抽取學(xué)習(xí)者的訪問模式、學(xué)習(xí)興趣和學(xué)習(xí)策略等。接著,再歸類或分組具有相似學(xué)習(xí)特征的學(xué)習(xí)者,分別對(duì)不同類型的學(xué)習(xí)者,提供適合的學(xué)習(xí)資源、學(xué)習(xí)環(huán)境以及學(xué)習(xí)建議,以實(shí)現(xiàn)學(xué)習(xí)的個(gè)性化,促進(jìn)有效學(xué)習(xí)的發(fā)生。此規(guī)則下的典型案例有 Ferguson 等[26],Xiao Hu 等[27],Corrin 等[28]的研究。

    第六條:學(xué)習(xí)者行為建模(O3 O4-I4 I5-M5)

    學(xué)習(xí)行為是學(xué)習(xí)過程的重要表現(xiàn),對(duì)學(xué)習(xí)成效有著重要的影響。首先,研究者們收集學(xué)習(xí)者的學(xué)習(xí)進(jìn)度信息、學(xué)習(xí)行為變化情況(比如:觀看時(shí)長(zhǎng)、訪問頻次、點(diǎn)擊序列、暫停規(guī)律等)、在時(shí)間軌跡上的學(xué)習(xí)活動(dòng)流信息、前后測(cè)試成績(jī)等數(shù)據(jù)。然后,結(jié)合不同的學(xué)習(xí)任務(wù)情境,抽取其中的行為特征,并通過數(shù)據(jù)挖掘識(shí)別學(xué)習(xí)者行為在決策和執(zhí)行上的差異,從而提煉出不同的學(xué)習(xí)行為模型。進(jìn)一步分析學(xué)習(xí)者對(duì)學(xué)習(xí)資源、學(xué)習(xí)環(huán)境以及教師和同伴的不同反饋,還可用于研究不同行為模型與學(xué)業(yè)成績(jī)之間的關(guān)聯(lián)。此規(guī)則下的典型案例有Kaiser等[29]、Papamitsiou等[30]的研究。

    第七條:學(xué)習(xí)者知識(shí)建模(O1 O4-I4 I5 I6-M3 M4 M5)

    學(xué)習(xí)者知識(shí)模型體現(xiàn)了學(xué)習(xí)者的過程性知識(shí)體系,主要應(yīng)用于自適應(yīng)學(xué)習(xí)系統(tǒng)和智能教學(xué)系統(tǒng)等。這便于系統(tǒng)在恰當(dāng)?shù)臅r(shí)間、以恰當(dāng)?shù)膶W(xué)習(xí)方式,推送恰當(dāng)?shù)膶W(xué)習(xí)內(nèi)容給學(xué)習(xí)者。為了描述學(xué)習(xí)者知識(shí)與技能的建構(gòu)過程和掌握情況,研究者們從學(xué)科、專業(yè)、課程、知識(shí)點(diǎn)等不同層面,抽取在線學(xué)習(xí)系統(tǒng)中學(xué)習(xí)者的交互數(shù)據(jù),包括學(xué)習(xí)者作答的正誤率、回答問題的時(shí)長(zhǎng)、求助的數(shù)量和類型,以及錯(cuò)誤的重復(fù)率等等。同時(shí),結(jié)合領(lǐng)域知識(shí)圖譜,通過內(nèi)容分析和文本挖掘技術(shù),構(gòu)建不同的學(xué)習(xí)者知識(shí)模型。

    同時(shí),學(xué)習(xí)者可通過參與在線協(xié)作學(xué)習(xí),在社交和文化環(huán)境中共同建構(gòu)知識(shí)。由于學(xué)習(xí)者同時(shí)面對(duì)自己及其合作伙伴的知識(shí)與文化差異,而引發(fā)不同的話語互動(dòng)和思維碰撞,因此,社會(huì)網(wǎng)絡(luò)分析也是重要的一項(xiàng)分析技術(shù)。此規(guī)則下的典型案例有Peffer和 Kyle[31]、Ferguson 等[32]的研究。

    第八條:學(xué)習(xí)者情緒建模(O1 O4-I2 I3 I5-M1 M2 M4)

    越復(fù)雜、高階的學(xué)習(xí),越需要良好的情緒調(diào)控。近年來,圍繞情緒與認(rèn)知之間的聯(lián)系,教育心理學(xué)、神經(jīng)科學(xué)和人工智能教育領(lǐng)域開展了大量的研究,試圖揭示情緒在學(xué)習(xí)過程中的作用機(jī)制。為檢測(cè)學(xué)習(xí)者“無聊”、“沮喪”、“興奮”等不同情感狀態(tài),對(duì)學(xué)習(xí)積極性和學(xué)習(xí)進(jìn)展的影響,研究者們目前利用視覺跟蹤器、心臟速率監(jiān)視器等多種可穿戴技術(shù),收集和分析類似微笑次數(shù)、專注時(shí)間、心跳速率等身體活動(dòng)數(shù)據(jù)。同時(shí),結(jié)合學(xué)習(xí)者的自我報(bào)告來對(duì)學(xué)習(xí)者的學(xué)習(xí)情緒模型加以建構(gòu),并通過情緒可視化分析儀表盤加以呈現(xiàn)。計(jì)算機(jī)面部識(shí)別技術(shù)的最新發(fā)展使用,以及非侵入式網(wǎng)絡(luò)攝像頭結(jié)合復(fù)雜算法的支持,使得實(shí)時(shí)測(cè)量學(xué)習(xí)者的情緒成為可能。此規(guī)則下的典型案例有Allen等[33]、Zaouia和Lavoue[34]等的研究。

    第九條:預(yù)測(cè)學(xué)習(xí)表現(xiàn) (O3 O4-I4 I5-M1 M4 M5)

    對(duì)學(xué)習(xí)者學(xué)習(xí)表現(xiàn)和結(jié)果預(yù)測(cè),是當(dāng)前教學(xué)干預(yù)與后期教學(xué)優(yōu)化的重要參考依據(jù)。預(yù)測(cè)通常以學(xué)習(xí)者以往的學(xué)習(xí)數(shù)據(jù)為基礎(chǔ),挖掘并分析其發(fā)展變化,推算其可能的學(xué)習(xí)結(jié)果,以便及時(shí)識(shí)別不良的學(xué)習(xí)狀態(tài)。傳統(tǒng)的學(xué)習(xí)表現(xiàn)預(yù)測(cè)比較單一,主要是根據(jù)學(xué)習(xí)者過去的學(xué)業(yè)成績(jī)表現(xiàn),以及對(duì)在學(xué)習(xí)管理系統(tǒng)(LMS)中的交互進(jìn)行預(yù)判。

    而當(dāng)前可獲取的學(xué)習(xí)數(shù)據(jù)類型逐漸多樣化,個(gè)人背景特征、學(xué)習(xí)作品檔案、多模態(tài)技能、學(xué)習(xí)情緒和情感狀態(tài)都是新增加的因素,可作為常見分析指標(biāo),用于診斷學(xué)習(xí)表現(xiàn)。通過組合不同層級(jí)、不同類型的數(shù)據(jù),從中找出能夠評(píng)價(jià)學(xué)習(xí)者表現(xiàn)的觀察指標(biāo),成為當(dāng)前預(yù)測(cè)研究的重要步驟。但在實(shí)踐中仍主要以學(xué)習(xí)行為的頻次分析為主,在預(yù)測(cè)算法上以多元回歸分析為主。此規(guī)則下的典型案例有Kennedy等[35]、Elbadrawy 等[36]的研究。

    第十條:個(gè)性化和自適應(yīng)(O1 O4 O5-I4 I5-M1 M5)

    個(gè)性化和自適應(yīng)是學(xué)習(xí)分析在教育應(yīng)用中的終極目標(biāo)。要實(shí)現(xiàn)這一目標(biāo),首先,需要提取學(xué)習(xí)者個(gè)體或群體的特征,構(gòu)建相關(guān)的學(xué)習(xí)者模型;然后,結(jié)合所獲取的學(xué)習(xí)狀態(tài)、學(xué)習(xí)效果等信息,預(yù)測(cè)學(xué)習(xí)者的認(rèn)知偏好、興趣需求和學(xué)習(xí)表現(xiàn);最后,依據(jù)預(yù)先定義好的學(xué)習(xí)策略和方案,實(shí)現(xiàn)針對(duì)不同學(xué)習(xí)行為或結(jié)果的自動(dòng)化反饋,為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)建議或資源,從而調(diào)整或改善學(xué)習(xí)者的在線學(xué)習(xí)體驗(yàn)。此規(guī)則下的典型案例有Mutahi等[37]的研究。

    五、基于OIM關(guān)系鏈的開放學(xué)習(xí)分析系統(tǒng)架構(gòu)

    隨著學(xué)習(xí)分析應(yīng)用實(shí)踐的不斷深入,以及智慧教育理念的成熟,越來越多的學(xué)習(xí)平臺(tái)和系統(tǒng)開始在自身服務(wù)中,引入或加強(qiáng)學(xué)習(xí)分析的支持,比如Moodle、Sakai、Blackboard、MOOCs等。由于該應(yīng)用是在單個(gè)的系統(tǒng)或平臺(tái)上運(yùn)行的,因此,跨平臺(tái)的各類數(shù)據(jù)與資源無法整合,也不能全面地捕捉學(xué)習(xí)者的所有學(xué)習(xí)軌跡。

    與此同時(shí),在豐富的技術(shù)手段支持下,學(xué)習(xí)者的學(xué)習(xí)活動(dòng)愈加多元和開放,可以發(fā)生在課堂內(nèi)、課堂外,校內(nèi)、校外的不同時(shí)空環(huán)境中(可以線上線下),涉及學(xué)校、家庭、工作、社區(qū)、愛好等正式或非正式的學(xué)習(xí)情境。因此,單一孤立的學(xué)習(xí)分析架構(gòu),已無法完整、準(zhǔn)確地描繪學(xué)習(xí)者的學(xué)習(xí)全貌。

    基于此,“開放學(xué)習(xí)分析 (Open Learning Analytics)”這一術(shù)語開始出現(xiàn)在由SoLAR發(fā)布的2011年愿景文件中。文件提出,要搭建一個(gè)集成的模塊化平臺(tái),來整合異構(gòu)的學(xué)習(xí)分析技術(shù)[38]。隨后,關(guān)于開放學(xué)習(xí)分析的研究開始得到極大的關(guān)注。英國(guó)聯(lián)合信息系統(tǒng)委員會(huì)(JISC)[39]基于項(xiàng)目實(shí)踐,提出了劃分為數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)和分析、演示和動(dòng)作三層的開放學(xué)習(xí)分析架構(gòu)(OLAA)。2015年,美國(guó)Apereo基金會(huì)設(shè)計(jì)了由“溝通”作為介導(dǎo)的開放學(xué)習(xí)分析“鉆石模型”,包含“收集”、“存儲(chǔ)”、“分析”和“行動(dòng)”四個(gè)主要領(lǐng)域[40]。Chatti等[41]研究者則提出了開放式學(xué)習(xí)分析生態(tài)系統(tǒng)的理念,并討論了實(shí)現(xiàn)開放式學(xué)習(xí)分析的四個(gè)要素:用戶場(chǎng)景、教育需求、技術(shù)架構(gòu)和平臺(tái)組件。

    本研究在參考現(xiàn)有開放學(xué)習(xí)分析模型的基礎(chǔ)上,提出了基于OIM關(guān)系鏈的 “開放學(xué)習(xí)分析系統(tǒng)”(OIM based Open Learning Analytics System, OIMOLAS)[42],如圖4所示。OIMOLAS引入揭示學(xué)習(xí)分析目標(biāo)、數(shù)據(jù)和方法之間映射關(guān)系的OIM關(guān)系鏈,來增強(qiáng)在不同教育應(yīng)用問題情境下,開放學(xué)習(xí)分析操作的目標(biāo)和過程導(dǎo)向?qū)嵤┝鞒痰某绦蚧鸵?guī)范性,以確保分析結(jié)果的可用性和有效性。

    圖4 基于OIM關(guān)系鏈的“開放學(xué)習(xí)分析系統(tǒng)”架構(gòu)

    OIMOLAS由數(shù)據(jù)管理、數(shù)據(jù)映射、分析引擎、分析算法、可視化呈現(xiàn)這五大核心組件構(gòu)成。數(shù)據(jù)管理組件對(duì)收集的數(shù)據(jù)進(jìn)行預(yù)處理準(zhǔn)備,包括清洗、變換、規(guī)約、集成等過程,將數(shù)據(jù)轉(zhuǎn)換為適合后續(xù)分析的輸入格式。不同利益相關(guān)者的用戶,根據(jù)自身需求在平臺(tái)的菜單項(xiàng)中選擇特定的分析目標(biāo),從而將目標(biāo)信息傳遞到分析引擎中,觸發(fā)學(xué)習(xí)分析任務(wù)的執(zhí)行。

    分析引擎作為整個(gè)學(xué)習(xí)分析系統(tǒng)的協(xié)同中樞,首先,從OIM關(guān)系鏈庫中,讀取出適配于當(dāng)前分析目標(biāo)任務(wù)的OIM關(guān)系鏈(可能一條或多條),并結(jié)合以往執(zhí)行歷史加以策略性的評(píng)估和選擇。OIM關(guān)系鏈定義了不同問題情境的學(xué)習(xí)分析邏輯,每個(gè)分析目標(biāo)都對(duì)應(yīng)有一套數(shù)據(jù)指標(biāo)。分析引擎圍繞這些指定的數(shù)據(jù)指標(biāo),從數(shù)據(jù)管理器中提取學(xué)習(xí)分析所需要使用的數(shù)據(jù),并在數(shù)據(jù)映射器中加以標(biāo)記。同時(shí),分析引擎還從分析算法組件中,調(diào)用選定的OIM關(guān)系鏈所設(shè)定的技術(shù)方法,進(jìn)行數(shù)據(jù)分析。分析結(jié)果以儀表盤方式,在系統(tǒng)或APP中進(jìn)行可視化呈現(xiàn);或者以交互數(shù)據(jù)形式提供反饋 (例如提出干預(yù)建議),來影響教學(xué)服務(wù)流程。分析過程可以調(diào)用一些預(yù)設(shè)好的學(xué)習(xí)者畫像庫和內(nèi)容建模庫,以加強(qiáng)分析的效率和效果。而分析的結(jié)果,又會(huì)進(jìn)一步反饋優(yōu)化學(xué)習(xí)者畫像和內(nèi)容建模的識(shí)別策略和模型特征。最后,隱私規(guī)則會(huì)約束和作用于整個(gè)學(xué)習(xí)分析實(shí)施的各個(gè)環(huán)節(jié),以保護(hù)學(xué)習(xí)者的隱私。

    OIMOLAS遵循系統(tǒng)開放性、互操作性和標(biāo)準(zhǔn)化的原則。OIMOLAS可收集多種來源的學(xué)習(xí)數(shù)據(jù),以統(tǒng)一的數(shù)據(jù)格式標(biāo)準(zhǔn),存儲(chǔ)在學(xué)習(xí)記錄存儲(chǔ)庫(Learning Record Store, LRS)中。 OIMOLAS 的數(shù)據(jù)類型,也不再局限于各類學(xué)習(xí)平臺(tái)自動(dòng)捕獲的學(xué)習(xí)數(shù)據(jù),而是超越LMS,可匯聚多模態(tài)的教育數(shù)據(jù),比如MOOCs、社交媒體、眼動(dòng)儀、可穿戴設(shè)備等。

    為實(shí)現(xiàn)數(shù)據(jù)之間的溝通與操作,在OIMOLAS中,數(shù)據(jù)的收集和存儲(chǔ),將遵循兩大國(guó)際主流學(xué)習(xí)分析技術(shù)規(guī)范xAPI和IMS Caliper[43]。學(xué)習(xí)分析所得的數(shù)據(jù)結(jié)果,也將遵循學(xué)習(xí)工具互操作規(guī)范(Learning Tools Interoperability,LTI),返回指定的系統(tǒng)平臺(tái)和工具。

    此外,OIMOLAS還可實(shí)現(xiàn) “自學(xué)習(xí)”。一方面,OIMOLAS通過學(xué)習(xí)分析的實(shí)踐反饋,不斷校正或優(yōu)化OIM關(guān)系鏈的效度;另一方面,OIMOLAS還可通過收錄用戶對(duì)OIM關(guān)系鏈的自主定義,以擴(kuò)展分析的領(lǐng)域。在分析算法組件中,OIMOLAS預(yù)先存儲(chǔ)了一些公共的、通用的分析算法;而對(duì)于一些特殊的分析目標(biāo),尤其是用戶自主配置的,分析引擎在調(diào)用數(shù)據(jù)映射、學(xué)習(xí)者畫像、內(nèi)容建模等模塊的分析運(yùn)作中,開展深度學(xué)習(xí),從而衍生出新的分析方法。

    六、總結(jié)與展望

    智慧教育是教育信息化發(fā)展追求成效與卓越的新境界,它表達(dá)了一種技術(shù)以洞察性、連通性、智慧性方式,促進(jìn)教與學(xué)活動(dòng)的行動(dòng)導(dǎo)向[44],因此,更加要求學(xué)習(xí)分析在提供“數(shù)據(jù)證據(jù)”方面的大力支持和常態(tài)應(yīng)用。引入OIM關(guān)系鏈的方法思想,圍繞學(xué)習(xí)分析的目標(biāo)確定、指標(biāo)選擇、方法應(yīng)用構(gòu)建學(xué)習(xí)分析規(guī)則,可優(yōu)化當(dāng)前學(xué)習(xí)行為分析領(lǐng)域的研究視角和技術(shù)路線,大大提升學(xué)習(xí)分析數(shù)據(jù)發(fā)現(xiàn)的指向和挖掘的效率。

    本研究基于144個(gè)學(xué)習(xí)分析的實(shí)踐案例,構(gòu)建了10條典型的OIM關(guān)系鏈。在規(guī)則應(yīng)用的路徑方面,學(xué)習(xí)分析實(shí)踐者既可以從問題情境和分析目標(biāo)出發(fā),選擇相適應(yīng)的數(shù)據(jù)和方法,確保分析結(jié)果的行動(dòng)指向;也可以從現(xiàn)有的各類學(xué)習(xí)數(shù)據(jù)出發(fā),挖掘數(shù)據(jù)中所隱含的學(xué)習(xí)相關(guān)信息,并在一定程度上指導(dǎo)學(xué)習(xí)分析的數(shù)據(jù)收集環(huán)節(jié);還可以從OIM的關(guān)系出發(fā),進(jìn)一步細(xì)化學(xué)習(xí)分析規(guī)則的操作。

    在規(guī)則應(yīng)用的方式方面,OIM關(guān)系鏈既可以作為開展相關(guān)實(shí)踐和研究的行動(dòng)指南和指導(dǎo)規(guī)則 (實(shí)踐應(yīng)用);也可以應(yīng)用于學(xué)習(xí)分析系統(tǒng)(系統(tǒng)應(yīng)用),作為系統(tǒng)分析模塊的程序邏輯和執(zhí)行智能。此外,本研究還提出了基于OIM關(guān)系鏈的開放學(xué)習(xí)分析系統(tǒng)(OIMOLAS)的系統(tǒng)架構(gòu)。在應(yīng)用形式上,OIMOLAS既可作為L(zhǎng)MS、MOOC等平臺(tái)的嵌入式模塊構(gòu)件,服務(wù)于開放學(xué)習(xí)生態(tài)發(fā)展的必然趨勢(shì);也可以作為獨(dú)立運(yùn)作的學(xué)習(xí)分析系統(tǒng),為L(zhǎng)MS、MOOC等學(xué)習(xí)平臺(tái)提供專業(yè)、全面的數(shù)據(jù)分析服務(wù)。

    但總體而言,本研究仍屬于探索性研究,學(xué)習(xí)情境分析規(guī)則的構(gòu)建,還存在以下一些問題:(1)進(jìn)一步細(xì)化學(xué)習(xí)分析規(guī)則在目標(biāo)、數(shù)據(jù)、方法維度的指標(biāo)內(nèi)容,提高實(shí)踐的可操作性;(2)可嘗試建立面向更多教育情境的OIM關(guān)系鏈,特別是非正式教育,以更好地揭示學(xué)習(xí)生態(tài)的全貌;(3)可嘗試建立學(xué)習(xí)分析規(guī)則應(yīng)用的案例庫,以案例的方式提供不同情境下學(xué)習(xí)分析規(guī)則的應(yīng)用示范;(4)進(jìn)一步細(xì)化OIMOLAS系統(tǒng)架構(gòu)組件的技術(shù)開發(fā)和細(xì)節(jié);等等。

    本研究通過對(duì)OIM關(guān)系鏈學(xué)習(xí)分析規(guī)則的探討,希望能夠拋磚引玉,引起業(yè)內(nèi)研究者對(duì)于學(xué)習(xí)分析實(shí)踐中,引入教育學(xué)方法指導(dǎo)的關(guān)注、思考與討論,增強(qiáng)學(xué)習(xí)分析今后實(shí)踐與應(yīng)用的效能,助力學(xué)習(xí)分析的常態(tài)化發(fā)展,以加快智慧教育視域下學(xué)習(xí)分析實(shí)踐應(yīng)用的進(jìn)程。

    猜你喜歡
    聚類學(xué)習(xí)者案例
    案例4 奔跑吧,少年!
    你是哪種類型的學(xué)習(xí)者
    十二星座是什么類型的學(xué)習(xí)者
    隨機(jī)變量分布及統(tǒng)計(jì)案例拔高卷
    基于DBSACN聚類算法的XML文檔聚類
    發(fā)生在你我身邊的那些治超案例
    漢語學(xué)習(xí)自主學(xué)習(xí)者特征初探
    基于改進(jìn)的遺傳算法的模糊聚類算法
    一個(gè)模擬案例引發(fā)的多重思考
    一種層次初始的聚類個(gè)數(shù)自適應(yīng)的聚類方法研究
    成人无遮挡网站| 黄色视频在线播放观看不卡| 国产成人av激情在线播放 | 欧美精品亚洲一区二区| av线在线观看网站| 国产在线视频一区二区| 亚洲av欧美aⅴ国产| 色吧在线观看| 一本大道久久a久久精品| 91精品国产九色| 久久久精品免费免费高清| 永久网站在线| 国产精品人妻久久久影院| 王馨瑶露胸无遮挡在线观看| 乱码一卡2卡4卡精品| 女人久久www免费人成看片| 国产精品一国产av| 亚洲欧洲精品一区二区精品久久久 | 久久青草综合色| 久久国内精品自在自线图片| 美女视频免费永久观看网站| 日韩,欧美,国产一区二区三区| 亚洲精品,欧美精品| 国产精品欧美亚洲77777| 亚洲欧美清纯卡通| 精品亚洲乱码少妇综合久久| 精品酒店卫生间| 亚洲熟女精品中文字幕| 久久午夜综合久久蜜桃| 欧美xxxx性猛交bbbb| 中文字幕久久专区| 国产成人精品久久久久久| 一级毛片 在线播放| 亚洲婷婷狠狠爱综合网| 丝瓜视频免费看黄片| 九草在线视频观看| 国产一区二区在线观看日韩| 美女内射精品一级片tv| 黑人巨大精品欧美一区二区蜜桃 | 欧美人与性动交α欧美精品济南到 | 精品人妻熟女毛片av久久网站| 国产黄频视频在线观看| 在线观看国产h片| 秋霞在线观看毛片| 国产精品国产av在线观看| 精品人妻偷拍中文字幕| 国产亚洲午夜精品一区二区久久| 久久久久国产精品人妻一区二区| 熟女av电影| 亚洲精品日韩在线中文字幕| 视频中文字幕在线观看| 蜜桃国产av成人99| 精品少妇黑人巨大在线播放| 精品国产一区二区久久| 好男人视频免费观看在线| 内地一区二区视频在线| 久久久久久久久久久免费av| 最近最新中文字幕免费大全7| 最后的刺客免费高清国语| 久久精品国产a三级三级三级| 国产白丝娇喘喷水9色精品| 久久精品国产自在天天线| 黄色毛片三级朝国网站| 三上悠亚av全集在线观看| 看免费成人av毛片| 亚洲一区二区三区欧美精品| av福利片在线| 黑人高潮一二区| 少妇人妻久久综合中文| 一级毛片电影观看| 啦啦啦中文免费视频观看日本| 卡戴珊不雅视频在线播放| 简卡轻食公司| 狠狠精品人妻久久久久久综合| 久久婷婷青草| 性高湖久久久久久久久免费观看| 永久免费av网站大全| 国产精品一国产av| 大码成人一级视频| xxxhd国产人妻xxx| 五月天丁香电影| 嘟嘟电影网在线观看| 一级爰片在线观看| 在线精品无人区一区二区三| 91久久精品电影网| 激情五月婷婷亚洲| 建设人人有责人人尽责人人享有的| 中国美白少妇内射xxxbb| av播播在线观看一区| 免费观看性生交大片5| 婷婷成人精品国产| 大香蕉久久网| 亚洲综合色网址| 欧美精品亚洲一区二区| 日韩在线高清观看一区二区三区| 少妇人妻 视频| 亚洲精品国产av成人精品| 国产精品麻豆人妻色哟哟久久| 大话2 男鬼变身卡| 激情五月婷婷亚洲| 免费看av在线观看网站| 免费大片黄手机在线观看| 日韩精品有码人妻一区| 午夜老司机福利剧场| 亚洲国产毛片av蜜桃av| 天天操日日干夜夜撸| 男女高潮啪啪啪动态图| 欧美丝袜亚洲另类| 伦理电影大哥的女人| 久久久久久久久大av| 亚洲四区av| 男女无遮挡免费网站观看| 母亲3免费完整高清在线观看 | 久久久午夜欧美精品| 亚洲情色 制服丝袜| 欧美成人精品欧美一级黄| 在线精品无人区一区二区三| 亚州av有码| a级毛片黄视频| 在线播放无遮挡| 亚洲熟女精品中文字幕| 国产免费一区二区三区四区乱码| 国产av一区二区精品久久| av在线观看视频网站免费| 久久久久久久精品精品| 内地一区二区视频在线| av.在线天堂| 亚洲内射少妇av| 久久99热6这里只有精品| 看免费成人av毛片| 亚洲一级一片aⅴ在线观看| 黄色视频在线播放观看不卡| 女人久久www免费人成看片| 色吧在线观看| 水蜜桃什么品种好| 亚洲性久久影院| 日韩伦理黄色片| 一级毛片我不卡| 男女无遮挡免费网站观看| av在线观看视频网站免费| 卡戴珊不雅视频在线播放| 国产色爽女视频免费观看| 中文天堂在线官网| xxxhd国产人妻xxx| 91成人精品电影| 欧美精品人与动牲交sv欧美| 亚洲精品av麻豆狂野| 丁香六月天网| 在线观看免费日韩欧美大片 | 精品午夜福利在线看| 简卡轻食公司| 亚洲av二区三区四区| 爱豆传媒免费全集在线观看| 在线观看www视频免费| 精品酒店卫生间| 日韩中文字幕视频在线看片| 女的被弄到高潮叫床怎么办| 欧美精品人与动牲交sv欧美| 18禁在线无遮挡免费观看视频| 午夜影院在线不卡| 欧美日韩成人在线一区二区| 性色avwww在线观看| 成年女人在线观看亚洲视频| 超色免费av| 亚洲精品av麻豆狂野| 国产一区有黄有色的免费视频| 日韩av在线免费看完整版不卡| 久久99热这里只频精品6学生| 亚洲精品一区蜜桃| 日韩av在线免费看完整版不卡| av国产精品久久久久影院| 国产高清三级在线| 国产极品天堂在线| 一区二区三区免费毛片| 少妇的逼水好多| 久久精品国产自在天天线| 免费日韩欧美在线观看| 欧美+日韩+精品| 十分钟在线观看高清视频www| 国产黄色视频一区二区在线观看| 插逼视频在线观看| 搡老乐熟女国产| 乱人伦中国视频| 欧美精品人与动牲交sv欧美| 精品久久久精品久久久| 国产精品国产av在线观看| 免费播放大片免费观看视频在线观看| 少妇人妻精品综合一区二区| 国产av码专区亚洲av| 中文字幕最新亚洲高清| 97在线人人人人妻| 视频在线观看一区二区三区| 91久久精品国产一区二区成人| 黄色欧美视频在线观看| 91aial.com中文字幕在线观看| 精品国产国语对白av| 80岁老熟妇乱子伦牲交| 精品国产乱码久久久久久小说| 日韩亚洲欧美综合| 国产一区二区三区综合在线观看 | 亚洲四区av| 久久久久久久久久成人| 日韩大片免费观看网站| 另类精品久久| 91午夜精品亚洲一区二区三区| 亚洲精品久久午夜乱码| 女的被弄到高潮叫床怎么办| 日韩,欧美,国产一区二区三区| 免费高清在线观看视频在线观看| 大码成人一级视频| 人妻人人澡人人爽人人| 黑人巨大精品欧美一区二区蜜桃 | 精品国产露脸久久av麻豆| 国产伦精品一区二区三区视频9| 天堂8中文在线网| 三级国产精品片| 国产精品人妻久久久久久| 亚洲精品乱码久久久久久按摩| 狂野欧美激情性xxxx在线观看| 国产乱来视频区| 91精品一卡2卡3卡4卡| 2022亚洲国产成人精品| 校园人妻丝袜中文字幕| 日韩视频在线欧美| 又大又黄又爽视频免费| 下体分泌物呈黄色| 亚洲成色77777| 一级毛片电影观看| 精品亚洲成国产av| 亚洲精品日韩av片在线观看| 99热6这里只有精品| 久久久久久久久久人人人人人人| 精品少妇久久久久久888优播| 青春草视频在线免费观看| 少妇丰满av| 少妇人妻精品综合一区二区| 两个人的视频大全免费| 国产免费视频播放在线视频| 91精品三级在线观看| 亚洲国产欧美在线一区| 晚上一个人看的免费电影| 人妻夜夜爽99麻豆av| 高清不卡的av网站| 亚洲人成网站在线观看播放| 国产男人的电影天堂91| 自线自在国产av| 亚洲精品视频女| 亚洲国产最新在线播放| 免费看光身美女| 精品久久蜜臀av无| 国产成人aa在线观看| 亚洲成人手机| 中文乱码字字幕精品一区二区三区| 一边摸一边做爽爽视频免费| 精品久久久噜噜| 精品少妇黑人巨大在线播放| 91aial.com中文字幕在线观看| 天堂8中文在线网| 晚上一个人看的免费电影| 国产成人精品福利久久| 亚洲欧洲国产日韩| 好男人视频免费观看在线| 午夜福利视频在线观看免费| av.在线天堂| 亚洲内射少妇av| 国产日韩欧美视频二区| 亚洲无线观看免费| 99热国产这里只有精品6| 亚洲婷婷狠狠爱综合网| 国产高清三级在线| 天天操日日干夜夜撸| 青春草亚洲视频在线观看| 久热久热在线精品观看| 色网站视频免费| 国产亚洲午夜精品一区二区久久| 少妇精品久久久久久久| 又大又黄又爽视频免费| 免费看av在线观看网站| 男女边摸边吃奶| 2021少妇久久久久久久久久久| 精品酒店卫生间| 成人漫画全彩无遮挡| 男女无遮挡免费网站观看| 99热网站在线观看| 亚洲av不卡在线观看| freevideosex欧美| 丝袜脚勾引网站| 国产有黄有色有爽视频| 日日摸夜夜添夜夜爱| 欧美激情 高清一区二区三区| 亚洲av福利一区| 精品亚洲乱码少妇综合久久| 亚洲怡红院男人天堂| 亚洲精品456在线播放app| 精品人妻偷拍中文字幕| 老司机影院成人| 插逼视频在线观看| 18禁在线无遮挡免费观看视频| 伊人久久精品亚洲午夜| 国产亚洲午夜精品一区二区久久| 精品视频人人做人人爽| 十八禁网站网址无遮挡| 色婷婷av一区二区三区视频| 狠狠精品人妻久久久久久综合| 街头女战士在线观看网站| 51国产日韩欧美| 国产成人精品无人区| 精品国产国语对白av| 欧美激情极品国产一区二区三区 | 精品卡一卡二卡四卡免费| 免费看光身美女| 在线观看国产h片| av专区在线播放| xxx大片免费视频| 极品少妇高潮喷水抽搐| 视频区图区小说| 国产精品久久久久久久久免| 日产精品乱码卡一卡2卡三| a级毛片黄视频| 日本-黄色视频高清免费观看| 精品卡一卡二卡四卡免费| 久久鲁丝午夜福利片| 一级二级三级毛片免费看| 亚洲精品久久成人aⅴ小说 | 涩涩av久久男人的天堂| 国产一区二区在线观看av| 亚洲精品456在线播放app| 国产精品偷伦视频观看了| 亚洲精品第二区| 久久免费观看电影| 男人爽女人下面视频在线观看| 插逼视频在线观看| 一本久久精品| 国产av码专区亚洲av| 国产免费一区二区三区四区乱码| 老司机影院毛片| 日日摸夜夜添夜夜爱| 免费看光身美女| 视频中文字幕在线观看| 国产精品99久久久久久久久| 久久青草综合色| 欧美+日韩+精品| 国产精品女同一区二区软件| 欧美激情国产日韩精品一区| av国产精品久久久久影院| 精品少妇黑人巨大在线播放| 国产黄片视频在线免费观看| 精品酒店卫生间| 高清不卡的av网站| 五月开心婷婷网| 一区二区三区四区激情视频| 久久久久久久久久久免费av| 亚洲国产最新在线播放| 精品国产一区二区三区久久久樱花| 91精品国产国语对白视频| 国产精品一区二区三区四区免费观看| 国产精品久久久久久av不卡| 亚洲成人av在线免费| 99九九在线精品视频| 亚洲人成77777在线视频| 精品少妇内射三级| 成人亚洲欧美一区二区av| 大片免费播放器 马上看| 色94色欧美一区二区| 大片免费播放器 马上看| 日韩熟女老妇一区二区性免费视频| 免费观看无遮挡的男女| 少妇高潮的动态图| 毛片一级片免费看久久久久| 欧美老熟妇乱子伦牲交| 亚洲精品乱久久久久久| 欧美日韩国产mv在线观看视频| 91精品伊人久久大香线蕉| 国产爽快片一区二区三区| 男女免费视频国产| 青青草视频在线视频观看| 一级爰片在线观看| 亚洲熟女精品中文字幕| 日韩亚洲欧美综合| 女人久久www免费人成看片| 男女边吃奶边做爰视频| 国产一级毛片在线| 高清午夜精品一区二区三区| 色视频在线一区二区三区| 一级毛片aaaaaa免费看小| 搡女人真爽免费视频火全软件| 黄色视频在线播放观看不卡| 国产成人精品在线电影| 久久ye,这里只有精品| 新久久久久国产一级毛片| 欧美日韩视频精品一区| 最近的中文字幕免费完整| 22中文网久久字幕| 一级黄片播放器| 2022亚洲国产成人精品| 国产精品久久久久久精品古装| 日本午夜av视频| 亚洲精品国产av蜜桃| 99热国产这里只有精品6| 亚洲图色成人| 五月玫瑰六月丁香| 久热这里只有精品99| 亚洲欧洲精品一区二区精品久久久 | 精品酒店卫生间| 嫩草影院入口| 国产av精品麻豆| 一本久久精品| 成人毛片a级毛片在线播放| 欧美xxxx性猛交bbbb| 免费高清在线观看视频在线观看| 特大巨黑吊av在线直播| 亚洲怡红院男人天堂| 日本91视频免费播放| av又黄又爽大尺度在线免费看| 久久国产精品男人的天堂亚洲 | 国产精品99久久99久久久不卡 | 亚洲精品国产av蜜桃| 国产精品秋霞免费鲁丝片| 精品亚洲成国产av| 中文精品一卡2卡3卡4更新| 亚洲丝袜综合中文字幕| 丰满迷人的少妇在线观看| 99re6热这里在线精品视频| 久久 成人 亚洲| 亚洲成色77777| 美女cb高潮喷水在线观看| 国产免费一级a男人的天堂| 久久久久国产精品人妻一区二区| 亚洲天堂av无毛| 成年av动漫网址| 国产成人91sexporn| 一级爰片在线观看| 日韩强制内射视频| 不卡视频在线观看欧美| 亚洲高清免费不卡视频| 大话2 男鬼变身卡| 麻豆精品久久久久久蜜桃| 男人操女人黄网站| 久久久久久人妻| 七月丁香在线播放| 久久这里有精品视频免费| 丰满迷人的少妇在线观看| 久久久久久久久久成人| 在线观看国产h片| 80岁老熟妇乱子伦牲交| 男女免费视频国产| 五月伊人婷婷丁香| 亚洲欧美日韩另类电影网站| 国产免费福利视频在线观看| av国产精品久久久久影院| 国产成人精品一,二区| 91久久精品电影网| 亚洲综合精品二区| 亚洲国产日韩一区二区| 国产精品三级大全| 国产日韩欧美在线精品| 九九久久精品国产亚洲av麻豆| 飞空精品影院首页| 只有这里有精品99| 狂野欧美白嫩少妇大欣赏| 欧美xxⅹ黑人| 一本久久精品| 免费高清在线观看日韩| 日日摸夜夜添夜夜爱| 看免费成人av毛片| 校园人妻丝袜中文字幕| 日韩成人伦理影院| 国产视频首页在线观看| 两个人免费观看高清视频| 久久人人爽人人爽人人片va| 久久国产精品男人的天堂亚洲 | 少妇被粗大猛烈的视频| 亚洲成人一二三区av| 日本与韩国留学比较| 狂野欧美白嫩少妇大欣赏| 亚洲熟女精品中文字幕| 日本91视频免费播放| 日韩欧美精品免费久久| videosex国产| 丝袜脚勾引网站| 亚洲色图 男人天堂 中文字幕 | 久久这里有精品视频免费| 国产成人av激情在线播放 | 亚洲色图综合在线观看| 国产熟女欧美一区二区| 麻豆乱淫一区二区| 草草在线视频免费看| 美女中出高潮动态图| 人人澡人人妻人| 国产成人精品在线电影| 日韩 亚洲 欧美在线| 五月伊人婷婷丁香| 免费少妇av软件| 丰满迷人的少妇在线观看| 亚洲成色77777| 亚洲欧美中文字幕日韩二区| 哪个播放器可以免费观看大片| 老女人水多毛片| 国产片内射在线| 久久鲁丝午夜福利片| 99久久精品国产国产毛片| 欧美亚洲 丝袜 人妻 在线| 妹子高潮喷水视频| 成人国语在线视频| 亚洲精品一二三| 精品卡一卡二卡四卡免费| 美女大奶头黄色视频| 婷婷色av中文字幕| 成人国产av品久久久| 国产男女内射视频| 不卡视频在线观看欧美| 免费日韩欧美在线观看| 成人黄色视频免费在线看| 国产亚洲av片在线观看秒播厂| 男女国产视频网站| 欧美最新免费一区二区三区| 午夜激情福利司机影院| 亚洲国产av影院在线观看| 两个人免费观看高清视频| 免费观看无遮挡的男女| 交换朋友夫妻互换小说| 三上悠亚av全集在线观看| 欧美精品国产亚洲| 久久鲁丝午夜福利片| 五月天丁香电影| 一区在线观看完整版| 亚洲欧美色中文字幕在线| 在线观看美女被高潮喷水网站| 国产熟女欧美一区二区| 国产69精品久久久久777片| 日韩大片免费观看网站| 欧美+日韩+精品| 大香蕉97超碰在线| 国产 一区精品| 亚洲第一av免费看| 日韩成人av中文字幕在线观看| 中文字幕人妻丝袜制服| 欧美丝袜亚洲另类| xxx大片免费视频| 亚洲精品美女久久av网站| 亚洲av免费高清在线观看| 国产精品一国产av| 夜夜爽夜夜爽视频| 日日摸夜夜添夜夜爱| 免费观看在线日韩| 五月天丁香电影| 亚洲激情五月婷婷啪啪| 一区二区三区乱码不卡18| 国产视频内射| 日产精品乱码卡一卡2卡三| 最近的中文字幕免费完整| 婷婷色麻豆天堂久久| 99热这里只有是精品在线观看| 亚洲美女黄色视频免费看| 欧美亚洲日本最大视频资源| 少妇丰满av| videos熟女内射| av又黄又爽大尺度在线免费看| 亚洲丝袜综合中文字幕| 国产精品一区二区在线不卡| 欧美人与善性xxx| 毛片一级片免费看久久久久| 在线天堂最新版资源| 中文乱码字字幕精品一区二区三区| 日韩一本色道免费dvd| 国产精品一二三区在线看| av免费观看日本| 亚洲图色成人| 777米奇影视久久| 人妻 亚洲 视频| 久久久久人妻精品一区果冻| 高清视频免费观看一区二区| 一区二区三区四区激情视频| 99视频精品全部免费 在线| 日本欧美国产在线视频| a级毛片在线看网站| av在线app专区| 人人妻人人添人人爽欧美一区卜| 边亲边吃奶的免费视频| 久久精品国产a三级三级三级| 亚洲av电影在线观看一区二区三区| 天堂中文最新版在线下载| 欧美日韩亚洲高清精品| a级毛片免费高清观看在线播放| 美女脱内裤让男人舔精品视频| 超碰97精品在线观看| 亚洲av福利一区| 久久精品人人爽人人爽视色| 人妻系列 视频| 日韩三级伦理在线观看| 伊人久久精品亚洲午夜| 久久久久精品性色| 亚洲怡红院男人天堂| 麻豆成人av视频| 老司机影院成人| 日本wwww免费看| 欧美人与善性xxx| 午夜激情av网站| 一级毛片 在线播放| 久久鲁丝午夜福利片| 午夜激情福利司机影院| 97超视频在线观看视频| 少妇高潮的动态图| 国产视频内射| 国产男女内射视频| 国产av精品麻豆| 特大巨黑吊av在线直播| 狂野欧美激情性xxxx在线观看| 成年美女黄网站色视频大全免费 | 婷婷色综合大香蕉| 赤兔流量卡办理| 欧美日韩视频高清一区二区三区二| .国产精品久久| 国模一区二区三区四区视频| 丝袜在线中文字幕|