• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    如何判定自適應(yīng)學(xué)習(xí)系統(tǒng)的有效性

    2023-06-16 16:33:25江波章恒遠(yuǎn)魏雨昂
    關(guān)鍵詞:分析框架因果關(guān)系有效性

    江波 章恒遠(yuǎn) 魏雨昂

    摘要:自適應(yīng)學(xué)習(xí)系統(tǒng)是開展大規(guī)模個性化教育的重要途徑之一,其有效性判定是學(xué)界關(guān)注的焦點?,F(xiàn)有判定自適應(yīng)學(xué)習(xí)系統(tǒng)有效性的方法大多采用實驗法、問卷調(diào)查法等,存在實驗周期長、實驗變量控制難等問題?;谝蚬Y(jié)構(gòu)的自適應(yīng)學(xué)習(xí)系統(tǒng)有效性分析框架可通過分析系統(tǒng)中教育數(shù)據(jù)間的因果結(jié)構(gòu)關(guān)系,來判斷系統(tǒng)的有效性及其緣由。該分析框架主要包括多維教育數(shù)據(jù)與基于因果分析的技術(shù)路線兩部分。其首先利用描述性檢驗和顯著性檢驗進(jìn)行特征關(guān)聯(lián)性分析,判斷系統(tǒng)是否有效;再利用相關(guān)性檢驗和馬爾可夫毯方法尋找與學(xué)習(xí)成效具有因果關(guān)系的特征子集,并利用機器學(xué)習(xí)算法進(jìn)行學(xué)習(xí)成效預(yù)測;最后利用基于搜索的因果結(jié)構(gòu)算法確定特征之間的因果結(jié)構(gòu)及影響強度,來回答系統(tǒng)何以有效。利用該分析框架對“均一教育平臺”自適應(yīng)學(xué)習(xí)系統(tǒng)進(jìn)行分析后發(fā)現(xiàn):(1)該系統(tǒng)的個性化推薦功能使用與否與學(xué)習(xí)收益有強因果關(guān)系;(2)學(xué)習(xí)者的練習(xí)數(shù)量、解題嘗試次數(shù)和請求提示次數(shù)直接或間接影響學(xué)習(xí)成效;(3)該系統(tǒng)的個性化推薦可生成符合學(xué)生最近發(fā)展區(qū)的學(xué)習(xí)路徑,在減少學(xué)生做題數(shù)量和錯誤次數(shù)的同時,提高學(xué)習(xí)效率。

    關(guān)鍵詞:自適應(yīng)學(xué)習(xí)系統(tǒng);有效性;因果關(guān)系;分析框架;判定方法

    中圖分類號:G434 ? 文獻(xiàn)標(biāo)識碼:A ? ?文章編號:1009-5195(2023)02-0095-07 ?doi10.3969/j.issn.1009-5195.2023.02.011

    基金項目:國家自然科學(xué)基金面上項目“面向圖形化編程的項目式學(xué)習(xí)的自動化評價研究及應(yīng)用”(61977058);上海市科技創(chuàng)新行動計劃“人工智能”專項項目“教育數(shù)據(jù)治理與智能教育大腦關(guān)鍵技術(shù)研究及典型應(yīng)用”(20511101600)。

    作者簡介:江波,博士,副教授,碩士生導(dǎo)師,華東師范大學(xué)教育信息技術(shù)學(xué)系,上海數(shù)字化教育裝備工程技術(shù)研究中心,上海智能教育研究院(上海 200062);章恒遠(yuǎn),碩士研究生,華東師范大學(xué)教育信息技術(shù)學(xué)系,上海數(shù)字化教育裝備工程技術(shù)研究中心(上海 200062);魏雨昂,博士研究生,華東師范大學(xué)計算機科學(xué)與技術(shù)學(xué)院,上海智能教育研究院(上海 200062)。

    隨著人工智能技術(shù)的不斷發(fā)展,實現(xiàn)個性化教學(xué)的方式和途徑變得更加豐富(Xie et al.,2019),其中就包括已在教育領(lǐng)域廣泛應(yīng)用的自適應(yīng)學(xué)習(xí)系統(tǒng)(Adaptive Learning System,ALS)。基于學(xué)習(xí)者的學(xué)習(xí)行為日志和數(shù)據(jù)挖掘技術(shù),自適應(yīng)學(xué)習(xí)系統(tǒng)能夠?qū)Σ煌瑢W(xué)習(xí)者的學(xué)習(xí)風(fēng)格、認(rèn)知圖譜和認(rèn)知能力等“個體表現(xiàn)”進(jìn)行動態(tài)評估(姜強等,2011),實時調(diào)整學(xué)習(xí)內(nèi)容、知識序列及其評估方式(菅保霞等,2017),從而為學(xué)習(xí)者提供個性化的學(xué)習(xí)服務(wù)與幫助(彭紅超等,2019)。然而,自適應(yīng)學(xué)習(xí)系統(tǒng)是否真的有效以及何以有效一直是學(xué)界關(guān)注的焦點(尚佩瑤等,2021)。對于自適應(yīng)學(xué)習(xí)系統(tǒng)是否有效,學(xué)者們運用隨機實驗法等研究方法開展了大量的實證研究,并借助問卷調(diào)查法和訪談法等方法來探究自適應(yīng)學(xué)習(xí)系統(tǒng)何以有效。但現(xiàn)有研究未充分利用自適應(yīng)學(xué)習(xí)系統(tǒng)所收集的學(xué)習(xí)過程數(shù)據(jù),且存在實驗周期長、實驗變量難以控制等問題?;诖耍狙芯繑M探索能夠通過對自適應(yīng)學(xué)習(xí)系統(tǒng)中的教育數(shù)據(jù)進(jìn)行分析來判斷該系統(tǒng)是否有效以及何以有效的方法,以期為科學(xué)、高效、便利地評估自適應(yīng)學(xué)習(xí)系統(tǒng)提供借鑒。

    一、自適應(yīng)學(xué)習(xí)系統(tǒng)的有效性研究現(xiàn)狀

    關(guān)于自適應(yīng)學(xué)習(xí)系統(tǒng)的有效性研究一直是學(xué)術(shù)界關(guān)注的焦點。許多研究表明,自適應(yīng)學(xué)習(xí)系統(tǒng)能夠?qū)W(xué)習(xí)者產(chǎn)生積極影響,幫助他們?nèi)〉酶玫某煽?。Wu等(2017)采用兩個等效組進(jìn)行前后測實驗,對比了使用動態(tài)呈現(xiàn)學(xué)習(xí)內(nèi)容的自適應(yīng)學(xué)習(xí)系統(tǒng)和傳統(tǒng)電子學(xué)習(xí)系統(tǒng)的效果,結(jié)果顯示提供個性化學(xué)習(xí)材料的自適應(yīng)學(xué)習(xí)系統(tǒng)能夠促進(jìn)學(xué)習(xí)者對學(xué)習(xí)內(nèi)容的理解,進(jìn)而使其學(xué)習(xí)結(jié)果得到顯著提升。Wang等(2012)在一項單向準(zhǔn)實驗研究中,將144名大學(xué)生隨機分配到兩組。實驗組使用具有自適應(yīng)學(xué)習(xí)系統(tǒng)推薦功能的英語學(xué)習(xí)論壇,對照組使用傳統(tǒng)論壇。前后測差異性檢驗、在線調(diào)查和博客數(shù)據(jù)分析表明,自適應(yīng)學(xué)習(xí)系統(tǒng)的推薦功能可以顯著增加學(xué)習(xí)者的閱讀頻次,使其在語言測試上更富有成效。在認(rèn)為自適應(yīng)學(xué)習(xí)系統(tǒng)有助于提升學(xué)習(xí)成效的基礎(chǔ)上,學(xué)者們進(jìn)一步對其作用路徑進(jìn)行研究。其中,廖軼(2017)通過隨機對照實驗和顯著性檢驗發(fā)現(xiàn),應(yīng)用自適應(yīng)學(xué)習(xí)服務(wù)參考模型的學(xué)習(xí)者測試成績更優(yōu)、學(xué)習(xí)時間更短、點擊次數(shù)更少、學(xué)習(xí)效率更高。趙艷(2020)通過問卷調(diào)查和訪談發(fā)現(xiàn),自適應(yīng)學(xué)習(xí)系統(tǒng)能夠啟發(fā)學(xué)習(xí)者的思維,幫助學(xué)生理解學(xué)科思想,激發(fā)學(xué)習(xí)興趣,從而影響學(xué)習(xí)者的學(xué)習(xí)成績。然而,也有研究表明,自適應(yīng)學(xué)習(xí)系統(tǒng)對于提高學(xué)習(xí)者學(xué)習(xí)成績的作用是有限的。例如,李建偉等(2020)在考前英語訓(xùn)練中測試了自適應(yīng)學(xué)習(xí)APP的效果,結(jié)果顯示,使用自適應(yīng)學(xué)習(xí)系統(tǒng)的學(xué)習(xí)者在通過率上僅比未使用的學(xué)習(xí)者高出0.36個百分點,在優(yōu)秀率上前者甚至比后者低1個百分點。Michlík等(2010)在64名學(xué)習(xí)者中進(jìn)行了隨機對照實驗,根據(jù)系統(tǒng)推薦學(xué)習(xí)內(nèi)容的適恰情況將學(xué)習(xí)者分為三組,分別為針對性推薦、隨機推薦和不推薦,編程測試的結(jié)果顯示,針對性推薦有助于提高學(xué)習(xí)者的學(xué)習(xí)成績,但這一結(jié)論并未得到統(tǒng)計學(xué)意義上的支持。

    綜上可發(fā)現(xiàn),盡管在自適應(yīng)學(xué)習(xí)系統(tǒng)有效性方面,學(xué)者們的看法和意見不盡相同,但是他們的研究方法和手段有著一定的趨同性。這些研究主要采用隨機實驗和準(zhǔn)實驗研究方法,旨在揭示自適應(yīng)學(xué)習(xí)系統(tǒng)與學(xué)習(xí)者學(xué)習(xí)成績之間的因果關(guān)系。此外,學(xué)者們還使用問卷調(diào)查法、訪談法、數(shù)據(jù)日志分析等方法綜合學(xué)習(xí)者學(xué)習(xí)行為的客觀數(shù)據(jù)(如時間、次數(shù)、成績等)和學(xué)習(xí)者學(xué)習(xí)體驗的主觀數(shù)據(jù)(如適用性、滿意度、目的等),來對自適應(yīng)學(xué)習(xí)系統(tǒng)進(jìn)行評價(姜強等,2015)。但在隨機對照實驗或準(zhǔn)實驗中,單次實驗一般僅針對單一變量,變量控制難度大、實驗成本高、周期長,還存在倫理道德限制、霍桑效應(yīng)(曹浩文等,2015)等;而問卷調(diào)查與訪談又易受人的主觀影響導(dǎo)致結(jié)果失真。針對上述情況,本研究提出可直接基于自適應(yīng)學(xué)習(xí)系統(tǒng)中可觀測的教育數(shù)據(jù),來挖掘數(shù)據(jù)間的因果關(guān)系,從而分析自適應(yīng)學(xué)習(xí)系統(tǒng)是否有效以及何以有效。

    二、基于因果結(jié)構(gòu)的自適應(yīng)學(xué)習(xí)系統(tǒng)有效性分析框架

    基于觀測數(shù)據(jù)進(jìn)行因果推測,是有效性評價的一種新興方法。為此,本文構(gòu)建了基于因果結(jié)構(gòu)的自適應(yīng)學(xué)習(xí)系統(tǒng)有效性分析框架,如圖1所示??蚣苤黧w可分為兩個部分——多維教育數(shù)據(jù)和基于因果分析的技術(shù)路線。

    在數(shù)據(jù)準(zhǔn)備環(huán)節(jié)中,學(xué)習(xí)者的個人履歷數(shù)據(jù)、認(rèn)知水平數(shù)據(jù)和在自適應(yīng)學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)行為數(shù)據(jù)構(gòu)成了多維教育數(shù)據(jù)特征集。個人履歷數(shù)據(jù)包括學(xué)習(xí)者的編號、年齡、年級、性別、學(xué)習(xí)風(fēng)格和學(xué)習(xí)興趣;認(rèn)知水平數(shù)據(jù)包括學(xué)習(xí)者的學(xué)習(xí)狀態(tài)、知識水平、技能水平、評估記錄、測試記錄和熟練程度;學(xué)習(xí)行為數(shù)據(jù)包括練習(xí)時長、嘗試次數(shù)、練習(xí)總量、練習(xí)得分、是否使用個性化學(xué)習(xí)推薦功能和提示次數(shù)。

    基于因果分析的技術(shù)路線主要實現(xiàn)自適應(yīng)學(xué)習(xí)系統(tǒng)是否有效與何以有效的判定。在是否有效這一問題上,首先使用描述性檢驗觀察數(shù)據(jù)間的差異,如果無差異則可得出系統(tǒng)無效,有差異則使用顯著性檢驗從統(tǒng)計學(xué)角度分析差異的顯著性,如果差異未達(dá)到顯著性水平,也可得出系統(tǒng)無效。其次,在得出系統(tǒng)有效的基礎(chǔ)上探討何以有效的問題。先對多維教育數(shù)據(jù)特征與學(xué)習(xí)結(jié)果做相關(guān)性檢驗,若相關(guān)程度低,即不相關(guān),可視為無因果性。若相關(guān),則通過特征選擇刪去冗余特征,得到最佳特征子集,并通過機器學(xué)習(xí)算法構(gòu)建學(xué)習(xí)成效預(yù)測模型,檢驗子集的有效性。如果檢驗效果不符合預(yù)期,則進(jìn)入迭代優(yōu)化環(huán)節(jié),重新對特征子集進(jìn)行選取和評估。最后,將最佳子集輸入基于搜索的因果結(jié)構(gòu)算法中,以確定各特征間的因果結(jié)構(gòu)及影響強度。

    此外,框架還提供了因果分析的常用方法、工具和結(jié)果樣例。因果分析針對因果關(guān)系的方向分析、高維數(shù)據(jù)中因果關(guān)系的誤發(fā)現(xiàn)、不完全觀測數(shù)據(jù)中的隱藏變量檢測這三個關(guān)鍵問題,形成了三類解決方法,分別是基于約束的方法、基于因果函數(shù)模型的方法和混合方法,詳細(xì)介紹如圖1所示。同時,也有眾多因果分析的開源工具包,其中基于R語言和Python語言的工具包有pcalg、CausalImpact、Dowhy、WhyNot、Tetrad等。本研究采用Tetrad分析工具,其可生成一個有向無環(huán)的因果結(jié)構(gòu)圖,圖中不同節(jié)點間的因果關(guān)系用帶箭頭的連接線表示,由因指向果,并使用多元線性回歸估計影響強度,將其標(biāo)注于節(jié)點間的連接線上,能夠清晰、明確地展現(xiàn)學(xué)習(xí)者應(yīng)用自適應(yīng)學(xué)習(xí)系統(tǒng)時,影響其學(xué)習(xí)成效的因素、因果關(guān)系及其強度。

    三、自適應(yīng)學(xué)習(xí)有效性分析實踐

    1.平臺介紹

    本研究選取了“均一教育平臺”作為研究對象,該平臺為K-12階段的學(xué)習(xí)者提供自適應(yīng)的學(xué)習(xí)環(huán)境。在2014年至2015年的兩年時間里,有近25萬名學(xué)習(xí)者在該平臺上學(xué)習(xí)數(shù)學(xué)課程,留下了超過2500萬條學(xué)習(xí)過程數(shù)據(jù)。平臺以課程為學(xué)習(xí)單元,課程內(nèi)容以知識點劃分,分為例題、解題、探索和基礎(chǔ)四個模塊。前三個模塊以視頻學(xué)習(xí)為主,基礎(chǔ)模塊則提供相應(yīng)的練習(xí)題。學(xué)習(xí)者可以在學(xué)習(xí)主頁的“建議的活動”一欄中查看系統(tǒng)為其推送的個性化推薦內(nèi)容。如果學(xué)習(xí)者選擇了系統(tǒng)推薦的內(nèi)容進(jìn)行練習(xí),則視為學(xué)習(xí)者使用了系統(tǒng)的個性化推薦功能;反之,則視為沒有使用該功能。在習(xí)題解答過程中,學(xué)習(xí)者可以點擊“解題說明”按鈕查看系統(tǒng)提示,并在完成作答后點擊“提交答案”按鈕獲得正誤反饋。如果首次作答正確,將獲得一定的學(xué)習(xí)收益。但如果該題的作答借助了系統(tǒng)的提示,則該題的學(xué)習(xí)收益將被系統(tǒng)判定為零。

    2.數(shù)據(jù)準(zhǔn)備

    本研究使用了247,606名學(xué)習(xí)者在“均一教育平臺”上進(jìn)行數(shù)學(xué)課程練習(xí)的25,925,992條學(xué)習(xí)過程日志數(shù)據(jù)。從中隨機選取1000名學(xué)生共118,511條數(shù)據(jù)進(jìn)行分析。在特征處理上,刪除了與本研究無關(guān)的特征,剩余9個特征包括:學(xué)生唯一標(biāo)識符(user_id)、練習(xí)名稱(exercise)、練習(xí)數(shù)量(problem_number)、是否采納個性化學(xué)習(xí)建議(suggested)、解題總時長(time_taken)、解題嘗試次數(shù)(count_attempts)、請求提示次數(shù)(count_hints)、是否達(dá)到熟練程度 (earned_proficiency)和學(xué)習(xí)收益(points_earned)。其中,采納個性化學(xué)習(xí)建議表示學(xué)習(xí)者的單次學(xué)習(xí)內(nèi)容與系統(tǒng)個性化推薦的內(nèi)容一致,即使用了自適應(yīng)學(xué)習(xí)系統(tǒng);反之,則視為未使用。

    3.數(shù)據(jù)分析

    (1)描述性檢驗和顯著性檢驗

    為了探究“均一教育平臺”自適應(yīng)學(xué)習(xí)系統(tǒng)的有效性,研究選取學(xué)習(xí)收益的上四分位數(shù)180作為分隔值,將大于等于180的學(xué)習(xí)收益稱為“高收益”,小于180的學(xué)習(xí)收益稱為“低收益”(姚昊等,2022)。該平臺中學(xué)習(xí)者學(xué)習(xí)收益統(tǒng)計情況如圖2所示。橫坐標(biāo)表示是否使用自適應(yīng)學(xué)習(xí)系統(tǒng),縱坐標(biāo)表示學(xué)習(xí)收益的占比情況。觀察柱狀圖可以發(fā)現(xiàn),在使用了“均一教育平臺”個性化推薦功能的所有學(xué)習(xí)記錄中,約有89.32%的記錄取得了高收益,比不使用情況下獲得高收益的比例要高得多。此外,獨立樣本T檢驗(置信水平為0.05)結(jié)果顯示,p值等于0.000,效應(yīng)量等于0.843,即學(xué)習(xí)者使用“均一教育平臺”自適應(yīng)學(xué)習(xí)系統(tǒng)與否所獲得的學(xué)習(xí)收益具有顯著性差異。因此可以得出,使用“均一教育平臺”自適應(yīng)學(xué)習(xí)系統(tǒng)能為學(xué)習(xí)者的學(xué)習(xí)結(jié)果帶來顯著的正向影響。

    (2)相關(guān)性檢驗

    采用Kendall相關(guān)系數(shù)、Spearman相關(guān)系數(shù)和Pearson相關(guān)系數(shù)測量無序分類變量(是否采納個性化學(xué)習(xí)建議)、有序分類變量(練習(xí)數(shù)量)和連續(xù)變量(解題總時長、請求提示次數(shù)、解題嘗試次數(shù))與學(xué)習(xí)收益的相關(guān)性,檢驗結(jié)果如表1所示。在正負(fù)相關(guān)關(guān)系上,除了是否采納個性化學(xué)習(xí)建議這一特征外,其余4個特征與學(xué)習(xí)收益呈負(fù)相關(guān),即指標(biāo)越高,學(xué)習(xí)收益越低。在相關(guān)關(guān)系程度上,是否采納個性化學(xué)習(xí)建議與學(xué)習(xí)收益的相關(guān)性最為密切,絕對值達(dá)到了0.5087,練習(xí)數(shù)量次之,絕對值為0.4103,兩者均呈中等程度相關(guān)。解題嘗試次數(shù)與學(xué)習(xí)收益之間呈弱相關(guān)關(guān)系,絕對值為0.2207。相比之下,請求提示次數(shù)和解題總時長與學(xué)習(xí)收益之間的相關(guān)性系數(shù)絕對值則小許多,分別為0.1772和0.0404,均呈弱相關(guān)。強相關(guān)性是因果關(guān)系存在的前提(趙森棟等,2014),而解題總時長與學(xué)習(xí)收益之間的相關(guān)性過低,則可認(rèn)為二者之間不具有因果性。其余四個特征可能與學(xué)習(xí)收益之間存在潛在的因果關(guān)系,可進(jìn)一步進(jìn)行因果分析,其中是否采納個性化學(xué)習(xí)建議和練習(xí)數(shù)量兩個特征的影響強度較其他變量更大。

    (3)基于馬爾可夫毯的特征選擇

    使用Tetrad軟件,按照特征的先后順序設(shè)置約束條件:是否采納個性化學(xué)習(xí)建議節(jié)點不能作為其他節(jié)點的子節(jié)點;練習(xí)數(shù)量節(jié)點不能作為解題嘗試次數(shù)和請求提示次數(shù)節(jié)點的子節(jié)點。使用FGES-MB特征選擇算法(Sanchez-Romero et al.,2017)尋找學(xué)習(xí)收益特征的馬爾可夫毯(Markov Blanket,MB)。該算法的目標(biāo)是在不造成大量信息丟失的情況下,最大限度地識別并刪除與之不相關(guān)的冗余特征(Blum et al.,1997)。結(jié)果如圖3所示,學(xué)習(xí)收益的馬爾可夫毯中包含了是否采納個性化學(xué)習(xí)建議、練習(xí)數(shù)量、解題嘗試次數(shù)和請求提示次數(shù)4個特征,這與前文得出的結(jié)論相符。

    (4)子集檢驗

    分類器的準(zhǔn)確率是評價特征選擇方法好壞的重要指標(biāo)(段潔等,2015)。為了驗證基于馬爾可夫毯特征選擇結(jié)果的有效性,本文使用主成分分析(Principal Component Analysis,PCA)將原始特征降至四維,保持與馬爾可夫毯特征選擇的輸出特征數(shù)量一致,此時的可解釋性方差占比超過99.9%。在支持向量機(Support Vector Machine,SVM)、決策樹(Decision Tree,DT)、隨機森林(Random Forest,RF)、邏輯回歸(Logistic Regression,LR)和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)等常見的機器學(xué)習(xí)分類算法中,依次將原始特征、使用主成分分析和馬爾可夫毯的特征選擇結(jié)果作為輸入變量,學(xué)習(xí)收益作為輸出變量,比較不同特征選擇結(jié)果子集在各分類算法中的準(zhǔn)確率。結(jié)果如表2所示,在隨機森林和人工神經(jīng)網(wǎng)絡(luò)算法中,使用基于馬爾可夫毯特征選擇策略建立的模型具有更優(yōu)異的準(zhǔn)確率表現(xiàn)。因此,可以認(rèn)為馬爾可夫毯的特征選擇在此數(shù)據(jù)集上是有效的,以此為基礎(chǔ)進(jìn)行因果關(guān)系建模是合理的。

    (5)因果分析

    為了評估關(guān)鍵變量(是否采納個性化學(xué)習(xí)建議、練習(xí)數(shù)量、解題嘗試次數(shù)以及請求提示次數(shù))和學(xué)習(xí)收益間是否存在潛在的因果關(guān)系,并確定它們之間的影響強度,本研究使用因果工具Tetrad軟件中的PC算法,得到了圖4所示的因果關(guān)系模型。分析結(jié)果顯示,該模型性能良好,卡方檢驗(df=1)表明其預(yù)測結(jié)果與實際數(shù)據(jù)(p=0.0521)之間沒有統(tǒng)計學(xué)差異。

    通過觀察表1和圖4,可以發(fā)現(xiàn)因果關(guān)系模型中的變量是相關(guān)性分析結(jié)果的子集,其中補集為解題總時長。這是因為因果關(guān)系是特殊的相關(guān)關(guān)系,相關(guān)關(guān)系是因果關(guān)系的必要條件之一。值得注意的是,在表1中,相關(guān)系數(shù)僅描述了兩個變量之間的相關(guān)性大小,并不能說明是哪一個變量的變化導(dǎo)致了另一個變量的變化。相比之下,在圖4的因果關(guān)系模型中,歸一化系數(shù)的絕對值表示因果關(guān)系強度的大小,歸一化系數(shù)的正負(fù)表示兩個變量數(shù)值變化的同向性,箭頭從自變量出發(fā)指向因變量。

    根據(jù)模型,可以看出練習(xí)數(shù)量與請求提示次數(shù)和解題嘗試次數(shù)的歸一化系數(shù)分別為-0.0026和-0.0045,這兩個值與其他路徑上的歸一化系數(shù)相比,絕對值相差過大,這表明二者間的因果強度非常低,可以忽略不計。再根據(jù)作用路徑的不同,將圖4中的因果關(guān)系模型拆分為圖5、圖6和圖7三個子圖,進(jìn)行逐一分析。

    圖5顯示,使用該自適應(yīng)學(xué)習(xí)系統(tǒng)與學(xué)習(xí)收益間的歸一化系數(shù)為159.0266,是所有系數(shù)中絕對值最高的。這意味著,使用系統(tǒng)推薦功能每增加1個標(biāo)準(zhǔn)差,學(xué)習(xí)收益就會增加159.0266個標(biāo)準(zhǔn)差。表明該自適應(yīng)學(xué)習(xí)系統(tǒng)可以提高學(xué)習(xí)者的學(xué)習(xí)成效,且這一提高非常明顯。

    圖6顯示,使用自適應(yīng)學(xué)習(xí)系統(tǒng)導(dǎo)致練習(xí)數(shù)量的減少(系數(shù)為-10.5013),練習(xí)數(shù)量的減少導(dǎo)致學(xué)習(xí)收益的增加(系數(shù)為-0.5552)??梢缘玫?,使用自適應(yīng)學(xué)習(xí)系統(tǒng)通過減少練習(xí)數(shù)量,間接導(dǎo)致學(xué)習(xí)收益的增加,其因果強度為5.8303,計算方法如下:

    suggested→points_earned=suggested→problem_number*

    problem_number→points_earned

    =(-10.5013)*(-0.5552)

    =5.8303

    圖7顯示,使用自適應(yīng)學(xué)習(xí)系統(tǒng)導(dǎo)致解題嘗試次數(shù)的減少(系數(shù)為-0.3982),解題嘗試次數(shù)的減少導(dǎo)致請求提示次數(shù)的減少(系數(shù)為0.3673)和學(xué)習(xí)收益的增加(系數(shù)為-10.5260);請求提示次數(shù)的減少進(jìn)一步導(dǎo)致學(xué)習(xí)收益的增加(系數(shù)為-5.0916)。可以得到,使用自適應(yīng)學(xué)習(xí)系統(tǒng)通過減少解題嘗試次數(shù)和請求提示次數(shù),間接導(dǎo)致了學(xué)習(xí)者學(xué)習(xí)收益的增加,其因果強度為4.9361,計算方法如下:

    suggested→points_earned=suggested→count_attempts*

    (count_attempts→points_earned+count_attempts→

    count_hints*count_hints→points_earned)

    =-0.3982*[-10.5260 + 0.3673*(-5.0916)]

    =4.9361

    以上三條路徑表明,使用自適應(yīng)學(xué)習(xí)系統(tǒng)能夠直接導(dǎo)致學(xué)習(xí)收益的增加,也能通過練習(xí)數(shù)量、解題嘗試次數(shù)和請求提示次數(shù)這三個關(guān)鍵變量間接導(dǎo)致學(xué)習(xí)收益的增加,其因果總強度為169.7930。

    該自適應(yīng)學(xué)習(xí)系統(tǒng)通過精準(zhǔn)定位學(xué)生的最近發(fā)展區(qū),規(guī)劃知識序列路徑,進(jìn)而減少學(xué)習(xí)者的練習(xí)數(shù)量、解題錯誤次數(shù)和使用提示次數(shù),將學(xué)生從海量低效甚至無效的重復(fù)性學(xué)習(xí)中抽離出來,使不同層次、不同水平的學(xué)生學(xué)習(xí)效率都得以提升,最終達(dá)到減輕學(xué)習(xí)負(fù)擔(dān)、提高學(xué)習(xí)效率的目的。這一有效性可以通過教學(xué)支架和最近發(fā)展區(qū)理論來解釋。所謂教學(xué)支架,是指對學(xué)習(xí)者提供的即時支持,通過適當(dāng)時機和適量支持促進(jìn)學(xué)習(xí)者知識與技能的習(xí)得(何克抗,2017)。自適應(yīng)學(xué)習(xí)系統(tǒng)基于學(xué)生學(xué)習(xí)的特點和需求,動態(tài)調(diào)整學(xué)習(xí)內(nèi)容和學(xué)習(xí)方式,提供適度挑戰(zhàn)的學(xué)習(xí)資源和學(xué)習(xí)環(huán)境作為支架,促進(jìn)學(xué)生個體的發(fā)展。最近發(fā)展區(qū)理論認(rèn)為,只有適合學(xué)習(xí)者最近發(fā)展區(qū)的教學(xué)才是有效的。自適應(yīng)學(xué)習(xí)系統(tǒng)充分考慮學(xué)生當(dāng)前認(rèn)知狀態(tài),判斷學(xué)生能夠承受的挑戰(zhàn)程度,避免過度挑戰(zhàn)或過度簡單化情況,為學(xué)生提供個性化、精準(zhǔn)的支架,幫助學(xué)生在最近發(fā)展區(qū)內(nèi)獲得有效學(xué)習(xí),從而達(dá)到提升學(xué)習(xí)效果的目的。

    四、總結(jié)與展望

    本研究提出基于因果結(jié)構(gòu)的自適應(yīng)學(xué)習(xí)系統(tǒng)有效性分析框架,框架主體可分為兩部分:多維教育數(shù)據(jù)和基于因果分析的技術(shù)路線。多維教育數(shù)據(jù)包括了進(jìn)行有效性分析所需采集的教育數(shù)據(jù);基于因果分析的技術(shù)路線則提供了分析自適應(yīng)學(xué)習(xí)系統(tǒng)是否有效以及何以有效的方法、步驟以及結(jié)果樣例。本研究以某自適應(yīng)學(xué)習(xí)系統(tǒng)為實踐案例,利用所提框架分析該自適應(yīng)學(xué)習(xí)系統(tǒng)的有效性,分析結(jié)果表明:(1)該系統(tǒng)的個性化學(xué)習(xí)推薦功能使用與否與學(xué)習(xí)收益有強因果關(guān)系,即系統(tǒng)的自適應(yīng)學(xué)習(xí)功能有助于提升學(xué)習(xí)效果;(2)學(xué)習(xí)者的練習(xí)數(shù)量、解題嘗試次數(shù)和請求提示次數(shù)直接或間接影響學(xué)習(xí)收益;(3)系統(tǒng)的個性化推薦功能可生成符合學(xué)生最近發(fā)展區(qū)的學(xué)習(xí)路徑,在減少學(xué)生的做題數(shù)量和錯誤次數(shù)的同時提高學(xué)習(xí)效率。

    本研究的創(chuàng)新之處在于,為自適應(yīng)學(xué)習(xí)系統(tǒng)的科學(xué)評估提供了一種新的視角,即通過采集學(xué)習(xí)過程數(shù)據(jù),建立因果模型來評估系統(tǒng)的有效性。相較于隨機對照實驗,這種基于觀測數(shù)據(jù)的證據(jù)更易獲取、更加高效。然而,應(yīng)用本文所提出的分析框架需要注意以下幾點:第一,不同的自適應(yīng)學(xué)習(xí)系統(tǒng)所存儲的學(xué)習(xí)者數(shù)據(jù)種類是不同的,但一些關(guān)鍵特征是能夠運用本框架的必要條件,如本文案例中的是否遵循推薦、練習(xí)得分、嘗試次數(shù)等特征。第二,在因果建模后,需對模型進(jìn)行擬合優(yōu)度評估,說明得到的因果關(guān)系模型與實際情況在統(tǒng)計學(xué)上不存在顯著差異。第三,在模型解釋上,一定要結(jié)合系統(tǒng)自身判定規(guī)則與條件。例如,本文所使用的“均一教育平臺”認(rèn)為如果學(xué)習(xí)者在解答問題時使用了系統(tǒng)提示功能,則無論其是否解答正確,該題的學(xué)習(xí)收益將被判定為零,顯然不是所有系統(tǒng)都有類似設(shè)定。除此之外,本研究還存在著諸多不足。首先,多維教育數(shù)據(jù)集的構(gòu)建上,不同系統(tǒng)對學(xué)習(xí)者采集的信息各異,故在實際的應(yīng)用中需根據(jù)系統(tǒng)實際情況進(jìn)行調(diào)整。其次,在分析框架的實踐上,本研究僅基于一個公開數(shù)據(jù)集展開探究活動,還需在更多的數(shù)據(jù)集上進(jìn)行應(yīng)用與實踐。最后,在課程方面,本研究所用數(shù)據(jù)集全部來自數(shù)學(xué)科目,可能自適應(yīng)學(xué)習(xí)系統(tǒng)在不同科目將對學(xué)習(xí)者的學(xué)習(xí)成效產(chǎn)生不同的影響,可通過學(xué)科的視角展開進(jìn)一步的探究。

    參考文獻(xiàn):

    [1]曹浩文,杜育紅(2015).教育研究中的因果推斷方法探析——以班級規(guī)模與學(xué)業(yè)成績的關(guān)系研究為例[J].上海教育科研,(6):40-43,31.

    [2]段潔,胡清華,張靈均等(2015).基于鄰域粗糙集的多標(biāo)記分類特征選擇算法[J].計算機研究與發(fā)展,52(1):56-65.

    [3]何克抗(2017).教學(xué)支架的含義、類型、設(shè)計及其在教學(xué)中的應(yīng)用——美國《教育傳播與技術(shù)研究手冊(第四版)》讓我們深受啟發(fā)的亮點之一[J].中國電化教育,(4):1-9.

    [4]菅保霞,姜強,趙蔚等(2017).大數(shù)據(jù)背景下自適應(yīng)學(xué)習(xí)個性特征模型研究——基于元分析視角[J].遠(yuǎn)程教育雜志,35(4):87-96.

    [5]姜強,趙蔚(2011).自適應(yīng)學(xué)習(xí)系統(tǒng)述評及其優(yōu)化機制研究[J].現(xiàn)代遠(yuǎn)距離教育,(6):57-63.

    [6]姜強,趙蔚,王朋嬌(2015).自適應(yīng)學(xué)習(xí)系統(tǒng)中學(xué)習(xí)者為中心視角評價學(xué)習(xí)成效實證研究[J].現(xiàn)代遠(yuǎn)距離教育,(4):43-49.

    [7]李建偉,葛子剛,張愛陽(2020).自適應(yīng)學(xué)習(xí)系統(tǒng)在成人本科學(xué)士學(xué)位英語學(xué)習(xí)中的應(yīng)用研究[J].現(xiàn)代教育技術(shù),30(3):59-65.

    [8]廖軼(2017).面向基礎(chǔ)教育的自適應(yīng)學(xué)習(xí)服務(wù)系統(tǒng)研究與應(yīng)用[D].北京:北京交通大學(xué):109-111.

    [9]彭紅超,祝智庭(2019).人機協(xié)同決策支持的個性化適性學(xué)習(xí)策略探析[J].電化教育研究,40(2):12-20.

    [10]尚佩瑤,汪存友(2021).智適應(yīng)學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果及其影響因素研究——基于2000—2020年60項實驗與準(zhǔn)實驗研究的元分析[J].數(shù)字教育,7(1):45-50.

    [11]姚昊,馬立超(2022).高學(xué)歷教師培養(yǎng)的學(xué)生成績更優(yōu)異嗎?——理論爭議、實證檢驗與政策啟示[J].開放教育研究,28(2):73-84.

    [12]趙森棟,劉挺(2014).因果關(guān)系及其在社會媒體上的應(yīng)用研究綜述[J].軟件學(xué)報,25(12):2733-2752.

    [13]趙艷(2020).自適應(yīng)學(xué)習(xí)系統(tǒng)中數(shù)學(xué)習(xí)題輔導(dǎo)策略設(shè)計及對學(xué)生的影響研究[D].錦州:渤海大學(xué):27-43.

    [14]Blum, A. L., & Langley, P. (1997). Selection of Relevant Features and Examples in Machine Learning[J]. Artificial Intelligence, 97(1-2):245-271.

    [15]Michlík, P., & Bieliková, M. (2010). Exercises Recommending for Limited Time Learning[J]. Procedia Computer Science, 1(2):2821-2828.

    [16]Sanchez-Romero, R., Ramsey, J. D., & Liang, J. C. et al. (2017). Identification of Mechanisms of Functional Signaling Between Human Hippocampus Regions[J]. BioRxiv:099820.

    [17]Wang, P. Y., & Yang, H. C. (2012). Using Collaborative Filtering to Support College Students Use of Online Forum for English Learning[J]. Computers Education, 59(2):628-637.

    [18]Wu, C. H., Chen, Y. S., & Chen, T. C. (2017). An Adaptive E-Learning System for Enhancing Learning Performance: Based on Dynamic Scaffolding Theory[J]. Eurasia Journal of Mathematics, Science and Technology Education, 14(3):903-913.

    [19]Xie, H., Chu, H. C., & Hwang, G. J. et al. (2019). Trends and Development in Technology-Enhanced Adaptive/Personalized Learning: A Systematic Review of Journal Publications from 2007 to 2017[J]. Computers & Education, 140:103599.

    收稿日期 2022-10-27責(zé)任編輯 李鑫

    How to Evaluate the Effectiveness of Adaptive Learning Systems

    ——Based on the Causal Structure Analysis Framework

    JIANG Bo, ZHANG Hengyuan, WEI Yuang

    Abstract: The effectiveness assessment of adaptive learning systems, one of the important approaches for large-scale personalized education, has attracted much attention from literature. Existing methods for evaluating the effectiveness of adaptive learning systems mostly are experimental methods and questionnaire surveys, which suffer from problems such as long experimental duration and difficulty in experimental variables controlling. A causal structure-based framework is proposed to evaluate the effectiveness of an adaptive learning system and analyze how it works by analyzing the causal structure produced. This analysis framework consists of two parts, multidimensional educational data and a causal analysis-based technical framework. Firstly, descriptive and significance tests are used to analyze feature associations and determine whether the system is effective. Secondly, the correlation tests and Markov blanket method are used to identify feature subsets that have causal relationships with learning outcomes, and machine learning algorithms are used for learning outcome prediction. Finally, a search-based causal structure algorithm is used to determine the causal structure and strength of influence between features to explain why the system is effective. The proposed analytical framework is used to evaluate a popular adaptive learning system named “Junyi Education Platform”. The results showed as follows. First, there is a strong causal relationship between the use of personalized recommendation functions and learning outcomes. Second, the number of exercises students practice, the number of attempts to solve problems and the number of hints used directly or indirectly affect learning outcomes. Third, the personalized recommendations of the system improves learning benefit by generating learning paths that are in line with the students zone of proximal developmental as well as reducing the number of exercises and mistakes.

    Keywords: Adaptive Learning System; Effectiveness; Causal Relationship; Analysis Framework; Evaluation Method

    猜你喜歡
    分析框架因果關(guān)系有效性
    玩忽職守型瀆職罪中嚴(yán)重不負(fù)責(zé)任與重大損害后果的因果關(guān)系
    如何提高英語教學(xué)的有效性
    甘肅教育(2020年6期)2020-09-11 07:45:28
    制造業(yè)內(nèi)部控制有效性的實現(xiàn)
    提高家庭作業(yè)有效性的理論思考
    甘肅教育(2020年12期)2020-04-13 06:24:56
    做完形填空題,需考慮的邏輯關(guān)系
    財務(wù)分析在信貸決策中的作用
    幫助犯因果關(guān)系芻議
    基于管理會計的新型財務(wù)分析框架研究
    基于三維分析框架視角的區(qū)域創(chuàng)新政策體系評價?
    軟科學(xué)(2015年9期)2015-10-27 02:23:05
    大學(xué)經(jīng)濟責(zé)任:一個概念及其分析框架
    高教探索(2015年6期)2015-06-25 03:23:15
    国产一区二区在线观看av| 美女午夜性视频免费| 成年人黄色毛片网站| 90打野战视频偷拍视频| 精品国产一区二区三区久久久樱花| 少妇裸体淫交视频免费看高清 | 精品国产一区二区三区久久久樱花| 精品一区二区三卡| 欧美日韩黄片免| 亚洲av片天天在线观看| 啦啦啦视频在线资源免费观看| 99久久国产精品久久久| 午夜福利在线免费观看网站| 久久 成人 亚洲| 午夜福利影视在线免费观看| 亚洲av片天天在线观看| 在线十欧美十亚洲十日本专区| 免费高清在线观看日韩| 欧美午夜高清在线| 欧美av亚洲av综合av国产av| 777久久人妻少妇嫩草av网站| 午夜日韩欧美国产| 国产成人啪精品午夜网站| 亚洲综合色网址| 九色亚洲精品在线播放| 精品亚洲成国产av| 亚洲成人免费av在线播放| 999久久久精品免费观看国产| 国产精品二区激情视频| 成年av动漫网址| 欧美人与性动交α欧美软件| 欧美大码av| 2018国产大陆天天弄谢| 菩萨蛮人人尽说江南好唐韦庄| 亚洲一区二区三区欧美精品| 岛国毛片在线播放| 亚洲视频免费观看视频| 少妇精品久久久久久久| 精品国产国语对白av| av片东京热男人的天堂| 在线观看免费视频网站a站| 十八禁高潮呻吟视频| 精品亚洲成a人片在线观看| a级毛片黄视频| 午夜久久久在线观看| 久久精品成人免费网站| 91字幕亚洲| 亚洲中文字幕日韩| 午夜两性在线视频| 日日夜夜操网爽| 99久久精品国产亚洲精品| 欧美日韩福利视频一区二区| 一区在线观看完整版| 老鸭窝网址在线观看| 啪啪无遮挡十八禁网站| 亚洲av日韩在线播放| 国产精品自产拍在线观看55亚洲 | 操美女的视频在线观看| 两性夫妻黄色片| 黄色视频不卡| 一个人免费看片子| 国产日韩欧美视频二区| 人人妻人人添人人爽欧美一区卜| 久久久久视频综合| av在线app专区| 国产人伦9x9x在线观看| 欧美日韩视频精品一区| 五月开心婷婷网| 国产野战对白在线观看| 亚洲中文字幕日韩| 久久青草综合色| 国产国语露脸激情在线看| 宅男免费午夜| 自线自在国产av| 亚洲成人手机| 国产国语露脸激情在线看| 免费观看av网站的网址| 亚洲视频免费观看视频| 啦啦啦啦在线视频资源| 丁香六月欧美| 国产精品秋霞免费鲁丝片| 国产成人精品在线电影| 亚洲精品国产区一区二| 成人三级做爰电影| 久久人妻熟女aⅴ| 国产真人三级小视频在线观看| 国产精品99久久99久久久不卡| 成人影院久久| 别揉我奶头~嗯~啊~动态视频 | 欧美在线一区亚洲| 亚洲精品国产区一区二| 女人爽到高潮嗷嗷叫在线视频| 国产精品免费大片| 亚洲熟女精品中文字幕| 90打野战视频偷拍视频| 亚洲少妇的诱惑av| 欧美日韩av久久| 国产高清国产精品国产三级| 免费人妻精品一区二区三区视频| 国产三级黄色录像| 18禁国产床啪视频网站| 国产一级毛片在线| 夜夜骑夜夜射夜夜干| 久久久精品94久久精品| 1024视频免费在线观看| 亚洲成av片中文字幕在线观看| 国产一级毛片在线| 高清欧美精品videossex| 女人精品久久久久毛片| 中亚洲国语对白在线视频| 欧美日本中文国产一区发布| 天天躁狠狠躁夜夜躁狠狠躁| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲欧美成人综合另类久久久| 女性生殖器流出的白浆| 国产xxxxx性猛交| 90打野战视频偷拍视频| 热99国产精品久久久久久7| 亚洲欧美日韩高清在线视频 | 在线观看免费视频网站a站| 中文字幕制服av| 黄色 视频免费看| av免费在线观看网站| 777久久人妻少妇嫩草av网站| 亚洲五月色婷婷综合| 日韩 亚洲 欧美在线| 午夜福利影视在线免费观看| 一本综合久久免费| 亚洲 欧美一区二区三区| 色综合欧美亚洲国产小说| 在线观看免费日韩欧美大片| 一级片免费观看大全| 亚洲,欧美精品.| 久久久久久免费高清国产稀缺| 国产av国产精品国产| www.精华液| 人人妻人人澡人人看| 国产精品偷伦视频观看了| 亚洲精品中文字幕一二三四区 | 777米奇影视久久| 丝袜人妻中文字幕| 黄色视频不卡| 久热这里只有精品99| 美女视频免费永久观看网站| 中文字幕精品免费在线观看视频| 日本猛色少妇xxxxx猛交久久| 少妇裸体淫交视频免费看高清 | 久久国产精品大桥未久av| 91字幕亚洲| 日韩制服丝袜自拍偷拍| 99国产精品一区二区三区| 亚洲精品av麻豆狂野| 亚洲成国产人片在线观看| 亚洲激情五月婷婷啪啪| 在线永久观看黄色视频| 国产日韩欧美在线精品| 亚洲精品在线美女| 欧美大码av| 成人18禁高潮啪啪吃奶动态图| 欧美精品一区二区大全| 丝袜美腿诱惑在线| 亚洲第一青青草原| av在线老鸭窝| 97精品久久久久久久久久精品| 18禁黄网站禁片午夜丰满| av网站免费在线观看视频| 国产亚洲欧美在线一区二区| 巨乳人妻的诱惑在线观看| 亚洲 国产 在线| 免费在线观看视频国产中文字幕亚洲 | 久久久国产欧美日韩av| 久久精品亚洲熟妇少妇任你| 黑人猛操日本美女一级片| 最近最新中文字幕大全免费视频| 国产不卡av网站在线观看| 欧美日韩亚洲高清精品| 亚洲精品第二区| 亚洲午夜精品一区,二区,三区| 国产免费视频播放在线视频| 亚洲精品国产色婷婷电影| 岛国毛片在线播放| 国产淫语在线视频| 嫩草影视91久久| 黑人操中国人逼视频| 久久国产精品人妻蜜桃| 午夜精品久久久久久毛片777| 视频区欧美日本亚洲| 精品人妻在线不人妻| 另类亚洲欧美激情| 欧美在线黄色| av免费在线观看网站| 少妇猛男粗大的猛烈进出视频| 在线av久久热| 肉色欧美久久久久久久蜜桃| 五月开心婷婷网| 免费在线观看完整版高清| 国产男女超爽视频在线观看| 免费观看人在逋| 亚洲欧美精品自产自拍| 成年人黄色毛片网站| 菩萨蛮人人尽说江南好唐韦庄| 日韩有码中文字幕| 日韩大片免费观看网站| 国产亚洲欧美精品永久| 国产成人啪精品午夜网站| 一本色道久久久久久精品综合| 丰满人妻熟妇乱又伦精品不卡| 亚洲中文日韩欧美视频| 色播在线永久视频| 9191精品国产免费久久| 久久精品国产综合久久久| 午夜免费鲁丝| 亚洲精品久久午夜乱码| 精品少妇久久久久久888优播| 91九色精品人成在线观看| 99久久99久久久精品蜜桃| 两性午夜刺激爽爽歪歪视频在线观看 | 色婷婷av一区二区三区视频| 国产麻豆69| 一本色道久久久久久精品综合| 大片电影免费在线观看免费| 久久影院123| 9191精品国产免费久久| 一本大道久久a久久精品| 日本撒尿小便嘘嘘汇集6| 日韩有码中文字幕| 午夜精品久久久久久毛片777| 这个男人来自地球电影免费观看| 欧美精品一区二区大全| 国产成人精品久久二区二区91| 亚洲一码二码三码区别大吗| 欧美精品人与动牲交sv欧美| 十八禁网站网址无遮挡| 日本精品一区二区三区蜜桃| 欧美黑人欧美精品刺激| 蜜桃在线观看..| 91精品三级在线观看| 宅男免费午夜| 99re6热这里在线精品视频| 国产欧美日韩精品亚洲av| 国产又色又爽无遮挡免| 精品国产一区二区三区四区第35| 无遮挡黄片免费观看| 日本欧美视频一区| 新久久久久国产一级毛片| 女人高潮潮喷娇喘18禁视频| 日韩欧美国产一区二区入口| 久久久久网色| 国产一区二区 视频在线| 中文欧美无线码| 女性生殖器流出的白浆| 三上悠亚av全集在线观看| 精品高清国产在线一区| 人人妻人人澡人人看| 国产一区二区三区在线臀色熟女 | 男人操女人黄网站| 欧美97在线视频| 97人妻天天添夜夜摸| 欧美国产精品一级二级三级| 中亚洲国语对白在线视频| 两个人免费观看高清视频| 侵犯人妻中文字幕一二三四区| 中国国产av一级| 热99re8久久精品国产| 黄片大片在线免费观看| 一区二区三区精品91| 69av精品久久久久久 | 日韩免费高清中文字幕av| 搡老熟女国产l中国老女人| 国产精品久久久久成人av| 色婷婷久久久亚洲欧美| 97人妻天天添夜夜摸| 五月天丁香电影| 精品久久久精品久久久| 99久久综合免费| 咕卡用的链子| 亚洲自偷自拍图片 自拍| 亚洲专区字幕在线| 岛国毛片在线播放| 在线观看免费视频网站a站| 高清视频免费观看一区二区| 在线精品无人区一区二区三| 亚洲中文av在线| 十八禁人妻一区二区| 亚洲免费av在线视频| 日日夜夜操网爽| 国产精品免费视频内射| 国产一区有黄有色的免费视频| 一二三四社区在线视频社区8| 亚洲黑人精品在线| 国产精品偷伦视频观看了| 久久天躁狠狠躁夜夜2o2o| 欧美日韩成人在线一区二区| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲欧美成人综合另类久久久| 中文字幕色久视频| 精品一区在线观看国产| av在线播放精品| 午夜91福利影院| 一级毛片精品| 精品久久蜜臀av无| 久久久国产成人免费| 久久精品人人爽人人爽视色| 精品一品国产午夜福利视频| 女人被躁到高潮嗷嗷叫费观| 少妇猛男粗大的猛烈进出视频| 大片电影免费在线观看免费| 男人操女人黄网站| 99精品久久久久人妻精品| 99国产综合亚洲精品| 亚洲成人免费av在线播放| 又黄又粗又硬又大视频| 黄色怎么调成土黄色| 国产精品免费大片| 国产一区二区在线观看av| 欧美精品一区二区免费开放| 99久久精品国产亚洲精品| 亚洲第一欧美日韩一区二区三区 | 女人爽到高潮嗷嗷叫在线视频| 欧美日韩av久久| 蜜桃国产av成人99| tube8黄色片| 久久久欧美国产精品| 亚洲久久久国产精品| 国产精品av久久久久免费| 亚洲av日韩在线播放| 丝袜人妻中文字幕| 日本vs欧美在线观看视频| 日本猛色少妇xxxxx猛交久久| 午夜福利视频精品| www日本在线高清视频| 黑人巨大精品欧美一区二区mp4| 老司机在亚洲福利影院| 纯流量卡能插随身wifi吗| 久久人人97超碰香蕉20202| 12—13女人毛片做爰片一| 欧美97在线视频| 国产一区二区三区综合在线观看| 亚洲av日韩在线播放| 麻豆国产av国片精品| 精品久久蜜臀av无| 啦啦啦在线免费观看视频4| 手机成人av网站| 黑人巨大精品欧美一区二区蜜桃| 午夜福利一区二区在线看| 视频区欧美日本亚洲| 国产精品成人在线| 成年女人毛片免费观看观看9 | 欧美日韩精品网址| 不卡av一区二区三区| 国产精品久久久久久精品电影小说| 99久久人妻综合| 亚洲精品美女久久av网站| 最近中文字幕2019免费版| 后天国语完整版免费观看| 91麻豆av在线| 午夜91福利影院| 日本欧美视频一区| 亚洲国产欧美一区二区综合| 中文字幕最新亚洲高清| 动漫黄色视频在线观看| 亚洲国产日韩一区二区| 久久影院123| 日日爽夜夜爽网站| 一级a爱视频在线免费观看| 国产日韩欧美亚洲二区| 国产av一区二区精品久久| 日韩三级视频一区二区三区| 狠狠狠狠99中文字幕| 大香蕉久久成人网| 人人妻人人澡人人看| 两个人看的免费小视频| 久久久久视频综合| 欧美另类亚洲清纯唯美| 亚洲精品成人av观看孕妇| 人人妻人人爽人人添夜夜欢视频| 别揉我奶头~嗯~啊~动态视频 | 老司机靠b影院| 久久国产精品大桥未久av| 大片电影免费在线观看免费| 黄网站色视频无遮挡免费观看| 国产一区二区激情短视频 | 一个人免费看片子| 日韩人妻精品一区2区三区| 色视频在线一区二区三区| 999久久久国产精品视频| 美女脱内裤让男人舔精品视频| 亚洲综合色网址| 又紧又爽又黄一区二区| 捣出白浆h1v1| 在线观看免费午夜福利视频| 国产亚洲精品一区二区www | 视频区图区小说| 精品卡一卡二卡四卡免费| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲美女黄色视频免费看| 日韩免费高清中文字幕av| 久久天堂一区二区三区四区| av福利片在线| 国产老妇伦熟女老妇高清| 人妻一区二区av| 日本撒尿小便嘘嘘汇集6| 久久人人爽人人片av| 人妻一区二区av| 爱豆传媒免费全集在线观看| 99热全是精品| 亚洲人成77777在线视频| 欧美另类亚洲清纯唯美| 热re99久久精品国产66热6| 亚洲一码二码三码区别大吗| 国产精品一区二区免费欧美 | 精品欧美一区二区三区在线| 一边摸一边做爽爽视频免费| 丝袜美腿诱惑在线| www.熟女人妻精品国产| 丝瓜视频免费看黄片| 亚洲av欧美aⅴ国产| 久久久久久久精品精品| 在线观看人妻少妇| 又大又爽又粗| 黑人操中国人逼视频| 午夜福利一区二区在线看| 免费在线观看黄色视频的| 国产老妇伦熟女老妇高清| 国产欧美日韩精品亚洲av| 国产精品亚洲av一区麻豆| 热re99久久精品国产66热6| 黄色视频,在线免费观看| 国产人伦9x9x在线观看| 国产精品影院久久| a在线观看视频网站| 女人爽到高潮嗷嗷叫在线视频| 91麻豆精品激情在线观看国产 | 久久精品久久久久久噜噜老黄| 精品久久久精品久久久| 成年动漫av网址| 亚洲五月婷婷丁香| 国产成人免费无遮挡视频| 伊人久久大香线蕉亚洲五| 最近最新中文字幕大全免费视频| 啦啦啦中文免费视频观看日本| 国产欧美日韩一区二区三 | 久久综合国产亚洲精品| 一级黄色大片毛片| 亚洲视频免费观看视频| 99香蕉大伊视频| 免费在线观看视频国产中文字幕亚洲 | 欧美黑人欧美精品刺激| 精品一区二区三区四区五区乱码| 欧美日韩国产mv在线观看视频| 免费观看av网站的网址| 人人妻人人澡人人爽人人夜夜| 亚洲国产毛片av蜜桃av| 精品人妻在线不人妻| 国产成人一区二区三区免费视频网站| 美女福利国产在线| kizo精华| 一本色道久久久久久精品综合| 激情视频va一区二区三区| 水蜜桃什么品种好| 99精品欧美一区二区三区四区| 国产高清videossex| 在线观看一区二区三区激情| 亚洲欧美精品自产自拍| 久久久久久久精品精品| 久久久久久久大尺度免费视频| 蜜桃在线观看..| 日韩大码丰满熟妇| 一本色道久久久久久精品综合| 亚洲va日本ⅴa欧美va伊人久久 | 亚洲国产欧美日韩在线播放| 亚洲精品粉嫩美女一区| 亚洲国产欧美在线一区| 极品少妇高潮喷水抽搐| 国产成人一区二区三区免费视频网站| 国产无遮挡羞羞视频在线观看| 国产成人精品久久二区二区91| 99九九在线精品视频| 热99久久久久精品小说推荐| 日韩制服骚丝袜av| 狂野欧美激情性bbbbbb| 欧美xxⅹ黑人| 亚洲欧美一区二区三区久久| 久久久久精品人妻al黑| 777米奇影视久久| 黑人巨大精品欧美一区二区蜜桃| 桃红色精品国产亚洲av| 久久精品亚洲熟妇少妇任你| 亚洲成av片中文字幕在线观看| 大码成人一级视频| 亚洲欧美日韩另类电影网站| 成在线人永久免费视频| 亚洲欧洲精品一区二区精品久久久| 精品亚洲成a人片在线观看| 免费人妻精品一区二区三区视频| 99国产精品一区二区三区| 在线天堂中文资源库| 国产成人啪精品午夜网站| 国产在线一区二区三区精| tocl精华| 777久久人妻少妇嫩草av网站| 香蕉丝袜av| 亚洲成人手机| 欧美日本中文国产一区发布| 亚洲av电影在线观看一区二区三区| 精品一品国产午夜福利视频| 国产一区二区在线观看av| 建设人人有责人人尽责人人享有的| 男女下面插进去视频免费观看| 国产高清国产精品国产三级| 搡老岳熟女国产| bbb黄色大片| 亚洲中文字幕日韩| 亚洲七黄色美女视频| 亚洲成人手机| 久久中文字幕一级| 免费在线观看日本一区| 久久av网站| 黄色a级毛片大全视频| 欧美日本中文国产一区发布| 亚洲成人手机| 99国产综合亚洲精品| 一级毛片女人18水好多| 国产精品久久久av美女十八| 精品国产一区二区久久| 久久久精品区二区三区| 欧美精品人与动牲交sv欧美| 女人爽到高潮嗷嗷叫在线视频| 黑丝袜美女国产一区| 国产亚洲精品一区二区www | 欧美 亚洲 国产 日韩一| 90打野战视频偷拍视频| 国产成人av激情在线播放| 91麻豆精品激情在线观看国产 | 国产成人免费无遮挡视频| 国产精品九九99| 国产av国产精品国产| 国产伦理片在线播放av一区| 精品第一国产精品| 一个人免费看片子| 精品久久蜜臀av无| 91成人精品电影| 精品国产一区二区久久| 老汉色∧v一级毛片| a在线观看视频网站| 亚洲专区国产一区二区| 伊人亚洲综合成人网| 久久精品亚洲熟妇少妇任你| 交换朋友夫妻互换小说| 不卡av一区二区三区| 欧美日韩亚洲综合一区二区三区_| 一本久久精品| 日本a在线网址| 国产精品99久久99久久久不卡| 最近最新免费中文字幕在线| 亚洲欧美精品综合一区二区三区| 国产亚洲精品久久久久5区| 亚洲欧美一区二区三区久久| 91成年电影在线观看| 久久国产亚洲av麻豆专区| 国产三级黄色录像| 精品久久久精品久久久| 免费观看av网站的网址| 亚洲va日本ⅴa欧美va伊人久久 | 两性夫妻黄色片| 亚洲熟女毛片儿| 老鸭窝网址在线观看| 亚洲一区中文字幕在线| 欧美精品人与动牲交sv欧美| 五月天丁香电影| 久久人妻熟女aⅴ| 99国产精品一区二区三区| 免费观看av网站的网址| 在线 av 中文字幕| 天天操日日干夜夜撸| 夜夜骑夜夜射夜夜干| 狠狠婷婷综合久久久久久88av| 亚洲专区字幕在线| 成年美女黄网站色视频大全免费| 精品高清国产在线一区| videosex国产| 国产免费视频播放在线视频| 成年人免费黄色播放视频| 欧美大码av| a级片在线免费高清观看视频| 欧美少妇被猛烈插入视频| 啦啦啦免费观看视频1| 色综合欧美亚洲国产小说| 精品国产一区二区三区四区第35| 亚洲精品乱久久久久久| 国产成人系列免费观看| 91麻豆av在线| 国产精品香港三级国产av潘金莲| 亚洲av男天堂| 亚洲国产毛片av蜜桃av| 中文精品一卡2卡3卡4更新| 精品国产一区二区三区四区第35| 大片电影免费在线观看免费| 91成人精品电影| 亚洲第一欧美日韩一区二区三区 | 欧美大码av| 99精品欧美一区二区三区四区| 国产成人av激情在线播放| 啦啦啦 在线观看视频| 久久国产亚洲av麻豆专区| 免费高清在线观看日韩| 夜夜骑夜夜射夜夜干| 国产成人精品久久二区二区91| 男人爽女人下面视频在线观看| 纵有疾风起免费观看全集完整版| 亚洲精品一卡2卡三卡4卡5卡 | 2018国产大陆天天弄谢| 久久久精品免费免费高清| 欧美久久黑人一区二区| 岛国毛片在线播放|