• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人機(jī)協(xié)同的敏捷教育建模及實(shí)踐應(yīng)用

    2021-08-23 02:05:04鄭勤華郭利明
    關(guān)鍵詞:人機(jī)協(xié)同人工智能

    鄭勤華 郭利明

    摘要:將教育理論模型轉(zhuǎn)為可操作的數(shù)據(jù)模型是智能技術(shù)支持教與學(xué)變革的關(guān)鍵。多場景、多維度的教育教學(xué)要素主體的可測度問題是破解教育建模問題的重心,其與目前人工智能技術(shù)的局限共同決定了人機(jī)協(xié)同是教育建模的必然之路。人機(jī)協(xié)同的教育建模是一個(gè)敏捷的教育建模流程,是充分整合領(lǐng)域?qū)<抑腔叟c機(jī)器智能優(yōu)勢以構(gòu)建教育模型的過程,重點(diǎn)在于將教育建模所需要的多方主體力量進(jìn)行歸一化統(tǒng)整,形成合力。其流程大致可以分為梳理建模目標(biāo)、確定教育目標(biāo)類型、選取指標(biāo)或特征提取、調(diào)節(jié)參數(shù)、訓(xùn)練與建模、數(shù)據(jù)科學(xué)驗(yàn)證、真實(shí)教育場景可用性驗(yàn)證7個(gè)階段。然而,以敏捷教育建模理念為指導(dǎo),進(jìn)而輸出教育模型服務(wù)的過程中,還需解決連接領(lǐng)域?qū)<液图夹g(shù)專家知識的“中間件”問題。鑒于此種思路,人機(jī)增強(qiáng)智能支持下的敏捷教育建模平臺DMTS應(yīng)運(yùn)而生,旨在結(jié)合專家的領(lǐng)域知識、經(jīng)驗(yàn)、理論和機(jī)器的數(shù)據(jù)、算法、算力優(yōu)勢,快速構(gòu)建能真正理解教育場景的可解釋教育模型,為微觀個(gè)體學(xué)習(xí)、中觀學(xué)校管理以及宏觀區(qū)域教育治理提供科學(xué)且可操作的模型服務(wù)。實(shí)踐表明,整合領(lǐng)域?qū)<液蜋C(jī)器學(xué)習(xí)的教育建模支撐技術(shù)體系,能夠?yàn)榻逃ぷ髡吆图夹g(shù)工作者搭建教育建模的生產(chǎn)系統(tǒng),從而為我國教育領(lǐng)域人工智能技術(shù)的深層次應(yīng)用提供支持和借鑒。

    關(guān)鍵詞:人工智能;人機(jī)協(xié)同;教育建模;教育模型;DMTS

    中圖分類號:G434? ?文獻(xiàn)標(biāo)識碼:A? ? 文章編號:1009-5195(2021)04-0043-08? doi10.3969/j.issn.1009-5195.2021.04.005

    基金項(xiàng)目:科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目“混合增強(qiáng)在線教育關(guān)鍵技術(shù)與系統(tǒng)研究”(2020AAA0108804);北京師范大學(xué)2020—2021學(xué)年博一學(xué)科交叉基金項(xiàng)目“多模態(tài)數(shù)據(jù)支持的在線學(xué)習(xí)情感投入建模與應(yīng)用研究”(BNUXKJC2004)。

    作者簡介:鄭勤華,博士,教授,博士生導(dǎo)師,北京師范大學(xué)遠(yuǎn)程教育研究中心(北京 100875);郭利明,博士研究生,北京師范大學(xué)遠(yuǎn)程教育研究中心(北京 100875)。

    一、引言

    隨著我國經(jīng)濟(jì)和社會(huì)的持續(xù)快速發(fā)展,教育的變革與創(chuàng)新成為國家下一階段發(fā)展的重中之重?!吨腥A人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》把發(fā)展高質(zhì)量教育納入規(guī)劃當(dāng)中,提出要建設(shè)高質(zhì)量教育體系(新華社,2021)。實(shí)際上,近年來一系列的政策文件都對高質(zhì)量教育體系建設(shè)的多個(gè)維度進(jìn)行了重要闡述,比如《深化新時(shí)代教育評價(jià)改革總體方案》提出“改進(jìn)結(jié)果評價(jià),強(qiáng)化過程評價(jià),探索增值評價(jià),健全綜合評價(jià),充分利用信息技術(shù),提高教育評價(jià)的科學(xué)性、專業(yè)性、客觀性”,同時(shí)改革黨委和政府、學(xué)校、教師、學(xué)生以及用人的評價(jià)(新華社,2020);《義務(wù)教育質(zhì)量評價(jià)指南》提出義務(wù)教育質(zhì)量評價(jià)包括縣域、學(xué)校、學(xué)生三個(gè)層面,即縣域義務(wù)教育質(zhì)量評價(jià)、學(xué)校辦學(xué)質(zhì)量評價(jià)以及學(xué)生發(fā)展質(zhì)量評價(jià),三者緊緊圍繞貫徹黨的教育方針,以促進(jìn)學(xué)生全面發(fā)展為目標(biāo),各有側(cè)重、相互銜接、內(nèi)在統(tǒng)一,構(gòu)成完整的義務(wù)教育質(zhì)量評價(jià)體系(教育部,2021)。顯然,從國家頒布的重大政策文件中可以看出教育改革發(fā)展的方向,即當(dāng)前我國教育改革的基本主線是促進(jìn)公平和提高質(zhì)量,未來教育改革的重心是建設(shè)高質(zhì)量的教育體系(薛二勇等,2021)。而信息技術(shù)助力乃至部分引領(lǐng)該體系的建立,成為教育信息化領(lǐng)域的重大使命。2020年12月7日,國際人工智能與教育大會(huì)上,教育部部長陳寶生提出在應(yīng)用新技術(shù)上著力,推動(dòng)教育教學(xué)方法創(chuàng)新,探索運(yùn)用新技術(shù)開展多元化、過程化評價(jià)(教育部,2020)。

    建設(shè)高質(zhì)量教育體系需要從質(zhì)量觀、質(zhì)量標(biāo)準(zhǔn)、質(zhì)量要素與質(zhì)量指標(biāo)等方面對教育教學(xué)的主體、過程以及結(jié)果要素進(jìn)行清晰而準(zhǔn)確的定位,并且這種定位要具有政策的指導(dǎo)性、理論的科學(xué)性、實(shí)踐的可行性,方能真正支持高質(zhì)量教育體系的構(gòu)建。這是一項(xiàng)系統(tǒng)化的工程,需要研究者與實(shí)踐者緊貼國家政策導(dǎo)向,選擇適切教育理論,進(jìn)而開展技術(shù)工程實(shí)踐,最后輸出教育服務(wù),推動(dòng)實(shí)現(xiàn)政策、理論、工程以及服務(wù)的一體化發(fā)展。這當(dāng)中教育模型起著“中間橋梁”的重要作用,它將政策、理論與技術(shù)研發(fā)、實(shí)踐服務(wù)進(jìn)行銜接,使得概念、理論等能夠在信息技術(shù)的支撐下轉(zhuǎn)化成具體的可操作實(shí)踐。

    然而,雖然技術(shù)發(fā)展迅速,但由于目前人工智能的智能性還尚未達(dá)到理想的程度,再加上有些教育要素難以量化,甚至有些教育目標(biāo)根本沒有明確的評價(jià)規(guī)則(鄭勤華等,2019)(如創(chuàng)新思維能力包含哪些維度?這些維度如何確定?各維度中包含哪些要素?),導(dǎo)致目前純粹從數(shù)據(jù)科學(xué)和計(jì)算機(jī)科學(xué)的角度開展模型構(gòu)建還存在一定困難。人工智能技術(shù)的教育應(yīng)用,始于對學(xué)習(xí)者發(fā)展規(guī)律的認(rèn)識,需要教育學(xué)、心理學(xué)、腦科學(xué)、系統(tǒng)科學(xué)等多學(xué)科協(xié)同探索,構(gòu)建出清晰的評量、匹配、干預(yù)規(guī)則,進(jìn)而整合領(lǐng)域知識與機(jī)器學(xué)習(xí)構(gòu)建模型體系。因此,人機(jī)協(xié)同是教育模型構(gòu)建的必由之路?;诖耍狙芯苛⒆阌谥悄軙r(shí)代背景,深度探討人機(jī)如何協(xié)同以構(gòu)建教育模型、人機(jī)協(xié)同構(gòu)建的教育模型如何在實(shí)踐中應(yīng)用以及解決什么樣的教育問題,期望能夠?yàn)橥苿?dòng)人工智能的深層次教育應(yīng)用、促進(jìn)我國人工智能教育的發(fā)展提供參考。

    二、教育建模的內(nèi)涵與外延

    建模,即建立模型。智能時(shí)代背景下,教育領(lǐng)域所談及的模型更多是指諸如數(shù)學(xué)模型、結(jié)構(gòu)模型等在內(nèi)的虛擬模型類型,是電子數(shù)據(jù)通過數(shù)字表現(xiàn)形式構(gòu)成的形體及其他實(shí)效性表現(xiàn)(王薇等,2021)。從這個(gè)層面上講,教育建模不是指將紛繁復(fù)雜的教育過程簡化為一種教育模式,因?yàn)檫@種教育模式既無實(shí)踐的解釋力也無實(shí)踐的指導(dǎo)力,不具有解釋力和指導(dǎo)力的建模是失敗的建模(楊開城等,2020)。本研究認(rèn)為,教育建模是從教育學(xué)、心理學(xué)、學(xué)習(xí)科學(xué)的理論和規(guī)律出發(fā),基于教育教學(xué)過程中產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),利用各類算法綜合解讀教育要素主體的模式化和數(shù)據(jù)化的過程,是從教育場景出發(fā)的理論建模與數(shù)據(jù)建模相結(jié)合的建構(gòu)過程。

    理論模型是將教育問題的相關(guān)主體要素(如學(xué)生的學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)風(fēng)格、學(xué)習(xí)投入、學(xué)習(xí)態(tài)度等,教師的教學(xué)投入、教學(xué)成效、教學(xué)策略,以及學(xué)校的教育資源、教育水平等教育教學(xué)相關(guān)變量)進(jìn)行提煉,形成多維結(jié)構(gòu)化的體系。理論模型構(gòu)建一般依賴于理論演繹法和專家訪談法,自上而下挖掘不同維度的信息?;镜慕?gòu)流程為:首先需要確定模型類型(如是層次分析模型還是規(guī)律探索模型等),然后通過理論演繹等方式確定模型下的不同維度,最后需要通過專家評估等方式為每個(gè)維度選擇合適的指標(biāo),確保每一個(gè)維度之下的不同指標(biāo)具有代表性和可操作性。因此,一個(gè)理論模型在結(jié)構(gòu)上會(huì)包含多個(gè)維度,每個(gè)維度下會(huì)包含多個(gè)指標(biāo)。比如本研究團(tuán)隊(duì)在開發(fā)學(xué)生綜合評價(jià)參考模型(Student-Systematically Evaluation Reference Indicator,S-SERI)時(shí)便是從理論模型入手,通過理論演繹和專家訪談得到了包含投入度、完成度、主動(dòng)性、調(diào)控度以及聯(lián)通度等5個(gè)維度若干指標(biāo)的理論模型(鄭勤華等,2016a)。

    數(shù)據(jù)模型是對理論模型進(jìn)行操作化處理,為理論模型的指標(biāo)找到可測量、可計(jì)算的數(shù)據(jù)指標(biāo),提煉出相應(yīng)的數(shù)學(xué)結(jié)構(gòu),進(jìn)而為應(yīng)用模型進(jìn)行量化評估提供參考和依據(jù)。數(shù)據(jù)模型構(gòu)建與理論模型構(gòu)建的出發(fā)點(diǎn)往往相反,一般自下而上,從數(shù)據(jù)出發(fā),結(jié)合傳統(tǒng)量化研究的系列方法,以及人工智能領(lǐng)域的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法,以求獲得一個(gè)解釋相應(yīng)教育要素的數(shù)學(xué)方程,比如利用貝葉斯算法對知識點(diǎn)掌握情況的探究(李景奇等,2018),利用認(rèn)知網(wǎng)絡(luò)分析對交互水平的分析(馬志強(qiáng)等,2020),基于神經(jīng)網(wǎng)絡(luò)分析學(xué)生的情緒水平(Zhang et al.,2017;陳子健等,2019),利用序列分析對學(xué)生學(xué)習(xí)路徑的探討(Wu et al.,2015;胡丹妮等,2019),等等。

    建模是從內(nèi)部邏輯分析教育問題的最好方式。教育建模是對教育問題的真切表達(dá),而且表達(dá)的是一種真相性事實(shí),這種真相性事實(shí)必然與現(xiàn)實(shí)有著某種聯(lián)系。因此,從根源上講,教育模型是能夠操作且能夠用于計(jì)算的。然而教育建模具有典型的復(fù)雜系統(tǒng)特征,既有的教育理論和教育規(guī)律,往往從社會(huì)科學(xué)的角度建立概念框架對人的發(fā)展進(jìn)行解讀,據(jù)此構(gòu)建的理論模型在信息化實(shí)踐應(yīng)用中難以落地;既有的數(shù)據(jù)模型,往往又缺失了系統(tǒng)性的教育理論支持。因此,教育建模不僅要關(guān)注理念化的流程與策略化的描述,同時(shí)更要關(guān)注可測量、可計(jì)算的數(shù)據(jù)指標(biāo),只有二者的結(jié)合才算是一個(gè)成功的建模。

    在智能時(shí)代復(fù)雜多變的教育情境下,成功的教育建模離不開人機(jī)協(xié)同,畢竟個(gè)體無法通曉機(jī)器算法與掌握機(jī)器算力,機(jī)器也無法完全理解與明白領(lǐng)域知識。這正是教育建模概念在當(dāng)下的外延所在。比如要對教師在線教學(xué)質(zhì)量成效進(jìn)行評價(jià),就需要人機(jī)協(xié)同構(gòu)建一個(gè)評價(jià)模型。首先,依據(jù)教育專家的知識和經(jīng)驗(yàn),構(gòu)建教學(xué)的投入、促進(jìn)、調(diào)控以及認(rèn)可等一級維度(粗粒度指標(biāo)),并初步構(gòu)建能反映一級維度的二級行為指標(biāo)(如投入度是從活躍性、持續(xù)性等方面對教師的在線教學(xué)投入程度進(jìn)行評價(jià))。然后,基于多源在線教學(xué)數(shù)據(jù),教育專家對所獲得的數(shù)據(jù)指標(biāo)進(jìn)行人工標(biāo)注,形成教師評價(jià)經(jīng)驗(yàn)數(shù)據(jù)池,機(jī)器采用主動(dòng)學(xué)習(xí)方法對已標(biāo)注的數(shù)據(jù)指標(biāo)進(jìn)行訓(xùn)練,得到新的數(shù)據(jù)指標(biāo)并補(bǔ)充到教育專家構(gòu)建的指標(biāo)體系中,實(shí)現(xiàn)粗粒度指標(biāo)向細(xì)粒度指標(biāo)的拓展和細(xì)化;在此基礎(chǔ)之上,機(jī)器采用神經(jīng)網(wǎng)絡(luò)算法初步建立細(xì)粒度指標(biāo)與粗粒度高階指標(biāo)的映射關(guān)系,并對映射關(guān)系質(zhì)量的判斷設(shè)置置信度,保留高置信度的映射關(guān)系,由教育專家對低置信度的映射關(guān)系進(jìn)行判斷,決定是否保留該映射關(guān)系。最后,采用強(qiáng)化學(xué)習(xí)方法實(shí)現(xiàn)對細(xì)粒度指標(biāo)的篩選與聚合,以此形成可解釋、可操作的教師在線教學(xué)質(zhì)量成效評價(jià)模型。

    三、人機(jī)協(xié)同的教育建模流程

    人機(jī)協(xié)同系統(tǒng)正在全面滲入人類的工作與生活,社會(huì)正快速地人機(jī)協(xié)同化(蔡連玉等,2021),教育領(lǐng)域也不例外。人工智能的邏輯性與教育利益相關(guān)者的靈活性相結(jié)合,共同實(shí)現(xiàn)為教育增知增智(祝智庭等,2021)。隨著教育的不斷發(fā)展,教育問題呈現(xiàn)多樣化趨勢,教育建模實(shí)質(zhì)就是將多樣化的教育問題依據(jù)實(shí)際教育場景轉(zhuǎn)化為數(shù)據(jù)化的結(jié)構(gòu)模型,從而能更有針對性地提供解決方案。因此,本研究認(rèn)為,教育建模需要以真實(shí)的教育問題為切入點(diǎn),通過借助專家智慧和機(jī)器智能,將不同類型的教育問題梳理成特定的描述、診斷、預(yù)測、干預(yù)的教育建模目標(biāo),進(jìn)而開展人機(jī)協(xié)同的教育建模,具體建模流程如圖1所示。人腦圖標(biāo)的環(huán)節(jié)是以人類智慧為核心的建模要素,機(jī)器圖標(biāo)的環(huán)節(jié)是以機(jī)器智能為重點(diǎn)的建模要素??梢钥闯?,整個(gè)建模流程是人機(jī)協(xié)同完成對教育要素的理論和數(shù)據(jù)建模。所有建模的出發(fā)點(diǎn)都是圍繞教育實(shí)際應(yīng)用的場景。在真實(shí)的教育應(yīng)用場景中,建模問題一般可以梳理為兩類:一類是已經(jīng)在教育學(xué)、心理學(xué)或者學(xué)習(xí)科學(xué)等領(lǐng)域有了比較明確的理論體系,并且在已有研究成果中形成了標(biāo)準(zhǔn)的測量目標(biāo),比如學(xué)習(xí)風(fēng)格、學(xué)習(xí)路徑、知識掌握水平等;另一類是尚未形成有扎實(shí)理論體系和公信力的測量目標(biāo),但又是新的發(fā)展時(shí)期教育特別關(guān)注且對未來發(fā)展十分重要的新型目標(biāo),比如核心素養(yǎng)體系、能力體系等。兩類目標(biāo)的建模方式有著明顯的不同。

    1.易測量目標(biāo)的教育建模

    有著清晰、明確、可量化標(biāo)準(zhǔn)的教育目標(biāo)更容易建立機(jī)器規(guī)則,其所對應(yīng)的教育教學(xué)環(huán)節(jié)是目前人工智能在教育應(yīng)用中的主要場景,其中典型的代表是以發(fā)展學(xué)生知識習(xí)得水平的教育目標(biāo)?;谠撃繕?biāo),有研究通過采集學(xué)習(xí)者學(xué)習(xí)行為海量過程數(shù)據(jù),設(shè)計(jì)開發(fā)學(xué)習(xí)者學(xué)業(yè)預(yù)警系統(tǒng)(Arnold et al.,2012);也有研究通過采集學(xué)習(xí)者答題數(shù)據(jù),并基于領(lǐng)域?qū)<覙?biāo)注的學(xué)科知識圖譜,判斷其知識掌握程度,以此形成個(gè)性化的習(xí)題推薦系統(tǒng)等(Piech et al.,2015)。這類教育目標(biāo)已經(jīng)在教育教學(xué)領(lǐng)域建立了以分?jǐn)?shù)、正確率、百分比等標(biāo)準(zhǔn)化測試成績?yōu)榱炕瘶?biāo)準(zhǔn)的評價(jià)。

    首先,在領(lǐng)域知識范疇,已經(jīng)建立了對特定目標(biāo)的多維度理論模型,教育專家首先要做的就是選取可測量目標(biāo)各維度的數(shù)據(jù)指標(biāo)集合,測量該目標(biāo)的不同維度。這里的數(shù)據(jù)指標(biāo)集合是在教育教學(xué)流程中生成的各類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過基本的測算后形成的指標(biāo)池,比如將學(xué)生登錄平臺的數(shù)據(jù)換算成日均登錄時(shí)長等原子指標(biāo),在此基礎(chǔ)上,形成抽象為特定教育要素的基本數(shù)據(jù)指標(biāo)體系(如將日均登錄時(shí)長、視頻訪問次數(shù)、作業(yè)次數(shù)等聚合成學(xué)生日常學(xué)習(xí)投入指標(biāo)等)。如果教育專家在具體建模時(shí)認(rèn)為某個(gè)特定目標(biāo)維度是學(xué)生的日常學(xué)習(xí)投入,則可以直接將該指標(biāo)引入下一步建模。

    其次,在特定維度計(jì)算已經(jīng)明晰的前提下,依據(jù)具體的教育應(yīng)用場景,教育專家可以調(diào)節(jié)該目標(biāo)不同維度的指標(biāo)權(quán)重。易測量教育目標(biāo)維度指標(biāo)權(quán)重設(shè)定的常用方法包括專家人工賦權(quán)的層次分析法與算法賦權(quán)的熵權(quán)法等。教育專家可以根據(jù)實(shí)際需要和數(shù)據(jù)體系的支撐能力,靈活調(diào)節(jié)權(quán)重,形成初步的計(jì)算模型。

    最后,基于目標(biāo)的海量測量數(shù)據(jù)和指標(biāo)權(quán)重的確定,機(jī)器發(fā)揮算力、算法等作用對該可測量目標(biāo)不斷進(jìn)行訓(xùn)練與建模,并通過建模之初預(yù)留的測試集數(shù)據(jù),對該模型進(jìn)行數(shù)據(jù)科學(xué)驗(yàn)證。若數(shù)據(jù)科學(xué)驗(yàn)證通過,則最終嵌入日常的教育應(yīng)用中。教育專家通過在真實(shí)的教育情境中應(yīng)用該模型以驗(yàn)證其可用性,進(jìn)而針對教育問題提供相應(yīng)的教育教學(xué)服務(wù)。若數(shù)據(jù)科學(xué)驗(yàn)證不通過,則返回參數(shù)調(diào)節(jié),教育專家根據(jù)真實(shí)的教育情境調(diào)節(jié)目標(biāo)不同維度的指標(biāo)權(quán)重,機(jī)器再進(jìn)行訓(xùn)練與建模,直至通過機(jī)器的數(shù)據(jù)科學(xué)驗(yàn)證為止。

    2.難測度目標(biāo)的教育建模

    在教育實(shí)際應(yīng)用場景中,還有一類建模目標(biāo)目前沒有清晰的可量化規(guī)則,例如元認(rèn)知能力、自我管理能力、學(xué)習(xí)能力、創(chuàng)新能力等。這類目標(biāo)以往需要通過開發(fā)問卷測試工具或者主觀觀測等方式進(jìn)行測量,但這些問卷和觀測指標(biāo)還無法量化成機(jī)器所能理解的規(guī)則。因此,對于這類教育目標(biāo),如果要實(shí)現(xiàn)人工智能的自動(dòng)化教育應(yīng)用,就需要對原始要素體系中的測量指標(biāo)進(jìn)行量化操作。

    首先,教育專家采用理論演繹、專家訪談等方法對難測度目標(biāo)進(jìn)行領(lǐng)域知識理論模型構(gòu)建,包括該類目標(biāo)的多級維度劃分、可測量指標(biāo)的數(shù)據(jù)等。這一階段,由于教育目標(biāo)難測度,獲取指標(biāo)因變量的值較為困難,因此往往采用無監(jiān)督機(jī)器學(xué)習(xí)方法,對數(shù)據(jù)指標(biāo)進(jìn)行分析。要完成這種分析,需要先將專家知識通過某種方式傳授給機(jī)器,再由機(jī)器完成教育專家所不能夠完成的整合分析(鄭勤華等,2016a)。比如分析學(xué)習(xí)者的活躍度這一指標(biāo)可以找到在線時(shí)長、登錄次數(shù)等特征數(shù)據(jù)進(jìn)行表征。為充分發(fā)揮人機(jī)協(xié)同作用,可以先由教育專家為不同活躍水平的學(xué)習(xí)者打上標(biāo)簽,再由機(jī)器對各類活躍水平的學(xué)習(xí)者進(jìn)行聚類等分析。

    其次,經(jīng)歷過理論建模之后,通過教育特征提取和數(shù)據(jù)指標(biāo)特征提取兩種方式,教育專家可以再構(gòu)建新知識算法模型。其中,教育特征提取是教育專家依據(jù)教育領(lǐng)域知識來人工選取能夠反映該類目標(biāo)不同維度的特征變量,指標(biāo)特征提取是機(jī)器采用有監(jiān)督機(jī)器學(xué)習(xí)對該類目標(biāo)不同維度之下的相應(yīng)數(shù)據(jù)指標(biāo)特征進(jìn)行提取。需要說明的是,進(jìn)行特征變量選取的原因是不相關(guān)的變量會(huì)對模型訓(xùn)練產(chǎn)生干擾,而且有可能會(huì)使得訓(xùn)練出來的模型過擬合。另外在數(shù)據(jù)量越來越多的情況下,過多的變量會(huì)降低模型的訓(xùn)練和計(jì)算效率。

    最后,基于測試數(shù)據(jù),機(jī)器驗(yàn)證新知識算法模型。若通過驗(yàn)證,則嵌入日常教育應(yīng)用進(jìn)行可用性驗(yàn)證;若不通過驗(yàn)證,則教育專家依據(jù)具體的教育情境調(diào)節(jié)目標(biāo)不同維度的指標(biāo)權(quán)重,機(jī)器再進(jìn)行訓(xùn)練與建模,直至通過機(jī)器的數(shù)據(jù)科學(xué)驗(yàn)證為止。

    總體來看,圍繞教育問題,梳理教育建模目標(biāo),進(jìn)而開展人機(jī)協(xié)同的教育建模,有以下三點(diǎn)值得注意:

    第一,關(guān)于可測量教育目標(biāo)指標(biāo)集合的選取。這里涉及指標(biāo)計(jì)算的方式,具體步驟為:(1)基于獲取的教育大數(shù)據(jù)(包含教、學(xué)、管、評、測等線上線下的數(shù)據(jù)),教育專家對反映該測量目標(biāo)的數(shù)據(jù)進(jìn)行人工標(biāo)注,形成人工標(biāo)注的數(shù)據(jù)集;(2)采用有監(jiān)督的機(jī)器學(xué)習(xí)方法(比如人工神經(jīng)網(wǎng)絡(luò))來獲得指標(biāo)因變量的值;(3)基于有監(jiān)督的機(jī)器學(xué)習(xí)進(jìn)行聚類等分析后,教育專家梳理匯聚成原子指標(biāo)池,用于存放最初始的數(shù)據(jù)指標(biāo);(4)結(jié)合可測量目標(biāo)的不同維度需要,從原子指標(biāo)池中調(diào)用數(shù)據(jù)指標(biāo),并對指標(biāo)進(jìn)行計(jì)算(如對兩個(gè)單一指標(biāo)進(jìn)行計(jì)算轉(zhuǎn)化形成復(fù)合指標(biāo)),進(jìn)而形成數(shù)據(jù)指標(biāo)集合。

    第二,關(guān)于難測度教育目標(biāo)指標(biāo)特征提取。先由領(lǐng)域?qū)<疫x擇該難測度目標(biāo)的人工標(biāo)注數(shù)據(jù)集,再經(jīng)有監(jiān)督的機(jī)器學(xué)習(xí)進(jìn)行分析,進(jìn)而梳理生成原子指標(biāo)池,再根據(jù)需要對指標(biāo)進(jìn)行計(jì)算,最后為機(jī)器的指標(biāo)特征提取服務(wù)。

    第三,關(guān)于新知識算法模型生成。在訓(xùn)練與建模階段,當(dāng)數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜的時(shí)候,機(jī)器采用深度學(xué)習(xí)算法來自動(dòng)識別特征變量,從大規(guī)模未標(biāo)注的數(shù)據(jù)集中學(xué)習(xí)數(shù)據(jù)本質(zhì)特征(鄭勤華等,2016b),教育專家進(jìn)而可以構(gòu)建新知識算法模型。這一階段,經(jīng)過深度學(xué)習(xí),數(shù)據(jù)從無序變成有序,從無標(biāo)注變成有標(biāo)注,最終也能服務(wù)于數(shù)據(jù)指標(biāo)計(jì)算,為教育建模目標(biāo)的指標(biāo)集選取和指標(biāo)特征提取奠定基礎(chǔ)。另外,新知識算法生成模型也需要經(jīng)數(shù)據(jù)科學(xué)驗(yàn)證方可嵌入日常的教育應(yīng)用中,否則就要重新依據(jù)具體的教育情境調(diào)整目標(biāo)不同維度的指標(biāo)權(quán)重,進(jìn)而進(jìn)行模型訓(xùn)練與建模。

    整體而言,人機(jī)協(xié)同的教育建模是一個(gè)敏捷化的教育建模流程,大致可以分為梳理建模目標(biāo)、確定教育目標(biāo)類型、選取指標(biāo)或特征提取、調(diào)節(jié)參數(shù)、訓(xùn)練與建模、數(shù)據(jù)科學(xué)驗(yàn)證、真實(shí)教育場景可用性驗(yàn)證7個(gè)階段。敏捷教育建模是充分整合領(lǐng)域?qū)<抑腔叟c機(jī)器智能優(yōu)勢以構(gòu)建教育模型的過程,重點(diǎn)在于將教育建模所需要的多方主體力量進(jìn)行歸一化統(tǒng)整,形成合力,突破傳統(tǒng)教育建模主體力量單一化(如數(shù)據(jù)工程師、算法工程師)的局限,解決傳統(tǒng)教育建模成本高、難度大、模型解釋力度不足等現(xiàn)實(shí)問題。相對于傳統(tǒng)依托單一化主體力量對教育進(jìn)行建模的方式,敏捷教育建模應(yīng)對真實(shí)教育場景的解釋性較強(qiáng),并且具有成本低、難度較低、易操作且可操作等典型特征。

    然而,以敏捷教育建模理念為指導(dǎo)進(jìn)而輸出教育模型服務(wù)的過程中還需解決一個(gè)關(guān)鍵問題,即通過什么樣的載體來連接在敏捷教育建模過程中發(fā)揮作用的教育專家與技術(shù)專家。為了讓二者優(yōu)勢互補(bǔ)、相互促進(jìn)、形成整體,需要有一個(gè)“中間件”來連接二者,并沉淀二者的領(lǐng)域知識,讓不懂技術(shù)或不懂教育的人依托這個(gè)“中間件”都能夠構(gòu)建基于真實(shí)教育場景的可解釋性模型。

    四、敏捷教育建模實(shí)踐應(yīng)用

    教育是一個(gè)非常復(fù)雜的系統(tǒng),完全依靠機(jī)器解決教育實(shí)踐問題目前還只是理想狀態(tài)。但是,依托機(jī)器的數(shù)據(jù)、算力和算法來延伸人們的認(rèn)知、提升人們的能力、增強(qiáng)人們的智慧已經(jīng)成為了一種共識,這能幫助人們在教育場景更好地理解教育本身,進(jìn)而更好地為教育問題提供解決方案。通過借鑒此種思路,并完全融合上述人機(jī)協(xié)同的教育建模流程,本研究團(tuán)隊(duì)設(shè)計(jì)研發(fā)了人機(jī)增強(qiáng)智能支持下的敏捷教育建模平臺,并針對真實(shí)的小范圍教育場景開展了實(shí)踐。

    1.敏捷教育建模平臺——DMTS

    為了解決教育目標(biāo)可測量、難測度兩類教育場景的教育建模問題,我們充分結(jié)合領(lǐng)域?qū)<抑R、經(jīng)驗(yàn)、理論和機(jī)器的數(shù)據(jù)、算法、算力優(yōu)勢,研發(fā)了人機(jī)增強(qiáng)智能支持下的敏捷教育建模平臺——DMTS。其中D代表數(shù)據(jù)(Data),表示匯聚多源、多維、多類教育大數(shù)據(jù);M代表模型(Model),表示支持人機(jī)增強(qiáng)智能的半自動(dòng)化快速建模;T代表任務(wù)(Task),表示教育問題場景導(dǎo)向的任務(wù)式建模流程;S代表服務(wù)(Service),表示為教育相關(guān)利益者提供全方位、系統(tǒng)化服務(wù)。DMTS平臺通過建立協(xié)同機(jī)制,充分發(fā)揮領(lǐng)域?qū)<遗c機(jī)器的最大合力作用,在建模的不同階段引入不同領(lǐng)域?qū)<遥沟媒逃龑<遗c技術(shù)專家之間的知識能夠連接,實(shí)現(xiàn)敏捷化教育建模。

    DMTS平臺支持以模型構(gòu)建為核心業(yè)務(wù)的適應(yīng)性學(xué)習(xí)、科學(xué)決策、精準(zhǔn)管理、區(qū)域教育治理,全方位、系統(tǒng)化地依據(jù)真實(shí)教育問題有效構(gòu)建教育模型,為教育大數(shù)據(jù)應(yīng)用提供支撐。并且,作為一種敏捷教育建模平臺,DMTS在教育大數(shù)據(jù)生態(tài)體系中處于中間層的位置,下層連接大數(shù)據(jù)平臺,上層連接教育大數(shù)據(jù)應(yīng)用系統(tǒng),輸送專業(yè)化的教育服務(wù)。具體而言,DMTS依托底層大數(shù)據(jù)平臺的數(shù)據(jù)進(jìn)行模型構(gòu)建,通過人機(jī)協(xié)同的教育建模流程構(gòu)建出更理解教育場景的專業(yè)化教育模型,進(jìn)而生成評價(jià)報(bào)告,為微觀個(gè)體發(fā)展層面、中觀學(xué)校教育管理層面以及宏觀區(qū)域教育治理層面面向教育問題提供專業(yè)化的解決方案,從而滿足差異化的教育需求(王懷波等,2020)。

    需要強(qiáng)調(diào)的是,基于DMTS平臺,不懂技術(shù)的領(lǐng)域?qū)<乙材軌驑?gòu)建出比較專業(yè)化的教育模型,因?yàn)閿?shù)據(jù)的采集與處理等工作已經(jīng)由底層大數(shù)據(jù)平臺完成。比如一位課程與教學(xué)論的專家經(jīng)過多年在教學(xué)一線的實(shí)踐,已經(jīng)形成了一整套成熟的理論、規(guī)律以及方法,但是由于不懂?dāng)?shù)據(jù)科學(xué)等領(lǐng)域的知識使得這些理論、規(guī)律以及方法難以轉(zhuǎn)化成可量化的數(shù)據(jù),進(jìn)而更為科學(xué)、精準(zhǔn)、高效地服務(wù)學(xué)習(xí)者。借助DMTS平臺,課程與教學(xué)論專家只需選擇預(yù)先經(jīng)過科學(xué)設(shè)計(jì)的理論模型,導(dǎo)入能夠測量指標(biāo)的數(shù)據(jù),生成算法模型,經(jīng)過數(shù)據(jù)科學(xué)驗(yàn)證之后就能夠形成具有可操作性的課程評估模型。

    2.實(shí)踐案例

    基于國內(nèi)第一門聯(lián)通主義慕課課程“互聯(lián)網(wǎng)+教育:理論與實(shí)踐的對話”,本研究依托DMTS平臺對知識主題、學(xué)習(xí)狀態(tài)分別進(jìn)行了建模分析,為課程的優(yōu)化與改善提供了較為科學(xué)的依據(jù)。

    (1)利用非結(jié)構(gòu)化數(shù)據(jù)形成對知識主題的建模

    聯(lián)通主義慕課課程與傳統(tǒng)的慕課課程有所不同,它是以群體智能的生存和演化為導(dǎo)向,沒有一個(gè)完全特定的教學(xué)目標(biāo)與教學(xué)評價(jià)方案,更多強(qiáng)調(diào)的是群體在這種社區(qū)中的交互,以及在交互的基礎(chǔ)之上群體形成的新知識和知識的演化。因此,知識如何形成以及演化就變得非常關(guān)鍵?;谶@樣一個(gè)場景,本研究在課程第四期中作了主題知識的建模分析,即如何發(fā)現(xiàn)課程中學(xué)習(xí)者通過交流討論形成的知識主題。研究通過采集課程第四期中的所有文本數(shù)據(jù),整合聯(lián)通主義專家領(lǐng)域知識和主題挖掘算法,以人機(jī)交互增強(qiáng)的方式訓(xùn)練算法,快速構(gòu)建主題分析模型,并通過不斷迭代發(fā)現(xiàn)知識主題,具體的人機(jī)分工如圖2所示。

    具體建模流程如下:第一,將“如何發(fā)現(xiàn)課程中學(xué)習(xí)者通過交流討論形成的知識主題?”這一教育問題梳理成建模目標(biāo)——知識主題聚類。第二,選擇課程第四期的所有文本數(shù)據(jù)導(dǎo)入到建模平臺中,建模平臺的底層大數(shù)據(jù)平臺采用無監(jiān)督的機(jī)器學(xué)習(xí)對所有的文本數(shù)據(jù)進(jìn)行清洗,形成原始數(shù)據(jù)集。第三,根據(jù)課程中不同主題知識情境選擇專家詞庫和停用詞庫,并導(dǎo)入建模平臺中,便于機(jī)器進(jìn)行切詞分析。第四,機(jī)器經(jīng)過一輪切詞分析生成新知識,研究者根據(jù)知識內(nèi)容修正專家詞庫和停用詞庫,并導(dǎo)入建模平臺進(jìn)行新一輪切詞分析(本質(zhì)上是調(diào)參的過程)。第五,依據(jù)聯(lián)通主義的教育情境,選擇需要聚類的主題類型,再由建模平臺發(fā)揮其在數(shù)據(jù)和算法方面的優(yōu)勢來進(jìn)行知識主題學(xué)習(xí)與訓(xùn)練,最后生成知識主題模型。通過上述步驟,基于知識主題的建模完成,研究者就可以發(fā)現(xiàn)平臺上的學(xué)習(xí)者都在討論哪些問題與內(nèi)容,以及討論的問題中包含哪些知識、新生成了什么知識等。

    (2)利用綜合指標(biāo)形成對特定學(xué)習(xí)狀態(tài)的建模

    開放的在線學(xué)習(xí)空間中,如何實(shí)現(xiàn)對學(xué)習(xí)者的有效診斷、監(jiān)測與評價(jià),進(jìn)而做出干預(yù),這是“互聯(lián)網(wǎng)+教育:理論與實(shí)踐的對話”這門聯(lián)通主義慕課課程改進(jìn)過程中不斷思考的問題。學(xué)習(xí)者的過程性評價(jià)通過分析建模達(dá)成,這是精準(zhǔn)化學(xué)習(xí)評價(jià)過程中至關(guān)重要的一步(黃濤等,2021)?;诖耍狙芯吭谡n程第五期中對在線學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進(jìn)行了建模分析。研究通過采集該期課程平臺上所有學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù),依托DMTS平臺,構(gòu)建學(xué)習(xí)者類型評價(jià)模型,如圖3(左圖)所示。在不同的維度當(dāng)中,研究通過統(tǒng)一處理學(xué)習(xí)者的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù),并結(jié)合領(lǐng)域知識,生成一個(gè)每日更新的可視化簡單報(bào)告,這樣就可以看出學(xué)習(xí)者的類型,最終為其推薦相應(yīng)的資源等服務(wù)。

    圖3 基于DMTS的學(xué)習(xí)者類型診斷與監(jiān)測

    具體建模流程如下:第一,將教育問題梳理成建模目標(biāo),即將“如何對在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行監(jiān)測與診斷?”這一教育問題梳理成“學(xué)習(xí)者類型診斷與監(jiān)測”這一建模目標(biāo)。第二,通過查詢相關(guān)文獻(xiàn)資料,并咨詢領(lǐng)域?qū)<遥瑥睦碚搶用鏄?gòu)建了囊括分享型、創(chuàng)新型、反思型以及互動(dòng)型在內(nèi)的學(xué)習(xí)者類型評價(jià)模型。在這一過程當(dāng)中,研究通過設(shè)定特定計(jì)算公式(每種學(xué)習(xí)者類型都有相應(yīng)的計(jì)算公式)讓機(jī)器能夠采用有監(jiān)督機(jī)器學(xué)習(xí)算法對課程平臺上已標(biāo)注的相關(guān)數(shù)據(jù)或者行為進(jìn)行分析,進(jìn)而形成數(shù)據(jù)指標(biāo)集合。第三,通過選取表征不同學(xué)習(xí)者類型維度的數(shù)據(jù)指標(biāo),基于設(shè)定的計(jì)算公式,形成初步的計(jì)算模型。最后,將模型導(dǎo)入研發(fā)的建模平臺進(jìn)行教育應(yīng)用可行性驗(yàn)證。建模平臺利用底層大數(shù)據(jù)平臺采集“互聯(lián)網(wǎng)+教育:理論與實(shí)踐的對話”第五期中學(xué)習(xí)者的所有學(xué)習(xí)行為數(shù)據(jù)(如發(fā)表的博客數(shù)、資源數(shù)、案例數(shù)、博客評論數(shù)、博客點(diǎn)贊數(shù)等),按照計(jì)算公式(如分享型=高質(zhì)量資源和案例×次數(shù)+高質(zhì)量評論×次數(shù)+高質(zhì)量回帖×次數(shù)①)對相應(yīng)的學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析,進(jìn)而得出相應(yīng)學(xué)習(xí)者類型的得分。如圖3(左圖)所示,通過平臺的建模分析,這位學(xué)習(xí)者在互動(dòng)維度上得分最高,因此我們可以認(rèn)為其屬于互動(dòng)型聯(lián)通主義學(xué)習(xí)者。進(jìn)一步地,結(jié)合學(xué)習(xí)者類型診斷,建模平臺基于設(shè)定的推薦機(jī)制還可以為這位學(xué)習(xí)者提供比較個(gè)性化的學(xué)習(xí)建議,如圖3(右圖)所示。

    通過上述兩個(gè)案例的實(shí)踐表明,人工智能的賦能作用為人們理解真實(shí)且復(fù)雜教育場景中的問題提供了新的視角,一定程度上實(shí)現(xiàn)了人們認(rèn)知的外包以及能力的提升,有助于學(xué)習(xí)者提供更好的教育服務(wù)。人機(jī)協(xié)同作為智能時(shí)代教育未來發(fā)展的必然途徑(孫眾等,2020),目前只有把領(lǐng)域知識和機(jī)器智能有機(jī)結(jié)合起來,才能夠真正地實(shí)現(xiàn)在不同場景下的因材施教,進(jìn)而滿足學(xué)習(xí)者多樣且個(gè)性化的學(xué)習(xí)需求。這才是人工智能在教育應(yīng)用中的最大價(jià)值。

    五、結(jié)語

    由于教育的復(fù)雜性、動(dòng)態(tài)性、全域性以及不確定性,單純通過人工智能等技術(shù)去解決與人的發(fā)展相關(guān)的教育建模問題,目前來看還有較大的困難,有必要在教育建模過程中更多地引入領(lǐng)域知識,實(shí)現(xiàn)人機(jī)協(xié)同。機(jī)器的數(shù)據(jù)、算法和算力將成為強(qiáng)大的創(chuàng)新驅(qū)動(dòng)力,人類的行為、認(rèn)知和能力將被增強(qiáng)(沈陽等,2020),使得越來越多真實(shí)且復(fù)雜教育場景下的教育問題都將能夠形成可解釋、可操作性的教育模型。這一過程中,教育建模離不開中間工具的作用以打破領(lǐng)域?qū)<液图夹g(shù)專家“兩張皮”現(xiàn)象的困境。領(lǐng)域?qū)<覍逃龁栴}有較好理解但在計(jì)算機(jī)科學(xué)和數(shù)據(jù)科學(xué)應(yīng)用上存在困難,而技術(shù)專家能在工具層面提供有力支持但對于教育問題的把握不足。這就需要為二者搭建對話和實(shí)操的工具橋梁。本研究正是在這種思路的指導(dǎo)下,立足智能時(shí)代背景,對人機(jī)協(xié)同教育建模流程進(jìn)行了探討,提出用“中間件”來連接教育建模過程中的領(lǐng)域?qū)<液图夹g(shù)專家之間的知識。

    隨著對實(shí)踐需求的回應(yīng),教育建模的重點(diǎn)不僅要關(guān)照教育理論和數(shù)據(jù)科學(xué)問題,同時(shí)也要更加重視實(shí)踐的迭代應(yīng)用。只有經(jīng)過“理論—技術(shù)—應(yīng)用—理論”的多輪迭代,持續(xù)優(yōu)化教育建模過程,才能為教育現(xiàn)實(shí)問題提供更好的教育模型服務(wù)。然而既有教育建模的準(zhǔn)確性與有效性,我們常常用算法的準(zhǔn)確率、召回率等技術(shù)指標(biāo)來表征。但在真實(shí)的教育場景中,尤其是在沒有明晰的監(jiān)督變量的情況下(如表征能力、素養(yǎng)等教育目標(biāo)的測量準(zhǔn)確性時(shí)),這些技術(shù)指標(biāo)還遠(yuǎn)遠(yuǎn)不夠。因此,需要在“建?!獞?yīng)用”的不斷迭代過程中,優(yōu)化教育模型,增強(qiáng)其可解釋性,為實(shí)踐提供真正有價(jià)值的技術(shù)支持。

    注釋:

    ① 高質(zhì)量資源和案例指資源或案例被cMOOC周報(bào)收錄,賦值10分;高質(zhì)量評論指評論字?jǐn)?shù)≥20字且不是水評論,賦值5分;高質(zhì)量回帖指回帖字?jǐn)?shù)≥20字且不是水帖,賦值5分。

    參考文獻(xiàn):

    [1]蔡連玉,劉家玲,周躍良(2021).人機(jī)協(xié)同化與學(xué)生發(fā)展核心素養(yǎng)——基于社會(huì)智能三維模型的分析[J].開放教育研究,27(1):24-31.

    [2]陳子健,朱曉亮(2019).基于面部表情的學(xué)習(xí)者情緒自動(dòng)識別研究——適切性、現(xiàn)狀、現(xiàn)存問題和提升路徑[J].遠(yuǎn)程教育雜志,37(4):64-72.

    [3]胡丹妮,章夢瑤,鄭勤華(2019).基于滯后序列分析法的在線學(xué)習(xí)者活動(dòng)路徑可視化分析[J].電化教育研究,40(5):55-63.

    [4]黃濤,趙媛,耿晶等(2021).數(shù)據(jù)驅(qū)動(dòng)的精準(zhǔn)化學(xué)習(xí)評價(jià)機(jī)制與方法[J].現(xiàn)代遠(yuǎn)程教育研究,33(1):3-12.

    [5]教育部(2020).承擔(dān)教育使命 共同謀劃教育未來 陳寶生出席國際人工智能與教育會(huì)議[EB/OL].[2021-02-17].http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202012/t20201207_503933.html.

    [6]教育部(2021).教育部等六部門關(guān)于印發(fā)《義務(wù)教育質(zhì)量評價(jià)指南》的通知[EB/OL].[2021-04-06].http://www.moe.gov.cn/srcsite/A06/s3321/202103/t20210317_520238.html.

    [7]李景奇,卞藝杰,方征(2018).基于BKT模型的網(wǎng)絡(luò)教學(xué)跟蹤評價(jià)研究[J].現(xiàn)代遠(yuǎn)程教育研究,(5):104-112.

    [8]馬志強(qiáng),管秀(2020).面向多維關(guān)聯(lián)的社會(huì)認(rèn)知網(wǎng)絡(luò)分析——協(xié)作學(xué)習(xí)交互研究的新進(jìn)展[J].遠(yuǎn)程教育雜志,38(6):96-103.

    [9]沈陽,田浩,黃云平(2020).智能增強(qiáng)時(shí)代推進(jìn)新一輪學(xué)習(xí)革命——訪中國科學(xué)院院士吳朝暉教授[J].電化教育研究,41(8):5-10.

    [10]孫眾,呂愷悅,駱力明等(2020).基于人工智能的課堂教學(xué)分析[J].中國電化教育,(10):15-23.

    [11]王懷波,李冀紅,孫洪濤等(2020).基于模型的教育大數(shù)據(jù)應(yīng)用框架設(shè)計(jì)[J].現(xiàn)代教育技術(shù),30(6):5-12.

    [12]王薇,張鑫(2021).學(xué)校評價(jià)結(jié)果解釋模型的建構(gòu)[J].中國考試,(1):89-94.

    [13]新華網(wǎng)(2020).中共中央 國務(wù)院印發(fā)《深化新時(shí)代教育評價(jià)改革總體方案》[EB/OL]. [2021-04-06].http://www.xinhuanet.com/2020-10/13/c_1126601551.htm.

    [14]新華社(2021).中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要[EB/OL].[2021-04-06].http://www.xinhuanet.com/2021-03/13/c_1127205564.htm.

    [15]薛二勇,李健(2021).新時(shí)代教育規(guī)劃的形勢、挑戰(zhàn)與任務(wù)[J].中國教育學(xué)刊,(3):19-24.

    [16]楊開城,陳潔(2020).論教育作為一種工程性實(shí)踐[J].現(xiàn)代遠(yuǎn)程教育研究,32(6):3-8,51.

    [17]鄭勤華,陳耀華,孫洪濤等(2016a).基于學(xué)習(xí)分析的在線學(xué)習(xí)測評建模與應(yīng)用——學(xué)習(xí)者綜合評價(jià)參考模型研究[J].電化教育研究,37(9):33-40.

    [18]鄭勤華,孫洪濤,陳耀華等(2016b).基于學(xué)習(xí)分析的在線學(xué)習(xí)測評建模與應(yīng)用——綜合建模方法研究[J].電化教育研究,37(12):40-45.

    [19]鄭勤華,熊潞穎,胡丹妮(2019).任重道遠(yuǎn):人工智能教育應(yīng)用的困境與突破[J].開放教育研究,25(4):10-17.

    [20]祝智庭,韓中美,黃昌勤(2021).教育人工智能(eAI):人本人工智能的新范式[J].電化教育研究,42(1):5-15.

    [21]Arnold, K. E., & Pistilli, M. D. (2012). Course Signals at Purdue: Using Learning Analytics to Increase Student Success[C]// Proceedings of the 2nd International Conference on Learning Analytics and Knowledge:267-270.

    [22]Piech, C., Spencer, J., & Huang, J. et al. (2015). Deep Knowledge Tracing[J]. Computer Science, 3(3):19-23.

    [23]Wu, S. Y., & Hou, H. T. (2015). How Cognitive Styles Affect the Learning Behaviors of Online Problem-Solving Based Discussion Activity: A Lag Sequential Analysis[J]. Journal of Educational Computing Research, 52(2):277-298.

    [24]Zhang, K., Huang, Y., & Du, Y. et al. (2017). Facial Expression Recognition Based on Deep Evolutional Spatial-Temporal Networks[J]. IEEE Transactions on Image Processing, 26(9):4193-4203.

    收稿日期 2021-04-26責(zé)任編輯 汪燕

    Agile Educational Modeling and Practical Application Supported by Human-Machine Collaboration

    ZHENG Qinhua, GUO Liming

    Abstract: The shift from theoretical models to operable data models is the key for intelligent technology to support the reform of teaching and learning. The measurability of multi-scenario and multi-dimensional education and teaching elements is the focus of solving the problem of educational modeling. And together with the current limitations of artificial intelligence technologies, it determines that human-machine collaboration is the inevitable way of educational modeling. Human-machine collaborative educational modeling is an agile educational modeling process, which is a process of fully integrating the domain experts wisdom and the advantages of machine intelligence to construct an educational model. Its key point is to normalize and integrate the multi-agent forces required for educational modeling to form a joint force. The process of human-machine collaborative educational modeling can be roughly divided into seven stages: sorting out modeling goals, determining the types of educational goals, selecting indicators or feature extraction, adjusting parameters, training and modeling, scientific validation of data, and usability validation of real educational scenarios. However, in the process of exporting educational model services under the guidance of agile educational modeling concepts, it is necessary to solve the “middleware” problem that connects domain experts and technical experts. Given this idea, the agile educational modeling platform DMTS supported by human-machine enhanced intelligence came into being. It aims to combine experts domain knowledge, experience, theory and data, algorithms and arithmetic advantages of machines to quickly build interpretable education models that truly understand educational scenarios, which provides scientific and operational modeling services for micro-individual learning, meso-school management and macro-regional education governance. The practice has shown that the educational modeling support technology system that combines domain experts and machine learning can build a production system of educational modeling for educators and technical workers, thereby providing support and reference for the in-depth application of artificial intelligence technologies in the educational field in our country.

    Keywords: Artificial Intelligence; Human-Machine Collaboration; Educational Modeling; Educational Models; DMTS

    猜你喜歡
    人機(jī)協(xié)同人工智能
    我校新增“人工智能”本科專業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    智能制造人機(jī)協(xié)同制造系統(tǒng)安全問題及其應(yīng)對措施
    機(jī)器人新聞寫作的應(yīng)用、前景及應(yīng)對
    中國廣播(2018年11期)2018-01-22 11:37:50
    人工智能環(huán)境下新聞報(bào)道的新趨勢
    大觀(2017年10期)2017-12-19 09:20:21
    從NLG到機(jī)器新聞寫作
    今傳媒(2017年10期)2017-11-04 16:23:12
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    下一幕,人工智能!
    下一幕,人工智能!
    一级黄色大片毛片| 午夜福利在线观看免费完整高清在 | 日韩欧美在线乱码| 三级国产精品欧美在线观看| 国产精品免费一区二区三区在线| 18禁裸乳无遮挡免费网站照片| 成年免费大片在线观看| 久久亚洲国产成人精品v| 男的添女的下面高潮视频| 丰满的人妻完整版| 国产高清有码在线观看视频| 欧美另类亚洲清纯唯美| 久久久久久久久久久免费av| av免费观看日本| 成人特级av手机在线观看| 一本一本综合久久| 免费观看精品视频网站| 天天躁夜夜躁狠狠久久av| 国产精品一及| 久久国内精品自在自线图片| 国产成人a区在线观看| 人体艺术视频欧美日本| 国产精品人妻久久久影院| 欧美激情在线99| 免费看日本二区| 国产伦一二天堂av在线观看| 3wmmmm亚洲av在线观看| 六月丁香七月| 国产一区二区在线观看日韩| 日本免费a在线| 一进一出抽搐动态| 中文资源天堂在线| 91av网一区二区| 我要搜黄色片| 免费黄网站久久成人精品| 国产精品乱码一区二三区的特点| 久久精品夜夜夜夜夜久久蜜豆| 69人妻影院| 干丝袜人妻中文字幕| 日韩欧美在线乱码| av免费观看日本| 最近中文字幕高清免费大全6| 精品无人区乱码1区二区| 国产欧美日韩精品一区二区| 国产乱人视频| 国产精品女同一区二区软件| 国产精品久久久久久久久免| 内地一区二区视频在线| 蜜桃亚洲精品一区二区三区| 亚洲经典国产精华液单| 国产蜜桃级精品一区二区三区| 毛片一级片免费看久久久久| 真实男女啪啪啪动态图| 国内少妇人妻偷人精品xxx网站| 床上黄色一级片| 国产片特级美女逼逼视频| 亚洲在线自拍视频| 亚洲精品自拍成人| 一级毛片电影观看 | 狂野欧美白嫩少妇大欣赏| 日韩一区二区视频免费看| 欧美区成人在线视频| 亚洲av男天堂| 亚洲欧美中文字幕日韩二区| 在线播放无遮挡| 亚洲精品久久久久久婷婷小说 | av视频在线观看入口| 精品日产1卡2卡| 国产探花极品一区二区| 99久久精品热视频| 99在线视频只有这里精品首页| 久久久精品大字幕| 国产三级中文精品| а√天堂www在线а√下载| 成人二区视频| 免费av不卡在线播放| 久久婷婷人人爽人人干人人爱| 久久午夜福利片| 精品久久久久久久久久久久久| 精品不卡国产一区二区三区| 又粗又硬又长又爽又黄的视频 | 变态另类成人亚洲欧美熟女| 五月玫瑰六月丁香| 美女 人体艺术 gogo| 中文字幕av在线有码专区| 此物有八面人人有两片| 国产高清有码在线观看视频| 欧美高清性xxxxhd video| 网址你懂的国产日韩在线| 亚洲美女视频黄频| 亚洲国产色片| 亚洲性久久影院| 深夜a级毛片| 国产高清有码在线观看视频| 国产成人a区在线观看| 成人毛片a级毛片在线播放| 有码 亚洲区| 热99re8久久精品国产| 在线播放无遮挡| 精品人妻视频免费看| av视频在线观看入口| 别揉我奶头 嗯啊视频| 成人亚洲欧美一区二区av| 亚洲av男天堂| 少妇熟女欧美另类| 国产精品1区2区在线观看.| 亚洲av.av天堂| 国产亚洲精品久久久com| 日韩大尺度精品在线看网址| 久久99蜜桃精品久久| 日本爱情动作片www.在线观看| 亚洲欧美精品综合久久99| 国产黄片美女视频| 一边亲一边摸免费视频| 久久精品久久久久久久性| 日韩国内少妇激情av| 国产不卡一卡二| 男女视频在线观看网站免费| 久久久精品大字幕| 久久国产乱子免费精品| 午夜福利视频1000在线观看| 国产精品不卡视频一区二区| 日韩制服骚丝袜av| 欧美xxxx性猛交bbbb| 18+在线观看网站| 国产真实伦视频高清在线观看| 日日干狠狠操夜夜爽| 日本三级黄在线观看| 亚洲中文字幕日韩| or卡值多少钱| 中文字幕制服av| 亚洲人成网站在线播放欧美日韩| 国产国拍精品亚洲av在线观看| 欧美xxxx性猛交bbbb| 欧美+日韩+精品| 久久亚洲精品不卡| 给我免费播放毛片高清在线观看| 97超碰精品成人国产| 国产真实伦视频高清在线观看| 毛片一级片免费看久久久久| 国产在线男女| 亚洲精品成人久久久久久| 天天躁日日操中文字幕| 午夜视频国产福利| 久久婷婷人人爽人人干人人爱| 精品欧美国产一区二区三| 欧美变态另类bdsm刘玥| 久久99热这里只有精品18| 给我免费播放毛片高清在线观看| 熟妇人妻久久中文字幕3abv| 波多野结衣高清作品| 99热6这里只有精品| 久久久久久久久久成人| 国产成年人精品一区二区| 成人av在线播放网站| 久久亚洲国产成人精品v| 精品国产三级普通话版| 非洲黑人性xxxx精品又粗又长| 亚洲欧美成人精品一区二区| 精品久久久久久久久亚洲| 能在线免费看毛片的网站| 成人欧美大片| 草草在线视频免费看| 国产精华一区二区三区| 国内久久婷婷六月综合欲色啪| 在线天堂最新版资源| 亚洲国产欧美人成| 欧美高清性xxxxhd video| 插逼视频在线观看| 美女xxoo啪啪120秒动态图| 日本在线视频免费播放| 亚洲av中文av极速乱| 一区二区三区四区激情视频 | 久久久久久国产a免费观看| 久久草成人影院| 亚洲国产高清在线一区二区三| 久久久精品94久久精品| 乱码一卡2卡4卡精品| 天天躁夜夜躁狠狠久久av| 国产高清有码在线观看视频| 看片在线看免费视频| 国产一区二区在线观看日韩| 最近的中文字幕免费完整| 成人高潮视频无遮挡免费网站| 我的女老师完整版在线观看| 国产亚洲欧美98| 波野结衣二区三区在线| 黄色视频,在线免费观看| 一卡2卡三卡四卡精品乱码亚洲| 欧美日韩一区二区视频在线观看视频在线 | 国产亚洲精品久久久com| 91精品一卡2卡3卡4卡| 最新中文字幕久久久久| 非洲黑人性xxxx精品又粗又长| 免费无遮挡裸体视频| 国产成人精品婷婷| 99久久成人亚洲精品观看| 日韩人妻高清精品专区| 午夜老司机福利剧场| 波多野结衣巨乳人妻| 久久亚洲精品不卡| 啦啦啦啦在线视频资源| 99久久久亚洲精品蜜臀av| 免费观看人在逋| 又黄又爽又刺激的免费视频.| 国产精品福利在线免费观看| 精品一区二区三区视频在线| 婷婷精品国产亚洲av| 国产一区二区亚洲精品在线观看| 日韩欧美国产在线观看| 18禁黄网站禁片免费观看直播| 禁无遮挡网站| 成人漫画全彩无遮挡| 高清在线视频一区二区三区 | 国产一区二区三区av在线 | 日产精品乱码卡一卡2卡三| 午夜福利在线观看吧| 国产在线男女| 亚洲18禁久久av| 免费看日本二区| 国产精品一区二区性色av| 日日干狠狠操夜夜爽| 啦啦啦韩国在线观看视频| 少妇被粗大猛烈的视频| 免费在线观看成人毛片| 国产高潮美女av| 欧美性感艳星| 99久久精品一区二区三区| 亚洲欧洲国产日韩| 啦啦啦啦在线视频资源| 不卡一级毛片| 午夜老司机福利剧场| 色5月婷婷丁香| 久久久久久久久久黄片| 精品久久久久久成人av| 国产精品无大码| 亚洲四区av| 国产探花极品一区二区| 久久久久久大精品| 精品人妻一区二区三区麻豆| 久久国产乱子免费精品| 久久精品国产亚洲网站| 国内少妇人妻偷人精品xxx网站| 六月丁香七月| 九草在线视频观看| 免费看美女性在线毛片视频| 国产在线男女| АⅤ资源中文在线天堂| 老女人水多毛片| 精华霜和精华液先用哪个| 麻豆国产av国片精品| 国产毛片a区久久久久| 国产一区二区亚洲精品在线观看| 成人美女网站在线观看视频| 久久久久久伊人网av| 久久久国产成人精品二区| 不卡一级毛片| 一本久久中文字幕| 夫妻性生交免费视频一级片| 岛国在线免费视频观看| 伦精品一区二区三区| 亚洲av成人av| 国产大屁股一区二区在线视频| 国产三级中文精品| 一本一本综合久久| 欧美日韩一区二区视频在线观看视频在线 | 国产黄色视频一区二区在线观看 | av免费在线看不卡| 精品久久久久久成人av| av国产免费在线观看| 乱系列少妇在线播放| 在线观看66精品国产| 我要搜黄色片| 亚洲无线观看免费| 久久久精品欧美日韩精品| 成人美女网站在线观看视频| 美女黄网站色视频| 九九爱精品视频在线观看| 2022亚洲国产成人精品| 亚洲欧美日韩高清专用| 国产极品精品免费视频能看的| 成人午夜高清在线视频| 内射极品少妇av片p| 久久久久久久午夜电影| 国产亚洲av片在线观看秒播厂 | 色5月婷婷丁香| АⅤ资源中文在线天堂| 中文字幕人妻熟人妻熟丝袜美| 国产真实伦视频高清在线观看| 国产美女午夜福利| 身体一侧抽搐| 国产亚洲av嫩草精品影院| 大香蕉久久网| 亚洲av第一区精品v没综合| a级一级毛片免费在线观看| 免费不卡的大黄色大毛片视频在线观看 | 青春草亚洲视频在线观看| 联通29元200g的流量卡| 国产亚洲91精品色在线| 一本精品99久久精品77| 热99在线观看视频| 欧美另类亚洲清纯唯美| 在线观看一区二区三区| 午夜福利成人在线免费观看| av免费观看日本| 99热全是精品| 日本五十路高清| 简卡轻食公司| 色哟哟哟哟哟哟| 欧美xxxx黑人xx丫x性爽| 欧美激情国产日韩精品一区| av在线天堂中文字幕| 国产精品电影一区二区三区| 九色成人免费人妻av| 国产综合懂色| 久久精品国产清高在天天线| 高清毛片免费看| 精品人妻视频免费看| 国产日本99.免费观看| 两个人的视频大全免费| 又爽又黄a免费视频| 欧美bdsm另类| 亚洲欧美精品综合久久99| 亚洲精品久久久久久婷婷小说 | 美女 人体艺术 gogo| 两个人的视频大全免费| 国产精品久久久久久精品电影小说 | 色哟哟哟哟哟哟| 18禁裸乳无遮挡免费网站照片| 欧美人与善性xxx| 国产精品爽爽va在线观看网站| 国产成人a区在线观看| 久久久久久久久大av| 九九爱精品视频在线观看| 精华霜和精华液先用哪个| 欧美丝袜亚洲另类| 99国产极品粉嫩在线观看| 最近2019中文字幕mv第一页| 久久精品人妻少妇| 三级毛片av免费| 日韩欧美 国产精品| 在现免费观看毛片| 我的老师免费观看完整版| 国产亚洲精品久久久com| 美女脱内裤让男人舔精品视频 | 欧美激情国产日韩精品一区| 日本爱情动作片www.在线观看| 国产伦在线观看视频一区| 噜噜噜噜噜久久久久久91| 看黄色毛片网站| 精品久久国产蜜桃| 国产成人午夜福利电影在线观看| 亚洲最大成人av| 午夜免费男女啪啪视频观看| 中文字幕熟女人妻在线| 欧美日韩国产亚洲二区| 一级毛片久久久久久久久女| 国产探花极品一区二区| 亚洲国产精品成人综合色| 成人永久免费在线观看视频| 国产黄片视频在线免费观看| 国产免费男女视频| 日日干狠狠操夜夜爽| 久久鲁丝午夜福利片| 欧美日韩乱码在线| 99久久九九国产精品国产免费| 欧美激情在线99| 少妇高潮的动态图| 精品久久久久久久末码| 欧美日韩综合久久久久久| 在线观看午夜福利视频| 在线天堂最新版资源| 亚洲精品国产av成人精品| 你懂的网址亚洲精品在线观看 | 国产精品麻豆人妻色哟哟久久 | 男女做爰动态图高潮gif福利片| 九九爱精品视频在线观看| 久久精品夜夜夜夜夜久久蜜豆| 蜜桃久久精品国产亚洲av| 草草在线视频免费看| 日本在线视频免费播放| 久久久久久久久久黄片| 成人一区二区视频在线观看| 亚洲无线在线观看| 中国美白少妇内射xxxbb| 久久久精品欧美日韩精品| 日日摸夜夜添夜夜添av毛片| 少妇裸体淫交视频免费看高清| 国产免费男女视频| 女人十人毛片免费观看3o分钟| 黄色配什么色好看| 一区二区三区免费毛片| 国产成人精品久久久久久| 久久久久网色| 亚洲激情五月婷婷啪啪| 女人被狂操c到高潮| av国产免费在线观看| 国产91av在线免费观看| av免费在线看不卡| 免费观看精品视频网站| 噜噜噜噜噜久久久久久91| 亚洲无线观看免费| 亚洲aⅴ乱码一区二区在线播放| 国产白丝娇喘喷水9色精品| 亚洲aⅴ乱码一区二区在线播放| 一个人看的www免费观看视频| 欧美xxxx黑人xx丫x性爽| 你懂的网址亚洲精品在线观看 | 欧美最黄视频在线播放免费| 91久久精品国产一区二区三区| 日日摸夜夜添夜夜添av毛片| 亚洲七黄色美女视频| 伊人久久精品亚洲午夜| 亚洲精品影视一区二区三区av| 国产高清不卡午夜福利| 久久午夜亚洲精品久久| 亚洲av中文av极速乱| 久久精品久久久久久久性| 婷婷色综合大香蕉| 国内久久婷婷六月综合欲色啪| 高清日韩中文字幕在线| 啦啦啦韩国在线观看视频| a级毛片免费高清观看在线播放| 人人妻人人看人人澡| 中国国产av一级| 不卡视频在线观看欧美| 午夜福利在线观看吧| 精品熟女少妇av免费看| 狂野欧美白嫩少妇大欣赏| 久久99蜜桃精品久久| 成人亚洲精品av一区二区| 国产蜜桃级精品一区二区三区| 天堂影院成人在线观看| 哪里可以看免费的av片| 亚洲成av人片在线播放无| 免费观看人在逋| 99久久九九国产精品国产免费| 一级毛片我不卡| 亚洲一区二区三区色噜噜| 狂野欧美白嫩少妇大欣赏| 久久99蜜桃精品久久| 校园春色视频在线观看| av免费在线看不卡| 麻豆一二三区av精品| 我要搜黄色片| 在线观看66精品国产| 国产精品嫩草影院av在线观看| 日韩一本色道免费dvd| 桃色一区二区三区在线观看| 热99在线观看视频| 免费观看精品视频网站| 久久综合国产亚洲精品| 黄色配什么色好看| 国产亚洲精品久久久com| 久久精品人妻少妇| 国产亚洲91精品色在线| 又爽又黄a免费视频| 又粗又硬又长又爽又黄的视频 | 婷婷六月久久综合丁香| 国产精品麻豆人妻色哟哟久久 | 国产高清激情床上av| 精品久久久久久久久久免费视频| 中文字幕熟女人妻在线| 亚洲色图av天堂| 国产亚洲av嫩草精品影院| 又粗又爽又猛毛片免费看| 男人狂女人下面高潮的视频| 国产私拍福利视频在线观看| 午夜视频国产福利| 99国产精品一区二区蜜桃av| 亚洲第一区二区三区不卡| 国产精品美女特级片免费视频播放器| 国产 一区精品| 99久久人妻综合| 五月玫瑰六月丁香| 麻豆成人av视频| 六月丁香七月| 久久热精品热| 成人亚洲精品av一区二区| 97超视频在线观看视频| 国产亚洲精品av在线| av在线播放精品| 夜夜看夜夜爽夜夜摸| 午夜爱爱视频在线播放| 日韩中字成人| 久久久a久久爽久久v久久| 淫秽高清视频在线观看| h日本视频在线播放| 麻豆国产av国片精品| 亚洲成人精品中文字幕电影| 中文字幕人妻熟人妻熟丝袜美| 久久久久久国产a免费观看| 欧美人与善性xxx| 日韩高清综合在线| 91午夜精品亚洲一区二区三区| 晚上一个人看的免费电影| 97超视频在线观看视频| 国产伦理片在线播放av一区 | 熟妇人妻久久中文字幕3abv| 一级毛片久久久久久久久女| 国产亚洲精品久久久久久毛片| 欧美xxxx性猛交bbbb| 26uuu在线亚洲综合色| 国产精品麻豆人妻色哟哟久久 | 久久人人爽人人爽人人片va| 国产免费男女视频| 国产亚洲av嫩草精品影院| 亚洲真实伦在线观看| 国产久久久一区二区三区| 床上黄色一级片| 久久鲁丝午夜福利片| 久久午夜亚洲精品久久| 亚洲国产精品sss在线观看| 观看免费一级毛片| 深爱激情五月婷婷| 女同久久另类99精品国产91| 亚洲国产色片| 91av网一区二区| 男女那种视频在线观看| 一级毛片久久久久久久久女| 夜夜看夜夜爽夜夜摸| 青春草国产在线视频 | 蜜桃亚洲精品一区二区三区| 亚洲18禁久久av| 久久久久久久久久成人| 亚洲最大成人手机在线| 国产精品福利在线免费观看| 丝袜喷水一区| 欧美日韩乱码在线| 色哟哟哟哟哟哟| 韩国av在线不卡| 免费av毛片视频| 18+在线观看网站| 午夜福利在线观看吧| 男人舔奶头视频| 色尼玛亚洲综合影院| 男女边吃奶边做爰视频| 少妇高潮的动态图| 最近2019中文字幕mv第一页| 男女做爰动态图高潮gif福利片| 天堂av国产一区二区熟女人妻| 欧美在线一区亚洲| 欧美一区二区精品小视频在线| 午夜精品国产一区二区电影 | 精品久久久久久久久久久久久| 日韩强制内射视频| 精品不卡国产一区二区三区| 色视频www国产| 国产私拍福利视频在线观看| 国产成人一区二区在线| 久久国内精品自在自线图片| 免费观看a级毛片全部| 啦啦啦观看免费观看视频高清| 午夜亚洲福利在线播放| 亚洲一区二区三区色噜噜| 极品教师在线视频| 一边亲一边摸免费视频| 久久久久久久久久久免费av| 少妇人妻精品综合一区二区 | 99久国产av精品| 久久人人爽人人爽人人片va| 欧美不卡视频在线免费观看| 三级毛片av免费| 久久久久久伊人网av| 亚洲性久久影院| 一本一本综合久久| 少妇丰满av| 美女被艹到高潮喷水动态| 天天躁日日操中文字幕| 日产精品乱码卡一卡2卡三| 国产大屁股一区二区在线视频| 一级毛片久久久久久久久女| 三级国产精品欧美在线观看| 精品久久久久久成人av| 淫秽高清视频在线观看| 中文亚洲av片在线观看爽| 一级av片app| 哪里可以看免费的av片| 亚洲av二区三区四区| 久久精品国产亚洲av香蕉五月| 午夜老司机福利剧场| 日韩欧美在线乱码| 波多野结衣高清无吗| 插阴视频在线观看视频| 乱码一卡2卡4卡精品| 国产蜜桃级精品一区二区三区| 少妇熟女欧美另类| 99久久久亚洲精品蜜臀av| 国内精品宾馆在线| 成人毛片60女人毛片免费| 最后的刺客免费高清国语| h日本视频在线播放| 性插视频无遮挡在线免费观看| 中文资源天堂在线| 日韩强制内射视频| 欧美激情国产日韩精品一区| 亚洲七黄色美女视频| 欧美激情久久久久久爽电影| 免费大片18禁| 日韩国内少妇激情av| 卡戴珊不雅视频在线播放| 国产白丝娇喘喷水9色精品| 六月丁香七月| 永久网站在线| 能在线免费观看的黄片| 91午夜精品亚洲一区二区三区| 精品无人区乱码1区二区| 最好的美女福利视频网| 亚洲av电影不卡..在线观看| 久久亚洲精品不卡| 老师上课跳d突然被开到最大视频| 精品午夜福利在线看| 亚洲av中文字字幕乱码综合| 黄色视频,在线免费观看| 国产成人freesex在线|