• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學(xué)習(xí)分析數(shù)據(jù)互操作規(guī)范IMS Caliper Analytics解讀*

    2016-04-14 07:13:14李青趙越
    現(xiàn)代遠程教育研究 2016年2期
    關(guān)鍵詞:學(xué)習(xí)分析教育信息化

    □李青趙越

    ?

    學(xué)習(xí)分析數(shù)據(jù)互操作規(guī)范IMS Caliper Analytics解讀*

    □李青趙越

    摘要:全球的MOOC浪潮推動了在線課程大規(guī)模傳播和發(fā)展,由此產(chǎn)生了海量多樣的數(shù)據(jù)。“大數(shù)據(jù)”分析技術(shù)加速應(yīng)用到教育領(lǐng)域,評估、分析和利用這些數(shù)據(jù)對于學(xué)習(xí)效果的提升有著重要的影響。當(dāng)前,各類學(xué)習(xí)系統(tǒng)和學(xué)習(xí)工具都按其自有的格式存儲和傳輸數(shù)據(jù),造成其數(shù)據(jù)通用性差,而且難以被分享和深度利用。標(biāo)準(zhǔn)化組織IMS針對目前學(xué)習(xí)系統(tǒng)難以跨平臺收集學(xué)習(xí)數(shù)據(jù)以及數(shù)據(jù)標(biāo)準(zhǔn)不一的問題,制定了一項學(xué)習(xí)分析數(shù)據(jù)互操作規(guī)范——Caliper Analytics,試圖解決學(xué)習(xí)分析中有關(guān)以統(tǒng)一的形式收集并分析數(shù)據(jù)的關(guān)鍵問題。該規(guī)范通過“計量組譜”構(gòu)建記錄和存儲分析數(shù)據(jù)的通用格式,并通過“Sensor API”捕獲和傳遞散落在各個平臺中的分析數(shù)據(jù)。這將有利于學(xué)習(xí)分析的數(shù)據(jù)交換和跨平臺使用,從而讓有價值的學(xué)習(xí)分析數(shù)據(jù)得以更好地利用。這個統(tǒng)一的標(biāo)準(zhǔn)能促使更有效地實現(xiàn)對在線課程質(zhì)量、效果及性能的分析;幫助院校、教師和教學(xué)設(shè)計師等數(shù)字化教學(xué)內(nèi)容的開發(fā)者測量、修改及迭代教育產(chǎn)品;幫助學(xué)習(xí)者更好地使用學(xué)習(xí)分析結(jié)果持續(xù)提升學(xué)習(xí)績效。該規(guī)范應(yīng)用前景廣泛,但還將面臨數(shù)據(jù)源的呈現(xiàn)方式、數(shù)據(jù)自有的目標(biāo)用途、教育機構(gòu)的組織文化、分析技術(shù)的實施效果以及商業(yè)模式上的潛在風(fēng)險等方面的挑戰(zhàn)。

    關(guān)鍵詞:學(xué)習(xí)分析;學(xué)習(xí)技術(shù)標(biāo)準(zhǔn);教育信息化;IMS Caliper Analytics

    一、引言

    隨著信息技術(shù)在教育領(lǐng)域內(nèi)的深度應(yīng)用,數(shù)字化的學(xué)習(xí)內(nèi)容與學(xué)習(xí)活動設(shè)計越來越普及,數(shù)字化教學(xué)模式和課程深度整合,各類學(xué)習(xí)管理系統(tǒng)(LMS)和數(shù)字化教學(xué)工具得到普及。尤其是近年來,全球MOOC浪潮推動了在線課程的大規(guī)模傳播和發(fā)展,由此產(chǎn)生了海量的、多樣化的數(shù)據(jù),促使“大數(shù)據(jù)”分析技術(shù)被應(yīng)用到教育中。與此同時,評估、分析和利用這些在線數(shù)據(jù)的需求也日益迫切,數(shù)字化學(xué)習(xí)環(huán)境對教育數(shù)據(jù)的評估及分析能力也越來越受重視。學(xué)習(xí)分析(Learning Analytics)正是近年來教育技術(shù)領(lǐng)域內(nèi)迅速發(fā)展的新熱點,它是運用先進的分析方法和工具預(yù)測學(xué)習(xí)結(jié)果、診斷學(xué)習(xí)中發(fā)生的問題、優(yōu)化學(xué)習(xí)效果的一類教學(xué)技術(shù)的集合(李青等,2012)。學(xué)習(xí)分析通過廣泛收集數(shù)據(jù)并以一定的形式呈現(xiàn)和解讀,創(chuàng)新并發(fā)現(xiàn)教育潛力。

    學(xué)習(xí)分析的數(shù)據(jù)來源非常多樣,既有來自大學(xué)等教育機構(gòu)在線學(xué)習(xí)系統(tǒng)中的數(shù)據(jù),也有來自于PC、平板和手機上各種學(xué)習(xí)工具中的數(shù)據(jù),以及其他網(wǎng)絡(luò)平臺收集的有關(guān)學(xué)習(xí)者活動過程和活動結(jié)果的數(shù)據(jù)。到目前為止,各類學(xué)習(xí)系統(tǒng)和學(xué)習(xí)工具中的數(shù)據(jù)都按照其自有的標(biāo)準(zhǔn)和格式存儲與傳輸,數(shù)據(jù)的通用性很差。這種現(xiàn)狀阻礙了教育數(shù)據(jù)的分享和深度利用,使得教師、學(xué)生和學(xué)校難以全面立體地觀察學(xué)習(xí)環(huán)境中正在發(fā)生的情況。教育機構(gòu)無法分析和處理不同平臺上差異化的學(xué)習(xí)數(shù)據(jù),而且來自各獨立平臺上的零碎分析結(jié)果也無法被有效地整合和比較(IMS GLC,2015a);各機構(gòu)都嘗試用自己的方式解釋數(shù)據(jù),從而造成了對數(shù)據(jù)理解上的困難。因此,為了解決教育機構(gòu)在推進學(xué)習(xí)分析技術(shù)過程中的這個障礙,推動分析數(shù)據(jù)的跨平臺互操作,強化平臺的數(shù)據(jù)分析能力,我們迫切需要一個能夠在微觀層面上定義如何測量和分析學(xué)習(xí)活動及其績效的通用準(zhǔn)則,以及把不同來源的異構(gòu)數(shù)據(jù)合并成一種格式,而且可以跨平臺捕獲和交換分析數(shù)據(jù)的標(biāo)準(zhǔn)框架體系(IMS GLC,2015a)。

    為滿足以上學(xué)習(xí)分析數(shù)據(jù)互操作的要求,一個關(guān)于學(xué)習(xí)分析的信息技術(shù)規(guī)范就呼之欲出了。IMS全球?qū)W習(xí)聯(lián)盟(IMS Global Learning Consortium,簡稱IMS)基于上述原因,于2015年編制和發(fā)布了IMS Caliper Analytics規(guī)范(后文簡稱IMS-CA)。IMS(Instructional Management System)是專門從事教學(xué)系統(tǒng)技術(shù)標(biāo)準(zhǔn)制定工作的組織,著眼于分布式環(huán)境下技術(shù)規(guī)范和標(biāo)準(zhǔn)的制定,關(guān)注學(xué)習(xí)系統(tǒng)和學(xué)習(xí)內(nèi)容互操作能力的構(gòu)建,力求促進學(xué)習(xí)技術(shù)在全球的發(fā)展和影響(吳永和等,2015)。IMS發(fā)布的一些標(biāo)準(zhǔn),如學(xué)習(xí)對象元數(shù)據(jù)規(guī)范、內(nèi)容包裝規(guī)范、學(xué)習(xí)設(shè)計規(guī)范等,已經(jīng)成為有國際影響力的標(biāo)準(zhǔn)和我國教育信息技術(shù)標(biāo)準(zhǔn)(CELTS)的重要參考。研究對IMS Caliper Analytics規(guī)范進行介紹和解讀,為國內(nèi)研究者和開發(fā)者在學(xué)習(xí)分析的數(shù)據(jù)互操作方面提供借鑒,并為研制相應(yīng)的國內(nèi)標(biāo)準(zhǔn)奠定研究基礎(chǔ)。

    二、IMS-CA規(guī)范介紹

    Capliper在英文中是“卡尺”的意思??ǔ呤菧y量工具,IMS將此規(guī)范命名為“Caliper Analytics”意在用統(tǒng)一、標(biāo)準(zhǔn)的方式進行分析。這是一個新領(lǐng)域下的互操作規(guī)范,制定該規(guī)范的主要目的是降低從數(shù)字化教學(xué)工具中收集分析數(shù)據(jù)的成本,并且賦予這些數(shù)據(jù)具有一致性的呈現(xiàn)方式,具體目標(biāo)如下(IMS GLC,2015b):(1)建立一種穩(wěn)定的捕捉和表征學(xué)習(xí)活動計量的方法,幫助人們更有效地開發(fā)數(shù)字化學(xué)習(xí)環(huán)境中的學(xué)習(xí)分析功能;(2)定義一種標(biāo)記學(xué)習(xí)數(shù)據(jù)的通用語言,促進數(shù)字化學(xué)習(xí)環(huán)境生態(tài)系統(tǒng)中或更高層面上的學(xué)習(xí)分析的應(yīng)用;(3)提供標(biāo)準(zhǔn)以供用于度量學(xué)習(xí)活動及其影響,幫助設(shè)計師以及課程提供者度量、比較和提升質(zhì)量;(4)提升現(xiàn)有學(xué)習(xí)平臺中的數(shù)據(jù)分析方法、標(biāo)準(zhǔn)和技術(shù);(5)以現(xiàn)有的IMS標(biāo)準(zhǔn)為基礎(chǔ)構(gòu)建,以確保和IMS其他標(biāo)準(zhǔn)的一致性和互補性。

    IMS-CA主要包括兩個部分的內(nèi)容:一是通過“計量組譜”(Metric Profiles)構(gòu)建一個通用格式以記錄和存儲分析數(shù)據(jù),二是通過“Sensor API”捕獲和傳遞散落在各個平臺中的分析數(shù)據(jù)(Hoel et al.,2014)。IMS-CA是IMS標(biāo)準(zhǔn)族的一部分,建立在IMS標(biāo)準(zhǔn)基礎(chǔ)上,以“組譜”的方式定義了一組描述學(xué)習(xí)數(shù)據(jù)的通用格式,充分考慮了其覆蓋范圍以及與其他標(biāo)準(zhǔn)的兼容性,特別是與IMS的《學(xué)習(xí)工具互操作規(guī)范》(Learning Tools Interoperability,簡稱LTI)兼容,該規(guī)范使用了現(xiàn)有的大部分IMS標(biāo)準(zhǔn),如《學(xué)習(xí)信息服務(wù)標(biāo)準(zhǔn)》(Learning Information Services,簡稱LIS)中的概念和詞匯表,并且考慮了和將要發(fā)布的IMS《電子書規(guī)范》(EDUPUB)的整合。

    IMS-CA標(biāo)準(zhǔn)工作組吸收了DL2、Elsevier、Intellify Learning、Learning Object等LMS軟件廠商參與(Meyer,2015a)。2013年9月,該工作組起草了介紹Caliper Analytics的白皮書,并于2015年10月發(fā)布了該標(biāo)準(zhǔn)的第一個版本Caliper Analytics v1,包括以下組成部分:《最佳實踐指南》(Best Practice Guide)、《實施指南》(Implementation Guide)、《一致性和認(rèn)證指南》(Conformance and Certification Guide)以及和平臺開發(fā)密切相關(guān)的《Public Reops for Sensor APIs代碼庫和例程》。

    IMS-CA規(guī)范的出現(xiàn)迎合了信息化教育實踐的需要。海量的教育軟件供應(yīng)商開發(fā)出越來越多的學(xué)習(xí)軟件,但存在于不同平臺上有價值的學(xué)習(xí)數(shù)據(jù)被孤立,而不能被跨平臺獲取和使用。該規(guī)范有利于學(xué)習(xí)分析的數(shù)據(jù)交換和跨平臺使用,對于解決以上問題有著重要的意義。這個統(tǒng)一的標(biāo)準(zhǔn)能夠幫助我們更有效地實現(xiàn)對在線課程質(zhì)量、效果及性能的分析;幫助院校、教師和教學(xué)設(shè)計師等數(shù)字化教學(xué)內(nèi)容的開發(fā)者測量、修改及迭代教育產(chǎn)品;幫助學(xué)習(xí)者更好地使用學(xué)習(xí)分析結(jié)果持續(xù)提升學(xué)習(xí)績效。賓夕法尼亞大學(xué)副信息技術(shù)官John T. Harwood認(rèn)為:提供學(xué)習(xí)全過程的數(shù)據(jù)有利于學(xué)生的學(xué)業(yè)成功,而IMS-CA掃清了教育機構(gòu)獲取和整合LMS之外的學(xué)習(xí)活動數(shù)據(jù)的障礙(IMS GLC,2015c)。除此之外,該標(biāo)準(zhǔn)也可以幫助其他一些機構(gòu),如教育技術(shù)解決方案的提供商、學(xué)習(xí)工具的開發(fā)商、教育內(nèi)容的出版商等相關(guān)方,利用跨平臺的學(xué)習(xí)分析數(shù)據(jù)進行預(yù)測分析,以及提供自適應(yīng)學(xué)習(xí)內(nèi)容、個性化學(xué)習(xí)服務(wù)、早期警示和認(rèn)證等服務(wù)(IMS GLC,2013)。

    三、IMS-CA的信息模型

    1.整體框架

    IMS-CA定義了一個支持學(xué)習(xí)分析數(shù)據(jù)互操作的開放框架,該框架的作用范圍可分為三個部分,如圖1所示(Abel et al.,2015)。第一個部分是數(shù)據(jù)描述、收集及傳遞模塊,IMS-CA規(guī)范了數(shù)據(jù)的生成及收集的標(biāo)準(zhǔn),該層次也是框架中最基礎(chǔ)的部分。第二個部分是數(shù)據(jù)存儲模塊,學(xué)習(xí)事件經(jīng)第一模塊后被封裝為JSON-LD(JavaScript Object Notation for Linked Data)格式的數(shù)據(jù)包,這種數(shù)據(jù)格式既能夠以分布式的方式存儲并檢索,同時也適于在非結(jié)構(gòu)化數(shù)據(jù)庫(NoSQL)中存儲。JSON-LD是W3C發(fā)布的一個輕量級的鏈接的數(shù)據(jù)格式,旨在向JSON中加入“鏈接數(shù)據(jù)”(Linked Data)語義。第三個部分為數(shù)據(jù)應(yīng)用模塊,提供數(shù)據(jù)的可視化、共享、分析、報告及預(yù)測等功能。此外,從數(shù)據(jù)應(yīng)用中得到的反饋數(shù)據(jù)又會被第一個模塊收集。

    圖1 Caliper的作用范圍(IMS GLC,2015a)

    IMS-CA規(guī)范旨在通過在系統(tǒng)平臺/工具間實現(xiàn)學(xué)習(xí)分析數(shù)據(jù)共享和數(shù)據(jù)互操作,構(gòu)建一個更大的學(xué)習(xí)分析生態(tài)系統(tǒng),見圖2(IMS GLC,2015d)。該標(biāo)準(zhǔn)定義了統(tǒng)一的數(shù)據(jù)接口界面,支持跨平臺捕捉學(xué)習(xí)活動數(shù)據(jù)和學(xué)習(xí)評價結(jié)果。對于學(xué)習(xí)平臺,IMS-CA提供了學(xué)習(xí)事件發(fā)生時直接接入系統(tǒng)平臺捕捉學(xué)習(xí)分析數(shù)據(jù)的接口。對于教學(xué)內(nèi)容的開發(fā)者或出版商,該規(guī)范通過針對教學(xué)資源所編制的特定組譜,以一種標(biāo)準(zhǔn)的方式去度量學(xué)習(xí)活動并記錄結(jié)果,為進一步比較課程內(nèi)容及評價提供依據(jù)。對于學(xué)生,IMS-CA定義了實時干預(yù)學(xué)習(xí)活動的功能,將數(shù)據(jù)應(yīng)用到個性化學(xué)習(xí)指導(dǎo)中。綜上,該規(guī)范為學(xué)習(xí)分析的整個生態(tài)系統(tǒng)提供了可測量的、可使用的業(yè)務(wù)信息流。生態(tài)系統(tǒng)中每個功能的運轉(zhuǎn),從課程平臺到教學(xué)研究,再到學(xué)生的個性化服務(wù),都需要Caliper的支持。

    在IMS-CA的支持下,學(xué)習(xí)分析服務(wù)還可以統(tǒng)一的格式分布式地記錄和存儲學(xué)習(xí)事件;提供對計量組譜更詳細的分析,以實現(xiàn)一些諸如儀表盤、推薦/警告、自適應(yīng)內(nèi)容編列等高階功能。它不僅可以作為學(xué)習(xí)平臺軟件開發(fā)商的指南,也可以支持平臺向自適應(yīng)學(xué)習(xí)內(nèi)容的供應(yīng)商和分析預(yù)測提供商提供分析服務(wù)。在未來學(xué)習(xí)分析規(guī)范框架中,其他和學(xué)習(xí)分析相關(guān)的功能將會進一步通過LTI封裝進應(yīng)用軟件中,并可以輕松地在其他應(yīng)用軟件中實現(xiàn)。

    圖2 IMS Caliper學(xué)習(xí)分析生態(tài)系統(tǒng)(IMS GLC,2015d)

    2.學(xué)習(xí)活動的計量組譜

    IMS學(xué)習(xí)計量組譜(IMS Learning Metric Profiles,后文簡稱“計量組譜”)在IMS-CA中扮演了“信息模型”的角色,它定義了學(xué)習(xí)分析中學(xué)習(xí)活動事件和實體的描述方式及其存儲結(jié)構(gòu)。該信息模型基于以下常識構(gòu)建:一門課程由一種或多種學(xué)習(xí)活動組成,而且大部分學(xué)習(xí)活動都可以歸為一個或多個類別,如閱讀、評價、觀看媒體、合作等。在該規(guī)范中學(xué)習(xí)活動(Learning Activity)特指數(shù)字化學(xué)習(xí)環(huán)境中學(xué)習(xí)序列(通常被表示為一堂課)的組成部分,大都是可指派和可評價的。

    編制計量組譜的目的是確立一個標(biāo)準(zhǔn)化的、結(jié)構(gòu)化的學(xué)習(xí)活動計量體系,用以記錄各種情境下學(xué)習(xí)活動的詳細信息。這種機制有利于建立尺度一致的度量標(biāo)準(zhǔn),組織和優(yōu)化對各種不同類型的學(xué)習(xí)活動的度量。還有一些更為通用的基本信息(如參與程度、績效表現(xiàn)等),可為跨活動類型的應(yīng)用提供更通用的評價尺度。任何學(xué)習(xí)活動都可以用一個或多個與之關(guān)聯(lián)的組譜計量。在需要捕捉和管理學(xué)習(xí)活動時,這些計量組譜用于收集及交換數(shù)據(jù)(IMS GLC,2013)。因此,作為一個通用的“基準(zhǔn)”,計量組譜使得基于標(biāo)準(zhǔn)的評估成為可能,同時也為不同系統(tǒng)間學(xué)習(xí)數(shù)據(jù)的交換提供了依據(jù)。

    為適應(yīng)度量不同類型學(xué)習(xí)活動的需要,IMS-CA目前一共定義了9種計量組譜(見下表)(IMS GLC,2015b),分別用于度量閱讀、注釋等不同類型學(xué)習(xí)活動或?qū)W習(xí)活動組合?;A(chǔ)計量組譜是最基本、最通用的計量模型,它定義了學(xué)習(xí)交互過程中各參與實體的核心要素,并且可描述一個完整的事件。這個模型不僅包含了需要統(tǒng)計和分析的實體和行為,而且還有學(xué)習(xí)事件中的參與者、動作、對象等元素,并且可擴展出更多可選元素,用以描述正在發(fā)生的事件、目標(biāo)等內(nèi)容。每一種類型的組譜在學(xué)習(xí)過程中都起著特定的作用。比如,捕捉學(xué)習(xí)者登錄及退出系統(tǒng)的活動會應(yīng)用會話計量組譜;捕捉觀看視頻的活動時應(yīng)用媒體計量組譜;捕捉提交任務(wù)的活動時應(yīng)用可指派計量組譜、評估計量組譜及結(jié)果計量組譜;捕捉閱讀文字時應(yīng)用閱讀計量組譜和注釋計量組譜;捕捉測驗評價活動會應(yīng)用評估計量組譜和結(jié)果計量組譜。

    表計量組譜的類型

    以上每種計量組譜都定義了實體(Entity)、動作(Action)和事件(Event)三種類型的數(shù)據(jù)(IMS GLC,2015b)。“實體”即參與學(xué)習(xí)活動的實體對象,如人、試卷、視頻等,既可以是人,也可以是內(nèi)容或工具;“動作”是學(xué)習(xí)活動中參與者(主要是師生)的行為活動,是教學(xué)交互中的一部分;“事件”是某個情境下被捕捉的學(xué)習(xí)活動中能被度量的最小單位,包含類型信息、情境信息以及表示唯一性的標(biāo)識符。不同類型的活動或組合對應(yīng)不同的事件,如閱讀對應(yīng)“閱讀事件”,評價對應(yīng)“評價事件”。上面9類組譜中,對于實體、動作和事件的屬性和詞匯表均有一定的差異。

    3.Sensor API

    IMS-CA規(guī)范將部署于各學(xué)習(xí)管理系統(tǒng)或?qū)W習(xí)軟件中,用于支持Caliper測量活動的代碼/程序庫稱為“Sensor”,其對應(yīng)的運行時應(yīng)用程序接口稱為“Sensor API”。它定義了該規(guī)范中各部件的通信模型,支持學(xué)習(xí)分析工具從不同的學(xué)習(xí)工具/系統(tǒng)中透過Sensor及相關(guān)API收集或交換數(shù)據(jù),并以計量組譜的形式獲取和學(xué)習(xí)內(nèi)容相關(guān)的信息(IMS GLC,2013)。Sensor API有很好的適應(yīng)性,可跨多種語言供所開發(fā)的應(yīng)用軟件或系統(tǒng)平臺使用,目前已經(jīng)支持Java、Javascript、PHP、Ruby、Django等編程語言或程序框架。

    Sensor API的核心功能是實現(xiàn)學(xué)習(xí)事件的數(shù)據(jù)互操作,而學(xué)習(xí)事件則記錄了學(xué)習(xí)活動中的人機交互。學(xué)習(xí)事件以“參與者/動作/對象/情境”的形式表述(Abel et al.,2015),參與者/動作/對象表述了事件最基本的內(nèi)容,再加上一些情境化的信息,如事件發(fā)生的時間、目標(biāo)、產(chǎn)生內(nèi)容、活動使用的教育應(yīng)用軟件等。這種描述方式建立在W3C RDF的三元組框架“主體/動作/對象”基礎(chǔ)之上,即把一個對象通過謂語動詞同另外一個對象相連接?;谶@種語義結(jié)構(gòu),我們可以通過可測量的學(xué)習(xí)交互表述學(xué)習(xí)事件。如圖3所示,構(gòu)成學(xué)習(xí)事件的三元組中的每個元素都定義了一個或多個學(xué)習(xí)交互中存在的實體。在特定的學(xué)習(xí)環(huán)境中,這些實體相互關(guān)聯(lián),組成了學(xué)習(xí)活動序列的數(shù)據(jù)節(jié)點。每個元素都基于現(xiàn)有IMS標(biāo)準(zhǔn)中的詞匯表以及IMS-CA的計量組譜來描述(IMS GLC,2013)。

    圖3學(xué)習(xí)事件圖解(Abel et al.,2015)

    學(xué)習(xí)事件可以在傳感器端點(Sensor Endpoints)處捕獲,并且支持通過HTTP/REST這樣的通用協(xié)議在不同軟件中傳輸數(shù)據(jù)。這種架構(gòu)設(shè)計使得開發(fā)者可以方便地在任何需要調(diào)用學(xué)習(xí)事件數(shù)據(jù)的軟件中實現(xiàn)傳感器的功能。而且,IMS-CA的Sensor API和下一代SCORM規(guī)范——Experience API共享一個通用協(xié)議,可通過三元組進行數(shù)據(jù)交流,這也使得IMS-CA在和其他規(guī)范的協(xié)同使用上變得更加容易。

    四、IMS-CA對學(xué)習(xí)事件的描述

    IMS-CA對學(xué)習(xí)事件的描述基于“參與者/動作/對象”三元組模型。例如,在“學(xué)生提交作業(yè)”的事件中,“學(xué)生”是參與者,“提交”是表示動作的謂語,提交的“作業(yè)”是對象。參與者和對象使用id屬性來標(biāo)識其唯一性,動作則通過type屬性以字符串(最好是URL形式)來標(biāo)識動作類型。此外,對象中還包括完成學(xué)習(xí)任務(wù)所用的時間(IMS GLC,2015b)。在技術(shù)實現(xiàn)上,IMS-CA規(guī)定計量組譜以JSON格式描述數(shù)據(jù),遵守JSON-LD標(biāo)準(zhǔn)。

    圖4描述閱讀事件的IMS-CA的計量組譜封裝包(IMS GLC,2015b)

    下面是IMS-CA文檔中給出的一個學(xué)習(xí)事件計量組譜的JSON封裝包實例(見例1),用于描述一個學(xué)習(xí)者進行閱讀的事件。首先是Sensor所在的URL和發(fā)送該數(shù)據(jù)包的時間,其后是學(xué)習(xí)事件的集合。這個包中僅有一個事件,包含了定義事件的四個主要的屬性:actor、action、eventTime和object。在關(guān)于這個事件的描述腳本中,actor項下的@id和@type分別描述了參與者的類型和ID;action項表明這是一個“Viewed”事件,即“看完了”;object項下的@id和@type分別告訴系統(tǒng)這個參與者所觀看內(nèi)容的ID和類型。通過此數(shù)據(jù)包可以精確度量學(xué)習(xí)者對什么學(xué)習(xí)內(nèi)容完成了何種任務(wù),使用了多少時間。該范例是一個極度簡化的封包,真正在系統(tǒng)中傳遞的計量組譜封裝包記錄了比它多幾倍的屬性和信息。

    五、IMS-CA的運行時實現(xiàn)

    IMS-CA規(guī)范的應(yīng)用場景通常包含三類實體(IMS GLC,2013):(1)支持LTI規(guī)范的學(xué)習(xí)平臺;(2)支持LTI規(guī)范的應(yīng)用軟件,如用于支持課程閱讀活動的應(yīng)用軟件和視頻學(xué)習(xí)的應(yīng)用軟件,這些應(yīng)用必須支持與學(xué)習(xí)活動類型相對應(yīng)的計量組譜以及Sensor API,并且可以向傳感器端點傳送學(xué)習(xí)事件;(3)支持Sensor API的學(xué)習(xí)分析服務(wù)(可以是學(xué)習(xí)平臺的一部分),該服務(wù)也為學(xué)習(xí)平臺提供分析量表和統(tǒng)計報告。典型的運行時范例如圖5所示。

    圖5 IMS-CA運行時圖解(IMS GLC,2013)

    為構(gòu)建符合IMS-CA的運行時環(huán)境,實現(xiàn)跨系統(tǒng)的學(xué)習(xí)分析數(shù)據(jù)互操作,需要做如下的配置。首先,學(xué)習(xí)平臺的管理員需要配置兩個符合LTI規(guī)范的應(yīng)用軟件,而且要分別支持閱讀計量組譜及視頻計量組譜。為兼容IMS-CA,需要使用2.0版本的LTI協(xié)議進行應(yīng)用間的通訊。傳感器端點的URL配置信息也應(yīng)作為LTI的一部分定義在LTI的工具代理注冊信息(Tool Proxy Registration)內(nèi)。這是一個指向分析服務(wù)的URL,并通過嵌入式的API鑰匙驗證使用權(quán)限,管理員需要在LTI應(yīng)用上預(yù)先配置好這個數(shù)據(jù)。在IMS-CA框架中,LTI學(xué)習(xí)應(yīng)用的配置也可以通過發(fā)起端的REST API自動完成,因此配置工作可以被極大地簡化。做好相關(guān)配置后,教師用戶發(fā)起LTI的發(fā)送請求,以添加這兩個學(xué)習(xí)活動。在發(fā)送LTI時,由于相應(yīng)的工具軟件支持IMS計量組譜,學(xué)習(xí)管理平臺會把傳感器端點URL作為一項參數(shù)發(fā)送。而在接收端,應(yīng)用服務(wù)器接收并解析出傳感器端點的信息,并把其存儲起來以備將來使用。完成上述過程后,教師便完成了在LTI應(yīng)用中添加閱讀計量組譜和視頻計量組譜的任務(wù)。

    以上配置及準(zhǔn)備工作完成后,學(xué)生便可以開始在學(xué)習(xí)平臺中學(xué)習(xí)課程,按照教師布置的學(xué)習(xí)任務(wù)進行閱讀和觀看視頻。學(xué)習(xí)過程中,學(xué)生會做出一些常規(guī)的動作,例如閱讀一頁內(nèi)容、給學(xué)習(xí)內(nèi)容作標(biāo)記、添加書簽、觀看視頻并在某一時間點的視頻內(nèi)容上做筆記。與此同時,支持LTI規(guī)范的學(xué)習(xí)平臺會記錄下學(xué)生的動作。由于學(xué)習(xí)平臺預(yù)先配置了傳感器端點,兩個特定的應(yīng)用軟件(閱讀和視頻)會通過代理服務(wù)向端點所在的URL提交學(xué)習(xí)事件。這樣,學(xué)習(xí)平臺基于IMS Caliper框架,通過部署在數(shù)據(jù)提供方的代理服務(wù)捕捉并整理分析數(shù)據(jù)。

    需要注意的是,從標(biāo)準(zhǔn)編制的視角,分析服務(wù)及其他與此關(guān)聯(lián)的服務(wù),例如訪問許可、分析數(shù)據(jù)存儲,都是有關(guān)具體實現(xiàn)的內(nèi)容,會有很大的差異性和不確定性,因而不在IMS-CA規(guī)范本身的范圍內(nèi)規(guī)定。

    六、IMS-CA應(yīng)用案例

    IMS-CA為學(xué)習(xí)系統(tǒng)間共享學(xué)習(xí)活動數(shù)據(jù)和進行學(xué)習(xí)分析定義了一個開放的、標(biāo)準(zhǔn)的接口。利用數(shù)據(jù)進行科學(xué)診斷越來越普及和方便,主流的學(xué)習(xí)管理平臺和學(xué)習(xí)工具供應(yīng)商已經(jīng)著手適配和應(yīng)用該規(guī)范,使其學(xué)習(xí)平臺產(chǎn)品能夠支持學(xué)校及系統(tǒng)之間輕松、無縫地收集與合并來自不同數(shù)據(jù)源的學(xué)習(xí)分析數(shù)據(jù),以及提供分享分析數(shù)據(jù)的接口功能。筆者將通過以下兩個實例進行詳細說明。

    1.學(xué)習(xí)管理系統(tǒng)Brightspace對IMS-CA的實現(xiàn)

    Brightspace是美國Desire2Learn(D2L)公司開發(fā)的學(xué)習(xí)管理平臺,該平臺在美國有較高的市場份額。2015年秋季,D2L發(fā)布了新版本的Brightspace平臺,在原有數(shù)據(jù)統(tǒng)計工具Insights的基礎(chǔ)上推出了新的學(xué)習(xí)分析框架——“學(xué)習(xí)分析藍圖”(Learning Analytics Blueprint),以IMS-CA格式同時支持發(fā)送和接收雙向數(shù)據(jù)流的學(xué)習(xí)分析數(shù)據(jù),并且支持構(gòu)建多應(yīng)用的學(xué)習(xí)分析生態(tài)環(huán)境(Meyer,2015b)。

    教師可以通過Brightspace平臺上的Insights工具觀察學(xué)生是如何和學(xué)習(xí)生態(tài)系統(tǒng)中的各種內(nèi)容交互的,這些內(nèi)容包括視頻、移動應(yīng)用和游戲等?;贗MS-CA,平臺可以記錄并匯總同一門課程中學(xué)生登錄情況及課程中學(xué)習(xí)內(nèi)容和學(xué)習(xí)工具的使用情況,通過統(tǒng)一的界面,即分析儀表盤,將學(xué)習(xí)者的學(xué)習(xí)進度顯示給教師。學(xué)習(xí)管理系統(tǒng)還會實時監(jiān)控學(xué)習(xí)情況,對處于危險狀態(tài)的學(xué)生給予警示(見圖6),同時幫助教師分析和診斷出潛在的問題并及時聯(lián)系學(xué)生。

    圖6 Brightspace平臺界面

    Brightspace構(gòu)建的學(xué)習(xí)分析體系還可以幫助教師收集學(xué)生在移動設(shè)備上學(xué)習(xí)的活動數(shù)據(jù),并通過分析結(jié)果來監(jiān)控學(xué)生的學(xué)習(xí)進展(D2L Co.,2015)。D2L在Android和iOS平臺上均發(fā)布了移動應(yīng)用Brightspace Pulse,該手機應(yīng)用通過了IMS-CA認(rèn)證,支持智能化地搜集學(xué)生在移動應(yīng)用中的數(shù)據(jù),并傳回到Brightspace平臺供教師分析。

    此外,D2L和視頻平臺供應(yīng)商Kaltura合作,支持將學(xué)習(xí)者在Kaltura平臺上觀看視頻等活動的數(shù)據(jù)透過IMS-CA的API回傳到Brightspace Insights中,提供對視頻內(nèi)容使用情況的實時分析,并進一步優(yōu)化學(xué)習(xí)。

    2.視頻管理和播放平臺Kaltura對IMS-CA的實現(xiàn)

    Kaltura是一個專注于提供視頻存儲和播放服務(wù)的開源系統(tǒng)平臺,提供了視頻的管理、在線編輯和流媒體視頻播放等功能,在教育市場有較大的市場份額和數(shù)以億計的用戶。在線學(xué)習(xí)中有大量使用視頻形式的教育內(nèi)容并圍繞視頻開展交互活動,隨之產(chǎn)生了豐富的學(xué)習(xí)活動數(shù)據(jù)。

    Kaltura平臺于2015年10月通過了IMS-CA的一致性認(rèn)證,正式支持這個規(guī)范。通過該規(guī)范,Kaltura以標(biāo)準(zhǔn)、開放、靈活的方式把系統(tǒng)中產(chǎn)生的視頻播放信息,即基于視頻的學(xué)習(xí)活動信息,直接開放給學(xué)習(xí)管理系統(tǒng)和學(xué)習(xí)記錄存儲服務(wù)(LRS)等其他系統(tǒng)使用(Kaltura Co.,2015a)。Kaltura對IMS-CA的支持讓用戶更容易從視頻及相關(guān)數(shù)據(jù)中獲取價值。圍繞視頻內(nèi)容產(chǎn)生的數(shù)據(jù)可以方便地與其他數(shù)據(jù)整合,以實現(xiàn)對學(xué)習(xí)活動更深層次的分析和解讀,提供可操作的診斷結(jié)果,進而提高學(xué)習(xí)效果。新版本的Kaltura實現(xiàn)了以下與學(xué)習(xí)分析相關(guān)的功能(Kaltura Co.,2015b):

    其一,為教師和管理者提供功能強大的分析數(shù)據(jù)儀表盤。這樣教師在Kaltura平臺上就可以查詢和了解學(xué)生與教學(xué)視頻交互的情況,獲得學(xué)生觀看了多少教學(xué)資源,在每個視頻上停留的時間,是否完整地看了視頻等信息;還可以進一步深入分析學(xué)生的偏好,如學(xué)生的觀看速度是否使用字幕,以及哪種語言將更受歡迎。此外,學(xué)生在視頻中完成內(nèi)嵌測試的情況以及其他更高級的互動也會被記錄和分析。

    其二,提供標(biāo)準(zhǔn)的Sensor API接口,使其他合作平臺能夠透過Kaltura平臺捕捉及提取數(shù)據(jù)。作為教學(xué)視頻的承載平臺,Kaltura中存儲了大量的與媒體活動相關(guān)的數(shù)據(jù),支持IMS-CA的各種學(xué)習(xí)管理系統(tǒng)都可以通過Kaltura平臺提供的API接口以一致的方式來取回這些數(shù)據(jù),并進行進一步加工。

    七、總結(jié)

    IMS-CA規(guī)范自推出以來就受到極大關(guān)注,在剛剛到來的2016年會有更多的主流學(xué)習(xí)管理系統(tǒng)考慮適配此規(guī)范,或是提供符合該規(guī)范的API接口。Blackboard和D2L等主流學(xué)習(xí)管理系統(tǒng)提供商均已開始支持該規(guī)范(Abel et al.,2015;Mathewson,2015)。基于它們巨大的市場占有率和用戶規(guī)模,每周可能會有數(shù)以百萬計的學(xué)習(xí)事件使用該規(guī)范度量和分析,最終為提高學(xué)習(xí)質(zhì)量提供依據(jù),造福學(xué)習(xí)者。德克薩斯州立大學(xué)、密歇根大學(xué)、肯塔基大學(xué)等教育機構(gòu)正基于該規(guī)范實施其歷史上第一次的大規(guī)模學(xué)習(xí)信息分析項目。由美國頂級大學(xué)發(fā)起的第一波應(yīng)用潮將會把該規(guī)范投入到實際生產(chǎn)中,通過應(yīng)用Caliper來分析和診斷學(xué)習(xí)。學(xué)習(xí)分析與數(shù)字證書的結(jié)合將推動高等教育的信息化,產(chǎn)生持久而深遠的變化。

    雖然應(yīng)用前景廣泛,但IMS-CA學(xué)習(xí)分析規(guī)范還將面臨一些挑戰(zhàn)。第一,學(xué)習(xí)分析需要以良好的數(shù)據(jù)作為原材料,數(shù)據(jù)本身應(yīng)該是真實有效的,而且必須以數(shù)字化的形態(tài)呈現(xiàn);第二,需要有清晰的目標(biāo),明確數(shù)據(jù)的用途以及其對業(yè)務(wù)的支持方式;第三,推進學(xué)習(xí)分析需要教育機構(gòu)具備合適的組織文化,并且要有執(zhí)行力才能實現(xiàn);第四,對于學(xué)習(xí)分析技術(shù)應(yīng)該對學(xué)習(xí)者和教育者真正有益,實施效果要令人信服(Feldstein,2013;Straumsheim,2015)。此外,該標(biāo)準(zhǔn)在推廣和使用中還存在商業(yè)模式和商業(yè)利益的潛在風(fēng)險。在某些商業(yè)模式下,數(shù)據(jù)格式差異故意造成的壁壘是一些公司保護自己利益的武器,出售和轉(zhuǎn)換從學(xué)校獲取的數(shù)據(jù)也是其不可忽視的一個收入來源。開放數(shù)據(jù)接口,以標(biāo)準(zhǔn)的方式免費提供這些數(shù)據(jù)將會阻礙其進一步獲益。因此,該規(guī)范的推進有可能不像IMS以往的標(biāo)準(zhǔn)一樣順利,需要廠商、機構(gòu)、用戶各方不斷地博弈。

    學(xué)習(xí)分析是為學(xué)習(xí)者、教育者、管理者、投資者提供信息以優(yōu)化學(xué)習(xí)過程的工具,支持在更深層次或者新的領(lǐng)域內(nèi)探究對學(xué)習(xí)者的成功起關(guān)鍵作用的影響因素?;诖髷?shù)據(jù)的學(xué)習(xí)分析服務(wù)可以指引個性化的學(xué)習(xí),及時警示學(xué)習(xí)過程中處于危險狀態(tài)的學(xué)生,幫助學(xué)習(xí)者提升他們對學(xué)習(xí)活動的責(zé)任心;在管理層次上,學(xué)習(xí)分析還可以提高課程完成率,為教育決策的制定者提供參考信息(Siemens et al.,2015)。IMS-CA規(guī)范的發(fā)布及實施提供了一個一致的語義模型和統(tǒng)一的度量衡系統(tǒng)記錄學(xué)習(xí)事件,通過開放接口和一致性的調(diào)用方式將各種零散的學(xué)習(xí)系統(tǒng)和學(xué)習(xí)工具整合起來。這有助于學(xué)習(xí)分析生態(tài)的構(gòu)建,有助于在利用學(xué)習(xí)分析優(yōu)化學(xué)習(xí)過程中,實現(xiàn)為學(xué)習(xí)者、教育者和管理者服務(wù)的最終目標(biāo)。

    參考文獻:

    [1]李青,王濤(2012).學(xué)習(xí)分析技術(shù)研究與應(yīng)用現(xiàn)狀述評[J].中國電化教育,(8):129-133.

    [2]吳永和,曹盼,余云濤(2015). IMS全球?qū)W習(xí)聯(lián)盟對學(xué)習(xí)技術(shù)的發(fā)展與影響[J].信息技術(shù)與標(biāo)準(zhǔn)化, (6):50-53,73.

    [3]Abel,R., & Kellen,V.(2015).Simplifying Learning Analytics via the Caliper Analytics Framework[EB/OL]. [2015-12-23]. http://www.educause.edu/sites/default/files/library/presentations/ E15OL/OL01/OL01_Simplifying%2BLearning%2BAnalytics.pdf.

    [4]D2L Co.(2015). Brightspace Autumn15 Unlocks Analytics in the Classroom[EB/OL]. [2016-02-10].http://www.marketwired.com/press-release/brightspace-autumn15-unlocks-analytics-in-the-classroom-2067503.htm.

    [5]Feldstein,M.(2013). The IMS's New "Caliper" Learning Analytics Interoperability Framework Is Deeply Interesting[EB/OL]. [2016-02-10].http://mfeldstein.com/imss-new-caliper-learning-analytics-interoperability-framework-deeply-interesting/.

    [6]Hoel,T., & Cooper, A.(2014). Standards to Support Learning Analytics[EB/OL]. [2015-12-23].http://www.laceproject. eu/wp-content/uploads/2014/12/LACE-Standards-Bodies-Roundup-2014.pdf.

    [7]IMS GLC(2013). Learning Measurement for Analytics Whitepaper[EB/OL]. http://www.imsglobal.org/sites/default/files/ caliper/IMSLearningAnalyticsWP.pdf. (2015-12-23)

    [8]IMS GlC(2015a). Caliper Analytics?Background[EB/OL]. [2015-12-23].https://www.imsglobal.org/activity/caliperram.

    [9]IMS GLC(2015b). IMS Caliper Analytics Implementation Guide[EB/OL]. [2015-12-23].http://www.imsglobal.org/caliper/caliperv1p0/ims-caliper-analytics-implementation-guide.

    [10]IMS GLC (2015c). IMS Caliper Analytics Interoperability Standards Reach Candidate Final Release Status[EB/OL]. [2016-01-20].https://www.imsglobal.org/pressreleases/pr150506.html.

    [11]IMS GLC(2015d). Real-time, Cross Application Educational Data and Analytics [EB/OL]. [2015-12-23].https://www. imsglobal.org/initiative/real-time-cross-application-educational-data-and-analytics .

    [12]Kaltura Co.(2015a). Kaltura Among the First to Obtain Caliper Analytics?Certification[EB/OL]. [2015-12-25].http:// corp.kaltura.com/company/news/press-release/kaltura-amongfirst-obtain-caliper-analytics%E2%84%A2-certification.

    [13] Kaltura Co.(2015b). Why IMS Caliper is so Important [EB/OL]. [2015-12-25].https://blog.kaltura.org/ims-caliperimportant/.

    [14]Mathewson, T. G.(2015).Caliper Analytics Advances Next Frontier for Data[EB/OL]. [2016-01-20].http://www.educationdive.com/news/caliper-analytics-advances-next-frontier-fordata/408166/ .

    [15]Meyer,L.(2015a). Caliper Analytics Specification Set for Release[EB/OL]. [2016-02-10].https://campustechnology. com/articles/2015/05/07/caliper-analytics-specification-set-for-release.aspx.

    [16]Meyer,L.(2015b).D2L Updates Brightspace LMS with New Analytics Tools[EB/OL]. [2016-02-10].https://thejournal. com/Articles/2015/10/28/D2L-Updates-Brightspace-LMS-with-New-Analytics-Tools.aspx.

    [17]Siemens, G. et al.(2015).Open Learning Analytics: An Integrated & Modularized Platform[EB/OL]. [2015-12-25].http: //classroom-aid.com/wp-content/uploads/2014/04/OpenLearningAnalytics.pdf.

    [18]Straumsheim, C.(2015). The Language of Learning Analytics[EB/OL]. [2016-01-20].https://www.insidehighered.com/ news/2015/08/06/colleges-vendors-discuss-plans-learninganalytics-caliper-framework-nears-finish .

    Interpretation of IMS Caliper Analytics Specification

    Li Qing, Zhao Yue

    Abstract:The global wave of MOOC has promoted the dissemination and development of online courses, which generates massive and diversified data, and thus accelerates the application of "big data" analysis technology in education. The assessment, analysis and use of the data have an important influence on learning. Nowadays, All the LMS and learning tools have their own formats to store and transfer data, resulting in difficulties in collecting and analyzing cross-platform data with a unified format. IMS GLC developed the Caliper Analytics specification, built up an data inter-operation framework, and tried to resolve the key relevant issues. This specification establishes a common format for analyzing and recording data by "metric profile", and with "sensor API" captures and delivers analytical data from different platforms, which will facilitate the exchange and cross-platform use of learning analytics data, so that valuable learning data can be used better. This unified standard can promote more effective analysis on quality, effectiveness and performance of online courses; help colleges, teachers, instructional designers and other digital teaching content developers to measure, modify and iterate education products; help learners to improve learning performance with analysis results. Although, this standard has good application prospects, it will still face a lot of challenges: such as the way to present the data sources, its own intended usage of data, organizational culture of institutions, the implementation effectiveness of analytical techniques, and the potential risks of the business model.

    Keywords:Learning Analytics; Learning Technology Standard; Education Informatization; IMS Caliper Analytics

    收稿日期2016-02-19責(zé)任編輯曾艷

    作者簡介:李青,北京師范大學(xué)教育技術(shù)學(xué)院博士后,博士,副教授,北京郵電大學(xué)網(wǎng)絡(luò)教育學(xué)院(北京100875);趙越,碩士研究生,北京郵電大學(xué)網(wǎng)絡(luò)教育學(xué)院(北京100088)。

    *基金項目:中國博士后科學(xué)基金第八批特別資助項目“泛在學(xué)習(xí)環(huán)境下基于情境感知的協(xié)同認(rèn)知空間建構(gòu)研究”(2015T80049)。

    中圖分類號:G434

    文獻標(biāo)識碼:A

    文章編號:1009-5195(2016)02-0098-09 doi10.3969/j.issn.1009-5195.2016.02.012

    猜你喜歡
    學(xué)習(xí)分析教育信息化
    大數(shù)據(jù)思維下教學(xué)過程數(shù)據(jù)分析及應(yīng)用研究
    在線學(xué)習(xí)過程管理大數(shù)據(jù)的建設(shè)與應(yīng)用
    簡析小學(xué)勞動與技術(shù)教育的有效合作學(xué)習(xí)
    如何加強校園信息化建設(shè)創(chuàng)學(xué)校發(fā)展提速平臺
    基于虛擬仿真技術(shù)的地方高校實驗教學(xué)探討
    信息技術(shù)與教學(xué)難以深度融合的成因及解決途徑探析
    科技資訊(2016年19期)2016-11-15 10:19:53
    榆林學(xué)院智慧校園系統(tǒng)架構(gòu)的分析與設(shè)計
    淺析大數(shù)據(jù)在教育中的應(yīng)用
    人間(2016年28期)2016-11-10 23:13:41
    高職學(xué)院信息化建設(shè)中面臨的問題和思考
    科技視界(2016年22期)2016-10-18 17:29:57
    創(chuàng)新信息技術(shù)支撐教學(xué)變革
    美女xxoo啪啪120秒动态图| 18禁裸乳无遮挡免费网站照片| 国产精品一区www在线观看| 国产大屁股一区二区在线视频| 尾随美女入室| 黄片无遮挡物在线观看| 日韩成人av中文字幕在线观看| 久久久色成人| 亚洲三级黄色毛片| 人妻夜夜爽99麻豆av| 26uuu在线亚洲综合色| 久久综合国产亚洲精品| 国产69精品久久久久777片| 看片在线看免费视频| 寂寞人妻少妇视频99o| 国产成人免费观看mmmm| 精品久久久久久久末码| 观看免费一级毛片| 精品国产一区二区三区久久久樱花 | 联通29元200g的流量卡| 永久免费av网站大全| 在线观看一区二区三区| 两个人视频免费观看高清| 美女高潮的动态| 国产午夜精品一二区理论片| 婷婷色麻豆天堂久久 | 亚洲,欧美,日韩| 中文字幕av成人在线电影| 色吧在线观看| 一本一本综合久久| 国产探花在线观看一区二区| 日韩欧美 国产精品| 色综合亚洲欧美另类图片| 欧美zozozo另类| 成年免费大片在线观看| 乱码一卡2卡4卡精品| 岛国毛片在线播放| 日韩精品有码人妻一区| 能在线免费看毛片的网站| 亚洲精品一区蜜桃| 欧美三级亚洲精品| 床上黄色一级片| 99在线视频只有这里精品首页| 国产成人精品一,二区| 日本黄色视频三级网站网址| 国产av不卡久久| 久久久色成人| 中文字幕av在线有码专区| 22中文网久久字幕| 久久久精品94久久精品| 在线免费观看不下载黄p国产| 99久久精品一区二区三区| 国产精品综合久久久久久久免费| 久久精品影院6| 国产精品熟女久久久久浪| 真实男女啪啪啪动态图| 亚洲成人av在线免费| 国产成人91sexporn| 国模一区二区三区四区视频| 日韩欧美国产在线观看| 永久免费av网站大全| 有码 亚洲区| 午夜爱爱视频在线播放| 国产午夜精品论理片| 自拍偷自拍亚洲精品老妇| 成人漫画全彩无遮挡| 久久精品国产亚洲网站| 免费av观看视频| 日产精品乱码卡一卡2卡三| 国产高清国产精品国产三级 | 久久精品久久久久久噜噜老黄 | 国产精品一区二区性色av| 亚洲熟妇中文字幕五十中出| 麻豆乱淫一区二区| 亚洲国产精品合色在线| 亚洲精品乱久久久久久| 最近的中文字幕免费完整| 中文字幕久久专区| 国产亚洲5aaaaa淫片| 深爱激情五月婷婷| 九九爱精品视频在线观看| 国产精品一区二区在线观看99 | 一级毛片电影观看 | 麻豆久久精品国产亚洲av| 久久人人爽人人爽人人片va| 秋霞在线观看毛片| 黄色一级大片看看| 日韩欧美三级三区| 一级黄片播放器| 在线播放无遮挡| 亚洲欧美精品专区久久| 久久午夜福利片| 99久久人妻综合| 熟女电影av网| 男女国产视频网站| 午夜精品国产一区二区电影 | 亚洲国产精品国产精品| 久久久久免费精品人妻一区二区| 成人美女网站在线观看视频| 欧美日本视频| 久久精品91蜜桃| 村上凉子中文字幕在线| 69av精品久久久久久| 亚洲图色成人| 中文天堂在线官网| 国产黄片视频在线免费观看| 久久人妻av系列| 身体一侧抽搐| 亚洲欧洲日产国产| 91精品国产九色| 99久久九九国产精品国产免费| 亚洲美女视频黄频| 成人性生交大片免费视频hd| 国产成人一区二区在线| 亚洲精品成人久久久久久| 91久久精品国产一区二区成人| 亚洲图色成人| 男女啪啪激烈高潮av片| 我要搜黄色片| 久久人妻av系列| 国产精品综合久久久久久久免费| 两个人视频免费观看高清| 国产在线一区二区三区精 | 嫩草影院入口| 成人一区二区视频在线观看| av免费观看日本| 欧美成人一区二区免费高清观看| 国产激情偷乱视频一区二区| 日韩精品有码人妻一区| 国内精品宾馆在线| 特级一级黄色大片| 成人国产麻豆网| 亚洲综合精品二区| 国产成人一区二区在线| 在线免费观看的www视频| 国产精品久久久久久精品电影小说 | 国产伦精品一区二区三区视频9| 18禁裸乳无遮挡免费网站照片| 99热精品在线国产| 人人妻人人澡欧美一区二区| 最后的刺客免费高清国语| 精品国内亚洲2022精品成人| 国产三级在线视频| 男插女下体视频免费在线播放| 国产欧美日韩精品一区二区| 久久亚洲精品不卡| 非洲黑人性xxxx精品又粗又长| 不卡视频在线观看欧美| 国产成人精品婷婷| 嘟嘟电影网在线观看| av福利片在线观看| 青春草亚洲视频在线观看| 中文字幕制服av| 美女脱内裤让男人舔精品视频| 色哟哟·www| 免费看av在线观看网站| 成年女人看的毛片在线观看| 97在线视频观看| 成人二区视频| 两个人的视频大全免费| 成人漫画全彩无遮挡| 国产久久久一区二区三区| 永久网站在线| 最近视频中文字幕2019在线8| 老司机福利观看| av.在线天堂| 亚洲内射少妇av| 欧美3d第一页| 一级黄色大片毛片| 久久综合国产亚洲精品| 日韩视频在线欧美| 精品国产三级普通话版| 99热全是精品| 天天一区二区日本电影三级| 久久99蜜桃精品久久| 国产私拍福利视频在线观看| 夫妻性生交免费视频一级片| 午夜日本视频在线| 嫩草影院精品99| 三级国产精品片| 国内精品一区二区在线观看| 久久婷婷人人爽人人干人人爱| 午夜老司机福利剧场| 成人美女网站在线观看视频| 亚洲精品自拍成人| 观看美女的网站| 别揉我奶头 嗯啊视频| 国产极品精品免费视频能看的| 久久久久久国产a免费观看| 成人鲁丝片一二三区免费| 亚洲av二区三区四区| 亚洲国产欧美在线一区| 99热6这里只有精品| 精品少妇黑人巨大在线播放 | 好男人视频免费观看在线| 18禁动态无遮挡网站| 色5月婷婷丁香| 亚洲精品aⅴ在线观看| 黑人高潮一二区| 少妇猛男粗大的猛烈进出视频 | 黑人高潮一二区| 美女cb高潮喷水在线观看| 日韩欧美国产在线观看| 在线观看66精品国产| 亚洲伊人久久精品综合 | 十八禁国产超污无遮挡网站| 久久久久久久久久久免费av| 美女大奶头视频| 国产精品女同一区二区软件| 99热6这里只有精品| 精品久久久久久久人妻蜜臀av| 国产高潮美女av| 国产精品三级大全| 欧美成人免费av一区二区三区| 国产午夜福利久久久久久| 国产精品女同一区二区软件| 亚洲在线观看片| 美女大奶头视频| 久久久国产成人免费| 国产精品国产高清国产av| 精品久久久久久久久av| 午夜久久久久精精品| 2021天堂中文幕一二区在线观| 男插女下体视频免费在线播放| 91狼人影院| 免费不卡的大黄色大毛片视频在线观看 | 亚洲欧美精品综合久久99| 国产精品一区二区性色av| 久久6这里有精品| 成人一区二区视频在线观看| 在线免费观看的www视频| 成人鲁丝片一二三区免费| 午夜福利在线观看免费完整高清在| 超碰av人人做人人爽久久| 亚洲av成人精品一区久久| 国产一级毛片七仙女欲春2| 最近中文字幕高清免费大全6| 联通29元200g的流量卡| 日韩大片免费观看网站 | 国产精品久久久久久久电影| 欧美zozozo另类| 欧美变态另类bdsm刘玥| 国产亚洲91精品色在线| 中文在线观看免费www的网站| 久久99蜜桃精品久久| 日本一二三区视频观看| 色综合色国产| 少妇裸体淫交视频免费看高清| 成人综合一区亚洲| 菩萨蛮人人尽说江南好唐韦庄 | 我的老师免费观看完整版| 亚洲av熟女| 小蜜桃在线观看免费完整版高清| www.色视频.com| 99热这里只有是精品在线观看| 日本黄色视频三级网站网址| 欧美成人一区二区免费高清观看| 99久久九九国产精品国产免费| 久久久久久大精品| 免费人成在线观看视频色| 精品国产三级普通话版| 亚洲欧美精品综合久久99| 又粗又爽又猛毛片免费看| 最后的刺客免费高清国语| 亚洲在久久综合| 国产黄a三级三级三级人| av线在线观看网站| 亚洲自拍偷在线| 人妻少妇偷人精品九色| 国产成人精品久久久久久| 99国产精品一区二区蜜桃av| 国产伦在线观看视频一区| 床上黄色一级片| 尤物成人国产欧美一区二区三区| 精品国产三级普通话版| 亚洲av不卡在线观看| 久久欧美精品欧美久久欧美| 熟女人妻精品中文字幕| av在线蜜桃| 嫩草影院入口| 亚洲色图av天堂| 久久久精品欧美日韩精品| 成人综合一区亚洲| 国产精品一区二区三区四区久久| 国产综合懂色| 国产私拍福利视频在线观看| 精品久久久久久久久久久久久| 国产 一区精品| 亚洲成人久久爱视频| av.在线天堂| 男女视频在线观看网站免费| 人妻制服诱惑在线中文字幕| 免费观看人在逋| 99久久精品一区二区三区| 在线免费观看的www视频| 九九爱精品视频在线观看| 国产真实伦视频高清在线观看| 亚洲人与动物交配视频| 久久久久久九九精品二区国产| 最近手机中文字幕大全| 欧美区成人在线视频| 最近中文字幕高清免费大全6| 国产又色又爽无遮挡免| 97在线视频观看| 夜夜爽夜夜爽视频| 国产私拍福利视频在线观看| 中文在线观看免费www的网站| 在线观看一区二区三区| 中文字幕免费在线视频6| 免费看a级黄色片| 能在线免费观看的黄片| 日本免费一区二区三区高清不卡| 中文乱码字字幕精品一区二区三区 | 寂寞人妻少妇视频99o| 亚洲国产最新在线播放| 成人亚洲欧美一区二区av| 欧美激情在线99| 国产伦一二天堂av在线观看| 欧美性感艳星| 高清视频免费观看一区二区 | 午夜激情福利司机影院| 婷婷色麻豆天堂久久 | 精品不卡国产一区二区三区| 一个人免费在线观看电影| 久久久欧美国产精品| 国产av不卡久久| 国产一区有黄有色的免费视频 | 淫秽高清视频在线观看| 亚洲精华国产精华液的使用体验| 久久99热这里只有精品18| 午夜爱爱视频在线播放| 18+在线观看网站| 欧美一区二区精品小视频在线| 亚洲国产欧美人成| 女人被狂操c到高潮| 亚洲成色77777| 国产精品三级大全| 晚上一个人看的免费电影| 国产av码专区亚洲av| 麻豆国产97在线/欧美| 女人被狂操c到高潮| 亚洲色图av天堂| 精品久久国产蜜桃| 中文字幕亚洲精品专区| 日本-黄色视频高清免费观看| 舔av片在线| 中文字幕人妻熟人妻熟丝袜美| 日韩av不卡免费在线播放| 国产免费视频播放在线视频 | 久久久久免费精品人妻一区二区| 国产精品,欧美在线| 亚洲精品一区蜜桃| 国产精品,欧美在线| 乱码一卡2卡4卡精品| 久久久久久久久大av| 又爽又黄a免费视频| 九九久久精品国产亚洲av麻豆| 亚洲美女搞黄在线观看| www.色视频.com| 国产av一区在线观看免费| 免费无遮挡裸体视频| 免费观看人在逋| 欧美+日韩+精品| 国产精品女同一区二区软件| 日本熟妇午夜| 亚洲五月天丁香| 欧美最新免费一区二区三区| 国语对白做爰xxxⅹ性视频网站| 欧美日韩综合久久久久久| 久久午夜福利片| 色网站视频免费| 最后的刺客免费高清国语| 精品不卡国产一区二区三区| 毛片女人毛片| 91久久精品电影网| 一级黄片播放器| 日本五十路高清| 日本黄色片子视频| 男人舔女人下体高潮全视频| 直男gayav资源| 色综合亚洲欧美另类图片| 级片在线观看| 亚洲国产欧美在线一区| 麻豆一二三区av精品| 亚洲精品国产成人久久av| 国产又色又爽无遮挡免| 国产黄色小视频在线观看| 国产成人freesex在线| 日本av手机在线免费观看| 少妇熟女aⅴ在线视频| 69av精品久久久久久| h日本视频在线播放| 欧美成人一区二区免费高清观看| 永久网站在线| 热99re8久久精品国产| 久久99精品国语久久久| 亚洲欧美精品综合久久99| 久久精品久久久久久噜噜老黄 | 日本猛色少妇xxxxx猛交久久| 秋霞伦理黄片| 一级毛片久久久久久久久女| 岛国毛片在线播放| 一本久久精品| 亚洲精品aⅴ在线观看| 国产美女午夜福利| av播播在线观看一区| 欧美成人精品欧美一级黄| 成人国产麻豆网| 欧美成人免费av一区二区三区| 最近最新中文字幕免费大全7| 色视频www国产| 99久久九九国产精品国产免费| 久久久久久大精品| 日韩国内少妇激情av| 偷拍熟女少妇极品色| 国产成人精品一,二区| 久久久久久久久大av| 成人美女网站在线观看视频| 欧美性猛交黑人性爽| 亚洲性久久影院| 91在线精品国自产拍蜜月| 欧美激情久久久久久爽电影| 丰满少妇做爰视频| 欧美精品一区二区大全| 国产视频内射| 久久精品久久久久久噜噜老黄 | 久久久精品94久久精品| 熟妇人妻久久中文字幕3abv| 美女内射精品一级片tv| 麻豆久久精品国产亚洲av| 1024手机看黄色片| 午夜福利在线在线| 午夜精品国产一区二区电影 | 国产熟女欧美一区二区| 水蜜桃什么品种好| 亚洲欧美日韩无卡精品| 国产av一区在线观看免费| av又黄又爽大尺度在线免费看 | 美女黄网站色视频| 成人午夜精彩视频在线观看| 综合色丁香网| 色网站视频免费| 老司机影院成人| 亚洲激情五月婷婷啪啪| 亚洲av不卡在线观看| 色综合亚洲欧美另类图片| 国产免费又黄又爽又色| 亚洲最大成人av| 久久鲁丝午夜福利片| av卡一久久| 亚洲欧美精品自产自拍| 一级黄片播放器| www日本黄色视频网| 日韩欧美国产在线观看| 国产一区二区亚洲精品在线观看| 免费看光身美女| 97热精品久久久久久| 亚洲欧美精品自产自拍| 99热这里只有是精品在线观看| 3wmmmm亚洲av在线观看| 久久久久久久亚洲中文字幕| 国产亚洲最大av| 亚洲欧美日韩东京热| 一级毛片我不卡| 91久久精品电影网| 嘟嘟电影网在线观看| 亚洲伊人久久精品综合 | 日日撸夜夜添| 天堂av国产一区二区熟女人妻| 我要搜黄色片| 人体艺术视频欧美日本| 能在线免费观看的黄片| 老司机影院成人| 国产爱豆传媒在线观看| 久热久热在线精品观看| 美女黄网站色视频| 欧美变态另类bdsm刘玥| 99国产精品一区二区蜜桃av| 身体一侧抽搐| 婷婷色av中文字幕| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 日韩亚洲欧美综合| 中文欧美无线码| 亚洲图色成人| 国产一区二区亚洲精品在线观看| 看免费成人av毛片| 午夜精品在线福利| 人人妻人人澡欧美一区二区| 国产乱人偷精品视频| 国产成人福利小说| 看免费成人av毛片| 好男人在线观看高清免费视频| 2021天堂中文幕一二区在线观| 亚洲国产精品久久男人天堂| 国产国拍精品亚洲av在线观看| 国产伦在线观看视频一区| 国模一区二区三区四区视频| 亚洲激情五月婷婷啪啪| 九九爱精品视频在线观看| 长腿黑丝高跟| 天天一区二区日本电影三级| 国产精品熟女久久久久浪| 国产三级在线视频| 国产 一区 欧美 日韩| 九九热线精品视视频播放| 色综合色国产| 乱系列少妇在线播放| 亚洲精品成人久久久久久| 国产成人a区在线观看| 美女xxoo啪啪120秒动态图| 三级男女做爰猛烈吃奶摸视频| 国产成人aa在线观看| 久久精品国产自在天天线| 国产色婷婷99| 一个人免费在线观看电影| 国产精品久久久久久久电影| 韩国高清视频一区二区三区| 99久久中文字幕三级久久日本| 欧美变态另类bdsm刘玥| 亚洲婷婷狠狠爱综合网| 日韩av在线免费看完整版不卡| 免费黄网站久久成人精品| 国产一区二区在线av高清观看| 国产精品乱码一区二三区的特点| 久久久色成人| 婷婷色综合大香蕉| 国产精品电影一区二区三区| 18禁在线播放成人免费| 欧美三级亚洲精品| 国产精品伦人一区二区| 又粗又硬又长又爽又黄的视频| 免费看光身美女| 精品欧美国产一区二区三| 中文欧美无线码| 国产一区有黄有色的免费视频 | 日韩欧美精品免费久久| 免费看a级黄色片| 最近最新中文字幕大全电影3| 美女xxoo啪啪120秒动态图| h日本视频在线播放| 欧美成人一区二区免费高清观看| 欧美三级亚洲精品| 水蜜桃什么品种好| 3wmmmm亚洲av在线观看| 日韩一区二区视频免费看| 欧美zozozo另类| 国内少妇人妻偷人精品xxx网站| 国产精品久久电影中文字幕| 一级毛片电影观看 | 日本爱情动作片www.在线观看| 亚洲欧美精品自产自拍| 欧美成人免费av一区二区三区| 国产精品国产三级国产av玫瑰| 成人综合一区亚洲| 男女国产视频网站| 网址你懂的国产日韩在线| 国产成人aa在线观看| 国产伦精品一区二区三区视频9| 中文字幕av在线有码专区| videossex国产| 亚洲真实伦在线观看| 乱码一卡2卡4卡精品| 青青草视频在线视频观看| 亚洲第一区二区三区不卡| 久热久热在线精品观看| 国产黄a三级三级三级人| 国产精品.久久久| 欧美xxxx性猛交bbbb| 精品久久久久久电影网 | 97热精品久久久久久| 日本与韩国留学比较| 久久久精品大字幕| 丝袜美腿在线中文| 男人舔奶头视频| 观看免费一级毛片| 久久精品久久精品一区二区三区| 成人毛片a级毛片在线播放| 久久精品国产亚洲av天美| 91久久精品国产一区二区三区| 中文亚洲av片在线观看爽| 建设人人有责人人尽责人人享有的 | 午夜老司机福利剧场| 中文欧美无线码| 联通29元200g的流量卡| 亚洲精品影视一区二区三区av| 午夜福利在线在线| 一级爰片在线观看| 成人午夜高清在线视频| 成人毛片a级毛片在线播放| 国产精品永久免费网站| av在线天堂中文字幕| 天堂中文最新版在线下载 | 国产精品人妻久久久久久| av福利片在线观看| 色播亚洲综合网| 午夜福利在线观看免费完整高清在| 国产麻豆成人av免费视频| 欧美日韩在线观看h| 久久精品国产鲁丝片午夜精品| 五月玫瑰六月丁香| 中国美白少妇内射xxxbb| 嫩草影院新地址| 看十八女毛片水多多多| 男人的好看免费观看在线视频| 亚洲精品亚洲一区二区| a级毛色黄片| 欧美日韩精品成人综合77777| 国产在线一区二区三区精 | 又粗又硬又长又爽又黄的视频| 午夜免费男女啪啪视频观看| 最近中文字幕高清免费大全6| 亚洲成色77777| 中文乱码字字幕精品一区二区三区 | 亚洲综合色惰| 夜夜爽夜夜爽视频|