• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    如何改善在線協(xié)作學(xué)習(xí)的設(shè)計與實施

    2022-03-27 10:28:25鄭蘭琴趙家怡龍妙浪
    現(xiàn)代遠程教育研究 2022年2期
    關(guān)鍵詞:設(shè)計質(zhì)量學(xué)習(xí)效果優(yōu)化策略

    鄭蘭琴 趙家怡 龍妙浪

    摘要:在線協(xié)作學(xué)習(xí)已經(jīng)成為“互聯(lián)網(wǎng)+教育”時代一種重要的學(xué)習(xí)方式,其實施效果很大程度上取決于協(xié)作學(xué)習(xí)活動設(shè)計的質(zhì)量。然而,已有研究大多關(guān)注某種特定干預(yù)策略的有效性,鮮有從提高在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度來研究如何改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量與實施效果。傳統(tǒng)的有效性研究嚴重依賴情境并難以重復(fù),而一致性研究著眼于不一致的真實來源和缺陷分析,通過深入地反思能夠生成可證偽的知識?;谀繕酥R點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性、參與度一致性5個量化指標,分兩輪對在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性進行評估并優(yōu)化,實驗結(jié)果表明:(1)優(yōu)化后的第二輪在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性以及學(xué)習(xí)效果均顯著高于第一輪,且一致性與協(xié)作學(xué)習(xí)效果呈現(xiàn)顯著正相關(guān)關(guān)系;(2)研發(fā)的在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法不僅克服了基于主觀經(jīng)驗進行設(shè)計和優(yōu)化的缺陷,而且基于數(shù)據(jù)驅(qū)動的策略使得設(shè)計和優(yōu)化更加科學(xué)規(guī)范,實現(xiàn)了“設(shè)計—實施—優(yōu)化設(shè)計—再度實施”的良性循環(huán);(3)從學(xué)習(xí)任務(wù)、學(xué)習(xí)資源、角色分工、交互策略、評價方式等維度進行設(shè)計優(yōu)化,有助于提升在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性與學(xué)習(xí)效果。

    關(guān)鍵詞:在線協(xié)作學(xué)習(xí);一致性;學(xué)習(xí)效果;設(shè)計質(zhì)量;優(yōu)化策略

    中圖分類號:G434 ? 文獻標識碼:A ? ?文章編號:1009-5195(2022)02-0103-10 ?doi10.3969/j.issn.1009-5195.2022.02.012

    基金項目:2019年度教育部人文社會科學(xué)研究青年項目“多源數(shù)據(jù)驅(qū)動的協(xié)作學(xué)習(xí)活動設(shè)計方法及優(yōu)化策略的實證研究”(19YJC880141)。

    作者簡介:鄭蘭琴,博士,副教授,碩士生導(dǎo)師,北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院(北京 100875);趙家怡、龍妙浪,碩士研究生,北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院(北京 100875)。

    一、引言

    近年來,云計算、大數(shù)據(jù)和人工智能技術(shù)的飛速發(fā)展引發(fā)了學(xué)習(xí)方式的深刻變革。傳統(tǒng)的學(xué)習(xí)方式已經(jīng)不能夠滿足社會發(fā)展的需求,數(shù)字一代更加傾向于通過與同伴或者教師的在線交流來獲取信息、建構(gòu)知識并發(fā)展技能。特別是2020年新冠肺炎疫情背景下,全球數(shù)以億計的學(xué)生不得不從線下課堂轉(zhuǎn)向在線,在線學(xué)習(xí)成為重要的學(xué)習(xí)方式,在線協(xié)作學(xué)習(xí)也被越來越多的教育者和學(xué)習(xí)者所接受和采用。在線協(xié)作學(xué)習(xí)是指學(xué)習(xí)者為了共同的學(xué)習(xí)目標通過網(wǎng)絡(luò)進行在線學(xué)習(xí),協(xié)同完成學(xué)習(xí)任務(wù)并解決問題(Reeves et al.,2004)。通過在線協(xié)作學(xué)習(xí),學(xué)習(xí)者可以隨時隨地與同伴或老師進行交流、分享信息、協(xié)同建構(gòu)知識與技能(Fu et al.,2018)。然而,并非所有參與在線協(xié)作學(xué)習(xí)的學(xué)習(xí)者都能取得良好的學(xué)習(xí)效果(Osipov et al.,2015)。很多學(xué)習(xí)者僅僅停留于淺層次的信息交流與分享(Lan et al.,2012),小組成員在協(xié)作學(xué)習(xí)過程中常常出現(xiàn)搭便車(Lan et al.,2012)、跑題偏題等現(xiàn)象(Gu et al.,2015)。在線協(xié)作學(xué)習(xí)活動的設(shè)計質(zhì)量是影響學(xué)習(xí)者在線協(xié)作學(xué)習(xí)效果的主要因素。

    縱觀已有研究,大多關(guān)注某種特定干預(yù)策略的有效性,并且有關(guān)在線協(xié)作學(xué)習(xí)活動的設(shè)計主要聚焦于局部要素,如在線協(xié)作學(xué)習(xí)環(huán)境、交互策略、評價方法等,鮮有從提高在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度來研究如何改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量和實施效果。事實上,在線協(xié)作學(xué)習(xí)包含兩種形態(tài):設(shè)計態(tài)與實施態(tài)。在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性指的是所有設(shè)計要素在實施過程中都能夠落實。之所以研究一致性,是因為傳統(tǒng)的有效性研究嚴重依賴情境,結(jié)論難以遷移和推廣,也無法生成可證偽的知識;而一致性研究著眼于不一致的真實來源和缺陷分析,通過深入地反思能夠生成可證偽的知識(鄭蘭琴等, 2014),且不依賴情境,研究結(jié)論可以重復(fù)和推廣。對在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性進行深入研究,有助于明確在線協(xié)作學(xué)習(xí)過程中哪些設(shè)計要素落實了,哪些沒有,進而發(fā)現(xiàn)設(shè)計的問題,通過反復(fù)優(yōu)化生成協(xié)作學(xué)習(xí)設(shè)計的技術(shù)性知識,提升教師的教學(xué)設(shè)計能力。

    本研究開展兩輪的在線協(xié)作學(xué)習(xí)活動,利用研發(fā)的在線協(xié)作學(xué)習(xí)活動設(shè)計與實施一致性的量化評估指標計算兩輪在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性,旨在解決兩個研究問題:第一,通過評估和優(yōu)化,在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性能否提升?第二,改善在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性,是否可以提高在線協(xié)作學(xué)習(xí)效果?

    二、文獻綜述

    1.在線協(xié)作學(xué)習(xí)活動設(shè)計和效果評估的研究現(xiàn)狀

    (1)在線協(xié)作學(xué)習(xí)活動設(shè)計研究

    當前關(guān)于在線協(xié)作學(xué)習(xí)活動設(shè)計的研究主要集中于兩方面:構(gòu)建協(xié)作學(xué)習(xí)活動設(shè)計整體框架以及探索影響協(xié)作學(xué)習(xí)活動的局部要素。在構(gòu)建協(xié)作學(xué)習(xí)活動設(shè)計整體框架方面,研究者從不同視角進行了探索。比如,余亮等(2012)將任務(wù)、時序、角色、資源進行結(jié)構(gòu)化,構(gòu)建了包括任務(wù)分析、時序排列、角色定義、資源分配在內(nèi)的協(xié)作學(xué)習(xí)活動設(shè)計框架。馬志強(2012)在已有文獻基礎(chǔ)上構(gòu)建了問題解決型在線協(xié)作學(xué)習(xí)活動的設(shè)計框架,主要包含問題情境、問題解決角色、任務(wù)和資源、工具4個核心設(shè)計要素。何文濤(2018)基于學(xué)習(xí)活動概念模型提出了協(xié)作學(xué)習(xí)活動設(shè)計框架,包括協(xié)作學(xué)習(xí)活動設(shè)計的過程模式、學(xué)習(xí)目標分析、活動分類與任務(wù)設(shè)計、內(nèi)容分析、結(jié)構(gòu)化設(shè)計、缺陷分析與改進6個方面。鄭蘭琴等(2020)從目標、任務(wù)、交互、資源和評價5方面提出了協(xié)作學(xué)習(xí)活動設(shè)計的框架。

    在探索影響協(xié)作學(xué)習(xí)活動的局部要素方面,Pozzi(2010)探索了切塊拼接、案例研究等交互策略對促進交流和協(xié)作以及提升學(xué)習(xí)成績的影響。袁夢霞等(2017)探索了不同角色設(shè)計對學(xué)習(xí)者批判性思維的影響。Shin等(2018)探索了可視化標注工具對促進知識共享、提高知識建構(gòu)水平的影響。Hasan等(2019)分析了游戲化在線協(xié)作學(xué)習(xí)環(huán)境對學(xué)生參與度的影響。

    (2)在線協(xié)作學(xué)習(xí)活動效果評估研究

    有關(guān)在線協(xié)作學(xué)習(xí)活動評估的研究,主要從評估內(nèi)容和評估方法兩方面開展。從評估內(nèi)容來看,主要包括參與度、學(xué)業(yè)成績、學(xué)習(xí)行為模式等。Hasan等(2019)通過評估學(xué)習(xí)者登錄游戲化協(xié)作環(huán)境的次數(shù)、訪問資源的次數(shù)、閱讀貼子的次數(shù)以及提交作業(yè)次數(shù)等來考察游戲化協(xié)作學(xué)習(xí)環(huán)境是否影響學(xué)習(xí)者的參與度,結(jié)果表明游戲化協(xié)作學(xué)習(xí)環(huán)境能顯著提高學(xué)生的參與度。Wang等(2020)探索了不同形式的學(xué)習(xí)材料呈現(xiàn)對學(xué)習(xí)者參與在線協(xié)作學(xué)習(xí)的行為模式和學(xué)習(xí)效果的影響,結(jié)果表明呈現(xiàn)互動性學(xué)習(xí)材料的小組績效明顯好于僅僅呈現(xiàn)視頻或者文本學(xué)習(xí)材料的小組。

    從評估方法來看,傳統(tǒng)的方法主要包括問卷調(diào)查法、訪談法,近年來有研究開始利用社會網(wǎng)絡(luò)分析法、行為序列分析法、學(xué)習(xí)分析技術(shù)進行在線協(xié)作學(xué)習(xí)效果的評估。比如,Guiter等(2021)采取問卷、訪談的方法,對學(xué)生在協(xié)作學(xué)習(xí)中的學(xué)習(xí)感受和學(xué)習(xí)成績進行測量,以此反映協(xié)作學(xué)習(xí)效果。Zhang 等(2017)采用社會網(wǎng)絡(luò)分析法,分析了學(xué)生在協(xié)作學(xué)習(xí)過程中的活躍度,進而評估協(xié)作學(xué)習(xí)的效果。Wang等(2017)采用行為序列分析方法來分析學(xué)生在協(xié)作學(xué)習(xí)過程中的行為模式和特征,進而評估協(xié)作學(xué)習(xí)效果。Cerro Martínez等(2020)采用學(xué)習(xí)分析方法對協(xié)作學(xué)習(xí)過程進行監(jiān)控與分析,用以幫助教師實施個性化的反饋和干預(yù)。

    綜上所述,已有研究從協(xié)作學(xué)習(xí)活動的整體框架設(shè)計和局部要素對在線協(xié)作活動的設(shè)計進行了探索,并采用調(diào)查法、訪談法、社會網(wǎng)絡(luò)分析法、行為序列分析法、學(xué)習(xí)分析技術(shù)等對協(xié)作學(xué)習(xí)效果進行了評估。然而,整體框架的設(shè)計主要停留在理論層面,局部要素的設(shè)計雖然進行了一些實證分析,但未從協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度進行思考,難以分辨到底哪些設(shè)計要素落實了、哪些沒有,也缺乏對局部要素的進一步優(yōu)化。另外,當前還鮮有研究從一致性的視角探索如何評估并提升在線協(xié)作學(xué)習(xí)的效果。

    2.教育教學(xué)中的一致性研究現(xiàn)狀

    一致性指的是一個形式系統(tǒng)中不蘊含矛盾(Salmon,1977)。教育領(lǐng)域中的一致性指的是期望與評價之間彼此一致的程度(Webb,1997)。一致性在教育領(lǐng)域已經(jīng)受到國內(nèi)外學(xué)者的關(guān)注。國外學(xué)者主要從評價與課程標準之間的一致性進行探索。比如,Webb(1999)從類別一致性、知識深度一致性、知識范圍一致性、表征平衡性四個維度考察數(shù)學(xué)和科學(xué)領(lǐng)域中評價與課程標準之間的一致性,結(jié)果發(fā)現(xiàn),知識深度和知識范圍上的一致性較低。Martone等(2009)總結(jié)了考察評價與課程內(nèi)容標準一致性的三種方法,即Webb方法論(包括上述四個維度)、達成方法論(包括項目層次分析和項目集合分析兩個維度)、調(diào)查實施的課程方法論(包括內(nèi)容匹配、績效期望、教學(xué)內(nèi)容分析三個維度)。國內(nèi)學(xué)者主要從教材與內(nèi)容標準的一致性(盧群 等,2012)以及高考內(nèi)容與課程標準的一致性(袁令民,2013)進行了探索??梢?,已有研究主要聚焦于課程領(lǐng)域的一致性。

    筆者認為,一致性應(yīng)該貫穿于整個教育領(lǐng)域,不僅適用于課程領(lǐng)域的研究,而且適用于教學(xué)實踐領(lǐng)域的研究。教學(xué)領(lǐng)域中的一致性主要包括教學(xué)目標和手段的一致性、教學(xué)設(shè)計與實施的一致性兩方面。教學(xué)目標與手段的一致性指的是教學(xué)目標與采取的教學(xué)手段之間的吻合程度,教學(xué)設(shè)計與實施的一致性指的是教學(xué)行動中的行為和內(nèi)容與教學(xué)方案中所設(shè)定的行為和內(nèi)容的吻合程度(鄭蘭琴,2015)。在目標和手段一致性方面,目前已有研究者通過比較目標和手段之間的數(shù)據(jù)依賴關(guān)系來分析協(xié)作學(xué)習(xí)活動存在的缺陷,構(gòu)建系統(tǒng)協(xié)作學(xué)習(xí)活動設(shè)計技術(shù)框架來促進優(yōu)良協(xié)作學(xué)習(xí)過程的發(fā)生(何文濤,2018)。另外,楊開城等(2015)開發(fā)了包含目標—手段一致性在內(nèi)的6個指標用于評價教案質(zhì)量,具有可行性、客觀性及有效性。在教學(xué)方案設(shè)計與實施的一致性方面,鄭蘭琴(2015)對兩個案例教學(xué)方案進行設(shè)計,以個案研究的方式考察了設(shè)計與實施的一致性,開發(fā)了教學(xué)實施過程中的信息流序列、激活目標知識點的范圍和激活量三個一致性指標,初步探究了一致性分析的可行性以及如何基于一致性進行反思性分析。田爽等(2017)采集小學(xué)信息技術(shù)課程的30個教學(xué)設(shè)計與實施過程樣本,采用基于信息流的分析方法分析了教學(xué)設(shè)計方案與實施過程在激活知識點范圍、目標知識點的激活量、信息流序列方面的一致性,并對教學(xué)過程進行了反思。

    綜上所述,已有研究主要對傳統(tǒng)課堂中的教學(xué)設(shè)計與實施的一致性進行了探索。然而,鮮有研究探索在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并且缺乏對一致性與學(xué)習(xí)效果關(guān)系的研究。本研究將重點探索在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的評估方法、提升策略以及一致性與學(xué)習(xí)效果的關(guān)系,目的是為提升協(xié)作學(xué)習(xí)學(xué)習(xí)效果和教師的教學(xué)設(shè)計水平提供重要參考。

    三、研究設(shè)計與方法

    以設(shè)計為中心的研究范式關(guān)注教育設(shè)計的一致性,通過一致性分析判斷教育設(shè)計的好壞,并關(guān)注不一致的真實來源和缺陷分析(楊開城,2013)。本研究采取以設(shè)計為中心的研究范式分析在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性。

    1.研究對象

    參與本研究的對象為北京某“985”高校的90名在校大學(xué)生。所有學(xué)生均具有協(xié)作學(xué)習(xí)相關(guān)的基礎(chǔ)知識。研究一共開展了15個主題的在線協(xié)作學(xué)習(xí)活動,每個主題實施2輪在線協(xié)作學(xué)習(xí),旨在評估能否通過一系列策略來優(yōu)化協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性。15個在線協(xié)作學(xué)習(xí)活動主題涵蓋教育學(xué)、教育技術(shù)學(xué)、教育傳播學(xué)、計算機科學(xué)、化學(xué)等多個學(xué)科領(lǐng)域,每個主題的每一輪協(xié)作學(xué)習(xí)活動由3名學(xué)生在線參加。正式實驗前,研究者對參加同一主題的6名學(xué)生進行在線前測,前測題型包含選擇題、判斷題、填空題、簡答題四種題型,旨在評價參與兩輪實驗的學(xué)生在已有知識基礎(chǔ)方面是否存在顯著性差異,從而避免學(xué)生先前知識對實驗結(jié)果的影響。經(jīng)配對樣本T檢驗,結(jié)果發(fā)現(xiàn)參與15個主題兩輪在線協(xié)作學(xué)習(xí)活動的學(xué)生在前測成績方面均無顯著性差異(p> 0.05),分析結(jié)果見表1所示。

    2.研究程序

    本研究包括五個階段。第一階段,對所有學(xué)生進行前測,檢驗參加兩輪在線協(xié)作學(xué)習(xí)的學(xué)生在已有知識基礎(chǔ)方面是否存在顯著性差異。第二階段,設(shè)計15個主題的在線協(xié)作學(xué)習(xí)活動。研究首先從協(xié)作學(xué)習(xí)目標、任務(wù)、交互策略、資源和評價5個維度(鄭蘭琴等,2020)進行協(xié)作學(xué)習(xí)活動設(shè)計。然后,邀請45名大學(xué)生以3人為一組在不同時間和地點開展15個主題的第一輪在線協(xié)作學(xué)習(xí)活動。在線協(xié)作學(xué)習(xí)工具選擇國內(nèi)流行的即時通訊軟件騰訊QQ,每次活動持續(xù)2小時左右。第三階段,在第一輪在線協(xié)作學(xué)習(xí)活動結(jié)束后,研究者采用研發(fā)的一致性計算方法分析第一輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并根據(jù)分析結(jié)果優(yōu)化第一輪在線協(xié)作學(xué)習(xí)設(shè)計方案,為第二輪活動做準備。第四階段,另邀請45名大學(xué)生也以3人為一組在不同時間和地點開展第二輪在線協(xié)作學(xué)習(xí)活動。在線協(xié)作學(xué)習(xí)的主題、任務(wù)、持續(xù)時間等方面均與第一輪相同,但在第一輪的基礎(chǔ)上對協(xié)作學(xué)習(xí)的任務(wù)、交互策略、資源和評價進行了優(yōu)化。第五階段,分析第二輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并計算兩輪一致性的差異及其與在線協(xié)作學(xué)習(xí)效果的關(guān)系。

    3.數(shù)據(jù)收集與分析方法

    本研究采用準實驗的方法收集共計30個小組的在線協(xié)作學(xué)習(xí)活動數(shù)據(jù)。數(shù)據(jù)源包括30個小組的在線協(xié)作學(xué)習(xí)記錄和作品。在計算一致性結(jié)果前,需要對30個小組的在線協(xié)作學(xué)習(xí)討論記錄進行深入分析。這里采用的分析方法包括筆者提出的基于信息流的協(xié)作學(xué)習(xí)分析方法和內(nèi)容分析法,主要用于在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估,以及協(xié)作學(xué)習(xí)效果的評價。

    (1)在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法

    在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法主要包括三個步驟:第一步,確定同時適用于分析設(shè)計方案與實施過程的編碼體系和方法;第二步,對設(shè)計方案與實施過程采用既定的編碼體系進行編碼與分析;第三步,開發(fā)特定的量化指標和算法計算二者的一致性。在這三個步驟中,最關(guān)鍵的是開發(fā)一致性的量化評估指標。筆者認為,協(xié)作學(xué)習(xí)最核心、最重要的目標是提高學(xué)習(xí)者的協(xié)同知識建構(gòu)水平、調(diào)節(jié)性學(xué)習(xí)的技能和參與程度。因此,可以從五個方面來計算在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性,即目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性和參與度一致性。其中,目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性主要反映學(xué)習(xí)者的協(xié)同知識建構(gòu)水平,角色分工一致性主要考察學(xué)習(xí)者的調(diào)節(jié)性學(xué)習(xí)技能,參與度一致性則反映學(xué)習(xí)者的參與程度是否符合教師的期望。另外,目標知識點范圍一致性和協(xié)同知識建構(gòu)水平一致性主要采用筆者提出的基于信息流的協(xié)作學(xué)習(xí)交互分析方法進行編碼和分析。交互主題一致性、角色分工一致性和參與度一致性主要通過內(nèi)容分析法進行編碼和分析。具體指標的計算方法如下。

    ①目標知識點范圍一致性

    目標知識點范圍一致性旨在衡量目標知識點激活廣度的差異,即在線協(xié)作學(xué)習(xí)設(shè)計方案中激活的目標知識點與在線協(xié)作學(xué)習(xí)實施過程中激活的知識點范圍的一致性。在線協(xié)作學(xué)習(xí)設(shè)計方案的目標知識點主要通過目標知識圖計算得出,而在線協(xié)作學(xué)習(xí)實施過程中激活的知識點則需要借助于筆者提出的基于信息流的協(xié)作學(xué)習(xí)交互分析方法得出。該方法通過對在線協(xié)作學(xué)習(xí)交互過程中的信息流進行切分,進而生成每個小組實際激活的知識圖,圖中知識點的數(shù)量就是在線協(xié)作學(xué)習(xí)實施過程中激活的知識點的數(shù)量。

    本研究借鑒Tversky相似系數(shù)(Tversky,1977)計算在線協(xié)作學(xué)習(xí)活動設(shè)計方案與實施過程在目標知識點范圍上的一致性。Tversky相似系數(shù)強調(diào)可以通過兩個事物共同擁有的屬性占兩個事物所有屬性的比例來衡量相似性,計算方法見公式(1)所示。

    (1)

    公式(1)中的A 代表在線協(xié)作學(xué)習(xí)活動設(shè)計方案中包含的目標知識點,B 代表在線協(xié)作學(xué)習(xí)活動實施過程中激活的目標知識點,f(A ∩B)則表示在線協(xié)作學(xué)習(xí)設(shè)計方案和活動實施過程中共同激活的目標知識點數(shù)量,f(A-B)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中激活而實施過程中沒有激活的目標知識點數(shù)量,f(B-A)表示在線協(xié)作學(xué)習(xí)實施過程中激活而設(shè)計方案中沒有激活的目標知識點數(shù)量。S為目標知識點范圍一致性。若S在0~0.3間,則表示目標知識點范圍一致性水平較低;若S在0.3~0.8間,則表示中度一致;若S>0.8則表示在線協(xié)作學(xué)習(xí)活動設(shè)計方案與實施過程的目標知識點范圍高度一致。

    ②協(xié)同知識建構(gòu)水平一致性

    協(xié)同知識建構(gòu)水平一致性旨在衡量教師預(yù)期的協(xié)同知識建構(gòu)水平與學(xué)習(xí)者實際達到的知識建構(gòu)水平的差異。一致性越高,協(xié)同知識建構(gòu)水平也越高。教師預(yù)期的協(xié)同知識建構(gòu)水平主要通過目標知識圖表征。學(xué)習(xí)者實際達到的協(xié)同知識建構(gòu)水平主要通過基于信息流的協(xié)作學(xué)習(xí)交互分析方法計算得出。該方法包括三個步驟,即繪制目標知識圖、切分信息流和計算信息流的屬性(激活量并生成帶有激活量的知識圖)。因此,協(xié)同知識建構(gòu)水平一致性相當于比較目標知識圖與學(xué)習(xí)者實際生成的知識圖之間的一致性。具體計算方法如公式(2)所示(崔盼盼等,2018)。

    (2)

    公式(2)中,R代表目標知識圖與學(xué)生實際生成的知識圖正確命題鏈匹配的得分,W代表學(xué)生實際生成的知識圖中新增的正確命題鏈得分,D代表斷裂命題鏈得分,Y代表遺漏的命題鏈得分,F(xiàn)代表錯誤的命題鏈得分,Z代表目標知識圖中包含的命題鏈總數(shù)。G為協(xié)同知識建構(gòu)水平一致性。若G在0~0.3間,則表示協(xié)同知識建構(gòu)水平一致性較低;若G在0.3~0.8間,則表示協(xié)同知識建構(gòu)水平中度一致;若G>0.8則表示協(xié)同知識建構(gòu)水平高度一致。

    ③交互主題一致性

    在線協(xié)作學(xué)習(xí)過程中學(xué)習(xí)者具有很高的自由度,因此可能發(fā)生跑題、偏題的現(xiàn)象。交互主題一致性主要考察教師預(yù)期的交互主題是否與學(xué)習(xí)者實際的交互主題一致,如果一致則表示學(xué)習(xí)者沒有跑題、偏題。借助交互主題一致性能夠深入考察學(xué)習(xí)者在交互主題方面的聚焦程度。本研究利用Deza等人(2009)提出的余弦相似度來計算交互主題一致性,計算方法見公式(3)。

    (3)

    公式(3)中,X代表在線協(xié)作學(xué)習(xí)設(shè)計方案中每個任務(wù)主題的詞頻向量,Y代表在線協(xié)作學(xué)習(xí)實施過程每個任務(wù)主題的詞頻向量,X·Y表示向量X與向量Y的點乘。T為交互主題一致性。若T取值在0~0.3之間,表示交互主題一致性較低;若T取值在0.3~0.8表示中等一致;若T超過0.8則表示交互主題高度一致。

    ④ 角色分工一致性

    為了更好地評價在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,本研究開發(fā)了角色分工一致性的計算方法,旨在衡量學(xué)習(xí)者是否按照教師預(yù)期的角色職責(zé)履職。研究在設(shè)計在線協(xié)作學(xué)習(xí)活動方案時,設(shè)計了小組長、信息搜索者和監(jiān)控者三種角色,根據(jù)角色職責(zé)構(gòu)建學(xué)習(xí)者角色分工的編碼。小組長的職責(zé)包括分配任務(wù)、發(fā)起話題、提出問題、解決沖突、解釋觀點、協(xié)商調(diào)節(jié);信息搜索者的職責(zé)包括詢問需求、搜索信息、整理信息;監(jiān)控者的職責(zé)包括監(jiān)控進程、控制進程、批判質(zhì)疑。兩位研究者對每個小組參與協(xié)作學(xué)習(xí)的角色分工情況進行內(nèi)容分析和編碼,最后計算一致性。本研究通過計算在線協(xié)作學(xué)習(xí)活動設(shè)計方案與活動實施過程角色職責(zé)的相似度來計算角色分工的一致性,計算方法見公式(4)所示。

    (4)

    公式(4)中,f(A1)、f(A2)、f(A3)分別表示在線協(xié)作學(xué)習(xí)設(shè)計方案中小組長、信息搜索者、監(jiān)控者承擔(dān)職責(zé)的數(shù)量,f(B1)、f(B2)、f(B3)分別表示在線協(xié)作學(xué)習(xí)活動實施過程中小組長、信息搜索者、監(jiān)控者實際承擔(dān)職責(zé)的數(shù)量,公式中的f(A1∩B1)、f(A2∩B2)、f(A3∩B3)分別表示在線協(xié)作學(xué)習(xí)方案與實施過程中小組長、信息搜索者、監(jiān)控者承擔(dān)的共同職責(zé)的數(shù)量。R為角色分工一致性。若R在0~0.3之間,表示一致性較低;若R在0.3~0.8間表示中度一致;若R>0.8則表示高度一致。

    ⑤參與度一致性

    在線協(xié)作學(xué)習(xí)參與度一致性旨在衡量教師預(yù)期的參與度與學(xué)習(xí)者實際參與度的差異。差異越小,一致性越高。本研究的參與度包括認知與元認知層次的參與程度,其中認知層次的參與度主要體現(xiàn)在學(xué)習(xí)者進行識記、理解、應(yīng)用、分析、評價和創(chuàng)造等方面;元認知層次的參與主要表現(xiàn)在協(xié)作學(xué)習(xí)中設(shè)定目標、制定計劃、實施策略、監(jiān)控協(xié)調(diào)、反思與評價等方面。研究者首先根據(jù)編碼表對交互文本進行分析,然后計算參與度一致性,具體見公式(5)。

    (5)

    公式(5)中,t1表示認知層次參與的在線交互文本總數(shù),t2表示元認知層次參與的在線交互文本總數(shù),T表示所有在線協(xié)作學(xué)習(xí)交互文本的總數(shù),f(A)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中認知層次參與種類的數(shù)量,f(A1)表示在線協(xié)作學(xué)習(xí)實施過程中學(xué)習(xí)者所表現(xiàn)的認知層次參與種類的數(shù)量,f(B)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中元認知層次參與種類的數(shù)量,f(B1)則表示在線協(xié)作學(xué)習(xí)實施過程中學(xué)習(xí)者所表現(xiàn)的元認知層次參與種類的數(shù)量。E為參與度一致性。若E在0~0.3間,則表示一致性較低,學(xué)習(xí)者沒有積極參與;若E在0.3~0.8間,則表示參與度中等一致;若E>0.8則表示一致性很高,學(xué)習(xí)者積極參與。

    (2)協(xié)作學(xué)習(xí)效果的評價

    本研究對在線協(xié)作學(xué)習(xí)效果的評價主要通過參與在線協(xié)作學(xué)習(xí)后生成的小組作品的成績衡量。每個小組在協(xié)作學(xué)習(xí)結(jié)束時需要提交小組作品,每個小組的作品都是圍繞協(xié)作學(xué)習(xí)任務(wù)的解決方案,成果形式為Word文檔。筆者制定了如表2所示的量規(guī)來評價所有小組的作品。每個小組的作品均由兩位研究者獨立評判。

    (3)研究信度

    本研究用Kappa統(tǒng)計值來衡量兩位研究者在在線協(xié)作學(xué)習(xí)作品得分、知識點總激活量、知識點范圍、知識建構(gòu)水平、交互主題、學(xué)習(xí)角色分工、參與度方面編碼的一致性。其中,在線協(xié)作學(xué)習(xí)作品的評分者信度為0.88,其余的都在0.9以上,具有很高的信度。對于個別不一致的地方,由兩位研究者進行商討后確定最終結(jié)果。

    四、研究結(jié)果

    1.在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的分析結(jié)果

    (1)第一輪一致性分析結(jié)果

    本研究對第一輪在線協(xié)作學(xué)習(xí)設(shè)計方案、在線協(xié)作學(xué)習(xí)實施過程的交互文本采用前文所述的方法進行深入分析,得到第一輪一致性結(jié)果,如表3所示。進一步計算5個指標的平均值和標準差,結(jié)果發(fā)現(xiàn),目標知識點范圍一致性最高(M=0.77,SD=0.08),其次是交互主題一致性(M=0.52,SD=0.13)、協(xié)同知識建構(gòu)水平一致性(M=0.48,SD=0.23)、角色分工一致性(M=0.47,SD= 0.11),參與度一致性最低(M=0.33,SD=0.13)。這說明學(xué)習(xí)者激活的目標知識點范圍較廣,與預(yù)期中度一致,但是協(xié)同知識建構(gòu)水平較低,處于淺表層次,亟待提升。交互主題呈現(xiàn)中度一致,因此小組在協(xié)作學(xué)習(xí)過程中交互還不夠聚焦,出現(xiàn)了跑題、偏題的現(xiàn)象。在角色分工方面,學(xué)習(xí)者在協(xié)作學(xué)習(xí)過程中沒有充分盡到職責(zé)、小組實際分工和履職不到位,需要進一步優(yōu)化。就參與程度而言,學(xué)習(xí)者的參與度總體偏低,認知和元認知層次的參與度都不高。

    (2)優(yōu)化過程及策略

    從第一輪在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的分析結(jié)果可以發(fā)現(xiàn),除目標知識點范圍一致性較高之外,其他4個指標的一致性都很低。因此筆者對這15個主題第一輪的在線協(xié)作學(xué)習(xí)活動設(shè)計進行深入反思,發(fā)現(xiàn)導(dǎo)致在線協(xié)作學(xué)習(xí)設(shè)計和實施不一致的原因主要在于很多設(shè)計要素沒有落實,比如時間分配不合理、任務(wù)完成度不高、履職不到位、學(xué)習(xí)資源沒有充分利用、缺乏反思與評價等。為了進一步提升一致性,研究進行了五方面的優(yōu)化:

    第一,優(yōu)化在線協(xié)作學(xué)習(xí)任務(wù)。根據(jù)第一輪結(jié)果可以發(fā)現(xiàn),學(xué)習(xí)者的協(xié)同知識建構(gòu)水平一致性較低并出現(xiàn)了跑題、偏題現(xiàn)象。為此,研究在設(shè)計第二輪的協(xié)作學(xué)習(xí)任務(wù)時,明確指出了任務(wù)的目標、情境、要解決的問題、完成任務(wù)的先后順序、重難點任務(wù)、時間分配、任務(wù)成果要求和評價標準等。通過對協(xié)作學(xué)習(xí)任務(wù)的細化,促使學(xué)習(xí)者提升協(xié)同知識建構(gòu)水平和交互主題的一致性。

    第二,準備充分的學(xué)習(xí)資源。這不僅包括完成任務(wù)必備的學(xué)習(xí)資源,如與任務(wù)相關(guān)的文獻資料、案例、作品等,還包括各類認知和元認知類腳手架。認知類腳手架包括對重要和疑難知識點進行解釋、提醒等,另外還提供相關(guān)的思維導(dǎo)圖以幫助學(xué)習(xí)者總結(jié)已有知識。元認知類腳手架包括在協(xié)作學(xué)習(xí)開始前進行培訓(xùn),幫助學(xué)習(xí)者掌握一定的社交技能、解決沖突的技巧,以及對協(xié)作學(xué)習(xí)過程進行監(jiān)控和評價的策略等。

    第三,明確角色分工和履職要求。由于第一輪很多小組沒有完成分配角色的既定職責(zé)而導(dǎo)致角色分工一致性很低。為此,第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計在原本的角色職責(zé)上,增加了角色描述、角色提示、角色履職要求等;在實驗開始前請每個小組討論角色分配、明確個體職責(zé),并且指定監(jiān)控者在協(xié)作學(xué)習(xí)過程中實時監(jiān)督每種角色的執(zhí)行情況。

    第四,設(shè)計多樣的交互策略。由于第一輪在線協(xié)作學(xué)習(xí)僅僅設(shè)計了一種互動策略,學(xué)習(xí)者容易疲勞和倦怠。為了激發(fā)學(xué)習(xí)者的積極性并主動進行知識建構(gòu),第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計增加了頭腦風(fēng)暴、辯論爭論、切塊拼接、互采互訪等多樣化的交互策略,一方面增加學(xué)習(xí)者的參與度,另一方面也促進知識建構(gòu),減少跑題、偏題的現(xiàn)象發(fā)生。

    第五,采用多種評價方式。第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計增加了過程性評價、同伴互評和獎勵機制,即要求學(xué)習(xí)者在協(xié)作學(xué)習(xí)過程中對小組作品進行過程性評價、同伴互評和反思,發(fā)現(xiàn)不足與問題并及時改進,活動結(jié)束后再次進行組內(nèi)的總結(jié)性評價,對作品再次改進與完善,最后提交。另外,第二輪在線協(xié)作學(xué)習(xí)活動還制定了獎勵機制,對優(yōu)秀的小組給予獎勵,比如得分較高的同學(xué)會得到更多的獎勵金,并具有后續(xù)活動報名的優(yōu)先權(quán)等。

    (3)第二輪一致性分析結(jié)果

    根據(jù)第一輪一致性的分析結(jié)果并采用上述的策略對在線協(xié)作學(xué)習(xí)設(shè)計方案進行優(yōu)化后,研究開展了第二輪的在線協(xié)作學(xué)習(xí)。根據(jù)5個一致性指標的計算方法,計算得出第二輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,結(jié)果如表4所示。從表4可以看出,第二輪的目標知識點范圍一致性(M=0.92,SD=0.07)、協(xié)同知識建構(gòu)水平一致性(M=0.80,SD=0.14)、交互主題一致性(M=0.82,SD=0.13)、角色分工一致性(M=0.76,SD=0.10)、參與度一致性(M=0.56,SD=0.19)與第一輪相比,均有提升。

    2.在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性與學(xué)習(xí)效果的關(guān)系

    (1)兩輪一致性及學(xué)習(xí)效果的差異

    為了進一步檢驗兩輪實驗結(jié)果在統(tǒng)計學(xué)上的差異,研究對兩輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性進行了配對樣本T檢驗,結(jié)果如表5所示。從表5可以發(fā)現(xiàn),無論在目標知識點范圍一致性(t=6.574,p=0.000)、協(xié)同知識建構(gòu)水平一致性(t=4.899,p=0.000)、交互主題一致性(t=8.832,p=0.000),還是角色分工一致性(t=6.810,p=0.000)以及參與度一致性(t=5.661,p=0.000),第二輪比第一輪均有顯著提升。另外,通過對兩輪在線協(xié)作學(xué)習(xí)的學(xué)習(xí)效果進行配對樣本T檢驗(如表6所示),結(jié)果發(fā)現(xiàn)參與第二輪在線協(xié)作學(xué)習(xí)的學(xué)習(xí)效果也顯著優(yōu)于第一輪(t=3.846,p=0.002)。

    (2)一致性與學(xué)習(xí)效果的關(guān)系

    為了深入分析在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性與學(xué)習(xí)效果的關(guān)系,對15個主題、30組的一致性與其學(xué)習(xí)效果進行相關(guān)分析,結(jié)果如表7所示。從表7可以看出,目標知識點范圍一致性(r=0.876,p=0.000)、協(xié)同知識建構(gòu)水平一致性(r=0.639,p=0.002)、交互主題一致性(r=0.046,p=0.026)、角色分工一致性(r=0.552,p=0.002)及參與度一致性(r=0.778,p=0.000)與在線協(xié)作學(xué)習(xí)效果均呈顯著正相關(guān)。這個結(jié)果意味著如果能夠提升這五方面的一致性,則在線協(xié)作學(xué)習(xí)效果也能夠顯著提升。

    五、研究結(jié)論及啟示

    第一,本研究系統(tǒng)構(gòu)建了在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法,研發(fā)了目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性、參與度一致性5個評估指標,分兩輪對在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性進行評估并優(yōu)化,結(jié)果發(fā)現(xiàn):優(yōu)化后的第二輪在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性以及學(xué)習(xí)效果均顯著高于第一輪,且一致性程度越高,協(xié)作學(xué)習(xí)效果越好??梢?,對在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的評估與優(yōu)化,不僅可以改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量,而且可以提高在線學(xué)習(xí)效果,對促進教師專業(yè)發(fā)展和推進在線教育發(fā)展具有重要意義和價值。

    第二,本研究提出的在線協(xié)作學(xué)習(xí)設(shè)計與實施的量化評估方法不僅克服了基于主觀經(jīng)驗進行設(shè)計和優(yōu)化的缺陷,而且基于數(shù)據(jù)驅(qū)動的策略使得設(shè)計和優(yōu)化更加科學(xué)規(guī)范,從而實現(xiàn)“設(shè)計—實施—優(yōu)化設(shè)計—再度實施”的良性循環(huán)。這種方法不僅能夠提升一致性和學(xué)習(xí)效果,而且能夠生成設(shè)計的技術(shù)性知識并切實提升教師的教學(xué)設(shè)計能力以及專業(yè)素養(yǎng)。

    第三,本研究探索并論證了能夠提升在線協(xié)作學(xué)習(xí)設(shè)計質(zhì)量和一致性的5種優(yōu)化策略,包括優(yōu)化在線協(xié)作學(xué)習(xí)任務(wù)、優(yōu)化學(xué)習(xí)資源、明確角色分工和履職要求、設(shè)計多樣的交互策略、采用多種評價方式等。通過這5個維度的優(yōu)化,不僅能夠進一步提升協(xié)作學(xué)習(xí)的3個核心目標,即提升協(xié)同知識建構(gòu)水平、調(diào)節(jié)技能以及參與度,而且能夠提升設(shè)計與實施的一致性和學(xué)習(xí)效果。因此,要想提升在線學(xué)習(xí)的設(shè)計質(zhì)量,教師和實踐者需要不斷優(yōu)化在線學(xué)習(xí)活動的設(shè)計方案,通過對學(xué)習(xí)任務(wù)、交互策略、學(xué)習(xí)資源和環(huán)境、評價方式、激勵機制等不斷優(yōu)化,并且評估一致性、反思不一致之處,然后不斷對設(shè)計方案進行調(diào)整,進而提升設(shè)計與實施的一致性和學(xué)習(xí)效果。

    本研究提倡以設(shè)計為中心的研究范式,關(guān)注設(shè)計與實施的一致性而非有效性,通過精準評估一致性并反思不一致之處從而發(fā)現(xiàn)教學(xué)設(shè)計中的缺陷,不斷改進教學(xué)設(shè)計質(zhì)量從而提高教學(xué)效果,這種研究范式和思路對于促進教師的專業(yè)發(fā)展具有重要價值。傳統(tǒng)的基于設(shè)計的研究關(guān)注有效性,然而有效性是某種教育干預(yù)受當事人滿意的程度,嚴重受制于情境,研究結(jié)論難以重復(fù)和推廣(鄭蘭琴等,2014)。相比之下,一致性研究具有可重復(fù)性、可推廣性、能夠生成設(shè)計的技術(shù)性知識等優(yōu)勢。需要澄清的是,這里的一致性指的是設(shè)計要素在實施過程中的落實情況。只要設(shè)計要素與實施要素一致,那么設(shè)計就是成功的,因此并不苛求每個細節(jié)都做到一模一樣。同時,由于實踐情境的復(fù)雜多變,完全的一致是不可能的。因為無論對于教學(xué)系統(tǒng)還是協(xié)作學(xué)習(xí)系統(tǒng),教師和學(xué)習(xí)者的生成性會臨場涌現(xiàn),這在設(shè)計過程中無法預(yù)知。如果這種生成性能夠推動教學(xué)目標的實現(xiàn),則由此產(chǎn)生的不一致性完全可以接受;如果生成性阻礙了教學(xué)目標,則教師需要反思并分析產(chǎn)生不一致的原因,并據(jù)此進行教學(xué)設(shè)計的優(yōu)化。

    本研究也存在不足之處。首先,收集的樣本量不大,未來研究需進一步擴大研究樣本,探索提升設(shè)計與實施一致性的其他策略。第二,本研究對一致性與學(xué)習(xí)效果關(guān)系的研究結(jié)論還需要在其他情境中進一步檢驗。第三,本研究對一致性的分析尚未實現(xiàn)自動化,未來將進一步探索實時分析一致性的技術(shù),從而為學(xué)習(xí)者提供個性化的反饋,也為教師實時干預(yù)提供強有力的支撐。

    參考文獻:

    [1]崔盼盼,鄭蘭琴(2018).協(xié)作學(xué)習(xí)活動設(shè)計質(zhì)量評估方法的個案研究[J].現(xiàn)代教育技術(shù),28(10):64-69,106.

    [2]何文濤(2018).協(xié)作學(xué)習(xí)活動的結(jié)構(gòu)化設(shè)計框架[J].電化教育研究,(4):73-79.

    [3]盧群,劉恩山(2012).高中生物學(xué)教科書與課程標準的一致性研究——以人民教育出版社和浙江科技出版社教科書為例[J].課程·教材·教法,(5):75-82.

    [4]馬志強(2012).問題解決在線學(xué)習(xí)活動設(shè)計與應(yīng)用的實證研究[J].中國電化教育,(12):41-46.

    [5]田爽,鄭蘭琴,楊開城等(2017).教學(xué)設(shè)計方案與實施過程一致性的實證研究[J].電化教育研究,38(3):104-109.

    [6]楊開城(2013).DBR與DCR 哪個才能架起教育理論與實踐之間的橋梁[J].電化教育研究,34(12):11-15.

    [7]楊開城,張媛媛(2015).基于IIS圖分析的教案質(zhì)量評估指標體系的構(gòu)建[J].中國電化教育,(1):124-130.

    [8]余亮,黃榮懷(2012).協(xié)作學(xué)習(xí)活動結(jié)構(gòu)設(shè)計研究[J].遠程教育雜志,30(5):74-81.

    [9]袁令民(2013).物理高考與內(nèi)容標準的一致性研究[D].重慶:西南大學(xué).

    [10]袁夢霞,俞樹煜,聶勝欣等(2017).促進批判性思維發(fā)展的在線學(xué)習(xí)活動角色設(shè)計[J].現(xiàn)代遠距離教育,(2):76-82.

    [11]鄭蘭琴(2015).教學(xué)設(shè)計與實施一致性分析的個案研究[J].現(xiàn)代遠程教育研究,(3):95-103.

    [12]鄭蘭琴,楊開城(2014).為什么要研究一致性而不是有效性?[J].中國電化教育,(9):20-23,33.

    [13]鄭蘭琴,鐘璐,牛佳玉(2020).聯(lián)結(jié)在線協(xié)作學(xué)習(xí)設(shè)計與分析模型及應(yīng)用研究[J].電化教育研究,41(11):63-71.

    [14]Cerro Martínez, J. P., Guitert Catasús, M., & Romeu Fontanillas, T. (2020). Impact of Using Learning Analytics in Synchronous Online Discussions in Higher Education[J]. International Journal of Educational Technology in Higher Education, 17(1):17-39.

    [15]Deza, M. M., & Deza, E. (2009). Encyclopedia of Distances[M]. Berlin Heidelberg: Springer:103-126.

    [16]Fu, Q.-K., & Hwang, G.-J. (2018). Trends in Mobile Technology-Supported Collaborative Learning: A Systematic Review of Journal Publications from 2007 to 2016[J]. Computers & Education, 119:129-143.

    [17]Gu, X., Shao, Y., & Guo, X. et al. (2015). Designing a Role Structure to Engage Students in Computer-Supported Collaborative Learning[J]. Internet and Higher Education, 24:13-20.

    [18]Guiter, G. E., Sapia, S., & Wright, A. I. et al. (2021). Development of a Remote Online Collaborative Medical School Pathology Curriculum with Clinical Correlations, Across Several International Sites, Through the Covid-19 Pandemic[J]. Medical Science Educator, 31(2):549-556.

    [19]Hasan, H. F., Nat, M., & Vanduhe, V. Z. (2019). Gamified Collaborative Environment in Moodle[J]. IEEE Access, 7:89833-89844.

    [20]Lan, Y.-F., Tsai, P.-W., & Yang, S.-H. et al. (2012). Comparing the Social Knowledge Construction Behavioral Patterns of Problem-Based Online Asynchronous Discussion in E/M-Learning Environments[J]. Computers & Education, 59(4):1122-1135.

    [21]Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction[J]. Review of Educational Research, 79(4):1332-1361.

    [22]Osipov, P. N., & Ziyatdinova, J. N. (2015). Collaborative Learning: Pluses and Problems[C]// 2015 International Conference on Interactive Collaborative Learning (ICL). IEEE:361-364.

    [23]Pozzi, F. (2010). Using Jigsaw and Case Study for Supporting Online Collaborative Learning[J]. Computers & Education, 55(1):67-75.

    [24]Reeves, T. C., Herrington, J., & Oliver, R. (2004). A Development Research Agenda for Online Collaborative Learning[J]. Educational Technology Research and Development, 52(4):53-65.

    [25]Salmon, M. H. (1977). Consistency Proofs for Applied Mathematics[M]// Salmon, W. C. (Eds.). Hans Reichenbach: Logical Empiricist[M]. Springer, Dordrecht:301-312.

    [26]Shin, Y., Kim, D., & Jung, J. (2018). The Effects of Representation Tool (Visible-Annotation) Types to Support Knowledge Building in Computer-Supported Collaborative Learning[J]. Educational Technology & Society, 21(2):98-110.

    [27]Tversky, A. (1977). Features of Similarity[J]. Psychological Review, 84(4):327-352.

    [28]Wang, C., Fang, T., & Gu, Y. (2020). Learning Performance and Behavioral Patterns of Online Collaborative Learning: Impact of Cognitive Load and Affordances of Different Multimedia[J]. Computers & Education, 143:103683.

    [29]Wang, S.-M., Hou, H.-T., & Wu, S.-Y. (2017). Analyzing the Knowledge Construction and Cognitive Patterns of Blog-Based Instructional Activities Using Four Frequent Interactive Strategies (Problem Solving, Peer Assessment, Role Playing and Peer Tutoring): A Preliminary Study[J]. Educational Technology Research & Development, 65(2):301-323.

    [30]Webb, N. L. (1997). Criteria for Alignment of Expectations and Assessments in Mathematics and Science Education[J]. Academic Achievement, 1(11):1-46.

    [31]Webb, N. L. (1999). Alignment of Science and Mathematics Standards and Assessments in Four States[M]. Washington, DC: Council of Chief State School Officers:11-19.

    [32]Zhang, S., Liu, Q., & Chen, W. et al. (2017). Interactive Networks and Social Knowledge Construction Behavioral Patterns in Primary School Teachers’Online Collaborative Learning Activities[J]. Computers & Education, 104:1-17.

    收稿日期 2021-10-15 責(zé)任編輯 汪燕

    How to Improve the Design and Implementation of Online Collaborative Learning

    —— The Empirical Study on Evaluation and Optimization of the Alignment

    ZHENG Lanqin, ZHAO Jiayi, LONG Miaolang

    Abstract: Online collaborative learning has become an important learning approach in the “Internet Plus Education” era and its effectiveness largely depends on the design quality of it. However, most studies focused on the effectiveness of specific intervention strategies and very few studies focused on how to improve the design and the implementation of online collaborative learning from the perspective of improving the alignment between these two. Previous studies on effectiveness heavily rely on contexts and findings, which are very difficult to replicate in other contexts. While the research on the alignment focusing on the reasons of inconsistency and defect analysis can generate falsifiable knowledge through in-depth reflection. Based on five quantitative indicators of alignment, including the alignment of the scope of knowledge, the alignment of the collaborative knowledge building level, the alignment of the interactive topics, the alignment of the role assignment, and the alignment of the learning engagement, this study analyzed the alignment between the design and the implementation of two round online collaborative learning. The results indicated as follows. The alignment and group performance of second round of online collaborative learning were significantly higher than those of the first round. The quantitative evaluation method for the alignment between the design and the implementation of online collaborative learning not only overcomes the defects of design and optimization based on subjective experience, but also makes the design and optimization more scientific and standardized based on data-driven strategies, which can achieve the virtuous cycle of “design-implementation-optimization of design-reimplementation”. Optimization of design from the dimensions of learning tasks, learning resources, role assignment, interaction strategies, and evaluation methods contributes to improving the alignment between design and implementation as well as the learning performance of online collaborative learning.

    Keywords: Online Collaborative Learning; Alignment; Learning Performance; Design Quality; Optimization Strategies

    猜你喜歡
    設(shè)計質(zhì)量學(xué)習(xí)效果優(yōu)化策略
    “百詞斬”對于大學(xué)英語四級詞匯學(xué)習(xí)效果的實證研究
    民族文匯(2022年14期)2022-05-10 03:08:22
    基于學(xué)習(xí)性評價原則提高研究性學(xué)習(xí)效果的研究
    蓮心寶寶有話說
    淺談核電項目設(shè)計質(zhì)量信息收集與分析
    淺析政府工程造價“超概”原因及對策
    鄉(xiāng)鎮(zhèn)農(nóng)業(yè)經(jīng)濟發(fā)展的現(xiàn)狀及優(yōu)化策略分析
    企業(yè)重大風(fēng)險確定及管理建議的研究論述
    分組合作學(xué)習(xí)在小學(xué)語文高效課堂教學(xué)中的應(yīng)用探索
    考試周刊(2016年76期)2016-10-09 08:49:15
    基于一種優(yōu)化策略的智能燈控制系統(tǒng)研究與設(shè)計
    科技視界(2016年20期)2016-09-29 11:56:40
    設(shè)計質(zhì)量管控的實踐與探索
    科技視界(2016年16期)2016-06-29 17:27:28
    国产不卡一卡二| 国产区一区二久久| 成人国语在线视频| 国产在线精品亚洲第一网站| 欧美国产精品va在线观看不卡| 日本黄色视频三级网站网址| 丁香欧美五月| 亚洲人成77777在线视频| a在线观看视频网站| 日本撒尿小便嘘嘘汇集6| 九色国产91popny在线| 久久精品国产综合久久久| 不卡一级毛片| 国产精品二区激情视频| 18禁裸乳无遮挡免费网站照片 | 日日摸夜夜添夜夜添小说| 在线观看66精品国产| 波多野结衣av一区二区av| av有码第一页| 免费在线观看黄色视频的| 亚洲欧洲精品一区二区精品久久久| 搞女人的毛片| 美女大奶头视频| 日本精品一区二区三区蜜桃| 午夜福利视频1000在线观看| e午夜精品久久久久久久| 精品久久久久久成人av| 日日爽夜夜爽网站| 中文字幕精品免费在线观看视频| 无遮挡黄片免费观看| 久久久久久大精品| 最近在线观看免费完整版| 黄色丝袜av网址大全| 女性被躁到高潮视频| 精品电影一区二区在线| 国产黄a三级三级三级人| 亚洲黑人精品在线| 婷婷丁香在线五月| 国产精品99久久99久久久不卡| 亚洲美女黄片视频| 成人午夜高清在线视频 | 精品一区二区三区av网在线观看| 日韩国内少妇激情av| 午夜福利高清视频| 美女高潮到喷水免费观看| 国产色视频综合| 黄色丝袜av网址大全| 欧美不卡视频在线免费观看 | 90打野战视频偷拍视频| 麻豆成人午夜福利视频| 黑人操中国人逼视频| 日本免费一区二区三区高清不卡| 欧美性猛交黑人性爽| 欧美成狂野欧美在线观看| 色尼玛亚洲综合影院| 亚洲va日本ⅴa欧美va伊人久久| 18禁观看日本| 久久久久久大精品| 国产视频内射| 欧美精品啪啪一区二区三区| 人人妻人人澡欧美一区二区| 91av网站免费观看| 亚洲av电影不卡..在线观看| 亚洲av五月六月丁香网| 一a级毛片在线观看| 国产精品九九99| 青草久久国产| 免费观看精品视频网站| 国产成人欧美| 久久中文字幕人妻熟女| 可以免费在线观看a视频的电影网站| 久久久久免费精品人妻一区二区 | 一本久久中文字幕| 日日爽夜夜爽网站| 波多野结衣av一区二区av| 国产精品av久久久久免费| 久久久精品国产亚洲av高清涩受| 人人妻人人看人人澡| 18禁观看日本| 亚洲性夜色夜夜综合| 老司机午夜十八禁免费视频| 国产精品乱码一区二三区的特点| 国产av一区二区精品久久| 亚洲精华国产精华精| 精品久久久久久成人av| 成人特级黄色片久久久久久久| 久久婷婷人人爽人人干人人爱| 一个人观看的视频www高清免费观看 | 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲国产毛片av蜜桃av| 欧美在线一区亚洲| 久久国产精品人妻蜜桃| 每晚都被弄得嗷嗷叫到高潮| 黄色视频,在线免费观看| 99热6这里只有精品| 午夜日韩欧美国产| 天天躁狠狠躁夜夜躁狠狠躁| 中亚洲国语对白在线视频| 久久伊人香网站| 亚洲专区国产一区二区| 国产成年人精品一区二区| 99在线视频只有这里精品首页| 国产精品电影一区二区三区| 人人妻人人澡欧美一区二区| 日日干狠狠操夜夜爽| 欧美日韩亚洲国产一区二区在线观看| 又黄又粗又硬又大视频| 男女做爰动态图高潮gif福利片| 免费看十八禁软件| 一本精品99久久精品77| 伊人久久大香线蕉亚洲五| 午夜福利免费观看在线| 午夜福利成人在线免费观看| 国产精品免费视频内射| 在线永久观看黄色视频| 国产精华一区二区三区| 级片在线观看| 亚洲三区欧美一区| 欧美黄色片欧美黄色片| 一本一本综合久久| 国产激情偷乱视频一区二区| 人人妻,人人澡人人爽秒播| 国产三级黄色录像| 美女 人体艺术 gogo| 人人妻人人看人人澡| 日韩成人在线观看一区二区三区| 亚洲欧美一区二区三区黑人| 国产亚洲欧美98| 在线观看舔阴道视频| 无遮挡黄片免费观看| 夜夜爽天天搞| 久久人妻av系列| 色哟哟哟哟哟哟| 国产亚洲欧美在线一区二区| 国产精品美女特级片免费视频播放器 | 欧美日本亚洲视频在线播放| 亚洲avbb在线观看| 人人妻人人看人人澡| 亚洲精品在线美女| 亚洲 国产 在线| 丝袜在线中文字幕| 精品久久久久久久人妻蜜臀av| 身体一侧抽搐| 欧美午夜高清在线| 欧美在线一区亚洲| 午夜福利成人在线免费观看| 又黄又粗又硬又大视频| 午夜福利欧美成人| 91av网站免费观看| 成人国语在线视频| 中文资源天堂在线| 神马国产精品三级电影在线观看 | 亚洲精品久久成人aⅴ小说| 久久久久久久午夜电影| 在线观看午夜福利视频| 成人亚洲精品av一区二区| 一本大道久久a久久精品| 午夜福利在线在线| 久久久久久国产a免费观看| 99在线视频只有这里精品首页| 级片在线观看| 欧美精品啪啪一区二区三区| 成人av一区二区三区在线看| 国产成人欧美| 99精品欧美一区二区三区四区| 成人午夜高清在线视频 | 老司机靠b影院| 草草在线视频免费看| 黄色视频,在线免费观看| 在线观看免费午夜福利视频| 亚洲天堂国产精品一区在线| 激情在线观看视频在线高清| 亚洲国产毛片av蜜桃av| АⅤ资源中文在线天堂| 色播亚洲综合网| 一个人免费在线观看的高清视频| www日本黄色视频网| 黄色视频不卡| 国产精品 国内视频| 人人妻人人澡人人看| 国产精品 欧美亚洲| 一区二区三区国产精品乱码| 不卡一级毛片| 久久亚洲精品不卡| 亚洲九九香蕉| 男人操女人黄网站| 一本精品99久久精品77| 日韩国内少妇激情av| 国产高清视频在线播放一区| 久热这里只有精品99| 亚洲成av人片免费观看| 男男h啪啪无遮挡| 中文字幕人成人乱码亚洲影| 麻豆av在线久日| 国产99久久九九免费精品| 91成人精品电影| 在线观看午夜福利视频| 麻豆一二三区av精品| 天天躁狠狠躁夜夜躁狠狠躁| 日韩大码丰满熟妇| 在线国产一区二区在线| 中文字幕人成人乱码亚洲影| 制服诱惑二区| 老司机深夜福利视频在线观看| 亚洲第一青青草原| 国产成人av教育| 亚洲色图av天堂| 国产精品一区二区三区四区久久 | 不卡av一区二区三区| 18禁国产床啪视频网站| 无人区码免费观看不卡| 日韩国内少妇激情av| 国产精品免费一区二区三区在线| 国产国语露脸激情在线看| 老熟妇乱子伦视频在线观看| 免费电影在线观看免费观看| 久久精品91无色码中文字幕| 久久天堂一区二区三区四区| 一区福利在线观看| 男女之事视频高清在线观看| 免费在线观看成人毛片| 国产aⅴ精品一区二区三区波| 精品卡一卡二卡四卡免费| 精品国产超薄肉色丝袜足j| 国内揄拍国产精品人妻在线 | 男人的好看免费观看在线视频 | 久久国产精品人妻蜜桃| 精品不卡国产一区二区三区| 国产一卡二卡三卡精品| 日韩大码丰满熟妇| 亚洲第一电影网av| 国产黄片美女视频| 久久99热这里只有精品18| 国产成人精品久久二区二区91| 国产成人av教育| 老司机深夜福利视频在线观看| 免费电影在线观看免费观看| 欧美黄色淫秽网站| 熟女电影av网| 视频区欧美日本亚洲| 久久久久精品国产欧美久久久| 999久久久国产精品视频| 亚洲aⅴ乱码一区二区在线播放 | 亚洲精品国产区一区二| 免费看美女性在线毛片视频| 精品久久久久久久久久久久久 | 久久久久九九精品影院| 亚洲午夜理论影院| 免费电影在线观看免费观看| 在线av久久热| 久久久久久免费高清国产稀缺| 日韩欧美免费精品| 50天的宝宝边吃奶边哭怎么回事| 国产又色又爽无遮挡免费看| 国产成人影院久久av| 精品久久久久久成人av| 亚洲 欧美一区二区三区| 啪啪无遮挡十八禁网站| 首页视频小说图片口味搜索| 欧美日本视频| 亚洲自拍偷在线| 亚洲第一青青草原| 亚洲av日韩精品久久久久久密| 久久久久九九精品影院| 欧美色欧美亚洲另类二区| 国产av一区在线观看免费| 可以在线观看毛片的网站| 亚洲人成网站在线播放欧美日韩| 亚洲专区中文字幕在线| 亚洲成av片中文字幕在线观看| 亚洲一码二码三码区别大吗| 国产欧美日韩一区二区精品| 国内久久婷婷六月综合欲色啪| 可以在线观看毛片的网站| 黄色 视频免费看| 色综合亚洲欧美另类图片| 国产一区二区激情短视频| 免费看十八禁软件| 狂野欧美激情性xxxx| 日韩国内少妇激情av| 丁香欧美五月| 午夜亚洲福利在线播放| 十分钟在线观看高清视频www| 国产99久久九九免费精品| 日本免费一区二区三区高清不卡| 欧美激情 高清一区二区三区| 禁无遮挡网站| 女性生殖器流出的白浆| 视频在线观看一区二区三区| 精品久久久久久成人av| 一级a爱视频在线免费观看| av中文乱码字幕在线| 亚洲av第一区精品v没综合| 国产成人av激情在线播放| 97人妻精品一区二区三区麻豆 | 国产精品电影一区二区三区| 一进一出好大好爽视频| 婷婷丁香在线五月| www.自偷自拍.com| 欧美成人一区二区免费高清观看 | 黄色a级毛片大全视频| 国产av在哪里看| 最近最新免费中文字幕在线| 亚洲在线自拍视频| 变态另类成人亚洲欧美熟女| 日日夜夜操网爽| 超碰成人久久| 神马国产精品三级电影在线观看 | 欧美在线一区亚洲| 亚洲中文日韩欧美视频| 亚洲,欧美精品.| 欧美成人免费av一区二区三区| 伊人久久大香线蕉亚洲五| 午夜福利视频1000在线观看| 老司机在亚洲福利影院| 女生性感内裤真人,穿戴方法视频| 国产aⅴ精品一区二区三区波| 中文字幕人成人乱码亚洲影| av片东京热男人的天堂| 黄网站色视频无遮挡免费观看| 狠狠狠狠99中文字幕| 亚洲中文日韩欧美视频| www.999成人在线观看| 国产精品 欧美亚洲| 欧美在线黄色| av福利片在线| 不卡一级毛片| www.www免费av| 欧美国产精品va在线观看不卡| 久久久久久大精品| 亚洲 欧美一区二区三区| 免费电影在线观看免费观看| 国产激情久久老熟女| 国产成人系列免费观看| 亚洲成a人片在线一区二区| 每晚都被弄得嗷嗷叫到高潮| www.www免费av| 国产黄片美女视频| 国产成人精品无人区| 亚洲国产日韩欧美精品在线观看 | 亚洲国产欧美网| 久久久水蜜桃国产精品网| 淫妇啪啪啪对白视频| 1024香蕉在线观看| 黄色丝袜av网址大全| 日韩欧美一区视频在线观看| 成年女人毛片免费观看观看9| 人人妻,人人澡人人爽秒播| 久久久国产成人免费| 亚洲成人免费电影在线观看| 国产成人精品久久二区二区91| 亚洲国产日韩欧美精品在线观看 | 9191精品国产免费久久| 在线天堂中文资源库| 国产av一区在线观看免费| 99re在线观看精品视频| 国产成人欧美在线观看| 亚洲欧美日韩无卡精品| 精品一区二区三区四区五区乱码| 天天躁夜夜躁狠狠躁躁| 欧美日韩一级在线毛片| 老汉色∧v一级毛片| 俺也久久电影网| 国产精品98久久久久久宅男小说| 18禁美女被吸乳视频| 欧美一级a爱片免费观看看 | 亚洲色图 男人天堂 中文字幕| 黄片播放在线免费| 天天躁夜夜躁狠狠躁躁| or卡值多少钱| 老司机福利观看| 男人舔奶头视频| 在线观看日韩欧美| 日韩免费av在线播放| 91国产中文字幕| 精品少妇一区二区三区视频日本电影| 夜夜爽天天搞| 欧美精品亚洲一区二区| 国产黄色小视频在线观看| 欧美乱色亚洲激情| 亚洲九九香蕉| 在线观看舔阴道视频| 欧美性猛交黑人性爽| 免费在线观看日本一区| 国产午夜精品久久久久久| 可以在线观看毛片的网站| 国产一区二区激情短视频| 亚洲精品av麻豆狂野| 久久香蕉国产精品| 真人做人爱边吃奶动态| 亚洲av电影在线进入| 亚洲国产欧美网| 亚洲九九香蕉| 两性午夜刺激爽爽歪歪视频在线观看 | 色综合站精品国产| 日日爽夜夜爽网站| 成人亚洲精品一区在线观看| 亚洲午夜理论影院| 91av网站免费观看| 在线十欧美十亚洲十日本专区| 亚洲av熟女| 欧美精品亚洲一区二区| 这个男人来自地球电影免费观看| 日本黄色视频三级网站网址| 1024手机看黄色片| 99久久久亚洲精品蜜臀av| 国产真实乱freesex| 日本免费一区二区三区高清不卡| 中文字幕精品亚洲无线码一区 | 欧美成狂野欧美在线观看| 亚洲中文字幕日韩| 99在线视频只有这里精品首页| 国内少妇人妻偷人精品xxx网站 | 国产成人影院久久av| 精品一区二区三区视频在线观看免费| 久久午夜亚洲精品久久| 国产高清视频在线播放一区| 精品无人区乱码1区二区| 欧美日本亚洲视频在线播放| 99久久综合精品五月天人人| 国内揄拍国产精品人妻在线 | 97人妻精品一区二区三区麻豆 | 99国产极品粉嫩在线观看| 亚洲一区高清亚洲精品| 国产不卡一卡二| 久久久久精品国产欧美久久久| 欧美黄色片欧美黄色片| 国产99久久九九免费精品| 亚洲无线在线观看| 无限看片的www在线观看| 久久久久久久精品吃奶| 亚洲五月色婷婷综合| 禁无遮挡网站| 精品电影一区二区在线| x7x7x7水蜜桃| 波多野结衣av一区二区av| 校园春色视频在线观看| 1024香蕉在线观看| 国产精品电影一区二区三区| 操出白浆在线播放| 老汉色∧v一级毛片| 最近在线观看免费完整版| 12—13女人毛片做爰片一| 国产真实乱freesex| 午夜视频精品福利| 国产成人一区二区三区免费视频网站| 手机成人av网站| 国产av一区二区精品久久| 天天躁狠狠躁夜夜躁狠狠躁| 成人三级黄色视频| 在线观看日韩欧美| 日本成人三级电影网站| 美女高潮喷水抽搐中文字幕| 久9热在线精品视频| 色老头精品视频在线观看| 久久久精品欧美日韩精品| 国产aⅴ精品一区二区三区波| 精品国产一区二区三区四区第35| 女警被强在线播放| 国产精品一区二区精品视频观看| or卡值多少钱| 一本精品99久久精品77| 久久精品人妻少妇| 亚洲精华国产精华精| 国产精品亚洲美女久久久| 亚洲成av片中文字幕在线观看| 亚洲精品国产一区二区精华液| 神马国产精品三级电影在线观看 | 美女高潮喷水抽搐中文字幕| 国产亚洲欧美精品永久| 欧美又色又爽又黄视频| 黄片大片在线免费观看| 国语自产精品视频在线第100页| or卡值多少钱| 久久青草综合色| 国产蜜桃级精品一区二区三区| 成人手机av| 色婷婷久久久亚洲欧美| 欧美激情极品国产一区二区三区| 国产片内射在线| 国产又爽黄色视频| 香蕉国产在线看| 777久久人妻少妇嫩草av网站| av在线天堂中文字幕| 观看免费一级毛片| 国产又色又爽无遮挡免费看| 日本一区二区免费在线视频| 精品福利观看| 亚洲性夜色夜夜综合| 免费观看精品视频网站| 久久天堂一区二区三区四区| 欧美一级毛片孕妇| 国产精品影院久久| tocl精华| 日本成人三级电影网站| 满18在线观看网站| 搡老熟女国产l中国老女人| 99在线人妻在线中文字幕| 国产aⅴ精品一区二区三区波| 中文字幕人成人乱码亚洲影| 国产区一区二久久| 99国产极品粉嫩在线观看| 欧美人与性动交α欧美精品济南到| 一级a爱视频在线免费观看| а√天堂www在线а√下载| 又黄又爽又免费观看的视频| 青草久久国产| 亚洲 国产 在线| 久久久国产成人精品二区| 每晚都被弄得嗷嗷叫到高潮| 午夜福利视频1000在线观看| 国产精品98久久久久久宅男小说| 久久久精品欧美日韩精品| 可以在线观看毛片的网站| 欧美黄色片欧美黄色片| 91老司机精品| 国产av不卡久久| 黄色丝袜av网址大全| 亚洲第一青青草原| 成人18禁在线播放| 亚洲欧美日韩无卡精品| 国产国语露脸激情在线看| 亚洲熟女毛片儿| 久久精品91无色码中文字幕| 一级a爱视频在线免费观看| 狠狠狠狠99中文字幕| 热re99久久国产66热| 日韩欧美三级三区| 欧洲精品卡2卡3卡4卡5卡区| 最好的美女福利视频网| 麻豆国产av国片精品| 白带黄色成豆腐渣| 国产精品av久久久久免费| 最新美女视频免费是黄的| 国产精品久久久久久亚洲av鲁大| 国产真实乱freesex| 日韩中文字幕欧美一区二区| 69av精品久久久久久| 人人妻人人看人人澡| 99国产综合亚洲精品| 国产成+人综合+亚洲专区| 亚洲欧美一区二区三区黑人| 国语自产精品视频在线第100页| 国产色视频综合| 91字幕亚洲| 女人被狂操c到高潮| 国产真人三级小视频在线观看| 久久久久精品国产欧美久久久| or卡值多少钱| 午夜两性在线视频| 十分钟在线观看高清视频www| 国产91精品成人一区二区三区| 91在线观看av| 在线观看免费日韩欧美大片| 成人三级黄色视频| 精品国产乱子伦一区二区三区| 两个人视频免费观看高清| 亚洲精品中文字幕在线视频| 成年女人毛片免费观看观看9| 一二三四社区在线视频社区8| 757午夜福利合集在线观看| 一级作爱视频免费观看| 久久精品aⅴ一区二区三区四区| 精品久久久久久久人妻蜜臀av| 麻豆av在线久日| 国产三级在线视频| 50天的宝宝边吃奶边哭怎么回事| 满18在线观看网站| 久久精品人妻少妇| 中文在线观看免费www的网站 | 18禁黄网站禁片午夜丰满| 草草在线视频免费看| 黑人操中国人逼视频| 国产亚洲av嫩草精品影院| www日本黄色视频网| 看片在线看免费视频| 这个男人来自地球电影免费观看| 91成人精品电影| 免费观看精品视频网站| 母亲3免费完整高清在线观看| 国产精品影院久久| 亚洲人成网站高清观看| 国产成人精品久久二区二区91| 欧美+亚洲+日韩+国产| 一本精品99久久精品77| 男女之事视频高清在线观看| 国产爱豆传媒在线观看 | 黑人巨大精品欧美一区二区mp4| 久久久久久亚洲精品国产蜜桃av| 男女床上黄色一级片免费看| 婷婷亚洲欧美| 精品无人区乱码1区二区| 99热只有精品国产| 99国产精品一区二区三区| 国产熟女午夜一区二区三区| 午夜福利一区二区在线看| 中文资源天堂在线| 99在线视频只有这里精品首页| 久热这里只有精品99| 好看av亚洲va欧美ⅴa在| 最近在线观看免费完整版| 波多野结衣av一区二区av| 日日爽夜夜爽网站| 99riav亚洲国产免费| 啦啦啦免费观看视频1| 日日夜夜操网爽| 日韩高清综合在线| 欧美在线黄色| 9191精品国产免费久久| 1024手机看黄色片| 日韩欧美一区二区三区在线观看| 久久精品国产综合久久久| 99在线视频只有这里精品首页| 国产蜜桃级精品一区二区三区| 成人永久免费在线观看视频|