• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    如何改善在線協(xié)作學(xué)習(xí)的設(shè)計與實施

    2022-03-27 10:28:25鄭蘭琴趙家怡龍妙浪
    現(xiàn)代遠程教育研究 2022年2期
    關(guān)鍵詞:設(shè)計質(zhì)量學(xué)習(xí)效果優(yōu)化策略

    鄭蘭琴 趙家怡 龍妙浪

    摘要:在線協(xié)作學(xué)習(xí)已經(jīng)成為“互聯(lián)網(wǎng)+教育”時代一種重要的學(xué)習(xí)方式,其實施效果很大程度上取決于協(xié)作學(xué)習(xí)活動設(shè)計的質(zhì)量。然而,已有研究大多關(guān)注某種特定干預(yù)策略的有效性,鮮有從提高在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度來研究如何改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量與實施效果。傳統(tǒng)的有效性研究嚴重依賴情境并難以重復(fù),而一致性研究著眼于不一致的真實來源和缺陷分析,通過深入地反思能夠生成可證偽的知識?;谀繕酥R點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性、參與度一致性5個量化指標,分兩輪對在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性進行評估并優(yōu)化,實驗結(jié)果表明:(1)優(yōu)化后的第二輪在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性以及學(xué)習(xí)效果均顯著高于第一輪,且一致性與協(xié)作學(xué)習(xí)效果呈現(xiàn)顯著正相關(guān)關(guān)系;(2)研發(fā)的在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法不僅克服了基于主觀經(jīng)驗進行設(shè)計和優(yōu)化的缺陷,而且基于數(shù)據(jù)驅(qū)動的策略使得設(shè)計和優(yōu)化更加科學(xué)規(guī)范,實現(xiàn)了“設(shè)計—實施—優(yōu)化設(shè)計—再度實施”的良性循環(huán);(3)從學(xué)習(xí)任務(wù)、學(xué)習(xí)資源、角色分工、交互策略、評價方式等維度進行設(shè)計優(yōu)化,有助于提升在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性與學(xué)習(xí)效果。

    關(guān)鍵詞:在線協(xié)作學(xué)習(xí);一致性;學(xué)習(xí)效果;設(shè)計質(zhì)量;優(yōu)化策略

    中圖分類號:G434 ? 文獻標識碼:A ? ?文章編號:1009-5195(2022)02-0103-10 ?doi10.3969/j.issn.1009-5195.2022.02.012

    基金項目:2019年度教育部人文社會科學(xué)研究青年項目“多源數(shù)據(jù)驅(qū)動的協(xié)作學(xué)習(xí)活動設(shè)計方法及優(yōu)化策略的實證研究”(19YJC880141)。

    作者簡介:鄭蘭琴,博士,副教授,碩士生導(dǎo)師,北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院(北京 100875);趙家怡、龍妙浪,碩士研究生,北京師范大學(xué)教育學(xué)部教育技術(shù)學(xué)院(北京 100875)。

    一、引言

    近年來,云計算、大數(shù)據(jù)和人工智能技術(shù)的飛速發(fā)展引發(fā)了學(xué)習(xí)方式的深刻變革。傳統(tǒng)的學(xué)習(xí)方式已經(jīng)不能夠滿足社會發(fā)展的需求,數(shù)字一代更加傾向于通過與同伴或者教師的在線交流來獲取信息、建構(gòu)知識并發(fā)展技能。特別是2020年新冠肺炎疫情背景下,全球數(shù)以億計的學(xué)生不得不從線下課堂轉(zhuǎn)向在線,在線學(xué)習(xí)成為重要的學(xué)習(xí)方式,在線協(xié)作學(xué)習(xí)也被越來越多的教育者和學(xué)習(xí)者所接受和采用。在線協(xié)作學(xué)習(xí)是指學(xué)習(xí)者為了共同的學(xué)習(xí)目標通過網(wǎng)絡(luò)進行在線學(xué)習(xí),協(xié)同完成學(xué)習(xí)任務(wù)并解決問題(Reeves et al.,2004)。通過在線協(xié)作學(xué)習(xí),學(xué)習(xí)者可以隨時隨地與同伴或老師進行交流、分享信息、協(xié)同建構(gòu)知識與技能(Fu et al.,2018)。然而,并非所有參與在線協(xié)作學(xué)習(xí)的學(xué)習(xí)者都能取得良好的學(xué)習(xí)效果(Osipov et al.,2015)。很多學(xué)習(xí)者僅僅停留于淺層次的信息交流與分享(Lan et al.,2012),小組成員在協(xié)作學(xué)習(xí)過程中常常出現(xiàn)搭便車(Lan et al.,2012)、跑題偏題等現(xiàn)象(Gu et al.,2015)。在線協(xié)作學(xué)習(xí)活動的設(shè)計質(zhì)量是影響學(xué)習(xí)者在線協(xié)作學(xué)習(xí)效果的主要因素。

    縱觀已有研究,大多關(guān)注某種特定干預(yù)策略的有效性,并且有關(guān)在線協(xié)作學(xué)習(xí)活動的設(shè)計主要聚焦于局部要素,如在線協(xié)作學(xué)習(xí)環(huán)境、交互策略、評價方法等,鮮有從提高在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度來研究如何改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量和實施效果。事實上,在線協(xié)作學(xué)習(xí)包含兩種形態(tài):設(shè)計態(tài)與實施態(tài)。在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性指的是所有設(shè)計要素在實施過程中都能夠落實。之所以研究一致性,是因為傳統(tǒng)的有效性研究嚴重依賴情境,結(jié)論難以遷移和推廣,也無法生成可證偽的知識;而一致性研究著眼于不一致的真實來源和缺陷分析,通過深入地反思能夠生成可證偽的知識(鄭蘭琴等, 2014),且不依賴情境,研究結(jié)論可以重復(fù)和推廣。對在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性進行深入研究,有助于明確在線協(xié)作學(xué)習(xí)過程中哪些設(shè)計要素落實了,哪些沒有,進而發(fā)現(xiàn)設(shè)計的問題,通過反復(fù)優(yōu)化生成協(xié)作學(xué)習(xí)設(shè)計的技術(shù)性知識,提升教師的教學(xué)設(shè)計能力。

    本研究開展兩輪的在線協(xié)作學(xué)習(xí)活動,利用研發(fā)的在線協(xié)作學(xué)習(xí)活動設(shè)計與實施一致性的量化評估指標計算兩輪在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性,旨在解決兩個研究問題:第一,通過評估和優(yōu)化,在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性能否提升?第二,改善在線協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性,是否可以提高在線協(xié)作學(xué)習(xí)效果?

    二、文獻綜述

    1.在線協(xié)作學(xué)習(xí)活動設(shè)計和效果評估的研究現(xiàn)狀

    (1)在線協(xié)作學(xué)習(xí)活動設(shè)計研究

    當前關(guān)于在線協(xié)作學(xué)習(xí)活動設(shè)計的研究主要集中于兩方面:構(gòu)建協(xié)作學(xué)習(xí)活動設(shè)計整體框架以及探索影響協(xié)作學(xué)習(xí)活動的局部要素。在構(gòu)建協(xié)作學(xué)習(xí)活動設(shè)計整體框架方面,研究者從不同視角進行了探索。比如,余亮等(2012)將任務(wù)、時序、角色、資源進行結(jié)構(gòu)化,構(gòu)建了包括任務(wù)分析、時序排列、角色定義、資源分配在內(nèi)的協(xié)作學(xué)習(xí)活動設(shè)計框架。馬志強(2012)在已有文獻基礎(chǔ)上構(gòu)建了問題解決型在線協(xié)作學(xué)習(xí)活動的設(shè)計框架,主要包含問題情境、問題解決角色、任務(wù)和資源、工具4個核心設(shè)計要素。何文濤(2018)基于學(xué)習(xí)活動概念模型提出了協(xié)作學(xué)習(xí)活動設(shè)計框架,包括協(xié)作學(xué)習(xí)活動設(shè)計的過程模式、學(xué)習(xí)目標分析、活動分類與任務(wù)設(shè)計、內(nèi)容分析、結(jié)構(gòu)化設(shè)計、缺陷分析與改進6個方面。鄭蘭琴等(2020)從目標、任務(wù)、交互、資源和評價5方面提出了協(xié)作學(xué)習(xí)活動設(shè)計的框架。

    在探索影響協(xié)作學(xué)習(xí)活動的局部要素方面,Pozzi(2010)探索了切塊拼接、案例研究等交互策略對促進交流和協(xié)作以及提升學(xué)習(xí)成績的影響。袁夢霞等(2017)探索了不同角色設(shè)計對學(xué)習(xí)者批判性思維的影響。Shin等(2018)探索了可視化標注工具對促進知識共享、提高知識建構(gòu)水平的影響。Hasan等(2019)分析了游戲化在線協(xié)作學(xué)習(xí)環(huán)境對學(xué)生參與度的影響。

    (2)在線協(xié)作學(xué)習(xí)活動效果評估研究

    有關(guān)在線協(xié)作學(xué)習(xí)活動評估的研究,主要從評估內(nèi)容和評估方法兩方面開展。從評估內(nèi)容來看,主要包括參與度、學(xué)業(yè)成績、學(xué)習(xí)行為模式等。Hasan等(2019)通過評估學(xué)習(xí)者登錄游戲化協(xié)作環(huán)境的次數(shù)、訪問資源的次數(shù)、閱讀貼子的次數(shù)以及提交作業(yè)次數(shù)等來考察游戲化協(xié)作學(xué)習(xí)環(huán)境是否影響學(xué)習(xí)者的參與度,結(jié)果表明游戲化協(xié)作學(xué)習(xí)環(huán)境能顯著提高學(xué)生的參與度。Wang等(2020)探索了不同形式的學(xué)習(xí)材料呈現(xiàn)對學(xué)習(xí)者參與在線協(xié)作學(xué)習(xí)的行為模式和學(xué)習(xí)效果的影響,結(jié)果表明呈現(xiàn)互動性學(xué)習(xí)材料的小組績效明顯好于僅僅呈現(xiàn)視頻或者文本學(xué)習(xí)材料的小組。

    從評估方法來看,傳統(tǒng)的方法主要包括問卷調(diào)查法、訪談法,近年來有研究開始利用社會網(wǎng)絡(luò)分析法、行為序列分析法、學(xué)習(xí)分析技術(shù)進行在線協(xié)作學(xué)習(xí)效果的評估。比如,Guiter等(2021)采取問卷、訪談的方法,對學(xué)生在協(xié)作學(xué)習(xí)中的學(xué)習(xí)感受和學(xué)習(xí)成績進行測量,以此反映協(xié)作學(xué)習(xí)效果。Zhang 等(2017)采用社會網(wǎng)絡(luò)分析法,分析了學(xué)生在協(xié)作學(xué)習(xí)過程中的活躍度,進而評估協(xié)作學(xué)習(xí)的效果。Wang等(2017)采用行為序列分析方法來分析學(xué)生在協(xié)作學(xué)習(xí)過程中的行為模式和特征,進而評估協(xié)作學(xué)習(xí)效果。Cerro Martínez等(2020)采用學(xué)習(xí)分析方法對協(xié)作學(xué)習(xí)過程進行監(jiān)控與分析,用以幫助教師實施個性化的反饋和干預(yù)。

    綜上所述,已有研究從協(xié)作學(xué)習(xí)活動的整體框架設(shè)計和局部要素對在線協(xié)作活動的設(shè)計進行了探索,并采用調(diào)查法、訪談法、社會網(wǎng)絡(luò)分析法、行為序列分析法、學(xué)習(xí)分析技術(shù)等對協(xié)作學(xué)習(xí)效果進行了評估。然而,整體框架的設(shè)計主要停留在理論層面,局部要素的設(shè)計雖然進行了一些實證分析,但未從協(xié)作學(xué)習(xí)設(shè)計與實施的一致性角度進行思考,難以分辨到底哪些設(shè)計要素落實了、哪些沒有,也缺乏對局部要素的進一步優(yōu)化。另外,當前還鮮有研究從一致性的視角探索如何評估并提升在線協(xié)作學(xué)習(xí)的效果。

    2.教育教學(xué)中的一致性研究現(xiàn)狀

    一致性指的是一個形式系統(tǒng)中不蘊含矛盾(Salmon,1977)。教育領(lǐng)域中的一致性指的是期望與評價之間彼此一致的程度(Webb,1997)。一致性在教育領(lǐng)域已經(jīng)受到國內(nèi)外學(xué)者的關(guān)注。國外學(xué)者主要從評價與課程標準之間的一致性進行探索。比如,Webb(1999)從類別一致性、知識深度一致性、知識范圍一致性、表征平衡性四個維度考察數(shù)學(xué)和科學(xué)領(lǐng)域中評價與課程標準之間的一致性,結(jié)果發(fā)現(xiàn),知識深度和知識范圍上的一致性較低。Martone等(2009)總結(jié)了考察評價與課程內(nèi)容標準一致性的三種方法,即Webb方法論(包括上述四個維度)、達成方法論(包括項目層次分析和項目集合分析兩個維度)、調(diào)查實施的課程方法論(包括內(nèi)容匹配、績效期望、教學(xué)內(nèi)容分析三個維度)。國內(nèi)學(xué)者主要從教材與內(nèi)容標準的一致性(盧群 等,2012)以及高考內(nèi)容與課程標準的一致性(袁令民,2013)進行了探索??梢?,已有研究主要聚焦于課程領(lǐng)域的一致性。

    筆者認為,一致性應(yīng)該貫穿于整個教育領(lǐng)域,不僅適用于課程領(lǐng)域的研究,而且適用于教學(xué)實踐領(lǐng)域的研究。教學(xué)領(lǐng)域中的一致性主要包括教學(xué)目標和手段的一致性、教學(xué)設(shè)計與實施的一致性兩方面。教學(xué)目標與手段的一致性指的是教學(xué)目標與采取的教學(xué)手段之間的吻合程度,教學(xué)設(shè)計與實施的一致性指的是教學(xué)行動中的行為和內(nèi)容與教學(xué)方案中所設(shè)定的行為和內(nèi)容的吻合程度(鄭蘭琴,2015)。在目標和手段一致性方面,目前已有研究者通過比較目標和手段之間的數(shù)據(jù)依賴關(guān)系來分析協(xié)作學(xué)習(xí)活動存在的缺陷,構(gòu)建系統(tǒng)協(xié)作學(xué)習(xí)活動設(shè)計技術(shù)框架來促進優(yōu)良協(xié)作學(xué)習(xí)過程的發(fā)生(何文濤,2018)。另外,楊開城等(2015)開發(fā)了包含目標—手段一致性在內(nèi)的6個指標用于評價教案質(zhì)量,具有可行性、客觀性及有效性。在教學(xué)方案設(shè)計與實施的一致性方面,鄭蘭琴(2015)對兩個案例教學(xué)方案進行設(shè)計,以個案研究的方式考察了設(shè)計與實施的一致性,開發(fā)了教學(xué)實施過程中的信息流序列、激活目標知識點的范圍和激活量三個一致性指標,初步探究了一致性分析的可行性以及如何基于一致性進行反思性分析。田爽等(2017)采集小學(xué)信息技術(shù)課程的30個教學(xué)設(shè)計與實施過程樣本,采用基于信息流的分析方法分析了教學(xué)設(shè)計方案與實施過程在激活知識點范圍、目標知識點的激活量、信息流序列方面的一致性,并對教學(xué)過程進行了反思。

    綜上所述,已有研究主要對傳統(tǒng)課堂中的教學(xué)設(shè)計與實施的一致性進行了探索。然而,鮮有研究探索在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并且缺乏對一致性與學(xué)習(xí)效果關(guān)系的研究。本研究將重點探索在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的評估方法、提升策略以及一致性與學(xué)習(xí)效果的關(guān)系,目的是為提升協(xié)作學(xué)習(xí)學(xué)習(xí)效果和教師的教學(xué)設(shè)計水平提供重要參考。

    三、研究設(shè)計與方法

    以設(shè)計為中心的研究范式關(guān)注教育設(shè)計的一致性,通過一致性分析判斷教育設(shè)計的好壞,并關(guān)注不一致的真實來源和缺陷分析(楊開城,2013)。本研究采取以設(shè)計為中心的研究范式分析在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性。

    1.研究對象

    參與本研究的對象為北京某“985”高校的90名在校大學(xué)生。所有學(xué)生均具有協(xié)作學(xué)習(xí)相關(guān)的基礎(chǔ)知識。研究一共開展了15個主題的在線協(xié)作學(xué)習(xí)活動,每個主題實施2輪在線協(xié)作學(xué)習(xí),旨在評估能否通過一系列策略來優(yōu)化協(xié)作學(xué)習(xí)活動設(shè)計與實施的一致性。15個在線協(xié)作學(xué)習(xí)活動主題涵蓋教育學(xué)、教育技術(shù)學(xué)、教育傳播學(xué)、計算機科學(xué)、化學(xué)等多個學(xué)科領(lǐng)域,每個主題的每一輪協(xié)作學(xué)習(xí)活動由3名學(xué)生在線參加。正式實驗前,研究者對參加同一主題的6名學(xué)生進行在線前測,前測題型包含選擇題、判斷題、填空題、簡答題四種題型,旨在評價參與兩輪實驗的學(xué)生在已有知識基礎(chǔ)方面是否存在顯著性差異,從而避免學(xué)生先前知識對實驗結(jié)果的影響。經(jīng)配對樣本T檢驗,結(jié)果發(fā)現(xiàn)參與15個主題兩輪在線協(xié)作學(xué)習(xí)活動的學(xué)生在前測成績方面均無顯著性差異(p> 0.05),分析結(jié)果見表1所示。

    2.研究程序

    本研究包括五個階段。第一階段,對所有學(xué)生進行前測,檢驗參加兩輪在線協(xié)作學(xué)習(xí)的學(xué)生在已有知識基礎(chǔ)方面是否存在顯著性差異。第二階段,設(shè)計15個主題的在線協(xié)作學(xué)習(xí)活動。研究首先從協(xié)作學(xué)習(xí)目標、任務(wù)、交互策略、資源和評價5個維度(鄭蘭琴等,2020)進行協(xié)作學(xué)習(xí)活動設(shè)計。然后,邀請45名大學(xué)生以3人為一組在不同時間和地點開展15個主題的第一輪在線協(xié)作學(xué)習(xí)活動。在線協(xié)作學(xué)習(xí)工具選擇國內(nèi)流行的即時通訊軟件騰訊QQ,每次活動持續(xù)2小時左右。第三階段,在第一輪在線協(xié)作學(xué)習(xí)活動結(jié)束后,研究者采用研發(fā)的一致性計算方法分析第一輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并根據(jù)分析結(jié)果優(yōu)化第一輪在線協(xié)作學(xué)習(xí)設(shè)計方案,為第二輪活動做準備。第四階段,另邀請45名大學(xué)生也以3人為一組在不同時間和地點開展第二輪在線協(xié)作學(xué)習(xí)活動。在線協(xié)作學(xué)習(xí)的主題、任務(wù)、持續(xù)時間等方面均與第一輪相同,但在第一輪的基礎(chǔ)上對協(xié)作學(xué)習(xí)的任務(wù)、交互策略、資源和評價進行了優(yōu)化。第五階段,分析第二輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,并計算兩輪一致性的差異及其與在線協(xié)作學(xué)習(xí)效果的關(guān)系。

    3.數(shù)據(jù)收集與分析方法

    本研究采用準實驗的方法收集共計30個小組的在線協(xié)作學(xué)習(xí)活動數(shù)據(jù)。數(shù)據(jù)源包括30個小組的在線協(xié)作學(xué)習(xí)記錄和作品。在計算一致性結(jié)果前,需要對30個小組的在線協(xié)作學(xué)習(xí)討論記錄進行深入分析。這里采用的分析方法包括筆者提出的基于信息流的協(xié)作學(xué)習(xí)分析方法和內(nèi)容分析法,主要用于在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估,以及協(xié)作學(xué)習(xí)效果的評價。

    (1)在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法

    在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法主要包括三個步驟:第一步,確定同時適用于分析設(shè)計方案與實施過程的編碼體系和方法;第二步,對設(shè)計方案與實施過程采用既定的編碼體系進行編碼與分析;第三步,開發(fā)特定的量化指標和算法計算二者的一致性。在這三個步驟中,最關(guān)鍵的是開發(fā)一致性的量化評估指標。筆者認為,協(xié)作學(xué)習(xí)最核心、最重要的目標是提高學(xué)習(xí)者的協(xié)同知識建構(gòu)水平、調(diào)節(jié)性學(xué)習(xí)的技能和參與程度。因此,可以從五個方面來計算在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性,即目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性和參與度一致性。其中,目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性主要反映學(xué)習(xí)者的協(xié)同知識建構(gòu)水平,角色分工一致性主要考察學(xué)習(xí)者的調(diào)節(jié)性學(xué)習(xí)技能,參與度一致性則反映學(xué)習(xí)者的參與程度是否符合教師的期望。另外,目標知識點范圍一致性和協(xié)同知識建構(gòu)水平一致性主要采用筆者提出的基于信息流的協(xié)作學(xué)習(xí)交互分析方法進行編碼和分析。交互主題一致性、角色分工一致性和參與度一致性主要通過內(nèi)容分析法進行編碼和分析。具體指標的計算方法如下。

    ①目標知識點范圍一致性

    目標知識點范圍一致性旨在衡量目標知識點激活廣度的差異,即在線協(xié)作學(xué)習(xí)設(shè)計方案中激活的目標知識點與在線協(xié)作學(xué)習(xí)實施過程中激活的知識點范圍的一致性。在線協(xié)作學(xué)習(xí)設(shè)計方案的目標知識點主要通過目標知識圖計算得出,而在線協(xié)作學(xué)習(xí)實施過程中激活的知識點則需要借助于筆者提出的基于信息流的協(xié)作學(xué)習(xí)交互分析方法得出。該方法通過對在線協(xié)作學(xué)習(xí)交互過程中的信息流進行切分,進而生成每個小組實際激活的知識圖,圖中知識點的數(shù)量就是在線協(xié)作學(xué)習(xí)實施過程中激活的知識點的數(shù)量。

    本研究借鑒Tversky相似系數(shù)(Tversky,1977)計算在線協(xié)作學(xué)習(xí)活動設(shè)計方案與實施過程在目標知識點范圍上的一致性。Tversky相似系數(shù)強調(diào)可以通過兩個事物共同擁有的屬性占兩個事物所有屬性的比例來衡量相似性,計算方法見公式(1)所示。

    (1)

    公式(1)中的A 代表在線協(xié)作學(xué)習(xí)活動設(shè)計方案中包含的目標知識點,B 代表在線協(xié)作學(xué)習(xí)活動實施過程中激活的目標知識點,f(A ∩B)則表示在線協(xié)作學(xué)習(xí)設(shè)計方案和活動實施過程中共同激活的目標知識點數(shù)量,f(A-B)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中激活而實施過程中沒有激活的目標知識點數(shù)量,f(B-A)表示在線協(xié)作學(xué)習(xí)實施過程中激活而設(shè)計方案中沒有激活的目標知識點數(shù)量。S為目標知識點范圍一致性。若S在0~0.3間,則表示目標知識點范圍一致性水平較低;若S在0.3~0.8間,則表示中度一致;若S>0.8則表示在線協(xié)作學(xué)習(xí)活動設(shè)計方案與實施過程的目標知識點范圍高度一致。

    ②協(xié)同知識建構(gòu)水平一致性

    協(xié)同知識建構(gòu)水平一致性旨在衡量教師預(yù)期的協(xié)同知識建構(gòu)水平與學(xué)習(xí)者實際達到的知識建構(gòu)水平的差異。一致性越高,協(xié)同知識建構(gòu)水平也越高。教師預(yù)期的協(xié)同知識建構(gòu)水平主要通過目標知識圖表征。學(xué)習(xí)者實際達到的協(xié)同知識建構(gòu)水平主要通過基于信息流的協(xié)作學(xué)習(xí)交互分析方法計算得出。該方法包括三個步驟,即繪制目標知識圖、切分信息流和計算信息流的屬性(激活量并生成帶有激活量的知識圖)。因此,協(xié)同知識建構(gòu)水平一致性相當于比較目標知識圖與學(xué)習(xí)者實際生成的知識圖之間的一致性。具體計算方法如公式(2)所示(崔盼盼等,2018)。

    (2)

    公式(2)中,R代表目標知識圖與學(xué)生實際生成的知識圖正確命題鏈匹配的得分,W代表學(xué)生實際生成的知識圖中新增的正確命題鏈得分,D代表斷裂命題鏈得分,Y代表遺漏的命題鏈得分,F(xiàn)代表錯誤的命題鏈得分,Z代表目標知識圖中包含的命題鏈總數(shù)。G為協(xié)同知識建構(gòu)水平一致性。若G在0~0.3間,則表示協(xié)同知識建構(gòu)水平一致性較低;若G在0.3~0.8間,則表示協(xié)同知識建構(gòu)水平中度一致;若G>0.8則表示協(xié)同知識建構(gòu)水平高度一致。

    ③交互主題一致性

    在線協(xié)作學(xué)習(xí)過程中學(xué)習(xí)者具有很高的自由度,因此可能發(fā)生跑題、偏題的現(xiàn)象。交互主題一致性主要考察教師預(yù)期的交互主題是否與學(xué)習(xí)者實際的交互主題一致,如果一致則表示學(xué)習(xí)者沒有跑題、偏題。借助交互主題一致性能夠深入考察學(xué)習(xí)者在交互主題方面的聚焦程度。本研究利用Deza等人(2009)提出的余弦相似度來計算交互主題一致性,計算方法見公式(3)。

    (3)

    公式(3)中,X代表在線協(xié)作學(xué)習(xí)設(shè)計方案中每個任務(wù)主題的詞頻向量,Y代表在線協(xié)作學(xué)習(xí)實施過程每個任務(wù)主題的詞頻向量,X·Y表示向量X與向量Y的點乘。T為交互主題一致性。若T取值在0~0.3之間,表示交互主題一致性較低;若T取值在0.3~0.8表示中等一致;若T超過0.8則表示交互主題高度一致。

    ④ 角色分工一致性

    為了更好地評價在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,本研究開發(fā)了角色分工一致性的計算方法,旨在衡量學(xué)習(xí)者是否按照教師預(yù)期的角色職責(zé)履職。研究在設(shè)計在線協(xié)作學(xué)習(xí)活動方案時,設(shè)計了小組長、信息搜索者和監(jiān)控者三種角色,根據(jù)角色職責(zé)構(gòu)建學(xué)習(xí)者角色分工的編碼。小組長的職責(zé)包括分配任務(wù)、發(fā)起話題、提出問題、解決沖突、解釋觀點、協(xié)商調(diào)節(jié);信息搜索者的職責(zé)包括詢問需求、搜索信息、整理信息;監(jiān)控者的職責(zé)包括監(jiān)控進程、控制進程、批判質(zhì)疑。兩位研究者對每個小組參與協(xié)作學(xué)習(xí)的角色分工情況進行內(nèi)容分析和編碼,最后計算一致性。本研究通過計算在線協(xié)作學(xué)習(xí)活動設(shè)計方案與活動實施過程角色職責(zé)的相似度來計算角色分工的一致性,計算方法見公式(4)所示。

    (4)

    公式(4)中,f(A1)、f(A2)、f(A3)分別表示在線協(xié)作學(xué)習(xí)設(shè)計方案中小組長、信息搜索者、監(jiān)控者承擔(dān)職責(zé)的數(shù)量,f(B1)、f(B2)、f(B3)分別表示在線協(xié)作學(xué)習(xí)活動實施過程中小組長、信息搜索者、監(jiān)控者實際承擔(dān)職責(zé)的數(shù)量,公式中的f(A1∩B1)、f(A2∩B2)、f(A3∩B3)分別表示在線協(xié)作學(xué)習(xí)方案與實施過程中小組長、信息搜索者、監(jiān)控者承擔(dān)的共同職責(zé)的數(shù)量。R為角色分工一致性。若R在0~0.3之間,表示一致性較低;若R在0.3~0.8間表示中度一致;若R>0.8則表示高度一致。

    ⑤參與度一致性

    在線協(xié)作學(xué)習(xí)參與度一致性旨在衡量教師預(yù)期的參與度與學(xué)習(xí)者實際參與度的差異。差異越小,一致性越高。本研究的參與度包括認知與元認知層次的參與程度,其中認知層次的參與度主要體現(xiàn)在學(xué)習(xí)者進行識記、理解、應(yīng)用、分析、評價和創(chuàng)造等方面;元認知層次的參與主要表現(xiàn)在協(xié)作學(xué)習(xí)中設(shè)定目標、制定計劃、實施策略、監(jiān)控協(xié)調(diào)、反思與評價等方面。研究者首先根據(jù)編碼表對交互文本進行分析,然后計算參與度一致性,具體見公式(5)。

    (5)

    公式(5)中,t1表示認知層次參與的在線交互文本總數(shù),t2表示元認知層次參與的在線交互文本總數(shù),T表示所有在線協(xié)作學(xué)習(xí)交互文本的總數(shù),f(A)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中認知層次參與種類的數(shù)量,f(A1)表示在線協(xié)作學(xué)習(xí)實施過程中學(xué)習(xí)者所表現(xiàn)的認知層次參與種類的數(shù)量,f(B)表示在線協(xié)作學(xué)習(xí)設(shè)計方案中元認知層次參與種類的數(shù)量,f(B1)則表示在線協(xié)作學(xué)習(xí)實施過程中學(xué)習(xí)者所表現(xiàn)的元認知層次參與種類的數(shù)量。E為參與度一致性。若E在0~0.3間,則表示一致性較低,學(xué)習(xí)者沒有積極參與;若E在0.3~0.8間,則表示參與度中等一致;若E>0.8則表示一致性很高,學(xué)習(xí)者積極參與。

    (2)協(xié)作學(xué)習(xí)效果的評價

    本研究對在線協(xié)作學(xué)習(xí)效果的評價主要通過參與在線協(xié)作學(xué)習(xí)后生成的小組作品的成績衡量。每個小組在協(xié)作學(xué)習(xí)結(jié)束時需要提交小組作品,每個小組的作品都是圍繞協(xié)作學(xué)習(xí)任務(wù)的解決方案,成果形式為Word文檔。筆者制定了如表2所示的量規(guī)來評價所有小組的作品。每個小組的作品均由兩位研究者獨立評判。

    (3)研究信度

    本研究用Kappa統(tǒng)計值來衡量兩位研究者在在線協(xié)作學(xué)習(xí)作品得分、知識點總激活量、知識點范圍、知識建構(gòu)水平、交互主題、學(xué)習(xí)角色分工、參與度方面編碼的一致性。其中,在線協(xié)作學(xué)習(xí)作品的評分者信度為0.88,其余的都在0.9以上,具有很高的信度。對于個別不一致的地方,由兩位研究者進行商討后確定最終結(jié)果。

    四、研究結(jié)果

    1.在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的分析結(jié)果

    (1)第一輪一致性分析結(jié)果

    本研究對第一輪在線協(xié)作學(xué)習(xí)設(shè)計方案、在線協(xié)作學(xué)習(xí)實施過程的交互文本采用前文所述的方法進行深入分析,得到第一輪一致性結(jié)果,如表3所示。進一步計算5個指標的平均值和標準差,結(jié)果發(fā)現(xiàn),目標知識點范圍一致性最高(M=0.77,SD=0.08),其次是交互主題一致性(M=0.52,SD=0.13)、協(xié)同知識建構(gòu)水平一致性(M=0.48,SD=0.23)、角色分工一致性(M=0.47,SD= 0.11),參與度一致性最低(M=0.33,SD=0.13)。這說明學(xué)習(xí)者激活的目標知識點范圍較廣,與預(yù)期中度一致,但是協(xié)同知識建構(gòu)水平較低,處于淺表層次,亟待提升。交互主題呈現(xiàn)中度一致,因此小組在協(xié)作學(xué)習(xí)過程中交互還不夠聚焦,出現(xiàn)了跑題、偏題的現(xiàn)象。在角色分工方面,學(xué)習(xí)者在協(xié)作學(xué)習(xí)過程中沒有充分盡到職責(zé)、小組實際分工和履職不到位,需要進一步優(yōu)化。就參與程度而言,學(xué)習(xí)者的參與度總體偏低,認知和元認知層次的參與度都不高。

    (2)優(yōu)化過程及策略

    從第一輪在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的分析結(jié)果可以發(fā)現(xiàn),除目標知識點范圍一致性較高之外,其他4個指標的一致性都很低。因此筆者對這15個主題第一輪的在線協(xié)作學(xué)習(xí)活動設(shè)計進行深入反思,發(fā)現(xiàn)導(dǎo)致在線協(xié)作學(xué)習(xí)設(shè)計和實施不一致的原因主要在于很多設(shè)計要素沒有落實,比如時間分配不合理、任務(wù)完成度不高、履職不到位、學(xué)習(xí)資源沒有充分利用、缺乏反思與評價等。為了進一步提升一致性,研究進行了五方面的優(yōu)化:

    第一,優(yōu)化在線協(xié)作學(xué)習(xí)任務(wù)。根據(jù)第一輪結(jié)果可以發(fā)現(xiàn),學(xué)習(xí)者的協(xié)同知識建構(gòu)水平一致性較低并出現(xiàn)了跑題、偏題現(xiàn)象。為此,研究在設(shè)計第二輪的協(xié)作學(xué)習(xí)任務(wù)時,明確指出了任務(wù)的目標、情境、要解決的問題、完成任務(wù)的先后順序、重難點任務(wù)、時間分配、任務(wù)成果要求和評價標準等。通過對協(xié)作學(xué)習(xí)任務(wù)的細化,促使學(xué)習(xí)者提升協(xié)同知識建構(gòu)水平和交互主題的一致性。

    第二,準備充分的學(xué)習(xí)資源。這不僅包括完成任務(wù)必備的學(xué)習(xí)資源,如與任務(wù)相關(guān)的文獻資料、案例、作品等,還包括各類認知和元認知類腳手架。認知類腳手架包括對重要和疑難知識點進行解釋、提醒等,另外還提供相關(guān)的思維導(dǎo)圖以幫助學(xué)習(xí)者總結(jié)已有知識。元認知類腳手架包括在協(xié)作學(xué)習(xí)開始前進行培訓(xùn),幫助學(xué)習(xí)者掌握一定的社交技能、解決沖突的技巧,以及對協(xié)作學(xué)習(xí)過程進行監(jiān)控和評價的策略等。

    第三,明確角色分工和履職要求。由于第一輪很多小組沒有完成分配角色的既定職責(zé)而導(dǎo)致角色分工一致性很低。為此,第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計在原本的角色職責(zé)上,增加了角色描述、角色提示、角色履職要求等;在實驗開始前請每個小組討論角色分配、明確個體職責(zé),并且指定監(jiān)控者在協(xié)作學(xué)習(xí)過程中實時監(jiān)督每種角色的執(zhí)行情況。

    第四,設(shè)計多樣的交互策略。由于第一輪在線協(xié)作學(xué)習(xí)僅僅設(shè)計了一種互動策略,學(xué)習(xí)者容易疲勞和倦怠。為了激發(fā)學(xué)習(xí)者的積極性并主動進行知識建構(gòu),第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計增加了頭腦風(fēng)暴、辯論爭論、切塊拼接、互采互訪等多樣化的交互策略,一方面增加學(xué)習(xí)者的參與度,另一方面也促進知識建構(gòu),減少跑題、偏題的現(xiàn)象發(fā)生。

    第五,采用多種評價方式。第二輪在線協(xié)作學(xué)習(xí)活動設(shè)計增加了過程性評價、同伴互評和獎勵機制,即要求學(xué)習(xí)者在協(xié)作學(xué)習(xí)過程中對小組作品進行過程性評價、同伴互評和反思,發(fā)現(xiàn)不足與問題并及時改進,活動結(jié)束后再次進行組內(nèi)的總結(jié)性評價,對作品再次改進與完善,最后提交。另外,第二輪在線協(xié)作學(xué)習(xí)活動還制定了獎勵機制,對優(yōu)秀的小組給予獎勵,比如得分較高的同學(xué)會得到更多的獎勵金,并具有后續(xù)活動報名的優(yōu)先權(quán)等。

    (3)第二輪一致性分析結(jié)果

    根據(jù)第一輪一致性的分析結(jié)果并采用上述的策略對在線協(xié)作學(xué)習(xí)設(shè)計方案進行優(yōu)化后,研究開展了第二輪的在線協(xié)作學(xué)習(xí)。根據(jù)5個一致性指標的計算方法,計算得出第二輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性,結(jié)果如表4所示。從表4可以看出,第二輪的目標知識點范圍一致性(M=0.92,SD=0.07)、協(xié)同知識建構(gòu)水平一致性(M=0.80,SD=0.14)、交互主題一致性(M=0.82,SD=0.13)、角色分工一致性(M=0.76,SD=0.10)、參與度一致性(M=0.56,SD=0.19)與第一輪相比,均有提升。

    2.在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性與學(xué)習(xí)效果的關(guān)系

    (1)兩輪一致性及學(xué)習(xí)效果的差異

    為了進一步檢驗兩輪實驗結(jié)果在統(tǒng)計學(xué)上的差異,研究對兩輪在線協(xié)作學(xué)習(xí)設(shè)計與實施的一致性進行了配對樣本T檢驗,結(jié)果如表5所示。從表5可以發(fā)現(xiàn),無論在目標知識點范圍一致性(t=6.574,p=0.000)、協(xié)同知識建構(gòu)水平一致性(t=4.899,p=0.000)、交互主題一致性(t=8.832,p=0.000),還是角色分工一致性(t=6.810,p=0.000)以及參與度一致性(t=5.661,p=0.000),第二輪比第一輪均有顯著提升。另外,通過對兩輪在線協(xié)作學(xué)習(xí)的學(xué)習(xí)效果進行配對樣本T檢驗(如表6所示),結(jié)果發(fā)現(xiàn)參與第二輪在線協(xié)作學(xué)習(xí)的學(xué)習(xí)效果也顯著優(yōu)于第一輪(t=3.846,p=0.002)。

    (2)一致性與學(xué)習(xí)效果的關(guān)系

    為了深入分析在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性與學(xué)習(xí)效果的關(guān)系,對15個主題、30組的一致性與其學(xué)習(xí)效果進行相關(guān)分析,結(jié)果如表7所示。從表7可以看出,目標知識點范圍一致性(r=0.876,p=0.000)、協(xié)同知識建構(gòu)水平一致性(r=0.639,p=0.002)、交互主題一致性(r=0.046,p=0.026)、角色分工一致性(r=0.552,p=0.002)及參與度一致性(r=0.778,p=0.000)與在線協(xié)作學(xué)習(xí)效果均呈顯著正相關(guān)。這個結(jié)果意味著如果能夠提升這五方面的一致性,則在線協(xié)作學(xué)習(xí)效果也能夠顯著提升。

    五、研究結(jié)論及啟示

    第一,本研究系統(tǒng)構(gòu)建了在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的量化評估方法,研發(fā)了目標知識點范圍一致性、協(xié)同知識建構(gòu)水平一致性、交互主題一致性、角色分工一致性、參與度一致性5個評估指標,分兩輪對在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性進行評估并優(yōu)化,結(jié)果發(fā)現(xiàn):優(yōu)化后的第二輪在線協(xié)作學(xué)習(xí)設(shè)計和實施的一致性以及學(xué)習(xí)效果均顯著高于第一輪,且一致性程度越高,協(xié)作學(xué)習(xí)效果越好??梢?,對在線協(xié)作學(xué)習(xí)設(shè)計與實施一致性的評估與優(yōu)化,不僅可以改善在線協(xié)作學(xué)習(xí)的設(shè)計質(zhì)量,而且可以提高在線學(xué)習(xí)效果,對促進教師專業(yè)發(fā)展和推進在線教育發(fā)展具有重要意義和價值。

    第二,本研究提出的在線協(xié)作學(xué)習(xí)設(shè)計與實施的量化評估方法不僅克服了基于主觀經(jīng)驗進行設(shè)計和優(yōu)化的缺陷,而且基于數(shù)據(jù)驅(qū)動的策略使得設(shè)計和優(yōu)化更加科學(xué)規(guī)范,從而實現(xiàn)“設(shè)計—實施—優(yōu)化設(shè)計—再度實施”的良性循環(huán)。這種方法不僅能夠提升一致性和學(xué)習(xí)效果,而且能夠生成設(shè)計的技術(shù)性知識并切實提升教師的教學(xué)設(shè)計能力以及專業(yè)素養(yǎng)。

    第三,本研究探索并論證了能夠提升在線協(xié)作學(xué)習(xí)設(shè)計質(zhì)量和一致性的5種優(yōu)化策略,包括優(yōu)化在線協(xié)作學(xué)習(xí)任務(wù)、優(yōu)化學(xué)習(xí)資源、明確角色分工和履職要求、設(shè)計多樣的交互策略、采用多種評價方式等。通過這5個維度的優(yōu)化,不僅能夠進一步提升協(xié)作學(xué)習(xí)的3個核心目標,即提升協(xié)同知識建構(gòu)水平、調(diào)節(jié)技能以及參與度,而且能夠提升設(shè)計與實施的一致性和學(xué)習(xí)效果。因此,要想提升在線學(xué)習(xí)的設(shè)計質(zhì)量,教師和實踐者需要不斷優(yōu)化在線學(xué)習(xí)活動的設(shè)計方案,通過對學(xué)習(xí)任務(wù)、交互策略、學(xué)習(xí)資源和環(huán)境、評價方式、激勵機制等不斷優(yōu)化,并且評估一致性、反思不一致之處,然后不斷對設(shè)計方案進行調(diào)整,進而提升設(shè)計與實施的一致性和學(xué)習(xí)效果。

    本研究提倡以設(shè)計為中心的研究范式,關(guān)注設(shè)計與實施的一致性而非有效性,通過精準評估一致性并反思不一致之處從而發(fā)現(xiàn)教學(xué)設(shè)計中的缺陷,不斷改進教學(xué)設(shè)計質(zhì)量從而提高教學(xué)效果,這種研究范式和思路對于促進教師的專業(yè)發(fā)展具有重要價值。傳統(tǒng)的基于設(shè)計的研究關(guān)注有效性,然而有效性是某種教育干預(yù)受當事人滿意的程度,嚴重受制于情境,研究結(jié)論難以重復(fù)和推廣(鄭蘭琴等,2014)。相比之下,一致性研究具有可重復(fù)性、可推廣性、能夠生成設(shè)計的技術(shù)性知識等優(yōu)勢。需要澄清的是,這里的一致性指的是設(shè)計要素在實施過程中的落實情況。只要設(shè)計要素與實施要素一致,那么設(shè)計就是成功的,因此并不苛求每個細節(jié)都做到一模一樣。同時,由于實踐情境的復(fù)雜多變,完全的一致是不可能的。因為無論對于教學(xué)系統(tǒng)還是協(xié)作學(xué)習(xí)系統(tǒng),教師和學(xué)習(xí)者的生成性會臨場涌現(xiàn),這在設(shè)計過程中無法預(yù)知。如果這種生成性能夠推動教學(xué)目標的實現(xiàn),則由此產(chǎn)生的不一致性完全可以接受;如果生成性阻礙了教學(xué)目標,則教師需要反思并分析產(chǎn)生不一致的原因,并據(jù)此進行教學(xué)設(shè)計的優(yōu)化。

    本研究也存在不足之處。首先,收集的樣本量不大,未來研究需進一步擴大研究樣本,探索提升設(shè)計與實施一致性的其他策略。第二,本研究對一致性與學(xué)習(xí)效果關(guān)系的研究結(jié)論還需要在其他情境中進一步檢驗。第三,本研究對一致性的分析尚未實現(xiàn)自動化,未來將進一步探索實時分析一致性的技術(shù),從而為學(xué)習(xí)者提供個性化的反饋,也為教師實時干預(yù)提供強有力的支撐。

    參考文獻:

    [1]崔盼盼,鄭蘭琴(2018).協(xié)作學(xué)習(xí)活動設(shè)計質(zhì)量評估方法的個案研究[J].現(xiàn)代教育技術(shù),28(10):64-69,106.

    [2]何文濤(2018).協(xié)作學(xué)習(xí)活動的結(jié)構(gòu)化設(shè)計框架[J].電化教育研究,(4):73-79.

    [3]盧群,劉恩山(2012).高中生物學(xué)教科書與課程標準的一致性研究——以人民教育出版社和浙江科技出版社教科書為例[J].課程·教材·教法,(5):75-82.

    [4]馬志強(2012).問題解決在線學(xué)習(xí)活動設(shè)計與應(yīng)用的實證研究[J].中國電化教育,(12):41-46.

    [5]田爽,鄭蘭琴,楊開城等(2017).教學(xué)設(shè)計方案與實施過程一致性的實證研究[J].電化教育研究,38(3):104-109.

    [6]楊開城(2013).DBR與DCR 哪個才能架起教育理論與實踐之間的橋梁[J].電化教育研究,34(12):11-15.

    [7]楊開城,張媛媛(2015).基于IIS圖分析的教案質(zhì)量評估指標體系的構(gòu)建[J].中國電化教育,(1):124-130.

    [8]余亮,黃榮懷(2012).協(xié)作學(xué)習(xí)活動結(jié)構(gòu)設(shè)計研究[J].遠程教育雜志,30(5):74-81.

    [9]袁令民(2013).物理高考與內(nèi)容標準的一致性研究[D].重慶:西南大學(xué).

    [10]袁夢霞,俞樹煜,聶勝欣等(2017).促進批判性思維發(fā)展的在線學(xué)習(xí)活動角色設(shè)計[J].現(xiàn)代遠距離教育,(2):76-82.

    [11]鄭蘭琴(2015).教學(xué)設(shè)計與實施一致性分析的個案研究[J].現(xiàn)代遠程教育研究,(3):95-103.

    [12]鄭蘭琴,楊開城(2014).為什么要研究一致性而不是有效性?[J].中國電化教育,(9):20-23,33.

    [13]鄭蘭琴,鐘璐,牛佳玉(2020).聯(lián)結(jié)在線協(xié)作學(xué)習(xí)設(shè)計與分析模型及應(yīng)用研究[J].電化教育研究,41(11):63-71.

    [14]Cerro Martínez, J. P., Guitert Catasús, M., & Romeu Fontanillas, T. (2020). Impact of Using Learning Analytics in Synchronous Online Discussions in Higher Education[J]. International Journal of Educational Technology in Higher Education, 17(1):17-39.

    [15]Deza, M. M., & Deza, E. (2009). Encyclopedia of Distances[M]. Berlin Heidelberg: Springer:103-126.

    [16]Fu, Q.-K., & Hwang, G.-J. (2018). Trends in Mobile Technology-Supported Collaborative Learning: A Systematic Review of Journal Publications from 2007 to 2016[J]. Computers & Education, 119:129-143.

    [17]Gu, X., Shao, Y., & Guo, X. et al. (2015). Designing a Role Structure to Engage Students in Computer-Supported Collaborative Learning[J]. Internet and Higher Education, 24:13-20.

    [18]Guiter, G. E., Sapia, S., & Wright, A. I. et al. (2021). Development of a Remote Online Collaborative Medical School Pathology Curriculum with Clinical Correlations, Across Several International Sites, Through the Covid-19 Pandemic[J]. Medical Science Educator, 31(2):549-556.

    [19]Hasan, H. F., Nat, M., & Vanduhe, V. Z. (2019). Gamified Collaborative Environment in Moodle[J]. IEEE Access, 7:89833-89844.

    [20]Lan, Y.-F., Tsai, P.-W., & Yang, S.-H. et al. (2012). Comparing the Social Knowledge Construction Behavioral Patterns of Problem-Based Online Asynchronous Discussion in E/M-Learning Environments[J]. Computers & Education, 59(4):1122-1135.

    [21]Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction[J]. Review of Educational Research, 79(4):1332-1361.

    [22]Osipov, P. N., & Ziyatdinova, J. N. (2015). Collaborative Learning: Pluses and Problems[C]// 2015 International Conference on Interactive Collaborative Learning (ICL). IEEE:361-364.

    [23]Pozzi, F. (2010). Using Jigsaw and Case Study for Supporting Online Collaborative Learning[J]. Computers & Education, 55(1):67-75.

    [24]Reeves, T. C., Herrington, J., & Oliver, R. (2004). A Development Research Agenda for Online Collaborative Learning[J]. Educational Technology Research and Development, 52(4):53-65.

    [25]Salmon, M. H. (1977). Consistency Proofs for Applied Mathematics[M]// Salmon, W. C. (Eds.). Hans Reichenbach: Logical Empiricist[M]. Springer, Dordrecht:301-312.

    [26]Shin, Y., Kim, D., & Jung, J. (2018). The Effects of Representation Tool (Visible-Annotation) Types to Support Knowledge Building in Computer-Supported Collaborative Learning[J]. Educational Technology & Society, 21(2):98-110.

    [27]Tversky, A. (1977). Features of Similarity[J]. Psychological Review, 84(4):327-352.

    [28]Wang, C., Fang, T., & Gu, Y. (2020). Learning Performance and Behavioral Patterns of Online Collaborative Learning: Impact of Cognitive Load and Affordances of Different Multimedia[J]. Computers & Education, 143:103683.

    [29]Wang, S.-M., Hou, H.-T., & Wu, S.-Y. (2017). Analyzing the Knowledge Construction and Cognitive Patterns of Blog-Based Instructional Activities Using Four Frequent Interactive Strategies (Problem Solving, Peer Assessment, Role Playing and Peer Tutoring): A Preliminary Study[J]. Educational Technology Research & Development, 65(2):301-323.

    [30]Webb, N. L. (1997). Criteria for Alignment of Expectations and Assessments in Mathematics and Science Education[J]. Academic Achievement, 1(11):1-46.

    [31]Webb, N. L. (1999). Alignment of Science and Mathematics Standards and Assessments in Four States[M]. Washington, DC: Council of Chief State School Officers:11-19.

    [32]Zhang, S., Liu, Q., & Chen, W. et al. (2017). Interactive Networks and Social Knowledge Construction Behavioral Patterns in Primary School Teachers’Online Collaborative Learning Activities[J]. Computers & Education, 104:1-17.

    收稿日期 2021-10-15 責(zé)任編輯 汪燕

    How to Improve the Design and Implementation of Online Collaborative Learning

    —— The Empirical Study on Evaluation and Optimization of the Alignment

    ZHENG Lanqin, ZHAO Jiayi, LONG Miaolang

    Abstract: Online collaborative learning has become an important learning approach in the “Internet Plus Education” era and its effectiveness largely depends on the design quality of it. However, most studies focused on the effectiveness of specific intervention strategies and very few studies focused on how to improve the design and the implementation of online collaborative learning from the perspective of improving the alignment between these two. Previous studies on effectiveness heavily rely on contexts and findings, which are very difficult to replicate in other contexts. While the research on the alignment focusing on the reasons of inconsistency and defect analysis can generate falsifiable knowledge through in-depth reflection. Based on five quantitative indicators of alignment, including the alignment of the scope of knowledge, the alignment of the collaborative knowledge building level, the alignment of the interactive topics, the alignment of the role assignment, and the alignment of the learning engagement, this study analyzed the alignment between the design and the implementation of two round online collaborative learning. The results indicated as follows. The alignment and group performance of second round of online collaborative learning were significantly higher than those of the first round. The quantitative evaluation method for the alignment between the design and the implementation of online collaborative learning not only overcomes the defects of design and optimization based on subjective experience, but also makes the design and optimization more scientific and standardized based on data-driven strategies, which can achieve the virtuous cycle of “design-implementation-optimization of design-reimplementation”. Optimization of design from the dimensions of learning tasks, learning resources, role assignment, interaction strategies, and evaluation methods contributes to improving the alignment between design and implementation as well as the learning performance of online collaborative learning.

    Keywords: Online Collaborative Learning; Alignment; Learning Performance; Design Quality; Optimization Strategies

    猜你喜歡
    設(shè)計質(zhì)量學(xué)習(xí)效果優(yōu)化策略
    “百詞斬”對于大學(xué)英語四級詞匯學(xué)習(xí)效果的實證研究
    民族文匯(2022年14期)2022-05-10 03:08:22
    基于學(xué)習(xí)性評價原則提高研究性學(xué)習(xí)效果的研究
    蓮心寶寶有話說
    淺談核電項目設(shè)計質(zhì)量信息收集與分析
    淺析政府工程造價“超概”原因及對策
    鄉(xiāng)鎮(zhèn)農(nóng)業(yè)經(jīng)濟發(fā)展的現(xiàn)狀及優(yōu)化策略分析
    企業(yè)重大風(fēng)險確定及管理建議的研究論述
    分組合作學(xué)習(xí)在小學(xué)語文高效課堂教學(xué)中的應(yīng)用探索
    考試周刊(2016年76期)2016-10-09 08:49:15
    基于一種優(yōu)化策略的智能燈控制系統(tǒng)研究與設(shè)計
    科技視界(2016年20期)2016-09-29 11:56:40
    設(shè)計質(zhì)量管控的實踐與探索
    科技視界(2016年16期)2016-06-29 17:27:28
    videosex国产| 午夜福利高清视频| 看黄色毛片网站| 国内久久婷婷六月综合欲色啪| 午夜精品在线福利| 久久香蕉国产精品| 老熟妇仑乱视频hdxx| 真人做人爱边吃奶动态| 久久午夜亚洲精品久久| 亚洲av日韩精品久久久久久密| 最好的美女福利视频网| 国产精品国产高清国产av| 91麻豆av在线| 麻豆成人午夜福利视频| a在线观看视频网站| 亚洲人成77777在线视频| 美女黄网站色视频| 18禁黄网站禁片免费观看直播| 村上凉子中文字幕在线| 老熟妇仑乱视频hdxx| 日韩大尺度精品在线看网址| 97超级碰碰碰精品色视频在线观看| 欧美成人性av电影在线观看| 精品乱码久久久久久99久播| 又粗又爽又猛毛片免费看| 婷婷亚洲欧美| 国产精品电影一区二区三区| 欧美中文日本在线观看视频| 给我免费播放毛片高清在线观看| 日韩欧美三级三区| 在线观看一区二区三区| 天天一区二区日本电影三级| 色尼玛亚洲综合影院| 一夜夜www| 91麻豆精品激情在线观看国产| 人人妻,人人澡人人爽秒播| 亚洲精品一卡2卡三卡4卡5卡| 国产激情偷乱视频一区二区| 欧美大码av| 国产麻豆成人av免费视频| 在线观看午夜福利视频| 久久人妻福利社区极品人妻图片| 久久天堂一区二区三区四区| 亚洲美女黄片视频| 午夜两性在线视频| 欧美性长视频在线观看| 成人高潮视频无遮挡免费网站| 啦啦啦韩国在线观看视频| 韩国av一区二区三区四区| 久久精品亚洲精品国产色婷小说| 久久草成人影院| 两性夫妻黄色片| 久久精品91无色码中文字幕| 亚洲性夜色夜夜综合| 亚洲国产欧美人成| 亚洲av美国av| 国产又色又爽无遮挡免费看| 午夜福利高清视频| 国产99白浆流出| 国产精品一区二区三区四区免费观看 | 一级作爱视频免费观看| 毛片女人毛片| 国产精品久久视频播放| 岛国在线免费视频观看| 91成年电影在线观看| 19禁男女啪啪无遮挡网站| 亚洲精品美女久久久久99蜜臀| 91麻豆精品激情在线观看国产| 97人妻精品一区二区三区麻豆| 99久久久亚洲精品蜜臀av| 国产亚洲av高清不卡| 91在线观看av| 黄色a级毛片大全视频| 欧美大码av| 校园春色视频在线观看| 国产单亲对白刺激| 最新在线观看一区二区三区| 亚洲人与动物交配视频| 国产欧美日韩一区二区精品| 国产精华一区二区三区| 精品欧美国产一区二区三| 一本久久中文字幕| 99久久无色码亚洲精品果冻| a级毛片在线看网站| 啪啪无遮挡十八禁网站| 丝袜美腿诱惑在线| 欧美一区二区国产精品久久精品 | 成人午夜高清在线视频| 亚洲国产欧美人成| 国产av在哪里看| 国产精品久久久久久久电影 | 亚洲国产精品sss在线观看| 好男人电影高清在线观看| 一进一出抽搐gif免费好疼| 国产一级毛片七仙女欲春2| 久久精品91蜜桃| 亚洲中文字幕日韩| 久久久久久免费高清国产稀缺| 日本成人三级电影网站| 三级国产精品欧美在线观看 | 欧美日韩黄片免| 人人妻,人人澡人人爽秒播| av天堂在线播放| av天堂在线播放| 亚洲成人中文字幕在线播放| 国产成年人精品一区二区| 最近视频中文字幕2019在线8| 久久精品综合一区二区三区| 国产高清视频在线观看网站| 黄色视频不卡| 亚洲av美国av| 精华霜和精华液先用哪个| 村上凉子中文字幕在线| 丁香欧美五月| 啦啦啦免费观看视频1| 日韩精品青青久久久久久| 最好的美女福利视频网| 成人国产一区最新在线观看| 成人三级黄色视频| 亚洲自拍偷在线| 他把我摸到了高潮在线观看| 九九热线精品视视频播放| 亚洲aⅴ乱码一区二区在线播放 | 757午夜福利合集在线观看| 亚洲国产精品合色在线| 日本成人三级电影网站| 日韩欧美 国产精品| 成人三级黄色视频| 国产在线观看jvid| 国产一区二区在线观看日韩 | 两个人视频免费观看高清| 一级片免费观看大全| 亚洲精品久久国产高清桃花| 18美女黄网站色大片免费观看| 国产精品久久久人人做人人爽| 身体一侧抽搐| 久久婷婷成人综合色麻豆| 色在线成人网| 成人三级黄色视频| 精品乱码久久久久久99久播| 久久久久久久午夜电影| 最近最新中文字幕大全免费视频| 亚洲人成电影免费在线| 欧美中文综合在线视频| 国产1区2区3区精品| 久久精品91蜜桃| 天天躁狠狠躁夜夜躁狠狠躁| 国产私拍福利视频在线观看| 国产黄色小视频在线观看| 欧美成人性av电影在线观看| 精品熟女少妇八av免费久了| 精品日产1卡2卡| 国产精品野战在线观看| 国产成人精品久久二区二区免费| 成人精品一区二区免费| 久久精品亚洲精品国产色婷小说| 妹子高潮喷水视频| 此物有八面人人有两片| 久久这里只有精品中国| 琪琪午夜伦伦电影理论片6080| 岛国在线免费视频观看| 欧美日韩一级在线毛片| 两个人看的免费小视频| 国产免费男女视频| 动漫黄色视频在线观看| 国产精品综合久久久久久久免费| 日本免费一区二区三区高清不卡| 色在线成人网| 国产精品一及| 19禁男女啪啪无遮挡网站| 久久人妻福利社区极品人妻图片| 一个人观看的视频www高清免费观看 | 成人av在线播放网站| 老司机午夜福利在线观看视频| 日韩欧美在线二视频| 国产精品野战在线观看| 岛国在线观看网站| 欧美精品亚洲一区二区| 欧美+亚洲+日韩+国产| 国产欧美日韩一区二区三| 俄罗斯特黄特色一大片| 1024视频免费在线观看| 午夜精品久久久久久毛片777| 91麻豆av在线| 国产激情偷乱视频一区二区| 亚洲国产高清在线一区二区三| 欧美乱码精品一区二区三区| 熟妇人妻久久中文字幕3abv| 国产高清视频在线播放一区| 国产又色又爽无遮挡免费看| а√天堂www在线а√下载| 中文字幕精品亚洲无线码一区| 精品第一国产精品| 757午夜福利合集在线观看| 久久欧美精品欧美久久欧美| 亚洲男人天堂网一区| cao死你这个sao货| 97超级碰碰碰精品色视频在线观看| 99精品在免费线老司机午夜| 国产亚洲av高清不卡| 亚洲成人中文字幕在线播放| 一个人免费在线观看的高清视频| 国产精品久久视频播放| 久久精品国产99精品国产亚洲性色| 日日摸夜夜添夜夜添小说| 在线观看www视频免费| 久久亚洲精品不卡| 一个人免费在线观看电影 | 亚洲国产精品成人综合色| 成人三级做爰电影| 亚洲国产中文字幕在线视频| 亚洲天堂国产精品一区在线| 亚洲一区中文字幕在线| 一区二区三区高清视频在线| avwww免费| 19禁男女啪啪无遮挡网站| 日本一二三区视频观看| 精品久久久久久成人av| 搡老熟女国产l中国老女人| 日韩欧美 国产精品| 丰满人妻一区二区三区视频av | 亚洲在线自拍视频| 一边摸一边做爽爽视频免费| 久久精品人妻少妇| 欧美日本亚洲视频在线播放| 亚洲美女视频黄频| 久久中文字幕一级| 成年人黄色毛片网站| 亚洲avbb在线观看| 久久久久久久久中文| 中文亚洲av片在线观看爽| 亚洲真实伦在线观看| 国产精品一及| 一个人免费在线观看电影 | 精品久久久久久久末码| x7x7x7水蜜桃| 精品第一国产精品| 岛国在线观看网站| 亚洲全国av大片| 99re在线观看精品视频| 久久精品综合一区二区三区| 日本 欧美在线| 最近最新免费中文字幕在线| 99久久无色码亚洲精品果冻| 毛片女人毛片| 又爽又黄无遮挡网站| 看片在线看免费视频| 国产视频一区二区在线看| 免费看a级黄色片| 国产精品一及| 大型av网站在线播放| 热99re8久久精品国产| 91老司机精品| 亚洲人成网站在线播放欧美日韩| av国产免费在线观看| 成人午夜高清在线视频| 午夜福利成人在线免费观看| 少妇熟女aⅴ在线视频| 美女免费视频网站| 日本免费a在线| 国产成人一区二区三区免费视频网站| 亚洲 欧美一区二区三区| 午夜两性在线视频| 1024香蕉在线观看| 一夜夜www| 一进一出抽搐动态| 午夜成年电影在线免费观看| 搡老熟女国产l中国老女人| 国产一区二区三区视频了| 草草在线视频免费看| 亚洲av电影在线进入| 好男人在线观看高清免费视频| 欧美大码av| 亚洲一区中文字幕在线| 亚洲精品一区av在线观看| 免费高清视频大片| 51午夜福利影视在线观看| 最近在线观看免费完整版| 亚洲av成人精品一区久久| 午夜激情av网站| 亚洲国产精品999在线| 国产精品爽爽va在线观看网站| www.www免费av| 在线播放国产精品三级| 两性午夜刺激爽爽歪歪视频在线观看 | 国产精品久久久久久亚洲av鲁大| 国产精品一区二区三区四区久久| 日韩高清综合在线| 精品午夜福利视频在线观看一区| 真人做人爱边吃奶动态| 欧美日韩黄片免| 国产高清视频在线观看网站| 免费搜索国产男女视频| 成年女人毛片免费观看观看9| 亚洲成av人片在线播放无| 欧美+亚洲+日韩+国产| 亚洲精品美女久久久久99蜜臀| 岛国在线免费视频观看| 亚洲人与动物交配视频| 两个人看的免费小视频| 久久久久久免费高清国产稀缺| 国产精品,欧美在线| 亚洲黑人精品在线| 成人三级做爰电影| 日本熟妇午夜| 男女下面进入的视频免费午夜| 成在线人永久免费视频| 男人的好看免费观看在线视频 | 一区二区三区高清视频在线| 亚洲精品色激情综合| 中亚洲国语对白在线视频| 中出人妻视频一区二区| 99久久99久久久精品蜜桃| 妹子高潮喷水视频| 国产私拍福利视频在线观看| 亚洲精品中文字幕一二三四区| 老司机午夜十八禁免费视频| 脱女人内裤的视频| 婷婷精品国产亚洲av| 一区福利在线观看| 18禁美女被吸乳视频| 两人在一起打扑克的视频| 夜夜躁狠狠躁天天躁| 午夜激情av网站| 午夜影院日韩av| 亚洲精品国产精品久久久不卡| 女警被强在线播放| 中文资源天堂在线| 欧美av亚洲av综合av国产av| 岛国在线免费视频观看| 夜夜夜夜夜久久久久| 国产成+人综合+亚洲专区| 人人妻,人人澡人人爽秒播| 黄色视频不卡| 免费在线观看亚洲国产| 人人妻人人看人人澡| 精品电影一区二区在线| 日韩三级视频一区二区三区| 99riav亚洲国产免费| 国产精品久久电影中文字幕| av免费在线观看网站| 亚洲国产欧洲综合997久久,| 精品无人区乱码1区二区| 香蕉久久夜色| 亚洲美女视频黄频| 一本一本综合久久| 窝窝影院91人妻| 男人舔女人下体高潮全视频| 亚洲五月婷婷丁香| 怎么达到女性高潮| 亚洲真实伦在线观看| 国产精品久久视频播放| 色尼玛亚洲综合影院| 欧美三级亚洲精品| 国产精品免费一区二区三区在线| 热99re8久久精品国产| 手机成人av网站| 亚洲av日韩精品久久久久久密| 夜夜夜夜夜久久久久| 久久久久国产精品人妻aⅴ院| 国产免费av片在线观看野外av| 亚洲精品久久国产高清桃花| 啦啦啦观看免费观看视频高清| 国产精品综合久久久久久久免费| 欧美日韩亚洲综合一区二区三区_| 国产精品久久电影中文字幕| 久久婷婷成人综合色麻豆| 久久久久久免费高清国产稀缺| 视频区欧美日本亚洲| 国产69精品久久久久777片 | 国产欧美日韩一区二区精品| 亚洲精品av麻豆狂野| 在线观看66精品国产| 色噜噜av男人的天堂激情| 淫秽高清视频在线观看| 成年人黄色毛片网站| 亚洲欧洲精品一区二区精品久久久| netflix在线观看网站| 一区二区三区高清视频在线| 欧美午夜高清在线| 精品久久久久久久末码| 成年女人毛片免费观看观看9| 香蕉久久夜色| 精品一区二区三区视频在线观看免费| 草草在线视频免费看| 国产精品爽爽va在线观看网站| x7x7x7水蜜桃| 精品无人区乱码1区二区| 欧美性长视频在线观看| 欧美 亚洲 国产 日韩一| 久久久久亚洲av毛片大全| 黄色视频不卡| 久久九九热精品免费| 色尼玛亚洲综合影院| 好看av亚洲va欧美ⅴa在| 一区二区三区高清视频在线| 日韩欧美三级三区| 99riav亚洲国产免费| 欧洲精品卡2卡3卡4卡5卡区| 一级黄色大片毛片| 色噜噜av男人的天堂激情| 成人av在线播放网站| 91老司机精品| 久久婷婷成人综合色麻豆| 亚洲精品中文字幕一二三四区| 99热这里只有是精品50| av中文乱码字幕在线| 久久天躁狠狠躁夜夜2o2o| 成人欧美大片| 亚洲精品久久成人aⅴ小说| 在线观看日韩欧美| 手机成人av网站| 琪琪午夜伦伦电影理论片6080| 人妻久久中文字幕网| ponron亚洲| cao死你这个sao货| 怎么达到女性高潮| 国产一区在线观看成人免费| 1024手机看黄色片| 天天一区二区日本电影三级| 国产精品九九99| 法律面前人人平等表现在哪些方面| ponron亚洲| 日韩高清综合在线| 成人高潮视频无遮挡免费网站| 欧美日韩中文字幕国产精品一区二区三区| 国产精品永久免费网站| 久久精品人妻少妇| 麻豆av在线久日| 色老头精品视频在线观看| 一个人免费在线观看的高清视频| 精品国产乱子伦一区二区三区| avwww免费| 成年免费大片在线观看| 国产高清视频在线播放一区| 男人的好看免费观看在线视频 | 国产精品日韩av在线免费观看| 久久国产精品人妻蜜桃| 欧美在线黄色| 美女 人体艺术 gogo| 成人精品一区二区免费| 亚洲欧美精品综合一区二区三区| 哪里可以看免费的av片| 首页视频小说图片口味搜索| 又紧又爽又黄一区二区| 久久久久久国产a免费观看| 老司机午夜福利在线观看视频| 国产精品久久久久久久电影 | 日本三级黄在线观看| 男人舔女人的私密视频| 夜夜爽天天搞| 波多野结衣巨乳人妻| 国产精品久久久久久精品电影| 欧美中文日本在线观看视频| 亚洲精品在线美女| 少妇裸体淫交视频免费看高清 | 黄色毛片三级朝国网站| 成人三级黄色视频| 日韩高清综合在线| 国产亚洲精品av在线| 精品国产美女av久久久久小说| 99久久国产精品久久久| 国产伦在线观看视频一区| 香蕉av资源在线| 欧美日韩福利视频一区二区| 精品福利观看| 亚洲人成77777在线视频| 久久午夜综合久久蜜桃| 2021天堂中文幕一二区在线观| 99riav亚洲国产免费| 亚洲专区字幕在线| 99精品欧美一区二区三区四区| 女人被狂操c到高潮| 悠悠久久av| 亚洲五月天丁香| 中文资源天堂在线| 五月玫瑰六月丁香| 亚洲欧美精品综合久久99| 一进一出抽搐gif免费好疼| 色播亚洲综合网| 99久久99久久久精品蜜桃| 免费电影在线观看免费观看| 久久伊人香网站| 最好的美女福利视频网| 国产熟女午夜一区二区三区| 一二三四在线观看免费中文在| 欧美性猛交╳xxx乱大交人| 两个人看的免费小视频| 亚洲成人中文字幕在线播放| 久99久视频精品免费| 午夜激情av网站| 免费观看人在逋| 窝窝影院91人妻| 香蕉av资源在线| 久久中文看片网| 国产视频内射| 麻豆久久精品国产亚洲av| 国产亚洲av嫩草精品影院| 国产亚洲精品久久久久久毛片| 午夜福利在线观看吧| 成年版毛片免费区| 亚洲性夜色夜夜综合| 看免费av毛片| 亚洲激情在线av| 亚洲精品国产一区二区精华液| 久久人人精品亚洲av| 国产熟女午夜一区二区三区| 亚洲国产高清在线一区二区三| 俺也久久电影网| 婷婷精品国产亚洲av| 国产亚洲精品久久久久5区| 一级毛片精品| 欧美午夜高清在线| 亚洲精品国产一区二区精华液| 久久国产乱子伦精品免费另类| 真人一进一出gif抽搐免费| 日本成人三级电影网站| 最近最新中文字幕大全免费视频| 亚洲av成人一区二区三| 免费高清视频大片| 91大片在线观看| 日韩精品免费视频一区二区三区| 美女 人体艺术 gogo| 人妻夜夜爽99麻豆av| 免费看十八禁软件| 国产精品98久久久久久宅男小说| 制服丝袜大香蕉在线| 午夜日韩欧美国产| 亚洲熟妇中文字幕五十中出| 黄色丝袜av网址大全| 2021天堂中文幕一二区在线观| 亚洲人成电影免费在线| 国产亚洲精品久久久久久毛片| 一夜夜www| 国产亚洲精品综合一区在线观看 | 特大巨黑吊av在线直播| 国产精品久久久久久亚洲av鲁大| 麻豆国产av国片精品| 亚洲 欧美 日韩 在线 免费| 亚洲国产精品成人综合色| 国产伦一二天堂av在线观看| 国产一区二区三区在线臀色熟女| 成人一区二区视频在线观看| 欧美黑人欧美精品刺激| 丰满人妻熟妇乱又伦精品不卡| 美女大奶头视频| 免费在线观看成人毛片| 老汉色∧v一级毛片| 久久久久九九精品影院| 一二三四在线观看免费中文在| 欧美成人性av电影在线观看| 久久精品亚洲精品国产色婷小说| 嫩草影院精品99| 看黄色毛片网站| videosex国产| 黄色毛片三级朝国网站| 亚洲精品美女久久av网站| 国产99久久九九免费精品| 亚洲精品美女久久久久99蜜臀| 精品久久久久久久久久免费视频| 丰满人妻一区二区三区视频av | 久久国产精品影院| 久久精品91无色码中文字幕| 国产精品一区二区精品视频观看| 亚洲精品中文字幕一二三四区| 成人永久免费在线观看视频| 国产高清视频在线观看网站| 老司机福利观看| 人人妻人人澡欧美一区二区| 午夜精品在线福利| 国产精品免费视频内射| 国产成人精品久久二区二区91| 女人爽到高潮嗷嗷叫在线视频| 亚洲国产欧洲综合997久久,| 国产精品久久电影中文字幕| 无遮挡黄片免费观看| 操出白浆在线播放| 免费在线观看影片大全网站| 在线观看午夜福利视频| 精品福利观看| 亚洲精品中文字幕一二三四区| 可以在线观看毛片的网站| 亚洲无线在线观看| 欧美日韩瑟瑟在线播放| 麻豆av在线久日| 国产精品免费视频内射| 日本 欧美在线| 久久香蕉精品热| 国产成人精品无人区| 欧美日韩精品网址| 亚洲国产欧美一区二区综合| 亚洲人成网站在线播放欧美日韩| 十八禁人妻一区二区| 一区二区三区激情视频| 久久性视频一级片| 不卡一级毛片| 午夜精品久久久久久毛片777| 成人av一区二区三区在线看| 午夜老司机福利片| 国产主播在线观看一区二区| 亚洲精品av麻豆狂野| 亚洲国产精品成人综合色| 少妇粗大呻吟视频| 中出人妻视频一区二区| 五月玫瑰六月丁香| 人人妻人人看人人澡| 久久人妻福利社区极品人妻图片| 757午夜福利合集在线观看| 老鸭窝网址在线观看| 国产视频一区二区在线看| 精品久久久久久久末码| 12—13女人毛片做爰片一| 欧美丝袜亚洲另类 | 欧洲精品卡2卡3卡4卡5卡区| 少妇被粗大的猛进出69影院|