• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    可視化學(xué)習(xí)分析:審視可視化技術(shù)的作用和價值

    2020-03-31 00:47:54胡立如陳高偉
    開放教育研究 2020年2期
    關(guān)鍵詞:可視化分析

    胡立如 陳高偉

    (香港大學(xué) 教育學(xué)院,香港 999077)

    一、引 言

    隨著信息可視化技術(shù)的發(fā)展,可視化分析在解決復(fù)雜問題中的優(yōu)勢逐漸凸顯。它能夠有效融合計算機(jī)和人類在復(fù)雜問題決策中的不同優(yōu)勢,因而得到了各個領(lǐng)域的關(guān)注。近年來,學(xué)習(xí)科學(xué)領(lǐng)域涌現(xiàn)了很多基于可視化學(xué)習(xí)分析的研究成果(Atapattu et al., 2016; Bodily & Verbert, 2017; Chen, 2019, 2020; Chen et al., 2018; Gómez-Aguilar et al., 2015; Hsiao et al., 2016; Lee et al., 2016; Majumdar & Iyer, 2016; Nagy, 2016; Noroozi et al., 2018; Vieira et al., 2018),旨在運(yùn)用可視化學(xué)習(xí)分析手段理解與改善復(fù)雜的學(xué)習(xí)過程與環(huán)境。

    學(xué)習(xí)分析學(xué)自誕生以來,一直強(qiáng)調(diào)可視化技術(shù)呈現(xiàn)學(xué)習(xí)分析報告的必要性。很多研究強(qiáng)調(diào)可視化技術(shù)在傳達(dá)學(xué)習(xí)分析結(jié)果中的價值(包昊罡等, 2019; 牟智佳等, 2017; 張振虹等,2014),因為可視化的表征形式能夠降低用戶處理信息的認(rèn)知負(fù)荷,支持學(xué)習(xí)者或教師更好地理解學(xué)習(xí)分析報告。而可視化技術(shù)在可視化學(xué)習(xí)分析中的價值遠(yuǎn)不止于解決最后一公里的結(jié)果呈現(xiàn)問題,更強(qiáng)調(diào)對人機(jī)交互的促進(jìn),實現(xiàn)人機(jī)優(yōu)勢的融合,更好地解決復(fù)雜的學(xué)習(xí)問題。本文旨在闡述可視化學(xué)習(xí)分析的誕生及內(nèi)涵,審視可視化技術(shù)的價值,構(gòu)建可視化學(xué)習(xí)分析的流程模型和理論框架,以便指導(dǎo)相關(guān)工具的設(shè)計、開發(fā)與應(yīng)用,最后通過典型案例展現(xiàn)可視化學(xué)習(xí)分析工具的特征、功能和應(yīng)用流程。

    二、興起與內(nèi)涵

    (一)學(xué)習(xí)分析學(xué)

    學(xué)習(xí)分析學(xué)誕生于2010年前后,源于解決教育大數(shù)據(jù)帶來的挑戰(zhàn)。它以挖掘與分析學(xué)習(xí)者及學(xué)習(xí)情境數(shù)據(jù)為特征,旨在“理解和優(yōu)化學(xué)習(xí)及其發(fā)生的環(huán)境”(Siemens, 2011)??梢暬治鰧W(xué)在學(xué)習(xí)分析領(lǐng)域一直備受關(guān)注,托馬斯和庫克針對可視化分析學(xué)的經(jīng)典著作是學(xué)習(xí)分析領(lǐng)域的高頻引用文章之一(黃志南等, 2016)。2010年《地平線報告》將可視化數(shù)據(jù)分析推薦為主流趨勢之一,可視化的呈現(xiàn)手段成為了學(xué)習(xí)分析工具的重要特征(牟智佳等, 2016;吳永和等, 2013)。例如,利用儀表盤幫助教師同時監(jiān)控課堂多個小組的學(xué)習(xí)行為,能有效降低教師的認(rèn)知負(fù)荷,提升及時教學(xué)干預(yù)的質(zhì)量(van Leeuwen, 2015);為學(xué)生提供小組協(xié)作過程的可視化反饋相較于文本反饋,更直觀和易于學(xué)習(xí)者的理解,因此能夠更好地促進(jìn)學(xué)習(xí)者間的互動(Lim et al., 2014),激發(fā)學(xué)生自主學(xué)習(xí)(Hadwin et al., 2018)。可視化表征也能支持不同利益相關(guān)者之間開展高效對話,例如,納吉(Nagy, 2016)用交互性泡泡圖繪制中學(xué)生六年間的學(xué)業(yè)努力情況,既直觀呈現(xiàn)學(xué)習(xí)者間的差異從而促進(jìn)學(xué)生間的交流,也展現(xiàn)了學(xué)生的總體進(jìn)步情況而激發(fā)教師間的討論。

    (二)可視化分析學(xué)

    可視化分析學(xué)誕生于2005年前后,是一門通過交互性可視化界面促進(jìn)分析推理的一門科學(xué)(Thomas & Cook, 2005)。它包含兩大核心要素,即自動化分析技術(shù)(如統(tǒng)計和數(shù)據(jù)挖掘)和可視化分析技術(shù)(如信息可視化和人機(jī)交互)(Keim et al., 2009)??梢暬治鰧W(xué)是典型的交叉學(xué)科,它整合了信息可視化、人機(jī)交互、數(shù)據(jù)分析、數(shù)據(jù)管理、地理空間及時間數(shù)據(jù)的處理與統(tǒng)計等多個學(xué)科方向(Keim et al., 2008)。

    可視化分析學(xué)的誕生主要源于單純依靠自動化分析技術(shù)或可視化技術(shù)很難完成的復(fù)雜問題的決策。大量數(shù)字或文本格式的數(shù)據(jù)超出人類的認(rèn)知能力,因此很難從復(fù)雜分析過程中有效提取知識??梢暬治鰧W(xué)的目標(biāo)是通過可視化表征以聚合的方式幫助人類分析復(fù)雜過程,降低大量數(shù)據(jù)所帶來的認(rèn)知負(fù)荷(Keim et al., 2008),同時通過交互性可視化表征能促進(jìn)人機(jī)交流,實現(xiàn)人機(jī)優(yōu)勢融合,更好地應(yīng)對信息過載和決策復(fù)雜性帶來的挑戰(zhàn)(Keim et al., 2009)。

    凱姆等(Keim et al., 2008; Keim et al., 2009)將可視化分析過程總結(jié)為圖1模式。待解決問題通常比較復(fù)雜,輸入數(shù)據(jù)來自多個異質(zhì)數(shù)據(jù)集,它們經(jīng)過數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)清洗、選擇與合并等預(yù)處理后,用戶既可以進(jìn)行可視化數(shù)據(jù)探索,通過交互性界面探索其中潛藏的模式與趨勢,從而獲取解決問題的相關(guān)知識與見解;也可以直接通過統(tǒng)計和數(shù)據(jù)挖掘等自動化分析技術(shù)建立模型與驗證假設(shè),從而獲取相關(guān)知識。同時可視化表征與假設(shè)模型之間存在動態(tài)交互,可視化的探索分析可以幫助提出新的假設(shè),優(yōu)化模型參數(shù),也可以對建立的模型進(jìn)行可視化操作,直觀地呈現(xiàn)復(fù)雜的變量關(guān)系。獲取的知識則可以進(jìn)一步引導(dǎo)數(shù)據(jù)輸入和分析流程。因此,可視化分析往往是非線性的迭代性發(fā)展過程。

    圖1 可視化分析流程模型(Keim et al., 2008; Keim et al., 2009)

    有學(xué)者后來修訂了凱姆等的流程模型(Andrienko et al., 2018; Ribarsky & Fisher, 2016; Sacha et al., 2014),安德里彥科等(2018)將原模型中的“數(shù)據(jù)集”和“知識”分別拓展為表征現(xiàn)實世界的模型和分析者大腦中建構(gòu)的模型,但“可視化表征”和“模型”的交互仍舊是實現(xiàn)數(shù)據(jù)向知識轉(zhuǎn)化的重要組成部分,可視化技術(shù)不再局限于對分析結(jié)果的表達(dá),而是融入數(shù)據(jù)分析整個流程,與自動化的數(shù)據(jù)統(tǒng)計與挖掘交替進(jìn)行,交互反饋,成為機(jī)器智能和人類智能互補(bǔ)、銜接的橋梁,實現(xiàn)決策過程的迭代式推進(jìn)。

    (三)可視化學(xué)習(xí)分析

    可視化學(xué)習(xí)分析是學(xué)習(xí)分析學(xué)和可視化分析學(xué)相交叉新興研究領(lǐng)域。維埃拉等(Vieira et al.,2018)認(rèn)為可視化學(xué)習(xí)分析可以“通過互動性的可視化技巧使用計算工具和方法理解教育現(xiàn)象”。陳高偉(Chen, 2019)認(rèn)為可視化學(xué)習(xí)分析可以“使用可視化分析(即分析學(xué)與可視化技巧)啟發(fā)教育決策”。因此,可視化學(xué)習(xí)分析強(qiáng)調(diào)計算機(jī)的自動化分析和可視化優(yōu)勢對人類推理和決策過程的支持,理解復(fù)雜的學(xué)習(xí)現(xiàn)象和解決復(fù)雜的學(xué)習(xí)問題。

    圖2 可視化學(xué)習(xí)分析流程模型

    可視化學(xué)習(xí)分析突破了學(xué)習(xí)分析學(xué)對可視化技術(shù)的主流定位,強(qiáng)調(diào)可視化技術(shù)的價值不僅在于對學(xué)習(xí)分析結(jié)果的表達(dá),更是作為人機(jī)交互的橋梁,支持用戶對學(xué)習(xí)數(shù)據(jù)的探索、解釋、假設(shè)、驗證等動態(tài)的推理過程。可視化學(xué)習(xí)分析工具也很難提供完整的學(xué)習(xí)問題解決方案,因為用戶的經(jīng)驗與智慧在很多復(fù)雜性問題決策中已經(jīng)變得不可或缺。另一方面,可視化學(xué)習(xí)分析與學(xué)習(xí)分析學(xué)一樣強(qiáng)調(diào)學(xué)習(xí)理論在數(shù)據(jù)探索、分析和工具開發(fā)中的指導(dǎo)與調(diào)節(jié)作用(Hillaire et al., 2016; Shaffer & Ruis, 2017; Wise & Schaffer, 2015),而不是純粹數(shù)據(jù)驅(qū)動或僅靠個人知識與經(jīng)驗,因而與數(shù)據(jù)驅(qū)動的可視化分析流程模型(見圖1)不同,可視化學(xué)習(xí)分析強(qiáng)調(diào)學(xué)習(xí)理論對分析流程的指導(dǎo)與調(diào)控作用,如對目標(biāo)學(xué)習(xí)問題/現(xiàn)象的解讀、數(shù)據(jù)收集范圍的確定、可視化探索的指向、假設(shè)的建立等。本文嘗試在圖1的基礎(chǔ)上構(gòu)建學(xué)習(xí)情境下的可視化分析流程模型(見圖2),將學(xué)習(xí)理論對分析與反饋全流程的指導(dǎo)作用予以外顯和強(qiáng)調(diào),可視化學(xué)習(xí)分析工具通過可視化交互界面和數(shù)據(jù)統(tǒng)計與挖掘技術(shù)支持用戶動態(tài)地探索和驗證模型,從而更深入、全面地獲取知識,促進(jìn)決策科學(xué)化。

    全景加細(xì)節(jié)是信息可視化設(shè)計的重要原則,即先看全景,然后縮放/篩選,最后按需呈現(xiàn)細(xì)節(jié)(Shneiderman, 1996)。凱姆等(Keim,2008)指出在可視化數(shù)據(jù)分析中,原始數(shù)據(jù)的復(fù)雜性,使得所有數(shù)據(jù)的全景不可能都被展現(xiàn),因此他們提出了適用于可視化分析的萬用法則:分析后展示重要信息;縮放、篩選,并進(jìn)一步分析;細(xì)節(jié)可按需選擇、呈現(xiàn)。根據(jù)可視化分析的萬用法則,本研究建議典型的可視化學(xué)習(xí)分析路徑需要確定學(xué)習(xí)理論后進(jìn)行初步分析,再可視化重要信息,并通過縮放/篩選支持后續(xù)分析,而細(xì)節(jié)可以按需呈現(xiàn),還可以對不同的學(xué)習(xí)理論進(jìn)行比較研究。

    (四)可視化在學(xué)習(xí)分析中的三重角色

    可視化技術(shù)在可視化學(xué)習(xí)分析中能夠幫助用戶充分利用計算機(jī)自動化計算優(yōu)勢,并融入自身的智慧與經(jīng)驗,共同完成復(fù)雜問題的決策。直觀的可視化表征是人機(jī)交互的潤滑劑,它在可視化分析和可視化學(xué)習(xí)分析流程中承擔(dān)三重角色:探索性地挖掘數(shù)據(jù)結(jié)構(gòu)與趨勢;帶有目標(biāo)導(dǎo)向地檢驗假設(shè);快速有效地傳達(dá)分析結(jié)果(Keim et al., 2008)。后兩種也被稱為理解型可視化,可直觀、清晰地呈現(xiàn)信息,幫助用戶更高效地理解數(shù)據(jù),而第一種則屬于探索型可視化,可挖掘數(shù)據(jù)潛藏的信息,指導(dǎo)進(jìn)一步的驗證性數(shù)據(jù)分析(李志剛等,2012)。

    在學(xué)習(xí)分析學(xué)的發(fā)展中,可視化技術(shù)主要用于直觀地表征學(xué)習(xí)分析結(jié)果,這也是目前國內(nèi)可視化學(xué)習(xí)分析研究對可視化作用的主流理解。李艷燕等(2019)將可視化學(xué)習(xí)分析工具等同于“學(xué)習(xí)儀表盤”,強(qiáng)調(diào)可視化技術(shù)對學(xué)習(xí)分析結(jié)果的呈現(xiàn),支持學(xué)習(xí)者或教育者對數(shù)據(jù)的查看和理解,降低用戶的認(rèn)知負(fù)荷。而實際上,可視化技術(shù)還可以支持驗證性數(shù)據(jù)分析,直觀地展示變量之間的復(fù)雜關(guān)系,建立可視化模型。趙明明(Chiu, 2008)提出的統(tǒng)計性話語分析方法通過路徑分析圖簡潔地表征臨近話輪間的話語特征關(guān)系(Chen et al., 2012; Lu et al., 2011; Molenaar & Chiu, 2014),還有研究采用基于主體模型構(gòu)建技術(shù)幫助學(xué)習(xí)者驗證假設(shè),理解復(fù)雜系統(tǒng)的關(guān)鍵概念與特征(Wilensky & Jacobson, 2014)。

    圖3 可視化技術(shù)在探索性數(shù)據(jù)分析中的優(yōu)勢:相同的計算模型和不同的分布(Anscombe, 1973)

    可視化促進(jìn)用戶理解的優(yōu)勢主要源于人類加工視覺信息和文本信息的差異。根據(jù)雙通道編碼理論(Paivio, 1986),人類在不同的通道獨(dú)立加工文本和圖像信息。將文本數(shù)據(jù)適當(dāng)可視化,有助于充分利用自身的認(rèn)知容量,高效地理解數(shù)據(jù)。同時,用戶能夠有效整合基于敘述性信息構(gòu)建的命題性表征和基于描繪性信息構(gòu)建的心智模型,也有利于加深用戶對數(shù)據(jù)的理解(Dewolf et al., 2014)。雙通道加工理論區(qū)分了兩類動態(tài)交互的心理加工過程:自動化加工和控制性加工(Shiffrin & Schneider, 1977),人類處理視覺信息多數(shù)是無意識的、自動化的,需要的努力和注意力控制非常少,因此更迅速。加工文本信息多是線性的、有意識的,需要控制的注意力和耗費(fèi)的心智努力多,因此速度較慢,所以可視化信息支持用戶快速監(jiān)控上獨(dú)具優(yōu)勢(Few, 2006)。另外,人類也偏好接受視覺信息。調(diào)查顯示,學(xué)習(xí)者和教師均要求學(xué)習(xí)分析工具能夠?qū)⒎治鼋Y(jié)果以多種可視化形式予以呈現(xiàn)(牟智佳等, 2017)。

    相對理解型可視化而言,探索型可視化在學(xué)習(xí)分析研究中一直沒有得到重視??梢暬剿餍詳?shù)據(jù)分析能夠幫助檢測變量分布、變量間關(guān)系、聚焦重要變量、建議可能的模型和檢測數(shù)據(jù)存在的異常等,“圖片的最大價值是強(qiáng)迫我們注意到我們永遠(yuǎn)也不會預(yù)期見到的東西”(Tukey, 1977)。數(shù)據(jù)科學(xué)中經(jīng)典的、體現(xiàn)可視化在探索性數(shù)據(jù)分析中價值的案例見圖3(Anscombe, 1973)。統(tǒng)計分析發(fā)現(xiàn),四組數(shù)據(jù)有同樣的均值和方差,并適用于相同的線性模型,但可視化的表征直觀地顯示它們具有完全不同的分布。因此,可視化表征能夠充分利用人類加工視覺信息的優(yōu)勢,激發(fā)用戶的知識背景和經(jīng)驗,并結(jié)合用戶對實際情境的掌握以及相關(guān)學(xué)習(xí)理論的理解,幫助用戶直觀地發(fā)現(xiàn)數(shù)據(jù)的模式與規(guī)律,更好地解讀和調(diào)整計算機(jī)的自動化分析結(jié)果,實現(xiàn)復(fù)雜問題的決策。

    三、理論背景:復(fù)雜系統(tǒng)理論

    (一)學(xué)習(xí)現(xiàn)象和自組織型復(fù)雜系統(tǒng)

    西方經(jīng)典科學(xué)研究的傳統(tǒng)方法論是把復(fù)雜問題簡單化,這種“還原論”的研究方法進(jìn)入二十世紀(jì)以來面臨越來越嚴(yán)峻的挑戰(zhàn),當(dāng)代系統(tǒng)科學(xué)(又稱復(fù)雜性科學(xué))由此呼之欲出。從控制論、信息論、系統(tǒng)論,到耗散結(jié)構(gòu)、協(xié)同學(xué)、突變論,再到當(dāng)前迅速發(fā)展的分形、混沌、自組織、超循環(huán)理論等系統(tǒng)科學(xué)在“探索復(fù)雜性”的艱難征途中高歌猛進(jìn),為各領(lǐng)域的復(fù)雜性研究提供了全新的思路和方法論。這也正是可視化技術(shù)在學(xué)習(xí)分析研究中異軍突起的背景和基礎(chǔ)。學(xué)習(xí)問題本身的復(fù)雜性單純依靠人工智能無法提供優(yōu)質(zhì)的解決方案,需要結(jié)合人類的經(jīng)驗、知識、創(chuàng)造性與靈活性。越來越多的學(xué)習(xí)科學(xué)研究顯示,學(xué)習(xí)現(xiàn)象是典型的自組織型復(fù)雜系統(tǒng),例如,協(xié)作學(xué)習(xí)中個體交互的時間不是均質(zhì)的,而是受歷史和情境因素影響的動態(tài)發(fā)展過程(Kapur et al., 2008; Mercer, 2008; Schegloff, 2007; Wise & Chiu, 2011),交互模式同樣會影響協(xié)作學(xué)習(xí)成效(Cen et al., 2016)。還有研究發(fā)現(xiàn),群體學(xué)習(xí)系統(tǒng)可能存在吸引子(Kapur et al., 2008; Umaschi, 2001),吸引子是自組織型復(fù)雜系統(tǒng)在運(yùn)行時趨向的一系列點集(Boeing, 2016),包括使系統(tǒng)趨向單點集的點吸引子、將系統(tǒng)導(dǎo)向周期性平衡的極限環(huán)以及使系統(tǒng)不重復(fù)震蕩的奇怪吸引子(Grebogi et al., 1987; 李曙華, 1999)。

    在學(xué)生辯論中,討論主題可能就是奇怪吸引子。烏瑪什(Umaschi,2001)發(fā)現(xiàn),圍繞辯論話題所不斷出現(xiàn)的新概念/觀點促進(jìn)學(xué)生辯論向更高的復(fù)雜性發(fā)展,而這一過程的正向和反向論據(jù)則構(gòu)成了正負(fù)反饋環(huán),使學(xué)生辯論維持相似的結(jié)構(gòu)并趨于復(fù)雜。斯特爾(Stahl,2010, 2016)發(fā)現(xiàn),共享的交互資源(如小組任務(wù))能夠限定和引導(dǎo)小組討論過程。此外,卡普爾和同事(Kapur & Kinzer, 2007; Kapur et al., 2005; Kapur et al., 2008; Voiklis et al., 2006)發(fā)現(xiàn)了小組討論中的參與不平衡性(小組成員參與率的方差)和認(rèn)知聚合度(每個話語單元使小組趨近目標(biāo)狀態(tài)的影響力)在討論早期就趨于固定值,因此這兩個指標(biāo)可能是協(xié)作性討論的點吸引子。而在不對等的交互中,優(yōu)勢方的策略也可能成為潛在的點吸引子,例如,一項早期研究發(fā)現(xiàn)孩子與母親共同完成謎題的過程中會不斷傾向使用母親的策略(Wertsch & Stone, 1999)。近期研究開始關(guān)注學(xué)生如何在小組討論中應(yīng)用教師在對話式教學(xué)中所采用的對話策略(van de Pol et al., 2019),以及學(xué)生如何在探索性對話中遷移同伴的解題策略(Littleton & Mercer, 2013)。在社會性互動中,人類有自發(fā)模仿他人和使自己合群的本性(Lieberman, 2007),所擁有的鏡像神經(jīng)元已經(jīng)為此提供了神經(jīng)科學(xué)的基礎(chǔ)(Gallese et al., 2004; Iacoboni, 2009)。

    (二)可視化學(xué)習(xí)分析作為方法論

    學(xué)習(xí)過程的非線性使經(jīng)典科學(xué)中很多基于線性假設(shè)的統(tǒng)計和預(yù)測模型不再適用。復(fù)雜系統(tǒng)科學(xué)倡導(dǎo)通過可視化建模和仿真描述系統(tǒng)的動態(tài)性,探索系統(tǒng)不同的可能形態(tài)(Servedio et al., 2014),這與可視化學(xué)習(xí)分析的宗旨非常契合。復(fù)雜系統(tǒng)理論為可視化學(xué)習(xí)分析作為新型的學(xué)習(xí)研究方法論提供了強(qiáng)有力的理論基礎(chǔ)。

    在學(xué)習(xí)科學(xué)領(lǐng)域,有學(xué)者借鑒復(fù)雜系統(tǒng)科學(xué)的研究成果,建議把可視化建模作為新型的研究方法探索學(xué)習(xí)現(xiàn)象與問題的復(fù)雜性(Wilensky & Jacobson, 2014),指出現(xiàn)有的量化和質(zhì)性研究方法在探索可能的學(xué)習(xí)路徑上都有一定的局限(Levin & Jacobson, 2017),而基于主體的建模(agent-based modeling)技術(shù)能夠強(qiáng)有力地補(bǔ)充已有研究方法的不足(Jacobson & Kapur, 2012)。目前,這一方法已被諸多學(xué)習(xí)科學(xué)研究所嘗試(Maroulis et al., 2014; White & Levin, 2016)。

    可視化建模在理解和分析復(fù)雜系統(tǒng)中獨(dú)具優(yōu)越,但在學(xué)習(xí)科學(xué)領(lǐng)域仍不是主流的研究方法,這或許是由于模擬個體和設(shè)置學(xué)習(xí)情境的預(yù)定義條件至今仍然非常困難。而可視化學(xué)習(xí)分析強(qiáng)調(diào)融入人類智慧與經(jīng)驗,提供開放性探索功能,指導(dǎo)自動化的計算分析,引起了很多研究者的關(guān)注。而可視化建??梢员豢醋魇且环N高級的可視化學(xué)習(xí)分析手段,通過已發(fā)生的學(xué)習(xí)路徑初始化模型,支持探索更多未知的學(xué)習(xí)路徑。隨著學(xué)習(xí)科學(xué)研究的成熟和人工智能技術(shù)的發(fā)展,可視化建模分析很可能成為一種主流的學(xué)習(xí)研究手段。

    (三)可視化學(xué)習(xí)分析理論框架

    本研究基于復(fù)雜系統(tǒng)理論提出了可視化學(xué)習(xí)分析的理論框架,為相關(guān)研究提供借鑒(見圖4)。自適應(yīng)性復(fù)雜學(xué)習(xí)系統(tǒng)通過不斷的反饋環(huán)自發(fā)地形成多層結(jié)構(gòu),該結(jié)構(gòu)的基本層級是“個體”。維果斯基(Vygotsky, 1987)強(qiáng)調(diào)群體認(rèn)知先于個體認(rèn)知,但不能否認(rèn)個體通過社會交互習(xí)得一定的能力后可以通過自我調(diào)控(self-regulated learning)(Pintrich, 2000)表達(dá)完整的認(rèn)知過程,包括表達(dá)觀點、闡釋/論證自己的觀點,或者反思自身的表現(xiàn)等主體內(nèi)思考形式(intra-thinking)。

    圖4 基于復(fù)雜系統(tǒng)理論的可視化學(xué)習(xí)分析理論框架注:’表示該主體在一定時間后發(fā)生了變化

    學(xué)習(xí)系統(tǒng)的另一常見層級是“小組”,小組能夠產(chǎn)生共同監(jiān)控的學(xué)習(xí)(socially shared regulated learning),即多個個體共同調(diào)控小組學(xué)習(xí)活動,從而建立對任務(wù)的共同理解,構(gòu)建一致的目標(biāo)和計劃(Hadwin & Oshige, 2011; Jarvela & Hadwin, 2013)。斯特爾(Stahl, 2009, 2010, 2016)領(lǐng)導(dǎo)的虛擬數(shù)學(xué)小組項目關(guān)注小組學(xué)習(xí)規(guī)律,并致力于建構(gòu)群體科學(xué)。他通過分析大量小組數(shù)學(xué)問題解決過程提出了群體認(rèn)知(group cognition)概念,并將能夠表現(xiàn)出獨(dú)立認(rèn)知過程的單元視為整體,而不論所涉及的個體人數(shù),避免了社會-個體的劃分(Clarà, 2019),因而個體和小組之間還往往存在“配對”層級,即兩個個體間的交互。配對個體是最小的交互主體單元,可以通過他控學(xué)習(xí)(Co-Regulated Learning)表達(dá)獨(dú)立的認(rèn)知過程。他控學(xué)習(xí)指個體通過與他人的互動引發(fā)自主調(diào)控學(xué)習(xí)的過程(Hadwin & Oshige, 2011)。主體間思考(Inter-thinking)出現(xiàn)在配對和小組層面,即一種社會形式的思考方式(Littleton & Mercer, 2013),包括闡釋、論證、評價、挑戰(zhàn)他人觀點,或者邀請他人進(jìn)行闡釋、論證、預(yù)測等。小組共同調(diào)控集體表現(xiàn),進(jìn)行集體式思考能夠突現(xiàn)完整的群體認(rèn)知現(xiàn)象(Stahl, 2009)。在小組之外,“共同體”(如班級)和“社會”等層級也可能在子系統(tǒng)的交互中突現(xiàn)一定的獨(dú)立認(rèn)知屬性。

    除了層級內(nèi)的反饋環(huán),層級間也可以交互。例如,個體模仿和內(nèi)化同伴的策略(Littleton & Mercer, 2013; van de Pol et al., 2019; Wertsch & Stone, 1999)。相應(yīng)的,個體層面的改變會影響主體間的思考過程,個體也可以主動調(diào)控他人、小組,乃至整個共同體的交互過程。而社會的歷史文化、共同體的實踐規(guī)約、小組的任務(wù)目標(biāo)等也會影響個體的認(rèn)知與行為。當(dāng)前的學(xué)習(xí)科學(xué)研究仍以個體層面的分析為主(Borge & Mercier, 2019; Stahl, 2009),但很多實證研究已開始強(qiáng)調(diào)高層、多層和跨層的系統(tǒng)分析。

    四、典型應(yīng)用

    根據(jù)面向的用戶和功能目標(biāo),可視化學(xué)習(xí)分析可以分為兩大類:一是面向?qū)嵺`者的作為一種教與學(xué)的干預(yù)手段,幫助改善教學(xué)效果和環(huán)境(Chen, 2019; Van Aalst et al., 2012; Zhang et al., 2018; Zheng et al., 2018);二是面向研究者作為一種研究方法論,幫助分析和理解復(fù)雜的學(xué)習(xí)現(xiàn)象和學(xué)習(xí)干預(yù)成效(Gasevic et al., 2019; Oshima et al., 2012; Shaffer et al., 2009)。該部分將以話語分析為例介紹可視化學(xué)習(xí)分析的四個典型應(yīng)用,闡釋可視化學(xué)習(xí)分析的內(nèi)涵、特征和流程。

    (一)課堂話語分析器(Classroom Discourse Analyzer)

    課堂話語分析器是基于社會文化理論(Vygotsky, 1978)的可視化課堂話語分析工具,能夠幫助教育者反思與提升課堂對話,已被有效應(yīng)用于對話型教學(xué)的教師專業(yè)發(fā)展項目中(Chen, 2019, 2020; Chen et al., 2014, 2015; Ni et al., 2017)。相較于基于視頻的教師學(xué)習(xí)項目,課堂話語分析器通過可交互的泡泡圖幫助教師解構(gòu)復(fù)雜的課堂對話過程,直觀地展現(xiàn)課堂對話的模式(見圖5)。它還通過折線圖區(qū)分不同類型的話輪轉(zhuǎn)換,并通過同步技術(shù)支持視頻、文本等細(xì)節(jié)的展現(xiàn)。同時,課堂話語分析器依據(jù)負(fù)責(zé)任的對話框架(Accountable Talk)(Michaels et al., 2010),應(yīng)用內(nèi)容分析技術(shù)標(biāo)識課堂對話中教師的有效對話,并提供各類對話策略的篩選與檢索,降低教師在反思課堂對話中的認(rèn)知負(fù)荷,幫助教師快速鎖定值得關(guān)注的對話片段,提高教師反思與學(xué)習(xí)的有效性,促進(jìn)教師間對話策略的比較與交流。

    圖 5 課堂話語分析器(CDA)的核心功能示例

    (二)想法線程繪圖工具(Idea Thread Mapper)

    想法線程繪圖工具是由張建偉等(Zhang et al., 2018)開發(fā)的支持學(xué)生探究性學(xué)習(xí)項目的可視化分析工具。它可以依附于知識論壇等在線討論平臺,基于知識建構(gòu)理論(Scardamalia & Bereiter, 2006)幫助學(xué)生和教師監(jiān)控生成的探究方向,共同管理長期的協(xié)作性探究過程。想法線程繪圖工具通過可視化形式,將時間軸融入樹形結(jié)構(gòu),將所有學(xué)生的帖子同時按主題和時間呈現(xiàn),通過線條展現(xiàn)主題內(nèi)和不同主題間的知識連接結(jié)構(gòu),更好地幫助學(xué)習(xí)者反思知識建構(gòu)的協(xié)作過程。想法線程繪圖工具還提供檢索、主題建模、貢獻(xiàn)類型分析等工具幫助學(xué)生探索不同想法線程間的連結(jié)、發(fā)現(xiàn)和進(jìn)一步分析核心的話語片段、比較不同成員的參與情況等。想法線程繪圖工具還提供結(jié)構(gòu)化的思維旅程幫助學(xué)習(xí)者總結(jié)和反思不同的想法線程,支持跨共同體的比較和分享。研究發(fā)現(xiàn),想法線程繪圖工具能夠有效地增加學(xué)習(xí)者的協(xié)作性元話語(Meta-discourse),幫助學(xué)生監(jiān)控知識建構(gòu)進(jìn)程,總結(jié)與提煉核心主題,開展協(xié)作反思與評價等(Chen & Zhang, 2016; Zhang et al., 2018)

    (三)認(rèn)識網(wǎng)絡(luò)分析(Epistemic Network Analysis)

    認(rèn)識網(wǎng)絡(luò)分析(https://app.epistemicnetwork.org/)基于認(rèn)識框架理論(Epistemic Frame Theory),利用內(nèi)容分析和網(wǎng)絡(luò)分析方法幫助研究者分析目標(biāo)話語特征在不同層級系統(tǒng)中的連結(jié)模式(Shaffer & Ruis, 2017)。它支持靈活地定義要關(guān)注的話語特征和話語分析單元。與一般網(wǎng)絡(luò)分析不同的是,認(rèn)識網(wǎng)絡(luò)分析采用固定的坐標(biāo)系統(tǒng),不但能夠可視化不同認(rèn)識特征間的連結(jié),還可以定量計算兩個認(rèn)知網(wǎng)絡(luò)間的差異,因此受到研究者的關(guān)注。喬納蒂等(Csanadi et al., 2018)利用認(rèn)識網(wǎng)絡(luò)分析比較職前教師與他人合作討論和獨(dú)立思考教學(xué)問題時推理過程的差異,證明了認(rèn)識網(wǎng)絡(luò)分析相較傳統(tǒng)編碼統(tǒng)計方法,能更有效地捕捉各關(guān)注要素間的時序結(jié)構(gòu)。但是,認(rèn)識網(wǎng)絡(luò)分析只能比較兩個主體單元的認(rèn)識網(wǎng)絡(luò)差異,而且在捕捉參與模式上有一定的局限,因此它經(jīng)常和社會網(wǎng)絡(luò)分析相結(jié)合,以幫助更好地解釋交互過程的規(guī)律(Gasevic et al., 2019)。

    (四)知識建構(gòu)話語探索(Knowledge Building Discourse Explorer)

    知識建構(gòu)話語探索是由歐西瑪?shù)?Oshima et al., 2012)開發(fā)的一款可視化話語分析工具。它基于知識建構(gòu)理論(Scardamalia & Bereiter, 2006),依靠社會語義網(wǎng)絡(luò)分析幫助研究者探索與分析學(xué)習(xí)者協(xié)作知識建構(gòu)過程的語義網(wǎng)絡(luò)、社會語義網(wǎng)絡(luò)等的發(fā)展模式。知識建構(gòu)話語探索首先定義代表性的領(lǐng)域知識關(guān)鍵詞,然后通過社會語義網(wǎng)絡(luò)分析研究學(xué)生的協(xié)作知識建構(gòu)過程,利用折線圖呈現(xiàn)不同網(wǎng)絡(luò)指標(biāo)的演變,探索不同網(wǎng)絡(luò)的動態(tài)發(fā)展過程,幫助監(jiān)測話語中潛藏的模式與規(guī)律,如領(lǐng)導(dǎo)者角色的輪換(Ma et al., 2017)。知識建構(gòu)話語探索采用自上而下的基于關(guān)鍵詞的分析方法,這相較于內(nèi)容分析法(Chen et al., 2017)可以節(jié)省時間和人力,但是關(guān)鍵詞列表的選擇也可能會引入制定者的偏見,從而影響這一分析方法的信度。

    課堂話語分析器、想法線程繪圖工具、認(rèn)識網(wǎng)絡(luò)分析及知識建構(gòu)話語探索的設(shè)計均依據(jù)一定的學(xué)習(xí)理論,且無法自動提供完整的解決方案,而是通過可視化技術(shù)支持人機(jī)交互,同時融入自動化的數(shù)據(jù)統(tǒng)計與挖掘技術(shù)支持用戶的開放性探索與驗證,較好地遵循了典型的可視化學(xué)習(xí)分析流程,即先確定學(xué)習(xí)理論,然后初步分析,再可視化重要信息,并通過縮放/篩選支持進(jìn)一步分析,最后按需呈現(xiàn)細(xì)節(jié)。

    五、總結(jié)和展望

    可視化學(xué)習(xí)分析是可視化分析學(xué)和學(xué)習(xí)分析學(xué)交叉的新興研究領(lǐng)域。它通過交互性的可視化界面促進(jìn)人機(jī)交流,融合人類和計算機(jī)在復(fù)雜問題決策中的優(yōu)勢,更好地應(yīng)對當(dāng)前教育大數(shù)據(jù)和復(fù)雜學(xué)習(xí)問題帶來的挑戰(zhàn)。在可視化學(xué)習(xí)分析中,可視化技術(shù)不再局限于呈現(xiàn)最終的學(xué)習(xí)分析報告,而是滲入整個分析流程,支持用戶對數(shù)據(jù)的探索性分析、對假設(shè)的檢驗以及對最終分析結(jié)果的解讀。可視化技術(shù)和統(tǒng)計與數(shù)據(jù)挖掘技術(shù)交互反饋,能夠迭代地推進(jìn)人機(jī)對復(fù)雜學(xué)習(xí)問題的共同決策。典型的可視化學(xué)習(xí)分析路徑需要先確定學(xué)習(xí)理論,然后初步分析,再可視化重要信息,并通過縮放/篩選支持進(jìn)一步分析,而細(xì)節(jié)則可以按需呈現(xiàn),還可以比較研究不同的學(xué)習(xí)理論。

    研究顯示,學(xué)習(xí)現(xiàn)象具備自組織型復(fù)雜系統(tǒng)的特征,因此復(fù)雜系統(tǒng)理論為可視化學(xué)習(xí)分析作為一種新型的學(xué)習(xí)研究方法論提供了理論基礎(chǔ)。本研究基于復(fù)雜系統(tǒng)理論提出可視化學(xué)習(xí)分析的理論框架,強(qiáng)調(diào)學(xué)習(xí)系統(tǒng)的層次性、非線性以及通過層內(nèi)和層間的反饋環(huán)形成的自組織性。文章最后具體介紹了四類典型的可視化話語分析工具,分別是面向教師的課堂話語分析器,面向?qū)W習(xí)者和教師的想法線程圖,面向研究者的認(rèn)識網(wǎng)絡(luò)分析和知識建構(gòu)話語探索,展現(xiàn)可視化學(xué)習(xí)分析工具的特征、功能與應(yīng)用流程,以期助力于可視化學(xué)習(xí)分析研究的開展和相關(guān)工具的設(shè)計與開發(fā)。

    本研究是對可視化學(xué)習(xí)分析領(lǐng)域的起源和發(fā)展的梳理,并從復(fù)雜系統(tǒng)理論的角度嘗試構(gòu)建該領(lǐng)域研究的理論框架,將可視化學(xué)習(xí)分析升華為研究復(fù)雜學(xué)習(xí)系統(tǒng)的方法論,文中觀點不免有偏頗之處。可視化學(xué)習(xí)分析作為新興的研究分枝,在分析學(xué)習(xí)過程的時序性特征上獨(dú)具優(yōu)勢,但要成為獨(dú)立的學(xué)科,該領(lǐng)域還有很長的路要走。可視化學(xué)習(xí)分析的發(fā)展面臨諸多挑戰(zhàn),比如,很多研究和應(yīng)用很難兼顧學(xué)習(xí)理論和可視化設(shè)計原則,在分析復(fù)雜的學(xué)習(xí)問題中,可視化技術(shù)多數(shù)致力于學(xué)習(xí)過程的再現(xiàn),而在設(shè)計引導(dǎo)注意力和提供建議等高階的人機(jī)交互支持上仍有很大挑戰(zhàn),如何拓寬可視化學(xué)習(xí)分析工具在課堂情景中的應(yīng)用也是亟待研究的方向。

    猜你喜歡
    可視化分析
    自然資源可視化決策系統(tǒng)
    北京測繪(2022年6期)2022-08-01 09:19:06
    思維可視化
    師道·教研(2022年1期)2022-03-12 05:46:47
    基于Power BI的油田注水運(yùn)行動態(tài)分析與可視化展示
    云南化工(2021年8期)2021-12-21 06:37:54
    自然資源可視化決策系統(tǒng)
    北京測繪(2021年7期)2021-07-28 07:01:18
    隱蔽失效適航要求符合性驗證分析
    基于CGAL和OpenGL的海底地形三維可視化
    “融評”:黨媒評論的可視化創(chuàng)新
    傳媒評論(2019年4期)2019-07-13 05:49:14
    電力系統(tǒng)不平衡分析
    電子制作(2018年18期)2018-11-14 01:48:24
    電力系統(tǒng)及其自動化發(fā)展趨勢分析
    中西醫(yī)結(jié)合治療抑郁癥100例分析
    成人亚洲精品一区在线观看| 看片在线看免费视频| 欧美精品啪啪一区二区三区| 纯流量卡能插随身wifi吗| 国产av一区二区精品久久| 51午夜福利影视在线观看| 国产精品美女特级片免费视频播放器 | 午夜福利视频在线观看免费| 成人亚洲精品一区在线观看| 精品久久久久久电影网| 丝袜美足系列| 亚洲精品在线美女| 美女高潮喷水抽搐中文字幕| 久久午夜亚洲精品久久| 精品国产乱子伦一区二区三区| 亚洲欧美精品综合一区二区三区| 亚洲欧美色中文字幕在线| 精品久久久久久久毛片微露脸| 别揉我奶头~嗯~啊~动态视频| 最新美女视频免费是黄的| 97人妻天天添夜夜摸| 无遮挡黄片免费观看| 免费高清在线观看日韩| 日本wwww免费看| 脱女人内裤的视频| 久久久久久久国产电影| 岛国毛片在线播放| 国产精品美女特级片免费视频播放器 | 一级,二级,三级黄色视频| 欧美成人免费av一区二区三区 | 十八禁网站免费在线| 男人的好看免费观看在线视频 | 亚洲欧美激情在线| 久热这里只有精品99| 天堂中文最新版在线下载| 国产97色在线日韩免费| 亚洲一区二区三区不卡视频| 亚洲国产毛片av蜜桃av| 亚洲国产精品一区二区三区在线| 国产精品久久电影中文字幕 | 国产男女超爽视频在线观看| 99热网站在线观看| 又黄又粗又硬又大视频| 日韩 欧美 亚洲 中文字幕| 久久人妻福利社区极品人妻图片| 久久精品国产99精品国产亚洲性色 | 性色av乱码一区二区三区2| 99久久精品国产亚洲精品| 精品高清国产在线一区| 亚洲少妇的诱惑av| 日本a在线网址| 丝袜美足系列| 悠悠久久av| 免费在线观看完整版高清| 又大又爽又粗| 国产成人av激情在线播放| 精品国产超薄肉色丝袜足j| 黄片小视频在线播放| 18禁裸乳无遮挡免费网站照片 | 亚洲少妇的诱惑av| 18禁美女被吸乳视频| 18禁裸乳无遮挡动漫免费视频| 美国免费a级毛片| 色在线成人网| 久久久久久久精品吃奶| 午夜成年电影在线免费观看| 欧美乱色亚洲激情| 午夜福利乱码中文字幕| 桃红色精品国产亚洲av| av国产精品久久久久影院| 老汉色∧v一级毛片| 十八禁网站免费在线| 中文字幕人妻熟女乱码| 中文字幕高清在线视频| 日韩成人在线观看一区二区三区| 露出奶头的视频| 在线观看日韩欧美| 9191精品国产免费久久| 国产又爽黄色视频| 男女下面插进去视频免费观看| 人妻久久中文字幕网| 国产精品国产高清国产av | 国产精品一区二区免费欧美| 丰满饥渴人妻一区二区三| 亚洲久久久国产精品| 制服诱惑二区| 啦啦啦视频在线资源免费观看| 亚洲 国产 在线| 国产成人精品在线电影| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲国产精品合色在线| 国产一卡二卡三卡精品| 99香蕉大伊视频| 91精品国产国语对白视频| 三上悠亚av全集在线观看| 国产精品.久久久| 免费在线观看亚洲国产| 色婷婷久久久亚洲欧美| 成年动漫av网址| 中国美女看黄片| 丰满迷人的少妇在线观看| 欧美亚洲日本最大视频资源| 国产男女超爽视频在线观看| 国产成人啪精品午夜网站| 在线观看66精品国产| 99热只有精品国产| 很黄的视频免费| 成人永久免费在线观看视频| 日韩欧美一区视频在线观看| 亚洲色图 男人天堂 中文字幕| 一级毛片精品| 久久国产精品男人的天堂亚洲| 啪啪无遮挡十八禁网站| 怎么达到女性高潮| 天天躁狠狠躁夜夜躁狠狠躁| 十八禁人妻一区二区| 黄色怎么调成土黄色| 日韩制服丝袜自拍偷拍| av网站免费在线观看视频| www.熟女人妻精品国产| 精品电影一区二区在线| 狠狠狠狠99中文字幕| 国产精品欧美亚洲77777| 午夜两性在线视频| 91成年电影在线观看| 女人被狂操c到高潮| a级毛片黄视频| 久久天堂一区二区三区四区| 午夜精品久久久久久毛片777| 男男h啪啪无遮挡| 伊人久久大香线蕉亚洲五| 丝袜美腿诱惑在线| 法律面前人人平等表现在哪些方面| 日韩中文字幕欧美一区二区| av有码第一页| 欧美另类亚洲清纯唯美| 少妇粗大呻吟视频| 免费女性裸体啪啪无遮挡网站| 亚洲国产中文字幕在线视频| 少妇粗大呻吟视频| 国产av精品麻豆| 欧美日韩亚洲国产一区二区在线观看 | 在线观看一区二区三区激情| 十八禁人妻一区二区| 99精品在免费线老司机午夜| 久久国产精品男人的天堂亚洲| 一边摸一边抽搐一进一小说 | 免费女性裸体啪啪无遮挡网站| 国产精品 欧美亚洲| 亚洲精品在线美女| 一夜夜www| 国产高清国产精品国产三级| 99久久人妻综合| 动漫黄色视频在线观看| 亚洲av日韩精品久久久久久密| 欧美黄色淫秽网站| 国产99白浆流出| 天天添夜夜摸| 中文字幕最新亚洲高清| 十八禁高潮呻吟视频| cao死你这个sao货| 国产在线精品亚洲第一网站| 91成人精品电影| 精品福利永久在线观看| 亚洲精品久久午夜乱码| 精品国产一区二区三区四区第35| 99香蕉大伊视频| 欧美人与性动交α欧美软件| 99国产精品免费福利视频| 性少妇av在线| 一区二区三区激情视频| 免费观看人在逋| 国产激情久久老熟女| 激情视频va一区二区三区| 国产成人精品在线电影| 久久影院123| 成人国产一区最新在线观看| 免费人成视频x8x8入口观看| 看黄色毛片网站| 国产淫语在线视频| 国产国语露脸激情在线看| 99国产精品一区二区三区| 国产91精品成人一区二区三区| 国产极品粉嫩免费观看在线| 亚洲欧美精品综合一区二区三区| 国产av精品麻豆| 伦理电影免费视频| 在线视频色国产色| 国产熟女午夜一区二区三区| 美女国产高潮福利片在线看| 成人免费观看视频高清| 亚洲欧洲精品一区二区精品久久久| 精品国产一区二区久久| 国产精品亚洲一级av第二区| 国产精品av久久久久免费| 人妻久久中文字幕网| 国产亚洲一区二区精品| 啦啦啦 在线观看视频| 18禁裸乳无遮挡动漫免费视频| 午夜两性在线视频| 在线看a的网站| 高潮久久久久久久久久久不卡| 涩涩av久久男人的天堂| 中文欧美无线码| 国产亚洲精品一区二区www | 国产成人免费无遮挡视频| tube8黄色片| 欧美乱妇无乱码| 午夜日韩欧美国产| 一进一出好大好爽视频| 国产成人一区二区三区免费视频网站| 亚洲熟女毛片儿| 久久久国产精品麻豆| 欧美国产精品一级二级三级| 大型黄色视频在线免费观看| 一级,二级,三级黄色视频| 亚洲中文日韩欧美视频| 欧美激情 高清一区二区三区| 夜夜夜夜夜久久久久| 亚洲欧美激情在线| а√天堂www在线а√下载 | av网站免费在线观看视频| 啦啦啦视频在线资源免费观看| 国产高清激情床上av| 无人区码免费观看不卡| 在线观看免费视频日本深夜| 中文字幕另类日韩欧美亚洲嫩草| 一级毛片精品| 国产一卡二卡三卡精品| 美女扒开内裤让男人捅视频| 新久久久久国产一级毛片| 99riav亚洲国产免费| 香蕉久久夜色| 亚洲av日韩精品久久久久久密| 男女高潮啪啪啪动态图| videos熟女内射| 中文欧美无线码| 亚洲va日本ⅴa欧美va伊人久久| 十八禁网站免费在线| 一级片'在线观看视频| 中文字幕制服av| 亚洲五月天丁香| 亚洲国产欧美网| a级片在线免费高清观看视频| e午夜精品久久久久久久| 日本黄色视频三级网站网址 | 精品一区二区三区视频在线观看免费 | 欧美日本中文国产一区发布| 夫妻午夜视频| 亚洲第一av免费看| 十分钟在线观看高清视频www| 国产一区二区三区视频了| cao死你这个sao货| 精品久久久久久久久久免费视频 | 在线永久观看黄色视频| 国产精品亚洲av一区麻豆| 久久久久久免费高清国产稀缺| 久久中文字幕一级| 丝袜美足系列| 久久久久精品人妻al黑| 黑人欧美特级aaaaaa片| 久久久精品免费免费高清| 99热网站在线观看| www.自偷自拍.com| 午夜精品久久久久久毛片777| 国产精品免费视频内射| 精品免费久久久久久久清纯 | 大型av网站在线播放| 在线国产一区二区在线| 深夜精品福利| 男女高潮啪啪啪动态图| 午夜福利乱码中文字幕| 国产成人欧美在线观看 | 丝袜美腿诱惑在线| 亚洲人成77777在线视频| 最近最新免费中文字幕在线| 成人影院久久| 十八禁高潮呻吟视频| 亚洲精品自拍成人| 夜夜躁狠狠躁天天躁| 日韩免费av在线播放| 国产精品.久久久| 成熟少妇高潮喷水视频| 精品国产超薄肉色丝袜足j| 大陆偷拍与自拍| 国产高清videossex| www.自偷自拍.com| 交换朋友夫妻互换小说| 正在播放国产对白刺激| 亚洲三区欧美一区| 女性生殖器流出的白浆| 精品午夜福利视频在线观看一区| 丰满饥渴人妻一区二区三| 日韩三级视频一区二区三区| 两人在一起打扑克的视频| 成人永久免费在线观看视频| 国产亚洲精品第一综合不卡| 老司机影院毛片| 成人国语在线视频| a级毛片黄视频| 精品人妻熟女毛片av久久网站| 两人在一起打扑克的视频| 国产精品1区2区在线观看. | 精品免费久久久久久久清纯 | 久久久国产欧美日韩av| 亚洲av第一区精品v没综合| 夫妻午夜视频| 婷婷成人精品国产| 午夜福利免费观看在线| 精品午夜福利视频在线观看一区| 在线观看免费视频日本深夜| 成人亚洲精品一区在线观看| 国产亚洲欧美精品永久| 午夜两性在线视频| 国产一区二区三区在线臀色熟女 | 91老司机精品| 国产欧美日韩一区二区三区在线| 男女之事视频高清在线观看| 久久人妻av系列| 新久久久久国产一级毛片| 一边摸一边抽搐一进一小说 | 午夜福利免费观看在线| 午夜成年电影在线免费观看| 国产高清视频在线播放一区| 国产成人精品久久二区二区91| 欧洲精品卡2卡3卡4卡5卡区| 12—13女人毛片做爰片一| 亚洲一区二区三区欧美精品| 又紧又爽又黄一区二区| 男女下面插进去视频免费观看| 中文字幕精品免费在线观看视频| 久久人妻熟女aⅴ| 亚洲一区二区三区不卡视频| 香蕉丝袜av| 看黄色毛片网站| 亚洲精品国产精品久久久不卡| 国产在线精品亚洲第一网站| 国产精品二区激情视频| 人人澡人人妻人| 热99久久久久精品小说推荐| 国产日韩一区二区三区精品不卡| 深夜精品福利| 脱女人内裤的视频| 女人久久www免费人成看片| 国产在线一区二区三区精| 操出白浆在线播放| 韩国精品一区二区三区| 亚洲成a人片在线一区二区| 嫩草影视91久久| 在线观看免费午夜福利视频| 悠悠久久av| 成人黄色视频免费在线看| 久久久久久免费高清国产稀缺| 超色免费av| 女同久久另类99精品国产91| 麻豆av在线久日| 一二三四在线观看免费中文在| 免费人成视频x8x8入口观看| 在线观看66精品国产| 久久天躁狠狠躁夜夜2o2o| 老司机在亚洲福利影院| 一级,二级,三级黄色视频| 国产精品1区2区在线观看. | 日日爽夜夜爽网站| 午夜福利欧美成人| 电影成人av| 最近最新中文字幕大全免费视频| 正在播放国产对白刺激| 国产日韩欧美亚洲二区| 超色免费av| 香蕉久久夜色| 国产一卡二卡三卡精品| 高清av免费在线| 久久精品国产a三级三级三级| 久久精品成人免费网站| 中国美女看黄片| 国精品久久久久久国模美| 波多野结衣av一区二区av| 麻豆av在线久日| 国产1区2区3区精品| 久久久国产欧美日韩av| 一区二区三区精品91| 亚洲专区字幕在线| 99热只有精品国产| 国产成人欧美在线观看 | 国产精品av久久久久免费| 国产在线精品亚洲第一网站| 欧美精品高潮呻吟av久久| 久久九九热精品免费| 久久精品亚洲熟妇少妇任你| 免费少妇av软件| 丝袜人妻中文字幕| 午夜日韩欧美国产| 十八禁高潮呻吟视频| 中亚洲国语对白在线视频| 女人爽到高潮嗷嗷叫在线视频| 午夜福利,免费看| 国产男女内射视频| 乱人伦中国视频| 欧美精品一区二区免费开放| 身体一侧抽搐| 99久久国产精品久久久| 色在线成人网| 法律面前人人平等表现在哪些方面| 一区福利在线观看| 9色porny在线观看| 欧美激情极品国产一区二区三区| 成人精品一区二区免费| 免费女性裸体啪啪无遮挡网站| 久久久久国产精品人妻aⅴ院 | 飞空精品影院首页| 亚洲人成伊人成综合网2020| 日本欧美视频一区| 多毛熟女@视频| 午夜福利一区二区在线看| 国产aⅴ精品一区二区三区波| 宅男免费午夜| 黄色毛片三级朝国网站| 欧美日韩亚洲综合一区二区三区_| 欧美性长视频在线观看| 色精品久久人妻99蜜桃| 999精品在线视频| 国产欧美日韩综合在线一区二区| 国产亚洲精品第一综合不卡| 免费久久久久久久精品成人欧美视频| 精品国产美女av久久久久小说| 最新美女视频免费是黄的| 亚洲久久久国产精品| 日日爽夜夜爽网站| 欧美日韩亚洲综合一区二区三区_| 欧美国产精品va在线观看不卡| av超薄肉色丝袜交足视频| 一边摸一边做爽爽视频免费| 99精品久久久久人妻精品| 91字幕亚洲| 成人国语在线视频| 久久久精品免费免费高清| 黑人猛操日本美女一级片| 18禁国产床啪视频网站| 久久国产亚洲av麻豆专区| 99精国产麻豆久久婷婷| 女性被躁到高潮视频| 麻豆av在线久日| 亚洲精品中文字幕在线视频| 极品人妻少妇av视频| 国产又爽黄色视频| 91大片在线观看| 19禁男女啪啪无遮挡网站| 咕卡用的链子| 大型av网站在线播放| 一边摸一边做爽爽视频免费| 免费在线观看黄色视频的| 国产日韩欧美亚洲二区| 欧洲精品卡2卡3卡4卡5卡区| av中文乱码字幕在线| 亚洲欧美激情综合另类| 国产又爽黄色视频| 搡老乐熟女国产| 日本黄色日本黄色录像| 9191精品国产免费久久| 电影成人av| 国产99白浆流出| 国产麻豆69| 国产精品久久久av美女十八| 成人影院久久| 国产三级黄色录像| 欧美日韩瑟瑟在线播放| 在线观看免费日韩欧美大片| 亚洲伊人色综图| 大码成人一级视频| 1024香蕉在线观看| 少妇猛男粗大的猛烈进出视频| 91av网站免费观看| 又紧又爽又黄一区二区| 国产国语露脸激情在线看| 在线视频色国产色| 久久国产精品人妻蜜桃| 国产精品一区二区在线观看99| 岛国在线观看网站| 欧美成狂野欧美在线观看| 99国产极品粉嫩在线观看| 人妻久久中文字幕网| 欧美黄色片欧美黄色片| 精品国产国语对白av| 亚洲一码二码三码区别大吗| 一区二区三区激情视频| 99热网站在线观看| 少妇被粗大的猛进出69影院| 真人做人爱边吃奶动态| 在线看a的网站| 欧美日韩瑟瑟在线播放| 久久久久久久精品吃奶| 女同久久另类99精品国产91| 美女 人体艺术 gogo| 精品亚洲成a人片在线观看| 很黄的视频免费| 女人高潮潮喷娇喘18禁视频| 成人18禁在线播放| videosex国产| 成年版毛片免费区| 精品熟女少妇八av免费久了| 国产又爽黄色视频| 怎么达到女性高潮| 狠狠婷婷综合久久久久久88av| 久热爱精品视频在线9| 欧美日韩一级在线毛片| 久久狼人影院| 国精品久久久久久国模美| 亚洲七黄色美女视频| 激情视频va一区二区三区| av片东京热男人的天堂| 国产不卡av网站在线观看| 一区二区三区国产精品乱码| 亚洲aⅴ乱码一区二区在线播放 | 久久久水蜜桃国产精品网| 欧美乱色亚洲激情| 黄片大片在线免费观看| 涩涩av久久男人的天堂| 制服人妻中文乱码| 久久中文字幕一级| 国产亚洲一区二区精品| 亚洲成国产人片在线观看| 免费在线观看完整版高清| 好看av亚洲va欧美ⅴa在| 18在线观看网站| 99国产极品粉嫩在线观看| 夫妻午夜视频| 国产成人精品在线电影| 亚洲精品成人av观看孕妇| 午夜老司机福利片| 精品国产美女av久久久久小说| 色播在线永久视频| 丝袜人妻中文字幕| 精品亚洲成国产av| 91老司机精品| 亚洲av日韩在线播放| 极品人妻少妇av视频| 欧美黑人精品巨大| 成人精品一区二区免费| 国产精品久久视频播放| 国产精品影院久久| 最近最新中文字幕大全电影3 | 丁香六月欧美| 亚洲国产欧美一区二区综合| 黑人巨大精品欧美一区二区蜜桃| 丰满人妻熟妇乱又伦精品不卡| 露出奶头的视频| 精品少妇一区二区三区视频日本电影| 免费不卡黄色视频| 亚洲男人天堂网一区| 不卡av一区二区三区| 一区在线观看完整版| 国产xxxxx性猛交| 脱女人内裤的视频| 天天操日日干夜夜撸| 久久久久久久国产电影| √禁漫天堂资源中文www| 亚洲中文av在线| 变态另类成人亚洲欧美熟女 | 久久久国产成人免费| 国产xxxxx性猛交| 日日摸夜夜添夜夜添小说| 亚洲七黄色美女视频| 丝袜在线中文字幕| 亚洲国产中文字幕在线视频| 国产精品一区二区在线观看99| 一边摸一边做爽爽视频免费| 18禁裸乳无遮挡动漫免费视频| 日本精品一区二区三区蜜桃| 热99国产精品久久久久久7| 麻豆国产av国片精品| av在线播放免费不卡| 成人精品一区二区免费| 99riav亚洲国产免费| 欧美av亚洲av综合av国产av| 亚洲色图综合在线观看| av超薄肉色丝袜交足视频| 婷婷精品国产亚洲av在线 | 成人亚洲精品一区在线观看| 亚洲欧美激情在线| 大码成人一级视频| 亚洲中文av在线| 国产视频一区二区在线看| 国产单亲对白刺激| 大香蕉久久网| 麻豆乱淫一区二区| 国产单亲对白刺激| 国产一区二区激情短视频| 亚洲欧美精品综合一区二区三区| 亚洲欧美激情综合另类| 人人妻人人爽人人添夜夜欢视频| 欧美 亚洲 国产 日韩一| 亚洲色图 男人天堂 中文字幕| 成年动漫av网址| 亚洲欧美一区二区三区久久| 久久午夜亚洲精品久久| 亚洲精品久久成人aⅴ小说| 咕卡用的链子| 久久久国产成人免费| 日韩欧美一区二区三区在线观看 | 欧美日韩中文字幕国产精品一区二区三区 | 亚洲av欧美aⅴ国产| 纯流量卡能插随身wifi吗| 国产高清国产精品国产三级| 亚洲七黄色美女视频| 国产深夜福利视频在线观看| 两个人看的免费小视频| 免费人成视频x8x8入口观看| 国产男靠女视频免费网站| 免费在线观看日本一区| 俄罗斯特黄特色一大片| 国产精品国产高清国产av | 日韩欧美一区二区三区在线观看 | 久久久久精品人妻al黑| 少妇 在线观看|