• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    認(rèn)知網(wǎng)絡(luò)分析法及其應(yīng)用案例分析

    2019-07-08 02:25王志軍楊陽
    電化教育研究 2019年6期
    關(guān)鍵詞:學(xué)習(xí)分析案例分析

    王志軍 楊陽

    [摘 ? 要] 認(rèn)知網(wǎng)絡(luò)分析法(ENA)是在教育大數(shù)據(jù)與學(xué)習(xí)分析快速發(fā)展的大背景下產(chǎn)生的一種日益重要的表征學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)的研究方法。研究采用文獻(xiàn)研究法和案例研究法,從概念、理論基礎(chǔ)、分析過程、支持工具、研究案例和特征等方面對認(rèn)知網(wǎng)絡(luò)分析法進(jìn)行系統(tǒng)介紹。研究發(fā)現(xiàn),該方法是一種以認(rèn)知框架理論為基礎(chǔ),通過建構(gòu)動態(tài)網(wǎng)絡(luò)模型對學(xué)習(xí)者個體和群體的認(rèn)知元素間的網(wǎng)絡(luò)關(guān)系進(jìn)行可視化表征、分析的方法。該方法包括“基于節(jié)的編碼”和“創(chuàng)建動態(tài)模型”兩個階段和八個具體操作環(huán)節(jié)。ENA Webkit是一個重要的支持認(rèn)知網(wǎng)絡(luò)分析的工具。當(dāng)前,該方法在協(xié)作學(xué)習(xí)、實(shí)踐社區(qū)以及學(xué)習(xí)評價(jià)中被廣泛應(yīng)用,并通過與其他方法的深度融合對學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)進(jìn)行深層次表征、分析和比較。它具有以下特征:對要素間共現(xiàn)關(guān)系的關(guān)注是其核心;可多層次、動態(tài)化表征個體和群體的認(rèn)知網(wǎng)絡(luò);是一種思維工具,可基于多個理論框架多維表征學(xué)習(xí)者的認(rèn)知發(fā)展;還是一種基于證據(jù)的深度學(xué)習(xí)評價(jià)方式。

    [關(guān)鍵詞] 認(rèn)知網(wǎng)絡(luò)分析; 認(rèn)知框架; 學(xué)習(xí)分析; 共現(xiàn)性; 案例分析

    [中圖分類號] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 王志軍(1986—),女,湖南湘潭人。副教授,博士,主要從事在線學(xué)習(xí)理論與實(shí)踐研究。E-mail:jnuwzj

    @jiangnan.edu.cn。

    一、引 ? 言

    認(rèn)知神經(jīng)科學(xué)發(fā)現(xiàn),人類的學(xué)習(xí)是多個腦區(qū)共同參與、協(xié)同作用的結(jié)果。學(xué)習(xí)的過程就是雕刻大腦神經(jīng)元之間的連接,建構(gòu)認(rèn)知網(wǎng)絡(luò)的過程。同時,人的行為是認(rèn)知網(wǎng)絡(luò)的一種外在表現(xiàn)。因此,對認(rèn)知網(wǎng)絡(luò)的分析及其結(jié)構(gòu)的表征可以從兩個方面展開:(1)依托于腦科學(xué)和認(rèn)知神經(jīng)科學(xué)進(jìn)行直接表征;(2)通過學(xué)習(xí)者外在的學(xué)習(xí)行為和學(xué)習(xí)成果的表現(xiàn)來間接表征。前一種方式最為科學(xué),但因受技術(shù)與相關(guān)學(xué)科發(fā)展的限制,當(dāng)前還難以實(shí)現(xiàn);而后一種方式,隨著教育大數(shù)據(jù)和學(xué)習(xí)分析的發(fā)展其可行性越來越大。

    在學(xué)習(xí)分析領(lǐng)域,研究者一般借助于社會網(wǎng)絡(luò)分析、語義分析、數(shù)據(jù)可視化分析等方法對學(xué)習(xí)者的學(xué)習(xí)行為進(jìn)行分析,雖然這些方法也可以側(cè)面、間接地表征學(xué)習(xí)者的內(nèi)部認(rèn)知結(jié)構(gòu),但是難以全面、動態(tài)地呈現(xiàn)學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)與變化。隨著學(xué)習(xí)分析的不斷發(fā)展,該領(lǐng)域出現(xiàn)了一種可以對學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)進(jìn)行分析的方法,即認(rèn)知網(wǎng)絡(luò)分析法(Epistemic Network Analysis,簡稱ENA),它可對學(xué)習(xí)者在交互過程中產(chǎn)生的文本記錄進(jìn)行量化分析,并形成動態(tài)網(wǎng)絡(luò)模型以表征學(xué)習(xí)者認(rèn)知元素間的關(guān)聯(lián)結(jié)構(gòu),并進(jìn)一步表征學(xué)習(xí)者的認(rèn)知特征。該方法是教育大數(shù)據(jù)與學(xué)習(xí)分析發(fā)展的大背景下日益重要的研究方法。本文旨在從概念、理論基礎(chǔ)、分析過程、支持工具、研究案例和特征等方面對認(rèn)知網(wǎng)絡(luò)分析法進(jìn)行系統(tǒng)介紹,以期為研究者提供一種深入表征學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)及其關(guān)系的方法。

    二、認(rèn)知網(wǎng)絡(luò)分析的定義與理論基礎(chǔ)

    (一)認(rèn)知網(wǎng)絡(luò)分析的定義與發(fā)展

    美國加州大學(xué)伯克利分校的DiSessa將學(xué)習(xí)描述為一個過程,在這個過程中,經(jīng)驗(yàn)知識中孤立的元素通過理論框架聯(lián)系在一起,以此發(fā)展新的知識,而且還可以對知識形成深入、系統(tǒng)的理解[1]。而認(rèn)知網(wǎng)絡(luò)分析法的主要研究者美國威斯康星大學(xué)教育研究中心的Shaffer則將學(xué)習(xí)描述為認(rèn)知框架的發(fā)展,這種認(rèn)知框架是一種在實(shí)踐社區(qū)或小組中的成員分享框架、調(diào)查以及解決復(fù)雜問題時表現(xiàn)出的知識、技能、思維習(xí)慣以及其他認(rèn)知元素間的關(guān)聯(lián)模式[2]。盡管DiSessa和Shaffer對學(xué)習(xí)有著不同的表述,但是他們都認(rèn)為學(xué)習(xí)并不是知識點(diǎn)或技能的單獨(dú)呈現(xiàn),而是在這些知識與能力間建立連接,即認(rèn)知元素間的連接結(jié)構(gòu)比這些元素單獨(dú)的出現(xiàn)更重要[1-2]?;谝陨侠碚摶A(chǔ),ENA被設(shè)計(jì)出來,以對認(rèn)知元素間的連接結(jié)構(gòu)進(jìn)行建模表征[2]。

    因此,ENA是一種借助于認(rèn)知框架理論,對學(xué)習(xí)者在交互過程中的文本數(shù)據(jù)進(jìn)行量化編碼,并采用動態(tài)網(wǎng)絡(luò)模型對學(xué)習(xí)者認(rèn)知元素間的網(wǎng)絡(luò)關(guān)系進(jìn)行表征與分析的重要方法[2]。它既可以量化和表征網(wǎng)絡(luò)中元素間的連接結(jié)構(gòu)及關(guān)聯(lián)強(qiáng)度,也可以表征連接的結(jié)構(gòu)與強(qiáng)度隨時間發(fā)生的變化情況[2]。即ENA可以實(shí)現(xiàn)對個人或群體的復(fù)雜認(rèn)知網(wǎng)絡(luò)的可視化表征,并直觀化地對不同的復(fù)雜認(rèn)知網(wǎng)絡(luò)進(jìn)行對比,從而了解不同網(wǎng)絡(luò)間的差異。

    (二)理論基礎(chǔ):認(rèn)知框架理論

    認(rèn)知網(wǎng)絡(luò)分析法根植于認(rèn)知框架理論[3]??蚣苓@一概念源自Goffman,他從框架的角度解釋活動,認(rèn)為活動是形成知覺與行動的規(guī)則和前提,也是用來闡述經(jīng)驗(yàn)的規(guī)范和實(shí)踐,因此,一個認(rèn)知框架也可以通過個人在真實(shí)任務(wù)中展現(xiàn)出的行動和交互表現(xiàn)出來[4]。認(rèn)知框架理論用于表征實(shí)踐社區(qū)中學(xué)習(xí)者思考、實(shí)踐等行為方式[3]。ENA中常用的認(rèn)知框架為SKIVE框架[3],包括技能(Skill)、知識(Knowledge)、身份(Identity)、價(jià)值(Value)以及認(rèn)識論(Epistemology)五個維度,具體解釋如下:“技能”表示在認(rèn)知活動中學(xué)習(xí)者做事情的能力[5]。這種能力可以具體化為學(xué)習(xí)者通過口頭或書面進(jìn)行清晰溝通表達(dá)的能力;學(xué)習(xí)者能夠收集、組織、分析信息;學(xué)習(xí)者有批判思考的能力,并且可以基于不同的立場進(jìn)行驗(yàn)證;學(xué)習(xí)者可以從他人的角度看待問題等[5]?!爸R”表示學(xué)習(xí)者在認(rèn)知活動過程中分享的針對問題、任務(wù)等的理解與看法。具體可以包括對相關(guān)政策、機(jī)構(gòu)等的了解;對活動社區(qū)具體運(yùn)行規(guī)則的掌握;對當(dāng)前認(rèn)知活動過程中面臨的困難的理解;對活動多樣性的理解等方面[3,5]?!吧矸荨北硎緦?shí)踐社區(qū)中成員對于自身的看法,即在進(jìn)行認(rèn)知活動的過程中,通過施展技能、實(shí)施決策等行為,學(xué)習(xí)者找到并在社區(qū)活動過程中展現(xiàn)出自身的身份定位[5]?!皟r(jià)值”表示認(rèn)知活動中參與成員所持有的信念,它可用于指導(dǎo)、驅(qū)動學(xué)習(xí)者在實(shí)踐社區(qū)中使用技能與知識[4]?!罢J(rèn)識論”表示在活動社區(qū)中學(xué)習(xí)者能夠清楚認(rèn)識相應(yīng)行為或言論的特征及屬性,并能提供相應(yīng)證據(jù)來證明其合理性[5]。

    SKIVE認(rèn)知框架中的每個維度在微觀層次上可以細(xì)分為多個子維度[5],在ENA中可以基于這五個維度對參與者產(chǎn)生的行為數(shù)據(jù)進(jìn)行編碼。通過這五個維度及其在文本中的共現(xiàn)關(guān)系來表征學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)。其中,共現(xiàn)關(guān)系表示文本數(shù)據(jù)中認(rèn)知元素之間的連接關(guān)系,即在認(rèn)知網(wǎng)絡(luò)分析中,利用SKIVE框架中的概念共現(xiàn)來表征認(rèn)知連接的建立[2]。

    ENA可直觀展現(xiàn)學(xué)習(xí)者復(fù)雜認(rèn)知網(wǎng)絡(luò)中的連接結(jié)構(gòu),了解學(xué)習(xí)者在活動社區(qū)中的認(rèn)知行為,促進(jìn)研究者對學(xué)習(xí)者個體進(jìn)行分析。該方法還可以對學(xué)習(xí)者在認(rèn)知活動周期內(nèi)的認(rèn)知元素關(guān)聯(lián)結(jié)構(gòu)及強(qiáng)度進(jìn)行追蹤,并進(jìn)一步預(yù)測學(xué)習(xí)者可能產(chǎn)生的學(xué)習(xí)行為。

    三、認(rèn)知網(wǎng)絡(luò)分析的過程與支持工具

    (一)認(rèn)知網(wǎng)絡(luò)分析的過程

    認(rèn)知網(wǎng)絡(luò)分析研究共包括四個階段:確定研究問題與目標(biāo)、收集數(shù)據(jù)、基于節(jié)進(jìn)行編碼、建立動態(tài)網(wǎng)絡(luò)模型。其中,第一、二階段與其他研究基本相同,即研究者需要明確研究問題與目標(biāo),并在相應(yīng)的理論指導(dǎo)下進(jìn)行數(shù)據(jù)收集與處理。其不同點(diǎn)在于對學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)的關(guān)注:如“在認(rèn)知活動中不同成績的學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)有怎樣的差異”“在社會網(wǎng)絡(luò)中不同位置的學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)有怎樣的特點(diǎn)與差異”等。而數(shù)據(jù)收集階段,主要對反映學(xué)習(xí)者認(rèn)知水平的互動性文本數(shù)據(jù)進(jìn)行收集。認(rèn)知網(wǎng)絡(luò)分析的特殊性主要體現(xiàn)在基于節(jié)進(jìn)行編碼、建立動態(tài)網(wǎng)絡(luò)模型兩個階段(如圖1所示)。其中,基于節(jié)的編碼包括分節(jié)和數(shù)據(jù)編碼,動態(tài)網(wǎng)絡(luò)建模又包括以節(jié)為單位進(jìn)行數(shù)據(jù)累積、創(chuàng)建鄰接矩陣、累積單元內(nèi)不同節(jié)的鄰接矩陣、向量歸一化、奇異值降維分解和形成模型六個過程。

    1. 基于節(jié)的編碼

    該過程包括數(shù)據(jù)分節(jié)和數(shù)據(jù)編碼兩個部分,其中,分節(jié)是編碼開展的重要前提。在ENA中,研究者在開展編碼之前,需要根據(jù)數(shù)據(jù)格式規(guī)范對數(shù)據(jù)分節(jié)進(jìn)行處理,然后再以節(jié)為基礎(chǔ)對交互數(shù)據(jù)進(jìn)行編碼,最后再將編碼數(shù)據(jù)轉(zhuǎn)化為空間模型[6]。

    (1)分節(jié)

    節(jié)是認(rèn)知網(wǎng)絡(luò)分析中的重要概念。以節(jié)為基礎(chǔ)的交互數(shù)據(jù)包括四個重要組成部分,分別是目標(biāo)對象、不同對象之間的關(guān)系、一系列表征對象之間關(guān)系的節(jié),以及表征認(rèn)知元素間存在關(guān)系的證據(jù)[6]。①目標(biāo)對象指模型中的人、相關(guān)概念或其他連接網(wǎng)絡(luò)的事物[6]。②對象間的關(guān)系是指不同對象間的關(guān)聯(lián),比如社會關(guān)系的強(qiáng)度、概念上的相似性或者任何將一個對象和另一個對象聯(lián)系在一起的互動關(guān)聯(lián)等[6]。③節(jié)可以是時間單元、過程中的步驟,也可以是可識別單元中表征對象間關(guān)系的任何方式[6]。在對獲取到的文本數(shù)據(jù)進(jìn)行整理編碼時,應(yīng)以“節(jié)”為單位,對若干個編碼行進(jìn)行二進(jìn)制編碼。不同節(jié)中的交互數(shù)據(jù)組成了文本“單元”,一個單元中同一節(jié)的數(shù)據(jù)彼此關(guān)聯(lián),而不在同一節(jié)的數(shù)據(jù)彼此不相關(guān)[4]。④證據(jù)指數(shù)據(jù)行中可用于標(biāo)識認(rèn)知元素間關(guān)系的標(biāo)志。Shaffer等人將同一節(jié)中概念的共現(xiàn)作為認(rèn)知元素間建立連接的標(biāo)志[4]。

    (2)編碼

    根據(jù)認(rèn)知框架對學(xué)習(xí)者的認(rèn)知元素進(jìn)行編碼,采用二進(jìn)制的編碼方式,將符合框架維度的元素編碼為“1”,將不符合的元素編碼為“0”。表1展示了樣本數(shù)據(jù)集RS Data中的部分編碼內(nèi)容(編碼數(shù)據(jù)選取自:http://www.epistemicnetwork.org/),即研究者根據(jù)不同小組內(nèi)的小組成員在參加兩次游戲時的認(rèn)知活動,以二進(jìn)制編碼的形式對其中符合認(rèn)知框架的元素進(jìn)行編碼。

    值得一提的是,除了可以使用SKIVE認(rèn)知框架進(jìn)行編碼,研究者還可以根據(jù)實(shí)際的認(rèn)知活動,采用主題建模、潛在狄利克雷分布(LDA)、自動內(nèi)容分析等方法對學(xué)習(xí)者的交互文本進(jìn)行處理與編碼,并將其與認(rèn)知網(wǎng)絡(luò)分析法進(jìn)行結(jié)合,建立學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型。

    2. 動態(tài)網(wǎng)絡(luò)建模

    建模是認(rèn)知網(wǎng)絡(luò)分析最重要的階段。研究者根據(jù)認(rèn)知編碼,以節(jié)為單位,對同一節(jié)中的編碼數(shù)據(jù)行進(jìn)行累積,繼而通過創(chuàng)建鄰接矩陣,累積單元內(nèi)的鄰接矩陣,進(jìn)行向量歸一化與奇異值降維分解等完成學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)建模,從而直觀化、可視化表征學(xué)習(xí)者認(rèn)知元素之間的連接結(jié)構(gòu)。

    (1)以“節(jié)”為單位,對數(shù)據(jù)行進(jìn)行累積

    由于單元內(nèi)的數(shù)據(jù)由不同的節(jié)組成,同一節(jié)中的數(shù)據(jù)彼此相關(guān),因此,需要按照“以節(jié)為單位”的形式對數(shù)據(jù)行進(jìn)行累積編碼。通常通過二進(jìn)制的形式進(jìn)行累積,即如果同一節(jié)中任何一行數(shù)據(jù)包含代碼A,則累積疊加之后的節(jié)中也包含代碼A[4]。如表2所示,該表根據(jù)表1的數(shù)據(jù),以“節(jié)”為單位,對同一次游戲的數(shù)據(jù)行進(jìn)行了二進(jìn)制累積編碼,以此來表示同一節(jié)中認(rèn)知元素間的關(guān)聯(lián)。

    表2 ? ? ? ? ? 不同節(jié)中數(shù)據(jù)行編碼累積表

    (2)鄰接矩陣的創(chuàng)建與累積

    ①鄰接矩陣的創(chuàng)建:ENA通過為每節(jié)中的數(shù)據(jù)編碼創(chuàng)建鄰接矩陣來表示元素編碼的共現(xiàn)[4]。對象間的關(guān)聯(lián)通過矩陣中的行和列來表示,即編碼Xi,j代表了對象i與對象j建立關(guān)聯(lián)的強(qiáng)度,并且由于對象與自身無法建立相關(guān)關(guān)系,因而矩陣的對角線為0[6]。因?yàn)镋NA是一種無向圖,所以創(chuàng)建的鄰接矩陣具有對稱性。②鄰接矩陣的累積:創(chuàng)建完每節(jié)鄰接矩陣后,為了識別數(shù)據(jù)中元素連接的結(jié)構(gòu),ENA會將每個分析單元的鄰接矩陣?yán)奂拥酵粋€累積矩陣中[2]。當(dāng)ENA為數(shù)據(jù)集中的所有單元創(chuàng)建完累積鄰接矩陣,每個矩陣都可以轉(zhuǎn)換為鄰接向量Vn,因此,這些向量也存在于高維空間V中[2]。通過這種方式,每個分析單元中對象間的連接結(jié)構(gòu)都可以由高維空間中的鄰接向量表示[2]。

    (3)向量歸一化

    在ENA的高維空間中,每個鄰接向量代表一個分析單元的關(guān)聯(lián)模式,分析單元中節(jié)的數(shù)量影響著向量的長度。同一單元中節(jié)的數(shù)量越多,代表著產(chǎn)生的共現(xiàn)也就越多,對應(yīng)的向量越長[2]。但是有可能存在兩個代表相同關(guān)聯(lián)模式的向量,它們指向同一方向,并且由于它們存在于不同的節(jié)中,因而會產(chǎn)生不同的長度[4]。因此,為了能夠準(zhǔn)確地對不同單位的認(rèn)知結(jié)構(gòu)進(jìn)行對比,就需要控制不同單元中有可能產(chǎn)生的不同數(shù)量的共現(xiàn)。因此,需要對累積的鄰接向量進(jìn)行球面歸一化處理,即將每個向量Vn除以它自身的長度,由此得到歸一化的向量[2]。

    (4)奇異值降維分解

    在完成向量歸一化之后,ENA將會采用奇異值降維分解(SVD)的方法,最大限度地提高變量在數(shù)據(jù)中的差異值,但不會重新縮放數(shù)據(jù),從而實(shí)現(xiàn)對高維空間的降維[4]。

    (5)建立模型

    在完成編碼、轉(zhuǎn)換矩陣之后,ENA會根據(jù)形成的編碼數(shù)據(jù)在二維空間中對認(rèn)知元素的連接結(jié)構(gòu)進(jìn)行可視化表征,即完成建模?!百|(zhì)心”和“節(jié)點(diǎn)的位置”是建模中的兩個重要概念。①質(zhì)心(Centroid):網(wǎng)絡(luò)的質(zhì)心類似于物體的重心,由網(wǎng)絡(luò)模型中“邊權(quán)重”的算術(shù)平均值確定[2]。如果兩個學(xué)習(xí)者建立的認(rèn)知網(wǎng)絡(luò)模型具有相同的節(jié)點(diǎn),但是這些節(jié)點(diǎn)之間的連接強(qiáng)度不同,那么這兩個學(xué)習(xí)者各自的認(rèn)知網(wǎng)絡(luò)模型的質(zhì)心也不同。質(zhì)心主要用于ENA分析過程中微觀視角向宏觀視角的轉(zhuǎn)換。即在比較不同學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)時,當(dāng)學(xué)習(xí)者數(shù)量較少,直接對比其認(rèn)知網(wǎng)絡(luò)就能發(fā)現(xiàn)其異同之處。但當(dāng)學(xué)習(xí)者的數(shù)量較多時,就需要將學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)抽象成一個點(diǎn),以此代表學(xué)習(xí)者個人的認(rèn)知網(wǎng)絡(luò),并從宏觀的投影空間對多個學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)進(jìn)行對比。②節(jié)點(diǎn)的位置:為了使網(wǎng)絡(luò)中質(zhì)心和經(jīng)過SVD旋轉(zhuǎn)之后能代表網(wǎng)絡(luò)的點(diǎn)之間的距離最小化,ENA中用一個優(yōu)化的程序來確定投影空間中節(jié)點(diǎn)的位置[4],即確定質(zhì)心的位置。ENA空間中點(diǎn)所處的位置代表了對應(yīng)的網(wǎng)絡(luò)模型的連接結(jié)構(gòu),因此,點(diǎn)在投影空間中分布的不同位置就代表了不同認(rèn)知網(wǎng)絡(luò)的最大差異[2]。那么,對多個學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)的比較就轉(zhuǎn)化為對質(zhì)心在投影空間中所處位置的分析[4]。分析人員可根據(jù)投影空間中不同點(diǎn)間距離的大小判斷相應(yīng)學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)相似度或差異性,空間中點(diǎn)間距離比較小表明對應(yīng)的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)可能存在較大的相似性,反之,距離較大則表明對應(yīng)的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)的差異性較大[2]。

    在完成模型建立之后,研究者可以對學(xué)習(xí)者在宏觀空間以及微觀層面中的認(rèn)知網(wǎng)絡(luò)模型進(jìn)行直觀對比。其中,在學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)模型的微觀層面,不同認(rèn)知元素節(jié)點(diǎn)之間連線的粗細(xì)代表了建立連接的強(qiáng)弱,而節(jié)點(diǎn)的大小代表了與周圍其他認(rèn)知元素建立連接的多少。研究者可以根據(jù)這些特征對學(xué)習(xí)者的個人認(rèn)知網(wǎng)絡(luò)進(jìn)行分析。同時,還可以基于宏觀投影空間中點(diǎn)的分布對同一學(xué)習(xí)者在不同學(xué)習(xí)時期的認(rèn)知網(wǎng)絡(luò)以及不同學(xué)習(xí)者在同一階段的認(rèn)知網(wǎng)絡(luò)進(jìn)行進(jìn)一步分析。質(zhì)心是ENA從微觀層面向宏觀層面轉(zhuǎn)化的重要中介,多個復(fù)雜的認(rèn)知網(wǎng)絡(luò)通過質(zhì)心便可以以點(diǎn)的形式在同一個二維空間中進(jìn)行直觀呈現(xiàn)。研究者可根據(jù)這些點(diǎn)的布局與位置對宏觀的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)特征進(jìn)行描述與分析。

    (二)認(rèn)知網(wǎng)絡(luò)分析的支持工具

    威斯康星教育研究中心與麥迪遜分校聯(lián)合開發(fā)了一個在線建模平臺ENA Webkit來支持認(rèn)知網(wǎng)絡(luò)分析的開展。該平臺具有處理編碼數(shù)據(jù)與建立認(rèn)知網(wǎng)絡(luò)兩大功能[2]。在處理編碼數(shù)據(jù)階段,該平臺可根據(jù)最初的編碼數(shù)據(jù)表,按照認(rèn)知網(wǎng)絡(luò)分析法的處理過程對其進(jìn)行自動化處理,并將編碼結(jié)果可視化表征出來,即創(chuàng)建出關(guān)于學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型,便于研究者進(jìn)行進(jìn)一步的探索和解釋[2]。Shaffer等學(xué)者在2016年發(fā)表過關(guān)于認(rèn)知網(wǎng)絡(luò)分析的指導(dǎo)手冊,對ENA Webkit的具體使用進(jìn)行了詳細(xì)介紹,并開發(fā)了專門的網(wǎng)站(http://www.epistemicnetwork.org/)。

    ENA Webkit可對導(dǎo)入的編碼數(shù)據(jù)進(jìn)行自動化建模和可視化呈現(xiàn)。當(dāng)存在多個研究對象時,ENA Webkit會在宏觀的投影空間中對多個認(rèn)知網(wǎng)絡(luò)模型進(jìn)行呈現(xiàn)。同時,還可以在微觀層面對少數(shù)學(xué)習(xí)者間的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)的具體差異進(jìn)行對比分析。

    四、學(xué)習(xí)分析中的認(rèn)知網(wǎng)絡(luò)分析及應(yīng)用案例介紹

    ENA作為一種可動態(tài)量化表征學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)的分析方法,在學(xué)習(xí)分析領(lǐng)域有著很大的發(fā)展前景。同時,它還可以通過與多種分析方法結(jié)合,從不同角度對學(xué)習(xí)活動進(jìn)行分析,從而對學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)進(jìn)行更全面的描述與預(yù)測。本文將通過闡述ENA在協(xié)作學(xué)習(xí)[7]、實(shí)踐社區(qū)[2]以及學(xué)習(xí)評價(jià)[8]中的具體應(yīng)用案例,對該方法作進(jìn)一步的介紹。

    (一)認(rèn)知網(wǎng)絡(luò)分析在協(xié)作學(xué)習(xí)中的應(yīng)用

    協(xié)作學(xué)習(xí)已經(jīng)成為人們解決復(fù)雜任務(wù)或問題的重要方式,技術(shù)的發(fā)展增加了人們進(jìn)行協(xié)作學(xué)習(xí)的機(jī)會,也吸引著來自不同研究領(lǐng)域的學(xué)者予以關(guān)注研究[7]。在技術(shù)的支持下,人們可以借助于不同的技術(shù)工具或平臺開展協(xié)作學(xué)習(xí)活動,而活動過程中產(chǎn)生的一系列交互數(shù)據(jù)也隨即記錄在平臺中。如何利用這些數(shù)據(jù)分析活動參與者的交互程度與認(rèn)知特征是研究者重點(diǎn)關(guān)注與解決的問題。

    社會網(wǎng)絡(luò)分析法(SNA)是研究者分析活動參與者在協(xié)作學(xué)習(xí)過程中的交互程度以及發(fā)揮作用的常用方法。此方法可以表示學(xué)習(xí)者在學(xué)習(xí)過程中參與、交互以及知識建構(gòu)的情況[14],卻無法對參與者認(rèn)知層面的結(jié)構(gòu)進(jìn)行動態(tài)建模表征與預(yù)測。因此,研究者提出采用社會認(rèn)知網(wǎng)絡(luò)標(biāo)記(Social Epistemic Network Signature,簡稱SENS)的方式,即將認(rèn)知網(wǎng)絡(luò)分析(ENA)與社會網(wǎng)絡(luò)分析(SNA)進(jìn)行結(jié)合,從而對學(xué)習(xí)者在認(rèn)知活動中產(chǎn)生的交互數(shù)據(jù)進(jìn)行社會層面和認(rèn)知層面的分析[7]。

    Gasevic等人在MOOC平臺上選擇了一門課程論壇中的部分交互數(shù)據(jù),并通過SNA與ENA分別對學(xué)習(xí)者的社會網(wǎng)絡(luò)結(jié)構(gòu)與認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析,探討學(xué)習(xí)者的社會網(wǎng)絡(luò)與認(rèn)知網(wǎng)絡(luò)之間的關(guān)系。他們首先采用自動內(nèi)容分析法,并借助潛在狄利克雷分布,對文檔中的突出主題進(jìn)行抽取,共得到12個主題,其中包含與課程內(nèi)容相關(guān)的主題以及過程主題,為后續(xù)進(jìn)行認(rèn)知網(wǎng)絡(luò)分析提供數(shù)據(jù)基礎(chǔ)。在認(rèn)知網(wǎng)絡(luò)分析的過程中,探討每篇文章或評論與其前三篇文章之間的語義聯(lián)系,以此最大限度地捕捉學(xué)習(xí)者建立的有意義的聯(lián)系[7]。基于這些語義連接,創(chuàng)建了鄰接矩陣,并通過累積矩陣等操作過程,最終繪制出學(xué)習(xí)者個體認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)圖。對其進(jìn)行分析發(fā)現(xiàn),投影空間中的第一個維度(SVD1或X軸)解釋了ENA空間中46%的方差,其中過程分?jǐn)?shù)較高的參與者更關(guān)注課程的過程和程序,即他們在與過程相關(guān)的主題之間建立更多的連接。ENA投影空間中第二個維度(SVD2或Y軸)解釋了ENA空間中18%的方差,這表明內(nèi)容分?jǐn)?shù)高的參與者將會在與內(nèi)容相關(guān)的主題之間建立更多連接[7]。

    為了了解學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)和社會網(wǎng)絡(luò)之間的關(guān)系,以及ENA和SNA可以在多大程度上幫助研究者了解學(xué)習(xí)者的協(xié)作學(xué)習(xí)過程,研究者通過聚類分析和社會認(rèn)知網(wǎng)絡(luò)分析,并結(jié)合多元線性回歸分析對高成效表現(xiàn)和低成效表現(xiàn)組的學(xué)習(xí)者的差異進(jìn)行了描述與分析[7]。

    總體來說,在對學(xué)習(xí)者的協(xié)作學(xué)習(xí)過程進(jìn)行分析時,采用ENA可以拓寬研究思路,使研究不僅僅關(guān)注學(xué)習(xí)者之間建立的社會連接,更關(guān)注學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)的建立,從而從社會層面和認(rèn)知層面對協(xié)作學(xué)習(xí)進(jìn)行研究,并進(jìn)一步預(yù)測學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)。

    (二)認(rèn)知網(wǎng)絡(luò)分析在實(shí)踐社區(qū)中的應(yīng)用

    實(shí)踐社區(qū)(Community of Practice)是一個社會學(xué)習(xí)系統(tǒng),即許多人在這個系統(tǒng)中共同分享他們的興趣并從事增進(jìn)聯(lián)系的集體學(xué)習(xí)[9-10]。在實(shí)踐社區(qū)中,學(xué)習(xí)者處于問題解決式的情境,即教師通過給學(xué)習(xí)者創(chuàng)建一個問題解決的情境,使學(xué)習(xí)者扮演不同的角色,從而模擬真實(shí)情境下解決問題的過程,借此培養(yǎng)學(xué)習(xí)者的實(shí)踐能力、創(chuàng)新能力等。教師或研究者雖然可以借助社會網(wǎng)絡(luò)分析、內(nèi)容分析、問卷調(diào)查等方式對反映學(xué)習(xí)者的參與度、貢獻(xiàn)程度、實(shí)踐能力等方面的數(shù)據(jù)進(jìn)行分析與評價(jià),但是這些方法、手段卻沒有辦法對學(xué)習(xí)者在實(shí)踐社區(qū)中形成的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行直觀呈現(xiàn)與分析,也不能對不同學(xué)習(xí)者的認(rèn)知結(jié)構(gòu)進(jìn)行直觀對比。

    在本案例中,研究者以“在線工程設(shè)計(jì)模擬”活動為例,使學(xué)習(xí)者在一個模擬的工作環(huán)境中解決一個現(xiàn)實(shí)的工程設(shè)計(jì)問題,即學(xué)習(xí)者在一家虛擬的公司中,通過審閱公司內(nèi)部的技術(shù)文件,研究相關(guān)背景,從而進(jìn)行工程設(shè)計(jì),并根據(jù)實(shí)驗(yàn)數(shù)據(jù)對研究成果進(jìn)行檢驗(yàn)[2,11-13]。研究者利用認(rèn)知網(wǎng)絡(luò)分析法對學(xué)習(xí)者在這項(xiàng)工程設(shè)計(jì)中進(jìn)行的認(rèn)知活動進(jìn)行了定量與定性的分析,以此對學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行動態(tài)建構(gòu)表征,進(jìn)而探究不同學(xué)習(xí)者的認(rèn)知特征。

    在本案例中,學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)是由與工程實(shí)踐活動相關(guān)的認(rèn)知元素相互建立連接形成的。研究者利用認(rèn)知框架對學(xué)習(xí)者的認(rèn)知活動元素進(jìn)行了編碼,之后通過形成鄰接矩陣、向量歸一化等處理之后建立了學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型。圖2顯示了兩名學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型,其中學(xué)習(xí)者A(左側(cè)圖)的認(rèn)知網(wǎng)絡(luò)是在知識元素和技能元素之間建立連接,而學(xué)習(xí)者B(右側(cè)圖)的認(rèn)知網(wǎng)絡(luò)不僅在知識和技能元素之間建立了連接,也在價(jià)值、認(rèn)識論等元素之間形成了連接,這表明在“在線工程設(shè)計(jì)”的活動中,學(xué)習(xí)者B擔(dān)當(dāng)?shù)墓こ處熆紤]的比學(xué)習(xí)者A更加全面。同時,圖中連接線的粗細(xì)代表了元素之間連接的強(qiáng)弱,因此,通過觀察可以發(fā)現(xiàn),圖中學(xué)習(xí)者A和學(xué)習(xí)者B在進(jìn)行認(rèn)知活動時各有不同的側(cè)重點(diǎn)。

    由于在認(rèn)知網(wǎng)絡(luò)模型中,每個認(rèn)知元素都有固定的空間位置點(diǎn),因此,可以通過對少數(shù)(一般是兩個)不同的認(rèn)知網(wǎng)絡(luò)模型進(jìn)行做差相減,實(shí)現(xiàn)它們之間的對比。當(dāng)需要對該活動中多名學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)進(jìn)行分析時,ENA會通過抽取認(rèn)知網(wǎng)絡(luò)質(zhì)心的方式,在投影空間中對多個質(zhì)心的空間分布進(jìn)行直觀展示,以此來對多名學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)進(jìn)行對比。研究者利用兩個維度上的置信區(qū)間計(jì)算出兩組學(xué)習(xí)者(A組、B組)在投影空間中的平均位置,并通過獨(dú)立樣本t檢驗(yàn),發(fā)現(xiàn)兩組學(xué)習(xí)者在第二維度上有顯著性差異(mA=0.079,mB=-0.079;p<0.001,t=4.231)。其中,A組學(xué)習(xí)者更多的是在基礎(chǔ)知識和技能方面建立更多的連接,B組學(xué)習(xí)者更多的是在認(rèn)識論元素和與設(shè)計(jì)相關(guān)的知識元素之間建立更多連接。如圖3所示。

    借助于ENA,研究者可以對實(shí)踐社區(qū)中學(xué)習(xí)者開展的認(rèn)知活動進(jìn)行分析,建立學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型,直觀地了解學(xué)習(xí)者在參與活動過程中的認(rèn)知特征,明確學(xué)習(xí)者在不同元素之間的連接關(guān)系以及關(guān)系的強(qiáng)弱。并且,還可以通過對學(xué)習(xí)者在不同時間段的認(rèn)知網(wǎng)絡(luò)的對比分析發(fā)現(xiàn)其認(rèn)知發(fā)展變化,有利于在實(shí)際的教學(xué)活動中引導(dǎo)和培養(yǎng)學(xué)習(xí)者的認(rèn)知發(fā)展。

    (三)認(rèn)知網(wǎng)絡(luò)分析在評價(jià)中的應(yīng)用

    技術(shù)的發(fā)展使教師可以更好、更全面地評價(jià)學(xué)習(xí)者的學(xué)習(xí)行為,但當(dāng)前的很多評價(jià)方式無法直觀地展現(xiàn)學(xué)習(xí)者的認(rèn)知特征。尤其是當(dāng)學(xué)習(xí)者遞交的是文本類的作業(yè)文檔(如課程論文)時,教師只能根據(jù)文檔情況進(jìn)行打分,卻無法真實(shí)地了解文檔背后反映的認(rèn)知活動。而對認(rèn)知活動的分析與了解(尤其是對于成績不理想的這類學(xué)習(xí)者),可以進(jìn)一步幫助教師開展有針對性的教學(xué)和輔導(dǎo)。

    在本案例中,16名學(xué)習(xí)者被要求通過使用傳記、文學(xué)批判、讀者回應(yīng)或者現(xiàn)象學(xué)研究的方法對虛擬文學(xué)進(jìn)行分析,并最終通過作業(yè)論文呈現(xiàn)個人分析[8]。研究者將論文文本分割成不同的片段,并對每一片段中涉及的關(guān)鍵詞進(jìn)行編碼,建立了16名學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)模型,對學(xué)習(xí)者在寫作中的復(fù)雜思維進(jìn)行了直觀化的展現(xiàn),幫助教師進(jìn)行總結(jié)性評價(jià)以及理解學(xué)習(xí)者進(jìn)行學(xué)科學(xué)習(xí)時的認(rèn)知特征。在進(jìn)行具體編碼時,研究者使用兩組關(guān)鍵詞來分析學(xué)習(xí)者的文章,第一組包含8個一般的文學(xué)分析術(shù)語:報(bào)告、環(huán)境、講述者、主題、解釋、體裁、分析和描述;第二組包含8個文學(xué)分析中的特定關(guān)鍵詞:作者身份、鏡像、層次、文本細(xì)讀、空白、歧義、過度決定和非充分決定。其中,第一組歸為第一種編碼方式,第一組與第二組結(jié)合構(gòu)成第二種編碼方式。

    為了分析這些論文,研究者根據(jù)這些論文的分?jǐn)?shù)將文章分為低水平、中等水平和高水平三類,通過對這三類論文的平均認(rèn)知網(wǎng)絡(luò)進(jìn)行對比,發(fā)現(xiàn)學(xué)習(xí)者在寫作時的思維差異。圖4顯示了三類不同寫作水平學(xué)習(xí)者的平均認(rèn)知網(wǎng)絡(luò)。從總體上看,在采用第一種編碼方式得到的認(rèn)知網(wǎng)絡(luò)模型中,中等水平和高水平成績的學(xué)習(xí)者建立的認(rèn)知連接要多于低水平學(xué)習(xí)者,高水平學(xué)習(xí)者在不同元素間建立的連接最多,而低水平學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)中缺少“環(huán)境”“報(bào)告”兩個因素,并且在元素“描述”和“解釋”之間沒有建立連接。

    除此之外,研究者也利用第二種編碼方式對三類文章進(jìn)行編碼,并建立了認(rèn)知網(wǎng)絡(luò)模型(如圖5所示)。其中,低水平的學(xué)習(xí)者大多在“空白”“解釋”“分析”之間建立連接。而中等水平和高水平的學(xué)習(xí)者建立的網(wǎng)絡(luò)具有更平衡的聯(lián)系,同時,仍然強(qiáng)調(diào)“解釋”“描述”“分析”之間的聯(lián)系。

    在本案例中,研究者通過認(rèn)知網(wǎng)絡(luò)分析法對學(xué)習(xí)者的書面作業(yè)進(jìn)行了量化分析,從而幫助教師對學(xué)習(xí)者遞交的文本類作業(yè)進(jìn)行評價(jià),使得教師通過對學(xué)習(xí)者復(fù)雜思維的了解,明確學(xué)習(xí)者的薄弱環(huán)節(jié),及時給予反饋與指導(dǎo)。

    五、認(rèn)知網(wǎng)絡(luò)分析的特征與優(yōu)勢

    (一)對要素間共現(xiàn)關(guān)系的關(guān)注是認(rèn)知網(wǎng)絡(luò)分析法的核心

    ENA利用概念的共現(xiàn)來表征認(rèn)知連接的建立[2],因此,不同要素間共現(xiàn)關(guān)系的表征是ENA的核心。同時,ENA不受編碼頻率的驅(qū)動,而與編碼共同出現(xiàn)的頻率相關(guān),因此,能夠捕捉研究對象認(rèn)知框架的各個元素的協(xié)同發(fā)展情況[15],從而對元素間的共現(xiàn)關(guān)系進(jìn)行動態(tài)表征。如借助ENA可以建立學(xué)習(xí)者專業(yè)化思維的動態(tài)網(wǎng)絡(luò)模型,即研究者可以根據(jù)編碼框架,對多個關(guān)于專業(yè)化思維的認(rèn)知元素間的關(guān)聯(lián)結(jié)構(gòu)進(jìn)行建模表征,根據(jù)這些元素間連線的粗細(xì)以及表征元素的節(jié)點(diǎn)的大小,分析認(rèn)知結(jié)構(gòu)的特征。通過此方式,可以直觀化地表征學(xué)習(xí)者專業(yè)思維的發(fā)展情況,并且還可以通過結(jié)合其他的方法,全面客觀地對學(xué)習(xí)者的學(xué)習(xí)行為進(jìn)行分析。

    (二)可以多層次、動態(tài)化表征個體和群體的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)

    ENA可以從微觀和宏觀兩個層面對學(xué)習(xí)者個體和群體的認(rèn)知網(wǎng)絡(luò)進(jìn)行表征。在微觀層面,它可直觀展現(xiàn)學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu),對少量學(xué)習(xí)者之間的認(rèn)知結(jié)構(gòu)進(jìn)行差異對比。如案例二中,研究者對“在線工程設(shè)計(jì)模擬”活動中學(xué)習(xí)者的認(rèn)知特征進(jìn)行了分析,通過呈現(xiàn)學(xué)習(xí)者在此活動中的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu),以及對不同學(xué)習(xí)者之間的認(rèn)知網(wǎng)絡(luò)進(jìn)行做差相減,從而發(fā)現(xiàn)不同學(xué)習(xí)者之間的認(rèn)知差異,彌補(bǔ)學(xué)習(xí)分析領(lǐng)域中間接表征學(xué)習(xí)者認(rèn)知特征的分析方法的不足。在宏觀層面,它可對多名學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)進(jìn)行對比,也可根據(jù)學(xué)習(xí)者在一定周期內(nèi)的認(rèn)知情況,實(shí)現(xiàn)對學(xué)習(xí)者認(rèn)知結(jié)構(gòu)的動態(tài)化表征與追蹤預(yù)測。同時,認(rèn)知網(wǎng)絡(luò)分析還可以與其他分析方法進(jìn)行結(jié)合。如案例一中,研究者利用社會網(wǎng)絡(luò)分析與認(rèn)知網(wǎng)絡(luò)分析法對學(xué)習(xí)者產(chǎn)生的交互文本數(shù)據(jù)進(jìn)行社會層面與認(rèn)知層面的分析,從而從社會連接與認(rèn)知結(jié)構(gòu)兩個角度表征、分析學(xué)習(xí)者的學(xué)習(xí)情況,深度挖掘?qū)W習(xí)者的認(rèn)知特征。

    (三)它是一種可多維度表征學(xué)習(xí)者認(rèn)知發(fā)展的思維工具

    ENA不僅僅是一種研究方法,更是一種多維度表征學(xué)習(xí)者認(rèn)知發(fā)展的思維工具。研究者可以不局限于認(rèn)知框架理論提供的維度,而是結(jié)合多種研究方法對學(xué)習(xí)者的認(rèn)知發(fā)展進(jìn)行分析與表征。如吳忭等人將認(rèn)知網(wǎng)絡(luò)分析法用于對STEM教育的分析與測評,即按照“專業(yè)的知識技能”“學(xué)科認(rèn)識論能力”“專業(yè)的態(tài)度素養(yǎng)”“專業(yè)的認(rèn)同感”等方面對學(xué)習(xí)者的專業(yè)化思維進(jìn)行表征[15],通過可視化的方式呈現(xiàn)學(xué)習(xí)者的認(rèn)知發(fā)展情況,對學(xué)習(xí)者做出全面的分析與評價(jià)。研究者也可使用主題建模、自動內(nèi)容分析等方式,借助更多理論模型,對認(rèn)知元素間的共現(xiàn)關(guān)系進(jìn)行分析。如本文案例三中,借助內(nèi)容分析,自定義框架,從多個角度分析學(xué)習(xí)者的專業(yè)思維發(fā)展情況,便于教師明確學(xué)習(xí)者的薄弱環(huán)節(jié),了解學(xué)生的認(rèn)知發(fā)展?fàn)顩r,進(jìn)而及時給予指導(dǎo)與幫助,促進(jìn)學(xué)習(xí)者專業(yè)思維能力的形成與發(fā)展。

    (四)它也是一種基于證據(jù)的深度學(xué)習(xí)評價(jià)方式

    “以證據(jù)為中心”的評價(jià)設(shè)計(jì)模式是一種可以將理論、數(shù)據(jù)和分析之間的關(guān)聯(lián)進(jìn)行概念化的方式[4,16]。在這種評價(jià)設(shè)計(jì)模式中,分析框架由三種互相關(guān)聯(lián)的模型組成:學(xué)生模型、證據(jù)模型和任務(wù)模型[4,17]。學(xué)生模型代表了研究者想要評估的學(xué)習(xí)者特征或?qū)W(xué)習(xí)者進(jìn)行建模與測量的結(jié)果;任務(wù)模型代表了用于在學(xué)生模型中測量結(jié)果的活動或數(shù)據(jù);證據(jù)模型用于表述分析工具與技術(shù),并且將學(xué)生模型與任務(wù)模型連接起來,通過模型中的技術(shù)與工具對基于數(shù)據(jù)的結(jié)果進(jìn)行驗(yàn)證,進(jìn)而得出結(jié)論[4]。ENA便是一種基于證據(jù)的深度學(xué)習(xí)評價(jià)方式,它在認(rèn)知框架理論的指導(dǎo)下,利用技術(shù)與工具對學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的文本數(shù)據(jù)進(jìn)行分析與處理,從而建立學(xué)習(xí)者認(rèn)知網(wǎng)絡(luò)模型,直接對學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析,而不是通過外顯行為數(shù)據(jù)間接分析學(xué)習(xí)者的學(xué)習(xí)特征,以此對學(xué)習(xí)者的認(rèn)知發(fā)展做出更深刻、更全面的評價(jià)。

    [參考文獻(xiàn)]

    [1] DISESSA A A.Knowledge in pieces [M]//FORMAN G,PUFALL P B.Constructivism in the computer age.Hillsdale,NJ,US:Lawrence Erlbaum Associates,1988:49-70.

    [2] SHAFFER D W,COLLIER W,RUIS A R. A tutorial on epistemic network analysis: analyzing the structure of connections in cognitive,social,and interaction data[J]. Journal of learning analytics,2016,3(3):9-45.

    [3] CAI Z,EAGAN B,DOWELL N, PENNEBAKER J,GRAESSER A C,SHAFFER D W. Epistemic network analysis and topic modeling for chat data from collaborative learning environment[C]//Proceedings of the 10th International Conference on Educational Data Mining.Wuhan:EDM Society, 2017.

    [4] SHAFFER D W,RUIS A R.Epistemic network analysis:aworked example of theory-based learning analytics[M/OL]//LANG C,SIEMENS G,WISE A,et al.Handbook of learning analytics,2017:175-185[2019-04-04].https://solaresearch.org/hla-17/.

    [5] RUPP A A,CHOI Y,GUSHTA M,et al.Modeling learning progressions in epistemic games with epistemic network analysis: principles for data analysis and generation[C]//Proceedings from the Learning Progressions in Science Conference.Iowa City:IA,2009:24-26.

    [6] SHAFFER D W. Formatting data for epistemic network analysis[R]//Games and Professional Simulation(Gaps)Technical Report Series. Wisconsin Center for Education Research, University of ?Wisconsin-Madison,2014:1-15.

    [7] GASEVIC D,JOKSIMOVIC S,EAGAN B R,et al.SENS:network analytics to combine social and cognitive perspectives of collaborative learning[J].Computers in human behavior,2018,7(3):1-16.

    [8] FOUGT S S,SIEBERT-EVENSTONE A,EAGAN B,et al. Epistemic network analysis of students' longer written assignments as formative/summative evaluation[C]//Proceedings of the 8th International Conference on Learning Analytics and Knowledge. New York:ACM,2018:126-130.

    [9] 張敏霞,劉霜.教師在線實(shí)踐社區(qū)中的知識管理行為研究[J].中國電化教育,2014(9):120-125.

    [10] 王陸.教師在線實(shí)踐社區(qū)的研究綜述[J].中國電化教育, 2011(9):30-42.

    [11] CHESLER N C,RUIS A R,COLLIER W,et al. A novel paradigm for engineering education: virtual internships with individualized mentoring and assessment of engineering thinking[J]. Journal of biomechanical engineering,2015,137(2):1-8.

    [12] ARASTOOPOUR G,SHAFFER D W,SWIECKI Z,et al. Teaching and assessing engineering design thinking with virtual internships and epistemic network analysis[J]. International journal of engineering education,2016,32(2):1492-1501.

    [13] CHESLER N C,ARASTOOPOUR G,D'ANGELO C M, et al. Design of a professional practice simulator for educating and motivating first-year engineering students[J]. Advances in engineering education,2013,3(3):1-29.

    [14] 徐劉杰,陳世燈.學(xué)習(xí)者知識建構(gòu)的社會認(rèn)知網(wǎng)絡(luò)[J].開放教育研究,2017,23(5):102-112.

    [15] 吳忭,王戈,盛海曦.認(rèn)知網(wǎng)絡(luò)分析法:STEM教育中的學(xué)習(xí)評價(jià)新思路[J].遠(yuǎn)程教育雜志,2018,36(6):3-10.

    [16] MISLEVY R J,GENEUA H,RICONSCENTE M,et al.Evidence-centered assessment design[M]//MISLEVY R J,GENEUA H,RICONSCENTE M,et al.Assessing Model-Based Reasoning using Evidence-Centered Design. Cham:Springer,2017:19-24.

    [17] MISLEVY R J. Issues of structure and issues of scale in assessment from a situative/sociocultural perspective[J/OL]. National Center for Research on Evaluation Standards & Student Testing,2006(1):1-37[2019-04-04].https://files.eric.ed.gov/fulltext/ED518674.pdf.

    [Abstract] With the rapid development of educational big data and learning analysis, epistemic network analysis(ENA) is increasingly becoming an important method to characterize learners' cognitive network structure. This study adopts literature research and case study to introduce epistemic network analysis systematically from the perspectives of concept, theoretical basis, analysis process, supporting tools, research cases and features. It is found that this method can visually represent and analyze the network relationship between individual and group cognitive elements of learners by constructing dynamic network model based on the theory of cognitive framework. There are two phases of "stanza-based coding" and "creating dynamic model" and eight specific operational links in this method. ENA Webkit is an important tool to support epistemic network analysis. ENA has been widely used in collaborative learning, community of practice and learning evaluation, which can deeply characterize, analyze and compare learners' cognitive network through deep integration with other methods. ENA focuses on the co-occurrence of elements and can represent the cognitive network of individuals and groups at multiple levels and dynamically. Moreover, it is a thinking tool that can represent learners' cognitive development based on multiple theoretical frameworks, and an evidence-based evaluation method of deep learning as well.

    [Keywords] Epistemic Network Analysis; Epistemic Framework; Learning Analytics; Co-occurrence; Case Analysis

    猜你喜歡
    學(xué)習(xí)分析案例分析
    大數(shù)據(jù)思維下教學(xué)過程數(shù)據(jù)分析及應(yīng)用研究
    在線學(xué)習(xí)過程管理大數(shù)據(jù)的建設(shè)與應(yīng)用
    簡析小學(xué)勞動與技術(shù)教育的有效合作學(xué)習(xí)
    “互聯(lián)網(wǎng)+”下的商業(yè)模式創(chuàng)新案例分析
    父親缺失案例分析
    冷庫建筑火災(zāi)特點(diǎn)及調(diào)查方法研究
    淺析大數(shù)據(jù)在教育中的應(yīng)用
    高校圖書館閱讀推廣案例分析
    讓語文課堂評價(jià)語綻放異彩
    學(xué)習(xí)分析系統(tǒng)在高校課程中的實(shí)踐研究
    岛国在线免费视频观看| 91aial.com中文字幕在线观看| 亚洲精品影视一区二区三区av| 国产精品乱码一区二三区的特点| 老司机影院成人| 亚洲精品国产成人久久av| 亚洲电影在线观看av| 直男gayav资源| 午夜免费激情av| 欧美性猛交黑人性爽| 亚洲真实伦在线观看| 亚洲最大成人中文| 直男gayav资源| 亚洲精品456在线播放app| 在线观看午夜福利视频| 丰满乱子伦码专区| 日韩欧美一区二区三区在线观看| 熟女电影av网| 伦精品一区二区三区| 99热这里只有是精品50| 精品一区二区三区视频在线| 91久久精品国产一区二区三区| 哪个播放器可以免费观看大片| 精品不卡国产一区二区三区| 日韩大尺度精品在线看网址| 少妇熟女欧美另类| 日韩欧美精品免费久久| 99热只有精品国产| 久久国产乱子免费精品| 色5月婷婷丁香| 国产又黄又爽又无遮挡在线| 乱系列少妇在线播放| 久久久精品欧美日韩精品| 久久国产乱子免费精品| 波野结衣二区三区在线| 成人午夜精彩视频在线观看| 晚上一个人看的免费电影| 亚洲va在线va天堂va国产| 听说在线观看完整版免费高清| 3wmmmm亚洲av在线观看| 午夜福利在线观看免费完整高清在 | 免费电影在线观看免费观看| 1000部很黄的大片| av福利片在线观看| 人妻制服诱惑在线中文字幕| 午夜精品一区二区三区免费看| 少妇人妻精品综合一区二区 | 人妻少妇偷人精品九色| 欧美在线一区亚洲| 国国产精品蜜臀av免费| 国产不卡一卡二| 国产亚洲5aaaaa淫片| 欧美区成人在线视频| 国产精品不卡视频一区二区| 亚洲欧美精品综合久久99| 禁无遮挡网站| 91在线精品国自产拍蜜月| 久久精品国产清高在天天线| 久久精品人妻少妇| 女同久久另类99精品国产91| 可以在线观看毛片的网站| 日本三级黄在线观看| 亚洲国产精品成人久久小说 | 亚洲欧美日韩高清在线视频| 麻豆av噜噜一区二区三区| 亚洲四区av| 亚洲va在线va天堂va国产| 国产黄色小视频在线观看| 亚洲国产欧美人成| 91久久精品国产一区二区三区| 久久中文看片网| 久久99热这里只有精品18| 黄片无遮挡物在线观看| 亚洲激情五月婷婷啪啪| 国产极品精品免费视频能看的| 成人亚洲欧美一区二区av| 少妇熟女aⅴ在线视频| 亚洲精华国产精华液的使用体验 | 99热只有精品国产| 激情 狠狠 欧美| 亚洲18禁久久av| 亚洲18禁久久av| 免费电影在线观看免费观看| 久久精品国产自在天天线| 欧美又色又爽又黄视频| 亚洲精品日韩在线中文字幕 | 99久久无色码亚洲精品果冻| 黄色视频,在线免费观看| 国国产精品蜜臀av免费| 美女黄网站色视频| 国产私拍福利视频在线观看| 自拍偷自拍亚洲精品老妇| 久久精品久久久久久噜噜老黄 | 99热精品在线国产| 国产av一区在线观看免费| 美女 人体艺术 gogo| 一级毛片我不卡| 亚洲欧美日韩卡通动漫| 久久久久久久午夜电影| 亚洲自偷自拍三级| 日韩欧美一区二区三区在线观看| 欧美日本亚洲视频在线播放| 1000部很黄的大片| 高清午夜精品一区二区三区 | 亚洲内射少妇av| 哪里可以看免费的av片| 色噜噜av男人的天堂激情| 欧美一区二区精品小视频在线| 熟妇人妻久久中文字幕3abv| 久久人妻av系列| 校园春色视频在线观看| 精品人妻熟女av久视频| 99riav亚洲国产免费| 一夜夜www| 99九九线精品视频在线观看视频| 亚洲精品国产av成人精品| 丰满乱子伦码专区| 亚洲无线在线观看| 91久久精品国产一区二区三区| 国产精品免费一区二区三区在线| 综合色av麻豆| 亚洲av一区综合| 国产精品久久视频播放| 一级二级三级毛片免费看| 免费电影在线观看免费观看| 久久亚洲精品不卡| 国产av在哪里看| 此物有八面人人有两片| 边亲边吃奶的免费视频| 国产高清不卡午夜福利| 亚洲最大成人中文| 久久久久国产网址| 日韩,欧美,国产一区二区三区 | 国产久久久一区二区三区| 国产69精品久久久久777片| 国产美女午夜福利| 亚洲欧美中文字幕日韩二区| 亚洲最大成人av| av国产免费在线观看| 99久久精品一区二区三区| 老司机福利观看| 精品日产1卡2卡| 国产大屁股一区二区在线视频| 亚洲av电影不卡..在线观看| 免费看日本二区| 亚洲国产精品久久男人天堂| 校园春色视频在线观看| 在线播放国产精品三级| 别揉我奶头 嗯啊视频| 国产av一区在线观看免费| 中文在线观看免费www的网站| 成人美女网站在线观看视频| 国产欧美日韩精品一区二区| 日韩视频在线欧美| 熟妇人妻久久中文字幕3abv| 国产一级毛片七仙女欲春2| 国产精品久久久久久久电影| av福利片在线观看| 精品熟女少妇av免费看| 在线天堂最新版资源| 我的老师免费观看完整版| 国产乱人视频| av国产免费在线观看| 欧美bdsm另类| 又粗又硬又长又爽又黄的视频 | 男女视频在线观看网站免费| 最近中文字幕高清免费大全6| 青青草视频在线视频观看| 综合色丁香网| 欧美成人a在线观看| 天美传媒精品一区二区| 久久综合国产亚洲精品| 女人十人毛片免费观看3o分钟| 丰满乱子伦码专区| 最近视频中文字幕2019在线8| 亚洲国产欧美人成| 久久综合国产亚洲精品| 免费大片18禁| 欧美在线一区亚洲| 美女cb高潮喷水在线观看| 亚洲精品久久国产高清桃花| 国产精华一区二区三区| 午夜激情欧美在线| 青春草国产在线视频 | 一本精品99久久精品77| 国产精品永久免费网站| 中文字幕制服av| 一本精品99久久精品77| 国产在视频线在精品| 国产大屁股一区二区在线视频| 亚洲在线自拍视频| 亚洲丝袜综合中文字幕| 日韩一区二区视频免费看| 国产精品不卡视频一区二区| 亚洲欧美日韩东京热| 免费无遮挡裸体视频| 女同久久另类99精品国产91| 成年女人看的毛片在线观看| 日韩精品青青久久久久久| 中文亚洲av片在线观看爽| 中国美白少妇内射xxxbb| 内射极品少妇av片p| 日本一本二区三区精品| 国产精品蜜桃在线观看 | 极品教师在线视频| 免费人成在线观看视频色| 人人妻人人看人人澡| 国产成人freesex在线| 伦理电影大哥的女人| 国产亚洲精品久久久久久毛片| 亚洲人成网站在线播放欧美日韩| 中文字幕人妻熟人妻熟丝袜美| 免费观看的影片在线观看| 久久久国产成人免费| 热99re8久久精品国产| 欧美丝袜亚洲另类| 免费看日本二区| 欧美最黄视频在线播放免费| 久久亚洲国产成人精品v| 成年版毛片免费区| 国内少妇人妻偷人精品xxx网站| 亚洲真实伦在线观看| 久久精品国产自在天天线| 高清日韩中文字幕在线| 国产成人精品婷婷| 美女xxoo啪啪120秒动态图| 丝袜美腿在线中文| 能在线免费观看的黄片| 一级av片app| 国产成人a区在线观看| 国产大屁股一区二区在线视频| 美女被艹到高潮喷水动态| 大又大粗又爽又黄少妇毛片口| 免费一级毛片在线播放高清视频| 搞女人的毛片| 天堂中文最新版在线下载 | 成人永久免费在线观看视频| 久久久久久久久久久免费av| 亚洲精品自拍成人| 99热只有精品国产| 日本免费a在线| 一级黄片播放器| 久久久精品大字幕| 国产黄片美女视频| 日产精品乱码卡一卡2卡三| 亚洲一级一片aⅴ在线观看| 一级毛片电影观看 | av免费观看日本| 国产成人精品婷婷| 国产高清有码在线观看视频| 午夜老司机福利剧场| 国产片特级美女逼逼视频| 能在线免费观看的黄片| 亚洲一区高清亚洲精品| 九九爱精品视频在线观看| 丝袜喷水一区| 国产精品不卡视频一区二区| 国产精品乱码一区二三区的特点| 欧美不卡视频在线免费观看| 全区人妻精品视频| 国产av在哪里看| 91麻豆精品激情在线观看国产| 最近视频中文字幕2019在线8| 狠狠狠狠99中文字幕| 亚洲高清免费不卡视频| 国产亚洲av嫩草精品影院| 亚洲人与动物交配视频| 亚洲精品456在线播放app| 99久久成人亚洲精品观看| 国产探花在线观看一区二区| 亚洲国产日韩欧美精品在线观看| 白带黄色成豆腐渣| 亚洲精品日韩av片在线观看| 色吧在线观看| 久久久久久大精品| 嫩草影院入口| 国产69精品久久久久777片| 国内久久婷婷六月综合欲色啪| 精品久久久噜噜| 日韩,欧美,国产一区二区三区 | 美女被艹到高潮喷水动态| 欧美激情国产日韩精品一区| 成人亚洲欧美一区二区av| 91午夜精品亚洲一区二区三区| 日韩精品有码人妻一区| av免费在线看不卡| 观看美女的网站| 亚洲国产精品成人久久小说 | 国产免费一级a男人的天堂| 自拍偷自拍亚洲精品老妇| 久久久久久伊人网av| 国产一区二区在线av高清观看| av在线播放精品| 久久人人爽人人片av| 国产成人精品一,二区 | 有码 亚洲区| 欧美成人一区二区免费高清观看| 人妻少妇偷人精品九色| 免费看av在线观看网站| kizo精华| 一进一出抽搐gif免费好疼| 婷婷色综合大香蕉| 少妇裸体淫交视频免费看高清| 精品久久久久久久末码| 久99久视频精品免费| 九九爱精品视频在线观看| 午夜免费男女啪啪视频观看| 精品不卡国产一区二区三区| 最好的美女福利视频网| 国产精品一及| 国产黄片视频在线免费观看| 在线免费十八禁| 成人欧美大片| 精品一区二区三区人妻视频| 久久国产乱子免费精品| 床上黄色一级片| 欧美色视频一区免费| 亚洲精品国产av成人精品| 99在线视频只有这里精品首页| 亚洲av不卡在线观看| 中文字幕久久专区| 国产老妇女一区| 久久精品夜夜夜夜夜久久蜜豆| 国产精品一区二区三区四区久久| 国产高清有码在线观看视频| 51国产日韩欧美| 一本精品99久久精品77| 国产精品1区2区在线观看.| 此物有八面人人有两片| 国产精品免费一区二区三区在线| 91在线精品国自产拍蜜月| 亚洲国产色片| 中文在线观看免费www的网站| 亚洲成av人片在线播放无| 国产精品久久久久久久电影| www日本黄色视频网| 97在线视频观看| 好男人在线观看高清免费视频| 蜜桃久久精品国产亚洲av| 亚洲在久久综合| 自拍偷自拍亚洲精品老妇| 国产高清激情床上av| 色综合站精品国产| 国产亚洲精品久久久com| 精品久久久久久久末码| 观看美女的网站| 一个人观看的视频www高清免费观看| 乱人视频在线观看| 嫩草影院新地址| 久久韩国三级中文字幕| 51国产日韩欧美| 91精品国产九色| 美女被艹到高潮喷水动态| 欧美一级a爱片免费观看看| 国产高清三级在线| 免费人成在线观看视频色| 欧美最黄视频在线播放免费| 美女被艹到高潮喷水动态| 日韩一区二区视频免费看| 国产精品电影一区二区三区| 色5月婷婷丁香| 国产精品福利在线免费观看| 国产av不卡久久| 国产黄色视频一区二区在线观看 | 国产激情偷乱视频一区二区| 日韩欧美精品v在线| 最近手机中文字幕大全| 精品人妻一区二区三区麻豆| 国产乱人视频| 最后的刺客免费高清国语| 天堂网av新在线| 3wmmmm亚洲av在线观看| 禁无遮挡网站| 日韩一区二区视频免费看| 99国产极品粉嫩在线观看| 青青草视频在线视频观看| 性欧美人与动物交配| 日本熟妇午夜| 久久久久久久久大av| 久久久久网色| 国产精品99久久久久久久久| 亚洲自拍偷在线| 欧美xxxx黑人xx丫x性爽| 国内精品久久久久精免费| 国产极品精品免费视频能看的| 久久精品影院6| 国产69精品久久久久777片| 国产精品国产高清国产av| 亚洲自拍偷在线| 给我免费播放毛片高清在线观看| 亚洲图色成人| 我的老师免费观看完整版| 国产伦精品一区二区三区视频9| 亚洲高清免费不卡视频| 国产精品麻豆人妻色哟哟久久 | videossex国产| 日韩视频在线欧美| 亚洲成人中文字幕在线播放| 综合色丁香网| 国产精品永久免费网站| 国产一级毛片七仙女欲春2| 美女黄网站色视频| 日韩一区二区三区影片| 18+在线观看网站| 欧美日韩精品成人综合77777| 久久久精品欧美日韩精品| 婷婷色av中文字幕| 99久久九九国产精品国产免费| 丰满的人妻完整版| 国产精品久久久久久精品电影小说 | 亚洲成av人片在线播放无| 久久国产乱子免费精品| 欧美zozozo另类| 亚洲天堂国产精品一区在线| 永久网站在线| 我要搜黄色片| 午夜久久久久精精品| 日本-黄色视频高清免费观看| 99在线人妻在线中文字幕| 国产日本99.免费观看| 成人永久免费在线观看视频| 久久精品国产亚洲av香蕉五月| 精品一区二区三区视频在线| 国产成人精品一,二区 | 一级毛片电影观看 | 长腿黑丝高跟| 性插视频无遮挡在线免费观看| 国产v大片淫在线免费观看| 日本在线视频免费播放| 国产精品99久久久久久久久| 久久精品国产自在天天线| 国模一区二区三区四区视频| 天堂影院成人在线观看| 国产精品.久久久| 久久婷婷人人爽人人干人人爱| 国产亚洲av嫩草精品影院| 99精品在免费线老司机午夜| 色综合亚洲欧美另类图片| 欧美成人a在线观看| 午夜久久久久精精品| 国产女主播在线喷水免费视频网站 | 两个人视频免费观看高清| av在线老鸭窝| 中文欧美无线码| 简卡轻食公司| 成人特级av手机在线观看| 日韩av在线大香蕉| 乱码一卡2卡4卡精品| 99久久久亚洲精品蜜臀av| 18禁在线播放成人免费| 精品99又大又爽又粗少妇毛片| 国产黄片美女视频| a级毛片免费高清观看在线播放| 久久久国产成人精品二区| 免费av不卡在线播放| 亚洲国产欧美在线一区| 亚洲一区高清亚洲精品| 小说图片视频综合网站| 成人特级av手机在线观看| 成熟少妇高潮喷水视频| 寂寞人妻少妇视频99o| 99九九线精品视频在线观看视频| 中文字幕人妻熟人妻熟丝袜美| 最好的美女福利视频网| 日本一二三区视频观看| 亚洲无线观看免费| 久久精品影院6| 久久精品国产鲁丝片午夜精品| 小说图片视频综合网站| 亚洲最大成人av| 乱码一卡2卡4卡精品| 国产精品久久久久久亚洲av鲁大| 日日摸夜夜添夜夜爱| 国产色婷婷99| 波多野结衣高清无吗| 91在线精品国自产拍蜜月| 啦啦啦观看免费观看视频高清| 91aial.com中文字幕在线观看| 精品久久久久久久末码| 精品久久久久久久久久免费视频| 男女啪啪激烈高潮av片| 午夜亚洲福利在线播放| 老女人水多毛片| 少妇人妻一区二区三区视频| 一级毛片我不卡| 国产精品乱码一区二三区的特点| 日日撸夜夜添| 精品日产1卡2卡| 神马国产精品三级电影在线观看| 99久久无色码亚洲精品果冻| 成人一区二区视频在线观看| 97人妻精品一区二区三区麻豆| 能在线免费看毛片的网站| 国产在线男女| 国产一区二区在线av高清观看| 麻豆精品久久久久久蜜桃| 一级黄色大片毛片| 我要搜黄色片| 99精品在免费线老司机午夜| 国产精品无大码| 熟女人妻精品中文字幕| 婷婷亚洲欧美| 最近视频中文字幕2019在线8| 精品日产1卡2卡| 久久欧美精品欧美久久欧美| 中国美女看黄片| 国产伦一二天堂av在线观看| 丰满人妻一区二区三区视频av| 51国产日韩欧美| 夜夜看夜夜爽夜夜摸| 国国产精品蜜臀av免费| 久久人人爽人人片av| 夫妻性生交免费视频一级片| 国产一区二区三区在线臀色熟女| 99久久成人亚洲精品观看| 国产一区二区三区av在线 | 色综合色国产| 99九九线精品视频在线观看视频| 乱码一卡2卡4卡精品| 亚洲成人中文字幕在线播放| 午夜精品在线福利| 人体艺术视频欧美日本| 校园人妻丝袜中文字幕| 成人午夜精彩视频在线观看| 国产成人91sexporn| 成熟少妇高潮喷水视频| 免费看a级黄色片| 少妇熟女欧美另类| 国产女主播在线喷水免费视频网站 | 在线免费十八禁| 精品熟女少妇av免费看| 亚洲精品影视一区二区三区av| 91精品一卡2卡3卡4卡| 亚洲自偷自拍三级| 精品人妻一区二区三区麻豆| 亚洲精品日韩av片在线观看| 国产美女午夜福利| 1000部很黄的大片| 国产亚洲精品久久久com| 岛国毛片在线播放| 成人午夜高清在线视频| 亚洲国产日韩欧美精品在线观看| 五月玫瑰六月丁香| 日本一本二区三区精品| 国内揄拍国产精品人妻在线| 国产精品一二三区在线看| 在线观看av片永久免费下载| 国产精品久久视频播放| 伦精品一区二区三区| 亚洲无线在线观看| 看片在线看免费视频| 又粗又硬又长又爽又黄的视频 | 欧美+日韩+精品| 免费观看人在逋| 亚洲精华国产精华液的使用体验 | 久久久久久久亚洲中文字幕| 亚洲美女视频黄频| 日本三级黄在线观看| 偷拍熟女少妇极品色| 日本一本二区三区精品| 男人舔女人下体高潮全视频| 夜夜夜夜夜久久久久| 成年女人看的毛片在线观看| 日韩av在线大香蕉| 国产精品一区二区三区四区免费观看| 超碰av人人做人人爽久久| 青春草视频在线免费观看| 久久精品久久久久久噜噜老黄 | 国产黄色视频一区二区在线观看 | 22中文网久久字幕| 亚洲av免费高清在线观看| 不卡视频在线观看欧美| 日本免费a在线| 婷婷亚洲欧美| 亚洲aⅴ乱码一区二区在线播放| 国产伦在线观看视频一区| 欧美性猛交╳xxx乱大交人| 99久久精品一区二区三区| 爱豆传媒免费全集在线观看| 亚洲精品乱码久久久v下载方式| 中文欧美无线码| 一卡2卡三卡四卡精品乱码亚洲| 97人妻精品一区二区三区麻豆| 久久人人爽人人片av| 久久久午夜欧美精品| 99在线视频只有这里精品首页| 国产亚洲精品久久久久久毛片| av卡一久久| 一级黄色大片毛片| 高清毛片免费观看视频网站| 久久久久国产网址| 嫩草影院入口| 亚洲一区二区三区色噜噜| 亚洲四区av| 边亲边吃奶的免费视频| 国产老妇伦熟女老妇高清| 国产高潮美女av| 日韩一区二区三区影片| 国产精品福利在线免费观看| 又爽又黄无遮挡网站| 深夜a级毛片| 99久久人妻综合| 亚洲自偷自拍三级| 看片在线看免费视频| 精品久久久久久久久av| 真实男女啪啪啪动态图| 在线免费观看的www视频| 久久久a久久爽久久v久久| 亚洲av男天堂| 免费人成在线观看视频色| 亚洲欧洲日产国产| 看黄色毛片网站| 日本av手机在线免费观看| 国产伦在线观看视频一区| 国产黄色小视频在线观看|