• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    探析深度學(xué)習(xí)表征的一種新方法:社會認(rèn)知網(wǎng)絡(luò)特征(SENS)*

    2020-06-08 06:47:26徐浩鑫
    遠(yuǎn)程教育雜志 2020年3期
    關(guān)鍵詞:批判性社群分組

    冷 靜 徐浩鑫

    (1.華東師范大學(xué) 教育學(xué)部 教育信息技術(shù)學(xué)系;2.華東師范大學(xué) 上海數(shù)字化教育裝備工程技術(shù)研究中心,上海200062)

    一、引言

    隨著人工智能時(shí)代的到來,當(dāng)今社會越來越需要具備跨界融合、創(chuàng)新能力的人才;而全球各國之間激烈的經(jīng)濟(jì)與科技競爭,對于強(qiáng)化智能基礎(chǔ)教育的呼聲也日益增高。 為了更好地培養(yǎng)智能時(shí)代的人才,必須改變傳統(tǒng)的停留于淺表學(xué)習(xí)的教學(xué)模式, 采取能夠促進(jìn)學(xué)生積極參與解決復(fù)雜問題的教學(xué)模式。 深度學(xué)習(xí)強(qiáng)調(diào)對學(xué)生的高階認(rèn)知目標(biāo)和高階思維能力的培養(yǎng)[1],并注重學(xué)生的行為和情感等方面的投入,幫助學(xué)生構(gòu)建復(fù)雜的認(rèn)知結(jié)構(gòu),是一種主動且有意義的學(xué)習(xí)[2]。目前,對深度學(xué)習(xí)的效果研究大多是采用問卷或測試題的方式進(jìn)行[3-4]。 這些評價(jià)方式往往都是結(jié)果性的測評,而非對過程進(jìn)行分析[5]。 換句話說,這種測評是對深度學(xué)習(xí)的不同維度分別進(jìn)行評價(jià), 是一種“分散式”的測評。 然而,深度學(xué)習(xí)是一種強(qiáng)調(diào)綜合性的學(xué)習(xí)方式,應(yīng)該對各個(gè)維度進(jìn)行綜合考慮。 而如何對深度學(xué)習(xí)所關(guān)注的這些維度進(jìn)行全面的、 綜合的、動態(tài)的評估,仍是一個(gè)亟待解決的問題[6]。

    為了更好地探尋深度學(xué)習(xí)表征的新路徑,我們引入一種結(jié)合了定性和定量分析的新研究方法——社會認(rèn)知網(wǎng)絡(luò)特征(Social Epistemic Network Signature,SENS)。 首先,通過對相關(guān)研究的梳理,論證了SENS與深度學(xué)習(xí)的契合關(guān)系,接著,提出了SENS 在深度學(xué)習(xí)中的一般應(yīng)用步驟,然后,通過兩個(gè)案例對SENS的應(yīng)用進(jìn)行介紹,最后,給出使用SENS 的一些經(jīng)驗(yàn)與建議。 在當(dāng)今大數(shù)據(jù)背景下,依靠SENS 中的統(tǒng)計(jì)方法能夠較好地對定量數(shù)據(jù)進(jìn)行表征,發(fā)現(xiàn)有意義的深度學(xué)習(xí)模式,從而提供了一種新的途徑來探析深度學(xué)習(xí),并提供智能化的教學(xué)策略。

    二、相關(guān)理論

    (一)深度學(xué)習(xí)

    隨著知識經(jīng)濟(jì)和信息時(shí)代的飛速發(fā)展, 深度學(xué)習(xí)越來越受到國內(nèi)外教育研究者的重視與關(guān)注[7-8]。Marton 等人早在1976 年就提出教育領(lǐng)域中深度學(xué)習(xí)的概念[9],他們根據(jù)學(xué)生的信息加工方式,指出學(xué)生的學(xué)習(xí)有深度學(xué)習(xí)和淺層學(xué)習(xí)之分。 2012 年,美國國家研究委員會(National Research Council,NRC)在對深度學(xué)習(xí)的定義中, 強(qiáng)調(diào)知識與技能的可遷移性,并將深度學(xué)習(xí)能力分成三個(gè)維度:認(rèn)知領(lǐng)域、人際領(lǐng)域和個(gè)人領(lǐng)域[10]。 還有一些研究者開展了面向深度學(xué)習(xí)的項(xiàng)目, 旨在探究教學(xué)策略對深度學(xué)習(xí)的促進(jìn)作用[11]。 此外,美國研究院進(jìn)行了一個(gè)實(shí)驗(yàn)項(xiàng)目, 其研究目標(biāo)是調(diào)查分析實(shí)驗(yàn)學(xué)校培養(yǎng)學(xué)生六種深度學(xué)習(xí)能力(包括掌握核心學(xué)科知識、批判性思維和復(fù)雜問題解決、團(tuán)隊(duì)協(xié)作、有效溝通、學(xué)會學(xué)習(xí)、學(xué)術(shù)毅力)的策略與途徑,以及這些培養(yǎng)策略與途徑所帶來的學(xué)習(xí)結(jié)果[12]。 基于前人的研究,祝智庭等人將深度學(xué)習(xí)的六種能力分別對應(yīng)到三大領(lǐng)域, 得到了如表1 所示的深度學(xué)習(xí)能力框架[13]。

    表1 深度學(xué)習(xí)的能力框架

    雖然現(xiàn)階段我們對深度學(xué)習(xí)的定義和內(nèi)涵,已經(jīng)有了較為清晰的界定, 但對如何區(qū)分學(xué)生的認(rèn)知深度,仍需要進(jìn)一步探究。 例如,在進(jìn)行深度學(xué)習(xí)的效果分析時(shí),認(rèn)知領(lǐng)域可使用PISA 測試評估學(xué)生的批判性思維和問題解決等能力, 使用英語語言藝術(shù)和數(shù)學(xué)測試(ELA)來評估學(xué)生的核心學(xué)科知識掌握情況;在人際和個(gè)人領(lǐng)域,可使用問卷調(diào)查的方式來獲取關(guān)于人際和個(gè)人能力方面的數(shù)據(jù)[14]。 陳蓓蕾等人在探究促進(jìn)大學(xué)生深度學(xué)習(xí)的研究中, 也采用了問卷和測試題的方式[15]。 這些評估方式固然能夠在一定程度上對深度學(xué)習(xí)效果進(jìn)行分析,但是,如何對深度學(xué)習(xí)的過程進(jìn)行動態(tài)的捕捉及分析, 以及如何對深度學(xué)習(xí)的三個(gè)領(lǐng)域進(jìn)行綜合的評估與分析,仍需要進(jìn)一步的研究。

    (二)社會網(wǎng)絡(luò)分析

    為了探究深度學(xué)習(xí)的人際領(lǐng)域, 可使用社會網(wǎng)絡(luò)分析(Social Network Analysis,SNA)的方法來進(jìn)行挖掘。SNA 是對學(xué)習(xí)者之間關(guān)系的研究,是一種用來分析人際之間關(guān)系的理論和方法, 它強(qiáng)調(diào)人與人之間的普遍聯(lián)系, 可以對個(gè)體或群體的社交特征進(jìn)行分析。 它使用不同的特征值來評價(jià)在社會網(wǎng)絡(luò)中的個(gè)體,如,點(diǎn)度中心度、接近中心度、中間中心度、特征向量中心度等[16]。 這些特征值,能夠?qū)Ω鞣N社會關(guān)系進(jìn)行精確的量化表征和分析,從而揭示其結(jié)構(gòu),并對其產(chǎn)生的各種現(xiàn)象進(jìn)行更加深刻而具體的解釋,能夠反映出不同個(gè)體在同一個(gè)社會網(wǎng)絡(luò)中的人際交流和溝通情況。有研究表明,SNA 的一些特征值與學(xué)習(xí)成績、創(chuàng)新潛力和社群意識等結(jié)果正相關(guān)[17-18]。 此外,SNA 還可以識別出與社交網(wǎng)絡(luò)其他部分相比具有更強(qiáng)聯(lián)系的參與者群體, 這種對社會網(wǎng)絡(luò)中的個(gè)體進(jìn)行群體劃分的方法,稱之為社群識別。所識別出來的社群里的個(gè)體,通常具有相類似的特征,這將有助于我們深入了解網(wǎng)絡(luò)形成的過程。因此,深度學(xué)習(xí)中的團(tuán)隊(duì)協(xié)作能力和人際溝通能力, 可以通過學(xué)習(xí)者在社會網(wǎng)絡(luò)中的特征值進(jìn)行分析。

    雖然,SNA 能夠?qū)ι疃葘W(xué)習(xí)中的人際領(lǐng)域進(jìn)行分析,但僅使用這一方法,并不能準(zhǔn)確、清晰地對不同個(gè)體或群體進(jìn)行定位。學(xué)習(xí)者在學(xué)習(xí)的過程中,其社會網(wǎng)絡(luò)會受到共享的信息類型、 傳播內(nèi)容以及社會與認(rèn)知過程激活等因素的影響[19]。 因此,在深度學(xué)習(xí)的研究中, 僅僅使用社會網(wǎng)絡(luò)分析來研究交流與協(xié)作的模式是不夠的, 還應(yīng)該加上對于交互內(nèi)容的分析。 缺乏內(nèi)容的社交網(wǎng)絡(luò)模型注定會失敗,因?yàn)?,群體互動從來都是和內(nèi)容相關(guān)的[20]。

    (三)認(rèn)知網(wǎng)絡(luò)分析

    在深度學(xué)習(xí)的認(rèn)知和個(gè)人領(lǐng)域, 可以使用認(rèn)知網(wǎng)絡(luò)分析(Epistemic Network Analysis,ENA)的方法來進(jìn)行分析。 ENA 通過對話語數(shù)據(jù)進(jìn)行定量分析,來描述個(gè)人或團(tuán)體的認(rèn)知框架模式[21]。 它是認(rèn)知框架學(xué)習(xí)科學(xué)理論的“操作化”[22],著眼于復(fù)雜領(lǐng)域的專門知識,是知識、技能、價(jià)值和決策過程之間的連接網(wǎng)絡(luò)。 ENA 利用了行為交互、通信、認(rèn)知和其他相關(guān)的群體交互特征, 這些特征可以用在內(nèi)容分析中使用的適當(dāng)編碼方案來表征。具體地說,認(rèn)知網(wǎng)絡(luò)是通過使用分配給協(xié)作節(jié)點(diǎn)的差異元素的編碼來構(gòu)造的,其中,網(wǎng)絡(luò)的節(jié)點(diǎn)是編碼本身。 節(jié)點(diǎn)之間的連接基于相關(guān)分析單元內(nèi)的編碼的共現(xiàn)關(guān)系而建立。ENA 通過節(jié)點(diǎn)間連接的強(qiáng)度和網(wǎng)絡(luò)結(jié)構(gòu)的變化,來表征特征要素的發(fā)展變化,如,高績效團(tuán)隊(duì)與低績效團(tuán)隊(duì)的認(rèn)知網(wǎng)絡(luò)差異, 或高績效團(tuán)隊(duì)在不同時(shí)間的認(rèn)知網(wǎng)絡(luò)差異以及變化軌跡等。

    雖然,ENA 提供了強(qiáng)大的機(jī)制來分析協(xié)作話語的相關(guān)特征之間的聯(lián)系, 但其不能針對以下問題進(jìn)行分析:對于學(xué)習(xí)者在活動中所扮演的角色、學(xué)習(xí)中形成的社會結(jié)構(gòu)、學(xué)習(xí)過程中創(chuàng)建的子社群、合作者之間形成聯(lián)系的原則等[23]。 然而,這些問題正是SNA可以進(jìn)行分析的。因此,為了更好地對深度學(xué)習(xí)進(jìn)行探究,我們需要結(jié)合SNA 和ENA,形成SENS 這樣一種能夠監(jiān)控和支持深度學(xué)習(xí)評估的網(wǎng)絡(luò)分析技術(shù)。 由此,既可以了解個(gè)體或群體的社會網(wǎng)絡(luò),對其人際領(lǐng)域進(jìn)行分析; 也能夠更好地追蹤學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò),對其認(rèn)知和自我領(lǐng)域進(jìn)行分析。

    三、SENS 研究方法

    SENS 最開始是由Dragan Ga?evic'等人提出,用于對在線協(xié)作學(xué)習(xí)進(jìn)行研究[24]。 它將現(xiàn)有的分析技術(shù)系統(tǒng)地結(jié)合起來,以解決學(xué)習(xí)分析過程中存在的問題。 具體來說,首先,SENS 對學(xué)習(xí)者的社會交互關(guān)系進(jìn)行提取和建模,接著,利用該模型對學(xué)習(xí)者進(jìn)行社群的劃分,最后,利用認(rèn)知網(wǎng)絡(luò)分析不同社群的認(rèn)知網(wǎng)絡(luò)特征。 如,探究高績效社群與低績效社群的整體認(rèn)知網(wǎng)絡(luò)差異,并為低績效社群進(jìn)行相應(yīng)的干預(yù)和反饋等。

    圖1 中展示了SENS 在深度學(xué)習(xí)中的一般應(yīng)用步驟。 首先,深度學(xué)習(xí)的人際領(lǐng)域可以使用SNA 的方法進(jìn)行分析,SNA 通過學(xué)習(xí)者之間的交互關(guān)系來構(gòu)建社會網(wǎng)絡(luò), 用于分析學(xué)習(xí)者之間的人際交互關(guān)系[25],探究他們在深度學(xué)習(xí)過程中的協(xié)同和溝通。 接著, 對于深度學(xué)習(xí)的認(rèn)知和自我領(lǐng)域, 可以使用ENA 的方法來分析,ENA 通過對協(xié)作的話語數(shù)據(jù)進(jìn)行內(nèi)容分析,從而動態(tài)地提取與認(rèn)知、知識和能力相關(guān)的網(wǎng)絡(luò)模型,并通過該模型,深度追蹤和分析學(xué)生的認(rèn)知架構(gòu)、狀態(tài)、聯(lián)系和發(fā)展歷程等內(nèi)隱信息[26]。雖然這兩種方法可以被用于對深度學(xué)習(xí)的分析,但它們的結(jié)合使用仍受到一些限制, 且尚未在網(wǎng)絡(luò)分析方法的水平上被提出。SENS 正是這樣一種新的結(jié)合了SNA 與ENA 的研究方法, 能夠較好地對應(yīng)深度學(xué)習(xí)的三個(gè)領(lǐng)域。 以在線學(xué)習(xí)平臺上的深度學(xué)習(xí)分析為例,平臺上記錄了大量的學(xué)習(xí)行為數(shù)據(jù),如,學(xué)習(xí)者信息、在線討論數(shù)據(jù)、學(xué)習(xí)和認(rèn)知過程等。 對應(yīng)深度學(xué)習(xí)的三大領(lǐng)域, 表2 中列出了三個(gè)方面具體的數(shù)據(jù)選擇和處理方法。

    (一)數(shù)據(jù)獲取

    圖1 SENS 在深度學(xué)習(xí)中的一般應(yīng)用步驟

    表2 深度學(xué)習(xí)三大領(lǐng)域及其對應(yīng)的數(shù)據(jù)選擇和處理方法

    SENS 的第一步是進(jìn)行數(shù)據(jù)的獲取。 由于SENS需要進(jìn)行內(nèi)容分析和社會網(wǎng)絡(luò)分析,所以,必須在獲取數(shù)據(jù)的同時(shí),得到學(xué)習(xí)者在學(xué)習(xí)活動中的話語數(shù)據(jù)和交互關(guān)系。 話語數(shù)據(jù)一般是指學(xué)習(xí)者的交流文本、語音或者視頻,即記錄了學(xué)習(xí)者交流內(nèi)容的數(shù)據(jù),這些數(shù)據(jù)能夠反映學(xué)習(xí)者的認(rèn)知、知識和自我等方面的信息。 交互關(guān)系是指學(xué)生在交流溝通過程中的信息流向,如,學(xué)習(xí)者A 與學(xué)習(xí)者B 之間的一次對話, 或者學(xué)習(xí)者A 對學(xué)習(xí)者B 的一次回帖,這些交互信息需要被記錄下來以用于后面的社會網(wǎng)絡(luò)分析。 另外,SENS 需要盡可能地獲取到與學(xué)習(xí)者相關(guān)的其他信息,比如,學(xué)業(yè)成績、學(xué)習(xí)背景、學(xué)習(xí)意圖以及性別、年齡等人口統(tǒng)計(jì)數(shù)據(jù),以便對學(xué)習(xí)者進(jìn)行更加深入細(xì)致的分析。 如,使用這些數(shù)據(jù)進(jìn)行更加精確的社群識別,或分析在學(xué)習(xí)過程中不同學(xué)習(xí)背景、不同年齡段或不同性別在深度學(xué)習(xí)各個(gè)領(lǐng)域的差異等。

    (二)社會關(guān)系提取

    SENS 的第二步是進(jìn)行社會關(guān)系的提取。為了研究學(xué)習(xí)者在深度學(xué)習(xí)活動中扮演的角色以及形成的社群, 需要提取一個(gè)有向加權(quán)圖來表示在討論過程中所發(fā)生的交互。具體來說,如果在給定的討論數(shù)據(jù)中,學(xué)習(xí)者A 回復(fù)了學(xué)習(xí)者B 發(fā)布的消息,那么,將會有一個(gè)定向邊A->B;同理,如果學(xué)習(xí)者C 回復(fù)了學(xué)習(xí)者A 的消息,也會有一個(gè)定向邊C->A;若是學(xué)習(xí)者A 再次回復(fù)了學(xué)習(xí)者B 的消息, 那么A->B 這條邊的權(quán)重增加1。 按照此方式,可以對所有學(xué)習(xí)者的話語數(shù)據(jù)進(jìn)行社會關(guān)系的提取。

    (三)社會網(wǎng)絡(luò)的構(gòu)建

    SENS 的第三步是社會網(wǎng)絡(luò)的構(gòu)建。在提取完社會關(guān)系之后,需要構(gòu)建社會網(wǎng)絡(luò)圖,然后,利用其進(jìn)行社群識別。 社群識別是指利用某種方法將網(wǎng)絡(luò)劃分成內(nèi)部聯(lián)系緊密、相互之間聯(lián)系稀疏的簇,每一個(gè)簇即代表一個(gè)社群,在同一個(gè)社群的成員,往往具備某些相似的特征。 常用的社群識別算法有Kernighan-Lin 算法、GN 算法、主題模型PLSA、Sim-Rank 算法、RankClus 算法、NetClus 算法以及Louvain 算法等。不同的算法各有優(yōu)劣,在使用時(shí)可根據(jù)需求進(jìn)行選擇。 在使用SENS 方法時(shí),可以將一個(gè)社群當(dāng)作一個(gè)分析單元, 比較不同社群之間的差異和特點(diǎn), 以充分反映不同社群群體在深度學(xué)習(xí)過程中認(rèn)知、知識和能力的發(fā)展情況。

    此外,不同的SNA 度量可用于研究學(xué)習(xí)者在網(wǎng)絡(luò)和社群中所扮演的角色。 這些度量可以體現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)中心性的各個(gè)方面,如,加權(quán)度中心度、接近中心度、中介中心度和特征向量中心度等。加權(quán)度中心度是節(jié)點(diǎn)在網(wǎng)絡(luò)中所具有的邊的權(quán)重; 接近中心度解釋了節(jié)點(diǎn)控制網(wǎng)絡(luò)中通信的可能性, 測量給定節(jié)點(diǎn)到網(wǎng)絡(luò)中所有其他節(jié)點(diǎn)的距離, 也就是說它能夠度量節(jié)點(diǎn)與網(wǎng)絡(luò)中其他節(jié)點(diǎn)連接的可能性; 中介中心度也與控制通信有關(guān), 它計(jì)算經(jīng)過一個(gè)點(diǎn)的最短路徑的數(shù)量,該數(shù)量越多,就說明它的中介中心度越高; 特征向量中心度根據(jù)該節(jié)點(diǎn)相鄰點(diǎn)的重要性來衡量該點(diǎn)的價(jià)值,也就是說,如果與該節(jié)點(diǎn)連接的節(jié)點(diǎn)越重要,則該節(jié)點(diǎn)也越重要。通過研究深度學(xué)習(xí)中的學(xué)習(xí)者在社會網(wǎng)絡(luò)中所扮演的角色, 能夠分析其人際領(lǐng)域的交流和溝通能力。

    (四)內(nèi)容分析

    SENS 的第四步是進(jìn)行內(nèi)容分析。內(nèi)容分析主要是分析學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的討論記錄的常用技術(shù)。話語數(shù)據(jù)是一個(gè)豐富的協(xié)作信息來源,是關(guān)于學(xué)生參與的認(rèn)知、元認(rèn)知、動機(jī)和情感方面的數(shù)據(jù),是除了自我報(bào)告之外,最全面的數(shù)據(jù)來源。 因此,使用內(nèi)容分析可以很好地研究學(xué)習(xí)者在深度學(xué)習(xí)過程中的認(rèn)知和個(gè)人領(lǐng)域的能力。 內(nèi)容分析主要使用一種編碼方案對話語數(shù)據(jù)進(jìn)行編碼, 這套編碼方案可以是常用的,也可以是最近提出的。而編碼的方式可以采用人工的方式進(jìn)行, 也可以是基于現(xiàn)有的編碼方案采用自動的方式進(jìn)行。 如,在數(shù)據(jù)量較少時(shí),可以采用人工編碼的方式進(jìn)行,以確保編碼的信度與效度;而在數(shù)據(jù)量較大時(shí),則可以使用機(jī)器學(xué)習(xí)的方法進(jìn)行自動編碼[27]。

    (五)認(rèn)知網(wǎng)絡(luò)的構(gòu)建

    SENS 的第五步是進(jìn)行認(rèn)知網(wǎng)絡(luò)的構(gòu)建。 根據(jù)SNA 識別所得到的社群, 可以將其按照目標(biāo)特征的不同,劃分到不同的組別,再根據(jù)不同的組別將編碼好的數(shù)據(jù)進(jìn)行劃分,最后利用ENA,生成不同社群的認(rèn)知網(wǎng)絡(luò)圖, 并比較不同社群的認(rèn)知網(wǎng)絡(luò)的特點(diǎn)與差異,進(jìn)而給出相應(yīng)的反饋建議。 國內(nèi)關(guān)于ENA具體的理論、步驟和方法已有較為詳細(xì)的介紹,其編碼的一般步驟,如圖2 所示[28-29]。

    圖2 ENA 編碼與建模的一般步驟

    (六)社會認(rèn)知網(wǎng)絡(luò)特征

    在完成上述的步驟之后,還可以基于ENA 產(chǎn)生的SVD 值進(jìn)行聚類分析,根據(jù)聚類的結(jié)果,檢測之前的社群劃分是否正確,通過這樣反復(fù)驗(yàn)證的方式,能使研究更有說服力。 總的來說,SENS 從話語數(shù)據(jù)中進(jìn)行內(nèi)容分析和社會關(guān)系提取, 在執(zhí)行SNA 之前,會先基于社會關(guān)系創(chuàng)建一個(gè)社會網(wǎng)絡(luò),以識別學(xué)習(xí)者扮演的角色和社群,在應(yīng)用ENA 之前,對話語數(shù)據(jù)進(jìn)行內(nèi)容分析,最后,根據(jù)SNA 和ENA 兩種分析方法的結(jié)果,對深度學(xué)習(xí)進(jìn)行探究。為了更好地對SENS 進(jìn)行介紹,我們將會通過兩個(gè)實(shí)際的案例,來闡釋該方法是如何在具體的研究中應(yīng)用的。

    四、案例分析

    我們將通過兩個(gè)案例來介紹SENS 在在線學(xué)習(xí)中探究深度學(xué)習(xí)的應(yīng)用。 案例一關(guān)注了一門大規(guī)模開放網(wǎng)絡(luò)課程(簡稱MOOC),通過分析在線協(xié)作數(shù)據(jù),來解釋形成的社會聯(lián)系的協(xié)作過程,以及描述學(xué)習(xí)者高分組和低分組之間的差異[30];案例二通過使用SENS 的方法,對在線學(xué)習(xí)論壇的數(shù)據(jù)進(jìn)行分析,并對學(xué)習(xí)者的批判性思維進(jìn)行深層次的研究, 以探究學(xué)習(xí)者的批判性思維發(fā)展軌跡[31]。

    (一)SENS 用于網(wǎng)絡(luò)課程的深度學(xué)習(xí)分析

    案例一數(shù)據(jù)來自Coursera 平臺上的MOOC 課程“Critical Thinking in Global Challenges”的論壇討論數(shù)據(jù), 通過該課程論壇共收集了1989 名學(xué)生的6158(M=3.10,SD=7.07)條帖子。此外,還收集了學(xué)生的最終課程成績(即是否獲得證書)、人口統(tǒng)計(jì)等數(shù)據(jù)。 首先,使用SNA 方法提取了所有學(xué)生的社會關(guān)系,并構(gòu)建了社會網(wǎng)絡(luò);接著,在包含了該網(wǎng)絡(luò)79%的節(jié)點(diǎn)和99%的邊的最大連接組件上執(zhí)行Louvain方法,共識別出19 個(gè)社群;最后,在分析了每個(gè)社群在年齡、性別、學(xué)術(shù)背景、學(xué)習(xí)意圖和最終課程成績等方面的差異后, 發(fā)現(xiàn)不同社群之間在平均最終課程成績上的差異是最明顯的(見圖3)。其中,社群3、11、17 的平均成績最高,而社群6、8、12 的平均成績最低,因此可以分別得到高分組和低分組。

    圖3 所有社群的平均成績

    為了研究學(xué)習(xí)者在網(wǎng)絡(luò)和社區(qū)中所扮演的角色,本案例獲取了常用的SNA 度量——加權(quán)度中心度、中介中心度和接近中心度,這些度量表征了網(wǎng)絡(luò)結(jié)構(gòu)中心性的各個(gè)方面。 表3 為高分組和低分組中每個(gè)社群的網(wǎng)絡(luò)中心性度量的描述性統(tǒng)計(jì)數(shù)據(jù)。

    表3 高分組和低分組的網(wǎng)絡(luò)中心性度量的描述性統(tǒng)計(jì)數(shù)據(jù)

    在進(jìn)行ENA 之前,本案例使用了自然語言處理中的LDA 方法, 對所有話語數(shù)據(jù)進(jìn)行了主題的提取, 共得到12 個(gè)主題 (包括與課程內(nèi)容相關(guān)的主題),如,能源(c.Energy)、人口(c.Population)、疾?。╟.Diseases)和批判性思維(c.Critical_thinking)等,以及與課程過程相關(guān)的主題,如,課程期望(p.Course_expectations) 和課程相關(guān)興趣(p.Course_related_interests)等,每一條帖子都被編碼為這12 個(gè)主題中的一個(gè)或多個(gè)。 在進(jìn)行ENA 時(shí),本案例使用三個(gè)帖子為移動窗口構(gòu)建連接矩陣, 以高分組和低分組為分析單元,進(jìn)行認(rèn)知網(wǎng)絡(luò)的構(gòu)建,結(jié)果如圖4 所示,其中,淺色代表高分組,深色代表低分組。

    圖4 高分組和低分組的認(rèn)知網(wǎng)絡(luò)質(zhì)心圖

    由圖4 可知, 高分組的認(rèn)知網(wǎng)絡(luò)與低分組的認(rèn)知網(wǎng)絡(luò),在統(tǒng)計(jì)上具有顯著差異(t(26)=-2.052,p=.045,cohen’s d=-0.55),這表明高分組與低分組的學(xué)習(xí)者在討論過程中的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)是存在差異的,這些差異,可以通過兩者的認(rèn)知網(wǎng)絡(luò)圖來具體分析。

    圖5 高分組和低分組的認(rèn)知網(wǎng)絡(luò)圖

    圖5a 為高分組的認(rèn)知網(wǎng)絡(luò)圖,從圖中我們可以看出高分組的學(xué)生更關(guān)注課程過程, 他們在過程相關(guān)的主題(課程期望與課程相關(guān)興趣)之間,建立的聯(lián)系比內(nèi)容相關(guān)主題之間的聯(lián)系多。圖5c 顯示了低分組的認(rèn)知網(wǎng)絡(luò), 可以看出低分組的學(xué)生在內(nèi)容相關(guān)的主題之間建立了更多的聯(lián)系。圖5b 是兩個(gè)社群之間的認(rèn)知網(wǎng)絡(luò)疊減圖, 通過對比兩組主題間的連接可以發(fā)現(xiàn),雖然學(xué)習(xí)者都在課程相關(guān)興趣、課程期望、人性挑戰(zhàn)和批判性思維等主題上有連接,但高分組學(xué)習(xí)者比低分組學(xué)習(xí)者在這些主題之間的聯(lián)系更加緊密。

    通過本案例我們可以發(fā)現(xiàn),SENS 能夠被較好地運(yùn)用于對MOOC 的深度學(xué)習(xí)分析。 首先, 可以通過SNA 對學(xué)生進(jìn)行社群劃分, 這些社群的劃分由學(xué)習(xí)者之間的人際關(guān)系決定。個(gè)人的溝通能力和交際技能可以通過SNA 的屬性得到反映, 體現(xiàn)了深度學(xué)習(xí)的人際領(lǐng)域; 通過自然語言處理的方式進(jìn)行主題的提取,使得大量的話語數(shù)據(jù)可以自動編碼,再使用ENA能進(jìn)一步對高分組和低分組在認(rèn)知和個(gè)人領(lǐng)域的差異進(jìn)行分析。

    (二)SENS 用于探究思維發(fā)展路徑的分析

    案例二主要圍繞大學(xué)生的思維發(fā)展軌跡來展開研究。 來自華東地區(qū)一所大學(xué)的教育技術(shù)專業(yè)的27名學(xué)生參與了專業(yè)課《教學(xué)系統(tǒng)設(shè)計(jì)》的學(xué)習(xí)。 在為期一學(xué)期的學(xué)習(xí)里,他們需要通過在線協(xié)作,共同完成一個(gè)教學(xué)設(shè)計(jì)項(xiàng)目。項(xiàng)目分為三個(gè)階段,每個(gè)階段對應(yīng)著不同的任務(wù),且從第一階段(P1)到第三階段(P3)逐步深入。在學(xué)期開始之前,所有學(xué)生都填寫了批判性思維技能和傾向兩份問卷。

    在學(xué)期結(jié)束之后,首先,在線論壇上共收集到帖子數(shù)據(jù)809 條,每條數(shù)據(jù)包括學(xué)生ID、發(fā)帖時(shí)間、發(fā)帖內(nèi)容和父級帖子ID 等字段。 之后,由兩名研究人員對所有的帖子內(nèi)容進(jìn)行編碼, 他們編碼的一致性系數(shù)α=0.932。 所采用的批判性思維模型編碼模式,將批判性分為五個(gè)階段:識別/理解/分析/評估/創(chuàng)造,編碼分別為R/U/A/E/C[32]。 接著,使用SNA 的方法構(gòu)建了所有學(xué)生的社會網(wǎng)絡(luò), 結(jié)合社群識別方法和學(xué)生批判性思維問卷得分得到兩個(gè)社群, 分別為高分組和低分組。通過對編碼數(shù)據(jù)進(jìn)行量化分析,獲得了兩組學(xué)生的批判性思維認(rèn)知網(wǎng)絡(luò)圖 (如圖6 所示),及其在不同階段中認(rèn)知網(wǎng)絡(luò)質(zhì)心的變化軌跡圖 (如圖7 所示)。 在這一案例中,認(rèn)知和自我領(lǐng)域體現(xiàn)為學(xué)生的批判性思維能力, 既包括問卷測出的批判性思維技能以及批判性思維傾向(自我領(lǐng)域),也包括討論中體現(xiàn)的在線批判性思考行為(認(rèn)知領(lǐng)域)。

    圖6 高分組和低分組的批判性思維認(rèn)知網(wǎng)絡(luò)圖

    圖6b 為高分組和低分組的認(rèn)知網(wǎng)絡(luò)疊減圖。圖中顏色代表的含義是, 如果高分組在某兩個(gè)編碼之間的連接強(qiáng)度大于低分組, 則連接這兩個(gè)編碼的邊即為淺色,反之為深色。 從圖中我們可以看出,高分組和低分組的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)圖存在明顯差異, 且在C-A(創(chuàng)造—分析)和R-U(識別—理解)的連接上,高分組明顯強(qiáng)于低分組,而低分組在U-A(理解—分析)的連接上則強(qiáng)于高分組。 在圖6a 所示的高分組中, 各個(gè)編碼之間都存在較為強(qiáng)的連接, 而通過圖6c 可以發(fā)現(xiàn),低分組僅在E-A、A-U 和U-E 上有較強(qiáng)的連接, 這揭示了高分組和低分組在運(yùn)用批判性思維時(shí)的整體差異。

    圖7 所示是高分組和低分組在不同階段的認(rèn)知網(wǎng)絡(luò)質(zhì)心的變化軌跡圖。 從圖7a 中我們可以發(fā)現(xiàn),高分組在三個(gè)階段(P1、P2、P3)的認(rèn)知網(wǎng)絡(luò)質(zhì)心是有顯著差異的,且具有一定的軌跡(如箭頭所示)。這表明高分組在三個(gè)階段運(yùn)用批判性思維時(shí)各有偏重,每個(gè)階段使用了不同的批判性思維元素。由圖7b 可知,低分組在三個(gè)階段的質(zhì)心較為集中,且彼此沒有顯著差異, 這表明低分組在不同階段運(yùn)用的批判性思維元素類似。 案例二中使用了SENS 對學(xué)生的批判性思維在線學(xué)生行為進(jìn)行分析,結(jié)果表明:高分組和低分組之間的批判性思維認(rèn)知網(wǎng)絡(luò)存在顯著差異,且高分組的批判性思維認(rèn)知網(wǎng)絡(luò)圖中的節(jié)點(diǎn)間,存在更多的聯(lián)系和互動,在不同階段有不同的側(cè)重;而低分組的認(rèn)知網(wǎng)絡(luò)圖節(jié)點(diǎn)之間的聯(lián)系與互動相對簡單,且在不同階段沒有差異。

    圖7 高分組和低分組在不同階段的認(rèn)知網(wǎng)絡(luò)質(zhì)心的變化軌跡圖

    五、經(jīng)驗(yàn)與建議

    結(jié)合上述案例應(yīng)用中發(fā)現(xiàn)的問題,我們對SENS方法的使用從適用范圍、 技術(shù)實(shí)現(xiàn)和數(shù)據(jù)處理等不同方面,給出一些經(jīng)驗(yàn)與建議。

    (一)適用范圍

    SENS 適用于對深度學(xué)習(xí)的研究,它具備以下三種特征:一是適合對質(zhì)性數(shù)據(jù)進(jìn)行量化處理;二是適合對學(xué)習(xí)者的社會交互進(jìn)行分析; 三是適合對學(xué)習(xí)者的認(rèn)知發(fā)展軌跡進(jìn)行分析。 在使用SENS 的研究中,可以利用SNA 來構(gòu)建在線交互中學(xué)習(xí)者之間的關(guān)系,ENA 則可以對已編碼的文本進(jìn)行量化分析,是對社會交互和認(rèn)知發(fā)展做出解釋的研究, 適合對深度學(xué)習(xí)的各種研究進(jìn)行分析。

    (二)技術(shù)實(shí)現(xiàn)

    SENS 的技術(shù)實(shí)現(xiàn)難度較大, 需要研究人員對SNA 和ENA 兩種方法都有一定的了解,才能正確完整地使用SENS。 在國內(nèi)關(guān)于SNA 的研究已有很多,SNA 的實(shí)現(xiàn)可以通過R 語言或Python 語言等編程的方式進(jìn)行,二者都有功能較為完善的庫資源,可以幫助研究者進(jìn)行SNA 的研究, 如,R 的igraph 庫和Python 的NetworkX 等。 除此之外,還有很多較成熟的桌面軟件可以使用,如,UCINET 使研究者不用考慮編程的細(xì)節(jié),只需對結(jié)果進(jìn)行解釋即可。 ENA 也支持使用R 語言進(jìn)行實(shí)現(xiàn),同時(shí)它還有一個(gè)網(wǎng)絡(luò)版本,研究者只需將編碼好的數(shù)據(jù)上傳到ENA Webkit(http://www.epistemicnetwork.org/), 設(shè) 置 好 相 關(guān) 參數(shù),即可生成想要的社會網(wǎng)絡(luò)認(rèn)知圖,并通過可視化的方式,動態(tài)地對網(wǎng)絡(luò)進(jìn)行調(diào)節(jié)。

    (三)數(shù)據(jù)處理

    SENS 的步驟與流程較為繁瑣,且對數(shù)據(jù)的收集與處理有一定的要求。 因此,在使用SENS 之前,要確保能夠準(zhǔn)確地收集相關(guān)數(shù)據(jù)。 SNA 處理的是學(xué)習(xí)者之間的交互關(guān)系,而ENA 處理的是編碼與編碼之間的共現(xiàn)關(guān)系, 所以, 在數(shù)據(jù)處理時(shí)都有不同的要求。 用于SNA 的原始數(shù)據(jù)可以只包括學(xué)習(xí)者的交互關(guān)系,而不用記錄具體的交互內(nèi)容;用于ENA 的原始數(shù)據(jù),要包括學(xué)習(xí)者的交互內(nèi)容以及交互的單元,但可以不包括學(xué)習(xí)者之間的交互關(guān)系。 但SENS 是結(jié)合了這兩種方法進(jìn)行構(gòu)建的,所以,在獲取原始數(shù)據(jù)時(shí),一定要包括交互關(guān)系和交互內(nèi)容,否則,SENS就無法實(shí)現(xiàn)。

    六、總結(jié)與展望

    SENS 通過將SNA 與ENA 方法進(jìn)行結(jié)合,使得在深度學(xué)習(xí)的過程中協(xié)作話語數(shù)據(jù)和人際交互信息,可以在本質(zhì)上被建模為網(wǎng)絡(luò)。人際交互表現(xiàn)為信息共享和知識建構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu), 而從話語數(shù)據(jù)中提取的如認(rèn)知、元認(rèn)知、社會和情感等維度信息,可以通過認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)來表征。 這些信息并非孤立地發(fā)生,而是彼此間共同影響和關(guān)聯(lián)的。 SENS 可以將深度學(xué)習(xí)描述為人際因素和從話語中提取的因素的相互作用。

    我們將深度學(xué)習(xí)的三大領(lǐng)域與SENS 方法的特點(diǎn)相結(jié)合,提出使用SENS 的一般步驟,并進(jìn)行兩個(gè)案例的展示,最后給出了使用SENS 的相關(guān)經(jīng)驗(yàn)與建議, 為今后想要使用該方法的研究者提供幫助和指導(dǎo)。 需要指出的是,SENS 方法的核心是基于來自不同學(xué)科的幾種數(shù)據(jù)分析方法,因此,使用SENS 需要有相關(guān)的技能才能進(jìn)行,在技術(shù)實(shí)現(xiàn)上難度較大。 未來,我們可以搭建一個(gè)統(tǒng)一的在線平臺,以支持使用SNA 的社會關(guān)系提取、 話語數(shù)據(jù)的自動編碼或人工編碼以及認(rèn)知網(wǎng)絡(luò)構(gòu)建等功能。 這樣,研究者們可以更加方便快捷地使用SENS 來分析深度學(xué)習(xí),而不用過多地關(guān)注一些復(fù)雜的底層算法, 這也是本研究下一步需要努力的方向。

    猜你喜歡
    批判性社群分組
    思辨讀寫促進(jìn)批判性思維的發(fā)展
    探討樋口一葉作品中的批判性——以《青梅竹馬》為例
    社群短命七宗罪
    思辨讀寫促進(jìn)批判性思維的發(fā)展
    分組搭配
    怎么分組
    分組
    當(dāng)前大眾文化審丑異化的批判性解讀
    母嬰電商的社群玩法
    VC靠邊!社群股權(quán)眾籌來了
    久久精品久久久久久久性| 成人毛片a级毛片在线播放| 黄片wwwwww| 九九热线精品视视频播放| 最后的刺客免费高清国语| 国产一级毛片在线| 国产探花极品一区二区| 少妇人妻一区二区三区视频| 亚洲av一区综合| 简卡轻食公司| 啦啦啦韩国在线观看视频| 夫妻性生交免费视频一级片| 亚洲欧美精品专区久久| 深爱激情五月婷婷| 久久久久性生活片| 成人永久免费在线观看视频| 深夜a级毛片| 中文字幕熟女人妻在线| 久久精品国产亚洲网站| 日韩在线高清观看一区二区三区| 亚洲精品日韩在线中文字幕 | 成人亚洲精品av一区二区| 亚洲欧美成人精品一区二区| 欧美日本亚洲视频在线播放| 搡老妇女老女人老熟妇| 欧美极品一区二区三区四区| 三级经典国产精品| 亚洲美女视频黄频| 久久久久九九精品影院| 亚洲在线自拍视频| 久久久久久九九精品二区国产| 亚洲国产欧洲综合997久久,| 在线免费十八禁| 欧美一级a爱片免费观看看| 美女脱内裤让男人舔精品视频 | 亚洲欧美日韩高清专用| 精品久久久久久久久久久久久| 白带黄色成豆腐渣| 九九久久精品国产亚洲av麻豆| av视频在线观看入口| 日本黄色片子视频| 国产成人freesex在线| 2021天堂中文幕一二区在线观| 久久久久久大精品| 麻豆av噜噜一区二区三区| kizo精华| 欧美又色又爽又黄视频| 一级毛片久久久久久久久女| 蜜桃亚洲精品一区二区三区| 色综合色国产| 美女国产视频在线观看| 国产亚洲av嫩草精品影院| 中文字幕人妻熟人妻熟丝袜美| 婷婷精品国产亚洲av| 一区福利在线观看| 亚洲精品久久国产高清桃花| 99热这里只有是精品50| ponron亚洲| 哪里可以看免费的av片| 国产中年淑女户外野战色| 麻豆一二三区av精品| 一区二区三区高清视频在线| 舔av片在线| 99热全是精品| 搞女人的毛片| 色综合亚洲欧美另类图片| 亚洲五月天丁香| 国产精品久久电影中文字幕| 精品不卡国产一区二区三区| 亚洲国产欧美在线一区| 国产精品美女特级片免费视频播放器| 中文资源天堂在线| 久久精品国产自在天天线| 校园人妻丝袜中文字幕| 中文字幕免费在线视频6| 黄色一级大片看看| 国产精品免费一区二区三区在线| 精品一区二区三区视频在线| 欧美高清成人免费视频www| 男人舔奶头视频| 国产一区二区三区在线臀色熟女| 午夜福利成人在线免费观看| 中文亚洲av片在线观看爽| 免费av毛片视频| 97热精品久久久久久| 亚洲天堂国产精品一区在线| 国内少妇人妻偷人精品xxx网站| 97在线视频观看| 国产麻豆成人av免费视频| 免费一级毛片在线播放高清视频| 神马国产精品三级电影在线观看| 精品免费久久久久久久清纯| 亚洲第一电影网av| 两个人的视频大全免费| 嫩草影院精品99| 婷婷色av中文字幕| 看十八女毛片水多多多| 美女黄网站色视频| 乱系列少妇在线播放| 欧美变态另类bdsm刘玥| 最新中文字幕久久久久| 一本一本综合久久| 欧美日本视频| 精华霜和精华液先用哪个| 亚洲国产精品成人综合色| 别揉我奶头 嗯啊视频| 三级男女做爰猛烈吃奶摸视频| 我的女老师完整版在线观看| 最近的中文字幕免费完整| 欧美日本视频| 色综合亚洲欧美另类图片| 久久九九热精品免费| 一级毛片aaaaaa免费看小| 波多野结衣高清无吗| 99九九线精品视频在线观看视频| 免费黄网站久久成人精品| 精品不卡国产一区二区三区| 波多野结衣高清作品| 国产精品美女特级片免费视频播放器| 久久久久国产网址| 深夜精品福利| 又爽又黄无遮挡网站| 欧美激情久久久久久爽电影| 久久人人爽人人爽人人片va| 美女高潮的动态| 亚洲国产精品合色在线| 亚洲av.av天堂| 久久久久网色| 国产伦理片在线播放av一区 | 欧美xxxx性猛交bbbb| 国产亚洲精品av在线| 黄片wwwwww| 在线观看午夜福利视频| 啦啦啦韩国在线观看视频| 国产亚洲5aaaaa淫片| 91在线精品国自产拍蜜月| 日本三级黄在线观看| 不卡一级毛片| 久久6这里有精品| 精品人妻一区二区三区麻豆| 男女啪啪激烈高潮av片| 亚洲精品影视一区二区三区av| 国产 一区 欧美 日韩| 国产高潮美女av| 乱人视频在线观看| 最近最新中文字幕大全电影3| 成人毛片a级毛片在线播放| 欧美一区二区亚洲| 国产成人a区在线观看| 国产精品综合久久久久久久免费| 午夜亚洲福利在线播放| 中文字幕久久专区| 亚洲精品日韩在线中文字幕 | 国内精品美女久久久久久| a级毛片a级免费在线| 蜜桃亚洲精品一区二区三区| 日本-黄色视频高清免费观看| 成年女人永久免费观看视频| 精品日产1卡2卡| 成人特级黄色片久久久久久久| 国国产精品蜜臀av免费| 精品久久久久久久久久久久久| 国产高潮美女av| 观看美女的网站| 高清在线视频一区二区三区 | av国产免费在线观看| 一级毛片我不卡| 可以在线观看毛片的网站| 只有这里有精品99| 男人的好看免费观看在线视频| 久久这里有精品视频免费| 亚洲国产精品sss在线观看| 在线观看午夜福利视频| 久久久久久久久久成人| 五月玫瑰六月丁香| 色视频www国产| 丝袜美腿在线中文| 国产伦精品一区二区三区四那| 少妇人妻一区二区三区视频| 国产真实乱freesex| 免费看光身美女| 日韩制服骚丝袜av| 好男人在线观看高清免费视频| 国产伦一二天堂av在线观看| 天堂√8在线中文| 麻豆av噜噜一区二区三区| 国产老妇女一区| 成年女人永久免费观看视频| 老师上课跳d突然被开到最大视频| 男女啪啪激烈高潮av片| 春色校园在线视频观看| 中文字幕av在线有码专区| 久久人人精品亚洲av| videossex国产| 国产午夜精品一二区理论片| 美女黄网站色视频| 99久国产av精品| 免费观看在线日韩| 夜夜爽天天搞| 国产伦一二天堂av在线观看| 有码 亚洲区| 女的被弄到高潮叫床怎么办| 一进一出抽搐gif免费好疼| 免费观看人在逋| 日本一本二区三区精品| 男女下面进入的视频免费午夜| 亚洲国产色片| 免费av不卡在线播放| 天堂√8在线中文| 又爽又黄无遮挡网站| 免费观看在线日韩| 嫩草影院入口| 欧美最黄视频在线播放免费| 26uuu在线亚洲综合色| 亚洲欧美日韩高清专用| 99久久九九国产精品国产免费| 国产成人福利小说| 午夜久久久久精精品| 只有这里有精品99| 能在线免费观看的黄片| 人人妻人人澡人人爽人人夜夜 | 国产精品久久久久久亚洲av鲁大| 一级毛片我不卡| kizo精华| 在线免费观看的www视频| 99热这里只有是精品在线观看| 国语自产精品视频在线第100页| АⅤ资源中文在线天堂| 国产综合懂色| 久久精品久久久久久噜噜老黄 | 亚洲av中文字字幕乱码综合| 亚洲综合色惰| 性欧美人与动物交配| 亚洲第一区二区三区不卡| 欧美日韩乱码在线| 99久久精品一区二区三区| 久久亚洲精品不卡| 干丝袜人妻中文字幕| 日本成人三级电影网站| 国产视频首页在线观看| 国产高清三级在线| 最新中文字幕久久久久| 麻豆av噜噜一区二区三区| 欧美日韩一区二区视频在线观看视频在线 | 久久久久九九精品影院| 国内精品一区二区在线观看| 噜噜噜噜噜久久久久久91| 尤物成人国产欧美一区二区三区| 婷婷色综合大香蕉| 欧美色欧美亚洲另类二区| 在线天堂最新版资源| 超碰av人人做人人爽久久| 国产在视频线在精品| 2021天堂中文幕一二区在线观| 国产亚洲精品久久久com| 国产探花极品一区二区| 听说在线观看完整版免费高清| 中文在线观看免费www的网站| 中文欧美无线码| 一本一本综合久久| 欧美日韩综合久久久久久| 一级毛片久久久久久久久女| 国产在线男女| 欧美精品国产亚洲| 99久久人妻综合| 久久99精品国语久久久| 能在线免费观看的黄片| 三级男女做爰猛烈吃奶摸视频| 中国国产av一级| 欧美一级a爱片免费观看看| 国产不卡一卡二| 可以在线观看的亚洲视频| 三级男女做爰猛烈吃奶摸视频| av在线天堂中文字幕| 国产日韩欧美在线精品| 免费av毛片视频| 成人鲁丝片一二三区免费| 成人特级黄色片久久久久久久| 嫩草影院新地址| 日韩一区二区视频免费看| 久久精品国产亚洲av香蕉五月| 热99re8久久精品国产| 人人妻人人澡人人爽人人夜夜 | 国产午夜精品久久久久久一区二区三区| 国产成人影院久久av| 搞女人的毛片| or卡值多少钱| 一级毛片aaaaaa免费看小| 菩萨蛮人人尽说江南好唐韦庄 | 亚洲美女搞黄在线观看| 国产精品福利在线免费观看| 国产中年淑女户外野战色| 国产亚洲精品久久久久久毛片| av在线播放精品| av专区在线播放| 热99在线观看视频| 又爽又黄无遮挡网站| 国产免费一级a男人的天堂| 亚洲五月天丁香| 亚洲欧美日韩东京热| 国产av不卡久久| 精品99又大又爽又粗少妇毛片| 久久久久久九九精品二区国产| 嫩草影院入口| 成人高潮视频无遮挡免费网站| 淫秽高清视频在线观看| 大又大粗又爽又黄少妇毛片口| 精品国产三级普通话版| 久久精品久久久久久久性| 边亲边吃奶的免费视频| 国产真实乱freesex| 一级黄色大片毛片| 日韩av在线大香蕉| www.av在线官网国产| 听说在线观看完整版免费高清| 亚洲av成人精品一区久久| 男女下面进入的视频免费午夜| 美女 人体艺术 gogo| 色哟哟哟哟哟哟| 在线观看午夜福利视频| 看十八女毛片水多多多| 69人妻影院| 国产激情偷乱视频一区二区| 国国产精品蜜臀av免费| 亚洲三级黄色毛片| av免费在线看不卡| 亚洲天堂国产精品一区在线| 国产精品免费一区二区三区在线| 亚洲图色成人| av免费观看日本| 欧美丝袜亚洲另类| 欧美+亚洲+日韩+国产| 最近手机中文字幕大全| 国产黄片美女视频| 亚洲av第一区精品v没综合| 97超碰精品成人国产| 亚洲国产欧美在线一区| 欧美最黄视频在线播放免费| 国产高清视频在线观看网站| 日本一本二区三区精品| 91麻豆精品激情在线观看国产| 特大巨黑吊av在线直播| 国产亚洲5aaaaa淫片| 久99久视频精品免费| 亚洲中文字幕日韩| 能在线免费看毛片的网站| 亚洲av二区三区四区| 国产黄片视频在线免费观看| 国产成人一区二区在线| 国产一区二区三区在线臀色熟女| 尾随美女入室| 91久久精品国产一区二区三区| 久久久精品大字幕| 精品午夜福利在线看| 国产色爽女视频免费观看| 久久精品久久久久久噜噜老黄 | 久久精品国产亚洲av涩爱 | 久久久久久久久久久免费av| 校园人妻丝袜中文字幕| 久久久久久久久久成人| 免费大片18禁| 特级一级黄色大片| а√天堂www在线а√下载| 亚洲欧美成人精品一区二区| av在线天堂中文字幕| 国产伦理片在线播放av一区 | 久久久a久久爽久久v久久| 搡女人真爽免费视频火全软件| 特大巨黑吊av在线直播| 久久精品久久久久久噜噜老黄 | 熟妇人妻久久中文字幕3abv| 深爱激情五月婷婷| 色5月婷婷丁香| 中文字幕熟女人妻在线| kizo精华| 欧美性猛交╳xxx乱大交人| 欧美高清成人免费视频www| 久久久精品欧美日韩精品| 久久这里有精品视频免费| 国产精品人妻久久久影院| 日本一本二区三区精品| 亚洲精品粉嫩美女一区| 日韩一区二区视频免费看| 五月玫瑰六月丁香| 一级毛片aaaaaa免费看小| 国产一区二区激情短视频| 日韩一区二区视频免费看| 国产成人福利小说| 中文资源天堂在线| 搡老妇女老女人老熟妇| 不卡视频在线观看欧美| 免费人成视频x8x8入口观看| 亚洲av二区三区四区| 一边摸一边抽搐一进一小说| av.在线天堂| 一本一本综合久久| 男的添女的下面高潮视频| 久久久久网色| 午夜福利在线在线| 午夜激情福利司机影院| 国产真实伦视频高清在线观看| 成年免费大片在线观看| eeuss影院久久| 欧美另类亚洲清纯唯美| 午夜福利在线在线| 男人的好看免费观看在线视频| 日韩成人av中文字幕在线观看| 三级毛片av免费| 国产精品不卡视频一区二区| 女同久久另类99精品国产91| 校园人妻丝袜中文字幕| 美女高潮的动态| kizo精华| 91麻豆精品激情在线观看国产| 日本撒尿小便嘘嘘汇集6| 大香蕉久久网| АⅤ资源中文在线天堂| 人妻久久中文字幕网| 神马国产精品三级电影在线观看| 亚洲精品久久国产高清桃花| av在线亚洲专区| 一边亲一边摸免费视频| 亚洲第一电影网av| 亚洲乱码一区二区免费版| 日本欧美国产在线视频| 国产探花极品一区二区| 国产视频首页在线观看| 久久久a久久爽久久v久久| av国产免费在线观看| 国产美女午夜福利| 熟女电影av网| 男女视频在线观看网站免费| 亚洲精华国产精华液的使用体验 | 桃色一区二区三区在线观看| 精品人妻偷拍中文字幕| 日本黄色片子视频| avwww免费| 国产综合懂色| 丰满乱子伦码专区| 一个人看视频在线观看www免费| 99久久无色码亚洲精品果冻| 午夜福利在线观看免费完整高清在 | 国产精品不卡视频一区二区| 免费观看人在逋| 大香蕉久久网| 男人和女人高潮做爰伦理| 成人毛片a级毛片在线播放| 在线免费观看不下载黄p国产| 亚洲国产精品sss在线观看| 国产91av在线免费观看| 亚州av有码| 免费人成在线观看视频色| 国产精品爽爽va在线观看网站| 天天一区二区日本电影三级| 精品久久久久久久末码| 成人毛片a级毛片在线播放| 国产中年淑女户外野战色| a级一级毛片免费在线观看| av免费在线看不卡| 美女被艹到高潮喷水动态| 国产精品女同一区二区软件| 看十八女毛片水多多多| 99在线视频只有这里精品首页| 久久精品人妻少妇| 欧美另类亚洲清纯唯美| 日韩三级伦理在线观看| 亚洲精华国产精华液的使用体验 | 成人特级黄色片久久久久久久| 国产片特级美女逼逼视频| 亚洲av中文av极速乱| 如何舔出高潮| 免费电影在线观看免费观看| 中文字幕av在线有码专区| 天美传媒精品一区二区| 夜夜看夜夜爽夜夜摸| 亚洲国产精品成人久久小说 | 国产亚洲av片在线观看秒播厂 | 男人舔奶头视频| 久久精品国产99精品国产亚洲性色| 99久久精品热视频| 亚洲欧美日韩高清在线视频| 免费大片18禁| 插逼视频在线观看| 51国产日韩欧美| 中文欧美无线码| 国产乱人偷精品视频| 国产男人的电影天堂91| 色5月婷婷丁香| 毛片一级片免费看久久久久| 12—13女人毛片做爰片一| a级毛色黄片| 久久精品国产亚洲av香蕉五月| 欧美一级a爱片免费观看看| 成人漫画全彩无遮挡| av福利片在线观看| 乱系列少妇在线播放| av免费观看日本| 级片在线观看| 中文字幕熟女人妻在线| 网址你懂的国产日韩在线| 男人和女人高潮做爰伦理| av天堂在线播放| 国产久久久一区二区三区| 国产成人精品婷婷| 麻豆成人av视频| 中国美女看黄片| 一区二区三区高清视频在线| 人妻久久中文字幕网| 亚洲av免费在线观看| 日韩成人伦理影院| videossex国产| 欧美+亚洲+日韩+国产| 特大巨黑吊av在线直播| 国产亚洲91精品色在线| 熟妇人妻久久中文字幕3abv| 亚洲美女搞黄在线观看| 亚洲国产欧美在线一区| 欧美人与善性xxx| 亚洲精品久久国产高清桃花| 欧美+亚洲+日韩+国产| 亚洲av电影不卡..在线观看| 国产黄a三级三级三级人| 国产探花极品一区二区| 国产亚洲av嫩草精品影院| 久久99蜜桃精品久久| 色尼玛亚洲综合影院| 麻豆国产97在线/欧美| 大香蕉久久网| 国产淫片久久久久久久久| 91aial.com中文字幕在线观看| 级片在线观看| 国产一区二区三区在线臀色熟女| 在线观看免费视频日本深夜| 久久人人爽人人片av| 婷婷六月久久综合丁香| 国产精品人妻久久久久久| 久久韩国三级中文字幕| 我的老师免费观看完整版| 欧美成人免费av一区二区三区| 免费电影在线观看免费观看| 中文资源天堂在线| 国产亚洲精品久久久com| 午夜福利在线在线| 观看免费一级毛片| 噜噜噜噜噜久久久久久91| 亚洲国产精品合色在线| 能在线免费观看的黄片| av国产免费在线观看| av在线老鸭窝| 国产精品一区二区三区四区久久| 国产大屁股一区二区在线视频| 26uuu在线亚洲综合色| 国产精品蜜桃在线观看 | 天堂√8在线中文| 久久精品国产亚洲av天美| 日韩欧美一区二区三区在线观看| 校园春色视频在线观看| 免费观看a级毛片全部| 国产精品伦人一区二区| 精品久久久久久久久亚洲| 久久精品国产鲁丝片午夜精品| 日韩制服骚丝袜av| 国产在视频线在精品| 97超视频在线观看视频| 欧美潮喷喷水| 国产黄a三级三级三级人| 97超碰精品成人国产| 一级二级三级毛片免费看| 熟妇人妻久久中文字幕3abv| 少妇猛男粗大的猛烈进出视频 | 26uuu在线亚洲综合色| 日本三级黄在线观看| 美女黄网站色视频| 亚洲av中文字字幕乱码综合| 亚洲无线在线观看| 国产精品乱码一区二三区的特点| 亚洲欧美日韩高清专用| 国内揄拍国产精品人妻在线| 赤兔流量卡办理| 18禁裸乳无遮挡免费网站照片| 亚洲av中文av极速乱| 久久人妻av系列| 99九九线精品视频在线观看视频| 色哟哟哟哟哟哟| 欧美极品一区二区三区四区| 国产精品爽爽va在线观看网站| 美女脱内裤让男人舔精品视频 | 中文字幕av成人在线电影| 久久精品国产亚洲av天美| 99九九线精品视频在线观看视频| 你懂的网址亚洲精品在线观看 | 成年版毛片免费区| 中文字幕精品亚洲无线码一区| 99热只有精品国产| 国产成人freesex在线| 国产黄色视频一区二区在线观看 | 午夜精品在线福利| 看非洲黑人一级黄片| 日韩欧美在线乱码| 一边摸一边抽搐一进一小说| 亚洲精品日韩av片在线观看| 男女那种视频在线观看| 日日干狠狠操夜夜爽| 久久久久久九九精品二区国产| 日韩欧美国产在线观看| 免费观看人在逋| 精品人妻偷拍中文字幕| 国产亚洲av片在线观看秒播厂 | 日韩精品有码人妻一区| 在线国产一区二区在线| 久久午夜亚洲精品久久| avwww免费| 国产伦一二天堂av在线观看| 久久久久网色| 日日撸夜夜添|