• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于人工智能的課堂師生對話分析:IRE的自動分類與分水平構(gòu)建

    2023-10-18 00:28:51楊曉哲王晴晴蔣佳龍
    電化教育研究 2023年10期
    關(guān)鍵詞:師生對話機器學(xué)習(xí)人工智能

    楊曉哲 王晴晴 蔣佳龍

    [摘? ?要] 已有大量研究關(guān)注課堂中的師生對話,并對其進(jìn)行了不同類型的編碼與分析,但目前的編碼仍受到專業(yè)人員的水平與時間限制。為提高課堂對話編碼速度,實現(xiàn)自動化的課堂對話分類與即時反饋,采用人工智能技術(shù),利用神經(jīng)網(wǎng)絡(luò)分析模型對課堂中的提問、回答、反饋進(jìn)行自動編碼。研究發(fā)現(xiàn):該模型實現(xiàn)了基于語義的課堂對話質(zhì)量評估,能夠在短時間內(nèi)實現(xiàn)課堂師生對話中IRE模型的分水平評估,即對提問層次水平、回答層次水平和反饋層次水平進(jìn)行評估與分類;構(gòu)建了全面、快速、準(zhǔn)確的課堂對話評估方式,成為進(jìn)一步理解課堂中學(xué)習(xí)發(fā)生過程的關(guān)鍵環(huán)節(jié),為大規(guī)模課堂智能分析奠定重要基礎(chǔ)。

    [關(guān)鍵詞] 師生對話; 機器學(xué)習(xí); 自動分類; 人工智能

    [中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 楊曉哲(1988—),男,福建泉州人。副教授,博士,主要從事教育信息化、信息科技、學(xué)習(xí)科學(xué)研究。E-mail:yangxz@vip.163.com。

    基金項目:國家社會科學(xué)基金2022年度教育學(xué)一般課題“中小學(xué)課堂智能分析的標(biāo)準(zhǔn)建構(gòu)與應(yīng)用研究”(課題編號:BHA220144)

    一、引? ?言

    課堂對話是課堂環(huán)境中發(fā)生的社會化建構(gòu)過程,也是課堂中進(jìn)行知識共享、構(gòu)建群體認(rèn)知的重要環(huán)節(jié)。對話有助于學(xué)生展開批判性思維,通過相互理解來加深學(xué)習(xí)效果。有效的課堂對話應(yīng)該發(fā)生在師生之間,并遵循目的性、互惠性、支持性和積累性的方式展開。然而,在真實的課堂教學(xué)中,對話質(zhì)量存在巨大差異,有時僅限于簡單的問答,沒有展開平等、深入和開放的對話過程。為了提高課堂對話的有效性,教師同伴之間采取相互觀察的方式,通過相互提醒和建議以改進(jìn)教學(xué)。教育研究者還利用課堂視頻錄像等方式進(jìn)行課堂對話編碼,以提高反饋的準(zhǔn)確性。然而,這種手動編碼方式耗時且難以為教師提供及時有效的反饋,對教學(xué)改進(jìn)的作用非常有限。因此,提高課堂對話編碼速度并實現(xiàn)即時反饋對于課堂對話自動分類至關(guān)重要。為此,本研究采用機器學(xué)習(xí)模型和人工智能技術(shù)對課堂師生對話進(jìn)行自動分類編碼。通過機器學(xué)習(xí)訓(xùn)練,實現(xiàn)對課堂師生對話的快速自動編碼,分析課堂師生對話的質(zhì)量,為教師改進(jìn)教學(xué)提供可行途徑。

    二、研究現(xiàn)狀與文獻(xiàn)綜述

    (一)課堂對話研究

    課堂對話是一種在課堂環(huán)境中教師與學(xué)生之間、學(xué)生與學(xué)生之間的多向交流互動,能夠增強知識理解與建構(gòu)。已有研究表明,有效的課堂對話能促進(jìn)學(xué)習(xí)成就的達(dá)成[1]。對于課堂對話模式分類的探索起源已久,研究者通過話語分析方法建立了分層描述框架,提出了“啟動—響應(yīng)—反饋(IRF)”結(jié)構(gòu)[2],這被認(rèn)為是課堂對話模式的經(jīng)典模型結(jié)構(gòu)。該結(jié)構(gòu)有助于區(qū)分課堂中對話的關(guān)聯(lián)與關(guān)系。之后,米恩(Mehan)采用民族志方法,對IRF結(jié)構(gòu)作了新的詮釋,提出IRE結(jié)構(gòu),即“教師啟動—學(xué)生回應(yīng)—教師評價”[3]。米恩強調(diào)了課堂對話中教師反饋對學(xué)生的評價作用??ㄆ濐D(Cazden)用民族志方法完善了IRE結(jié)構(gòu),豐富了其變式[4]。IRE對話框架自建立以來,一直作為課堂互動分析的重要結(jié)構(gòu)模型被廣泛地應(yīng)用。

    教師在教學(xué)中可以使用課堂對話來發(fā)展和鞏固學(xué)生的學(xué)習(xí),利用學(xué)生的已有知識并幫助學(xué)生成為獨立的學(xué)習(xí)者。史密斯(Smith)發(fā)現(xiàn),允許學(xué)生更多參與的課堂話語導(dǎo)致了更多的批判性思維和更好的學(xué)習(xí)效果[5]。麥考密克(McCormick)和多納托(Donato)分析了班會、教師日記、訪談等各種數(shù)據(jù)來源,發(fā)現(xiàn)教師在課堂對話中為學(xué)生學(xué)習(xí)提供了重要支架[6]。雖然課堂中對話的重要性得到認(rèn)可,但長期以來課堂對話存在兩個傾向:一是,教師對課堂中對話的重要性關(guān)注不足。沃林(Waring)的研究指出,在大量、連續(xù)的IRE指令下,學(xué)生的主動性很難被滿足,教師也很少讓學(xué)生自主地提出開放性的問題,這是造成課堂對話質(zhì)量與水平低下的原因之一[7]。二是,教師作為話語協(xié)調(diào)者,常常操縱和主導(dǎo)著課堂對話?;粑炙迹℉aworth)發(fā)現(xiàn),小學(xué)生在小組任務(wù)中進(jìn)行討論時,常模仿教師的話語模式,這限制了學(xué)生在討論中的自由[8]。因此,進(jìn)一步發(fā)展IRE對話的分類編碼,不僅應(yīng)關(guān)注結(jié)構(gòu),還需構(gòu)建結(jié)構(gòu)下的分水平編碼,這將成為深度理解課堂對話的關(guān)鍵。

    “對話式教學(xué)與學(xué)習(xí)”(Dialogic Teaching-and-Learning)這一概念由羅哈斯—德拉蒙德等人提出,他們發(fā)現(xiàn)參與者之間的對話式互動,即對話式教學(xué)與學(xué)習(xí)對教師和學(xué)生建構(gòu)知識的過程有很大的幫助[9]。“對話式教學(xué)與學(xué)習(xí)”尤其強調(diào)利用語言的力量來激發(fā)和擴展學(xué)生的理解、思考和學(xué)習(xí),并鼓勵學(xué)生公平地參與課堂對話。如此,課堂對話就既有教師課前預(yù)設(shè)的部分,也有課堂中生成的部分。課堂對話過程不全是教師設(shè)定好的問題,還包括教師在課堂中不斷生成的問題。學(xué)生參與對話的過程會改變和影響整個課堂對話的內(nèi)容與質(zhì)量。從“對話式教學(xué)與學(xué)習(xí)”的視角出發(fā),整個課堂對話的過程中,無論是提問、回答還是反饋,都可以呈現(xiàn)為不同的水平和層次。教師既可以提出簡單的、有標(biāo)準(zhǔn)答案的問題,也可以提出開放性的、需要推理回答的問題。開放性的對話能夠進(jìn)一步激發(fā)學(xué)習(xí)者元認(rèn)知和反思的過程。學(xué)生對于探討沒有標(biāo)準(zhǔn)答案的開放式問題表現(xiàn)出極大熱情,應(yīng)當(dāng)鼓勵學(xué)生對觀點進(jìn)行深入的闡釋、推理和論證[10]。對課堂對話質(zhì)量的研究備受關(guān)注,如克利巴德(Kliebard)等基于課堂話語將教學(xué)活動分為結(jié)構(gòu)化、誘導(dǎo)、回答和反饋,以此劃分一個個“話語周期”并得到 “師生話語的相對占比”,進(jìn)而分析課堂中的對話質(zhì)量[11]。

    隨著對課堂對話研究的深入,越來越多的編碼框架能夠?qū)φn堂話語進(jìn)行量化觀察和分析。近十年來,國際課堂對話評價指標(biāo)不斷更新,研究者總結(jié)出它們一般包括事實類話語、個人信息分享、分析式話語、歸納式話語和推斷式話語等編碼類別。國內(nèi)學(xué)者提出的ITIAS分類系統(tǒng)(Information Technology-based Interaction Analysis System)中,進(jìn)一步將教師提問劃分為封閉性提問和開放性提問[12]。有研究者提出,從邀請解釋、明確推理、表達(dá)想法等維度來衡量教師課堂教學(xué)話語的效度,并提出了課堂教學(xué)對話分析SEDA(Scheme for Educational Dialogue Analysis)方案[13]。有研究者設(shè)計了一個根據(jù)教師提問和學(xué)生不同反饋的特征分類編碼框架[14],亦有研究者構(gòu)建了基于人工智能的課堂分析標(biāo)準(zhǔn)架構(gòu)——高品質(zhì)課堂智能分析標(biāo)準(zhǔn)(CEED),該標(biāo)準(zhǔn)包括三個方面(課堂效益、課堂公平、課堂民主)和九個維度,并整合多模態(tài)數(shù)據(jù)進(jìn)行課堂對話分析[15]。

    盡管編碼體系取得了長足發(fā)展,但課堂對話分析還是較依賴經(jīng)過培訓(xùn)的研究人員進(jìn)行手工標(biāo)注來完成。隨著技術(shù)發(fā)展,通過攝像等方式對課堂進(jìn)行記錄,后期采取人工編碼的方式,特別是結(jié)合NVivo等常用軟件對課堂進(jìn)行編碼,能大大提高課堂對話編碼的效率。盡管有了軟件的輔助,但是課堂對話編碼仍然需要耗費大量的時間,無法立即反饋給一線教師。教師無法及時得到關(guān)于課堂對話進(jìn)展情況的反饋。這已被證明是導(dǎo)致低質(zhì)量課堂對話的一個重要因素。因此,如何實現(xiàn)課堂對話自動、快速地編碼分析對改進(jìn)課堂對話非常重要。

    (二)課堂對話的自動分類研究

    自動分類是一種計算機獨立運行,根據(jù)數(shù)據(jù)進(jìn)行自動識別分類的技術(shù)。與手動分類相比,自動分類的速度更快,也更能節(jié)約人力、物力。文本自動分類越來越受到各行各界應(yīng)用層面的關(guān)注。使用基于規(guī)則的文本分類方法已經(jīng)被用于大量行業(yè)場景之中。例如:使用文本自動分類區(qū)分垃圾郵件內(nèi)容。傳統(tǒng)的文本分類往往依靠一定的明確規(guī)則,甚至有的時候要限定一些特定的關(guān)鍵詞。然而,近年來,隨著人工智能技術(shù)的發(fā)展,采用有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等方式的文本分類應(yīng)用越發(fā)廣泛。與傳統(tǒng)文本分類相比,機器學(xué)習(xí)方式只需要預(yù)先對一定的文本進(jìn)行分類標(biāo)簽的人工標(biāo)注,然后通過機器學(xué)習(xí)的方式進(jìn)行數(shù)據(jù)集的訓(xùn)練,就能夠提升文本分類的準(zhǔn)確度和靈活性。例如:運用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本段落與句子分類[16];基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類[17];基于錄音文本進(jìn)行自動分類[18]。有監(jiān)督的深度學(xué)習(xí)更好地利用了神經(jīng)網(wǎng)絡(luò)算法,實現(xiàn)了更加精準(zhǔn)、高效的文本分類。庫薩利(Kowsari)等研究發(fā)現(xiàn),基于深度學(xué)習(xí)的模型對各種文本分類任務(wù)的效率有顯著提高[19]。此外,已有不少研究采用了有監(jiān)督學(xué)習(xí)對文本進(jìn)行情感分類。例如:有研究者提出了基于GRU對文檔進(jìn)行多標(biāo)簽情感分類的GRU+Attention 模型[20],還有研究者采用有監(jiān)督學(xué)習(xí)進(jìn)行學(xué)習(xí)成績預(yù)測、輟學(xué)率預(yù)測等[21],亦有研究者采用雙向LSTM模型進(jìn)行文本情感分類[22]。

    現(xiàn)有研究中,已有少量研究通過自動編碼的方式對課堂話語進(jìn)行自動或半自動分析,并探索使用機器學(xué)習(xí)進(jìn)行課堂話語的自動編碼。福特(Ford)等設(shè)計了一個語言環(huán)境分析系統(tǒng)(LENA)。該系統(tǒng)能夠記錄并自動檢測課堂語言環(huán)境信息,采用機器學(xué)習(xí)訓(xùn)練的方式,對課堂中包括教師教授、師生對話和小組活動在內(nèi)的不同事件時間段進(jìn)行了分類[23]。研究者還嘗試用人工智能技術(shù)對課堂話語分類進(jìn)行自動識別判斷[24]。布蘭查德(Blanchard)等開發(fā)了能夠自動檢測課堂回答的模型,這一模型能對課堂對話中的問題和回答進(jìn)行自動編碼,采用自動化課堂對話問答模型能夠?qū)φn堂中的問答環(huán)節(jié)進(jìn)行文本判定和區(qū)分[25]。國內(nèi)學(xué)者針對信息化環(huán)境下課堂話語的特點,從話語分析的維度,利用貝葉斯分類器實現(xiàn)了課堂話語的半自動化分析[26];對不同學(xué)科的課堂對話進(jìn)行自動編碼與分析探索,構(gòu)建了數(shù)學(xué)課堂的話語分析體系[27];借助人工編碼與機器學(xué)習(xí)相結(jié)合的方法對大規(guī)模中小學(xué)課堂進(jìn)行話語分析,發(fā)掘了中小學(xué)課堂“以基礎(chǔ)知識類對話為基礎(chǔ)、多元對話組合推進(jìn)”的對話模式[28]。

    盡管已有研究對課堂對話的自動分類已經(jīng)能夠?qū)崿F(xiàn)整體歸類分析,區(qū)分一般形式的對話,包括判斷不同的課堂時間段類型,但尚未實現(xiàn)對課堂對話的質(zhì)量分水平判定,以往研究中的自動編碼分析尚無法實現(xiàn)不同對話層次的分類與不同對話水平的質(zhì)量評估,應(yīng)用于診斷課堂對話質(zhì)量時存在一定的局限性,難以給出更具針對性的教學(xué)改進(jìn)建議。這正是本研究的重點突破范疇。

    三、研究過程與方法

    (一)數(shù)據(jù)集

    課堂視頻數(shù)據(jù)集為研究團隊的實驗項目學(xué)校所提供的課堂實錄素材。課堂視頻數(shù)據(jù)集由1008節(jié)課組成,其中,小學(xué)672節(jié)課,初中336節(jié)課。對每節(jié)課堂視頻進(jìn)行課堂話語的文字轉(zhuǎn)錄,得到共計358410條話語。課堂視頻采取整節(jié)課全程錄制的方式,真實地保留了課堂的全過程,完整地記錄了課堂中教師的聲音,以及學(xué)生發(fā)言回答的聲音。

    (二)編碼框架

    課堂話語分析存在多種不同的編碼框架。課堂分析的出發(fā)點和觀察視角不同,由此產(chǎn)生的編碼框架的價值和指向也不同。采用什么樣的編碼框架能夠更全面地描述對話及其質(zhì)量呢?雖然不同研究者的定義與方法之間存在差異,但也有相似之處??傮w而言,面向師生對話的交互功能包括以下幾點:(1)能引起深層思考的邀請,如教師提出真實的問題并進(jìn)一步要求明確說明和解釋;(2)進(jìn)行解釋與推理;(3)進(jìn)行批判性思維訓(xùn)練、挑戰(zhàn),并在此基礎(chǔ)上進(jìn)行知識建構(gòu);(4)在知識間產(chǎn)生鏈接和關(guān)聯(lián);(5)試圖通過解決分歧達(dá)成共識[29]。也有研究團隊以社會文化理論為基礎(chǔ),提出側(cè)重微觀層面分析的對話分析編碼方案SEDA,分解為8個組、33個類別。如以I( Iinvite Elaboration or Reasoning) 代表邀請解釋/推理,其中,I又可細(xì)分為I1~I(xiàn)6,I1代表邀請解釋或證明他人想法,I2代表邀請評估他人想法,I3代表基于已有想法邀請推理,I4代表邀請?zhí)峁├碛?,I5代表邀請預(yù)測,I6代表邀請細(xì)化或舉例。又如,以P(Positioning and Coordination)代表定位與協(xié)調(diào),P可細(xì)分為P1~P6,P1代表總結(jié)概括,P2代表比較,P3代表提出解決方案,P4代表轉(zhuǎn)變觀點,P5代表質(zhì)疑,P6代表同意或不同意[13]。此后,亦有學(xué)者對此框架進(jìn)行精簡以便更好地應(yīng)用于研究與實踐。SEDA及其衍生編碼框架囊括了課堂對話的方向與類別,能夠幫助探究師生如何在課堂對話中進(jìn)行推理、反思、啟發(fā)。

    基于以上編碼框架,研究團隊提出一種維度更聚焦、指向分水平更明確的課堂對話編碼框架。研究團隊以I-R-E(啟動—回應(yīng)—評價)編碼框架為基礎(chǔ),在每個維度上作了進(jìn)一步劃分與闡釋。最終構(gòu)建了課堂對話分水平編碼框架,將課堂中的教師或?qū)W生提問分為三個層次水平,相關(guān)編碼規(guī)則見表1。

    (三)處理步驟

    將所有的課堂視頻提取音頻信息,通過智能技術(shù)實現(xiàn)語音轉(zhuǎn)錄成文字。在數(shù)據(jù)標(biāo)簽部分,根據(jù)編寫的“IRE分級編碼規(guī)則”,20名研究人員經(jīng)培訓(xùn)后各自進(jìn)行獨立編碼。完成首輪編碼后,就編碼不一致部分進(jìn)行討論與修改,以提高編碼可靠性。初始數(shù)據(jù)的編碼是后期機器學(xué)習(xí)編碼數(shù)據(jù)的重要依據(jù)。

    本研究基于上述數(shù)據(jù)集構(gòu)建了一個課堂對話自動分類模型,將處理后的數(shù)據(jù)分為“訓(xùn)練集” “驗證集”“測試集”。訓(xùn)練結(jié)束后,驗證模型的準(zhǔn)確性。最后使用最優(yōu)模型對新的課堂對話數(shù)據(jù)進(jìn)行自動分類預(yù)測。

    (四)課堂對話分類模型實現(xiàn)

    預(yù)訓(xùn)練模型具備較好的穩(wěn)定性和可擴展性,在特定領(lǐng)域的任務(wù)場景中,僅需要采用標(biāo)注好的數(shù)據(jù)集對模型進(jìn)行調(diào)整訓(xùn)練,即可得到特定任務(wù)場景的預(yù)測模型。預(yù)訓(xùn)練的優(yōu)點在于提供了一種更好的參數(shù)初始化方式,使得在目標(biāo)任務(wù)上收斂速度更快,在特定場景使用時不需要單獨標(biāo)注大量的語料來進(jìn)行訓(xùn)練,大大降低了下游任務(wù)所需的樣本數(shù)據(jù)和計算算力,節(jié)約時間,提升效率。

    BERT是一種基于Transformers雙向編碼器表示的(Bidirectional? Encoder? Representation? From Transformers, BERT) 預(yù)訓(xùn)練語言模型。Bert具有很強的泛化能力,從而為下游特定任務(wù)創(chuàng)建更精準(zhǔn)的預(yù)測模型。同卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相比,Bert模型在訓(xùn)練過程中采用了掩碼語言模型(Masked Language Model,MLM)和下一句預(yù)測(Next Sentence Predict,NSP)兩個方法作為預(yù)訓(xùn)練過程中的任務(wù),利用 Self-attention機制可以獲取雙向上下文信息,能夠?qū)W習(xí)句子與句子間的關(guān)系等更多特征,特別適合預(yù)測對話分類等具有深層語義特征的任務(wù)問題。使用Bert有兩個步驟,第一步,采用大量無監(jiān)督的語料進(jìn)行語言模型預(yù)訓(xùn)練;第二步,再運用少量標(biāo)注的語料進(jìn)行微調(diào)來完成具體任務(wù)。從0開始預(yù)訓(xùn)練需要花費巨大的計算資源,為節(jié)約資源,本文選擇Bert-base-Chinese預(yù)訓(xùn)練好的模型進(jìn)行微調(diào),微調(diào)即利用標(biāo)記好的語料對通用語言模型的參數(shù)進(jìn)行調(diào)整,從而得到具體的分類模型。

    首先,對課堂對話數(shù)據(jù)進(jìn)行編碼,轉(zhuǎn)為模型需要的編碼格式,使用輔助標(biāo)記符[CLS]和[SEP]表示句子的開始和分隔,對于單句分類,只需要一個句子輸入,不需要分隔SEP標(biāo)記,得到token_ids、category、seq_len、mask。然后根據(jù)特征轉(zhuǎn)換得到對應(yīng)的embedding,這里的embedding是三種embedding的組合,分別是token、segment、position級別。獲得句子級的嵌入表達(dá)后用encoder模型進(jìn)行訓(xùn)練,訓(xùn)練算法為BERT專用的Adam算法,損失函數(shù)采用二元交叉熵?fù)p失函數(shù),可對BERT進(jìn)行微調(diào)處理和反饋。最后,采取全連接層得到概率分布的分類標(biāo)簽整體情況。

    如表2所示,使用Bert進(jìn)行課堂對話分類任務(wù)訓(xùn)練時,我們通常先構(gòu)造一個Bert Model,然后由它從輸入語句中提取特征,每一個epoch后會在驗證集上進(jìn)行驗證,并給出相應(yīng)的f1值,如果f1值大于此前最高分,則保存模型參數(shù),否則flags加1。如果flags大于3,即連續(xù)3個epoch模型的性能都沒有繼續(xù)優(yōu)化,則停止訓(xùn)練過程。當(dāng)長時間沒有優(yōu)化則自動停止訓(xùn)練,保存最優(yōu)分類模型。

    四、結(jié)果與分析

    (一)數(shù)據(jù)集描述

    確定課堂對話數(shù)據(jù)集來自1008節(jié)課,共計358410條話語。按照6∶2∶2的比例劃分為訓(xùn)練集、驗證集和測試集。如表3所示,對IRE進(jìn)行三類數(shù)據(jù)的分配設(shè)置,并進(jìn)一步對分水平的IRE進(jìn)行數(shù)據(jù)分配設(shè)置(見表4)。

    (二)分類模型評估結(jié)果

    經(jīng)過隨機劃分訓(xùn)練集、驗證集和測試集,重復(fù)進(jìn)行模型微調(diào)訓(xùn)練后取平均值作為最終的評估結(jié)果。本研究采用準(zhǔn)確率(Precision)、召回率(Recall)、F1數(shù)值(F1 Score)作為課堂對話分類模型效果的評價指標(biāo)。表5為IRE三類分類整體指標(biāo)的評估情況,整體準(zhǔn)確率達(dá)79.57%。其中,提問I的識別準(zhǔn)確率最高,為84.11%,回答R的準(zhǔn)確率達(dá)81.84%,反饋E的準(zhǔn)確率為72.75。從F1數(shù)值整體來看,達(dá)到了78.73%,表明該模型整體預(yù)測處于較高水平。

    表6為IRE分水平整體指標(biāo)的評估情況。在F1數(shù)值(表明預(yù)測準(zhǔn)確率)上,排名前四的是I2、E1、E2、I1。判斷準(zhǔn)確率較低的是E3,準(zhǔn)確率為58.63%。在分水平整體準(zhǔn)確率上,達(dá)到了73.07%,整體上達(dá)到了較好的準(zhǔn)確率水平。因此,在IRE整體分類判斷水平評估上,該模型的預(yù)測結(jié)果能夠在真實課堂中展開分類自動判斷。

    經(jīng)過檢驗,課堂對話分類模型信效度良好,且與人工編碼的結(jié)果接近。結(jié)果表明,該模型有助于對課堂對話的分類和分水平診斷分析。通過對課堂對話自動化分析,能較準(zhǔn)確識別課堂對話中IRE模型中的不同水平,能夠?qū)μ釂枌哟嗡?、回答層次水平和反饋層次水平進(jìn)行評估。這種全面、快速、準(zhǔn)確的課堂對話評估方式是本研究的重要發(fā)現(xiàn)。

    五、研究探討與反思

    (一)研究貢獻(xiàn)與局限性

    本研究采用機器學(xué)習(xí)的方式,開創(chuàng)性地在課堂編碼領(lǐng)域里嘗試對課堂對話進(jìn)行IRE自動化分水平編碼與質(zhì)量評估。其主要貢獻(xiàn)包括:在理論層面,基于經(jīng)典的課堂對話IRE模型,進(jìn)一步結(jié)合以往研究,建構(gòu)了IRE分水平的編碼框架。該框架能夠基于語義,針對課堂對話的質(zhì)量進(jìn)行分水平判定與分析,關(guān)注了課堂對話中封閉的、簡單的、推理的、開放的等不同層級的問題、回答與反饋。在實踐層面,自動化分析極大地減少了課堂對話編碼的時間與難度,降低了人工工作量。本研究采用的框架不僅便于教師教學(xué)反思與理解,自動編碼的方式也能為教師和學(xué)生提供更多及時的反饋,也將有助于學(xué)生思考參與課堂的過程。本研究實現(xiàn)了課堂對話自動編碼IRE的突破性進(jìn)展。

    本研究同樣具有一定的局限性:一是,采用了機器學(xué)習(xí)的算法模型并經(jīng)過多次訓(xùn)練與測試,但課堂對話中的有些話語判斷依舊存在偏差。例如:教師講授時帶有疑問語氣的表達(dá),易被機器錯誤判定為教師提問,仍需通過進(jìn)一步的算法和數(shù)據(jù)集修正來解決這一問題。二是,本研究所使用的Bert-base-Chinese中,考慮到傳統(tǒng)NLP對中文分詞顆粒度存在一定的切分適配問題,其在細(xì)粒度級別上進(jìn)行的判斷還不夠精準(zhǔn),存在一定誤差。

    (二)基于課堂師生對話內(nèi)容的自動分類反思

    基于課堂多維度數(shù)據(jù),采用人工智能技術(shù)實現(xiàn)智能診斷與智能反饋,能幫助我們研究教與學(xué)認(rèn)知的復(fù)雜規(guī)律,亦是人工智能在教育領(lǐng)域內(nèi)應(yīng)用的主要方向之一[30]。首先,在理論層面上,構(gòu)建師生對話模型的分類標(biāo)準(zhǔn),是基于課堂師生對話內(nèi)容的自動分類與分析研究的基礎(chǔ)。建構(gòu)合理、高效的分水平模型框架,有助于實現(xiàn)自動化編碼對內(nèi)容語義的理解,有助于一線教師加強教學(xué)反思并加深對教學(xué)規(guī)律的理解。本研究基于經(jīng)典課堂對話模型所構(gòu)建的三級分類標(biāo)準(zhǔn)與細(xì)節(jié),能更有效地關(guān)注到課堂中開放的、平等的、帶有推理性和啟發(fā)性的提問、回答及反饋,這將有助于教師把握課堂對話的教學(xué)效果。其次,提升反饋的時效性與有效性是課堂對話自動分類與評估研究應(yīng)用于實踐的導(dǎo)向。在課堂中,教師在管理學(xué)生與進(jìn)行知識傳授之間分身乏術(shù),課堂話語的短時性也致使教師在獨立完成教學(xué)時很難注意到對話的分布與質(zhì)量,課堂反饋對教師來說尤其重要。提升反饋的時效性,使教師在課后能及時反思,通過反思促進(jìn)有效對話、提升對話質(zhì)量并提高課堂管理技能,同時,這種反饋可以用于專業(yè)教師培訓(xùn)[31]。此外,有效的形成性反饋也可以幫助學(xué)生更好地理解對話,促進(jìn)他們的思維和學(xué)習(xí)[32]。以往研究中,利用ASR技術(shù)實現(xiàn)對課堂對話中教師提問與學(xué)生回答對話片段的區(qū)分[25],但尚未對課堂對話進(jìn)行更進(jìn)一步的分層評估。本研究通過機器學(xué)習(xí),實現(xiàn)了課堂對話自動化分析,基于語義對課堂對話進(jìn)行了IRE模型中的不同水平分類,同時實現(xiàn)了快速分析。本研究基于中國課堂的語境與語義進(jìn)行了課堂對話自動分類與評估的探索,在前人研究基礎(chǔ)上進(jìn)行了拓展。

    (三)課堂對話自動分類與評估研究面臨的挑戰(zhàn)

    課堂對話自動分類與評估得益于對語音等數(shù)據(jù)的捕捉與分析技術(shù)。大數(shù)據(jù)的支持使得對課堂對話教學(xué)的大規(guī)模研究以及大范圍的國際比較研究成為可能。但隨著算法與大數(shù)據(jù)逐步應(yīng)用于教育教學(xué)研究,其中的倫理問題也愈發(fā)凸顯,數(shù)據(jù)的采集和使用安全問題不僅涉及基本隱私,更會在深入研究中產(chǎn)生更多倫理問題和數(shù)據(jù)安全隱患。因此,教育研究人員仍需非常謹(jǐn)慎。一方面,所有的數(shù)據(jù)收集都應(yīng)該在符合學(xué)術(shù)、道德倫理標(biāo)準(zhǔn)和尊重隱私的前提下進(jìn)行;另一方面,要特別警惕人工智能技術(shù)在各種應(yīng)用場景中的技術(shù)錯誤、數(shù)據(jù)偏差與推理誤判。盡管人工智能基于海量的數(shù)據(jù),使用相對準(zhǔn)確的算法進(jìn)行計算,但是仍然存在一定的偏差可能性,仍需警惕數(shù)據(jù)的假象,避免過分看重數(shù)據(jù)分析的結(jié)果,將課堂學(xué)習(xí)的過程簡單化、標(biāo)簽化和模式化。如何理解課堂中的對話依舊是一個變化、動態(tài)、復(fù)雜的過程,技術(shù)無法解決所有問題,未來研究應(yīng)著眼于進(jìn)一步探索人機協(xié)同的新方式,使人工智能以更融合的方式打開課堂“黑箱”、理解課堂教學(xué),為課堂研究本身提供更全面的數(shù)據(jù)與證據(jù)支持。

    [參考文獻(xiàn)]

    [1] MERCER N, HENNESSY S, WARWICK P. Dialogue, thinking together and digital technology in the classroom: some educational implications of a continuing line of inquiry[J]. International journal of educational research, 2019,97:187-199.

    [2] SINCLAIR J M H, COULTHARD M. Towards an analysis of discourse: the English used by teachers and pupils[M].London: Oxford University Press, 1975.

    [3] MEHAN H. “What time is it, Denise?”: asking known information questions in classroom discourse[J].Theory into practice, 1979,18(4):285-294.

    [4] CAZDEN C B. Classroom discourse: the language of teaching and learning[M].Michigan:Pearson Education,1988.

    [5] SMITH D G. College classroom interactions and critical thinking[J].Journal of educational psychology, 1977,69(2):180-190.

    [6] MCCORMICK D E, DONATO R. Teacher questions as scaffolded assistance in an ESL classroom[C]//HALL J K,VERPLAETSE L S.Second and foreign language learning through classroom interaction. New York: Routledge, 2000:183-201.

    [7] WARING H Z. Moving out of IRF (Initiation-Response-Feedback): a single case analysis[J]. Language learning, 2009,59(4):796-824.

    [8] HAWORTH A. Bakhtin in the classroom: what constitutes a dialogic text? Some lessons from small group interaction[J]. Language and education, 1999:13(2), 99-117.

    [9] ROJAS-DRUMMOND S, TORREBLANCA O, PEDRAZA H, et al. “Dialogic scaffolding”: enhancing learning and understanding in collaborative contexts[J].Learning, culture and social interaction, 2013,2(1),11-21.

    [10] 石雨晨,曹曙,劉群英.學(xué)生參與小學(xué)《道德與法治》論證式議題教學(xué)的學(xué)習(xí)體驗[J].全球教育展望,2022,51(10):87-104.

    [11] KLIEBARD H M.The patterning of classroom discourse[J].Journal of teacher education, 1966,17(4), 469-480.

    [12] 顧小清,王煒.支持教師專業(yè)發(fā)展的課堂分析技術(shù)新探索[J].中國電化教育,2004(7):18-21.

    [13] HENNESSY S, ROJAS-DRUMMOND S, HIGHAM R, et al. Developing a coding scheme for analysing classroom dialogue across educational contexts[J]. Learning, culture and social interaction, 2016,9:16-44.

    [14] 周平紅,張屹,楊喬柔,白清玉,陳蓓蕾,劉崢.智慧教室中小學(xué)生協(xié)同知識建構(gòu)課堂話語分析——以小學(xué)科學(xué)課程為例[J].電化教育研究,2018,39(1):20-28.

    [15] 楊曉哲.基于人工智能的課堂分析架構(gòu):一種智能的課堂教學(xué)研究[J].全球教育展望,2021,50(12):55-65.

    [16] KIM J, LEE M. Robust lane detection based on convolutional neural network and random sample consensus[C]//Neural Information Processing: 21st International Conference, ICONIP 2014. Kuching, Malaysia:? Springer International Publishing, 2014: 454-461.

    [17] 楊東,王移芝.基于Attention-based C-GRU神經(jīng)網(wǎng)絡(luò)的文本分類[J].計算機與現(xiàn)代化,2018(2):96-100.

    [18] 張彥楠,黃小紅,馬嚴(yán),等.基于深度學(xué)習(xí)的錄音文本分類方法[J].浙江大學(xué)學(xué)報(工學(xué)版),2020,54(7):1264-1271.

    [19] KOWSARI K, JAFARI M K, HEIDARYSAFA M, et al. Text classification algorithms: a survey[J]. Information, 2019,10(4):2-12.

    [20] XIE Y, LIANG R, LIANG Z, et al. Speech emotion classification using attention-based LSTM[J].IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(11): 1675-1685.

    [21] XING W, DU D. Dropout prediction in MOOCs: using deep learning for personalized intervention[J]. Journal of educational computing research, 2019, 57(3): 547-570.

    [22] 任勉,甘剛.基于雙向LSTM模型的文本情感分類[J].計算機工程與設(shè)計,2018,39(7):2064-2068.

    [23] FORD M, BAER C T, XU D, et al.The LENA language environment analysis system[EB/OL]. (2008-09-01)[2022-07-11]. https://www.lena.org/wp-content/uploads/2016/07/LTR-03-2_Audio_Specifications.pdf.

    [24] SONG Y, LEI S, HAO T, et al. Automatic classification of semantic content of classroom dialogue[J]. Journal of educational computing research, 2021, 59(3): 496-521.

    [25] BLANCHARD N, BRADY M, OLNEY A M, et al. A study of automatic speech recognition in noisy classroom environments for automated dialog analysis[C]//Artificial Intelligence in Education: 17th International Conference, AIED 2015. Madrid, Spain: Springer International Publishing, 2015:23-33.

    [26] 高桂平.數(shù)字化課堂話語行為分類及方法研究[J].中國信息技術(shù)教育,2014(8):66-68.

    [27] 曹一鳴,宋宇,趙文君,等.面向教育2030的數(shù)學(xué)課堂對話人工智能評價體系構(gòu)建研究[J].數(shù)學(xué)教育學(xué)報,2022,31(1):7-12.

    [28] 宋宇,鄔寶嫻,郝天永.面向知識建構(gòu)的課堂對話規(guī)律探析[J].電化教育研究,2021,42(3):111-119.

    [29] VRIKKI M, WHEATLEY L, HOWE C, et al. Dialogic practices in primary school classrooms[J]. Language and education, 2019, 33(1):85-100.

    [30] 楊曉哲,任友群.教育人工智能的下一步——應(yīng)用場景與推進(jìn)策略[J].中國電化教育,2021(1):89-95.

    [31] WANG Z, PAN X, MILLER K F,et al.Automatic classification of activities in classroom discourse[J]. Computers & education, 2014,78:115-123.

    [32] 孫眾,于子淳.人工智能課堂教學(xué)分析與改進(jìn):人在回路的協(xié)同機制[J].電化教育研究,2023,44(1):116-122.

    Analysis of Classroom Teacher-Student Dialogue Based on Artificial Intelligence: Automatic Classification and Sub-level Construction of IRE

    YANG Xiaozhe1,? WANG Qingqing1,? JIANG Jialong2

    (1.The Institute of Curriculum & Instruction, East China Normal University, Shanghai 200062

    2.College of Computer and Cyber Security, Fujian Normal University, Fuzhou Fujian 350007)

    [Abstract] A large number of studies have focused on teacher-student dialogues in the classroom and different types of coding and analysis have been conducted for them, but the current coding is still limited by the level and time of professionals. In order to improve the coding speed of classroom dialogues and realize automatic classroom dialogue classification and instant feedback, a neural network analysis model is adopted to automatically encode questions, answers and feedback in class through artificial intelligence technology. The results show that the model realizes semantic-based quality assessment of classroom dialogues, and can realize the sub-level assessment of IRE model in classroom teacher-student dialogues in a short period of time, i.e., to assess and classify the questioning level, the answering level and the feedback level. This study constructs a comprehensive, fast and accurate classroom dialogue assessment method, which becomes a key link to further understand the learning process in the classroom, and lays an important foundation for large-scale classroom intelligent analysis.

    [Keywords] Teacher-Student Dialogue; Machine Learning; Automatic Classification; Artificial Intelligence

    猜你喜歡
    師生對話機器學(xué)習(xí)人工智能
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    小學(xué)數(shù)學(xué)課堂師生對話的探究
    小學(xué)數(shù)學(xué)課堂師生對話的探究
    小學(xué)數(shù)學(xué)高效對話課堂的構(gòu)建與實施
    基于機器學(xué)習(xí)的圖像特征提取技術(shù)在圖像版權(quán)保護(hù)中的應(yīng)用
    基于網(wǎng)絡(luò)搜索數(shù)據(jù)的平遙旅游客流量預(yù)測分析
    時代金融(2016年27期)2016-11-25 17:51:36
    前綴字母為特征在維吾爾語文本情感分類中的研究
    基于支持向量機的金融數(shù)據(jù)分析研究
    成年版毛片免费区| 亚洲精品影视一区二区三区av| 中文字幕熟女人妻在线| 国产三级黄色录像| 性色av乱码一区二区三区2| www.www免费av| 久久午夜福利片| 免费大片18禁| 亚洲无线在线观看| 国产欧美日韩精品亚洲av| 91av网一区二区| 亚洲精品成人久久久久久| 国产av在哪里看| 一本久久中文字幕| 亚洲av熟女| 亚洲七黄色美女视频| 69av精品久久久久久| 深爱激情五月婷婷| 国产老妇女一区| 国产熟女xx| 亚洲,欧美,日韩| 国语自产精品视频在线第100页| 黄色一级大片看看| 永久网站在线| 国产乱人视频| 亚洲专区中文字幕在线| 在线观看一区二区三区| 亚洲av免费在线观看| 亚洲欧美日韩卡通动漫| 亚洲成人久久爱视频| 中文字幕免费在线视频6| 真人做人爱边吃奶动态| 国产高清三级在线| 欧美激情国产日韩精品一区| 国产高潮美女av| .国产精品久久| 此物有八面人人有两片| 国产私拍福利视频在线观看| 国产成人福利小说| 制服丝袜大香蕉在线| 在线观看午夜福利视频| 免费看日本二区| 亚洲精品乱码久久久v下载方式| 午夜视频国产福利| 中文亚洲av片在线观看爽| 大型黄色视频在线免费观看| 久久久久久久久久黄片| a级毛片免费高清观看在线播放| 狠狠狠狠99中文字幕| 国产精品精品国产色婷婷| 久久性视频一级片| 色综合欧美亚洲国产小说| 国内久久婷婷六月综合欲色啪| 天堂影院成人在线观看| 久久国产精品人妻蜜桃| 精品久久久久久久人妻蜜臀av| 伊人久久精品亚洲午夜| 精品一区二区三区人妻视频| 少妇人妻一区二区三区视频| 他把我摸到了高潮在线观看| 国产精品三级大全| 亚洲内射少妇av| or卡值多少钱| 国产高清有码在线观看视频| 给我免费播放毛片高清在线观看| 中文字幕免费在线视频6| 亚洲中文日韩欧美视频| 国产精品1区2区在线观看.| 午夜影院日韩av| 淫秽高清视频在线观看| 成人av在线播放网站| 国产精品久久电影中文字幕| 色综合婷婷激情| 亚洲五月天丁香| 在线观看午夜福利视频| 亚洲人成网站在线播| 国产成+人综合+亚洲专区| 在线观看66精品国产| 久久久久亚洲av毛片大全| 欧美一区二区国产精品久久精品| 久久性视频一级片| 欧美极品一区二区三区四区| 亚洲av电影不卡..在线观看| 中文字幕av在线有码专区| 国产一级毛片七仙女欲春2| 午夜福利欧美成人| 噜噜噜噜噜久久久久久91| 久久久色成人| 99久久精品国产亚洲精品| 久久精品国产亚洲av天美| 中文字幕高清在线视频| 婷婷亚洲欧美| 国产三级中文精品| 久久久久久久久大av| 欧美一区二区亚洲| 一级作爱视频免费观看| 亚洲av不卡在线观看| 人妻丰满熟妇av一区二区三区| 精品国内亚洲2022精品成人| 真实男女啪啪啪动态图| 国产探花极品一区二区| 国产精品一区二区性色av| 亚洲成人中文字幕在线播放| 91麻豆精品激情在线观看国产| 亚洲精品色激情综合| 噜噜噜噜噜久久久久久91| 观看美女的网站| 久久久国产成人免费| 精品熟女少妇八av免费久了| 午夜福利在线观看吧| xxxwww97欧美| 国产v大片淫在线免费观看| 欧洲精品卡2卡3卡4卡5卡区| 夜夜躁狠狠躁天天躁| 久久久久久久亚洲中文字幕 | 在现免费观看毛片| 欧美黑人巨大hd| 一级毛片久久久久久久久女| 高清毛片免费观看视频网站| 久久九九热精品免费| 精品欧美国产一区二区三| 校园春色视频在线观看| 少妇的逼水好多| 国产精品国产高清国产av| 国语自产精品视频在线第100页| 亚洲色图av天堂| 免费在线观看影片大全网站| 亚洲真实伦在线观看| 日本与韩国留学比较| 色在线成人网| 日韩欧美精品v在线| 日韩欧美三级三区| 黄色视频,在线免费观看| 男女床上黄色一级片免费看| 少妇人妻一区二区三区视频| 精品国产亚洲在线| 国产毛片a区久久久久| 日韩欧美国产一区二区入口| 久久国产乱子免费精品| 天天一区二区日本电影三级| 亚洲电影在线观看av| 搡女人真爽免费视频火全软件 | 亚洲av电影不卡..在线观看| 国产精品国产高清国产av| 午夜福利欧美成人| 女人十人毛片免费观看3o分钟| 亚洲人成伊人成综合网2020| 免费在线观看日本一区| 亚洲最大成人中文| 亚洲中文字幕一区二区三区有码在线看| 一个人看的www免费观看视频| 中文亚洲av片在线观看爽| 日韩欧美 国产精品| 久久香蕉精品热| 免费看a级黄色片| 亚洲av.av天堂| 此物有八面人人有两片| av天堂中文字幕网| 亚洲第一区二区三区不卡| 午夜福利18| 久久婷婷人人爽人人干人人爱| 九色成人免费人妻av| 97超视频在线观看视频| 最好的美女福利视频网| 亚洲欧美日韩无卡精品| 五月玫瑰六月丁香| 男女视频在线观看网站免费| 国产精品亚洲av一区麻豆| 成人精品一区二区免费| 可以在线观看毛片的网站| 夜夜躁狠狠躁天天躁| 男人狂女人下面高潮的视频| 欧美高清性xxxxhd video| 99热6这里只有精品| 国产麻豆成人av免费视频| 日本三级黄在线观看| 伦理电影大哥的女人| 自拍偷自拍亚洲精品老妇| 在线观看一区二区三区| 久久久久久大精品| 免费人成视频x8x8入口观看| 久久久久性生活片| 丁香六月欧美| 老熟妇乱子伦视频在线观看| 在线免费观看不下载黄p国产 | 极品教师在线免费播放| 午夜影院日韩av| 美女大奶头视频| 免费av毛片视频| 亚洲狠狠婷婷综合久久图片| 久久国产乱子免费精品| 波多野结衣高清作品| 国产人妻一区二区三区在| 99久久精品一区二区三区| 一进一出抽搐gif免费好疼| 搡女人真爽免费视频火全软件 | 免费看日本二区| 国产熟女xx| 午夜福利在线在线| 国产一区二区在线av高清观看| 亚洲成av人片免费观看| 国产 一区 欧美 日韩| 熟女电影av网| 香蕉av资源在线| 一区二区三区免费毛片| 高清在线国产一区| h日本视频在线播放| 久久亚洲精品不卡| 69av精品久久久久久| 午夜福利成人在线免费观看| 人妻制服诱惑在线中文字幕| 亚洲欧美日韩无卡精品| 男女之事视频高清在线观看| 国产精品久久久久久久久免 | 色综合亚洲欧美另类图片| 狠狠狠狠99中文字幕| 久久久国产成人精品二区| 亚洲国产日韩欧美精品在线观看| 日韩欧美国产一区二区入口| 国产一区二区三区在线臀色熟女| 非洲黑人性xxxx精品又粗又长| 丁香六月欧美| 亚洲精品亚洲一区二区| 色综合站精品国产| 在线免费观看不下载黄p国产 | h日本视频在线播放| 婷婷六月久久综合丁香| 性插视频无遮挡在线免费观看| 精品久久久久久成人av| .国产精品久久| 国产欧美日韩一区二区三| 日韩高清综合在线| 午夜久久久久精精品| 欧美三级亚洲精品| 波多野结衣高清作品| 麻豆成人午夜福利视频| 国产精品野战在线观看| 男人舔奶头视频| 亚洲性夜色夜夜综合| 国产精品嫩草影院av在线观看 | 欧美xxxx性猛交bbbb| 国产av麻豆久久久久久久| 此物有八面人人有两片| 俄罗斯特黄特色一大片| 首页视频小说图片口味搜索| 天天一区二区日本电影三级| 久久精品久久久久久噜噜老黄 | 久久精品综合一区二区三区| 热99re8久久精品国产| 日韩欧美在线乱码| 午夜影院日韩av| 两个人视频免费观看高清| 欧美高清性xxxxhd video| 又紧又爽又黄一区二区| 精品午夜福利在线看| 国产美女午夜福利| 在线播放无遮挡| 美女大奶头视频| 国产精品久久久久久人妻精品电影| 日韩欧美在线二视频| 在线观看免费视频日本深夜| 男女床上黄色一级片免费看| 能在线免费观看的黄片| 欧美日本视频| 五月伊人婷婷丁香| 色精品久久人妻99蜜桃| 午夜精品一区二区三区免费看| 亚洲中文字幕一区二区三区有码在线看| avwww免费| .国产精品久久| 国产一区二区在线av高清观看| 老司机午夜福利在线观看视频| 又黄又爽又免费观看的视频| 国产野战对白在线观看| АⅤ资源中文在线天堂| 欧美色视频一区免费| 欧洲精品卡2卡3卡4卡5卡区| 精品一区二区三区人妻视频| 最近视频中文字幕2019在线8| 内地一区二区视频在线| 不卡一级毛片| 90打野战视频偷拍视频| 亚洲精品456在线播放app | 亚洲国产精品合色在线| 亚洲av.av天堂| 国产麻豆成人av免费视频| 91狼人影院| 久久精品久久久久久噜噜老黄 | 色综合站精品国产| 欧美丝袜亚洲另类 | 欧美成人一区二区免费高清观看| 少妇人妻精品综合一区二区 | 免费av观看视频| 亚洲成人中文字幕在线播放| 午夜福利视频1000在线观看| 国产欧美日韩精品一区二区| 色噜噜av男人的天堂激情| 97热精品久久久久久| 99久久精品一区二区三区| 亚洲精品日韩av片在线观看| 我要搜黄色片| 欧美国产日韩亚洲一区| 午夜福利在线观看免费完整高清在 | 免费无遮挡裸体视频| 91麻豆精品激情在线观看国产| 精品一区二区三区视频在线| 特级一级黄色大片| 宅男免费午夜| 日韩 亚洲 欧美在线| 国产探花极品一区二区| 亚洲片人在线观看| 美女cb高潮喷水在线观看| 免费一级毛片在线播放高清视频| 亚洲在线自拍视频| 久久久久久九九精品二区国产| 99国产精品一区二区蜜桃av| 99热精品在线国产| 男人舔女人下体高潮全视频| 亚洲av免费高清在线观看| 欧美激情国产日韩精品一区| 88av欧美| 久久草成人影院| 亚洲 欧美 日韩 在线 免费| 淫秽高清视频在线观看| 老司机福利观看| 久久久久亚洲av毛片大全| 午夜老司机福利剧场| 99热这里只有精品一区| 国产三级中文精品| 老鸭窝网址在线观看| 欧美一级a爱片免费观看看| 精品久久久久久,| 亚洲成av人片免费观看| 成人一区二区视频在线观看| 亚洲国产精品sss在线观看| a在线观看视频网站| 免费av观看视频| 亚洲,欧美精品.| 特大巨黑吊av在线直播| 嫩草影视91久久| 男人的好看免费观看在线视频| 欧美+日韩+精品| 国产精品日韩av在线免费观看| 99热这里只有精品一区| 老熟妇仑乱视频hdxx| 老鸭窝网址在线观看| 赤兔流量卡办理| 亚洲综合色惰| 国产成人欧美在线观看| 国产午夜福利久久久久久| 91在线精品国自产拍蜜月| av专区在线播放| 国产欧美日韩一区二区三| 欧美3d第一页| 每晚都被弄得嗷嗷叫到高潮| 中亚洲国语对白在线视频| 色5月婷婷丁香| 变态另类丝袜制服| 国产成人啪精品午夜网站| 嫩草影视91久久| 美女cb高潮喷水在线观看| 国产精品乱码一区二三区的特点| 亚洲精品粉嫩美女一区| 99久久成人亚洲精品观看| 亚洲自拍偷在线| bbb黄色大片| 国产精品一区二区三区四区免费观看 | 嫩草影院精品99| 国产精品久久电影中文字幕| 一区二区三区激情视频| av在线天堂中文字幕| 99久久成人亚洲精品观看| 国产三级中文精品| 亚洲五月天丁香| 成人精品一区二区免费| 3wmmmm亚洲av在线观看| 性色avwww在线观看| 日日摸夜夜添夜夜添av毛片 | 亚洲国产欧美人成| 校园春色视频在线观看| 成人毛片a级毛片在线播放| 69人妻影院| 十八禁国产超污无遮挡网站| 色在线成人网| 国产亚洲av嫩草精品影院| 亚洲成av人片在线播放无| 精品一区二区免费观看| 51国产日韩欧美| 小说图片视频综合网站| 深爱激情五月婷婷| 亚洲在线自拍视频| 国产主播在线观看一区二区| 首页视频小说图片口味搜索| 国产一区二区三区视频了| 一个人免费在线观看电影| av黄色大香蕉| 搡老岳熟女国产| 免费观看的影片在线观看| 亚洲,欧美,日韩| 波多野结衣高清作品| 精品99又大又爽又粗少妇毛片 | 日韩欧美精品v在线| 麻豆国产av国片精品| 国产精品国产高清国产av| 99在线人妻在线中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 欧美激情久久久久久爽电影| 少妇被粗大猛烈的视频| 18禁黄网站禁片午夜丰满| 在线天堂最新版资源| 我要搜黄色片| 亚洲av中文字字幕乱码综合| 黄色女人牲交| 老司机午夜福利在线观看视频| 国产三级中文精品| 亚洲国产色片| 网址你懂的国产日韩在线| 久久中文看片网| 亚洲av不卡在线观看| 亚洲av成人不卡在线观看播放网| 色精品久久人妻99蜜桃| 久久久久久久久久成人| 十八禁网站免费在线| 99久国产av精品| 亚洲成人久久性| 色精品久久人妻99蜜桃| 国模一区二区三区四区视频| 精品99又大又爽又粗少妇毛片 | 精品人妻偷拍中文字幕| 久久久久久久精品吃奶| 看免费av毛片| 婷婷六月久久综合丁香| 99久久精品国产亚洲精品| 国产精品久久久久久久电影| 午夜亚洲福利在线播放| 国产精品电影一区二区三区| 欧美午夜高清在线| 99热这里只有是精品在线观看 | 好男人在线观看高清免费视频| 夜夜看夜夜爽夜夜摸| 久久亚洲真实| 少妇熟女aⅴ在线视频| 在线观看美女被高潮喷水网站 | 无遮挡黄片免费观看| 99热6这里只有精品| 久久久久久九九精品二区国产| 免费观看的影片在线观看| h日本视频在线播放| 亚洲国产精品成人综合色| 日韩国内少妇激情av| 超碰av人人做人人爽久久| 乱码一卡2卡4卡精品| 国产私拍福利视频在线观看| 久久精品国产99精品国产亚洲性色| 午夜福利高清视频| 国产欧美日韩一区二区精品| 国内精品美女久久久久久| 久久午夜福利片| 小说图片视频综合网站| 久久午夜福利片| 免费av不卡在线播放| 九九在线视频观看精品| 身体一侧抽搐| 国产精品精品国产色婷婷| 国产精品野战在线观看| 国产成人福利小说| 天堂网av新在线| 国产精品免费一区二区三区在线| 中文字幕免费在线视频6| 精品人妻视频免费看| 少妇人妻精品综合一区二区 | 久久香蕉精品热| 亚洲五月天丁香| 白带黄色成豆腐渣| 亚洲av熟女| 国内精品一区二区在线观看| 一个人免费在线观看电影| 亚洲无线观看免费| 欧美性猛交╳xxx乱大交人| 在线播放无遮挡| 午夜福利免费观看在线| 免费一级毛片在线播放高清视频| 床上黄色一级片| 一本综合久久免费| 欧美xxxx黑人xx丫x性爽| 国产高潮美女av| 成人鲁丝片一二三区免费| 热99在线观看视频| 高潮久久久久久久久久久不卡| 国产精品爽爽va在线观看网站| 黄色配什么色好看| 在现免费观看毛片| 亚洲自拍偷在线| 精品久久久久久久久久久久久| 国产av不卡久久| 国产伦在线观看视频一区| 天天躁日日操中文字幕| 两个人的视频大全免费| 中出人妻视频一区二区| 久久中文看片网| 欧美高清成人免费视频www| 久久久久久久精品吃奶| 免费在线观看影片大全网站| 又爽又黄无遮挡网站| 香蕉av资源在线| 亚洲在线观看片| 亚洲av电影在线进入| 亚洲色图av天堂| 一级作爱视频免费观看| 亚洲精品日韩av片在线观看| 国产成人a区在线观看| 黄色视频,在线免费观看| .国产精品久久| 亚洲成人久久爱视频| 久久精品国产自在天天线| av在线老鸭窝| 亚洲狠狠婷婷综合久久图片| 国产精品98久久久久久宅男小说| 精品熟女少妇八av免费久了| eeuss影院久久| 人妻丰满熟妇av一区二区三区| 亚洲av一区综合| 国产精品亚洲一级av第二区| aaaaa片日本免费| eeuss影院久久| 亚洲三级黄色毛片| 深爱激情五月婷婷| 成人特级黄色片久久久久久久| 亚洲人成伊人成综合网2020| 免费av毛片视频| 午夜日韩欧美国产| 97热精品久久久久久| 日韩欧美国产一区二区入口| 特大巨黑吊av在线直播| 少妇的逼好多水| 成人高潮视频无遮挡免费网站| 免费观看的影片在线观看| 日本与韩国留学比较| 乱码一卡2卡4卡精品| 嫩草影院精品99| 黄色配什么色好看| 欧美日韩福利视频一区二区| eeuss影院久久| 免费人成在线观看视频色| 一区二区三区四区激情视频 | 一级黄片播放器| 五月伊人婷婷丁香| 啦啦啦韩国在线观看视频| 成人午夜高清在线视频| 国产免费一级a男人的天堂| 国产精品伦人一区二区| 97超视频在线观看视频| 国产免费男女视频| 亚洲欧美日韩高清专用| 亚洲成人精品中文字幕电影| 精品久久久久久久久久免费视频| 搡老妇女老女人老熟妇| 每晚都被弄得嗷嗷叫到高潮| 精品久久久久久成人av| 亚洲av日韩精品久久久久久密| 白带黄色成豆腐渣| 国产中年淑女户外野战色| 香蕉av资源在线| 国产午夜精品论理片| 久久九九热精品免费| 一级a爱片免费观看的视频| 亚洲在线自拍视频| 成人午夜高清在线视频| 亚洲专区中文字幕在线| 久久久久精品国产欧美久久久| 国产精品日韩av在线免费观看| .国产精品久久| 99久久精品国产亚洲精品| 97超视频在线观看视频| 国产精品乱码一区二三区的特点| 国产人妻一区二区三区在| 亚洲片人在线观看| 9191精品国产免费久久| 免费观看的影片在线观看| 亚洲精品成人久久久久久| 免费一级毛片在线播放高清视频| 中国美女看黄片| 午夜福利18| 免费在线观看日本一区| 女人十人毛片免费观看3o分钟| 久久精品人妻少妇| 一本精品99久久精品77| 性色av乱码一区二区三区2| 人妻夜夜爽99麻豆av| 欧美另类亚洲清纯唯美| 亚洲最大成人av| 亚洲精品在线美女| 欧美日韩亚洲国产一区二区在线观看| 有码 亚洲区| 久久国产精品影院| 又爽又黄无遮挡网站| 国产成人福利小说| 欧美激情久久久久久爽电影| 一本久久中文字幕| 欧美+亚洲+日韩+国产| 久久精品国产亚洲av天美| 欧美性猛交╳xxx乱大交人| 动漫黄色视频在线观看| 51国产日韩欧美| 欧美在线黄色| 久久久久久久亚洲中文字幕 | 身体一侧抽搐| 欧洲精品卡2卡3卡4卡5卡区| 黄色视频,在线免费观看| 国产免费一级a男人的天堂| 直男gayav资源| 少妇裸体淫交视频免费看高清| 99久久久亚洲精品蜜臀av| 亚洲av一区综合| 麻豆久久精品国产亚洲av|