• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于人工智能的課堂教學分析

    2020-12-25 02:55孫眾呂愷悅駱力明陳美玲許林施智平
    中國電化教育 2020年10期
    關(guān)鍵詞:人工智能

    孫眾 呂愷悅 駱力明 陳美玲 許林 施智平

    摘要:傳統(tǒng)課堂教學分析,多以時間取樣的手工編碼為主,存在過度依賴專家、分析效率低、難以規(guī)模化服務(wù)等難題。基于人工智能技術(shù)的課堂教學分析要突破困境,需經(jīng)歷從全人工、弱人工智能、強人工智能發(fā)展到人機協(xié)同的進化路徑;需建立由多源數(shù)據(jù)支持的教學案例庫、文本視頻為主的分析維度集、教學事件與時間取樣相結(jié)合的多元分析方法而形成的分析框架;在實踐層面,以計算機視覺為主的課堂行為分析,以自然語言理解和大數(shù)據(jù)為主的教學事件分析和評語分析等,可成為基于人工智能技術(shù)的課堂教學分析突破口,以期逐步達成人機協(xié)同、規(guī)?;?、高效率開展課堂教學分析的目標。

    關(guān)鍵詞:人工智能;課堂教學分析;人機協(xié)同;事件分析法

    中圖分類號:G434

    文獻標識碼:A

    一、回溯傳統(tǒng)課堂教學分析

    課堂是教育教學改革的主陣地,課堂教學分析是提升課堂教學質(zhì)量的重要依據(jù)。上世紀70年代,課堂教學量化分析迎來一輪發(fā)展高潮,相繼出現(xiàn)了S-T師生行為分析、Flanders(Flanders InteractionAnalysis System)言語交互分析、古德和布羅菲的雙向互動系統(tǒng)、卡茲登的課堂言語IRE序列(Initiation-Response-Evaluation)等為代表的研究方法。尤其是S-T行為分析和FIAS言語分析法問世后,以課堂教學視頻為主要研究對象,采用“時間取樣法”,由人工編碼量化師生的行為和言語交互,成為課堂分析的代表性方法。

    但是以FIAS與S-T為代表的分析技術(shù),存在著相似的困境:過度依賴專家、編碼復(fù)雜、分析低效。以一節(jié)40分鐘的課為例,S-T法按15秒來切割行為,F(xiàn)IAS按3秒來切割言語,會產(chǎn)生160個或800個編碼,且只能由經(jīng)過培訓(xùn)的研究人員進行手工分析,費時低效。近年來有多國學者對FIAS加以改進,開發(fā)出了相應(yīng)的技術(shù)分析工具,甚至改造編碼體系,來提高分析效率。比如基于FIAS的分析軟件,可以在研究人員手工輸入編碼后,自動生成師生言語比率和學生課堂參與率的動態(tài)特征曲線[1],也有學者提出基于信息技術(shù)的互動分析系統(tǒng)(Information Technology-based Interaction AnalysisSystem,ITIAS)等改進版FIAS編碼[2],以及支持改進版FIAS的分析平厶[3]。但總體來看,課堂教學交互分析還處于人工編碼、工具統(tǒng)計的技術(shù)路線中,在研究思路和效率方面,均未能取得突破性進展。

    上世紀末,隨著人種志研究對教育領(lǐng)域影響加深,從質(zhì)性研究角度對課堂事件行為進行記錄和解釋,進入到課堂教學分析的視野之中。布拉姆菲爾德和米勒等人提出的趣聞逸事記錄、進展紀錄法,日本佐藤學提出的課例研究法(Lesson Study)、我國學者王鑒提出的課堂人種志方法等,均是通過分析課堂現(xiàn)象原始紀錄的參與性觀察,對課堂教學內(nèi)容、師生交互行為等課堂教學事件,進行觀察記錄和意義解釋的質(zhì)性研究范式。加涅根據(jù)人類認知機制,提出課堂教學中的九大教學事件,成為教學設(shè)計學科的重要理論基礎(chǔ)。在此之后,以教學活動或教學事件為切人點,成為課堂質(zhì)性分析的常見分析思路。例如以色列學者提出課堂觀察六棱鏡框架,是以學習任務(wù)和教學活動為對象[4]:TEAMS象限編碼,是分析課堂中11項教學內(nèi)容和學生表現(xiàn)[5];我國學者提出的關(guān)鍵教學事件分析[6][7]、課堂切片診斷[8][9]等均以教學事件為分析單位。

    然而已有的研究方法,無法對以下問題給出令人滿意的答案:以“時間取樣”為主的量化分析,指標繁瑣僵化,標準化分析偏于復(fù)雜,費時費力,效率較低;以“事件分析”為主的質(zhì)性分析,主觀性偏強、對分析者專業(yè)水平要求高、規(guī)?;治瞿芰θ醯?。

    經(jīng)過半個多世紀的發(fā)展,課堂教學分析的重要地位已得到了教育界的普遍認可。進入到20世紀90年代,一些大型的教育質(zhì)量監(jiān)控體系將課堂過程變量納入到分析范疇之后,課堂教學交互研究就不只服務(wù)于課堂本身,而是進入教育體制問責、人才培養(yǎng)質(zhì)量監(jiān)控體系中,并開始應(yīng)用于項目評估、政策干預(yù)、國際比較等方面[10]。尋求大數(shù)據(jù)、人工智能等技術(shù)支持,實現(xiàn)高效率、智能化、規(guī)?;恼n堂教學研究,成為時代發(fā)展的必然訴求。

    二、教育人工智能領(lǐng)域的興起

    近年來,人工智能開始將教育作為重要應(yīng)用領(lǐng)域之一[ll],已經(jīng)形成了跨學科的新興研究領(lǐng)域:教育人工智能(Artificial Intelligence in Education,簡稱AIED)。比如Springer New York于2013年創(chuàng)辦的教育人工智能學術(shù)期刊International Journal of ArtificialIntelligence in Education,從創(chuàng)辦初期的關(guān)注用戶界面、人機交互等主題,發(fā)展到近幾年關(guān)注課堂教學環(huán)境中的自然語言理解、眾包評價等研究[12][13]。2017年Nature雜志子刊Nature Human Behavior,發(fā)表了基于人工智能評估學生課堂學習表現(xiàn)的研究成果[14]。人工智能教育領(lǐng)域國際學術(shù)會議AIED,將課堂學習中的交互活動序列和對話交互的分析與表征,作為2019年芝加哥會議議題之一。

    國際上已有運用人工智能技術(shù)輔助課堂教學的多項成果。例如基于自適應(yīng)技術(shù),根據(jù)學生學習興趣推薦個性化的智能教學系統(tǒng)[15],基于推理模型推測學生人格特征的學習系統(tǒng)[16],根據(jù)認知與元認知序列探究隱性知識掌握情況的智能教學系統(tǒng)[17],以及基于感知數(shù)據(jù)、實現(xiàn)自適應(yīng)學習的移動學習同伴系統(tǒng)[18]等。我國學者在基于人工智能的課堂教學分析方面也開展了多項頗有成效的研究,如基于地圖的教育大數(shù)據(jù)可視分析方法[19]、課堂教學視頻智能識別系統(tǒng)[20]等。由此可見,課堂教學分析已開啟了融人人工智能的探索之路。

    三、基于人工智能的課堂教學分析進化路徑

    當前人工智能技術(shù)雖已進入第三次發(fā)展浪潮,但總體來看,仍處于弱人工智能階段[21]。而且,已有課堂教學分析理論和方法,也需要時間進行轉(zhuǎn)化與完善,才能較好地發(fā)揮人工智能技術(shù)的作用。因此基于人工智能的課堂教學分析,很難一蹴而就,需要經(jīng)歷相當一段時間的進化??傮w思路是先由人類專家完成課堂教學中的全部量化和質(zhì)性分析,再通過機器學習算法,承擔其中復(fù)雜繁瑣而低效的量化分析工作,再由人類專家根據(jù)分析結(jié)果,發(fā)現(xiàn)課堂教學新特征與新規(guī)律,并對應(yīng)提出教學改進機制與策略。具體路徑如圖1所示。

    1.全人工分析階段

    傳統(tǒng)課堂教學分析里,無論是時間取樣為代表的量化研究,還是事件分析為代表的質(zhì)性研究,雖然研究思路不盡相同,但共性是由人類專家承擔全部工作。

    2.弱人工智能分析階段

    隨著計算機視覺、自然語言理解等技術(shù)遷移至教學場景,可以在S-T行為分析、Flanders言語分析等較為成熟穩(wěn)定的量化分析中,把動作識別、語音識別、語音轉(zhuǎn)換文本等規(guī)則化、可計算的工作,交由弱人工智能完成,部分替代傳統(tǒng)分析里耗時最多的人工編碼和機械統(tǒng)計。

    3.強人工智能分析階段

    技術(shù)發(fā)展到強人工智能階段時,不僅可以把行為交互、言語交互等工作,全部由計算機批量完成,還可以把教學活動識別、教學事件歸類、言語情感分析、事理判斷等部分質(zhì)性分析,交由強人工智能技術(shù)完成。

    4.人機協(xié)同分析階段

    此階段,課堂分析中的量化和質(zhì)性分析可全部由計算機完成。借助于機器分析結(jié)果和挖掘出的課堂教學新特征和新規(guī)則,人類專家可專注于提煉課堂教學問題,發(fā)現(xiàn)教學智慧,提出課堂教學改進策略與機制,再把新形成的特征與策略配對后,返送到計算機,持續(xù)迭代優(yōu)化,達到人機協(xié)同分析的理想階段。

    至此,基于人工智能的課堂教學分析系統(tǒng),會具備客觀性、準確性、規(guī)模化的分析能力,以及從數(shù)據(jù)中發(fā)現(xiàn)新規(guī)律,反哺教學改進,幫助人類教師形成課堂教學診斷與洞察能力,完成如圖1所示的人工智能協(xié)同課堂教學分析進化歷程。雖然目前人工智能技術(shù)仍在發(fā)展初期,但是教育界多是對新技術(shù)持開放與主動適應(yīng)的態(tài)度,并呈現(xiàn)出越來越緊密的人工智能融合教育的發(fā)展趨勢[22][23]?;谌斯ぶ悄艿恼n堂教學分析,正在進入課堂教學主場景,積極探尋新的解決方案。

    四、基于人工智能的課堂教學分析框架

    基于人工智能的課堂教學分析框架,要有多源數(shù)據(jù)支持的教學案例庫、文本視頻為主的分析維度集、教學事件分析與時間取樣相結(jié)合的多元分析方法組合而成,如圖2所示。

    1.建立教學案例庫

    課堂教學,不僅指在一課時里的全部師生活動,還包括由課前教學設(shè)計、課中現(xiàn)場生成和課后反思改進組成的教學連續(xù)體。課前設(shè)計是教學實施的預(yù)設(shè)骨架,教學設(shè)計方案成為常見的表現(xiàn)形式;課中現(xiàn)場生成是教學的靈魂,常以課堂錄制的視頻形式,或轉(zhuǎn)換成課堂實錄文本的形式加以記錄;而課后的個人教師、集體評課以及專家點評是鏡子,用以幫助教師提升課堂教學能力。單純分析其中的一種形式,例如課堂視頻,有可能出現(xiàn)“完全依靠觀察者所建立的外部框架”[24],使得聽課者無法充分理解教學思路,限制了課堂分析的有效性和可靠性。因為孤立存在的教學設(shè)計方案或視頻,就像“一幅快照,因為它被剝離于真實情境之外,因此只能提供有限的信息”[25],因此包括了課前的教學設(shè)計方案、課中的教學視頻或?qū)嶄浳谋尽⒄n后的教學反思和評語等,才能構(gòu)成較為完整的教學案例,進而匯集有意義的、成體系的課堂教學案例庫,成為后期人工智能參與分析的資源儲備中心和數(shù)據(jù)聚合中心。

    2.形成分析維度集

    人工智能技術(shù)在課堂教學分析中發(fā)揮更大作用的前提,是教育界已在課堂教學分析中已形成了較為成熟的研究基礎(chǔ)。

    對于課前的教學設(shè)計方案編寫,常會從教學目標編寫是否規(guī)范合理、學習者特征分析是否明確、教學各要素之間是否存在系統(tǒng)性關(guān)聯(lián)等方面進行整體分析。教學目標編寫得是否恰當,可從行為動詞、情境信息[26]和敘述方式[27]等角度出發(fā);學習者特征分析得是否合理,可從知識背景、認知水平、策略方法和主動意識等維度加以分析[28][29];課堂教學整體設(shè)計,可以從教師的知識和經(jīng)驗、學生需求、教學內(nèi)容、教學方法和手段五個維度展開評價[30][31]。

    對于課中的教學實施,多會通過現(xiàn)場觀察或教學視頻編碼,從師生行為、言語和教學事件等維度,分析課堂教學模式與特征。如S-T法分析師生的行為交互分;Flanders法分析師生言語交互;ITIAS法同時分析課堂行為和言語;關(guān)鍵事件法、課堂切片法則是分析教學事件[32]。這些都是較為成熟的分析維度。

    對于課后的評語和反思,可從教學價值、教學實踐和教學環(huán)境等維度分析教學反思內(nèi)容[33],從情感、認知、元認知等維度分析教學評語[34]等,還可以從教學實施效果、教學設(shè)計與實施的差異等方面加以分析。

    雖然不存在適用于所有課堂的通用或唯一分析方法,但是整理出課堂教學分析目標和分析方法的維度集,會為人工智能技術(shù)施展所長奠定基礎(chǔ)。

    3.運用多元分析方法

    可用于課堂教學分析的資源里,教學設(shè)計方案、教學反思、評語多以文本為主,課堂教學實錄多以視頻為主,因此文字和視頻是課堂教學分析資源的主要格式。

    傳統(tǒng)課堂教學的視頻分析,多采用時間取樣法,由經(jīng)過訓(xùn)練的研究人員,根據(jù)專家提前預(yù)置的量表,順序播放視頻,手工統(tǒng)計,逐個編碼,給出描述性統(tǒng)計。文本分析多采用內(nèi)容分析法,由研究人員根據(jù)分析目標,通過反復(fù)閱讀、建立類屬編碼、細化編碼和提取典型示例開展分析。

    隨著以大數(shù)據(jù)、知識圖譜等新興技術(shù)快速發(fā)展,教育和許多領(lǐng)域一樣,經(jīng)歷了從經(jīng)驗科學到理論科學到計算機科學,再發(fā)展到數(shù)據(jù)密集型科學的過程。從問題假設(shè)驅(qū)動到算法驅(qū)動的研究范式轉(zhuǎn)型,也正在對教育研究產(chǎn)生影響。因此課堂教學分析,一方面要利用傳統(tǒng)教育研究已積累的經(jīng)驗,另一方面引入大數(shù)據(jù)、自然語言理解、計算機視覺等技術(shù),運用多元分析方法進行課堂教學分析。

    五、基于人工智能的課堂教學分析實踐

    本團隊已初步建立起由638個課例組成的數(shù)據(jù)庫,均為參加2017年全國某信息化課堂教學大賽、來自全國各地,在信息技術(shù)環(huán)境下的小學四年級數(shù)學課例。每個課例包含一段40分鐘的完整課時教學視頻、一個按照組委會提供的模板編寫的教學設(shè)計方案、一份教學反思、一份專家根據(jù)組委會提供的課堂教學評價量表給出的評分結(jié)果和一段評語。所有課例根據(jù)專家評分,被劃分為一、二、三等獎和未獲獎四個等級,占比分別為5%、15%、30%和50%。下面結(jié)合本團隊的三個研究項目,說明基于人工智能技術(shù)課堂教學分析框架的實踐應(yīng)用。

    1.項目1:基于計算機視覺的課堂教學行為分析

    課堂教學視頻中的師生行為交互,是課堂教學中的重要組成,也是傳統(tǒng)分析里最費時費力的部分。近幾年,人工智能領(lǐng)域的計算機視覺技術(shù)發(fā)展迅速。隨著ImageNet識別比賽推動CNN快速發(fā)展,深度學習方法的效果遠超傳統(tǒng)方法,于是視頻中的特征提取與特征識別大量采用深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks,簡稱DCNN)加以實現(xiàn)。不同CNN對視頻識別的效果不斷提高[35][36],2D卷積神經(jīng)網(wǎng)絡(luò)已擴展到3D卷積用于視頻動作識別分析[37]。

    我國已有研究團隊,分別用人臉檢測法識別課堂教學視頻中S-T行為[38]、人體骨架信息提取法識別學生課堂行為[39]。由于課堂教學里,師生的位置變化較大,面部背對、側(cè)對攝像機的情況時有發(fā)生,而課堂行為又需要與課堂場景相結(jié)合,如學生低頭有可能是閱讀課本、手寫練習冊、使用手持學習設(shè)備等行為,教師講解有可能是板書、操作電子白板等行為,所以只通過人臉識別或者動作本身進行識別,效率不高,與真實情況存在一定偏差。

    本團隊的研究項目之一是基于計算機視覺的課堂教學行為分析,通過先對課堂視頻中的教學場景分類,區(qū)分關(guān)鍵交互設(shè)備如電子白板和手持平板,再實現(xiàn)自動地、批量地對課堂師生行為進行識別與計算。

    第一步:根據(jù)視頻靜態(tài)幀對場景初步分類。從638個完整的課堂教學視頻中,隨機挑選出10000幀靜態(tài)圖像,根據(jù)提前定義好的教師教學、師生互動和學生學習三類場景,先由人工分類部分場景數(shù)據(jù),這些數(shù)據(jù)作為訓(xùn)練集訓(xùn)練場景分類神經(jīng)網(wǎng)絡(luò)模型,然后計算機完成批量場景分類。

    第二步:通過目標檢測方法檢測視頻中的關(guān)鍵互動設(shè)備。場景分類完成后,再識別影響師生動作交互的關(guān)鍵互動設(shè)備,如黑板、電子白板、臺式機、手持學習終端等。

    第三步:基于深度卷積神經(jīng)網(wǎng)絡(luò)的動作行為識別。在課堂教學視頻中,行為分析的主體是人,人的動作可以看做一系列骨骼關(guān)鍵點的運動集合。本項目基于OpenPose框架分析骨骼關(guān)鍵點序列特征,實時骨骼關(guān)鍵點人體姿態(tài)預(yù)測算法。在靜態(tài)圖像動作識別算法的基礎(chǔ)上,圍繞著課堂場景,在視頻中對學生動作進行識別和統(tǒng)計。

    課堂行為分析系統(tǒng)實現(xiàn)了關(guān)鍵幀提取、學生跟蹤、動作識別和動作統(tǒng)計等模塊,如圖3所示。課堂行為分析系統(tǒng)可以通過客戶端上傳一段課堂教學視頻,服務(wù)端獲取視頻后在云端進行運算,并把識別結(jié)果返回給客戶端,對師生動作進行識別和統(tǒng)計,以輔助課堂教學分析。

    2.項目2:基于自然語言理解的教學事件分類及SPS分析

    教學設(shè)計方案和教學視頻實錄文本里,直觀的教學進程就是活動。然而并非所有的活動都有教學意義。教學活動只有與學習者的內(nèi)部心理過程相吻合,才能促進認知的發(fā)生。教學設(shè)計學科的開拓者羅伯特·加涅(R.M.Gagne)[40]把影響學習者心理的活動視為有效外部刺激,提出九大教學事件[41]:引起注意、告知目標、刺激回憶先前舊知、呈現(xiàn)刺激材料、提供學習指導(dǎo)、引出行為、提供反饋、評價行為和促進保持與遷移。與教學活動相比,教學事件與促進學習的目的關(guān)聯(lián)更為緊密。

    以加涅“九大教學事件”為分析框架,可以對教學設(shè)計方案或者教學視頻實錄文本進行要素評價和關(guān)系評價。要素評價主要考查的是,教學設(shè)計各要素所依據(jù)原理的科學性與敘寫的準確性;關(guān)系評價主要考查的是,教學事件及事件之間關(guān)系的結(jié)構(gòu)序列。

    本團隊開展的第二個研究項目,是用自然語言理解技術(shù)進行關(guān)系評價,分析教學事件及序列,學習并部分替代傳統(tǒng)手工編碼,以協(xié)助人類專家進行課堂教學分析。

    第一步:對教學事件的標簽劃分和文本標注。本研究從總樣本中選取了80個課例,通過視頻聲音提取和語音轉(zhuǎn)文字的方法,生成超過48萬字,內(nèi)含2萬多個句子的文本文件。要提取出文本中的教學事件,并對事件進行分類,需要由人工先對教學事件加以理解,包括劃分標簽和文本標注。在劃分標簽階段,主要完成對每個教學事件的特征分析,對一句話或幾句話給出標簽,注明屬于哪個教學事件。在文本標注階段,對劃分標簽進行標注,標注后的數(shù)據(jù)將用于分類器的訓(xùn)練。

    第二步:基于GRU循環(huán)神經(jīng)網(wǎng)絡(luò)的事件分類器。本團隊采用深度學習模型Word2vec,訓(xùn)練得出詞向量的權(quán)重矩陣,輸入循環(huán)神經(jīng)網(wǎng)絡(luò)Embedding層中進行模型訓(xùn)練,每層網(wǎng)絡(luò)用平均隱狀態(tài),輸出分類結(jié)果最后通過訓(xùn)練集與測試集正確率,判斷模型訓(xùn)練是否成功。根據(jù)事件分類結(jié)果,結(jié)合劃分事件的起止時間點,生成每一個課例的教學事件類型及時間分布圖,如圖4所示。

    第三步:分析課堂教學法結(jié)構(gòu)的排序。何克抗認為“教學結(jié)構(gòu)是指在一定的教育思想、教學理論和學習理論指導(dǎo)下的、在某種環(huán)境中展開的教學活動進程的穩(wěn)定結(jié)構(gòu)形式,是教學系統(tǒng)四個組成要素(教師、學生、教學內(nèi)容和教學媒體)相互聯(lián)系、相互作用的具體體現(xiàn)”[42]。教學結(jié)構(gòu)是指導(dǎo)課堂教學的重要理論基礎(chǔ),落實在教學法上,可以通過分析教學法結(jié)構(gòu)的序列,幫助教師掌握并落實雙主結(jié)構(gòu)。Jacobson等學者依據(jù)不同教學法中教師指導(dǎo)比重的高低,將教學法分為高結(jié)構(gòu)化和低結(jié)構(gòu)化,提出教學法結(jié)構(gòu)的排序,或譯為教學結(jié)構(gòu)序列(Sequencing of Pedagogical Structure, SPS)[43]。 國內(nèi)學者對SPS進一步完善,新增時序特征,用于智慧課堂教學分析[44]。本研究以何克抗教授提出的教師主導(dǎo)一學生主體的雙主教學結(jié)構(gòu)為理論基礎(chǔ),參考SPS分類,結(jié)合小學數(shù)學的學段和學科特點.把教學事件歸人到不同階段,對“主導(dǎo)一主體”教學結(jié)構(gòu)下的教學法結(jié)構(gòu)進行分析,教學事件與教學階段對應(yīng)表如表1所示。

    根據(jù)每個階段里教師指導(dǎo)所占比例不同,標注為高結(jié)構(gòu)化教學H、低結(jié)構(gòu)化教學L、學生活動為主教師指導(dǎo)為輔的低高結(jié)構(gòu)化教學L+h、教師指導(dǎo)為主學生活動為輔的高低結(jié)構(gòu)教學H+l。通過對高低結(jié)構(gòu)化劃分結(jié)果統(tǒng)計,輔助人類專家判斷,課堂中教師主導(dǎo)一學生主體的教學結(jié)構(gòu)落實情況。

    下頁表2是同一主題不同課例的SPS分析結(jié)果。根據(jù)對教學事件識別、教學階段劃分、教學法結(jié)構(gòu)排序后的結(jié)果可知,從一等獎到未獲獎?wù)n例,教師指導(dǎo)的比重從1H,2H增加到3H,未獲獎?wù)n例里教師把控課堂的比例最大,一等獎?wù)n例里學生自主學習的比重最大,達到3L,而其他課例的統(tǒng)計結(jié)果表明,教師發(fā)言代替學生思考的情況在增加,課堂中學生的聲音越來越弱,自主學習空間也越來越少。當然本項目受限于特定的樣本,后續(xù)會擴展學科、學段和樣本總量,以使結(jié)論更具普適性。

    3.項目3:基于主成分分析法的教學評語分析

    教學評語里,不僅包括著課堂教學優(yōu)缺點的詳細解讀、蘊含著教學改進的思路和建議,還能體現(xiàn)出課堂教學質(zhì)量的判斷依據(jù)。由于教學評語多是偏向于主觀化、經(jīng)驗化的表述,因此與教學設(shè)計方案和教學視頻分析相比,尚未形成較為穩(wěn)定的研究方法。

    近幾年,隨著大數(shù)據(jù)技術(shù)的發(fā)展,基于評語的課堂教學反向分析法,已得到了國內(nèi)外學者的關(guān)注。Bruno等人探究了教師對學生作業(yè)的評語,發(fā)現(xiàn)評語可以使學生意識到自己學習能力的不足,從評語中提取相應(yīng)的策略,從而提高學習效率[45];Akpe等人分析學生對課程的評語據(jù)此改進課程[46];Alhija等人統(tǒng)計并分析了學生評語中最常被提及的教學維度和學生給予的正向、負向內(nèi)容的評語,以改善教學質(zhì)量[47];馬志強等人以網(wǎng)絡(luò)同伴互評的反饋評語文本作為分析對象,綜合運用內(nèi)容分析、回歸分析等方法,得出學生對情感、認知與元認知三類評語的反饋方式,給出了教師引導(dǎo)同伴互評評語的策略[48];劉智通過情感傾向識別與話題挖掘技術(shù),探究在線課程評語中反映出來的學生情感信息,并根據(jù)學習者的反饋信息為教學決策提供支持[49]。由此可見,通過評語反向?qū)徱曊n堂教學質(zhì)量,已成為大數(shù)據(jù)技術(shù)應(yīng)用于課堂教學分析的新思路。

    本團隊開展的第三個研究項目,就是用因子分析、主成份分析法等,分析課堂教學案例評語,反向提取專家普遍認可的信息化課堂教學判斷標準,再與已有的課堂教學評價量表權(quán)重與維度對比,為后續(xù)的課堂教學分析提供新視角。

    第一步:評語按照句子劃分,歸類到原始量表的不同維度。從案例庫一、二、三等獎和未獲獎?wù)n例里,隨機選取30個。將120份評語全部拆分成句子,每句中的關(guān)鍵詞與初始量表中的關(guān)鍵詞匹配后,歸人到原始量表中的6個一級維度和14個二級指標(如表3a所示)。

    第二步:降維處理后,重新計算指標及權(quán)重,生成新量表。統(tǒng)計每個維度里不同類別頻次,運用因子分析法進行降維,再用主成分分析法,算出全部指標權(quán)重,逆向生成基于評語的課堂教學改進版評價量表(如表3b所示)。

    第三步:對比新舊量表,將評語中隱藏的課堂教學分析標準顯性化。新舊量表對比后發(fā)現(xiàn):課堂教學效果、分層教學策略等,不應(yīng)單獨存在于量表的判斷指標里,可歸人到教學過程;創(chuàng)設(shè)教學氛圍和信息技術(shù)實踐創(chuàng)新,可歸人一級指標“教師素養(yǎng)”,成為信息化課堂教學里教師能力的必要組成;專家點評重點多放在課堂教學里的技術(shù)應(yīng)用,而創(chuàng)新實踐的表現(xiàn)并不多,因此在評語里反映出來的權(quán)重相對較少;這就說明,新量表中分值較低的維度如僅占2分的Fl項等,并非不重要,而是由于當前課例中體現(xiàn)較少,尚未形成課堂案例中的主流。未來要加強信息技術(shù)實踐創(chuàng)新的比重,使技術(shù)創(chuàng)新體現(xiàn)在常態(tài)化的課堂教學里,成為比“技術(shù)應(yīng)用”更為重要的一級指標,占有更大的權(quán)重值,將是驗證教育信息化2.0時代深化課堂教學改革的參考指標之一。

    六、人工智能在課堂教學分析中的應(yīng)用場景

    結(jié)合以上分析,本研究提出人工智能助力課堂教學分析的三個應(yīng)用場景:教學診斷、教學設(shè)計和教學評價。

    1.教學診斷:高效分析和可解釋的結(jié)果

    教學診斷對于發(fā)現(xiàn)課堂教學中的問題、提高課堂教學質(zhì)量以及促進教師專業(yè)發(fā)展具有重要作用[50]。傳統(tǒng)的課堂教學分析,多是通過自我報告法、人工觀察手動編碼等方法來進行數(shù)據(jù)采集和分析,存在著編碼主觀性強,費時費力,難以規(guī)?;_展等缺點,不利于發(fā)現(xiàn)普遍的教學規(guī)律[51]。這會導(dǎo)致中小學教師不得不依賴專家、教研員和骨干教師等人的他診,自行診斷的人力成本高、機會少,高效且易用的診斷平臺匱乏、工具稀缺、制約教師專業(yè)成長的速度和水平。

    本文提出的人工智能課堂教學分析框架和技術(shù),為解決以上困境提供了可能。教師提供常規(guī)課堂的教學視頻和教學設(shè)計方案等素材,由診斷平臺自動且快速地識別,對課堂中的教學言語和行為等交互數(shù)據(jù)給出分析結(jié)果,并結(jié)合不同分析意圖,提供可解釋的診斷結(jié)果。

    2.教學設(shè)計改進:教學事件和教學法結(jié)構(gòu)分析

    教學診斷是要服務(wù)于教學改進。傳統(tǒng)的“時間取樣”量化分析,重在統(tǒng)計師生行為和言語交互的頻次或比例等。雖然提供了客觀的分析結(jié)果,但用于教學改進時,會存在把教學行為從情境中剝離出來的失真現(xiàn)象,導(dǎo)致行為背后所蘊含的教育意義缺失等問題[52]。

    本文運用人工智能技術(shù),重構(gòu)了以“教學事件分析法”為主的量化研究思路,由計算機參與課堂教學事件與教學法結(jié)構(gòu)序列的識別與歸類。這樣的分析結(jié)果,不僅能幫助教師檢驗,將雙主教學理念落實在真實教學中的程度,還幫助教師發(fā)現(xiàn),到底是哪些教學事件,哪些教學法里,可以改進主導(dǎo)和主體的比例和時序關(guān)系,在改進的理念和方法上都具有可行性。

    3.教學評價:通過教學評語反向提取評價標準

    評價教師的課堂教學,通常有幾種表現(xiàn)形式,一是根據(jù)評價指標賦值打分的量化評價,二是根據(jù)課堂觀察給出的質(zhì)性評語[53],三是兩者的結(jié)合。但無論是哪種形式,都是“自上而下”的研究思路,即先定預(yù)設(shè)評價標準,再打分和給評語。這種分析方式,容易掩蓋許多預(yù)設(shè)標準中沒有考慮到的方面[54],也不利于提取零散的評語中,隱藏的教學改進策略和寶貴建議。

    本文提出利用人工智能技術(shù)逆向分析評語,采用的是“自下而上”的評價思路,通過挖掘大量評語中的共性因素,不僅能為課堂教學評價量表修訂提供證據(jù),還可以讓教學評價里零散的教學經(jīng)驗和智慧得以聚集,讓教學評語中的共識通過“眾籌”的方式浮現(xiàn)出來,為課堂教學評價提供新視角。

    七、結(jié)語

    人工智能融人教育已成為發(fā)展趨勢。本文梳理人工智能助力課堂教學分析的進化路徑后,從教學案例庫、分析維度集、多元分析方法等方面構(gòu)建起基于人工智能的課堂教學分析框架,并將人工智能技術(shù)應(yīng)用到實踐應(yīng)用中。

    然而必須認識到,將人工智能技術(shù)運用于課堂教學分析時,仍面臨以下困難:第一,對于課堂教學特征的分析指標、參考閾值,學界尚未形成統(tǒng)一的評價標準;第二,課堂教學分析多聚焦于“教”,且多針對單一學科,對聚焦于“學”、適用于多學科、多課型的分析技術(shù)還有待探索;第三,缺少公開、已標注的教學數(shù)據(jù)集,導(dǎo)致課堂教學自動化分析的探索囿于大量的數(shù)據(jù)分類與統(tǒng)計。后續(xù)研究需要進一步結(jié)合自然語言理解、計算機視覺、教育大數(shù)據(jù)的最新研究成果,提高教學數(shù)據(jù)采集的全面性和精準度,期待能為人工智能支持教學分析提供新思路和新方法。

    參考文獻:

    [1]寧虹,武金紅.建立數(shù)量結(jié)構(gòu)與意義理解的聯(lián)系——弗蘭德互動分析技術(shù)的改進運用[J].教育研究,2003,(5):23-27.

    [2]顧小清,王煒.支持教師專業(yè)發(fā)展的課堂分析技術(shù)新探索[J].中國電化教育,2004,(7):18-22.

    [3]方海光,高辰柱等.改進型弗蘭德斯互動分析系統(tǒng)及其應(yīng)用[J].中國電化教育,2012,(10):109-113.

    [4]章勤瓊,譚莉.課堂錄像促進教師專業(yè)研修:框架、應(yīng)用及反思[J].全球教育展望,2019,48(1):103-112.

    [5] Stein M K,Correnti R,et al.Using Theory and Measurement to SharpenConceptualizations of Mathematics Teaching in the Common Core Era[J].AERA Open,2017,3(1):361-379.

    [6]孫眾,馬玉慧.視頻案例多元分析法促進新手教師專業(yè)發(fā)展研究[J].電化教育研究,2013,34(8):104-109.

    [7]郁曉華,黃沁.學習分析視角下的數(shù)字化課堂互動優(yōu)化研究[J].中國電化教育,2018,(2):12-20.

    [8]魏宏聚.教學切片分析課堂診斷的新視角[J].教育科學研究2019,(2):63-67.

    [9]劉海生,李清臣.試析基于教學切片診斷的課堂研究[J].當代教育科學,2015,(20):27-30.

    [10]夏雪梅.以學習為中心的課堂觀察[M].北京:教育科學出版社,2012.

    [11]余勝泉.人工智能教師的未來角色叨.開放教育研究201824(1):16-28.

    [12] Easterday M W,Rees Lewis D,et al.Designing Crowd critique Systems forFormative Feedhack[J].Intemational Journal of Artificial Intelligence inEducation,2017,27(3):623-663.

    [13] Beigman Klehanov B,Burstein J,et al.Reflective Writing Ahout theUtility Value of Science as a Tool for Increasing STEM Motivationand Retention-Can AI Help Scale Up? [J].International Journal ofArtificial Intelligence in Education,2017,(27):791-818.

    [14] Luckin,Rose.Towards artificial intelligence-hased assessmentsystems [J].Nature Human Behaviour,2017,1(28):1-3.

    [15] Walkington C,Bernacki M.Personalizing Algebra to Students'Individual Interests in an Intelligent Tutoring System:Moderatorsof ImpaCt [J].International Journal ArtifiCial IntelligenceEducation,2019,(29):58-88.

    [16] Wu W,Chen Let aLInferring Students+Personality fiom Their CommunicationBehaviorin Web-based LP,arrung Systems[J].I ntemational Joumal of AItificialIntelligence in Education2019,(29):189-216.

    [17] Tauh M,Azevedo R.How Does Prior Knowledge Influence EyeFixations and Sequences of Cognitive and Metacognitive SRLProcesses during Learning with an Intelligent Tutoring System? [J].International Joumal Artificial Intelligence Education,2019,(19):1-28.

    [18]劉智,劉三蟲牙等.物理空間中的智能學伴系統(tǒng):感知數(shù)據(jù)驅(qū)動的學習分析技術(shù)——訪柏林洪堡大學教育技術(shù)專家Niels Pinkwart教授[J].中國電化教育,2018.(7):67-72.

    [19]劉三玡,周東波等.基于地圖的教育大數(shù)據(jù)可視分析方法探討[J].電化教育研究,2018,39(7):49-56.

    [20]程云,劉清堂等.基于視頻的改進型S-T分析法的應(yīng)用研究[J].電化教育研究,2016,(6):90-96.

    [21]劉凱,胡祥恩等.機器也需教育?論通用人工智能與教育學的革新[J].開放教育研究,2018,24(1):10-15.

    [22]呂愷悅,施智平等.人工智能時代下的教師教育發(fā)展“2019人工智能+教師教育國際研討會”在北京舉行[J].現(xiàn)代教育技術(shù),2019,(7):1.

    [23]張學軍,董曉輝.人機共生:人工智能時代及其教育的發(fā)展趨勢[J].電化教育研究,2020,41(4):35 -41.

    [24] Walker R,Adelman C.Interaction analysis in informal classrooms:Acritical comment on the Flanders' system[J].British Journal ofEducational Psychology,201 1,45 (1):73-76.

    [25] Amidon E J,Casper I G,et al.The role of the teacher in the classroom:Amanual for understanding and improving teacher classrcx)m behavior [M].MN:Paul S.&Associates,lnc,1985.

    [26]鄭隆威,馮園園等.學習成果可測了嗎:基于學習分析方法的認知分類有效性研究[J].電化教育研究,2019,40(1):77-86.

    [27]李善良課堂教學目標的確定—基于美國中小學教材的考察[J].教育理論與實踐,201 1,31(25):53-56.

    [28]馮茹,馬云鵬.基于真正學習的教學設(shè)計三維要素分析[J].教育理論與實踐,2019,39(10):58-62.

    [29]徐夢杰,曹培英.精準針對學生差異的學情分析研究[J].課程.教材.教法,2016,36(6):62-67.

    [30]陳佑清,陶濤.“以學評教”的課堂教學評價指標設(shè)計[J]課程.教材.教法,2016,36(1):45-52.

    [31] Davis E A,Beyer C,et al.Understanding pedagogical designcapacity through teachers' narratives [J].Teaching and TeacherEducation,2011,27(4):797-810.

    [32]黃寶權(quán).基于課堂教學切片診斷的課堂觀察[J].教育科學研究,2017,(9):46-49.

    [33]郝琦蕾,郭彩利等.中學教師教學反思現(xiàn)狀的質(zhì)性研究[J].教學與管理,2017,(3):21-24.

    [34][48]馬志強,王靖等.網(wǎng)絡(luò)同伴互評中反饋評語的類型與效果分析[J].電化教育研究,2016,37(1):66-71.

    [35] Karpathy A,Toderici G,et al.Large-Scale Video Classificationwith Convolutional Neural Networks[A].Proceedings of the 2014IEEE Conference on Computer Vision and Pattern Recognition[C].Columhus:IEEE,2014.

    [36] Dai W,Chen Y,et al.Two-Stream Convolution Neural Network withVideo-stream for Action Recognition[A].Proceedings of the 2019International Joint Conference on Neural Networks(IJCNN) [C].Budapest:IEEE.2019.

    [37] Tran D,Bourdev L,et al.Learning Spatiotemporal Features with 3DConvolutional Networks [A].Proceedings of the 2015 IEEE InternationalConference on Computer Vision(ICCV) [C].Santiago:IEEE,2015.

    [38]周鵬霄,鄧偉等.課堂教學視頻中的S-T行為智能識別研究[J].現(xiàn)代教育技術(shù),2018,28(6):54-59.

    [39]徐家臻,鄧偉等.基于人體骨架信息提取的學生課堂行為自動識別[J].現(xiàn)代教育技術(shù),2020,30(5):108-113.

    [40] Gagne,R.The Conditions of Learning(4th.)[M].New York:Holt,Rinehart&Winston.1985.

    [41] R.M.加涅.皮連生,王映學等譯.學習的條件和教學論[M].上海:華東師范大學出版社,1999.

    [42]何克抗.教學結(jié)構(gòu)理論與教學深化改革(上)[J].電化教育研究,2007,(7):5-10.

    [43] Jacohson M J,Kim B,et al.To guide or not to guide:lssues in thesequencing of pedagogical structure in computational model-basedleaming[J].Interactive Learning Environment,2013,23(6):715-730.

    [44]王冬青,劉歡等.智慧課堂教師行為數(shù)據(jù)的分析方法與應(yīng)用驗證[J].中國電化教育,2020,(5):120-127.

    [45] Inas Bruno,Leonor Santos.Written comments as a form of feedhack [J].Studies in Educational Evaluation,2010,36(3):111-120.

    [46] C.S.Akpe.Using Respondents' Free Comments To ImproveCollege Curricula:A Case Study of Rivers State College ofEducation NCE Primary Programme [J].Studies in EducationalEvaluation,1989,(15):183-191.

    [47] Alhija N A,F(xiàn)resko B.Student evaluation of instruction:What can belearned from students' written comments'?[J].Studies in EducationalEvaluation,2009,35(1):37-44.

    [49]劉智.課程評論的情感傾向識別與話題挖掘技術(shù)研究[D].武漢:華中師范大學,2 014.

    [50]岳欣云,董宏建.教師教學診斷能力:內(nèi)涵、價值及提升策略[J].教育理論與實踐,2015,35(26):3-5.

    [51]劉清堂,何皓恰等.基于人工智能的課堂教學行為分析方法及其應(yīng)用[J].中國電化教育,2019,(9):13-21.

    [52]江毅,王煒等.基于行為序列分析的師生互動效果研究[J].現(xiàn)代遠距離教育,2019,(6):53-61.

    [53]羅祖兵,郭超華.新中國成立70年課堂教學評價標準的回顧與展望[J].中國教育學刊,2020,(1):55-61.

    [54]陳振華.教學評價中存在的問題及反思[J].教育發(fā)展研究,2009,(1 8):84-87.

    作者簡介:

    孫眾:教授,博士,碩士生導(dǎo)師,研究方向為技術(shù)支持的教師專業(yè)發(fā)展(sunzhong@cnu.edu.cn)。

    呂愷悅:在讀碩士,研究方向為教師教育、學習分析(2224760241@qq.c om)。

    駱力明:教授,碩士生導(dǎo)師,研究方向為計算機教育學(luolm@cnu.edu.cn)。

    陳美玲:實驗師,研究方向為教育信息化(CML221@163.c om)。

    許林:編審,研究方向為教育信息化(xutingxing@263.net)。

    施智平:教授,博士,博士生導(dǎo)師,研究方向為計算機視覺、形式化驗證(5959@cnu.edu.cn)。

    收稿日期:2020年4月20日

    責任編輯:李雅瑄

    *本文系國家自然科學基金項目“基于人工智能的課堂教學交互分析關(guān)鍵技術(shù)研究”(項目編號:61977048)階段性研究成果。

    ①施智平為本文通訊作者。

    猜你喜歡
    人工智能
    人工智能AI
    人工智能
    人工智能之父
    2019:人工智能
    人工智能
    人工智能與就業(yè)
    China’s Artificial Intelligence Revolution
    數(shù)讀人工智能
    人工智能時代,就業(yè)何去何從
    下一幕,人工智能!
    久久精品影院6| 中国美女看黄片| 午夜福利欧美成人| 久久这里只有精品19| 老汉色av国产亚洲站长工具| 好看av亚洲va欧美ⅴa在| 老司机午夜十八禁免费视频| 变态另类丝袜制服| 婷婷精品国产亚洲av在线| 亚洲自偷自拍图片 自拍| svipshipincom国产片| 麻豆成人午夜福利视频| 国内毛片毛片毛片毛片毛片| 天堂动漫精品| 日本免费一区二区三区高清不卡| 国产伦人伦偷精品视频| 搡老岳熟女国产| 每晚都被弄得嗷嗷叫到高潮| 在线观看66精品国产| 成人国产综合亚洲| 搞女人的毛片| 91在线观看av| 看片在线看免费视频| 久久午夜综合久久蜜桃| 校园春色视频在线观看| 国产欧美日韩一区二区精品| 国产亚洲精品久久久久5区| 88av欧美| 国产不卡一卡二| 美女免费视频网站| 巨乳人妻的诱惑在线观看| 国产又爽黄色视频| 久久狼人影院| 国产野战对白在线观看| 亚洲精品一区av在线观看| 午夜福利高清视频| 国内少妇人妻偷人精品xxx网站 | 久久欧美精品欧美久久欧美| 亚洲精品中文字幕在线视频| 久久久国产欧美日韩av| 国产精品久久久人人做人人爽| 欧美精品啪啪一区二区三区| 欧美乱码精品一区二区三区| 久久精品国产综合久久久| 亚洲最大成人中文| 天天一区二区日本电影三级| 亚洲午夜精品一区,二区,三区| 91老司机精品| 精品欧美国产一区二区三| 一级毛片高清免费大全| 国产精品亚洲av一区麻豆| 亚洲色图 男人天堂 中文字幕| 视频在线观看一区二区三区| 免费看美女性在线毛片视频| 啦啦啦观看免费观看视频高清| 色精品久久人妻99蜜桃| 啦啦啦免费观看视频1| 欧美性长视频在线观看| 校园春色视频在线观看| 99久久精品国产亚洲精品| 精品久久久久久久末码| 成在线人永久免费视频| 久久精品国产清高在天天线| 欧美+亚洲+日韩+国产| 在线观看66精品国产| 一本大道久久a久久精品| 精品久久久久久久久久免费视频| 国产单亲对白刺激| 给我免费播放毛片高清在线观看| 叶爱在线成人免费视频播放| 日韩成人在线观看一区二区三区| 久久久久久人人人人人| 一级黄色大片毛片| www日本在线高清视频| 亚洲欧美日韩高清在线视频| 亚洲av电影不卡..在线观看| 日本一区二区免费在线视频| 久久中文字幕人妻熟女| 久久精品影院6| 1024香蕉在线观看| 91成人精品电影| 黄色 视频免费看| 成年版毛片免费区| 欧美日本视频| 久久人妻av系列| 久久久久国产一级毛片高清牌| 免费人成视频x8x8入口观看| 国产亚洲欧美在线一区二区| 国产私拍福利视频在线观看| 国产不卡一卡二| 国产亚洲精品第一综合不卡| 国产一级毛片七仙女欲春2 | 欧美中文日本在线观看视频| 51午夜福利影视在线观看| 亚洲精品美女久久久久99蜜臀| 国产av一区二区精品久久| 久久久国产欧美日韩av| 老熟妇仑乱视频hdxx| 成人国产综合亚洲| 亚洲avbb在线观看| 18禁黄网站禁片午夜丰满| 中亚洲国语对白在线视频| 国内毛片毛片毛片毛片毛片| 久久久水蜜桃国产精品网| 一a级毛片在线观看| 色哟哟哟哟哟哟| 一二三四在线观看免费中文在| 久久精品国产综合久久久| 久久国产精品人妻蜜桃| 亚洲第一欧美日韩一区二区三区| 久久这里只有精品19| 国产熟女午夜一区二区三区| 亚洲一码二码三码区别大吗| 亚洲国产欧洲综合997久久, | 女人高潮潮喷娇喘18禁视频| 少妇粗大呻吟视频| 老司机在亚洲福利影院| 久久久久久久久中文| 亚洲人成网站高清观看| 正在播放国产对白刺激| 可以在线观看的亚洲视频| 亚洲黑人精品在线| 黑丝袜美女国产一区| 男女床上黄色一级片免费看| 精华霜和精华液先用哪个| 男女午夜视频在线观看| 日韩欧美 国产精品| 老熟妇乱子伦视频在线观看| 在线国产一区二区在线| 男女那种视频在线观看| 99久久国产精品久久久| 18禁裸乳无遮挡免费网站照片 | 妹子高潮喷水视频| 熟妇人妻久久中文字幕3abv| 国产成人精品久久二区二区免费| 国产又黄又爽又无遮挡在线| 一卡2卡三卡四卡精品乱码亚洲| 97超级碰碰碰精品色视频在线观看| 亚洲成人久久爱视频| 亚洲午夜理论影院| 日本三级黄在线观看| 操出白浆在线播放| 成人手机av| 久久久久九九精品影院| 在线免费观看的www视频| 自线自在国产av| 一区二区三区高清视频在线| 999久久久精品免费观看国产| 2021天堂中文幕一二区在线观 | 久久热在线av| 法律面前人人平等表现在哪些方面| 级片在线观看| 高清在线国产一区| 色综合婷婷激情| 老司机深夜福利视频在线观看| 国产精品99久久99久久久不卡| 成人av一区二区三区在线看| 久久国产精品男人的天堂亚洲| 久久精品国产清高在天天线| 久久人妻福利社区极品人妻图片| 国产精华一区二区三区| 亚洲第一欧美日韩一区二区三区| 免费在线观看日本一区| 成年版毛片免费区| 亚洲精品在线观看二区| 黄色女人牲交| 亚洲av电影在线进入| 在线观看免费日韩欧美大片| 欧美丝袜亚洲另类 | 中亚洲国语对白在线视频| 麻豆国产av国片精品| 亚洲精品国产一区二区精华液| 热re99久久国产66热| 精品福利观看| 国产精品久久久久久亚洲av鲁大| 久久精品夜夜夜夜夜久久蜜豆 | 色在线成人网| 亚洲成av片中文字幕在线观看| 精品国产乱码久久久久久男人| 久久香蕉激情| 最近最新中文字幕大全电影3 | 人人妻人人澡欧美一区二区| АⅤ资源中文在线天堂| 69av精品久久久久久| 日本一区二区免费在线视频| 国产在线精品亚洲第一网站| 黑人巨大精品欧美一区二区mp4| 2021天堂中文幕一二区在线观 | 精品午夜福利视频在线观看一区| 精品久久久久久久久久免费视频| 亚洲专区字幕在线| 12—13女人毛片做爰片一| 日韩精品免费视频一区二区三区| 亚洲精品国产精品久久久不卡| 啪啪无遮挡十八禁网站| 国产97色在线日韩免费| 久久 成人 亚洲| 久热爱精品视频在线9| 美女免费视频网站| 日本a在线网址| cao死你这个sao货| 成人国产综合亚洲| 熟女电影av网| 国产三级在线视频| 淫秽高清视频在线观看| 又大又爽又粗| 一本精品99久久精品77| 日韩国内少妇激情av| 国产伦一二天堂av在线观看| 老司机深夜福利视频在线观看| www.www免费av| 亚洲一码二码三码区别大吗| 国产av又大| 狂野欧美激情性xxxx| 亚洲在线自拍视频| 国产精品1区2区在线观看.| 国产成人系列免费观看| 国产午夜精品久久久久久| 国产亚洲av嫩草精品影院| 色av中文字幕| 一本综合久久免费| 无遮挡黄片免费观看| 亚洲人成77777在线视频| 91国产中文字幕| 国产精品 欧美亚洲| 国产成+人综合+亚洲专区| 999久久久国产精品视频| 丰满的人妻完整版| cao死你这个sao货| 制服诱惑二区| 欧美日韩亚洲国产一区二区在线观看| 精品久久久久久久人妻蜜臀av| 国产一级毛片七仙女欲春2 | 18美女黄网站色大片免费观看| 国产一区二区三区在线臀色熟女| 麻豆av在线久日| 狂野欧美激情性xxxx| 久久精品国产综合久久久| www.自偷自拍.com| 女性生殖器流出的白浆| 国产亚洲av嫩草精品影院| 国内久久婷婷六月综合欲色啪| 岛国在线观看网站| 欧美日本亚洲视频在线播放| 亚洲狠狠婷婷综合久久图片| 日韩大码丰满熟妇| 欧美黄色淫秽网站| 黄色毛片三级朝国网站| 久久久久国产精品人妻aⅴ院| 韩国精品一区二区三区| 国产一区二区激情短视频| 这个男人来自地球电影免费观看| 精品久久久久久成人av| 少妇熟女aⅴ在线视频| 午夜福利18| 淫秽高清视频在线观看| 一进一出抽搐动态| 午夜免费鲁丝| 国产99白浆流出| 国产精品一区二区三区四区久久 | 真人做人爱边吃奶动态| 久久国产乱子伦精品免费另类| 精品久久久久久久末码| 免费观看精品视频网站| av中文乱码字幕在线| а√天堂www在线а√下载| xxx96com| 男人舔奶头视频| 久久久国产精品麻豆| 无人区码免费观看不卡| 成人一区二区视频在线观看| 妹子高潮喷水视频| 亚洲久久久国产精品| 亚洲五月天丁香| 最近最新中文字幕大全电影3 | 精品国产一区二区三区四区第35| 叶爱在线成人免费视频播放| 日韩一卡2卡3卡4卡2021年| 看黄色毛片网站| 一二三四在线观看免费中文在| 久久狼人影院| 男女视频在线观看网站免费 | 法律面前人人平等表现在哪些方面| 757午夜福利合集在线观看| 亚洲国产精品sss在线观看| 久久精品国产亚洲av高清一级| 校园春色视频在线观看| 亚洲国产精品合色在线| 国产精品久久久av美女十八| 国产伦人伦偷精品视频| 99热这里只有精品一区 | 久久精品国产亚洲av香蕉五月| 18禁裸乳无遮挡免费网站照片 | 亚洲精品中文字幕在线视频| 美女高潮到喷水免费观看| 成年人黄色毛片网站| 国产成人av激情在线播放| 一区二区三区高清视频在线| 露出奶头的视频| 狂野欧美激情性xxxx| 亚洲国产精品合色在线| 国产欧美日韩精品亚洲av| 亚洲第一欧美日韩一区二区三区| 成人特级黄色片久久久久久久| 国产一区二区激情短视频| 在线av久久热| 亚洲人成网站在线播放欧美日韩| 91成年电影在线观看| 亚洲男人的天堂狠狠| 久久精品人妻少妇| 最近最新中文字幕大全免费视频| 久久青草综合色| 一区二区日韩欧美中文字幕| 欧美日韩福利视频一区二区| 一本大道久久a久久精品| 亚洲av美国av| 午夜老司机福利片| 精品国内亚洲2022精品成人| 久久精品91蜜桃| 香蕉av资源在线| 亚洲色图 男人天堂 中文字幕| 国产成人精品久久二区二区免费| 日本五十路高清| 亚洲av第一区精品v没综合| 国产av一区在线观看免费| 亚洲五月色婷婷综合| 波多野结衣高清作品| 一级作爱视频免费观看| 看片在线看免费视频| 在线视频色国产色| 亚洲五月天丁香| 国产精品野战在线观看| 亚洲精品在线观看二区| 极品教师在线免费播放| 女警被强在线播放| netflix在线观看网站| 色在线成人网| 亚洲国产精品成人综合色| 在线播放国产精品三级| 妹子高潮喷水视频| 90打野战视频偷拍视频| 在线av久久热| 国产亚洲精品久久久久久毛片| 十八禁网站免费在线| 国产视频内射| 白带黄色成豆腐渣| 免费在线观看完整版高清| 美女 人体艺术 gogo| 岛国在线观看网站| 香蕉av资源在线| 热99re8久久精品国产| 白带黄色成豆腐渣| 亚洲av成人av| 国产成人一区二区三区免费视频网站| 熟妇人妻久久中文字幕3abv| 国产免费av片在线观看野外av| 黄片大片在线免费观看| 真人做人爱边吃奶动态| 国产在线观看jvid| 十八禁人妻一区二区| 久久国产亚洲av麻豆专区| 自线自在国产av| 亚洲国产精品成人综合色| 中文字幕最新亚洲高清| 大型黄色视频在线免费观看| 亚洲专区中文字幕在线| 欧美激情极品国产一区二区三区| 国产极品粉嫩免费观看在线| 搞女人的毛片| 亚洲av美国av| 国产精华一区二区三区| 韩国av一区二区三区四区| 国产av一区二区精品久久| 久久午夜亚洲精品久久| 国内精品久久久久精免费| 久久久久亚洲av毛片大全| 免费观看人在逋| 成人欧美大片| 久久亚洲精品不卡| 国产亚洲av嫩草精品影院| 中文资源天堂在线| 国产私拍福利视频在线观看| 在线观看免费日韩欧美大片| 成人精品一区二区免费| 婷婷精品国产亚洲av在线| 18美女黄网站色大片免费观看| 麻豆一二三区av精品| 99re在线观看精品视频| 久久九九热精品免费| 亚洲专区字幕在线| 国产精品,欧美在线| 中文字幕精品亚洲无线码一区 | 天天躁夜夜躁狠狠躁躁| 极品教师在线免费播放| 精品第一国产精品| 国产亚洲精品第一综合不卡| 夜夜爽天天搞| 午夜日韩欧美国产| 国产高清激情床上av| 人人妻人人澡人人看| 精品卡一卡二卡四卡免费| 国产精品1区2区在线观看.| 国产精品国产高清国产av| 婷婷丁香在线五月| 亚洲无线在线观看| 女人爽到高潮嗷嗷叫在线视频| 可以在线观看毛片的网站| 成人特级黄色片久久久久久久| 日本精品一区二区三区蜜桃| 在线观看日韩欧美| 亚洲国产精品合色在线| 国产精品九九99| 日本在线视频免费播放| av中文乱码字幕在线| 高清毛片免费观看视频网站| 超碰成人久久| 亚洲熟妇中文字幕五十中出| 热99re8久久精品国产| 国产亚洲精品久久久久久毛片| 亚洲av电影在线进入| 淫妇啪啪啪对白视频| 免费看a级黄色片| 欧美色视频一区免费| 亚洲av五月六月丁香网| 露出奶头的视频| 成人18禁高潮啪啪吃奶动态图| 国产成人系列免费观看| 亚洲人成电影免费在线| 又紧又爽又黄一区二区| 久久人妻福利社区极品人妻图片| 国产aⅴ精品一区二区三区波| 91成人精品电影| 男人操女人黄网站| 国产乱人伦免费视频| 嫩草影院精品99| 怎么达到女性高潮| 午夜福利在线在线| 久久午夜亚洲精品久久| www日本在线高清视频| 成人亚洲精品一区在线观看| 制服人妻中文乱码| 国产又爽黄色视频| 国产成人一区二区三区免费视频网站| 亚洲熟女毛片儿| 夜夜爽天天搞| 国产精品一区二区免费欧美| 国产主播在线观看一区二区| 性欧美人与动物交配| 国产一区二区三区视频了| 国产成人精品无人区| 99re在线观看精品视频| 国产欧美日韩一区二区三| 国产亚洲欧美98| 国产一级毛片七仙女欲春2 | 啦啦啦韩国在线观看视频| 巨乳人妻的诱惑在线观看| 欧美色欧美亚洲另类二区| 久久精品91蜜桃| 亚洲aⅴ乱码一区二区在线播放 | 淫妇啪啪啪对白视频| 成人三级黄色视频| tocl精华| 国产精品1区2区在线观看.| 日韩视频一区二区在线观看| 啦啦啦韩国在线观看视频| 久久天堂一区二区三区四区| 狂野欧美激情性xxxx| 99国产极品粉嫩在线观看| 久久久国产成人免费| 亚洲三区欧美一区| 成人午夜高清在线视频 | 色综合站精品国产| 国内久久婷婷六月综合欲色啪| 2021天堂中文幕一二区在线观 | 老熟妇乱子伦视频在线观看| 国内毛片毛片毛片毛片毛片| 国产精品电影一区二区三区| 99热只有精品国产| 成年女人毛片免费观看观看9| 日韩中文字幕欧美一区二区| 国产伦人伦偷精品视频| 日日夜夜操网爽| 日韩精品免费视频一区二区三区| 亚洲成a人片在线一区二区| 日韩免费av在线播放| 日韩大码丰满熟妇| 不卡av一区二区三区| 欧美日韩亚洲综合一区二区三区_| 啦啦啦韩国在线观看视频| 男女做爰动态图高潮gif福利片| 老司机福利观看| 久久国产乱子伦精品免费另类| 女警被强在线播放| 丝袜在线中文字幕| 桃红色精品国产亚洲av| 亚洲欧美精品综合一区二区三区| 亚洲欧美一区二区三区黑人| 亚洲av中文字字幕乱码综合 | 亚洲天堂国产精品一区在线| 男人舔女人下体高潮全视频| 老司机午夜福利在线观看视频| 婷婷精品国产亚洲av在线| 久久久国产成人免费| 亚洲一区二区三区色噜噜| 丝袜人妻中文字幕| 精品国产国语对白av| 午夜福利免费观看在线| 国产99久久九九免费精品| 国产精品久久久人人做人人爽| 欧美另类亚洲清纯唯美| 美女午夜性视频免费| 老司机午夜福利在线观看视频| 亚洲真实伦在线观看| 国产极品粉嫩免费观看在线| 国产精品综合久久久久久久免费| 国产精华一区二区三区| 国产亚洲av高清不卡| 最近最新免费中文字幕在线| 手机成人av网站| 欧美日韩乱码在线| 丁香六月欧美| 国产亚洲欧美在线一区二区| 国内精品久久久久精免费| 亚洲av美国av| 黑人欧美特级aaaaaa片| 91麻豆精品激情在线观看国产| 午夜福利成人在线免费观看| 精品久久久久久,| 一进一出抽搐动态| 91字幕亚洲| 美女 人体艺术 gogo| 日韩欧美国产一区二区入口| 男人操女人黄网站| 亚洲国产欧美日韩在线播放| 两性夫妻黄色片| 一级黄色大片毛片| 老鸭窝网址在线观看| 一二三四在线观看免费中文在| 亚洲中文av在线| 日日爽夜夜爽网站| 午夜福利免费观看在线| 国产亚洲精品综合一区在线观看 | 成人免费观看视频高清| 九色国产91popny在线| 亚洲第一青青草原| 久久人妻av系列| 国产高清激情床上av| 老司机福利观看| avwww免费| 在线av久久热| 18禁黄网站禁片免费观看直播| 十分钟在线观看高清视频www| 2021天堂中文幕一二区在线观 | 日韩成人在线观看一区二区三区| 精品欧美一区二区三区在线| 日韩欧美 国产精品| 国产国语露脸激情在线看| 亚洲 国产 在线| 精品一区二区三区四区五区乱码| 国内少妇人妻偷人精品xxx网站 | 男人舔奶头视频| 欧美丝袜亚洲另类 | 亚洲狠狠婷婷综合久久图片| 男男h啪啪无遮挡| 亚洲精品美女久久av网站| 中文字幕久久专区| 长腿黑丝高跟| 真人做人爱边吃奶动态| 国产一区二区三区在线臀色熟女| 波多野结衣巨乳人妻| 国产一区二区三区在线臀色熟女| 成人欧美大片| 91麻豆精品激情在线观看国产| 精品日产1卡2卡| 欧美黑人精品巨大| 亚洲avbb在线观看| 黄色女人牲交| 国产又黄又爽又无遮挡在线| 成人三级黄色视频| 99久久国产精品久久久| 久久精品人妻少妇| 亚洲欧美激情综合另类| 一进一出抽搐gif免费好疼| 这个男人来自地球电影免费观看| av免费在线观看网站| 亚洲精品久久国产高清桃花| 999久久久精品免费观看国产| 别揉我奶头~嗯~啊~动态视频| 好男人电影高清在线观看| 亚洲成a人片在线一区二区| 一级a爱片免费观看的视频| 成熟少妇高潮喷水视频| 国产主播在线观看一区二区| 久久热在线av| 欧美激情极品国产一区二区三区| 久久久久久久久中文| 久久中文字幕人妻熟女| 天天一区二区日本电影三级| 欧美黑人巨大hd| 一区二区三区激情视频| 国产真实乱freesex| 日韩免费av在线播放| av片东京热男人的天堂| 一a级毛片在线观看| 天堂影院成人在线观看| 亚洲,欧美精品.| 久久国产精品人妻蜜桃| 欧美激情极品国产一区二区三区| 国产亚洲精品综合一区在线观看 | 大型av网站在线播放| 欧美成人午夜精品| 一进一出抽搐动态| 中文字幕人妻熟女乱码| 亚洲欧美精品综合一区二区三区| 久久九九热精品免费|