• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    在線開放課程中教師教學(xué)行為研究

    2019-03-18 01:59:10趙呈領(lǐng)胡萍梁云真蔣志輝黃琰疏鳳芳
    中國遠(yuǎn)程教育 2019年1期
    關(guān)鍵詞:觀點(diǎn)編碼學(xué)習(xí)者

    趙呈領(lǐng) 胡萍 梁云真 蔣志輝 黃琰 疏鳳芳

    【摘要】? 在線學(xué)習(xí)中教師教學(xué)行為影響到在線學(xué)習(xí)者課程評價(jià)和學(xué)習(xí)體驗(yàn)。本文提出研究假設(shè):教師主教行為與學(xué)習(xí)者課程評價(jià)正相關(guān);教師助教行為與學(xué)習(xí)者課程評價(jià)正相關(guān);教師管理行為與學(xué)習(xí)者課程評價(jià)正相關(guān)。主要運(yùn)用自然語言處理(NLP)和內(nèi)容分析的方法,從學(xué)習(xí)者評論中挖掘在線學(xué)習(xí)者觀點(diǎn)。研究設(shè)計(jì)了學(xué)習(xí)者觀點(diǎn)抽象模型和教師教學(xué)行為編碼表,運(yùn)用語言技術(shù)平臺(tái)(LTP)依存句法分析識(shí)別觀點(diǎn)句,并基于規(guī)則壓縮抽取觀點(diǎn)句中屬性和觀點(diǎn)詞語,編碼分析教師教學(xué)行為相關(guān)觀點(diǎn)。分析教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)性發(fā)現(xiàn):教師主教行為(講授、指示、演示)與學(xué)習(xí)者課程評價(jià)正相關(guān);教師助教行為(評價(jià)反饋、技術(shù)指導(dǎo))和教師管理行為(組織討論、課程管理、輔助學(xué)習(xí)資源管理)與學(xué)習(xí)者課程評價(jià)的相關(guān)關(guān)系未達(dá)到統(tǒng)計(jì)檢驗(yàn)的顯著水平。基于研究結(jié)果提出在線學(xué)習(xí)中教師教學(xué)行為發(fā)展建議。

    【關(guān)鍵詞】? 在線開放課程;觀點(diǎn)挖掘;教師教學(xué)行為;自然語言處理(NLP);學(xué)習(xí)者觀點(diǎn)抽象;觀點(diǎn)要素;內(nèi)容分析

    【中圖分類號(hào)】? G451.2? ? ? 【文獻(xiàn)標(biāo)識(shí)碼】? A? ? ? 【文章編號(hào)】 1009-458x(2019)1-0058-09

    一、引言

    隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,在線學(xué)習(xí)已成為用戶的重要學(xué)習(xí)形式,在線教育規(guī)模與日俱增。據(jù)中國互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)CNNIC第40次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》(2017)統(tǒng)計(jì),截至2017年6月,中國網(wǎng)民數(shù)量達(dá)到7.51億,在線教育市場規(guī)模發(fā)展迅速,在線教育用戶規(guī)模達(dá)到1.44億。僅2016年12月至2017年6月,在線教育用戶就增加了662萬,增長率為4.8%。某在線學(xué)習(xí)平臺(tái)一門課程的學(xué)習(xí)者高達(dá)18萬人,該課程的學(xué)習(xí)者產(chǎn)生的課程評論文本和討論數(shù)據(jù)達(dá)上萬條。在線開放課程學(xué)習(xí)者數(shù)量巨大,不斷在學(xué)習(xí)平臺(tái)中產(chǎn)生數(shù)據(jù),這些數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)以文本、圖像、視頻為主。文本仍是在線學(xué)習(xí)者表達(dá)觀點(diǎn)的主要形式,然而,面對海量的學(xué)習(xí)者生成文本,對一個(gè)團(tuán)隊(duì)或某位教師來說要獲取學(xué)習(xí)者觀點(diǎn)耗時(shí)耗力,難以持續(xù)。觀點(diǎn)挖掘技術(shù)為分析大規(guī)模的學(xué)習(xí)者生成文本提供了可行性,可運(yùn)用觀點(diǎn)挖掘技術(shù)深入挖掘?qū)W習(xí)者對教師教學(xué)行為的觀點(diǎn)。

    本研究運(yùn)用自然語言處理和內(nèi)容分析技術(shù),深入挖掘和分析在線學(xué)習(xí)者生成課程評價(jià)數(shù)據(jù)。設(shè)計(jì)了學(xué)習(xí)者觀點(diǎn)抽象模型和教師教學(xué)行為編碼表,運(yùn)用語言技術(shù)平臺(tái)(LTP)依存句法分析識(shí)別觀點(diǎn)句,并基于規(guī)則壓縮抽取觀點(diǎn)句中屬性和觀點(diǎn)詞語,編碼分析教師教學(xué)行為相關(guān)觀點(diǎn),分析教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)性,提出在線學(xué)習(xí)中教師教學(xué)行為發(fā)展建議。

    二、研究現(xiàn)狀

    (一)觀點(diǎn)挖掘應(yīng)用研究

    觀點(diǎn)挖掘(opinion mining)是多學(xué)科交叉研究領(lǐng)域,涉及自然語言處理、機(jī)器學(xué)習(xí)、信息抽取、數(shù)據(jù)挖掘等方法和技術(shù)。當(dāng)代漢語詞典中對“觀點(diǎn)”的定義是:①觀察事物時(shí)所處的位置或采取的態(tài)度;②對事物或問題的看法。觀點(diǎn)挖掘側(cè)重挖掘觀點(diǎn)持有者的看法和立場。觀點(diǎn)挖掘一詞最早是由Dave等人在國際萬維網(wǎng)大會(huì)WWW會(huì)議上提出的(Dave, et al., 2003)。此后潘波等做了比較深入的研究(Pang & Lee, 2008; Liu, 2012)。從觀點(diǎn)挖掘數(shù)據(jù)分析粒度來看,有多文檔級、篇章級、段落級、句子級、詞匯級,分析粒度趨于精細(xì)化(Cambria, et al., 2013)。

    在教育領(lǐng)域,劉清堂等(Liu, et al., 2017)用觀點(diǎn)挖掘分析教師反思性思維,為教育政策制定者、教師培訓(xùn)管理者、教育研究者提供建議。普渡大學(xué)Chen等(Chen, et al., 2014)著重分析工程類專業(yè)學(xué)生在推特上對學(xué)習(xí)問題及困難的分享帖,通過分析發(fā)現(xiàn)工程類專業(yè)學(xué)生面臨學(xué)習(xí)負(fù)擔(dān)過重、缺少社交活動(dòng)、熬夜等問題。哈佛大學(xué)Reich等(Reich, et al., 2015)在MOOC平臺(tái)中運(yùn)用觀點(diǎn)挖掘主題模型,深入分析學(xué)生自我檢測動(dòng)機(jī),識(shí)別學(xué)生討論主題,探究課程評價(jià)反饋模式。在MOOC環(huán)境下,Yang等(Yang, et al., 2014)使用主題模型分析論壇和學(xué)生社交網(wǎng)絡(luò),預(yù)測學(xué)生社群中的人員流失。日本學(xué)者Kumakawa(Kumakawa, 2017)運(yùn)用觀點(diǎn)挖掘聚類分析工程領(lǐng)域大一新生的學(xué)習(xí)海報(bào)和其中包含的重要關(guān)鍵詞。西班牙學(xué)者Romero等(Romero, et al., 2013)對學(xué)習(xí)計(jì)算機(jī)科學(xué)課程的114名大學(xué)生在一年期間在論壇中產(chǎn)生的文本進(jìn)行觀點(diǎn)挖掘和分析,預(yù)測學(xué)生期末表現(xiàn),以便于教師針對預(yù)測結(jié)果采取干預(yù)措施。

    (二)教師教學(xué)行為研究

    教師教學(xué)行為是教師激發(fā)、保持、促進(jìn)學(xué)習(xí)者學(xué)習(xí)的所有行為,即對學(xué)習(xí)者學(xué)習(xí)行為的指導(dǎo)、支持、服務(wù)行為的總和(李松林, 2005)。教師教學(xué)行為是復(fù)雜的社會(huì)行為,具有情境性(朱厚玉, 2013)。研究者從不同的角度,對教師教學(xué)行為提出了自己的分類,如表1。弗蘭德斯(Flanders, 1974)的FIAS交互分析根據(jù)教師教學(xué)言語行為的直接影響和間接影響,將課堂教學(xué)中的教師行為分為:接受感、表揚(yáng)/鼓勵(lì)、認(rèn)同/采用學(xué)生的想法、提問、講授、指導(dǎo)、批評/調(diào)整權(quán)威。斯蒂格勒等(Stigler, et al., 1999)在課堂錄像分析TIMSS中將教師言語行為分為:提問、講授、指示、接納學(xué)生觀點(diǎn)、回答學(xué)生提問、回答自己提問。傅德榮等(2001)的S-T分析依據(jù)視聽傳遞信息行為,將課堂教學(xué)中教師行為分為:解說、示范、板書、借助媒體提示、提問與點(diǎn)名、評價(jià)與反饋。施良方等(1999)按教師的行為方式與功能將教師教學(xué)行為分為主教行為、助教行為和管理行為。其中,主教行為即主要教學(xué)行為,包括呈示行為、對話行為、指導(dǎo)行為;助教行為即有助于教學(xué)的行為,包括培養(yǎng)激發(fā)學(xué)習(xí)動(dòng)機(jī)、有效課堂交流、課堂強(qiáng)化技術(shù)、積極教師期望;管理行為分為行為問題管理、課堂管理模式、課堂時(shí)間管理。劉繁華(2004)將網(wǎng)絡(luò)教學(xué)中教師教學(xué)行為分為教學(xué)設(shè)計(jì)行為、教學(xué)準(zhǔn)備行為、教學(xué)組織行為、教學(xué)評價(jià)與反饋行為。高?。?012)按教師的課堂教學(xué)表現(xiàn)及其功能,將教師教學(xué)行為分為陳述、指導(dǎo)、展示、提問、反饋、管理、觀察、傾聽、反思、評價(jià)。顧小清等(2004)在FIAS、TIMSS、S-T分析的基礎(chǔ)上融入了技術(shù)。韓后等(2015)改進(jìn)了顧小清提出的教師操縱技術(shù)的具體行為。張屹等(2016)將教師技術(shù)評價(jià)行為融入教師言語和技術(shù)行為中,分析智慧教室中教師和學(xué)生互動(dòng)行為的特征。

    綜上所述,觀點(diǎn)挖掘技術(shù)在教育領(lǐng)域?qū)W習(xí)分析中已有較多應(yīng)用研究,但有關(guān)教師教學(xué)行為的學(xué)習(xí)者觀點(diǎn)研究還相對較少。目前,教師教學(xué)行為研究大多在課堂教學(xué)情境中進(jìn)行,從研究者視角分析不同的教師教學(xué)行為。但是,從學(xué)習(xí)者視角研究教師教學(xué)行為更有利于其發(fā)展。本研究運(yùn)用自然語言處理技術(shù)處理分析在線學(xué)習(xí)者生成的評論文本數(shù)據(jù),深入分析學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn),并進(jìn)一步分析教師教學(xué)行為與學(xué)習(xí)者課程滿意度的相關(guān)性,提出改進(jìn)教師教學(xué)行為的策略。

    三、研究設(shè)計(jì)

    (一)研究問題及假設(shè)

    本研究的問題是在線學(xué)習(xí)情境中,學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn)極性以及不同教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)性。針對研究問題,提出以下研究假設(shè):

    H1:教師主教行為與學(xué)習(xí)者課程評價(jià)正相關(guān);

    H2:教師助教行為與學(xué)習(xí)者課程評價(jià)正相關(guān);

    H3:教師管理行為與學(xué)習(xí)者課程評價(jià)正相關(guān)。

    為驗(yàn)證以上研究假設(shè),設(shè)計(jì)了在線學(xué)習(xí)者觀點(diǎn)挖掘研究框架,學(xué)習(xí)者觀點(diǎn)抽象模型,觀點(diǎn)句壓縮抽取的屬性詞、觀點(diǎn)詞抽取規(guī)則以及教師教學(xué)行為編碼表。研究以某云課堂中一門課程為例,分析在線學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn),并為在線教師教學(xué)行為發(fā)展提出建議。

    (二)研究框架

    本研究主要分為數(shù)據(jù)獲取與處理、學(xué)習(xí)者觀點(diǎn)挖掘、教師教學(xué)行為分析、研究結(jié)論四部分。研究框架,獲取學(xué)習(xí)者課程評價(jià)數(shù)據(jù)。運(yùn)用爬蟲獲取在線學(xué)習(xí)平臺(tái)中學(xué)習(xí)者某課程評價(jià)數(shù)據(jù),獲取的數(shù)據(jù)包括學(xué)習(xí)者、評論時(shí)間、課程評分、評價(jià)內(nèi)容等。

    課程學(xué)習(xí)者觀點(diǎn)挖掘主要分四步,分別是觀點(diǎn)抽象、觀點(diǎn)句識(shí)別、觀點(diǎn)詞與屬性詞抽取、觀點(diǎn)極性判斷。觀點(diǎn)抽象:學(xué)習(xí)者觀點(diǎn)挖掘關(guān)鍵在于構(gòu)建學(xué)習(xí)者觀點(diǎn)抽象模型,確定需要挖掘的學(xué)習(xí)者觀點(diǎn)信息要素,將學(xué)習(xí)者觀點(diǎn)抽象為結(jié)構(gòu)化數(shù)據(jù)。觀點(diǎn)句識(shí)別:在獲取的學(xué)習(xí)者課程評價(jià)內(nèi)容中并非每個(gè)句子都包含觀點(diǎn),需運(yùn)用自然語言處理技術(shù)識(shí)別評價(jià)內(nèi)容中的觀點(diǎn)句。觀點(diǎn)詞與屬性詞抽取:學(xué)習(xí)者對評價(jià)對象的態(tài)度和立場是從屬性詞與觀點(diǎn)詞中獲取的,抽取屬性詞和觀點(diǎn)詞能獲取觀點(diǎn)信息主要內(nèi)容。觀點(diǎn)極性判斷:根據(jù)抽取的觀點(diǎn)詞,運(yùn)用詞典匹配判斷學(xué)習(xí)者觀點(diǎn),將觀點(diǎn)極性分為積極、中立、消極三類,同時(shí)篩選出學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn)。

    教師教學(xué)行為分析主要分四步,分別是編碼表設(shè)計(jì)、編碼、信效度檢驗(yàn)、相關(guān)性分析。編碼表設(shè)計(jì):考慮在線學(xué)習(xí)情境與課堂教學(xué)情境下,教師教學(xué)行為的差異,設(shè)計(jì)在線學(xué)習(xí)中教師教學(xué)行為編碼表,提供教師教學(xué)行為編碼量化依據(jù),同時(shí)提出教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)相關(guān)性的研究假設(shè)。編碼:依據(jù)教師教學(xué)行為編碼表將學(xué)習(xí)者觀點(diǎn)轉(zhuǎn)化為量化分析內(nèi)容。信效度檢驗(yàn):隨機(jī)抽樣檢驗(yàn)編碼工具和編碼結(jié)果信效度并修正編碼工具。相關(guān)性分析:分析某一類型的教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)性,檢驗(yàn)研究假設(shè),從而得到研究結(jié)論。

    (三)學(xué)習(xí)者觀點(diǎn)抽象模型

    學(xué)習(xí)者觀點(diǎn)抽象模型的作用是將非結(jié)構(gòu)化文本數(shù)據(jù)表示為結(jié)構(gòu)化信息。觀點(diǎn)挖掘是為了獲取觀點(diǎn)持有者的態(tài)度和立場。要從非結(jié)構(gòu)化文本數(shù)據(jù)中獲取觀點(diǎn)信息,首先需要抽象學(xué)習(xí)者觀點(diǎn),將觀點(diǎn)信息結(jié)構(gòu)化?,F(xiàn)有的觀點(diǎn)挖掘抽象模型主要有三元組、四元組、五元組等。三元組的要素有<觀點(diǎn)持有者,對象,態(tài)度>,四元組有<主題(Topic),觀點(diǎn)持有者(Holder),陳述(Claim),情感(Sentiment)>(Kim & Hovy, 2004)。五元組是<實(shí)體([ej]),屬性([ajk]),情感極性([soijkl]),發(fā)布者([hi]),發(fā)表時(shí)間([t1])>(Liu & Zhang, 2012)。五元組中[soijkl]表示觀點(diǎn)持有者[hi]對實(shí)體[ej]的特征[ajk]在[t1]時(shí)刻的觀點(diǎn)態(tài)度或立場。五元組與三元組相比,增加了評價(jià)對象屬性和觀點(diǎn)發(fā)表時(shí)間,能獲取觀點(diǎn)持有者細(xì)粒度的觀點(diǎn)信息。五元組與四元組相比,增加了觀點(diǎn)發(fā)表時(shí)間,有利于對比記錄學(xué)習(xí)者觀點(diǎn)變化。

    研究根據(jù)Liu等人(2012b)的觀點(diǎn)五元組構(gòu)建學(xué)習(xí)者觀點(diǎn)抽象模型。實(shí)體[ej]是學(xué)習(xí)者觀點(diǎn)中的評價(jià)對象,可以是人、主題、知識(shí)點(diǎn)、事件、服務(wù)、產(chǎn)品等。屬性[ajk]是被評價(jià)對象的某一個(gè)方面或特征,每一個(gè)實(shí)體都有屬性集[a]。例如:教師教學(xué)行為、學(xué)習(xí)資源質(zhì)量、學(xué)伴等,不同的教師教學(xué)行為是該實(shí)體的屬性,每一種教師教學(xué)行為都是該實(shí)體的一個(gè)子集。如:講授、提問、演示、指導(dǎo)等教學(xué)行為。觀點(diǎn)極性用[oijkl]表示學(xué)習(xí)者[Li]在[t1]時(shí)刻對實(shí)體[ej]的某屬性[ajk]的觀點(diǎn)態(tài)度和立場。本研究按照三分類將學(xué)習(xí)者觀點(diǎn)極性分為積極、消極、中立,著重分析積極和消極觀點(diǎn)極性。不同學(xué)習(xí)者對同一實(shí)體和屬性的觀點(diǎn)有差異,即使同一學(xué)習(xí)者也可能在不同時(shí)間產(chǎn)生不同的觀點(diǎn)。因此,有必要抽取觀點(diǎn)持有者和觀點(diǎn)發(fā)布時(shí)間,這也是本研究選取觀點(diǎn)五元組獲取學(xué)習(xí)者觀點(diǎn)的原因。

    在模型五個(gè)要素中學(xué)習(xí)者、發(fā)表時(shí)間是獲取文本數(shù)據(jù)時(shí)的元數(shù)據(jù),可直接抽取。實(shí)體是學(xué)習(xí)者觀點(diǎn)中的評價(jià)對象,由于學(xué)習(xí)者產(chǎn)生的文本數(shù)據(jù)零散,評價(jià)對象范圍廣,實(shí)體可預(yù)先確定,或運(yùn)用主題模型分類聚類確定。在本研究中預(yù)定實(shí)體為教師教學(xué)行為。屬性、觀點(diǎn)極性是觀點(diǎn)信息抽取的關(guān)鍵部分,需要運(yùn)用自然語言處理技術(shù)處理,結(jié)合依存句法分析獲取文本數(shù)據(jù)中的關(guān)鍵屬性觀點(diǎn)詞信息。

    (四)研究方法與工具設(shè)計(jì)

    研究設(shè)計(jì)了觀點(diǎn)句中抽取屬性詞和觀點(diǎn)詞的壓縮抽取規(guī)則以及教師教學(xué)行為編碼表。研究主要運(yùn)用到的研究方法有自然語言處理和內(nèi)容分析。研究工具有哈爾濱工業(yè)大學(xué)的語言云LTP、IBM統(tǒng)計(jì)軟件SPSS,LTP用于依存句法分析,SPSS用于相關(guān)性分析。數(shù)據(jù)預(yù)處理后,首先,結(jié)合學(xué)習(xí)者觀點(diǎn)抽象模型,運(yùn)用自然語言處理技術(shù)中的依存句法分析,從觀點(diǎn)句中抽取五要素中的屬性詞與觀點(diǎn)詞;然后,分類抽取學(xué)習(xí)者與教師教學(xué)行為相關(guān)的觀點(diǎn),分析觀點(diǎn)極性;最后,根據(jù)教師教學(xué)行為編碼表,分析教師教學(xué)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)性,提出在線學(xué)習(xí)中教師教學(xué)行為發(fā)展建議。

    1. 屬性詞與觀點(diǎn)詞抽取

    (1)觀點(diǎn)句識(shí)別

    前期觀點(diǎn)挖掘研究表明,通常顯式屬性詞詞性為名詞,觀點(diǎn)詞詞性為形容詞、動(dòng)詞或副詞,觀點(diǎn)句中包括主謂關(guān)系(SBV)和定中關(guān)系(ATT)(Che, et al., 2015)。因此,運(yùn)用哈爾濱工業(yè)大學(xué)的語言云LTP分析詞性標(biāo)注和依存句法,篩選出評價(jià)內(nèi)容中包含詞性為名詞、形容詞、動(dòng)詞或副詞的句子,或句法結(jié)構(gòu)中包含SBV關(guān)系或ATT關(guān)系的句子。圖中文字下方詞性標(biāo)注[n]表示名詞,[v]表示動(dòng)詞,[d]表示副詞,[a]表示形容詞;文字上方依存句法分析HED表示整個(gè)句子核心,SBV表示主謂關(guān)系,COO表示并列關(guān)系。

    (2)壓縮句子抽取屬性詞與觀點(diǎn)詞

    借鑒車萬翔等人提出的句子壓縮規(guī)則,考慮到學(xué)習(xí)者生成文本的語法特性,制定觀點(diǎn)句中屬性詞[a]和觀點(diǎn)詞[o]之間的句法壓縮規(guī)則,見表2。句法壓縮規(guī)則主要圍繞句子主謂關(guān)系、定中關(guān)系、觀點(diǎn)詞或?qū)傩栽~并列關(guān)系制定壓縮規(guī)則。規(guī)則中“*”表示任意詞性詞匯。

    在符合以上句法結(jié)構(gòu)的句子中,設(shè)計(jì)算法抽取句中名詞為屬性詞,抽取句中形容詞為觀點(diǎn)詞。但是,除以上壓縮規(guī)則之外,學(xué)習(xí)者生成評價(jià)數(shù)據(jù)中可能存在一些特殊類型,需要人工校驗(yàn)壓縮以獲得更高準(zhǔn)確率。這些特殊類型有:①對比部分。例如:老師比我預(yù)計(jì)的講得好。壓縮句為:老師講得好。②句首的副詞修飾語。例如:相對于其他課程來說內(nèi)容易于理解是課程的優(yōu)勢。壓縮句為:內(nèi)容易于理解是課程的優(yōu)勢。③觀點(diǎn)詞前的副詞修飾語。例如:老師看著感覺幽默。壓縮句為:老師幽默。④特殊副詞搭配。例如:在教學(xué)設(shè)計(jì)方面非常合理。壓縮句為:教學(xué)設(shè)計(jì)非常合理。⑤缺主語。例如:給人學(xué)習(xí)體驗(yàn)很好。壓縮句為:學(xué)習(xí)體驗(yàn)很好。⑥插入語和感嘆詞。例句:好實(shí)用的輔助學(xué)習(xí)材料哇,哈哈。壓縮句為:好實(shí)用的輔助學(xué)習(xí)材料。⑦口語化詞匯或短語。例如:再加上老師講課生動(dòng)。壓縮句為:老師講課生動(dòng)。⑧連接詞或短語。例如:但是老師講得有趣。壓縮句為:老師講得有趣。

    2. 教師教學(xué)行為編碼表

    綜合弗蘭德斯、斯蒂格勒、傅德榮、施良方等學(xué)者關(guān)于課堂教學(xué)情境下教師教學(xué)行為的前期研究,并考慮到在線教學(xué)情境,制定了教師教學(xué)行為編碼表,見表3。

    四、研究過程

    (一)研究對象

    選取的研究對象是某云課堂中選修“JAVA 零基礎(chǔ)入門”并發(fā)表課程評價(jià)觀點(diǎn)的學(xué)習(xí)者。該課程于2016年開設(shè),每位學(xué)習(xí)者都能發(fā)表課程評價(jià),也可自由選擇發(fā)表課程評價(jià)文本。截至2018年1月共選取3,154位學(xué)習(xí)者的課程評價(jià)數(shù)據(jù)。

    (二)數(shù)據(jù)預(yù)處理

    1. 去除重復(fù)冗余數(shù)據(jù)

    學(xué)習(xí)者課程評價(jià)數(shù)據(jù)中存在重復(fù)冗余數(shù)據(jù),首先需要?jiǎng)h除數(shù)據(jù)中重復(fù)和無實(shí)際意義的內(nèi)容。經(jīng)過數(shù)據(jù)觀察發(fā)現(xiàn),評價(jià)內(nèi)容中有廣告、純數(shù)字、純鏈接,包括感嘆詞、象聲詞。比如:“買學(xué)習(xí)資源上XX網(wǎng)”“12345”“www.xxx.com”“哈哈”等。

    2. 分詞與詞性標(biāo)注

    中文觀點(diǎn)挖掘與英文不同,英文單詞之間有空格作為分隔符,但中文詞匯之間不存在分隔符,需要分詞操作并標(biāo)注詞性。目前已有較為成熟的中文分詞工具可實(shí)現(xiàn)分詞和詞性標(biāo)注,如NLPIR、語言云LTP。除分詞軟件以外,軟件中的分詞程序包也可以進(jìn)行分詞操作,如R語言中的Rwordseg和Python中的jieba分詞。

    3. 去停用詞

    觀點(diǎn)句中包含一些符號(hào)和不影響表達(dá)學(xué)習(xí)者觀點(diǎn)的詞語,為提升數(shù)據(jù)處理速度和效率,使用哈爾濱工業(yè)大學(xué)停用詞表,調(diào)用jieba分詞去停用詞。哈爾濱工業(yè)大學(xué)停用詞表中的停用詞包括符號(hào)、序號(hào)、中文詞匯等。比如:“①②③……”“換句話說”“換言之”“或”“或是”等。

    (三)學(xué)習(xí)者觀點(diǎn)挖掘

    根據(jù)所構(gòu)建的學(xué)習(xí)者觀點(diǎn)抽象模型,將學(xué)習(xí)者觀點(diǎn)抽象為五要素[<ej](實(shí)體),[ajk](屬性),[oijkl](觀點(diǎn)極性),[Li](學(xué)習(xí)者),[t1](發(fā)表時(shí)間)[>],在學(xué)習(xí)者觀點(diǎn)五要素中挖掘?qū)W習(xí)者觀點(diǎn)以及觀點(diǎn)極性。文本預(yù)處理后,從3,154位在線學(xué)習(xí)者課程評價(jià)內(nèi)容中獲得可用數(shù)據(jù)記錄1,073條。

    運(yùn)用語言云對1,073條記錄中的評價(jià)內(nèi)容做依存句法分析,篩選出評價(jià)內(nèi)容中包含詞性為名詞、形容詞、動(dòng)詞或副詞的句子,或句法結(jié)構(gòu)中包含SBV關(guān)系或ATT關(guān)系的句子。經(jīng)過語言云依存句法分析后,篩選出包含觀點(diǎn)的數(shù)據(jù)記錄562條,其中125條數(shù)據(jù)記錄為復(fù)合句,能夠運(yùn)用依存句法分析從這些復(fù)合句中抽取多個(gè)SBV關(guān)系或ATT關(guān)系,即復(fù)合句中包含多個(gè)實(shí)體屬性的觀點(diǎn)。根據(jù)本研究制定的九種觀點(diǎn)句壓縮規(guī)則,分別對562條記錄中的評價(jià)內(nèi)容壓縮抽取屬性詞和觀點(diǎn)詞,共抽取觀點(diǎn)記錄687條。屬性詞和觀點(diǎn)詞與其他觀點(diǎn)要素的抽取結(jié)果。對屬性詞和觀點(diǎn)詞抽取結(jié)果進(jìn)行分析,將結(jié)果分為三大類,分別是與教師、資源、學(xué)伴評價(jià)相關(guān)的觀點(diǎn)內(nèi)容。其中,與教師相關(guān)的觀點(diǎn)為329條,與資源相關(guān)的觀點(diǎn)為306條,與學(xué)伴評價(jià)相關(guān)的觀點(diǎn)為52條。

    分別統(tǒng)計(jì)在線學(xué)習(xí)者對教師、資源、學(xué)伴三方面評價(jià)的總體觀點(diǎn)極性。在線學(xué)習(xí)者評價(jià)中與教師相關(guān)的積極觀點(diǎn)為211條,消極觀點(diǎn)為81條,態(tài)度中立為37條;與資源相關(guān)的積極觀點(diǎn)為196條,消極觀點(diǎn)為71條,態(tài)度中立為39條;與學(xué)伴評價(jià)相關(guān)的積極觀點(diǎn)為12條,消極觀點(diǎn)為40條,未發(fā)現(xiàn)態(tài)度中立的觀點(diǎn)記錄。在學(xué)習(xí)者觀點(diǎn)記錄中,圍繞教師評價(jià)的內(nèi)容居多,且觀點(diǎn)極性多數(shù)趨于積極。

    (四)教師教學(xué)行為分析

    根據(jù)設(shè)計(jì)的教師教學(xué)行為編碼表(表3),分析學(xué)習(xí)者觀點(diǎn)中與教師教學(xué)行為數(shù)據(jù)相關(guān)的內(nèi)容。為發(fā)現(xiàn)學(xué)習(xí)者觀點(diǎn)內(nèi)容中的隱含信息,并檢驗(yàn)學(xué)習(xí)者觀點(diǎn)挖掘準(zhǔn)確率,聘請兩位教育技術(shù)專業(yè)的研究生,分別對教師相關(guān)觀點(diǎn)數(shù)據(jù)進(jìn)行分類編碼,復(fù)核學(xué)習(xí)者觀點(diǎn)挖掘結(jié)果,觀點(diǎn)極性采用1-5級分類。其中,積極觀點(diǎn)極性根據(jù)強(qiáng)弱,強(qiáng)的標(biāo)記為5,相對弱的標(biāo)記為4,中立標(biāo)記為3;消極觀點(diǎn)極性根據(jù)強(qiáng)弱,強(qiáng)的標(biāo)記為1,相對弱的標(biāo)記為2。即總體而言標(biāo)記數(shù)字越大越趨于積極。例如:“老師講得很詳細(xì),很全面?!边\(yùn)用語言云依存句法分析的結(jié)果,“老師”與“講”之間存在SBV主謂關(guān)系,在“細(xì)致”和“全面”之間存在COO并列關(guān)系。將該句中的教師教學(xué)行為編碼為T1,觀點(diǎn)極性標(biāo)記為5。

    數(shù)據(jù)中與教師相關(guān)的觀點(diǎn)為329條,兩位研究生復(fù)核修改記錄共128條。研究采用Kappa值估計(jì)編碼分析信度,若Kappa>0.6則為信度良好(里夫, 等, 2010)。本研究的編碼信度Kappa值為0.85,信度良好。編碼表中教師教學(xué)行為觀點(diǎn)數(shù)據(jù)數(shù)量及所占比例見表4,其中行為T2、S1、S2、A3無相關(guān)記錄。教師講授行為T1相關(guān)觀點(diǎn)記錄數(shù)為149條,所占比例為45.3%;教師演示行為T4相關(guān)觀點(diǎn)記錄數(shù)為53條,所占比例為16.1%??傮w來看,主要教學(xué)行為所占總比例最大,其次是管理行為,助教行為所占比例最小。

    本研究假設(shè)教師主教行為、助教行為、管理行為與課程評價(jià)具有相關(guān)性。從學(xué)習(xí)者觀點(diǎn)中可獲取學(xué)習(xí)者對不同教學(xué)行為的1-5級觀點(diǎn)極性編碼,這些教學(xué)行為有T1、T3、T4、S3、S4、A1、A2、A4。從獲取的原始數(shù)據(jù)中可獲得學(xué)習(xí)者對課程評價(jià)(CA)的1-5級評分。將同一位學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn)極性與課程評價(jià)相對應(yīng),采用Pearson相關(guān)系數(shù)雙尾檢驗(yàn)衡量兩變量之間的相關(guān)性。相關(guān)性分析結(jié)果見表5,表中N表示與該教學(xué)行為相關(guān)的樣本數(shù)。

    相關(guān)性分析結(jié)果表明:T1行為與學(xué)習(xí)者課程評價(jià)正線性相關(guān),且相關(guān)系數(shù)達(dá)到顯著水平;主教行為T3、T4與學(xué)習(xí)者課程評價(jià)的相關(guān)系數(shù)未達(dá)到顯著水平,部分驗(yàn)證了研究假設(shè)H1。助教行為S3、S4與學(xué)習(xí)者課程評價(jià)線性相關(guān)系數(shù)未達(dá)到顯著水平,而學(xué)習(xí)者觀點(diǎn)中未提及S1、S2,因此不能驗(yàn)證研究假設(shè)H2。管理行為A1、A2、A4與學(xué)習(xí)者課程評價(jià)線性系數(shù)未達(dá)到顯著水平,也不能驗(yàn)證研究假設(shè)H3。

    五、研究結(jié)論

    通過學(xué)習(xí)者觀點(diǎn)挖掘和教師教學(xué)行為分析,可得到以下研究結(jié)論:

    (1)主教行為(講授、指示、演示)與學(xué)習(xí)者課程評價(jià)正相關(guān)。在學(xué)習(xí)者觀點(diǎn)中出現(xiàn)的行為是講授行為(T1)、指示行為(T3)、演示行為(T4)。教師講授行為與學(xué)習(xí)者課程評價(jià)有顯著線性相關(guān)關(guān)系。提問行為T2并未在學(xué)習(xí)者觀點(diǎn)中出現(xiàn),這與在線學(xué)習(xí)情境相關(guān)。在線學(xué)習(xí)環(huán)境下,教師與學(xué)習(xí)者時(shí)空分離,缺乏實(shí)時(shí)有效的溝通條件。學(xué)習(xí)者對教師指示行為和演示行為的觀點(diǎn)記錄較少。學(xué)習(xí)者對講授行為觀點(diǎn)數(shù)量所占比例為45.3%,演示行為觀點(diǎn)數(shù)量所占比例為16.1%,此外的各種行為觀點(diǎn)數(shù)量所占比例均未超過10%。

    (2)助教行為(評價(jià)反饋、技術(shù)指導(dǎo))與學(xué)習(xí)者課程評價(jià)的相關(guān)系數(shù)未達(dá)到顯著水平。在線學(xué)習(xí)者觀點(diǎn)中未出現(xiàn)表揚(yáng)鼓勵(lì)(S1)、批評(S2)行為的相關(guān)記錄,評價(jià)反饋(S3)和技術(shù)指導(dǎo)(S4)的相關(guān)記錄總和僅為19條。經(jīng)過相關(guān)性分析,評價(jià)反饋行為和技術(shù)指導(dǎo)行為與學(xué)習(xí)者課程評價(jià)的相關(guān)系數(shù)未達(dá)到顯著水平。異步環(huán)境下,助教行為與主教行為脫節(jié),學(xué)習(xí)者未感受到助教行為的重要性,對助教行為的觀點(diǎn)在各類觀點(diǎn)中最少。

    (3)管理行為(組織討論、課程管理、輔助學(xué)習(xí)資源管理)與學(xué)習(xí)者課程評價(jià)的相關(guān)系數(shù)未達(dá)到顯著水平。在線學(xué)習(xí)者觀點(diǎn)中未出現(xiàn)學(xué)情分析(A3)行為的相關(guān)記錄,組織討論(A1)、課程管理(A2)、輔助學(xué)習(xí)資源管理(A4)行為的相關(guān)記錄共54條。

    六、討論

    運(yùn)用學(xué)習(xí)者觀點(diǎn)挖掘技術(shù)分析在線學(xué)習(xí)平臺(tái)中學(xué)習(xí)者對教師教學(xué)行為的觀點(diǎn),根據(jù)研究結(jié)論,提出以下在線學(xué)習(xí)中教師教學(xué)行為發(fā)展建議:

    (1)注重教師專業(yè)性發(fā)展,提升教師在線講授、演示、指示行為的積極影響,實(shí)現(xiàn)教師與學(xué)習(xí)者的異步提問行為,設(shè)置問答獎(jiǎng)勵(lì)機(jī)制。在在線學(xué)習(xí)者觀點(diǎn)中,講授行為是學(xué)習(xí)者觀點(diǎn)中出現(xiàn)最多的行為,與學(xué)習(xí)者課程評價(jià)相關(guān)性較高。由此可見,在線學(xué)習(xí)是“內(nèi)容為王”,在線學(xué)習(xí)者出于自身知識(shí)需求,期望通過教師對知識(shí)的演繹獲取知識(shí)。教師提問行為是激發(fā)學(xué)習(xí)者積極思考的有效手段,而目前在線平臺(tái)中實(shí)時(shí)提問行為受限??蓢@教學(xué)內(nèi)容設(shè)置在線問答獎(jiǎng)勵(lì)機(jī)制,促進(jìn)教師和學(xué)習(xí)者異步問答互動(dòng)。例如授課教師提問可獲得平臺(tái)的經(jīng)驗(yàn)績點(diǎn),學(xué)習(xí)者回答問題可獲得輔助學(xué)習(xí)資源下載積分。用問答獎(jiǎng)勵(lì)機(jī)制促進(jìn)在線教師與學(xué)習(xí)者深度交互,幫助在線學(xué)習(xí)者獲取知識(shí)。

    (2)減輕教師教學(xué)任務(wù),借力人工智能與大數(shù)據(jù)分析技術(shù),將在線學(xué)習(xí)平臺(tái)中的教師助教行為自動(dòng)化、智能化。研究中雖然未出現(xiàn)學(xué)習(xí)者對教師表揚(yáng)、鼓勵(lì)、批評行為的觀點(diǎn),相關(guān)性分析亦表明評價(jià)反饋、技術(shù)指導(dǎo)與學(xué)習(xí)者課程評價(jià)的相關(guān)系數(shù)未達(dá)到顯著水平,但在線學(xué)習(xí)中助教行為缺失并不利于學(xué)習(xí)者持續(xù)學(xué)習(xí)課程。對于數(shù)量龐大的在線學(xué)習(xí)者,教師要對每位學(xué)習(xí)者給予表揚(yáng)、鼓勵(lì),給出評價(jià)、反饋等,人工難以實(shí)現(xiàn)。人工智能與大數(shù)據(jù)分析技術(shù)的發(fā)展為在線學(xué)習(xí)中教師助教行為的自動(dòng)化、智能化帶來了可能性??梢赃\(yùn)用大數(shù)據(jù)分析技術(shù)分析學(xué)習(xí)者的學(xué)習(xí)情況,針對每位學(xué)習(xí)者的學(xué)習(xí)情況自動(dòng)給予反饋。

    (3)重視課程資源和輔助學(xué)習(xí)資源管理,積極組織在線討論,促進(jìn)在線學(xué)習(xí)者協(xié)作學(xué)習(xí)。課程資源以及輔助學(xué)習(xí)資源是在線開放課程的重要組成部分。教師對資源進(jìn)行管理是保障學(xué)習(xí)者順利開展學(xué)習(xí)的前提條件。教師組織和參與在線討論能激發(fā)學(xué)習(xí)者在線學(xué)習(xí)的積極性,也有助于教師從學(xué)習(xí)者的討論內(nèi)容中進(jìn)一步了解學(xué)習(xí)者的課程學(xué)習(xí)進(jìn)度、遇到的困難等。在在線學(xué)習(xí)情境下,教師對各類資源進(jìn)行優(yōu)化管理有利于學(xué)習(xí)者獲得良好的在線學(xué)習(xí)體驗(yàn)。

    (4)完善課程評價(jià)模塊,豐富在線學(xué)習(xí)者課程評價(jià)維度和功能,注重在線學(xué)習(xí)者觀點(diǎn)數(shù)據(jù)挖掘。目前,在線學(xué)習(xí)平臺(tái)強(qiáng)調(diào)資源建設(shè),相對忽視學(xué)習(xí)者課程評價(jià),且平臺(tái)評價(jià)模塊維度單一,功能并不完善。本研究選取的課程其學(xué)習(xí)者數(shù)以十萬計(jì),評論者超過千人,但對教師和課程資源的相關(guān)評價(jià)數(shù)量偏低。深入挖掘在線學(xué)習(xí)者觀點(diǎn),需在課程評價(jià)中引入有效的評價(jià)干預(yù)機(jī)制,激發(fā)學(xué)習(xí)者評價(jià)課程的積極性,獲取學(xué)習(xí)者真實(shí)的觀點(diǎn)信息,從而促進(jìn)教師教學(xué)行為發(fā)展和資源質(zhì)量提高。

    [參考文獻(xiàn)]

    丹尼爾·里夫,斯蒂文·賴斯,弗雷德里克·G. 菲克. 2010. 內(nèi)容分析法:媒介信息量化技巧(第二版)[M]. 嵇美云,譯. 北京:清華大學(xué)出版社:154-157.

    傅德榮,章慧敏. 2001. 教育信息處理[M]. 北京:北京師范大學(xué)出版社:94-96.

    高巍. 2012. 教師行為與學(xué)生行為的關(guān)系解析[J]. 教育研究,33(3):100-106.

    顧小清,王煒. 2004. 支持教師專業(yè)發(fā)展的課堂分析技術(shù)新探索[J]. 中國電化教育(7):18-21.

    韓后,王冬青,曹暢. 2015. 1∶1數(shù)字化環(huán)境下課堂教學(xué)互動(dòng)行為的分析研究[J]. 電化教育研究,36(5):89-95.

    李松林. 2005. 課堂教學(xué)行為分析引論[J]. 教育理論與實(shí)踐(7):48-51.

    劉繁華. 2004. 網(wǎng)絡(luò)教學(xué)中教師的教學(xué)行為研究[J]. 電化教育研究(4):38-40,44.

    施良方,崔允漷. 1999. 教學(xué)理論:課堂教學(xué)的原理、策略與研究[M]. 上海:華東師范大學(xué)出版社.

    張屹,祝園,白清玉,等. 2016. 智慧教室環(huán)境下小學(xué)數(shù)學(xué)課堂教學(xué)互動(dòng)行為特征研究[J]. 中國電化教育(6):43-48.

    朱厚玉. 2013. 教師教學(xué)行為設(shè)計(jì)的原理與技術(shù)[M]. 昆明:云南大學(xué)出版社:9.

    CNNIC中國互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái). 2017. 第40次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[DB/OL]. http://www.cnnic.cn/hlwfzyj/hlwxzbg/hlwtjbg/201708/P020170803598956435591.pdf

    Cambria, E., Schuller, B., Xia, Y., et al. (2013). New avenues in opinion mining and sentiment analysis. IEEE Intelligent Systems, 28(2), 15-21.

    Chen, X., Vorvoreanu, M., & Madhavan, K. (2014). Mining social media data for understanding students learning experiences. IEEE Transactions on Learning Technologies, 7(3), 246-259.

    Dave, K., Lawrence, S., & Pennock, D. M. (2003). Mining the peanut gallery: Opinion extraction and semantic classification of product reviews. Proceedings of the 12th International Conference on World Wide Web. ACM, 519-528.

    Flanders, N. A. (1974). Interaction analysis: A technique for quantifying teacher influence. Behavior Change, 1-16.

    Kim, S. M., & Hovy, E. (2004). Determining the sentiment of opinions. International Conference on Computational Linguistics. Association for Computational Linguistics, 1367.

    Liu, B., & Zhang, L. (2012). A survey of opinion mining and sentiment analysis. Chicago: Springer US.

    Liu, B. (2012). Sentiment analysis and opinion mining. Chicago: Morgan & Claypool Publishers.

    Liu, Q., Zhang, S., Wang, Q., et al. (2017). Mining online discussion data for understanding teachers reflective thinking. IEEE Transactions on Learning Technologies, pp(99), 1-9.

    Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. California: Information Retrieval.

    Reich, J., Tingley, D. H., Leder-Luis, J., et al. (2015). Computer-assisted reading and discovery for student generated text in massive open online courses. Journal of Learning Analytics, 2(1), 156-184.

    Romero, C., López, M. I., Luna, J. M., et al. (2013). Predicting students final performance from participation in on-line discussion forums. Computers & Education, 68, 458-472.

    Stigler, J. W., Gonzales, P., Kawanaka, T., Knoll, S., & Serrano, A. (1999). The TIMSS videotape classroom study: Methods and findings from an exploratory research project on eighth-grade mathematics instruction in Germany, Japan, and the United States. Washington, DC: Education Statistics Quarterly.

    Takehisa Kumakawa. (2017). A text mining examination of university students learning program posters. Open Access Library Journal, DOI: 10. 4236/oalib. 1103639, pp. 1-6

    Che, W., Zhao, Y., Guo, H., Su, Z., Liu, T. (2015). Sentence compression for aspect-based sentiment analysis. IEEE/ACM Transactions on Audio, Speech, and Language Processing. 23(12), 2111 - 2124.

    Yang, D., Wen, M., Kumar, A., et al. (2014). Towards an integration of text and graph clustering methods as a lens for studying social interaction in MOOCs. International Review of Research in Open & Distance Learning, 15(5), 214-234.

    收稿日期:2018-03-27

    定稿日期:2018-08-26

    作者簡介:趙呈領(lǐng),教授,博士生導(dǎo)師;胡萍,博士研究生,副教授。華中師范大學(xué)教育信息技術(shù)學(xué)院(430079)。

    梁云真,博士,講師,河南師范大學(xué)教育學(xué)院(453007)。

    蔣志輝,博士研究生,副教授;黃琰,博士研究生,講師;疏鳳芳,博士研究生,講師。華中師范大學(xué)教育信息技術(shù)學(xué)院(430079)。

    責(zé)任編輯 張志禎

    猜你喜歡
    觀點(diǎn)編碼學(xué)習(xí)者
    基于SAR-SIFT和快速稀疏編碼的合成孔徑雷達(dá)圖像配準(zhǔn)
    你是哪種類型的學(xué)習(xí)者
    《全元詩》未編碼疑難字考辨十五則
    十二星座是什么類型的學(xué)習(xí)者
    子帶編碼在圖像壓縮編碼中的應(yīng)用
    電子制作(2019年22期)2020-01-14 03:16:24
    Genome and healthcare
    觀點(diǎn)
    漢語學(xué)習(xí)自主學(xué)習(xí)者特征初探
    業(yè)內(nèi)觀點(diǎn)
    營銷界(2015年22期)2015-02-28 22:05:04
    新銳觀點(diǎn)
    清風(fēng)(2014年10期)2014-09-08 13:11:04
    国产成人一区二区三区免费视频网站| 99热只有精品国产| 50天的宝宝边吃奶边哭怎么回事| 国产有黄有色有爽视频| 成人特级黄色片久久久久久久| 精品久久久久久成人av| 嫁个100分男人电影在线观看| 午夜影院日韩av| 国产1区2区3区精品| 一个人观看的视频www高清免费观看 | 人人妻人人爽人人添夜夜欢视频| 日韩精品中文字幕看吧| 极品人妻少妇av视频| www.999成人在线观看| 在线观看www视频免费| 国产aⅴ精品一区二区三区波| 久久久久国内视频| 美女大奶头视频| www日本在线高清视频| 国产av一区在线观看免费| 国产色视频综合| 亚洲精品美女久久久久99蜜臀| 不卡一级毛片| 最新美女视频免费是黄的| 亚洲色图 男人天堂 中文字幕| av视频免费观看在线观看| 一级a爱视频在线免费观看| 久久国产精品人妻蜜桃| 一区在线观看完整版| 国产三级黄色录像| 亚洲欧美日韩无卡精品| 亚洲欧美精品综合一区二区三区| 人妻丰满熟妇av一区二区三区| 在线av久久热| 大型av网站在线播放| a级片在线免费高清观看视频| 亚洲国产欧美日韩在线播放| 一级毛片精品| 桃色一区二区三区在线观看| 一个人观看的视频www高清免费观看 | 曰老女人黄片| av天堂久久9| 99热国产这里只有精品6| 狠狠狠狠99中文字幕| 久久久久久大精品| 黄片小视频在线播放| 亚洲欧美日韩无卡精品| 亚洲国产欧美日韩在线播放| 亚洲 欧美一区二区三区| 欧美黄色淫秽网站| 欧美日韩福利视频一区二区| 国产色视频综合| 天堂√8在线中文| 日韩欧美国产一区二区入口| 久久精品国产综合久久久| 天堂影院成人在线观看| 黄色片一级片一级黄色片| cao死你这个sao货| 国产又色又爽无遮挡免费看| 久热爱精品视频在线9| 一级毛片女人18水好多| e午夜精品久久久久久久| 日韩人妻精品一区2区三区| 我的亚洲天堂| 国内毛片毛片毛片毛片毛片| 国产免费av片在线观看野外av| 天堂俺去俺来也www色官网| 亚洲精品久久午夜乱码| 欧美成人免费av一区二区三区| 嫁个100分男人电影在线观看| 亚洲熟妇中文字幕五十中出 | 电影成人av| 国产精品自产拍在线观看55亚洲| 国产男靠女视频免费网站| 国产乱人伦免费视频| av国产精品久久久久影院| 无人区码免费观看不卡| 黑丝袜美女国产一区| av视频免费观看在线观看| 日本免费一区二区三区高清不卡 | 正在播放国产对白刺激| 亚洲欧美激情综合另类| 欧美成人性av电影在线观看| 婷婷六月久久综合丁香| 99久久久亚洲精品蜜臀av| 欧美乱码精品一区二区三区| 9色porny在线观看| 成人影院久久| 别揉我奶头~嗯~啊~动态视频| 亚洲黑人精品在线| 久久久国产精品麻豆| 亚洲片人在线观看| 伊人久久大香线蕉亚洲五| 女同久久另类99精品国产91| 国产亚洲精品一区二区www| 黑人欧美特级aaaaaa片| 国产有黄有色有爽视频| 女生性感内裤真人,穿戴方法视频| 波多野结衣av一区二区av| 日韩国内少妇激情av| bbb黄色大片| 欧美成狂野欧美在线观看| 欧美乱妇无乱码| 久久久久九九精品影院| 久久99一区二区三区| 亚洲人成77777在线视频| 中文字幕人妻丝袜一区二区| 国产真人三级小视频在线观看| 午夜影院日韩av| www.自偷自拍.com| 老汉色∧v一级毛片| 久热爱精品视频在线9| 777久久人妻少妇嫩草av网站| a级毛片黄视频| www日本在线高清视频| 99国产精品一区二区三区| 亚洲自偷自拍图片 自拍| 一级毛片高清免费大全| 亚洲精品久久午夜乱码| 男女高潮啪啪啪动态图| 最新在线观看一区二区三区| 久久久国产成人免费| 久久久久久大精品| 精品人妻1区二区| 女同久久另类99精品国产91| 窝窝影院91人妻| 女警被强在线播放| 久久久久久久久久久久大奶| 亚洲av电影在线进入| 亚洲激情在线av| 黄色 视频免费看| 一边摸一边抽搐一进一出视频| 成人18禁在线播放| 亚洲五月婷婷丁香| 久久人妻福利社区极品人妻图片| 亚洲狠狠婷婷综合久久图片| 交换朋友夫妻互换小说| 91精品三级在线观看| 国产三级在线视频| 超碰成人久久| 一区二区三区国产精品乱码| 精品午夜福利视频在线观看一区| 操出白浆在线播放| 日日干狠狠操夜夜爽| 午夜免费观看网址| av中文乱码字幕在线| 少妇粗大呻吟视频| 精品国产超薄肉色丝袜足j| 久久精品亚洲熟妇少妇任你| 亚洲国产欧美一区二区综合| 色在线成人网| av天堂在线播放| 12—13女人毛片做爰片一| 亚洲午夜精品一区,二区,三区| 日日夜夜操网爽| 91大片在线观看| 国产精品久久电影中文字幕| 免费不卡黄色视频| 日韩大码丰满熟妇| 91av网站免费观看| 亚洲性夜色夜夜综合| 美女高潮到喷水免费观看| 老司机靠b影院| 一级a爱视频在线免费观看| 不卡av一区二区三区| 国产精品久久久久成人av| av国产精品久久久久影院| 法律面前人人平等表现在哪些方面| 亚洲欧美激情综合另类| 国产极品粉嫩免费观看在线| 男人舔女人下体高潮全视频| 97碰自拍视频| 黑人欧美特级aaaaaa片| 精品第一国产精品| 操出白浆在线播放| 国产精品成人在线| 日韩人妻精品一区2区三区| 18禁裸乳无遮挡免费网站照片 | 欧美在线一区亚洲| 欧美日韩乱码在线| 亚洲精品美女久久av网站| 日韩 欧美 亚洲 中文字幕| av欧美777| 国产一卡二卡三卡精品| 亚洲片人在线观看| 99re在线观看精品视频| 一区福利在线观看| 久久天堂一区二区三区四区| 免费在线观看完整版高清| 亚洲第一青青草原| 久久久久久久午夜电影 | 成年人黄色毛片网站| 青草久久国产| 超色免费av| 日韩av在线大香蕉| 母亲3免费完整高清在线观看| 久久99一区二区三区| 免费人成视频x8x8入口观看| 久久精品人人爽人人爽视色| 国产黄a三级三级三级人| 国产三级黄色录像| 色综合站精品国产| 淫秽高清视频在线观看| 国产精品日韩av在线免费观看 | 纯流量卡能插随身wifi吗| 精品国产超薄肉色丝袜足j| 国产亚洲av高清不卡| 少妇粗大呻吟视频| ponron亚洲| 久久人人精品亚洲av| 国产一区在线观看成人免费| 精品一品国产午夜福利视频| 国产主播在线观看一区二区| 99热只有精品国产| 99国产精品免费福利视频| 国产亚洲欧美在线一区二区| 嫩草影院精品99| 99精国产麻豆久久婷婷| 91av网站免费观看| 99国产综合亚洲精品| 亚洲精品中文字幕一二三四区| 亚洲国产精品一区二区三区在线| 国产精品 国内视频| 69av精品久久久久久| 香蕉国产在线看| 一级作爱视频免费观看| 国产日韩一区二区三区精品不卡| 看片在线看免费视频| 我的亚洲天堂| 国产av一区在线观看免费| 欧美日韩福利视频一区二区| 国产成人影院久久av| 51午夜福利影视在线观看| 久久久久国内视频| av福利片在线| 人妻久久中文字幕网| 亚洲欧美日韩高清在线视频| 国产免费男女视频| 久久精品国产亚洲av高清一级| 日本黄色日本黄色录像| 欧美激情高清一区二区三区| 最近最新中文字幕大全免费视频| 久久精品亚洲av国产电影网| 精品无人区乱码1区二区| 国产精品永久免费网站| 成人精品一区二区免费| netflix在线观看网站| 国产精品一区二区精品视频观看| 国产一区二区三区视频了| 欧美日本亚洲视频在线播放| 国产又色又爽无遮挡免费看| 久久国产精品男人的天堂亚洲| 美女大奶头视频| 久久精品aⅴ一区二区三区四区| 国产亚洲欧美在线一区二区| 免费女性裸体啪啪无遮挡网站| 老鸭窝网址在线观看| 久久午夜亚洲精品久久| av片东京热男人的天堂| www国产在线视频色| 免费av中文字幕在线| 黑人猛操日本美女一级片| 中文字幕av电影在线播放| 亚洲欧美一区二区三区久久| 亚洲国产欧美网| 国产成人精品久久二区二区免费| 看黄色毛片网站| 黑人操中国人逼视频| 亚洲午夜理论影院| 亚洲av片天天在线观看| 亚洲国产欧美网| 欧美 亚洲 国产 日韩一| 麻豆成人av在线观看| 中文亚洲av片在线观看爽| 国产欧美日韩一区二区三区在线| 国产不卡一卡二| 国产精品久久久人人做人人爽| 1024香蕉在线观看| 国产免费现黄频在线看| 日本a在线网址| 视频在线观看一区二区三区| 91国产中文字幕| 亚洲欧美激情综合另类| 成人三级做爰电影| 亚洲男人的天堂狠狠| 高清在线国产一区| 日韩大尺度精品在线看网址 | 欧美日韩视频精品一区| 久久天躁狠狠躁夜夜2o2o| 99久久国产精品久久久| 午夜成年电影在线免费观看| 99国产精品99久久久久| 一边摸一边抽搐一进一出视频| 热re99久久精品国产66热6| 99国产极品粉嫩在线观看| 国产精品久久久av美女十八| 两个人免费观看高清视频| 亚洲av美国av| 亚洲一码二码三码区别大吗| 成人手机av| 性欧美人与动物交配| 国产99久久九九免费精品| 精品福利观看| 每晚都被弄得嗷嗷叫到高潮| 亚洲精品中文字幕在线视频| 天堂俺去俺来也www色官网| 91成人精品电影| 91麻豆精品激情在线观看国产 | 人妻久久中文字幕网| 国产激情久久老熟女| 麻豆一二三区av精品| 亚洲精品在线美女| 欧美日本亚洲视频在线播放| 亚洲精品美女久久久久99蜜臀| 一个人观看的视频www高清免费观看 | 亚洲精品美女久久久久99蜜臀| 叶爱在线成人免费视频播放| 真人一进一出gif抽搐免费| 欧美另类亚洲清纯唯美| 麻豆一二三区av精品| 九色亚洲精品在线播放| 韩国精品一区二区三区| 亚洲久久久国产精品| 老鸭窝网址在线观看| 国产人伦9x9x在线观看| 亚洲色图av天堂| 国产深夜福利视频在线观看| 丰满的人妻完整版| 19禁男女啪啪无遮挡网站| 国内毛片毛片毛片毛片毛片| 久久性视频一级片| av天堂久久9| 免费日韩欧美在线观看| 久久久久亚洲av毛片大全| 亚洲久久久国产精品| 嫁个100分男人电影在线观看| 欧美日韩亚洲国产一区二区在线观看| 亚洲欧美日韩高清在线视频| 免费日韩欧美在线观看| 日韩中文字幕欧美一区二区| 国产免费av片在线观看野外av| 最近最新免费中文字幕在线| 亚洲欧美精品综合久久99| a在线观看视频网站| 欧美黄色淫秽网站| 国产成人精品久久二区二区免费| 午夜视频精品福利| 欧美黄色片欧美黄色片| 国产精品久久久久久人妻精品电影| 老司机午夜十八禁免费视频| 人妻丰满熟妇av一区二区三区| 丝袜在线中文字幕| 国产一卡二卡三卡精品| 国产精品久久久久久人妻精品电影| 性欧美人与动物交配| 看片在线看免费视频| 动漫黄色视频在线观看| 男人舔女人下体高潮全视频| 在线看a的网站| 性少妇av在线| 亚洲国产欧美网| 乱人伦中国视频| 国产一区二区激情短视频| 日本vs欧美在线观看视频| 黄色怎么调成土黄色| 亚洲 欧美 日韩 在线 免费| 精品人妻在线不人妻| 亚洲七黄色美女视频| 精品日产1卡2卡| 欧美国产精品va在线观看不卡| 在线观看一区二区三区激情| 天堂中文最新版在线下载| 首页视频小说图片口味搜索| 国产精品野战在线观看 | 日本免费a在线| 亚洲五月婷婷丁香| 多毛熟女@视频| 亚洲午夜精品一区,二区,三区| 日韩 欧美 亚洲 中文字幕| 国产成人精品久久二区二区91| 久久久久久亚洲精品国产蜜桃av| netflix在线观看网站| 12—13女人毛片做爰片一| 91麻豆精品激情在线观看国产 | 一级毛片精品| 国产精品综合久久久久久久免费 | 黄色怎么调成土黄色| 亚洲精品国产区一区二| 国产蜜桃级精品一区二区三区| 久久久久久久久久久久大奶| 一进一出抽搐动态| 脱女人内裤的视频| 亚洲熟女毛片儿| 88av欧美| 后天国语完整版免费观看| 国产在线精品亚洲第一网站| 女同久久另类99精品国产91| 日韩欧美三级三区| 亚洲精品av麻豆狂野| 亚洲五月色婷婷综合| 免费av毛片视频| 久久精品亚洲av国产电影网| 欧美大码av| 久久 成人 亚洲| 亚洲av片天天在线观看| 老司机午夜福利在线观看视频| 欧美成人免费av一区二区三区| 国产单亲对白刺激| 国产精品永久免费网站| 亚洲自偷自拍图片 自拍| 亚洲五月色婷婷综合| 国产真人三级小视频在线观看| 久久久久久久久久久久大奶| 91大片在线观看| 老熟妇仑乱视频hdxx| 精品乱码久久久久久99久播| 人成视频在线观看免费观看| 在线播放国产精品三级| 国产成人系列免费观看| 亚洲精品粉嫩美女一区| 国产区一区二久久| 欧美精品亚洲一区二区| 男女床上黄色一级片免费看| 久久久国产成人免费| 亚洲av片天天在线观看| 国产成人系列免费观看| 亚洲国产欧美一区二区综合| 黄色a级毛片大全视频| 亚洲av成人不卡在线观看播放网| 久久中文字幕一级| 熟女少妇亚洲综合色aaa.| 777久久人妻少妇嫩草av网站| 另类亚洲欧美激情| 99在线视频只有这里精品首页| 精品高清国产在线一区| 国产成人系列免费观看| 这个男人来自地球电影免费观看| 久久久久九九精品影院| 精品久久久久久成人av| 超碰97精品在线观看| 黄色视频,在线免费观看| 亚洲国产中文字幕在线视频| 伊人久久大香线蕉亚洲五| 久久精品国产亚洲av高清一级| 免费av中文字幕在线| 老司机靠b影院| 免费女性裸体啪啪无遮挡网站| svipshipincom国产片| 久久久久久人人人人人| 午夜亚洲福利在线播放| 成人影院久久| www.自偷自拍.com| 夜夜爽天天搞| √禁漫天堂资源中文www| 欧美日韩黄片免| 51午夜福利影视在线观看| xxx96com| 亚洲美女黄片视频| 一区二区三区精品91| 一区二区三区国产精品乱码| 亚洲片人在线观看| 欧美人与性动交α欧美精品济南到| 操出白浆在线播放| 国产熟女xx| 18禁国产床啪视频网站| 18禁黄网站禁片午夜丰满| 欧美国产精品va在线观看不卡| 亚洲第一青青草原| av片东京热男人的天堂| 久热爱精品视频在线9| 91成年电影在线观看| av网站在线播放免费| 999精品在线视频| 亚洲七黄色美女视频| 日日摸夜夜添夜夜添小说| 精品国产一区二区三区四区第35| 制服诱惑二区| 免费在线观看视频国产中文字幕亚洲| 国产精品久久久人人做人人爽| 国产国语露脸激情在线看| 国产精品乱码一区二三区的特点 | 婷婷六月久久综合丁香| 99香蕉大伊视频| 黄色成人免费大全| 欧美日韩中文字幕国产精品一区二区三区 | 欧美日韩黄片免| 男女之事视频高清在线观看| 亚洲欧美日韩高清在线视频| av欧美777| 亚洲人成伊人成综合网2020| 亚洲欧美激情在线| 精品免费久久久久久久清纯| 日日爽夜夜爽网站| 国产av一区二区精品久久| 精品无人区乱码1区二区| 久久精品91蜜桃| 国产成人精品久久二区二区91| 麻豆一二三区av精品| 午夜免费观看网址| 精品午夜福利视频在线观看一区| 日韩免费av在线播放| 最近最新免费中文字幕在线| 91九色精品人成在线观看| 亚洲久久久国产精品| 婷婷丁香在线五月| 日韩免费av在线播放| 久久精品成人免费网站| 午夜福利影视在线免费观看| 亚洲精品美女久久av网站| 男女高潮啪啪啪动态图| 丁香欧美五月| 精品一区二区三区四区五区乱码| 久久精品91蜜桃| 一个人观看的视频www高清免费观看 | 亚洲精品久久午夜乱码| 黄色女人牲交| 成人三级做爰电影| 免费看a级黄色片| 99热国产这里只有精品6| 一边摸一边抽搐一进一出视频| 黑丝袜美女国产一区| xxxhd国产人妻xxx| 一a级毛片在线观看| 色婷婷av一区二区三区视频| 久久精品91蜜桃| 51午夜福利影视在线观看| 99精品在免费线老司机午夜| 亚洲第一av免费看| 人人妻人人澡人人看| 热re99久久精品国产66热6| 国产精品久久久久久人妻精品电影| 亚洲中文日韩欧美视频| 18禁国产床啪视频网站| 成人三级做爰电影| 婷婷精品国产亚洲av在线| 波多野结衣一区麻豆| 成年版毛片免费区| 香蕉丝袜av| 精品高清国产在线一区| 日本精品一区二区三区蜜桃| 精品日产1卡2卡| 亚洲全国av大片| 欧美成狂野欧美在线观看| 国产乱人伦免费视频| 免费高清在线观看日韩| 看免费av毛片| 1024香蕉在线观看| www.精华液| 国产真人三级小视频在线观看| 国产精品美女特级片免费视频播放器 | 一级黄色大片毛片| 黄频高清免费视频| 精品国产国语对白av| 黄色视频不卡| 精品一区二区三区av网在线观看| 午夜a级毛片| 精品午夜福利视频在线观看一区| 亚洲精品在线观看二区| 在线观看日韩欧美| 又紧又爽又黄一区二区| 亚洲aⅴ乱码一区二区在线播放 | 老司机深夜福利视频在线观看| 成在线人永久免费视频| 久久久久久久久中文| 长腿黑丝高跟| 黄片播放在线免费| 黄片小视频在线播放| 亚洲欧洲精品一区二区精品久久久| 80岁老熟妇乱子伦牲交| 欧洲精品卡2卡3卡4卡5卡区| 99re在线观看精品视频| 91麻豆av在线| 国产真人三级小视频在线观看| 成年女人毛片免费观看观看9| 涩涩av久久男人的天堂| 国产单亲对白刺激| 日本免费一区二区三区高清不卡 | 99riav亚洲国产免费| 精品少妇一区二区三区视频日本电影| 欧美在线一区亚洲| 美女国产高潮福利片在线看| 欧美日韩中文字幕国产精品一区二区三区 | 欧美人与性动交α欧美软件| 在线天堂中文资源库| 午夜免费鲁丝| 欧美日本中文国产一区发布| 看免费av毛片| 欧美激情极品国产一区二区三区| 一级毛片女人18水好多| 国产黄a三级三级三级人| 久久 成人 亚洲| 色综合站精品国产| 国产1区2区3区精品| 国产免费现黄频在线看| 欧美日韩国产mv在线观看视频| 午夜福利免费观看在线| 在线国产一区二区在线| 国产一区二区三区在线臀色熟女 | 亚洲av成人av| 一二三四社区在线视频社区8| 国产在线精品亚洲第一网站| 亚洲成av片中文字幕在线观看| 亚洲欧美日韩高清在线视频| 国产精品九九99| 亚洲午夜理论影院| 精品国产乱码久久久久久男人| 欧美乱色亚洲激情| 大型av网站在线播放| 亚洲av五月六月丁香网| 久久精品91无色码中文字幕| 中文亚洲av片在线观看爽| 别揉我奶头~嗯~啊~动态视频| 男人舔女人的私密视频| 99久久国产精品久久久| 亚洲少妇的诱惑av|