• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)支持的慕課論壇教師干預(yù)預(yù)測(cè)及應(yīng)用

    2021-09-27 00:56:02吳林靜馬鑫倩劉清堂王瑾潔高喻
    電化教育研究 2021年7期
    關(guān)鍵詞:文本分類慕課大數(shù)據(jù)

    吳林靜 馬鑫倩 劉清堂 王瑾潔 高喻

    [摘? ?要] 針對(duì)慕課論壇中討論主題數(shù)量巨大,教師難以及時(shí)反饋的現(xiàn)象,文章提出了一種基于大數(shù)據(jù)技術(shù)的慕課論壇教師干預(yù)預(yù)測(cè)方法。該方法根據(jù)學(xué)習(xí)者的干預(yù)需求將慕課論壇中的教師干預(yù)分為三種類型:內(nèi)容相關(guān)需干預(yù)、管理相關(guān)需干預(yù)和不需干預(yù)。在該分類的基礎(chǔ)上,提出了基于詞類進(jìn)行語義特征提取和基于課程知識(shí)圖譜的內(nèi)容特征提取方法,對(duì)討論帖的文本內(nèi)容進(jìn)行表征,并通過機(jī)器學(xué)習(xí)的方法對(duì)教師干預(yù)類型進(jìn)行預(yù)測(cè)。以中國(guó)大學(xué)慕課網(wǎng)中“數(shù)據(jù)庫(kù)系統(tǒng)概論”課程的教師答疑區(qū)主題討論為數(shù)據(jù)源,對(duì)上述方法的有效性進(jìn)行驗(yàn)證,發(fā)現(xiàn):(1)基于詞類和知識(shí)圖譜的語義表征方法能夠?qū)φ搲黝}的教師干預(yù)需求進(jìn)行預(yù)測(cè),準(zhǔn)確率可達(dá)到75.86%;(2)不同類型的討論帖具有不同的語義特征,反映出慕課學(xué)習(xí)中學(xué)習(xí)者不同的學(xué)習(xí)需求,需要教師給予及時(shí)、個(gè)性化的干預(yù)與指導(dǎo)。將慕課論壇教師干預(yù)的預(yù)測(cè)結(jié)果推送給慕課教師和課程管理人員,可以大大提升教學(xué)管理效率和學(xué)習(xí)者學(xué)習(xí)體驗(yàn)。

    [關(guān)鍵詞] 慕課; 大數(shù)據(jù); 教師干預(yù); 文本分類; 語義挖掘

    [中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡(jiǎn)介] 吳林靜(1987—),女,湖北松滋人。副教授,博士,主要從事數(shù)據(jù)挖掘、人工智能與教育應(yīng)用研究。E-mail:wlj_sz@126.com。

    一、引? ?言

    慕課課程由于其開放、優(yōu)質(zhì)、免費(fèi)等特征,受到了教育者和學(xué)習(xí)者的廣泛認(rèn)可,并給教育領(lǐng)域帶來了巨大的變化。根據(jù)第三方在線教育機(jī)構(gòu)Class Central統(tǒng)計(jì),截至2018年底,全球慕課課程數(shù)量為1.14萬,用戶注冊(cè)數(shù)量達(dá)到1.01億人[1]。與此同時(shí),我國(guó)的慕課規(guī)模更是飛速發(fā)展:教育部于2019年4月表示,我國(guó)的上線慕課數(shù)量和應(yīng)用規(guī)模已躍居世界第一[2]。慕課的廣泛應(yīng)用為數(shù)字化學(xué)習(xí)提供了極大的便利,使得最優(yōu)質(zhì)的教育資源得到了良好的利用。但慕課也存在一個(gè)先天的不足之處,即:由于過高的生師比,導(dǎo)致慕課缺乏師生交互,教師難以針對(duì)學(xué)習(xí)者的需求提供及時(shí)、個(gè)性化的指導(dǎo)。針對(duì)這一現(xiàn)象,各大慕課平臺(tái)均提供在線論壇和討論區(qū)等方式以促進(jìn)師生之間和學(xué)習(xí)者之間的溝通和交流,建立在線學(xué)習(xí)社區(qū),從而緩解教學(xué)過程中缺乏交互的問題。但是由于慕課大規(guī)模的特征,慕課論壇中的討論區(qū)往往會(huì)迅速累積大量的討論帖,導(dǎo)致慕課教師沒有足夠的精力去處理這些討論,為學(xué)習(xí)者答疑解惑。大量研究表明,主題討論中如果缺乏教師反饋,會(huì)大大影響學(xué)習(xí)者的學(xué)習(xí)成效和社會(huì)存在感,并進(jìn)一步導(dǎo)致輟學(xué)等現(xiàn)象發(fā)生[3]。在慕課學(xué)習(xí)中,學(xué)習(xí)者的大規(guī)模與學(xué)習(xí)者的個(gè)性化學(xué)習(xí)需求之間已經(jīng)成為一種尖銳的矛盾,極大地限制了慕課的發(fā)展和應(yīng)用[4]。針對(duì)這一矛盾,本文擬通過人工智能的相關(guān)技術(shù)對(duì)論壇中的主題討論文本進(jìn)行分析,以預(yù)測(cè)教師是否需要對(duì)當(dāng)前的討論主題進(jìn)行干預(yù),以及進(jìn)行何種類型的干預(yù)。這種預(yù)測(cè)可以幫助教師快速篩選出那些需要進(jìn)行干預(yù)的主題討論以及需要干預(yù)的類型,從而為慕課教師和助教提供參考,提升慕課管理的效率和學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

    二、相關(guān)研究

    (一)文本的語義特征

    在慕課論壇中,師生主要通過文字進(jìn)行交流,偶爾輔以圖片等其他媒體形式。因此,對(duì)論壇數(shù)據(jù)的分析離不開對(duì)文本的分析和理解。在傳統(tǒng)的自然語言處理技術(shù)中,對(duì)文本的語義表達(dá)主要使用詞匯作為語義特征,并由此形成了經(jīng)典的“詞袋模型”(Bag of Words)。但由于論壇中主題帖大部分屬于短文本,在使用詞袋模型進(jìn)行表征時(shí)會(huì)產(chǎn)生嚴(yán)重的數(shù)據(jù)稀疏問題,導(dǎo)致文本處理的準(zhǔn)確率大大下降。為了緩解這一問題,很多學(xué)者提出了以詞類作為文本表征的方法。韓普等人指出詞性是文本聚類中的一種重要特征,使用詞類作為文本特征進(jìn)行文本分析時(shí)能夠大大降低文本的維度并提升聚類效果[5]。除了詞性特征外,PenneBaker等人進(jìn)一步指出話語中的詞匯能夠反映人們內(nèi)部的心理特征與情感,因此,其從心理和認(rèn)知的角度進(jìn)一步提出了一系列的詞類特征,以探索文本中所反映出的認(rèn)知、情感、人格、社會(huì)心理等內(nèi)部特征[6]。在這些特征的基礎(chǔ)上,Pennebaker等人進(jìn)一步開發(fā)了基于詞類的語義分析工具LIWC(Linguistic Inquiry Word Count)[7],用于對(duì)文本進(jìn)行分析。LIWC的有效性經(jīng)過了大量的驗(yàn)證,并被廣泛應(yīng)用于各類文本的特征分析中[8-10]。早期的LIWC工具缺少中文詞典的支持,不適合于進(jìn)行中文的分析與處理,因此,中國(guó)科學(xué)院心理研究所參照LIWC的詞分類體系和詞庫(kù),研發(fā)了“文心中文心理分析系統(tǒng)”,用于對(duì)簡(jiǎn)體中文進(jìn)行語言心理分析[11]。該系統(tǒng)在學(xué)習(xí)相關(guān)的文本分析中也被證明有效[12]。在本研究中,對(duì)文本的表征將混合使用詞袋模型和詞類模型,以緩解論壇數(shù)據(jù)的短文本特征所導(dǎo)致的數(shù)據(jù)稀疏問題。

    (二)領(lǐng)域知識(shí)圖譜

    知識(shí)圖譜最早起源于谷歌公司2012年所提出的“大規(guī)模知識(shí)圖譜”,指的是一種新型的、結(jié)構(gòu)化的語義知識(shí)網(wǎng)絡(luò),能夠描述現(xiàn)實(shí)世界中各種概念及其語義關(guān)系,是大數(shù)據(jù)和人工智能中的前沿研究方向[13]。在通用領(lǐng)域,公開的知識(shí)圖譜主要有:Google Knowledge Graph、Microsoft Concept Graph、Dbpedia、Freebase、知立方、知心等。教育領(lǐng)域的知識(shí)圖譜代表性項(xiàng)目主要有:美國(guó)Knewton公司利用知識(shí)圖譜構(gòu)建跨學(xué)科知識(shí)體系[14];面向智能知識(shí)檢索的知識(shí)庫(kù)引擎Wolfram Alpha;微軟與清華大學(xué)聯(lián)合發(fā)布的“開放學(xué)術(shù)圖譜”、北京師范大學(xué)的育人知識(shí)圖譜[15]、華中師范大學(xué)的學(xué)科知識(shí)圖譜[16]等。無論是通用領(lǐng)域的知識(shí)圖譜,還是教育領(lǐng)域的知識(shí)圖譜,其本質(zhì)作用均是為計(jì)算機(jī)提供領(lǐng)域內(nèi)的基礎(chǔ)知識(shí),以支持各類智能應(yīng)用中的分析與推理。典型研究如知識(shí)圖譜支持的深度學(xué)習(xí)[17]、教育資源推薦系統(tǒng)[18]、適應(yīng)性學(xué)習(xí)系統(tǒng)[19-20]等;將領(lǐng)域知識(shí)圖譜應(yīng)用于MOOC課程教學(xué)中,以實(shí)現(xiàn)課程結(jié)構(gòu)重構(gòu)[21]、對(duì)學(xué)生成績(jī)進(jìn)行預(yù)測(cè)[22]、對(duì)教學(xué)過程進(jìn)行優(yōu)化[23]等;領(lǐng)域知識(shí)圖譜也可以作為學(xué)習(xí)者建模過程中的知識(shí)基礎(chǔ)[24]。在這些研究中,知識(shí)圖譜均承擔(dān)著為各類應(yīng)用提供領(lǐng)域基礎(chǔ)知識(shí)的主要作用。在本研究中,學(xué)習(xí)者在論壇中提出的各類疑問有些與學(xué)習(xí)內(nèi)容直接相關(guān),有些則可能不相關(guān)(如關(guān)于課程管理方面的疑問等)。因此,引入領(lǐng)域知識(shí)圖譜對(duì)論壇中的討論帖進(jìn)行特征提取可以在快速降低特征維度的同時(shí),有效區(qū)分內(nèi)容相關(guān)類與無關(guān)類討論。

    (三)慕課論壇中的教師干預(yù)

    論壇是慕課中教師和學(xué)生溝通交流的主要工具和方式[3]。已有研究指出慕課論壇中教師的干預(yù)能夠提升學(xué)生的學(xué)習(xí)[25],且學(xué)生能夠從中受益[26]。如果教師不參與論壇討論,則學(xué)生可能會(huì)感覺到被忽視或孤立[27]。然而,慕課本身大規(guī)模的特性導(dǎo)致教師難以遍歷所有的討論并給出有針對(duì)性的指導(dǎo)。如何快速?gòu)暮A康挠懻撝黝}中識(shí)別出有價(jià)值的、需要教師干預(yù)的話題成為慕課管理和教學(xué)中的一大難題。為提升慕課管理效率,研究者嘗試?yán)萌斯ぶ悄芎蜋C(jī)器學(xué)習(xí)的方法對(duì)論壇內(nèi)容進(jìn)行甄別,以輔助教師篩選需要干預(yù)的討論主題。典型研究如:Chanaa等人通過深度學(xué)習(xí)模型和學(xué)科領(lǐng)域本體對(duì)慕課論壇中學(xué)習(xí)者可能存在疑惑的主題進(jìn)行自動(dòng)識(shí)別[28];也有學(xué)者通過自然語言處理的方法預(yù)測(cè)慕課論壇中學(xué)習(xí)者的沮喪情緒,并進(jìn)行干預(yù)[29];Arguello等人對(duì)慕課論壇中每一條主題帖的語義角色進(jìn)行自動(dòng)識(shí)別,并將結(jié)果提供給教師以方便教師進(jìn)行干預(yù)[30]??傮w而言,慕課論壇中教師干預(yù)的識(shí)別研究已經(jīng)開始得到重視,且以英語為主要語言的慕課平臺(tái)中已出現(xiàn)了部分有參考價(jià)值的研究,但中文慕課平臺(tái)的相關(guān)研究較少,且由于中文理解的復(fù)雜性而準(zhǔn)確率不高。本文將以中國(guó)大學(xué)慕課平臺(tái)上的課程為研究對(duì)象,結(jié)合自然語言處理與知識(shí)圖譜等方法,對(duì)慕課論壇主題中的教師干預(yù)進(jìn)行自動(dòng)識(shí)別,以提高教師管理慕課論壇的效率,提升學(xué)習(xí)效果。

    三、大數(shù)據(jù)下的慕課論壇教師干預(yù)預(yù)測(cè)模型

    (一)慕課論壇教師干預(yù)預(yù)測(cè)方法

    慕課論壇是促進(jìn)教師和學(xué)習(xí)者溝通交流的工具。在論壇中學(xué)習(xí)者、教師、助教等通過文字進(jìn)行討論、答疑、求助等。與傳統(tǒng)基于機(jī)器學(xué)習(xí)的文本處理相比,慕課中的討論文本具有如下的明顯特征:

    1. 慕課論壇中的評(píng)論數(shù)量巨大,但單條評(píng)論較短且字?jǐn)?shù)較少。由于慕課學(xué)習(xí)者眾多,論壇發(fā)帖數(shù)量龐大,給教師帶來管理上的困難。同時(shí),與其他類型文本相比,慕課單條評(píng)論較短,一般在3~100字之間,屬于典型的短文本。由于文本太短,在將轉(zhuǎn)換為向量空間模型以進(jìn)一步進(jìn)行分析時(shí),會(huì)出現(xiàn)數(shù)據(jù)稀疏的問題,使得文本分析的準(zhǔn)確率大大下降。

    2. 慕課論壇中既包含與課程內(nèi)容高度相關(guān)的評(píng)論,如關(guān)于課程內(nèi)容本身的疑問和主題討論等;也包含與課程內(nèi)容無關(guān)、但與學(xué)習(xí)過程有關(guān)的評(píng)論,如關(guān)于考試、作業(yè)、資源等的討論。論壇內(nèi)容的復(fù)雜性增加了信息篩選的難度,為不同職責(zé)的管理人員分工管理論壇帶來了不便,降低了工作效率。

    3. 并非所有的慕課評(píng)論都需要教師進(jìn)行干預(yù),因?yàn)橛行┯懻撝黝}并非學(xué)習(xí)者的學(xué)習(xí)疑問或?qū)W習(xí)者可以通過交流自行解決。Chandrasekaran等人對(duì)慕課課程中的33665個(gè)主題討論進(jìn)行統(tǒng)計(jì),發(fā)現(xiàn)其中10035個(gè)主題討論有教師或者助教進(jìn)行干預(yù),其余討論則沒有教師干預(yù)[26]。這一現(xiàn)象說明教師干預(yù)在主題討論中并非必須,但篩選出那些需要干預(yù)的討論對(duì)于慕課的教學(xué)至關(guān)重要。

    鑒于以上特征,本文提出了一種基于知識(shí)圖譜和機(jī)器學(xué)習(xí)技術(shù)的論壇教師干預(yù)預(yù)測(cè)方法,如圖1所示。

    該方法包含四個(gè)層次:數(shù)據(jù)層、算法層、結(jié)果層和利益相關(guān)者層。數(shù)據(jù)層主要包括在慕課論壇中所形成的討論數(shù)據(jù),參與者主要包括學(xué)習(xí)者、教師和助教。在算法層,首先在語義分析工具的詞性與詞類詞典的幫助下,提取出討論文本的語義特征,包括各類詞性特征、核心詞類特征和基本句法特征。然后通過領(lǐng)域知識(shí)圖譜,提取出討論中的核心內(nèi)容特征,尤其是與課程內(nèi)容相關(guān)的概念特征。再次將語義特征和內(nèi)容特征合并,形成特征集合,以作為討論數(shù)據(jù)分析的分類特征。最后,通過機(jī)器學(xué)習(xí)中的相關(guān)分類方法對(duì)討論進(jìn)行文本分類,以將討論數(shù)據(jù)中值得關(guān)注的部分篩選出來。結(jié)果層主要包含討論主題的分類結(jié)果,所有討論被分為三個(gè)類別:內(nèi)容相關(guān)需干預(yù)、管理相關(guān)需干預(yù)和不需干預(yù)。利益相關(guān)者層包含各類慕課教學(xué)的利益相關(guān)者,如教師、助教、學(xué)習(xí)者、其他管理人員等。這些利益相關(guān)者可以根據(jù)分類結(jié)果,有針對(duì)性地對(duì)討論進(jìn)行干預(yù),如針對(duì)內(nèi)容相關(guān)需干預(yù)的討論,可以由教師根據(jù)教學(xué)內(nèi)容提供相應(yīng)的干預(yù)以促進(jìn)學(xué)習(xí);針對(duì)管理相關(guān)需干預(yù)的討論,可以由助教針對(duì)相關(guān)問題向?qū)W生提供干預(yù);針對(duì)不需干預(yù)的討論,可以利用詞云、主題識(shí)別等方法生成相關(guān)的大數(shù)據(jù)信息,為相關(guān)管理人員的管理和決策提供參考。

    (二)慕課評(píng)論中的教師干預(yù)分類

    慕課中的教師干預(yù)分類方法較多,最常見是二分類,即將評(píng)論分為需要干預(yù)和不需要干預(yù)兩類。該分類已經(jīng)可以大大提高慕課管理的效率,幫助教師迅速將需要關(guān)注的討論篩選出來。本文在上述二分類體系的基礎(chǔ)上進(jìn)行了優(yōu)化,將需要干預(yù)的討論進(jìn)一步劃分為內(nèi)容相關(guān)需干預(yù)和管理相關(guān)需干預(yù)。這樣可以有效輔助慕課教學(xué)管理分工,如教師可以專門針對(duì)內(nèi)容相關(guān)討論進(jìn)行關(guān)注和引導(dǎo),而助教團(tuán)隊(duì)則可以針對(duì)管理相關(guān)討論進(jìn)行指導(dǎo),使得慕課教學(xué)團(tuán)隊(duì)可以更加高效地分工合作。教師干預(yù)分類的具體定義及示例見表1。

    (三)基于詞類和知識(shí)圖譜的分類特征

    由于慕課討論文本的典型特征,本研究中用于文本分類的分類特征并非使用傳統(tǒng)的詞匯特征,而是由文本的語義特征與內(nèi)容特征組合而成。下面對(duì)其原理進(jìn)行詳細(xì)說明。

    1. 文本的語義特征

    文本的語義體現(xiàn)為詞匯,但由于中文詞匯數(shù)量巨大,短文本如果直接使用詞匯作為特征會(huì)導(dǎo)致嚴(yán)重的數(shù)據(jù)稀疏問題。使用詞類特征則較好地避免這一問題。詞類特征的基本思路是:將屬于同一類型的詞匯作為一個(gè)類別,統(tǒng)計(jì)其數(shù)量,并計(jì)算其占總詞數(shù)的百分比作為權(quán)重。這樣將屬于同一類別的詞進(jìn)行合并,從而減少特征數(shù)量,提高特征權(quán)重,改善數(shù)據(jù)稀疏問題,提升識(shí)別效果。除此詞類特征之外,文本的句法特征也對(duì)語義的理解具有重要作用,如句子長(zhǎng)度、標(biāo)點(diǎn)符號(hào)等。Pennebaker等人對(duì)文本語義表達(dá)具有重要作用的詞類和句法特征進(jìn)行了總結(jié),并建立了相應(yīng)的詞典和工具LIWC。由于本研究中所處理的全部數(shù)據(jù)均為中文,因此,本文選擇使用與LIWC詞類兼容的文本分析工具“文心”(TextMind)對(duì)討論數(shù)據(jù)進(jìn)行分析,以實(shí)現(xiàn)語義特征的提取?!拔男摹敝兴脑~類特征見表2。

    2. 文本的內(nèi)容特征

    文本的內(nèi)容特征體現(xiàn)為文本中與教學(xué)內(nèi)容相關(guān)的核心詞匯。為了提取出這些特征,需要預(yù)先定義領(lǐng)域知識(shí)圖譜,對(duì)學(xué)科中的核心知識(shí)進(jìn)行描述。然后根據(jù)知識(shí)圖譜中的核心概念和術(shù)語,對(duì)文本進(jìn)行特征篩選,并計(jì)算其TF·IDF值作為特征的權(quán)重。一個(gè)主題討論j中所包含的特征詞ti的特征權(quán)重wij的計(jì)算方法如下:

    其中nij表示特征詞ti在主題討論j中出現(xiàn)的次數(shù),k為主題討論集合中所有包含特征詞ti的討論。|D|為整個(gè)集合中主題討論的數(shù)量,為集合中包含特征詞ti的主題討論的數(shù)量。此外,特征詞個(gè)數(shù)占主題討論總詞數(shù)的百分比也被作為內(nèi)容特征之一,用于描述討論的內(nèi)容相關(guān)性。

    以如下主題討論為例,首先將主題討論中的所有帖子合并在一起,形成一段文本;然后通過知識(shí)圖譜進(jìn)行特征選擇,實(shí)現(xiàn)特征提取;最后通過TF·IDF方法為特征計(jì)算權(quán)重,形成內(nèi)容特征集合,如圖2所示。

    四、中國(guó)大學(xué)慕課案例分析與應(yīng)用

    (一)數(shù)據(jù)來源

    為了驗(yàn)證提出方法的有效性,課題組從中國(guó)大學(xué)慕課(https://www.icourse163.org/)上選取了課程“數(shù)據(jù)庫(kù)系統(tǒng)概論(基礎(chǔ)篇)”從第2至8次開課共7輪課程(其中第1次開課時(shí),課程尚處在完善階段;第9次課目前尚未結(jié)束)的所有教師答疑區(qū)的全部討論主題作為數(shù)據(jù)源,并通過本文所提出的方法進(jìn)行了分析。7輪課程共采集到討論主題的數(shù)量為1015個(gè),包含討論帖的數(shù)量為2877個(gè)。由于教師的干預(yù)發(fā)生在學(xué)生發(fā)表討論帖之后,是否需要進(jìn)行干預(yù)主要通過學(xué)生主題帖的內(nèi)容進(jìn)行判斷。因此,對(duì)每一個(gè)討論主題中的所有討論帖,按照教師是否進(jìn)行了回復(fù)進(jìn)行截?cái)啵瑑H保留教師回復(fù)前的所有討論帖,并將同一主題下的討論帖合并為一個(gè)文本,作為是否需要進(jìn)行教師干預(yù)的原始數(shù)據(jù)。兩名經(jīng)過培訓(xùn)的教育技術(shù)學(xué)研究生對(duì)所有討論主題按照表1中的分類進(jìn)行了數(shù)據(jù)標(biāo)注。若兩名標(biāo)注員標(biāo)注結(jié)果一致,則將該結(jié)果作為最終標(biāo)注結(jié)果;若兩名標(biāo)注員標(biāo)注結(jié)果不一致,則相互商量直到獲得一致結(jié)果。最終的數(shù)據(jù)分布情況見表3。

    (二)領(lǐng)域知識(shí)圖譜構(gòu)建

    為了實(shí)現(xiàn)對(duì)討論主題內(nèi)容特征的抽取,本文構(gòu)建了面向“數(shù)據(jù)庫(kù)系統(tǒng)概論”的課程知識(shí)圖譜。參照谷歌知識(shí)圖譜,本文所構(gòu)建的知識(shí)圖譜主要包括兩個(gè)組成部分:第一部分是領(lǐng)域中的核心概念,主要包括概念及其屬性;第二部分是該領(lǐng)域的基本知識(shí)結(jié)構(gòu),主要包括概念之間的各種語義聯(lián)系。課程的核心概念是以課程教學(xué)大綱和教材為依據(jù),由兩位該課程的任課教師依據(jù)教學(xué)過程進(jìn)行獨(dú)立標(biāo)注。標(biāo)注后將兩人的標(biāo)注結(jié)果進(jìn)行比較,就不一致的部分進(jìn)行討論,并最終取得一致結(jié)果。該課程知識(shí)圖譜共包含核心概念432個(gè)。除了得到領(lǐng)域中的所有核心概念,知識(shí)圖譜還對(duì)概念之間的關(guān)系進(jìn)行標(biāo)注,以形成領(lǐng)域的整體知識(shí)結(jié)構(gòu)。概念之間的語義關(guān)系有上下位、整體—部分多種類型關(guān)系。圖3展示了“數(shù)據(jù)庫(kù)原理與技術(shù)”課程中的最頂層的概念和概念“關(guān)系數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)語言SQL”及其下位概念之間的語義層次結(jié)構(gòu)。

    (三)分類預(yù)測(cè)結(jié)果

    在詞性與詞類詞典和課程知識(shí)圖譜的幫助下,本文對(duì)數(shù)據(jù)集中的1015個(gè)討論主題進(jìn)行特征提取,并按照7:3的比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集。運(yùn)用機(jī)器學(xué)習(xí)中的不同分類算法,通過訓(xùn)練集進(jìn)行模型訓(xùn)練后,通過測(cè)試集驗(yàn)證方法的有效性。表4展示了通過不同的分類算法進(jìn)行測(cè)試所得到的干預(yù)類型分類的總體精度、按類別加權(quán)準(zhǔn)確率、按類別加權(quán)召回率和kappa值。

    從結(jié)果中可以看出,各分類模型的總體分類精度分布于42.86%至75.86%之間,其中三種模型能夠達(dá)到70%以上的準(zhǔn)確率,說明本文提出的特征提取方法能夠有效地對(duì)論壇討論中的教師干預(yù)類型進(jìn)行分類預(yù)測(cè)。在所有模型中,梯度提升樹模型獲得了最好的準(zhǔn)確率,達(dá)到75.86%,能夠高效地識(shí)別出需要教師干預(yù)的討論主題,并對(duì)干預(yù)類型進(jìn)行判定,幫助教師及其團(tuán)隊(duì)更為高效地進(jìn)行慕課教學(xué)和管理。

    (四)各類別的語義特征

    為了更好地了解需要教師干預(yù)的不同類別討論主題的語義特征,從而為教師提供參考,本文對(duì)三類不同討論主題的文本內(nèi)容進(jìn)行了詞頻統(tǒng)計(jì),并分別選取了各類別中詞頻排序前10的名詞短語,其結(jié)果見表5。

    從各類別的語義特征上可以看出,三類不同的討論主題分別具有各自不同的語義特征。

    1. 在內(nèi)容相關(guān)需干預(yù)討論主題中,學(xué)習(xí)者重點(diǎn)圍繞課程內(nèi)容提出疑問,如“屬性”“SQL”“實(shí)體”等詞匯展示了學(xué)習(xí)者重點(diǎn)關(guān)注的學(xué)習(xí)內(nèi)容,也給慕課教師提示了課程重點(diǎn)內(nèi)容。

    2. 在管理相關(guān)需干預(yù)類討論主題中,高頻詞匯包括“實(shí)驗(yàn)”“注冊(cè)”“成績(jī)”等,體現(xiàn)了在慕課課程管理方面,學(xué)習(xí)者遇到的問題主要包括以下幾個(gè)方面:實(shí)驗(yàn)課程開設(shè)問題、平臺(tái)注冊(cè)與密碼問題、成績(jī)判定問題、資源更新問題。這些問題的及時(shí)處理與解決與學(xué)習(xí)者在慕課平臺(tái)的學(xué)習(xí)體驗(yàn)密切相關(guān)。將這些疑問推送給助教團(tuán)隊(duì)和慕課管理人員以保證學(xué)習(xí)者得到及時(shí)回復(fù),將能夠極大地提升慕課學(xué)習(xí)的滿意度。

    3. 在其他類討論主題中,學(xué)習(xí)者主要討論了自己的感受、期望、對(duì)課程和教師的看法等這些討論內(nèi)容,雖然不需要教師的直接干預(yù),但其內(nèi)容對(duì)于課程改進(jìn)和提升課程體驗(yàn)依然有著重要作用??梢詫⑦@類主題匯總后通過詞云等方式推送給課程組織者,以優(yōu)化課程設(shè)計(jì)。

    五、結(jié)? ?語

    慕課以其優(yōu)質(zhì)、免費(fèi)、開放等特征得到了學(xué)習(xí)者的廣泛認(rèn)可,促進(jìn)了優(yōu)質(zhì)教育資源的共享與利用。本文針對(duì)慕課討論區(qū)中討論主題數(shù)量巨大、教師難以及時(shí)反饋的現(xiàn)象,提出了一種基于文本的語義特征和內(nèi)容特征的慕課評(píng)論教師干預(yù)預(yù)測(cè)方法。在該方法中,學(xué)習(xí)者在討論區(qū)所發(fā)布的討論主題按照是否需要教師干預(yù)分為三種類型:內(nèi)容相關(guān)需干預(yù)、管理相關(guān)需干預(yù)和不需干預(yù)。在此三種類型的基礎(chǔ)上,本文針對(duì)慕課討論主題字?jǐn)?shù)較少、且與課程內(nèi)容相關(guān)的特征,提出了一種基于知識(shí)圖譜的文本分類特征提取方法,融合文本的語義特征和內(nèi)容特征,以緩解主題討論短文本所導(dǎo)致的特征稀疏問題,提高教師干預(yù)類型的預(yù)測(cè)準(zhǔn)確率。以中國(guó)大學(xué)慕課中“數(shù)據(jù)庫(kù)系統(tǒng)概論”課程7輪開課中教師答疑區(qū)的全部討論數(shù)據(jù)作為案例對(duì)本文的方法進(jìn)行驗(yàn)證,結(jié)果表明該方法對(duì)教師干預(yù)類型的預(yù)測(cè)準(zhǔn)確率可以達(dá)到75.86%,能夠極大地提升慕課中主題討論的管理效率。下一步,擬進(jìn)一步擴(kuò)大方法的應(yīng)用范圍,囊括多門課程,以驗(yàn)證模型和方法的泛化能力,提升其可推廣性。

    致謝:本研究中使用了中國(guó)科學(xué)院心理研究所開發(fā)的“文心中文心理分析系統(tǒng)”,在此表示感謝!

    [參考文獻(xiàn)]

    [1] 21世紀(jì)經(jīng)濟(jì)報(bào)道.全球慕課(MOOC)用戶破億!教育部:中國(guó)有超過2億人次學(xué)習(xí)者[EB/OL]. [2020-10-13].http://www.cedumedia.com/i/23466.htm.

    [2] 央廣網(wǎng).教育部:我國(guó)上線慕課數(shù)量和應(yīng)用規(guī)模居世界第一[EB/OL]. [2020-10-13].http://china.cnr.cn/news/20190415/t20190415_ 524577387.shtml.

    [3] CHANDRASEKARAN M K, RAGUPATHI K, TAN B C Y, et al. Towards feasible instructor intervention in MOOC discussion forums[C]// International Conference on Information Systems, Fort Worth: 2015.

    [4] 朱美娜, 趙云建. 慕課和開放教育:角色,教育實(shí)踐,個(gè)性化學(xué)習(xí)和可能的發(fā)展趨勢(shì)——訪印第安納大學(xué)教育技術(shù)專家柯蒂斯·邦克教授及其著作團(tuán)隊(duì)[J]. 中國(guó)電化教育,2017(5):35-44.

    [5] 韓普,王東波,劉艷云,蘇新寧. 詞性對(duì)中英文文本聚類的影響研究[J].中文信息學(xué)報(bào),2013(2):65-73.

    [6] TAUSCZIK Y R, PENNEBAKER J W. The psychological meaning of words: LIWC and computerized text analysis methods[J]. Journal of language and social psychology, 2010, 29(1): 24-54.

    [7] PENNEBAKER J W,F(xiàn)RANCIS M E,BOOTH R J.Linguistic inquiry and word count:LIWC 2001[J].Mahway:erlbaum,2001,71(2001):2001.

    [8] SELL J, FARRERAS I G. LIWC-ing at a century of introductory college textbooks: have the sentiments changed?[J]. Procedia computer science, 2017(118): 108-112.

    [9] YUAN Y, LI B, JIAO D, et al. The personality analysis of characters in vernacular novels by SC-LIWC[C]//International Conference on Human Centered Computing. Kazan: Springer, 2017: 400-409.

    [10] ZHAO N, JIAO D, BAI S, et al. Evaluating the validity of simplified Chinese version of LIWC in detecting psychological expressions in short texts on social network services[J]. PLoS one, 2016, 11(6): 1-15.

    [11] 文心中文心理分析系統(tǒng)[DB/OL]. [2020-10-15].http://ccpl.psych.ac.cn/textmind/.

    [12] 吳林靜, 劉清堂, 毛剛, 黃煥,黃景修. 大數(shù)據(jù)視角下的慕課評(píng)論語義分析模型及應(yīng)用研究[J]. 電化教育研究,2017(11):43-48.

    [13] 徐增林,盛泳潘,賀麗榮,等.知識(shí)圖譜技術(shù)綜述[J]. 電子科技大學(xué)學(xué)報(bào),2016,45(4):589-606.

    [14] KNEWTON. Knewton adaptive learning building the world's most powerful education recommendation engine[DB/OL]. [2020-09-29]. https://www.knewton.com/wp-content/uploads/knewton-adaptive-learning-whitepaper.pdf.

    [15] 余勝泉,彭燕,盧宇. 基于人工智能的育人助理系統(tǒng)——“AI 好老師”的體系結(jié)構(gòu)與功能[J]. 開放教育研究,2019,25(1):25-36.

    [16] WU L, LIU Q, ZHAO G, et al. Thesaurus dataset of educational technology in Chinese[J]. British journal of educational technology, 2015, 46(5): 1118-1122.

    [17] 姜強(qiáng),藥文靜,趙蔚,李松.面向深度學(xué)習(xí)的動(dòng)態(tài)知識(shí)圖譜建構(gòu)模型及評(píng)測(cè)[J].電化教育研究,2020,41(3) :85-92.

    [18] 秦川,祝恒書,莊福振,等.基于知識(shí)圖譜的推薦系統(tǒng)研究綜述[J]. 中國(guó)科學(xué):信息科學(xué),2020(7):937-956.

    [19] 黃煥,元帥,何婷婷,吳林靜. 面向適應(yīng)性學(xué)習(xí)系統(tǒng)的課程知識(shí)圖譜構(gòu)建研究——以“Java程序設(shè)計(jì)基礎(chǔ)”課程為例[J]. 現(xiàn)代教育技術(shù), 2019, 29(12):89-95.

    [20] 李艷燕,張香玲,李新,杜靜.面向智慧教育的學(xué)科知識(shí)圖譜構(gòu)建與創(chuàng)新應(yīng)用[J].電化教育研究,2019,40(8):60-69.

    [21] 王亮.深度學(xué)習(xí)視角下基于多模態(tài)知識(shí)圖譜的MOOC課程重構(gòu)[J].現(xiàn)代教育技術(shù),2018,28(10):101-107.

    [22] 陳曦,梅廣,張金金,許維勝.融合知識(shí)圖譜和協(xié)同過濾的學(xué)生成績(jī)預(yù)測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2020,40(2):595-601.

    [23] 陸星兒,曾嘉靈,章夢(mèng)瑤,郭幸君,張婧婧. 知識(shí)圖譜視角下的MOOC教學(xué)優(yōu)化研究[J]. 中國(guó)遠(yuǎn)程教育, 2016(7):5-9.

    [24] 黃濤,王一巖,張浩,楊華利. 智能教育場(chǎng)域中的學(xué)習(xí)者建模研究趨向[J]. 遠(yuǎn)程教育雜志,2020,38(1):50-60.

    [25] 張敏,尹帥君,聶瑞,唐存周.基于體驗(yàn)感知的中外慕課學(xué)習(xí)平臺(tái)持續(xù)使用態(tài)度對(duì)比分析——以Coursera和中國(guó)大學(xué)MOOC為例[J].電化教育研究,2016,37(5):44-49.

    [26] 徐恩芹.師生交互影響網(wǎng)絡(luò)學(xué)習(xí)績(jī)效的實(shí)證分析[J].電化教育研究,2016,37(9):61-68.

    [27] DOLAN V L B. Massive online obsessive compulsion: what are they saying out there about the latest phenomenon in higher education?[J]. International review of research in open and distance learning, 2014, 15(2):268-281.

    [28] CHANAA A, EL FADDOULI N E. BERT and prerequisite based ontology for predicting learner's confusion in MOOCs discussion forums[C]//International Conference on Artificial Intelligence in Education. Ifrane: Springer, 2020: 54-58.

    [29] ALGHAMDI N S, MAHMOUD H A H, ABRAHAM A, et al. Predicting depression symptoms in an Arabic psychological forum[J]. IEEE access, 2020(8): 57317-57334.

    [30] ARGUELLO J,SHAFFER K. Predicting speech acts in MOOC forum posts[C]// National conference on artificial intelligence,Oxford,2015:2-11.

    猜你喜歡
    文本分類慕課大數(shù)據(jù)
    基于組合分類算法的源代碼注釋質(zhì)量評(píng)估方法
    基于貝葉斯分類器的中文文本分類
    基于蟻群智能算法的研究文本分類
    文本分類算法在山東女子學(xué)院檔案管理的應(yīng)用
    科技視界(2016年24期)2016-10-11 09:36:57
    大學(xué)生對(duì)慕課的了解和利用
    考試周刊(2016年76期)2016-10-09 10:07:22
    “慕課”教學(xué)的“八年之癢”
    慕課環(huán)境下的學(xué)習(xí)者
    基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
    科技視界(2016年20期)2016-09-29 10:53:22
    在线观看人妻少妇| 国产v大片淫在线免费观看| 亚洲国产毛片av蜜桃av| 精品酒店卫生间| 男人舔奶头视频| 国产欧美另类精品又又久久亚洲欧美| 性色avwww在线观看| 韩国av在线不卡| 在线观看人妻少妇| 亚洲第一区二区三区不卡| 少妇丰满av| 欧美一区二区亚洲| 国产精品国产三级国产专区5o| 美女中出高潮动态图| 最近中文字幕2019免费版| 精品久久久久久久久亚洲| 国产视频首页在线观看| 久久人人爽人人片av| 欧美97在线视频| 夫妻性生交免费视频一级片| 亚洲伊人久久精品综合| 久久6这里有精品| 麻豆精品久久久久久蜜桃| 美女中出高潮动态图| 你懂的网址亚洲精品在线观看| 国产精品av视频在线免费观看| 深爱激情五月婷婷| 妹子高潮喷水视频| 国产在线视频一区二区| 99热国产这里只有精品6| 高清av免费在线| 在线观看美女被高潮喷水网站| 十八禁网站网址无遮挡 | 国产黄片视频在线免费观看| 男人和女人高潮做爰伦理| 爱豆传媒免费全集在线观看| 免费久久久久久久精品成人欧美视频 | 免费大片黄手机在线观看| 看免费成人av毛片| 全区人妻精品视频| 亚洲精品日韩在线中文字幕| 亚洲欧洲国产日韩| 高清av免费在线| 亚洲色图综合在线观看| 精品一区二区三区视频在线| 水蜜桃什么品种好| 香蕉精品网在线| 成年av动漫网址| 国产乱人偷精品视频| 日韩电影二区| 国产精品99久久久久久久久| 久久久久久久久久人人人人人人| av网站免费在线观看视频| 精品一区二区免费观看| 亚洲精品国产av成人精品| 中文字幕免费在线视频6| 久久婷婷青草| av专区在线播放| 各种免费的搞黄视频| 亚洲精品国产色婷婷电影| 国产成人免费无遮挡视频| 久久人人爽人人片av| 国产 一区 欧美 日韩| 日韩国内少妇激情av| 精品国产一区二区三区久久久樱花 | 一级爰片在线观看| 亚洲国产日韩一区二区| 国产免费福利视频在线观看| 国产有黄有色有爽视频| 亚洲成人av在线免费| 美女cb高潮喷水在线观看| 欧美成人a在线观看| 国产 精品1| 亚洲美女视频黄频| kizo精华| 老女人水多毛片| 一二三四中文在线观看免费高清| 国产精品成人在线| 亚洲美女黄色视频免费看| 一区二区三区精品91| 亚洲精品aⅴ在线观看| 精品久久久久久久久亚洲| 亚州av有码| 一级毛片久久久久久久久女| 18禁裸乳无遮挡免费网站照片| 国产无遮挡羞羞视频在线观看| 在线观看人妻少妇| 91午夜精品亚洲一区二区三区| 午夜免费男女啪啪视频观看| 久久国产亚洲av麻豆专区| 一级毛片我不卡| 男人狂女人下面高潮的视频| 国产大屁股一区二区在线视频| 熟女av电影| 国产免费又黄又爽又色| 国产毛片在线视频| 身体一侧抽搐| 在线观看一区二区三区| 国产亚洲欧美精品永久| 少妇熟女欧美另类| 五月开心婷婷网| 观看av在线不卡| 综合色丁香网| 日韩免费高清中文字幕av| 99久久人妻综合| 亚洲成人av在线免费| 日韩三级伦理在线观看| 丝袜脚勾引网站| av视频免费观看在线观看| 2022亚洲国产成人精品| 美女内射精品一级片tv| 久久精品熟女亚洲av麻豆精品| 午夜福利高清视频| 日本vs欧美在线观看视频 | 国产免费一区二区三区四区乱码| 人妻夜夜爽99麻豆av| 国产高清三级在线| 国语对白做爰xxxⅹ性视频网站| 自拍欧美九色日韩亚洲蝌蚪91 | 蜜桃在线观看..| 国产色爽女视频免费观看| 狠狠精品人妻久久久久久综合| 久久久久视频综合| 精品久久久久久久久av| 国产成人a∨麻豆精品| 亚洲欧美中文字幕日韩二区| av线在线观看网站| 成年女人在线观看亚洲视频| 久久婷婷青草| 成人高潮视频无遮挡免费网站| 国产精品一区二区在线观看99| 欧美精品人与动牲交sv欧美| 草草在线视频免费看| 久久久久人妻精品一区果冻| 日本欧美国产在线视频| 内地一区二区视频在线| 插逼视频在线观看| 国产精品人妻久久久影院| 欧美少妇被猛烈插入视频| 麻豆成人av视频| 99久久人妻综合| 涩涩av久久男人的天堂| 精品一区二区三区视频在线| 久久综合国产亚洲精品| 王馨瑶露胸无遮挡在线观看| 亚洲精品中文字幕在线视频 | 国产乱人视频| 中文资源天堂在线| 日本黄色日本黄色录像| 亚洲av二区三区四区| 亚洲真实伦在线观看| 最近最新中文字幕免费大全7| 啦啦啦中文免费视频观看日本| 久久久久性生活片| 中文在线观看免费www的网站| 九草在线视频观看| 国产欧美亚洲国产| 国产午夜精品久久久久久一区二区三区| 一级毛片久久久久久久久女| 亚洲精品乱码久久久v下载方式| 日韩成人伦理影院| 欧美亚洲 丝袜 人妻 在线| 精品少妇久久久久久888优播| 在线免费十八禁| 日韩视频在线欧美| 亚洲精品日韩av片在线观看| 免费观看的影片在线观看| av视频免费观看在线观看| 亚洲天堂av无毛| 国产黄片视频在线免费观看| 精品人妻熟女av久视频| 麻豆乱淫一区二区| 91精品国产国语对白视频| 免费大片18禁| 18+在线观看网站| 亚洲精品第二区| 亚洲国产最新在线播放| 2018国产大陆天天弄谢| 一区在线观看完整版| 18禁裸乳无遮挡动漫免费视频| 欧美国产精品一级二级三级 | 国产成人a∨麻豆精品| 成人二区视频| 日韩成人伦理影院| 亚洲精品日韩在线中文字幕| 国产成人a∨麻豆精品| 中文字幕久久专区| 精品国产三级普通话版| 午夜激情福利司机影院| 夜夜看夜夜爽夜夜摸| 我要看日韩黄色一级片| 又黄又爽又刺激的免费视频.| 国产永久视频网站| 亚洲精品久久午夜乱码| 日韩欧美一区视频在线观看 | 国产av国产精品国产| 精品亚洲成国产av| 亚洲美女黄色视频免费看| 日韩欧美精品免费久久| 欧美+日韩+精品| 国产精品国产三级国产av玫瑰| 久久精品夜色国产| 九九在线视频观看精品| 色视频在线一区二区三区| 亚洲国产精品国产精品| 国产真实伦视频高清在线观看| 国模一区二区三区四区视频| 久久久久人妻精品一区果冻| 日韩av不卡免费在线播放| 亚洲综合色惰| 王馨瑶露胸无遮挡在线观看| 99久久人妻综合| 色网站视频免费| 欧美另类一区| 国产精品麻豆人妻色哟哟久久| 午夜福利在线在线| 国产亚洲精品久久久com| 国产伦理片在线播放av一区| 国产亚洲欧美精品永久| 精品亚洲乱码少妇综合久久| 国产午夜精品久久久久久一区二区三区| 午夜老司机福利剧场| 国产精品国产av在线观看| 观看av在线不卡| av卡一久久| av在线app专区| 国产久久久一区二区三区| 美女福利国产在线 | 久热这里只有精品99| 只有这里有精品99| 成人18禁高潮啪啪吃奶动态图 | 欧美日韩精品成人综合77777| 我要看日韩黄色一级片| 国产精品蜜桃在线观看| 亚洲成色77777| 一本—道久久a久久精品蜜桃钙片| av不卡在线播放| a级一级毛片免费在线观看| 国产午夜精品久久久久久一区二区三区| 亚洲av电影在线观看一区二区三区| 久久久久性生活片| 国产伦精品一区二区三区四那| 午夜福利网站1000一区二区三区| 亚洲国产欧美在线一区| 国内精品宾馆在线| 最近最新中文字幕大全电影3| 亚洲最大成人中文| 我的老师免费观看完整版| 国国产精品蜜臀av免费| 亚洲图色成人| 黄片wwwwww| 狂野欧美白嫩少妇大欣赏| 欧美区成人在线视频| 综合色丁香网| 亚洲精品一二三| 最近最新中文字幕免费大全7| 亚洲精品中文字幕在线视频 | 久久99蜜桃精品久久| 美女cb高潮喷水在线观看| 日韩,欧美,国产一区二区三区| 日本猛色少妇xxxxx猛交久久| 亚洲精品乱码久久久v下载方式| 亚洲精品久久久久久婷婷小说| 午夜福利影视在线免费观看| 波野结衣二区三区在线| 久久青草综合色| 人妻 亚洲 视频| 99久久中文字幕三级久久日本| 干丝袜人妻中文字幕| 1000部很黄的大片| 国语对白做爰xxxⅹ性视频网站| 久久精品国产亚洲av涩爱| 一级a做视频免费观看| 久久久久久久久久久丰满| 黄片无遮挡物在线观看| 久久久久国产精品人妻一区二区| 亚洲欧美一区二区三区黑人 | 内地一区二区视频在线| 久久99精品国语久久久| 狂野欧美激情性bbbbbb| 欧美精品一区二区大全| 日韩亚洲欧美综合| 国产av码专区亚洲av| av在线播放精品| 赤兔流量卡办理| 久久久久视频综合| 精品亚洲成a人片在线观看 | 成人一区二区视频在线观看| 亚洲国产欧美在线一区| 又黄又爽又刺激的免费视频.| 26uuu在线亚洲综合色| 国产中年淑女户外野战色| 大话2 男鬼变身卡| 久久国内精品自在自线图片| 国产av码专区亚洲av| 久久久久久久久大av| 妹子高潮喷水视频| 日本与韩国留学比较| 久久久久网色| 制服丝袜香蕉在线| 99久久精品国产国产毛片| 看十八女毛片水多多多| 91在线精品国自产拍蜜月| 97超碰精品成人国产| 国产一区亚洲一区在线观看| 亚洲美女搞黄在线观看| 欧美日韩视频精品一区| 亚洲精品中文字幕在线视频 | 美女主播在线视频| 美女高潮的动态| 国产永久视频网站| 乱系列少妇在线播放| 全区人妻精品视频| 国产在视频线精品| 插逼视频在线观看| 亚洲综合精品二区| 女人久久www免费人成看片| 视频中文字幕在线观看| 人人妻人人爽人人添夜夜欢视频 | 日日摸夜夜添夜夜爱| 亚洲精华国产精华液的使用体验| 丰满乱子伦码专区| 久久毛片免费看一区二区三区| 又粗又硬又长又爽又黄的视频| 尤物成人国产欧美一区二区三区| 日韩中字成人| 欧美极品一区二区三区四区| 99热国产这里只有精品6| 亚洲成人一二三区av| 汤姆久久久久久久影院中文字幕| 久久精品国产亚洲网站| av在线观看视频网站免费| 久久久久精品性色| 久久热精品热| 少妇人妻精品综合一区二区| 日韩一本色道免费dvd| 精品一区二区三区视频在线| 我的老师免费观看完整版| 美女cb高潮喷水在线观看| 黑丝袜美女国产一区| 午夜福利视频精品| 黄色日韩在线| 午夜老司机福利剧场| 久久女婷五月综合色啪小说| 亚洲欧美日韩卡通动漫| 性高湖久久久久久久久免费观看| 亚洲成人手机| 色网站视频免费| 欧美成人a在线观看| 日韩,欧美,国产一区二区三区| 青青草视频在线视频观看| 亚洲人成网站在线观看播放| 欧美国产精品一级二级三级 | 日韩人妻高清精品专区| 精品人妻熟女av久视频| 亚洲一区二区三区欧美精品| 三级国产精品片| 汤姆久久久久久久影院中文字幕| 久久99热6这里只有精品| freevideosex欧美| 日本黄色片子视频| 国产一区二区三区av在线| 性色av一级| 国产精品国产三级专区第一集| 亚洲欧美日韩另类电影网站 | 毛片女人毛片| 国产成人精品久久久久久| 99久久精品国产国产毛片| 欧美日韩一区二区视频在线观看视频在线| av不卡在线播放| 免费观看在线日韩| 色婷婷久久久亚洲欧美| 国产永久视频网站| 少妇熟女欧美另类| 91aial.com中文字幕在线观看| 青春草国产在线视频| 亚洲精品亚洲一区二区| 免费在线观看成人毛片| 日本与韩国留学比较| 久久精品久久久久久久性| 国产精品福利在线免费观看| 晚上一个人看的免费电影| 成人黄色视频免费在线看| 欧美成人精品欧美一级黄| 深夜a级毛片| 嘟嘟电影网在线观看| 亚洲成人中文字幕在线播放| 女的被弄到高潮叫床怎么办| 久久久久精品久久久久真实原创| 97在线人人人人妻| 黑人高潮一二区| 黄色欧美视频在线观看| 黑人猛操日本美女一级片| 国产午夜精品一二区理论片| 国产精品女同一区二区软件| 人妻制服诱惑在线中文字幕| 久久午夜福利片| 亚洲成人av在线免费| 国产在视频线精品| 日韩欧美 国产精品| 熟女人妻精品中文字幕| 免费人妻精品一区二区三区视频| 晚上一个人看的免费电影| 日韩伦理黄色片| 直男gayav资源| av免费在线看不卡| 欧美一级a爱片免费观看看| 高清av免费在线| a级一级毛片免费在线观看| 亚洲精品国产色婷婷电影| 中国美白少妇内射xxxbb| 黄色怎么调成土黄色| 岛国毛片在线播放| 性色avwww在线观看| 永久网站在线| 亚洲人与动物交配视频| 国产一区二区三区av在线| 欧美极品一区二区三区四区| 国产精品一及| 男人添女人高潮全过程视频| 久久ye,这里只有精品| 人妻一区二区av| 久久精品久久精品一区二区三区| av天堂中文字幕网| 免费观看的影片在线观看| 永久免费av网站大全| 国产精品99久久99久久久不卡 | 天堂中文最新版在线下载| 久久久久精品性色| 国产黄频视频在线观看| 女的被弄到高潮叫床怎么办| 一级毛片 在线播放| 夜夜爽夜夜爽视频| 在线观看国产h片| 国产在线视频一区二区| 性色avwww在线观看| 国产精品一区二区性色av| 乱系列少妇在线播放| 免费人妻精品一区二区三区视频| 中文字幕免费在线视频6| 99热网站在线观看| 成人综合一区亚洲| 丰满迷人的少妇在线观看| 久久鲁丝午夜福利片| 王馨瑶露胸无遮挡在线观看| 午夜福利网站1000一区二区三区| 99热这里只有是精品在线观看| 婷婷色综合大香蕉| 精品人妻一区二区三区麻豆| 日本猛色少妇xxxxx猛交久久| 中国美白少妇内射xxxbb| 亚洲色图综合在线观看| 日韩国内少妇激情av| 一区二区三区四区激情视频| 一级毛片黄色毛片免费观看视频| 狂野欧美激情性bbbbbb| 亚洲成人中文字幕在线播放| 在线观看人妻少妇| 精品一区在线观看国产| 国产在线免费精品| 久久国内精品自在自线图片| 日日啪夜夜撸| 国产爽快片一区二区三区| 亚洲精品乱久久久久久| 午夜免费男女啪啪视频观看| 高清不卡的av网站| 亚洲电影在线观看av| 水蜜桃什么品种好| 美女主播在线视频| 99热这里只有是精品50| 亚洲av电影在线观看一区二区三区| 黄色配什么色好看| 日本欧美国产在线视频| 国产精品国产三级专区第一集| 亚洲av不卡在线观看| 国产成人91sexporn| 久久精品熟女亚洲av麻豆精品| 成人漫画全彩无遮挡| 看十八女毛片水多多多| av女优亚洲男人天堂| 国产亚洲5aaaaa淫片| 蜜桃久久精品国产亚洲av| 日韩中文字幕视频在线看片 | 视频区图区小说| 国产色爽女视频免费观看| 丰满乱子伦码专区| 伦理电影大哥的女人| 亚洲av免费高清在线观看| 国产极品天堂在线| 国产在线一区二区三区精| 午夜激情久久久久久久| 国产成人一区二区在线| 一级毛片我不卡| 日韩av不卡免费在线播放| 欧美成人精品欧美一级黄| 丰满人妻一区二区三区视频av| 欧美变态另类bdsm刘玥| 免费观看性生交大片5| 在线天堂最新版资源| 亚洲欧美日韩另类电影网站 | 欧美xxxx黑人xx丫x性爽| 日本黄色日本黄色录像| 亚洲欧美日韩卡通动漫| 2021少妇久久久久久久久久久| 欧美区成人在线视频| 午夜福利视频精品| 熟女电影av网| 欧美xxxx黑人xx丫x性爽| 制服丝袜香蕉在线| 久久久久国产精品人妻一区二区| 亚洲精品,欧美精品| 国产v大片淫在线免费观看| 久久精品国产自在天天线| 老熟女久久久| 国产精品一及| 免费少妇av软件| 大片电影免费在线观看免费| 亚洲丝袜综合中文字幕| 亚洲精品色激情综合| 成人一区二区视频在线观看| 亚洲精品国产成人久久av| 亚洲国产精品999| xxx大片免费视频| 在线观看免费视频网站a站| 久久久久人妻精品一区果冻| 中文资源天堂在线| 18禁在线播放成人免费| 在线观看免费视频网站a站| 欧美国产精品一级二级三级 | 日韩视频在线欧美| 亚洲欧洲日产国产| 蜜桃在线观看..| 超碰av人人做人人爽久久| 欧美人与善性xxx| 黄色怎么调成土黄色| 久久精品国产亚洲av涩爱| 天美传媒精品一区二区| 欧美人与善性xxx| 日本爱情动作片www.在线观看| 免费看光身美女| 91在线精品国自产拍蜜月| 黄色一级大片看看| 91精品国产国语对白视频| 亚洲av二区三区四区| av国产久精品久网站免费入址| 欧美日韩综合久久久久久| 午夜老司机福利剧场| 天天躁夜夜躁狠狠久久av| 亚洲精品乱码久久久v下载方式| 欧美国产精品一级二级三级 | 一区二区av电影网| 久久久欧美国产精品| 成人无遮挡网站| 亚洲av中文av极速乱| av在线app专区| 深爱激情五月婷婷| 永久网站在线| 在线亚洲精品国产二区图片欧美 | 亚洲av男天堂| 日日摸夜夜添夜夜添av毛片| 中文字幕精品免费在线观看视频 | 精品亚洲成国产av| 青青草视频在线视频观看| 永久网站在线| 亚洲国产成人一精品久久久| 国国产精品蜜臀av免费| 99精国产麻豆久久婷婷| 国产亚洲一区二区精品| 日韩三级伦理在线观看| 看免费成人av毛片| 亚洲欧美一区二区三区国产| 日本vs欧美在线观看视频 | 亚洲美女黄色视频免费看| 成人美女网站在线观看视频| 女人十人毛片免费观看3o分钟| 午夜福利高清视频| 精品亚洲乱码少妇综合久久| 欧美性感艳星| 我的老师免费观看完整版| 免费黄网站久久成人精品| 亚洲精品国产成人久久av| 全区人妻精品视频| 如何舔出高潮| 久久久精品94久久精品| 最近中文字幕2019免费版| 美女高潮的动态| 大片电影免费在线观看免费| 亚洲成色77777| 久久99热6这里只有精品| xxx大片免费视频| 伦理电影大哥的女人| 99热全是精品| av又黄又爽大尺度在线免费看| 亚洲,欧美,日韩| 亚洲精品日本国产第一区| 日韩不卡一区二区三区视频在线| 欧美日本视频| 毛片女人毛片| 最新中文字幕久久久久| 欧美老熟妇乱子伦牲交| 欧美日韩国产mv在线观看视频 | 在线观看人妻少妇| 国产高清有码在线观看视频| 天天躁夜夜躁狠狠久久av| 中文字幕人妻熟人妻熟丝袜美| 久久人人爽av亚洲精品天堂 | 91精品国产九色| 欧美另类一区| 精品熟女少妇av免费看| 国产爽快片一区二区三区| 亚洲av电影在线观看一区二区三区| 男女免费视频国产| 直男gayav资源| 校园人妻丝袜中文字幕| 亚洲av欧美aⅴ国产|