• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于外語(yǔ)慕課評(píng)論的學(xué)習(xí)者觀點(diǎn)挖掘與可視化研究

    2024-01-01 00:00:00楊林偉
    山東外語(yǔ)教學(xué) 2024年3期
    關(guān)鍵詞:學(xué)習(xí)體驗(yàn)課程評(píng)價(jià)語(yǔ)料庫(kù)

    [摘要] 課程評(píng)論蘊(yùn)含了學(xué)習(xí)者對(duì)慕課的感知、反應(yīng)、需求、行為表現(xiàn)等要素,是研究慕課的基礎(chǔ)數(shù)據(jù)源之一。本研究采用詞頻統(tǒng)計(jì)、詞匯共現(xiàn)網(wǎng)絡(luò)、文檔位置對(duì)應(yīng)分析和結(jié)構(gòu)主題模型等方法對(duì)課程評(píng)論進(jìn)行觀點(diǎn)挖掘和可視化分析。結(jié)果表明,中國(guó)學(xué)習(xí)者外語(yǔ)慕課學(xué)習(xí)呈現(xiàn)出積極的學(xué)習(xí)情感,正性學(xué)習(xí)體驗(yàn)主要受到課程教師、課程支持和課程內(nèi)容實(shí)用性三個(gè)維度的影響,負(fù)性學(xué)習(xí)體驗(yàn)受到成績(jī)考核、作業(yè)評(píng)價(jià)與個(gè)性化支持三個(gè)維度的影響。此外,與語(yǔ)言技能課程相比,學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途外語(yǔ)課程的體驗(yàn)和需求維度存在較大差異。大數(shù)據(jù)驅(qū)動(dòng)的可視化分析結(jié)果能夠?yàn)橥庹Z(yǔ)慕課的學(xué)習(xí)體驗(yàn)設(shè)計(jì)與教學(xué)設(shè)計(jì)提供宏觀和微觀支持,為高質(zhì)量外語(yǔ)慕課建設(shè)提供參考。

    [關(guān)鍵詞] 外語(yǔ)慕課;課程評(píng)價(jià);語(yǔ)料庫(kù);學(xué)習(xí)體驗(yàn)

    [中圖分類號(hào)] H319" [文獻(xiàn)標(biāo)識(shí)碼] A" [文獻(xiàn)編號(hào)] 1002-2643(2024)03-0070-10

    Mining and Visualizing Learners’ Opinions in Large-scaleLMOOCs Reviews

    YANG Linwei

    (School of Foreign Languages,Yantai University, Yantai 264005, China)

    Abstract: Course reviews contain elements such as learners’ perceptions, reactions, demands, and behavior towards Massive Open Online Courses (MOOCs), serving as one of the fundamental data sources for MOOCs research. This study utilizes methods such as word frequency analysis, word co-occurrence network analysis, correspondence analysis of document positions, and structural topic modeling to mine opinions from course reviews and visualize the learning experience. The results indicate an overall positive learning experience, with teacher support, course support, and course content practicality being key influencers. Students’ negative learning experience is also influenced by three focal dimensions: course test, assignment feedback and personalized support. Additionally, learners exhibit distinct needs for literature and ESP courses compared to general language courses. These data-driven insights have significant implications at both macro and micro levels for enhancing the teaching design of Language MOOCs to optimize the learning experience, offering reference for the development of high-quality Language MOOCs.

    Key words: language MOOCs; course review; corpus; learning experience

    1.引言

    近年來(lái),國(guó)內(nèi)外語(yǔ)慕課(Language MOOCs, LMOOCs)建設(shè)蓬勃發(fā)展,成績(jī)斐然。截至2023年6月,僅愛(ài)課程、學(xué)堂在線、智慧樹(shù)、學(xué)銀在線四大慕課平臺(tái)就開(kāi)設(shè)外語(yǔ)類課程1154門(mén),涵蓋了英、日、德、法等主要語(yǔ)種(王中祥、張文忠,2024)。與此同時(shí),教育部已經(jīng)連續(xù)多年組織認(rèn)定國(guó)家級(jí)精品在線開(kāi)放課程,并分別在2020年和2023年先后認(rèn)定了兩批國(guó)家級(jí)線上一流本科課程。與傳統(tǒng)的語(yǔ)言教育形式相比,外語(yǔ)慕課能夠?yàn)檎Z(yǔ)言學(xué)習(xí)者創(chuàng)造無(wú)限的學(xué)習(xí)機(jī)會(huì),提供創(chuàng)新的語(yǔ)言學(xué)習(xí)體驗(yàn),其研究已經(jīng)成為計(jì)算機(jī)輔助外語(yǔ)學(xué)習(xí)研究的新興領(lǐng)域(Martín-Monje amp; Borthwick, 2021)。國(guó)內(nèi)外相關(guān)研究較多從宏觀理論視角關(guān)注外語(yǔ)慕課本質(zhì)屬性(陳堅(jiān)林,2015; 葉興國(guó),2017),外語(yǔ)慕課教學(xué)設(shè)計(jì)與混合教學(xué)模式應(yīng)用及主要挑戰(zhàn)(胡杰輝,2021),學(xué)生保持率(Fridriksdottir,2021)、參與度(Mac Lochlainn et al.,2021)、外語(yǔ)教學(xué)與慕課技術(shù)的兼容性(韓艷輝,2019)等,但是鮮有從課程評(píng)論入手挖掘?qū)W習(xí)者觀點(diǎn)的實(shí)證研究。

    全面了解學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)、評(píng)價(jià)觀點(diǎn)和個(gè)性需求對(duì)改進(jìn)教學(xué)設(shè)計(jì),提升課程教學(xué)質(zhì)量至關(guān)重要。對(duì)此,已有學(xué)者開(kāi)展了一些小規(guī)模實(shí)驗(yàn)研究(Barkanyi,2021)或個(gè)案質(zhì)性分析(Barcena et al.,2014; Hsu,2021; Luo amp; Ye,2021),但囿于數(shù)據(jù)規(guī)模限制,上述研究難以做出自下而上的全面描述。另外,質(zhì)性分析課程評(píng)論需要研究者自行制定編碼體系,存在較強(qiáng)的主觀性??傊?,盡管基于課程評(píng)論的少數(shù)研究已經(jīng)在慕課質(zhì)量保證體系和學(xué)習(xí)者滿意度方面取得了一定成果,但仍存在片面性和主觀性的不足。為此,本研究利用語(yǔ)料庫(kù)和自然語(yǔ)言處理技術(shù)對(duì)課程評(píng)論進(jìn)行觀點(diǎn)挖掘和可視化分析并回答以下三方面的問(wèn)題:學(xué)習(xí)者對(duì)外語(yǔ)慕課的整體體驗(yàn)情況如何?學(xué)習(xí)者所關(guān)切的主要話題包括哪些?學(xué)習(xí)者對(duì)不同類別課程的需求是否存在差異?

    2.基于慕課評(píng)論的相關(guān)研究

    教育改革術(shù)語(yǔ)表①將學(xué)習(xí)體驗(yàn)定義為產(chǎn)生學(xué)習(xí)效果的任何互動(dòng)、課程、項(xiàng)目或其他體驗(yàn)。體驗(yàn)既可以發(fā)生在傳統(tǒng)的環(huán)境(如學(xué)校、教室),也可以發(fā)生在非傳統(tǒng)的環(huán)境(如校外地點(diǎn)、戶外環(huán)境);既包括傳統(tǒng)的教育互動(dòng)(如師生面對(duì)面交流),也包括非傳統(tǒng)的互動(dòng)(如學(xué)生通過(guò)游戲和互動(dòng)軟件學(xué)習(xí))。胡永斌和黃榮懷(2016:68)在此基礎(chǔ)上將智慧學(xué)習(xí)環(huán)境中的學(xué)習(xí)體驗(yàn)界定為“學(xué)習(xí)者對(duì)智慧學(xué)習(xí)環(huán)境、學(xué)習(xí)活動(dòng)和學(xué)習(xí)支持服務(wù)等過(guò)程中涉及的諸多教學(xué)要素的感知、反應(yīng)和行為表現(xiàn)”。據(jù)此,外語(yǔ)慕課中的學(xué)習(xí)體驗(yàn)包括學(xué)習(xí)者對(duì)物理/虛擬學(xué)習(xí)環(huán)境、教學(xué)材料、教學(xué)互動(dòng)(師生、生生、人機(jī)智能互動(dòng)等)以及教師等多種要素的感知、反應(yīng)和行為表現(xiàn)。

    外語(yǔ)慕課作為慕課的“特殊”形式,聚焦學(xué)習(xí)體驗(yàn)開(kāi)展研究具有重要意義(Martín-Monje amp; Bárcena,2014)。從數(shù)據(jù)類型和分析方法的角度看,外語(yǔ)慕課學(xué)習(xí)研究大致可以分為兩類。第一類是基于課程評(píng)價(jià)、課程論壇中的討論等小規(guī)模文本數(shù)據(jù)開(kāi)展質(zhì)性研究。例如,基于“愛(ài)課程”平臺(tái)上600條課程評(píng)論,Ye amp; Luo(2020)分析了學(xué)習(xí)者對(duì)外語(yǔ)慕課的感知現(xiàn)狀及影響因素。Luo amp; Ye(2021)進(jìn)一步基于1,000條外語(yǔ)慕課課程評(píng)論,利用扎根理論分析學(xué)習(xí)者對(duì)不同類型外語(yǔ)課程的學(xué)習(xí)體驗(yàn)和評(píng)價(jià)標(biāo)準(zhǔn)。Hsu(2021)發(fā)現(xiàn)學(xué)習(xí)者總體慕課學(xué)習(xí)情感體驗(yàn)積極,但有些學(xué)習(xí)者對(duì)慕課的適用性表示懷疑,課程類型和屬性對(duì)學(xué)習(xí)者保持率起到?jīng)Q定性作用。Appel amp; Pujola(2021)討論了口語(yǔ)慕課的諸多挑戰(zhàn),如分組、教師作用、有意義反饋、練習(xí)的有效性等。第二類是面向某一課程,基于學(xué)習(xí)者問(wèn)卷進(jìn)行量化研究。例如,胡杰輝(2017)采用大規(guī)模問(wèn)卷調(diào)查了影響基于慕課的大學(xué)英語(yǔ)混合學(xué)習(xí)者體驗(yàn)影響因素。楊港、戴朝暉(2021)調(diào)查了大學(xué)生英語(yǔ)在線學(xué)習(xí)投入的維度構(gòu)成,分析了學(xué)習(xí)動(dòng)機(jī)、能動(dòng)性、行為投入、認(rèn)知投入和情感投入的互動(dòng)影響。孫先洪等(2021)基于外語(yǔ)慕課學(xué)習(xí)體驗(yàn),構(gòu)建了外語(yǔ)慕課平臺(tái)的自適應(yīng)性評(píng)價(jià)指標(biāo)。

    綜合上述質(zhì)性和量化研究表明,學(xué)習(xí)者體驗(yàn)受多因素影響,其中課程類型及其質(zhì)量的制約作用較為突顯。但已有研究也存在兩個(gè)不足:一是課程論壇及評(píng)論的質(zhì)性分析雖然便于深挖學(xué)習(xí)者的觀點(diǎn)、需求和情感,但較多依賴主觀判斷且樣本有限,難以對(duì)學(xué)習(xí)體驗(yàn)做出客觀、整體分析;二是問(wèn)卷調(diào)查雖然可以收集大規(guī)模數(shù)據(jù)開(kāi)展量化分析,但屬于間接數(shù)據(jù)。且已有研究大多面向單一課程,對(duì)聽(tīng)、說(shuō)、讀、寫(xiě)、專門(mén)用途等不同課程的關(guān)注度不夠,研究結(jié)論的泛化能力有限。

    自然語(yǔ)言處理技術(shù)的優(yōu)勢(shì)在于可以對(duì)慕課平臺(tái)中的學(xué)生評(píng)論文本開(kāi)展大數(shù)據(jù)挖掘和分析,從而客觀反映學(xué)習(xí)者的慕課學(xué)習(xí)體驗(yàn)、觀點(diǎn)和傾向,為外語(yǔ)慕課的設(shè)計(jì)、建設(shè)、運(yùn)用和評(píng)價(jià)提供更好的支持。雖然國(guó)內(nèi)已有學(xué)者初步嘗試對(duì)課程評(píng)論開(kāi)展大數(shù)據(jù)挖掘分析(張文德、黃禹,2020),但非常缺少聚焦外語(yǔ)慕課學(xué)習(xí)者的相關(guān)研究。因此,本研究基于慕課課程評(píng)論大數(shù)據(jù),利用自然語(yǔ)言處理技術(shù),通過(guò)自動(dòng)化采集、統(tǒng)計(jì)和可視化手段,多維度刻畫(huà)外語(yǔ)學(xué)習(xí)者的觀點(diǎn),以期助力線上外語(yǔ)“金課”與一流本科課程建設(shè)。

    3.研究方法

    研究數(shù)據(jù)主要來(lái)自中國(guó)大學(xué)MOOC平臺(tái)中的外語(yǔ)類課程評(píng)論(截至2020年12月),包括256門(mén)課程,共計(jì)75,653 條記錄。如表1所示,學(xué)習(xí)者做出的課程評(píng)價(jià)主要由評(píng)價(jià)文本和反映滿意度的星級(jí)信息組成。所選示例涵蓋1-5顆星的不同星級(jí),表示從極不滿意到非常滿意,評(píng)價(jià)文本涉及課程內(nèi)容、教學(xué)方法、作業(yè)、評(píng)分以及課程管理等。研究采用的主要工具有PKUSEG②(Luo et al.,2019)文本分詞包、R語(yǔ)言、Quanteda(Benoit et al.,2018)以及LSX開(kāi)發(fā)包(Watanabe,2020)等文本分析與可視化工具。另外,本研究還調(diào)用了公開(kāi)的語(yǔ)言資源,包括Hownet情感詞典、中英文停用詞表等。

    本研究按以下步驟進(jìn)行:

    (1)大規(guī)模數(shù)據(jù)清理與分詞。在數(shù)據(jù)預(yù)處理階段,為了方便比較學(xué)習(xí)者對(duì)不同課程的評(píng)價(jià)差異,按照課程類型劃分為文學(xué)、語(yǔ)言學(xué)、文化、翻譯、寫(xiě)作、語(yǔ)法、閱讀、口語(yǔ)、聽(tīng)力、專門(mén)用途、雅思、大學(xué)英語(yǔ)、專四專八等13個(gè)大類;為保證評(píng)論數(shù)據(jù)的可靠性,經(jīng)充分觀察語(yǔ)料之后,制定以下預(yù)處理規(guī)則:刪除中文字?jǐn)?shù)小于5或者詞數(shù)小于3的評(píng)論;刪除英文詞數(shù)小于5的評(píng)論;刪除諸如“11111”“66666”“好好好”等不含有具體評(píng)價(jià)信息的評(píng)論。

    (2)文本挖掘與可視化分析。除詞頻和主題詞分析之外,作者使用文本挖掘研究中的文檔位置、主題建模、LSS(Latent Semantic Scaling)等可視化技術(shù)進(jìn)行探索性分析。其中,LSS是由Watanabe(2020)提出的一種啟發(fā)式、半監(jiān)督文本縮放技術(shù),將傳統(tǒng)的潛在語(yǔ)義分析與自定義種子詞(seed words)相結(jié)合,在不同的預(yù)先定義維度上定位文本的空間位置,實(shí)現(xiàn)不同領(lǐng)域、不同語(yǔ)言風(fēng)格的文本對(duì)比分析。

    4. 結(jié)果與發(fā)現(xiàn)

    4.1 高頻詞及其共現(xiàn)網(wǎng)絡(luò)

    經(jīng)PKUSEG分詞并統(tǒng)計(jì)詞頻后發(fā)現(xiàn),高頻詞主要包含對(duì)教師與課程內(nèi)容的評(píng)價(jià)、學(xué)習(xí)收獲的感受以及關(guān)于課程意義的看法。學(xué)習(xí)者普遍認(rèn)為教師授課與課程內(nèi)容非常“棒”,在知識(shí)獲取方面收獲非常“大”,課程很實(shí)用,總體非?!跋矚g”慕課課程。按照學(xué)習(xí)者的星級(jí)評(píng)價(jià)統(tǒng)計(jì)顯示,1-5星的評(píng)價(jià)數(shù)量分別占1.45%、0.73%、2.75%、12.74%和82.33%。分組觀察學(xué)習(xí)者在不同星級(jí)評(píng)價(jià)中詞匯分布發(fā)現(xiàn):1-2星的負(fù)面評(píng)價(jià)高頻詞主要有“難”“授課”“網(wǎng)絡(luò)”“聲音”“菜”“作業(yè)”“考試”“卡”“進(jìn)度”“成績(jī)”等;4-5星的積極評(píng)價(jià)高頻詞主要有“老師”“課程”“棒”“有趣”“感謝”“實(shí)用”“生動(dòng)”“內(nèi)容”“知識(shí)”“幫助”等。負(fù)面評(píng)價(jià)方面,除平臺(tái)本身的網(wǎng)絡(luò)卡頓以外,學(xué)習(xí)者對(duì)課程考核、授課進(jìn)度、內(nèi)容難易程度等方面表示不滿意,特別對(duì)作業(yè)批改、考試相關(guān)環(huán)節(jié)有較高的要求。積極評(píng)價(jià)方面,學(xué)習(xí)者對(duì)教師授課方式、課程趣味性、內(nèi)容豐富程度、實(shí)用性等表示高度認(rèn)可。

    基于稀疏文檔特征矩陣③(Document Feature Matrix,DFM),可以自動(dòng)提取語(yǔ)料庫(kù)中高頻詞匯共現(xiàn)的頻次并依據(jù)數(shù)值大小繪制語(yǔ)義網(wǎng)絡(luò),有助于揭示高頻詞之間的語(yǔ)義關(guān)聯(lián)及重要程度。鑒于語(yǔ)料庫(kù)規(guī)模較大、詞匯數(shù)量眾多、數(shù)據(jù)稀疏,本研究刪除了停用詞、標(biāo)點(diǎn)符號(hào)以及表示時(shí)間、日期的數(shù)字等信息,并將詞匯共現(xiàn)頻次的閾值設(shè)置為50,以繪制出高頻共現(xiàn)詞匯的網(wǎng)絡(luò)圖(圖1)。通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)之間連接線的強(qiáng)度可以看出,“老師”“課程”“學(xué)習(xí)”“知識(shí)”“講解”處于語(yǔ)義網(wǎng)絡(luò)的中心位置,與之共現(xiàn)的高頻詞匯以中間偏右

    圖1 詞匯共現(xiàn)網(wǎng)絡(luò)可視化的密度較大,左側(cè)詞匯網(wǎng)絡(luò)相對(duì)較為離散。根據(jù)語(yǔ)義網(wǎng)絡(luò)的分布,可將關(guān)鍵詞直觀概括為以下三個(gè)主要類別:教師講解清晰、細(xì)致,非常生動(dòng)且易懂,學(xué)習(xí)者尤其對(duì)教師的發(fā)音非常滿意;課程實(shí)用,特別是寫(xiě)作課的實(shí)用性優(yōu)于演講、語(yǔ)法、口語(yǔ)等課程;學(xué)生學(xué)習(xí)體驗(yàn)“不錯(cuò)”,收獲知識(shí),了解目的語(yǔ)語(yǔ)

    4.2 主題詞對(duì)比與情感分析

    主題詞分析是通過(guò)對(duì)比詞匯在參照語(yǔ)料庫(kù)和觀察語(yǔ)料庫(kù)中的頻數(shù)及分布,計(jì)算其關(guān)鍵性或主題性(keyness)的分析方法(Bondi amp; Scott,2010)。我們把4-5星級(jí)評(píng)論作為觀察語(yǔ)料庫(kù),把1-3星級(jí)評(píng)論作為參照語(yǔ)料庫(kù),使用似然比計(jì)算主題性,然后按照主題性大小排序并將正負(fù)10個(gè)主題詞可視化(圖2)。結(jié)果顯示,在4-5星級(jí)評(píng)價(jià)中,學(xué)習(xí)者對(duì)教師高度認(rèn)可,除對(duì)教師表達(dá)感謝以外,還表達(dá)了受益匪淺、學(xué)有所得,特別是在寫(xiě)作和學(xué)術(shù)課程上收獲最大。在1-3星級(jí)評(píng)價(jià)中,負(fù)面評(píng)價(jià)主題詞主要涉及以下幾個(gè)方面:網(wǎng)速比較卡,影響學(xué)習(xí)效果;教師念課件;作業(yè)以及課程內(nèi)容比較難;視頻沒(méi)有字幕,影響理解。另外,學(xué)習(xí)者還對(duì)考試較為關(guān)注??傊?,主題詞對(duì)比分析結(jié)果形成了鮮明對(duì)比,可為教師以及慕課運(yùn)行方提供直觀的話題數(shù)據(jù)展示,有利于全面了解學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)、學(xué)習(xí)需求等,為慕課教學(xué)提供決策參考。

    為了進(jìn)一步考察學(xué)習(xí)者對(duì)于慕課學(xué)習(xí)的整體情緒,本研究把“學(xué)習(xí)”作為節(jié)點(diǎn)詞,分析周?chē)Z(yǔ)境中的積極和消極情緒。利用LSS技術(shù),指定兩組表示積極和消極的“種子詞”并與Hownet情感詞匯表進(jìn)行對(duì)比考察。結(jié)果顯示,學(xué)習(xí)者對(duì)慕課學(xué)習(xí)過(guò)程普遍持積極態(tài)度,積極詞匯存在顯著性差異(plt;0.05)。學(xué)習(xí)者對(duì)學(xué)習(xí)過(guò)程感到“開(kāi)心”“快樂(lè)”,對(duì)知識(shí)獲取方面感到“滿足”,對(duì)授課教師表示“感謝”,進(jìn)而“希望”自己能夠在語(yǔ)言能力方面得到提升。在消極詞匯方面,“擔(dān)心”一詞被突顯出來(lái)。經(jīng)人工分析該詞所在的索引行后發(fā)現(xiàn),學(xué)習(xí)者“擔(dān)心”的內(nèi)容主要包括以下幾個(gè)話題:能否堅(jiān)持下去、能否跟上授課進(jìn)度、學(xué)習(xí)內(nèi)容太深?yuàn)W、考試時(shí)間是否沖突、可能會(huì)掛科、作業(yè)惡意互評(píng)等。上述話題主要涉及到學(xué)習(xí)動(dòng)機(jī)、個(gè)性化教學(xué)以及課程考核等多個(gè)方面,值得教師和研究者高度關(guān)注。

    4.3 主題聚類與對(duì)應(yīng)分析

    為了從宏觀上把握學(xué)習(xí)者在積極和消極評(píng)論中的主題分布,我們將課程評(píng)論劃分為4-5星級(jí)評(píng)論和1-2星級(jí)評(píng)論兩個(gè)子語(yǔ)料庫(kù),分別進(jìn)行主題建模以探索學(xué)習(xí)者所關(guān)切的主要話題。4-5星評(píng)論可概括為以下三個(gè)主題:教師授課特點(diǎn)、授課方式以及學(xué)習(xí)者受益點(diǎn)。教師授課具有詳細(xì)、生動(dòng)、實(shí)用等特點(diǎn),外語(yǔ)慕課的視頻學(xué)習(xí)方式使得知識(shí)點(diǎn)清晰、易懂,因此學(xué)習(xí)者在語(yǔ)言技能(如發(fā)音、聽(tīng)力、口語(yǔ)等)以及文化方面均有收獲。1-2星級(jí)評(píng)論的主題更為集中,可概括為兩個(gè)主題。一是負(fù)性評(píng)價(jià),即教學(xué)進(jìn)度、作業(yè)評(píng)價(jià)與考核方式等無(wú)法滿足學(xué)習(xí)者的個(gè)性化需求;二是正性評(píng)價(jià),即學(xué)習(xí)者對(duì)授課內(nèi)容、授課方式以及學(xué)習(xí)視頻等方面基本持積極態(tài)度。

    對(duì)應(yīng)分析可以把學(xué)習(xí)者對(duì)不同類型課程所作的評(píng)價(jià)做降維處理,以顯示學(xué)習(xí)者對(duì)課程的個(gè)性化需求。本研究按照文學(xué)、語(yǔ)言學(xué)、文化、翻譯、寫(xiě)作、語(yǔ)法、閱讀、口語(yǔ)、聽(tīng)力、專門(mén)用途、雅思、大學(xué)英語(yǔ)、專四專八等13個(gè)大類把課程評(píng)論進(jìn)行分組,經(jīng)過(guò)對(duì)應(yīng)分析之后發(fā)現(xiàn)(圖3),“文學(xué)”“專門(mén)用途”類課程評(píng)論屬于“離群值”,與其它語(yǔ)言類課程評(píng)論之間存在顯著差異。一般來(lái)說(shuō),文學(xué)與文化課程屬于知識(shí)性課程,而聽(tīng)力、語(yǔ)法、翻譯以及基礎(chǔ)課程屬于技能類課程,文檔位置的可視化結(jié)果符合外語(yǔ)學(xué)科的常識(shí)。值得注意的是,專門(mén)用途類課程既遠(yuǎn)離技能類課程,又遠(yuǎn)離文學(xué)類課程,表明學(xué)生對(duì)該類課程的期待維度與其他類型的課程不同。

    5.討論

    5.1 學(xué)習(xí)者的整體學(xué)習(xí)體驗(yàn)

    分析結(jié)果表明,作為大數(shù)據(jù)、信息化時(shí)代的重要教學(xué)手段,外語(yǔ)慕課課程為學(xué)習(xí)者提供了較好的學(xué)習(xí)體驗(yàn)。課程評(píng)論以5星級(jí)為主,評(píng)價(jià)主題非常集中,LSS分析結(jié)果積極,學(xué)習(xí)者整體情緒呈現(xiàn)正性體驗(yàn)。這一結(jié)果與(Hsu, 2021; Ye amp; Luo, 2020; 戴朝暉、陳堅(jiān)林, 2016)關(guān)于慕課注重學(xué)習(xí)體驗(yàn)的研究結(jié)論相一致。盡管有研究指出,側(cè)重于技能訓(xùn)練的外語(yǔ)類課程并不太適合目前的慕課模式,但是本研究學(xué)習(xí)者體驗(yàn)結(jié)果表明目前的語(yǔ)言類慕課基本能夠滿足學(xué)習(xí)者的整體學(xué)習(xí)需求,呈現(xiàn)出積極的態(tài)勢(shì)。雖然體驗(yàn)好、受歡迎等并不等同于課程成功或質(zhì)量高(Sokolik, 2014:26),但是積極的課程體驗(yàn)是有效語(yǔ)言學(xué)習(xí)發(fā)生的先決條件,為學(xué)習(xí)者提升課程參與度、降低輟學(xué)率甚至提升語(yǔ)言能力奠定了先發(fā)基礎(chǔ)。研究者可以在未來(lái)研究中進(jìn)一步考察用戶體驗(yàn)、受歡迎程度與課程質(zhì)量或教學(xué)效果之間的關(guān)系。

    5.2 學(xué)習(xí)者關(guān)切主題的維度

    系列數(shù)據(jù)分析結(jié)果表明中國(guó)學(xué)習(xí)者外語(yǔ)慕課的學(xué)習(xí)體驗(yàn)受到課程教師、課程支持服務(wù)與課程內(nèi)容趣味、實(shí)用性的多維度影響。

    5.2.1 授課教師

    主題詞對(duì)比分析以及詞匯共現(xiàn)網(wǎng)絡(luò)的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)教師的授課技巧、發(fā)音、講課思路等方面較為關(guān)注。整體上,積極評(píng)論認(rèn)為教師發(fā)音好、思路清晰、授課生動(dòng)。不容忽視的是,諸如“念”“字幕”“難”等關(guān)鍵詞存在顯著性差異?!澳睢闭n件、講義或視頻腳本可能是一種較為普遍的現(xiàn)象,甚至在多門(mén)課程中普遍存在,學(xué)習(xí)者對(duì)此表現(xiàn)出較為消極的態(tài)度。這要求教師擺脫傳統(tǒng)課堂的思維定式,在授課理念和手段兩個(gè)方面加強(qiáng)學(xué)習(xí)和實(shí)踐。不難想象,如果教師語(yǔ)速過(guò)快,容易造成中低水平學(xué)習(xí)者難以跟上節(jié)奏和思路的現(xiàn)象。教師或慕課平臺(tái)可采用人工智能技術(shù)為視頻自動(dòng)添加字幕,將有助于降低難度,保證教學(xué)質(zhì)量。很大程度上,慕課成功與否取決于教師及其團(tuán)隊(duì),在外語(yǔ)教師“搶奪機(jī)遇,加速建設(shè)線上金課”(馮智文,2020)的背景下,固然需要追求速度和數(shù)量,但更需要注重教師自身的能力和素質(zhì),特別是信息素養(yǎng)的提升,從細(xì)節(jié)入手做到規(guī)范發(fā)音、理清思路、優(yōu)化字幕,為學(xué)習(xí)者提供高質(zhì)量的外語(yǔ)課堂。

    5.2.2 個(gè)性化服務(wù)支持

    對(duì)比主題詞分析的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)作業(yè)、測(cè)驗(yàn)、考試、學(xué)習(xí)進(jìn)度等多個(gè)方面持一定程度的消極態(tài)度,既反映出大部分學(xué)習(xí)者“希望”得到更為個(gè)性化的支持服務(wù),又證實(shí)了前人研究中所發(fā)現(xiàn)的“對(duì)教學(xué)支持,尤其是交互支持還比較薄弱”(戴朝暉、陳堅(jiān)林, 2016:40),甚至“頭重腳輕”(韓艷輝,2019:34)的現(xiàn)象。教師在慕課建設(shè)過(guò)程中的時(shí)間投入由高到低依次是錄制視頻、準(zhǔn)備學(xué)習(xí)材料、交流答疑、測(cè)驗(yàn)與作業(yè)設(shè)計(jì)、了解學(xué)習(xí)者學(xué)習(xí)需求以及組織教學(xué)活動(dòng)(馮永華、劉志軍,2016:85)。固然,制作精良的視頻資源可以激發(fā)學(xué)習(xí)者的興趣和學(xué)習(xí)動(dòng)機(jī),但是在時(shí)間與精力分配嚴(yán)重失衡的情況下,教師與學(xué)習(xí)者缺乏交流與互動(dòng)、課程考核過(guò)于簡(jiǎn)單粗暴、缺乏教學(xué)活動(dòng)設(shè)計(jì)、甚至無(wú)視學(xué)習(xí)者的具體需求,會(huì)導(dǎo)致慕課教學(xué)出現(xiàn)“頭重腳輕”的運(yùn)行現(xiàn)狀。換言之,慕課視頻僅是課程教學(xué)的重要組成部分,缺乏個(gè)性化支持服務(wù)的慕課無(wú)異于、甚至不及“改頭換面”的傳統(tǒng)課堂,難以實(shí)現(xiàn)智慧外語(yǔ)教學(xué)。因此,外語(yǔ)慕課教師亟待克服傳統(tǒng)面授思維的慣性及其束縛,避免機(jī)械化復(fù)制,做到個(gè)性化拓展和延伸(王中祥、張文忠,2024);慕課平臺(tái)運(yùn)營(yíng)方應(yīng)完善相應(yīng)的功能,在技術(shù)上提供模塊支持,重點(diǎn)在測(cè)驗(yàn)、考核、進(jìn)度控制、學(xué)習(xí)者需求分析等方面提升學(xué)習(xí)者的滿意度,為實(shí)現(xiàn)一流外語(yǔ)課程建設(shè)或“金課”建設(shè)打好關(guān)鍵基礎(chǔ)。

    5.2.3 趣味性與實(shí)用性

    綜合積極評(píng)價(jià)中的高頻詞和主題詞分析結(jié)果,“文化”“趣味”“實(shí)用”“academic”“write”“寫(xiě)作”等關(guān)鍵詞較為突顯,顯示出學(xué)習(xí)者一方面喜歡“趣味性”強(qiáng)的文化類課程,另一方面又對(duì)實(shí)用性強(qiáng)的寫(xiě)作課程和學(xué)術(shù)課程普遍認(rèn)可。因此慕課必須有效結(jié)合多模態(tài)手段,增強(qiáng)趣味性,為線上學(xué)習(xí)提供強(qiáng)大動(dòng)力。在“高階性”的前提下讓課程充滿趣味卻不失專業(yè)性(覃軍,2019:60)。有趣的是,學(xué)習(xí)者對(duì)較為“枯燥”的寫(xiě)作與學(xué)術(shù)英語(yǔ)課程高度認(rèn)可,認(rèn)為從實(shí)用課程中可以學(xué)習(xí)到豐富的知識(shí)。究其原因,一方面可能在于慕課模式下的寫(xiě)作和學(xué)術(shù)課程可以結(jié)合現(xiàn)代技術(shù)手段,與傳統(tǒng)的同類課程相比更具新穎性和趣味性;另一方面,學(xué)習(xí)者偏重實(shí)用型的外語(yǔ)課程,認(rèn)為基礎(chǔ)能力的提升需要長(zhǎng)期積累,而實(shí)用能力的提升可以通過(guò)慕課模式得以快速提高。外語(yǔ)教師應(yīng)該從中獲得啟發(fā),在相關(guān)課程設(shè)計(jì)中格外關(guān)注實(shí)用知識(shí)和技巧的設(shè)計(jì)。

    5.3 學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的需求

    文檔位置的可視化結(jié)果顯示,學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的評(píng)論與其它課程評(píng)論距離較遠(yuǎn),明顯屬于不同的類別。文學(xué)課具有與內(nèi)容結(jié)合更加緊密的特點(diǎn),涉及作家、作品、時(shí)代背景等,而專門(mén)用途課程則需要對(duì)學(xué)科知識(shí)背景的深入了解。在觀察語(yǔ)料后發(fā)現(xiàn),文學(xué)與專門(mén)用途類課程評(píng)價(jià)表現(xiàn)出以下兩個(gè)特點(diǎn):一是學(xué)習(xí)者傾向于用英語(yǔ)發(fā)表評(píng)論,而且其評(píng)論長(zhǎng)度明顯高于漢語(yǔ);二是相當(dāng)一部分評(píng)論與課程內(nèi)容相關(guān),涉及文學(xué)作品信息以及不同專業(yè)領(lǐng)域的獨(dú)特詞匯。學(xué)習(xí)者對(duì)文學(xué)和專門(mén)用途類課程的需求有別于普通的語(yǔ)言技能類課程,其原因可能在于以下兩個(gè)方面:首先,兩類課程具有較強(qiáng)的知識(shí)性,文學(xué)課程具有較強(qiáng)的鑒賞性和思辨性,專門(mén)用途類課程具有較強(qiáng)的學(xué)術(shù)性和實(shí)用性。二者輸入材料比較正式,體裁鮮明,學(xué)習(xí)者的課程評(píng)論顯示出與輸入材料的協(xié)同效應(yīng)。其次,兩類課程難度較大,為了強(qiáng)化學(xué)習(xí)效果,學(xué)習(xí)者在寫(xiě)評(píng)論時(shí)以反思的方式,發(fā)表與課程內(nèi)容相關(guān)的見(jiàn)解。正如有學(xué)習(xí)者這樣寫(xiě)道:學(xué)習(xí)的過(guò)程既“痛苦”又有趣有意義,“痛苦”是因?yàn)樵谡n程中需要不斷輸入新知識(shí),同時(shí)挑戰(zhàn)自己,完成各項(xiàng)任務(wù);“有趣”在于完成任務(wù)后的成就感,而“有意義”在于這門(mén)課是真真正正可以讓我對(duì)學(xué)術(shù)英語(yǔ)寫(xiě)作有所了解,而且對(duì)日常的寫(xiě)作能力、信息檢索能力、邏輯思維能力都有很大的幫助。

    6.結(jié)語(yǔ)

    基于大數(shù)據(jù)可視化分析工具,本研究嘗試從課程評(píng)論中挖掘外語(yǔ)慕課學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。可視化方法可以作為語(yǔ)料庫(kù)語(yǔ)言學(xué)分析方法的補(bǔ)充,直觀呈現(xiàn)出學(xué)習(xí)者對(duì)教學(xué)過(guò)程中多元素的感知、反應(yīng)及其學(xué)習(xí)需求。結(jié)果表明,中國(guó)外語(yǔ)慕課學(xué)習(xí)者整體上高度認(rèn)可現(xiàn)有的慕課課程,情感態(tài)度積極,積極學(xué)習(xí)體驗(yàn)受到了課程教師、課程支持和課程內(nèi)容實(shí)用性三個(gè)重要維度的影響。同時(shí),學(xué)習(xí)者在不同類型課程上具有明顯的個(gè)性化需求。值得注意的是,負(fù)性情感體驗(yàn)與成績(jī)考核、作業(yè)互評(píng)以及個(gè)性化支持等維度密切相關(guān),應(yīng)成為下一步外語(yǔ)慕課設(shè)計(jì)的關(guān)注重點(diǎn)。囿于現(xiàn)有數(shù)據(jù)和Quanteda工具包的局限性,未來(lái)應(yīng)在以下三個(gè)方面展開(kāi)研究以補(bǔ)足其不足之處:(1)增加中國(guó)外語(yǔ)慕課網(wǎng)的課程評(píng)論數(shù)據(jù);(2)改進(jìn)Quanteda基于單詞的算法,將二元或三元短語(yǔ)視為基本特征,考察主題短語(yǔ)的分布;(3)未來(lái)從可視化分析結(jié)果中選擇重點(diǎn)研究的話題,通過(guò)解讀索引行進(jìn)行微觀層面的質(zhì)性分析。

    注釋:

    ① 該術(shù)語(yǔ)表由Nellie Mae教育基金會(huì)資助建設(shè),網(wǎng)址:https://www.edglossary.org/learning-experience/。

    ② 該分詞工具由北京大學(xué)語(yǔ)言計(jì)算與機(jī)器學(xué)習(xí)研究組發(fā)布,在公開(kāi)標(biāo)準(zhǔn)測(cè)試集上的準(zhǔn)確率高達(dá)97%,在不同領(lǐng)域測(cè)試集上的平均準(zhǔn)確率達(dá)到91%。

    ③ 在Quanteda工具包中,文檔特征矩陣(DFM)即自然語(yǔ)言處理中常用的詞匯文檔矩陣(Term-Document Matrix),每行代表一個(gè)文檔,每列代表單詞在文檔中出現(xiàn)的次數(shù)。

    參考文獻(xiàn)

    [1]Appel, C. amp; T. Pujola. Designing speaking interaction in LMOOCs: An eTandem approach[J]. Recall, 2021, 33(2):161-176.

    [2]Barcena, E., T. Read, E. Martin-Monje amp; M. Castrillo. Analysing student participation in Foreign Language MOOCs: A case study. EMOOCs 2014[A]. In C. Ulrike amp; K. Delgado (eds.) European MOOCs Stakeholders Summit[C]. Lausanne: Ecole Polytechnique Federale de Lausanne, 2014. 11-17.

    [3]Barkanyi, Z. Motivation, self-efficacy beliefs, and speaking anxiety in language MOOCs[J]. Recall, 2021, 33(2):143-160.

    [4]Benoit, K., K. Watanabe, H. Wang, P. Nulty, A. Obeng, S. Müller amp; A. Matsuo. Quanteda: An R package for the quantitative analysis of textual data[J]. The Journal of Open Source Software, 2018, 3(30):774-776.

    [5]Bondi, M. amp; M. Scott. Keyness in Texts[M]. Amsterdam: John Benjamins Publishing Company, 2010.

    [6]Fridriksdottir, K. The effect of content-related and external factors on student retention in LMOOCs[J]. Recall, 2021, 33(2):128-142.

    [7]Hsu, L. What makes good LMOOCs for EFL learners? Learners’ personal characteristics and Information System Success Model[J]. Computer Assisted Language Learning, 2021, (3): 1-25.

    [8]Hsu, L. A grounded theory exploration of Language Massive Open Online Courses (LMOOCs): Understanding students’ viewpoints[J]. Sustainability, 2021, 13(5):2577-2594.

    [9]Luo, R., J. Xu, Y. Zhang, X. Ren amp; X. Sun. PKUSEG: A toolkit for multi-domain Chinese word segmentation[J/OL]. 2019. https://arxiv.org/pdf/1906.11455.pdf.[2023-12-06]

    [10]Luo, R. amp; Z. Ye. What makes a good-quality language MOOC? An empirical study of criteria to evaluate the quality of online language courses from learners’ perspectives[J]. Recall, 2021, 33(2):177-192.

    [11]Mac Lochlainn, C., M. N. G. Mhichil amp; E. Beirne. Clicking, but connecting? L2 learning engagement on an ab initio Irish language LMOOC[J]. Recall, 2021, 33(2):111-127.

    [12]Martín-Monje, E. amp; E. Bárcena. Language MOOCs: Providing Learning, Transcending Boundaries[M]. Berlin: De Gruyter Open, 2014.

    [13]Martín-Monje, E. amp; K. Borthwick. Researching massive open online courses for language teaching and learning[J]. ReCALL, 2021, 33(2):107-110.

    [14]Sokolik, M. What Constitutes an Effective Language MOOC?[A]. In E. M. Monje amp; E. Bárcena Madera (eds.). Language MOOCs: Providing Learning, Transcending Boundaries[C]. Berlin: De Gruyter Open, 2014. 16-32.

    [15]Watanabe, K. Latent Semantic Scaling: A semisupervised text analysis technique for new domains and languages[J]. Communication Methods and Measures, 2020, 15(2):81-102.

    [16]Ye, Z. amp; R. Luo, Evaluating online courses: How learners perceive language MOOCs[A]. In C. Pang, et al. (eds.). Learning Technologies and Systems. SETE ICWL 2020. Lecture Notes in Computer Science, Vol. 12511[C]. Cham: Springer, 2021. 334-343.

    [17]陳堅(jiān)林. 大數(shù)據(jù)時(shí)代的慕課與外語(yǔ)教學(xué)研究——挑戰(zhàn)與機(jī)遇[J]. 外語(yǔ)電化教學(xué), 2015, (1): 3-8+16.

    [18]戴朝暉,陳堅(jiān)林. 基于慕課理念的大學(xué)英語(yǔ)翻轉(zhuǎn)課堂影響因素研究[J]. 外語(yǔ)電化教學(xué), 2016, (6): 35-41.

    [19]馮永華,劉志軍. 慕課開(kāi)發(fā)的問(wèn)題、成因及改進(jìn)路徑——基于開(kāi)設(shè)慕課的高校教師調(diào)查[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2016, (6): 82-92.

    [20]馮智文. 中國(guó)外語(yǔ)金課的內(nèi)涵及其建設(shè)方略[J]. 外語(yǔ)教學(xué), 2020, (2):59-63.

    [21]韓艷輝. 國(guó)內(nèi)慕課建設(shè)評(píng)議——兼論外語(yǔ)類課程的慕課適用性[J]. 外語(yǔ)電化教學(xué), 2019, (5): 33-38.

    [22]胡杰輝. 外語(yǔ)翻轉(zhuǎn)課堂促學(xué)效能差異的對(duì)比研究[J]. 外語(yǔ)界, 2017, (6): 20-28.

    [23]胡杰輝. 混合式外語(yǔ)教學(xué)的理論內(nèi)涵與研究范式[J]. 外語(yǔ)界, 2021, (4): 2-10.

    [24]胡永斌,黃榮懷. 智慧學(xué)習(xí)環(huán)境的學(xué)習(xí)體驗(yàn):定義、要素與量表開(kāi)發(fā)[J]. 電化教育研究, 2016, (37): 67-73.

    [25]覃軍. 技術(shù)驅(qū)動(dòng)學(xué)習(xí)" 打造外語(yǔ)“金課”——外語(yǔ)類國(guó)家精品在線開(kāi)放課程建設(shè)現(xiàn)狀、問(wèn)題及對(duì)策研究[J]. 外語(yǔ)電化教學(xué), 2019, (3): 55-61.

    [26]孫先洪,張茜,邵越,李靜. 外語(yǔ)慕課平臺(tái)自適應(yīng)性評(píng)價(jià)指標(biāo)驗(yàn)證研究[J]. 外語(yǔ)電化教學(xué), 2021, (1): 66-70+11.

    [27]王中祥,張文忠. 我國(guó)外語(yǔ)類線上一流本科課程建設(shè): 成就、困境與策略[J]. 山東外語(yǔ)教學(xué),2024,(1) : 44-53.

    [28]楊港,戴朝暉. 大學(xué)生英語(yǔ)在線學(xué)習(xí)投入維度構(gòu)成及影響路徑分析[J]. 外語(yǔ)與外語(yǔ)教學(xué), 2021, (4): 113-123+150-151.

    [29]葉興國(guó). 外語(yǔ)教師面臨的新形勢(shì)新問(wèn)題[J]. 外語(yǔ)教學(xué)與研究, 2017, (2): 292-295.

    [30]張文德,黃禹. MOOC課程評(píng)論可視化分析系統(tǒng)構(gòu)建——以中國(guó)大學(xué)MOOC平臺(tái)為例[J]. 情報(bào)探索, 2020, (5): 59-64.(責(zé)任編輯:潘潔)

    猜你喜歡
    學(xué)習(xí)體驗(yàn)課程評(píng)價(jià)語(yǔ)料庫(kù)
    《語(yǔ)料庫(kù)翻譯文體學(xué)》評(píng)介
    把課文的優(yōu)美表達(dá)存進(jìn)語(yǔ)料庫(kù)
    面向卓越教師的師范生實(shí)訓(xùn)課程評(píng)價(jià)研究
    考試周刊(2016年21期)2016-12-16 11:34:37
    基于學(xué)習(xí)行為數(shù)據(jù)的在線學(xué)習(xí)時(shí)間規(guī)律探析
    例談數(shù)學(xué)課程改革熱潮中的冷靜思索
    基于工作室教學(xué)模式的工業(yè)設(shè)計(jì)課程評(píng)價(jià)體系研究
    云計(jì)算背景下的學(xué)生課程評(píng)價(jià)模式探究
    契合感知,讓學(xué)生在快樂(lè)中學(xué)習(xí)數(shù)學(xué)
    應(yīng)用型本科院?!巴ㄗR(shí)教育”的教務(wù)管理及對(duì)策分析
    基于JAVAEE的維吾爾中介語(yǔ)語(yǔ)料庫(kù)開(kāi)發(fā)與實(shí)現(xiàn)
    99香蕉大伊视频| 欧美精品高潮呻吟av久久| 中文字幕制服av| 国产精品麻豆人妻色哟哟久久| 久久精品国产亚洲av天美| 亚洲,欧美,日韩| 老汉色av国产亚洲站长工具| 久久精品国产亚洲av高清一级| 人妻一区二区av| 精品少妇黑人巨大在线播放| 欧美日韩一区二区视频在线观看视频在线| 色网站视频免费| 看非洲黑人一级黄片| 菩萨蛮人人尽说江南好唐韦庄| 久久久久视频综合| 一级毛片我不卡| 欧美精品亚洲一区二区| 老汉色∧v一级毛片| 国产成人精品一,二区| 熟女av电影| 在线天堂中文资源库| 国产av一区二区精品久久| 熟女电影av网| 成人黄色视频免费在线看| 菩萨蛮人人尽说江南好唐韦庄| 色婷婷av一区二区三区视频| av电影中文网址| 三级国产精品片| 国产一区有黄有色的免费视频| 亚洲精品一二三| 亚洲经典国产精华液单| 91午夜精品亚洲一区二区三区| 国产亚洲欧美精品永久| 国产免费一区二区三区四区乱码| 少妇人妻精品综合一区二区| 午夜免费男女啪啪视频观看| 欧美日韩一区二区视频在线观看视频在线| 久久精品国产亚洲av高清一级| 久久久亚洲精品成人影院| 看非洲黑人一级黄片| 免费久久久久久久精品成人欧美视频| 9191精品国产免费久久| 久久久久久免费高清国产稀缺| 国产精品不卡视频一区二区| 国产有黄有色有爽视频| 少妇被粗大猛烈的视频| 精品少妇久久久久久888优播| 亚洲一区中文字幕在线| 国产野战对白在线观看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 国产av精品麻豆| 亚洲精品视频女| 国产一区二区在线观看av| 黑人猛操日本美女一级片| 久久97久久精品| 热99国产精品久久久久久7| 亚洲精品成人av观看孕妇| 精品少妇内射三级| 久久精品夜色国产| 亚洲第一av免费看| 欧美日韩综合久久久久久| 日韩人妻精品一区2区三区| 又大又黄又爽视频免费| 久久精品久久久久久噜噜老黄| 精品福利永久在线观看| 国产精品偷伦视频观看了| 成人国语在线视频| 日韩成人av中文字幕在线观看| 王馨瑶露胸无遮挡在线观看| 免费看av在线观看网站| 久久婷婷青草| 国产一区二区激情短视频 | av网站免费在线观看视频| 国产一区二区三区av在线| 亚洲av男天堂| 啦啦啦在线观看免费高清www| 大码成人一级视频| 日韩av不卡免费在线播放| 精品国产一区二区三区久久久樱花| 国产毛片在线视频| 国产日韩欧美在线精品| 国产亚洲精品第一综合不卡| 韩国高清视频一区二区三区| 激情视频va一区二区三区| 亚洲av免费高清在线观看| 一本大道久久a久久精品| 天天躁日日躁夜夜躁夜夜| 国产综合精华液| 国产激情久久老熟女| 亚洲综合色惰| 69精品国产乱码久久久| 免费女性裸体啪啪无遮挡网站| 精品国产露脸久久av麻豆| 色94色欧美一区二区| 岛国毛片在线播放| 亚洲精品久久成人aⅴ小说| 欧美国产精品va在线观看不卡| 美女xxoo啪啪120秒动态图| 久久久国产一区二区| av福利片在线| 婷婷色综合大香蕉| 两性夫妻黄色片| 电影成人av| 久久国产精品大桥未久av| 一级片'在线观看视频| 少妇被粗大猛烈的视频| 我的亚洲天堂| 韩国高清视频一区二区三区| 18禁国产床啪视频网站| av.在线天堂| 男人操女人黄网站| 国产日韩一区二区三区精品不卡| 午夜激情av网站| 精品亚洲乱码少妇综合久久| 久久鲁丝午夜福利片| av网站免费在线观看视频| av片东京热男人的天堂| 精品国产国语对白av| 青春草国产在线视频| 日本欧美视频一区| 国产免费现黄频在线看| 一区在线观看完整版| 男女边吃奶边做爰视频| 欧美 亚洲 国产 日韩一| 妹子高潮喷水视频| 熟女av电影| 永久免费av网站大全| 婷婷色综合大香蕉| 国精品久久久久久国模美| 一二三四在线观看免费中文在| 日日啪夜夜爽| 人人妻人人澡人人爽人人夜夜| 欧美日韩成人在线一区二区| 久久ye,这里只有精品| 最近手机中文字幕大全| 丝瓜视频免费看黄片| 在线观看一区二区三区激情| 亚洲av电影在线进入| 青草久久国产| 91久久精品国产一区二区三区| 大片免费播放器 马上看| 韩国高清视频一区二区三区| 18禁国产床啪视频网站| 香蕉国产在线看| www.熟女人妻精品国产| 少妇人妻精品综合一区二区| 国产色婷婷99| 在线天堂最新版资源| 日韩中字成人| 中文字幕最新亚洲高清| 欧美 亚洲 国产 日韩一| 97在线人人人人妻| 看十八女毛片水多多多| 中文字幕人妻熟女乱码| 成人国语在线视频| 咕卡用的链子| 丝瓜视频免费看黄片| 久热这里只有精品99| 久久鲁丝午夜福利片| 免费人妻精品一区二区三区视频| √禁漫天堂资源中文www| 不卡av一区二区三区| 自线自在国产av| 欧美日本中文国产一区发布| 这个男人来自地球电影免费观看 | 天天操日日干夜夜撸| 搡女人真爽免费视频火全软件| 亚洲情色 制服丝袜| 国产老妇伦熟女老妇高清| 精品亚洲乱码少妇综合久久| 岛国毛片在线播放| 亚洲精品,欧美精品| 一边亲一边摸免费视频| 亚洲欧美清纯卡通| 欧美亚洲日本最大视频资源| 国产午夜精品一二区理论片| 婷婷色麻豆天堂久久| 亚洲国产欧美在线一区| 天天躁日日躁夜夜躁夜夜| 免费黄网站久久成人精品| 欧美激情 高清一区二区三区| 天天躁夜夜躁狠狠久久av| 国产激情久久老熟女| 人妻人人澡人人爽人人| 黄网站色视频无遮挡免费观看| 久久久久久久亚洲中文字幕| 日韩一区二区视频免费看| 成人免费观看视频高清| 亚洲欧美一区二区三区黑人 | 在线亚洲精品国产二区图片欧美| 免费大片黄手机在线观看| 中文字幕另类日韩欧美亚洲嫩草| 亚洲欧洲国产日韩| 日日摸夜夜添夜夜爱| 亚洲精品成人av观看孕妇| 久久久精品免费免费高清| 国产成人精品久久久久久| 国产极品天堂在线| 亚洲人成电影观看| 欧美av亚洲av综合av国产av | a 毛片基地| 久久精品久久久久久久性| 激情视频va一区二区三区| 国产在视频线精品| 免费看av在线观看网站| 狠狠精品人妻久久久久久综合| 国产爽快片一区二区三区| 三上悠亚av全集在线观看| 丰满少妇做爰视频| 人妻人人澡人人爽人人| 日韩欧美精品免费久久| 在现免费观看毛片| 97人妻天天添夜夜摸| 国产精品国产三级国产专区5o| 国产在线一区二区三区精| 午夜福利乱码中文字幕| 亚洲中文av在线| 电影成人av| 日韩制服骚丝袜av| 91久久精品国产一区二区三区| 日韩欧美精品免费久久| 免费黄频网站在线观看国产| 黄频高清免费视频| 大码成人一级视频| 丝袜脚勾引网站| 亚洲人成网站在线观看播放| 91午夜精品亚洲一区二区三区| 精品一区在线观看国产| 少妇熟女欧美另类| 伦精品一区二区三区| 69精品国产乱码久久久| 卡戴珊不雅视频在线播放| 97在线人人人人妻| 人成视频在线观看免费观看| 国产精品亚洲av一区麻豆 | 综合色丁香网| 制服人妻中文乱码| 亚洲欧洲精品一区二区精品久久久 | 国产色婷婷99| 人妻 亚洲 视频| 妹子高潮喷水视频| 中文字幕亚洲精品专区| 九九爱精品视频在线观看| 亚洲精品中文字幕在线视频| 久久国产精品男人的天堂亚洲| 成年动漫av网址| 在线天堂最新版资源| 一区二区av电影网| 免费在线观看视频国产中文字幕亚洲 | 啦啦啦啦在线视频资源| 人成视频在线观看免费观看| 我的亚洲天堂| 99久久人妻综合| 少妇被粗大的猛进出69影院| 欧美日韩视频精品一区| 日日爽夜夜爽网站| 久久精品国产亚洲av涩爱| 国产精品秋霞免费鲁丝片| 日日爽夜夜爽网站| 一级爰片在线观看| 午夜日本视频在线| xxxhd国产人妻xxx| 国产爽快片一区二区三区| 亚洲第一区二区三区不卡| 日韩av免费高清视频| 亚洲欧美日韩另类电影网站| 久久鲁丝午夜福利片| 国产成人91sexporn| 中文乱码字字幕精品一区二区三区| 亚洲国产看品久久| 香蕉国产在线看| 亚洲成人手机| 18+在线观看网站| 伊人亚洲综合成人网| 免费av中文字幕在线| 校园人妻丝袜中文字幕| 欧美人与性动交α欧美软件| 美女中出高潮动态图| 亚洲av国产av综合av卡| 日本猛色少妇xxxxx猛交久久| av卡一久久| 亚洲第一青青草原| 两性夫妻黄色片| 亚洲国产欧美网| 一级爰片在线观看| 成人黄色视频免费在线看| 一本久久精品| 国产伦理片在线播放av一区| 日韩精品有码人妻一区| 久久午夜福利片| 国产乱人偷精品视频| 女性生殖器流出的白浆| www.精华液| 国产精品久久久久久精品古装| 岛国毛片在线播放| 国产亚洲午夜精品一区二区久久| 国产精品久久久久久精品古装| 色网站视频免费| √禁漫天堂资源中文www| 国产一级毛片在线| 亚洲人成77777在线视频| 日韩av免费高清视频| 黄色 视频免费看| 人体艺术视频欧美日本| 成人影院久久| 亚洲欧美精品综合一区二区三区 | 亚洲精品av麻豆狂野| 国精品久久久久久国模美| 国产乱来视频区| 欧美成人午夜精品| 午夜福利乱码中文字幕| 欧美+日韩+精品| 午夜精品国产一区二区电影| h视频一区二区三区| 免费高清在线观看日韩| 男女边摸边吃奶| av片东京热男人的天堂| 国精品久久久久久国模美| 天堂俺去俺来也www色官网| 午夜影院在线不卡| 亚洲人成77777在线视频| 国产免费现黄频在线看| 最新的欧美精品一区二区| 色吧在线观看| 黑人猛操日本美女一级片| 国产精品熟女久久久久浪| 丝瓜视频免费看黄片| 亚洲欧美成人精品一区二区| 老鸭窝网址在线观看| 日韩不卡一区二区三区视频在线| 多毛熟女@视频| 亚洲内射少妇av| 国产综合精华液| 91在线精品国自产拍蜜月| 欧美国产精品va在线观看不卡| 天堂俺去俺来也www色官网| 久久久久久人妻| 久久久a久久爽久久v久久| 日日啪夜夜爽| 国产av一区二区精品久久| 满18在线观看网站| 一本色道久久久久久精品综合| 亚洲成人手机| 美国免费a级毛片| 三上悠亚av全集在线观看| 不卡视频在线观看欧美| 精品福利永久在线观看| 久久久精品94久久精品| 韩国精品一区二区三区| 国产精品国产三级专区第一集| 王馨瑶露胸无遮挡在线观看| 午夜免费男女啪啪视频观看| 日韩制服骚丝袜av| 国产无遮挡羞羞视频在线观看| 99国产综合亚洲精品| 亚洲精品国产色婷婷电影| 超碰成人久久| 亚洲精品美女久久av网站| 午夜激情久久久久久久| 熟妇人妻不卡中文字幕| 欧美最新免费一区二区三区| 亚洲av电影在线观看一区二区三区| 乱人伦中国视频| 99精国产麻豆久久婷婷| 成人国语在线视频| 精品人妻偷拍中文字幕| 哪个播放器可以免费观看大片| 国产视频首页在线观看| a级毛片黄视频| 97在线人人人人妻| 亚洲成av片中文字幕在线观看 | 久热久热在线精品观看| 欧美精品一区二区免费开放| 欧美日韩亚洲高清精品| 亚洲国产av新网站| 十八禁高潮呻吟视频| 人人妻人人澡人人看| 中文字幕亚洲精品专区| 视频区图区小说| 国产精品国产三级国产专区5o| 免费高清在线观看视频在线观看| 国产精品久久久久久精品古装| 1024视频免费在线观看| 啦啦啦啦在线视频资源| 九草在线视频观看| 一级毛片 在线播放| 最近的中文字幕免费完整| 伊人亚洲综合成人网| 日本欧美国产在线视频| 久久免费观看电影| 性色av一级| 哪个播放器可以免费观看大片| 女人被躁到高潮嗷嗷叫费观| 极品人妻少妇av视频| 天堂俺去俺来也www色官网| 香蕉国产在线看| 亚洲国产欧美日韩在线播放| 又大又黄又爽视频免费| 久久久a久久爽久久v久久| 中国三级夫妇交换| 精品视频人人做人人爽| av一本久久久久| 亚洲国产精品999| 精品少妇久久久久久888优播| www.av在线官网国产| 精品少妇内射三级| 亚洲欧美精品自产自拍| 中文精品一卡2卡3卡4更新| 亚洲国产成人一精品久久久| 一区在线观看完整版| 不卡av一区二区三区| 成人毛片a级毛片在线播放| 高清欧美精品videossex| 中文字幕人妻丝袜制服| av女优亚洲男人天堂| 国产一区二区三区综合在线观看| 欧美中文综合在线视频| 国产毛片在线视频| 啦啦啦视频在线资源免费观看| 五月开心婷婷网| 亚洲国产欧美网| 免费观看av网站的网址| 9热在线视频观看99| 一级片免费观看大全| 一级a爱视频在线免费观看| 一区二区三区精品91| 亚洲av综合色区一区| 观看av在线不卡| 久久人人97超碰香蕉20202| 亚洲国产av新网站| 亚洲三级黄色毛片| 久久久久人妻精品一区果冻| 大香蕉久久网| 啦啦啦在线免费观看视频4| 国产男女超爽视频在线观看| 热99国产精品久久久久久7| 午夜福利网站1000一区二区三区| 三级国产精品片| 中文字幕人妻熟女乱码| 一个人免费看片子| 伦理电影免费视频| 老汉色av国产亚洲站长工具| 一级毛片我不卡| 交换朋友夫妻互换小说| 亚洲成人一二三区av| 少妇人妻 视频| 精品亚洲成国产av| 午夜久久久在线观看| 久久av网站| 久久人人爽av亚洲精品天堂| 欧美最新免费一区二区三区| 男人爽女人下面视频在线观看| 91午夜精品亚洲一区二区三区| 久久久久久免费高清国产稀缺| 视频区图区小说| 一级爰片在线观看| 亚洲国产精品一区三区| 国产精品一区二区在线观看99| 久久国内精品自在自线图片| 丰满乱子伦码专区| 一级毛片 在线播放| 免费黄网站久久成人精品| 青草久久国产| 在线免费观看不下载黄p国产| 成人毛片a级毛片在线播放| 99久久精品国产国产毛片| av有码第一页| 久久久久久久精品精品| 亚洲,欧美精品.| 丰满乱子伦码专区| 成年女人在线观看亚洲视频| 女人精品久久久久毛片| 国产深夜福利视频在线观看| 91精品国产国语对白视频| 欧美+日韩+精品| 久久精品国产综合久久久| 成人毛片a级毛片在线播放| 天堂俺去俺来也www色官网| 亚洲美女视频黄频| 精品一区二区三卡| 观看美女的网站| 最近中文字幕2019免费版| a级毛片黄视频| 成人手机av| 亚洲国产精品国产精品| 国产精品免费大片| www.av在线官网国产| 99久国产av精品国产电影| 国产极品天堂在线| 自线自在国产av| 国产亚洲欧美精品永久| 精品人妻熟女毛片av久久网站| 一级毛片我不卡| 1024视频免费在线观看| 欧美成人午夜免费资源| 一级片'在线观看视频| 亚洲,欧美,日韩| 一区二区三区乱码不卡18| 一级,二级,三级黄色视频| 国产欧美日韩一区二区三区在线| 大片电影免费在线观看免费| 国产一区二区三区综合在线观看| 99久国产av精品国产电影| 在线观看免费日韩欧美大片| 久久精品国产鲁丝片午夜精品| 亚洲欧洲日产国产| 女性生殖器流出的白浆| a 毛片基地| 欧美日韩一级在线毛片| 午夜影院在线不卡| 天美传媒精品一区二区| 香蕉丝袜av| 人妻少妇偷人精品九色| 国产黄频视频在线观看| 亚洲少妇的诱惑av| 久久影院123| 色94色欧美一区二区| 777久久人妻少妇嫩草av网站| 日韩中字成人| 一区福利在线观看| 少妇猛男粗大的猛烈进出视频| 交换朋友夫妻互换小说| 久久久久久久国产电影| 欧美中文综合在线视频| 看十八女毛片水多多多| 一级a爱视频在线免费观看| 少妇人妻 视频| 成年动漫av网址| 久久热在线av| 国产精品av久久久久免费| 97精品久久久久久久久久精品| 久久这里只有精品19| h视频一区二区三区| 国精品久久久久久国模美| 久久精品国产亚洲av高清一级| 性色av一级| 亚洲av.av天堂| 亚洲,欧美精品.| 王馨瑶露胸无遮挡在线观看| 免费观看av网站的网址| 9热在线视频观看99| 大香蕉久久成人网| 卡戴珊不雅视频在线播放| 午夜福利视频在线观看免费| 日韩中字成人| 精品亚洲乱码少妇综合久久| 色吧在线观看| 久久狼人影院| √禁漫天堂资源中文www| 尾随美女入室| av在线播放精品| 在线天堂中文资源库| 亚洲精品久久午夜乱码| 精品少妇黑人巨大在线播放| 亚洲内射少妇av| 少妇的逼水好多| 熟女少妇亚洲综合色aaa.| 男女无遮挡免费网站观看| 有码 亚洲区| 宅男免费午夜| 久久久久久久精品精品| 久久精品人人爽人人爽视色| 久久 成人 亚洲| 久久女婷五月综合色啪小说| 婷婷色综合www| 久久久久久久久久久久大奶| 曰老女人黄片| 丝袜人妻中文字幕| 黄色 视频免费看| 日韩精品有码人妻一区| 久久久a久久爽久久v久久| 日本猛色少妇xxxxx猛交久久| 日韩在线高清观看一区二区三区| 久久久久久久精品精品| 女人久久www免费人成看片| 99九九在线精品视频| 免费观看av网站的网址| 人妻少妇偷人精品九色| 国产精品偷伦视频观看了| 中文字幕制服av| 在线观看三级黄色| 国产在线免费精品| 在线免费观看不下载黄p国产| 十分钟在线观看高清视频www| 国产毛片在线视频| 亚洲一区中文字幕在线| 国产麻豆69| 高清视频免费观看一区二区| 免费日韩欧美在线观看| av福利片在线| 18+在线观看网站| 99久国产av精品国产电影| 最新中文字幕久久久久| 热99久久久久精品小说推荐| 免费在线观看视频国产中文字幕亚洲 | 日韩大片免费观看网站| 国产在线视频一区二区| 久久久久国产精品人妻一区二区| 少妇人妻久久综合中文| 91精品三级在线观看| 黄色视频在线播放观看不卡| 精品久久久久久电影网| 午夜福利,免费看| 下体分泌物呈黄色| 七月丁香在线播放| 在线天堂中文资源库| 久久人人爽人人片av| 亚洲av福利一区| 女人久久www免费人成看片| av电影中文网址| 街头女战士在线观看网站| 在线观看免费视频网站a站| 人妻人人澡人人爽人人| 最黄视频免费看| 亚洲,欧美精品.|