• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)研究

    2023-08-26 19:18:08徐振國王佳寧王悅郭順利謝萬里
    電化教育研究 2023年8期
    關(guān)鍵詞:課程質(zhì)量課程評價(jià)在線課程

    徐振國 王佳寧 王悅 郭順利 謝萬里

    [摘? ?要] 自媒體平臺存在海量在線課程,但質(zhì)量良莠不齊,嚴(yán)重影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效率,因此,探索客觀、準(zhǔn)確、高效的自媒體平臺在線課程質(zhì)量評價(jià)方法成為亟待解決的現(xiàn)實(shí)問題。針對該問題,研究首先構(gòu)建在線課程質(zhì)量評價(jià)體系,并利用層次分析法確定各指標(biāo)權(quán)重。其次,利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程評論數(shù)據(jù)進(jìn)行粗粒度情感分析和細(xì)粒度情感分析,以實(shí)現(xiàn)自媒體平臺在線課程質(zhì)量評價(jià)。最后,采集Bilibili平臺在線課程評論數(shù)據(jù)進(jìn)行應(yīng)用研究,并通過實(shí)驗(yàn)證實(shí)該方法具有較高的可行性、可信度和準(zhǔn)確率,可實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià),以促進(jìn)在線課程良性發(fā)展,優(yōu)化學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

    [關(guān)鍵詞] 在線課程; 自媒體平臺; 課程質(zhì)量; 深度學(xué)習(xí); 課程評價(jià)

    [中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 徐振國(1989—),男,山東泰安人。副教授,博士,主要從事教育人工智能、數(shù)字化學(xué)習(xí)資源、在線學(xué)習(xí)行為研究。E-mail:xu.zhen.guo@163.com。謝萬里為通訊作者,E-mail:wanlix2021@163.com。

    一、引? ?言

    黨的二十大報(bào)告指出,推進(jìn)教育數(shù)字化,建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會、學(xué)習(xí)型大國。當(dāng)前,以Coursera、Udacity、中國大學(xué)MOOC等為代表的MOOC平臺和以YouTube、Bilibili、抖音等為代表的自媒體平臺包含大量在線課程資源,成為學(xué)習(xí)者開展在線學(xué)習(xí)和終身學(xué)習(xí)的重要渠道[1]。自媒體平臺具有傳播速度快、影響范圍廣、交互性強(qiáng)等鮮明特點(diǎn),持續(xù)保持良好發(fā)展勢頭[2]。與MOOC平臺課程相比,自媒體平臺課程擁有相對多元的授課風(fēng)格、更輕松的學(xué)習(xí)氛圍和更便捷的交互形式,深受學(xué)習(xí)者喜愛。然而,自媒體平臺課程的準(zhǔn)入門檻較低,缺乏監(jiān)管約束,導(dǎo)致課程質(zhì)量良莠不齊,學(xué)習(xí)者通常需要花費(fèi)較長時(shí)間才能找到滿足學(xué)習(xí)需求的高質(zhì)量課程。課程質(zhì)量評價(jià)能夠通過對課程的科學(xué)評判,實(shí)現(xiàn)課程篩選和優(yōu)質(zhì)課程推薦[3],從而提高學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效果,并激勵上傳者開發(fā)更多優(yōu)質(zhì)課程。因此,探索客觀、準(zhǔn)確、高效且有針對性并易于操作的自媒體平臺在線課程質(zhì)量評價(jià)方法成為目前亟待解決的現(xiàn)實(shí)問題。研究利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程的評論數(shù)據(jù)進(jìn)行情感分析,以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià),促進(jìn)在線課程的提質(zhì)增效和日臻完善。

    二、相關(guān)研究

    傳統(tǒng)的在線課程質(zhì)量評價(jià)主要有三種方法:專家評價(jià)法、質(zhì)量標(biāo)準(zhǔn)評價(jià)法和學(xué)習(xí)者評價(jià)法。然而,每種方法都有其局限性。專家評價(jià)法是選擇具備扎實(shí)專業(yè)知識的專家和具有豐富教學(xué)經(jīng)驗(yàn)的教師,以“背靠背”打分的方式對在線課程做出定量評價(jià)[4]。此種方法優(yōu)點(diǎn)是具有較強(qiáng)的可靠性、適應(yīng)性和穩(wěn)定性,并能夠在有限的數(shù)據(jù)資料條件下進(jìn)行定量估計(jì);缺點(diǎn)是費(fèi)時(shí)費(fèi)力,并依賴于專家的知識和經(jīng)驗(yàn),通常用于小規(guī)模優(yōu)質(zhì)課程評選。質(zhì)量標(biāo)準(zhǔn)評價(jià)法是采用成熟的準(zhǔn)則作為評估標(biāo)準(zhǔn),然而此方法常常忽視學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。學(xué)習(xí)者評價(jià)法是學(xué)習(xí)者按照自己的標(biāo)準(zhǔn)和體驗(yàn)對課程進(jìn)行評價(jià),雖然該方法體現(xiàn)了學(xué)習(xí)者的主體性,但學(xué)習(xí)者的評分通常具有較強(qiáng)的概括性,并易受學(xué)習(xí)者主觀傾向的影響,根據(jù)評分往往難以確定影響在線課程質(zhì)量優(yōu)劣的因素。

    自媒體時(shí)代用戶生成內(nèi)容(User Generated Content,UGC)承載著信息傳播、思想碰撞、情感宣泄等多種功能[5],彈幕、評論等互動方式具有新穎性、即時(shí)性、交互性、簡便性、風(fēng)格化等特征,深受青年群體的青睞,并是用戶表達(dá)訴求、態(tài)度和觀點(diǎn)的重要方式。針對自媒體平臺在線課程,學(xué)習(xí)者的彈幕和評論既可表達(dá)真實(shí)想法,也可抒發(fā)內(nèi)心情感。因此,部分研究者利用數(shù)據(jù)挖掘方法,對學(xué)習(xí)者的彈幕、評論等內(nèi)容進(jìn)行分析,以便彌補(bǔ)傳統(tǒng)在線課程質(zhì)量評價(jià)方法的缺陷。Cong Qi、Xian Peng、Aytu?Onan等基于傳統(tǒng)機(jī)器學(xué)習(xí)方法,挖掘?qū)W習(xí)者評論所隱含的態(tài)度傾向,實(shí)現(xiàn)對在線課程的評價(jià)[6-8]。相較于態(tài)度傾向,情感傾向更能反映學(xué)習(xí)者對在線課程的直觀感受,以及對教師和課程的真實(shí)意見,評論的情感傾向需要借助文本情感分析方法進(jìn)行判斷。目前研究者常采用WordNet、HowNet、Ntusd等詞典實(shí)現(xiàn)對在線課程評論數(shù)據(jù)的情感分析[9]。基于情感詞典的文本情感分析方法耗時(shí)費(fèi)力,所得結(jié)果的準(zhǔn)確性依賴于所選取情感詞典的質(zhì)量和覆蓋范圍。隨著計(jì)算機(jī)性能的提升和人工智能算法的優(yōu)化,有研究表明,基于深度學(xué)習(xí)的文本情感分析方法具有更高的準(zhǔn)確率和更強(qiáng)的適應(yīng)性,綜合性能優(yōu)于基于情感詞典的方法[10]。

    綜上所述,目前研究者主要圍繞Coursera、Udacity、中國大學(xué)MOOC、學(xué)堂在線等MOOC平臺在線課程進(jìn)行研究,對自媒體平臺在線課程缺乏關(guān)注。在線課程質(zhì)量評價(jià)多基于學(xué)習(xí)者評論內(nèi)容的態(tài)度傾向和情感傾向,其情感傾向識別常應(yīng)用情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)方法。構(gòu)建適用且科學(xué)的在線課程質(zhì)量評價(jià)體系,并基于深度學(xué)習(xí)算法對學(xué)習(xí)者評論進(jìn)行情感分析,以此實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià),可更好地體現(xiàn)課程質(zhì)量評價(jià)的導(dǎo)向作用、激勵作用、反饋?zhàn)饔煤捅鎰e作用,并提升自媒體時(shí)代學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。研究以Bilibili平臺在線課程為研究對象,基于深度學(xué)習(xí)模型ERNIE對在線課程的評論數(shù)據(jù)進(jìn)行情感分析,從學(xué)習(xí)者的角度探討在線課程質(zhì)量的評價(jià)方法。

    三、研究設(shè)計(jì)與方法

    研究主要包括兩個(gè)步驟:第一,構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,通過德爾菲法征集專家意見,并根據(jù)專家意見進(jìn)行完善;利用層次分析法,采用9級比例標(biāo)尺構(gòu)造判斷矩陣,進(jìn)而得出評價(jià)體系各指標(biāo)的權(quán)重。第二,提出基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法,包括在線課程評論數(shù)據(jù)采集與預(yù)處理、計(jì)算TF-IDF值確定關(guān)鍵詞、選取在線課程質(zhì)量評價(jià)體系各指標(biāo)的標(biāo)簽詞;使用深度學(xué)習(xí)模型ERNIE對課程評論數(shù)據(jù)進(jìn)行情感分析,并加權(quán)計(jì)算在線課程的最終得分。研究過程和方法如圖1所示。

    (一)自媒體平臺在線課程質(zhì)量評價(jià)體系構(gòu)建

    目前,研究機(jī)構(gòu)已發(fā)布諸多有關(guān)在線課程質(zhì)量評價(jià)體系的文件,如我國教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會制定的《網(wǎng)絡(luò)課程評價(jià)規(guī)范》、美國國防部高級分布式學(xué)習(xí)聯(lián)合實(shí)驗(yàn)室發(fā)布的《網(wǎng)絡(luò)教學(xué)設(shè)計(jì)與評價(jià)指南》、英國高等教育質(zhì)量保證署發(fā)布的《遠(yuǎn)程學(xué)習(xí)質(zhì)量保證指南》等。此外,姚凱等建立了包括5個(gè)一級指標(biāo)的MOOC評價(jià)指標(biāo)體系,從教學(xué)設(shè)計(jì)、課程內(nèi)容、界面設(shè)計(jì)、媒體技術(shù)、課程管理等方面對MOOC進(jìn)行評價(jià)[11]。童小素等以《網(wǎng)絡(luò)課程評價(jià)規(guī)范》為藍(lán)本,探索性地建立了包含3個(gè)一級指標(biāo)和26個(gè)二級指標(biāo)的MOOC質(zhì)量評價(jià)指標(biāo)體系[12]。劉穎等構(gòu)建了信息素養(yǎng)MOOC教學(xué)質(zhì)量評價(jià)體系,利用層次分析法計(jì)算指標(biāo)權(quán)重,并采用模糊綜合評價(jià)法對部分信息素養(yǎng)MOOC教學(xué)質(zhì)量進(jìn)行評價(jià)[13]。

    本研究根據(jù)既有在線課程質(zhì)量評價(jià)研究成果和自媒體平臺特點(diǎn),初步構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,通過德爾菲法征集教育技術(shù)、遠(yuǎn)程教育等領(lǐng)域?qū)<乙庖姡瑢ζ溥M(jìn)行完善。研究構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系見表1。

    (二)采用層次分析法確定指標(biāo)權(quán)重

    層次分析法(Analytic Hierarchy Process,AHP)強(qiáng)調(diào)定量和定性相結(jié)合,具有過程明晰、運(yùn)算簡便、結(jié)果明確、系統(tǒng)性強(qiáng)等特點(diǎn),能夠有效解決難以用定量方法解決的實(shí)際問題[19]。本研究利用Yaahp軟件計(jì)算自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重,并對判斷矩陣進(jìn)行一致性檢驗(yàn)。首先,邀請教育技術(shù)和遠(yuǎn)程教育領(lǐng)域的5位專家對各指標(biāo)進(jìn)行兩兩比較,構(gòu)建判斷矩陣。其次,將數(shù)據(jù)錄入Yaahp軟件,進(jìn)行權(quán)重計(jì)算。經(jīng)過計(jì)算,自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重見表1。最后,計(jì)算一致性比例C.R.。結(jié)果顯示,一致性比例C.R.小于0.1,符合要求,判斷矩陣為滿意一致性矩陣。

    自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)中,能力層面、教學(xué)實(shí)施、情感層面、認(rèn)知層面、技術(shù)支持所占權(quán)重較高。相比較而言,學(xué)習(xí)效果下的3個(gè)指標(biāo)較為重要。與MOOC平臺不同,自媒體平臺對學(xué)習(xí)者的學(xué)習(xí)過程很難進(jìn)行監(jiān)督和考核,通過學(xué)習(xí)者的評論內(nèi)容可以得知學(xué)習(xí)者對課程各方面的評價(jià),以及學(xué)習(xí)課程后學(xué)習(xí)者在認(rèn)知、能力、情感等方面是否得到了提升。各指標(biāo)權(quán)重反映了專家們結(jié)果導(dǎo)向的、基于學(xué)習(xí)效果的評價(jià)傾向。此外,專家們意識到,自媒體平臺在線課程同質(zhì)化程度越來越高,并指出應(yīng)該更加重視能使在線課程質(zhì)量產(chǎn)生較大差異的指標(biāo)。由于目前自媒體平臺多數(shù)在線課程仍以教師講授為主,課程開設(shè)門檻較低,很多教師沒有教育學(xué)背景,甚至沒有任何教學(xué)經(jīng)驗(yàn),致使課程質(zhì)量難以達(dá)到預(yù)期。因此,專家認(rèn)為教學(xué)設(shè)計(jì)與實(shí)施較為重要,是保證學(xué)習(xí)者學(xué)習(xí)效果的前提和基礎(chǔ),權(quán)重僅次于學(xué)習(xí)效果維度,其中的教學(xué)實(shí)施在二級指標(biāo)中所占權(quán)重較高。

    (三)基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法

    文本情感分析,也稱為傾向性分析、意見挖掘,是指利用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理等智能技術(shù)對文本的觀點(diǎn)、情緒、極性等進(jìn)行分析,以便對文本的情感傾向作出判斷。本研究通過粗粒度情感分析和細(xì)粒度情感分析的綜合應(yīng)用評價(jià)自媒體平臺在線課程質(zhì)量。

    1. 基于深度學(xué)習(xí)的粗粒度情感分析

    百度于2019年推出基于深度學(xué)習(xí)的語義理解預(yù)訓(xùn)練模型ERNIE,其使用多層Transformer作為基本編碼器,并強(qiáng)調(diào)對知識進(jìn)行整合,以達(dá)到增強(qiáng)表達(dá)的目的[20]。ERNIE借鑒了BERT的掩碼策略,在基本級別掩碼基礎(chǔ)上,增加短語級別掩碼和實(shí)體級別掩碼?;炯墑e掩碼是指將句子視作由基本的語言單元組成,具體而言,漢語的基本語言單位是漢字;短語級別掩碼是將由多個(gè)基本語言單位組成的短語作為概念單元進(jìn)行屏蔽;實(shí)體級別掩碼是將地名、人名、組織等專有名詞抽象為實(shí)體進(jìn)行屏蔽。通過多階段知識掩碼策略,可以獲得語義信息豐富的表達(dá)。實(shí)驗(yàn)結(jié)果顯示,ERNIE在語義相似度、自然語言推理、文本情感分析等自然語言處理任務(wù)方面優(yōu)于BERT等方法。此外,訓(xùn)練數(shù)據(jù)方面,ERNIE除了使用百科類、資訊類中文語料外,還引入論壇對話類數(shù)據(jù),進(jìn)一步提升模型的語義表示能力,使其在基于上下文的知識推理中具有較好表現(xiàn),以便更好地捕捉上下文情感信息,從而實(shí)現(xiàn)更高精度的正負(fù)性情感劃分。因此,本研究使用ERNIE進(jìn)行粗粒度情感分析,以得到單條評論語句的情感得分。

    2. 基于自然語言處理的細(xì)粒度情感分析

    本研究中細(xì)粒度情感分析是指利用通過粗粒度情感分析得到的單條評論語句情感得分和通過TF-IDF值計(jì)算篩選出的標(biāo)簽詞,進(jìn)行更為細(xì)致層面的情感傾向分析,以求得在線課程在評價(jià)體系各指標(biāo)的得分。

    (1)標(biāo)簽詞選取

    TF-IDF算法用以評估某個(gè)詞在文本集中對某份文本的重要程度,越重要則越可能是此份文本的關(guān)鍵詞,是目前常用的無監(jiān)督關(guān)鍵詞提取算法。這種算法在提取關(guān)鍵詞時(shí)將詞語位置屬性考慮到了關(guān)鍵詞選擇的指標(biāo)當(dāng)中,能甄別在語料中多次出現(xiàn)的非關(guān)鍵詞以及偶爾出現(xiàn)的關(guān)鍵詞。TF-IDF算法由TF算法和IDF算法組成。TF(Term Frequency)指詞頻,TF算法是統(tǒng)計(jì)字詞在某份文本中出現(xiàn)的次數(shù),即求字詞在文本中出現(xiàn)的頻率,頻率越高,說明該字詞越重要。IDF(Inverse Document Frequency)指逆向文件頻率,IDF算法是統(tǒng)計(jì)某個(gè)字詞出現(xiàn)在多少份文本中,字詞在越少的文本中出現(xiàn),說明其對文本的區(qū)分能力越強(qiáng)。某個(gè)字詞的IDF值具體計(jì)算方法是文本總數(shù)除以包含該字詞的文本數(shù)量,再將求得的商取對數(shù)。TF-IDF值是TF值與IDF值的乘積,本研究中將關(guān)鍵詞按照TF-IDF值降序排列,取前n個(gè)詞作為關(guān)鍵詞,通過此種方法得到的關(guān)鍵詞具有較好的代表性。然后根據(jù)構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系,從關(guān)鍵詞中選取與評價(jià)體系各維度相匹配的詞作為標(biāo)簽詞。

    (2)在線課程各指標(biāo)情感得分計(jì)算

    在粗粒度情感分析基礎(chǔ)上,結(jié)合各指標(biāo)標(biāo)簽詞進(jìn)行細(xì)粒度情感分析。首先,將標(biāo)簽詞作為索引,通過與每條評論語句逐一匹配,實(shí)現(xiàn)每條評論語句到評價(jià)體系各指標(biāo)的映射。其次,根據(jù)每條評論語句的情感得分,計(jì)算在線課程在各指標(biāo)的情感得分。若有多條語句與某指標(biāo)匹配,則取與之匹配的所有評論語句情感得分的平均值。最后,結(jié)合評價(jià)體系各指標(biāo)權(quán)重進(jìn)行加權(quán)計(jì)算,得出在線課程的最終得分,以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià)。

    四、自媒體平臺在線課程質(zhì)量評價(jià)方法應(yīng)用

    (一)數(shù)據(jù)采集與處理

    1. 評論數(shù)據(jù)采集

    Bilibili是國內(nèi)知名自媒體平臺,截至2022年12月注冊用戶數(shù)量達(dá)3.5億,并且設(shè)有專門的在線課程欄目。因此,本研究選擇Bilibili作為數(shù)據(jù)來源。研究以數(shù)學(xué)、英語、地理、歷史、計(jì)算機(jī)編程、物理等為關(guān)鍵詞在Bilibili中搜索在線課程,將搜索結(jié)果按照評論數(shù)量降序排列,每種隨機(jī)選取3個(gè)評論數(shù)量高于1000的在線課程,共選取18門在線課程作為研究對象。Bilibili提供了豐富的應(yīng)用程序接口(Application Programming Interface,API),可利用API獲取在線課程的評論數(shù)據(jù)。本研究首先利用Python的request模塊獲取json數(shù)據(jù);然后對其進(jìn)行解析,以便定位對應(yīng)的評論數(shù)據(jù)字段;最后,讀取評論的詳細(xì)內(nèi)容。

    2. 數(shù)據(jù)清洗與預(yù)處理

    由于網(wǎng)絡(luò)文化的多樣性、開放性和自由性,在線課程的評論內(nèi)容復(fù)雜多樣,通常有超越傳統(tǒng)表達(dá)的信息,如繪文字、顏文字、表情符號等,甚至還存在廣告信息、垃圾信息和低俗用語等。這些信息無用且對正常研究造成干擾,影響文本情感分析的效率和準(zhǔn)確性。因此,要在情感分析前對通過網(wǎng)絡(luò)爬蟲得到的數(shù)據(jù)進(jìn)行清洗,刪除無效的有害信息和干擾信息,提高數(shù)據(jù)分析的有效性。

    與此同時(shí),對爬取的數(shù)據(jù)進(jìn)行整理,剔除評論內(nèi)容中的標(biāo)點(diǎn)符號、數(shù)字等無效字符以及停用詞。停用詞包括你、他(她)、你們、他們(她們)等人稱代詞,的、地、得、所等助詞,喲、啊、哎、哇等語氣詞等。這些詞語在文本中出現(xiàn)次數(shù)較多,但是對文本情感分析并無實(shí)際意義。最后,刪除重復(fù)評論以及少于3個(gè)字符的無效評論。經(jīng)過數(shù)據(jù)清洗和預(yù)處理,共得到有效評論數(shù)據(jù)86099條。

    (二)標(biāo)簽詞選取

    1. TF-IDF值計(jì)算

    本研究利用Python中的jieba庫對有效評論數(shù)據(jù)進(jìn)行分詞,并計(jì)算TF、IDF和TF-IDF的值。jieba是目前常用的第三方中文分詞庫,支持三種分詞模式,即精確模式、全模式和搜索引擎模式。部分關(guān)鍵詞及其TF-IDF值見表2。

    2. 標(biāo)簽詞選取

    本研究將關(guān)鍵詞按照其TF-IDF值降序排列,并從中選取前3000個(gè)關(guān)鍵詞。根據(jù)前面構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系,從中選取與評價(jià)體系各指標(biāo)相匹配的詞作為標(biāo)簽詞。表3描述了在線課程質(zhì)量評價(jià)體系中各指標(biāo)對應(yīng)的部分標(biāo)簽詞。

    (三)粗粒度情感分析

    ERNIE是百度推出的較為成熟的語義理解預(yù)訓(xùn)練模型,得到廣泛應(yīng)用,并取得令人滿意的效果。因此,本研究通過百度的自然語言接口AipNlp調(diào)用預(yù)訓(xùn)練的深度學(xué)習(xí)模型ERNIE,進(jìn)行粗粒度情感分析,并逐句計(jì)算情感得分。例如,“老師的聲音真好聽,邏輯清晰,學(xué)習(xí)真快樂”的情感得分為0.9998,“一位只會念教材、原理不分析、說話聽不清、提問不回答的老師”的情感得分為0.0190。

    (四)細(xì)粒度情感分析

    對根據(jù)粗粒度情感分析得到的在線課程單條評論語句情感得分和標(biāo)簽詞進(jìn)行細(xì)粒度情感分析,以便得到在線課程質(zhì)量評價(jià)體系各指標(biāo)的得分情況。圖2為選取的18門在線課程各指標(biāo)的情感得分。

    (五)自媒體平臺在線課程質(zhì)量評價(jià)

    根據(jù)自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重和通過細(xì)粒度情感分析得出的各指標(biāo)情感得分,計(jì)算在線課程質(zhì)量的加權(quán)得分,以此作為在線課程的最終得分,用于評價(jià)在線課程質(zhì)量。本研究選取的18門在線課程的最終得分如圖3所示。

    五、自媒體平臺在線課程質(zhì)量評價(jià)方法驗(yàn)證

    既有研究指出,Bilibili平臺用戶往往通過點(diǎn)贊、收藏等行為表達(dá)對視頻的認(rèn)可和喜愛[21]。為了驗(yàn)證本研究提出的自媒體平臺在線課程質(zhì)量評價(jià)方法的應(yīng)用效果,本研究首先隨機(jī)選取Bilibili平臺評論數(shù)量高于1000的另外10門在線課程,然后邀請3位教育技術(shù)領(lǐng)域?qū)<彝ㄟ^背靠背打分的形式對這10門課程進(jìn)行評價(jià),最后結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)等客觀平臺數(shù)據(jù)進(jìn)行應(yīng)用效果分析。

    為了保證3位專家評價(jià)結(jié)果的一致性,本研究采用肯德爾和諧系數(shù)對主觀評價(jià)的信度進(jìn)行檢驗(yàn)。結(jié)果顯示,肯德爾和諧系數(shù)為0.927,并在0.01水平上顯著相關(guān),說明3位專家的評價(jià)結(jié)果較為可信。取3位專家打分的平均值作為每門課程的最終得分,并歸一化到0~1之間,保留三位有效數(shù)字。結(jié)果如圖4所示,雖然每門課程專家評價(jià)法得分和本研究方法得分并不完全相同,但根據(jù)得分的折線趨勢和基于得分的課程排序可知,本研究方法對在線課程質(zhì)量的評價(jià)結(jié)果和專家評價(jià)法的結(jié)果基本一致。

    結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)進(jìn)一步分析,課程8是中學(xué)物理課程,綜合得分最高,同時(shí)擁有16.8萬次點(diǎn)贊和28萬次收藏。筆者學(xué)習(xí)該在線課程發(fā)現(xiàn),該課程視頻、音頻的質(zhì)量較高,授課教師著裝正式,儀態(tài)大方,普通話標(biāo)準(zhǔn),思路清晰,并且通過自編趣味“順口溜”的方式幫助學(xué)習(xí)者掌握知識點(diǎn),因此,深受在線學(xué)習(xí)者的喜愛。課程9是語言類課程,該課程由于各維度都有較多消極評論,其綜合得分小于0.5。多數(shù)學(xué)習(xí)者評論該課程過于淺顯、視頻質(zhì)量差、虛假宣傳、內(nèi)容陳舊、包含廣告等,例如,“完全就是蹭熱度的視頻,一點(diǎn)干貨沒有,無語”“大家別浪費(fèi)時(shí)間了,內(nèi)容真的很無語”“看了以后感覺沒有講什么很有用的東西,這些方法早就知道了,別人都講了好多遍”。因此,其點(diǎn)贊數(shù)和收藏?cái)?shù)與同類課程相比較少,筆者學(xué)習(xí)該在線課程后確認(rèn)學(xué)習(xí)者的評論基本屬實(shí)。

    綜上所述,本研究提出的在線課程質(zhì)量評價(jià)方法具備較高的可行性和可信度,評價(jià)效果較為理想,對自媒體平臺在線課程質(zhì)量有一定的評價(jià)效用。

    六、結(jié)? ?語

    針對自媒體平臺在線課程質(zhì)量評價(jià)問題,本研究首先根據(jù)既有研究和自媒體平臺特點(diǎn)構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,該體系包括4個(gè)一級指標(biāo)和9個(gè)二級指標(biāo);然后通過層次分析法確定各指標(biāo)的權(quán)重,專家們具有以結(jié)果為導(dǎo)向的評價(jià)傾向,同時(shí)肯定了異質(zhì)性在自媒體平臺在線課程質(zhì)量評價(jià)中的重要性,具體體現(xiàn)為學(xué)習(xí)效果和教學(xué)設(shè)計(jì)與實(shí)施兩個(gè)指標(biāo)的權(quán)重較高;接著,利用深度學(xué)習(xí)模型ERNIE對學(xué)習(xí)者評論數(shù)據(jù)進(jìn)行文本情感分析,學(xué)習(xí)者是學(xué)習(xí)的主體,其評論內(nèi)容包含著對課程的真實(shí)感受和情感傾向;最后,對各指標(biāo)權(quán)重和各指標(biāo)情感得分進(jìn)行加權(quán)計(jì)算,以便對在線課程質(zhì)量進(jìn)行整體評價(jià)。與傳統(tǒng)的在線課程質(zhì)量評價(jià)方法相比,本研究所提方法效率高,更具客觀性和實(shí)效性,可滿足大數(shù)據(jù)時(shí)代對海量在線課程的評價(jià)需求。但也存在一些局限性,用于文本情感分析的標(biāo)簽詞是人工從TF-IDF值較高的關(guān)鍵詞中篩選的,工作量繁巨且不可避免地受到篩選者主觀意識的影響。未來研究和實(shí)踐中,將嘗試通過聚類分析等方法選取標(biāo)簽詞,并比較探討兩種方法的準(zhǔn)確性。此外,本研究僅以Bilibili平臺部分在線課程為例,接下來將擴(kuò)大數(shù)據(jù)采集范圍,以增強(qiáng)評價(jià)方法的普適性。

    [參考文獻(xiàn)]

    [1] CURRAN V, SIMMONS K, MATTHEWS L, et al. YouTube as an educational resource in medical education: a scoping review[J]. Medical science educator, 2020, 30: 1775-1782.

    [2] 黃楚新.我國自媒體發(fā)展現(xiàn)狀、問題及對策[J].人民論壇,2022(22):104-107.

    [3] 王璐,趙呈領(lǐng),萬力勇.基于扎根理論的在線開放課程質(zhì)量評價(jià)指標(biāo)體系構(gòu)建研究——以國家精品資源共享課為例[J].中國遠(yuǎn)程教育,2017(11):70-76.

    [4] 肖婉,盧鋒,季一木.什么樣的在線課程受學(xué)習(xí)者歡迎?——基于15門在線課程評論的文本挖掘與組態(tài)分析[J].電化教育研究,2023,44(5):60-66.

    [5] 李欣苗,陳云.基于特征選擇和傾向分析聯(lián)合優(yōu)化的UGC情感自動識別方法[J].管理工程學(xué)報(bào),2019,33(2):61-71.

    [6] QI C, LIU S. Evaluating on-line courses via reviews mining[J]. IEEE access, 2021, 9: 35439-35451.

    [7] PENG X, XU Q. Investigating learners' behaviors and discourse content in mooc course reviews[J]. Computers & education, 2020, 143: 103673.

    [8] ONAN A. Sentiment analysis on massive open online course evaluations: a text mining and deep learning approach[J]. Computer applications in engineering education, 2021,29(3):572-589.

    [9] 聶卉,首歡容.基于修正點(diǎn)互信息的特征級情感詞極性自動研判[J].圖書情報(bào)工作,2020,64(5):114-123.

    [10] GENG S, NIU B, FENG Y, et al. Understanding the focal points and sentiment of learners in mooc reviews: a machine learning and sc-liwc-based approach[J]. British journal of educational technology, 2020,51(5):1785-1803.

    [11] 姚凱,李思志,李艷紅,等.MOOC評價(jià)模型研究[J].復(fù)旦教育論壇,2017,15(3):65-71.

    [12] 童小素,賈小軍.MOOC質(zhì)量評價(jià)體系的構(gòu)建探究[J].中國遠(yuǎn)程教育,2017(5):63-71,80.

    [13] 劉穎,吉久明,李楠,等.學(xué)生視角下的MOOC課程教學(xué)質(zhì)量評價(jià)體系構(gòu)建研究——以學(xué)術(shù)信息素養(yǎng)類MOOC課程為例[J].圖書館雜志,2021,40(2):95-103.

    [14] 教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會.網(wǎng)絡(luò)課程評價(jià)規(guī)范[EB/OL].(2014-03-17)[2023-06-30]. http://www.doc88.com/p-062198781 6389.html.

    [15] DYOMIN V, MOZHAEVA G, BABANSKAYA O, et al. Mooc quality evaluation system: tomsk state university experience[EB/OL].(2017-05-20)[2023-03-25].https://link.springer.com/chapter/10.1007/978-3-319-59044-8_23.

    [16] SUNG Y T, CHANG K E, YU W C. Evaluating the reliability and impact of a quality assurance system for e-learning courseware[J]. Computers & education, 2011,57(2):1615-1627.

    [17] MILLIGAN C, LITTLEJOHN A. Supporting professional learning in a massive open online course[J]. International review of research in open and distributed learning, 2014,15(5):197-213.

    [18] JANSEN R S, VAN LEEUWEN A, JANSSEN J, et al. Supporting learners' self-regulated learning in massive open online courses[J]. Computers & education, 2020,146:103771.

    [19] 徐振國,趙春雨,王悅,等.智慧學(xué)習(xí)環(huán)境下大學(xué)生深度學(xué)習(xí)的影響因素[J].現(xiàn)代教育技術(shù),2023,33(1):58-65.

    [20] 沈彬,嚴(yán)馨,周麗華,等.基于ERNIE和雙重注意力機(jī)制的微博情感分析[J].云南大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,44(3):480-489.

    [21] 黃煒,沈欣蕓,李偉卿.視頻博客Vlog用戶的持續(xù)使用行為影響因素研究——以Bilibili為例[J].現(xiàn)代情報(bào),2022,42(6):69-79.

    Research on Quality Evaluation of Online Courses for We Media Platforms

    Based on Deep Learning

    XU Zhenguo1,? WANG Jianing2,? WANG Yue1,? GUO Shunli1,? XIE Wanli1

    (1.School of Communication, Qufu Normal University, Rizhao Shandong 276826;

    2.Research Institute of Science Education, Beijing Normal University, Beijing 100875)

    [Abstract] There are a large number of online courses on we media platforms, but the quality is uneven, which seriously affects the learning experience and learning efficiency of learners. Therefore, exploring objective, accurate and efficient quality evaluation methods of online courses for we media platform has become a practical problem to be solved. To address this problem, this study firstly constructs an online course quality evaluation system, and uses the analytic hierarchy process to determine the weight of each index. Secondly, deep learning and natural language processing technologies are used to conduct coarse-grained sentiment analysis and fine-grained sentiment analysis of online course review data in order to realize the quality evaluation of online courses on we media platforms. Finally, the review data of online courses on Bilibili platform is collected for application research, and the experiment has proved that the method has high feasibility, credibility and accuracy, and can realize the effective quality evaluation of online courses on we media platforms, so as to promote the healthy development of online courses and improve the learning experience of learners.

    [Keywords] Online Courses;? We Media Platforms; Course Quality; Deep Learning; Course Evaluation

    基金項(xiàng)目:2020年國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目“學(xué)習(xí)畫面情感對學(xué)習(xí)者情感的影響機(jī)制及其自適應(yīng)調(diào)整方法研究”(項(xiàng)目編號:62007020);2022年中國博士后科學(xué)基金資助項(xiàng)目“在線學(xué)習(xí)環(huán)境下學(xué)習(xí)畫面情感的自適應(yīng)調(diào)整方法研究”(項(xiàng)目編號:2022M711883)

    猜你喜歡
    課程質(zhì)量課程評價(jià)在線課程
    MOOC:我國未來高等教育發(fā)展過程中的危機(jī)與轉(zhuǎn)機(jī)
    東方教育(2016年6期)2017-01-16 20:14:39
    在線課程教學(xué)融入網(wǎng)絡(luò)消費(fèi)者行為預(yù)測研究
    東方教育(2016年18期)2017-01-16 11:25:48
    基于SPOC的“數(shù)理邏輯”在線課程教學(xué)改革探究
    面向卓越教師的師范生實(shí)訓(xùn)課程評價(jià)研究
    考試周刊(2016年21期)2016-12-16 11:34:37
    《微電子工藝原理》課程的教學(xué)改進(jìn)
    考試周刊(2016年88期)2016-11-24 14:55:58
    基于工作室教學(xué)模式的工業(yè)設(shè)計(jì)課程評價(jià)體系研究
    云計(jì)算背景下的學(xué)生課程評價(jià)模式探究
    基于“閉環(huán)控制”原理的課程質(zhì)量保障系統(tǒng)的構(gòu)建與實(shí)踐
    應(yīng)用型本科院?!巴ㄗR教育”的教務(wù)管理及對策分析
    提高小學(xué)綜合實(shí)踐活動課程質(zhì)量淺探
    乱人视频在线观看| 在线观看美女被高潮喷水网站| 亚州av有码| 此物有八面人人有两片| 黄色丝袜av网址大全| 国产日本99.免费观看| 美女cb高潮喷水在线观看| 成人性生交大片免费视频hd| 97超级碰碰碰精品色视频在线观看| 两人在一起打扑克的视频| 国产亚洲欧美98| 两人在一起打扑克的视频| 亚洲avbb在线观看| 国产综合懂色| 美女被艹到高潮喷水动态| 看黄色毛片网站| 一区二区三区激情视频| 日本精品一区二区三区蜜桃| 99精品久久久久人妻精品| 又黄又爽又刺激的免费视频.| 岛国在线免费视频观看| 麻豆av噜噜一区二区三区| 国产伦精品一区二区三区四那| 精品一区二区三区视频在线观看免费| 日本色播在线视频| 美女黄网站色视频| 国产一区二区在线观看日韩| 91麻豆av在线| 亚洲精品456在线播放app | 久久香蕉精品热| 男女下面进入的视频免费午夜| 日韩欧美免费精品| 91狼人影院| 精品人妻偷拍中文字幕| 亚洲av日韩精品久久久久久密| 在现免费观看毛片| 天堂av国产一区二区熟女人妻| av在线蜜桃| 99热只有精品国产| 别揉我奶头~嗯~啊~动态视频| 亚洲av成人精品一区久久| 全区人妻精品视频| 国产黄a三级三级三级人| 精品欧美国产一区二区三| 一本精品99久久精品77| 夜夜看夜夜爽夜夜摸| 在线观看一区二区三区| 丰满乱子伦码专区| 嫩草影院新地址| 少妇裸体淫交视频免费看高清| 一个人观看的视频www高清免费观看| 欧美zozozo另类| 能在线免费观看的黄片| 欧美3d第一页| 亚洲图色成人| 成人精品一区二区免费| 亚洲无线观看免费| 欧美色欧美亚洲另类二区| 美女高潮的动态| 中出人妻视频一区二区| 免费看av在线观看网站| 欧美高清性xxxxhd video| 亚洲男人的天堂狠狠| 精品一区二区三区av网在线观看| 精品国内亚洲2022精品成人| a级一级毛片免费在线观看| 中文字幕av在线有码专区| 国产亚洲精品av在线| 少妇熟女aⅴ在线视频| 免费av不卡在线播放| 国产爱豆传媒在线观看| 老熟妇仑乱视频hdxx| 亚洲av中文av极速乱 | 嫩草影院入口| 亚洲最大成人手机在线| 乱系列少妇在线播放| 国内精品久久久久久久电影| 老司机福利观看| 又爽又黄a免费视频| 天堂av国产一区二区熟女人妻| 亚洲va日本ⅴa欧美va伊人久久| 三级男女做爰猛烈吃奶摸视频| 在线观看av片永久免费下载| 精品国产三级普通话版| 99热网站在线观看| 欧美日韩中文字幕国产精品一区二区三区| 深爱激情五月婷婷| 久久天躁狠狠躁夜夜2o2o| 乱系列少妇在线播放| 99热这里只有是精品在线观看| 色尼玛亚洲综合影院| 天堂影院成人在线观看| 欧美最黄视频在线播放免费| 成人精品一区二区免费| 国产探花极品一区二区| 成年版毛片免费区| 亚洲中文字幕日韩| 自拍偷自拍亚洲精品老妇| 国产主播在线观看一区二区| 97超视频在线观看视频| 久久久久久国产a免费观看| 中文字幕熟女人妻在线| 日本爱情动作片www.在线观看 | 春色校园在线视频观看| 免费在线观看成人毛片| 午夜久久久久精精品| 成人精品一区二区免费| 欧美激情久久久久久爽电影| 日韩精品中文字幕看吧| 亚洲成人免费电影在线观看| 日韩人妻高清精品专区| avwww免费| 亚洲国产欧洲综合997久久,| 偷拍熟女少妇极品色| 春色校园在线视频观看| 国产69精品久久久久777片| 亚洲在线自拍视频| 欧美人与善性xxx| 麻豆成人av在线观看| 91午夜精品亚洲一区二区三区 | 成人二区视频| 国产探花在线观看一区二区| 欧美+日韩+精品| 国产一区二区三区视频了| 色在线成人网| 91麻豆精品激情在线观看国产| 99热只有精品国产| 国内毛片毛片毛片毛片毛片| 97超视频在线观看视频| 一个人免费在线观看电影| 久久国内精品自在自线图片| 国产视频内射| 亚洲人成网站在线播| 日日夜夜操网爽| 黄色配什么色好看| 国产精品一区二区性色av| 久久精品夜夜夜夜夜久久蜜豆| 琪琪午夜伦伦电影理论片6080| 91在线精品国自产拍蜜月| 精品一区二区免费观看| 国产精品女同一区二区软件 | 中文字幕人妻熟人妻熟丝袜美| 亚洲第一电影网av| 波多野结衣巨乳人妻| 搡老熟女国产l中国老女人| h日本视频在线播放| 欧美+亚洲+日韩+国产| 日本 av在线| or卡值多少钱| 国产精华一区二区三区| 97超级碰碰碰精品色视频在线观看| 尤物成人国产欧美一区二区三区| 国产av麻豆久久久久久久| 老熟妇乱子伦视频在线观看| 国产乱人视频| 高清日韩中文字幕在线| 久久久久久大精品| 国产精品久久视频播放| 99在线视频只有这里精品首页| 色av中文字幕| 啦啦啦韩国在线观看视频| 国产精品不卡视频一区二区| 国产白丝娇喘喷水9色精品| 色哟哟哟哟哟哟| 自拍偷自拍亚洲精品老妇| 日本精品一区二区三区蜜桃| 天美传媒精品一区二区| 国内精品宾馆在线| 成人二区视频| 国产精品野战在线观看| 在线观看免费视频日本深夜| 亚洲乱码一区二区免费版| www.色视频.com| 黄色视频,在线免费观看| www.www免费av| 免费看av在线观看网站| 小蜜桃在线观看免费完整版高清| 国产精品1区2区在线观看.| 老熟妇仑乱视频hdxx| 草草在线视频免费看| 久久久精品欧美日韩精品| 日本一二三区视频观看| 久久久久性生活片| 人妻丰满熟妇av一区二区三区| 又黄又爽又免费观看的视频| 悠悠久久av| 一进一出好大好爽视频| 亚洲av日韩精品久久久久久密| 午夜福利视频1000在线观看| 久久精品国产99精品国产亚洲性色| 国产色爽女视频免费观看| 白带黄色成豆腐渣| 自拍偷自拍亚洲精品老妇| 一级a爱片免费观看的视频| 久久久久久久午夜电影| 亚洲人与动物交配视频| 十八禁国产超污无遮挡网站| 日日摸夜夜添夜夜添av毛片 | 久久午夜福利片| 久久精品国产99精品国产亚洲性色| 亚洲av免费在线观看| 99九九线精品视频在线观看视频| 日韩高清综合在线| 蜜桃亚洲精品一区二区三区| 亚洲中文日韩欧美视频| av.在线天堂| 国产精品福利在线免费观看| 亚洲内射少妇av| 高清毛片免费观看视频网站| 精品无人区乱码1区二区| 成人一区二区视频在线观看| 亚洲最大成人中文| 12—13女人毛片做爰片一| 99热网站在线观看| 成人特级av手机在线观看| 午夜精品在线福利| 久久精品国产鲁丝片午夜精品 | 我要搜黄色片| 在线看三级毛片| 少妇的逼水好多| 久久香蕉精品热| 久久久久久久久大av| 两个人视频免费观看高清| 中文字幕免费在线视频6| 欧美+日韩+精品| eeuss影院久久| 九九热线精品视视频播放| 最近最新免费中文字幕在线| 99热这里只有精品一区| 黄色日韩在线| 日韩精品青青久久久久久| 人人妻人人看人人澡| 成年版毛片免费区| 午夜日韩欧美国产| 少妇裸体淫交视频免费看高清| 毛片一级片免费看久久久久 | 免费在线观看成人毛片| 日本一本二区三区精品| av天堂中文字幕网| 亚洲美女黄片视频| 美女高潮喷水抽搐中文字幕| 国产精品自产拍在线观看55亚洲| 真人一进一出gif抽搐免费| 久久国产精品人妻蜜桃| 又紧又爽又黄一区二区| av国产免费在线观看| 夜夜爽天天搞| 欧美极品一区二区三区四区| 伦理电影大哥的女人| 自拍偷自拍亚洲精品老妇| 嫩草影院精品99| xxxwww97欧美| 中国美白少妇内射xxxbb| 午夜福利在线在线| 综合色av麻豆| 久久久久性生活片| 在线播放无遮挡| 91午夜精品亚洲一区二区三区 | 国产欧美日韩精品一区二区| av.在线天堂| 亚洲av成人av| 99在线视频只有这里精品首页| 国产av一区在线观看免费| 亚洲欧美日韩东京热| 国产真实伦视频高清在线观看 | 日韩在线高清观看一区二区三区 | 久久久久久久久久黄片| 99riav亚洲国产免费| 真实男女啪啪啪动态图| 全区人妻精品视频| 一进一出好大好爽视频| 午夜福利在线观看吧| 尤物成人国产欧美一区二区三区| 久久精品91蜜桃| 91麻豆精品激情在线观看国产| 久久久久九九精品影院| 亚洲男人的天堂狠狠| 一级黄色大片毛片| 免费看美女性在线毛片视频| 亚洲精华国产精华精| 亚洲人成网站高清观看| 亚洲第一区二区三区不卡| av视频在线观看入口| 国产精品一区www在线观看 | 99热只有精品国产| 午夜精品在线福利| 看片在线看免费视频| 悠悠久久av| 国产精品精品国产色婷婷| 欧美色欧美亚洲另类二区| 色5月婷婷丁香| 18禁黄网站禁片免费观看直播| 丝袜美腿在线中文| 熟女人妻精品中文字幕| 欧美丝袜亚洲另类 | 国产精品一及| 午夜老司机福利剧场| 啦啦啦观看免费观看视频高清| 一区二区三区高清视频在线| 国国产精品蜜臀av免费| 国产精品久久电影中文字幕| 一区二区三区激情视频| 精品午夜福利在线看| 国产欧美日韩一区二区精品| 精品国内亚洲2022精品成人| 午夜福利高清视频| 亚洲无线在线观看| 97超级碰碰碰精品色视频在线观看| 亚洲va日本ⅴa欧美va伊人久久| 婷婷六月久久综合丁香| 在线观看午夜福利视频| 国产精品一区二区免费欧美| 12—13女人毛片做爰片一| 国产精品爽爽va在线观看网站| 少妇人妻精品综合一区二区 | 国产午夜精品久久久久久一区二区三区 | 91在线精品国自产拍蜜月| 色av中文字幕| 欧美日韩综合久久久久久 | 18禁裸乳无遮挡免费网站照片| 亚洲精品乱码久久久v下载方式| 欧美日韩综合久久久久久 | 男人的好看免费观看在线视频| 久久久久久久亚洲中文字幕| av在线蜜桃| 丰满乱子伦码专区| 久久精品国产99精品国产亚洲性色| 成人高潮视频无遮挡免费网站| 国产不卡一卡二| 99riav亚洲国产免费| 小蜜桃在线观看免费完整版高清| 欧美日本亚洲视频在线播放| 成人午夜高清在线视频| 日本三级黄在线观看| 精品不卡国产一区二区三区| a级毛片免费高清观看在线播放| 久久久国产成人精品二区| 国产高清不卡午夜福利| 精品午夜福利在线看| 午夜爱爱视频在线播放| 午夜免费男女啪啪视频观看 | 美女免费视频网站| 久久天躁狠狠躁夜夜2o2o| 亚洲在线自拍视频| 国产精品综合久久久久久久免费| 长腿黑丝高跟| 中出人妻视频一区二区| 少妇高潮的动态图| 国产高清激情床上av| 久久久国产成人免费| 人人妻人人看人人澡| 一a级毛片在线观看| 国产亚洲av嫩草精品影院| 99热精品在线国产| 亚洲美女黄片视频| 免费观看人在逋| 国内久久婷婷六月综合欲色啪| 久久精品91蜜桃| 亚洲国产欧美人成| 人妻久久中文字幕网| 日本-黄色视频高清免费观看| 国产一区二区激情短视频| 成人性生交大片免费视频hd| 免费看光身美女| 色综合亚洲欧美另类图片| 桃色一区二区三区在线观看| 又黄又爽又免费观看的视频| 国产黄a三级三级三级人| 九九爱精品视频在线观看| 成人av一区二区三区在线看| 嫩草影院新地址| 乱码一卡2卡4卡精品| 自拍偷自拍亚洲精品老妇| 日韩欧美精品免费久久| 欧美潮喷喷水| 嫩草影视91久久| 日本免费a在线| 日本一本二区三区精品| 欧美日本亚洲视频在线播放| 嫁个100分男人电影在线观看| 日韩在线高清观看一区二区三区 | 校园人妻丝袜中文字幕| 亚洲在线观看片| 日本色播在线视频| 午夜福利视频1000在线观看| 亚洲性久久影院| 亚洲18禁久久av| 女人被狂操c到高潮| 动漫黄色视频在线观看| 深爱激情五月婷婷| 别揉我奶头 嗯啊视频| 神马国产精品三级电影在线观看| videossex国产| 亚洲av中文字字幕乱码综合| 欧美bdsm另类| 国产亚洲精品久久久com| 熟妇人妻久久中文字幕3abv| 免费看美女性在线毛片视频| 亚洲不卡免费看| 日本免费一区二区三区高清不卡| 久久亚洲真实| 中文字幕高清在线视频| 他把我摸到了高潮在线观看| 久久久久性生活片| 悠悠久久av| 丝袜美腿在线中文| 亚洲av中文字字幕乱码综合| 久久这里只有精品中国| 亚洲成a人片在线一区二区| 国产高清不卡午夜福利| 偷拍熟女少妇极品色| 大又大粗又爽又黄少妇毛片口| 男女做爰动态图高潮gif福利片| 在线免费十八禁| 欧美日韩综合久久久久久 | aaaaa片日本免费| 九九在线视频观看精品| 天美传媒精品一区二区| 人妻丰满熟妇av一区二区三区| 久久人人精品亚洲av| 99久久精品国产国产毛片| 久久久久久久久久成人| 国产精品一区二区三区四区久久| 干丝袜人妻中文字幕| 成年女人看的毛片在线观看| 亚洲aⅴ乱码一区二区在线播放| 精品久久久久久久人妻蜜臀av| 国产精品久久久久久精品电影| 国产精品伦人一区二区| 97碰自拍视频| 一本一本综合久久| 免费看光身美女| 久久久久久久午夜电影| 亚洲人成网站高清观看| 国产高清激情床上av| 久久精品国产亚洲网站| 欧美一区二区精品小视频在线| 精品久久久久久久末码| 日日摸夜夜添夜夜添av毛片 | 成人综合一区亚洲| 久久久久久伊人网av| 人妻久久中文字幕网| 大型黄色视频在线免费观看| 99riav亚洲国产免费| 日韩,欧美,国产一区二区三区 | 国产精品人妻久久久久久| 麻豆一二三区av精品| 亚州av有码| 中出人妻视频一区二区| 亚洲中文字幕一区二区三区有码在线看| 欧美在线一区亚洲| 国产精品亚洲美女久久久| 99在线人妻在线中文字幕| 又爽又黄a免费视频| 男人舔女人下体高潮全视频| 蜜桃亚洲精品一区二区三区| 男女啪啪激烈高潮av片| 欧美成人a在线观看| 亚洲欧美日韩东京热| 国国产精品蜜臀av免费| 亚洲欧美日韩高清在线视频| 亚洲成人精品中文字幕电影| 别揉我奶头~嗯~啊~动态视频| 久久香蕉精品热| 久久亚洲真实| 在线国产一区二区在线| 99热只有精品国产| 欧美成人免费av一区二区三区| ponron亚洲| 女人十人毛片免费观看3o分钟| 国产亚洲精品av在线| 国产精品,欧美在线| 91麻豆av在线| ponron亚洲| 1024手机看黄色片| 婷婷精品国产亚洲av| 岛国在线免费视频观看| 韩国av一区二区三区四区| 最新中文字幕久久久久| 国产中年淑女户外野战色| 1000部很黄的大片| 日本一二三区视频观看| 99久久九九国产精品国产免费| 我要看日韩黄色一级片| 国产欧美日韩精品一区二区| 九九久久精品国产亚洲av麻豆| 国产v大片淫在线免费观看| 午夜福利18| 97超级碰碰碰精品色视频在线观看| ponron亚洲| 国产真实乱freesex| 在线a可以看的网站| 亚洲av第一区精品v没综合| 韩国av一区二区三区四区| 综合色av麻豆| 啦啦啦韩国在线观看视频| 亚洲熟妇中文字幕五十中出| 国产综合懂色| 久久99热这里只有精品18| 国产日本99.免费观看| 99久久久亚洲精品蜜臀av| 午夜老司机福利剧场| 三级男女做爰猛烈吃奶摸视频| 99久久无色码亚洲精品果冻| 久久久久国产精品人妻aⅴ院| 国产黄色小视频在线观看| 欧美日本视频| 乱人视频在线观看| 中文字幕av在线有码专区| 男女边吃奶边做爰视频| 99精品在免费线老司机午夜| 国产成年人精品一区二区| 国产综合懂色| 精品乱码久久久久久99久播| 亚洲天堂国产精品一区在线| 久久99热这里只有精品18| 九九爱精品视频在线观看| 精华霜和精华液先用哪个| 老司机午夜福利在线观看视频| 日本与韩国留学比较| 干丝袜人妻中文字幕| 亚洲自拍偷在线| 欧美3d第一页| 搡老岳熟女国产| 一级av片app| 少妇丰满av| 女的被弄到高潮叫床怎么办 | 男人和女人高潮做爰伦理| 999久久久精品免费观看国产| 亚洲av免费高清在线观看| 亚洲中文字幕一区二区三区有码在线看| 国产亚洲av嫩草精品影院| 精品一区二区三区视频在线观看免费| 久久天躁狠狠躁夜夜2o2o| 日韩中文字幕欧美一区二区| 久久久国产成人免费| 在线观看av片永久免费下载| 人妻少妇偷人精品九色| 精品久久久久久久久久免费视频| 欧美日韩精品成人综合77777| 免费看日本二区| 日本色播在线视频| 人妻久久中文字幕网| 深夜a级毛片| 最新在线观看一区二区三区| 亚洲精品一区av在线观看| 美女高潮的动态| 午夜福利在线在线| 国产视频内射| 亚洲成人精品中文字幕电影| 成年女人毛片免费观看观看9| 免费看a级黄色片| 桃色一区二区三区在线观看| 午夜影院日韩av| 成熟少妇高潮喷水视频| 最新中文字幕久久久久| 中文字幕免费在线视频6| 美女免费视频网站| 亚洲av电影不卡..在线观看| 99久久精品热视频| 黄色丝袜av网址大全| 免费电影在线观看免费观看| 观看免费一级毛片| 国产高清视频在线观看网站| 国产精品野战在线观看| 丰满乱子伦码专区| 欧美高清成人免费视频www| 亚洲狠狠婷婷综合久久图片| 日日摸夜夜添夜夜添av毛片 | 久久久久久久久中文| 99九九线精品视频在线观看视频| 亚洲国产日韩欧美精品在线观看| 日本a在线网址| 国产白丝娇喘喷水9色精品| 日本一二三区视频观看| 成人毛片a级毛片在线播放| 在线免费观看不下载黄p国产 | 午夜激情福利司机影院| 自拍偷自拍亚洲精品老妇| 欧美极品一区二区三区四区| 我的女老师完整版在线观看| 免费在线观看日本一区| 最近视频中文字幕2019在线8| 不卡视频在线观看欧美| 免费搜索国产男女视频| 亚洲电影在线观看av| 熟女人妻精品中文字幕| 午夜影院日韩av| 久久精品国产亚洲av天美| 国产高清视频在线观看网站| 波多野结衣巨乳人妻| 国产伦人伦偷精品视频| 亚洲经典国产精华液单| 国产亚洲av嫩草精品影院| 欧美+亚洲+日韩+国产| 免费看日本二区| 日日撸夜夜添| 天堂av国产一区二区熟女人妻| 亚洲狠狠婷婷综合久久图片| 人妻制服诱惑在线中文字幕| 18禁裸乳无遮挡免费网站照片| 国产高清视频在线播放一区| 97超级碰碰碰精品色视频在线观看| 深夜a级毛片| 日韩欧美国产在线观看| 麻豆国产97在线/欧美| 伦精品一区二区三区| 少妇猛男粗大的猛烈进出视频 | 亚洲狠狠婷婷综合久久图片| 老司机深夜福利视频在线观看| 欧美成人一区二区免费高清观看| av在线蜜桃| 麻豆av噜噜一区二区三区| 亚洲综合色惰| 日日摸夜夜添夜夜添小说|