• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)研究

    2023-08-26 19:18:08徐振國王佳寧王悅郭順利謝萬里
    電化教育研究 2023年8期
    關(guān)鍵詞:課程質(zhì)量課程評價(jià)在線課程

    徐振國 王佳寧 王悅 郭順利 謝萬里

    [摘? ?要] 自媒體平臺存在海量在線課程,但質(zhì)量良莠不齊,嚴(yán)重影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效率,因此,探索客觀、準(zhǔn)確、高效的自媒體平臺在線課程質(zhì)量評價(jià)方法成為亟待解決的現(xiàn)實(shí)問題。針對該問題,研究首先構(gòu)建在線課程質(zhì)量評價(jià)體系,并利用層次分析法確定各指標(biāo)權(quán)重。其次,利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程評論數(shù)據(jù)進(jìn)行粗粒度情感分析和細(xì)粒度情感分析,以實(shí)現(xiàn)自媒體平臺在線課程質(zhì)量評價(jià)。最后,采集Bilibili平臺在線課程評論數(shù)據(jù)進(jìn)行應(yīng)用研究,并通過實(shí)驗(yàn)證實(shí)該方法具有較高的可行性、可信度和準(zhǔn)確率,可實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià),以促進(jìn)在線課程良性發(fā)展,優(yōu)化學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

    [關(guān)鍵詞] 在線課程; 自媒體平臺; 課程質(zhì)量; 深度學(xué)習(xí); 課程評價(jià)

    [中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 徐振國(1989—),男,山東泰安人。副教授,博士,主要從事教育人工智能、數(shù)字化學(xué)習(xí)資源、在線學(xué)習(xí)行為研究。E-mail:xu.zhen.guo@163.com。謝萬里為通訊作者,E-mail:wanlix2021@163.com。

    一、引? ?言

    黨的二十大報(bào)告指出,推進(jìn)教育數(shù)字化,建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會、學(xué)習(xí)型大國。當(dāng)前,以Coursera、Udacity、中國大學(xué)MOOC等為代表的MOOC平臺和以YouTube、Bilibili、抖音等為代表的自媒體平臺包含大量在線課程資源,成為學(xué)習(xí)者開展在線學(xué)習(xí)和終身學(xué)習(xí)的重要渠道[1]。自媒體平臺具有傳播速度快、影響范圍廣、交互性強(qiáng)等鮮明特點(diǎn),持續(xù)保持良好發(fā)展勢頭[2]。與MOOC平臺課程相比,自媒體平臺課程擁有相對多元的授課風(fēng)格、更輕松的學(xué)習(xí)氛圍和更便捷的交互形式,深受學(xué)習(xí)者喜愛。然而,自媒體平臺課程的準(zhǔn)入門檻較低,缺乏監(jiān)管約束,導(dǎo)致課程質(zhì)量良莠不齊,學(xué)習(xí)者通常需要花費(fèi)較長時(shí)間才能找到滿足學(xué)習(xí)需求的高質(zhì)量課程。課程質(zhì)量評價(jià)能夠通過對課程的科學(xué)評判,實(shí)現(xiàn)課程篩選和優(yōu)質(zhì)課程推薦[3],從而提高學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效果,并激勵上傳者開發(fā)更多優(yōu)質(zhì)課程。因此,探索客觀、準(zhǔn)確、高效且有針對性并易于操作的自媒體平臺在線課程質(zhì)量評價(jià)方法成為目前亟待解決的現(xiàn)實(shí)問題。研究利用深度學(xué)習(xí)和自然語言處理等技術(shù)對在線課程的評論數(shù)據(jù)進(jìn)行情感分析,以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的有效評價(jià),促進(jìn)在線課程的提質(zhì)增效和日臻完善。

    二、相關(guān)研究

    傳統(tǒng)的在線課程質(zhì)量評價(jià)主要有三種方法:專家評價(jià)法、質(zhì)量標(biāo)準(zhǔn)評價(jià)法和學(xué)習(xí)者評價(jià)法。然而,每種方法都有其局限性。專家評價(jià)法是選擇具備扎實(shí)專業(yè)知識的專家和具有豐富教學(xué)經(jīng)驗(yàn)的教師,以“背靠背”打分的方式對在線課程做出定量評價(jià)[4]。此種方法優(yōu)點(diǎn)是具有較強(qiáng)的可靠性、適應(yīng)性和穩(wěn)定性,并能夠在有限的數(shù)據(jù)資料條件下進(jìn)行定量估計(jì);缺點(diǎn)是費(fèi)時(shí)費(fèi)力,并依賴于專家的知識和經(jīng)驗(yàn),通常用于小規(guī)模優(yōu)質(zhì)課程評選。質(zhì)量標(biāo)準(zhǔn)評價(jià)法是采用成熟的準(zhǔn)則作為評估標(biāo)準(zhǔn),然而此方法常常忽視學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。學(xué)習(xí)者評價(jià)法是學(xué)習(xí)者按照自己的標(biāo)準(zhǔn)和體驗(yàn)對課程進(jìn)行評價(jià),雖然該方法體現(xiàn)了學(xué)習(xí)者的主體性,但學(xué)習(xí)者的評分通常具有較強(qiáng)的概括性,并易受學(xué)習(xí)者主觀傾向的影響,根據(jù)評分往往難以確定影響在線課程質(zhì)量優(yōu)劣的因素。

    自媒體時(shí)代用戶生成內(nèi)容(User Generated Content,UGC)承載著信息傳播、思想碰撞、情感宣泄等多種功能[5],彈幕、評論等互動方式具有新穎性、即時(shí)性、交互性、簡便性、風(fēng)格化等特征,深受青年群體的青睞,并是用戶表達(dá)訴求、態(tài)度和觀點(diǎn)的重要方式。針對自媒體平臺在線課程,學(xué)習(xí)者的彈幕和評論既可表達(dá)真實(shí)想法,也可抒發(fā)內(nèi)心情感。因此,部分研究者利用數(shù)據(jù)挖掘方法,對學(xué)習(xí)者的彈幕、評論等內(nèi)容進(jìn)行分析,以便彌補(bǔ)傳統(tǒng)在線課程質(zhì)量評價(jià)方法的缺陷。Cong Qi、Xian Peng、Aytu?Onan等基于傳統(tǒng)機(jī)器學(xué)習(xí)方法,挖掘?qū)W習(xí)者評論所隱含的態(tài)度傾向,實(shí)現(xiàn)對在線課程的評價(jià)[6-8]。相較于態(tài)度傾向,情感傾向更能反映學(xué)習(xí)者對在線課程的直觀感受,以及對教師和課程的真實(shí)意見,評論的情感傾向需要借助文本情感分析方法進(jìn)行判斷。目前研究者常采用WordNet、HowNet、Ntusd等詞典實(shí)現(xiàn)對在線課程評論數(shù)據(jù)的情感分析[9]。基于情感詞典的文本情感分析方法耗時(shí)費(fèi)力,所得結(jié)果的準(zhǔn)確性依賴于所選取情感詞典的質(zhì)量和覆蓋范圍。隨著計(jì)算機(jī)性能的提升和人工智能算法的優(yōu)化,有研究表明,基于深度學(xué)習(xí)的文本情感分析方法具有更高的準(zhǔn)確率和更強(qiáng)的適應(yīng)性,綜合性能優(yōu)于基于情感詞典的方法[10]。

    綜上所述,目前研究者主要圍繞Coursera、Udacity、中國大學(xué)MOOC、學(xué)堂在線等MOOC平臺在線課程進(jìn)行研究,對自媒體平臺在線課程缺乏關(guān)注。在線課程質(zhì)量評價(jià)多基于學(xué)習(xí)者評論內(nèi)容的態(tài)度傾向和情感傾向,其情感傾向識別常應(yīng)用情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)方法。構(gòu)建適用且科學(xué)的在線課程質(zhì)量評價(jià)體系,并基于深度學(xué)習(xí)算法對學(xué)習(xí)者評論進(jìn)行情感分析,以此實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià),可更好地體現(xiàn)課程質(zhì)量評價(jià)的導(dǎo)向作用、激勵作用、反饋?zhàn)饔煤捅鎰e作用,并提升自媒體時(shí)代學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。研究以Bilibili平臺在線課程為研究對象,基于深度學(xué)習(xí)模型ERNIE對在線課程的評論數(shù)據(jù)進(jìn)行情感分析,從學(xué)習(xí)者的角度探討在線課程質(zhì)量的評價(jià)方法。

    三、研究設(shè)計(jì)與方法

    研究主要包括兩個(gè)步驟:第一,構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,通過德爾菲法征集專家意見,并根據(jù)專家意見進(jìn)行完善;利用層次分析法,采用9級比例標(biāo)尺構(gòu)造判斷矩陣,進(jìn)而得出評價(jià)體系各指標(biāo)的權(quán)重。第二,提出基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法,包括在線課程評論數(shù)據(jù)采集與預(yù)處理、計(jì)算TF-IDF值確定關(guān)鍵詞、選取在線課程質(zhì)量評價(jià)體系各指標(biāo)的標(biāo)簽詞;使用深度學(xué)習(xí)模型ERNIE對課程評論數(shù)據(jù)進(jìn)行情感分析,并加權(quán)計(jì)算在線課程的最終得分。研究過程和方法如圖1所示。

    (一)自媒體平臺在線課程質(zhì)量評價(jià)體系構(gòu)建

    目前,研究機(jī)構(gòu)已發(fā)布諸多有關(guān)在線課程質(zhì)量評價(jià)體系的文件,如我國教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會制定的《網(wǎng)絡(luò)課程評價(jià)規(guī)范》、美國國防部高級分布式學(xué)習(xí)聯(lián)合實(shí)驗(yàn)室發(fā)布的《網(wǎng)絡(luò)教學(xué)設(shè)計(jì)與評價(jià)指南》、英國高等教育質(zhì)量保證署發(fā)布的《遠(yuǎn)程學(xué)習(xí)質(zhì)量保證指南》等。此外,姚凱等建立了包括5個(gè)一級指標(biāo)的MOOC評價(jià)指標(biāo)體系,從教學(xué)設(shè)計(jì)、課程內(nèi)容、界面設(shè)計(jì)、媒體技術(shù)、課程管理等方面對MOOC進(jìn)行評價(jià)[11]。童小素等以《網(wǎng)絡(luò)課程評價(jià)規(guī)范》為藍(lán)本,探索性地建立了包含3個(gè)一級指標(biāo)和26個(gè)二級指標(biāo)的MOOC質(zhì)量評價(jià)指標(biāo)體系[12]。劉穎等構(gòu)建了信息素養(yǎng)MOOC教學(xué)質(zhì)量評價(jià)體系,利用層次分析法計(jì)算指標(biāo)權(quán)重,并采用模糊綜合評價(jià)法對部分信息素養(yǎng)MOOC教學(xué)質(zhì)量進(jìn)行評價(jià)[13]。

    本研究根據(jù)既有在線課程質(zhì)量評價(jià)研究成果和自媒體平臺特點(diǎn),初步構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,通過德爾菲法征集教育技術(shù)、遠(yuǎn)程教育等領(lǐng)域?qū)<乙庖姡瑢ζ溥M(jìn)行完善。研究構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系見表1。

    (二)采用層次分析法確定指標(biāo)權(quán)重

    層次分析法(Analytic Hierarchy Process,AHP)強(qiáng)調(diào)定量和定性相結(jié)合,具有過程明晰、運(yùn)算簡便、結(jié)果明確、系統(tǒng)性強(qiáng)等特點(diǎn),能夠有效解決難以用定量方法解決的實(shí)際問題[19]。本研究利用Yaahp軟件計(jì)算自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重,并對判斷矩陣進(jìn)行一致性檢驗(yàn)。首先,邀請教育技術(shù)和遠(yuǎn)程教育領(lǐng)域的5位專家對各指標(biāo)進(jìn)行兩兩比較,構(gòu)建判斷矩陣。其次,將數(shù)據(jù)錄入Yaahp軟件,進(jìn)行權(quán)重計(jì)算。經(jīng)過計(jì)算,自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重見表1。最后,計(jì)算一致性比例C.R.。結(jié)果顯示,一致性比例C.R.小于0.1,符合要求,判斷矩陣為滿意一致性矩陣。

    自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)中,能力層面、教學(xué)實(shí)施、情感層面、認(rèn)知層面、技術(shù)支持所占權(quán)重較高。相比較而言,學(xué)習(xí)效果下的3個(gè)指標(biāo)較為重要。與MOOC平臺不同,自媒體平臺對學(xué)習(xí)者的學(xué)習(xí)過程很難進(jìn)行監(jiān)督和考核,通過學(xué)習(xí)者的評論內(nèi)容可以得知學(xué)習(xí)者對課程各方面的評價(jià),以及學(xué)習(xí)課程后學(xué)習(xí)者在認(rèn)知、能力、情感等方面是否得到了提升。各指標(biāo)權(quán)重反映了專家們結(jié)果導(dǎo)向的、基于學(xué)習(xí)效果的評價(jià)傾向。此外,專家們意識到,自媒體平臺在線課程同質(zhì)化程度越來越高,并指出應(yīng)該更加重視能使在線課程質(zhì)量產(chǎn)生較大差異的指標(biāo)。由于目前自媒體平臺多數(shù)在線課程仍以教師講授為主,課程開設(shè)門檻較低,很多教師沒有教育學(xué)背景,甚至沒有任何教學(xué)經(jīng)驗(yàn),致使課程質(zhì)量難以達(dá)到預(yù)期。因此,專家認(rèn)為教學(xué)設(shè)計(jì)與實(shí)施較為重要,是保證學(xué)習(xí)者學(xué)習(xí)效果的前提和基礎(chǔ),權(quán)重僅次于學(xué)習(xí)效果維度,其中的教學(xué)實(shí)施在二級指標(biāo)中所占權(quán)重較高。

    (三)基于深度學(xué)習(xí)的自媒體平臺在線課程質(zhì)量評價(jià)方法

    文本情感分析,也稱為傾向性分析、意見挖掘,是指利用數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理等智能技術(shù)對文本的觀點(diǎn)、情緒、極性等進(jìn)行分析,以便對文本的情感傾向作出判斷。本研究通過粗粒度情感分析和細(xì)粒度情感分析的綜合應(yīng)用評價(jià)自媒體平臺在線課程質(zhì)量。

    1. 基于深度學(xué)習(xí)的粗粒度情感分析

    百度于2019年推出基于深度學(xué)習(xí)的語義理解預(yù)訓(xùn)練模型ERNIE,其使用多層Transformer作為基本編碼器,并強(qiáng)調(diào)對知識進(jìn)行整合,以達(dá)到增強(qiáng)表達(dá)的目的[20]。ERNIE借鑒了BERT的掩碼策略,在基本級別掩碼基礎(chǔ)上,增加短語級別掩碼和實(shí)體級別掩碼?;炯墑e掩碼是指將句子視作由基本的語言單元組成,具體而言,漢語的基本語言單位是漢字;短語級別掩碼是將由多個(gè)基本語言單位組成的短語作為概念單元進(jìn)行屏蔽;實(shí)體級別掩碼是將地名、人名、組織等專有名詞抽象為實(shí)體進(jìn)行屏蔽。通過多階段知識掩碼策略,可以獲得語義信息豐富的表達(dá)。實(shí)驗(yàn)結(jié)果顯示,ERNIE在語義相似度、自然語言推理、文本情感分析等自然語言處理任務(wù)方面優(yōu)于BERT等方法。此外,訓(xùn)練數(shù)據(jù)方面,ERNIE除了使用百科類、資訊類中文語料外,還引入論壇對話類數(shù)據(jù),進(jìn)一步提升模型的語義表示能力,使其在基于上下文的知識推理中具有較好表現(xiàn),以便更好地捕捉上下文情感信息,從而實(shí)現(xiàn)更高精度的正負(fù)性情感劃分。因此,本研究使用ERNIE進(jìn)行粗粒度情感分析,以得到單條評論語句的情感得分。

    2. 基于自然語言處理的細(xì)粒度情感分析

    本研究中細(xì)粒度情感分析是指利用通過粗粒度情感分析得到的單條評論語句情感得分和通過TF-IDF值計(jì)算篩選出的標(biāo)簽詞,進(jìn)行更為細(xì)致層面的情感傾向分析,以求得在線課程在評價(jià)體系各指標(biāo)的得分。

    (1)標(biāo)簽詞選取

    TF-IDF算法用以評估某個(gè)詞在文本集中對某份文本的重要程度,越重要則越可能是此份文本的關(guān)鍵詞,是目前常用的無監(jiān)督關(guān)鍵詞提取算法。這種算法在提取關(guān)鍵詞時(shí)將詞語位置屬性考慮到了關(guān)鍵詞選擇的指標(biāo)當(dāng)中,能甄別在語料中多次出現(xiàn)的非關(guān)鍵詞以及偶爾出現(xiàn)的關(guān)鍵詞。TF-IDF算法由TF算法和IDF算法組成。TF(Term Frequency)指詞頻,TF算法是統(tǒng)計(jì)字詞在某份文本中出現(xiàn)的次數(shù),即求字詞在文本中出現(xiàn)的頻率,頻率越高,說明該字詞越重要。IDF(Inverse Document Frequency)指逆向文件頻率,IDF算法是統(tǒng)計(jì)某個(gè)字詞出現(xiàn)在多少份文本中,字詞在越少的文本中出現(xiàn),說明其對文本的區(qū)分能力越強(qiáng)。某個(gè)字詞的IDF值具體計(jì)算方法是文本總數(shù)除以包含該字詞的文本數(shù)量,再將求得的商取對數(shù)。TF-IDF值是TF值與IDF值的乘積,本研究中將關(guān)鍵詞按照TF-IDF值降序排列,取前n個(gè)詞作為關(guān)鍵詞,通過此種方法得到的關(guān)鍵詞具有較好的代表性。然后根據(jù)構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系,從關(guān)鍵詞中選取與評價(jià)體系各維度相匹配的詞作為標(biāo)簽詞。

    (2)在線課程各指標(biāo)情感得分計(jì)算

    在粗粒度情感分析基礎(chǔ)上,結(jié)合各指標(biāo)標(biāo)簽詞進(jìn)行細(xì)粒度情感分析。首先,將標(biāo)簽詞作為索引,通過與每條評論語句逐一匹配,實(shí)現(xiàn)每條評論語句到評價(jià)體系各指標(biāo)的映射。其次,根據(jù)每條評論語句的情感得分,計(jì)算在線課程在各指標(biāo)的情感得分。若有多條語句與某指標(biāo)匹配,則取與之匹配的所有評論語句情感得分的平均值。最后,結(jié)合評價(jià)體系各指標(biāo)權(quán)重進(jìn)行加權(quán)計(jì)算,得出在線課程的最終得分,以實(shí)現(xiàn)對自媒體平臺在線課程質(zhì)量的評價(jià)。

    四、自媒體平臺在線課程質(zhì)量評價(jià)方法應(yīng)用

    (一)數(shù)據(jù)采集與處理

    1. 評論數(shù)據(jù)采集

    Bilibili是國內(nèi)知名自媒體平臺,截至2022年12月注冊用戶數(shù)量達(dá)3.5億,并且設(shè)有專門的在線課程欄目。因此,本研究選擇Bilibili作為數(shù)據(jù)來源。研究以數(shù)學(xué)、英語、地理、歷史、計(jì)算機(jī)編程、物理等為關(guān)鍵詞在Bilibili中搜索在線課程,將搜索結(jié)果按照評論數(shù)量降序排列,每種隨機(jī)選取3個(gè)評論數(shù)量高于1000的在線課程,共選取18門在線課程作為研究對象。Bilibili提供了豐富的應(yīng)用程序接口(Application Programming Interface,API),可利用API獲取在線課程的評論數(shù)據(jù)。本研究首先利用Python的request模塊獲取json數(shù)據(jù);然后對其進(jìn)行解析,以便定位對應(yīng)的評論數(shù)據(jù)字段;最后,讀取評論的詳細(xì)內(nèi)容。

    2. 數(shù)據(jù)清洗與預(yù)處理

    由于網(wǎng)絡(luò)文化的多樣性、開放性和自由性,在線課程的評論內(nèi)容復(fù)雜多樣,通常有超越傳統(tǒng)表達(dá)的信息,如繪文字、顏文字、表情符號等,甚至還存在廣告信息、垃圾信息和低俗用語等。這些信息無用且對正常研究造成干擾,影響文本情感分析的效率和準(zhǔn)確性。因此,要在情感分析前對通過網(wǎng)絡(luò)爬蟲得到的數(shù)據(jù)進(jìn)行清洗,刪除無效的有害信息和干擾信息,提高數(shù)據(jù)分析的有效性。

    與此同時(shí),對爬取的數(shù)據(jù)進(jìn)行整理,剔除評論內(nèi)容中的標(biāo)點(diǎn)符號、數(shù)字等無效字符以及停用詞。停用詞包括你、他(她)、你們、他們(她們)等人稱代詞,的、地、得、所等助詞,喲、啊、哎、哇等語氣詞等。這些詞語在文本中出現(xiàn)次數(shù)較多,但是對文本情感分析并無實(shí)際意義。最后,刪除重復(fù)評論以及少于3個(gè)字符的無效評論。經(jīng)過數(shù)據(jù)清洗和預(yù)處理,共得到有效評論數(shù)據(jù)86099條。

    (二)標(biāo)簽詞選取

    1. TF-IDF值計(jì)算

    本研究利用Python中的jieba庫對有效評論數(shù)據(jù)進(jìn)行分詞,并計(jì)算TF、IDF和TF-IDF的值。jieba是目前常用的第三方中文分詞庫,支持三種分詞模式,即精確模式、全模式和搜索引擎模式。部分關(guān)鍵詞及其TF-IDF值見表2。

    2. 標(biāo)簽詞選取

    本研究將關(guān)鍵詞按照其TF-IDF值降序排列,并從中選取前3000個(gè)關(guān)鍵詞。根據(jù)前面構(gòu)建的自媒體平臺在線課程質(zhì)量評價(jià)體系,從中選取與評價(jià)體系各指標(biāo)相匹配的詞作為標(biāo)簽詞。表3描述了在線課程質(zhì)量評價(jià)體系中各指標(biāo)對應(yīng)的部分標(biāo)簽詞。

    (三)粗粒度情感分析

    ERNIE是百度推出的較為成熟的語義理解預(yù)訓(xùn)練模型,得到廣泛應(yīng)用,并取得令人滿意的效果。因此,本研究通過百度的自然語言接口AipNlp調(diào)用預(yù)訓(xùn)練的深度學(xué)習(xí)模型ERNIE,進(jìn)行粗粒度情感分析,并逐句計(jì)算情感得分。例如,“老師的聲音真好聽,邏輯清晰,學(xué)習(xí)真快樂”的情感得分為0.9998,“一位只會念教材、原理不分析、說話聽不清、提問不回答的老師”的情感得分為0.0190。

    (四)細(xì)粒度情感分析

    對根據(jù)粗粒度情感分析得到的在線課程單條評論語句情感得分和標(biāo)簽詞進(jìn)行細(xì)粒度情感分析,以便得到在線課程質(zhì)量評價(jià)體系各指標(biāo)的得分情況。圖2為選取的18門在線課程各指標(biāo)的情感得分。

    (五)自媒體平臺在線課程質(zhì)量評價(jià)

    根據(jù)自媒體平臺在線課程質(zhì)量評價(jià)體系各指標(biāo)權(quán)重和通過細(xì)粒度情感分析得出的各指標(biāo)情感得分,計(jì)算在線課程質(zhì)量的加權(quán)得分,以此作為在線課程的最終得分,用于評價(jià)在線課程質(zhì)量。本研究選取的18門在線課程的最終得分如圖3所示。

    五、自媒體平臺在線課程質(zhì)量評價(jià)方法驗(yàn)證

    既有研究指出,Bilibili平臺用戶往往通過點(diǎn)贊、收藏等行為表達(dá)對視頻的認(rèn)可和喜愛[21]。為了驗(yàn)證本研究提出的自媒體平臺在線課程質(zhì)量評價(jià)方法的應(yīng)用效果,本研究首先隨機(jī)選取Bilibili平臺評論數(shù)量高于1000的另外10門在線課程,然后邀請3位教育技術(shù)領(lǐng)域?qū)<彝ㄟ^背靠背打分的形式對這10門課程進(jìn)行評價(jià),最后結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)等客觀平臺數(shù)據(jù)進(jìn)行應(yīng)用效果分析。

    為了保證3位專家評價(jià)結(jié)果的一致性,本研究采用肯德爾和諧系數(shù)對主觀評價(jià)的信度進(jìn)行檢驗(yàn)。結(jié)果顯示,肯德爾和諧系數(shù)為0.927,并在0.01水平上顯著相關(guān),說明3位專家的評價(jià)結(jié)果較為可信。取3位專家打分的平均值作為每門課程的最終得分,并歸一化到0~1之間,保留三位有效數(shù)字。結(jié)果如圖4所示,雖然每門課程專家評價(jià)法得分和本研究方法得分并不完全相同,但根據(jù)得分的折線趨勢和基于得分的課程排序可知,本研究方法對在線課程質(zhì)量的評價(jià)結(jié)果和專家評價(jià)法的結(jié)果基本一致。

    結(jié)合點(diǎn)贊數(shù)和收藏?cái)?shù)進(jìn)一步分析,課程8是中學(xué)物理課程,綜合得分最高,同時(shí)擁有16.8萬次點(diǎn)贊和28萬次收藏。筆者學(xué)習(xí)該在線課程發(fā)現(xiàn),該課程視頻、音頻的質(zhì)量較高,授課教師著裝正式,儀態(tài)大方,普通話標(biāo)準(zhǔn),思路清晰,并且通過自編趣味“順口溜”的方式幫助學(xué)習(xí)者掌握知識點(diǎn),因此,深受在線學(xué)習(xí)者的喜愛。課程9是語言類課程,該課程由于各維度都有較多消極評論,其綜合得分小于0.5。多數(shù)學(xué)習(xí)者評論該課程過于淺顯、視頻質(zhì)量差、虛假宣傳、內(nèi)容陳舊、包含廣告等,例如,“完全就是蹭熱度的視頻,一點(diǎn)干貨沒有,無語”“大家別浪費(fèi)時(shí)間了,內(nèi)容真的很無語”“看了以后感覺沒有講什么很有用的東西,這些方法早就知道了,別人都講了好多遍”。因此,其點(diǎn)贊數(shù)和收藏?cái)?shù)與同類課程相比較少,筆者學(xué)習(xí)該在線課程后確認(rèn)學(xué)習(xí)者的評論基本屬實(shí)。

    綜上所述,本研究提出的在線課程質(zhì)量評價(jià)方法具備較高的可行性和可信度,評價(jià)效果較為理想,對自媒體平臺在線課程質(zhì)量有一定的評價(jià)效用。

    六、結(jié)? ?語

    針對自媒體平臺在線課程質(zhì)量評價(jià)問題,本研究首先根據(jù)既有研究和自媒體平臺特點(diǎn)構(gòu)建自媒體平臺在線課程質(zhì)量評價(jià)體系,該體系包括4個(gè)一級指標(biāo)和9個(gè)二級指標(biāo);然后通過層次分析法確定各指標(biāo)的權(quán)重,專家們具有以結(jié)果為導(dǎo)向的評價(jià)傾向,同時(shí)肯定了異質(zhì)性在自媒體平臺在線課程質(zhì)量評價(jià)中的重要性,具體體現(xiàn)為學(xué)習(xí)效果和教學(xué)設(shè)計(jì)與實(shí)施兩個(gè)指標(biāo)的權(quán)重較高;接著,利用深度學(xué)習(xí)模型ERNIE對學(xué)習(xí)者評論數(shù)據(jù)進(jìn)行文本情感分析,學(xué)習(xí)者是學(xué)習(xí)的主體,其評論內(nèi)容包含著對課程的真實(shí)感受和情感傾向;最后,對各指標(biāo)權(quán)重和各指標(biāo)情感得分進(jìn)行加權(quán)計(jì)算,以便對在線課程質(zhì)量進(jìn)行整體評價(jià)。與傳統(tǒng)的在線課程質(zhì)量評價(jià)方法相比,本研究所提方法效率高,更具客觀性和實(shí)效性,可滿足大數(shù)據(jù)時(shí)代對海量在線課程的評價(jià)需求。但也存在一些局限性,用于文本情感分析的標(biāo)簽詞是人工從TF-IDF值較高的關(guān)鍵詞中篩選的,工作量繁巨且不可避免地受到篩選者主觀意識的影響。未來研究和實(shí)踐中,將嘗試通過聚類分析等方法選取標(biāo)簽詞,并比較探討兩種方法的準(zhǔn)確性。此外,本研究僅以Bilibili平臺部分在線課程為例,接下來將擴(kuò)大數(shù)據(jù)采集范圍,以增強(qiáng)評價(jià)方法的普適性。

    [參考文獻(xiàn)]

    [1] CURRAN V, SIMMONS K, MATTHEWS L, et al. YouTube as an educational resource in medical education: a scoping review[J]. Medical science educator, 2020, 30: 1775-1782.

    [2] 黃楚新.我國自媒體發(fā)展現(xiàn)狀、問題及對策[J].人民論壇,2022(22):104-107.

    [3] 王璐,趙呈領(lǐng),萬力勇.基于扎根理論的在線開放課程質(zhì)量評價(jià)指標(biāo)體系構(gòu)建研究——以國家精品資源共享課為例[J].中國遠(yuǎn)程教育,2017(11):70-76.

    [4] 肖婉,盧鋒,季一木.什么樣的在線課程受學(xué)習(xí)者歡迎?——基于15門在線課程評論的文本挖掘與組態(tài)分析[J].電化教育研究,2023,44(5):60-66.

    [5] 李欣苗,陳云.基于特征選擇和傾向分析聯(lián)合優(yōu)化的UGC情感自動識別方法[J].管理工程學(xué)報(bào),2019,33(2):61-71.

    [6] QI C, LIU S. Evaluating on-line courses via reviews mining[J]. IEEE access, 2021, 9: 35439-35451.

    [7] PENG X, XU Q. Investigating learners' behaviors and discourse content in mooc course reviews[J]. Computers & education, 2020, 143: 103673.

    [8] ONAN A. Sentiment analysis on massive open online course evaluations: a text mining and deep learning approach[J]. Computer applications in engineering education, 2021,29(3):572-589.

    [9] 聶卉,首歡容.基于修正點(diǎn)互信息的特征級情感詞極性自動研判[J].圖書情報(bào)工作,2020,64(5):114-123.

    [10] GENG S, NIU B, FENG Y, et al. Understanding the focal points and sentiment of learners in mooc reviews: a machine learning and sc-liwc-based approach[J]. British journal of educational technology, 2020,51(5):1785-1803.

    [11] 姚凱,李思志,李艷紅,等.MOOC評價(jià)模型研究[J].復(fù)旦教育論壇,2017,15(3):65-71.

    [12] 童小素,賈小軍.MOOC質(zhì)量評價(jià)體系的構(gòu)建探究[J].中國遠(yuǎn)程教育,2017(5):63-71,80.

    [13] 劉穎,吉久明,李楠,等.學(xué)生視角下的MOOC課程教學(xué)質(zhì)量評價(jià)體系構(gòu)建研究——以學(xué)術(shù)信息素養(yǎng)類MOOC課程為例[J].圖書館雜志,2021,40(2):95-103.

    [14] 教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會.網(wǎng)絡(luò)課程評價(jià)規(guī)范[EB/OL].(2014-03-17)[2023-06-30]. http://www.doc88.com/p-062198781 6389.html.

    [15] DYOMIN V, MOZHAEVA G, BABANSKAYA O, et al. Mooc quality evaluation system: tomsk state university experience[EB/OL].(2017-05-20)[2023-03-25].https://link.springer.com/chapter/10.1007/978-3-319-59044-8_23.

    [16] SUNG Y T, CHANG K E, YU W C. Evaluating the reliability and impact of a quality assurance system for e-learning courseware[J]. Computers & education, 2011,57(2):1615-1627.

    [17] MILLIGAN C, LITTLEJOHN A. Supporting professional learning in a massive open online course[J]. International review of research in open and distributed learning, 2014,15(5):197-213.

    [18] JANSEN R S, VAN LEEUWEN A, JANSSEN J, et al. Supporting learners' self-regulated learning in massive open online courses[J]. Computers & education, 2020,146:103771.

    [19] 徐振國,趙春雨,王悅,等.智慧學(xué)習(xí)環(huán)境下大學(xué)生深度學(xué)習(xí)的影響因素[J].現(xiàn)代教育技術(shù),2023,33(1):58-65.

    [20] 沈彬,嚴(yán)馨,周麗華,等.基于ERNIE和雙重注意力機(jī)制的微博情感分析[J].云南大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,44(3):480-489.

    [21] 黃煒,沈欣蕓,李偉卿.視頻博客Vlog用戶的持續(xù)使用行為影響因素研究——以Bilibili為例[J].現(xiàn)代情報(bào),2022,42(6):69-79.

    Research on Quality Evaluation of Online Courses for We Media Platforms

    Based on Deep Learning

    XU Zhenguo1,? WANG Jianing2,? WANG Yue1,? GUO Shunli1,? XIE Wanli1

    (1.School of Communication, Qufu Normal University, Rizhao Shandong 276826;

    2.Research Institute of Science Education, Beijing Normal University, Beijing 100875)

    [Abstract] There are a large number of online courses on we media platforms, but the quality is uneven, which seriously affects the learning experience and learning efficiency of learners. Therefore, exploring objective, accurate and efficient quality evaluation methods of online courses for we media platform has become a practical problem to be solved. To address this problem, this study firstly constructs an online course quality evaluation system, and uses the analytic hierarchy process to determine the weight of each index. Secondly, deep learning and natural language processing technologies are used to conduct coarse-grained sentiment analysis and fine-grained sentiment analysis of online course review data in order to realize the quality evaluation of online courses on we media platforms. Finally, the review data of online courses on Bilibili platform is collected for application research, and the experiment has proved that the method has high feasibility, credibility and accuracy, and can realize the effective quality evaluation of online courses on we media platforms, so as to promote the healthy development of online courses and improve the learning experience of learners.

    [Keywords] Online Courses;? We Media Platforms; Course Quality; Deep Learning; Course Evaluation

    基金項(xiàng)目:2020年國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目“學(xué)習(xí)畫面情感對學(xué)習(xí)者情感的影響機(jī)制及其自適應(yīng)調(diào)整方法研究”(項(xiàng)目編號:62007020);2022年中國博士后科學(xué)基金資助項(xiàng)目“在線學(xué)習(xí)環(huán)境下學(xué)習(xí)畫面情感的自適應(yīng)調(diào)整方法研究”(項(xiàng)目編號:2022M711883)

    猜你喜歡
    課程質(zhì)量課程評價(jià)在線課程
    MOOC:我國未來高等教育發(fā)展過程中的危機(jī)與轉(zhuǎn)機(jī)
    東方教育(2016年6期)2017-01-16 20:14:39
    在線課程教學(xué)融入網(wǎng)絡(luò)消費(fèi)者行為預(yù)測研究
    東方教育(2016年18期)2017-01-16 11:25:48
    基于SPOC的“數(shù)理邏輯”在線課程教學(xué)改革探究
    面向卓越教師的師范生實(shí)訓(xùn)課程評價(jià)研究
    考試周刊(2016年21期)2016-12-16 11:34:37
    《微電子工藝原理》課程的教學(xué)改進(jìn)
    考試周刊(2016年88期)2016-11-24 14:55:58
    基于工作室教學(xué)模式的工業(yè)設(shè)計(jì)課程評價(jià)體系研究
    云計(jì)算背景下的學(xué)生課程評價(jià)模式探究
    基于“閉環(huán)控制”原理的課程質(zhì)量保障系統(tǒng)的構(gòu)建與實(shí)踐
    應(yīng)用型本科院?!巴ㄗR教育”的教務(wù)管理及對策分析
    提高小學(xué)綜合實(shí)踐活動課程質(zhì)量淺探
    午夜精品国产一区二区电影| 看免费成人av毛片| 少妇 在线观看| 天美传媒精品一区二区| 黄色怎么调成土黄色| 91在线精品国自产拍蜜月| 久久97久久精品| 亚洲,一卡二卡三卡| 亚洲精品久久午夜乱码| 久久人人爽av亚洲精品天堂| 黄色怎么调成土黄色| 王馨瑶露胸无遮挡在线观看| 久久午夜福利片| 在现免费观看毛片| 美女中出高潮动态图| 国产av码专区亚洲av| 免费在线观看黄色视频的| 观看美女的网站| 天堂俺去俺来也www色官网| 亚洲人成网站在线观看播放| 免费高清在线观看视频在线观看| 人人妻人人添人人爽欧美一区卜| 麻豆乱淫一区二区| 高清视频免费观看一区二区| 美女主播在线视频| 99久久综合免费| 黄色 视频免费看| 国产伦理片在线播放av一区| 观看av在线不卡| 久久综合国产亚洲精品| 亚洲精品中文字幕在线视频| 欧美老熟妇乱子伦牲交| 成人手机av| 日本猛色少妇xxxxx猛交久久| 女性被躁到高潮视频| 欧美精品高潮呻吟av久久| 国产有黄有色有爽视频| 可以免费在线观看a视频的电影网站 | 亚洲精品乱久久久久久| 亚洲精品日本国产第一区| 一级爰片在线观看| a级毛片在线看网站| 午夜久久久在线观看| a级毛片黄视频| 男人添女人高潮全过程视频| 亚洲精品自拍成人| 国产人伦9x9x在线观看 | 日韩一本色道免费dvd| 色网站视频免费| 啦啦啦中文免费视频观看日本| 校园人妻丝袜中文字幕| 黄色怎么调成土黄色| 日日爽夜夜爽网站| 色播在线永久视频| 亚洲四区av| 亚洲欧美一区二区三区国产| 热re99久久精品国产66热6| 高清在线视频一区二区三区| 国产一区有黄有色的免费视频| 国产又爽黄色视频| 国产精品麻豆人妻色哟哟久久| 亚洲国产色片| 老司机亚洲免费影院| 一边摸一边做爽爽视频免费| 久久精品国产a三级三级三级| 久久久久久人妻| 久久精品国产a三级三级三级| 中文字幕制服av| 晚上一个人看的免费电影| av线在线观看网站| 成年美女黄网站色视频大全免费| www.熟女人妻精品国产| 国产一级毛片在线| 黑丝袜美女国产一区| 国产国语露脸激情在线看| 日日爽夜夜爽网站| 一级爰片在线观看| 只有这里有精品99| 少妇猛男粗大的猛烈进出视频| www.自偷自拍.com| 久久人妻熟女aⅴ| 国产精品人妻久久久影院| 亚洲,欧美,日韩| 汤姆久久久久久久影院中文字幕| 毛片一级片免费看久久久久| 日本欧美视频一区| 青草久久国产| 国产亚洲最大av| 99热全是精品| 女性生殖器流出的白浆| 又粗又硬又长又爽又黄的视频| 亚洲欧美中文字幕日韩二区| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 国产精品人妻久久久影院| a级毛片黄视频| 成人午夜精彩视频在线观看| 两性夫妻黄色片| 久久99热这里只频精品6学生| 熟妇人妻不卡中文字幕| 亚洲国产精品一区二区三区在线| 黑人欧美特级aaaaaa片| 久热久热在线精品观看| 成人亚洲欧美一区二区av| 女人精品久久久久毛片| 最近2019中文字幕mv第一页| 老汉色av国产亚洲站长工具| 爱豆传媒免费全集在线观看| 国产精品一二三区在线看| 99re6热这里在线精品视频| 精品国产乱码久久久久久小说| 久久午夜福利片| 午夜影院在线不卡| 青草久久国产| 一级毛片我不卡| 国产免费又黄又爽又色| 在线观看免费日韩欧美大片| 亚洲欧美一区二区三区久久| 欧美变态另类bdsm刘玥| 久久久久精品久久久久真实原创| 国产老妇伦熟女老妇高清| 80岁老熟妇乱子伦牲交| 最新中文字幕久久久久| 亚洲国产精品成人久久小说| 亚洲成av片中文字幕在线观看 | 侵犯人妻中文字幕一二三四区| 国产毛片在线视频| 成人国产麻豆网| 人妻人人澡人人爽人人| 欧美老熟妇乱子伦牲交| 亚洲av.av天堂| 老司机亚洲免费影院| 另类亚洲欧美激情| 99香蕉大伊视频| 精品卡一卡二卡四卡免费| 秋霞在线观看毛片| 亚洲在久久综合| av在线观看视频网站免费| 成人国语在线视频| 黄网站色视频无遮挡免费观看| 看免费成人av毛片| xxx大片免费视频| 侵犯人妻中文字幕一二三四区| 老汉色av国产亚洲站长工具| 亚洲综合色网址| 亚洲精品第二区| 不卡视频在线观看欧美| 成人国语在线视频| 另类精品久久| 寂寞人妻少妇视频99o| 97在线视频观看| 999精品在线视频| 亚洲精品美女久久av网站| 国产成人免费观看mmmm| 一级a爱视频在线免费观看| 亚洲男人天堂网一区| 搡女人真爽免费视频火全软件| 热99国产精品久久久久久7| 免费看不卡的av| 免费在线观看黄色视频的| 亚洲四区av| 国产精品不卡视频一区二区| 国产欧美日韩综合在线一区二区| 午夜激情av网站| 久久久久精品人妻al黑| 有码 亚洲区| 免费看av在线观看网站| 国产成人精品久久二区二区91 | 亚洲国产最新在线播放| 久久av网站| 国产成人91sexporn| 欧美日韩av久久| 精品人妻熟女毛片av久久网站| 菩萨蛮人人尽说江南好唐韦庄| 国产精品嫩草影院av在线观看| 1024香蕉在线观看| 各种免费的搞黄视频| 亚洲精品成人av观看孕妇| 国产一区二区激情短视频 | 黄片小视频在线播放| 亚洲欧洲国产日韩| 日韩 亚洲 欧美在线| 国产精品蜜桃在线观看| 日日啪夜夜爽| 欧美变态另类bdsm刘玥| 欧美激情高清一区二区三区 | 十分钟在线观看高清视频www| 成人18禁高潮啪啪吃奶动态图| 午夜福利视频精品| 777久久人妻少妇嫩草av网站| 秋霞在线观看毛片| 亚洲国产毛片av蜜桃av| 精品国产一区二区三区久久久樱花| 国产欧美日韩综合在线一区二区| 最近中文字幕高清免费大全6| 亚洲欧美日韩另类电影网站| 欧美人与善性xxx| 91国产中文字幕| 日韩成人av中文字幕在线观看| 春色校园在线视频观看| 女的被弄到高潮叫床怎么办| tube8黄色片| 亚洲,欧美,日韩| 纵有疾风起免费观看全集完整版| 精品第一国产精品| 久久久a久久爽久久v久久| 国产精品国产三级专区第一集| 精品国产国语对白av| 国产午夜精品一二区理论片| 色吧在线观看| 国产爽快片一区二区三区| 亚洲精品aⅴ在线观看| 免费观看性生交大片5| 国产日韩欧美在线精品| 欧美精品一区二区免费开放| 777久久人妻少妇嫩草av网站| av有码第一页| 久久综合国产亚洲精品| 在线观看一区二区三区激情| 街头女战士在线观看网站| 午夜老司机福利剧场| 久久鲁丝午夜福利片| 久久久精品国产亚洲av高清涩受| 最近2019中文字幕mv第一页| 欧美xxⅹ黑人| xxxhd国产人妻xxx| 亚洲国产看品久久| 99香蕉大伊视频| 国产 精品1| 久久久国产精品麻豆| 国产亚洲最大av| 丁香六月天网| 免费播放大片免费观看视频在线观看| 天堂俺去俺来也www色官网| 日本免费在线观看一区| 国产精品久久久久久av不卡| 黄片小视频在线播放| 一本色道久久久久久精品综合| 久久久久久免费高清国产稀缺| 免费女性裸体啪啪无遮挡网站| 97在线视频观看| 亚洲国产精品国产精品| 一区二区三区精品91| 一本久久精品| 久久精品人人爽人人爽视色| 久久青草综合色| 午夜福利乱码中文字幕| 亚洲伊人久久精品综合| 欧美日韩亚洲高清精品| 一级片免费观看大全| 99久久综合免费| 久久av网站| 一级片'在线观看视频| 午夜精品国产一区二区电影| 老鸭窝网址在线观看| 王馨瑶露胸无遮挡在线观看| 美女高潮到喷水免费观看| 国产精品 欧美亚洲| 99久久人妻综合| 中文欧美无线码| 在线 av 中文字幕| 欧美日韩一区二区视频在线观看视频在线| 久久99热这里只频精品6学生| 亚洲精品久久成人aⅴ小说| 搡女人真爽免费视频火全软件| 日韩一区二区三区影片| 91午夜精品亚洲一区二区三区| 亚洲国产最新在线播放| 90打野战视频偷拍视频| 精品第一国产精品| 18禁国产床啪视频网站| 男女边吃奶边做爰视频| 美女中出高潮动态图| 日韩一卡2卡3卡4卡2021年| 亚洲av综合色区一区| 人成视频在线观看免费观看| 我要看黄色一级片免费的| 国产欧美亚洲国产| 亚洲精品久久午夜乱码| 中文字幕人妻丝袜一区二区 | 免费在线观看视频国产中文字幕亚洲 | 日韩大片免费观看网站| 国产在线一区二区三区精| 婷婷色麻豆天堂久久| 天堂8中文在线网| 亚洲精品在线美女| www.av在线官网国产| 女人精品久久久久毛片| 亚洲伊人色综图| 国产 一区精品| 亚洲欧美一区二区三区久久| 日本91视频免费播放| 高清黄色对白视频在线免费看| 有码 亚洲区| a 毛片基地| 欧美+日韩+精品| 成年女人毛片免费观看观看9 | 在线观看www视频免费| 亚洲人成77777在线视频| 777米奇影视久久| 激情视频va一区二区三区| 精品酒店卫生间| 久久久久国产一级毛片高清牌| 黄网站色视频无遮挡免费观看| 色94色欧美一区二区| 日韩三级伦理在线观看| 人妻系列 视频| 精品国产一区二区三区四区第35| 日韩av在线免费看完整版不卡| 最近中文字幕高清免费大全6| 日本欧美视频一区| av福利片在线| 欧美精品亚洲一区二区| 性高湖久久久久久久久免费观看| 有码 亚洲区| 中文字幕亚洲精品专区| 99国产综合亚洲精品| 26uuu在线亚洲综合色| 天堂8中文在线网| 亚洲精品一区蜜桃| 寂寞人妻少妇视频99o| 亚洲av电影在线观看一区二区三区| 老熟女久久久| 午夜福利网站1000一区二区三区| 国产亚洲最大av| 18禁观看日本| 精品人妻偷拍中文字幕| 日韩成人av中文字幕在线观看| 久久久国产欧美日韩av| 男女边摸边吃奶| 91精品伊人久久大香线蕉| 久久国产精品男人的天堂亚洲| 精品国产露脸久久av麻豆| 日韩精品有码人妻一区| 亚洲av免费高清在线观看| kizo精华| 国产一区二区在线观看av| 亚洲欧美清纯卡通| 赤兔流量卡办理| 1024视频免费在线观看| 校园人妻丝袜中文字幕| 精品国产一区二区三区四区第35| 一级,二级,三级黄色视频| 啦啦啦视频在线资源免费观看| 久久久a久久爽久久v久久| 丝袜人妻中文字幕| 亚洲成人手机| 久久婷婷青草| 亚洲美女视频黄频| 国产黄色视频一区二区在线观看| 亚洲国产日韩一区二区| 国产成人精品婷婷| 女人被躁到高潮嗷嗷叫费观| 高清黄色对白视频在线免费看| 天美传媒精品一区二区| 免费黄频网站在线观看国产| 久久精品亚洲av国产电影网| 天天躁日日躁夜夜躁夜夜| 亚洲精品一二三| 中国三级夫妇交换| 18禁观看日本| 性少妇av在线| 国产成人精品一,二区| 桃花免费在线播放| 国产日韩欧美在线精品| 熟女少妇亚洲综合色aaa.| 青春草视频在线免费观看| 国产成人精品婷婷| 少妇的逼水好多| 2018国产大陆天天弄谢| 久久精品aⅴ一区二区三区四区 | 国产欧美日韩一区二区三区在线| 免费播放大片免费观看视频在线观看| 十八禁高潮呻吟视频| 精品一区二区免费观看| 亚洲欧美精品综合一区二区三区 | 观看美女的网站| 99re6热这里在线精品视频| 人人妻人人添人人爽欧美一区卜| 黄色一级大片看看| av国产久精品久网站免费入址| 欧美日韩综合久久久久久| 一本久久精品| 交换朋友夫妻互换小说| 麻豆乱淫一区二区| 日本午夜av视频| 中文字幕亚洲精品专区| 日韩一卡2卡3卡4卡2021年| 新久久久久国产一级毛片| 99久久中文字幕三级久久日本| 精品人妻一区二区三区麻豆| 亚洲成国产人片在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲内射少妇av| 午夜免费观看性视频| 国产精品人妻久久久影院| 国产精品久久久久久精品古装| 国产精品一区二区在线观看99| 国产男人的电影天堂91| 国产日韩欧美亚洲二区| 在线观看三级黄色| 成人午夜精彩视频在线观看| 久久人人爽av亚洲精品天堂| 精品酒店卫生间| 王馨瑶露胸无遮挡在线观看| 寂寞人妻少妇视频99o| 下体分泌物呈黄色| 男女边摸边吃奶| 九色亚洲精品在线播放| 在线观看免费日韩欧美大片| 999久久久国产精品视频| 日韩制服骚丝袜av| 亚洲第一av免费看| 激情五月婷婷亚洲| 国产一区二区三区综合在线观看| 大片免费播放器 马上看| 丝袜美腿诱惑在线| 亚洲精品日本国产第一区| 久久免费观看电影| 999精品在线视频| 日韩精品有码人妻一区| 欧美av亚洲av综合av国产av | 777久久人妻少妇嫩草av网站| 亚洲av国产av综合av卡| 欧美 日韩 精品 国产| 日本wwww免费看| 涩涩av久久男人的天堂| 色哟哟·www| 欧美老熟妇乱子伦牲交| 国产成人免费无遮挡视频| 色94色欧美一区二区| 婷婷色综合www| 亚洲av欧美aⅴ国产| 一级黄片播放器| 午夜av观看不卡| 欧美成人午夜免费资源| 国产精品人妻久久久影院| 久热这里只有精品99| 两个人看的免费小视频| 精品酒店卫生间| 日韩免费高清中文字幕av| 中文天堂在线官网| 成人二区视频| 美女国产视频在线观看| 久久精品熟女亚洲av麻豆精品| 亚洲欧洲精品一区二区精品久久久 | 日日啪夜夜爽| 有码 亚洲区| 人妻一区二区av| 中文字幕av电影在线播放| 色网站视频免费| 成年人午夜在线观看视频| 国产黄色免费在线视频| 亚洲国产成人一精品久久久| 日韩三级伦理在线观看| a级片在线免费高清观看视频| 久久综合国产亚洲精品| 黑丝袜美女国产一区| 男人爽女人下面视频在线观看| 亚洲中文av在线| 最黄视频免费看| 如何舔出高潮| 亚洲美女黄色视频免费看| 人妻系列 视频| av网站免费在线观看视频| 夜夜骑夜夜射夜夜干| 久久久国产精品麻豆| 啦啦啦中文免费视频观看日本| 欧美变态另类bdsm刘玥| 久久久国产一区二区| 亚洲伊人色综图| 亚洲av成人精品一二三区| 国产一级毛片在线| 在线观看免费日韩欧美大片| 九色亚洲精品在线播放| 高清黄色对白视频在线免费看| 婷婷色综合www| 国产av精品麻豆| 亚洲成人手机| 美女高潮到喷水免费观看| 久久精品久久精品一区二区三区| 亚洲国产精品999| 精品一区在线观看国产| 精品一品国产午夜福利视频| 国产男人的电影天堂91| 国产亚洲av片在线观看秒播厂| 日韩大片免费观看网站| 丝袜喷水一区| 最近最新中文字幕免费大全7| h视频一区二区三区| 日本av手机在线免费观看| 色网站视频免费| 国产黄色视频一区二区在线观看| 精品国产乱码久久久久久小说| 在线观看一区二区三区激情| 久久综合国产亚洲精品| 在线天堂最新版资源| 在线免费观看不下载黄p国产| 免费在线观看黄色视频的| 国产免费又黄又爽又色| 日本av手机在线免费观看| 欧美激情高清一区二区三区 | 美女午夜性视频免费| 久久热在线av| 精品国产露脸久久av麻豆| 亚洲欧美日韩另类电影网站| 精品国产一区二区久久| 欧美变态另类bdsm刘玥| 大片免费播放器 马上看| 电影成人av| 狠狠精品人妻久久久久久综合| 爱豆传媒免费全集在线观看| 伦精品一区二区三区| 午夜福利影视在线免费观看| 日产精品乱码卡一卡2卡三| 丝瓜视频免费看黄片| 熟女少妇亚洲综合色aaa.| 欧美日本中文国产一区发布| 一级毛片我不卡| freevideosex欧美| 亚洲国产精品国产精品| 国产视频首页在线观看| 色94色欧美一区二区| 日韩 亚洲 欧美在线| 日韩精品有码人妻一区| 欧美变态另类bdsm刘玥| 9191精品国产免费久久| 2022亚洲国产成人精品| 97在线人人人人妻| 在线观看国产h片| 精品国产露脸久久av麻豆| 青春草国产在线视频| av片东京热男人的天堂| 亚洲欧美成人精品一区二区| 美国免费a级毛片| 国产精品成人在线| 国产精品久久久av美女十八| 天美传媒精品一区二区| 亚洲国产精品一区二区三区在线| 飞空精品影院首页| 熟女少妇亚洲综合色aaa.| 岛国毛片在线播放| 97人妻天天添夜夜摸| 搡女人真爽免费视频火全软件| 成人午夜精彩视频在线观看| av国产久精品久网站免费入址| 亚洲精品久久久久久婷婷小说| 精品亚洲成a人片在线观看| 国产精品一区二区在线不卡| 人体艺术视频欧美日本| 国产无遮挡羞羞视频在线观看| 爱豆传媒免费全集在线观看| 老汉色av国产亚洲站长工具| av女优亚洲男人天堂| 久久久久精品久久久久真实原创| 亚洲人成网站在线观看播放| 99久久综合免费| 欧美亚洲 丝袜 人妻 在线| 免费黄频网站在线观看国产| 日本爱情动作片www.在线观看| 国产福利在线免费观看视频| 久久久久久人妻| av天堂久久9| 在线天堂最新版资源| 成人二区视频| 免费久久久久久久精品成人欧美视频| 色94色欧美一区二区| 国产日韩欧美视频二区| 可以免费在线观看a视频的电影网站 | 成年女人在线观看亚洲视频| 久久 成人 亚洲| 日韩av在线免费看完整版不卡| 日日啪夜夜爽| 观看美女的网站| 中文天堂在线官网| 久久精品国产鲁丝片午夜精品| 久久热在线av| 成人毛片60女人毛片免费| 国产欧美日韩一区二区三区在线| www.熟女人妻精品国产| 精品国产乱码久久久久久男人| 婷婷成人精品国产| 国产精品免费大片| 夫妻性生交免费视频一级片| 性色av一级| 高清av免费在线| 免费高清在线观看日韩| 在线观看www视频免费| 国产亚洲欧美精品永久| 国产精品.久久久| 欧美成人午夜精品| 国产男人的电影天堂91| 久久女婷五月综合色啪小说| 久久精品久久久久久久性| 2018国产大陆天天弄谢| 国产男女超爽视频在线观看| 成人二区视频| 免费av中文字幕在线| 国产av码专区亚洲av| 成人二区视频| 欧美国产精品一级二级三级| 国产av码专区亚洲av| 18禁动态无遮挡网站| 大片电影免费在线观看免费| 欧美最新免费一区二区三区| 热re99久久精品国产66热6| 欧美日韩亚洲国产一区二区在线观看 | 欧美 亚洲 国产 日韩一| 久久精品久久久久久噜噜老黄| 蜜桃在线观看..| 五月天丁香电影| 日韩制服骚丝袜av| 精品人妻熟女毛片av久久网站| 亚洲欧美精品综合一区二区三区 | www.自偷自拍.com| 人人澡人人妻人|