• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    個性化學習資源推薦中文本情感識別的作用及關鍵技術

    2023-06-07 10:21:20許桂芳穆肅
    中國電化教育 2023年5期
    關鍵詞:個性化學習

    許桂芳 穆肅

    摘要:基于數(shù)據(jù)智能分析的學習資源推送是精準支持個性化學習的教學服務方式之一。隨著人工智能技術和學習分析技術的發(fā)展,通過對行為數(shù)據(jù)、測評數(shù)據(jù)和日志數(shù)據(jù)等的分析進行資源推送雖已有較成功應用,但未能實現(xiàn)學習者個人情感狀態(tài)為引導的資源推送。為此,該研究針對個性化學習資源推薦中情感價值、情感控制理論和實踐的缺失,以實現(xiàn)個性化學習多維度情感識別為目標,采用BERT模型和TextCNN構建個性化學習資源推薦文本情感識別模型,并提出了基于學習者作業(yè)、論壇內容等的文本情感識別模型實現(xiàn)過程。學習資源推薦文本情感識別模型和實現(xiàn)過程可為真實應用提供方法支持和技術路線指引。

    關鍵詞:學習資源推薦;文本情感識別;個性化學習

    中圖分類號:G434 文獻標識碼:A

    * 本文系國家自然科學基金2022年度重點項目“課堂流媒體跨模態(tài)知識元協(xié)同解析與評估方法”(項目編號:62237001)研究成果。① 穆肅為本文通訊作者。

    個性化學習資源推薦的目標是用技術破解教育中長期存在的“不可能三角”,即優(yōu)質、公平、效能三者兼顧的難題[1],將傳統(tǒng)供給驅動的資源推薦方式轉變?yōu)樾枨篁寗拥膫€性化資源推薦模式,實現(xiàn)以學生為主體的學習支持服務,促進學生個性化發(fā)展。人的學習過程中,認知、情感、意志是內在因素,行為是外在表現(xiàn),內在因素通過外在行為映射到學習活動上,對學習過程產(chǎn)生影響。及時、合理、有效的資源推薦服務需要建立在對學習者的全面了解的基礎上[2]。

    目前,機器學習、深度學習等人工智能技術和數(shù)據(jù)挖掘技術,被引入在線教育平臺,通過對學習者的認知特點、知識水平、學習偏好等進行分析,形成學習者特征模型,從而有針對性地提供學習資源推薦服務,個性化學習資源推薦研究已取得一定進展和成果。個性化學習資源推薦現(xiàn)在主要有三條實施途徑:第一是學習者建模,也稱為“學習者畫像”,通過真實全面地采集并分析學習者的學習目標、學習風格、認知水平等個性特征數(shù)據(jù),建立準確的學習者模型并進行資源推送;第二是學習資源建模,深入挖掘學習資源與學習者個性相關聯(lián)的數(shù)據(jù),以建立二者的相似關系實現(xiàn)推送;第三是推薦算法設計,采用智能計算模式將學習者模型和學習資源模型匹配,并在適當?shù)臅r機融入學習者的學習過程,從而提升學習效率[3]。對學習者特征的研究越來越全面、立體,推薦就越準確。但無論是理論或是實證研究方面,學習者建模時提取知識和認知方面的特征比較普遍,而結合學習者情感狀態(tài)進行資源推薦的研究還相對較少,因此開展情感狀態(tài)識別和描述,以提升資源推送準確度,成為資源推薦技術研究的新角度,也是本文研究提出的原因。

    一、教學資源個性化推薦中情感識別的作用

    學習情感是學習者在學習過程中產(chǎn)生的情感體驗,具體表現(xiàn)形式為學習情緒的表達[4],對學習過程和狀態(tài)會產(chǎn)生影響。按照情感狀態(tài)的表示方式不同,情感可以分為離散狀態(tài)表示和連續(xù)狀態(tài)表示[5]。離散狀態(tài)表示基于基本情感理論,例如美國心理學家Ekman將人類的情感歸為高興、生氣、傷心、厭惡、驚訝、害怕六個類別之一,其他情感可以看做基本情感的組合[6]。連續(xù)狀態(tài)表示基于維度情感理論,認為情感狀態(tài)并不是相互獨立的,假設將情感映射到多維連續(xù)空間,每一種情感相當于多維連續(xù)空間中的一個點,例如Mehrabian提出的“情感三維理論”采用“效價”(Valence)、“喚醒”(Arousal)和“支配”(Dominance)三個維度描述情感狀態(tài),分別表示情感的愉悅程度、強度和控制程度[7]。Faria等指出個人在線上學習環(huán)境中的行為會受到情緒的強烈影響[8],Cordero等也發(fā)現(xiàn)情緒和學生學習風格和學業(yè)成績有顯著關系[9]。已有研究證據(jù)表明,一些情緒狀態(tài)能支持學習過程,另一些則抑制學習過程[10-12]。例如,困惑與學習資源的理解呈正相關,但可能導致學習的非適應性情感,比如當學生無法理解時的沮喪[13]。在新興的學術研究中應用情感視角,并將情感定位為學習的中心,正成為一種趨勢[14]。情感識別(或稱情感計算)指通過計算機實現(xiàn)人類情感的識別、解釋、建模和分析[15]。情感識別被用于調節(jié)教學策略、改善學習過程[16-18]。自動情感識別算法可以幫助探索這種情感的作用,使對學習者情感狀態(tài)的評估比基于問卷的調查更加客觀。

    在傳統(tǒng)課堂上,教師可以通過面部表情、眼部動作、手勢、身體姿勢、說話聲音甚至一些生理信號等顯性表征的信息判斷學習者的情感狀態(tài),及時調整教學策略。而在線上個性化學習推薦環(huán)境中,由于師生處于“準分離”狀態(tài),準確識別學習者情感需要利用技術手段來實現(xiàn)。學習過程中用于進行情感識別的數(shù)據(jù)包括:表情、手勢與身體姿態(tài)數(shù)據(jù),皮膚電數(shù)據(jù)、腦電數(shù)據(jù)、文本數(shù)據(jù)等多模態(tài)數(shù)據(jù)[19],研究者不斷探究學習者的情緒狀態(tài)和交互模式對學習的調節(jié)作用。多模態(tài)的學習情感識別研究正處于起步階段,這是今后的重要研究方向。情感識別數(shù)據(jù)的獲取和分析方法應用于個性化學習推薦中具有一定的局限性。大部分研究需要配置額外的采集設備,情感數(shù)據(jù)高昂的采集和標注成本、采集過程對學習過程造成的侵入性等問題限制情感識別在個性化學習推薦中的應用。同時,在線學習者的狀態(tài)是相對自由和隱蔽的,通過顯性特征提取學習者的情感特征存在數(shù)據(jù)稀疏的問題。而大多數(shù)的文本采集方式以調查問卷和學習量表為主,靜態(tài)的量表無法反映學習者實時的情感狀態(tài)。許多研究者開始關注于有限資源情況下的情感識別問題[20]。

    學習者在線上學習過程中與同學間的討論、協(xié)作學習過程中的交互、與教師間的提問交流、對學習資源的評論、學習者提交的學習報告等文本,都蘊含著豐富的情感信息。學習者這些文本中情感的表達是隱性的,通過文本情感識別技術可以分析、提取文本數(shù)據(jù)中的情感特征,自動識別其中的學習者情感狀態(tài),以此調節(jié)學習資源推薦策略,為實現(xiàn)更精準的個性化學習資源推薦提供了一種新的思路。情感識別在資源智能推送中可以發(fā)揮的作用有以下幾方面:

    1.從多視角綜合理解學習者的行為、情感與認知的關系,整合多維度數(shù)據(jù)的分析來發(fā)現(xiàn)更多影響學習者建模的個性化參數(shù),融入情感特征形成全面的分析模型。

    2.從情感評價的角度提供學習資源表示的新框架,利用無監(jiān)督的深度技術對海量資源進行屬性的情感描述,提高學習資源推薦的精準度和適應度,為同類研究提供了新的思路與方法。

    3.通過深層特征提取挖掘學習者情感模型與學習資源模型潛在特征,來構成能夠體現(xiàn)兩者的自適應關聯(lián)的獨特性或相似性表示方式,為情感理論在個性化學習推薦的實現(xiàn)提供了新的理論支撐。

    二、文本情感識別的常規(guī)方法和資源推薦中的應用

    Pekrun最早提出學習情緒定義并描述成就情緒與學習者認知之間的關系,將學習者的學習定義為結果/預期、結果/回顧和活動不同階段,每個階段對應控制和價值狀態(tài),并分別表達為不同的情感,包括愉快、希望、自豪、放松、憤怒、焦慮、羞愧等[21]。隨著近年來在線學習、混合學習的發(fā)展,研究者采集不同學習數(shù)據(jù)分析了不同學習者的在線學習情感類型。趙宏等人[22]將學習情感劃分為積極情感體驗(包括驕傲、興奮、滿意等)和消極情感體驗(包括孤獨感、挫敗感等)。李艷等[23]通過閱讀在線學習日志分析學習者的情感體驗的內容,發(fā)現(xiàn)學習者的情感體驗主要表現(xiàn)為興奮、期待、壓力、緊迫感、逐漸適應、信心、愉悅感、挫敗感和不舍9種類型。以上研究通過分析在線學習中學習者部分學習行為的記錄文本得出學習情感分類情況。研究表明,學習者在不同的學習情境的學習體驗是不同的,線上學習中不同學習群體的情感體驗較為個性化[24]。學習者的情感體驗是動態(tài)變化的,其情感體驗在不同的學習過程、學習內容、學習階段隨時間發(fā)生變化[25]。這種變化目前還未能找到統(tǒng)一的規(guī)律[26],通過文本情感識別技術對其進行研究有助于準確判斷學習者的情感。

    (一)文本情感識別的方法和技術方案

    1.文本情感識別已有的方法和技術方案

    文本情感識別屬于自然語言處理(Natural Language Processing,NLP)中的一種技術,自然語言在各個層面廣泛存在的歧義性和多義性使得自然語言處理存在較多困難。自2012年以來,自然語言處理研究領域嘗試直接通過深度學習建模,在許多任務上取得了明顯的質量提升[27]。文本情感識別技術主要包括情感數(shù)據(jù)編碼、情感特征提取和情感分類等過程。按照情感數(shù)據(jù)編碼的技術可以分為:

    (1)基于語料庫的方法:主要是利用語句之間的連接詞具有一定的情感極性,通過抽取連接詞進行統(tǒng)計計算。戴敏等人[28]設計了一套中文情感信息抽取語料庫的標注體系,可用于對常見的句子情感極性、情感詞和評價對象等信息的標注。

    (2)基于情感詞典的方法:早期研究主要使用標注好情感傾向的情感詞典來判斷情感類別,如文獻[29]采用BonsonNLP情感詞典對MOOC平臺三門大學數(shù)學基礎課程共44243條課程評論數(shù)據(jù)進行情感分類,提取和分析平臺學習者對在線課程的學習感受。但是基于情感詞典的方法對于網(wǎng)絡新詞的更新支持不足,不同情境下的同一情感詞存在詞語歧義,在跨領域的泛化能力不理想。

    (3)基于傳統(tǒng)機器學習的技術:人工提取文本特征后,以帶有情感標注的數(shù)據(jù)集訓練一個情感分類器,再用于預測待檢測文本的情感傾向。該分類器是通過傳統(tǒng)的機器學習方法(常用的有貝葉斯算法和支持向量機)進行訓練?;趥鹘y(tǒng)機器學習的方法需要人工對文本特征進行標記,而且不能充分利用上下文文本的語境信息,準確性受到影響。

    (4)基于深度學習的方法。深度學習技術對字詞進行基于上下文的稠密向量表示,通常稱為詞向量或詞嵌入(Word Embedding)。由于詞向量可以多維度、抽象化體現(xiàn)語言特征,詞義相近的詞的詞向量相對“更接近”,在自然語言表示中得到廣泛應用。但詞向量表達特征的準確程度依靠對包含大量句子或單詞的語料進行訓練即“學習”所得,語料數(shù)據(jù)收集會相對較難。但由于語言的規(guī)律是共通的,可以利用遷移性將別人已經(jīng)訓練好的詞向量集用到自己的任務中。常見的開源的詞向量工具有Word2vec、Glove等,由巨量語料庫訓練而成,泛化能力比較強,可以直接用于特定的文本識別任務中。近年來出現(xiàn)的BERT等采用預訓練的方法,可以使用未標注的文本進行編碼,減少了手工編碼的復雜和主觀性。

    在特征提取方面,神經(jīng)網(wǎng)絡技術通過全連接層、隱藏層進行多層計算,能較好抽取深層次、抽象化特征,如CNN(卷積神經(jīng)網(wǎng)絡)和RNN(循環(huán)神經(jīng)網(wǎng)絡)等都有很好的表現(xiàn)。CNN對提取局部特征比較擅長,TextCNN在此基礎上針對語言處理的特點進行優(yōu)化。而RNN原理相似,但其能將前一輸入信息帶入下一輸入的序列處理更加適合語言的按順序讀取的序列特性。但RNN無法處理長文本的上下文信息,加入長短時記憶機制的LSTM(長短期記憶網(wǎng)絡)對RNN結構進行改進,能夠更好理解上下文的詞語關系,GRN(廣義回歸神經(jīng)網(wǎng)絡)進一步優(yōu)化,使這種結構更簡單。但RNN無法支持并行計算,只能通過多層計算來提取特征,這會使神經(jīng)網(wǎng)絡的結構過于復雜。近年來,能夠支持并行計算的Transformer框架被提出來并且得到廣泛應用,但這種大模型涉及參數(shù)非常多,對算力要求很高。利用語言的可遷移性,使用別人訓練好參數(shù)的模型作為基礎再進行優(yōu)化補充和參數(shù)微調來設計開發(fā)特定的任務成為普遍做法。BERT模型是基于Transformer框架的預訓練語言模型,支持雙向特征的深層提取,能夠提取上下文的信息,只需要少量數(shù)據(jù)加上微調,可以提高識別準確率。

    在情感分類方面,經(jīng)過模型訓練輸出具有情感特征的數(shù)據(jù)再經(jīng)過分類算法,就可以輸出情感識別結果。分類算法比較簡單,采用傳統(tǒng)機器算法或CNN、TextCNN可以實現(xiàn)計算目標。

    2.擬采用的文本情感識別的方法和技術方案

    靜態(tài)的情感描述和單一學習場景的文本數(shù)據(jù)是無法準確捕捉學習者的情感變化軌跡,本研究嘗試采集個性化學習系統(tǒng)中的學習者的不同場景在線學習文本數(shù)據(jù),挖掘學習者深層次的動態(tài)的情感特征,以更全面地識別學習者的學習情感,實現(xiàn)更精準的個性化推薦,如下頁圖1所示。

    (1)數(shù)據(jù)集。采集學習者的學習體驗報告、學習資源評論數(shù)據(jù)、協(xié)作學習交互數(shù)據(jù)、師生答疑數(shù)據(jù),以句子為單位進行情感標注,自主構建一個個性化學習領域的情感數(shù)據(jù)集;

    (2)特征編碼。采用BERT預訓練語言模型,運用其自監(jiān)督機制和雙向注意力機制,將原始文本數(shù)據(jù)轉化為包含上下文信息的多維詞向量;

    (3)特征提取和分類。采用TextCNN文本卷積神經(jīng)網(wǎng)絡結構,設置多個卷積核對輸入的詞向量進行多維特征提取,再通過全連接層分類輸出識別結果。

    (4)通過文本情感識別形成學習者隱性情感特征、學習資源隱性特征,計算學習者和學習資源之間隱性情感特征的最大相似度,為每位學習者找到最感興趣的學習資源列表。

    (二)現(xiàn)有文本情感識別在學習資源推薦系統(tǒng)中的應用

    目前,文本情感識別在個性化學習資源推薦中的應用還處于起步階段。Camilo Salazar等[30]提出了一種學習資源中自動情感分析的方法,還比較了學習資源中文本數(shù)據(jù)情感分析任務的各種特征提取策略和機器學習技術。其研究發(fā)現(xiàn)采用BERT進行未標注文本識別呈現(xiàn)出與標注情感詞相似的分布,顯示出與真實標注的良好一致性和極好的相似性,反映了該方法的可行性?;谠~頻、詞典、詞向量和BERT的特征集和特征提取用了傳統(tǒng)機器學習方式PLS和RF技術,這些機器學習技術提取情緒的過程是非常領域敏感的,當將學習到的模型應用于其他領域時,準確率會大大下降。研究反映出模型的識別能力與訓練它們的數(shù)據(jù)領域的緊密聯(lián)系,顯示出對其他領域的低泛化。通過比較該研究指出,傳統(tǒng)編碼標注方法需要對學習資源進行情感標注,由于存在大量此類資源,這是一項非常艱巨的任務。

    上述關于文本情感識別在個性化學習資源推薦中的研究證明采用文本情感識別方式進行情感分析是可行的,但存在以下問題:一是采用傳統(tǒng)機器學習的特征提取方法在不同的領域泛化能力比較低,訓練模型用于其他領域的情感識別效果不好;二是采用標注情感數(shù)據(jù)集手工工作量大,且無法及時更新數(shù)據(jù)。因此,本研究從學習者在學習過程中產(chǎn)生文本數(shù)據(jù)分析的角度,利用BERT模型可以對未標注的數(shù)據(jù)集進行編碼的優(yōu)點,采集個性化學習推薦中的學習者行為數(shù)據(jù)作為學習領域數(shù)據(jù)集的補充,采用深度學習技術TextCNN(文本卷積神經(jīng)網(wǎng)絡)技術進行情感特征提取的方式,構建情感識別模型,以實現(xiàn)對文本情感識別下個性化資源推薦。

    三、個性化學習推薦中的文本情感數(shù)據(jù)集的構建

    文本情感識別實質是情感歸類問題,BERT預訓練模型使用的語料雖然很豐富,對自然語言的語義聯(lián)系遷移效果比較好,但用于情感分析任務時,為了體現(xiàn)領域特點,還需要少量學習過程標注的文本情感數(shù)據(jù),才能訓練得到更加精準的模型,得到理想的預測值。個性化學習推薦中有特有的學習者情感特征,比如對學習的困惑,學有所成的喜悅和遇到挫折的沮喪等情感,與一般的商業(yè)推薦不同。目前,專門用于學習者的學習情感數(shù)據(jù)集的相關研究比較少,且主要以英文為主,大部分機構或單位不會開放學習者的學習數(shù)據(jù),需要自己建立分析數(shù)據(jù)集。因此,本研究提出構建個性化學習推薦中學習者文本情感識別數(shù)據(jù)集的方法。

    (一)文本數(shù)據(jù)指標的篩選

    個性化學習系統(tǒng)中學習者在學習過程產(chǎn)生的文本數(shù)據(jù)分為自主學習文本數(shù)據(jù)、協(xié)作學習文本數(shù)據(jù)[31]。自主學習文本數(shù)據(jù)是學習者與學習資源或學習平臺進行交互產(chǎn)生的,如對學習資源的評價和分析,學習體驗報告、系統(tǒng)的學習支持服務中的提問和答疑等文本數(shù)據(jù);協(xié)作學習文本數(shù)據(jù)是學習者與其他學習伙伴進行協(xié)同知識建構的過程,如交流討論、協(xié)作行為和問題解決行為等文本數(shù)據(jù)[32]。

    衡量學習過程產(chǎn)生的文本數(shù)據(jù)能否作為學習情感特征數(shù)據(jù),需要判斷數(shù)據(jù)是否體現(xiàn)學習者的在線學習情感體驗。在線學習情感體驗可以劃分為正向和負向兩個維度,具有臨場性、交互性、變化性、社會性、技術支配性和具身性特征[33]?,F(xiàn)有研究中采用的學習情感體驗反饋文本數(shù)據(jù)載體包括:(1) SPOC論壇帖子。劉智等[34]發(fā)現(xiàn)在SPOC論壇互動過程中,學習者的主觀態(tài)度傾向于積極極性,且該課程中學習者的積極情緒密度普遍高于困惑及消極情緒密度;(2)課程反思文本。單迎杰等[35]在課程每單元最后設置話題為“學習體驗與反思”,鼓勵學習者分享其在該單元學習過程中的體驗與感受,并對反思文本進行質性分析;(3)學習活動記錄。朱孝平[36]在實訓過程中以及實訓活動結束后,讓學生記錄、總結實訓活動的體驗與收獲,該記錄文本作為“互動工具”“反思工具”,研究發(fā)現(xiàn)學習者的體驗特別豐富,這些體驗多指向情感態(tài)度領域;(4)在線交互數(shù)據(jù)。馬寧等[37]開展大規(guī)模教師在線培訓,圍繞每周的學習主題開展在線異步交互活動,生成了12576條交互文本被平臺自動記錄;通過向量機挖掘學習者隱藏在交互文本中的情感狀態(tài)和認知水平,為自動反饋提供依據(jù);(5)學習資源評論數(shù)據(jù)。張娜等[38]爬取12種領域的學科課程的有效數(shù)據(jù)68367條,其中包含千余門課程信息和評價,采用統(tǒng)計分析和文本分析的方法,分析顯示積極評論數(shù)量都高于消極的評論數(shù)量。

    以上研究所采用學習文本數(shù)據(jù)具有數(shù)據(jù)可自動獲取、情感特征可提取、數(shù)據(jù)獲取途徑可行的特點。參考既有的個性化學習行為數(shù)據(jù)和文本情感測量情況,本研究在綜合分析的基礎上,以某高校在線學習平臺自動記錄的數(shù)據(jù)作為來源,精選三門課程三年來的學習體驗報告、學習資源評論數(shù)據(jù)、協(xié)作學習交互數(shù)據(jù)、師生答疑數(shù)據(jù)作為文本的數(shù)據(jù)來源。

    (二)文本數(shù)據(jù)的收集

    本研究選擇的文本數(shù)據(jù)都是平臺自動記錄,存放于系統(tǒng)的數(shù)據(jù)庫中,可以自動導出相關字段內容得到。數(shù)據(jù)導出時系統(tǒng)管理員將數(shù)據(jù)做脫敏處理,主要用于訓練模型識別語義中的情感信息,不涉及個人信息。

    1.學習體驗報告數(shù)據(jù)。在每門課程結束時,教師會設置一個“學習報告或體驗”活動,讓學生在平臺上提交學習結束后的體驗總結。學習報告主要分為學習內容、學習效果評價以及對學習資源的改進建議等。學習體驗報告通常是長文本,其中包含不同方面不同極性的情感,可能一個文本中包含的情感有多種。為了方便處理,這類報告按不同的評價點切分成幾份的短文本。

    2.學習資源評論數(shù)據(jù)。系統(tǒng)包含學習資源庫,按照資源的類別比如課件、課程、文本、語音等的存放學習資源文件,提供給學習者學習。學習者瀏覽的時候每個資源在播放頁面下設置有點贊和評論區(qū),設置打分功能,提供1、3、5三個不同的分值,分別對應高、中、低的評價,學習者在點贊或評論時如果配合打分,后期會減少進行數(shù)據(jù)標注的工作量。

    3.協(xié)作學習交互數(shù)據(jù)。協(xié)作學習交互數(shù)據(jù)包括論壇區(qū)的發(fā)帖信息和小組討論信息。這部分內容包含學生學習活動中形成的觀點、提出的困惑、問題得到解答后的回復等信息。

    4.答疑數(shù)據(jù)。包含學生和教師之間提問和解惑的交流文本,平臺提供的學習支持服務的答疑文本。

    四種內容的數(shù)據(jù)收集后歸于一個文檔,對于和情感無關的一些冗余信息進行初步篩選,比如標點符號、重復信息等,去除無關信息,留下以句子為單位的文本數(shù)據(jù)。

    (三)情感類型定義

    根據(jù)Pekrun關于成就情緒的控制價值理論對學習情感的分類[39],本研究按學習情感的產(chǎn)生情境,定義學習情感類型,并確定情感表達方式。

    一級指標里按照三種不同的學習情境,包括結果/預期、結果/回顧、活動,定義三個一級指標;二級指標里對應每個一級指標,按照愉悅度進行區(qū)分情感狀態(tài)分為積極和消極兩種傾向,定義為二級指標;三級指標里對應每一種情感極性,根據(jù)情感的喚醒度/激活度,分別定義為高、中、低三類,其中在結果回顧中,我們以情感的優(yōu)勢度劃分,根據(jù)情感對他人和外界環(huán)境的控制力和影響力,將結果原因分為無關的、自我和其他三類,按照積極和消極情感的極性分別分為三類不同情感。

    根據(jù)控制價值理論,對應三級指標,確定情感類型,并進行編碼。其中結果/預期包括期待、希望、無望、放松、焦慮、絕望6種情感;結果/回顧中包括快樂、驕傲、感激、悲傷、羞愧、憤怒6種情感;活動中包括享受、生氣、挫折、無聊4種情感。一共細分為16種情感類型,按順序從0至15進行編碼,形成情感類型編碼文件。如表1所示。

    (四)文本數(shù)據(jù)的情感標注

    對收集到的學習者的多個來源的文本材料進行分析,采用三級編碼技術,對所有與學習者體驗有關的句子進行預處理,去除無關信息,然后進行編碼。首先對文本中的情態(tài)進行初步分類,主要分成學習前的結果/預期,學習后的結果/回顧,學習過程中的活動三個階段。每個階段按情感傾向性分為積極的情感、消極的情感,進而根據(jù)情感強度分成具體的情感類型,如表1所示。通過與師生訪談等手段,進一步證實了這種分類結果的合理性。

    已標注的情感數(shù)據(jù)匯成一個數(shù)據(jù)集文件,每一個完整句子一行,標注好情感編碼,編碼的數(shù)字與情感類型一一對應,形成數(shù)據(jù)集,如下頁圖2所示。

    四、個性化學習資源推薦的文本情感識別模型技術架構

    利用學習情感標注數(shù)據(jù)集,借助預訓練BERT模型進行分詞和詞向量編碼,本研究提出以下個性化學習資源推薦的文本情感識別模型技術架構。模型分為訓練模型和識別模型。訓練模型主要用于數(shù)據(jù)集預訓練,識別模型用于預測學習者的文本情感。模型的技術架構如圖3所示。

    整個模型包括輸入層、預處理層、BERT層、TextCNN層和輸出層。

    (一)輸入層

    訓練模型導入數(shù)據(jù)集文件,輸入的數(shù)據(jù)為標注的情感數(shù)據(jù)。一般將數(shù)據(jù)集隨機分為訓練數(shù)據(jù)集、驗證數(shù)據(jù)集和測試數(shù)據(jù)集,存放在train.txt,vec. txt,test.txt文件中,分別用于訓練、驗證和測試環(huán)節(jié)。數(shù)據(jù)文件中還必須有一個class.txt文件,存放數(shù)據(jù)情感分類和編碼的對照表。

    識別模型讀取待識別文本,每次提取一個句子進行分析。識別模型輸入層通過API接口與個性化推薦系統(tǒng)其他項目對接,以接收待識別的文本數(shù)據(jù)。

    (二)預處理層

    預處理主要是對輸入層數(shù)據(jù)進行分詞和編碼。本研究采用BERT中的BertTokenizer進行分詞,所以加載BERT模型時將同名的BertTokenizer也一同加載。由于BERT是預訓練大量語料生成的優(yōu)化模型,參數(shù)已經(jīng)調整到“最佳狀態(tài)”,所以使用BERT編碼的詞向量特征信息準確率比較高。BERT的分詞方法是把文本的每個字作為一個單位,例如輸入一個句子,分詞后用encode方法進行編碼,形成句子的詞向量。

    以中文句子:“視頻講解清晰”為例,分詞的結果是:

    [cls,視,頻,講,解,清,晰,sep]

    執(zhí)行分詞并編碼,將文字轉成編碼ID。

    BERT編碼時在句子的第一個字前面加了一個標志變量[cls]編碼,編碼后初始值為[101],表示句子的開頭,在輸出層時情感分類的編碼信息會在這個編碼中。每個句子分隔會加上一個[sep]編碼,編碼值為[102]。類似的標志向量還有[mask]。數(shù)據(jù)集中每一個句子的長度是不等的,為了批處理時統(tǒng)一調用,還需要定義每次處理句子的長度,不足長度用PAD值0補足,過長的句子進行截取,丟棄后面的內容。句子的長度需要根據(jù)數(shù)據(jù)集中的句子的長度而定,一般取容納大部分句子的長度。

    (三)BERT層

    對輸入的詞向量進行讀取和雙向特征運算,使輸出向量帶有上下文的情感信息。輸入由兩部分構成,包括上一節(jié)編碼的詞向量和位置編碼相加。因為BERT的機制是所有字詞同時輸入,此處疊加位置編碼可以記住句子中字的順序。位置編碼是隨機產(chǎn)生的,BERT中對詞向量編碼會轉化為768維,編碼后每個句子輸出的實際上768維度的矩陣。

    (四)TextCNN層

    TextCNN層主要作用是對BERT輸出的向量進行卷積計算,通過卷積,提取每個句子的不同維度的情感特征。每個卷積核代表一個維度特征,為了從多維度提取向量的特征,分別設置大小為2,3,4的卷積核,每種尺寸卷積操作設置為2個。運算結果輸入池化層,池化選取每個詞向量中的最大值,取到最大值標量,再將不同卷積核的值拼接,輸出特征向量。最后將特征向量送入全連接層進行計算,輸出一個含有16類情感特征的向量。

    (五)輸出層

    訓練模型主要為了學習到更優(yōu)化的參數(shù),輸出會與驗證值進行比較,通過反向傳播對模型參數(shù)進行調整。通過訓練后將形成的模型導出,作為識別模型。識別模型將輸出結果通過API接口與在線學習系統(tǒng)的用戶界面聯(lián)系,輸出情感識別的結果?;蜃鳛閷W習推薦的子模塊,成為輸入項。

    五、文本情感識別在個性化學習推薦中的應用

    (一)識別學習者的情感狀態(tài)以調整資源推薦策略

    文本情感識別可用于自動檢測學習者的情感狀態(tài)及其變化,輔助資源推薦決策,將學習者從抑制學習的消極狀態(tài)轉移到激發(fā)學習的積極狀態(tài),提高學習干預的精準性和效率。相關研究[40]表明,促進學生的積極情緒和幸福感與學習成功、進步相關。已有實驗證明根據(jù)對與學習相關的參與、沮喪、無聊的情感自動識別來制定學習內容推薦的策略,使學習者保持在最佳情感狀態(tài),確實可以增加學習者參與度,從而促進學習。本研究構建的文本情感識別模型基于多場景下學習者的文本數(shù)據(jù),較全面把握學習過程的變化,對學習者情感進行細分,能夠識別學習者潛在的學習情感狀態(tài)。通過評估學習者對某一學習過程或在某段時間的情感狀態(tài),可以有針對性地建立對應不同情感狀態(tài)的推薦策略庫,自動計算推薦促進學習者積極情感或增強學習參與度的學習資源。例如當觀察到學習者情感狀態(tài)處于認知負荷過載的消極狀態(tài)時,學習推薦系統(tǒng)可以降低難度或在待推薦資源列表中選擇輕松風格的學習資源來調節(jié)學習者情感,相反,當學習者從消極狀態(tài)轉入積極狀態(tài)時,可以適當增加資源推薦。由于識別的準確度很大程度受數(shù)據(jù)的影響,推薦系統(tǒng)設計時需要考慮對數(shù)據(jù)采集的支持。

    (二)對學習資源的情感評價影響學習資源推薦路徑

    在個性化學習資源推薦系統(tǒng)中,學習發(fā)生在學習者和學習資源的交互中,學習者和學習資源具有較大的規(guī)模,推薦算法利用學習者的認知、知識等個性化參數(shù)和學習資源特征,通過相似度等計算產(chǎn)生學習資源推薦列表。常見的推薦方法有基于內容、基于協(xié)同過濾、基于混合推薦、基于社交網(wǎng)絡、基于情景感知等,資源推薦順序主要依據(jù)評分。實際應用中學習資源多源異構、依賴人工評價的特點會制約資源特征表示的及時性,簡單的評分很難響應真實的需求。文本情感識別對學習資源推薦路徑有兩方面作用:(1)增加情感指標影響推薦列表排序。通過觀察學習者和學習資源互動過程的情感狀態(tài),提取學習者對學習資源的文本評價來判斷學習者對資源的情感傾向,在原有的推薦上增加情感評價的考量,提高推薦精準度。比如將待推薦學習資源列表中學習者評論積極情感較多的資源排序靠前等;(2)通過情感識別和情感歸因,了解學習資源本身存在的問題,加以增強或改進,提升學習資源的質量。

    (三)從情感維度完善學習資源推薦建模方法

    對學習者的研究是學習支持服務最重要的研究熱點之一,從學習者畫像、學習智能體到數(shù)字孿生的構建,對學習者多維度多模態(tài)數(shù)據(jù)挖掘的理論和技術不斷發(fā)展。包括學習資源推薦在內的人機交互教學系統(tǒng),已不僅滿足傳授知識、培養(yǎng)技能的功能性追求,更重要的是構建促進學習者身心健康發(fā)展的智能化個性化學習生態(tài)。文本情感識別在學習資源推薦中侵入性小、可靠性高,是構建多模態(tài)情感識別的重要通道,可以為學習者建模提供情感維度的個性化參數(shù),提高個性化學習推薦的精準度。在后續(xù)的研究中,可以就融入文本情感識別的學習者推薦建模方向開展設計和實驗。

    參考文獻:

    [1] 祝智庭.教育數(shù)字化轉型新認知[J].教育家,2023,360(4):13-15.

    [2] 宗陽,鄭勤華等.中國MOOCs學習者價值研究——基于RFM模型的在線學習行為分析[J].現(xiàn)代遠距離教育,2016,164(2):21-28.

    [3] 吳正洋,湯庸等.個性化學習推薦研究綜述[J].計算機科學與探索,2022,16(1):21-40.

    [4] 翟雪松,許家奇等.在線教育中的學習情感計算研究——基于多源數(shù)據(jù)融合視角[J].華東師范大學學報(教育科學版),2022,40(9):32-44.

    [5] SCHERER K R.Psychological models of emotion [J].The Neuropsychology of Emotion,2000,137(3):137-162.

    [6] ORTONY A,TURNER T J.Whats basic about basic emotions [J]. Psychological Review,1990,97(3):315.

    [7] MEHRABIAN A.Pleasure-arousal-dominance:A general framework for describing and measuring individual differences in temperament [J]. Current Psychology,1996,14(4):261-292.

    [8] Bahreini,K.,Nadolski,R.,et al.Towards multimodal emotion recognition in E-learning environments [J].Interactive LearnIng Environments,2016, 24(3):590-605.

    [9] Cordero,J.,Aguilar,J.,et al.Intelligent approaches to identify student learning styles through emotions in a classroom [J].Revista Ibérica de Sistemas e Tecnologias de Informa o,2019,E17:703-716.

    [10] Hudlicka E.To feel or not to feel:The role of affect in humancomputer interaction [J].International Journal of Human-Computer Studies,2003,59(1):1-32.

    [11] Picard R.Affective computing:challenges [J].International Journal of Human-Computer Studies,2003,59(1):55-64.

    [12] Sheng Z,Lin Z Y,et al.The model of E-learning based on affective computing [C].Chengdu:IEEE,2010.

    [13] S DMello,Lehman B,et al.Confusion can be beneficial for learning [J]. Learning & Instruction,2014,29:153-170.

    [14] Yadegaridehkordi E,Noor N,et al.Affective computing in education:A systematic review and future research [DB/OL].https://www. sciencedirect.com/science/article/pii/S0360131519302027,2019-09-09.

    [15] 權學良,曾志剛等.基于生理信號的情感計算研究綜述[J].自動化學報,2021,47(8):1769-1784.

    [16] Woolf,B.P.,Arroyo,I,et al.Affective Tutors:Automatic Detection of and Response to Student Emotion [C].Berlin:Springer,2010.207-227.

    [17] Feng T,Gao P,et al.Recognizing and regulating e-learners emotions based on interactive Chinese texts in e-learning systems [J]. Knowledge-Based Systems,2014,55:148-164.

    [18] Fatahi,S.An experimental study on an adaptive e-learning environment based on learners personality and emotion [J].Educ Inf Technol,2019,(24):2225-2241.

    [19] 田元,周曉蕾等.學習情感分析方法研究綜述[J].中國教育信息化,2021,505(22):1-6.

    [20]黃兆培,張峰源等.情感識別中的遷移學習問題綜述[EB/OL].http:// kns.cnki.net/kcms/detail/11.2406.TN.20230227.0856.002.html,2023-04-02.

    [21][39] PEKRUN R,GOETZ T,et al.Academic Emotions in Students Self-Regulated Learning and Achievement:A Program of Qualitative and Quantitative Research [J].Educational Psychologist,2002,37(2):91-105.

    [22][26] 趙宏,傅兆陽等.基于特征融合的中文文本情感分析方法[J].蘭州理工大學學報,2022,48(3):94-102.

    [23][25] 李艷,張慕華.高校學生慕課和翻轉課堂體驗實證研究——基于231條在線學習日志分析[J].現(xiàn)代遠程教育研究,2015,137(5):73-84+93.

    [24] 鄒菊梅,胡夢荻等.線上、線下及混合學習情感體驗的特征分析與比較[J].現(xiàn)代教育技術,2022,32(4):50-60.

    [27] 趙京勝,宋夢雪等.自然語言處理中的文本表示研究[J].軟件學報,2022,33(1):102-128.

    [28] 戴敏,朱珠等.面向中文文本的情感信息抽取語料庫構建[J].中文信息學報,2015,29(4):67-73.

    [29] 劉娟,譚均翹等.基于MOOC平臺數(shù)學類課程情感詞典的文本分析研究[J].科教導刊,2021,451(19):78-80.

    [30] Salazar,C.,Montoya-Múnera,E.,et al.Sentiment analysis in learning resources [EB/OL].https://doi.org/10.1007/s40692-022-00237-9,2022-09-05.

    [31] 穆肅,崔萌等.全景透視多模態(tài)學習分析的數(shù)據(jù)整合方法[J].現(xiàn)代遠程教育研究,2021,33(1):26-37+48.

    [32] 馬志強,蘇珊.學習分析視域下的學習者模型研究脈絡與進展[J].現(xiàn)代遠距離教育,2016,166(4):44-50.

    [33] 李同同,譚多寧等.在線學習情感體驗的維度、特征及其作用機制[J].成人教育,2022,42(10):63-70.

    [34] 劉智,楊重陽等.SPOC論壇互動中學習者情緒特征及其與學習效果的關系研究[J].中國電化教育,2018,(4):102-110.

    [35] 單迎杰,傅鋼善等.基于反思文本的慕課學習情感體驗特征分析[J].電化教育研究,2021,42(4):53-60+75.

    [36] 朱孝平,鄒菊梅等.實訓活動體驗的情態(tài)分析方法[J].職業(yè)技術教育,2014,35(13):31-35.

    [37] 馬寧,張燕玲等.面向在線異步交互文本的情感—認知自動化分析模型研究——以大規(guī)模教師在線培訓為例[J].現(xiàn)代教育技術,2022,32(5):83-92.

    [38] 張娜,喬德聰.基于深度學習的在線學習評論情感分析研究[J].河南城建學院學報,2020,29(4):63-71+92.

    [40] Hurley J M,Carter C K,et al.Examining the predictive relationship between personality and emotion traits and students agent-directed emotions:towards emotionally-adaptive agent-based learning environments [J].User Modeling and User-Adapted Interaction,2016, 26(2-3):177-219.

    作者簡介:

    許桂芳:高級實驗師,在讀博士,研究方向為遠程教育、教育信息化。

    穆肅:教授,博士生導師,研究方向為教育人工智能、遠程教育。

    The Role of Text Sentiment Recognition in Personalized Learning Resource Recommendation and Key Technologies

    Xu Guifang1, Mu Su2

    (1.School of Information Technology in Education, South China Normal University, Guangzhou 510631, Guangdong; 2.Institution of AI in education, South China Normal University, Guangzhou 510631, Guangdong)

    Abstract: Learning resource pushing based on data intelligence analysis is one of the teaching services that precisely support personalized learning. With the development of artificial intelligence technology and learning analytics, resource pushing through the analysis of behavioral data, assessment data and log data has been more successfully applied, but it fails to realize resource pushing guided by learners personal emotional state. Therefore, this study addresses the lack of theory and practice of emotion value and emotion control in personalized learning resource recommendation, and aims to achieve multidimensional emotion recognition for personalized learning, uses BERT model and TextCNN to build a text emotion recognition model for personalized learning resource recommendation, and proposes the process of implementing the text emotion recognition model based on learners homework and forum content. The learning resource recommendation text sentiment recognition model and the implementation process can provide methodological support and technical route guidance for real applications.

    Keywords: recommendation of learning resources; text emotion recognition; personalized learning

    責任編輯:李雅瑄

    猜你喜歡
    個性化學習
    職校學生語文個性化自主學習初探
    考試周刊(2017年1期)2017-01-20 20:32:05
    指導學生“個性化學習”,改善學生學習行為
    “留白“促進學生個性化學習例析
    教學資源支持下的Sakai個性化學習研究
    信息化環(huán)境下基于“盒子魚”App的高中英語個性化學習的模式和策略
    微視頻在初中英語聽力教學中的應用探索
    基于SOA的在線學習資源集成模式的研究
    適應性學習系統(tǒng)的參考模型對比研究
    MOOC環(huán)境下中學生數(shù)學個性化學習模式研究
    科技視界(2016年6期)2016-07-12 08:56:19
    農(nóng)村小學數(shù)學個性化學習指導策略探究
    考試周刊(2016年52期)2016-07-09 23:10:43
    日韩 欧美 亚洲 中文字幕| 国产人伦9x9x在线观看| 亚洲av电影不卡..在线观看| 在线观看舔阴道视频| 三级国产精品欧美在线观看 | 两性夫妻黄色片| 久久久国产成人精品二区| 99热精品在线国产| ponron亚洲| 日韩 欧美 亚洲 中文字幕| 日韩欧美免费精品| 国产日本99.免费观看| 久久午夜综合久久蜜桃| 日韩精品中文字幕看吧| 色哟哟哟哟哟哟| 宅男免费午夜| 亚洲国产欧美一区二区综合| 久久久久精品国产欧美久久久| 日韩精品中文字幕看吧| 婷婷六月久久综合丁香| 丝袜人妻中文字幕| 99热这里只有是精品50| 亚洲中文字幕日韩| 亚洲18禁久久av| 在线观看午夜福利视频| 亚洲在线自拍视频| 欧美三级亚洲精品| 丰满人妻一区二区三区视频av | 两性夫妻黄色片| 欧美大码av| 国语自产精品视频在线第100页| 一级a爱片免费观看的视频| 一个人免费在线观看的高清视频| 精品一区二区三区四区五区乱码| 国产精品亚洲美女久久久| www.自偷自拍.com| 国产精品自产拍在线观看55亚洲| 久久久久性生活片| 国产精品亚洲美女久久久| 亚洲真实伦在线观看| 深夜精品福利| 久久午夜亚洲精品久久| 日日摸夜夜添夜夜添小说| 色哟哟哟哟哟哟| 国产高清视频在线观看网站| 毛片女人毛片| 国产精品电影一区二区三区| 久久久久亚洲av毛片大全| 国产精品日韩av在线免费观看| 男人和女人高潮做爰伦理| 国产 一区 欧美 日韩| av天堂中文字幕网| 九九久久精品国产亚洲av麻豆 | netflix在线观看网站| 国产乱人视频| 国产精品女同一区二区软件 | 久久久成人免费电影| 亚洲国产精品成人综合色| 国产v大片淫在线免费观看| 不卡av一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 色播亚洲综合网| 成熟少妇高潮喷水视频| 国产成+人综合+亚洲专区| 男人舔女人的私密视频| 久久这里只有精品中国| 中亚洲国语对白在线视频| 99在线视频只有这里精品首页| 国产精品久久电影中文字幕| 国产亚洲精品久久久久久毛片| 他把我摸到了高潮在线观看| 欧美成狂野欧美在线观看| 亚洲在线自拍视频| 亚洲精品在线观看二区| 亚洲欧美一区二区三区黑人| 亚洲国产精品久久男人天堂| 亚洲精品在线美女| 长腿黑丝高跟| 美女高潮的动态| 国产午夜精品论理片| 日韩成人在线观看一区二区三区| 久久中文字幕一级| 又爽又黄无遮挡网站| 欧美高清成人免费视频www| 亚洲精品在线观看二区| 国产成人精品久久二区二区91| 性欧美人与动物交配| 免费在线观看视频国产中文字幕亚洲| 精品国产美女av久久久久小说| a在线观看视频网站| 国产综合懂色| 久久久久久九九精品二区国产| 变态另类丝袜制服| 欧美色欧美亚洲另类二区| 黑人操中国人逼视频| 婷婷精品国产亚洲av在线| 噜噜噜噜噜久久久久久91| 中文字幕精品亚洲无线码一区| 成人精品一区二区免费| www日本黄色视频网| 狠狠狠狠99中文字幕| 亚洲av电影不卡..在线观看| 黑人巨大精品欧美一区二区mp4| 久久中文看片网| 日本一二三区视频观看| 看片在线看免费视频| 亚洲 国产 在线| av在线天堂中文字幕| 首页视频小说图片口味搜索| 一本久久中文字幕| 国产激情欧美一区二区| 欧美av亚洲av综合av国产av| 欧美成人一区二区免费高清观看 | 亚洲熟妇熟女久久| 桃色一区二区三区在线观看| 国产精品一区二区精品视频观看| 国产91精品成人一区二区三区| 亚洲欧美日韩高清专用| 久久精品国产综合久久久| 无遮挡黄片免费观看| 精品免费久久久久久久清纯| 久久午夜综合久久蜜桃| 午夜福利在线在线| 亚洲国产欧美一区二区综合| 国产伦精品一区二区三区四那| 91字幕亚洲| 国产精品自产拍在线观看55亚洲| 亚洲第一电影网av| 日韩欧美 国产精品| 久久精品综合一区二区三区| 国产精品美女特级片免费视频播放器 | 色老头精品视频在线观看| www日本黄色视频网| 午夜福利在线观看吧| 黑人欧美特级aaaaaa片| 日本五十路高清| 日日干狠狠操夜夜爽| 午夜成年电影在线免费观看| 日韩欧美 国产精品| 天天添夜夜摸| 亚洲国产精品久久男人天堂| 久久精品人妻少妇| 啪啪无遮挡十八禁网站| 国产激情欧美一区二区| 村上凉子中文字幕在线| 免费人成视频x8x8入口观看| 国产精品野战在线观看| 午夜福利欧美成人| 国产亚洲av嫩草精品影院| 日韩大尺度精品在线看网址| 97碰自拍视频| 久久久久国内视频| 亚洲av成人一区二区三| 免费av毛片视频| 成年人黄色毛片网站| 麻豆一二三区av精品| 在线视频色国产色| 亚洲五月婷婷丁香| 久久精品亚洲精品国产色婷小说| 精品乱码久久久久久99久播| 国产成人aa在线观看| 久久精品亚洲精品国产色婷小说| av欧美777| www.www免费av| 亚洲 欧美一区二区三区| 午夜免费成人在线视频| 最近最新中文字幕大全免费视频| 日日夜夜操网爽| 免费看a级黄色片| 亚洲国产精品成人综合色| 久久人妻av系列| 久久久久久九九精品二区国产| 久久久精品欧美日韩精品| 欧美中文日本在线观看视频| 国产一级毛片七仙女欲春2| 成年女人永久免费观看视频| 欧美另类亚洲清纯唯美| 亚洲 国产 在线| 成人午夜高清在线视频| 99精品在免费线老司机午夜| 亚洲美女视频黄频| aaaaa片日本免费| 免费无遮挡裸体视频| 美女黄网站色视频| 最新在线观看一区二区三区| 亚洲电影在线观看av| 久久精品综合一区二区三区| 伦理电影免费视频| 2021天堂中文幕一二区在线观| 91久久精品国产一区二区成人 | 国产亚洲精品综合一区在线观看| 18禁国产床啪视频网站| 久久这里只有精品19| 婷婷亚洲欧美| 变态另类丝袜制服| 99久国产av精品| 亚洲 欧美 日韩 在线 免费| 午夜亚洲福利在线播放| 免费在线观看日本一区| 村上凉子中文字幕在线| 精品欧美国产一区二区三| 久久精品国产综合久久久| 九九久久精品国产亚洲av麻豆 | 亚洲电影在线观看av| 嫩草影院精品99| 日本三级黄在线观看| 亚洲成人久久性| 少妇裸体淫交视频免费看高清| 亚洲第一电影网av| 97人妻精品一区二区三区麻豆| 俺也久久电影网| 亚洲av片天天在线观看| 国产成年人精品一区二区| aaaaa片日本免费| 变态另类成人亚洲欧美熟女| 久久中文字幕人妻熟女| 一级毛片女人18水好多| 最新中文字幕久久久久 | 黑人巨大精品欧美一区二区mp4| 久久久久久久午夜电影| 黑人欧美特级aaaaaa片| 国产主播在线观看一区二区| xxxwww97欧美| av在线蜜桃| 国产成人精品无人区| 人妻丰满熟妇av一区二区三区| 欧美日本亚洲视频在线播放| 国产亚洲av嫩草精品影院| 久久精品亚洲精品国产色婷小说| 国产一区二区在线av高清观看| 精品午夜福利视频在线观看一区| 大型黄色视频在线免费观看| 俺也久久电影网| 搡老熟女国产l中国老女人| 免费电影在线观看免费观看| 久久久久国产一级毛片高清牌| 亚洲电影在线观看av| 制服丝袜大香蕉在线| 两个人看的免费小视频| 国产又色又爽无遮挡免费看| 亚洲人成伊人成综合网2020| 老汉色∧v一级毛片| 91在线精品国自产拍蜜月 | 日韩免费av在线播放| 国产成人精品久久二区二区91| 窝窝影院91人妻| 国产不卡一卡二| 99精品久久久久人妻精品| 亚洲欧美日韩东京热| 99精品欧美一区二区三区四区| 色视频www国产| 999久久久精品免费观看国产| 免费看美女性在线毛片视频| 99热精品在线国产| 日韩欧美三级三区| 久久伊人香网站| 嫩草影视91久久| 免费看十八禁软件| 国产aⅴ精品一区二区三区波| 国内精品久久久久精免费| 久久久国产欧美日韩av| 在线观看日韩欧美| 女同久久另类99精品国产91| 搡老妇女老女人老熟妇| 中文字幕av在线有码专区| 国产精品免费一区二区三区在线| 色综合欧美亚洲国产小说| 国产乱人视频| 国产欧美日韩一区二区精品| 精品国产亚洲在线| 最近最新免费中文字幕在线| 不卡av一区二区三区| 国产精品日韩av在线免费观看| 99久久成人亚洲精品观看| 男女午夜视频在线观看| 亚洲人与动物交配视频| 不卡一级毛片| 这个男人来自地球电影免费观看| 国产毛片a区久久久久| 综合色av麻豆| 观看免费一级毛片| 在线永久观看黄色视频| 熟女少妇亚洲综合色aaa.| 欧美+亚洲+日韩+国产| 黄片大片在线免费观看| 亚洲色图av天堂| 成人特级av手机在线观看| av黄色大香蕉| av欧美777| 亚洲一区高清亚洲精品| 男人舔奶头视频| 午夜福利视频1000在线观看| 麻豆成人av在线观看| 51午夜福利影视在线观看| 99国产精品99久久久久| 国产成人福利小说| 99热这里只有是精品50| 美女黄网站色视频| 日韩欧美国产在线观看| 久久精品aⅴ一区二区三区四区| 久久久久性生活片| 人人妻,人人澡人人爽秒播| 亚洲国产欧美一区二区综合| 亚洲在线观看片| 又粗又爽又猛毛片免费看| 日本 av在线| av福利片在线观看| 亚洲精品美女久久av网站| 亚洲人成伊人成综合网2020| 在线观看免费视频日本深夜| 哪里可以看免费的av片| 少妇的丰满在线观看| 女同久久另类99精品国产91| 久久中文看片网| 国产淫片久久久久久久久 | 美女免费视频网站| 后天国语完整版免费观看| 99精品在免费线老司机午夜| 亚洲国产精品999在线| 美女cb高潮喷水在线观看 | 亚洲九九香蕉| 国产成人欧美在线观看| 日韩精品中文字幕看吧| 99久久精品热视频| 免费看十八禁软件| 91老司机精品| 97人妻精品一区二区三区麻豆| 中国美女看黄片| 中文字幕最新亚洲高清| 99久久久亚洲精品蜜臀av| 噜噜噜噜噜久久久久久91| 国产97色在线日韩免费| 欧美不卡视频在线免费观看| 亚洲激情在线av| 国产淫片久久久久久久久 | 久久久水蜜桃国产精品网| 美女 人体艺术 gogo| 熟妇人妻久久中文字幕3abv| 亚洲成人精品中文字幕电影| 中亚洲国语对白在线视频| 看免费av毛片| 久久久久亚洲av毛片大全| 嫩草影院入口| 老司机在亚洲福利影院| 色精品久久人妻99蜜桃| 在线观看66精品国产| 亚洲黑人精品在线| 国产乱人伦免费视频| 成人午夜高清在线视频| 老熟妇乱子伦视频在线观看| 夜夜爽天天搞| 黄色成人免费大全| 亚洲av日韩精品久久久久久密| 欧美中文日本在线观看视频| 国产伦人伦偷精品视频| 精品欧美国产一区二区三| 精品久久久久久久久久久久久| 亚洲av片天天在线观看| 欧美+亚洲+日韩+国产| 天天添夜夜摸| 亚洲男人的天堂狠狠| 精品国产亚洲在线| 国产三级黄色录像| 国产成人欧美在线观看| 手机成人av网站| 草草在线视频免费看| 欧美乱妇无乱码| 精品国内亚洲2022精品成人| 男女午夜视频在线观看| 麻豆av在线久日| 国产av麻豆久久久久久久| 国产男靠女视频免费网站| 亚洲七黄色美女视频| 两个人看的免费小视频| 男人舔奶头视频| 欧美在线一区亚洲| 国产亚洲精品一区二区www| 淫秽高清视频在线观看| 在线观看舔阴道视频| a级毛片a级免费在线| 国产精品野战在线观看| 国产一区二区在线av高清观看| 欧美一级a爱片免费观看看| 1024香蕉在线观看| 国产aⅴ精品一区二区三区波| 久久久成人免费电影| 日本在线视频免费播放| 久久天堂一区二区三区四区| xxx96com| 久久精品影院6| 夜夜躁狠狠躁天天躁| 国产精品免费一区二区三区在线| 精品一区二区三区av网在线观看| 国产av不卡久久| 亚洲av成人精品一区久久| 国产精品久久久久久精品电影| 午夜成年电影在线免费观看| 国产精品一及| 精品一区二区三区av网在线观看| 亚洲精品国产精品久久久不卡| 国产激情欧美一区二区| 久久久久久大精品| 在线观看舔阴道视频| 我要搜黄色片| 久久久久免费精品人妻一区二区| 叶爱在线成人免费视频播放| 一本综合久久免费| 亚洲av第一区精品v没综合| 不卡av一区二区三区| 亚洲av第一区精品v没综合| 欧美激情久久久久久爽电影| 99riav亚洲国产免费| 成年女人看的毛片在线观看| 精品一区二区三区视频在线 | 2021天堂中文幕一二区在线观| 精品一区二区三区四区五区乱码| 村上凉子中文字幕在线| 法律面前人人平等表现在哪些方面| 久久婷婷人人爽人人干人人爱| av黄色大香蕉| 中文字幕人妻丝袜一区二区| 免费一级毛片在线播放高清视频| 99国产综合亚洲精品| 日韩国内少妇激情av| 日韩av在线大香蕉| 日本成人三级电影网站| 国产亚洲av嫩草精品影院| 悠悠久久av| 三级毛片av免费| 亚洲成人精品中文字幕电影| 法律面前人人平等表现在哪些方面| 色综合亚洲欧美另类图片| 99热这里只有是精品50| 国产黄a三级三级三级人| 亚洲中文日韩欧美视频| 最近最新中文字幕大全免费视频| 亚洲欧美精品综合一区二区三区| 成年人黄色毛片网站| 91字幕亚洲| 最新在线观看一区二区三区| 一区福利在线观看| 亚洲在线观看片| 亚洲中文av在线| 亚洲av成人一区二区三| cao死你这个sao货| 亚洲精品在线美女| 亚洲人成伊人成综合网2020| 啦啦啦免费观看视频1| 久久香蕉精品热| 床上黄色一级片| 国产v大片淫在线免费观看| 国产爱豆传媒在线观看| 亚洲aⅴ乱码一区二区在线播放| 九色国产91popny在线| 18禁黄网站禁片免费观看直播| 国产美女午夜福利| 欧美三级亚洲精品| 久久亚洲真实| 亚洲专区字幕在线| 久久久久久国产a免费观看| 久久热在线av| 亚洲片人在线观看| 首页视频小说图片口味搜索| 男人舔奶头视频| 在线观看日韩欧美| 日本黄色视频三级网站网址| cao死你这个sao货| 国产精品亚洲美女久久久| 欧美性猛交黑人性爽| 99精品在免费线老司机午夜| 国产精品一及| 日韩欧美在线二视频| 国产真人三级小视频在线观看| 99久久综合精品五月天人人| 日韩欧美一区二区三区在线观看| 国内精品久久久久精免费| 亚洲av电影在线进入| 国产精品国产高清国产av| 18禁裸乳无遮挡免费网站照片| 国产高潮美女av| 美女高潮的动态| 男女做爰动态图高潮gif福利片| 国产成人av激情在线播放| 午夜福利免费观看在线| 成年版毛片免费区| 麻豆国产av国片精品| 亚洲乱码一区二区免费版| 亚洲精品乱码久久久v下载方式 | 黄片大片在线免费观看| 久久欧美精品欧美久久欧美| 午夜福利成人在线免费观看| 五月玫瑰六月丁香| 国产亚洲精品一区二区www| 中亚洲国语对白在线视频| 免费在线观看影片大全网站| aaaaa片日本免费| 色噜噜av男人的天堂激情| 最近最新中文字幕大全电影3| 床上黄色一级片| 熟妇人妻久久中文字幕3abv| 日韩高清综合在线| 男人舔奶头视频| 校园春色视频在线观看| 国产精品免费一区二区三区在线| 成人精品一区二区免费| cao死你这个sao货| 黄色 视频免费看| 最新在线观看一区二区三区| 丰满的人妻完整版| 日日夜夜操网爽| 国产伦人伦偷精品视频| 中文亚洲av片在线观看爽| 成人性生交大片免费视频hd| av国产免费在线观看| 久久人妻av系列| 亚洲性夜色夜夜综合| 又黄又爽又免费观看的视频| 亚洲成av人片免费观看| 国产三级在线视频| 日韩欧美在线二视频| 亚洲精品美女久久av网站| 欧美绝顶高潮抽搐喷水| 男插女下体视频免费在线播放| 久久精品人妻少妇| 精品99又大又爽又粗少妇毛片 | 99久久99久久久精品蜜桃| 欧美在线一区亚洲| 黄色 视频免费看| 老司机午夜福利在线观看视频| 色吧在线观看| 在线观看舔阴道视频| 成人无遮挡网站| 国产高清视频在线播放一区| 99久久综合精品五月天人人| 国产高清视频在线观看网站| 两性午夜刺激爽爽歪歪视频在线观看| 国产精华一区二区三区| 亚洲自拍偷在线| 欧美大码av| 精品久久久久久久毛片微露脸| 国产黄片美女视频| 久99久视频精品免费| 一a级毛片在线观看| 可以在线观看毛片的网站| 在线观看美女被高潮喷水网站 | 亚洲av成人精品一区久久| 久久久久久大精品| 三级男女做爰猛烈吃奶摸视频| 99热6这里只有精品| 久久亚洲精品不卡| 日日摸夜夜添夜夜添小说| 亚洲av熟女| 人妻夜夜爽99麻豆av| 特大巨黑吊av在线直播| 亚洲精品粉嫩美女一区| 亚洲色图av天堂| 一进一出抽搐动态| 久久这里只有精品中国| 国产激情偷乱视频一区二区| 91久久精品国产一区二区成人 | av欧美777| 99久久精品一区二区三区| 69av精品久久久久久| 成人av一区二区三区在线看| 色av中文字幕| 国产成人福利小说| 网址你懂的国产日韩在线| 精品一区二区三区四区五区乱码| 国产精品久久久人人做人人爽| 亚洲av中文字字幕乱码综合| 91久久精品国产一区二区成人 | avwww免费| 欧美最黄视频在线播放免费| 欧美zozozo另类| 18禁观看日本| 蜜桃久久精品国产亚洲av| 国产一区二区激情短视频| 成年版毛片免费区| 久久这里只有精品19| 亚洲,欧美精品.| 久久久久免费精品人妻一区二区| 国产亚洲精品久久久com| 亚洲国产精品sss在线观看| 欧美一级a爱片免费观看看| 亚洲精品中文字幕一二三四区| 老汉色∧v一级毛片| 精品久久久久久成人av| 久久久精品欧美日韩精品| 熟女电影av网| 性欧美人与动物交配| 波多野结衣高清作品| 曰老女人黄片| xxxwww97欧美| 亚洲av美国av| 日本熟妇午夜| 在线观看日韩欧美| 色综合亚洲欧美另类图片| 搞女人的毛片| 操出白浆在线播放| 欧美午夜高清在线| 不卡av一区二区三区| 操出白浆在线播放| 久久天堂一区二区三区四区| 一个人看视频在线观看www免费 | 级片在线观看| 国产伦人伦偷精品视频| 国产精品综合久久久久久久免费| 国产高清videossex| 日本免费a在线| 91字幕亚洲| 九色国产91popny在线| 69av精品久久久久久| 久久欧美精品欧美久久欧美| 91老司机精品| 啪啪无遮挡十八禁网站|