• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向在線健康社區(qū)的生成式方面級情感分析

    2024-10-08 00:00:00韓普葉東宇
    現(xiàn)代情報 2024年10期

    關(guān)鍵詞: 生成式模型; 方面級情感分析; 情感三元組; 在線健康社區(qū)

    DOI:10.3969 / j.issn.1008-0821.2024.10.012

    〔中圖分類號〕G203 〔文獻(xiàn)標(biāo)識碼〕A 〔文章編號〕1008-0821 (2024) 10-0142-12

    隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展, 在線健康社區(qū)已成為醫(yī)生和患者群體間的重要溝通交流渠道, 積累了海量的用戶生成內(nèi)容(User Generated Content,UGC)[1] 。這些具有豐富情感信息的UGC 不僅為健康服務(wù)質(zhì)量評價提供數(shù)據(jù)來源, 而且為醫(yī)療服務(wù)創(chuàng)新提供了新的契機[2-4] 。傳統(tǒng)的粗粒度情感分析主要面向句子或篇章級的情感極性判斷, 難以深入挖掘文本數(shù)據(jù)中包含的細(xì)粒度情感信息。隨著醫(yī)療健康領(lǐng)域精準(zhǔn)知識服務(wù)需求的推動, 如何從UGC 中更為精準(zhǔn)地進(jìn)行細(xì)粒度情感信息分析已成為當(dāng)前情感分析研究的重點和難點[5-7] 。

    作為細(xì)粒度情感分析的一種, 方面級情感分析(Aspect Based Sentiment Analysis, ABSA)旨在抽取文本中的方面實體和評論實體并判斷相應(yīng)情感極性。相較于傳統(tǒng)的粗粒度情感分析, ABSA 涉及方面實體抽取、評論實體抽取和情感極性判斷, 其子任務(wù)方面實體抽取、情感對抽取和情感三元組抽取更具挑戰(zhàn)性[8] 。盡管相關(guān)研究采用序列標(biāo)注和多分類方法能夠較好地處理ABSA 中的情感分類任務(wù), 然而, 這些方法在情感三元組抽取任務(wù)上的效果仍不夠理想, 難以準(zhǔn)確對齊各方面實體和評論實體[9] 。尤其在健康領(lǐng)域, UGC 語義信息復(fù)雜且包含了對診療和康復(fù)等過程的多方面評價。如何深入理解其中復(fù)雜的語義信息, 進(jìn)而準(zhǔn)確抽取種類繁雜的方面、評論實體和情感極性對用戶精準(zhǔn)需求分析具有重要意義[8] 。生成式模型由于其獨特的單向自回歸結(jié)構(gòu),能夠根據(jù)復(fù)雜情境靈活地生成文本, 在這些復(fù)雜的自然語言處理任務(wù)上具有天然優(yōu)勢?;诖?, 為充分理解上下文語義信息并有效對齊UGC 中各方面實體和評論實體, 本文將在線健康社區(qū)ABSA 轉(zhuǎn)換為文本生成任務(wù), 構(gòu)建端到端的生成式模型BERTWWM-GPT,探究其在方面級情感分析任務(wù)上的效果。具體而言, 首先利用具有雙向Transformer 結(jié)構(gòu)的BERT-WWM-ext 抽?。眨牵?中方面情感的上下文語義信息; 其次利用單向自回歸結(jié)構(gòu)的GPT[10] 模型解碼語義信息并生成情感三元組序列以對齊方面和評價實體; 最終通過基于規(guī)則的方式過濾和篩選出有效的情感三元組。

    1相關(guān)研究

    1.1方面級情感分析研究

    方面級情感分析旨在抽取文本中有關(guān)特定方面的情感信息, 主要包括方面實體抽取、評論實體抽取和情感分類3個子任務(wù)。相較于傳統(tǒng)的單一情感分類任務(wù), ABSA中的多個子任務(wù)通常是同時進(jìn)行的, 因此難度更大, 復(fù)雜度更高。基于所采用的研究方法, ABSA可以分為序列標(biāo)注方法和多分類的方法。

    基于序列標(biāo)注的方法將ABSA 視為序列標(biāo)注問題, 利用BiLSTM-CRF[11] 等模型對文本中單詞或短語的標(biāo)簽進(jìn)行分類, 進(jìn)而抽取方面實體、評論實體和情感極性。為利用位置感知信息, Xu L 等[12]提出一種能夠聯(lián)合提取情感三元組的端到端模型;為利用全局和局部上下文信息, Yang H 等[13] 提出一種多任務(wù)學(xué)習(xí)情感分析模型, 能夠同步提取方面詞和情感極性; Wang W 等[14] 提出一種融合依存句法信息的多層耦合注意力網(wǎng)絡(luò), 實現(xiàn)了對方面詞和觀點術(shù)語的協(xié)同抽?。?為聚焦鄰近文本的語義信息, 肖宇晗等[15] 提出一種基于語境窗口自注意力機制的深度學(xué)習(xí)模型進(jìn)行方面實體抽?。?Zhao M等[16] 基于實體與上下文的定向依賴關(guān)系提出了一種新型依賴增強圖卷積網(wǎng)絡(luò); 王登雄等[17] 構(gòu)建了一種結(jié)合句法和語義知識的跨領(lǐng)域方面詞抽取框架,以降低源域和目標(biāo)域數(shù)據(jù)之間差異性帶來的影響。基于序列標(biāo)注方法的模型易于設(shè)計且結(jié)構(gòu)簡單, 但隨著文本中方面實體的增多, 數(shù)據(jù)標(biāo)注難度也越來越大且模型難以對齊方面與評論實體[18] 。

    基于多分類的方法將ABSA視為多分類問題,即對文本中多個連續(xù)片段及其關(guān)系進(jìn)行分類, 該方法不僅可以實現(xiàn)情感極性分類, 也可以實現(xiàn)方面和評論實體對齊。Wu Z 等[19] 提出一個端到端的網(wǎng)格標(biāo)記模型, 并利用評論之間的相互指示作用抽取情感三元組; Zhang C 等[20] 提出一種基于多任務(wù)學(xué)習(xí)的方面實體和評論實體抽取框架, 并通過雙仿射評分器解析兩者之間的情感依賴關(guān)系; Xu L 等[21] 利用目標(biāo)方面詞和觀點交互信息提出一種跨度級情感三元組抽取模型; 郭榮榮等[22] 構(gòu)建了一種融合BERT和多特征提取的圖卷積神經(jīng)網(wǎng)絡(luò)模型, 并使用雙仿射注意力模塊獲取文本中詞對之間的關(guān)系概率分布;Jiang B 等[23] 提出了一種基于BERT 和圖卷積神經(jīng)網(wǎng)絡(luò)的情感三元組抽取框架, 實現(xiàn)了方面和觀點實體之間的信息交互; Gao L 等[24] 構(gòu)建了一個基于問答的機器閱讀理解任務(wù)用于抽取方面和評論實體對。

    1.2在線健康社區(qū)情感分析研究

    在線健康社區(qū)情感分析較早的相關(guān)研究主要采用基于規(guī)則[25-26] 、基于詞典[27] 和基于機器學(xué)習(xí)[28-30]的方法, 然而, 這些方法高度依賴專家知識且特征工程龐大[31] 。近期研究主要是基于深度學(xué)習(xí)的方法, 效果較早期的情感分析方法有較大提升[32-33] 。Yadav S 等[34] 、Jelodar H 等[1] 將傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)方法進(jìn)行對比, 發(fā)現(xiàn)基于深度學(xué)習(xí)的方法在健康社區(qū)情感分析任務(wù)中取得了顯著改進(jìn); 葉艷等[35]采用LDA 模型和BiLSTM 分析了在線醫(yī)療評論中負(fù)面服務(wù)質(zhì)量評價產(chǎn)生的原因; Min Z[36] 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和BiL?STM 在挖掘文本局部和全局特征上的優(yōu)勢, 對在線健康社區(qū)的評論進(jìn)行情感分析; Colón-Ruiz C等[37] 、Biseda B 等[38] 對在線藥物評論進(jìn)行情感分析發(fā)現(xiàn), 將預(yù)訓(xùn)練雙向編碼表征網(wǎng)絡(luò)(BidirectionalEncoder Representation from Transformers, BERT)作為模型的嵌入層可進(jìn)一步提升情感分析效果; Ar?bane M 等[39] 提出一種改進(jìn)的BiLSTM 模型用于對社交媒體中有關(guān)健康問題的用戶生成內(nèi)容進(jìn)行情感分析; Cao Y 等[40] 、Shah A M 等[41] 提出了融合多模態(tài)數(shù)據(jù)的情感分析模型并對在線醫(yī)療評論進(jìn)行情感分析, 研究發(fā)現(xiàn)多模態(tài)情感分析效果較單一模態(tài)具有顯著提升。

    隨著精準(zhǔn)知識服務(wù)需求推進(jìn), 情感分析逐漸轉(zhuǎn)向更為細(xì)粒度的ABSA。Gui L 等[42] 對網(wǎng)絡(luò)平臺的在線醫(yī)療評論進(jìn)行情感分析, 提出一種可同時進(jìn)行句子級方面詞提取和文檔級情感分類的聯(lián)合學(xué)習(xí)框架; Shan Y X 等[43] 采用對抗學(xué)習(xí)訓(xùn)練在線醫(yī)療評論中的情感詞表征, 并通過注意力機制將情感特征向量與結(jié)構(gòu)化語義相結(jié)合, 進(jìn)而模型能夠更加關(guān)注文本中特定的方面信息; Han Y 等[44] 提出一種預(yù)訓(xùn)練多任務(wù)學(xué)習(xí)模型, 該模型通過兩個BiGRU 網(wǎng)絡(luò)生成特定藥物評論目標(biāo)的語義表征, 并利用多任務(wù)遷移學(xué)習(xí)短文本藥物評論中的領(lǐng)域知識; ?unic'A 等[45] 提出一種基于依存句法信息的方面級情感分析模型, 該模型通過圖卷積神經(jīng)網(wǎng)絡(luò)對給定方面進(jìn)行情感分類; Praveen S V 等[46] 使用BERT 模型和主題建模方法分析了醫(yī)療保健領(lǐng)域的學(xué)者對生成式模型ChatGPT 的情緒。從上述研究可以發(fā)現(xiàn),細(xì)粒度ABSA 已成為當(dāng)前在線健康社區(qū)情感分析的研究重點。

    1.3生成式模型應(yīng)用進(jìn)展

    近年來, 生成式模型在眾多領(lǐng)域取得了令人矚目的成果。在計算機視覺領(lǐng)域, 變分自編碼器[47]結(jié)合了自編碼器的結(jié)構(gòu)和概率圖模型的思想, 通過學(xué)習(xí)數(shù)據(jù)的潛在分布, 使得模型能夠生成多樣性的新樣本; 生成對抗網(wǎng)絡(luò)[48] 利用對抗訓(xùn)練的方式使得生成器不斷提高生成樣本質(zhì)量, 判別器則不斷提高辨別真?zhèn)蔚哪芰?。在自然語言處理領(lǐng)域, 基于Transformer 架構(gòu)的單向自回歸GPT[10] 模型能夠?qū)W習(xí)文本長距離依賴關(guān)系, 進(jìn)而自動生成文本。隨著預(yù)訓(xùn)練模型的發(fā)展, 生成式模型逐漸應(yīng)用于文本摘要生成、機器翻譯和智能問答等自然語言處理任務(wù)。在文本摘要生成研究中, 全安坤等[49] 發(fā)現(xiàn), 利用生成式模型融合圖片和文本特征能更好地定位關(guān)鍵內(nèi)容, 生成的摘要更具有概括性和可讀性; 李紅蓮等[50] 通過融合情感和主題雙通道信息并利用指針網(wǎng)絡(luò)生成文本評論摘要; 鄧露等[51] 基于端到端生成式模型提出一種知識增強的生成式摘要方法。在機器翻譯研究中, 申影利等[52] 提出一種基于多任務(wù)學(xué)習(xí)和Transformer 架構(gòu)的生成式機器翻譯模型;為提高模型對文本的表征能力, Kumar A 等[53] 結(jié)合注意力和卷積神經(jīng)網(wǎng)絡(luò)提出一種新的生成對抗網(wǎng)絡(luò); 劉婉月等[54] 提出一種加標(biāo)簽融合多種亞詞序列的生成式機器翻譯模型。在智能問答研究中, 為提高問題和答案的語義匹配度, 劉杰等[55] 構(gòu)建了基于答案引導(dǎo)的問答對聯(lián)合生成模型; Bidgoly A J等[56] 提出了以低資源語言生成式問答框架以解決訓(xùn)練數(shù)據(jù)不足的問題; Francis S 等[57] 利用生成式問答框架結(jié)合上下文信息生成與問題相關(guān)的回答。在情感分析領(lǐng)域, 余傳明等[58] 為解決目標(biāo)語言標(biāo)注語料資源匱乏問題, 使用生成對抗網(wǎng)絡(luò)和SVM對文本的情感極性分類; 龔振凱等[59] 為提取句子的方面詞、情感詞和情感極性, 提出一種硬約束限制下的情感文本生成方法; Hosseini-Asl E 等[60] 借助具有單向注意力機制的生成語言模型進(jìn)行方面詞抽取和情感極性分類任務(wù); Li Z 等[61] 構(gòu)建多模態(tài)生成框架UniSA 以提升模型的多模態(tài)情感感知能力及子任務(wù)間通用情感知識的學(xué)習(xí)能力。

    通過上述研究可知, 針對在線健康社區(qū)的情感分析已取得了較大進(jìn)展, 近年來其研究焦點逐漸轉(zhuǎn)向更細(xì)粒度的ABSA。已有研究大多采用序列標(biāo)注方法或多分類方法進(jìn)行特定方面的實體抽取和情感極性分類任務(wù), 但當(dāng)句中存在多重情感三元組時,現(xiàn)有方法仍然難以有效解決方面實體、評論實體和相應(yīng)情感極性的對齊問題[8,15] 。盡管已有研究表明生成式模型在解決此類復(fù)雜ABSA 子任務(wù)的潛力,但尚未深入探索生成式模型抽取多重情感三元組的效果。基于此, 本文將ABSA 任務(wù)轉(zhuǎn)換成序列生成任務(wù), 進(jìn)一步探究生成式模型對在線健康社區(qū)進(jìn)行方面級情感分析的效果。

    2基于生成式的在線健康社區(qū)方面級情感分析模型

    2.1模型設(shè)計

    為充分理解上下文語義信息并有效對齊UGC中各方面實體和評論實體,本文提出一種端到端的生成式方面級情感分析模型BERT-WWM-GPT。所提模型由雙向Transformer 結(jié)構(gòu)的編碼器和單向自回歸結(jié)構(gòu)的解碼器組成, 通過編碼器抽取上下文語義信息, 解碼器對此解碼生成情感三元組序列,模型具體結(jié)構(gòu)如圖1 所示。模型中編碼器采用具有雙向Transformer結(jié)構(gòu)的BERT-WWM-ext 預(yù)訓(xùn)練模型, 主要包括雙向多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)、層歸一化和殘差鏈接網(wǎng)絡(luò)機制; 解碼器采用單向自回歸結(jié)構(gòu)的GPT 預(yù)訓(xùn)練模型, 主要包括單向多頭注意力機制、前饋神經(jīng)網(wǎng)絡(luò)、層歸一化和殘差鏈接網(wǎng)絡(luò)機制。

    由于推理階段僅存在用戶評論文本T,而標(biāo)準(zhǔn)序列G 未知, 為使模型盡可能準(zhǔn)確地預(yù)測在線健康社區(qū)文本的情感信息, 推理策略是通過Decoder解碼Encoder 的語義向量進(jìn)而生成預(yù)測序列P, 并依據(jù)P 內(nèi)單個位置的預(yù)測得分使得整體預(yù)測準(zhǔn)確性最大化。具體而言, 首先通過Encoder端得到文本的上下文表示H; 其次在Decoder使用特殊任務(wù)標(biāo)志符“<tri>”作為任務(wù)的觸發(fā)器, 依據(jù)不斷生成的序列迭代預(yù)測下一個字符, 直到生成特殊的標(biāo)志符“<end>”;然后利用集束算法優(yōu)化生成序列,避免模型陷入局部最優(yōu)陷阱;最終通過基于規(guī)則的方式過濾和篩選出有效的情感三元組表達(dá)。模型的推理階段如圖2所示。

    3實驗設(shè)計

    3.1實驗流程

    為了利用生成式模型靈活解決在線健康社區(qū)中多重情感三元組抽取任務(wù)上的優(yōu)勢, 本文通過構(gòu)建基于端到端的生成式模型實現(xiàn)方面實體、評論實體和相應(yīng)情感極性的對齊, 以提升在線健康社區(qū)中ABSA 效果, 實驗流程如圖3 所示。具體來說, 首先從在線健康社區(qū)收集用戶評論數(shù)據(jù), 并對數(shù)據(jù)進(jìn)行清洗和預(yù)處理; 其次搭建深度學(xué)習(xí)模型BERTWWM-GPT, 并在編碼器通過嵌入層獲取包含上下文語意信息的詞向量; 然后在解碼器對詞向量解碼,利用單項的自回歸結(jié)構(gòu)生成預(yù)測序列; 最終從預(yù)測序列中篩選出有效的情感三元組。

    3.2數(shù)據(jù)準(zhǔn)備

    中文領(lǐng)域目前尚未有公開的中文在線健康社區(qū)ABSA 任務(wù)數(shù)據(jù)集, 為驗證所提模型在在線健康社區(qū)ABSA任務(wù)上的有效性, 本文選擇好大夫網(wǎng)站作為實驗數(shù)據(jù)來源構(gòu)建數(shù)據(jù)集。好大夫網(wǎng)是中國使用較為廣泛的醫(yī)患交流平臺, 其中包括了對醫(yī)生、醫(yī)院的評論, 以及對藥物、治療和康復(fù)狀況的評論。本文利用爬蟲程序獲?。玻埃玻?年1 月—2023 年8 月該網(wǎng)站的用戶評論, 初步清洗后得到7000條數(shù)據(jù)。為確保數(shù)據(jù)標(biāo)注質(zhì)量, 本研究一方面對實驗數(shù)據(jù)采取了去重、降噪以及刪除低質(zhì)量數(shù)據(jù)等操作; 另一方面通過兩位標(biāo)注員分別標(biāo)注, 第三位標(biāo)注員對不確定數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)注的方式以確保標(biāo)注結(jié)果的準(zhǔn)確性, 并對方面實體和評論實體以及相應(yīng)的情感極性進(jìn)行標(biāo)注。最終構(gòu)建了包含4 000條數(shù)據(jù)的數(shù)據(jù)集, 數(shù)據(jù)集統(tǒng)計結(jié)果和樣例如表1 和表2所示。

    3.3實驗設(shè)計

    為驗證BERT-WWM-GPT 模型在健康社區(qū)方面級情感分析任務(wù)ASPE 和ASOTE 上的有效性,本文設(shè)計了3 組對照實驗, 每組實驗均采用五折交叉驗證, 并按7∶1∶2 將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。具體實驗設(shè)計如下:

    實驗一:對比基準(zhǔn)模型在ABSA任務(wù)中的實驗效果。探究采用基于序列標(biāo)注方法、基于多分類方法和單解碼器結(jié)構(gòu)的生成式模型GPT 在ASPE 和ASOTE任務(wù)上的效果。

    實驗二:探究不同生成式模型在ABSA任務(wù)中的實驗效果。本實驗將在實驗一基礎(chǔ)上探究不同生成式模型和編碼器對實驗效果的影響; 同時探究集束搜索算法中不同集束寬對實驗效果的影響。

    實驗三:檢驗?zāi)P偷念I(lǐng)域泛化能力。在實驗二基礎(chǔ)上利用公共數(shù)據(jù)進(jìn)行實驗, 以探究生成式模型BERT-WWM-GPT的泛化能力。

    在實驗一中,為驗證所提模型的有效性, 本文采用ABSA 領(lǐng)域主流的基線模型進(jìn)行對比實驗?;€模型介紹如表3所示。

    3.4實驗環(huán)境

    本文實驗環(huán)境如下: 實驗?zāi)P途捎茫校簦瑁铮睿?8.0 和Pytorch深度學(xué)習(xí)框架1.9.0 版本, 操作系統(tǒng)為Ubuntu,GPU型號為GeForce RTX3090 GPU,內(nèi)存24GB。表4給出了模型的各超參數(shù)值及解釋,所有實驗均在此環(huán)境下運行。

    3.5評估指標(biāo)

    本文采用準(zhǔn)確率(Accuracy)、召回值(Recall)、精確率(Precision)和F1 值作為所有模型的評估指標(biāo), 以下簡稱P、R 和F1。具體計算如式(9) ~(11) 所示:

    其中TP表示正類被預(yù)測為正類的數(shù)量; FN表示正類被預(yù)測為負(fù)類的數(shù)量; FP 表示負(fù)類被預(yù)測為正類的數(shù)量。

    4實驗結(jié)果與分析

    4.1基準(zhǔn)實驗對比

    為驗證基準(zhǔn)模型在健康社區(qū)方面級情感分析任務(wù)上的效果, 第一組實驗采用序列標(biāo)注方法, 如BiLSTM-CRF、LCF 和PAT、CMLA、HAST; 第二組實驗采用基于多分類方法, 如GTS、OTE-MTL和SPAN-ASTE;第三組實驗采用具有解碼器結(jié)構(gòu)的生成式模型GPT。實驗結(jié)果如表5所示。

    從表5可以發(fā)現(xiàn), 在抽?。挤矫鎸嶓w,情感極性>對任務(wù)ASPE 中:①序列標(biāo)注模型HAST 和LCF模型的F1值分別為60.73%和59.71%, 相較于BiLSTM-CRF 和CMLA 模型均有明顯提升, 主要原因在于HAST和LCF 模型采用多任務(wù)學(xué)習(xí)共享情感極性分類和方面實體抽取任務(wù)的參數(shù), 使得單個任務(wù)學(xué)習(xí)到更多信息,進(jìn)一步優(yōu)化了ASPE 任務(wù)結(jié)果。②多分類模型在ASPE 任務(wù)上效果優(yōu)于序列標(biāo)注模型。其中OTE-MTL 模型在多分類模型中表現(xiàn)最優(yōu),F1 值達(dá)到77.12%, 較HAST 模型提升了16.39%,這是由于OTE-MTL 模型利用多任務(wù)學(xué)習(xí)在ASPE任務(wù)中引入評論實體抽取任務(wù), 更加關(guān)注與評論實體相關(guān)的方面實體和情感極性信息, 進(jìn)一步提高了模型在ASPE 任務(wù)上的效果。③單解碼器生成式模型GPT 在ASPE 任務(wù)上F1 值為77.93%,較OTEMTL模型僅提升了0.81%。進(jìn)一步分析可知,GPT模型雖然能夠自回歸地生成情感三元組序列, 但其單向自回歸結(jié)構(gòu)的解碼器未能有效捕獲文本上下文語義信息, 因此, 相較于OTE-MTL 模型在ASPE任務(wù)上提升效果不顯著。

    在抽?。挤矫鎸嶓w,評論實體, 情感極性>三元組任務(wù)ASOTE 中:①生成式GPT 模型在ASOTE 任務(wù)上表現(xiàn)最優(yōu), F1@ All 值為80.69%, 較多分類模型GTS 提高了7 71%。這表明將ABSA 任務(wù)轉(zhuǎn)化為生成任務(wù)是可行的, 且生成式模型在ABSA 任務(wù)上的表現(xiàn)明顯優(yōu)于基于序列標(biāo)注和多分類的方法。②序列標(biāo)注和多分類模型在ASOTE 任務(wù)上的F1@4 明顯低于F1@ 1,而生成式模型F1@ 4 比F1@ 1高4.22%, 這表明生成式模型更適合處理具有多重情感三元組表達(dá)的復(fù)雜文本。主要原因在于將情感三元組預(yù)測任務(wù)轉(zhuǎn)換成序列生成任務(wù)后, 生成式模型能夠更好地利用情感三元組序列的上下文語義信息, 進(jìn)而有效地處理ASOTE 任務(wù)。③生成式模型在ASPE任務(wù)上F1值為77.93%, 低于在ASOTE任務(wù)上的F1值80.69%,而多分類模型和序列標(biāo)注模型在ASPE 任務(wù)上F1 值高于ASOTE 任務(wù), 這表明生成式模型能夠更好地處理方面級情感分析中的復(fù)雜任務(wù)。進(jìn)一步分析可以發(fā)現(xiàn), 序列標(biāo)注和多分類模型需要對預(yù)測結(jié)果進(jìn)一步解碼生成情感三元組, 存在錯誤傳播的現(xiàn)象, 而生成式模型在訓(xùn)練和推理階段按照“方面, 評論, 情感極性” 格式對齊方面實體和評論實體并聯(lián)合抽取情感三元組, 減少了錯誤序列的生成。

    4.2生成式模型對比

    由4.1小節(jié)可知, 生成式模型GPT 在基準(zhǔn)實驗對比中效果最優(yōu)。因此, 本實驗將在GPT 模型基礎(chǔ)上探究不同編碼器和集束寬度對在線健康社區(qū)情感三元組抽取的影響。其中, Glove-GPT 是在GPT 模型的基礎(chǔ)上使用Glove 詞向量; BERT-GPT是采用BERT[62] 作為嵌入層; BERT-WWM-GPT采用BERT-WWM-ext[63] 作為詞嵌入層。實驗結(jié)果如表6 所示。

    從表6 可以發(fā)現(xiàn), ①Glove-GPT模型在ASOTE任務(wù)上的F1@ All為80.80%,相較于GPT模型僅提升0.11%,這是由于靜態(tài)詞向量Glove無法準(zhǔn)確捕獲字符在不同上下文的語義信息, 因此, 在復(fù)雜的ASOTE 任務(wù)中不適用于生成式模型的編碼器。②BERT-GPT 和BERT-WWM-GPT 模型相較于GPT在ASOTE任務(wù)上的F1 值分別提升了2.49%和3.57%,表明預(yù)訓(xùn)練模型BERT 和BERT-WWM-ext 作為編碼器對實驗效果提升較大,其中BERT-WWM-ext模型對實驗效果提升更為明顯。主要原因在于BERTWWM-ext相較于BERT 采用了更大的語料庫和全字掩蔽預(yù)訓(xùn)練任務(wù),能夠讓模型充分學(xué)習(xí)詞語的語義信息, 進(jìn)而有助于提升三元組抽取效果。③使用集束搜索后,BERT-WWM-GPT模型在AOSTE任務(wù)上的F1@2、F1@3 和F1@4 總體上隨著集束寬度增大而提高, 當(dāng)提高集束寬度為4 時F1@ All 值較GTS 模型提升了12.25%, F1@ 2、F1@ 3 和F1@ 4分別提升了1.32%、1.01%和1.76%。這是由于模型使用集束算法生成序列時考慮了多個備選項, 在一定程度上避免陷入局部最優(yōu)解。當(dāng)集束寬度增大至5 時, 實驗效果出現(xiàn)了下降。進(jìn)一步分析可知,模型對預(yù)測序列上每個字符的預(yù)測并不完全準(zhǔn)確,導(dǎo)致選擇的備選項不一定是最佳備選項, 因此, 過度增大集束寬度可能會生成錯誤序列。

    4. 3模型領(lǐng)域泛化能力驗證

    為驗證基于端到端的生成式模型的泛化能力,本文選取方面級情感分析領(lǐng)域的5 份中文公共數(shù)據(jù)進(jìn)行實驗, 其中Camera、Car、Phone 和Notebook數(shù)據(jù)集[13] 是電子商務(wù)平臺的商品評價數(shù)據(jù), 標(biāo)注了方面實體和情感極性, 4份數(shù)據(jù)集共包含6 432條數(shù)據(jù); Food[64] 數(shù)據(jù)集包含了27 835條數(shù)據(jù),標(biāo)注了餐飲行業(yè)在線評論的方面、評論實體和相應(yīng)的情感極性, 每條數(shù)據(jù)最多包含19對情感三元組。其中,Camera、Car、Phone 和Notebook數(shù)據(jù)集均未標(biāo)注評論實體,因此主要進(jìn)行ASPE 實驗; Food數(shù)據(jù)集標(biāo)注了方面、評論實體和相應(yīng)的情感極性,可以進(jìn)行ASOTE 實驗。為保證各實驗的可比較性,均采用F1 值評價指標(biāo)對實驗結(jié)果進(jìn)行評價,實驗結(jié)果如表7所示。

    由表7可以發(fā)現(xiàn),①由于Camera、Car、hone和Notebook數(shù)據(jù)集語料表述較為簡單, 每條數(shù)據(jù)僅包含一個方面的評價, 因此ASPE 任務(wù)整體實驗效果較好。所提模型BERT-WWM-GPT 在4 個數(shù)據(jù)集的ASPE 任務(wù)上效果均達(dá)到最優(yōu), F1 值分別為76.85%、80.80%、83.52%和79.48%, 較OTEMTL模型分別提升了3.75%、13.57%、10.86%和8.59%。LCF、OTE-MTL、GPT 和BERT-WWMGPT模型在ASPE 任務(wù)上的F1 值逐漸遞增, 這與實驗一和實驗二的結(jié)論相吻合, 表明生成式模型在ASPE 任務(wù)上的效果優(yōu)于序列標(biāo)注和多分類模型,且基于預(yù)訓(xùn)練的BERT-WWM-ext 編碼器對ASPE任務(wù)具有較好的提升效果。②由于Food 數(shù)據(jù)集存在大量具有多重情感三元組的數(shù)據(jù), 增加了情感三元組抽取的難度, 因此ASOTE 任務(wù)整體實驗效果較低。其中, MuG RoBERTa-large模型較OTE -MTL 模型在F1 值上僅提升了0.28%, 主要原因在于OTE-MTL模型和MuG RoBERTa-large 模型均采用多分類的方法處理情感三元組抽取任務(wù), 因此實驗結(jié)果相近。而生成式模型BERT-WWM-GPT 較MuG RoBERTa-large 在F1 值上提升了7.22%, 在ASOTE任務(wù)上效果最佳, 這進(jìn)一步表明了所提模型BERT-WWM-GPT優(yōu)秀的泛化能力, 且在抽取多重情感三元組任務(wù)中更具有優(yōu)勢。

    4.4案例分析

    為進(jìn)一步理解BERT-WWM-GPT在健康領(lǐng)域ABSA 任務(wù)上的效果, 本文選取了3 個代表性案例進(jìn)行分析。其中案例一句式簡單, 包含3個情感三元組和兩種不同的情感極性; 案例二存在3 個情感三元組, 但僅有兩個方面實體, 即關(guān)系重疊現(xiàn)象,且同一方面實體存在兩種不同情感極性的評論實體; 案例三句式復(fù)雜且存在6 個情感三元組, 不僅存在關(guān)系重疊現(xiàn)象, 且存在隱性情感表達(dá)現(xiàn)象。表8給出了案例介紹與模型的抽取結(jié)果。

    通過案例分析可知,BERT-WWM-GPT 模型完整地抽取了案例一與案例二中的情感三元組。案例二中方面實體“王醫(yī)生” 存在兩種不同情感極性的評論實體,BERT-WWM-GPT 不僅完整地抽取了相關(guān)的方面與評論實體對, 還準(zhǔn)確預(yù)測了兩種不同的情感極性, 這表明所提模型針對具有多重情感三元組的文本有較好的抽取能力。

    案例三句式較為復(fù)雜, 其方面實體“刀口” 的評論實體“很小” 和“基本看不到” 屬于隱性情感表達(dá), 針對不同方面有不同情感極性。例如, 方面實體“手術(shù)效果” 的評論同樣是“很小”, 但表達(dá)的情感極性卻完全相反, BERT-WWM-GPT模型未能準(zhǔn)確識別情感極性; 此外, 當(dāng)方面實體的表達(dá)較為復(fù)雜, 例如“告知注意事項” 由動詞和名詞組成, BERT-WWM-GPT 未能正確識別實體邊界。這表明所提模型未能較好地分析隱性情感和抽取復(fù)雜實體信息, 未來可通過遷移學(xué)習(xí)引入外部知識解決此類問題。

    5結(jié)論

    通過實現(xiàn)方面實體和評論實體對齊進(jìn)而更為準(zhǔn)確地抽取在線健康社區(qū)文本中的多重情感三元組,提出了一種基于端到端的生成式模型BERT-WWMGPT。研究結(jié)果表明: ①單解碼器生成式模型GPT相較于序列標(biāo)注和多分類模型更適合處理具有多重情感三元組表達(dá)的復(fù)雜文本, 其F1值較基準(zhǔn)模型GTS提升了7.71%。②預(yù)訓(xùn)練模型相較于靜態(tài)詞向量更加適合作為生成式模型的編碼器, 且BERTWWM相較于BERT 在F1@ All值上提升了1.08%。③在5 份中文公開數(shù)據(jù)集和自建數(shù)據(jù)集上的實驗結(jié)果表明, 所提模型BERT-WWM-GPT 能較好地抽取在線健康社區(qū)多重情感三元組, 且具有良好的泛化能力。目前在線健康社區(qū)中用戶評論表述復(fù)雜且包含大量隱性情感信息, 如何對隱性情感表達(dá)進(jìn)行有效抽取和情感極性分類是本文未來研究的重點。

    国产精品1区2区在线观看.| 欧美一级a爱片免费观看看 | 国产精品1区2区在线观看.| 亚洲第一欧美日韩一区二区三区| 久久这里只有精品19| 给我免费播放毛片高清在线观看| 女人精品久久久久毛片| 国产成人啪精品午夜网站| 法律面前人人平等表现在哪些方面| 91九色精品人成在线观看| 亚洲精品一卡2卡三卡4卡5卡| 久久国产乱子伦精品免费另类| 一二三四社区在线视频社区8| 最近最新免费中文字幕在线| 久久久久久亚洲精品国产蜜桃av| 丝袜美腿诱惑在线| 国产精品,欧美在线| 久久人人精品亚洲av| 神马国产精品三级电影在线观看 | 日本vs欧美在线观看视频| 日韩欧美在线二视频| 又黄又粗又硬又大视频| 国产亚洲精品第一综合不卡| 欧美日韩亚洲综合一区二区三区_| 日韩有码中文字幕| 精品久久久久久久人妻蜜臀av | 人成视频在线观看免费观看| 欧洲精品卡2卡3卡4卡5卡区| 亚洲欧美日韩另类电影网站| 久久亚洲精品不卡| 一本久久中文字幕| 国产精品永久免费网站| 亚洲欧美精品综合一区二区三区| 久久天堂一区二区三区四区| 香蕉国产在线看| 国产aⅴ精品一区二区三区波| 欧美性长视频在线观看| 久久精品91蜜桃| 国产亚洲精品av在线| 搡老岳熟女国产| 久久婷婷成人综合色麻豆| 动漫黄色视频在线观看| 老汉色∧v一级毛片| 亚洲专区中文字幕在线| 国产亚洲精品综合一区在线观看 | 中文字幕av电影在线播放| 欧美一级a爱片免费观看看 | 十八禁网站免费在线| 国产午夜精品久久久久久| 精品免费久久久久久久清纯| 18美女黄网站色大片免费观看| 欧美日韩亚洲综合一区二区三区_| 巨乳人妻的诱惑在线观看| 欧美另类亚洲清纯唯美| 成熟少妇高潮喷水视频| 狂野欧美激情性xxxx| 国产国语露脸激情在线看| 欧美日本亚洲视频在线播放| 身体一侧抽搐| 97人妻精品一区二区三区麻豆 | 色精品久久人妻99蜜桃| 男人的好看免费观看在线视频 | 精品国产一区二区三区四区第35| 变态另类丝袜制服| 免费在线观看亚洲国产| 日韩大尺度精品在线看网址 | 成人亚洲精品一区在线观看| 久久亚洲真实| 日韩一卡2卡3卡4卡2021年| 久久精品亚洲熟妇少妇任你| 亚洲国产欧美网| 欧美日韩瑟瑟在线播放| 亚洲熟女毛片儿| 每晚都被弄得嗷嗷叫到高潮| 午夜免费成人在线视频| 久久亚洲精品不卡| 日韩欧美免费精品| 一级作爱视频免费观看| 亚洲第一电影网av| 欧美绝顶高潮抽搐喷水| 久久婷婷成人综合色麻豆| 日本五十路高清| 国产精品香港三级国产av潘金莲| 男女床上黄色一级片免费看| 别揉我奶头~嗯~啊~动态视频| 国产精品电影一区二区三区| 免费看a级黄色片| 国内毛片毛片毛片毛片毛片| 亚洲第一电影网av| 妹子高潮喷水视频| 女生性感内裤真人,穿戴方法视频| 女警被强在线播放| 99国产精品一区二区三区| 美女午夜性视频免费| 日韩av在线大香蕉| 欧美一级a爱片免费观看看 | 18禁观看日本| 国产精品爽爽va在线观看网站 | 亚洲精品国产色婷婷电影| 国产亚洲av高清不卡| 88av欧美| 极品人妻少妇av视频| 好看av亚洲va欧美ⅴa在| 国产精品久久久av美女十八| 欧美在线一区亚洲| 精品国产乱子伦一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 国产精品日韩av在线免费观看 | 欧美国产日韩亚洲一区| 亚洲中文av在线| 午夜福利一区二区在线看| 一二三四社区在线视频社区8| 欧美日韩乱码在线| 十八禁人妻一区二区| aaaaa片日本免费| 最新美女视频免费是黄的| 亚洲欧美日韩另类电影网站| 亚洲中文av在线| 97超级碰碰碰精品色视频在线观看| 老司机深夜福利视频在线观看| 国产不卡一卡二| 免费看十八禁软件| 国产亚洲精品综合一区在线观看 | 久久久久国产精品人妻aⅴ院| 久热这里只有精品99| 禁无遮挡网站| 亚洲自偷自拍图片 自拍| 久久国产精品男人的天堂亚洲| 亚洲国产欧美一区二区综合| 欧美一级a爱片免费观看看 | 一区二区三区高清视频在线| 亚洲av第一区精品v没综合| 国产激情久久老熟女| 久久香蕉精品热| 国产一区二区在线av高清观看| 99久久精品国产亚洲精品| 久久国产亚洲av麻豆专区| 手机成人av网站| 国产精品综合久久久久久久免费 | a在线观看视频网站| 久久这里只有精品19| 国内久久婷婷六月综合欲色啪| 波多野结衣巨乳人妻| 国产精品一区二区精品视频观看| 日韩成人在线观看一区二区三区| 午夜福利免费观看在线| 久久香蕉激情| 啦啦啦观看免费观看视频高清 | 亚洲av熟女| 久9热在线精品视频| 欧美另类亚洲清纯唯美| 日韩国内少妇激情av| 一级a爱视频在线免费观看| 777久久人妻少妇嫩草av网站| 欧美午夜高清在线| 动漫黄色视频在线观看| 欧美 亚洲 国产 日韩一| 久久精品国产综合久久久| 无遮挡黄片免费观看| 欧美日韩亚洲综合一区二区三区_| 日本一区二区免费在线视频| 99久久综合精品五月天人人| 久久午夜亚洲精品久久| √禁漫天堂资源中文www| 亚洲最大成人中文| 亚洲精品一区av在线观看| 怎么达到女性高潮| 熟妇人妻久久中文字幕3abv| 免费在线观看影片大全网站| 国产高清激情床上av| 在线免费观看的www视频| 中国美女看黄片| svipshipincom国产片| 两个人看的免费小视频| 日本黄色视频三级网站网址| 1024香蕉在线观看| 免费看十八禁软件| 亚洲天堂国产精品一区在线| 亚洲三区欧美一区| 久久国产精品男人的天堂亚洲| 日韩视频一区二区在线观看| 成人国语在线视频| 最近最新中文字幕大全电影3 | 午夜精品国产一区二区电影| 一进一出好大好爽视频| 久久精品国产亚洲av高清一级| 欧美日韩福利视频一区二区| 精品久久久久久久人妻蜜臀av | 51午夜福利影视在线观看| 国产精品美女特级片免费视频播放器 | 国产高清激情床上av| 午夜福利免费观看在线| 久久这里只有精品19| 国产伦一二天堂av在线观看| 国产三级在线视频| 国产亚洲欧美在线一区二区| 禁无遮挡网站| 久久人妻av系列| 天堂影院成人在线观看| 欧美乱码精品一区二区三区| 久久人人97超碰香蕉20202| 女生性感内裤真人,穿戴方法视频| 久久久国产成人免费| 日本在线视频免费播放| 日本黄色视频三级网站网址| 欧美日本中文国产一区发布| 日日干狠狠操夜夜爽| 可以免费在线观看a视频的电影网站| 午夜福利影视在线免费观看| 动漫黄色视频在线观看| 国产成年人精品一区二区| 99国产综合亚洲精品| 久久久精品国产亚洲av高清涩受| 亚洲 欧美一区二区三区| 在线观看免费视频日本深夜| 搡老岳熟女国产| 嫩草影院精品99| 1024视频免费在线观看| a在线观看视频网站| 久久亚洲真实| 亚洲av熟女| 中国美女看黄片| 久久久久国内视频| 国产亚洲av嫩草精品影院| 亚洲国产欧美一区二区综合| 亚洲九九香蕉| 深夜精品福利| 操出白浆在线播放| 中文字幕人妻熟女乱码| 精品欧美国产一区二区三| 女人精品久久久久毛片| 日韩欧美国产在线观看| 99国产精品99久久久久| 97人妻天天添夜夜摸| 搞女人的毛片| 国产99白浆流出| 欧美激情极品国产一区二区三区| aaaaa片日本免费| 国产精品乱码一区二三区的特点 | 国产亚洲av嫩草精品影院| 亚洲avbb在线观看| 亚洲最大成人中文| 精品人妻在线不人妻| 久9热在线精品视频| 香蕉久久夜色| 日本欧美视频一区| 亚洲精华国产精华精| 级片在线观看| 激情视频va一区二区三区| 日韩 欧美 亚洲 中文字幕| 久久精品人人爽人人爽视色| 极品人妻少妇av视频| 久久精品亚洲熟妇少妇任你| 亚洲第一青青草原| 国产av又大| 日韩大尺度精品在线看网址 | 国产欧美日韩一区二区精品| 99久久99久久久精品蜜桃| 男女下面进入的视频免费午夜 | 久久久久久亚洲精品国产蜜桃av| 天堂影院成人在线观看| 亚洲色图av天堂| 黄片小视频在线播放| 国产成人av教育| 久久精品亚洲精品国产色婷小说| 色在线成人网| 亚洲国产精品成人综合色| 久久影院123| 亚洲精品一卡2卡三卡4卡5卡| 日本欧美视频一区| 免费搜索国产男女视频| av天堂久久9| 99国产极品粉嫩在线观看| 51午夜福利影视在线观看| 国产片内射在线| 久久精品亚洲熟妇少妇任你| 婷婷六月久久综合丁香| 91国产中文字幕| 午夜成年电影在线免费观看| 少妇熟女aⅴ在线视频| 欧美黄色片欧美黄色片| 操出白浆在线播放| 欧美日本视频| 婷婷六月久久综合丁香| bbb黄色大片| 激情在线观看视频在线高清| 一区福利在线观看| 在线观看午夜福利视频| 久久人人爽av亚洲精品天堂| 亚洲五月色婷婷综合| 免费在线观看完整版高清| 久久久精品国产亚洲av高清涩受| 国产1区2区3区精品| 国产乱人伦免费视频| 男女下面进入的视频免费午夜 | 在线观看免费视频日本深夜| 日本 av在线| 亚洲人成电影观看| 精品久久久久久久久久免费视频| 亚洲一区中文字幕在线| 免费av毛片视频| 51午夜福利影视在线观看| 国产人伦9x9x在线观看| 欧美精品亚洲一区二区| 黄片小视频在线播放| 国产区一区二久久| 亚洲 欧美 日韩 在线 免费| 亚洲精品国产精品久久久不卡| av福利片在线| 亚洲国产精品合色在线| 深夜精品福利| 后天国语完整版免费观看| 国产1区2区3区精品| 亚洲五月色婷婷综合| 色综合亚洲欧美另类图片| 女警被强在线播放| 日日夜夜操网爽| 成人国产一区最新在线观看| 男女下面插进去视频免费观看| 国产激情久久老熟女| 黄网站色视频无遮挡免费观看| 午夜福利免费观看在线| 人妻久久中文字幕网| 99久久久亚洲精品蜜臀av| 久久香蕉国产精品| 久久久久久亚洲精品国产蜜桃av| 91九色精品人成在线观看| 欧美日本亚洲视频在线播放| 久久久久国内视频| 午夜福利影视在线免费观看| 日韩欧美一区二区三区在线观看| 亚洲人成电影免费在线| 一级毛片高清免费大全| 波多野结衣高清无吗| 国产一区二区三区在线臀色熟女| 大码成人一级视频| 夜夜看夜夜爽夜夜摸| 香蕉丝袜av| 国产精品久久电影中文字幕| 亚洲成人免费电影在线观看| 天堂√8在线中文| 日本vs欧美在线观看视频| 麻豆成人av在线观看| 成人亚洲精品一区在线观看| 久久久久久亚洲精品国产蜜桃av| 老司机在亚洲福利影院| 亚洲av电影在线进入| www.精华液| 麻豆久久精品国产亚洲av| 一夜夜www| 脱女人内裤的视频| 欧美在线黄色| 啪啪无遮挡十八禁网站| 真人做人爱边吃奶动态| 久久久国产欧美日韩av| 如日韩欧美国产精品一区二区三区| 免费在线观看视频国产中文字幕亚洲| 国产精品香港三级国产av潘金莲| 亚洲国产欧美一区二区综合| 亚洲欧美日韩高清在线视频| ponron亚洲| 亚洲精品国产精品久久久不卡| 97超级碰碰碰精品色视频在线观看| 日韩国内少妇激情av| 国产真人三级小视频在线观看| 午夜福利视频1000在线观看 | 亚洲 欧美 日韩 在线 免费| 亚洲狠狠婷婷综合久久图片| 91麻豆av在线| 纯流量卡能插随身wifi吗| 亚洲人成电影观看| 99国产精品一区二区三区| 亚洲久久久国产精品| 亚洲第一欧美日韩一区二区三区| 亚洲国产欧美日韩在线播放| 国内毛片毛片毛片毛片毛片| 国产人伦9x9x在线观看| 久久人人精品亚洲av| 久久天躁狠狠躁夜夜2o2o| 中文字幕高清在线视频| 1024香蕉在线观看| 久久久久国产一级毛片高清牌| 少妇 在线观看| 亚洲狠狠婷婷综合久久图片| www.精华液| 两性午夜刺激爽爽歪歪视频在线观看 | а√天堂www在线а√下载| 人人澡人人妻人| 国产高清激情床上av| 国产成人一区二区三区免费视频网站| 中文字幕精品免费在线观看视频| 亚洲,欧美精品.| 亚洲avbb在线观看| 色在线成人网| 别揉我奶头~嗯~啊~动态视频| 黄色成人免费大全| 黑丝袜美女国产一区| 中文字幕色久视频| 丝袜在线中文字幕| 日日干狠狠操夜夜爽| 精品国内亚洲2022精品成人| av视频免费观看在线观看| 少妇的丰满在线观看| 色哟哟哟哟哟哟| 最近最新免费中文字幕在线| 女人爽到高潮嗷嗷叫在线视频| 成人亚洲精品一区在线观看| 久久久久久久久免费视频了| 国产xxxxx性猛交| 人人妻人人澡人人看| 身体一侧抽搐| 91国产中文字幕| av免费在线观看网站| 女生性感内裤真人,穿戴方法视频| 亚洲欧美日韩高清在线视频| 88av欧美| 最近最新中文字幕大全电影3 | 欧美久久黑人一区二区| 日本五十路高清| 日本 欧美在线| 欧美 亚洲 国产 日韩一| 亚洲熟妇熟女久久| 日韩欧美国产在线观看| 欧美日本亚洲视频在线播放| 久久久国产成人免费| 少妇 在线观看| 国产精品久久久久久人妻精品电影| 久久午夜综合久久蜜桃| 久久人人精品亚洲av| 国产精品美女特级片免费视频播放器 | 91精品国产国语对白视频| 宅男免费午夜| 日本三级黄在线观看| 亚洲精品国产区一区二| 亚洲一码二码三码区别大吗| 亚洲最大成人中文| 少妇裸体淫交视频免费看高清 | 午夜精品久久久久久毛片777| 免费在线观看日本一区| 亚洲人成77777在线视频| 欧美 亚洲 国产 日韩一| 亚洲国产欧美一区二区综合| 久久婷婷成人综合色麻豆| tocl精华| 国产精品久久久久久亚洲av鲁大| 欧美一级毛片孕妇| 久久中文看片网| 日日摸夜夜添夜夜添小说| 国产精品自产拍在线观看55亚洲| 757午夜福利合集在线观看| 视频在线观看一区二区三区| 国产精品综合久久久久久久免费 | 欧美亚洲日本最大视频资源| 亚洲成a人片在线一区二区| av在线播放免费不卡| 欧美大码av| av有码第一页| 超碰成人久久| 一本久久中文字幕| 神马国产精品三级电影在线观看 | 免费不卡黄色视频| 午夜福利一区二区在线看| 国产成人av激情在线播放| 国产精品爽爽va在线观看网站 | 妹子高潮喷水视频| 操美女的视频在线观看| 黄色女人牲交| 真人做人爱边吃奶动态| 国产高清有码在线观看视频 | 怎么达到女性高潮| 免费看美女性在线毛片视频| 女同久久另类99精品国产91| 18禁黄网站禁片午夜丰满| 久久国产乱子伦精品免费另类| √禁漫天堂资源中文www| 亚洲av成人av| 成人永久免费在线观看视频| 午夜福利在线观看吧| 亚洲成人久久性| 首页视频小说图片口味搜索| 久久精品国产清高在天天线| 可以在线观看毛片的网站| 丝袜美腿诱惑在线| 在线观看66精品国产| 操出白浆在线播放| 一a级毛片在线观看| 黄色a级毛片大全视频| 国产三级黄色录像| 亚洲中文日韩欧美视频| 久久久久久久午夜电影| 超碰成人久久| 午夜精品在线福利| 国产精品影院久久| 国产av一区在线观看免费| 国产三级黄色录像| 91九色精品人成在线观看| 日韩视频一区二区在线观看| 女人爽到高潮嗷嗷叫在线视频| 亚洲五月天丁香| 久久精品91蜜桃| 成人手机av| 欧美日韩黄片免| 日韩一卡2卡3卡4卡2021年| 男人舔女人下体高潮全视频| 欧美最黄视频在线播放免费| 国产高清有码在线观看视频 | 亚洲 欧美一区二区三区| 免费女性裸体啪啪无遮挡网站| 亚洲人成网站在线播放欧美日韩| 亚洲人成伊人成综合网2020| 少妇被粗大的猛进出69影院| 丝袜美足系列| 久久精品成人免费网站| 国产精品影院久久| 级片在线观看| 极品教师在线免费播放| 亚洲成人免费电影在线观看| 女人精品久久久久毛片| 99热只有精品国产| 香蕉久久夜色| 给我免费播放毛片高清在线观看| 国产男靠女视频免费网站| 多毛熟女@视频| 成人免费观看视频高清| 国语自产精品视频在线第100页| 欧美日韩福利视频一区二区| 在线观看免费视频网站a站| 丁香六月欧美| 国产精品久久久久久人妻精品电影| 少妇粗大呻吟视频| 精品日产1卡2卡| 变态另类丝袜制服| 欧美不卡视频在线免费观看 | 一区二区三区精品91| 亚洲伊人色综图| 在线播放国产精品三级| 精品久久久久久久毛片微露脸| 一二三四在线观看免费中文在| 99久久国产精品久久久| 国产蜜桃级精品一区二区三区| 看免费av毛片| 久久久久久久精品吃奶| 男人舔女人的私密视频| √禁漫天堂资源中文www| 久久久国产精品麻豆| 一级a爱视频在线免费观看| 精品无人区乱码1区二区| 黄色女人牲交| 91九色精品人成在线观看| 在线观看免费日韩欧美大片| 日韩成人在线观看一区二区三区| 欧美一级a爱片免费观看看 | 久久人妻福利社区极品人妻图片| 亚洲电影在线观看av| 欧美中文日本在线观看视频| 天堂动漫精品| 一边摸一边抽搐一进一出视频| 可以在线观看的亚洲视频| 久热这里只有精品99| 波多野结衣巨乳人妻| 免费看十八禁软件| 久久久国产欧美日韩av| 日韩大尺度精品在线看网址 | 亚洲国产欧美日韩在线播放| 校园春色视频在线观看| 久久久久久大精品| 夜夜看夜夜爽夜夜摸| 亚洲第一欧美日韩一区二区三区| 啦啦啦 在线观看视频| 国产精品99久久99久久久不卡| 国产成人一区二区三区免费视频网站| 欧美午夜高清在线| 无限看片的www在线观看| 欧美色视频一区免费| 亚洲精品久久成人aⅴ小说| 亚洲av片天天在线观看| 久久久久九九精品影院| 97人妻精品一区二区三区麻豆 | 99国产精品一区二区三区| 别揉我奶头~嗯~啊~动态视频| 久热这里只有精品99| 91九色精品人成在线观看| 久久午夜亚洲精品久久| 一区福利在线观看| 看黄色毛片网站| 国产精华一区二区三区| 国产真人三级小视频在线观看| 精品久久久久久久人妻蜜臀av | 美女国产高潮福利片在线看| 一进一出抽搐动态| 欧美激情 高清一区二区三区| 国产精品乱码一区二三区的特点 | 日韩精品免费视频一区二区三区| 久久久久久久久中文| 禁无遮挡网站| 国产精品香港三级国产av潘金莲| 国产亚洲精品综合一区在线观看 | 久久精品91无色码中文字幕| 色在线成人网| 日日摸夜夜添夜夜添小说| 又大又爽又粗| 久久国产精品男人的天堂亚洲| 一区二区三区国产精品乱码| 高清毛片免费观看视频网站| 国产精品久久久av美女十八| 波多野结衣巨乳人妻| 久久性视频一级片| 男女下面进入的视频免费午夜 | 亚洲欧美日韩另类电影网站| 少妇的丰满在线观看| 琪琪午夜伦伦电影理论片6080| 夜夜看夜夜爽夜夜摸| 99久久精品国产亚洲精品| 男女做爰动态图高潮gif福利片 | 免费女性裸体啪啪无遮挡网站|