• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于并行雙向門控循環(huán)單元與自注意力機(jī)制的中文文本情感分類

    2020-06-22 03:59:20崔昕陽(yáng)邵玉斌杜慶治
    關(guān)鍵詞:語(yǔ)料注意力向量

    崔昕陽(yáng) 龍 華 熊 新 邵玉斌 杜慶治

    (昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院, 昆明 650000)

    引 言

    隨著近年來網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展,大量的電子文檔通過如網(wǎng)頁(yè)、社交網(wǎng)絡(luò)、電子郵件和數(shù)字圖書館等新興應(yīng)用展示在人們面前。在處理如此大量信息的過程中,文本分類已經(jīng)成為挖掘和分類文本文檔的關(guān)鍵技術(shù)。文本分類目前已經(jīng)在許多領(lǐng)域得到了成功的應(yīng)用與發(fā)展,其中最重要的一個(gè)領(lǐng)域便是文本情感分類[1]。文本情感分類是情感分析的重要分支之一,也稱為意見或觀點(diǎn)挖掘,具有巨大的社會(huì)和商業(yè)價(jià)值,可應(yīng)用于輿情分析[2],使政府了解人們對(duì)某一社會(huì)事件的情感趨勢(shì),也可用于電商的產(chǎn)品評(píng)論[3],分析顧客對(duì)某一產(chǎn)品的情感態(tài)度(如積極或消極),使廠商獲得即時(shí)的反饋以便進(jìn)行產(chǎn)品改良和生產(chǎn)量的調(diào)整。

    早期的文本情感分類方法主要通過構(gòu)建情感詞典,依據(jù)詞語(yǔ)的情感程度給予不同的分值,最終得到某一文本或句子的情感傾向即為所包含情感詞的分值的加權(quán)求和。但這種方法不僅需要人工構(gòu)建大型的情感詞典庫(kù),也沒有考慮到文本中的語(yǔ)義信息。之后的基于機(jī)器學(xué)習(xí)的文本情感分類方法也取得了一定的效果,如樸素貝葉斯和支持向量機(jī)等算法[4]。但傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常采用詞袋模型進(jìn)行文本表示,忽視了詞語(yǔ)的位置信息和詞之間的關(guān)聯(lián)信息,且存在文本向量稀疏、維度過高和需要進(jìn)行特征選擇等問題。近年來,許多學(xué)者采用深度學(xué)習(xí)方法進(jìn)行情感分類研究,并取得了較好的效果[5]。神經(jīng)網(wǎng)絡(luò)模型主要包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)兩大類,其中RNN主要是指長(zhǎng)短時(shí)記憶(long short-term memory,LSTM)網(wǎng)絡(luò)和門控循環(huán)單元(gated recurrent unit, GRU)網(wǎng)絡(luò)。對(duì)于基于深度學(xué)習(xí)的文本情感分類研究,對(duì)詞語(yǔ)進(jìn)行低維、非稀疏的向量學(xué)習(xí)表示是極為關(guān)鍵的步驟[6],這個(gè)過程也稱詞嵌入。詞向量是指詞語(yǔ)經(jīng)過詞嵌入過程得到的低維稠密的向量,其可以有效表征詞語(yǔ)的語(yǔ)義信息[7],在自然語(yǔ)言處理領(lǐng)域中被廣泛應(yīng)用,而當(dāng)前使用最為廣泛的詞向量生成工具是Word2vec。

    目前通常使用預(yù)訓(xùn)練的詞向量表示文本,從而作為神經(jīng)網(wǎng)絡(luò)的輸入來對(duì)文本進(jìn)行情感分類。預(yù)訓(xùn)練的詞向量一般采用Word2vec工具依據(jù)原語(yǔ)料或通用語(yǔ)料訓(xùn)練生成,其中原語(yǔ)料為所要研究的情感分類數(shù)據(jù)集,而通用語(yǔ)料則是由人工整理所得的大型文本數(shù)據(jù)集,如維基百科、新浪新聞等數(shù)據(jù)集。由于原語(yǔ)料與通用語(yǔ)料相比數(shù)據(jù)量較小[8],網(wǎng)絡(luò)往往不能得到充足訓(xùn)練,而導(dǎo)致生成的詞向量語(yǔ)義表征能力較差以及模型泛化能力較差[9]。而由通用語(yǔ)料預(yù)訓(xùn)練生成的詞向量語(yǔ)義表征能力較強(qiáng),但是存在未登錄詞問題,即原語(yǔ)料中的某些詞語(yǔ)不存在與之對(duì)應(yīng)的詞向量。關(guān)于未登錄詞的解決方法,目前主要采用詞向量隨機(jī)初始化或補(bǔ)零來對(duì)未登錄詞進(jìn)行表示[9-10]。然而上述解決方法在對(duì)文本表示過程中都存在信息量丟失的問題,即不能完全表示文本原有語(yǔ)義信息,從而影響最終的分類效果。因此,本文提出一種并行雙向GRU模型,充分利用兩種詞向量進(jìn)行文本表示以解決原文本信息丟失問題,通過上下兩個(gè)通道來學(xué)習(xí)文本中詞語(yǔ)的上下文信息并結(jié)合自注意力機(jī)制進(jìn)行情感分類,并通過實(shí)驗(yàn)驗(yàn)證了該模型的分類性能。

    1 文本情感分類與Word2vec

    1.1 文本情感分類

    文本情感分類是指通過計(jì)算機(jī)技術(shù)挖掘文本所表達(dá)的情感傾向[11]。當(dāng)前采用深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)進(jìn)行文本情感分類研究已經(jīng)成為主流,其優(yōu)勢(shì)在于無需人工特征選擇,機(jī)器可自動(dòng)進(jìn)行特征提取[12]。深度學(xué)習(xí)技術(shù)早期主要應(yīng)用于圖像和音頻處理,而隨著詞向量的普遍使用,深度學(xué)習(xí)開始被廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域。在基于深度學(xué)習(xí)的文本情感分類方法中,CNN的優(yōu)勢(shì)在于可以有效提取局部特征。而相較于CNN,RNN具有記憶單元,由于當(dāng)前時(shí)刻輸出不僅與當(dāng)前輸入有關(guān),更與過去時(shí)刻有關(guān),所以其更適用于處理時(shí)序數(shù)據(jù)。學(xué)者們針對(duì)如何將這兩種模型更好地應(yīng)用于文本分類進(jìn)行了大量的研究。Kim[13]使用預(yù)訓(xùn)練的詞向量對(duì)文本進(jìn)行表示,并嘗試通過不同尺寸卷積核的CNN來解決文本分類任務(wù),在不同數(shù)據(jù)集上取得了良好的分類效果。Parwez等[14]提出一種利用兩種不同領(lǐng)域預(yù)訓(xùn)練的詞向量的雙通道CNN模型進(jìn)行文本情感分類,并探究了通道結(jié)合方式。Socher等[15]使用RNN進(jìn)行了電影評(píng)論情感分類研究。Nabil等[16]使用GRU進(jìn)行情感分類,在英文推文數(shù)據(jù)集上取得了一定效果。Jabreel等[17]使用雙向GRU來識(shí)別給定推文中特定目標(biāo)的情感極性。楊玉娟等[18]提出一種加權(quán)詞向量的LSTM模型,從而突出文本情感分類中關(guān)鍵詞的作用。Lai等[19]結(jié)合兩者優(yōu)點(diǎn),首先采用雙向RNN學(xué)習(xí)詞語(yǔ)的上下信息,并通過最大池化層來捕捉全文最重要的信息,再進(jìn)行文本分類。注意力機(jī)制由于具有可以發(fā)現(xiàn)重要特征的特點(diǎn),將該機(jī)制與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合可更有效地進(jìn)行特征提取。Yin等[20]將注意力機(jī)制與CNN結(jié)合來對(duì)句子進(jìn)行建模,效果優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型。Padi等[21]使用GRU并結(jié)合注意力機(jī)制用于文本語(yǔ)言的識(shí)別,取得一定效果。Zhou等[22]提出基于雙向LSTM和注意力機(jī)制的網(wǎng)絡(luò)模型來進(jìn)行關(guān)系分類。韓虎等[23]通過注意力機(jī)制來計(jì)算不同詞和句子的權(quán)重,獲取詞級(jí)和句子級(jí)的文本語(yǔ)義信息進(jìn)行文本情感分類,分類準(zhǔn)確率較其他模型有所提升。江偉等[9]采用注意力機(jī)制來學(xué)習(xí)文本中由不同詞構(gòu)成的短語(yǔ)權(quán)重,使得文本的語(yǔ)義表示學(xué)習(xí)更加準(zhǔn)確,在多個(gè)英文數(shù)據(jù)集上取得了當(dāng)前最好的文本分類效果。吳小華等[24]提出基于自注意力和雙向LSTM的文本情感分析模型,由于自注意力機(jī)制(self-attention)參數(shù)依賴較少,最終分類效果優(yōu)于其與注意力機(jī)制結(jié)合的方法。

    當(dāng)下大部分研究均注重于通過調(diào)整模型結(jié)構(gòu)來更深層次挖掘文本語(yǔ)義信息,而忽視了不同詞向量對(duì)文本語(yǔ)義表達(dá)的影響。本文借鑒Parwez等[14]的研究思路,通過兩種詞向量對(duì)文本進(jìn)行表示。原語(yǔ)料生成的詞向量可解決未登陸詞問題,而通用語(yǔ)料生成的詞向量具有較強(qiáng)的表征和泛化能力,結(jié)合兩者優(yōu)點(diǎn),使用雙向GRU來對(duì)兩者表示的文本進(jìn)行詞語(yǔ)上下文信息的學(xué)習(xí),并結(jié)合自注意力機(jī)制學(xué)習(xí)詞語(yǔ)權(quán)重;隨后通過并行向量融合來充分保留原文信息,從而進(jìn)行情感分類。

    1.2 Word2vec

    Word2vec是目前最為廣泛使用的詞嵌入工具,它使用跳詞模型(skip-gram model)或連續(xù)詞袋模型(continuous bag-of-words model)來生成詞向量[7]。對(duì)于一個(gè)中心詞,跳詞模型的目的是預(yù)測(cè)其上下文詞語(yǔ)。在數(shù)學(xué)上,對(duì)于一個(gè)詞語(yǔ)序列{w1,…,wt,…,wT},跳詞模型的目標(biāo)函數(shù)是優(yōu)化平均對(duì)數(shù)概率,如式(1)所示。

    (1)

    式中c代表固定的上下文窗口尺寸。

    2 基于并行雙向GRU網(wǎng)絡(luò)與自注意力機(jī)制的網(wǎng)絡(luò)模型

    本文所提出的網(wǎng)絡(luò)模型具體結(jié)構(gòu)如圖1所示。

    首先利用原語(yǔ)料和通用語(yǔ)料訓(xùn)練生成兩種詞向量,分別經(jīng)過不同通道對(duì)同一文本進(jìn)行表示,然后通過并行的雙向GRU學(xué)習(xí)不同詞向量表示的文本的詞語(yǔ)上下文信息,再采用自注意力機(jī)制學(xué)習(xí)詞語(yǔ)權(quán)重也即找出關(guān)鍵詞進(jìn)行關(guān)鍵詞加權(quán),然后通過向量融合對(duì)不同通道得到的文本加權(quán)向量表示進(jìn)行融合,最后經(jīng)過全連接層使用Softmax激活函數(shù)進(jìn)行情感判定。

    2.1 詞嵌入層

    通過詞嵌入層,即使用不同的詞嵌入模型將文本中的詞轉(zhuǎn)換成對(duì)應(yīng)的向量,捕捉文本的語(yǔ)義信息,形成文本的向量表示。設(shè)輸入的文本序列為T={wi,…,w|T|},其中每個(gè)詞語(yǔ)w都來自于詞匯表V={w1,…,w|v|}。在詞嵌入矩陣W∈R|v|×d查找文本中每個(gè)詞對(duì)應(yīng)的向量表示x∈R1×d,其中d表示詞向量的維度,則此時(shí)文本序列T的向量表示為{xi,…,x|T|}∈R|T|×d。

    與傳統(tǒng)模型不同,本文模型采用并行結(jié)構(gòu),在詞嵌入層通過兩個(gè)獨(dú)立詞嵌入矩陣Wo、Wp分別表示同一文本序列T,如式(2)和(3)所示。

    (2)

    (3)

    2.2 雙向門控循環(huán)單元層

    Cho等[25]提出的GRU網(wǎng)絡(luò)是LSTM網(wǎng)絡(luò)的一種簡(jiǎn)化變體。GRU僅由重置門和更新門組成,從而調(diào)控信息的流動(dòng),并沒有單獨(dú)的記憶單元。GRU和LSTM的性能相近,且GRU網(wǎng)絡(luò)參數(shù)更少,可在一定程度上降低過擬合的風(fēng)險(xiǎn)[26],因此本文選用GRU網(wǎng)絡(luò)。GRU的基本結(jié)構(gòu)如圖2所示。

    圖2所示的標(biāo)準(zhǔn)GRU網(wǎng)絡(luò)結(jié)構(gòu)由式(4)~(7)定義。

    (4)

    zt=σ(Wzxt+Uzht-1+bz)

    (5)

    rt=σ(Wrxt+Urht-1+br)

    (6)

    (7)

    ht=[ht1,ht2]

    (8)

    2.3 注意力層

    注意力機(jī)制在開始被應(yīng)用于自然語(yǔ)言處理領(lǐng)域,最早在機(jī)器翻譯任務(wù)中取得了不俗的效果。注意力機(jī)制的主要目的是找出隱藏狀態(tài)中較為重要的特征,即對(duì)RNN每一時(shí)刻的輸出的重要程度進(jìn)行判定,從而對(duì)每一時(shí)刻的輸出加權(quán)。本文采用自注意力機(jī)制對(duì)BiGRU中每一刻的隱藏狀態(tài)的權(quán)重進(jìn)行學(xué)習(xí)。自注意力的具體計(jì)算方法如式(9)、(10)所示。

    (9)

    (10)

    (11)

    2.4 向量融合層

    不同于傳統(tǒng)的序列型網(wǎng)絡(luò)結(jié)構(gòu),本文采用并行的雙通道結(jié)構(gòu),對(duì)于同一輸入在上下兩通道使用兩種不同的詞向量表示。通過上下兩個(gè)通道的BiGRU和注意力層后可得到同等維度的加權(quán)輸出向量co和cg,在向量融合層對(duì)兩個(gè)向量并行融合,其中co和cg分別為對(duì)上下兩個(gè)通道的文本表示To和Tp進(jìn)行上下文信息學(xué)習(xí)和隱狀態(tài)權(quán)值計(jì)算后的最終加權(quán)向量表示。對(duì)于兩個(gè)通道的加權(quán)輸出向量,本文采用拼接(concatenate)和平均(average)兩種不同的運(yùn)算操作進(jìn)行向量融合,提出了兩種模型結(jié)構(gòu),并就其情感分類效果進(jìn)行比較。

    2.4.1SAT-BiGRU-CON結(jié)構(gòu)

    模型SAT- BiGRU- CON采用concatenate運(yùn)算操作進(jìn)行向量融合,如式(12)所示。

    v=co⊕cg

    (12)

    式中符號(hào)⊕表示向量的拼接操作即向量和,v為經(jīng)過向量融合層的最終文本向量表示,并作為全連接層的輸入向量。

    2.4.2SAT-BiGRU-AVA結(jié)構(gòu)

    模型SAT- BiGRU- AVA結(jié)構(gòu)與模型SAT- BiGRU- CON類似,其融合向量co和cg采用對(duì)應(yīng)元素相加取平均的計(jì)算方法,如式(13)所示。

    (13)

    同樣,此時(shí)的最終文本向量表示v將作為全連接層的輸入向量。

    2.5 全連接層

    模型最后一層為全連接層,輸入為特征融合層的輸出,該層的輸出為類別的概率分布。類別的概率分布通過Softmax激活函數(shù)計(jì)算得出,具體算法如式(14)所示。

    (14)

    式中wk和bk分別為權(quán)重和偏置向量,K為類別數(shù),對(duì)于二分類問題,K=2。

    3 實(shí)驗(yàn)分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

    為驗(yàn)證模型有效性,選用兩個(gè)公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集1是公共中文數(shù)據(jù)集[6],該數(shù)據(jù)集由酒店評(píng)論文本構(gòu)成,共包含6 000條數(shù)據(jù),分為正向和負(fù)向兩類各3 000條評(píng)論文本。數(shù)據(jù)集2為NLPCC2014任務(wù)2中文情感分類數(shù)據(jù)集[27],由正、負(fù)向各5 000條網(wǎng)絡(luò)商品評(píng)論文本組成。兩個(gè)數(shù)據(jù)集的部分文本內(nèi)容如表1所示。本文在兩個(gè)數(shù)據(jù)集上均采用5折交叉驗(yàn)證進(jìn)行實(shí)驗(yàn)。

    表1 數(shù)據(jù)集1和數(shù)據(jù)集2部分示例

    全部實(shí)驗(yàn)均在Google Colaboratory上完成,其為谷歌開發(fā)的一款云計(jì)算平臺(tái),主要用于機(jī)器學(xué)習(xí)的開發(fā)與研究。平臺(tái)操作系統(tǒng)為Ubuntu 18.04.2,內(nèi)存12 GB,GPU為Tesla K80。采用Python語(yǔ)言以及Keras框架實(shí)現(xiàn)本文所提模型,Python版本為3.6.8,Keras版本為2.2.4。

    3.2 評(píng)價(jià)指標(biāo)

    本文采用傳統(tǒng)的文本分類評(píng)價(jià)標(biāo)準(zhǔn),包括查準(zhǔn)率P(precision)、查全率R(recall)、準(zhǔn)確率A(accuracy)和F1值[28]。

    (15)

    (16)

    (17)

    F1值為查準(zhǔn)率和查全率的調(diào)和均值,用于對(duì)查準(zhǔn)率和查全率進(jìn)行整體評(píng)價(jià)。

    (18)

    式中,TP為被正確判定為正向的文本個(gè)數(shù),F(xiàn)P為被錯(cuò)誤判定為正向的文本個(gè)數(shù),F(xiàn)N為被錯(cuò)誤判定為負(fù)向的文本個(gè)數(shù),TN為被正確判定為負(fù)向的文本個(gè)數(shù)。

    3.3 超參數(shù)設(shè)定

    固定輸入文本的長(zhǎng)度,對(duì)于數(shù)據(jù)集1最大長(zhǎng)度設(shè)置為60,數(shù)據(jù)集2最大長(zhǎng)度為50。若文本長(zhǎng)度大于該值則進(jìn)行截?cái)?,小于該值則進(jìn)行補(bǔ)零。每個(gè)BiGRU的隱藏層節(jié)點(diǎn)數(shù)為128。為防止過擬合,Dropout設(shè)置為0.5。采用Adam優(yōu)化器進(jìn)行參數(shù)更新,初始學(xué)習(xí)率(learning rate)為0.001,批處理數(shù)量(batch size)為32。

    3.4 實(shí)驗(yàn)預(yù)處理

    3.4.1數(shù)據(jù)預(yù)處理

    采用Jieba分詞工具分別對(duì)數(shù)據(jù)集1酒店評(píng)論文本和數(shù)據(jù)集2網(wǎng)絡(luò)評(píng)論文本進(jìn)行分詞,詞與詞之間用空格隔開,完成分詞的文本數(shù)據(jù)集作為詞向量的訓(xùn)練語(yǔ)料。

    3.4.2原語(yǔ)料詞向量構(gòu)建

    完成數(shù)據(jù)預(yù)處理后,分別對(duì)兩個(gè)數(shù)據(jù)集生成的訓(xùn)練語(yǔ)料使用Word2vec工具生成原語(yǔ)料的詞向量,從而構(gòu)建詞嵌入矩陣。本文選擇Word2vec中的skip- gram模型來預(yù)訓(xùn)練原語(yǔ)料生成詞向量,上下文窗口尺寸設(shè)置為5,采用負(fù)采樣算法進(jìn)行模型訓(xùn)練,剩余參數(shù)的設(shè)置為默認(rèn)值。Word2vec的具體參數(shù)值設(shè)置如表2所示。

    表2 Word2vec具體參數(shù)設(shè)置

    3.4.3通用語(yǔ)料詞向量

    通用語(yǔ)料詞向量選擇則使用Chinese Word Vector中的中文維基百科預(yù)訓(xùn)練詞向量[8],該預(yù)訓(xùn)練詞向量同樣采用skip- gram模型生成。

    3.5 實(shí)驗(yàn)設(shè)計(jì)

    將所提模型與多個(gè)模型進(jìn)行對(duì)比,參數(shù)設(shè)置與本文相同,均采用通用語(yǔ)料的預(yù)訓(xùn)練詞向量。對(duì)比模型主要包括以下幾種模型。

    (1)GRU 采用標(biāo)準(zhǔn)的GRU網(wǎng)絡(luò)對(duì)文本進(jìn)行情感分類[16]。

    (2)BiGRU 采用BiGRU網(wǎng)絡(luò),同時(shí)從正向和逆向兩個(gè)方向?qū)υ~語(yǔ)進(jìn)行上下文學(xué)習(xí),然后預(yù)測(cè)情感類別[17]。

    (3)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(bidirectional long short-term memory, BiLSTM)模型 采用BiLSTM網(wǎng)絡(luò)進(jìn)行情感類別判定,與BiGRU結(jié)構(gòu)類似。

    (4)基于預(yù)訓(xùn)練詞向量的雙向門控循環(huán)單元與自注意力機(jī)制結(jié)合的網(wǎng)絡(luò)模型(SAT- BiGRU) 通過通用語(yǔ)料的預(yù)訓(xùn)練詞向量來表示文本,并采用BiGRU網(wǎng)絡(luò)進(jìn)行詞語(yǔ)上下文學(xué)習(xí),結(jié)合自注意力機(jī)制對(duì)每一時(shí)刻狀態(tài)進(jìn)行學(xué)習(xí),給予不同權(quán)重,最終得到文本的加權(quán)向量表示來進(jìn)行類別判定。

    (5)基于原語(yǔ)料預(yù)訓(xùn)練詞向量的雙向門控循環(huán)單元與自注意力機(jī)制結(jié)合的網(wǎng)絡(luò)模型(SAT- BiGRU- ORG) 結(jié)構(gòu)與SAT- BiGRU相同,不同點(diǎn)在于使用原語(yǔ)料構(gòu)建的詞向量對(duì)文本進(jìn)行表示,作為BiGRU的輸入。

    (6)SAT- BiGRU- CON與SAT- BiGRU- AVA 即本文所提出的兩種模型,基于BiGRU網(wǎng)絡(luò),通過雙通道對(duì)兩種不同詞向量表示的文本進(jìn)行語(yǔ)義學(xué)習(xí),并結(jié)合自注意力機(jī)制學(xué)習(xí)隱藏狀態(tài)的權(quán)重分布。對(duì)于兩個(gè)通道的加權(quán)輸出向量,分別采用concatenate和average兩種方法進(jìn)行向量融合。

    3.6 結(jié)果分析

    從表3和表4的結(jié)果可以看出,本文所提出的兩種模型SAT- BiGRU- CON和SAT- BiGRU- AVA均達(dá)到了最好的分類效果,即使用兩種詞向量對(duì)文本進(jìn)行表示作為神經(jīng)網(wǎng)絡(luò)的輸入,獲得的分類效果要優(yōu)于傳統(tǒng)序列模型。同時(shí)采用自注意力機(jī)制可進(jìn)行每一時(shí)刻的隱狀態(tài)進(jìn)行加權(quán),獲得更加精準(zhǔn)的文本向量表示。與采用單一語(yǔ)料的SAT- BiGRU和SAT- BiGRU- ORG模型相比,在兩個(gè)數(shù)據(jù)集上分類效果均提升明顯,其中在數(shù)據(jù)集1上準(zhǔn)確率分別提高1.5%和1.75%,同時(shí)F1值也有明顯提升;數(shù)據(jù)集2上則最多分別提高了1.80%和1.85%。這說明通過上下兩個(gè)通道采用通用語(yǔ)料和原語(yǔ)料兩種詞向量對(duì)文本進(jìn)行表示,然后進(jìn)行詞語(yǔ)上下文信息學(xué)習(xí)和特征加權(quán),可有效彌補(bǔ)采用單一語(yǔ)料對(duì)文本進(jìn)行表示存在的不足,既充分利用預(yù)訓(xùn)練詞向量的泛化能力,也使原語(yǔ)料訓(xùn)練詞向量不存未登錄詞的優(yōu)點(diǎn)得以發(fā)揮,從而使準(zhǔn)確率和F1值均有所提升。

    而通過表3和表4中SAT- BiGRU與SAT- BiGRU- ORG的實(shí)驗(yàn)結(jié)果對(duì)比也可以看出,采用通用語(yǔ)料預(yù)訓(xùn)練詞向量的模型分類結(jié)果要略微好于原語(yǔ)料訓(xùn)練詞向量,主要原因是通用語(yǔ)料文本數(shù)量較多,學(xué)習(xí)到的詞向量用于網(wǎng)絡(luò)學(xué)習(xí),得到的模型泛化能力較強(qiáng)。但由于中文語(yǔ)料存在分詞等問題,通用語(yǔ)料會(huì)存在未登錄詞,所以相對(duì)原語(yǔ)料來說,不能較好地對(duì)文本進(jìn)行表示。從而在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)效果來看,兩者差異較小,只是采用通用語(yǔ)料預(yù)訓(xùn)練詞向量分類效果較優(yōu)。

    表3 酒店評(píng)論數(shù)據(jù)集下不同模型的實(shí)驗(yàn)結(jié)果

    表4 商品評(píng)論數(shù)據(jù)集下不同模型的實(shí)驗(yàn)結(jié)果

    同時(shí),SAT- BiGRU- CON比SAT- BiGRU- AVA在兩個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別高出0.4%和0.5%,說明采用concatenate操作來進(jìn)行向量融合相對(duì)來說要較優(yōu)于average操作。原因主要為concatenate操作完全保留了上下兩個(gè)通道輸出的特征加權(quán)向量所蘊(yùn)含的信息,而average操作在運(yùn)算過程中使某一通道輸出向量所含的原始信息產(chǎn)生了損失,所以兩者在最終分類效果上產(chǎn)生了微小的差異。

    4 結(jié)束語(yǔ)

    為解決神經(jīng)網(wǎng)絡(luò)采用單一預(yù)訓(xùn)練的詞向量存在未登錄詞和詞語(yǔ)語(yǔ)義學(xué)習(xí)不充分的問題,本文提出了一種基于并行雙向GRU與自注意力機(jī)制的情感分類模型,使用原語(yǔ)料和通用語(yǔ)料預(yù)訓(xùn)練的兩種不同詞向量對(duì)文本進(jìn)行表示,作為雙向GRU網(wǎng)絡(luò)的輸入;通過上下兩個(gè)通道分別對(duì)文本進(jìn)行詞語(yǔ)上下文信息的捕捉,得到表征向量,再依靠自注意力機(jī)制學(xué)習(xí)每一時(shí)刻隱狀態(tài)權(quán)重,最后對(duì)雙通道的加權(quán)輸出向量進(jìn)行向量融合,作為輸入進(jìn)入全連接層來判別情感傾向。在中文酒店評(píng)論和網(wǎng)絡(luò)商品評(píng)論兩個(gè)數(shù)據(jù)集上進(jìn)行的相關(guān)實(shí)驗(yàn)表明,本文所提模型可更好地對(duì)文本進(jìn)行表示并提取特征,相比于其他模型,本文模型具有更好的分類效果。

    然而,目前分詞技術(shù)未能達(dá)到100%的準(zhǔn)確率,且網(wǎng)絡(luò)文本的表述并不規(guī)范,導(dǎo)致文本在分詞后語(yǔ)義發(fā)生轉(zhuǎn)變,從而對(duì)分類效果產(chǎn)生消極影響。所以在下一步的工作中,將會(huì)關(guān)注字向量對(duì)文本情感分類的影響。

    猜你喜歡
    語(yǔ)料注意力向量
    向量的分解
    讓注意力“飛”回來
    聚焦“向量與三角”創(chuàng)新題
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    A Beautiful Way Of Looking At Things
    向量垂直在解析幾何中的應(yīng)用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語(yǔ)料
    国产男人的电影天堂91| www日本在线高清视频| 少妇人妻精品综合一区二区| 亚洲成人免费av在线播放| 欧美日本中文国产一区发布| 亚洲色图 男人天堂 中文字幕| 日本猛色少妇xxxxx猛交久久| 大片免费播放器 马上看| 妹子高潮喷水视频| 亚洲成人国产一区在线观看 | 久久99一区二区三区| 观看av在线不卡| 男女高潮啪啪啪动态图| 97人妻天天添夜夜摸| 免费少妇av软件| 国产欧美亚洲国产| 亚洲美女黄色视频免费看| xxx大片免费视频| 丝袜美足系列| 亚洲国产精品国产精品| 天天添夜夜摸| 亚洲伊人久久精品综合| 热re99久久国产66热| 国产精品久久久久久久久免| 亚洲,欧美,日韩| 亚洲国产欧美一区二区综合| 亚洲av男天堂| 久久人人爽av亚洲精品天堂| 国产精品欧美亚洲77777| 天堂8中文在线网| 51午夜福利影视在线观看| 亚洲一码二码三码区别大吗| 高清黄色对白视频在线免费看| 亚洲美女搞黄在线观看| 久久青草综合色| 热99国产精品久久久久久7| 免费黄色在线免费观看| 久久精品国产a三级三级三级| 国产精品香港三级国产av潘金莲 | 亚洲国产欧美在线一区| 亚洲国产欧美在线一区| 国产成人欧美在线观看 | 电影成人av| 纵有疾风起免费观看全集完整版| 永久免费av网站大全| 国产福利在线免费观看视频| 国产精品.久久久| 国产av精品麻豆| 日韩熟女老妇一区二区性免费视频| 色94色欧美一区二区| 性高湖久久久久久久久免费观看| 天天添夜夜摸| 欧美日韩成人在线一区二区| 人人妻人人澡人人看| 在线观看三级黄色| 热re99久久国产66热| 久久久久久免费高清国产稀缺| avwww免费| 亚洲国产日韩一区二区| 国产精品 国内视频| 国产极品粉嫩免费观看在线| 又粗又硬又长又爽又黄的视频| 91老司机精品| 人人澡人人妻人| 午夜福利免费观看在线| 熟妇人妻不卡中文字幕| 亚洲精品一区蜜桃| 久久亚洲国产成人精品v| 国产精品.久久久| 在线看a的网站| 亚洲一码二码三码区别大吗| 汤姆久久久久久久影院中文字幕| 日本一区二区免费在线视频| 又大又爽又粗| 人人妻人人澡人人看| 亚洲精品国产一区二区精华液| 国产97色在线日韩免费| av网站在线播放免费| 丰满乱子伦码专区| 天美传媒精品一区二区| 卡戴珊不雅视频在线播放| av不卡在线播放| 建设人人有责人人尽责人人享有的| 亚洲国产精品国产精品| 熟女av电影| 日本av免费视频播放| 啦啦啦中文免费视频观看日本| 免费看av在线观看网站| 五月开心婷婷网| 69精品国产乱码久久久| 嫩草影院入口| 搡老岳熟女国产| 黄频高清免费视频| 国产精品免费大片| 久久久精品区二区三区| 国产在线免费精品| 一区二区av电影网| 综合色丁香网| av不卡在线播放| 最近手机中文字幕大全| 最近中文字幕高清免费大全6| 久久ye,这里只有精品| 成人漫画全彩无遮挡| 啦啦啦在线免费观看视频4| 精品久久久精品久久久| 婷婷成人精品国产| 精品人妻一区二区三区麻豆| 久久狼人影院| 一本一本久久a久久精品综合妖精| 麻豆乱淫一区二区| 亚洲精品国产av蜜桃| 亚洲国产毛片av蜜桃av| 男人添女人高潮全过程视频| 国产精品久久久人人做人人爽| 亚洲成人免费av在线播放| 久久久国产欧美日韩av| 91老司机精品| 成年人午夜在线观看视频| 亚洲美女搞黄在线观看| 国产精品二区激情视频| 黄片小视频在线播放| 亚洲成人一二三区av| 亚洲专区中文字幕在线 | 午夜av观看不卡| 国产精品免费大片| 最近手机中文字幕大全| 亚洲欧美日韩另类电影网站| 国产野战对白在线观看| 亚洲成人国产一区在线观看 | 久久女婷五月综合色啪小说| 精品福利永久在线观看| 女人精品久久久久毛片| 久久精品久久精品一区二区三区| 97精品久久久久久久久久精品| 伊人久久国产一区二区| 国产成人午夜福利电影在线观看| 国产av精品麻豆| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲国产中文字幕在线视频| 男男h啪啪无遮挡| 国产日韩欧美视频二区| 日本91视频免费播放| 国产成人精品福利久久| 交换朋友夫妻互换小说| av福利片在线| 观看美女的网站| av女优亚洲男人天堂| 999精品在线视频| 波多野结衣av一区二区av| 人人妻人人爽人人添夜夜欢视频| 不卡视频在线观看欧美| a级毛片在线看网站| 欧美人与性动交α欧美精品济南到| 免费不卡黄色视频| 久久午夜综合久久蜜桃| 9色porny在线观看| 男的添女的下面高潮视频| 波野结衣二区三区在线| 国产毛片在线视频| 你懂的网址亚洲精品在线观看| 电影成人av| 老汉色av国产亚洲站长工具| 在线看a的网站| 各种免费的搞黄视频| 久久国产亚洲av麻豆专区| 亚洲精品成人av观看孕妇| 美女中出高潮动态图| 亚洲成人av在线免费| 观看av在线不卡| 久久人人爽av亚洲精品天堂| 99热全是精品| 丝袜喷水一区| 国产熟女欧美一区二区| 免费高清在线观看视频在线观看| 精品免费久久久久久久清纯 | 中国三级夫妇交换| 国产精品欧美亚洲77777| 老司机深夜福利视频在线观看 | 国产精品一区二区在线观看99| 在线 av 中文字幕| 亚洲自偷自拍图片 自拍| 精品国产超薄肉色丝袜足j| 国产精品久久久av美女十八| 在线天堂中文资源库| 成人黄色视频免费在线看| 亚洲美女视频黄频| 国产高清国产精品国产三级| 美国免费a级毛片| 天天躁夜夜躁狠狠躁躁| 精品国产一区二区三区四区第35| 一级毛片黄色毛片免费观看视频| 一级,二级,三级黄色视频| 日韩大片免费观看网站| 国产片内射在线| 精品卡一卡二卡四卡免费| 国产精品一二三区在线看| 一级爰片在线观看| 日韩一区二区视频免费看| 久久国产精品男人的天堂亚洲| 国产男女超爽视频在线观看| 国产精品欧美亚洲77777| 中文字幕制服av| 国产精品一区二区在线观看99| 国产激情久久老熟女| 亚洲欧美清纯卡通| kizo精华| 色吧在线观看| 老汉色∧v一级毛片| 亚洲在久久综合| 人体艺术视频欧美日本| 一二三四在线观看免费中文在| 亚洲精品国产区一区二| 国产淫语在线视频| 亚洲七黄色美女视频| 国产成人啪精品午夜网站| 亚洲欧美清纯卡通| 韩国精品一区二区三区| 欧美在线黄色| 波野结衣二区三区在线| 欧美日韩成人在线一区二区| 免费久久久久久久精品成人欧美视频| 日韩欧美精品免费久久| 国产爽快片一区二区三区| 免费在线观看完整版高清| 男女下面插进去视频免费观看| 成人国语在线视频| 精品国产国语对白av| 国产亚洲av高清不卡| av在线app专区| 欧美日本中文国产一区发布| 汤姆久久久久久久影院中文字幕| 国产亚洲最大av| 夜夜骑夜夜射夜夜干| 国产亚洲av片在线观看秒播厂| 岛国毛片在线播放| 久久免费观看电影| 国产精品亚洲av一区麻豆 | 国产野战对白在线观看| 青春草视频在线免费观看| 国产成人精品福利久久| 肉色欧美久久久久久久蜜桃| 成人国语在线视频| 最近中文字幕高清免费大全6| 我要看黄色一级片免费的| av在线app专区| 女性生殖器流出的白浆| 日本午夜av视频| 天美传媒精品一区二区| 97人妻天天添夜夜摸| 赤兔流量卡办理| 欧美精品人与动牲交sv欧美| 各种免费的搞黄视频| 欧美人与性动交α欧美软件| 亚洲欧美色中文字幕在线| 亚洲第一区二区三区不卡| 18禁裸乳无遮挡动漫免费视频| 丰满少妇做爰视频| 免费黄频网站在线观看国产| 国产麻豆69| 热re99久久精品国产66热6| 免费观看人在逋| 青青草视频在线视频观看| 国产又爽黄色视频| 日韩一卡2卡3卡4卡2021年| 热re99久久精品国产66热6| 午夜福利网站1000一区二区三区| 一本久久精品| 久久久国产精品麻豆| 黑人欧美特级aaaaaa片| av在线app专区| 国产精品一国产av| 欧美精品亚洲一区二区| 亚洲人成77777在线视频| 久久久久精品国产欧美久久久 | 午夜福利视频精品| 尾随美女入室| 精品一区在线观看国产| 国产xxxxx性猛交| 欧美日韩一级在线毛片| 天堂俺去俺来也www色官网| 亚洲av日韩在线播放| 99久久综合免费| 亚洲精品一二三| 亚洲av男天堂| 久久久久精品性色| 国产乱人偷精品视频| 亚洲四区av| 精品亚洲乱码少妇综合久久| 波野结衣二区三区在线| 性少妇av在线| 一二三四中文在线观看免费高清| 国产亚洲av高清不卡| 在线精品无人区一区二区三| 少妇人妻 视频| 日韩免费高清中文字幕av| 十八禁高潮呻吟视频| 亚洲av电影在线进入| 亚洲av日韩在线播放| 可以免费在线观看a视频的电影网站 | av国产久精品久网站免费入址| 国产av一区二区精品久久| 亚洲欧美成人综合另类久久久| 亚洲精品第二区| 欧美精品一区二区大全| 9热在线视频观看99| av.在线天堂| 国产免费一区二区三区四区乱码| 不卡视频在线观看欧美| 精品少妇久久久久久888优播| 久久精品aⅴ一区二区三区四区| 国产一区二区在线观看av| 晚上一个人看的免费电影| 在线观看免费日韩欧美大片| 秋霞在线观看毛片| 人成视频在线观看免费观看| a 毛片基地| 叶爱在线成人免费视频播放| 99九九在线精品视频| 亚洲成人国产一区在线观看 | 97人妻天天添夜夜摸| 肉色欧美久久久久久久蜜桃| 日韩免费高清中文字幕av| 午夜福利在线免费观看网站| 亚洲欧美一区二区三区久久| 亚洲av电影在线进入| 亚洲精品av麻豆狂野| 久久亚洲国产成人精品v| 欧美中文综合在线视频| 精品一品国产午夜福利视频| 久久久久国产一级毛片高清牌| 精品亚洲乱码少妇综合久久| 亚洲伊人久久精品综合| 91成人精品电影| 亚洲av成人精品一二三区| 国产欧美日韩一区二区三区在线| 日本午夜av视频| 啦啦啦啦在线视频资源| 这个男人来自地球电影免费观看 | 亚洲美女黄色视频免费看| 麻豆乱淫一区二区| 亚洲精品久久久久久婷婷小说| 国产黄色视频一区二区在线观看| 天天躁夜夜躁狠狠久久av| 高清欧美精品videossex| 国产精品av久久久久免费| 中文字幕高清在线视频| 伦理电影大哥的女人| 亚洲精品久久午夜乱码| 国产在线免费精品| 卡戴珊不雅视频在线播放| 精品酒店卫生间| 亚洲精品久久午夜乱码| 高清视频免费观看一区二区| 精品一区二区三区av网在线观看 | 久久久久久久久久久久大奶| 在线精品无人区一区二区三| 午夜福利网站1000一区二区三区| 亚洲国产av新网站| 亚洲国产精品成人久久小说| 国产精品久久久人人做人人爽| 少妇人妻 视频| 老司机在亚洲福利影院| 欧美激情高清一区二区三区 | 日韩,欧美,国产一区二区三区| 亚洲情色 制服丝袜| 秋霞伦理黄片| 国产精品三级大全| 热99久久久久精品小说推荐| 青青草视频在线视频观看| 丁香六月天网| 色94色欧美一区二区| 久久久欧美国产精品| 天堂中文最新版在线下载| 亚洲一级一片aⅴ在线观看| 最近2019中文字幕mv第一页| 亚洲精品一二三| 日本wwww免费看| 婷婷色综合www| 欧美黑人欧美精品刺激| 亚洲av欧美aⅴ国产| 亚洲成人手机| av在线老鸭窝| a级毛片在线看网站| 日韩成人av中文字幕在线观看| 日韩一区二区三区影片| 十八禁网站网址无遮挡| 亚洲精品国产一区二区精华液| www.自偷自拍.com| 最新在线观看一区二区三区 | 欧美日韩亚洲高清精品| av福利片在线| 久久精品国产a三级三级三级| 日本vs欧美在线观看视频| 99久久人妻综合| 国产一区二区在线观看av| 伊人久久国产一区二区| 黑人猛操日本美女一级片| 亚洲av成人不卡在线观看播放网 | 丝袜人妻中文字幕| 日韩中文字幕欧美一区二区 | 欧美日韩视频高清一区二区三区二| 午夜福利,免费看| 91老司机精品| 人人妻人人澡人人爽人人夜夜| 精品少妇内射三级| 中文字幕人妻丝袜制服| 亚洲一区中文字幕在线| 精品福利永久在线观看| 最近的中文字幕免费完整| 中文天堂在线官网| 性色av一级| 久久性视频一级片| 嫩草影视91久久| 菩萨蛮人人尽说江南好唐韦庄| 亚洲美女搞黄在线观看| av又黄又爽大尺度在线免费看| 一区福利在线观看| 国产片内射在线| 男女床上黄色一级片免费看| 少妇猛男粗大的猛烈进出视频| 亚洲成色77777| 咕卡用的链子| 亚洲av欧美aⅴ国产| 国产日韩欧美视频二区| 精品国产乱码久久久久久小说| 人人妻,人人澡人人爽秒播 | 人人妻人人添人人爽欧美一区卜| 国产一区二区激情短视频 | 啦啦啦中文免费视频观看日本| 国产一区二区激情短视频 | 亚洲精品av麻豆狂野| 老司机影院毛片| netflix在线观看网站| 最近中文字幕2019免费版| av不卡在线播放| 男女边摸边吃奶| 免费看av在线观看网站| 亚洲美女视频黄频| 日韩 欧美 亚洲 中文字幕| 欧美国产精品一级二级三级| 亚洲,欧美,日韩| 男男h啪啪无遮挡| 狠狠婷婷综合久久久久久88av| 老司机亚洲免费影院| 色精品久久人妻99蜜桃| 老汉色∧v一级毛片| 日韩制服骚丝袜av| 久久婷婷青草| 人人澡人人妻人| 国产免费现黄频在线看| a级毛片黄视频| 亚洲精品,欧美精品| 欧美亚洲日本最大视频资源| 久久久久精品久久久久真实原创| 久久久国产欧美日韩av| 国产高清国产精品国产三级| 国语对白做爰xxxⅹ性视频网站| 水蜜桃什么品种好| 国产熟女欧美一区二区| 99九九在线精品视频| 国产探花极品一区二区| 在线观看国产h片| 久热这里只有精品99| 成人国语在线视频| 国产在线一区二区三区精| 99精品久久久久人妻精品| 女的被弄到高潮叫床怎么办| 国产精品偷伦视频观看了| 午夜免费鲁丝| 精品亚洲乱码少妇综合久久| 在线观看免费日韩欧美大片| 免费黄色在线免费观看| 国产成人精品久久久久久| 国产成人a∨麻豆精品| 在线观看一区二区三区激情| 极品人妻少妇av视频| 久久精品久久精品一区二区三区| 久热这里只有精品99| 亚洲国产欧美在线一区| 国产欧美日韩一区二区三区在线| 男人操女人黄网站| 97精品久久久久久久久久精品| 亚洲一码二码三码区别大吗| 中文字幕精品免费在线观看视频| 波野结衣二区三区在线| 毛片一级片免费看久久久久| 亚洲中文av在线| 黄片播放在线免费| 久久久欧美国产精品| 精品一区在线观看国产| 赤兔流量卡办理| 日本爱情动作片www.在线观看| 天天添夜夜摸| 精品少妇一区二区三区视频日本电影 | 视频区图区小说| 精品国产一区二区三区四区第35| 综合色丁香网| 国产av码专区亚洲av| 在线免费观看不下载黄p国产| 操出白浆在线播放| avwww免费| 日本av手机在线免费观看| 亚洲成人av在线免费| 一级a爱视频在线免费观看| 一区在线观看完整版| tube8黄色片| 国产高清国产精品国产三级| 成人亚洲欧美一区二区av| 亚洲欧美一区二区三区国产| 欧美日韩福利视频一区二区| 国产xxxxx性猛交| 精品第一国产精品| 国产高清不卡午夜福利| 狂野欧美激情性bbbbbb| 国产极品粉嫩免费观看在线| 精品一品国产午夜福利视频| 国产99久久九九免费精品| 国产av精品麻豆| 麻豆乱淫一区二区| 操美女的视频在线观看| 欧美激情 高清一区二区三区| 亚洲国产最新在线播放| 免费高清在线观看视频在线观看| 久久精品国产a三级三级三级| 黑人猛操日本美女一级片| 日韩熟女老妇一区二区性免费视频| 国产精品久久久久久精品电影小说| 婷婷色综合大香蕉| 免费少妇av软件| 久久99热这里只频精品6学生| 你懂的网址亚洲精品在线观看| 韩国高清视频一区二区三区| 国产成人免费观看mmmm| 亚洲男人天堂网一区| 婷婷色综合www| 欧美精品一区二区免费开放| 国产日韩欧美在线精品| 免费观看性生交大片5| 国产福利在线免费观看视频| 纯流量卡能插随身wifi吗| xxx大片免费视频| 国产一区二区三区综合在线观看| 99久国产av精品国产电影| 国产精品成人在线| 91成人精品电影| www.熟女人妻精品国产| 国产欧美亚洲国产| 99久久99久久久精品蜜桃| 亚洲久久久国产精品| 蜜桃在线观看..| 国产精品人妻久久久影院| 天天躁狠狠躁夜夜躁狠狠躁| 免费不卡黄色视频| 新久久久久国产一级毛片| 中国三级夫妇交换| 欧美97在线视频| 国产亚洲最大av| 亚洲久久久国产精品| 一二三四中文在线观看免费高清| 国产男女超爽视频在线观看| av不卡在线播放| 日韩av在线免费看完整版不卡| 蜜桃国产av成人99| 国产熟女午夜一区二区三区| 亚洲精品国产av蜜桃| 99久久精品国产亚洲精品| av在线老鸭窝| √禁漫天堂资源中文www| 蜜桃在线观看..| 国产99久久九九免费精品| 国产成人精品福利久久| 最近的中文字幕免费完整| 18在线观看网站| 黄色 视频免费看| 在线观看免费午夜福利视频| av在线老鸭窝| 亚洲欧洲日产国产| 国产精品久久久人人做人人爽| 亚洲,欧美精品.| 精品第一国产精品| 色94色欧美一区二区| av女优亚洲男人天堂| 日本午夜av视频| 亚洲欧美色中文字幕在线| 搡老乐熟女国产| 亚洲精品美女久久av网站| 国产成人av激情在线播放| 成年人免费黄色播放视频| 国产精品久久久久成人av| 一级片免费观看大全| 777久久人妻少妇嫩草av网站| 国产黄色免费在线视频| 黄网站色视频无遮挡免费观看| 99香蕉大伊视频| 女人高潮潮喷娇喘18禁视频| 18禁裸乳无遮挡动漫免费视频| 考比视频在线观看| 国产99久久九九免费精品| 精品国产露脸久久av麻豆| 欧美日韩精品网址| 91aial.com中文字幕在线观看| av线在线观看网站| 久久久久国产一级毛片高清牌| 国产精品国产av在线观看| 亚洲,一卡二卡三卡| 久久人妻熟女aⅴ| 久久久久国产精品人妻一区二区| 成人黄色视频免费在线看| videos熟女内射| 男女国产视频网站| 五月开心婷婷网| 中文乱码字字幕精品一区二区三区| 久久99精品国语久久久| 久久精品国产a三级三级三级| 高清av免费在线|