• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合attention機制的BI-LSTM-CRF中文分詞模型

    2018-11-17 01:03:00黃丹丹郭玉翠
    軟件 2018年10期
    關鍵詞:分詞標簽向量

    黃丹丹,郭玉翠

    ?

    融合attention機制的BI-LSTM-CRF中文分詞模型

    黃丹丹,郭玉翠

    (北京郵電大學理學院 北京 100876)

    中文的詞語不同于英文單詞,沒有空格作為自然分界符,因此,為了使機器能夠識別中文的詞語需要進行分詞操作。深度學習在中文分詞任務上的研究與應用已經有了一些突破性成果,本文在已有工作的基礎上,提出融合 Bi-LSTM-CRF模型與attention機制的方法,并且引入去噪機制對字向量表示進行過濾,此外為改進單向LSTM對后文依賴性不足的缺點引入了貢獻率對BI-LSTM的輸出權重矩陣進行調節(jié),以提升分詞效果。使用改進后的模型對一些公開數據集進行了實驗。實驗結果表明,改進的attention-BI-LSTM-CRF模型以及訓練方法可以有效地解決中文自然語言處理中的分詞、詞性標注等問題,并較以前的模型有更優(yōu)秀的性能。

    中文分詞;BI-LSTM;CRF;attention機制;貢獻因子;去噪機制;Dropout

    0 引言

    隨著人工智能在越來越多領域的突破,基于深度學習的自然語言處理這一重要領域已經引起了眾多研究者的關注。分詞、詞性標注作為中文自然語言處理中最重要的基礎工作之一,已經取得了一些成果。本文在已有結果的基礎上深入研究深度學習在中文分詞中的應用。分詞是指將未加工的自然語言文本分割成單詞的順序。在英語中,單詞之間以空格作為的自然分隔符,但在中文中漢字之間沒有明顯區(qū)分。因此需要將中文文本序列進行分割,使之轉變成單詞序列,以便后續(xù)的中文信息處理。

    從機器學習角度來看,分詞任務可轉化成序列標注任務(或者分類任務)。序列標注任務指將觀察序列中的每個元素在固定標簽集合中為之賦予一個指定標簽的過程(分類的過程)。目前,常用的解決序列標記任務的模型有隱馬爾可夫模型[1]、條件隨機場模型[2,3]和最大熵模型[4]。然而,這些傳統(tǒng)的模型需要使用大量的語言學知識來手工構造特征,因此不具有廣泛的適用性。深度學習有效利用無監(jiān)督數據,避免繁瑣的人工特征提取,從而具有良好的泛化能力。它通過對數據的多層次建模從而得到數據特征的層次結構以及數據的分布式表示。

    深度學習用來解決自然語言處理領域的一些難題。語言的高維特性導致了傳統(tǒng)的自然語言處理系統(tǒng)需要復雜的語言知識以便手動構造分類器所能使用的特征。深度學習的方法有以下優(yōu)點:(1)通過構建模型,可以自動學習自然語言處理領域中解決問題所需要的特征。Collobert等[5]就是利用該特性,拋棄傳統(tǒng)的手工提取特征方式,解決了英文序列標注問題。(2)在自然語言處理領域,獲得標記數據相對于獲得大量的無標記數據成本較大,深入學習可以使用大量的無標記數據來獲取特征。(3)自然語言處理領域中的許多問題是密切相關的,如分詞、詞性標注和命名實體識別等。傳統(tǒng)的方法往往單獨解決這些問題,而忽略了它們之間的關系。使用深度學習,您可以在特征提取級別構建統(tǒng)一模型以同時處理這些問題,并使用多任務學習方法在模型中建模其相關性以獲得更好的性能。Zheng等[6]利用SENNA系統(tǒng)將神經網絡運用到中文分詞任務上,并提出一個感知器算法加速整個訓練過程。Chen等[7,8]在GRNN模型基礎上提出了LSTM(long short-term memory)模型進行中文分詞任務,取得了很好的效果。之后,Yao等人[9]在LSTM 模型的基礎上提出了BI-LSTM模型,更進一步提高了中文分詞的準確度。

    本文在適合于中文自然語言處理的雙向長短期記憶條件隨機場模型(BI-LISTM-CRF)基礎上,進行了以下改進:(1)提出一種去噪機制,對字向量表示進行調整,使得固定窗口內的字嵌入以一定概率出現,不再依賴于左右聯合字嵌入的共同作用;(2)引入了貢獻因子對前傳LSTM層和后傳LSTM 層的權重矩陣進行調節(jié)以改進單向LSTM對后文依賴性不足的缺點;(3)在BI-LSTM-CRF中文分詞模型中融合attention機制,通過注意機制計算Bi-LSTM模型的輸入和輸出之間的相關性的重要性,并根據重要性程度獲得文本的整體特征。利用改進的attention-BI-LSTM-CRF模型,在MSRA corpus、PKU corpus和人民日報2014公開數據集上進行了實驗。實驗結果表明,使用本文改進的模型以及訓練方法可以有效地進行中文自然語言處理中的分詞問題,并提高了精度。

    1 模型建立

    本文采用圖1所示的attention-BI-LSTM-CRF中文分詞模型來進行中文分詞處理。自底向上: (1)將待分詞的文本序列進行文本向量化,將文本中的每一個字映射成一個固定長度的短向量,以作為當前字的特征向量表示;(2)基于去噪機制對輸入的信息進行過濾調整;(3)利用 BI-LSTM 獲取每個詞長距離的上下文特征;(4)引入attention模型對BI-LSTM層的輸入與輸出之間的相關性進行重要度計算,根據重要度獲取文本整體特征; (5)最后CRF層考慮單詞標簽之間的制約關系,加入標簽轉移概率矩陣,給出全局最優(yōu)標注序列。

    圖1 Attention-BILSTM-CRF中文分詞模型

    1.1 LSTM和BI-LSTM

    圖2 RNN神經網絡結構

    RNN理論上可以學習長期的依賴關系,但在實際情況中并不是如此,它們更傾向于最近的輸入序列。這是由于傳統(tǒng)的RNN在進行幾次鏈式法則求導后梯度會指數級縮小,導致傳播幾層后出現梯度消失,無法處理“長期依賴”問題。因此,出現了一種RNN的變體即LSTM。LSTM的設計旨在通過整合一個存儲單元來解決這個問題,并被證明可以捕獲遠距離依賴。他們使用幾個門來控制輸入給存儲單元的比例,以及從以前的狀態(tài)中忘記的比例[12]。

    LSTM的結構與RNN一致,唯一的不同在于其中間的神經網絡模塊A。該模塊結構如圖3所示。

    圖3 LSTM神經網絡模塊結構

    圖4 BILSTM+CRF模型

    1.2 標簽得分計算

    中文分詞問題可以轉換為字符序列的字符標簽分類問題。1.1節(jié)中BI-LSTM神經網絡的中文分詞模型的輸出即為字符序列中每一個字符的標簽得分。文中采用BMES標注方法對分詞語料庫文本進行標注,即每個字符用{B,M,E,S}來分別表示字符在詞中的開始位置、中間位置、結束位置以及單個字為一個獨立詞。比如文本序列‘我們都是共產主義接班人’用{B,M,E,S}來分割后為‘我/B 們/E 都/B 是/E 共/B 產/M 主/M 義/E接/B 班/M 人/E’。

    1.3 CRF標注模型

    一個簡單但效果顯著的有效標注模型叫條件隨機場(CRF)[13]。它根據給定的觀察序列來推測出對應的狀態(tài)序列,屬于一種條件概率模型。CRF由Lafferty 等人于2001年提出,它解決了隱馬爾可夫模型的輸出獨立性假設問題,也解決了最大熵模型在每一個節(jié)點歸一化導致只能找到局部最優(yōu)解和標記偏見問題,因此是比較好的命名實體識別模型。CRF的序列標注思想和BI-LSTM模型利用前后上下文特征的思想上有相向之處,在文獻[13]和文獻[9]中分別證明了該類模型性能相較于只考慮單方面影響的模型性能有更好的表現。

    CRF的工作原理如下:

    在所有可能的標簽序列上產生序列y的概率為:

    訓練期間,目標函數是最大化正確標簽序列的對數概率:

    其中Y代表句子X的所有可能的標簽序列。從上述公式可以看出,CRF是學習一個從觀察序列到標記序列的概率函數映射關系。我們鼓勵我們的網絡生成一個有效的輸出標簽序列。在預測過程(解碼)中,模型使用動態(tài)規(guī)劃的Viterbi算法來獲得最大分數的輸出序列:

    1.4 引入attention機制

    深度學習中的attention機制模擬人腦的注意力特點。Attention機制可以理解為總是將注意力放在更重要的信息上。Bahdanau等在論文[14]中第一次提出把attention機制應用到了神經網絡機器翻譯上。

    其中:

    在attention層之后用一個tanh層用來預測神經網絡輸出的標簽得分:

    Attention-BI-LSTM-CRF模型在BI-LSTM網絡與CRF標簽判別層中間添加attention層。我們將字嵌入序列作為輸入提供給BI-LSTM,通過BI-LSTM層結合了上下文的特征,輸出返回每個字的上下文的表示,并結合attention機制將更有效的信息輸入向CRF層,使用CRF來考慮相鄰標簽,從而得出每個字的最終預測結果。

    2 輸入字嵌入

    本節(jié)介紹輸入字嵌入,用特征向量表示序列文本作為BI-LSTM層的輸入:(1)將原始序列文本進行向量化,用一個固定長度的向量表示每一個字;(2)由于固定窗口大小帶來的上下文不確定性,引入去噪機制對特征向量進行調整;(3)最后使用dropout技巧防止訓練過程中的過擬合問題。

    2.1 文本向量化

    為了使機器能夠理解自然語言首先需要將自然語言符號數學化,即文本向量化。在深度學習中,將文本向量化的方式使采用分布式表示方法[15](又稱字嵌入)。該方法將詞用一種低維實數向量表示,這樣的表示既能夠使得上下文的詞之間的彼此聯系,又可以避免向量維度過大帶來的不必要的復雜度。

    具體地,在中文分詞任務中,我們建立一個大小為d×N的漢字字典矩陣D,其中d為字向量維度,N為字典大小。該字典包括我們可以處理的所有漢字以及其他字符(如數字、標點、未登錄字等)的替代符號。因此,我們用字典找到對應的字向量來代替每個字。研究表明,將大規(guī)模無監(jiān)督學習得到的字向量作為輸入矩陣的初始值要比隨機初始化得 來的字向量性能上表現更優(yōu)[16]。本文實驗中使用word2vec作為第一層,把輸入數據預先處理成字嵌入向量。

    2.2 輸入去噪

    本文對當前字設置了特征窗口,即利用固定上下文窗口內的字表示當前字。但是固定窗口內的字不一定每次都出現在一起,有的可能只出現少數次。因此,加入一個去噪層對固定窗口內的信息進行調整,使得固定窗口內的字嵌入以一定概率出現,不再依賴于固定窗口內左右詞的字向量的共同作用。

    首先,句中每個字的字向量表示作為去噪機制的輸入。然后該機制對輸入信息進行調整,之后BI- LSTM獲取每個詞長距離的上下文特征并由attention機制對BI-LSTM層的輸入與輸出之間的相關性進行重要度計算獲取文本整體特征,最后CRF層考慮單詞標簽之間的制約關系,加入標簽轉移概率矩陣,給出全局最優(yōu)標注序列。

    2.3 Dropout技巧

    為了防止模型訓練過程中的過擬合問題,本文采用了Dropout[17]技術。其主要思想是在模型訓練過程中,隨機移除一定比例p(Dropout比率)的神經元以及其對應的輸入輸出權重。我們將輸入attention- BI-LSTM-CRF模型的字嵌入向量使用Dropout方法以降低錯誤率,提升系統(tǒng)性能。

    3 實驗

    為了說明改進的模型的有效性,我們選擇常用的MSRA corpus、PKU corpus和人民日報2014作對比實驗。其中MSRA和PKU corpus是由國際中文分詞評測Bakeoff提供的封閉語料,包括簡體中文和繁體中文。

    實驗過程中為了公正的評估模型的分詞性能,我們采用了分詞常用的評價指標:準確率(P),召回率(R),綜合指標值(F1)。

    3.1 貢獻因子與去噪機制測試

    為驗證本文提出的貢獻因子和去噪機制是否會影響到實驗效果,我們選取1層BI-LSTM分詞模型,句子長度為80,在MSRA數據集上進行測試,測試結果如表1所示。

    表1 貢獻因子和去噪機制在MSRA 測試集上測試結果(F1值)

    Tab.1 Contribution factor and denoising mechanism test results on the MSRA test set (F1 value)

    表2<40時不同取值的貢獻因子測試結果

    Tab.2 Contributing factor test results with different values when t<40

    3.2 超參數配置

    對于本文改進的attention-BI-LSTM-CRF模型,我們使用反向傳播算法來訓練我們的網絡,設定初始學習率為0.01。本實驗采用word2vec方法對字向量進行訓練預處理。文中使用PKU數據集,基于BMES詞位標注方法,以BI-LSTM為模型,我們設定字嵌入向量長度為 100,dropout 大小為 0.3。實驗研究過程中,我們發(fā)現不斷增大的隱藏層單元數當達到一定值以后,對測試結果影響趨于穩(wěn)定。本文中改進的模型最終選取隱藏層的單元數為120。

    表3 超參數設置

    Tab.3 Hyperparameter setting

    3.3 實驗對比與分析

    我們測試BI-LSTM、BI-LSTM-CRF、和本文改進的attention-BI-LSTM-CRF這三個不同的模型分別在 PKU,MSRA和人民日報2014語料庫上分詞性能的表現。如表4所示,本文提出的attention-BI- LSTM-CRF模型相比較BI-LSTM和BI-LSTM-CRF 模型性能分別提升為0.6%、1.0%和0.6%,分詞效果更好。

    表5為本文訓練的attention-BI-LSTM-CRF模型與前人在分詞領域研究結果對比。其中Bakeoff-best 為2005年Bakeoff 測評最好結果;Chen-2015[7]他們在文本向量化過程中加入了雙字符嵌入向量,最佳水平如表5所示;Yao-2016在文獻[9]中疊加了 3層BI-LSTM 模型。本文中融合了attention機制與過濾機制以及引入了貢獻因子也取得了不錯的分詞效果,證明了 attention-BI-LSTM-CRF分詞模型的優(yōu)越性。

    表4 不同模型在PKU、MSRA、人民日報2014測試集上的實驗對比結果

    Tab.4 Experimental comparison results of different models on PKU, MSRA, People's Daily 2014 test set

    表5 在PKU、MSRA測試集上與前人模型的實驗結果對比

    Tab.5 Comparison of experimental results with predecessor models on PKU and MSRA test sets

    4 結語

    文中針對自然語言處理中的中文分詞任務,在BI-LSTM-CRF模型的基礎上提出一種改進的attention- BI-LSTM-CRF中文分詞模型。該模型融合attention機制方法,以計算BI-LSTM模型的輸入和輸出之間相關性的重要性,從而更好的獲得文本的整體特征。利用一種去噪機制,使得固定窗口內的字嵌入以一定概率出現,減少了左右聯合字嵌入的聯合作用。并且引入了貢獻因子以改進單向LSTM對后文依賴性不足的缺點。實驗表明, 在中文分詞任務中,相比較BI-LSTM模型和BI-LSTM-CRF模型,本文改進的attention-BI-LSTM-CRF模型在選取的測試集上分詞表現更加出色。

    [1] 李月倫, 常寶寶. 基于最大間隔馬爾可夫網模型的漢語分詞方法[J]. 中文信息學報, 2010, 24(1): 8-14.

    [2] Peng F, Feng F, Mccallum A. Chinese segmentation and new word detection using conditional random fields[C]. Proceedings of Coling, 2004: 562-568.

    [3] Tseng H, Chang P, Andrew G, et al. A conditional random field word segmenter for sighan bakeoff 2005[C]. Proc of the Fourth SIGHAN Workshop on Chinese Language Processing, 2005: 168-171.

    [4] Nianwen Xue. Chinese word segmentation as char- acter tagging[J]. Computational Linguistics and Chi- nese Language Processing, 2003, 8(1): 29-48.

    [5] Collobert R, Weston J, Bottou L. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12(1): 2493-2537.

    [6] Zheng X, Chen H, Xu T. Deep learning for Chinese word segmentation and POS tagging[C]. Confer- ence on Empirical Methods in Natural Language Processing, 2013: 647-657.

    [7] Chen X, Qiu X, Zhu C, et al. Gated recursive neu- ral network for Chinese word segmentation[C]. Proc of Annual Meeting of the Association for Computational Linguistics, 2015: 1744-1753.

    [8] Chen X, Qiu X, Zhu C, et al. Long short-term memory neural networks for Chinese word seg- mentation[C]. Conference on Empirical Methods in Natural Language Processing, 2015: 1197-1206.

    [9] Yushi Yao, Zheng Huang. Bi-directional LSTM recurrent neural network for Chinese word segmen- tation[C]. InternationalConference on Neural In-formation Processing, 2016: 345-353.

    [10] Y. Bengio; P. Simard; P. Frasconi, Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 2002, 5(2): 157-166.

    [11] 張玉環(huán), 錢江. 基于兩種 LSTM 結構的文本情感分析[J]. 軟件, 2018, 39(1): 116-120.

    [12] S Hochreiter, J Schmidhuber, LSTM can solve hard long time lag problems. International Conference on Neural Information, 1996, 9: 473-479.

    [13] Lafferty J D, Mccallum A, Pereira F C N. Conditional random fields: probabilistic models for seg- menting and labeling sequence data[C]. Proc of ICML, 2002, 3(2): 282-289.

    [14] Neural Machine Translation by Jointly Learning to Align and Translate. D Bahdanau, K Cho, Y Bengio - arXiv preprint arXiv: 1409. 0473, 2014.

    [15] Hinton G E. Learning distributed representations of concepts[C]//Proceedings of the eighth annual conference of the cognitive science society. 1986: 1-12.

    [16] Mulder W D, Bethard SMoens M F. A Survey on the application of recurrent neural networks to statistical language modelingJ. Computer Speech &Language, 2014, 30(1): 61-98.

    [17] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

    BI-LSTM-CRF Chinese Word Segmentation Model with Attention Mechanism

    HUANG Dan-dan, GUO Yu-cui

    (School of Science, Beijing University of Posts and Telecommunications, Beijing 100876, China)

    In English words, spaces are used as natural delimiters between words, and there are no such clear delimiters between Chinese words. Therefore, deep learning models and methods that obtain good results in English natural language processing cannot be directly applied. Deep learning has achieved breakthrough results in the field of natural language processing in English. Based on the existing work, this paper proposes a method to integrate the Bi-LSTM-CRF model and the attention mechanism, and introduces a denoising mechanism to filter the word vector representation.In addition, the contribution rateof the unidirectional LSTM is reduced. The output weight matrix of the BI-LSTM is adjusted to improve the word segmentation effect. We conducted experiments using the public data set in the above model. Experimental results show that the improved attention-BI-LSTM-CRF model and training method can effectively solve the problem of word segmentation and part of speech tagging in Chinese natural language processing, and can obtain good performance.

    Chinese segmentation; BI-LSTM; CRF; Attention mechanism; Contribution factor; Denoising mechanism; Dropout

    TP391

    A

    10.3969/j.issn.1003-6970.2018.10.050

    黃丹丹(1991-),女,研究生,主要研究方向:自然語言處理;郭玉翠(1962-),女,教授,主要研究方向:數學與信息安全。

    黃丹丹,郭玉翠. 融合attention機制的BI-LSTM-CRF中文分詞模型[J]. 軟件,2018,39(10):260-266

    猜你喜歡
    分詞標簽向量
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    結巴分詞在詞云中的應用
    智富時代(2019年6期)2019-07-24 10:33:16
    無懼標簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    值得重視的分詞的特殊用法
    標簽化傷害了誰
    向量垂直在解析幾何中的應用
    向量五種“變身” 玩轉圓錐曲線
    基于多進制查詢樹的多標簽識別方法
    計算機工程(2015年8期)2015-07-03 12:20:27
    精品一区二区免费观看| 天天一区二区日本电影三级| 亚洲精品国产av蜜桃| 免费看日本二区| 精品人妻熟女av久视频| 男人和女人高潮做爰伦理| 麻豆成人午夜福利视频| 国产精品久久久久久久久免| 成人二区视频| 国产单亲对白刺激| 亚洲欧美中文字幕日韩二区| 国产精品熟女久久久久浪| 久久久久网色| 美女cb高潮喷水在线观看| 国产色爽女视频免费观看| 在线 av 中文字幕| av国产久精品久网站免费入址| av卡一久久| 高清av免费在线| 三级毛片av免费| 亚洲精品乱码久久久v下载方式| 亚洲人成网站在线观看播放| 欧美区成人在线视频| 亚洲乱码一区二区免费版| 看非洲黑人一级黄片| 九九久久精品国产亚洲av麻豆| 菩萨蛮人人尽说江南好唐韦庄| 国产精品三级大全| 国产精品久久视频播放| 久久99热6这里只有精品| 天堂俺去俺来也www色官网 | 欧美日韩亚洲高清精品| 欧美97在线视频| 免费无遮挡裸体视频| 亚洲av国产av综合av卡| 国产伦精品一区二区三区视频9| 免费电影在线观看免费观看| 嫩草影院新地址| 狂野欧美白嫩少妇大欣赏| 亚洲一区高清亚洲精品| 五月天丁香电影| 欧美激情久久久久久爽电影| 人妻一区二区av| 在线观看av片永久免费下载| 国产黄色免费在线视频| av国产免费在线观看| 免费观看a级毛片全部| 亚洲乱码一区二区免费版| 九九久久精品国产亚洲av麻豆| 精品午夜福利在线看| 中国国产av一级| 97热精品久久久久久| 久99久视频精品免费| 18禁动态无遮挡网站| 大又大粗又爽又黄少妇毛片口| 欧美人与善性xxx| 亚洲成人av在线免费| 男女边摸边吃奶| 最新中文字幕久久久久| 久久久国产一区二区| 欧美zozozo另类| 成人性生交大片免费视频hd| 欧美日韩亚洲高清精品| 免费观看精品视频网站| 国产精品.久久久| 国产永久视频网站| 一级毛片 在线播放| 精品午夜福利在线看| 国产老妇伦熟女老妇高清| 国产成人a区在线观看| 亚洲欧美一区二区三区黑人 | 日日啪夜夜爽| 亚洲精品aⅴ在线观看| 亚洲av成人av| 韩国高清视频一区二区三区| 一个人看视频在线观看www免费| 亚洲国产精品sss在线观看| 日韩成人av中文字幕在线观看| 美女高潮的动态| 高清视频免费观看一区二区 | 看非洲黑人一级黄片| 国产免费视频播放在线视频 | 九色成人免费人妻av| 国模一区二区三区四区视频| 日韩欧美国产在线观看| 成年女人看的毛片在线观看| 久久人人爽人人爽人人片va| 人妻少妇偷人精品九色| 99re6热这里在线精品视频| 黄片无遮挡物在线观看| 一区二区三区免费毛片| av在线老鸭窝| 午夜日本视频在线| 亚洲高清免费不卡视频| 日韩视频在线欧美| 亚洲乱码一区二区免费版| 最近中文字幕高清免费大全6| 18禁动态无遮挡网站| 亚洲性久久影院| 日日啪夜夜撸| 丝袜美腿在线中文| 精品久久久久久久久久久久久| 女人久久www免费人成看片| www.色视频.com| 免费观看的影片在线观看| 亚洲在线自拍视频| 婷婷色麻豆天堂久久| 18禁在线播放成人免费| 欧美高清性xxxxhd video| 插逼视频在线观看| 国产成年人精品一区二区| 午夜福利视频1000在线观看| 大又大粗又爽又黄少妇毛片口| 91午夜精品亚洲一区二区三区| 97在线视频观看| 久久99热6这里只有精品| 日韩国内少妇激情av| 亚洲av成人精品一二三区| 69av精品久久久久久| 嘟嘟电影网在线观看| 国产一区二区三区综合在线观看 | 精品国产露脸久久av麻豆 | 乱系列少妇在线播放| 国产午夜精品一二区理论片| 精品久久久久久久久亚洲| 天美传媒精品一区二区| 老女人水多毛片| 寂寞人妻少妇视频99o| 日本猛色少妇xxxxx猛交久久| 青春草国产在线视频| 国产伦理片在线播放av一区| 亚洲美女视频黄频| 午夜爱爱视频在线播放| 少妇熟女aⅴ在线视频| 99久久精品热视频| 国产片特级美女逼逼视频| 久久久久久久久中文| 久久国产乱子免费精品| 好男人在线观看高清免费视频| 天堂av国产一区二区熟女人妻| 2022亚洲国产成人精品| 欧美日韩国产mv在线观看视频 | av线在线观看网站| 中文字幕av成人在线电影| 国产成人福利小说| 激情 狠狠 欧美| av在线亚洲专区| 久久久久久久久久成人| www.av在线官网国产| www.av在线官网国产| 亚洲电影在线观看av| 免费观看a级毛片全部| 午夜日本视频在线| 精品一区二区三区人妻视频| 波野结衣二区三区在线| 国产伦理片在线播放av一区| 免费人成在线观看视频色| 久久久久久久久久成人| 亚洲国产日韩欧美精品在线观看| 少妇高潮的动态图| 男女啪啪激烈高潮av片| 爱豆传媒免费全集在线观看| 亚洲av一区综合| 99热6这里只有精品| 亚洲在线观看片| 国产男女超爽视频在线观看| 亚洲熟女精品中文字幕| 国产亚洲最大av| 亚洲精品日本国产第一区| 日韩欧美国产在线观看| 老司机影院毛片| 国产不卡一卡二| 99九九线精品视频在线观看视频| 久久久久精品性色| 国产高清三级在线| 国产高清不卡午夜福利| 成人国产麻豆网| 日韩强制内射视频| 日韩av在线大香蕉| 97超视频在线观看视频| 自拍偷自拍亚洲精品老妇| 久久鲁丝午夜福利片| a级一级毛片免费在线观看| 久久人人爽人人片av| 欧美3d第一页| 成年av动漫网址| 国产午夜精品一二区理论片| 1000部很黄的大片| 日韩欧美三级三区| 亚洲va在线va天堂va国产| 久久久久久久大尺度免费视频| 内射极品少妇av片p| 日韩人妻高清精品专区| 日韩大片免费观看网站| 精品久久久久久久末码| 午夜精品国产一区二区电影 | 国产精品一区www在线观看| 国产精品麻豆人妻色哟哟久久 | 婷婷色综合大香蕉| 日本爱情动作片www.在线观看| 成人av在线播放网站| 成人综合一区亚洲| 一区二区三区高清视频在线| 少妇丰满av| 日韩欧美三级三区| 深夜a级毛片| 国产av在哪里看| 亚洲精品日韩在线中文字幕| 在线观看av片永久免费下载| 中文天堂在线官网| 1000部很黄的大片| 免费av毛片视频| 又粗又硬又长又爽又黄的视频| 在线观看免费高清a一片| 观看免费一级毛片| 国产三级在线视频| 日本一二三区视频观看| 国产黄片美女视频| 国产亚洲最大av| 高清在线视频一区二区三区| 国产 一区精品| 99久国产av精品国产电影| 欧美激情国产日韩精品一区| 国产精品三级大全| 国产成人a区在线观看| av免费观看日本| 在线免费十八禁| 人妻制服诱惑在线中文字幕| 国产一区二区亚洲精品在线观看| 中文在线观看免费www的网站| 免费高清在线观看视频在线观看| 在线免费十八禁| 免费无遮挡裸体视频| 一级毛片电影观看| 免费少妇av软件| 3wmmmm亚洲av在线观看| 国产亚洲一区二区精品| 久久久久久九九精品二区国产| 丰满乱子伦码专区| 欧美3d第一页| 亚洲在线自拍视频| 久久这里有精品视频免费| 亚洲成人一二三区av| 在现免费观看毛片| 天堂俺去俺来也www色官网 | 免费看av在线观看网站| 成人欧美大片| 黄色欧美视频在线观看| 精品国产一区二区三区久久久樱花 | 亚洲精品日韩av片在线观看| 观看美女的网站| 欧美极品一区二区三区四区| 波野结衣二区三区在线| 国产精品国产三级国产av玫瑰| 毛片一级片免费看久久久久| 久久久精品欧美日韩精品| 在线免费观看不下载黄p国产| 久久亚洲国产成人精品v| 美女大奶头视频| 日本av手机在线免费观看| 亚洲欧美中文字幕日韩二区| 人人妻人人看人人澡| 国产激情偷乱视频一区二区| 91午夜精品亚洲一区二区三区| 国产成年人精品一区二区| 亚洲四区av| 青春草视频在线免费观看| 亚洲激情五月婷婷啪啪| 狂野欧美激情性xxxx在线观看| 久久99热6这里只有精品| 亚洲在久久综合| 最新中文字幕久久久久| 国语对白做爰xxxⅹ性视频网站| 日本一本二区三区精品| 22中文网久久字幕| 青春草亚洲视频在线观看| 嘟嘟电影网在线观看| 欧美最新免费一区二区三区| 我的女老师完整版在线观看| 午夜爱爱视频在线播放| 久久亚洲国产成人精品v| 国产成人精品婷婷| 十八禁国产超污无遮挡网站| 久久久久精品久久久久真实原创| 久久草成人影院| 亚洲精品日韩在线中文字幕| 最近2019中文字幕mv第一页| 国产一级毛片七仙女欲春2| 六月丁香七月| 国产黄片美女视频| 观看美女的网站| 精品人妻一区二区三区麻豆| 纵有疾风起免费观看全集完整版 | 国产国拍精品亚洲av在线观看| 亚洲四区av| 亚洲人成网站在线观看播放| 日韩制服骚丝袜av| 最近2019中文字幕mv第一页| 国产精品.久久久| 久久久久久久午夜电影| 天堂俺去俺来也www色官网 | 街头女战士在线观看网站| 日韩强制内射视频| 中文字幕制服av| 天堂中文最新版在线下载 | 国产精品综合久久久久久久免费| 欧美一区二区亚洲| 老女人水多毛片| 国产精品1区2区在线观看.| 日本猛色少妇xxxxx猛交久久| av线在线观看网站| 男人舔奶头视频| 午夜免费激情av| 中文字幕av在线有码专区| 久久精品国产自在天天线| 日本欧美国产在线视频| 亚洲,欧美,日韩| 五月玫瑰六月丁香| 亚洲图色成人| 美女大奶头视频| 国产精品一区www在线观看| 搞女人的毛片| 五月玫瑰六月丁香| 亚洲av电影不卡..在线观看| 三级国产精品欧美在线观看| 亚洲精品久久午夜乱码| 日韩视频在线欧美| 亚洲欧洲国产日韩| 欧美丝袜亚洲另类| 天天一区二区日本电影三级| 久久久久精品久久久久真实原创| 亚洲成人久久爱视频| 高清视频免费观看一区二区 | 精品久久久久久久久久久久久| 神马国产精品三级电影在线观看| 少妇猛男粗大的猛烈进出视频 | 久久亚洲国产成人精品v| 美女国产视频在线观看| 欧美xxxx性猛交bbbb| 日韩成人伦理影院| 国产精品国产三级国产av玫瑰| 国产精品一二三区在线看| 成年版毛片免费区| 国产成年人精品一区二区| 久久久久性生活片| 国产高清不卡午夜福利| 国国产精品蜜臀av免费| 久热久热在线精品观看| 国产av码专区亚洲av| 综合色av麻豆| 别揉我奶头 嗯啊视频| 亚洲成人精品中文字幕电影| 久久久久网色| 国产精品一区二区三区四区免费观看| 又粗又硬又长又爽又黄的视频| 欧美日韩亚洲高清精品| 久久久亚洲精品成人影院| av国产久精品久网站免费入址| 亚洲,欧美,日韩| 久久久久久久久久黄片| 晚上一个人看的免费电影| 国产高潮美女av| 欧美成人a在线观看| 亚洲性久久影院| 一级a做视频免费观看| 欧美极品一区二区三区四区| 日韩精品青青久久久久久| 国模一区二区三区四区视频| 人妻制服诱惑在线中文字幕| 偷拍熟女少妇极品色| 大又大粗又爽又黄少妇毛片口| 又大又黄又爽视频免费| 最近2019中文字幕mv第一页| 久久久久久久久久成人| 一级a做视频免费观看| 亚洲精品一区蜜桃| 天天躁夜夜躁狠狠久久av| 久久久精品欧美日韩精品| 欧美成人午夜免费资源| 22中文网久久字幕| 婷婷色综合www| 麻豆成人av视频| 精品午夜福利在线看| 99热这里只有精品一区| 日韩av不卡免费在线播放| 最后的刺客免费高清国语| 久久久久免费精品人妻一区二区| 九九久久精品国产亚洲av麻豆| 中文乱码字字幕精品一区二区三区 | 日韩国内少妇激情av| 国产精品三级大全| 小蜜桃在线观看免费完整版高清| 淫秽高清视频在线观看| 特级一级黄色大片| 综合色丁香网| 日韩欧美一区视频在线观看 | 国产精品一区二区三区四区久久| a级毛色黄片| av网站免费在线观看视频 | 亚洲国产精品国产精品| 街头女战士在线观看网站| 国产精品一区www在线观看| 国产老妇女一区| 国产视频首页在线观看| 日本一本二区三区精品| 九九久久精品国产亚洲av麻豆| 少妇人妻精品综合一区二区| 插逼视频在线观看| av在线播放精品| 人人妻人人看人人澡| 亚洲国产欧美在线一区| 99热这里只有精品一区| 午夜日本视频在线| 久久国内精品自在自线图片| 日韩,欧美,国产一区二区三区| 国产精品三级大全| 九九爱精品视频在线观看| 久久99蜜桃精品久久| 亚洲国产色片| .国产精品久久| 欧美性感艳星| 精品国内亚洲2022精品成人| 美女黄网站色视频| 午夜久久久久精精品| 国产三级在线视频| 非洲黑人性xxxx精品又粗又长| 成人毛片60女人毛片免费| 久久午夜福利片| 亚洲av二区三区四区| or卡值多少钱| 黄色欧美视频在线观看| 免费av毛片视频| 亚洲人成网站在线播| 国产真实伦视频高清在线观看| 一级黄片播放器| av在线蜜桃| 能在线免费看毛片的网站| 女人久久www免费人成看片| 视频中文字幕在线观看| 久久这里有精品视频免费| 国产精品久久久久久精品电影| 久久久久久久大尺度免费视频| 国产爱豆传媒在线观看| 女人十人毛片免费观看3o分钟| 18+在线观看网站| 日本wwww免费看| 97精品久久久久久久久久精品| 大陆偷拍与自拍| 久久韩国三级中文字幕| 天天一区二区日本电影三级| 亚洲欧洲日产国产| 国产精品麻豆人妻色哟哟久久 | 麻豆精品久久久久久蜜桃| 国产女主播在线喷水免费视频网站 | 国产v大片淫在线免费观看| 日韩欧美 国产精品| 日日干狠狠操夜夜爽| kizo精华| 国产av不卡久久| 久久久a久久爽久久v久久| 国产午夜精品久久久久久一区二区三区| 观看美女的网站| 国产高清三级在线| 亚洲精品,欧美精品| 国产亚洲精品久久久com| 久久久久久久久久久免费av| or卡值多少钱| 久久这里有精品视频免费| 我的女老师完整版在线观看| 久久久久免费精品人妻一区二区| 男女那种视频在线观看| 搡女人真爽免费视频火全软件| 三级国产精品片| 欧美日韩一区二区视频在线观看视频在线 | 国产高清不卡午夜福利| 国产综合精华液| 亚洲欧美成人精品一区二区| 色吧在线观看| 午夜福利成人在线免费观看| 男人舔奶头视频| 国产精品一区www在线观看| 免费av不卡在线播放| 成人午夜高清在线视频| 人人妻人人看人人澡| 久久久久久久久久黄片| 久久久久久久大尺度免费视频| 男的添女的下面高潮视频| 亚洲高清免费不卡视频| 少妇的逼水好多| 国产成年人精品一区二区| 成人亚洲精品av一区二区| 精品一区二区三区人妻视频| 六月丁香七月| 一个人看的www免费观看视频| 最近中文字幕高清免费大全6| 一个人看视频在线观看www免费| 青春草亚洲视频在线观看| 久久精品国产鲁丝片午夜精品| 亚洲av.av天堂| 亚洲国产成人一精品久久久| 精品久久久久久久久亚洲| 晚上一个人看的免费电影| 欧美日韩精品成人综合77777| 国产单亲对白刺激| 91av网一区二区| 国产中年淑女户外野战色| 午夜福利网站1000一区二区三区| 免费观看的影片在线观看| 精品国产一区二区三区久久久樱花 | 日韩欧美三级三区| 真实男女啪啪啪动态图| 国产亚洲91精品色在线| 波多野结衣巨乳人妻| 噜噜噜噜噜久久久久久91| 看黄色毛片网站| 久久精品久久久久久噜噜老黄| 国产精品一及| 如何舔出高潮| 日本色播在线视频| 如何舔出高潮| 日本色播在线视频| 晚上一个人看的免费电影| 日韩中字成人| 高清毛片免费看| 亚洲国产av新网站| 国产久久久一区二区三区| 热99在线观看视频| 精品人妻一区二区三区麻豆| 99久久中文字幕三级久久日本| 国产在线一区二区三区精| 久久99热这里只有精品18| 狠狠精品人妻久久久久久综合| 又大又黄又爽视频免费| 亚洲久久久久久中文字幕| 亚洲怡红院男人天堂| av线在线观看网站| 99久久精品热视频| av线在线观看网站| 美女黄网站色视频| 联通29元200g的流量卡| 又粗又硬又长又爽又黄的视频| 午夜精品一区二区三区免费看| 七月丁香在线播放| av黄色大香蕉| 亚洲av福利一区| 国产在线男女| 在线观看美女被高潮喷水网站| 国产黄片美女视频| 午夜免费激情av| 午夜福利在线观看免费完整高清在| 久久久久性生活片| 黑人高潮一二区| 特级一级黄色大片| 成年人午夜在线观看视频 | 久久精品久久精品一区二区三区| 亚洲精品aⅴ在线观看| 99热这里只有精品一区| 激情五月婷婷亚洲| 国产av码专区亚洲av| 成人鲁丝片一二三区免费| 久久久久久久久久黄片| 日韩,欧美,国产一区二区三区| 成人av在线播放网站| 久久这里只有精品中国| 亚洲国产日韩欧美精品在线观看| 禁无遮挡网站| 美女主播在线视频| 日本av手机在线免费观看| 国产精品一及| 国产 一区 欧美 日韩| 中文精品一卡2卡3卡4更新| 联通29元200g的流量卡| or卡值多少钱| 麻豆成人av视频| 久久精品久久精品一区二区三区| 国产精品一区二区三区四区免费观看| 国产免费视频播放在线视频 | av又黄又爽大尺度在线免费看| 成年女人在线观看亚洲视频 | 舔av片在线| 特级一级黄色大片| 好男人视频免费观看在线| 日本免费在线观看一区| 国产成人aa在线观看| 91aial.com中文字幕在线观看| 狠狠精品人妻久久久久久综合| 我的女老师完整版在线观看| 美女被艹到高潮喷水动态| 中国国产av一级| 欧美不卡视频在线免费观看| 精品久久久精品久久久| 国产精品综合久久久久久久免费| 国产亚洲一区二区精品| 国产伦精品一区二区三区视频9| 国产免费又黄又爽又色| 最近视频中文字幕2019在线8| 一个人看的www免费观看视频| 精品一区二区三区视频在线| 街头女战士在线观看网站| 高清毛片免费看| 国产亚洲最大av| 欧美xxⅹ黑人| 免费黄网站久久成人精品| 国产精品精品国产色婷婷| 国产精品一区二区性色av| 国产久久久一区二区三区| 深爱激情五月婷婷| 中文天堂在线官网| 亚洲自偷自拍三级| 国产精品一区二区三区四区免费观看| 少妇熟女欧美另类| 国产成人精品婷婷| 大陆偷拍与自拍| 如何舔出高潮| 嫩草影院精品99|