• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合GAN與BiLSTM-Attention-CRF的領域命名實體識別

    2019-09-16 02:32:14郭淵博
    計算機研究與發(fā)展 2019年9期
    關鍵詞:文檔實體領域

    張 晗 郭淵博 李 濤

    1(戰(zhàn)略支援部隊信息工程大學密碼工程學院 鄭州 450001)2(鄭州大學軟件學院 鄭州 450001)

    領域命名實體識別(named entity recognition, NER)[1]旨在從文本中提取出各種類型的實體,其結(jié)果可用于領域中后續(xù)的其他復雜任務諸如關系提取、領域知識圖譜的構建等.與通用領域的命名實體識別任務相比,特殊領域的命名實體識別經(jīng)常會面臨著領域標注數(shù)據(jù)缺乏以及由于領域內(nèi)實體名稱的多樣性而導致的同一文檔中實體標注不一致問題[2].

    為了解決由于領域內(nèi)標注數(shù)據(jù)缺乏而導致的模型性能問題,文獻[3]提出使用具有大量標注數(shù)據(jù)的通用領域數(shù)據(jù)集(如新聞領域)來訓練模型,使得模型可以從中學習到更多特定領域的特征分布,從而提高模型在特定領域數(shù)據(jù)上的性能.但是顯然使用通用領域訓練數(shù)據(jù)中的詞匯特征分布來估計專業(yè)領域中的數(shù)據(jù)特征分布會導致偏差太大的問題.為了快速高效且低成本地獲取領域內(nèi)大型標注數(shù)據(jù)集,文獻[4]提出可以使用Amazon Mechanical Turk來快速且低成本地收集標簽數(shù)據(jù),并且證明了眾包標注數(shù)據(jù)對于訓練模型來說是可用的.相比于專家標注來說,眾包具有低成本、大規(guī)模等優(yōu)點,因此隨著眾包技術的成熟,國內(nèi)外眾包的應用也越加廣泛,其中以亞馬遜的Amazon Mechanical Turk和維基百科最為著名.目前,國內(nèi)也出現(xiàn)了不少眾包平臺,如百度眾包、阿里眾包和搜狗輸入法等.這些眾包平臺大都屬于通用眾包平臺,雖然準確率經(jīng)過平臺篩選之后還算理想,但是,針對專業(yè)領域來說,其缺點也非常明顯,這些來自于非專業(yè)人員的標注數(shù)據(jù)遠遠要比來自于專家標注的數(shù)據(jù)質(zhì)量低并且含有極大的噪聲,這部分數(shù)據(jù)如果直接拿來使用,會給模型造成偏差.因此需要針對眾包標注數(shù)據(jù)的質(zhì)量進行建模,整合出高質(zhì)量的共識標注.文獻[5]采用多數(shù)投票法來實現(xiàn)高質(zhì)量共識標注.這種方法盡管可以獲得較高質(zhì)量的標注數(shù)據(jù),但是需要耗費大量的人力,同樣的一句話需要交由至少3個注釋者標注,這樣才能通過多數(shù)投票法選取出相對準確的標注.而且對于一些本身含義就比較模糊的句子或者實體,標注者之間可能很難達到統(tǒng)一,這樣無疑會影響到最終選擇結(jié)果的正確性.

    除此之外,目前常用來進行命名實體識別任務的模型,如條件隨機場(conditional random field, CRF)[6]模型、雙向長短記憶網(wǎng)絡+條件隨機場(bi-directional long short-term memory+conditional random field, BiLSTM-CRF)[7]模型,大都僅僅只是從單詞和句子層面來考慮單詞的特征表示.但是由于這些模型自身設計的限制,輸入序列無論長短都會編碼成一個固定長度的向量表示,當輸入序列過長時,編碼器可能會丟掉上下文中一些比較重要的特征信息,這樣就容易造成因為實體名稱多樣化所帶來的同一文檔中實體標注不一致問題.例如:Internet Explorer和IE指代的是同一個實體,但是由于表示方法不同以及在文中位置不同,很可能會出現(xiàn)兩者標注不一致的情況,從而影響到后續(xù)任務的完成效果.為了提高模型的性能,文獻[8]在BiLSTM-CRF模型的基礎上添加了注意力(attention)機制,它打破了傳統(tǒng)編碼器-解碼器結(jié)構在編解碼時都依賴于內(nèi)部一個固定長度向量的限制,可以通過訓練一個模型來對輸入字符串的特征進行重點選擇性學習并且在模型輸出時將輸出序列與各選擇特征按照權重進行關聯(lián).但是這種模型如果要達到比較理想的效果,在訓練時要求用到更加大量準確的標注數(shù)據(jù).生成式對抗網(wǎng)絡(generative adversarial network, GAN)模型具有生成數(shù)據(jù)的特點,而Goodfellow等人[9]從理論上證明了當GAN模型收斂時,生成數(shù)據(jù)具有和真實數(shù)據(jù)相同的分布[10].

    基于GAN的這個特點,本文在眾包標注數(shù)據(jù)集中引入GAN模型,以少量專家標注數(shù)據(jù)作為判別器中的真實數(shù)據(jù),以眾包標注數(shù)據(jù)作為生成器所生成的模擬數(shù)據(jù),通過對抗學習,整合出眾包標注數(shù)據(jù)中與真實數(shù)據(jù)分布一致的正樣本數(shù)據(jù)并將其與BiLSTM-Attention-CRF模型相結(jié)合,提出了一種新的模型BiLSTM-Attention-CRF-crowd,該模型由GAN和BiLSTM-Attention-CRF這2個子模型組成.首先,通過GAN模型在給定的眾包標注數(shù)據(jù)集上尋找出標注數(shù)據(jù)的共有特征以整合出最佳的唯一共識標注,解決目前眾包數(shù)據(jù)中質(zhì)量不高的問題;然后使用通過GAN模型所生成的標注數(shù)據(jù)來訓練BiLSTM-Attention-CRF模型進行領域命名實體識別,并引入文檔層面的全局特征向量,通過計算每個單詞與全局向量的關系得出其新的特征表示,以解決同一實體在同一文檔中可能出現(xiàn)的標記不一致問題.

    1 相關工作

    1.1 生成式對抗網(wǎng)絡(GAN)

    相對于在計算機視覺領域的應用,GAN模型在語言處理領域的應用較少,原因在于圖像和視頻數(shù)據(jù)的取值是連續(xù)的,可直接使用梯度下降法對生成器和判別器進行訓練,而文本中的字母、單詞都是離散的,無法直接應用梯度下降法,需要對其進行修改.文獻[11]所提出的TextGAN模型采用一些技巧對離散變量進行處理,例如,采用光滑近似來逼近長短記憶網(wǎng)絡(long short-term memory, LSTM)的離散輸出,并在生成器訓練過程中采用特征匹配技術.由于LSTM 的參數(shù)明顯多于卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)的參數(shù)個數(shù)而更難訓練,TextGAN 的判別器僅在生成器多次更新后才進行一次更新.文獻[12]提出的SeqGAN借鑒強化學習處理離散輸出問題,將判別器輸出的誤差視為強化學習中的獎賞值,并將生成器的訓練過程看作強化學習中的決策過程,應用于詩句、演講文本以及音樂生成.文獻[13]和文獻[14]分別將GAN 應用于開放式對話文本生成和上下文無關語法(context-free grammar, CFG)[10].本文主要借鑒了文獻[11]中對離散變量的處理方法及其進行特征匹配的目標函數(shù).

    1.2 眾包標注數(shù)據(jù)

    文獻[15]提出了一種從多個標簽中進行學習的條件隨機場(conditional random field, CRF)模型,但是CRF可以學習的特征是有限的;文獻[16]所提Dawid&Skene模型假定每一個標注者出現(xiàn)每一類標注錯誤的概率確定,這樣就可以用一個統(tǒng)一的混淆矩陣來描述標注者的標注質(zhì)量,最后通過最大似然估計就可以得到所有的實體標注概率,其中也包括每個實體的正確標注.這屬于比較理想化的情況,在實際應用中,由于眾包數(shù)據(jù)來源的多樣性,很難確定每個標注者的錯誤概率.文獻[17-19]雖然所使用的模型不同,但其本質(zhì)都是對標注者身份進行區(qū)別,將標注正確率較高的標注者身份提取出來,從而提高他們標注的可信度,這樣做確實提高了模型的性能,但是對標注的選取過于依賴某個標注者的可信度.

    1.3 實體標記不一致

    為解決實體標記不一致問題,通常采用基于規(guī)則的后處理方式來強調(diào)標記一致性.如文獻[20]中設置規(guī)則如果某實體在文檔中被NER模型至少標記了2次,則在該文檔中其他位置出現(xiàn)的該實體也被標記同樣的類別.但是這種后處理方式并不一定能改善模型的性能,反而可能會因為實體被錯誤地標記而引入更多的噪聲.此外,文獻[1]和文獻[2]通過使用非本地信息來強調(diào)標簽的一致性從而提高序列模型的性能,但收效并非十分明顯.文獻[21]提出的模型雖然也考慮了文檔層面的特征表示,但該模型應用于化學領域,該領域內(nèi)有很多公開標注的數(shù)據(jù)集可以直接進行使用,無需再考慮領域數(shù)據(jù)缺乏的問題.

    本文所提模型不再對標注者身份進行鑒別,而是利用GAN模型生成數(shù)據(jù)的特點,從眾包標注數(shù)據(jù)集中生成與專家標注數(shù)據(jù)趨于一致的標注數(shù)據(jù),從而解決領域內(nèi)標注數(shù)據(jù)準確率不高的問題.

    2 BiLSTM-Attention-CRF-crowd模型設計

    模型所要完成的任務包括2個方面.子任務1:學習眾包標注數(shù)據(jù)的共有特征,以整合出最優(yōu)的單一共識標注;子任務2:以子任務1所生成的標注數(shù)據(jù)集作為訓練數(shù)據(jù),訓練BiLSTM-Attention-CRF模型進行領域內(nèi)命名實體識別并解決同一文檔內(nèi)同一實體標記不一致問題.模型圖如圖1所示.

    Fig. 1 Model diagram圖1 模型圖

    2.1 基于GAN模型的共同特征學習

    GAN模型以博弈論中二人零和博弈為核心思想.結(jié)構中包含2個模型:生成模型和判別模型,將隨機變量作為生成模型的輸入,經(jīng)過其非線性映射,輸出對應的信號作為判別模型的輸入,由判別模型來判斷該信號來自于真實數(shù)據(jù)的概率.因此,二者的目標是截然相反的,判斷模型的目標是通過最大化對數(shù)似然函數(shù)以判斷信號的來源,而生成模型的目標則是最小化對數(shù)似然函數(shù),使得輸出信號的分布逼近于真實數(shù)據(jù)的分布.

    本文將對抗思想應用于尋找眾包標注數(shù)據(jù)中的共同特征.因此將不再對標注者的標注質(zhì)量進行評價估計,而是利用GAN模型可以生成數(shù)據(jù)的思想,先利用少量的專家標注數(shù)據(jù)訓練出一個判別模型,然后將眾包標注數(shù)據(jù)作為生成模型的輸入,輸出這些數(shù)據(jù)的特征分布傳遞給判別模型,由判別模型來進行判斷生成的特征分布與真實數(shù)據(jù)的特征分布的異同,反復訓練模型并生成數(shù)據(jù),直到最后判別器無法再對二者進行區(qū)別為止,此時判別模型所輸出的結(jié)果即是標注數(shù)據(jù)的共同特征也即是我們要整合出的最優(yōu)單一共識標注.GAN模型如圖1左側(cè)框圖所示,主要由2部分組成:BiLSTM-Attention構成的生成模型以及CNN構成的判別模型.CNN上面的max_pooling層和softmax層主要是對CNN層生成的特征圖進行最大化選擇以及對選擇之后的新特征進行歸一化,以此判斷是否與訓練CNN的專家標注數(shù)據(jù)特征分布一致.

    2.1.1 BiLSTM-Attention生成模型

    (1)

    其中,BiLs作為模型BiLSTM的縮寫.為了獲取到更加重要的特征,此時,在判別模型CNN之前再加上一層Attention機制以獲得新的特征hi:

    (2)

    其中,Wa為模型參數(shù).

    2.1.2 CNN判別模型

    (3)

    其中,Wc為CNN模型參數(shù),在接下來的池化層,我們選用max-over-time pooling[18]的方法選取出最大值hnew:

    (4)

    該池化方法認為具有最高值的特征才是最重要的特征,有效地過濾掉信息量較少的單詞組合,并且可以保證提取的特征與輸入句子的長度無關.

    通過一個softmax層來將特征hnew映射到輸出D(hnew)∈[0,1],以此來判斷輸入特征是否與專家標注數(shù)據(jù)特征分布一致.

    2.1.3 模型目標

    我們采用了文獻[11]中類似特征匹配的方法,設S為專家標注數(shù)據(jù)集,迭代優(yōu)化生成式對抗網(wǎng)絡模型目標函數(shù)為

    minimizing:

    (5)

    minimizing:

    (6)

    (7)

    其中,°表示元素積運算,V是用于計算單詞分布的權重矩陣,We為模型參數(shù),當L→時,該公式近似于BiLSTM的默認輸入向量計算公式.

    2.2 BiLSTM-Attention-CRF子模型

    由于領域內(nèi)實體名稱的多樣性,以單詞特征及句子特征作為特征學習的模型在進行命名實體識別任務時,可能會出現(xiàn)同一實體在同一文檔內(nèi)標記不一致問題.

    子模型BiLSTM-Attention-CRF在經(jīng)典BiLSTM-CRF模型的基礎上加入Attention機制來關注當前實體與文檔中其他所有單詞的相關性,得到該單詞在文檔層面的特征表示,以解決實體標記不一致問題.模型結(jié)構圖如圖1右側(cè)所示.

    (8)

    f(wi,wj)的計算方法如式(2)所示.

    (9)

    單詞wi在Attention層的輸出ci可表示為

    (10)

    將ci傳遞給更上層的CRF作為輸入,這里CRF主要用來預測2個部分:一是計算每個ci對應標簽的得分oi;二是通過轉(zhuǎn)換矩陣T(用于定義2個連續(xù)標簽的分數(shù))和oi采用維比特算法來計算出最佳標注序列,其計算過程為

    oi=Wci,

    (11)

    (12)

    yresult=arg max(score(D,y)),

    (13)

    其中,函數(shù)score()是用來計算輸入文檔D的標簽序列y={y1,y2,…,yN}的分數(shù),yresult是最終輸出的標簽序列的結(jié)果(即BIO標簽),W表示模型參數(shù).

    本文所提出的BiLSTM-Attention-CRF子模型除了可以用于識別新文檔中的實體之外,還可以將其用于眾包標注數(shù)據(jù)集中,對實體進行再次識別以提高眾包標注數(shù)據(jù)集的質(zhì)量.

    3 實驗及結(jié)果分析

    本文的實驗目標主要是從2個方面來驗證BiLSTM-Attention-CRF-crowd模型的有效性,在此我們將基線模型根據(jù)其要比較的任務不同分為2組:1)將本文所提出的模型和第1組基線模型應用在信息安全領域的眾包標注數(shù)據(jù)上,來驗證BiLSTM-Attention-CRF-crowd模型在整合共識標注方面優(yōu)于其他基線模型的能力;2)將本文所提出的模型和第2組基線模型應用在信息安全領域的相關文獻上進行特定實體識別,來驗證BiLSTM-Attention-CRF-crowd模型對同一實體在同一文檔中的標注一致能力,并且對該模型和第2組基線模型在領域命名實體識別任務上的性能做了對比.

    3.1 數(shù)據(jù)來源

    本文實驗所使用的數(shù)據(jù)集主要來自于信息安全領域,包括來自于we live security,threatpost等處的博客文章、CVE(common vulnerabilities and exposures)描述、微軟安全公告以及信息安全類文章摘要,我們從中摘取了10 187條句子(其中連續(xù)段落包括20篇摘要、45篇博客文章、59段CVE描述以及50篇微軟安全公告),將每條句子分配給3個注釋者來完成,以此作為眾包標注數(shù)據(jù)集.標注者只需要從句子中標注出4種類型的命名實體:product,vulnerability,attacker,version.此外,由2名專家來標注其中隨機抽取的1 000條句子,以訓練GAN模型中的判別模型.

    3.2 基線模型分組

    將基線模型分為2組進行實驗.

    第1組.學習眾包標注數(shù)據(jù)的共同特征,我們考慮使用下面2個模型作為比較模型.

    1) 多數(shù)投票(majority vote, MV).即文獻[5]提到的一種方法.

    2) Dawid&Skene模型.即文獻[16]用到的模型.

    第2組.在未標注文本上預測命名實體序列,考慮使用下面4個模型作為比較模型.

    1) BiLSTM-Attention-CRF.即文獻[8]中用到的模型,使用未加處理的標注者標注數(shù)據(jù)直接訓練.

    2) BiLSTM-Attention-CRF-VT.即文獻[8]中用到的模型,使用通過多數(shù)投票法選擇出的可用標注數(shù)據(jù)訓練.

    3) Dawid&Skene-LSTM.即文獻[18]用到的模型.

    4) CRF-MA.即文獻[5]用到的模型,我們使用了該文作者提供的源代碼.

    3.3 實驗結(jié)果評價

    實驗中所采用的評價指標分別為準確率(用P表示)、召回率(用R表示)以及F1值.

    3.3.1 整合眾包標注數(shù)據(jù)模型性能比較

    Fig.2 Performance comparison of models withdifferent types of entities圖2 模型關于不同類型實體的性能對比

    1) 本模型在眾包標注數(shù)據(jù)集中對不同類型實體標注整合性能評價.

    為了驗證本文提出模型對不同類型實體標注上的整合性能,針對3.1節(jié)提出的4種類型實體在眾包標注數(shù)據(jù)集中的整合結(jié)果進行了對比.從圖2中可以看出,BiLSTM-Attention-CRF-crowd模型在類型product和類型version上表現(xiàn)性能較好,主要原因在于類型product表示的類別是產(chǎn)品,一般情況下,這種類型的實體雖然屬于領域內(nèi)實體,但是對于大眾來說認知度比較高,因此標注的準確率相對也比較高;而類型version有相對固定的模式,比如出現(xiàn)在產(chǎn)品名之后,通常用數(shù)字表示,對于這類有固定模式的實體,因為其特征更容易學習,因此模型表現(xiàn)的性能最好.類型vulnerability和類型attacker屬于信息安全領域內(nèi)相對較為專業(yè)的實體類型,在眾包標注數(shù)據(jù)集中標注的準確率較低,并且沒有固定的模式可以遵循,因此性能表現(xiàn)稍弱.

    2) 本模型與其他比較模型的性能比較

    考慮使用各個模型從訓練語料中獲得的正確標注語句的正確率作為評價標準,正確率可計算為

    實驗結(jié)果如表1所示:

    Table 1 Model Performance Comparison表1 模型性能對比表 %

    由表1可以看出,多數(shù)投票(MV)的性能相對較差,這是因為領域的專業(yè)性以及標注者標注水平的高低分布不均,對于一些模糊性的實體識別很難達到統(tǒng)一;本文所提出的模型表現(xiàn)最好,該模型除了可以獲得訓練語料庫中原有的正確標注語句之外,還可以將訓練語料庫中一些原本不正確的標注語句通過反復優(yōu)化之后的生成模型生成與專家標注數(shù)據(jù)特征分布趨于一致的正樣本數(shù)據(jù),并且通過BiLSTM-Attention-CRF子模型的再次提取,提高了訓練語料庫中正確標注語句的正確率.

    3.3.2 領域命名實體識別模型性能比較

    由于本文所提出的模型在進行命名實體識別任務時主要針對同一實體在同一文檔中前后標記的不一致問題,因此我們需要從未標注語料庫中選擇段落或者文檔作為輸入.為保證實驗的客觀性,我們隨機選擇了50篇摘要、20篇博客以及20篇微軟安全公告作為測試語料.

    1) 各模型對實體標注一致性的性能比較

    本文從各文檔中選取出4種信息安全領域內(nèi)比較常見的實體,如表2所示:

    Table 2 Entity Name and Their Abbreviations表2 實體名及對應縮寫表

    由圖3中可以看出BiLSTM-Attention-CRF-crowd模型的性能相對來說要優(yōu)于其他模型,其中以在實體APT和實體IDS上性能表現(xiàn)最為突出,主要原因在于實體APT和實體IDS對應的實體在文檔中出現(xiàn)次數(shù)相對較多,并且通常與整個文檔的內(nèi)容有密切的聯(lián)系,此時通過Attention層所計算出的該單詞與文檔層面全局向量的關系更為密切,從而得出的特征表示更為顯著,此時模型的性能相較于其他模型來說有明顯提高.

    Fig. 3 Model performance comparison圖3 各模型性能比較圖

    2) 各模型對領域內(nèi)命名實體識別綜合性能比較

    由表3可以看出,就正確率而言,直接使用不加處理的眾包標注數(shù)據(jù)作為訓練數(shù)據(jù)所訓練出的BiLSTM-Attention-CRF模型和BiLSTM-Attention-CRF-crowd模型的表現(xiàn)較為出色,這也意味著使用眾包標注數(shù)據(jù)來對NER模型進行訓練確實是可取的,而以多數(shù)投票法選擇語料標注作為訓練數(shù)據(jù)的BiLSTM-Attention-CRF-VT模型以及通過混淆矩陣和最大似然估計來確定正確標注的Dawid&Skene-LSTM模型表現(xiàn)較為平庸.BiLSTM-Attention-CRF-VT模型表現(xiàn)不佳的原因可能是由于信息安全領域內(nèi)文本語句的復雜性和專業(yè)性,很多實體是無法通過投票選取出來的,另外還因為投票選擇所丟掉的上下文信息很可能是重要的,丟掉了這些上下文信息很可能就丟掉了重要的特征信息.Dawid&Skene-LSTM模型則更注重對標注者標注質(zhì)量的估計,但是事實上標注者的標注質(zhì)量通常并非是穩(wěn)定的,會受到各種情況的影響,另外該模型對初始值的設置也并不理想,影響最后結(jié)果收斂到最優(yōu)解.

    Table 3 Comprehensive Performance Evaluation表3 各模型綜合性能評價表 %

    結(jié)合以上實驗,本文所提出的對抗式學習模型BiLSTM-Attention-CRF-crowd的性能要優(yōu)于本文所引用的其他模型,有較為出色的表現(xiàn)能力.

    4 結(jié) 論

    本文的主要工作包括3個方面:1)通過GAN模型在給定的眾包標注數(shù)據(jù)集上尋找出標注數(shù)據(jù)的共有特征以生成最佳的唯一共識標注,解決目前眾包數(shù)據(jù)中準確率不高、標注的不一致性等問題;2)將這些通過GAN模型所生成的注釋數(shù)據(jù)來作為訓練數(shù)據(jù),訓練模型進行命名實體識別任務;3)提出BiLSTM-Attention-CRF-crowd模型解決統(tǒng)一實體在同一文檔中的標注不一致問題.我們在信息安全領域的數(shù)據(jù)集上評估了本文所提出的模型,結(jié)果表明:其性能優(yōu)于本文中所提到的其他作為基線的模型.

    目前,BiLSTM-Attention-CRF-crowd模型主要應用于對名詞及名詞性短語類型的實體進行識別,對于識別領域內(nèi)一些有特殊要求的類型實體,例如安全領域本體UCO[22]中的consequence類,該類別下的實體類型通常為動詞短語(如steal login credentials,control the system等),模型尚待進一步研究.

    猜你喜歡
    文檔實體領域
    有人一聲不吭向你扔了個文檔
    前海自貿(mào)區(qū):金融服務實體
    中國外匯(2019年18期)2019-11-25 01:41:54
    領域·對峙
    青年生活(2019年23期)2019-09-10 12:55:43
    實體的可感部分與實體——兼論亞里士多德分析實體的兩種模式
    哲學評論(2017年1期)2017-07-31 18:04:00
    兩會進行時:緊扣實體經(jīng)濟“釘釘子”
    振興實體經(jīng)濟地方如何“釘釘子”
    基于RI碼計算的Word復制文檔鑒別
    Persistence of the reproductive toxicity of chlorpiryphos-ethyl in male Wistar rat
    新常態(tài)下推動多層次多領域依法治理初探
    肯定與質(zhì)疑:“慕課”在基礎教育領域的應用
    在线观看美女被高潮喷水网站 | 亚洲专区字幕在线| 夜夜夜夜夜久久久久| 日本在线视频免费播放| 啦啦啦观看免费观看视频高清| 精品国产乱子伦一区二区三区| 中文字幕av在线有码专区| 亚洲欧美精品综合一区二区三区| 手机成人av网站| 丁香六月欧美| 淫妇啪啪啪对白视频| 一级毛片精品| 亚洲午夜精品一区,二区,三区| 日日摸夜夜添夜夜添小说| 亚洲美女视频黄频| 巨乳人妻的诱惑在线观看| 一a级毛片在线观看| 国产av在哪里看| 免费av毛片视频| 999精品在线视频| e午夜精品久久久久久久| 精品一区二区三区视频在线 | 国产亚洲av嫩草精品影院| 免费人成视频x8x8入口观看| 视频区欧美日本亚洲| 国产精品av久久久久免费| 在线观看美女被高潮喷水网站 | 久久伊人香网站| 久久久久久久久中文| 非洲黑人性xxxx精品又粗又长| 亚洲aⅴ乱码一区二区在线播放| 久久久久久久午夜电影| 成年女人永久免费观看视频| 天堂√8在线中文| 露出奶头的视频| 亚洲欧美日韩卡通动漫| 麻豆av在线久日| 欧美激情在线99| 日本a在线网址| 中国美女看黄片| 国产成人aa在线观看| 女警被强在线播放| 欧美成人免费av一区二区三区| 怎么达到女性高潮| 无限看片的www在线观看| 曰老女人黄片| 又黄又粗又硬又大视频| 国产精品乱码一区二三区的特点| 欧美日韩综合久久久久久 | 少妇熟女aⅴ在线视频| 色综合婷婷激情| 一区二区三区国产精品乱码| 岛国在线观看网站| 黄色 视频免费看| 国产又色又爽无遮挡免费看| 国产精品久久久久久精品电影| 午夜a级毛片| 国产高清视频在线观看网站| 亚洲国产欧洲综合997久久,| 欧美日韩中文字幕国产精品一区二区三区| 天天添夜夜摸| 综合色av麻豆| 日本a在线网址| 丝袜人妻中文字幕| 成年免费大片在线观看| 桃色一区二区三区在线观看| 亚洲欧美精品综合久久99| 真人做人爱边吃奶动态| 少妇熟女aⅴ在线视频| 日韩精品青青久久久久久| 国产欧美日韩精品亚洲av| 亚洲一区二区三区不卡视频| 国产成人精品久久二区二区免费| 99国产精品一区二区三区| 亚洲午夜精品一区,二区,三区| 亚洲精品在线美女| 女人高潮潮喷娇喘18禁视频| www.自偷自拍.com| 欧美在线黄色| 亚洲精品国产精品久久久不卡| 在线观看午夜福利视频| 很黄的视频免费| 特大巨黑吊av在线直播| 国产精品野战在线观看| 国产精品99久久99久久久不卡| 免费无遮挡裸体视频| 色哟哟哟哟哟哟| avwww免费| 国产高清视频在线观看网站| 日韩欧美免费精品| 久久午夜亚洲精品久久| 很黄的视频免费| 99久国产av精品| 最近最新中文字幕大全电影3| 国产在线精品亚洲第一网站| 免费看十八禁软件| 女人被狂操c到高潮| 国产伦精品一区二区三区四那| 国产伦一二天堂av在线观看| 女同久久另类99精品国产91| 国产三级中文精品| 亚洲国产精品999在线| 无遮挡黄片免费观看| 美女大奶头视频| 美女高潮喷水抽搐中文字幕| 久久精品91无色码中文字幕| 美女 人体艺术 gogo| 国内久久婷婷六月综合欲色啪| 伦理电影免费视频| 小蜜桃在线观看免费完整版高清| 午夜福利在线观看免费完整高清在 | 免费观看精品视频网站| 成人高潮视频无遮挡免费网站| 日韩欧美国产一区二区入口| 他把我摸到了高潮在线观看| 听说在线观看完整版免费高清| 熟女人妻精品中文字幕| 国产在线精品亚洲第一网站| 999久久久精品免费观看国产| 婷婷精品国产亚洲av在线| 亚洲av美国av| 男插女下体视频免费在线播放| 亚洲色图 男人天堂 中文字幕| 久久这里只有精品19| 日本黄色片子视频| 久久久久久久久免费视频了| 国产精品一区二区精品视频观看| 午夜福利在线观看免费完整高清在 | 变态另类成人亚洲欧美熟女| 村上凉子中文字幕在线| 国产精品久久久久久精品电影| 久久中文字幕人妻熟女| av视频在线观看入口| 色精品久久人妻99蜜桃| 熟女人妻精品中文字幕| 成人18禁在线播放| 国产成+人综合+亚洲专区| 一区二区三区高清视频在线| 亚洲成人中文字幕在线播放| 午夜免费观看网址| 久久久久久久午夜电影| 麻豆av在线久日| 无人区码免费观看不卡| 国产精品 欧美亚洲| 国产又黄又爽又无遮挡在线| 在线观看舔阴道视频| 国产精品98久久久久久宅男小说| 久久国产乱子伦精品免费另类| 日韩欧美三级三区| 国产精品自产拍在线观看55亚洲| 观看美女的网站| 国产真实乱freesex| 久久久久久久久免费视频了| 亚洲无线观看免费| 亚洲精品一卡2卡三卡4卡5卡| 亚洲无线观看免费| 亚洲国产高清在线一区二区三| 国产成人福利小说| 免费看日本二区| 变态另类成人亚洲欧美熟女| or卡值多少钱| 日本在线视频免费播放| 亚洲真实伦在线观看| 精品国产乱码久久久久久男人| 老司机福利观看| 超碰成人久久| 男女床上黄色一级片免费看| 首页视频小说图片口味搜索| 色老头精品视频在线观看| 五月玫瑰六月丁香| 色视频www国产| 欧美精品啪啪一区二区三区| 99在线人妻在线中文字幕| 精品无人区乱码1区二区| 日韩精品中文字幕看吧| 亚洲激情在线av| 成人午夜高清在线视频| 亚洲成av人片免费观看| 美女扒开内裤让男人捅视频| 国产熟女xx| 国产精品久久久久久亚洲av鲁大| 免费搜索国产男女视频| 中文字幕av在线有码专区| 久久国产乱子伦精品免费另类| 色精品久久人妻99蜜桃| 久久精品国产综合久久久| 99久久精品热视频| 亚洲成a人片在线一区二区| 成年版毛片免费区| 久久中文字幕人妻熟女| 九色国产91popny在线| 久久欧美精品欧美久久欧美| 麻豆av在线久日| 精品久久久久久久人妻蜜臀av| 天天躁狠狠躁夜夜躁狠狠躁| 青草久久国产| 少妇熟女aⅴ在线视频| 亚洲av免费在线观看| 国产97色在线日韩免费| av在线蜜桃| 久久中文字幕人妻熟女| 国内精品久久久久精免费| 久久国产乱子伦精品免费另类| 一边摸一边抽搐一进一小说| 香蕉久久夜色| 哪里可以看免费的av片| 国产激情久久老熟女| 亚洲中文字幕一区二区三区有码在线看 | av片东京热男人的天堂| 一区二区三区激情视频| 国产伦人伦偷精品视频| 国产精品野战在线观看| 亚洲av免费在线观看| 日本黄色片子视频| 欧美三级亚洲精品| av在线蜜桃| 亚洲乱码一区二区免费版| 欧美日韩中文字幕国产精品一区二区三区| 又大又爽又粗| av黄色大香蕉| 日韩成人在线观看一区二区三区| 99精品久久久久人妻精品| 亚洲自偷自拍图片 自拍| 精品乱码久久久久久99久播| 午夜福利成人在线免费观看| 97碰自拍视频| 两性夫妻黄色片| 国产亚洲精品av在线| 日本 av在线| 真人一进一出gif抽搐免费| 好看av亚洲va欧美ⅴa在| 国产精品久久久人人做人人爽| 国产精品美女特级片免费视频播放器 | 国产精品一区二区三区四区久久| 成人三级做爰电影| 伊人久久大香线蕉亚洲五| 母亲3免费完整高清在线观看| 一级毛片女人18水好多| 亚洲美女视频黄频| 色综合欧美亚洲国产小说| 精品国产超薄肉色丝袜足j| 俄罗斯特黄特色一大片| 脱女人内裤的视频| 久久精品国产清高在天天线| 中出人妻视频一区二区| 男人舔女人的私密视频| 青草久久国产| 一二三四在线观看免费中文在| 国产亚洲欧美在线一区二区| 啦啦啦观看免费观看视频高清| 18禁黄网站禁片免费观看直播| 禁无遮挡网站| 欧美精品啪啪一区二区三区| 99国产综合亚洲精品| 高潮久久久久久久久久久不卡| 久久国产乱子伦精品免费另类| 亚洲国产色片| 日本成人三级电影网站| 51午夜福利影视在线观看| 一级毛片精品| 天堂动漫精品| 国产精品永久免费网站| 男女下面进入的视频免费午夜| 99久久国产精品久久久| 人妻夜夜爽99麻豆av| 免费人成视频x8x8入口观看| 老司机深夜福利视频在线观看| 老汉色av国产亚洲站长工具| 观看免费一级毛片| 久久99热这里只有精品18| 两人在一起打扑克的视频| 久久精品91蜜桃| 搡老妇女老女人老熟妇| 久久精品国产综合久久久| 国产欧美日韩精品亚洲av| 国产成人啪精品午夜网站| www.自偷自拍.com| 99精品久久久久人妻精品| 亚洲人成网站在线播放欧美日韩| 亚洲欧美日韩卡通动漫| 特级一级黄色大片| 久久久精品欧美日韩精品| 制服人妻中文乱码| 久久精品国产亚洲av香蕉五月| 亚洲成a人片在线一区二区| 亚洲一区二区三区色噜噜| 亚洲国产精品成人综合色| 亚洲成av人片在线播放无| 在线永久观看黄色视频| 免费看日本二区| 12—13女人毛片做爰片一| 天天躁日日操中文字幕| 日韩国内少妇激情av| 天天添夜夜摸| 亚洲av片天天在线观看| 亚洲熟妇中文字幕五十中出| 欧洲精品卡2卡3卡4卡5卡区| 日韩 欧美 亚洲 中文字幕| 无人区码免费观看不卡| 国内精品美女久久久久久| 狠狠狠狠99中文字幕| 脱女人内裤的视频| 亚洲国产欧洲综合997久久,| 级片在线观看| 久久亚洲精品不卡| 91麻豆av在线| 亚洲自拍偷在线| 99精品久久久久人妻精品| 在线观看免费视频日本深夜| 午夜福利在线观看吧| 99久久99久久久精品蜜桃| 99精品欧美一区二区三区四区| 中出人妻视频一区二区| 国产野战对白在线观看| 非洲黑人性xxxx精品又粗又长| 两个人的视频大全免费| 这个男人来自地球电影免费观看| 757午夜福利合集在线观看| 欧美性猛交黑人性爽| 国产精品一区二区免费欧美| 国产精品av视频在线免费观看| aaaaa片日本免费| 国产精品综合久久久久久久免费| 国产淫片久久久久久久久 | xxx96com| 色综合亚洲欧美另类图片| 国产激情久久老熟女| 在线视频色国产色| 又爽又黄无遮挡网站| 999久久久国产精品视频| 国产成人影院久久av| 亚洲精品一卡2卡三卡4卡5卡| 18禁美女被吸乳视频| 亚洲av成人一区二区三| 国产一区二区在线av高清观看| 国产 一区 欧美 日韩| 亚洲国产看品久久| 欧美日韩亚洲国产一区二区在线观看| 美女大奶头视频| 中文字幕精品亚洲无线码一区| 国产99白浆流出| 性色avwww在线观看| 白带黄色成豆腐渣| 久久久久久久精品吃奶| 岛国在线观看网站| 色综合站精品国产| 色综合欧美亚洲国产小说| 成人性生交大片免费视频hd| 欧美成人性av电影在线观看| 一卡2卡三卡四卡精品乱码亚洲| 欧美日本视频| 999精品在线视频| 亚洲精品美女久久av网站| 老司机午夜福利在线观看视频| 国内少妇人妻偷人精品xxx网站 | 久久香蕉精品热| 国产成人精品无人区| 在线观看舔阴道视频| 国产一区二区激情短视频| 真实男女啪啪啪动态图| 日本精品一区二区三区蜜桃| 国产综合懂色| 黄色女人牲交| 亚洲国产精品久久男人天堂| 国产又色又爽无遮挡免费看| 国产单亲对白刺激| 在线观看66精品国产| 久久久久亚洲av毛片大全| 精品福利观看| 一进一出好大好爽视频| 免费观看人在逋| 婷婷丁香在线五月| 在线十欧美十亚洲十日本专区| 欧美在线黄色| 国产成人影院久久av| 99久久精品一区二区三区| 黄色 视频免费看| 亚洲欧美精品综合一区二区三区| 黄色 视频免费看| 岛国在线免费视频观看| 岛国在线观看网站| 啪啪无遮挡十八禁网站| 欧美日韩综合久久久久久 | 欧美日韩福利视频一区二区| 黄色 视频免费看| 毛片女人毛片| 国产午夜福利久久久久久| 性色avwww在线观看| 精品福利观看| 18禁裸乳无遮挡免费网站照片| 欧美激情久久久久久爽电影| 欧美成人性av电影在线观看| 国产精品国产高清国产av| 噜噜噜噜噜久久久久久91| 国产伦精品一区二区三区四那| 女生性感内裤真人,穿戴方法视频| 日日夜夜操网爽| 国产av不卡久久| 可以在线观看毛片的网站| 国产一区二区在线av高清观看| 啦啦啦韩国在线观看视频| 亚洲熟妇熟女久久| 看片在线看免费视频| 日韩三级视频一区二区三区| 一区二区三区国产精品乱码| 免费看美女性在线毛片视频| 亚洲国产精品合色在线| 久久精品91无色码中文字幕| 色哟哟哟哟哟哟| 午夜精品久久久久久毛片777| 亚洲专区中文字幕在线| 女警被强在线播放| 最好的美女福利视频网| 99久久综合精品五月天人人| 99久久精品热视频| 日韩大尺度精品在线看网址| 国产av不卡久久| 色综合婷婷激情| 99国产综合亚洲精品| 少妇熟女aⅴ在线视频| 亚洲aⅴ乱码一区二区在线播放| 成年版毛片免费区| 欧美乱妇无乱码| 不卡一级毛片| 国产成人一区二区三区免费视频网站| 日本五十路高清| 国产精品亚洲av一区麻豆| 少妇丰满av| 国产av一区在线观看免费| 免费电影在线观看免费观看| 国产在线精品亚洲第一网站| 国产精品日韩av在线免费观看| 亚洲av成人一区二区三| 91在线精品国自产拍蜜月 | 色噜噜av男人的天堂激情| 国产成人啪精品午夜网站| 日韩欧美一区二区三区在线观看| 精品久久久久久久久久免费视频| 久久久水蜜桃国产精品网| 毛片女人毛片| 亚洲电影在线观看av| 一本一本综合久久| 麻豆久久精品国产亚洲av| 俺也久久电影网| 一区二区三区激情视频| 男人和女人高潮做爰伦理| 一区二区三区高清视频在线| 成年免费大片在线观看| 国产又色又爽无遮挡免费看| 国产精品 欧美亚洲| 色综合亚洲欧美另类图片| 久久人妻av系列| 亚洲精品国产精品久久久不卡| 中文字幕高清在线视频| 久久中文字幕一级| 在线十欧美十亚洲十日本专区| 色精品久久人妻99蜜桃| 日本黄色视频三级网站网址| 99在线视频只有这里精品首页| 日韩免费av在线播放| 免费在线观看成人毛片| 巨乳人妻的诱惑在线观看| 校园春色视频在线观看| 黄色女人牲交| 男女那种视频在线观看| 欧美一区二区国产精品久久精品| 日韩国内少妇激情av| 99国产精品一区二区蜜桃av| 在线观看66精品国产| 成年人黄色毛片网站| 久久欧美精品欧美久久欧美| 久久久久国产一级毛片高清牌| 国产又色又爽无遮挡免费看| 色尼玛亚洲综合影院| 国产精品免费一区二区三区在线| 国产精品电影一区二区三区| 嫩草影院精品99| 无限看片的www在线观看| 欧美成人性av电影在线观看| 99视频精品全部免费 在线 | 午夜a级毛片| 国产高清videossex| 97超视频在线观看视频| 亚洲午夜理论影院| 两个人视频免费观看高清| 国产精品99久久99久久久不卡| 这个男人来自地球电影免费观看| 日韩欧美 国产精品| 在线看三级毛片| 亚洲成人精品中文字幕电影| 人妻久久中文字幕网| 国产蜜桃级精品一区二区三区| 最新美女视频免费是黄的| 久久久水蜜桃国产精品网| 亚洲国产日韩欧美精品在线观看 | 狂野欧美激情性xxxx| av欧美777| www.熟女人妻精品国产| 精品乱码久久久久久99久播| 少妇的逼水好多| 亚洲欧美日韩卡通动漫| 亚洲精品在线美女| 成人av在线播放网站| 97碰自拍视频| 欧美极品一区二区三区四区| 亚洲av免费在线观看| 看片在线看免费视频| 一个人免费在线观看电影 | 国产成人av教育| 久久久国产欧美日韩av| 国产高清videossex| 久久精品综合一区二区三区| 亚洲最大成人中文| 亚洲色图 男人天堂 中文字幕| 久久久久亚洲av毛片大全| 国产成人啪精品午夜网站| 亚洲国产欧洲综合997久久,| 特级一级黄色大片| 久久久久九九精品影院| 久久欧美精品欧美久久欧美| 成人18禁在线播放| 麻豆国产97在线/欧美| 成人高潮视频无遮挡免费网站| 国产成人影院久久av| 人人妻,人人澡人人爽秒播| 99久国产av精品| 亚洲18禁久久av| 香蕉久久夜色| 久久天躁狠狠躁夜夜2o2o| 一区二区三区高清视频在线| 亚洲avbb在线观看| 欧美黑人欧美精品刺激| 91在线观看av| 色精品久久人妻99蜜桃| 嫩草影视91久久| 校园春色视频在线观看| 变态另类丝袜制服| 国产乱人伦免费视频| 好男人在线观看高清免费视频| 久久国产乱子伦精品免费另类| 国产在线精品亚洲第一网站| 天天添夜夜摸| av福利片在线观看| 国产视频内射| 免费av毛片视频| 真人做人爱边吃奶动态| 一个人观看的视频www高清免费观看 | 黄频高清免费视频| 亚洲欧美日韩东京热| 成年人黄色毛片网站| 美女免费视频网站| 久久午夜综合久久蜜桃| 淫秽高清视频在线观看| 变态另类成人亚洲欧美熟女| 99热6这里只有精品| 国产高清激情床上av| 在线国产一区二区在线| 欧美成人一区二区免费高清观看 | 欧美国产日韩亚洲一区| or卡值多少钱| 久久精品91蜜桃| 久久久久国产一级毛片高清牌| 老汉色av国产亚洲站长工具| 黄色片一级片一级黄色片| 大型黄色视频在线免费观看| aaaaa片日本免费| 一级a爱片免费观看的视频| 美女扒开内裤让男人捅视频| 一进一出好大好爽视频| 午夜精品一区二区三区免费看| 精品久久久久久久毛片微露脸| 99国产精品一区二区三区| 一边摸一边抽搐一进一小说| 国产亚洲av高清不卡| 后天国语完整版免费观看| 午夜视频精品福利| 热99re8久久精品国产| 男女午夜视频在线观看| 老司机午夜福利在线观看视频| 国产一区二区在线观看日韩 | 99热6这里只有精品| 欧美日本亚洲视频在线播放| 成年女人毛片免费观看观看9| 国产成人系列免费观看| 久久久久精品国产欧美久久久| 91麻豆精品激情在线观看国产| 给我免费播放毛片高清在线观看| 欧美国产日韩亚洲一区| 日韩欧美三级三区| 淫妇啪啪啪对白视频| 亚洲精品粉嫩美女一区| 成人欧美大片| a级毛片a级免费在线| 欧美日韩国产亚洲二区| 免费观看人在逋| 国产毛片a区久久久久| 69av精品久久久久久| 国产精品98久久久久久宅男小说| 久久久久九九精品影院| 男女午夜视频在线观看| 两个人看的免费小视频| 久久中文字幕一级| 我的老师免费观看完整版| 老司机福利观看| 九色成人免费人妻av| 亚洲av五月六月丁香网| 很黄的视频免费| 88av欧美| 欧美不卡视频在线免费观看| 99热6这里只有精品| 亚洲av免费在线观看| 欧美日韩精品网址| 两人在一起打扑克的视频| 床上黄色一级片| 国产精品98久久久久久宅男小说|