• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向時鐘領(lǐng)域的BERT-LCRF命名實(shí)體識別方法

    2022-09-21 05:38:10唐煥玲趙紅磊竇全勝魯明羽
    關(guān)鍵詞:模型

    唐煥玲,王 慧,隗 昊,趙紅磊,竇全勝,魯明羽

    1.山東工商學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 煙臺264005

    2.山東工商學(xué)院 信息與電子工程學(xué)院,山東 煙臺264005

    3.山東省高等學(xué)校協(xié)同創(chuàng)新中心:未來智能計(jì)算,山東 煙臺264005

    4.山東省高校智能信息處理重點(diǎn)實(shí)驗(yàn)室(山東工商學(xué)院),山東 煙臺264005

    5.大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院,遼寧 大連116026

    知識圖譜(knowledge graph,KG)是一種用圖模型來描述知識和建模世間萬物之間關(guān)聯(lián)關(guān)系的技術(shù)方法,可分為通用知識圖譜和領(lǐng)域知識圖譜兩種。通用知識圖譜主要應(yīng)用于語義搜索、推薦系統(tǒng)、智能問答等業(yè)務(wù)場景,并發(fā)揮著越來越重要的作用。而領(lǐng)域知識圖譜是基于行業(yè)數(shù)據(jù)構(gòu)建,由于知識來源多、知識結(jié)構(gòu)復(fù)雜、知識質(zhì)量要求更高等特點(diǎn),在解決行業(yè)痛點(diǎn)時,存在對知識圖譜利用不明晰、知識圖譜技術(shù)與行業(yè)難融合等問題。如面向時鐘領(lǐng)域,用戶越來越復(fù)雜,用戶無法將自己的需求用專業(yè)術(shù)語表達(dá),進(jìn)而導(dǎo)致需求頻繁更改、項(xiàng)目延期。同時,傳統(tǒng)售后服務(wù)不能快速識別、理解和解決用戶的售后問題。因此,迫切需要面向時鐘領(lǐng)域構(gòu)建垂直知識圖譜,輔助語言理解和數(shù)據(jù)分析。而命名實(shí)體識別是時鐘領(lǐng)域知識圖譜構(gòu)建過程中的基礎(chǔ)和關(guān)鍵環(huán)節(jié),其目標(biāo)是從海量的文本中識別出具有特定意義的實(shí)體。

    主流的命名實(shí)體識別方法是基于深度學(xué)習(xí)的方法,通常是將實(shí)體識別任務(wù)轉(zhuǎn)化為序列標(biāo)注任務(wù)。而目前沒有針對時鐘領(lǐng)域命名實(shí)體識別的研究,由于時鐘領(lǐng)域的標(biāo)簽數(shù)據(jù)匱乏,現(xiàn)有的方法直接應(yīng)用于時鐘領(lǐng)域,存在實(shí)體識別精度不高的問題。

    本文針對時鐘領(lǐng)域?qū)嶓w識別中的問題,提出一種新的命名實(shí)體識別模型BERT-LCRF,該模型利用預(yù)訓(xùn)練語言模型BERT能夠提取時鐘領(lǐng)域的文本特征,利用線性鏈條件隨機(jī)場(Linear-CRF)進(jìn)一步提高實(shí)體識別的精度。在時鐘行業(yè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型在各項(xiàng)指標(biāo)上顯著優(yōu)于其他命名實(shí)體識別方法。BERTLCRF 命名實(shí)體識別方法,能夠更好地獲取句子間的語義關(guān)系,并且能夠提高序列標(biāo)注任務(wù)的精度,對構(gòu)建時鐘領(lǐng)域知識圖譜有著積極的促進(jìn)作用。

    1 相關(guān)工作

    命名實(shí)體識別發(fā)展至今,主要有基于規(guī)則和詞典的方法、基于統(tǒng)計(jì)的方法和基于深度學(xué)習(xí)的方法,其中基于深度學(xué)習(xí)的方法可以自動學(xué)習(xí)適合領(lǐng)域的特征,獲取多層次的表達(dá),因此在命名實(shí)體識別方向有著廣泛的使用。

    1.1 基于規(guī)則和字典的方法

    基于規(guī)則和字典的方法主要是采用模式字符串匹配的實(shí)現(xiàn)方式,使用人手工構(gòu)造的特征模版。該方法的不足之處在于模型的可移植性差,單一語料訓(xùn)練好的特征模板不適用于任意語料;其次,構(gòu)建模板時花費(fèi)的時間成本較大,它依賴語言學(xué)專家書寫規(guī)則,或者需要收集整理相關(guān)詞典等資源。因此,該方法存在系統(tǒng)可移植性不好,代價大,系統(tǒng)建設(shè)周期長等問題。

    1.2 基于統(tǒng)計(jì)的方法

    基于統(tǒng)計(jì)的方法依賴于特征選擇,對實(shí)體識別結(jié)果有影響的各種特征需要從文本中選取,用統(tǒng)計(jì)的模型對選出的特征進(jìn)行訓(xùn)練,從而得到各模型的參數(shù),進(jìn)而對實(shí)體進(jìn)行識別。有學(xué)者采用基于詞匯資源、模板的統(tǒng)計(jì)信息等進(jìn)行上下文聚類的方式[1-3];也有學(xué)者使用少量標(biāo)注的種子數(shù)據(jù)作為開始,再去無監(jiān)督語料中進(jìn)行訓(xùn)練,迭代后發(fā)現(xiàn)符合規(guī)則的實(shí)體[4-7]?;诮y(tǒng)計(jì)的方法主要是在標(biāo)注訓(xùn)練數(shù)據(jù)集上,利用模型來抽取數(shù)據(jù)集中的特征,對訓(xùn)練數(shù)據(jù)集以外的數(shù)據(jù)進(jìn)行實(shí)體抽取。常用的識別模型有馬爾可夫模型(hidden Markov model,HMM)[8]、支持向量機(jī)(support vector machine,SVM)[9]、條件隨機(jī)場(CRF)[10]等。有監(jiān)督學(xué)習(xí)雖然有優(yōu)勢并且能夠有效處理海量的數(shù)據(jù),但是其不足之處在于,第一,模型的訓(xùn)練需要大量的人工標(biāo)注語料、代價高;第二,有監(jiān)督學(xué)習(xí)的識別效果依賴特征工程選取的特征,因此如何選取反映實(shí)體特性的特征集合,對于模型來說至關(guān)重要。

    1.3 基于深度學(xué)習(xí)的方法

    目前,深度學(xué)習(xí)算法在自然語言處理領(lǐng)域已經(jīng)得到了大規(guī)模的應(yīng)用,在命名實(shí)體識別領(lǐng)域,基于深度學(xué)習(xí)的方法已經(jīng)成為主流。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)等時序網(wǎng)絡(luò)模型,在文本序列標(biāo)注中表現(xiàn)出良好的效果,神經(jīng)網(wǎng)絡(luò)模型的輸入分為字粒度、詞粒度和句子粒度,通過學(xué)習(xí)嵌入模型以向量的形式表示,輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行編碼,然后通過條件隨機(jī)場模型對編碼的數(shù)據(jù)進(jìn)行解碼,得到全局最優(yōu)的標(biāo)注序列。為了解決RNN 中梯度消失和梯度爆炸問題,研究學(xué)者又提出了一種長短期記憶網(wǎng)絡(luò)模型(long shortterm memory,LSTM)[11],這種改進(jìn)的時序網(wǎng)絡(luò)模型適用于命名實(shí)體識別任務(wù),具有較大的優(yōu)勢。Huang 等人[12]提出了雙向長短期記憶網(wǎng)絡(luò)(bidirectional long shortterm memory,BiLSTM)和條件隨機(jī)場(CRF)架構(gòu)用于自然語言處理序列標(biāo)注任務(wù),將拼寫特征、內(nèi)容特征、詞向量作為神經(jīng)網(wǎng)絡(luò)的輸入,該論文將模型用于命名實(shí)體識別任務(wù)中獲得了先進(jìn)水平。2018 年,由Google 的研究人員Devlin等人[13]提出的BERT模型采用Transformer編碼和自注意力機(jī)制對大規(guī)模語料進(jìn)行訓(xùn)練,得到了表征能力強(qiáng)的預(yù)訓(xùn)練字向量。李明揚(yáng)等人[14]在BiLSTMCRF模型的基礎(chǔ)上引入自注意力機(jī)制,豐富了文本的特征,在微博語料庫中達(dá)到58.76%的效果。李博等人[15]針對中文電子病歷命名實(shí)體識別傳統(tǒng)模型識別效果不佳的問題,提出一種完全基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型,對Transformer模型進(jìn)行訓(xùn)練優(yōu)化以提取文本特征;利用條件隨機(jī)場對提取到的文本特征進(jìn)行分類識別,具有較好的識別效果。

    楊培等人[16]利用BiLSTM 學(xué)習(xí)字符向量,隨后將詞向量和字符向量再經(jīng)過另一個BiLSTM 以獲得詞的上下文表示,然后再利用Attention機(jī)制獲得詞在全文范圍下的上下文表示,最后利用CRF層得到整篇文章的標(biāo)簽序列。Kuru 等人[17]提出的一種基于字符級別的命名實(shí)體識別標(biāo)注模型及標(biāo)注模式,該方法能更好地捕獲詞組的形態(tài)學(xué)特征,同時又可以避免出現(xiàn)未登陸的詞(OOV)情況。Zhang 等人[18]采用Lattice LSTM 模型進(jìn)行實(shí)體識別,該模型對輸入字符序列以及與詞典匹配的所有潛在單詞進(jìn)行編碼,供模型自動取用,相比于字符級的編碼,Lattice LSTM 能夠獲取更豐富的語義;相比于詞序列的編碼,Lattice LSTM能夠避免分詞錯誤帶來的影響。

    但在特定的時鐘領(lǐng)域的實(shí)體識別方法還存在一些難點(diǎn)問題:(1)時鐘行業(yè)內(nèi)數(shù)據(jù)類型眾多,存儲格式不統(tǒng)一,并且信息實(shí)體之間大部分不是直接連接的。信息實(shí)體與通用的命名實(shí)體也是不一致的,需要對概念實(shí)體進(jìn)行重新定義。(2)時鐘領(lǐng)域缺乏足夠多的標(biāo)注數(shù)據(jù),人工標(biāo)注的成本很高,需要耗費(fèi)大量的時間以及精力,并且實(shí)體標(biāo)注難度大。目前并無學(xué)者對時鐘領(lǐng)域的命名實(shí)體識別進(jìn)行探索,時鐘領(lǐng)域也沒有公開的大規(guī)模的帶標(biāo)簽的數(shù)據(jù)集。因此,本文針對時鐘領(lǐng)域的命名實(shí)體識別問題,提出了一種結(jié)合BERT和Linear-CRF的時鐘領(lǐng)域命名實(shí)體識別模型,記作BERT-LCRF。

    2 BERT-LCRF時鐘領(lǐng)域命名實(shí)體識別模型

    2.1 問題描述

    面向時鐘領(lǐng)域的命名實(shí)體識別方法,其目標(biāo)是從時鐘行業(yè)的文檔中識別出與時鐘行業(yè)相關(guān)的實(shí)體,并將他們歸類到預(yù)先定義好的實(shí)體類別中。

    首先根據(jù)收集的時鐘領(lǐng)域的各種文檔,分析時鐘領(lǐng)域的專業(yè)術(shù)語和概念,預(yù)先定義時鐘領(lǐng)域的實(shí)體類別集合C={c1,c2,…,cm}。根據(jù)時鐘領(lǐng)域的文本特點(diǎn)和實(shí)體類別集合C,采用BIO 標(biāo)注策略,定義實(shí)體標(biāo)簽集合L。令B代表Beginning,標(biāo)注實(shí)體的起始部分,I代表Inside,標(biāo)注實(shí)體的中間部分,O 代表Outside,標(biāo)注與實(shí)體無關(guān)的信息,實(shí)體標(biāo)簽集合L={l1,l2,…,lk}。面向時鐘領(lǐng)域的命名實(shí)體識別問題可以轉(zhuǎn)換為序列標(biāo)注問題,輸入句子的字序列,預(yù)測輸出其實(shí)體標(biāo)簽序列。

    面向時鐘領(lǐng)域命名實(shí)體識別任務(wù)是:

    訓(xùn)練階段:對給定時鐘領(lǐng)域訓(xùn)練樣本集X和實(shí)體標(biāo)簽序列空間Y,訓(xùn)練生成:

    其中,hBERT-LCRF是本文面向時鐘領(lǐng)域提出的一種基于BERT和線性鏈條件隨機(jī)場(Linear-CRF)的命名實(shí)體識別模型,框架如圖1 所示。hBERT-LCRF的目標(biāo)函數(shù)是最大化如式(2)的對數(shù)似然。

    測試階段:對任意句子x=(x1,x2,…,xn),預(yù)測實(shí)體標(biāo)簽序列為:

    其中,hBERT-LCRF是訓(xùn)練好的命名實(shí)體識別訓(xùn)練模型。∈L,是對x預(yù)測的實(shí)體標(biāo)簽序列。

    如圖1所示,BERT-LCRF的時鐘領(lǐng)域命名實(shí)體識別模型由BERT層、Linear-CRF層組成。其中,BERT層是特征提取層,實(shí)現(xiàn)特征提取的功能。Linear-CRF層是基于Linear-CRF 的序列標(biāo)注層,實(shí)現(xiàn)序列標(biāo)注的功能。BERT層和Linear-CRF層將在2.2~2.4節(jié)詳細(xì)描述。

    圖1 BERT-LCRF的模型結(jié)構(gòu)圖Fig.1 BERT-LCRF model structure diagram

    2.2 BERT預(yù)訓(xùn)練語言模型

    BERT 模型[13]是從語料中學(xué)習(xí),并充分考慮語料中句子級、詞語級和字符級之間的關(guān)系特征,增強(qiáng)字向量的語義表示。BERT 的結(jié)構(gòu)如圖2 所示,其最大的特點(diǎn)是拋棄循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN),采用多層的Transformer結(jié)構(gòu)。

    圖2 BERT模型結(jié)構(gòu)Fig.2 BERT model structure

    如圖2所示,BERT的輸入是n個字序列,經(jīng)過BERT嵌入層(embedding),表示成字編碼向量(e1,e2,…,en),輸出是(t1,t2,…,tn),表示n個字的得分概率向量。

    為融合字左右兩側(cè)的上下文,BERT 采用多個雙向Transformer 作為編碼器,即圖2 中的Trm。通過Transformer 中的注意力機(jī)制將任意位置的兩個單詞的距離轉(zhuǎn)換,反映各個字之間的相關(guān)程度,從而使輸出的各個字向量都充分融合了上下文的信息,解決了一詞多義的問題。BERT 模型具有很好的并行計(jì)算能力,且能夠捕獲長距離的特征。

    2.3 Linear-CRF模型

    條件隨機(jī)場(condition random field,CRF)模型是一種用于標(biāo)注和切分有序數(shù)據(jù)的條件概率模型,該模型結(jié)合了隱馬爾可夫和最大熵模型的優(yōu)點(diǎn)。

    假設(shè)x=(x1,x2,…,xn),y=(y1,y2,…,yn)均為線性鏈表示的隨機(jī)變量序列,如果給定隨機(jī)變量序列x,隨機(jī)變量序列y的條件概率分布Pr(y|x)構(gòu)成條件隨機(jī)場,即滿足馬爾可夫性:

    則稱Pr(y|x)為線性鏈條件隨機(jī)場(Linear-CRF)。

    序列標(biāo)注問題中,x表示輸入觀測序列,y表示對應(yīng)的輸出標(biāo)記序列或狀態(tài)序列,且與觀測序列具有相同的結(jié)構(gòu)。因此,序列標(biāo)注問題可以表示為如圖3所示的Linear-CRF。

    圖3 線性鏈條件隨機(jī)場Fig.3 Linear chain conditional random field

    對序列標(biāo)簽的預(yù)測,通常采用softmax分類器方法,但是softmax方法沒有考慮標(biāo)簽之間的依賴關(guān)系。

    本文采用Linear-CRF 進(jìn)行序列標(biāo)簽預(yù)測,Linear-CRF能夠考慮各字標(biāo)簽之間的約束關(guān)系,它利用每個字標(biāo)簽的得分與字標(biāo)簽之間的轉(zhuǎn)移矩陣A計(jì)算不同標(biāo)簽序列的出現(xiàn)概率Pr(y|x),從而能夠從中選取出概率最大的序列y*作為所考慮句子的標(biāo)簽序列。

    2.4 BERT-LCRF模型

    本文基于BERT 和Linear-CRF 提出了面向時鐘領(lǐng)域的BERT-LCRF命名實(shí)體識別模型。

    如圖1 所示,輸入句子x=(x1,x2,…,xn),由BERT模型輸出字序列標(biāo)簽的得分概率向量T=(t1,t2,…,tn),然后采用Linear-CRF 模型預(yù)測句子中的每個字xi∈x的最優(yōu)標(biāo)簽,從而完成時鐘領(lǐng)域的命名實(shí)體識別任務(wù)。

    2.4.1 BERT嵌入層

    BERT 嵌入層即圖1 和圖2 中的“embedding”層,由三種embedding求和而成,具體如圖4所示。

    圖4 BERT嵌入層的特征嵌入表示Fig.4 Feature embedding representation of BERT embedding layer

    BERT 嵌入層的輸入是字的線性序列,支持單句文本和句對文本,句首用符號[CLS]表示,句尾采用符號[SEP],斷開輸入的兩個句子。

    BERT嵌入層由詞嵌入(token embeddings)、分割嵌入(segment embeddings)和位置嵌入(position embeddings)共同組成[13],其中詞嵌入是將中文字符轉(zhuǎn)為字向量,位置嵌入是指將字符的位置信息編碼成特征向量,分割嵌入用于區(qū)分兩個句子。其中,位置嵌入(position embeddings)用來加入位置信息,支持序列長度為512,利用正余弦函數(shù)對字進(jìn)行位置編碼,將字的位置信息編碼成特征矩陣,其編碼如式(5)和(6)[13]。

    其中,PE為二維矩陣,其維度與輸入embedding 的相同,這里行表示字,列表示字向量,pos表示字在句子中的位置,dmodel表示字向量的維度,i表示字向量的位置,a等于10 000。位置編碼的每個維度的波長形成是從2π 到a?2π 的幾何數(shù),對于任何固定偏移k,PE(pos,k)可以表示為一個線性的位置編碼。位置編碼是通過線性變換獲取后續(xù)字符相對于當(dāng)前字符的位置關(guān)系,能夠更好地表達(dá)語義關(guān)系。

    輸入句子x=(x1,x2,…,xn),由BERT嵌入層的三種embedding轉(zhuǎn)換求和之后,每個字xi轉(zhuǎn)換為嵌入向量ei輸出,得到句子的嵌入表示E=(e1,e2,…,en),其中ei是對應(yīng)xi的向量表示,是一個m維向量,E是一個n×m維的矩陣,每一行對應(yīng)句子中一個字的向量表示,然后作為圖2中Trm層的輸入。

    2.4.2 Trm層

    如圖2 所示,BERT 的Trm 層由多個Transformer 編碼器(Encoder)組成,每個Encoder的結(jié)構(gòu)如圖5所示。

    圖5 Encoder詳細(xì)結(jié)構(gòu)Fig.5 Encoder detailed structure

    每個Encoder包括多頭自注意力機(jī)制層(multi-head self-attention)、全連接層(feed forward)、殘差連接和歸一化層(add&normal)。在Encoder 中最主要的模塊為multi-head self-attention[19],其核心思想是計(jì)算句子中每個字與該句子中其他所有的字的相互關(guān)系,并調(diào)整每個字的權(quán)重,獲取每個字的新的表達(dá)方式。

    Encoder的輸入是BERT嵌入層的輸出E。將目標(biāo)字的ei通過線性變換得到表示目標(biāo)字的q向量、表示上下文各個字的k向量以及表示目標(biāo)字與上下文各個字的原始v向量,然后計(jì)算q向量與各個k向量的相似度作為權(quán)重,加權(quán)融合目標(biāo)字的v向量和各個上下文字的v向量,計(jì)算[19]如式(7):

    其中,q表示查詢向量,k表示鍵向量,v表示值向量,d為縮放因子,其目的是使模型的梯度更穩(wěn)定。采用點(diǎn)積的計(jì)算機(jī)制,使當(dāng)前節(jié)點(diǎn)不只關(guān)注當(dāng)前的字,而是關(guān)注整個句子,從而獲取到上下文的語義信息,在一定程度上反映出不同字符之間的關(guān)聯(lián)性和重要程度,獲得更豐富的語義特征表達(dá)。最后使用softmax進(jìn)行歸一化處理。

    在實(shí)際應(yīng)用過程中,編碼器(encoder)中使用多頭自注意力(multi-head self-attention),利用不同的Self-Attention 模塊獲得句子中每個字在不同語義空間下的增強(qiáng)語義向量,并將每個字的多個增強(qiáng)語義向量進(jìn)行拼接,再進(jìn)行線性變換,從而獲得一個最終的與原始字向量長度相同的增強(qiáng)語義向量,作為Multi-Head Self-Attention層的結(jié)果,計(jì)算如式(8)和式(9)。表示第i個head的權(quán)重矩陣,WO表示附加的權(quán)重矩陣,在模型訓(xùn)練時不斷更新。在多頭注意力層通過不同的head得到多個特征表達(dá),將所有的特征拼接到一起,作為增強(qiáng)語義的向量表示。

    在殘差鏈接和歸一化層(add&normal)中,利用殘差鏈接可避免在模型較深時,反向傳播過程中的梯度消失問題。當(dāng)網(wǎng)絡(luò)進(jìn)行前向傳播時,可以按照網(wǎng)絡(luò)層數(shù)進(jìn)行逐層傳播,還可以從當(dāng)前層隔一層或多層向前傳播。該層能對各特征之間的輸入進(jìn)行規(guī)范化。然后將處理后的數(shù)據(jù)zi傳送給全連接層(feed forward),該層可以進(jìn)行并行計(jì)算。

    在全連接層(feed forward neural network),是一個兩層的全連接層,第一層的激活函數(shù)為Relu,第二層不使用激活函數(shù),對應(yīng)的公式如下:

    其中,

    其中,zi為殘差鏈接和歸一化層的輸出,W1,W2,b1,b2均為前饋網(wǎng)絡(luò)層的權(quán)值參數(shù)。

    在模型結(jié)構(gòu)中,每一層都會間隔一層add&normal,這是深度殘差網(wǎng)絡(luò)的特性,將前一層的輸入和輸出進(jìn)行求和正則,得到R=(r1,r2,…,rn),并將其作為下一個Encoder 的輸入,在經(jīng)過多個Encoder 編碼后,最后通過softmax 歸一化得到各個字的標(biāo)簽得分概率向量T=(t1,t2,…,tn)。

    使用Transformer編碼器(Encoder)能夠計(jì)算句中字與字之間的關(guān)系,使得模型能夠?qū)W習(xí)字之間的聯(lián)系以及每個字的重要程度,獲取全局特征信息。

    2.4.3 基于Linear-CRF的序列標(biāo)注層

    給定句子x=(x1,x2,…,xn),由BERT模型得到的字序列的實(shí)體標(biāo)簽得分概率T=(t1,t2,…,tn),ti是字xi的實(shí)體標(biāo)簽得分,T是linear-CRF序列標(biāo)注層的輸入。

    linear-CRF 層的參數(shù)是一個(n+2)×(n+2)的實(shí)體標(biāo)簽轉(zhuǎn)移矩陣A,Aij表示是從第i個標(biāo)簽到第j標(biāo)簽的轉(zhuǎn)移得分,體現(xiàn)的是實(shí)體標(biāo)簽之間的約束關(guān)系。對一個位置進(jìn)行標(biāo)注時,可以利用此前已經(jīng)標(biāo)注過的標(biāo)簽。n+2 是為句子首部添加一個起始狀態(tài),句子尾部添加一個終止?fàn)顟B(tài)。

    對給定的句子x,根據(jù)每個字的實(shí)體標(biāo)簽的得分ti,以及字標(biāo)簽之間的轉(zhuǎn)移矩陣A,計(jì)算對x預(yù)測為不同標(biāo)簽序列y的概率,取概率最大的標(biāo)簽序列y*,作為該句子的標(biāo)簽序列,具體過程如下:

    對任意一個句子x=(x1,x2,…,xn),n是字序列長度,也是標(biāo)簽序列的長度,那么BERT-LCRF模型對x預(yù)測為標(biāo)簽序列y的得分計(jì)算如式(11):

    其中,表示第i個字被標(biāo)記為yi的概率,A為轉(zhuǎn)移矩陣,表示從yi標(biāo)簽轉(zhuǎn)移到y(tǒng)i+1標(biāo)簽的概率,n為序列長度。因此,整個字序列的得分是每個字的分?jǐn)?shù)之和,而每個字的分?jǐn)?shù)由兩部分組成,一部分是由上一層輸出的ti決定,另一部分則由linear-CRF的轉(zhuǎn)移矩陣A決定。最后利用softmax函數(shù)歸一化,計(jì)算Pr(y|x)如式(12)所示:

    其中,y′∈Y,L是對時鐘領(lǐng)域的字標(biāo)簽集合,y′是可能的字標(biāo)簽序列,式(12)的對數(shù)似然計(jì)算如式(13):

    最后在解碼階段,使用維特比算法[20]求解最優(yōu)路徑,計(jì)算如式(14):

    由此對于輸入字序列x=(x1,x2,…,xn),經(jīng)過模型BERT-LCRF預(yù)測,得到字序列標(biāo)簽

    3 實(shí)驗(yàn)分析

    3.1 時鐘領(lǐng)域數(shù)據(jù)集(clock-dataset)

    本文采用自建的時鐘領(lǐng)域語料庫(clock-dataset)對BERT-LCRF模型的有效性進(jìn)行實(shí)驗(yàn)評估。

    (1)時鐘領(lǐng)域文本預(yù)處理

    首先收集時鐘行業(yè)的時鐘系統(tǒng)建議書作為原始數(shù)據(jù),由于原始文本數(shù)據(jù)的存儲格式不同,包含對實(shí)體識別無用的信息,經(jīng)過格式轉(zhuǎn)換、過濾圖片等無用信息、分段、分句等預(yù)處理,得到初始以句子為單位的時鐘領(lǐng)域語料庫。

    (2)領(lǐng)域新詞識別和自定義字典

    對未分詞的語料庫,采用基于互信息和左右熵算法[21]進(jìn)行領(lǐng)域新詞的識別。該方法首先計(jì)算詞與其右鄰接字的互信息,得到候選新詞,然后再采用鄰接熵、過濾候選新詞首尾的停用詞和過濾舊詞語等規(guī)則進(jìn)行篩選,最終得到領(lǐng)域新詞集,并添加領(lǐng)域自定義詞典(clockdictionary)中。結(jié)合clock-dictionary,采用jieba 分詞對初始時鐘語料庫中的句子進(jìn)行分詞,提高領(lǐng)域分詞結(jié)果的準(zhǔn)確性。同時將分詞結(jié)果作為時鐘領(lǐng)域的先驗(yàn)知識,減少人工標(biāo)注審核的工作量,提高標(biāo)注的效率,降低標(biāo)注誤差。

    (3)實(shí)體類別和實(shí)體標(biāo)簽定義

    根據(jù)時鐘系統(tǒng)建議書的領(lǐng)域特性,進(jìn)行概念抽取,結(jié)合對領(lǐng)域詞匯的統(tǒng)計(jì)分析,定義時鐘領(lǐng)域的實(shí)體類別集合C={c1,c2,…,cm},其中ci∈C,可以是地域(CITY)、設(shè)備(EQU)、對象(OBJ)等,具體如表1所示。

    表1 時鐘領(lǐng)域?qū)嶓w類別描述Table 1 Entity category description in clock domain

    在定義了實(shí)體類別集合C后,根據(jù)時鐘領(lǐng)域的文本特點(diǎn),采用BIO 標(biāo)注策略,令B 代表Beginning,標(biāo)注實(shí)體的起始部分,I代表Inside,標(biāo)注實(shí)體的中間部分,O代表Outside,標(biāo)注與實(shí)體無關(guān)的信息,定義實(shí)體字標(biāo)簽集合L={l1,l2,…,lk},其中l(wèi)i∈L,具體描述如表2所示。

    表2 clock-dataset的實(shí)體標(biāo)簽描述Table 2 Label category description of clock-dataset

    (4)語料標(biāo)注

    在沒有時鐘領(lǐng)域的標(biāo)注語料時,通過設(shè)計(jì)人機(jī)交互的輔助實(shí)體標(biāo)注平臺,輔助專業(yè)人士快速、高效標(biāo)注高質(zhì)量的訓(xùn)練語料,記作時鐘領(lǐng)域數(shù)據(jù)集(clock-dataset)。在獲得一定數(shù)量的人工標(biāo)注數(shù)據(jù)后,可以利用BERTLCRF命名實(shí)體識別方法,結(jié)合semi-supervised learning(半監(jiān)督學(xué)習(xí))、self-learning(自學(xué)習(xí))和active learning(主動學(xué)習(xí))等方法進(jìn)行標(biāo)注數(shù)據(jù)的擴(kuò)充。實(shí)驗(yàn)中,對標(biāo)注的clock-dataset 數(shù)據(jù)集,劃分成三個數(shù)據(jù)集:訓(xùn)練集、測試集和驗(yàn)證集,具體表述如表3所示。

    表3 clock-dataset的劃分描述Table 3 Clock-dataset division

    3.2 實(shí)驗(yàn)基本設(shè)置及參數(shù)設(shè)置

    本文的實(shí)驗(yàn)環(huán)境設(shè)置:64 位Window10 系統(tǒng),AMD Ryzen 7 2700X Eight-Core Pricessor 3.70 GHz 處理器,8 GB內(nèi)存,顯卡為NVIDIA GeForce GTX 1060 6 GB中進(jìn)行。使用的編程語言為Python,深度學(xué)習(xí)框架Pytorch。

    實(shí)驗(yàn)中,設(shè)置網(wǎng)絡(luò)的損失函數(shù)為最大似然函數(shù),采用BertAdam 優(yōu)化方法不斷更新參數(shù),并使損失函數(shù)最小化。為了防止模型過擬合,提高模型的泛化能力,在網(wǎng)絡(luò)模型中加入Dropout,將其設(shè)置為0.1。BERT 模型共12 層,768 個隱藏單元,12 個注意力頭。實(shí)驗(yàn)參數(shù)設(shè)置如表4所示。

    表4 實(shí)驗(yàn)參數(shù)設(shè)置Table 4 Experimental parameter settings

    3.3 評價指標(biāo)

    實(shí)驗(yàn)中采用宏準(zhǔn)確率(Macro-P),宏召回率(Macro-R)和宏F1值(Macro-F1)三個指標(biāo),對如表1所示的七類實(shí)體的識別結(jié)果進(jìn)行評估,計(jì)算公式如下:

    其中,TP(cj)表示屬于cj實(shí)體類別,且識別正確實(shí)體數(shù);FN(cj)表示屬于cj實(shí)體類別,但識別不正確的實(shí)體數(shù);FP(cj)表示不屬于cj實(shí)體類別,但被識別為cj的實(shí)體數(shù)。

    3.4 實(shí)驗(yàn)結(jié)果及分析

    為了驗(yàn)證所提BERT-LCRF模型的有效性,與HMM、CRF、LSTM、BiLSTM-CRF模型進(jìn)行了命名實(shí)體識別對比實(shí)驗(yàn)。

    3.4.1 命名實(shí)體識別模型總體識別效果比較分析

    在clock-dataset 上,BERT-LCRF 模型與BiLSTMCRF、LSTM、HMM、CRF模型的命名實(shí)體識別對比實(shí)驗(yàn)結(jié)果如表5所示。

    表5 不同模型的命名實(shí)體識別結(jié)果比較Table 5 Comparison of named entity recognition results of different models %

    從表5 中可以看出,針對于時鐘領(lǐng)域的語料而言,所提BERT-LCRF模型相對于其他四種算法模型取得了較為優(yōu)異的結(jié)果。如表5所示,HMM、CRF、LSTM算法的Macro-P分別為71.51%、82.84%、94.13%,BiLSTM-CRF模型為95.53%,而BERT-LCRF 的準(zhǔn)確率為96.70%,評估指標(biāo)Macro-R和Macro-F1的對比也是類似的。

    分析表5中不同方法的效果對比,其中HMM、CRF算法沒有學(xué)習(xí)上下文的語義關(guān)系,因此識別效果不好。LSTM 只是單向的學(xué)習(xí)文本序列,沒有CRF,雖然可以得到句子中每個單元的正確標(biāo)簽,但是不能保證標(biāo)簽每次都是預(yù)測正確的。BiLSTM-CRF 模型采用雙向LSTM 和CRF,其結(jié)果優(yōu)于LSTM 方法,其Macro-P 為95.53%、Macro-R 為94.98%、Macro-F1 為95.26%。而BERT-LCRF 模型的三種評估指標(biāo)為96.70%、96.73%和96.71%,對比BiLSTM-CRF模型平均提升了0.9%。

    原因在于,本文使用BERT預(yù)訓(xùn)練語言模型來代替BiLSTM?;贐iLSTM-CRF 命名實(shí)體識別方法不能很好地利用語料中的上下文的語義關(guān)系,而BERTLCRF 模型增加了位置編碼以及注意力機(jī)制,能夠很好地利用語料中的上下文語義關(guān)系,對時鐘領(lǐng)域數(shù)據(jù)進(jìn)行特征提取,能夠充分學(xué)習(xí)時鐘領(lǐng)域的特征信息,解決時鐘領(lǐng)域的特征表示的一詞多義問題,因此BERT-LCRF模型的識別效率相對最高。

    3.4.2 時鐘領(lǐng)域每類實(shí)體的識別效果比較

    為進(jìn)一步驗(yàn)證BERT-LCRF模型對每類實(shí)體的識別效果,與HMM 模型、CRF 模型和BiLSTM-CRF 模型進(jìn)行了實(shí)驗(yàn)對比,實(shí)驗(yàn)結(jié)果如表6~9所示。

    從表6~9 中可以看出,BERT-LCRF 模型在13 種實(shí)體類別上的宏準(zhǔn)確率、宏召回率、宏F1值均比其他模型的高,說明BERT-LCRF 模型的每類實(shí)體識別效果要優(yōu)于其他模型。

    從表6~9中還可以看出,所有實(shí)體類別中,“B-OBJ”和“I-OBJ”對象類實(shí)體的宏準(zhǔn)確率最高,HMM 模型為87.67%,CRF 模型為94.95%,BiLSTM-CRF 模型為97.46%,BERT-LCRF模型為97.49%。分析原因,時鐘領(lǐng)域數(shù)據(jù)中的對象這類實(shí)體的數(shù)量比較多,并且實(shí)體組成較為單一,邊界詞明顯,主要是以“系統(tǒng)”兩個字作為結(jié)尾,并且有固定的表達(dá)格式,例如“時鐘系統(tǒng)”“時鐘同步系統(tǒng)”“子母鐘系統(tǒng)”等,因此在識別過程中宏準(zhǔn)確率高。功能、技術(shù)這類實(shí)體的宏準(zhǔn)確率相對較低,功能(FUN)和技術(shù)(TEC)這類實(shí)體,實(shí)體數(shù)量相對其他實(shí)體來說,實(shí)體數(shù)量少,存在OOV 詞,因此其宏準(zhǔn)確率會相對較低,其余的實(shí)體類別宏準(zhǔn)確率相對而言比較平均。

    表6 HMM模型實(shí)體類別識別結(jié)果Table 6 HMM model entity category recognition results %

    4 結(jié)論

    本文針對時鐘領(lǐng)域的問題,定義時鐘領(lǐng)域?qū)嶓w類別,選擇適合時鐘領(lǐng)域文本的標(biāo)注規(guī)則,設(shè)計(jì)輔助標(biāo)注平臺,構(gòu)建時鐘領(lǐng)域數(shù)據(jù)集(clock-dataset),提出一種BERT-LCRF 的命名實(shí)體識別模型。該模型利用BERT結(jié)合時鐘領(lǐng)域的先驗(yàn)知識,充分學(xué)習(xí)時鐘領(lǐng)域的特征信息,而Linear-CRF 能夠提高序列標(biāo)注的準(zhǔn)確度,從而BERT-LCRF模型能夠提高實(shí)體識別的精度。在時鐘行業(yè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型在各項(xiàng)指標(biāo)上顯著優(yōu)于同類其他模型。BERT-LCRF模型是構(gòu)建時鐘領(lǐng)域知識圖譜的基礎(chǔ),時鐘領(lǐng)域的實(shí)體類別和標(biāo)簽還有待擴(kuò)充,下一步將在此基礎(chǔ)上結(jié)合時鐘領(lǐng)域先驗(yàn)知識進(jìn)行事件抽取,進(jìn)一步構(gòu)建面向時鐘領(lǐng)域的知識圖譜。

    表7 CRF模型實(shí)體類別識別結(jié)果Table 7 CRF model entity category recognition results %

    表8 BiLSTM-CRF模型實(shí)體類別識別結(jié)果Table 8 BiLSTM-CRF model entity category recognition results %

    表9 BERT-LCRF模型實(shí)體類別識別結(jié)果Table 9 BERT-LCRF model entity category recognition results %

    猜你喜歡
    模型
    一半模型
    一種去中心化的域名服務(wù)本地化模型
    適用于BDS-3 PPP的隨機(jī)模型
    提煉模型 突破難點(diǎn)
    函數(shù)模型及應(yīng)用
    p150Glued在帕金森病模型中的表達(dá)及分布
    函數(shù)模型及應(yīng)用
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    3D打印中的模型分割與打包
    少妇粗大呻吟视频| 日韩三级视频一区二区三区| 黄色 视频免费看| 日韩国内少妇激情av| 侵犯人妻中文字幕一二三四区| 黄色 视频免费看| 精品久久久久久,| 欧美一区二区精品小视频在线| 国产男靠女视频免费网站| av在线播放免费不卡| 国内少妇人妻偷人精品xxx网站 | 69av精品久久久久久| 国产精品av久久久久免费| 母亲3免费完整高清在线观看| 国产av又大| 99久久无色码亚洲精品果冻| 亚洲七黄色美女视频| 久久久久国内视频| 亚洲国产精品成人综合色| 亚洲成av人片免费观看| 99久久精品国产亚洲精品| 色av中文字幕| 日日夜夜操网爽| 高潮久久久久久久久久久不卡| 99久久综合精品五月天人人| 精品第一国产精品| 国产亚洲精品综合一区在线观看 | 韩国av一区二区三区四区| 日本熟妇午夜| 亚洲精品在线美女| 波多野结衣av一区二区av| 国产精品久久久人人做人人爽| 国产三级黄色录像| 国产成人精品久久二区二区91| 国产精华一区二区三区| 日本撒尿小便嘘嘘汇集6| 一卡2卡三卡四卡精品乱码亚洲| 九色国产91popny在线| netflix在线观看网站| 婷婷精品国产亚洲av| 久久精品人妻少妇| 久热这里只有精品99| 国产一区二区在线av高清观看| 老熟妇仑乱视频hdxx| 午夜影院日韩av| 国产欧美日韩一区二区三| 亚洲国产欧洲综合997久久, | 老司机深夜福利视频在线观看| 国产乱人伦免费视频| 国产爱豆传媒在线观看 | 久久精品影院6| 日本a在线网址| 最近在线观看免费完整版| 久久精品国产99精品国产亚洲性色| 日韩欧美国产在线观看| 国产亚洲精品综合一区在线观看 | 日日摸夜夜添夜夜添小说| 黄色毛片三级朝国网站| 亚洲av五月六月丁香网| 久久精品人妻少妇| 欧美午夜高清在线| 免费高清在线观看日韩| 亚洲精品久久国产高清桃花| 99久久精品国产亚洲精品| 精品第一国产精品| 天天一区二区日本电影三级| 麻豆久久精品国产亚洲av| 国产又爽黄色视频| 99在线人妻在线中文字幕| 叶爱在线成人免费视频播放| 久久性视频一级片| 三级毛片av免费| 欧美成人一区二区免费高清观看 | 国产爱豆传媒在线观看 | 琪琪午夜伦伦电影理论片6080| 日本 欧美在线| 国产成人av教育| 久久久久精品国产欧美久久久| 亚洲国产欧美网| 熟女电影av网| 国产又爽黄色视频| 视频区欧美日本亚洲| 这个男人来自地球电影免费观看| 十分钟在线观看高清视频www| 日韩大尺度精品在线看网址| 国产高清videossex| 一区二区三区国产精品乱码| 女同久久另类99精品国产91| 国产在线观看jvid| 国产午夜精品久久久久久| 亚洲五月天丁香| 国产97色在线日韩免费| 婷婷精品国产亚洲av| 日韩欧美国产一区二区入口| 国产蜜桃级精品一区二区三区| 日韩视频一区二区在线观看| 观看免费一级毛片| 欧美性长视频在线观看| 一进一出抽搐gif免费好疼| 一区二区日韩欧美中文字幕| 国产精品自产拍在线观看55亚洲| 成年人黄色毛片网站| 国产精品久久电影中文字幕| 国产亚洲精品综合一区在线观看 | 好男人电影高清在线观看| 一区二区日韩欧美中文字幕| 欧美激情高清一区二区三区| 午夜精品久久久久久毛片777| √禁漫天堂资源中文www| 久久精品国产综合久久久| 久久国产精品人妻蜜桃| 中文资源天堂在线| 成人av一区二区三区在线看| 午夜福利一区二区在线看| 国产一区二区三区在线臀色熟女| 精品久久久久久久末码| 中文字幕精品亚洲无线码一区 | 欧美三级亚洲精品| 亚洲国产看品久久| 国产精品av久久久久免费| av福利片在线| 九色国产91popny在线| 手机成人av网站| 最好的美女福利视频网| 国产av不卡久久| 亚洲aⅴ乱码一区二区在线播放 | 青草久久国产| 国产v大片淫在线免费观看| 久久午夜综合久久蜜桃| 欧美激情久久久久久爽电影| 成人国产一区最新在线观看| 欧美黄色片欧美黄色片| 一级片免费观看大全| 国产视频内射| 男男h啪啪无遮挡| 999久久久精品免费观看国产| 白带黄色成豆腐渣| 亚洲欧美日韩无卡精品| 天堂动漫精品| 亚洲五月婷婷丁香| 法律面前人人平等表现在哪些方面| 女人爽到高潮嗷嗷叫在线视频| 一进一出抽搐gif免费好疼| 亚洲av美国av| 亚洲精品久久国产高清桃花| 美女扒开内裤让男人捅视频| 两性午夜刺激爽爽歪歪视频在线观看 | 非洲黑人性xxxx精品又粗又长| 黄色a级毛片大全视频| 久热爱精品视频在线9| 精华霜和精华液先用哪个| 嫩草影院精品99| 黄色片一级片一级黄色片| 黄片播放在线免费| 侵犯人妻中文字幕一二三四区| 村上凉子中文字幕在线| 亚洲av电影在线进入| 18禁黄网站禁片午夜丰满| 人人澡人人妻人| 精品少妇一区二区三区视频日本电影| 欧美av亚洲av综合av国产av| 黄色视频,在线免费观看| 美女 人体艺术 gogo| 国产精品电影一区二区三区| 国产99白浆流出| 18禁国产床啪视频网站| 欧美黑人巨大hd| 亚洲avbb在线观看| 亚洲国产精品合色在线| 亚洲成人精品中文字幕电影| 国产一区二区三区在线臀色熟女| 三级毛片av免费| 真人做人爱边吃奶动态| 国产高清视频在线播放一区| 99精品欧美一区二区三区四区| 久久久久国内视频| 国产高清videossex| 成熟少妇高潮喷水视频| 久久国产精品人妻蜜桃| 在线观看66精品国产| avwww免费| 日日干狠狠操夜夜爽| www国产在线视频色| av电影中文网址| 亚洲真实伦在线观看| 美女高潮到喷水免费观看| 国产欧美日韩一区二区精品| 黄片播放在线免费| 亚洲精品在线美女| 免费在线观看完整版高清| 这个男人来自地球电影免费观看| 伦理电影免费视频| 黄色成人免费大全| 他把我摸到了高潮在线观看| 日本 欧美在线| 久久九九热精品免费| 亚洲avbb在线观看| 国产黄片美女视频| 久久狼人影院| 国产精品久久久久久人妻精品电影| 女人被狂操c到高潮| 久久精品亚洲精品国产色婷小说| 女人高潮潮喷娇喘18禁视频| 亚洲人成77777在线视频| 黄色片一级片一级黄色片| 中文字幕高清在线视频| 男人舔奶头视频| 欧美性猛交╳xxx乱大交人| 欧美色欧美亚洲另类二区| 亚洲午夜理论影院| 午夜福利在线在线| 听说在线观看完整版免费高清| 久久这里只有精品19| 国产高清视频在线播放一区| 欧美激情 高清一区二区三区| 一本久久中文字幕| 高潮久久久久久久久久久不卡| 99久久久亚洲精品蜜臀av| 女生性感内裤真人,穿戴方法视频| 午夜精品久久久久久毛片777| 国产精品电影一区二区三区| 亚洲 国产 在线| 亚洲性夜色夜夜综合| 首页视频小说图片口味搜索| 不卡av一区二区三区| 国产又爽黄色视频| 老鸭窝网址在线观看| 正在播放国产对白刺激| 日本黄色视频三级网站网址| 亚洲精品色激情综合| 在线观看日韩欧美| 一区二区三区国产精品乱码| 亚洲国产高清在线一区二区三 | 村上凉子中文字幕在线| 一二三四社区在线视频社区8| 香蕉国产在线看| 国产1区2区3区精品| 欧美又色又爽又黄视频| 中文字幕人妻丝袜一区二区| 午夜精品在线福利| 波多野结衣巨乳人妻| 亚洲精品在线观看二区| 少妇裸体淫交视频免费看高清 | bbb黄色大片| 麻豆一二三区av精品| 欧美+亚洲+日韩+国产| 99国产综合亚洲精品| 久久久国产成人精品二区| 女性被躁到高潮视频| 一区二区日韩欧美中文字幕| 十八禁人妻一区二区| 啦啦啦观看免费观看视频高清| 好男人电影高清在线观看| 香蕉丝袜av| 欧美中文综合在线视频| 日本黄色视频三级网站网址| 国产精品九九99| 欧美黄色淫秽网站| 亚洲午夜精品一区,二区,三区| 91麻豆精品激情在线观看国产| 两性夫妻黄色片| 男男h啪啪无遮挡| 国产精品久久久av美女十八| 麻豆av在线久日| 老司机福利观看| 国产亚洲精品av在线| 国产亚洲精品第一综合不卡| 亚洲七黄色美女视频| 日韩欧美国产在线观看| 99久久久亚洲精品蜜臀av| 国产精品精品国产色婷婷| 国产v大片淫在线免费观看| 日本成人三级电影网站| 变态另类丝袜制服| 久久久久久亚洲精品国产蜜桃av| 又黄又爽又免费观看的视频| 国产91精品成人一区二区三区| 欧美日韩一级在线毛片| 9191精品国产免费久久| 国产精品久久久av美女十八| 日韩av在线大香蕉| 国产又黄又爽又无遮挡在线| 午夜福利高清视频| 51午夜福利影视在线观看| 色尼玛亚洲综合影院| 999精品在线视频| 欧美性猛交╳xxx乱大交人| 成人三级做爰电影| 美女国产高潮福利片在线看| avwww免费| 18美女黄网站色大片免费观看| 国产aⅴ精品一区二区三区波| 国产成人欧美| 黄色视频,在线免费观看| 午夜成年电影在线免费观看| 国产一区二区三区视频了| 亚洲精品美女久久av网站| 亚洲一区高清亚洲精品| 欧美精品亚洲一区二区| 一二三四社区在线视频社区8| 亚洲人成伊人成综合网2020| 757午夜福利合集在线观看| 久久久久久久久久黄片| 精品无人区乱码1区二区| 亚洲色图av天堂| 老汉色av国产亚洲站长工具| 少妇的丰满在线观看| 国产亚洲av高清不卡| 国产又爽黄色视频| 免费看十八禁软件| 成人一区二区视频在线观看| 日韩成人在线观看一区二区三区| 久久精品91无色码中文字幕| 国产1区2区3区精品| 国产不卡一卡二| 午夜免费激情av| 日日爽夜夜爽网站| 久久国产乱子伦精品免费另类| а√天堂www在线а√下载| 观看免费一级毛片| 免费看a级黄色片| a在线观看视频网站| 亚洲午夜理论影院| 丰满的人妻完整版| 精品无人区乱码1区二区| 国产精品98久久久久久宅男小说| 日韩三级视频一区二区三区| 色综合欧美亚洲国产小说| 亚洲中文字幕一区二区三区有码在线看 | 国产真实乱freesex| 中文字幕高清在线视频| 国产主播在线观看一区二区| 亚洲色图 男人天堂 中文字幕| 亚洲自偷自拍图片 自拍| 午夜免费观看网址| 免费在线观看成人毛片| 一级黄色大片毛片| videosex国产| 日本在线视频免费播放| 97碰自拍视频| 久久久久国内视频| 久久久久免费精品人妻一区二区 | 亚洲人成电影免费在线| 色婷婷久久久亚洲欧美| 国产av不卡久久| 一卡2卡三卡四卡精品乱码亚洲| 少妇粗大呻吟视频| 午夜亚洲福利在线播放| 特大巨黑吊av在线直播 | 亚洲成av人片免费观看| 超碰成人久久| 日韩三级视频一区二区三区| 看片在线看免费视频| 99国产极品粉嫩在线观看| 欧美成人一区二区免费高清观看 | 热99re8久久精品国产| 老司机在亚洲福利影院| 一个人免费在线观看的高清视频| 欧美国产日韩亚洲一区| 国产男靠女视频免费网站| 在线观看免费日韩欧美大片| 搡老熟女国产l中国老女人| 国产91精品成人一区二区三区| 欧美丝袜亚洲另类 | 俺也久久电影网| 成人永久免费在线观看视频| 欧美黄色片欧美黄色片| 精品午夜福利视频在线观看一区| 精品不卡国产一区二区三区| 久久久精品欧美日韩精品| 欧美久久黑人一区二区| 欧美在线黄色| 日韩有码中文字幕| 亚洲专区国产一区二区| 国产精品av久久久久免费| 中文字幕最新亚洲高清| 91成人精品电影| 麻豆成人午夜福利视频| 婷婷精品国产亚洲av| 亚洲九九香蕉| 精品国产乱子伦一区二区三区| 国产一区在线观看成人免费| 可以在线观看的亚洲视频| 少妇 在线观看| 国产精品av久久久久免费| 久久青草综合色| 久久精品国产亚洲av香蕉五月| 亚洲成a人片在线一区二区| 欧美三级亚洲精品| 人成视频在线观看免费观看| 精品高清国产在线一区| 国产精品久久久久久精品电影 | 欧美日本亚洲视频在线播放| 真人一进一出gif抽搐免费| 美女国产高潮福利片在线看| 嫩草影院精品99| 一级毛片女人18水好多| 两个人免费观看高清视频| 夜夜夜夜夜久久久久| 麻豆久久精品国产亚洲av| 精品久久久久久久末码| 一本大道久久a久久精品| 在线天堂中文资源库| 成人亚洲精品av一区二区| 自线自在国产av| 午夜精品在线福利| 亚洲欧美精品综合一区二区三区| 欧美性猛交╳xxx乱大交人| 免费在线观看日本一区| 少妇被粗大的猛进出69影院| 可以免费在线观看a视频的电影网站| 精品电影一区二区在线| 在线观看免费日韩欧美大片| 白带黄色成豆腐渣| 香蕉丝袜av| 欧美最黄视频在线播放免费| 久久99热这里只有精品18| 97超级碰碰碰精品色视频在线观看| 身体一侧抽搐| 久久精品成人免费网站| 不卡av一区二区三区| 天天添夜夜摸| 国产1区2区3区精品| 精品国产美女av久久久久小说| 老司机福利观看| 91成人精品电影| 午夜激情福利司机影院| 老司机靠b影院| a级毛片在线看网站| 日本熟妇午夜| 国产精品av久久久久免费| 亚洲av中文字字幕乱码综合 | 啦啦啦韩国在线观看视频| 日韩欧美一区二区三区在线观看| 中出人妻视频一区二区| 久久久久亚洲av毛片大全| 国产精华一区二区三区| 一级黄色大片毛片| 亚洲黑人精品在线| 啪啪无遮挡十八禁网站| 一级毛片精品| 久久久久久久久久黄片| 国产高清videossex| 一区福利在线观看| 国产成人欧美在线观看| 国产精品影院久久| 精品熟女少妇八av免费久了| 国产一级毛片七仙女欲春2 | 亚洲精品在线美女| 99riav亚洲国产免费| 白带黄色成豆腐渣| 日日干狠狠操夜夜爽| 精品卡一卡二卡四卡免费| 哪里可以看免费的av片| 日韩欧美国产在线观看| 久热这里只有精品99| 校园春色视频在线观看| 亚洲欧美日韩无卡精品| 亚洲成a人片在线一区二区| 男人舔奶头视频| 一进一出抽搐动态| ponron亚洲| 中文字幕人妻熟女乱码| 999精品在线视频| 91国产中文字幕| 国产亚洲精品久久久久久毛片| 亚洲精华国产精华精| 亚洲一区中文字幕在线| 日本免费a在线| 国产亚洲精品av在线| 淫秽高清视频在线观看| 免费一级毛片在线播放高清视频| 在线天堂中文资源库| 看免费av毛片| 88av欧美| 最近最新中文字幕大全电影3 | 99精品久久久久人妻精品| 欧美亚洲日本最大视频资源| 成人手机av| 黑人巨大精品欧美一区二区mp4| 欧美在线一区亚洲| 曰老女人黄片| 啪啪无遮挡十八禁网站| 亚洲国产精品合色在线| 国内毛片毛片毛片毛片毛片| 久久久久免费精品人妻一区二区 | 成人国语在线视频| av中文乱码字幕在线| 97超级碰碰碰精品色视频在线观看| 欧美又色又爽又黄视频| 亚洲人成伊人成综合网2020| 神马国产精品三级电影在线观看 | 国产人伦9x9x在线观看| 欧美午夜高清在线| 制服人妻中文乱码| 99热只有精品国产| 日本一本二区三区精品| 日本精品一区二区三区蜜桃| 久久热在线av| 男女床上黄色一级片免费看| 国内精品久久久久精免费| 免费高清视频大片| 99精品在免费线老司机午夜| www.999成人在线观看| 黑人欧美特级aaaaaa片| 国产精品二区激情视频| 精品久久久久久久久久免费视频| 午夜福利一区二区在线看| 丰满人妻熟妇乱又伦精品不卡| 国产免费av片在线观看野外av| 久久伊人香网站| 久久精品国产亚洲av香蕉五月| 在线播放国产精品三级| 精品国产美女av久久久久小说| 中文在线观看免费www的网站 | 欧美日韩亚洲综合一区二区三区_| 亚洲国产日韩欧美精品在线观看 | 成人三级做爰电影| 国产主播在线观看一区二区| 黄色丝袜av网址大全| 国产91精品成人一区二区三区| 国产在线精品亚洲第一网站| 一二三四社区在线视频社区8| 日日摸夜夜添夜夜添小说| 午夜福利免费观看在线| 欧美日本视频| 一夜夜www| 成年版毛片免费区| 久久久久国内视频| 在线观看www视频免费| 亚洲色图 男人天堂 中文字幕| 欧美一区二区精品小视频在线| 国产精品美女特级片免费视频播放器 | 1024视频免费在线观看| 精品少妇一区二区三区视频日本电影| 大香蕉久久成人网| 日韩欧美 国产精品| 亚洲人成伊人成综合网2020| 精品久久久久久,| 美女扒开内裤让男人捅视频| 色综合亚洲欧美另类图片| 精品一区二区三区av网在线观看| 十八禁网站免费在线| 波多野结衣巨乳人妻| 久久人妻福利社区极品人妻图片| 欧美日韩瑟瑟在线播放| 麻豆av在线久日| 欧美日韩黄片免| 午夜老司机福利片| 亚洲国产精品999在线| 国产精品久久电影中文字幕| 国产一卡二卡三卡精品| 亚洲 欧美一区二区三区| 淫秽高清视频在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 美女高潮到喷水免费观看| 韩国av一区二区三区四区| 性色av乱码一区二区三区2| 欧美激情久久久久久爽电影| av超薄肉色丝袜交足视频| 一级黄色大片毛片| 真人一进一出gif抽搐免费| www.自偷自拍.com| 在线看三级毛片| 亚洲国产看品久久| 日韩欧美国产在线观看| 国产av不卡久久| 91九色精品人成在线观看| 国产成人精品无人区| 国产亚洲精品久久久久久毛片| 麻豆成人午夜福利视频| 最好的美女福利视频网| 99热这里只有精品一区 | 久久热在线av| 亚洲av日韩精品久久久久久密| 国产成+人综合+亚洲专区| 国产成人精品无人区| 中文亚洲av片在线观看爽| 日本一区二区免费在线视频| 天天躁狠狠躁夜夜躁狠狠躁| 国产精品永久免费网站| 国产欧美日韩精品亚洲av| 午夜日韩欧美国产| 久久久久久久精品吃奶| 亚洲 欧美 日韩 在线 免费| 国产真实乱freesex| 欧美日本亚洲视频在线播放| 99久久综合精品五月天人人| 日韩欧美一区二区三区在线观看| 精品一区二区三区av网在线观看| 亚洲人成77777在线视频| 国产精品国产高清国产av| 丝袜人妻中文字幕| 国内少妇人妻偷人精品xxx网站 | 亚洲狠狠婷婷综合久久图片| 欧美国产精品va在线观看不卡| www.www免费av| 亚洲专区国产一区二区| av福利片在线| 日韩成人在线观看一区二区三区| 亚洲第一电影网av| 亚洲精品色激情综合| 欧美日本视频| 精品久久久久久久末码| 国产高清视频在线播放一区| 国产单亲对白刺激| 在线免费观看的www视频| 亚洲午夜理论影院| av超薄肉色丝袜交足视频| 午夜视频精品福利| 91麻豆av在线| 男女床上黄色一级片免费看| 久久久久免费精品人妻一区二区 | 免费在线观看日本一区| 丝袜美腿诱惑在线|