• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合gazetteers和句法依存樹的中文命名實(shí)體識(shí)別

    2022-09-21 05:38:12馮一鉑
    關(guān)鍵詞:字符句法詞典

    方 紅,蘇 銘,馮一鉑,張 瀾

    1.上海第二工業(yè)大學(xué) 文理學(xué)部,上海201209

    2.上海第二工業(yè)大學(xué) 工學(xué)部,上海201209

    3.喀什大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,新疆 喀什844000

    命名實(shí)體識(shí)別對(duì)下游的信息提取、問答系統(tǒng)、機(jī)器翻譯等應(yīng)用領(lǐng)域起著非常重要的作用,是自然語言處理技術(shù)落實(shí)到工業(yè)生產(chǎn)實(shí)踐中的基礎(chǔ)環(huán)節(jié);中文命名實(shí)體識(shí)別相較于英文來說,其詞的劃分較為困難,因此如何去豐富地表示字符信息成為近些年來研究的重點(diǎn)。

    中文命名實(shí)體識(shí)別最初是基于字符的NER和基于詞的NER,He 等人[1]、Li 等人[2]的研究表明基于字符的NER不能很好地應(yīng)用詞的信息,由于中文單個(gè)字所能表示的信息要比單個(gè)英文單詞欠缺很多,從而無法更好地完成后續(xù)的預(yù)測(cè)標(biāo)注;基于詞的NER 由于無法很好地獲得實(shí)體邊界,因而會(huì)產(chǎn)生很多錯(cuò)誤信息,導(dǎo)致效果比基于字符的更差。后續(xù)大量工作將中文的字符和詞信息結(jié)合起來進(jìn)行序列標(biāo)注,豐富輸入表示層的信息。劉小安等人[3]提出了通過CNN進(jìn)行局部特征提取的CNNBiLSTM-CRF模型,對(duì)詞匯的局部特征提取起到了一定的效果;謝騰等人[4]使用了預(yù)訓(xùn)練模型Bert 來進(jìn)行詞匯表示學(xué)習(xí),提出了Bert-BiLSTM-CRF 模型,提升了上下文語義表示學(xué)習(xí)的效果;以上提出的模型都沒有借助外部詞典信息,因此對(duì)于特殊名詞較多的數(shù)據(jù)集分詞錯(cuò)誤造成的誤差傳遞問題比較嚴(yán)重。后續(xù)Zhang等人[5]提出了一個(gè)將詞的信息融入到這個(gè)詞的開始和結(jié)束字符中的Lattice 模型,很好地增強(qiáng)了詞的嵌入表示效果,但是對(duì)于詞中間的字符卻無法融合詞的信息,會(huì)造成一定的信息缺失。Liu 等人[6]、Zhang 等人[7]提出了使用詞典信息來提升字符向量表示,利用詞典來進(jìn)行匹配,使得能夠很好地確定詞匯邊界信息,降低分詞誤差導(dǎo)致的錯(cuò)誤率,但是對(duì)于一個(gè)詞對(duì)應(yīng)多個(gè)類型的問題無法得到解決。MultiDigraph[8]模型提出了使用多重圖來解決gazetteers的不同類型引起的多種表示信息的問題,使用了融合多個(gè)gazetteers類型信息的方式解決了之前工作中詞匯的多義性問題,對(duì)于中文句子中的歧義性得到了一定的解決,但是僅僅依靠gazetteers獲取的詞的匹配關(guān)系,不能很好地融入不相鄰的詞之間的依賴關(guān)系。比如:“張三在上海人民廣場(chǎng)”,通過gazetters 的信息嵌入可以很好地將“上海”“人民廣場(chǎng)”“上海人”等信息融合進(jìn)來,但是對(duì)于各個(gè)詞之間的依賴關(guān)系沒有提取出來,整個(gè)句子的句法結(jié)構(gòu)也沒有很好融入。這樣會(huì)導(dǎo)致:如果“人民廣場(chǎng)”這個(gè)詞不在詞典中,而“上海人”在詞典中,會(huì)使得整個(gè)句子的詞信息融入錯(cuò)誤,會(huì)降低識(shí)別準(zhǔn)確率。霍振朗[9]提出了基于句法依存樹和圖神經(jīng)網(wǎng)絡(luò)的模型,證實(shí)了融入句法關(guān)系對(duì)序列標(biāo)注具有一定的效果提升。針對(duì)上述問題,提出了通過將句子中詞的依賴關(guān)系即句子的句法依存樹融入到每個(gè)字符信息中的方式來緩解由于gazetteers匹配錯(cuò)誤或缺失而造成的詞匯信息融入錯(cuò)誤問題,給出一種基于gazetteers 和句法依存樹的中文命名實(shí)體識(shí)別方法。該方法首先通過匹配gazetteers詞典信息,找到句子含有的詞,獲取詞的開始與結(jié)束位置信息,形成兩個(gè)結(jié)點(diǎn),再根據(jù)當(dāng)前詞所對(duì)照的詞典屬性將邊賦予詞的類別信息;隨后將所有詞形成的三元組信息拼接成圖結(jié)構(gòu),之后將句子的句法依存結(jié)構(gòu)關(guān)系,即句子中各個(gè)詞為結(jié)點(diǎn),詞與詞之間的句法依賴關(guān)系為邊,構(gòu)成三元組,進(jìn)一步將所有三元組整合為圖結(jié)構(gòu)。將詞信息圖與句法依賴關(guān)系圖進(jìn)行整合,提取其鄰接矩陣信息與字符信息共同輸入到圖神經(jīng)網(wǎng)絡(luò)中進(jìn)行字符表示信息的學(xué)習(xí),從而將gazetteers 信息與句法結(jié)構(gòu)信息融入每個(gè)字符信息中,最終使得形成的詞向量包含了句子的結(jié)構(gòu)和詞邊界信息。最后通過BiLSTM-CRF 模型進(jìn)行序列標(biāo)注,實(shí)現(xiàn)最終的實(shí)體識(shí)別。新的方法使得實(shí)體識(shí)別過程中每個(gè)字符的信息更加豐富,為后續(xù)的序列標(biāo)注提供更好的支撐,減少分詞錯(cuò)誤和句子結(jié)構(gòu)信息造成的誤差傳遞,從而進(jìn)一步提升了實(shí)體識(shí)別的準(zhǔn)確率。通過在Ecommerce、Resume、QI 等數(shù)據(jù)集的驗(yàn)證,新的方法可以使得中文實(shí)體識(shí)別的準(zhǔn)確率得到較大提升。

    1 模型架構(gòu)

    基于gazetteers和句法依存樹的中文命名實(shí)體識(shí)別模型的總體思路是通過將句子中字符順序結(jié)構(gòu)與句子包含的gazetteers 詞結(jié)構(gòu)組成的主體結(jié)構(gòu)圖、句法結(jié)構(gòu)圖進(jìn)行融合,之后再將融合句法依賴結(jié)構(gòu)的主體結(jié)構(gòu)圖與通過bigram 融合后的詞向量信息一起通過自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)進(jìn)行字符嵌入學(xué)習(xí),最終得到每個(gè)字符的向量表示信息;通過自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)融合后的向量信息再經(jīng)過傳統(tǒng)的BiLSTM-CRF進(jìn)行序列標(biāo)注,最終得到每個(gè)字符的標(biāo)簽信息。模型的框架設(shè)計(jì)如圖1 所示,為表述清楚,框架中以“上海人民廣場(chǎng)”為輸入句子進(jìn)行描述,通過對(duì)gazetteers 進(jìn)行匹配,將“上海人”“上?!薄皬V場(chǎng)”“人民廣場(chǎng)”等匹配到的詞分別與句子的順序結(jié)構(gòu)圖進(jìn)行融合,形成基于gazetteers的多個(gè)圖信息,之后將多個(gè)圖的鄰接矩陣信息和句子本身的詞向量信息通過自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)。形成最終的表示向量作為后續(xù)序列標(biāo)注模型的輸入。

    圖1 模型架構(gòu)Fig.1 Model architecture

    1.1 圖的構(gòu)建

    通過句子所有字符順序信息、gazetteers 的結(jié)構(gòu)信息、句法依存樹信息來構(gòu)建兩個(gè)圖,分別為主體結(jié)構(gòu)圖、依賴關(guān)系圖,最后將依賴關(guān)系圖信息融合進(jìn)主體結(jié)構(gòu)圖,將融合后的主體結(jié)構(gòu)圖作為后續(xù)模塊的輸入。

    1.1.1 主體結(jié)構(gòu)圖

    主要將所有字符序列化,形成正向、反向兩個(gè)序列。如:“上海人民廣場(chǎng)”,一共有6 個(gè)字符,表示為c1、c2、c3、c4、c5、c6,兩兩之間通過有向邊進(jìn)行連接,形成如下:

    Vc表示輸入句子的每個(gè)字符,E表示由前后字符兩兩相連的邊的組合。

    通過匹配gazetteers詞典信息來匹配句子中的詞,并以作為開始結(jié)點(diǎn),依次使用有向邊連接詞的各個(gè)字符,最終以作為結(jié)束結(jié)點(diǎn),gi表示匹配到的gazetteers類型。將所有結(jié)點(diǎn)相連構(gòu)成gazetteers圖,表示為:

    其中,表示由開始結(jié)束的各個(gè)gazetteers所包含的字符,E是由各個(gè)字符組成的邊,Lgaz代表一個(gè)gazetteers在不同詞典列表中的類型。

    1.1.2 依賴關(guān)系圖

    句法依存樹[10]是由依存關(guān)系構(gòu)成的一棵樹,依存關(guān)系是一個(gè)中心詞與其從屬之間的二元非對(duì)稱關(guān)系,其結(jié)構(gòu)是一個(gè)加標(biāo)簽的有向圖,箭頭從head 指向child,以“青島是一個(gè)著名的啤酒品牌”為例,其句法依賴關(guān)系如圖2 所示,從該依賴樹可以看出,每個(gè)Token 只有一個(gè)Head,依存關(guān)系用依存弧表示,方向由從屬詞指向支配詞。每個(gè)依存弧上有個(gè)標(biāo)記,稱為關(guān)系類型,表示該依存對(duì)上的兩個(gè)詞之間存在什么樣的依存關(guān)系[11]。常見的依存關(guān)系有主謂關(guān)系(SBV)、動(dòng)賓關(guān)系(VOB)和狀中關(guān)系(ADV)等。通過句法依存樹可以進(jìn)一步降低中文命名實(shí)體識(shí)別中的歧義性并且可以融入更多的結(jié)構(gòu)關(guān)系。

    圖2 句法依存樹結(jié)構(gòu)Fig.2 Syntactic dependency tree structure

    這里是通過spacy[11]模型來對(duì)句子的句法結(jié)構(gòu)進(jìn)行提取,最終將切分出來詞的第一個(gè)字符與其有句法關(guān)系的另一個(gè)詞的第一個(gè)字符建立有向邊,其結(jié)構(gòu)如式(3):

    其中,Vdt表示句法依存結(jié)構(gòu)中的各個(gè)成分,Edt表示各個(gè)成分直接的依賴關(guān)系構(gòu)成的有向邊的集合。

    1.2 自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)

    這里采用自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)來對(duì)圖信息進(jìn)行嵌入表示學(xué)習(xí),圖神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域中,對(duì)于通過圖卷積神經(jīng)網(wǎng)絡(luò)(graph neural network,GCN)來融合句法依賴信息在Cetoli 等人[12]提出的模型中已經(jīng)體現(xiàn)出了很好的作用。后來為了更好地融合長(zhǎng)距離信息,Li 等人[13]提出了門控圖神經(jīng)網(wǎng)絡(luò),通過加入GRU 來進(jìn)一步提升句子整體語境的融合度。在門控圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上添加自適應(yīng)的門控機(jī)制,形成最終的自適應(yīng)門控圖神經(jīng)網(wǎng)絡(luò)(adapted gated graph neural network,AGGNN)來進(jìn)行信息融合,它相較于傳統(tǒng)的門控圖神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于它可以融合多圖信息,由于每個(gè)詞可能屬于多個(gè)類型,因此一個(gè)詞可能會(huì)形成多張圖,而AGGNN 可以更好地進(jìn)行多重圖的嵌入表示。其具體的結(jié)構(gòu)如下所示,bigram已經(jīng)被Chen等人[14]提出的模型證實(shí)在命名實(shí)體識(shí)別任務(wù)中有較好的效果。初始化的向量信息由gazetteers和由bigram表示的詞嵌入向量融合表示:

    將由主圖、gazetteers 圖、句法依賴圖融合后的圖的鄰接矩陣表示為Av,這里的Av是通過權(quán)重比來計(jì)算的最終矩陣,具體實(shí)現(xiàn)如下。

    將上下文匹配到的gazetteers 類型進(jìn)行統(tǒng)計(jì),通過sigmoid 函數(shù)計(jì)算貢獻(xiàn)度系數(shù),最終將多個(gè)鄰接矩陣轉(zhuǎn)化成一個(gè)融合多個(gè)gazetteers信息的鄰接矩陣Av。其權(quán)重計(jì)算方式如下所示:

    其中,w為權(quán)重系數(shù),n為對(duì)應(yīng)gazetteers類型出現(xiàn)的次數(shù)。

    得到鄰接矩陣信息后,通過一個(gè)網(wǎng)絡(luò)層獲取融合圖信息的隱向量信息:

    最后輸入到GRU[15]中形成最終的字符表示信息。

    1.3 BiLSTM-CRF

    BiLSTM-CRF是一個(gè)傳統(tǒng)的序列標(biāo)注預(yù)測(cè)模型,在Lin等人[16]的研究中,可以看出它能起到比較好的效果,因此這里采用這個(gè)基礎(chǔ)模型作為序列標(biāo)注預(yù)測(cè)模型,將通過AGGNN 形成的字符表示信息輸入到BiLSTMCRF中獲取最終的預(yù)測(cè)結(jié)果。

    1.3.1 BiLSTM層

    BiLSTM 層是由前向LSTM 和后向LSTM 組成,可以更好地用于提取文本中的上下文特征。Marcheggiani等人[17]的工作指出,圖卷積網(wǎng)絡(luò)的主要問題在于難以捕捉長(zhǎng)距離節(jié)點(diǎn)之間的依存關(guān)系,將其與LSTM結(jié)合后可以很好地避免這一問題。因此,將經(jīng)過圖卷積神經(jīng)網(wǎng)絡(luò)后的字符信息加入到BiLSTM 中進(jìn)行編碼。其中,LSTM的主要結(jié)構(gòu)可以表示為:

    其中,σ是sigmoid 激活函數(shù),i表示輸入門,f表示遺忘門,o表示輸出門;?是點(diǎn)乘運(yùn)算,w、b代表輸入門、忘記門、輸出門的權(quán)重矩陣和偏置向量。對(duì)于句子(x1,x2,…,xn),共有n個(gè)單詞,每一個(gè)都代表一個(gè)d維的向量,BiLSTM通過計(jì)算每個(gè)詞包含其在句子中左側(cè)上下文信息表示向量htl和其右側(cè)上下文信息的htr,通過將其整合共同表示這個(gè)詞的信息為ht=[htl,htt],這種表示可以有效地包含上下文中單詞的表示,對(duì)于多標(biāo)記應(yīng)用十分有效。

    1.3.2 CRF層

    命名實(shí)體識(shí)別任務(wù)一般可以被認(rèn)為是序列標(biāo)注的問題,通常BiLSTM 的輸出結(jié)果即可進(jìn)行序列標(biāo)注,通過在最頂層添加一個(gè)softmax 層進(jìn)行判斷,輸出概率最大的標(biāo)簽,即可完成輸入序列的標(biāo)注任務(wù)。但是BiLSTM雖然解決了上下文聯(lián)系的問題,卻缺乏對(duì)輸出標(biāo)簽信息的約束。softmax分類器在序列標(biāo)注任務(wù)中沒有考慮標(biāo)簽與標(biāo)簽間存在的依賴關(guān)系,而條件隨機(jī)場(chǎng)CRF可以使用對(duì)數(shù)線性模型來表示整個(gè)特征序列的聯(lián)合概率,能更好地預(yù)測(cè)序列標(biāo)注中的標(biāo)簽。

    假定句子長(zhǎng)度為n,句子序列為X=(x1,x2,…,xn),通過BiLSTM 輸出的分?jǐn)?shù)矩陣為P,P的維度為n×k,其中k表示標(biāo)簽種類的數(shù)目,Pij表示第i個(gè)詞預(yù)測(cè)為第j個(gè)標(biāo)簽的概率,對(duì)于預(yù)測(cè)標(biāo)簽序列Y=(y1,y2,…,yn),預(yù)測(cè)序列最終的總分?jǐn)?shù)為:

    其中,T表示標(biāo)簽間的轉(zhuǎn)移分?jǐn)?shù),表示每個(gè)字到對(duì)應(yīng)yi標(biāo)簽的分?jǐn)?shù)。

    由于預(yù)測(cè)序列有多種可能性,其中只有一種是最正確的,應(yīng)對(duì)所有可能序列做全局歸一化,產(chǎn)生原始序列到預(yù)測(cè)序列的概率,在所有可能的標(biāo)記序列上的softmax產(chǎn)生序列y的概率:

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 數(shù)據(jù)集

    采用了Ecommerce、Resume、QI 三個(gè)數(shù)據(jù)集來作為模型的實(shí)驗(yàn)數(shù)據(jù)集。Ecommerce是由Ding等人在文獻(xiàn)[8]中提出的一個(gè)電商領(lǐng)域的命名實(shí)體識(shí)別數(shù)據(jù)集,Resume是Zhang 等人[5]最初提出的一個(gè)簡(jiǎn)歷數(shù)據(jù)集,它是一個(gè)公共數(shù)據(jù)集,在多篇文章中已經(jīng)得到了使用與驗(yàn)證。QI是由本文標(biāo)注的商品質(zhì)量檢測(cè)領(lǐng)域的數(shù)據(jù)集,主要分為9個(gè)實(shí)體類型,用來進(jìn)行產(chǎn)品實(shí)體的標(biāo)注,如表1。

    表1 語料規(guī)模Table 1 Corpus size 句

    對(duì)于使用到的詞典信息通過在搜狗詞庫、百度詞庫中獲取,將其中的詞按照行進(jìn)行分割,最終形成一個(gè)綜合的詞典庫信息,如表2。

    表2 詞典信息Table 2 Dictionary information 個(gè)

    2.2 數(shù)據(jù)集標(biāo)注及評(píng)價(jià)標(biāo)準(zhǔn)

    采用的標(biāo)注格式是BIEO 的標(biāo)注形式,如對(duì)于位置信息,使用“B-LOC”“I-LOC”“E-LOC”“O”。采用的評(píng)價(jià)標(biāo)準(zhǔn)與以往相關(guān)論文所使用的標(biāo)準(zhǔn)一樣,即使用精確率P、召回率R和F1 值來進(jìn)行模型的效果評(píng)估。其中各個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式如下:

    其中,a表示識(shí)別正確的實(shí)體數(shù),A表示全部實(shí)體的個(gè)數(shù),B表示被識(shí)別出的實(shí)體數(shù)。

    2.3 參照對(duì)比模型

    這里對(duì)比模型選取BiLSTM(2-gram)、BiLSTM(3-gram)、BiLSTM(4-gram)、Lattice、Multigraph。使用BiLSTM(2-gram)、BiLSTM(3-gram)、BiLSTM(4-gram)主要是為了將所提出模型與依靠N-gram進(jìn)行分詞并與字符進(jìn)行組合的模型進(jìn)行對(duì)比,從而進(jìn)一步體現(xiàn)出在數(shù)據(jù)集不使用gazetteers和句法結(jié)構(gòu)信息時(shí)的效果,Lattice和MultiGraph 模型都是使用了gazetteers 的中文命名實(shí)體識(shí)別模型,前者是基于LSTM 實(shí)現(xiàn)的修改,在LSTM的神經(jīng)元接收字符信息的同時(shí)也會(huì)接收通過詞典匹配的詞信息,后者是基于詞向量表示層的改進(jìn),將詞典信息通過圖神經(jīng)網(wǎng)絡(luò)融合進(jìn)字符表示中,之后再將其輸入到下一層的BiSLTM 中。通過與以上兩種模型的對(duì)比可以體現(xiàn)出新模型的以下兩個(gè)方面的效果:(1)對(duì)比基于LSTM 層融入詞信息模型的效果;(2)對(duì)比基于表示層融入詞信息而沒有使用句法結(jié)構(gòu)信息的效果。通過以上模型對(duì)比,從而更好地體現(xiàn)出所提出模型的效果。

    2.4 實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)參數(shù)配置

    2.4.1 實(shí)驗(yàn)環(huán)境配置

    本實(shí)驗(yàn)是基于NCRF++框架[18]搭建,其具體的訓(xùn)練環(huán)境配置如表3所示。

    表3 訓(xùn)練環(huán)境配置Table 3 Training environment configuration

    2.4.2 實(shí)驗(yàn)參數(shù)配置

    在本次實(shí)驗(yàn)過程中,采用sgd來作為模型優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.01,之后按照0.05的衰減率進(jìn)行遞減。LSTM 隱藏層的特征維度設(shè)置為300,訓(xùn)練批次大小為64,在LSTM的輸入和輸出設(shè)置Dropout,值為0.5,GRU的Clip值設(shè)置為5。具體的實(shí)驗(yàn)參數(shù)配置如表4所示。

    表4 參數(shù)設(shè)置Table 4 Parameter settings

    2.5 實(shí)驗(yàn)結(jié)果

    通過采用文獻(xiàn)[19]中的方法,首先在BiLSTM-CRF僅僅基于字符的基礎(chǔ)上實(shí)驗(yàn),后續(xù)通過添加2-gram、3-gram和4-gram的實(shí)驗(yàn)對(duì)比,結(jié)果如表5所示。

    表5 Ecommerce語料、Resume語料和QI語料的實(shí)驗(yàn)對(duì)比結(jié)果Table 5 Experiment comparison results of Ecommerce corpus,Resume corpus and QI corpus %

    通過表中數(shù)據(jù)可以看出2-gram 相對(duì)于3-gram、4-gram 有較好的結(jié)果。與模型Lattice 和MultiGraph 對(duì)比本文的模型效果也有所提升。綜上,本文的模型在使用了gazetteers和句法依存樹的關(guān)系后使得模型效果顯著提升。在Ecommerce數(shù)據(jù)集和QI數(shù)據(jù)集上的提升比較明顯,主要是因?yàn)檫@兩個(gè)數(shù)據(jù)集的特殊符號(hào)和品牌名稱特殊字符較多,相對(duì)于Resume 數(shù)據(jù)集有更多的噪音信息,通過融入gazetteers 和句法結(jié)構(gòu)關(guān)系可以緩解詞典匹配錯(cuò)誤信息的傳遞,從而使得各項(xiàng)指標(biāo)都得到了提升。對(duì)于Resume 數(shù)據(jù)集,數(shù)據(jù)格式和文本結(jié)構(gòu)比較單一且文字信息較為工整,提升效果不是很明顯,但是相比于實(shí)驗(yàn)中的其他模型,效果也得到了一定的提升。

    2.6 消融實(shí)驗(yàn)

    為了對(duì)融入句法依賴解析所產(chǎn)生影響做出更加客觀的評(píng)價(jià),將模型設(shè)置為四種情況進(jìn)行消融實(shí)驗(yàn):(1)初始模型(不包含句法依賴結(jié)構(gòu)和詞典信息)BiLSTM+bigram;(2)僅僅包含句法依賴信息,表示為BiLSTM+bigram+DT;(3)僅僅融入gazetteers 信息,表示為BiLSTM+bigram+gaz;(4)既包含gazetteers信息也包含句法依賴結(jié)構(gòu)信息即本文的模型,表示為BiLSTM+bigram+gaz+DT,最終實(shí)驗(yàn)結(jié)果如表6所示。

    表6 Ecommerce語料、Resume語料和QI語料消融實(shí)驗(yàn)結(jié)果Table 6 Ablation experiment results of Ecommerce corpus,Resume corpus and QI corpus %

    通過實(shí)驗(yàn)結(jié)果數(shù)據(jù)可以看出,在模型去掉gazetteers信息和句法依賴結(jié)構(gòu)關(guān)系時(shí),整體評(píng)測(cè)標(biāo)準(zhǔn)大幅下降,當(dāng)初始模型加入句法依賴信息后,準(zhǔn)確率和F1 值都有一定的提升;僅僅將詞典信息融入進(jìn)去對(duì)于recall 值有很大的提升,準(zhǔn)確率和F1 值提升幅度與僅僅加入句法依賴關(guān)系效果接近。將兩者共同融入后,所有的指標(biāo)都得到了一個(gè)明顯的提升。由此可以看出句法依賴信息有助于提升詞的信息表示,進(jìn)而提升各項(xiàng)評(píng)測(cè)信息的值。

    3 總結(jié)及展望

    針對(duì)中文命名實(shí)體識(shí)別任務(wù),通過自適應(yīng)圖神經(jīng)網(wǎng)絡(luò)將詞信息、句法依賴信息、句子順序信息融合獲得語境化的詞向量,再結(jié)合傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型BiLSTMCRF,構(gòu)建成新的實(shí)體識(shí)別模型。通過在Ecommerce數(shù)據(jù)集、Resume 數(shù)據(jù)集和自行標(biāo)注的QI 數(shù)據(jù)集分別進(jìn)行評(píng)測(cè),相比于參考的其他模型都獲得了不錯(cuò)的效果。所提出模型的最大優(yōu)勢(shì)在于通過將句法依賴關(guān)系融合進(jìn)詞的信息可以很好地緩解對(duì)于詞典中不存在的詞造成的融合錯(cuò)誤信息的問題,從而使得該模型相比于其他模型識(shí)別效果得到了很好的提升。文中所研究的這個(gè)方法可以應(yīng)用于其他領(lǐng)域?qū)τ谥形拿麑?shí)體識(shí)別模型的詞的消歧工作。

    猜你喜歡
    字符句法詞典
    尋找更強(qiáng)的字符映射管理器
    句法與句意(外一篇)
    中華詩詞(2021年3期)2021-12-31 08:07:22
    述謂結(jié)構(gòu)與英語句法配置
    米沃什詞典
    文苑(2019年24期)2020-01-06 12:06:50
    字符代表幾
    一種USB接口字符液晶控制器設(shè)計(jì)
    電子制作(2019年19期)2019-11-23 08:41:50
    消失的殖民村莊和神秘字符
    句法二題
    中華詩詞(2018年3期)2018-08-01 06:40:40
    詩詞聯(lián)句句法梳理
    中華詩詞(2018年11期)2018-03-26 06:41:32
    評(píng)《現(xiàn)代漢語詞典》(第6版)
    一个人观看的视频www高清免费观看| 国产精品爽爽va在线观看网站| 女生性感内裤真人,穿戴方法视频| 久久久久久久精品吃奶| 在线免费观看不下载黄p国产 | 亚洲不卡免费看| 亚洲午夜理论影院| 日本成人三级电影网站| 午夜福利在线在线| 国产精品,欧美在线| 精品乱码久久久久久99久播| 国产精品久久视频播放| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 日本精品一区二区三区蜜桃| www.www免费av| 精品久久久久久成人av| 婷婷亚洲欧美| 国产伦精品一区二区三区视频9| 亚洲性夜色夜夜综合| 精品欧美国产一区二区三| av黄色大香蕉| 亚洲精品在线美女| 欧美黄色片欧美黄色片| 好男人在线观看高清免费视频| 亚洲美女搞黄在线观看 | 精品久久久久久成人av| 亚洲av第一区精品v没综合| 国产亚洲精品综合一区在线观看| 精品乱码久久久久久99久播| 97人妻精品一区二区三区麻豆| 亚洲av成人不卡在线观看播放网| 亚洲 国产 在线| 日韩中文字幕欧美一区二区| 熟女电影av网| 久久久久亚洲av毛片大全| 久久精品久久久久久噜噜老黄 | 日韩欧美 国产精品| 草草在线视频免费看| 18禁在线播放成人免费| 麻豆av噜噜一区二区三区| 窝窝影院91人妻| 免费av不卡在线播放| 亚洲精品成人久久久久久| 久久久久久大精品| 在线免费观看不下载黄p国产 | 国产亚洲精品av在线| 色哟哟哟哟哟哟| 九九久久精品国产亚洲av麻豆| or卡值多少钱| 两人在一起打扑克的视频| 精品久久久久久久久久免费视频| 午夜两性在线视频| 久久99热这里只有精品18| 午夜亚洲福利在线播放| 国产亚洲欧美98| 亚洲av中文字字幕乱码综合| 国产乱人视频| 我要看日韩黄色一级片| 国产69精品久久久久777片| 久久久久久久久中文| 精品一区二区三区人妻视频| 国产精品三级大全| 两人在一起打扑克的视频| 成人美女网站在线观看视频| 女人被狂操c到高潮| 亚洲片人在线观看| 国产av在哪里看| 日韩中文字幕欧美一区二区| 亚洲国产日韩欧美精品在线观看| 小蜜桃在线观看免费完整版高清| 波多野结衣巨乳人妻| 色5月婷婷丁香| 伊人久久精品亚洲午夜| 99久久九九国产精品国产免费| 99国产精品一区二区三区| 欧美+日韩+精品| 亚洲国产精品合色在线| 亚洲经典国产精华液单 | 久久精品影院6| 亚洲性夜色夜夜综合| 国产欧美日韩一区二区精品| 又爽又黄a免费视频| 婷婷亚洲欧美| 深夜精品福利| 美女cb高潮喷水在线观看| 91久久精品国产一区二区成人| 99久久九九国产精品国产免费| 精品国内亚洲2022精品成人| 99热精品在线国产| 韩国av一区二区三区四区| 激情在线观看视频在线高清| 成年女人看的毛片在线观看| 又粗又爽又猛毛片免费看| 中文字幕人成人乱码亚洲影| 亚洲精品色激情综合| 亚洲性夜色夜夜综合| 一区二区三区四区激情视频 | 五月玫瑰六月丁香| 国模一区二区三区四区视频| 国产在线男女| 午夜福利欧美成人| 高清毛片免费观看视频网站| 波多野结衣巨乳人妻| 亚洲精品一区av在线观看| 免费观看人在逋| 欧美中文日本在线观看视频| 精品不卡国产一区二区三区| 欧美一区二区国产精品久久精品| 国内精品久久久久久久电影| 国产白丝娇喘喷水9色精品| 久久99热这里只有精品18| 久久性视频一级片| 国产伦精品一区二区三区四那| 91久久精品电影网| 久久久精品欧美日韩精品| 欧美3d第一页| 欧美三级亚洲精品| 听说在线观看完整版免费高清| 亚洲欧美激情综合另类| 欧美日韩瑟瑟在线播放| 精品午夜福利在线看| 精品熟女少妇八av免费久了| 真人做人爱边吃奶动态| 久久国产乱子免费精品| 日本一二三区视频观看| 人人妻人人看人人澡| 国产午夜精品久久久久久一区二区三区 | 麻豆一二三区av精品| 国产三级在线视频| 97热精品久久久久久| 成人美女网站在线观看视频| 成人三级黄色视频| 十八禁人妻一区二区| 天堂影院成人在线观看| 日韩欧美国产一区二区入口| 亚洲av电影在线进入| 非洲黑人性xxxx精品又粗又长| 高清毛片免费观看视频网站| 美女大奶头视频| 久久久成人免费电影| 国产三级黄色录像| 欧美性感艳星| 日韩亚洲欧美综合| 国产精品亚洲av一区麻豆| 黄色丝袜av网址大全| 天堂av国产一区二区熟女人妻| 少妇熟女aⅴ在线视频| ponron亚洲| 免费av毛片视频| 欧美一区二区亚洲| 午夜精品久久久久久毛片777| 国产精品久久久久久久久免 | 国产免费男女视频| 男人舔奶头视频| 久久人人爽人人爽人人片va | 亚洲精品456在线播放app | 18禁黄网站禁片免费观看直播| 免费人成视频x8x8入口观看| 亚洲人成网站高清观看| 3wmmmm亚洲av在线观看| 午夜精品久久久久久毛片777| 色综合婷婷激情| 无遮挡黄片免费观看| 一区二区三区四区激情视频 | 亚洲国产欧美人成| 亚洲国产精品久久男人天堂| 波多野结衣高清无吗| 欧美激情在线99| 国产精品一区二区免费欧美| 午夜福利18| 国产精品久久视频播放| 亚洲国产日韩欧美精品在线观看| 搡女人真爽免费视频火全软件 | 我的女老师完整版在线观看| 久久久久九九精品影院| 久久精品国产亚洲av天美| 国产老妇女一区| 白带黄色成豆腐渣| 日韩欧美国产一区二区入口| 久久精品久久久久久噜噜老黄 | av福利片在线观看| 亚洲国产精品999在线| 久久久精品欧美日韩精品| 亚洲av免费高清在线观看| 直男gayav资源| 国产乱人伦免费视频| 美女免费视频网站| 制服丝袜大香蕉在线| 国产亚洲欧美98| 国产精品亚洲一级av第二区| 午夜福利免费观看在线| 黄色丝袜av网址大全| 99久久久亚洲精品蜜臀av| 51午夜福利影视在线观看| www.熟女人妻精品国产| 亚洲自拍偷在线| 国产精品久久久久久人妻精品电影| 可以在线观看的亚洲视频| 中文字幕人成人乱码亚洲影| 国产一区二区在线观看日韩| 偷拍熟女少妇极品色| 精品人妻熟女av久视频| 中文在线观看免费www的网站| 精品久久久久久久人妻蜜臀av| 国产精品亚洲一级av第二区| 91av网一区二区| 99国产综合亚洲精品| 三级毛片av免费| 日韩欧美国产在线观看| 一个人看的www免费观看视频| 亚洲美女黄片视频| 淫秽高清视频在线观看| 男人和女人高潮做爰伦理| 99热这里只有是精品50| 亚洲成人免费电影在线观看| 极品教师在线免费播放| 99热这里只有是精品50| 日本 av在线| 亚洲人成电影免费在线| 欧美不卡视频在线免费观看| 露出奶头的视频| 亚洲美女搞黄在线观看 | 啦啦啦观看免费观看视频高清| 免费看a级黄色片| 亚洲精华国产精华精| 脱女人内裤的视频| av欧美777| 日韩亚洲欧美综合| 小说图片视频综合网站| 欧美zozozo另类| 可以在线观看毛片的网站| 少妇被粗大猛烈的视频| 成年免费大片在线观看| 两个人的视频大全免费| www.www免费av| 欧美+日韩+精品| 久久人人爽人人爽人人片va | 午夜福利在线在线| 久9热在线精品视频| 亚洲欧美日韩东京热| 亚洲精品粉嫩美女一区| 国产精品永久免费网站| 亚洲成人中文字幕在线播放| 亚洲欧美激情综合另类| 在线观看av片永久免费下载| 成人无遮挡网站| 中文资源天堂在线| 国产亚洲欧美在线一区二区| 观看免费一级毛片| 国产免费av片在线观看野外av| 国产精品美女特级片免费视频播放器| 在线观看免费视频日本深夜| 观看美女的网站| 精品国内亚洲2022精品成人| 色综合亚洲欧美另类图片| 欧美丝袜亚洲另类 | 亚洲,欧美精品.| 老司机午夜福利在线观看视频| av福利片在线观看| 亚洲国产精品成人综合色| 亚洲成av人片在线播放无| 在线免费观看的www视频| 一级av片app| 亚洲专区中文字幕在线| 国产成人影院久久av| 国产精品人妻久久久久久| 精品乱码久久久久久99久播| 中文字幕免费在线视频6| 亚洲精品在线观看二区| 亚洲av免费高清在线观看| 看十八女毛片水多多多| 免费大片18禁| 亚洲成av人片在线播放无| 欧美精品国产亚洲| 久久久久久久亚洲中文字幕 | 精品久久久久久久久久免费视频| 国内揄拍国产精品人妻在线| 亚洲国产色片| 免费黄网站久久成人精品 | 亚洲人成伊人成综合网2020| 国产高清三级在线| 国产高清视频在线播放一区| 我要看日韩黄色一级片| 亚洲男人的天堂狠狠| 日本熟妇午夜| 国产不卡一卡二| 久久精品综合一区二区三区| 国产真实乱freesex| 在线十欧美十亚洲十日本专区| 一二三四社区在线视频社区8| 特大巨黑吊av在线直播| 亚洲成人中文字幕在线播放| 成年女人毛片免费观看观看9| 亚洲精品在线美女| 午夜福利视频1000在线观看| 精品不卡国产一区二区三区| 97热精品久久久久久| 国内精品一区二区在线观看| 最近视频中文字幕2019在线8| 国产色爽女视频免费观看| 一a级毛片在线观看| 欧美3d第一页| 久久国产乱子伦精品免费另类| 1024手机看黄色片| 亚洲中文字幕一区二区三区有码在线看| 观看美女的网站| 日韩欧美在线乱码| 色综合站精品国产| 小蜜桃在线观看免费完整版高清| 长腿黑丝高跟| 国内精品久久久久精免费| 国产免费av片在线观看野外av| 欧美3d第一页| 深夜a级毛片| 亚洲欧美激情综合另类| 午夜福利在线在线| 国产欧美日韩一区二区精品| 内地一区二区视频在线| 欧美激情国产日韩精品一区| 无遮挡黄片免费观看| 一个人免费在线观看的高清视频| 丰满人妻熟妇乱又伦精品不卡| 亚洲乱码一区二区免费版| 日韩有码中文字幕| 亚洲中文字幕一区二区三区有码在线看| 免费搜索国产男女视频| 国产乱人伦免费视频| 日日干狠狠操夜夜爽| netflix在线观看网站| 丰满的人妻完整版| 国产大屁股一区二区在线视频| www日本黄色视频网| 欧美黄色淫秽网站| 午夜福利高清视频| 可以在线观看的亚洲视频| 1000部很黄的大片| 久9热在线精品视频| 在线观看免费视频日本深夜| 色精品久久人妻99蜜桃| 网址你懂的国产日韩在线| 亚洲欧美日韩卡通动漫| 黄色一级大片看看| 性插视频无遮挡在线免费观看| 熟妇人妻久久中文字幕3abv| 亚洲七黄色美女视频| 国产亚洲精品综合一区在线观看| 丰满乱子伦码专区| 在线播放无遮挡| a级毛片免费高清观看在线播放| 亚洲欧美日韩高清在线视频| 亚洲激情在线av| 免费在线观看成人毛片| 波多野结衣巨乳人妻| www.熟女人妻精品国产| 黄色日韩在线| 97超视频在线观看视频| 久久午夜亚洲精品久久| 九色国产91popny在线| 波多野结衣高清无吗| 99久久无色码亚洲精品果冻| 人妻丰满熟妇av一区二区三区| 欧美+亚洲+日韩+国产| 两个人视频免费观看高清| 中文字幕久久专区| 婷婷色综合大香蕉| 亚洲欧美日韩高清专用| 特级一级黄色大片| 亚洲av免费在线观看| 久久99热6这里只有精品| 日本成人三级电影网站| 免费看美女性在线毛片视频| 老女人水多毛片| 午夜福利18| 亚洲人成电影免费在线| 欧美一区二区精品小视频在线| 毛片女人毛片| 悠悠久久av| 日本一二三区视频观看| 99久久久亚洲精品蜜臀av| 99精品久久久久人妻精品| 亚洲电影在线观看av| 国产亚洲精品久久久com| 国产一级毛片七仙女欲春2| 给我免费播放毛片高清在线观看| 又紧又爽又黄一区二区| 99riav亚洲国产免费| 亚洲av五月六月丁香网| 99riav亚洲国产免费| 欧美最新免费一区二区三区 | 婷婷丁香在线五月| 久久国产乱子伦精品免费另类| 久久九九热精品免费| 国产精品亚洲一级av第二区| 亚洲欧美清纯卡通| av在线蜜桃| 久久久国产成人免费| 精品一区二区三区人妻视频| 精品熟女少妇八av免费久了| 国产乱人视频| 成人鲁丝片一二三区免费| 久久国产乱子免费精品| 日本在线视频免费播放| 国产成年人精品一区二区| 天堂网av新在线| 女生性感内裤真人,穿戴方法视频| 欧美一级a爱片免费观看看| 变态另类丝袜制服| 搡老熟女国产l中国老女人| 极品教师在线免费播放| 久久精品国产亚洲av涩爱 | 在线a可以看的网站| 97热精品久久久久久| 欧美三级亚洲精品| 欧美xxxx性猛交bbbb| 亚洲精品一区av在线观看| 欧美黄色淫秽网站| 久久国产乱子免费精品| 直男gayav资源| 亚洲av美国av| 亚洲人成网站高清观看| 丰满乱子伦码专区| 在线十欧美十亚洲十日本专区| 国产高清有码在线观看视频| 小说图片视频综合网站| 简卡轻食公司| 日韩成人在线观看一区二区三区| 男人狂女人下面高潮的视频| 欧美在线黄色| 久久国产精品人妻蜜桃| 国产黄a三级三级三级人| 免费av观看视频| 免费观看人在逋| 天天一区二区日本电影三级| 精品久久久久久久末码| 悠悠久久av| 一进一出抽搐动态| 欧美又色又爽又黄视频| 午夜福利成人在线免费观看| 欧美黄色片欧美黄色片| 国产精品人妻久久久久久| 搡老妇女老女人老熟妇| 在线观看66精品国产| 18禁裸乳无遮挡免费网站照片| 亚洲中文字幕日韩| 别揉我奶头~嗯~啊~动态视频| 在线观看av片永久免费下载| 老司机午夜福利在线观看视频| 国产一区二区在线观看日韩| 精品人妻熟女av久视频| av中文乱码字幕在线| 老司机午夜福利在线观看视频| 久久精品国产自在天天线| 国产aⅴ精品一区二区三区波| 亚洲av免费在线观看| 麻豆一二三区av精品| 午夜亚洲福利在线播放| 99视频精品全部免费 在线| 99精品久久久久人妻精品| 色哟哟哟哟哟哟| 日本一二三区视频观看| 午夜免费男女啪啪视频观看 | 婷婷亚洲欧美| 一个人免费在线观看电影| 九色国产91popny在线| 男人舔女人下体高潮全视频| 97超级碰碰碰精品色视频在线观看| 精品一区二区三区视频在线观看免费| а√天堂www在线а√下载| 亚洲一区二区三区不卡视频| 国产一区二区亚洲精品在线观看| 高清在线国产一区| 精华霜和精华液先用哪个| 日本撒尿小便嘘嘘汇集6| 国产一级毛片七仙女欲春2| 亚洲精品久久国产高清桃花| 网址你懂的国产日韩在线| 国产精品久久久久久人妻精品电影| 在线播放无遮挡| 中文字幕熟女人妻在线| 国产av麻豆久久久久久久| 亚洲熟妇中文字幕五十中出| 日本一本二区三区精品| 免费电影在线观看免费观看| 欧洲精品卡2卡3卡4卡5卡区| 欧美色视频一区免费| 国产精品98久久久久久宅男小说| 俺也久久电影网| 嫩草影视91久久| 亚洲一区高清亚洲精品| 亚洲av.av天堂| 看免费av毛片| 少妇裸体淫交视频免费看高清| 久久久久精品国产欧美久久久| 日韩欧美 国产精品| 亚洲欧美清纯卡通| 午夜激情欧美在线| 国产成人欧美在线观看| 最近最新免费中文字幕在线| av视频在线观看入口| 国产午夜精品论理片| 九色成人免费人妻av| 特级一级黄色大片| 亚洲最大成人手机在线| 久久国产乱子伦精品免费另类| 亚洲男人的天堂狠狠| 久久精品影院6| 老司机深夜福利视频在线观看| 男女视频在线观看网站免费| 国产高清视频在线播放一区| 欧美3d第一页| 久久久久久久久久黄片| 亚洲国产日韩欧美精品在线观看| 男女视频在线观看网站免费| 精品人妻偷拍中文字幕| 成人亚洲精品av一区二区| 欧美精品国产亚洲| 欧美精品啪啪一区二区三区| 亚洲五月婷婷丁香| 波多野结衣高清无吗| 欧美国产日韩亚洲一区| 淫秽高清视频在线观看| 小说图片视频综合网站| 国产日本99.免费观看| www.色视频.com| 午夜免费男女啪啪视频观看 | 丁香欧美五月| 亚洲天堂国产精品一区在线| 听说在线观看完整版免费高清| 国产乱人伦免费视频| 国产美女午夜福利| 久久精品国产亚洲av香蕉五月| 亚洲三级黄色毛片| 欧美激情在线99| 一进一出抽搐gif免费好疼| 如何舔出高潮| 国产国拍精品亚洲av在线观看| 色5月婷婷丁香| 亚洲五月婷婷丁香| av天堂在线播放| 校园春色视频在线观看| 国产精品日韩av在线免费观看| 在线十欧美十亚洲十日本专区| 男插女下体视频免费在线播放| 午夜福利高清视频| 内地一区二区视频在线| 露出奶头的视频| 国语自产精品视频在线第100页| 午夜精品在线福利| 丁香欧美五月| 成人美女网站在线观看视频| 69人妻影院| 三级国产精品欧美在线观看| 国产v大片淫在线免费观看| 国产av不卡久久| 亚洲av五月六月丁香网| 99热6这里只有精品| 国产91精品成人一区二区三区| 国产精品人妻久久久久久| 国产成人影院久久av| 亚洲av成人不卡在线观看播放网| 亚洲精品乱码久久久v下载方式| 亚洲国产欧洲综合997久久,| 黄色一级大片看看| 三级毛片av免费| 国产高清激情床上av| av专区在线播放| 久久午夜福利片| 日本五十路高清| 日韩欧美国产在线观看| 天美传媒精品一区二区| 老熟妇仑乱视频hdxx| 91麻豆av在线| АⅤ资源中文在线天堂| 99久久九九国产精品国产免费| av女优亚洲男人天堂| 在线观看一区二区三区| 赤兔流量卡办理| 十八禁人妻一区二区| 婷婷精品国产亚洲av在线| 中文在线观看免费www的网站| 亚洲性夜色夜夜综合| 午夜两性在线视频| 最新在线观看一区二区三区| 亚洲av.av天堂| 日韩国内少妇激情av| 日韩 亚洲 欧美在线| 国产精品一及| 一个人看视频在线观看www免费| 亚洲成av人片免费观看| av欧美777| 小蜜桃在线观看免费完整版高清| 最近最新免费中文字幕在线| 日韩欧美国产一区二区入口| 精品久久久久久久久久久久久| 嫩草影院精品99| 亚洲国产高清在线一区二区三| 亚洲欧美激情综合另类| 黄片小视频在线播放| 国产免费男女视频| 18禁黄网站禁片午夜丰满| 国产免费av片在线观看野外av| 国产亚洲精品综合一区在线观看| 最后的刺客免费高清国语| 69av精品久久久久久| 国产精品影院久久| 国产又黄又爽又无遮挡在线| 在线观看美女被高潮喷水网站 | 日韩av在线大香蕉| 神马国产精品三级电影在线观看| 精品久久久久久久久久久久久| 听说在线观看完整版免费高清| 亚洲 欧美 日韩 在线 免费| 校园春色视频在线观看| 欧美性猛交╳xxx乱大交人| 国产一区二区三区视频了|