• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于BERT的安全事件命名實(shí)體識(shí)別研究

    2021-03-11 06:04:08竇宇宸
    信息安全研究 2021年3期
    關(guān)鍵詞:安全事件語料命名

    竇宇宸 胡 勇

    (四川大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 成都 610065)

    (douyuchen_jl@163.com)

    隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,我國的互聯(lián)網(wǎng)規(guī)模迅速增長,“上網(wǎng)沖浪”已經(jīng)成為我們?nèi)粘I钪蝎@取信息的重要方式,但其中海量數(shù)據(jù)也帶來了不少“信息重復(fù)”及“信息冗雜”等問題,抽取句子中的重要信息并準(zhǔn)確定位公眾關(guān)注的事件信息則尤為重要.在我們?nèi)粘=佑|到的新聞、網(wǎng)頁、微博、公眾號(hào)及常見新聞等獲取渠道中,每一篇文章甚至每一個(gè)句子都可能包含巨大的信息量,由于中文語義的復(fù)雜性及句子用詞的隨意性,使用人工方法區(qū)分關(guān)鍵信息工作量巨大.命名實(shí)體識(shí)別(name entity recognition,NER)正是解決這個(gè)問題的有效自動(dòng)化方法之一.NER指從1段自然語言文本中找出特定類型的實(shí)體(如人名、組織名稱、地點(diǎn)、時(shí)間及行為等),并標(biāo)注其位置,是信息檢索及關(guān)系抽取等工作的基礎(chǔ).前期研究人員經(jīng)常使用的統(tǒng)計(jì)模型有隱馬爾科夫模型(HMM)、支持向量機(jī)(SVM)、最大熵模型(ME)及條件隨機(jī)場(CRF)等,這類方法通常是將實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為從文本輸入到特定目標(biāo)結(jié)構(gòu)的預(yù)測,使用如上的統(tǒng)計(jì)模型來構(gòu)造輸入與輸出的關(guān)聯(lián),并使用機(jī)器學(xué)習(xí)方法來學(xué)習(xí)模型的參數(shù).但是這些方法均需要人工提取特征,不僅會(huì)導(dǎo)致研究人員在標(biāo)注文本時(shí)承受龐大的工作量,也會(huì)使得提取的特征易丟失文本本身的情感信息,實(shí)體識(shí)別的效果欠佳.與傳統(tǒng)的機(jī)器學(xué)習(xí)識(shí)別方法相比,針對文本信息中語義不明確且上下文關(guān)聯(lián)不明晰的情況,命名實(shí)體識(shí)別的方案逐漸從需要大量人工提取特征的統(tǒng)計(jì)概率模型逐步轉(zhuǎn)向深度學(xué)習(xí)領(lǐng)域,深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)地從數(shù)據(jù)中提取有用的特征,將其應(yīng)用于非結(jié)構(gòu)化、模式多變的數(shù)據(jù)中具有顯著優(yōu)勢,并可以更好地解決文本特征稀疏等問題.

    在中文命名實(shí)體識(shí)別領(lǐng)域,2005年,向曉雯等人[1]采用隱馬爾科夫模型進(jìn)行詞性標(biāo)注,還對上下文相關(guān)的命名實(shí)體識(shí)別作了初步嘗試.2011年,龔凌暉[2]針對現(xiàn)代漢語文本的特點(diǎn),以人名、地名及組織名為核心內(nèi)容的中文命名實(shí)體識(shí)別問題,基于LSA(潛在語義分析)實(shí)現(xiàn)對命名實(shí)體的歧義消解,實(shí)現(xiàn)了一個(gè)基于CRF的中文命名識(shí)別系統(tǒng),驗(yàn)證了用算法建立一個(gè)有效實(shí)體庫的可行性.2016年,朱丹浩等人[3]針對中文機(jī)構(gòu)名結(jié)構(gòu)復(fù)雜、罕見詞多及識(shí)別難度大問題,采用RNN重新定義了機(jī)構(gòu)名標(biāo)注的輸入與輸出,在識(shí)別機(jī)構(gòu)名實(shí)體的F1值上有一定的提升.2018年,李麗雙等人[4]采用CNN-BiLSTM-CRF的模型,利用CNN訓(xùn)練單詞形態(tài)特征的字向量,再組合語義向量輸入至BiLSTM層,該模型應(yīng)用在生物醫(yī)學(xué)語料上取得了較好的結(jié)果.2019年,黃煒等人[5]使用BiLSTM網(wǎng)絡(luò)完成語句的上下文關(guān)聯(lián)語義分析后,接入CRF層添加約束的方法應(yīng)用在涉恐信息實(shí)體識(shí)別領(lǐng)域,有效獲取涉恐人員恐怖主義機(jī)構(gòu)及暴恐實(shí)施地點(diǎn)等重要信息.2021年,范曉霞等人[6]設(shè)計(jì)了一個(gè)針對暗網(wǎng)市場文本的命名實(shí)體識(shí)別系統(tǒng),使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行字符向量化以學(xué)習(xí)單詞形態(tài)特征,將雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)應(yīng)用于暗網(wǎng)市場文本的命名實(shí)體識(shí)別,并采用CRF模型實(shí)現(xiàn)序列標(biāo)簽之間的約束性,目前該系統(tǒng)在暗網(wǎng)市場文本命名實(shí)體識(shí)別領(lǐng)域內(nèi)效果較佳,準(zhǔn)確率達(dá)到98.59%.

    上述方法中字向量為使用已經(jīng)被大量語料訓(xùn)練完成的詞嵌入(word embedding).詞嵌入是自然語言處理領(lǐng)域早期的預(yù)訓(xùn)練技術(shù),Bengio等人[7]提出了神經(jīng)網(wǎng)絡(luò)語言模型.Mikolov等人[8]對神經(jīng)網(wǎng)絡(luò)語言模型優(yōu)化,提出Word2Vec,并提出2種語言模型——連續(xù)詞袋模型(CBOW)和Skip-gram模型.Word2Vec能捕捉詞語之間的相似性,可根據(jù)上下文預(yù)測中間的詞匯,但沒有考慮單詞的詞序問題.Pennington等人[9]提出Glove詞向量,可獲取全局信息,更容易并行化,與Word2Vec相比,在數(shù)據(jù)集較大時(shí),Glove可更快地進(jìn)行訓(xùn)練.

    上述詞向量可以在一定程度上提高模型準(zhǔn)確率,但不同語境下的詞向量相同,無法解決一詞多義問題[10].同一個(gè)字或詞語在1個(gè)句子中的語義不同,例如句子“你這著真絕,讓他干著急,又無法著手應(yīng)付,心里老是懸著.”4個(gè)“著”字在客觀上表達(dá)的是不同的詞意,但在Word2Vec,Glove等字向量表示方法中,4個(gè)“著”的字向量表示完全一致,這與我們正常理解這句話的含義不同.所以準(zhǔn)確地描述當(dāng)前詞在上下文中的含義對于文本中提取字或詞的向量十分重要.由于BERT預(yù)訓(xùn)練模型采用雙向Transformer 編碼器對上下文信息都進(jìn)行了提取,融合左右2側(cè)的語境,得到一個(gè)深度雙向Transformer. BERT對單詞及上下文關(guān)系作了充分描述,能有效實(shí)現(xiàn)多義詞的消歧.所以本文選擇使用BERT預(yù)訓(xùn)練模型替代傳統(tǒng)的詞嵌入方法,接入BiLSTM以解決一詞多義的問題.楊飄等人[11]針對字多義性,使用BERT-BiGRU-CRF融合模型在MSRA語料中作的命名實(shí)體識(shí)別的效果好于目前最優(yōu)的Lattice-LSTM模型.

    為解決公共安全事件的命名實(shí)體識(shí)別問題,本文使用已被大規(guī)模中文語料訓(xùn)練完成的BERT模型作為雙向長短時(shí)記憶網(wǎng)絡(luò)的輸入,獲取漢字的語義向量表示,確保在識(shí)別標(biāo)注的任務(wù)中的字向量具有多義性.在雙向長短時(shí)記憶網(wǎng)絡(luò)后接入CRF層,從而實(shí)現(xiàn)了對公共安全事件命名實(shí)體的自動(dòng)識(shí)別.實(shí)驗(yàn)表明,該方法能夠取得較好的效果,可以在一定程度上解決公共安全事件領(lǐng)域命名實(shí)體識(shí)別問題.

    1 模型結(jié)構(gòu)

    本文將公共安全事件的文本輸入至BERT預(yù)訓(xùn)練語言模型,獲取每個(gè)字的向量表示.將字向量序列輸入BiLSTM層用以提取特征,最后通過CRF層選擇概率最大的標(biāo)注輸出為各字的標(biāo)簽,即將BiLSTM層原本的Softmax層替換為CRF層.本文中使用的BERT-BiLSTM-CRF模型整體結(jié)構(gòu)如圖1所示,模型包含以下4個(gè)部分:預(yù)訓(xùn)練層、BiLSTM網(wǎng)絡(luò)層、特征提取層及CRF層.

    圖1 BERT-BiLSTM-CRF模型結(jié)構(gòu)圖

    1.1 預(yù)訓(xùn)練層模型

    在NER研究中的模型大多采用已預(yù)訓(xùn)練好的Word2Vec,Glove等獲取文本的詞嵌入向量表示,未使用預(yù)訓(xùn)練模型,在其研究上也能夠達(dá)到不差的效果.用稀疏向量表示文本,即所謂的詞袋模型在NLP有著悠久的歷史.正如上文中介紹的,早在 2001年就開始使用密集向量表示詞或詞嵌入.Mikolov等人[8]在2013年提出的創(chuàng)新技術(shù)是通過去除隱藏層,逼近目標(biāo),進(jìn)而使這些單詞嵌入的訓(xùn)練更加高效.雖然這些技術(shù)更新本質(zhì)上很簡單,但它們與高效的Word2Vec配合使用,才能使大規(guī)模的詞嵌入訓(xùn)練成為可能.但是使用這些詞向量忽略了詞的上下文關(guān)系,在不同場景下詞的向量表示是相同的,缺乏消歧能力.本文使用基于BERT預(yù)訓(xùn)練模型,采用BERT官方的大規(guī)模中文語料訓(xùn)練模型,可包含大多數(shù)的詞匯與場景,竭力解決一詞多義問題.

    從BERT的結(jié)構(gòu)層面來看,它和GPT,ELMo一樣都采用Transformer的結(jié)構(gòu),相對于GPT來說,BERT是具有雙向Transformer的模型結(jié)構(gòu),BERT的模型結(jié)構(gòu)如圖2所示.BERT在預(yù)訓(xùn)練過程中提出了掩碼語言模型與下一條句子預(yù)測,作用分別是作上下文預(yù)測與學(xué)習(xí)語料中數(shù)據(jù)的相關(guān)性.

    圖2 BERT模型結(jié)構(gòu)圖

    在掩碼語言模型任務(wù)中,BERT會(huì)隨機(jī)選擇1個(gè)句子中15%的詞,用它們的上下文來作預(yù)測用以訓(xùn)練,而不是像CBOW一樣將每個(gè)詞都預(yù)測1遍,最終的loss只計(jì)算被[MASK]的15%的詞.在隨機(jī)[MASK]時(shí)將10%的單詞替換為其他單詞,10%的單詞不作替換,剩余80%被替換為[MASK].

    在下一條句子預(yù)測任務(wù)的目的是讓模型理解2個(gè)句子之間的聯(lián)系,例如句子A與句子B,B有一半的概率是A的下一句,輸入這2個(gè)句子來預(yù)測B是不是A的下一句.

    BERT模型的輸入為3個(gè)向量,分別為詞向量、分段向量及位置向量.詞向量指當(dāng)前詞的詞向量表示,第1個(gè)單詞是[CLS]標(biāo)識(shí);分段向量是表示當(dāng)前詞所在句子的位置向量.位置向量是表示當(dāng)前詞屬于哪個(gè)句子.樣例如圖3所示.在BERT模型中的輸入可以為單一的句子或是句子對,實(shí)際輸入是這些向量之和.將以上向量之和輸入到12層的雙向Transformer網(wǎng)絡(luò)中,最后一層Transformer結(jié)構(gòu)得到的即為BERT層輸出.

    圖3 BERT輸入向量表示

    1.2 BiLSTM層模型

    自RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))提出以來,被大量運(yùn)用于NER等領(lǐng)域,具有記憶的能力,但由于RNN存在梯度消失或梯度爆炸的問題,在處理長序列的數(shù)據(jù)方面很困難,研究人員對RNN作出了一些改進(jìn),得到了RNN的另一種形態(tài),它可以捕捉長期依賴關(guān)系,即LSTM. LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,由于它長時(shí)間的記憶能力,在自然語言處理和語音識(shí)別等領(lǐng)域應(yīng)用廣泛.

    圖4 LSTM神經(jīng)元結(jié)構(gòu)圖

    LSTM模型的計(jì)算過程如下:

    ft=σ(Wfhht-1+Wfxxt+bf),

    (1)

    it=σ(Wihht-1+Wixxt+bi),

    (2)

    ot=σ(Wohht-1+Woxxt+bo),

    (3)

    ct=ittanh(Wchht-1+Wcxxt+bc)+ftct-1,

    (4)

    ht=ottanh(ct),

    (5)

    其中,對于時(shí)刻t,ht-1,xt分別表示隱層狀態(tài)及輸入詞;W表示LSTM的權(quán)重矩陣;b表示偏置;ft,it,ot分別表示LSTM的遺忘門、輸入門、輸出門,σ表示激勵(lì)函數(shù)Sigmoid,tanh表示雙曲正切函數(shù).

    單向LSTM由于按文本序列輸入,無法編碼從后到前的信息,只能處理上文的信息而忽略了下文信息.繼而研究人員又提出了BiLSTM模型(如圖5所示),也就是雙向LSTM結(jié)構(gòu),對每一個(gè)訓(xùn)練序列分別訓(xùn)練一個(gè)向前LSTM和向后的LSTM網(wǎng)絡(luò).這種網(wǎng)絡(luò)的結(jié)構(gòu)可以將前后LSTM的輸出拼接成一個(gè)完整的序列,從而提供每一個(gè)序列點(diǎn)完整的上下文信息.

    圖5 BiLSTM模型結(jié)構(gòu)圖

    1.3 CRF層模型

    CRF是給定1組輸入隨機(jī)變量條件下另一組輸出隨機(jī)變量的條件概率分布模型,其特點(diǎn)是假設(shè)輸出隨機(jī)變量構(gòu)成馬爾科夫隨機(jī)場.廣義CRF的定義是:滿足P(Yv|X,Yω,ω≠v)=P(Yv|X,Yω,ω~v).線性鏈條件隨機(jī)場(其結(jié)構(gòu)如圖6所示)可以用于標(biāo)注問題.此時(shí)在條件概率模型P(Y|X)中,Y是輸出變量,表示標(biāo)記序列,也可稱為狀態(tài)序列;X是輸入變量,表示需要標(biāo)注的觀測序列.在模型學(xué)習(xí)時(shí),對訓(xùn)練數(shù)據(jù)集進(jìn)行正則化的極大似然估計(jì)得到條件概率模型;在預(yù)測時(shí),對給定的輸入地址序列,求出條件概率最大的地址標(biāo)注序列[12].

    圖6 CRF鏈?zhǔn)浇Y(jié)構(gòu)圖

    2 實(shí) 驗(yàn)

    2.1 實(shí)驗(yàn)環(huán)境

    本文采用Tensorflow作為深度學(xué)習(xí)框架,數(shù)據(jù)集預(yù)處理使用Java實(shí)現(xiàn).實(shí)驗(yàn)運(yùn)行環(huán)境為Windows終端,在Windows 10 教育版64 b的操作系統(tǒng)下完成該實(shí)驗(yàn),內(nèi)存大小為16 GB,處理器型號(hào)為Intel Core i7,GPU顯卡是GTX 1060,顯存為5 GB.

    2.2 數(shù)據(jù)集描述

    本文采用的數(shù)據(jù)集是中文突發(fā)事件語料庫[13](Chinese emergency corpus, CEC)由上海大學(xué)(語義智能實(shí)驗(yàn)室)所構(gòu)建,他們從互聯(lián)網(wǎng)上收集了5類突發(fā)事件的新聞報(bào)道作為生語料,然后再對生語料進(jìn)行文本預(yù)處理、文本分析、事件標(biāo)注以及一致性檢查等處理,最后將標(biāo)注結(jié)果保存到語料庫中,CEC合計(jì)332篇.CEC 采用了XML語言作為標(biāo)注格式,其中包含了6個(gè)重要的標(biāo)記:Event,Denoter,Time,Location,Participant,Object,CEC語料庫的規(guī)模雖然偏小,但是對事件和事件要素的標(biāo)注卻最為全面.

    本文使用該數(shù)據(jù)集標(biāo)記的Denoter,Time,Location,Participant作為本文的主要標(biāo)記,記為ACT,TIME,LOC,PER,分別表示行為、時(shí)間、地點(diǎn)及參與者.數(shù)據(jù)的統(tǒng)計(jì)信息及標(biāo)記的數(shù)量等如表1所示.數(shù)據(jù)標(biāo)注示例如表2所示.

    表1 數(shù)據(jù)集分布

    表2 數(shù)據(jù)標(biāo)注示例

    2.3 實(shí)驗(yàn)設(shè)計(jì)

    本實(shí)驗(yàn)分為4個(gè)部分,分別為數(shù)據(jù)預(yù)處理、數(shù)據(jù)預(yù)訓(xùn)練、輸入BiLSTM層和輸入CRF層,一共332篇文章,本文將數(shù)據(jù)集按7∶2∶1的比例隨機(jī)劃分,分別為訓(xùn)練集、測試集和驗(yàn)證集.

    2.3.1 數(shù)據(jù)預(yù)處理

    本文的數(shù)據(jù)集采用BIO序列標(biāo)注法,即將每個(gè)元素標(biāo)注為“B-XXX”,“I-XXX”,“O”,其中,“B-XXX”表示此元素所在的標(biāo)注序列中屬于XXX類型并且是這個(gè)標(biāo)注序列的開頭,“I-XXX”則表示此元素所在的標(biāo)注序列中屬于XXX類型并且在這個(gè)序列標(biāo)注的中間部分.由于CEC語料庫使用XML語言進(jìn)行標(biāo)記,獲取其 Denoter,Time,Location,Participant標(biāo)簽作為序列標(biāo)注的特征,分別提取為ACT,TIME,LOC,PER.由于該語料庫已經(jīng)被預(yù)處理過1次,不需要再進(jìn)行停用詞去除等操作.

    2.3.2 數(shù)據(jù)預(yù)訓(xùn)練

    本文使用Google大規(guī)模中文語料訓(xùn)練好的模型[14],調(diào)整運(yùn)行batch_size并設(shè)置為16,將該模型載入BERT,再將BERT作為入口,輸入作為預(yù)處理的訓(xùn)練集、測試集及驗(yàn)證集.

    2.3.3 BiLSTM層

    將預(yù)訓(xùn)練層輸出的每個(gè)字的字向量輸入BiLSTM層,提取文本特征.

    2.3.4 CRF層

    將BiLSTM層提取的特征的輸出放入CRF層,經(jīng)過序列標(biāo)注后得到最終結(jié)果.實(shí)驗(yàn)具體參數(shù)見表3所示:

    表3 超參數(shù)設(shè)置

    2.4 實(shí)驗(yàn)分析

    2.4.1 評價(jià)標(biāo)準(zhǔn)

    本文采用常用的NER評價(jià)指標(biāo)[15]來衡量實(shí)驗(yàn)結(jié)果:精確率P(precision)、召回率R(recall)和F1(F-measure)值.

    (6)

    (7)

    (8)

    2.4.2 實(shí)驗(yàn)結(jié)果及分析

    為了證明本文方法的有效性,實(shí)驗(yàn)首先要證明BERT預(yù)訓(xùn)練模型是否能夠消歧并解決一詞多義的問題,本文使用BERT與其他2種常用的詞嵌入模型作對比實(shí)驗(yàn).目前常用Glove與Word2Vec獲取預(yù)訓(xùn)練詞向量,故分別使用Word2Vec和Glove與本模型對比,以獲取詞向量.將通過上述3種方法獲取的詞向量再輸入到BiLSTM-CRF中進(jìn)行實(shí)驗(yàn),測試集實(shí)驗(yàn)結(jié)果如表4所示:

    表4 不同預(yù)訓(xùn)練模型性能

    從表4看出,常用的Word2Vec與Glove模型分別得到了0.691,0.703的F1值,不難看出這2種模型由于欠缺語義上下文的相關(guān)性分析,對于任務(wù)作業(yè)沒有明顯的提升.而本文使用的BERT模型在作業(yè)中的F1值達(dá)到了0.859,證明了具有消歧作用的BERT模型在該任務(wù)上具有更好的性能,克服了傳統(tǒng)的一詞多義問題.

    其次,為了證明本文使用融合模型的性能,對CRF,BiLSTM,BiLSTM-CRF,BERT-BiLSTM-CRF這4種方法的總體精確率、召回率及F1值作對比,如表5所示:

    表5 模型整體序列標(biāo)注性能

    從表5可知,上述4種方法得到的F1值分別為0.659,0.703,0.763,0.859.其中,本文使用的BERT-BiLSTM-CRF模型的3個(gè)指標(biāo)均最高,其次為常用的BiLSTM-CRF方法,各方面性能與本文方法相差10%,說明了預(yù)訓(xùn)練模型BERT消歧的有效性.CRF與BiLSTM方法相差5%左右,說明BiLSTM在處理文本關(guān)系上的性能優(yōu)于CRF模型.最終,可以得出結(jié)論:本文使用的BERT-BiLSTM-CRF模型在對公共安全事件命名實(shí)體識(shí)別整體性能優(yōu)于其他3種方法.

    最后選取本文模型與其中表現(xiàn)較好的BiLSTM-CRF模型對公共安全事件各個(gè)序列標(biāo)注的F1值作細(xì)化對比,結(jié)果如表6所示:

    表6 BERT-BiLSTM-CRF與BiLSTM-CRF模型LOC標(biāo)簽F1值對比

    從表6可看出,2種模型都對LOC(位置)標(biāo)簽的序列標(biāo)注的誤差相對其他標(biāo)簽較大,本文也通過多次實(shí)驗(yàn)得出每次訓(xùn)練得到的LOC標(biāo)簽的F1值均高于75%,本文模型在LOC識(shí)別的方面遠(yuǎn)高于另一模型.在PER(參與者)的標(biāo)注序列中,顯然本文使用的模型優(yōu)于另一模型,高于其13%左右,歸因于BiLSTM-CRF所使用的詞嵌入模型缺少上下文分析,未能解決一詞多義的問題.在ACT(行為)和TIME(時(shí)間)標(biāo)簽的序列標(biāo)注中,上述模型均表現(xiàn)較好,F(xiàn)1值均達(dá)到80%以上.

    基于上述對比實(shí)驗(yàn)可知,本文使用的BERT-BiLSTM-CRF模型可獲得更優(yōu)的效果.在BiLSTM-CRF模型標(biāo)注的基礎(chǔ)之上,使用BERT預(yù)訓(xùn)練模型提取特征向量,對多義詞進(jìn)行消歧,解決相同字詞在安全事件領(lǐng)域的歧義問題,效果優(yōu)于其他神經(jīng)網(wǎng)絡(luò)模型及機(jī)器學(xué)習(xí)方法.

    3 結(jié) 論

    本文對公共安全事件文本中的命名實(shí)體進(jìn)行研究,針對公安全事件文本冗雜的特性及中文字詞的多義性,在原有研究的基礎(chǔ)上進(jìn)行改進(jìn).在經(jīng)過BiLSTM-CRF模型標(biāo)注的基礎(chǔ)上,加入BERT預(yù)訓(xùn)練模型,提高了實(shí)體識(shí)別的效果.使用BERT預(yù)訓(xùn)練模型獲取詞向量,解決了一詞多義的問題,使用BiLSTM模型解決了特定領(lǐng)域嚴(yán)重依賴人工特征的問題.經(jīng)過對比實(shí)驗(yàn)表明,本文模型具有較好的準(zhǔn)確性,與其他模型相比有提升,F(xiàn)1值達(dá)到85%以上.由于實(shí)驗(yàn)的數(shù)據(jù)集規(guī)模較小,接下來將在增加語料的基礎(chǔ)上對方法繼續(xù)優(yōu)化,進(jìn)一步找出安全事件領(lǐng)域中命名實(shí)體之間的關(guān)系,并創(chuàng)建能被輿情分析或應(yīng)急響應(yīng)系統(tǒng)使用的安全事件序列標(biāo)注的數(shù)據(jù)集是下一步要研究的重點(diǎn).

    猜你喜歡
    安全事件語料命名
    命名——助力有機(jī)化學(xué)的學(xué)習(xí)
    有一種男人以“暖”命名
    東方女性(2018年3期)2018-04-16 15:30:02
    為一條河命名——在白河源
    散文詩(2017年17期)2018-01-31 02:34:08
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    食品安全事件的價(jià)格沖擊效應(yīng)
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    公交車公共安全事件調(diào)查
    2013卡巴斯基三大安全事件
    黄频高清免费视频| 制服人妻中文乱码| 99国产精品一区二区三区| 亚洲国产精品合色在线| 韩国精品一区二区三区| 国产精品爽爽va在线观看网站 | 日韩中文字幕欧美一区二区| 99re在线观看精品视频| 美国免费a级毛片| 亚洲 欧美 日韩 在线 免费| 国产91精品成人一区二区三区| 大型av网站在线播放| 免费不卡黄色视频| 美女福利国产在线| 亚洲少妇的诱惑av| 视频区欧美日本亚洲| 桃红色精品国产亚洲av| 国产在线精品亚洲第一网站| 一区二区三区激情视频| 亚洲成av片中文字幕在线观看| 久久99一区二区三区| 久久九九热精品免费| 亚洲色图 男人天堂 中文字幕| 黄色片一级片一级黄色片| 午夜免费鲁丝| 午夜精品国产一区二区电影| 十八禁网站免费在线| 99riav亚洲国产免费| 日韩欧美在线二视频| 色婷婷久久久亚洲欧美| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲av熟女| 首页视频小说图片口味搜索| 欧美日韩瑟瑟在线播放| 婷婷六月久久综合丁香| 日韩高清综合在线| 精品一区二区三区av网在线观看| 精品少妇一区二区三区视频日本电影| 日本免费一区二区三区高清不卡 | 欧美乱妇无乱码| 级片在线观看| 亚洲一区二区三区色噜噜 | 人妻久久中文字幕网| 成人永久免费在线观看视频| 色在线成人网| a级毛片在线看网站| 美女扒开内裤让男人捅视频| 黄色成人免费大全| 午夜福利,免费看| 中国美女看黄片| 国产av一区在线观看免费| 成年版毛片免费区| 欧美老熟妇乱子伦牲交| 欧美色视频一区免费| 淫妇啪啪啪对白视频| 精品国产亚洲在线| 日本黄色日本黄色录像| 国产精品秋霞免费鲁丝片| 美女福利国产在线| 搡老岳熟女国产| 欧美成人性av电影在线观看| 午夜成年电影在线免费观看| 精品国产超薄肉色丝袜足j| 黄片小视频在线播放| 欧美乱妇无乱码| 亚洲欧美日韩高清在线视频| 日韩精品青青久久久久久| 五月开心婷婷网| 日本一区二区免费在线视频| 欧美乱色亚洲激情| 午夜福利欧美成人| 久久久久九九精品影院| 日日夜夜操网爽| 麻豆久久精品国产亚洲av | 高清欧美精品videossex| 村上凉子中文字幕在线| 国产精品 国内视频| 日韩欧美在线二视频| 麻豆成人av在线观看| 日韩欧美一区二区三区在线观看| 真人一进一出gif抽搐免费| 午夜免费鲁丝| 嫩草影视91久久| 国产成人精品在线电影| 桃色一区二区三区在线观看| 欧美日韩精品网址| 亚洲成av片中文字幕在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 久久 成人 亚洲| 久久精品亚洲熟妇少妇任你| 欧美日韩黄片免| 日韩成人在线观看一区二区三区| 日韩av在线大香蕉| 国产日韩一区二区三区精品不卡| 日韩免费av在线播放| 久久精品人人爽人人爽视色| 成年女人毛片免费观看观看9| 日韩国内少妇激情av| 一级a爱片免费观看的视频| 满18在线观看网站| 免费久久久久久久精品成人欧美视频| 日本黄色视频三级网站网址| 欧美日韩中文字幕国产精品一区二区三区 | 国产精品综合久久久久久久免费 | 久久中文字幕人妻熟女| 国产成人欧美在线观看| 亚洲专区国产一区二区| 99在线人妻在线中文字幕| 国产av又大| 一级毛片女人18水好多| 日韩欧美国产一区二区入口| 18禁美女被吸乳视频| 亚洲avbb在线观看| 少妇粗大呻吟视频| 日日干狠狠操夜夜爽| 午夜成年电影在线免费观看| 国产精品综合久久久久久久免费 | 麻豆av在线久日| 久久久久久久久免费视频了| 伊人久久大香线蕉亚洲五| 日韩视频一区二区在线观看| av片东京热男人的天堂| 久久青草综合色| 日韩免费av在线播放| 丝袜美腿诱惑在线| www.熟女人妻精品国产| 日韩免费av在线播放| 99国产综合亚洲精品| 大码成人一级视频| 一级a爱视频在线免费观看| 国产精品免费一区二区三区在线| 久久久精品国产亚洲av高清涩受| 成年版毛片免费区| 国产一卡二卡三卡精品| 久久精品成人免费网站| 91精品国产国语对白视频| 午夜免费成人在线视频| 国产精品久久视频播放| 丁香六月欧美| 久久欧美精品欧美久久欧美| 精品福利永久在线观看| 日日摸夜夜添夜夜添小说| av天堂在线播放| cao死你这个sao货| 黄色毛片三级朝国网站| 亚洲自拍偷在线| 国产精品久久视频播放| 亚洲av片天天在线观看| 1024香蕉在线观看| aaaaa片日本免费| 757午夜福利合集在线观看| 久久精品国产清高在天天线| 操出白浆在线播放| 曰老女人黄片| 久久香蕉国产精品| 国产精品久久电影中文字幕| 日韩精品青青久久久久久| 高清黄色对白视频在线免费看| 国产日韩一区二区三区精品不卡| 美女大奶头视频| 1024视频免费在线观看| 91精品国产国语对白视频| 亚洲国产毛片av蜜桃av| 久久午夜亚洲精品久久| 在线十欧美十亚洲十日本专区| 久久狼人影院| 亚洲七黄色美女视频| 一区在线观看完整版| 久久久国产一区二区| 咕卡用的链子| 最好的美女福利视频网| 久久久精品欧美日韩精品| 99热国产这里只有精品6| 国产1区2区3区精品| 欧美日韩黄片免| 亚洲精品美女久久av网站| 一区二区三区精品91| 精品欧美一区二区三区在线| 香蕉久久夜色| 成人国产一区最新在线观看| 国产成年人精品一区二区 | 精品高清国产在线一区| 亚洲国产精品sss在线观看 | 女同久久另类99精品国产91| 俄罗斯特黄特色一大片| 精品久久久久久久久久免费视频 | 国产熟女午夜一区二区三区| 欧美日韩av久久| 88av欧美| 日韩高清综合在线| 老司机午夜福利在线观看视频| 午夜免费鲁丝| 老熟妇乱子伦视频在线观看| 免费高清视频大片| 美女扒开内裤让男人捅视频| 最好的美女福利视频网| 欧美人与性动交α欧美精品济南到| 亚洲欧美一区二区三区久久| 久久久水蜜桃国产精品网| 久久精品国产99精品国产亚洲性色 | 精品一区二区三区四区五区乱码| 亚洲精品国产色婷婷电影| 成人精品一区二区免费| 少妇 在线观看| 免费av毛片视频| 国产成人av教育| 亚洲色图av天堂| 亚洲精品美女久久久久99蜜臀| 极品人妻少妇av视频| 欧美日韩av久久| 国产一区二区激情短视频| 国产精品久久电影中文字幕| 亚洲成人精品中文字幕电影 | 91大片在线观看| 亚洲专区字幕在线| 少妇粗大呻吟视频| 天堂动漫精品| 国产精品久久电影中文字幕| 亚洲成人免费av在线播放| a在线观看视频网站| 美国免费a级毛片| 精品乱码久久久久久99久播| 亚洲成国产人片在线观看| 成人特级黄色片久久久久久久| 国产精品九九99| 国产成人精品久久二区二区91| 日韩一卡2卡3卡4卡2021年| 在线观看免费高清a一片| 亚洲成人久久性| 亚洲视频免费观看视频| 日韩av在线大香蕉| 最新在线观看一区二区三区| 亚洲av片天天在线观看| 久久久久亚洲av毛片大全| 国产精品爽爽va在线观看网站 | 夜夜看夜夜爽夜夜摸 | 午夜精品久久久久久毛片777| 99精品在免费线老司机午夜| 伊人久久大香线蕉亚洲五| 久久久精品欧美日韩精品| 欧美黄色淫秽网站| 国产精品久久久久成人av| 在线观看免费视频网站a站| 久久精品91无色码中文字幕| 成人18禁高潮啪啪吃奶动态图| 中文亚洲av片在线观看爽| 亚洲片人在线观看| 国产伦人伦偷精品视频| 热99re8久久精品国产| 91在线观看av| 欧美日韩亚洲高清精品| 人人妻人人爽人人添夜夜欢视频| 麻豆av在线久日| 国产精品 欧美亚洲| 亚洲欧美激情在线| 国产精品爽爽va在线观看网站 | 久久精品亚洲av国产电影网| 一区二区三区国产精品乱码| 久久人人精品亚洲av| 99精国产麻豆久久婷婷| www国产在线视频色| 岛国在线观看网站| 久热这里只有精品99| 国产成人影院久久av| 人人澡人人妻人| 日本免费一区二区三区高清不卡 | 免费人成视频x8x8入口观看| 中文字幕色久视频| 女性被躁到高潮视频| 中文字幕另类日韩欧美亚洲嫩草| 国产97色在线日韩免费| 亚洲专区中文字幕在线| 18美女黄网站色大片免费观看| 久久 成人 亚洲| 91成人精品电影| 男人的好看免费观看在线视频 | 99riav亚洲国产免费| 国产亚洲精品综合一区在线观看 | 美女大奶头视频| 啦啦啦 在线观看视频| 精品久久久久久电影网| 在线观看舔阴道视频| 天天影视国产精品| 最近最新免费中文字幕在线| 制服人妻中文乱码| 一进一出抽搐gif免费好疼 | 亚洲欧美一区二区三区久久| 欧美在线黄色| a级毛片在线看网站| 怎么达到女性高潮| 亚洲精品在线观看二区| cao死你这个sao货| 夜夜躁狠狠躁天天躁| 99国产极品粉嫩在线观看| 亚洲黑人精品在线| 搡老乐熟女国产| 亚洲全国av大片| 高清黄色对白视频在线免费看| 欧美大码av| 三上悠亚av全集在线观看| 性色av乱码一区二区三区2| 免费av中文字幕在线| 亚洲精品国产区一区二| 久久久久久久午夜电影 | 久久婷婷成人综合色麻豆| 一个人免费在线观看的高清视频| 99久久综合精品五月天人人| 亚洲三区欧美一区| 国产免费现黄频在线看| 色综合欧美亚洲国产小说| 亚洲中文字幕日韩| 国产三级黄色录像| 久久久国产成人精品二区 | 午夜免费激情av| 成人精品一区二区免费| 美女午夜性视频免费| 黄片大片在线免费观看| 男男h啪啪无遮挡| 午夜福利欧美成人| 后天国语完整版免费观看| 777久久人妻少妇嫩草av网站| 男女之事视频高清在线观看| 国产成+人综合+亚洲专区| 91成年电影在线观看| 亚洲精品久久午夜乱码| 91精品三级在线观看| 久久久久精品国产欧美久久久| 巨乳人妻的诱惑在线观看| aaaaa片日本免费| 精品电影一区二区在线| 久99久视频精品免费| 在线观看www视频免费| 久久天躁狠狠躁夜夜2o2o| 国产精品乱码一区二三区的特点 | 久久久久久亚洲精品国产蜜桃av| 99国产极品粉嫩在线观看| 视频区图区小说| 欧美一区二区精品小视频在线| 国产精品偷伦视频观看了| 午夜两性在线视频| 午夜免费激情av| 一级a爱视频在线免费观看| 免费搜索国产男女视频| 亚洲欧美精品综合一区二区三区| 国产黄色免费在线视频| 国产视频一区二区在线看| 母亲3免费完整高清在线观看| 又黄又爽又免费观看的视频| 久久久久久久久久久久大奶| 黑人巨大精品欧美一区二区mp4| 亚洲精华国产精华精| 欧美激情久久久久久爽电影 | 人妻久久中文字幕网| 天天影视国产精品| 婷婷丁香在线五月| 99re在线观看精品视频| 夫妻午夜视频| 久久中文看片网| 最新美女视频免费是黄的| 亚洲成人国产一区在线观看| 午夜免费鲁丝| 久久久久久久午夜电影 | 精品福利永久在线观看| 少妇 在线观看| 18美女黄网站色大片免费观看| 国产精品1区2区在线观看.| 欧美在线一区亚洲| 亚洲一区中文字幕在线| 母亲3免费完整高清在线观看| 777久久人妻少妇嫩草av网站| 夜夜爽天天搞| 亚洲成人免费电影在线观看| 一区在线观看完整版| 99久久久亚洲精品蜜臀av| 99精品久久久久人妻精品| 老熟妇仑乱视频hdxx| 欧美色视频一区免费| 不卡一级毛片| 黄色片一级片一级黄色片| www.自偷自拍.com| 女人被狂操c到高潮| 美女大奶头视频| 人妻久久中文字幕网| 日韩精品免费视频一区二区三区| 黑人猛操日本美女一级片| 欧美黑人精品巨大| 国产高清videossex| 他把我摸到了高潮在线观看| 我的亚洲天堂| 19禁男女啪啪无遮挡网站| 日日夜夜操网爽| 99在线人妻在线中文字幕| 日韩大尺度精品在线看网址 | 亚洲人成电影免费在线| 亚洲精品在线观看二区| 免费在线观看亚洲国产| 国产成人系列免费观看| 黑人猛操日本美女一级片| 宅男免费午夜| 免费在线观看日本一区| videosex国产| 国产免费男女视频| av网站免费在线观看视频| 亚洲午夜精品一区,二区,三区| 最近最新中文字幕大全免费视频| 欧美不卡视频在线免费观看 | svipshipincom国产片| 一区福利在线观看| 成人影院久久| 欧美激情极品国产一区二区三区| 9191精品国产免费久久| 免费女性裸体啪啪无遮挡网站| 日韩精品中文字幕看吧| 日日干狠狠操夜夜爽| netflix在线观看网站| 亚洲av美国av| 美女扒开内裤让男人捅视频| 两个人免费观看高清视频| 91大片在线观看| 国产欧美日韩精品亚洲av| 99国产精品99久久久久| 欧美日韩亚洲综合一区二区三区_| 国产精品乱码一区二三区的特点 | 欧美日韩亚洲国产一区二区在线观看| 国产主播在线观看一区二区| 9色porny在线观看| 国产一区二区在线av高清观看| 看黄色毛片网站| 俄罗斯特黄特色一大片| 老司机亚洲免费影院| a级毛片在线看网站| 激情视频va一区二区三区| 久99久视频精品免费| 日本五十路高清| 国产亚洲欧美98| 免费日韩欧美在线观看| 露出奶头的视频| 窝窝影院91人妻| www.999成人在线观看| 日韩欧美在线二视频| 亚洲国产毛片av蜜桃av| aaaaa片日本免费| 老熟妇仑乱视频hdxx| 亚洲色图 男人天堂 中文字幕| 一边摸一边做爽爽视频免费| 一级,二级,三级黄色视频| 在线十欧美十亚洲十日本专区| 久久久精品欧美日韩精品| 色播在线永久视频| 在线天堂中文资源库| 国产日韩一区二区三区精品不卡| 欧美午夜高清在线| 熟女少妇亚洲综合色aaa.| 国产亚洲av高清不卡| 丝袜美腿诱惑在线| 一级a爱视频在线免费观看| 制服诱惑二区| 午夜影院日韩av| 婷婷丁香在线五月| 午夜福利,免费看| 真人做人爱边吃奶动态| 日日干狠狠操夜夜爽| 国产视频一区二区在线看| 精品熟女少妇八av免费久了| 亚洲成人精品中文字幕电影 | 亚洲自拍偷在线| √禁漫天堂资源中文www| 国产精品一区二区三区四区久久 | 最新在线观看一区二区三区| 少妇被粗大的猛进出69影院| 中文字幕av电影在线播放| 国产成年人精品一区二区 | 亚洲第一av免费看| 日本wwww免费看| 亚洲午夜精品一区,二区,三区| 女生性感内裤真人,穿戴方法视频| 国产日韩一区二区三区精品不卡| 在线永久观看黄色视频| 亚洲avbb在线观看| 亚洲成人精品中文字幕电影 | 一级黄色大片毛片| 国产色视频综合| 黄色 视频免费看| 国产极品粉嫩免费观看在线| 久久人人97超碰香蕉20202| 午夜老司机福利片| 91字幕亚洲| 日韩一卡2卡3卡4卡2021年| 色在线成人网| 亚洲欧美精品综合久久99| 天天影视国产精品| 精品欧美一区二区三区在线| 国产精品香港三级国产av潘金莲| 校园春色视频在线观看| 亚洲精品久久成人aⅴ小说| 熟女少妇亚洲综合色aaa.| 久久精品aⅴ一区二区三区四区| 伦理电影免费视频| 精品国产美女av久久久久小说| svipshipincom国产片| 亚洲视频免费观看视频| 黄色丝袜av网址大全| 国产欧美日韩一区二区三| 国产精品 欧美亚洲| 精品一品国产午夜福利视频| 国产高清videossex| 中文字幕人妻丝袜一区二区| xxx96com| 18禁国产床啪视频网站| 成人影院久久| 欧美午夜高清在线| 国产高清videossex| 国产av一区二区精品久久| 校园春色视频在线观看| 91成人精品电影| 97超级碰碰碰精品色视频在线观看| 女人爽到高潮嗷嗷叫在线视频| 一个人免费在线观看的高清视频| 久久青草综合色| 亚洲精品一二三| 黑人猛操日本美女一级片| 久久亚洲精品不卡| 国产单亲对白刺激| 日韩成人在线观看一区二区三区| av片东京热男人的天堂| 人人妻,人人澡人人爽秒播| 日韩一卡2卡3卡4卡2021年| 亚洲专区中文字幕在线| 香蕉国产在线看| 身体一侧抽搐| 成年人黄色毛片网站| 九色亚洲精品在线播放| 天堂中文最新版在线下载| 午夜91福利影院| 成在线人永久免费视频| 香蕉久久夜色| 亚洲国产精品一区二区三区在线| 午夜激情av网站| 女警被强在线播放| 国产在线观看jvid| 欧美最黄视频在线播放免费 | 男男h啪啪无遮挡| 亚洲精华国产精华精| 神马国产精品三级电影在线观看 | 亚洲精品粉嫩美女一区| 欧美日韩精品网址| 美女 人体艺术 gogo| 国产精品国产av在线观看| 亚洲中文日韩欧美视频| 日韩大码丰满熟妇| av中文乱码字幕在线| 久久国产精品人妻蜜桃| 亚洲九九香蕉| 国产一区二区三区视频了| 自拍欧美九色日韩亚洲蝌蚪91| 波多野结衣av一区二区av| 久久人人爽av亚洲精品天堂| 欧美成人性av电影在线观看| 纯流量卡能插随身wifi吗| √禁漫天堂资源中文www| 亚洲av电影在线进入| 亚洲三区欧美一区| 可以免费在线观看a视频的电影网站| 一二三四社区在线视频社区8| 国产熟女xx| 如日韩欧美国产精品一区二区三区| 欧美av亚洲av综合av国产av| 99精品在免费线老司机午夜| a级毛片在线看网站| 91字幕亚洲| 搡老乐熟女国产| 免费女性裸体啪啪无遮挡网站| 国产精品一区二区精品视频观看| bbb黄色大片| 91麻豆精品激情在线观看国产 | 国产精品偷伦视频观看了| 无遮挡黄片免费观看| av国产精品久久久久影院| 亚洲aⅴ乱码一区二区在线播放 | 国产成人啪精品午夜网站| 亚洲av电影在线进入| 精品国产亚洲在线| 人妻久久中文字幕网| 琪琪午夜伦伦电影理论片6080| 一边摸一边做爽爽视频免费| 成人国语在线视频| www.999成人在线观看| 午夜激情av网站| 国产亚洲欧美98| 1024香蕉在线观看| 国产1区2区3区精品| 国产免费现黄频在线看| 国产精品免费视频内射| 国产精品亚洲av一区麻豆| 国产精品一区二区三区四区久久 | 亚洲精品国产色婷婷电影| 91av网站免费观看| 久久久久久人人人人人| 国产高清videossex| 性色av乱码一区二区三区2| 亚洲专区中文字幕在线| 最近最新中文字幕大全电影3 | 午夜a级毛片| 欧美日韩国产mv在线观看视频| 后天国语完整版免费观看| 婷婷六月久久综合丁香| 亚洲专区字幕在线| 免费在线观看黄色视频的| 国产精品免费一区二区三区在线| 亚洲国产精品合色在线| 极品人妻少妇av视频| 免费高清视频大片| 在线观看66精品国产| 久久久久国产一级毛片高清牌| 久久精品人人爽人人爽视色|