• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于BERT的安全事件命名實(shí)體識(shí)別研究

    2021-03-11 06:04:08竇宇宸
    信息安全研究 2021年3期
    關(guān)鍵詞:安全事件語料命名

    竇宇宸 胡 勇

    (四川大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 成都 610065)

    (douyuchen_jl@163.com)

    隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,我國的互聯(lián)網(wǎng)規(guī)模迅速增長,“上網(wǎng)沖浪”已經(jīng)成為我們?nèi)粘I钪蝎@取信息的重要方式,但其中海量數(shù)據(jù)也帶來了不少“信息重復(fù)”及“信息冗雜”等問題,抽取句子中的重要信息并準(zhǔn)確定位公眾關(guān)注的事件信息則尤為重要.在我們?nèi)粘=佑|到的新聞、網(wǎng)頁、微博、公眾號(hào)及常見新聞等獲取渠道中,每一篇文章甚至每一個(gè)句子都可能包含巨大的信息量,由于中文語義的復(fù)雜性及句子用詞的隨意性,使用人工方法區(qū)分關(guān)鍵信息工作量巨大.命名實(shí)體識(shí)別(name entity recognition,NER)正是解決這個(gè)問題的有效自動(dòng)化方法之一.NER指從1段自然語言文本中找出特定類型的實(shí)體(如人名、組織名稱、地點(diǎn)、時(shí)間及行為等),并標(biāo)注其位置,是信息檢索及關(guān)系抽取等工作的基礎(chǔ).前期研究人員經(jīng)常使用的統(tǒng)計(jì)模型有隱馬爾科夫模型(HMM)、支持向量機(jī)(SVM)、最大熵模型(ME)及條件隨機(jī)場(CRF)等,這類方法通常是將實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為從文本輸入到特定目標(biāo)結(jié)構(gòu)的預(yù)測,使用如上的統(tǒng)計(jì)模型來構(gòu)造輸入與輸出的關(guān)聯(lián),并使用機(jī)器學(xué)習(xí)方法來學(xué)習(xí)模型的參數(shù).但是這些方法均需要人工提取特征,不僅會(huì)導(dǎo)致研究人員在標(biāo)注文本時(shí)承受龐大的工作量,也會(huì)使得提取的特征易丟失文本本身的情感信息,實(shí)體識(shí)別的效果欠佳.與傳統(tǒng)的機(jī)器學(xué)習(xí)識(shí)別方法相比,針對文本信息中語義不明確且上下文關(guān)聯(lián)不明晰的情況,命名實(shí)體識(shí)別的方案逐漸從需要大量人工提取特征的統(tǒng)計(jì)概率模型逐步轉(zhuǎn)向深度學(xué)習(xí)領(lǐng)域,深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)地從數(shù)據(jù)中提取有用的特征,將其應(yīng)用于非結(jié)構(gòu)化、模式多變的數(shù)據(jù)中具有顯著優(yōu)勢,并可以更好地解決文本特征稀疏等問題.

    在中文命名實(shí)體識(shí)別領(lǐng)域,2005年,向曉雯等人[1]采用隱馬爾科夫模型進(jìn)行詞性標(biāo)注,還對上下文相關(guān)的命名實(shí)體識(shí)別作了初步嘗試.2011年,龔凌暉[2]針對現(xiàn)代漢語文本的特點(diǎn),以人名、地名及組織名為核心內(nèi)容的中文命名實(shí)體識(shí)別問題,基于LSA(潛在語義分析)實(shí)現(xiàn)對命名實(shí)體的歧義消解,實(shí)現(xiàn)了一個(gè)基于CRF的中文命名識(shí)別系統(tǒng),驗(yàn)證了用算法建立一個(gè)有效實(shí)體庫的可行性.2016年,朱丹浩等人[3]針對中文機(jī)構(gòu)名結(jié)構(gòu)復(fù)雜、罕見詞多及識(shí)別難度大問題,采用RNN重新定義了機(jī)構(gòu)名標(biāo)注的輸入與輸出,在識(shí)別機(jī)構(gòu)名實(shí)體的F1值上有一定的提升.2018年,李麗雙等人[4]采用CNN-BiLSTM-CRF的模型,利用CNN訓(xùn)練單詞形態(tài)特征的字向量,再組合語義向量輸入至BiLSTM層,該模型應(yīng)用在生物醫(yī)學(xué)語料上取得了較好的結(jié)果.2019年,黃煒等人[5]使用BiLSTM網(wǎng)絡(luò)完成語句的上下文關(guān)聯(lián)語義分析后,接入CRF層添加約束的方法應(yīng)用在涉恐信息實(shí)體識(shí)別領(lǐng)域,有效獲取涉恐人員恐怖主義機(jī)構(gòu)及暴恐實(shí)施地點(diǎn)等重要信息.2021年,范曉霞等人[6]設(shè)計(jì)了一個(gè)針對暗網(wǎng)市場文本的命名實(shí)體識(shí)別系統(tǒng),使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行字符向量化以學(xué)習(xí)單詞形態(tài)特征,將雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)應(yīng)用于暗網(wǎng)市場文本的命名實(shí)體識(shí)別,并采用CRF模型實(shí)現(xiàn)序列標(biāo)簽之間的約束性,目前該系統(tǒng)在暗網(wǎng)市場文本命名實(shí)體識(shí)別領(lǐng)域內(nèi)效果較佳,準(zhǔn)確率達(dá)到98.59%.

    上述方法中字向量為使用已經(jīng)被大量語料訓(xùn)練完成的詞嵌入(word embedding).詞嵌入是自然語言處理領(lǐng)域早期的預(yù)訓(xùn)練技術(shù),Bengio等人[7]提出了神經(jīng)網(wǎng)絡(luò)語言模型.Mikolov等人[8]對神經(jīng)網(wǎng)絡(luò)語言模型優(yōu)化,提出Word2Vec,并提出2種語言模型——連續(xù)詞袋模型(CBOW)和Skip-gram模型.Word2Vec能捕捉詞語之間的相似性,可根據(jù)上下文預(yù)測中間的詞匯,但沒有考慮單詞的詞序問題.Pennington等人[9]提出Glove詞向量,可獲取全局信息,更容易并行化,與Word2Vec相比,在數(shù)據(jù)集較大時(shí),Glove可更快地進(jìn)行訓(xùn)練.

    上述詞向量可以在一定程度上提高模型準(zhǔn)確率,但不同語境下的詞向量相同,無法解決一詞多義問題[10].同一個(gè)字或詞語在1個(gè)句子中的語義不同,例如句子“你這著真絕,讓他干著急,又無法著手應(yīng)付,心里老是懸著.”4個(gè)“著”字在客觀上表達(dá)的是不同的詞意,但在Word2Vec,Glove等字向量表示方法中,4個(gè)“著”的字向量表示完全一致,這與我們正常理解這句話的含義不同.所以準(zhǔn)確地描述當(dāng)前詞在上下文中的含義對于文本中提取字或詞的向量十分重要.由于BERT預(yù)訓(xùn)練模型采用雙向Transformer 編碼器對上下文信息都進(jìn)行了提取,融合左右2側(cè)的語境,得到一個(gè)深度雙向Transformer. BERT對單詞及上下文關(guān)系作了充分描述,能有效實(shí)現(xiàn)多義詞的消歧.所以本文選擇使用BERT預(yù)訓(xùn)練模型替代傳統(tǒng)的詞嵌入方法,接入BiLSTM以解決一詞多義的問題.楊飄等人[11]針對字多義性,使用BERT-BiGRU-CRF融合模型在MSRA語料中作的命名實(shí)體識(shí)別的效果好于目前最優(yōu)的Lattice-LSTM模型.

    為解決公共安全事件的命名實(shí)體識(shí)別問題,本文使用已被大規(guī)模中文語料訓(xùn)練完成的BERT模型作為雙向長短時(shí)記憶網(wǎng)絡(luò)的輸入,獲取漢字的語義向量表示,確保在識(shí)別標(biāo)注的任務(wù)中的字向量具有多義性.在雙向長短時(shí)記憶網(wǎng)絡(luò)后接入CRF層,從而實(shí)現(xiàn)了對公共安全事件命名實(shí)體的自動(dòng)識(shí)別.實(shí)驗(yàn)表明,該方法能夠取得較好的效果,可以在一定程度上解決公共安全事件領(lǐng)域命名實(shí)體識(shí)別問題.

    1 模型結(jié)構(gòu)

    本文將公共安全事件的文本輸入至BERT預(yù)訓(xùn)練語言模型,獲取每個(gè)字的向量表示.將字向量序列輸入BiLSTM層用以提取特征,最后通過CRF層選擇概率最大的標(biāo)注輸出為各字的標(biāo)簽,即將BiLSTM層原本的Softmax層替換為CRF層.本文中使用的BERT-BiLSTM-CRF模型整體結(jié)構(gòu)如圖1所示,模型包含以下4個(gè)部分:預(yù)訓(xùn)練層、BiLSTM網(wǎng)絡(luò)層、特征提取層及CRF層.

    圖1 BERT-BiLSTM-CRF模型結(jié)構(gòu)圖

    1.1 預(yù)訓(xùn)練層模型

    在NER研究中的模型大多采用已預(yù)訓(xùn)練好的Word2Vec,Glove等獲取文本的詞嵌入向量表示,未使用預(yù)訓(xùn)練模型,在其研究上也能夠達(dá)到不差的效果.用稀疏向量表示文本,即所謂的詞袋模型在NLP有著悠久的歷史.正如上文中介紹的,早在 2001年就開始使用密集向量表示詞或詞嵌入.Mikolov等人[8]在2013年提出的創(chuàng)新技術(shù)是通過去除隱藏層,逼近目標(biāo),進(jìn)而使這些單詞嵌入的訓(xùn)練更加高效.雖然這些技術(shù)更新本質(zhì)上很簡單,但它們與高效的Word2Vec配合使用,才能使大規(guī)模的詞嵌入訓(xùn)練成為可能.但是使用這些詞向量忽略了詞的上下文關(guān)系,在不同場景下詞的向量表示是相同的,缺乏消歧能力.本文使用基于BERT預(yù)訓(xùn)練模型,采用BERT官方的大規(guī)模中文語料訓(xùn)練模型,可包含大多數(shù)的詞匯與場景,竭力解決一詞多義問題.

    從BERT的結(jié)構(gòu)層面來看,它和GPT,ELMo一樣都采用Transformer的結(jié)構(gòu),相對于GPT來說,BERT是具有雙向Transformer的模型結(jié)構(gòu),BERT的模型結(jié)構(gòu)如圖2所示.BERT在預(yù)訓(xùn)練過程中提出了掩碼語言模型與下一條句子預(yù)測,作用分別是作上下文預(yù)測與學(xué)習(xí)語料中數(shù)據(jù)的相關(guān)性.

    圖2 BERT模型結(jié)構(gòu)圖

    在掩碼語言模型任務(wù)中,BERT會(huì)隨機(jī)選擇1個(gè)句子中15%的詞,用它們的上下文來作預(yù)測用以訓(xùn)練,而不是像CBOW一樣將每個(gè)詞都預(yù)測1遍,最終的loss只計(jì)算被[MASK]的15%的詞.在隨機(jī)[MASK]時(shí)將10%的單詞替換為其他單詞,10%的單詞不作替換,剩余80%被替換為[MASK].

    在下一條句子預(yù)測任務(wù)的目的是讓模型理解2個(gè)句子之間的聯(lián)系,例如句子A與句子B,B有一半的概率是A的下一句,輸入這2個(gè)句子來預(yù)測B是不是A的下一句.

    BERT模型的輸入為3個(gè)向量,分別為詞向量、分段向量及位置向量.詞向量指當(dāng)前詞的詞向量表示,第1個(gè)單詞是[CLS]標(biāo)識(shí);分段向量是表示當(dāng)前詞所在句子的位置向量.位置向量是表示當(dāng)前詞屬于哪個(gè)句子.樣例如圖3所示.在BERT模型中的輸入可以為單一的句子或是句子對,實(shí)際輸入是這些向量之和.將以上向量之和輸入到12層的雙向Transformer網(wǎng)絡(luò)中,最后一層Transformer結(jié)構(gòu)得到的即為BERT層輸出.

    圖3 BERT輸入向量表示

    1.2 BiLSTM層模型

    自RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))提出以來,被大量運(yùn)用于NER等領(lǐng)域,具有記憶的能力,但由于RNN存在梯度消失或梯度爆炸的問題,在處理長序列的數(shù)據(jù)方面很困難,研究人員對RNN作出了一些改進(jìn),得到了RNN的另一種形態(tài),它可以捕捉長期依賴關(guān)系,即LSTM. LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,由于它長時(shí)間的記憶能力,在自然語言處理和語音識(shí)別等領(lǐng)域應(yīng)用廣泛.

    圖4 LSTM神經(jīng)元結(jié)構(gòu)圖

    LSTM模型的計(jì)算過程如下:

    ft=σ(Wfhht-1+Wfxxt+bf),

    (1)

    it=σ(Wihht-1+Wixxt+bi),

    (2)

    ot=σ(Wohht-1+Woxxt+bo),

    (3)

    ct=ittanh(Wchht-1+Wcxxt+bc)+ftct-1,

    (4)

    ht=ottanh(ct),

    (5)

    其中,對于時(shí)刻t,ht-1,xt分別表示隱層狀態(tài)及輸入詞;W表示LSTM的權(quán)重矩陣;b表示偏置;ft,it,ot分別表示LSTM的遺忘門、輸入門、輸出門,σ表示激勵(lì)函數(shù)Sigmoid,tanh表示雙曲正切函數(shù).

    單向LSTM由于按文本序列輸入,無法編碼從后到前的信息,只能處理上文的信息而忽略了下文信息.繼而研究人員又提出了BiLSTM模型(如圖5所示),也就是雙向LSTM結(jié)構(gòu),對每一個(gè)訓(xùn)練序列分別訓(xùn)練一個(gè)向前LSTM和向后的LSTM網(wǎng)絡(luò).這種網(wǎng)絡(luò)的結(jié)構(gòu)可以將前后LSTM的輸出拼接成一個(gè)完整的序列,從而提供每一個(gè)序列點(diǎn)完整的上下文信息.

    圖5 BiLSTM模型結(jié)構(gòu)圖

    1.3 CRF層模型

    CRF是給定1組輸入隨機(jī)變量條件下另一組輸出隨機(jī)變量的條件概率分布模型,其特點(diǎn)是假設(shè)輸出隨機(jī)變量構(gòu)成馬爾科夫隨機(jī)場.廣義CRF的定義是:滿足P(Yv|X,Yω,ω≠v)=P(Yv|X,Yω,ω~v).線性鏈條件隨機(jī)場(其結(jié)構(gòu)如圖6所示)可以用于標(biāo)注問題.此時(shí)在條件概率模型P(Y|X)中,Y是輸出變量,表示標(biāo)記序列,也可稱為狀態(tài)序列;X是輸入變量,表示需要標(biāo)注的觀測序列.在模型學(xué)習(xí)時(shí),對訓(xùn)練數(shù)據(jù)集進(jìn)行正則化的極大似然估計(jì)得到條件概率模型;在預(yù)測時(shí),對給定的輸入地址序列,求出條件概率最大的地址標(biāo)注序列[12].

    圖6 CRF鏈?zhǔn)浇Y(jié)構(gòu)圖

    2 實(shí) 驗(yàn)

    2.1 實(shí)驗(yàn)環(huán)境

    本文采用Tensorflow作為深度學(xué)習(xí)框架,數(shù)據(jù)集預(yù)處理使用Java實(shí)現(xiàn).實(shí)驗(yàn)運(yùn)行環(huán)境為Windows終端,在Windows 10 教育版64 b的操作系統(tǒng)下完成該實(shí)驗(yàn),內(nèi)存大小為16 GB,處理器型號(hào)為Intel Core i7,GPU顯卡是GTX 1060,顯存為5 GB.

    2.2 數(shù)據(jù)集描述

    本文采用的數(shù)據(jù)集是中文突發(fā)事件語料庫[13](Chinese emergency corpus, CEC)由上海大學(xué)(語義智能實(shí)驗(yàn)室)所構(gòu)建,他們從互聯(lián)網(wǎng)上收集了5類突發(fā)事件的新聞報(bào)道作為生語料,然后再對生語料進(jìn)行文本預(yù)處理、文本分析、事件標(biāo)注以及一致性檢查等處理,最后將標(biāo)注結(jié)果保存到語料庫中,CEC合計(jì)332篇.CEC 采用了XML語言作為標(biāo)注格式,其中包含了6個(gè)重要的標(biāo)記:Event,Denoter,Time,Location,Participant,Object,CEC語料庫的規(guī)模雖然偏小,但是對事件和事件要素的標(biāo)注卻最為全面.

    本文使用該數(shù)據(jù)集標(biāo)記的Denoter,Time,Location,Participant作為本文的主要標(biāo)記,記為ACT,TIME,LOC,PER,分別表示行為、時(shí)間、地點(diǎn)及參與者.數(shù)據(jù)的統(tǒng)計(jì)信息及標(biāo)記的數(shù)量等如表1所示.數(shù)據(jù)標(biāo)注示例如表2所示.

    表1 數(shù)據(jù)集分布

    表2 數(shù)據(jù)標(biāo)注示例

    2.3 實(shí)驗(yàn)設(shè)計(jì)

    本實(shí)驗(yàn)分為4個(gè)部分,分別為數(shù)據(jù)預(yù)處理、數(shù)據(jù)預(yù)訓(xùn)練、輸入BiLSTM層和輸入CRF層,一共332篇文章,本文將數(shù)據(jù)集按7∶2∶1的比例隨機(jī)劃分,分別為訓(xùn)練集、測試集和驗(yàn)證集.

    2.3.1 數(shù)據(jù)預(yù)處理

    本文的數(shù)據(jù)集采用BIO序列標(biāo)注法,即將每個(gè)元素標(biāo)注為“B-XXX”,“I-XXX”,“O”,其中,“B-XXX”表示此元素所在的標(biāo)注序列中屬于XXX類型并且是這個(gè)標(biāo)注序列的開頭,“I-XXX”則表示此元素所在的標(biāo)注序列中屬于XXX類型并且在這個(gè)序列標(biāo)注的中間部分.由于CEC語料庫使用XML語言進(jìn)行標(biāo)記,獲取其 Denoter,Time,Location,Participant標(biāo)簽作為序列標(biāo)注的特征,分別提取為ACT,TIME,LOC,PER.由于該語料庫已經(jīng)被預(yù)處理過1次,不需要再進(jìn)行停用詞去除等操作.

    2.3.2 數(shù)據(jù)預(yù)訓(xùn)練

    本文使用Google大規(guī)模中文語料訓(xùn)練好的模型[14],調(diào)整運(yùn)行batch_size并設(shè)置為16,將該模型載入BERT,再將BERT作為入口,輸入作為預(yù)處理的訓(xùn)練集、測試集及驗(yàn)證集.

    2.3.3 BiLSTM層

    將預(yù)訓(xùn)練層輸出的每個(gè)字的字向量輸入BiLSTM層,提取文本特征.

    2.3.4 CRF層

    將BiLSTM層提取的特征的輸出放入CRF層,經(jīng)過序列標(biāo)注后得到最終結(jié)果.實(shí)驗(yàn)具體參數(shù)見表3所示:

    表3 超參數(shù)設(shè)置

    2.4 實(shí)驗(yàn)分析

    2.4.1 評價(jià)標(biāo)準(zhǔn)

    本文采用常用的NER評價(jià)指標(biāo)[15]來衡量實(shí)驗(yàn)結(jié)果:精確率P(precision)、召回率R(recall)和F1(F-measure)值.

    (6)

    (7)

    (8)

    2.4.2 實(shí)驗(yàn)結(jié)果及分析

    為了證明本文方法的有效性,實(shí)驗(yàn)首先要證明BERT預(yù)訓(xùn)練模型是否能夠消歧并解決一詞多義的問題,本文使用BERT與其他2種常用的詞嵌入模型作對比實(shí)驗(yàn).目前常用Glove與Word2Vec獲取預(yù)訓(xùn)練詞向量,故分別使用Word2Vec和Glove與本模型對比,以獲取詞向量.將通過上述3種方法獲取的詞向量再輸入到BiLSTM-CRF中進(jìn)行實(shí)驗(yàn),測試集實(shí)驗(yàn)結(jié)果如表4所示:

    表4 不同預(yù)訓(xùn)練模型性能

    從表4看出,常用的Word2Vec與Glove模型分別得到了0.691,0.703的F1值,不難看出這2種模型由于欠缺語義上下文的相關(guān)性分析,對于任務(wù)作業(yè)沒有明顯的提升.而本文使用的BERT模型在作業(yè)中的F1值達(dá)到了0.859,證明了具有消歧作用的BERT模型在該任務(wù)上具有更好的性能,克服了傳統(tǒng)的一詞多義問題.

    其次,為了證明本文使用融合模型的性能,對CRF,BiLSTM,BiLSTM-CRF,BERT-BiLSTM-CRF這4種方法的總體精確率、召回率及F1值作對比,如表5所示:

    表5 模型整體序列標(biāo)注性能

    從表5可知,上述4種方法得到的F1值分別為0.659,0.703,0.763,0.859.其中,本文使用的BERT-BiLSTM-CRF模型的3個(gè)指標(biāo)均最高,其次為常用的BiLSTM-CRF方法,各方面性能與本文方法相差10%,說明了預(yù)訓(xùn)練模型BERT消歧的有效性.CRF與BiLSTM方法相差5%左右,說明BiLSTM在處理文本關(guān)系上的性能優(yōu)于CRF模型.最終,可以得出結(jié)論:本文使用的BERT-BiLSTM-CRF模型在對公共安全事件命名實(shí)體識(shí)別整體性能優(yōu)于其他3種方法.

    最后選取本文模型與其中表現(xiàn)較好的BiLSTM-CRF模型對公共安全事件各個(gè)序列標(biāo)注的F1值作細(xì)化對比,結(jié)果如表6所示:

    表6 BERT-BiLSTM-CRF與BiLSTM-CRF模型LOC標(biāo)簽F1值對比

    從表6可看出,2種模型都對LOC(位置)標(biāo)簽的序列標(biāo)注的誤差相對其他標(biāo)簽較大,本文也通過多次實(shí)驗(yàn)得出每次訓(xùn)練得到的LOC標(biāo)簽的F1值均高于75%,本文模型在LOC識(shí)別的方面遠(yuǎn)高于另一模型.在PER(參與者)的標(biāo)注序列中,顯然本文使用的模型優(yōu)于另一模型,高于其13%左右,歸因于BiLSTM-CRF所使用的詞嵌入模型缺少上下文分析,未能解決一詞多義的問題.在ACT(行為)和TIME(時(shí)間)標(biāo)簽的序列標(biāo)注中,上述模型均表現(xiàn)較好,F(xiàn)1值均達(dá)到80%以上.

    基于上述對比實(shí)驗(yàn)可知,本文使用的BERT-BiLSTM-CRF模型可獲得更優(yōu)的效果.在BiLSTM-CRF模型標(biāo)注的基礎(chǔ)之上,使用BERT預(yù)訓(xùn)練模型提取特征向量,對多義詞進(jìn)行消歧,解決相同字詞在安全事件領(lǐng)域的歧義問題,效果優(yōu)于其他神經(jīng)網(wǎng)絡(luò)模型及機(jī)器學(xué)習(xí)方法.

    3 結(jié) 論

    本文對公共安全事件文本中的命名實(shí)體進(jìn)行研究,針對公安全事件文本冗雜的特性及中文字詞的多義性,在原有研究的基礎(chǔ)上進(jìn)行改進(jìn).在經(jīng)過BiLSTM-CRF模型標(biāo)注的基礎(chǔ)上,加入BERT預(yù)訓(xùn)練模型,提高了實(shí)體識(shí)別的效果.使用BERT預(yù)訓(xùn)練模型獲取詞向量,解決了一詞多義的問題,使用BiLSTM模型解決了特定領(lǐng)域嚴(yán)重依賴人工特征的問題.經(jīng)過對比實(shí)驗(yàn)表明,本文模型具有較好的準(zhǔn)確性,與其他模型相比有提升,F(xiàn)1值達(dá)到85%以上.由于實(shí)驗(yàn)的數(shù)據(jù)集規(guī)模較小,接下來將在增加語料的基礎(chǔ)上對方法繼續(xù)優(yōu)化,進(jìn)一步找出安全事件領(lǐng)域中命名實(shí)體之間的關(guān)系,并創(chuàng)建能被輿情分析或應(yīng)急響應(yīng)系統(tǒng)使用的安全事件序列標(biāo)注的數(shù)據(jù)集是下一步要研究的重點(diǎn).

    猜你喜歡
    安全事件語料命名
    命名——助力有機(jī)化學(xué)的學(xué)習(xí)
    有一種男人以“暖”命名
    東方女性(2018年3期)2018-04-16 15:30:02
    為一條河命名——在白河源
    散文詩(2017年17期)2018-01-31 02:34:08
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    食品安全事件的價(jià)格沖擊效應(yīng)
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    公交車公共安全事件調(diào)查
    2013卡巴斯基三大安全事件
    毛片女人毛片| 国产高清视频在线观看网站| 日日摸夜夜添夜夜添av毛片| 搡老熟女国产l中国老女人| 亚洲av五月六月丁香网| 永久网站在线| 欧美三级亚洲精品| 免费在线观看影片大全网站| 精品一区二区三区人妻视频| 国产成人精品久久久久久| 国产女主播在线喷水免费视频网站 | 夜夜爽天天搞| 十八禁网站免费在线| av免费在线看不卡| 男人舔女人下体高潮全视频| 国产真实伦视频高清在线观看| 亚洲自拍偷在线| 亚洲精品日韩av片在线观看| 国产 一区精品| 国内揄拍国产精品人妻在线| 黄片wwwwww| 2021天堂中文幕一二区在线观| 人人妻,人人澡人人爽秒播| 亚洲精品日韩av片在线观看| 亚洲真实伦在线观看| 国产真实伦视频高清在线观看| av国产免费在线观看| 亚洲美女视频黄频| 免费av毛片视频| 亚洲av美国av| 精品久久国产蜜桃| 欧美精品国产亚洲| 中文字幕熟女人妻在线| 亚洲aⅴ乱码一区二区在线播放| 日日干狠狠操夜夜爽| 成人午夜高清在线视频| 国产精品一区二区三区四区免费观看 | 99久久成人亚洲精品观看| 亚洲av电影不卡..在线观看| 晚上一个人看的免费电影| 1024手机看黄色片| 麻豆成人午夜福利视频| 国内少妇人妻偷人精品xxx网站| 不卡一级毛片| 国产精品久久久久久久电影| 男人舔奶头视频| 日韩av不卡免费在线播放| 久久精品91蜜桃| 国产三级在线视频| 99国产极品粉嫩在线观看| 12—13女人毛片做爰片一| 91av网一区二区| 91麻豆精品激情在线观看国产| 97超视频在线观看视频| 国产黄a三级三级三级人| 亚洲最大成人av| 一区二区三区四区激情视频 | 国产精品免费一区二区三区在线| 少妇被粗大猛烈的视频| av在线观看视频网站免费| 床上黄色一级片| 精品免费久久久久久久清纯| 日本欧美国产在线视频| 国产欧美日韩一区二区精品| 熟女人妻精品中文字幕| 亚洲人成网站高清观看| 日日摸夜夜添夜夜添小说| 欧美+日韩+精品| 国产精品一区二区三区四区免费观看 | 国产三级中文精品| 嫩草影视91久久| 国产精品av视频在线免费观看| 亚洲成人中文字幕在线播放| 久久人人精品亚洲av| 一a级毛片在线观看| 亚洲一级一片aⅴ在线观看| 亚洲av成人av| 成人漫画全彩无遮挡| 少妇猛男粗大的猛烈进出视频 | 床上黄色一级片| 欧美性感艳星| 国产亚洲av嫩草精品影院| 99热全是精品| 成人综合一区亚洲| 国产精品国产高清国产av| 国产真实伦视频高清在线观看| 日本a在线网址| 欧美成人精品欧美一级黄| 久久久久国产精品人妻aⅴ院| 久久精品久久久久久噜噜老黄 | 久久久精品欧美日韩精品| 欧美丝袜亚洲另类| 国产成人freesex在线 | 国产精品一区二区免费欧美| 悠悠久久av| 国产成人福利小说| 秋霞在线观看毛片| 免费无遮挡裸体视频| www.色视频.com| 午夜老司机福利剧场| 国产成人a区在线观看| 三级国产精品欧美在线观看| 一级毛片久久久久久久久女| 乱码一卡2卡4卡精品| 精品一区二区三区视频在线观看免费| 噜噜噜噜噜久久久久久91| 97超级碰碰碰精品色视频在线观看| av在线亚洲专区| 亚洲成人精品中文字幕电影| 久久久久九九精品影院| 欧美日本视频| 99久久精品热视频| 亚洲av免费高清在线观看| 日韩一区二区视频免费看| 日日啪夜夜撸| 久久天躁狠狠躁夜夜2o2o| 久久人妻av系列| 一区二区三区高清视频在线| 国产高清有码在线观看视频| 丝袜喷水一区| 亚洲真实伦在线观看| 亚洲七黄色美女视频| 内地一区二区视频在线| 亚洲成人久久性| 激情 狠狠 欧美| 中出人妻视频一区二区| 国产精品久久久久久久电影| 成人漫画全彩无遮挡| 亚洲av电影不卡..在线观看| 成人毛片a级毛片在线播放| 中文字幕熟女人妻在线| 尤物成人国产欧美一区二区三区| 国产三级中文精品| 午夜福利在线观看吧| 国产成人a区在线观看| 嫩草影视91久久| 一个人免费在线观看电影| 久久精品国产亚洲av天美| 国产熟女欧美一区二区| 男女边吃奶边做爰视频| 色av中文字幕| 亚洲第一区二区三区不卡| 女生性感内裤真人,穿戴方法视频| 少妇熟女欧美另类| 久久久久国产网址| 国产一区二区激情短视频| a级毛色黄片| 亚洲最大成人中文| 九色成人免费人妻av| 秋霞在线观看毛片| 亚洲人成网站在线播放欧美日韩| 国产一区二区三区在线臀色熟女| 一级av片app| 国产精品1区2区在线观看.| 国产一区亚洲一区在线观看| 97超级碰碰碰精品色视频在线观看| 黄色一级大片看看| 精品久久久久久久久av| 国产精品久久电影中文字幕| 久久久久久九九精品二区国产| 免费观看人在逋| 亚洲图色成人| 99国产极品粉嫩在线观看| 色播亚洲综合网| 亚洲第一电影网av| 三级国产精品欧美在线观看| 99国产精品一区二区蜜桃av| 成人精品一区二区免费| www.色视频.com| 人妻少妇偷人精品九色| 人人妻人人澡人人爽人人夜夜 | 亚洲图色成人| 婷婷精品国产亚洲av在线| 久久韩国三级中文字幕| 人人妻人人看人人澡| 久久精品影院6| 色综合站精品国产| 老司机福利观看| 亚洲中文字幕一区二区三区有码在线看| 久久久久久大精品| 午夜精品国产一区二区电影 | 婷婷精品国产亚洲av在线| 免费人成视频x8x8入口观看| 淫妇啪啪啪对白视频| 亚洲精品一区av在线观看| 日日摸夜夜添夜夜爱| 中文字幕久久专区| 少妇丰满av| 别揉我奶头~嗯~啊~动态视频| 国产成人一区二区在线| 日本精品一区二区三区蜜桃| 校园春色视频在线观看| 久久久午夜欧美精品| 免费搜索国产男女视频| 亚洲丝袜综合中文字幕| 久久精品国产清高在天天线| 亚洲精品456在线播放app| 国产老妇女一区| or卡值多少钱| 淫妇啪啪啪对白视频| 精品人妻视频免费看| 久久久久九九精品影院| 搡老熟女国产l中国老女人| 香蕉av资源在线| 非洲黑人性xxxx精品又粗又长| 色综合色国产| 成年女人永久免费观看视频| 久久久久精品国产欧美久久久| 天天躁夜夜躁狠狠久久av| 国产高清有码在线观看视频| 免费观看精品视频网站| 九九久久精品国产亚洲av麻豆| 狂野欧美白嫩少妇大欣赏| 白带黄色成豆腐渣| a级毛片a级免费在线| 国产av一区在线观看免费| 大型黄色视频在线免费观看| 97热精品久久久久久| 中文字幕久久专区| 高清日韩中文字幕在线| 人妻久久中文字幕网| 日韩欧美 国产精品| 国产高清有码在线观看视频| 欧美日本视频| 色哟哟·www| 精品99又大又爽又粗少妇毛片| 久久久久久九九精品二区国产| 久久韩国三级中文字幕| 国产免费男女视频| 亚洲精品国产成人久久av| 99久久成人亚洲精品观看| 免费看a级黄色片| 国产精华一区二区三区| 免费av不卡在线播放| a级毛片a级免费在线| 久久精品国产鲁丝片午夜精品| 99国产极品粉嫩在线观看| 午夜免费激情av| 伦精品一区二区三区| 国产一区亚洲一区在线观看| 久久久久精品国产欧美久久久| 久久欧美精品欧美久久欧美| 1024手机看黄色片| 成年版毛片免费区| 校园人妻丝袜中文字幕| 天堂av国产一区二区熟女人妻| 男女做爰动态图高潮gif福利片| 韩国av在线不卡| 免费观看在线日韩| 嫩草影院入口| 日本熟妇午夜| 一级毛片久久久久久久久女| 18+在线观看网站| 日日撸夜夜添| 99热这里只有精品一区| 最好的美女福利视频网| 热99re8久久精品国产| 熟女电影av网| 夜夜爽天天搞| 久久久久国产精品人妻aⅴ院| 97在线视频观看| 老女人水多毛片| 国产真实伦视频高清在线观看| 亚洲欧美中文字幕日韩二区| 免费观看在线日韩| 日韩欧美精品免费久久| 白带黄色成豆腐渣| 亚洲av熟女| 久久久久久久久中文| 亚洲av.av天堂| 国产单亲对白刺激| 亚洲精品在线观看二区| 国产片特级美女逼逼视频| 免费av不卡在线播放| 综合色丁香网| 欧美日韩国产亚洲二区| 亚洲无线在线观看| 免费一级毛片在线播放高清视频| 国产精品人妻久久久影院| 精品久久久久久成人av| 久久精品国产自在天天线| 久久久久性生活片| 身体一侧抽搐| 午夜福利视频1000在线观看| 在线观看免费视频日本深夜| 国产精品久久久久久av不卡| 不卡视频在线观看欧美| 亚洲av一区综合| 99热精品在线国产| 免费高清视频大片| 十八禁国产超污无遮挡网站| 我的女老师完整版在线观看| 亚洲图色成人| 国产伦精品一区二区三区视频9| 国产精品一二三区在线看| 人妻夜夜爽99麻豆av| 日韩欧美精品免费久久| 国产高清不卡午夜福利| 午夜福利在线观看吧| 日韩,欧美,国产一区二区三区 | 亚洲av美国av| 十八禁国产超污无遮挡网站| 亚洲一级一片aⅴ在线观看| 免费黄网站久久成人精品| 国产精品福利在线免费观看| 国产视频内射| av在线观看视频网站免费| 精品人妻熟女av久视频| 精品人妻偷拍中文字幕| 久久久国产成人免费| 你懂的网址亚洲精品在线观看 | 久久久精品欧美日韩精品| 国产精品电影一区二区三区| 有码 亚洲区| 精品久久久久久久久久免费视频| 在线免费观看的www视频| 精品99又大又爽又粗少妇毛片| 国产精品无大码| 秋霞在线观看毛片| 婷婷精品国产亚洲av在线| 可以在线观看的亚洲视频| 久久精品91蜜桃| 亚洲精品久久国产高清桃花| 日本成人三级电影网站| 性插视频无遮挡在线免费观看| 国产精品亚洲美女久久久| 国产亚洲精品久久久久久毛片| 露出奶头的视频| 日日摸夜夜添夜夜添小说| 亚洲精品色激情综合| av黄色大香蕉| 丰满人妻一区二区三区视频av| 亚洲精品乱码久久久v下载方式| 国产一区二区三区av在线 | 亚洲成av人片在线播放无| 久久人人爽人人爽人人片va| 啦啦啦观看免费观看视频高清| 久久久久久久久久黄片| av在线老鸭窝| 十八禁网站免费在线| av在线老鸭窝| 十八禁网站免费在线| 精品久久久久久久久久免费视频| 波多野结衣高清作品| 国产精品一区二区免费欧美| 欧美精品国产亚洲| 美女被艹到高潮喷水动态| 十八禁网站免费在线| 十八禁国产超污无遮挡网站| 日本精品一区二区三区蜜桃| 国产探花在线观看一区二区| 少妇的逼好多水| 99热精品在线国产| 久久久久久久午夜电影| 人人妻人人看人人澡| 成人特级av手机在线观看| 99精品在免费线老司机午夜| 精品久久久久久久久av| 久久久久久久久中文| 久久久精品94久久精品| 亚洲中文日韩欧美视频| 欧美性猛交╳xxx乱大交人| 国产亚洲精品av在线| 国产一区二区三区在线臀色熟女| 中国美白少妇内射xxxbb| 最近视频中文字幕2019在线8| 国产精品野战在线观看| 中文字幕熟女人妻在线| 亚洲,欧美,日韩| 99九九线精品视频在线观看视频| 内射极品少妇av片p| 综合色丁香网| 色综合色国产| 一级毛片我不卡| 亚洲人成网站在线播放欧美日韩| 午夜精品在线福利| 日本免费一区二区三区高清不卡| 免费在线观看成人毛片| 少妇人妻一区二区三区视频| 免费看av在线观看网站| av国产免费在线观看| 老司机福利观看| 久久精品久久久久久噜噜老黄 | 亚洲成a人片在线一区二区| 午夜福利在线在线| 在线看三级毛片| 日本与韩国留学比较| 女人被狂操c到高潮| 成人三级黄色视频| 午夜福利成人在线免费观看| 婷婷六月久久综合丁香| 久久人妻av系列| 亚洲自偷自拍三级| 天堂av国产一区二区熟女人妻| 亚洲国产欧美人成| 搡老熟女国产l中国老女人| 日韩欧美免费精品| 亚洲av五月六月丁香网| 亚洲欧美清纯卡通| 国产精品综合久久久久久久免费| 在线看三级毛片| 欧美日韩在线观看h| 欧美成人精品欧美一级黄| 久久精品久久久久久噜噜老黄 | 干丝袜人妻中文字幕| 国产 一区精品| 成熟少妇高潮喷水视频| 丰满的人妻完整版| 国产精品一区二区免费欧美| 国产一区二区亚洲精品在线观看| 亚洲无线观看免费| 卡戴珊不雅视频在线播放| 看十八女毛片水多多多| 美女cb高潮喷水在线观看| 亚洲欧美精品自产自拍| 久99久视频精品免费| 精品人妻偷拍中文字幕| 亚洲一区高清亚洲精品| 男人舔女人下体高潮全视频| 国产 一区 欧美 日韩| 99热只有精品国产| 一级毛片aaaaaa免费看小| a级毛片免费高清观看在线播放| 日韩成人伦理影院| 欧美zozozo另类| 免费av不卡在线播放| 春色校园在线视频观看| 久久精品人妻少妇| 久久精品国产99精品国产亚洲性色| 国产一区二区在线观看日韩| 老师上课跳d突然被开到最大视频| 亚洲精品色激情综合| 成人欧美大片| 免费观看人在逋| 白带黄色成豆腐渣| 国内精品宾馆在线| 99国产极品粉嫩在线观看| 亚洲精品456在线播放app| 亚洲欧美成人综合另类久久久 | 欧美另类亚洲清纯唯美| 国产精品av视频在线免费观看| 老女人水多毛片| 哪里可以看免费的av片| 午夜日韩欧美国产| 99国产精品一区二区蜜桃av| av.在线天堂| 成人av在线播放网站| 亚洲精品一区av在线观看| 特大巨黑吊av在线直播| 亚洲一级一片aⅴ在线观看| 一级毛片aaaaaa免费看小| 听说在线观看完整版免费高清| 日韩欧美精品v在线| 桃色一区二区三区在线观看| 国产高清激情床上av| 国产在线精品亚洲第一网站| 狂野欧美激情性xxxx在线观看| 伊人久久精品亚洲午夜| 在线观看午夜福利视频| 久久热精品热| 亚洲欧美精品综合久久99| 九九久久精品国产亚洲av麻豆| 久久久精品大字幕| 成人漫画全彩无遮挡| 欧美不卡视频在线免费观看| 在线观看午夜福利视频| 日韩av不卡免费在线播放| 一级av片app| 日韩欧美一区二区三区在线观看| 人妻丰满熟妇av一区二区三区| 国产精品爽爽va在线观看网站| 日韩国内少妇激情av| 成人无遮挡网站| 91久久精品电影网| 成人鲁丝片一二三区免费| 婷婷六月久久综合丁香| 欧美潮喷喷水| 精品免费久久久久久久清纯| 全区人妻精品视频| 久久久久性生活片| 九九久久精品国产亚洲av麻豆| 人妻丰满熟妇av一区二区三区| 听说在线观看完整版免费高清| 亚洲色图av天堂| 日韩亚洲欧美综合| 日韩欧美精品v在线| 尤物成人国产欧美一区二区三区| 97在线视频观看| 国产精品乱码一区二三区的特点| 春色校园在线视频观看| 人人妻,人人澡人人爽秒播| 成年av动漫网址| 国产男人的电影天堂91| 久久久久久久久久成人| 午夜免费激情av| 亚洲精品日韩在线中文字幕 | 免费无遮挡裸体视频| 亚洲欧美日韩高清专用| 亚洲精品日韩av片在线观看| 国产精品一区二区免费欧美| 成人漫画全彩无遮挡| 欧美日本视频| 欧美一区二区亚洲| 亚洲美女搞黄在线观看 | 男女做爰动态图高潮gif福利片| 国产69精品久久久久777片| 男人舔奶头视频| 国产中年淑女户外野战色| 久久人人精品亚洲av| 国产单亲对白刺激| 嫩草影视91久久| 日韩亚洲欧美综合| 精品一区二区三区视频在线观看免费| 18禁在线无遮挡免费观看视频 | 免费搜索国产男女视频| 国产精品国产高清国产av| 卡戴珊不雅视频在线播放| 成年版毛片免费区| 99久久无色码亚洲精品果冻| 网址你懂的国产日韩在线| 国产高清有码在线观看视频| 99久久成人亚洲精品观看| 黄片wwwwww| 欧洲精品卡2卡3卡4卡5卡区| 久久婷婷人人爽人人干人人爱| 国产精品永久免费网站| www.色视频.com| 老女人水多毛片| 日韩三级伦理在线观看| 国产综合懂色| 国产精品国产三级国产av玫瑰| 又黄又爽又刺激的免费视频.| 久久久成人免费电影| 免费人成在线观看视频色| 亚洲av熟女| 91久久精品电影网| 99热这里只有精品一区| 丰满乱子伦码专区| 国产黄片美女视频| 国产美女午夜福利| 菩萨蛮人人尽说江南好唐韦庄 | 韩国av在线不卡| 久久久久久久久大av| 亚洲成av人片在线播放无| 久久久久国内视频| 免费看a级黄色片| 国产高清三级在线| 精品免费久久久久久久清纯| 悠悠久久av| 精品99又大又爽又粗少妇毛片| 国产精品三级大全| .国产精品久久| 久久久久性生活片| 精品乱码久久久久久99久播| 精品少妇黑人巨大在线播放 | 亚洲婷婷狠狠爱综合网| 久久久午夜欧美精品| 午夜久久久久精精品| 久久综合国产亚洲精品| 亚洲一区二区三区色噜噜| 女的被弄到高潮叫床怎么办| 亚洲国产欧美人成| 亚洲成人av在线免费| 日本黄色片子视频| 欧美精品国产亚洲| 免费无遮挡裸体视频| 非洲黑人性xxxx精品又粗又长| 久久久久久久久大av| 欧美日韩国产亚洲二区| 国产精品嫩草影院av在线观看| 国产一区二区在线观看日韩| 精品一区二区三区av网在线观看| 亚洲精品粉嫩美女一区| 色5月婷婷丁香| 高清日韩中文字幕在线| 亚洲七黄色美女视频| 久久精品国产亚洲av涩爱 | 亚洲最大成人av| 亚洲无线观看免费| 久久久精品94久久精品| 久久亚洲国产成人精品v| 欧美性猛交╳xxx乱大交人| av在线亚洲专区| 精品免费久久久久久久清纯| 黄色日韩在线| 毛片女人毛片| 波多野结衣高清无吗| 男人狂女人下面高潮的视频| 精华霜和精华液先用哪个| 国产色爽女视频免费观看| 欧美性猛交黑人性爽| 久久久欧美国产精品| 国产精品日韩av在线免费观看| 看片在线看免费视频| 亚洲无线在线观看| 伦理电影大哥的女人| 亚洲国产色片| 亚洲精品成人久久久久久| 亚洲在线自拍视频| 一级毛片电影观看 | 亚州av有码| 麻豆一二三区av精品| 黄色视频,在线免费观看| 国产精品99久久久久久久久| 日日干狠狠操夜夜爽| 99视频精品全部免费 在线| 国产人妻一区二区三区在| 亚洲自拍偷在线| 国产乱人偷精品视频| 亚洲精品粉嫩美女一区| 免费看光身美女| 亚洲va在线va天堂va国产| 嫩草影视91久久| 国产v大片淫在线免费观看| 亚洲国产欧洲综合997久久,|