• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于CNN-BLSTM的食品輿情實(shí)體關(guān)系抽取模型研究

    2021-04-02 06:06:30王慶棒汪顥懿張青川袁玉梅
    關(guān)鍵詞:語(yǔ)義模型

    王慶棒,汪顥懿,左 敏,*,張青川,溫 馨,袁玉梅

    (1.北京工商大學(xué) 農(nóng)產(chǎn)品質(zhì)量安全追溯技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室,北京 100048;2.北京工商大學(xué) 計(jì)算機(jī)與信息工程學(xué)院,北京 100048)

    食品輿情領(lǐng)域知識(shí)圖譜以食品行業(yè)為基礎(chǔ),挖掘食品輿情信息的相互聯(lián)系,在食品安全、食品輿情分析等方面都有著重要作用。食品輿情的實(shí)體關(guān)系抽取是構(gòu)建食品輿情知識(shí)圖譜的重要基礎(chǔ)工作之一,旨在抽取句子中已標(biāo)記實(shí)體對(duì)之間的語(yǔ)義關(guān)系。

    食品輿情信息的挖掘依賴(lài)于數(shù)據(jù)的多維度特征[1],多層次的網(wǎng)絡(luò)模型實(shí)現(xiàn)了基于大規(guī)模語(yǔ)料的自動(dòng)挖掘特征信息,目前的研究主要分為基于特征向量的方法[2]、基于核函數(shù)的方法[3]和基于神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)方法。黃衛(wèi)春等[4]為了解決特征空間維度過(guò)高的問(wèn)題,提出了4種文本文類(lèi)的特征選擇算法;姚全珠等[5]采用了子樹(shù)特征的實(shí)體關(guān)系抽取方法;Zeng等[6]采取建模的方式,在卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)中引入了位置向量,但對(duì)位置信息的挖掘程度有些不足;Nguyen等[7]在CNN上使用不同尺度的卷積核對(duì)文本的語(yǔ)義關(guān)系進(jìn)行了表征,但該模型仍然是基于淺層語(yǔ)義關(guān)系。本研究擬在注意力機(jī)制上,采用基于詞語(yǔ)位置的語(yǔ)義角色標(biāo)注(semantic role labeling,SRL)方法,使模型更好地對(duì)詞匯特征和位置信息進(jìn)行學(xué)習(xí),并提高模型的精確度。

    Santors等[8]在CNN中對(duì)目標(biāo)函數(shù)做出了改進(jìn),雖然該方法提高了實(shí)體關(guān)系的識(shí)別力度,但是CNN卻仍然不能很好地學(xué)習(xí)語(yǔ)句中上下文的語(yǔ)義信息;Zhang和Wang[9]利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)語(yǔ)句中的上下文語(yǔ)義,然而循環(huán)神經(jīng)網(wǎng)絡(luò)本身具有梯度消失和梯度爆炸等問(wèn)題。雙向長(zhǎng)短時(shí)記憶(bidirectional long short-term memory,BLSTM)網(wǎng)絡(luò)解決了梯度爆炸的問(wèn)題,同時(shí)能學(xué)習(xí)句子中的上下文語(yǔ)義信息,因此本研究模型中引入了BLSTM網(wǎng)絡(luò)。

    翟社平等[10]采用BLSTM網(wǎng)絡(luò)來(lái)提取句子特征,不過(guò)該模型對(duì)于詞匯特征的挖掘還有些不足;Zhou等[11]改進(jìn)了BLSTM網(wǎng)絡(luò),使其模型能夠?qū)W習(xí)詞匯中的某些信息,然而對(duì)詞匯位置語(yǔ)義等重要信息沒(méi)有進(jìn)行很好的處理;吳佳昌等[12]提出了基于依存關(guān)系和雙通道CNN的關(guān)系抽取方法,對(duì)詞性的依存關(guān)系做出了進(jìn)一步研究。本研究在BLSTM網(wǎng)絡(luò)中引入了基于位置的語(yǔ)義角色標(biāo)注方法,依據(jù)食品輿情領(lǐng)域的文本特點(diǎn),引入了領(lǐng)域詞機(jī)制,進(jìn)一步挖掘詞語(yǔ)層面上的語(yǔ)義信息,使模型更好地識(shí)別不同實(shí)體及其關(guān)系。

    本研究擬針對(duì)食品輿情領(lǐng)域的實(shí)體關(guān)系抽取方法,在分析現(xiàn)有的實(shí)體關(guān)系抽取方法優(yōu)劣的基礎(chǔ)上,采用CNN-BLSTM雙網(wǎng)絡(luò)模型結(jié)構(gòu),區(qū)分不同的實(shí)體關(guān)系的同時(shí),有效學(xué)習(xí)文本遠(yuǎn)程語(yǔ)義的信息和結(jié)構(gòu)。

    1 數(shù)據(jù)來(lái)源與處理

    1.1 數(shù)據(jù)來(lái)源

    模型訓(xùn)練所需數(shù)據(jù)集選用獨(dú)立構(gòu)建的食品輿情領(lǐng)域數(shù)據(jù)集(FO-Data)。通過(guò)搜集、整理2017~2019年食品伙伴網(wǎng)[13]、中國(guó)食品公眾科普網(wǎng)[14]、食安通網(wǎng)[15]公布的文章數(shù)據(jù),歸納為包裝材料、保健食品、焙烤食品、茶葉、寵物食品、調(diào)味品、方便食品、蜂蜜、罐頭、果蔬、進(jìn)出口、酒業(yè)、糧油、認(rèn)證體系、乳業(yè)、商超、食品儲(chǔ)運(yùn)、食品機(jī)械、食品檢測(cè)、食用菌、糖果、添加劑配料、畜禽肉品、飲料、有機(jī)食品、漁業(yè)、水產(chǎn)轉(zhuǎn)基因食品27個(gè)行業(yè),包括除港澳臺(tái)、西藏、新疆、內(nèi)蒙古、寧夏和甘肅以外的全國(guó)26個(gè)省份。

    實(shí)驗(yàn)平臺(tái)使用基于PyTorch(https:∥pytorch.org/)的開(kāi)源深度學(xué)習(xí)框架,構(gòu)建深度學(xué)習(xí)模型。訓(xùn)練及使用的系統(tǒng)平臺(tái)為美國(guó)微軟公司的Windows和開(kāi)源的LinuxCentOS7系統(tǒng)。

    1.2 數(shù)據(jù)處理

    采集的語(yǔ)料數(shù)據(jù)集按句劃分,剔除無(wú)效句子,分別標(biāo)注句子中的實(shí)體對(duì)及實(shí)體關(guān)系,并作為模型的訓(xùn)練輸入樣本,即每一條輸入語(yǔ)料分為3個(gè)部分,第1部分為輸入句子,第2部分為實(shí)體對(duì),第3部分為實(shí)體關(guān)系。數(shù)據(jù)集整體劃分為3個(gè)子數(shù)據(jù)集:訓(xùn)練集、測(cè)試集和驗(yàn)證集。子數(shù)據(jù)集的規(guī)模見(jiàn)表1。

    表1 數(shù)據(jù)集規(guī)模的統(tǒng)計(jì)Tab.1 Statistics of data set size

    1.3 評(píng)價(jià)指標(biāo)的計(jì)算

    本研究采用準(zhǔn)確率P、召回率R和F1值作為實(shí)驗(yàn)結(jié)果優(yōu)劣的評(píng)價(jià)指標(biāo),計(jì)算見(jiàn)式(1)~式(3)。

    (1)

    (2)

    (3)

    式(1)~式(3)中,TP為把正類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量;FP為把負(fù)類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量;FN為把正類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量。

    2 基于CNN-BLSTM的食品輿情實(shí)體關(guān)系抽取模型建立

    2.1 模型描述

    在模型的開(kāi)始,使用提前訓(xùn)練好的詞嵌入模型,將食品輿情領(lǐng)域的語(yǔ)料進(jìn)行文本向量化處理。之后將得出的詞嵌入,分別作為CNN層和BLSTM層的輸入,由CNN生成卷積核,BLSTM生成隱層向量。模型將會(huì)分成2個(gè)部分引入網(wǎng)絡(luò)注意力機(jī)制:首先,將提前構(gòu)建好的領(lǐng)域詞詞庫(kù)與當(dāng)前的每個(gè)詞語(yǔ)進(jìn)行逐一匹配,在經(jīng)過(guò)基于位置感知的領(lǐng)域詞語(yǔ)義注意力機(jī)制的計(jì)算后,得出影響向量,同時(shí)模型將影響向量與CNN卷積核輸出的向量進(jìn)行結(jié)合,影響CNN模型輸出結(jié)果;其次,模型會(huì)對(duì)詞語(yǔ)的語(yǔ)義角色進(jìn)行標(biāo)注,判斷各個(gè)詞語(yǔ)是否為核心主語(yǔ)或謂詞,經(jīng)過(guò)基于位置感知的語(yǔ)義角色注意力機(jī)制的計(jì)算,將影響向量傳播到BLSTM的隱層向量中計(jì)算,從而影響B(tài)LSTM的輸出結(jié)果。最后模型將會(huì)在2個(gè)網(wǎng)絡(luò)輸出向量的結(jié)合層累積影響向量,進(jìn)一步得出實(shí)體及其關(guān)系抽取結(jié)果。網(wǎng)絡(luò)模型整體過(guò)程如圖1。

    圖1 CNN-BLSTM模型Fig.1 Model of CNN-BLSTM

    模型的輸出層包含3層輸出向量。第1層輸出的向量是關(guān)于實(shí)體關(guān)系的輸出向量,第2層是關(guān)于實(shí)體標(biāo)注中主體標(biāo)簽的輸出向量,第3層則是關(guān)于實(shí)體標(biāo)注中客體標(biāo)簽的輸出向量。

    在實(shí)體關(guān)系抽取中,本研究在網(wǎng)絡(luò)的輸出層采用了SoftMax函數(shù),對(duì)于每種關(guān)系進(jìn)行歸一化處理,得到每種關(guān)系的概率值P,計(jì)算見(jiàn)式(4)。

    P=softmax(CWT+bc) 。

    (4)

    式(4)中,W為權(quán)重向量,T為權(quán)重向量的轉(zhuǎn)置,C為輸出向量,bc為偏置向量。對(duì)于實(shí)體標(biāo)注部分,輸入句子的每一個(gè)詞都會(huì)被指派一個(gè)實(shí)體標(biāo)簽,標(biāo)簽采用相同的編碼模式:0-1標(biāo)簽(1是主體或者客體)。因此,實(shí)體標(biāo)注問(wèn)題可以轉(zhuǎn)變?yōu)椋簩?duì)于給定的長(zhǎng)度為m的句子S(s1,…st,…sm),假設(shè)標(biāo)注輸出結(jié)果為Y(s)(y1,…yt,…ym),在已知序列S下,找出使得Y=(y1,…yt,…ym)的概率為P(y1,…yt,…ym)的最大的序列[y1,…yt,…ym]。計(jì)算見(jiàn)式(5)。

    (5)

    式(5)中,S為輸入的句子,y為預(yù)測(cè)的關(guān)系概率,W為權(quán)重向量,ψi(y′,y,s)=exp (WTy′,yzi+bi,y)是一個(gè)隱含函數(shù),W為權(quán)重向量,T為權(quán)重向量的轉(zhuǎn)置,yi為句子中第i個(gè)詞向量,zi為句子中第i個(gè)詞向量的權(quán)重向量,bi為第i個(gè)詞向量的偏置向量。解碼時(shí)最高條件概率計(jì)算見(jiàn)式(6),使用維特比算法可以進(jìn)行有效的解碼運(yùn)算。

    =arg maxy∈Y(s)P(y|s;W,b) 。

    (6)

    網(wǎng)絡(luò)模型對(duì)于實(shí)體標(biāo)注主體的處理過(guò)程如圖2。實(shí)體標(biāo)注中客體的標(biāo)注過(guò)程與主體標(biāo)注類(lèi)似,其輸出的位置是模型輸出的第3層向量。經(jīng)過(guò)最后的連接層可以得到客體的標(biāo)注結(jié)果。

    圖2 實(shí)體標(biāo)注主體的處理過(guò)程Fig.2 Process of entity labeling subject

    本研究以2層向量的方式,來(lái)對(duì)關(guān)系實(shí)體的主客體做出區(qū)分,第1層表示主體的標(biāo)記結(jié)果,第2層表示客體的標(biāo)記結(jié)果。

    2.2 基于位置感知的語(yǔ)義角色注意力機(jī)制建立

    SRL是一種淺層的語(yǔ)義分析技術(shù),標(biāo)注句子中某些短語(yǔ)為給定謂詞的論元 (語(yǔ)義角色) ,如施事、受事、時(shí)間和地點(diǎn)等。本研究通過(guò)SRL劃分語(yǔ)義角色,得到不同的句子成分,使位置注意力影響在不同的語(yǔ)義角色中進(jìn)行傳播。

    SRL會(huì)將詞語(yǔ)的語(yǔ)義角色、依存關(guān)系等標(biāo)注出來(lái),例如:對(duì)于“饅頭的鋁殘留量不符合國(guó)家標(biāo)準(zhǔn)”這句話(huà)進(jìn)行語(yǔ)義角色標(biāo)注,其標(biāo)注的結(jié)果為“饅頭”“鋁殘留量”“不符合”“國(guó)家標(biāo)準(zhǔn)”,并且對(duì)它們的依存關(guān)系進(jìn)行了標(biāo)注,最終可以確定各詞語(yǔ)的語(yǔ)義角色,從而確定核心主語(yǔ)和謂語(yǔ)的位置,標(biāo)注過(guò)程如圖3。

    圖3 語(yǔ)義角色標(biāo)注的處理示例Fig.3 Example of semantic role labeling

    在根據(jù)語(yǔ)義角色判斷語(yǔ)句中的核心主語(yǔ)和謂詞之后,需要讓模型學(xué)習(xí)到更多的位置信息,從而提高準(zhǔn)確率。假設(shè)語(yǔ)義角色在特定距離上的影響遵循隱層維度上的高斯分布,基于此假設(shè)定義影響的基礎(chǔ)矩陣K,其每一列表示與特定距離對(duì)應(yīng)的影響基礎(chǔ)矢量。K的數(shù)學(xué)定義見(jiàn)式(7)。

    K(i,u)~N[Kernel(u),σ] 。

    (7)

    式(7)中,K(i,u)代表第i維度中語(yǔ)義角色距離為u時(shí)相應(yīng)的影響。并且N是符合Kernel(u)值的期望值和標(biāo)準(zhǔn)差σ的正態(tài)分布。Kernel(u)是高斯核函數(shù),用它來(lái)模擬基于位置感知的影響傳播,其數(shù)學(xué)定義見(jiàn)式(8)。

    (8)

    根據(jù)語(yǔ)義角色的位置關(guān)系,可以計(jì)算每個(gè)語(yǔ)義角色的影響矩陣,通過(guò)計(jì)算的積累,最后獲得每個(gè)特定位置下語(yǔ)義角色的影響向量,見(jiàn)式(9)。

    Srj=KCj。

    (9)

    式(9)中,Srj代表語(yǔ)義角色在位置j處的累計(jì)影響向量,Cj表示一個(gè)距離的計(jì)數(shù)向量,來(lái)測(cè)量屬于各種核心語(yǔ)義角色的數(shù)量。將Cj展開(kāi),其標(biāo)準(zhǔn)的計(jì)算方法見(jiàn)式(10)。

    (10)

    式(10)中,w代表句子中的一個(gè)詞,S為詞語(yǔ)序列,即一個(gè)句子。pos(w)表示w在核心語(yǔ)義角色中出現(xiàn)的位置集合。符號(hào)[]為判斷符,如果條件滿(mǎn)足則為1,否則為0。

    最后將得到的影響向量,與BLSTM的隱層向量結(jié)合?;谖恢酶兄恼Z(yǔ)義角色注意力機(jī)制在BLSTM的執(zhí)行和傳播過(guò)程如圖1右側(cè)模型。

    2.3 基于位置感知的領(lǐng)域詞語(yǔ)義注意力機(jī)制建立

    本研究的實(shí)體關(guān)系抽取領(lǐng)域?yàn)槭称份浨轭I(lǐng)域,為了將食品輿情領(lǐng)域的語(yǔ)言特點(diǎn)融入網(wǎng)絡(luò)中,引入了領(lǐng)域詞機(jī)制。依據(jù)食品輿情領(lǐng)域的專(zhuān)業(yè)詞匯,構(gòu)建食品輿情領(lǐng)域詞詞庫(kù),依據(jù)詞語(yǔ)是否匹配到領(lǐng)域詞詞庫(kù)的原則,篩選詞語(yǔ),確定領(lǐng)域詞匯。

    對(duì)于詞語(yǔ)的匹配計(jì)算見(jiàn)式(11)。

    (11)

    式(11)中,F(xiàn)ield(w)表示w在語(yǔ)句中領(lǐng)域詞匹配的位置集合。符號(hào)[]是判斷功能,如果條件滿(mǎn)足則為1,否則為0。

    對(duì)于位置的影響力傳播,與2.3中基本相同,結(jié)合式(4)、式(5)得出基于位置感知的領(lǐng)域詞影響向量公式[式(12)]。

    Fwj=KWj。

    (12)

    模型最后將得到的影響向量與CNN卷積層得出的最終向量結(jié)合?;谖恢酶兄念I(lǐng)域詞語(yǔ)義注意力機(jī)制在CNN的執(zhí)行過(guò)程為圖1左側(cè)。

    3 結(jié)果與分析

    3.1 實(shí)驗(yàn)參數(shù)的設(shè)置

    本研究在詞嵌入層使用的是100維的Glove詞向量;BLSTM和CNN的網(wǎng)絡(luò)輸出向量的維度為128維;位置影響傳播的距離μ設(shè)置為8。另外,選取了交叉熵作為深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)函數(shù),同時(shí)使用Adam算法作為網(wǎng)絡(luò)的優(yōu)化器,進(jìn)行網(wǎng)絡(luò)參數(shù)的更新。表2是對(duì)比模型中所需的參數(shù)設(shè)置。

    表2 網(wǎng)絡(luò)模型參數(shù)Tab.2 Parameters of network model

    3.2 關(guān)系抽取實(shí)驗(yàn)結(jié)果

    對(duì)比模型整體分為2類(lèi):一類(lèi)是無(wú)注意力機(jī)制的常規(guī)CNN和BLSTM神經(jīng)網(wǎng)絡(luò),一類(lèi)是引用注意力機(jī)制的CNN和BLSTM單神經(jīng)網(wǎng)絡(luò)。不同模型分別在獨(dú)立構(gòu)建的FO-Data數(shù)據(jù)集上進(jìn)行訓(xùn)練及預(yù)測(cè)實(shí)驗(yàn),表3是關(guān)系抽取結(jié)果。

    表3 不同模型的關(guān)系抽取結(jié)果Tab.3 Experimental results of relationship extraction of different models

    表3的實(shí)驗(yàn)結(jié)果顯示:在食品輿情語(yǔ)料中,常規(guī)的CNN模型的準(zhǔn)確率表現(xiàn)良好,但是在召回率上表現(xiàn)不佳,因此本研究在CNN的基礎(chǔ)上,對(duì)CNN模型引入了注意力機(jī)制,其召回率有了明顯的提升。對(duì)于句子整體的語(yǔ)義而言,CNN模型對(duì)比BLSTM模型的學(xué)習(xí)機(jī)制依然有所欠缺,這在第3個(gè)對(duì)比模型中得到了進(jìn)一步的驗(yàn)證。同時(shí),本文發(fā)現(xiàn)BLSTM整體上要比CNN具有更好的性能表現(xiàn)。值得注意的是,雙網(wǎng)絡(luò)模型均有著較好的準(zhǔn)確率和召回率,因?yàn)锽LSTM不僅能在上下文中根據(jù)語(yǔ)義角色有效地處理位置權(quán)重的分配,而且在CNN領(lǐng)域詞上,進(jìn)一步優(yōu)化了網(wǎng)絡(luò)整體的注意力權(quán)值計(jì)算。對(duì)于實(shí)體關(guān)系抽取而言,CNN-BLSTM網(wǎng)絡(luò)模型針對(duì)句子結(jié)構(gòu)上有著較好的反饋,同時(shí)又不拋棄垂直領(lǐng)域詞匯帶來(lái)的更多有用的信息。

    3.3 實(shí)體抽取實(shí)驗(yàn)結(jié)果

    關(guān)系抽取需要在驗(yàn)證集和測(cè)試集上觀(guān)測(cè)模型的表現(xiàn)優(yōu)劣,表4展示了不同模型在FO-Data數(shù)據(jù)集上的實(shí)驗(yàn)指標(biāo)數(shù)據(jù)。為了證明模型的有效性,加入了Zhou等[11]提出的基于注意力機(jī)制的BLSTM模型和殷纖慧等[16]提出的改進(jìn)的CNN模型。實(shí)驗(yàn)結(jié)果表明:本研究提出的模型在各評(píng)價(jià)指數(shù)方面均有較大的提升。

    表4 不同模型的實(shí)體抽取結(jié)果Tab.4 Experimental results of entity extraction of different models

    Zhou等[11]利用BLSTM模型進(jìn)行實(shí)體關(guān)系抽取,但未對(duì)句子中詞語(yǔ)的語(yǔ)義角色關(guān)系的信息加以利用,而本研究引入的基于位置的語(yǔ)義角色關(guān)系注意力機(jī)制,充分利用了實(shí)體和非實(shí)體詞語(yǔ)的語(yǔ)義角色,從而能夠進(jìn)一步提升模型效果。

    本研究提出的CNN-BLSTM模型和兩大注意力機(jī)制,提高了CNN對(duì)于特殊領(lǐng)域詞的識(shí)別能力和BLSTM快速捕捉上下文的實(shí)體聯(lián)系的能力,使得模型能夠在食品輿情領(lǐng)域中比單獨(dú)的CNN和BLSTM模型有著更加優(yōu)秀的準(zhǔn)確率和召回率。

    3.4 實(shí)驗(yàn)參數(shù)分析

    3.4.1損失函數(shù)下降趨勢(shì)分析

    BLSTM是實(shí)體關(guān)系抽取領(lǐng)域常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)模型,因此,本研究對(duì)比了BLSTM網(wǎng)絡(luò)模型和CNN-BLSTM模型的損失函數(shù)下降趨勢(shì),如圖4。

    圖4 損失函數(shù)下降趨勢(shì)分析Fig.4 Downtrend analysis of loss function

    根據(jù)圖4的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),CNN-BLSTM模型在訓(xùn)練的前期與BLSTM模型表現(xiàn)相似,但隨著模型訓(xùn)練次數(shù)的迭代,CNN-BLSTM模型的表現(xiàn)逐漸更優(yōu),而且學(xué)習(xí)能力和迭代速度仍然保持較高的表現(xiàn)。因?yàn)槟P统浞纸Y(jié)合了食品領(lǐng)域的特殊詞匯信息及其語(yǔ)義角色關(guān)系,使得模型能夠快速提取出更多有價(jià)值的句子信息,所以模型整體的收斂速度更快,而且能夠進(jìn)一步提升針對(duì)具有復(fù)雜句意或者多重句子結(jié)構(gòu)的語(yǔ)句的表現(xiàn)。

    3.4.2詞嵌入維度分析

    由于CNN-BLSTM模型的前部分引入了詞嵌入,所以詞嵌入的向量維度會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生一定的影響,為了展示這種影響關(guān)系,研究構(gòu)建了不同詞向量維度對(duì)模型F1值的影響,如圖5。

    圖5 不同詞向量維度下的實(shí)驗(yàn)結(jié)果分析Fig.5 Experimental comparison of word vectors in different dimensions

    實(shí)驗(yàn)結(jié)果表明,詞向量在300維附近,模型的整體表現(xiàn)更優(yōu),因而本模型使用的詞嵌入向量維度為300維。

    4 結(jié) 論

    本研究提出了一種基于CNN-BLSTM的食品輿情實(shí)體關(guān)系抽取模型。該模型在文本向量化的基礎(chǔ)上,通過(guò)語(yǔ)義角色標(biāo)注抽取輿情語(yǔ)句的主謂語(yǔ)語(yǔ)義,運(yùn)用上下文語(yǔ)義角色的位置感知來(lái)更新詞語(yǔ)權(quán)重,構(gòu)建基于位置感知的語(yǔ)義角色注意力機(jī)制;依據(jù)食品輿情領(lǐng)域詞詞庫(kù),運(yùn)用領(lǐng)域詞的位置感知來(lái)更新詞語(yǔ)權(quán)重,構(gòu)建基于位置感知的領(lǐng)域詞注意力機(jī)制,實(shí)現(xiàn)了食品輿情實(shí)體對(duì)多關(guān)系抽取。對(duì)比實(shí)驗(yàn)結(jié)果表明,該模型比以往常用的深度神經(jīng)網(wǎng)絡(luò)模型性能更優(yōu)。

    猜你喜歡
    語(yǔ)義模型
    一半模型
    重要模型『一線(xiàn)三等角』
    重尾非線(xiàn)性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    語(yǔ)言與語(yǔ)義
    3D打印中的模型分割與打包
    “上”與“下”語(yǔ)義的不對(duì)稱(chēng)性及其認(rèn)知闡釋
    FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
    認(rèn)知范疇模糊與語(yǔ)義模糊
    “深+N季”組配的認(rèn)知語(yǔ)義分析
    語(yǔ)義分析與漢俄副名組合
    天堂av国产一区二区熟女人妻| 久99久视频精品免费| 欧美xxxx黑人xx丫x性爽| 久久韩国三级中文字幕| 男女之事视频高清在线观看| 久久久久久久午夜电影| 嫩草影院精品99| 国产精品精品国产色婷婷| 搡老妇女老女人老熟妇| 免费人成视频x8x8入口观看| 精品无人区乱码1区二区| 日韩大尺度精品在线看网址| 日韩欧美 国产精品| 精品乱码久久久久久99久播| 国产亚洲精品久久久com| 亚洲图色成人| 欧美区成人在线视频| 色噜噜av男人的天堂激情| 国产精品女同一区二区软件| 国产日本99.免费观看| 日韩一区二区视频免费看| 久久精品91蜜桃| 日韩制服骚丝袜av| 日韩高清综合在线| 日韩欧美国产在线观看| 波野结衣二区三区在线| 丰满人妻一区二区三区视频av| av视频在线观看入口| 成人性生交大片免费视频hd| 日日摸夜夜添夜夜添小说| 精品熟女少妇av免费看| 床上黄色一级片| 日本一二三区视频观看| 日韩大尺度精品在线看网址| 天天躁夜夜躁狠狠久久av| 欧美精品国产亚洲| 亚洲欧美中文字幕日韩二区| 免费观看精品视频网站| 日韩av不卡免费在线播放| 国产国拍精品亚洲av在线观看| 禁无遮挡网站| 国内精品久久久久精免费| 中文亚洲av片在线观看爽| www日本黄色视频网| 校园人妻丝袜中文字幕| 一级av片app| 精品一区二区三区人妻视频| 高清午夜精品一区二区三区 | 国产激情偷乱视频一区二区| 亚洲中文日韩欧美视频| 搡老熟女国产l中国老女人| 伦理电影大哥的女人| 在线观看免费视频日本深夜| 亚洲欧美精品自产自拍| 男人舔奶头视频| 欧美日韩精品成人综合77777| 99热只有精品国产| 黄色视频,在线免费观看| 欧美成人一区二区免费高清观看| 能在线免费观看的黄片| 中文资源天堂在线| 国产不卡一卡二| 卡戴珊不雅视频在线播放| 老司机福利观看| 欧美不卡视频在线免费观看| 精品国产三级普通话版| 禁无遮挡网站| 亚洲成av人片在线播放无| 日本五十路高清| 美女xxoo啪啪120秒动态图| 国产日本99.免费观看| 国产精品不卡视频一区二区| 美女大奶头视频| 亚洲欧美日韩卡通动漫| 男女那种视频在线观看| 三级国产精品欧美在线观看| av在线天堂中文字幕| 久久久国产成人精品二区| 人妻制服诱惑在线中文字幕| 日韩欧美一区二区三区在线观看| 1024手机看黄色片| 亚洲丝袜综合中文字幕| 亚洲欧美日韩无卡精品| 欧美成人一区二区免费高清观看| 免费一级毛片在线播放高清视频| 欧美日韩在线观看h| 校园人妻丝袜中文字幕| 国产 一区 欧美 日韩| 寂寞人妻少妇视频99o| 国产精品一区二区三区四区久久| 久久久久性生活片| 少妇高潮的动态图| 国产亚洲91精品色在线| 久久99热6这里只有精品| 日日摸夜夜添夜夜添小说| 久久欧美精品欧美久久欧美| 女人十人毛片免费观看3o分钟| 成年av动漫网址| 亚洲av二区三区四区| 亚洲av.av天堂| 久久久久国内视频| 成年女人毛片免费观看观看9| 日韩成人伦理影院| 97碰自拍视频| 成年女人永久免费观看视频| 亚洲欧美精品综合久久99| 色综合色国产| 亚洲av成人av| 秋霞在线观看毛片| 老熟妇乱子伦视频在线观看| 国产国拍精品亚洲av在线观看| 三级毛片av免费| 亚洲成av人片在线播放无| 美女大奶头视频| 国产成人a∨麻豆精品| 国产乱人偷精品视频| 永久网站在线| 超碰av人人做人人爽久久| 免费看av在线观看网站| 女同久久另类99精品国产91| 国产一区二区亚洲精品在线观看| 午夜福利成人在线免费观看| 亚洲欧美精品自产自拍| 国产男人的电影天堂91| 亚洲aⅴ乱码一区二区在线播放| 高清毛片免费观看视频网站| 九九爱精品视频在线观看| a级一级毛片免费在线观看| 国产熟女欧美一区二区| 亚洲自拍偷在线| 久久精品国产清高在天天线| 欧美性感艳星| 中国美女看黄片| 又爽又黄无遮挡网站| 久久久久久久亚洲中文字幕| 成人高潮视频无遮挡免费网站| 久久久久久九九精品二区国产| 久久久久久伊人网av| 69人妻影院| 美女 人体艺术 gogo| 黄色欧美视频在线观看| 高清午夜精品一区二区三区 | 日日撸夜夜添| 丝袜美腿在线中文| 极品教师在线视频| 午夜视频国产福利| eeuss影院久久| 日韩高清综合在线| 亚洲性久久影院| 国产精品av视频在线免费观看| 美女cb高潮喷水在线观看| 啦啦啦韩国在线观看视频| 国产男靠女视频免费网站| а√天堂www在线а√下载| 国产乱人偷精品视频| 一进一出抽搐gif免费好疼| 综合色丁香网| 国产成人a区在线观看| 天天躁夜夜躁狠狠久久av| 嫩草影院新地址| 久久久久精品国产欧美久久久| 老熟妇仑乱视频hdxx| 天美传媒精品一区二区| 99久久成人亚洲精品观看| 国产女主播在线喷水免费视频网站 | 精品一区二区三区视频在线| 国产精品国产高清国产av| 一进一出好大好爽视频| 美女高潮的动态| 一级黄色大片毛片| 久久综合国产亚洲精品| 精品一区二区三区av网在线观看| 91av网一区二区| 成人无遮挡网站| 天堂av国产一区二区熟女人妻| 国产一级毛片七仙女欲春2| 一级a爱片免费观看的视频| 国产精品一及| 亚洲国产日韩欧美精品在线观看| 白带黄色成豆腐渣| 色噜噜av男人的天堂激情| 插阴视频在线观看视频| 一级毛片aaaaaa免费看小| 亚洲精品在线观看二区| 日韩欧美免费精品| 乱系列少妇在线播放| 成人欧美大片| 2021天堂中文幕一二区在线观| 有码 亚洲区| 日本爱情动作片www.在线观看 | 真人做人爱边吃奶动态| 国产老妇女一区| 18禁黄网站禁片免费观看直播| 激情 狠狠 欧美| 99在线视频只有这里精品首页| 中文在线观看免费www的网站| 亚洲av五月六月丁香网| 亚洲国产精品sss在线观看| 欧美性感艳星| 色视频www国产| 中国美白少妇内射xxxbb| 精品人妻偷拍中文字幕| 长腿黑丝高跟| 麻豆成人午夜福利视频| a级一级毛片免费在线观看| 1000部很黄的大片| 嫩草影院新地址| 男女那种视频在线观看| 久久亚洲精品不卡| 成年免费大片在线观看| 老熟妇仑乱视频hdxx| 亚洲国产精品成人综合色| 联通29元200g的流量卡| 日日撸夜夜添| 99热这里只有精品一区| 亚洲精品在线观看二区| 99久国产av精品国产电影| 日韩国内少妇激情av| 深夜精品福利| 亚洲美女搞黄在线观看 | 又爽又黄无遮挡网站| 国产一级毛片七仙女欲春2| av在线播放精品| 精品国内亚洲2022精品成人| 久久久成人免费电影| 少妇人妻精品综合一区二区 | 老熟妇仑乱视频hdxx| 一个人观看的视频www高清免费观看| 国产探花在线观看一区二区| 国产精品免费一区二区三区在线| 成人亚洲精品av一区二区| 22中文网久久字幕| 禁无遮挡网站| 亚洲成人av在线免费| 国产精品爽爽va在线观看网站| 国产av一区在线观看免费| 2021天堂中文幕一二区在线观| 免费观看的影片在线观看| 国产伦在线观看视频一区| 国产亚洲91精品色在线| 久久人妻av系列| 精华霜和精华液先用哪个| 在现免费观看毛片| 成人亚洲欧美一区二区av| 亚洲最大成人av| 国产在视频线在精品| av在线观看视频网站免费| 国产亚洲av嫩草精品影院| 久久久久国产精品人妻aⅴ院| 女生性感内裤真人,穿戴方法视频| 欧美极品一区二区三区四区| 蜜臀久久99精品久久宅男| 毛片女人毛片| 看十八女毛片水多多多| 综合色丁香网| 亚洲人成网站在线观看播放| 精品久久久久久久久av| 十八禁国产超污无遮挡网站| 一区福利在线观看| 性欧美人与动物交配| av在线蜜桃| 美女内射精品一级片tv| 大香蕉久久网| 观看美女的网站| 可以在线观看毛片的网站| 国产蜜桃级精品一区二区三区| aaaaa片日本免费| 成人特级黄色片久久久久久久| 中国国产av一级| 国产成人a区在线观看| 成人国产麻豆网| 秋霞在线观看毛片| 国产高潮美女av| 精品久久久久久久末码| 欧美不卡视频在线免费观看| 亚洲七黄色美女视频| 欧美高清成人免费视频www| 国产高清视频在线观看网站| 国产精品一区二区免费欧美| 久久中文看片网| 亚洲av电影不卡..在线观看| 欧美日本亚洲视频在线播放| aaaaa片日本免费| 悠悠久久av| 日韩高清综合在线| 一级黄色大片毛片| 国产精品久久视频播放| 国语自产精品视频在线第100页| 国产欧美日韩精品亚洲av| 成年av动漫网址| 无遮挡黄片免费观看| 国产麻豆成人av免费视频| 插逼视频在线观看| 欧美成人一区二区免费高清观看| 亚洲专区国产一区二区| 男女之事视频高清在线观看| 国产精品99久久久久久久久| 欧美一区二区国产精品久久精品| 国产精品电影一区二区三区| АⅤ资源中文在线天堂| 精品久久久久久久久久免费视频| 亚州av有码| 亚洲图色成人| 国产蜜桃级精品一区二区三区| 国产精品久久久久久久久免| 无遮挡黄片免费观看| 一级黄片播放器| 老熟妇仑乱视频hdxx| 亚洲最大成人手机在线| 国产成人精品久久久久久| 亚洲精品久久国产高清桃花| 欧美日韩综合久久久久久| 色播亚洲综合网| 国产精品不卡视频一区二区| 乱人视频在线观看| 91狼人影院| 色综合站精品国产| 真人做人爱边吃奶动态| 亚洲无线在线观看| 国产在线男女| 亚洲无线在线观看| 18+在线观看网站| 长腿黑丝高跟| av专区在线播放| 亚州av有码| 一本精品99久久精品77| 在线免费观看的www视频| 亚洲国产精品国产精品| 日韩制服骚丝袜av| av黄色大香蕉| 久久中文看片网| 精品久久久久久久久久久久久| 看非洲黑人一级黄片| 国产黄色视频一区二区在线观看 | 中文字幕熟女人妻在线| 国产精品久久视频播放| 精品国内亚洲2022精品成人| 在线观看免费视频日本深夜| 免费看美女性在线毛片视频| 亚洲图色成人| 天天躁夜夜躁狠狠久久av| 深爱激情五月婷婷| 韩国av在线不卡| 三级男女做爰猛烈吃奶摸视频| 哪里可以看免费的av片| 国产日本99.免费观看| 不卡视频在线观看欧美| 亚洲av.av天堂| 国产中年淑女户外野战色| 大香蕉久久网| 亚洲综合色惰| 国产欧美日韩一区二区精品| 欧美激情国产日韩精品一区| av免费在线看不卡| 久久99热6这里只有精品| 高清午夜精品一区二区三区 | 亚洲精品国产成人久久av| 内地一区二区视频在线| 97碰自拍视频| 欧美成人一区二区免费高清观看| 成人亚洲欧美一区二区av| 中国美女看黄片| 在线a可以看的网站| 成人无遮挡网站| 国产老妇女一区| 日韩欧美精品免费久久| 午夜福利在线观看免费完整高清在 | 日本一二三区视频观看| av在线蜜桃| 久久久国产成人免费| 成人av一区二区三区在线看| 少妇人妻精品综合一区二区 | 国产精品av视频在线免费观看| 九九爱精品视频在线观看| 久久这里只有精品中国| 国产 一区 欧美 日韩| 久久久久久久久久黄片| 联通29元200g的流量卡| or卡值多少钱| 国产午夜精品论理片| 国产精品女同一区二区软件| 又黄又爽又免费观看的视频| av卡一久久| av福利片在线观看| 亚洲最大成人手机在线| 国产爱豆传媒在线观看| 99热这里只有是精品在线观看| 波多野结衣高清无吗| 少妇人妻精品综合一区二区 | 99久久精品热视频| 久久人妻av系列| 深夜精品福利| 国产伦精品一区二区三区四那| 97在线视频观看| 欧美高清成人免费视频www| 中国国产av一级| 伦精品一区二区三区| 俄罗斯特黄特色一大片| 欧美激情国产日韩精品一区| 一个人观看的视频www高清免费观看| 人人妻人人澡人人爽人人夜夜 | 亚洲欧美日韩东京热| av视频在线观看入口| 老熟妇乱子伦视频在线观看| 亚洲精品国产av成人精品 | 成年免费大片在线观看| 欧美日本亚洲视频在线播放| 人妻久久中文字幕网| 男女下面进入的视频免费午夜| 精品久久久久久成人av| 我的女老师完整版在线观看| 99热精品在线国产| 俄罗斯特黄特色一大片| 成年版毛片免费区| 午夜福利视频1000在线观看| 天天躁夜夜躁狠狠久久av| 久久人人爽人人片av| 久久人人精品亚洲av| 久久精品国产99精品国产亚洲性色| av国产免费在线观看| 日本三级黄在线观看| 久久久久久伊人网av| 亚洲在线自拍视频| 精品久久国产蜜桃| 亚洲性久久影院| 亚洲aⅴ乱码一区二区在线播放| 亚洲经典国产精华液单| 性色avwww在线观看| 亚洲欧美日韩东京热| 噜噜噜噜噜久久久久久91| 搞女人的毛片| 久久6这里有精品| 亚洲中文日韩欧美视频| 久久久久久久午夜电影| 精品少妇黑人巨大在线播放 | 久久精品综合一区二区三区| 欧美+日韩+精品| 69人妻影院| 免费无遮挡裸体视频| 成人无遮挡网站| 1000部很黄的大片| 欧美色欧美亚洲另类二区| 97人妻精品一区二区三区麻豆| 欧美成人免费av一区二区三区| 国产不卡一卡二| 99久久成人亚洲精品观看| 国产成年人精品一区二区| 成人一区二区视频在线观看| 美女xxoo啪啪120秒动态图| 精品少妇黑人巨大在线播放 | av在线天堂中文字幕| 人妻制服诱惑在线中文字幕| 最近手机中文字幕大全| 91午夜精品亚洲一区二区三区| 国产精品伦人一区二区| 日韩欧美一区二区三区在线观看| 亚洲在线自拍视频| 黑人高潮一二区| 99久久精品一区二区三区| 亚洲av一区综合| 少妇高潮的动态图| 亚洲精品国产av成人精品 | 人妻少妇偷人精品九色| 亚洲精品在线观看二区| 精品日产1卡2卡| 色综合亚洲欧美另类图片| 亚洲人成网站高清观看| a级毛片免费高清观看在线播放| 国产精品不卡视频一区二区| 男女视频在线观看网站免费| 成年女人看的毛片在线观看| 一进一出抽搐动态| 亚洲成人中文字幕在线播放| 国产精品一区二区免费欧美| 黄色视频,在线免费观看| 亚洲色图av天堂| 亚洲欧美清纯卡通| 男女啪啪激烈高潮av片| 啦啦啦啦在线视频资源| 久久久久久伊人网av| 免费一级毛片在线播放高清视频| 91在线精品国自产拍蜜月| 99视频精品全部免费 在线| av女优亚洲男人天堂| 村上凉子中文字幕在线| 国产久久久一区二区三区| 国产av不卡久久| 欧美激情国产日韩精品一区| 性色avwww在线观看| 亚洲激情五月婷婷啪啪| 久久精品国产99精品国产亚洲性色| 亚洲综合色惰| 在线国产一区二区在线| 成人午夜高清在线视频| 亚洲国产高清在线一区二区三| 非洲黑人性xxxx精品又粗又长| 18禁黄网站禁片免费观看直播| 国产又黄又爽又无遮挡在线| 狂野欧美激情性xxxx在线观看| 看十八女毛片水多多多| 在线免费十八禁| 18禁黄网站禁片免费观看直播| 国产综合懂色| 欧美性感艳星| 九九在线视频观看精品| 美女 人体艺术 gogo| 少妇丰满av| 淫妇啪啪啪对白视频| 亚洲成人久久性| 美女内射精品一级片tv| 亚洲av五月六月丁香网| 欧美一区二区亚洲| 亚洲中文日韩欧美视频| 一级毛片电影观看 | 久久久久久伊人网av| 中文字幕人妻熟人妻熟丝袜美| 日韩欧美一区二区三区在线观看| 国产av一区在线观看免费| 久久精品国产清高在天天线| 最近最新中文字幕大全电影3| 国产精品免费一区二区三区在线| 国产综合懂色| 亚洲自偷自拍三级| 国产成人a区在线观看| 长腿黑丝高跟| 人妻丰满熟妇av一区二区三区| 久久精品影院6| 看片在线看免费视频| 国产一区二区激情短视频| 波多野结衣巨乳人妻| av在线天堂中文字幕| 欧美激情国产日韩精品一区| 狠狠狠狠99中文字幕| 亚洲精品一卡2卡三卡4卡5卡| 性色avwww在线观看| av天堂在线播放| 久久久久精品国产欧美久久久| 露出奶头的视频| av福利片在线观看| 国产日本99.免费观看| 久久婷婷人人爽人人干人人爱| 99热精品在线国产| 搡老妇女老女人老熟妇| av在线蜜桃| 校园春色视频在线观看| 国产一区二区激情短视频| 网址你懂的国产日韩在线| 日韩 亚洲 欧美在线| 最新中文字幕久久久久| 精品久久久久久久人妻蜜臀av| 嫩草影院入口| 日产精品乱码卡一卡2卡三| 日韩欧美国产在线观看| 欧美性猛交╳xxx乱大交人| 国产熟女欧美一区二区| 亚洲一区高清亚洲精品| 欧美bdsm另类| 在线播放国产精品三级| av.在线天堂| 久久久久久大精品| 日韩成人伦理影院| 欧美在线一区亚洲| 色5月婷婷丁香| 综合色av麻豆| 国产精品乱码一区二三区的特点| 岛国在线免费视频观看| 少妇高潮的动态图| 91久久精品国产一区二区三区| 中文字幕av在线有码专区| 国产精品精品国产色婷婷| 欧美+日韩+精品| 女人十人毛片免费观看3o分钟| 在线a可以看的网站| 国产亚洲精品久久久com| 成年女人看的毛片在线观看| 国产麻豆成人av免费视频| 一区二区三区高清视频在线| 欧美xxxx性猛交bbbb| 国产三级在线视频| 欧美激情在线99| 国语自产精品视频在线第100页| 欧美zozozo另类| 高清午夜精品一区二区三区 | 国产精品久久久久久av不卡| 国产伦一二天堂av在线观看| 欧美在线一区亚洲| 国产午夜福利久久久久久| av女优亚洲男人天堂| 亚洲激情五月婷婷啪啪| 国产精品一二三区在线看| 婷婷色综合大香蕉| 精品午夜福利视频在线观看一区| 黄片wwwwww| 亚洲第一电影网av| 五月伊人婷婷丁香| 老师上课跳d突然被开到最大视频| 国产精品国产三级国产av玫瑰| av在线老鸭窝| 久久精品国产亚洲av香蕉五月| 亚洲在线观看片| 久久综合国产亚洲精品| 天天一区二区日本电影三级| 亚洲高清免费不卡视频| 日本黄色视频三级网站网址| 久久亚洲精品不卡| 18禁在线无遮挡免费观看视频 | 丰满乱子伦码专区| 亚洲国产日韩欧美精品在线观看| 深夜精品福利| 人人妻人人看人人澡| 综合色丁香网| 亚洲电影在线观看av| 欧美色欧美亚洲另类二区| 国产高清激情床上av| 国产探花在线观看一区二区|