• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于序列到序列模型的文本到信息框生成的研究

    2019-07-01 02:35:55鮑軍威周明趙鐵軍
    關(guān)鍵詞:注意力機(jī)制

    鮑軍威 周明 趙鐵軍

    摘 要:本文展示了一種序列到序列的模型(Seq2Seq)來(lái)基于文本生成信息框(Infobox),信息框指的是一組“屬性-值”對(duì)。該模型以端到端的方式工作,可利用一個(gè)編碼器將一個(gè)文本段落表示成一個(gè)隱向量序列,然后通過解碼器來(lái)生成信息框。本文在WIKIBIO數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。研究提出的序列到序列模型取得了58.2的F1值,該結(jié)果比流水線式的基準(zhǔn)方法顯著提升了21.0個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明,本模型具有以生成序列的方式來(lái)生成“屬性-值”對(duì)的能力。引入注意力與拷貝機(jī)制可以提升模型的準(zhǔn)確率。更重要的是,研究觀察到該拷貝機(jī)制有能力從輸入文本中拷貝稀有詞來(lái)生成目標(biāo)端信息框中的“值”。

    關(guān)鍵詞: 文本到信息框生成;序列到序列模型;注意力機(jī)制;拷貝機(jī)制

    文章編號(hào):2095-2163(2019)03-0001-06? ? 中圖分類號(hào):TP393.01? ? 文獻(xiàn)標(biāo)志碼:A

    0?引?言

    信息框(Infobox)是一種結(jié)構(gòu)化的知識(shí)(https://en.wikipedia.org/wiki/Infobox),其中包含一組關(guān)于相應(yīng)文章主題的“屬性-值”對(duì)。信息框可以應(yīng)用在很多需要推理與推斷的場(chǎng)景中,例如基于知識(shí)圖譜的自動(dòng)問答和語(yǔ)義解析等[1-4]。然而,基于文本通過人工來(lái)構(gòu)建信息框?qū)?huì)耗費(fèi)大量的資源和成本。而且,更新已經(jīng)構(gòu)建好的信息框也需付出大量時(shí)間。因此,自動(dòng)地從文本中抽取信息框受到學(xué)界越來(lái)越多的關(guān)注與重視[5-7]。傳統(tǒng)的信息框抽取方法通常包含一個(gè)復(fù)雜的流程,并主要依賴于專家知識(shí)和特征工程。同時(shí),這些系統(tǒng)卻常會(huì)遭受錯(cuò)誤傳導(dǎo)的問題。為此,探索端到端的方法來(lái)自動(dòng)學(xué)習(xí)生成信息框是十分必要的。

    最近,序列到序列(Seq2Seq)的模型在很多任務(wù)中得到了成功運(yùn)用,例如機(jī)器翻譯[8-9],文本摘要[10]等。本文提出一種新的方法將Seq2Seq模型擴(kuò)展到文本到信息框的生成任務(wù)上。總地來(lái)說,該模型將輸入文本通過編碼器表征成一組實(shí)值向量,而后通過解碼器基于這些實(shí)值向量來(lái)生成信息框。在本文中,研究將一組“屬性-值”對(duì)轉(zhuǎn)化成序列,由此使得Seq2Seq模型能夠以序列的形式來(lái)生成信息框。注意力機(jī)制被用于計(jì)算各種各樣的自然語(yǔ)言表達(dá)與“屬性”的相似度。同時(shí),研究中還采用拷貝機(jī)制從源文本中拷貝稀有詞來(lái)生成信息框中的“值”。

    本次研究在包含了728 321個(gè)“人物傳記-信息框”對(duì)的WikiBio數(shù)據(jù)集[11]上進(jìn)行了實(shí)驗(yàn)。Seq2Seq模型取得了58.2的平均F1值,該結(jié)果比流水線式的方法顯著提升了21.0個(gè)百分點(diǎn)。經(jīng)由大量的實(shí)驗(yàn)證明可知,Seq2Seq模型有能力以生成序列的方式來(lái)生成信息框。注意力與拷貝機(jī)制的引入最終將大幅提升模型的準(zhǔn)確率。而在研究后卻又發(fā)現(xiàn)拷貝機(jī)制有能力從輸入文本拷貝稀有詞來(lái)生成信息框中的“值”。尤需一提的是,模型分析表明Seq2Seq模型在高頻屬性上的表現(xiàn)會(huì)更好。錯(cuò)誤分析則表明Seq2Seq模型在那些需要邏輯推理的“屬性”與“值”的生成方面具有一定局限。

    1?任務(wù)與數(shù)據(jù)集

    1.1?任務(wù)

    1.2?數(shù)據(jù)集

    WikiBio[11]是來(lái)自于Wikipedia的一組包含“人物傳記-信息框”對(duì)的數(shù)據(jù)集。人物傳記是對(duì)應(yīng)的Wikipedia文章的第一段,同時(shí)該段落往往包含了多個(gè)句子。WikiBio包含了728 321個(gè)實(shí)例,且被劃分為3個(gè)部分,包括582 659條訓(xùn)練數(shù)據(jù)、72 831條開發(fā)數(shù)據(jù)、以及72 831條測(cè)試數(shù)據(jù)。在本文中,研究使用該數(shù)據(jù)集來(lái)基于人物傳記生成信息框。在本文的設(shè)定中,如果一個(gè)“屬性-值”對(duì)的“值”中沒有一個(gè)詞出現(xiàn)在輸入文本中,那么研究將會(huì)過濾掉這個(gè)“屬性-值”對(duì)。如果一個(gè)“值”中包含超過5個(gè)詞,那么相應(yīng)的“屬性-值”對(duì)也會(huì)被移除。最終,本文獲得了WikiBio的一個(gè)子集,集合中包含了580 069個(gè)實(shí)例作為訓(xùn)練數(shù)據(jù),72 502個(gè)實(shí)例作為開發(fā)集數(shù)據(jù),72 517個(gè)實(shí)例作為測(cè)試數(shù)據(jù)。在此基礎(chǔ)上,研究得出的過濾后的訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)信息見表1。

    2?方法

    在本節(jié)中,研究展示一個(gè)整合了注意力機(jī)制與拷貝機(jī)制的Seq2Seq模型來(lái)進(jìn)行文本到信息框的生成。繼而給出了本方法進(jìn)行文本到信息框生成的設(shè)計(jì)展示如圖1所示。對(duì)此可做探討分述如下。

    2.1?編碼器

    2.2?解碼器

    2.3?注意力機(jī)制

    這里,在分析基礎(chǔ)上將觀察到輸入端的不同的詞對(duì)生成特定的“屬性-值”對(duì)的貢獻(xiàn)是不同的。因此,解碼器在生成每個(gè)詞時(shí)就能夠有選擇性地使用輸入文本中不同的信息。綜合以上論述,本次研究就采用注意力機(jī)制[13],在解碼的每個(gè)時(shí)刻對(duì)輸入文本中的每個(gè)詞都賦予一個(gè)概率/權(quán)重值,該機(jī)制已成功地應(yīng)用在許多任務(wù)中,諸如機(jī)器翻譯[14]和閱讀理解[15]。解碼第t時(shí)刻的詞時(shí),對(duì)于輸入文本中第i個(gè)詞的注意力權(quán)重可定義為:

    2.4?拷貝機(jī)制

    3?實(shí)驗(yàn)

    3.1?實(shí)驗(yàn)設(shè)置

    3.1.1?數(shù)據(jù)集

    文中在2.2節(jié)描述的過濾后的WikiBio數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。在本次研究的實(shí)驗(yàn)設(shè)置中,一個(gè)“屬性”可當(dāng)作是一個(gè)單獨(dú)的詞。如此一來(lái),文中僅使用開發(fā)集中的前1 000個(gè)數(shù)據(jù)進(jìn)行開發(fā)。

    3.1.2?評(píng)測(cè)指標(biāo)

    研究中采用準(zhǔn)確率(P)、召回率(R)、以及F1值并基于金標(biāo)準(zhǔn)的一組“屬性-值”對(duì)來(lái)推得評(píng)價(jià)預(yù)測(cè)的一組“屬性-值”對(duì)。最終在整個(gè)測(cè)試數(shù)據(jù)集上的P,R,F(xiàn)1值是所有實(shí)例上相應(yīng)得分的平均值。

    3.1.3?基準(zhǔn)線方法

    受已有研究[5]的啟發(fā),設(shè)計(jì)實(shí)現(xiàn)了一個(gè)流水線式的方法作為基準(zhǔn)方法。該方法包括了一組分類器和一組抽取器。每個(gè)“屬性”對(duì)應(yīng)到一個(gè)分類器,該分類器用來(lái)確定一段文本是否可以生成該“屬性”。每個(gè)抽取器將用來(lái)為某個(gè)“屬性”進(jìn)行相應(yīng)“值”的抽取。被抽取出來(lái)的值,例如時(shí)間,都進(jìn)行了正則化。這些分類器是基于Classias(http://www.chokkan.org/software/classias/usage.html.en)工具中的采用L2正則化的L1損失函數(shù)的SVM模型實(shí)現(xiàn)的。抽取器采用CRF++(https://taku910.github.io/crfpp)模型。研究中,通過使用詞匯化的特征,而非諸如詞性(part of speech, POS)等句法特征,來(lái)訓(xùn)練抽取器。這樣做的目的是使其與Seq2Seq模型運(yùn)用相同的信息以增加可比性。S2S是一個(gè)基于GRU-RNN結(jié)構(gòu)的不帶有注意力機(jī)制與拷貝機(jī)制的Seq2Seq模型。研究同時(shí)也實(shí)現(xiàn)了Seq2Seq模型的其它變種。這里,將在實(shí)驗(yàn)結(jié)果部分對(duì)這些模型變種做出闡釋論述如下。

    3.2?實(shí)驗(yàn)結(jié)果

    生成“屬性-值”對(duì)的實(shí)驗(yàn)結(jié)果見表2。表2中,atn表示注意力機(jī)制,copy表示拷貝機(jī)制,A表示屬性,V表示值。實(shí)驗(yàn)結(jié)果表明2個(gè)帶有注意力與拷貝機(jī)制的S2S模型要明顯好于基于流水線的方法(從37.2到58.2,從37.2到55.8)。引入了注意力機(jī)制可以帶來(lái)17.6個(gè)點(diǎn)的提升(從22.5到40.1)??截悪C(jī)制使得模型的結(jié)果提升了18.1個(gè)百分點(diǎn)(從40.1到58.2)。更重要的是,將“值”加入到目標(biāo)詞表并且使用拷貝開關(guān)來(lái)權(quán)衡可以帶來(lái)2.4個(gè)點(diǎn)的提升(從55.8到58.2)。

    研究得到的分別在“屬性”與“值”上單獨(dú)評(píng)估的結(jié)果見表3。表3中,Attributes表示研究只對(duì)生成的“屬性”進(jìn)行評(píng)測(cè),values表示只對(duì)生成的值進(jìn)行評(píng)測(cè),這些值對(duì)應(yīng)的屬性都是預(yù)測(cè)正確的。atn表示注意力機(jī)制,copy表示拷貝機(jī)制,A表示屬性,V表示值。除了基本的S2S模型外,其它帶有注意力機(jī)制或者拷貝機(jī)制的模型在“屬性”與“值”上的結(jié)果都要好于基于流水線的方法。經(jīng)過分析可知,注意力機(jī)制在“屬性”與“值”的生成上都帶來(lái)提升,分別是從69.9到73.3以及從30.9到52.7。實(shí)驗(yàn)結(jié)果表明注意力機(jī)制對(duì)提升模型的準(zhǔn)確率是很有幫助的??截悪C(jī)制在“屬性”生成上帶來(lái)的提升比較有限(從73.3到74.2),在“值”的生成上帶來(lái)的提升比較顯著(從52.7到76.4)。這是由于“屬性”與“值”不同,而且常常不會(huì)出現(xiàn)在文本表述中。通過觀測(cè)數(shù)據(jù),研究發(fā)現(xiàn)不帶有拷貝機(jī)制的Seq2Seq模型只能生成特殊符號(hào)UNK來(lái)表示OOV的詞,而帶有拷貝機(jī)制的模型可以從文本中拷貝內(nèi)容來(lái)生成稀有詞。此外,目標(biāo)詞表中只包含“屬性”的S2S+atn模型在“屬性”生成上取得了最好的結(jié)果。

    3.3?實(shí)驗(yàn)分析

    3.3.1?模型分析

    研究進(jìn)行實(shí)驗(yàn)來(lái)探索“屬性”的頻率對(duì)信息框生成的影響。相應(yīng)地,研究基于訓(xùn)練數(shù)據(jù)集上“屬性”的頻率將測(cè)試數(shù)據(jù)集分成7份。圖2給出了每個(gè)部分的運(yùn)行結(jié)果。圖2中,橫坐標(biāo)表示“屬性”的不同頻率范圍。該結(jié)果表明“屬性”的頻率越高,模型取得的結(jié)果越好。

    3.3.2?錯(cuò)誤分析

    錯(cuò)誤分析的結(jié)果即如圖3所示。為了分析“屬性”生成中產(chǎn)生的錯(cuò)誤,研究隨機(jī)選取了100個(gè)實(shí)例,其中每個(gè)實(shí)例有至少一個(gè)預(yù)測(cè)錯(cuò)誤的“屬性”。由此則發(fā)現(xiàn)54%的實(shí)例的錯(cuò)誤是可以接受的,包括A2類(不恰當(dāng)?shù)慕饦?biāo)準(zhǔn)“屬性”)、A3(不充足的金標(biāo)準(zhǔn)“屬性”)、A5(預(yù)測(cè)了同義的“屬性”)?!皩傩浴鄙傻闹饕e(cuò)誤是A1(需要邏輯推理)、A4(預(yù)測(cè)錯(cuò)的“屬性”的頻率太低)、A6(其它類型)。此外,隨機(jī)選取其它100個(gè)實(shí)例,而且每個(gè)實(shí)例中都存在某個(gè)“屬性”預(yù)測(cè)正確而“值”預(yù)測(cè)錯(cuò)誤的“屬性-值”對(duì)。這些實(shí)例中46%是可以接受的,包括V1(預(yù)測(cè)了同義的“值”)、V3(錯(cuò)誤標(biāo)注了的金標(biāo)準(zhǔn)的“值”)。主要的錯(cuò)誤包括V2(預(yù)測(cè)了相似的值)、V4(需要邏輯推理)、V5(預(yù)測(cè)部分“值”)、V6(其它)。

    4?相關(guān)工作

    本工作主要涉及2條研究主線,對(duì)此可做探討分述如下。

    4.1?Wikipedia上文本到結(jié)構(gòu)化知識(shí)的預(yù)測(cè)

    已有的一些知名的產(chǎn)品都是通過流水線式的方式、并基于Wikipedia進(jìn)行信息抽取而得到的,例如DBpedia[16]、YAGO[17]、YAGO2[18]、KYLIN[5]、IBminer[6]、iPopulator[19]、以及WOE[20]。Nguyen等人[21]提出使用句法信息與語(yǔ)義信息,就可從Wikipedia中抽取關(guān)系。Zhang等人[7]使用連接命名實(shí)體(重定向)來(lái)將一篇文章總結(jié)成信息框。在本文中,研究采用序列到序列(Seq2Seq)的神經(jīng)網(wǎng)絡(luò)模型來(lái)端到端地進(jìn)行文本到信息框的生成。

    4.2?序列到序列(Seq2Seq)的學(xué)習(xí)

    Seq2Seq模型在很多任務(wù)上均可見到效果可觀的應(yīng)用嘗試,例如機(jī)器翻譯、對(duì)話回復(fù)生成和文本摘要[10,12,22-23]。在本文中,設(shè)計(jì)展示了一個(gè)Seq2Seq模型來(lái)進(jìn)行文本到信息框的生成。文中的Seq2Seq模型采用了帶有注意力機(jī)制與拷貝機(jī)制的“編碼器-解碼器”框架。不同的注意力機(jī)制[13-14, 24]也相繼推出,用于將輸入序列與輸出序列進(jìn)行對(duì)齊。受到這些工作的啟發(fā),本文研究采用一種注意力機(jī)制來(lái)連接自然語(yǔ)言與信息框。拷貝機(jī)制的提出受益于近期的關(guān)于指向網(wǎng)絡(luò)(pointing network)與拷貝(copying)方法[10,25-29]的成功。

    5?結(jié)束語(yǔ)

    本文提出了一個(gè)序列到序列(Seq2Seq)的模型來(lái)進(jìn)行文本到信息框的生成。實(shí)驗(yàn)結(jié)果表明Seq2Seq模型有能力以生成序列的方式來(lái)生成一個(gè)結(jié)構(gòu)化的信息框。研究觀察到引入了注意力與拷貝機(jī)制可以提升模型的準(zhǔn)確率,同時(shí)拷貝機(jī)制有能力從原文本中拷貝稀有詞來(lái)生成目標(biāo)信息框中的“值”。

    參考文獻(xiàn)

    [1] ????MOONEY R J. Learning for semantic parsing[C]?//Computational Linguistics and Intelligent Text Processing(CICLing). Mexico City:dblp,2007:311-324.

    [2] ?BERANT J, CHOU A, FROSTIG R,et al. Semantic parsing on freebase from question-answer pairs[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle,Washington, USA:Association for Computational Linguistics,2013:1533-1544.

    [3] YIH W T, CHANG Mingwei, HE Xiaodong,et al. Semantic parsing via staged query graph generation: Question answering with knowledge base[C]?// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Beijing, China:Association for Computational Linguistics, 2015:1321-1331.

    [4] BORDES A, USUNIER N, CHOPRA S, et al. Large-scale simple question answering with memory networks[J]. arXiv preprint arXiv:1506.02075,2015 .

    [5] WU Fei, WELD D S. Autonomously semantifying wikipedia[C]?//Proceedings of the sixteenth ACM conference on ?Information and Knowledge Management.New York, ?USA: ACM, 2007:41-50.

    [6] MOUSAVI H, GAO Shi,ZANIOLO C. Ibminer: A text mining tool for constructing and populating infobox databases and knowledge bases[J]. Proceedings of the VLDB Endowment, 2013,6(12):1330-1333.

    [7] ZHANG Kezun, XIAO Yanghua, TONG Hanghang, et al. The links have it: Infobox generation by summarization over linked entities[J]. arXiv preprint arXiv:1406.6449,2014.

    [8] KALCHBRENNER N, BLUNSOM P. Recurrent continuous translation models[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing.Seattle:ACL, 2013:1700-1709.

    [9] SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks [C]// Advances in Neural Information Processing Systems. Montreal, Canada: Nips,2014:3104-3112.

    [10]NALLAPATI R, ZHOU Bowen, SANTOS C, et al. Abstractive text summarization using sequence-to-sequence RNNs and beyond[J]. arXiv preprint arXiv:1602.06023,2016.

    [11]LEBRET R, GRANGIER D, AULI M. Neural text generation from structured data with application to the biography domain[C]?// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin, Texas: Association for Computational Linguistics, 2016:1203-1213.

    [12]CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]?//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar:Association for Computational Linguistics, 2014:1724-1734.

    [13]BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473,2014 .

    [14]LUONG M H, PHAM H, Manning C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025,2015.

    [15]KADLEC R,SCHMID M, BAJGAR O, et al. Text understanding with the attention sum reader network[J]. arXiv preprint arXiv:1603.01547,2016.

    [16]AUER S, LEHMANN J. What have Innsbruck and leipzig in common? Extracting semantics from wiki content[C]// The Semantic Web: Research and Applications. Innsbruck Austria:Springer,2007:503-517.

    [17]SUCHANEK F M ,KASNECI G, WEIKUM G . Yago: A core of semantic knowledge[C]// Proceedings of the 16th International Conference on World Wide Web. Banff, Alberta, Canada:dblp,2007: 697-706.

    [18]HOFFART J, SUCHANEK F M, BERBERICH K, et al. Yago2: A spatially and temporally enhanced knowledge base from wikipedia[J]. Artificial Intelligence ,2013,194:28-61.

    [19]LANGE D, BHM C, NAUMANN F. Extracting structured information from wikipedia articles to populate infoboxes[C]?//Proceedings of the 19th ACM International Conference on Information and Knowledge Management.Toronto,Ontario,Canada: ACM, 2010:1661-1664.

    [20]WU Fei, WELD D S. Open information extraction using wikipedia[C]?// Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. ?Uppsala,Sweden:ACL, 2010:118-127.

    [21]NGUYEN D P T, MATSUO Y, ISHIZUKA M. Exploiting syntactic and semantic information for relation extraction from wikipedia[C]//Proceedings of the IJCAI Workshop on Text-Mining Link-Analysis Text Link 2007. Hyderabad, India: [s.n.]?,2007:1414-1420.

    [22]AULI M, GALLEYT M, QUIRK C, et al. Joint language and translation modeling with recurrent neural networks[C]// Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA:ACL,2013:1044-1054.

    [23]SORDONI A, GALLEY M, AULI M,et al.A neural network approach to context-sensitive generation of conversational responses[C]// Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. ?Denver, Colorado:ACL, 2015: 196-205.

    [24]FENG Shi, LIU Shujie,YANG Nan, et al. ?Improving attention modeling with implicit distortion and fertility for machine translation[C]//Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. Osaka, Japan: ACL Press, 2016: 3082-3092.

    [25]VINYALS O, FORTUNATO M, JAITLY N. Pointer networks[J]. Advances in Neural Information Processing Systems, 2015:2692-2700.

    [26]GULCEHREC, AHN S, NALLAPATI R, et al. Pointing the unknown words[J].arXiv preprint arXiv:1603.08148,2016.

    [27]GU Jiatao, LU Zhengdong, LI Hang, et al. Incorporating copying mechanism in sequence-to-sequence learning[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Berlin, Germany:Association for Computational Linguistics, 2016:1631-1640.

    [28]YIN Jun, JIANG Xin, LU Zhengdong,et al. Neural generative question answering[J]. arXiv preprint arXiv:1512.01337,2015.

    [29]LUONG M T, SUTSKEVER I, LE Q V, et al. Addressing the rare word problem in neural machine translation[C]?// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Beijing, China: Association for Computational Linguistics, ?2015: 11-19.

    猜你喜歡
    注意力機(jī)制
    基于注意力機(jī)制的改進(jìn)CLSM檢索式匹配問答方法
    基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型
    基于注意力機(jī)制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
    多特征融合的中文實(shí)體關(guān)系抽取研究
    基于深度學(xué)習(xí)的手分割算法研究
    從餐館評(píng)論中提取方面術(shù)語(yǔ)
    面向短文本的網(wǎng)絡(luò)輿情話題
    基于自注意力與動(dòng)態(tài)路由的文本建模方法
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    久久鲁丝午夜福利片| 免费看日本二区| 老司机影院成人| 国内精品宾馆在线| 男插女下体视频免费在线播放| 日韩欧美精品免费久久| videossex国产| 精品久久久久久久末码| 18禁在线无遮挡免费观看视频| 亚洲国产最新在线播放| 国产真实乱freesex| 99热这里只有是精品在线观看| 免费观看精品视频网站| 麻豆久久精品国产亚洲av| 色吧在线观看| 午夜福利在线观看吧| 午夜福利成人在线免费观看| 伊人久久精品亚洲午夜| 欧美bdsm另类| 18禁在线无遮挡免费观看视频| 亚洲熟妇中文字幕五十中出| 亚洲国产最新在线播放| 成人美女网站在线观看视频| 一区二区三区高清视频在线| 91久久精品国产一区二区三区| 2021少妇久久久久久久久久久| 嘟嘟电影网在线观看| 日韩在线高清观看一区二区三区| 亚洲自拍偷在线| 噜噜噜噜噜久久久久久91| 好男人在线观看高清免费视频| 午夜久久久久精精品| 人人妻人人澡人人爽人人夜夜 | 日韩,欧美,国产一区二区三区 | 久久精品国产亚洲av天美| 国产伦一二天堂av在线观看| 日本午夜av视频| 亚州av有码| 免费电影在线观看免费观看| 亚洲国产精品成人久久小说| 色视频www国产| 亚洲在线自拍视频| 国产精品嫩草影院av在线观看| 国产中年淑女户外野战色| 国产精品久久电影中文字幕| 国产伦精品一区二区三区四那| 午夜福利成人在线免费观看| 国产精品永久免费网站| 国产大屁股一区二区在线视频| 国产精品不卡视频一区二区| 国产又色又爽无遮挡免| 麻豆一二三区av精品| 亚洲三级黄色毛片| 波多野结衣巨乳人妻| 国产精品.久久久| 亚洲欧美精品自产自拍| 国内揄拍国产精品人妻在线| 日本爱情动作片www.在线观看| 久久久色成人| 国产精品国产三级国产专区5o | 国产熟女欧美一区二区| 亚洲自拍偷在线| 色吧在线观看| 国产精品爽爽va在线观看网站| av卡一久久| 成人性生交大片免费视频hd| 干丝袜人妻中文字幕| av在线亚洲专区| 国产精品福利在线免费观看| 免费搜索国产男女视频| 国产亚洲av片在线观看秒播厂 | 又粗又爽又猛毛片免费看| 色综合站精品国产| 99久国产av精品| www.av在线官网国产| 深夜a级毛片| 国产黄片视频在线免费观看| 高清在线视频一区二区三区 | 99国产精品一区二区蜜桃av| 丝袜喷水一区| 精品人妻偷拍中文字幕| 午夜亚洲福利在线播放| 嘟嘟电影网在线观看| 国产精品国产高清国产av| 亚洲欧洲国产日韩| 欧美色视频一区免费| 99热精品在线国产| 91aial.com中文字幕在线观看| 一级毛片久久久久久久久女| 国产久久久一区二区三区| 网址你懂的国产日韩在线| 久久久成人免费电影| 亚洲va在线va天堂va国产| 午夜久久久久精精品| 亚洲中文字幕一区二区三区有码在线看| 亚洲国产欧美在线一区| 国产成人aa在线观看| 少妇的逼水好多| 人人妻人人澡欧美一区二区| 一区二区三区四区激情视频| 国产色爽女视频免费观看| 亚洲欧美精品自产自拍| 深爱激情五月婷婷| 99久久成人亚洲精品观看| 美女脱内裤让男人舔精品视频| 国产私拍福利视频在线观看| 韩国av在线不卡| 国产午夜精品论理片| 亚洲精品日韩av片在线观看| 一本久久精品| 国产午夜精品一二区理论片| 成人三级黄色视频| 男女视频在线观看网站免费| 99热这里只有是精品50| 精品一区二区三区人妻视频| 青青草视频在线视频观看| 极品教师在线视频| 国内精品美女久久久久久| 国产成人福利小说| 啦啦啦啦在线视频资源| 国产精品1区2区在线观看.| 亚洲一级一片aⅴ在线观看| 亚洲国产精品成人久久小说| 亚洲国产精品合色在线| 亚洲精品色激情综合| 亚洲最大成人手机在线| 国产精品99久久久久久久久| www.色视频.com| 日本欧美国产在线视频| 亚洲,欧美,日韩| 久久精品久久久久久噜噜老黄 | 神马国产精品三级电影在线观看| 69人妻影院| 色尼玛亚洲综合影院| 国产一级毛片七仙女欲春2| 亚洲美女视频黄频| 综合色丁香网| 精品午夜福利在线看| 国产高清视频在线观看网站| 亚洲av免费高清在线观看| 午夜激情福利司机影院| 99久久精品一区二区三区| 亚洲av日韩在线播放| 亚洲精品色激情综合| 日日摸夜夜添夜夜爱| 韩国高清视频一区二区三区| 天堂影院成人在线观看| 亚洲经典国产精华液单| 国产av码专区亚洲av| 人人妻人人澡欧美一区二区| 黑人高潮一二区| 亚洲最大成人av| 欧美色视频一区免费| 国产av一区在线观看免费| 国产伦一二天堂av在线观看| 22中文网久久字幕| 高清日韩中文字幕在线| 日日干狠狠操夜夜爽| 51国产日韩欧美| 国产日韩欧美在线精品| 伦理电影大哥的女人| 日韩av不卡免费在线播放| 国产精品人妻久久久影院| 日韩欧美精品免费久久| 亚洲丝袜综合中文字幕| 午夜a级毛片| 美女cb高潮喷水在线观看| 国产又色又爽无遮挡免| 亚洲精品乱久久久久久| 免费看av在线观看网站| 天堂中文最新版在线下载 | 尾随美女入室| 免费电影在线观看免费观看| 欧美丝袜亚洲另类| 夫妻性生交免费视频一级片| 成人漫画全彩无遮挡| 亚洲国产成人一精品久久久| 日本免费在线观看一区| 综合色丁香网| 国产欧美日韩精品一区二区| av免费观看日本| 午夜福利视频1000在线观看| 天天一区二区日本电影三级| 变态另类丝袜制服| 亚洲精品乱码久久久v下载方式| 日本黄大片高清| av在线天堂中文字幕| 内地一区二区视频在线| 国产乱人视频| 日韩欧美精品免费久久| 欧美高清成人免费视频www| 精品国产三级普通话版| 热99re8久久精品国产| 黄色一级大片看看| 国产亚洲最大av| 成年av动漫网址| 午夜福利网站1000一区二区三区| 精品免费久久久久久久清纯| 天堂网av新在线| 黄片无遮挡物在线观看| 亚洲国产色片| 夫妻性生交免费视频一级片| 深爱激情五月婷婷| 欧美一级a爱片免费观看看| 深夜a级毛片| 午夜精品在线福利| 白带黄色成豆腐渣| 嫩草影院精品99| 国产乱人偷精品视频| 日韩人妻高清精品专区| 一区二区三区免费毛片| 不卡视频在线观看欧美| 一级毛片电影观看 | 国产精品无大码| 国产精华一区二区三区| 欧美不卡视频在线免费观看| 激情 狠狠 欧美| av黄色大香蕉| 日本色播在线视频| 国产精品美女特级片免费视频播放器| 国产白丝娇喘喷水9色精品| 国产一区二区在线av高清观看| 中文字幕制服av| 我的老师免费观看完整版| 久久精品久久精品一区二区三区| 波多野结衣巨乳人妻| 欧美日韩精品成人综合77777| www.色视频.com| 两性午夜刺激爽爽歪歪视频在线观看| 夜夜看夜夜爽夜夜摸| 国产伦精品一区二区三区视频9| 能在线免费看毛片的网站| 高清毛片免费看| 少妇的逼水好多| 亚洲av日韩在线播放| 美女黄网站色视频| 最近手机中文字幕大全| 乱码一卡2卡4卡精品| 国产熟女欧美一区二区| av免费在线看不卡| 丰满少妇做爰视频| 真实男女啪啪啪动态图| 欧美区成人在线视频| 高清日韩中文字幕在线| 日韩欧美精品免费久久| 乱码一卡2卡4卡精品| 国产精品久久久久久久电影| 国产精品一区二区三区四区久久| 亚洲国产精品久久男人天堂| 国产精品无大码| 欧美色视频一区免费| 亚洲色图av天堂| 国产亚洲最大av| 观看免费一级毛片| 久久久久精品久久久久真实原创| 色视频www国产| av在线蜜桃| 99久久无色码亚洲精品果冻| 久久精品国产亚洲av涩爱| 亚洲18禁久久av| 午夜精品国产一区二区电影 | 超碰97精品在线观看| 三级国产精品欧美在线观看| 插阴视频在线观看视频| 国产免费男女视频| 国产精品精品国产色婷婷| 久久久a久久爽久久v久久| 亚洲国产精品sss在线观看| 99久久精品国产国产毛片| 不卡视频在线观看欧美| 欧美一区二区亚洲| 亚洲精华国产精华液的使用体验| 国产一区二区在线av高清观看| 国产乱人偷精品视频| 国产真实伦视频高清在线观看| 国产片特级美女逼逼视频| 色综合色国产| 天美传媒精品一区二区| 美女被艹到高潮喷水动态| 亚洲美女视频黄频| 秋霞在线观看毛片| ponron亚洲| 亚洲欧美清纯卡通| 国产高清不卡午夜福利| 毛片一级片免费看久久久久| 搞女人的毛片| 久久久久久大精品| 欧美变态另类bdsm刘玥| 高清av免费在线| 99久久成人亚洲精品观看| 美女大奶头视频| 18+在线观看网站| 97人妻精品一区二区三区麻豆| 午夜免费激情av| 国产精品99久久久久久久久| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 搡女人真爽免费视频火全软件| 日日摸夜夜添夜夜爱| 亚洲在线自拍视频| 日本午夜av视频| 午夜精品在线福利| 黄色一级大片看看| 男女下面进入的视频免费午夜| 水蜜桃什么品种好| 岛国毛片在线播放| 天堂√8在线中文| 欧美丝袜亚洲另类| 国产黄片美女视频| 亚洲内射少妇av| 成人鲁丝片一二三区免费| 伦理电影大哥的女人| 国产成人免费观看mmmm| 午夜爱爱视频在线播放| 熟妇人妻久久中文字幕3abv| 国产精品久久久久久精品电影| 1024手机看黄色片| 国产伦一二天堂av在线观看| 菩萨蛮人人尽说江南好唐韦庄 | 国产伦精品一区二区三区四那| 久久国产乱子免费精品| 18禁在线无遮挡免费观看视频| 国产探花在线观看一区二区| av播播在线观看一区| 午夜福利在线观看吧| 可以在线观看毛片的网站| 亚洲精品日韩av片在线观看| 丰满少妇做爰视频| 日韩欧美在线乱码| 久久99精品国语久久久| 91精品伊人久久大香线蕉| 男人狂女人下面高潮的视频| 麻豆成人av视频| 色综合亚洲欧美另类图片| 插阴视频在线观看视频| 亚洲人成网站在线观看播放| 久久精品久久久久久噜噜老黄 | 九九在线视频观看精品| 91久久精品国产一区二区三区| 精品久久久久久成人av| av在线蜜桃| av视频在线观看入口| 成人综合一区亚洲| 精品人妻视频免费看| 国产在视频线精品| 色5月婷婷丁香| 国产私拍福利视频在线观看| 秋霞在线观看毛片| 三级经典国产精品| 69人妻影院| 中文资源天堂在线| 我要搜黄色片| 国内精品一区二区在线观看| 69人妻影院| 日韩国内少妇激情av| 少妇裸体淫交视频免费看高清| 日韩成人伦理影院| 免费观看人在逋| 国产伦一二天堂av在线观看| 九九热线精品视视频播放| 国产淫语在线视频| 日本猛色少妇xxxxx猛交久久| 啦啦啦观看免费观看视频高清| 国产精品人妻久久久影院| 久久久久久久亚洲中文字幕| 亚洲18禁久久av| 成人美女网站在线观看视频| 国产一区二区在线av高清观看| 成人欧美大片| 亚洲欧洲日产国产| 18+在线观看网站| 国产高清国产精品国产三级 | 亚洲av电影在线观看一区二区三区 | 热99在线观看视频| 亚洲美女搞黄在线观看| 亚洲av男天堂| 久久久精品大字幕| 国产一区二区亚洲精品在线观看| 欧美潮喷喷水| 久久久久久久午夜电影| kizo精华| 超碰av人人做人人爽久久| 麻豆成人av视频| 日本免费a在线| 欧美+日韩+精品| 精品免费久久久久久久清纯| 网址你懂的国产日韩在线| 性插视频无遮挡在线免费观看| 亚洲经典国产精华液单| 亚洲欧美清纯卡通| 身体一侧抽搐| 免费黄色在线免费观看| av播播在线观看一区| 久久久国产成人精品二区| 哪个播放器可以免费观看大片| 男人狂女人下面高潮的视频| 精品国产三级普通话版| 国产 一区 欧美 日韩| 免费不卡的大黄色大毛片视频在线观看 | 国产亚洲精品久久久com| 国产极品精品免费视频能看的| 最近手机中文字幕大全| 91久久精品电影网| 久久精品国产亚洲网站| 亚洲精品自拍成人| 亚洲综合精品二区| 99热6这里只有精品| 国产淫片久久久久久久久| 中文字幕制服av| 国产成人精品久久久久久| av在线天堂中文字幕| 亚洲国产精品久久男人天堂| 国产精品综合久久久久久久免费| 精品人妻熟女av久视频| 久久99蜜桃精品久久| 女人被狂操c到高潮| 黄片wwwwww| 别揉我奶头 嗯啊视频| 亚洲伊人久久精品综合 | 国产白丝娇喘喷水9色精品| videossex国产| 国产av码专区亚洲av| 禁无遮挡网站| 大话2 男鬼变身卡| 亚洲欧美日韩高清专用| 亚洲精品久久久久久婷婷小说 | 亚洲中文字幕一区二区三区有码在线看| 欧美色视频一区免费| 又粗又爽又猛毛片免费看| 成年免费大片在线观看| 久久精品国产自在天天线| 精品久久久久久成人av| 九九久久精品国产亚洲av麻豆| 亚洲精品乱码久久久v下载方式| 亚洲国产精品专区欧美| 成人综合一区亚洲| 高清av免费在线| 亚洲人成网站在线观看播放| 综合色av麻豆| 日本熟妇午夜| 亚洲精品国产av成人精品| 1000部很黄的大片| 国产美女午夜福利| 欧美日韩在线观看h| 蜜桃久久精品国产亚洲av| 最近最新中文字幕免费大全7| 99热精品在线国产| 青春草亚洲视频在线观看| 天天一区二区日本电影三级| 国语对白做爰xxxⅹ性视频网站| 国产午夜福利久久久久久| 水蜜桃什么品种好| 成人三级黄色视频| 国产亚洲av片在线观看秒播厂 | 在线免费观看的www视频| av在线老鸭窝| 久久精品夜夜夜夜夜久久蜜豆| 亚洲天堂国产精品一区在线| 精品久久国产蜜桃| 欧美人与善性xxx| 男女视频在线观看网站免费| 永久网站在线| 亚洲五月天丁香| 欧美三级亚洲精品| 欧美一区二区亚洲| 久久鲁丝午夜福利片| av卡一久久| 夜夜看夜夜爽夜夜摸| 亚洲四区av| 久久欧美精品欧美久久欧美| 女的被弄到高潮叫床怎么办| 亚洲一级一片aⅴ在线观看| 啦啦啦韩国在线观看视频| 五月玫瑰六月丁香| 国产精品人妻久久久久久| 久久6这里有精品| 亚洲国产高清在线一区二区三| 三级毛片av免费| 精品久久久久久久久亚洲| 国产大屁股一区二区在线视频| 成年女人永久免费观看视频| 久久鲁丝午夜福利片| 亚洲综合精品二区| 日日啪夜夜撸| 亚洲美女搞黄在线观看| 九色成人免费人妻av| 中国美白少妇内射xxxbb| 欧美成人a在线观看| 1000部很黄的大片| 91精品国产九色| 免费电影在线观看免费观看| 97超碰精品成人国产| 亚洲欧美日韩卡通动漫| 精品一区二区三区人妻视频| 欧美3d第一页| av免费在线看不卡| 亚洲精华国产精华液的使用体验| 天天躁日日操中文字幕| 亚洲精品aⅴ在线观看| 欧美丝袜亚洲另类| 亚洲av成人精品一二三区| 九九爱精品视频在线观看| 日韩中字成人| 欧美极品一区二区三区四区| 亚洲成人中文字幕在线播放| 国产亚洲一区二区精品| 国产av在哪里看| 能在线免费观看的黄片| 1000部很黄的大片| 简卡轻食公司| 日韩中字成人| 国产成人精品一,二区| 欧美性感艳星| 高清午夜精品一区二区三区| 久久99热6这里只有精品| 日韩制服骚丝袜av| 国产伦精品一区二区三区四那| 女人十人毛片免费观看3o分钟| 日本黄大片高清| 又爽又黄无遮挡网站| 99久久中文字幕三级久久日本| 麻豆一二三区av精品| 免费搜索国产男女视频| 日本免费一区二区三区高清不卡| 午夜精品国产一区二区电影 | av福利片在线观看| 免费黄色在线免费观看| 精品久久久久久电影网 | av在线播放精品| 国产白丝娇喘喷水9色精品| 成人av在线播放网站| 少妇被粗大猛烈的视频| 丝袜喷水一区| 视频中文字幕在线观看| 日本黄大片高清| a级毛色黄片| 亚洲美女视频黄频| 国产精品电影一区二区三区| av视频在线观看入口| 亚洲电影在线观看av| 国产精品一二三区在线看| 搡女人真爽免费视频火全软件| 国产成人a区在线观看| 我要看日韩黄色一级片| 波野结衣二区三区在线| 三级毛片av免费| www日本黄色视频网| 中文在线观看免费www的网站| 男女边吃奶边做爰视频| 欧美日韩国产亚洲二区| 日本av手机在线免费观看| 精品国产一区二区三区久久久樱花 | 三级男女做爰猛烈吃奶摸视频| 久久久色成人| 免费看a级黄色片| 久久久久久久久久久丰满| 国产成人福利小说| 成人高潮视频无遮挡免费网站| 亚洲精品国产av成人精品| 亚洲av日韩在线播放| 毛片女人毛片| 超碰97精品在线观看| 99久国产av精品| 国产免费一级a男人的天堂| 免费观看的影片在线观看| 天堂中文最新版在线下载 | 国产精品不卡视频一区二区| 青春草亚洲视频在线观看| 小蜜桃在线观看免费完整版高清| 欧美一区二区国产精品久久精品| 小蜜桃在线观看免费完整版高清| 高清日韩中文字幕在线| 最近最新中文字幕大全电影3| 国产欧美另类精品又又久久亚洲欧美| 亚洲人成网站高清观看| 亚洲熟妇中文字幕五十中出| 国产淫语在线视频| 听说在线观看完整版免费高清| 少妇熟女aⅴ在线视频| 亚洲婷婷狠狠爱综合网| 亚洲中文字幕一区二区三区有码在线看| 水蜜桃什么品种好| 亚洲成人精品中文字幕电影| 中文字幕亚洲精品专区| 精品久久久久久电影网 | 99在线人妻在线中文字幕| 在线播放无遮挡| 狠狠狠狠99中文字幕| 国产老妇女一区| 久久久国产成人免费| av播播在线观看一区| 亚洲图色成人| 亚洲熟妇中文字幕五十中出| 日韩在线高清观看一区二区三区| 成人午夜高清在线视频| 中文亚洲av片在线观看爽| 最近2019中文字幕mv第一页| 亚洲欧美日韩无卡精品| 久久久久久久久久久丰满| 变态另类丝袜制服| 国产免费男女视频| 一级毛片我不卡| 又粗又爽又猛毛片免费看| 特大巨黑吊av在线直播| 亚洲一级一片aⅴ在线观看| 看片在线看免费视频| 视频中文字幕在线观看| 在线a可以看的网站| 国产片特级美女逼逼视频| 国产三级中文精品| 婷婷色av中文字幕| 99久久精品热视频| 亚洲在线自拍视频| 嫩草影院精品99| 网址你懂的国产日韩在线| 一本一本综合久久|