• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于序列到序列模型的文本到信息框生成的研究

    2019-07-01 02:35:55鮑軍威周明趙鐵軍
    關(guān)鍵詞:注意力機(jī)制

    鮑軍威 周明 趙鐵軍

    摘 要:本文展示了一種序列到序列的模型(Seq2Seq)來(lái)基于文本生成信息框(Infobox),信息框指的是一組“屬性-值”對(duì)。該模型以端到端的方式工作,可利用一個(gè)編碼器將一個(gè)文本段落表示成一個(gè)隱向量序列,然后通過解碼器來(lái)生成信息框。本文在WIKIBIO數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。研究提出的序列到序列模型取得了58.2的F1值,該結(jié)果比流水線式的基準(zhǔn)方法顯著提升了21.0個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明,本模型具有以生成序列的方式來(lái)生成“屬性-值”對(duì)的能力。引入注意力與拷貝機(jī)制可以提升模型的準(zhǔn)確率。更重要的是,研究觀察到該拷貝機(jī)制有能力從輸入文本中拷貝稀有詞來(lái)生成目標(biāo)端信息框中的“值”。

    關(guān)鍵詞: 文本到信息框生成;序列到序列模型;注意力機(jī)制;拷貝機(jī)制

    文章編號(hào):2095-2163(2019)03-0001-06? ? 中圖分類號(hào):TP393.01? ? 文獻(xiàn)標(biāo)志碼:A

    0?引?言

    信息框(Infobox)是一種結(jié)構(gòu)化的知識(shí)(https://en.wikipedia.org/wiki/Infobox),其中包含一組關(guān)于相應(yīng)文章主題的“屬性-值”對(duì)。信息框可以應(yīng)用在很多需要推理與推斷的場(chǎng)景中,例如基于知識(shí)圖譜的自動(dòng)問答和語(yǔ)義解析等[1-4]。然而,基于文本通過人工來(lái)構(gòu)建信息框?qū)?huì)耗費(fèi)大量的資源和成本。而且,更新已經(jīng)構(gòu)建好的信息框也需付出大量時(shí)間。因此,自動(dòng)地從文本中抽取信息框受到學(xué)界越來(lái)越多的關(guān)注與重視[5-7]。傳統(tǒng)的信息框抽取方法通常包含一個(gè)復(fù)雜的流程,并主要依賴于專家知識(shí)和特征工程。同時(shí),這些系統(tǒng)卻常會(huì)遭受錯(cuò)誤傳導(dǎo)的問題。為此,探索端到端的方法來(lái)自動(dòng)學(xué)習(xí)生成信息框是十分必要的。

    最近,序列到序列(Seq2Seq)的模型在很多任務(wù)中得到了成功運(yùn)用,例如機(jī)器翻譯[8-9],文本摘要[10]等。本文提出一種新的方法將Seq2Seq模型擴(kuò)展到文本到信息框的生成任務(wù)上。總地來(lái)說,該模型將輸入文本通過編碼器表征成一組實(shí)值向量,而后通過解碼器基于這些實(shí)值向量來(lái)生成信息框。在本文中,研究將一組“屬性-值”對(duì)轉(zhuǎn)化成序列,由此使得Seq2Seq模型能夠以序列的形式來(lái)生成信息框。注意力機(jī)制被用于計(jì)算各種各樣的自然語(yǔ)言表達(dá)與“屬性”的相似度。同時(shí),研究中還采用拷貝機(jī)制從源文本中拷貝稀有詞來(lái)生成信息框中的“值”。

    本次研究在包含了728 321個(gè)“人物傳記-信息框”對(duì)的WikiBio數(shù)據(jù)集[11]上進(jìn)行了實(shí)驗(yàn)。Seq2Seq模型取得了58.2的平均F1值,該結(jié)果比流水線式的方法顯著提升了21.0個(gè)百分點(diǎn)。經(jīng)由大量的實(shí)驗(yàn)證明可知,Seq2Seq模型有能力以生成序列的方式來(lái)生成信息框。注意力與拷貝機(jī)制的引入最終將大幅提升模型的準(zhǔn)確率。而在研究后卻又發(fā)現(xiàn)拷貝機(jī)制有能力從輸入文本拷貝稀有詞來(lái)生成信息框中的“值”。尤需一提的是,模型分析表明Seq2Seq模型在高頻屬性上的表現(xiàn)會(huì)更好。錯(cuò)誤分析則表明Seq2Seq模型在那些需要邏輯推理的“屬性”與“值”的生成方面具有一定局限。

    1?任務(wù)與數(shù)據(jù)集

    1.1?任務(wù)

    1.2?數(shù)據(jù)集

    WikiBio[11]是來(lái)自于Wikipedia的一組包含“人物傳記-信息框”對(duì)的數(shù)據(jù)集。人物傳記是對(duì)應(yīng)的Wikipedia文章的第一段,同時(shí)該段落往往包含了多個(gè)句子。WikiBio包含了728 321個(gè)實(shí)例,且被劃分為3個(gè)部分,包括582 659條訓(xùn)練數(shù)據(jù)、72 831條開發(fā)數(shù)據(jù)、以及72 831條測(cè)試數(shù)據(jù)。在本文中,研究使用該數(shù)據(jù)集來(lái)基于人物傳記生成信息框。在本文的設(shè)定中,如果一個(gè)“屬性-值”對(duì)的“值”中沒有一個(gè)詞出現(xiàn)在輸入文本中,那么研究將會(huì)過濾掉這個(gè)“屬性-值”對(duì)。如果一個(gè)“值”中包含超過5個(gè)詞,那么相應(yīng)的“屬性-值”對(duì)也會(huì)被移除。最終,本文獲得了WikiBio的一個(gè)子集,集合中包含了580 069個(gè)實(shí)例作為訓(xùn)練數(shù)據(jù),72 502個(gè)實(shí)例作為開發(fā)集數(shù)據(jù),72 517個(gè)實(shí)例作為測(cè)試數(shù)據(jù)。在此基礎(chǔ)上,研究得出的過濾后的訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)信息見表1。

    2?方法

    在本節(jié)中,研究展示一個(gè)整合了注意力機(jī)制與拷貝機(jī)制的Seq2Seq模型來(lái)進(jìn)行文本到信息框的生成。繼而給出了本方法進(jìn)行文本到信息框生成的設(shè)計(jì)展示如圖1所示。對(duì)此可做探討分述如下。

    2.1?編碼器

    2.2?解碼器

    2.3?注意力機(jī)制

    這里,在分析基礎(chǔ)上將觀察到輸入端的不同的詞對(duì)生成特定的“屬性-值”對(duì)的貢獻(xiàn)是不同的。因此,解碼器在生成每個(gè)詞時(shí)就能夠有選擇性地使用輸入文本中不同的信息。綜合以上論述,本次研究就采用注意力機(jī)制[13],在解碼的每個(gè)時(shí)刻對(duì)輸入文本中的每個(gè)詞都賦予一個(gè)概率/權(quán)重值,該機(jī)制已成功地應(yīng)用在許多任務(wù)中,諸如機(jī)器翻譯[14]和閱讀理解[15]。解碼第t時(shí)刻的詞時(shí),對(duì)于輸入文本中第i個(gè)詞的注意力權(quán)重可定義為:

    2.4?拷貝機(jī)制

    3?實(shí)驗(yàn)

    3.1?實(shí)驗(yàn)設(shè)置

    3.1.1?數(shù)據(jù)集

    文中在2.2節(jié)描述的過濾后的WikiBio數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。在本次研究的實(shí)驗(yàn)設(shè)置中,一個(gè)“屬性”可當(dāng)作是一個(gè)單獨(dú)的詞。如此一來(lái),文中僅使用開發(fā)集中的前1 000個(gè)數(shù)據(jù)進(jìn)行開發(fā)。

    3.1.2?評(píng)測(cè)指標(biāo)

    研究中采用準(zhǔn)確率(P)、召回率(R)、以及F1值并基于金標(biāo)準(zhǔn)的一組“屬性-值”對(duì)來(lái)推得評(píng)價(jià)預(yù)測(cè)的一組“屬性-值”對(duì)。最終在整個(gè)測(cè)試數(shù)據(jù)集上的P,R,F(xiàn)1值是所有實(shí)例上相應(yīng)得分的平均值。

    3.1.3?基準(zhǔn)線方法

    受已有研究[5]的啟發(fā),設(shè)計(jì)實(shí)現(xiàn)了一個(gè)流水線式的方法作為基準(zhǔn)方法。該方法包括了一組分類器和一組抽取器。每個(gè)“屬性”對(duì)應(yīng)到一個(gè)分類器,該分類器用來(lái)確定一段文本是否可以生成該“屬性”。每個(gè)抽取器將用來(lái)為某個(gè)“屬性”進(jìn)行相應(yīng)“值”的抽取。被抽取出來(lái)的值,例如時(shí)間,都進(jìn)行了正則化。這些分類器是基于Classias(http://www.chokkan.org/software/classias/usage.html.en)工具中的采用L2正則化的L1損失函數(shù)的SVM模型實(shí)現(xiàn)的。抽取器采用CRF++(https://taku910.github.io/crfpp)模型。研究中,通過使用詞匯化的特征,而非諸如詞性(part of speech, POS)等句法特征,來(lái)訓(xùn)練抽取器。這樣做的目的是使其與Seq2Seq模型運(yùn)用相同的信息以增加可比性。S2S是一個(gè)基于GRU-RNN結(jié)構(gòu)的不帶有注意力機(jī)制與拷貝機(jī)制的Seq2Seq模型。研究同時(shí)也實(shí)現(xiàn)了Seq2Seq模型的其它變種。這里,將在實(shí)驗(yàn)結(jié)果部分對(duì)這些模型變種做出闡釋論述如下。

    3.2?實(shí)驗(yàn)結(jié)果

    生成“屬性-值”對(duì)的實(shí)驗(yàn)結(jié)果見表2。表2中,atn表示注意力機(jī)制,copy表示拷貝機(jī)制,A表示屬性,V表示值。實(shí)驗(yàn)結(jié)果表明2個(gè)帶有注意力與拷貝機(jī)制的S2S模型要明顯好于基于流水線的方法(從37.2到58.2,從37.2到55.8)。引入了注意力機(jī)制可以帶來(lái)17.6個(gè)點(diǎn)的提升(從22.5到40.1)??截悪C(jī)制使得模型的結(jié)果提升了18.1個(gè)百分點(diǎn)(從40.1到58.2)。更重要的是,將“值”加入到目標(biāo)詞表并且使用拷貝開關(guān)來(lái)權(quán)衡可以帶來(lái)2.4個(gè)點(diǎn)的提升(從55.8到58.2)。

    研究得到的分別在“屬性”與“值”上單獨(dú)評(píng)估的結(jié)果見表3。表3中,Attributes表示研究只對(duì)生成的“屬性”進(jìn)行評(píng)測(cè),values表示只對(duì)生成的值進(jìn)行評(píng)測(cè),這些值對(duì)應(yīng)的屬性都是預(yù)測(cè)正確的。atn表示注意力機(jī)制,copy表示拷貝機(jī)制,A表示屬性,V表示值。除了基本的S2S模型外,其它帶有注意力機(jī)制或者拷貝機(jī)制的模型在“屬性”與“值”上的結(jié)果都要好于基于流水線的方法。經(jīng)過分析可知,注意力機(jī)制在“屬性”與“值”的生成上都帶來(lái)提升,分別是從69.9到73.3以及從30.9到52.7。實(shí)驗(yàn)結(jié)果表明注意力機(jī)制對(duì)提升模型的準(zhǔn)確率是很有幫助的??截悪C(jī)制在“屬性”生成上帶來(lái)的提升比較有限(從73.3到74.2),在“值”的生成上帶來(lái)的提升比較顯著(從52.7到76.4)。這是由于“屬性”與“值”不同,而且常常不會(huì)出現(xiàn)在文本表述中。通過觀測(cè)數(shù)據(jù),研究發(fā)現(xiàn)不帶有拷貝機(jī)制的Seq2Seq模型只能生成特殊符號(hào)UNK來(lái)表示OOV的詞,而帶有拷貝機(jī)制的模型可以從文本中拷貝內(nèi)容來(lái)生成稀有詞。此外,目標(biāo)詞表中只包含“屬性”的S2S+atn模型在“屬性”生成上取得了最好的結(jié)果。

    3.3?實(shí)驗(yàn)分析

    3.3.1?模型分析

    研究進(jìn)行實(shí)驗(yàn)來(lái)探索“屬性”的頻率對(duì)信息框生成的影響。相應(yīng)地,研究基于訓(xùn)練數(shù)據(jù)集上“屬性”的頻率將測(cè)試數(shù)據(jù)集分成7份。圖2給出了每個(gè)部分的運(yùn)行結(jié)果。圖2中,橫坐標(biāo)表示“屬性”的不同頻率范圍。該結(jié)果表明“屬性”的頻率越高,模型取得的結(jié)果越好。

    3.3.2?錯(cuò)誤分析

    錯(cuò)誤分析的結(jié)果即如圖3所示。為了分析“屬性”生成中產(chǎn)生的錯(cuò)誤,研究隨機(jī)選取了100個(gè)實(shí)例,其中每個(gè)實(shí)例有至少一個(gè)預(yù)測(cè)錯(cuò)誤的“屬性”。由此則發(fā)現(xiàn)54%的實(shí)例的錯(cuò)誤是可以接受的,包括A2類(不恰當(dāng)?shù)慕饦?biāo)準(zhǔn)“屬性”)、A3(不充足的金標(biāo)準(zhǔn)“屬性”)、A5(預(yù)測(cè)了同義的“屬性”)?!皩傩浴鄙傻闹饕e(cuò)誤是A1(需要邏輯推理)、A4(預(yù)測(cè)錯(cuò)的“屬性”的頻率太低)、A6(其它類型)。此外,隨機(jī)選取其它100個(gè)實(shí)例,而且每個(gè)實(shí)例中都存在某個(gè)“屬性”預(yù)測(cè)正確而“值”預(yù)測(cè)錯(cuò)誤的“屬性-值”對(duì)。這些實(shí)例中46%是可以接受的,包括V1(預(yù)測(cè)了同義的“值”)、V3(錯(cuò)誤標(biāo)注了的金標(biāo)準(zhǔn)的“值”)。主要的錯(cuò)誤包括V2(預(yù)測(cè)了相似的值)、V4(需要邏輯推理)、V5(預(yù)測(cè)部分“值”)、V6(其它)。

    4?相關(guān)工作

    本工作主要涉及2條研究主線,對(duì)此可做探討分述如下。

    4.1?Wikipedia上文本到結(jié)構(gòu)化知識(shí)的預(yù)測(cè)

    已有的一些知名的產(chǎn)品都是通過流水線式的方式、并基于Wikipedia進(jìn)行信息抽取而得到的,例如DBpedia[16]、YAGO[17]、YAGO2[18]、KYLIN[5]、IBminer[6]、iPopulator[19]、以及WOE[20]。Nguyen等人[21]提出使用句法信息與語(yǔ)義信息,就可從Wikipedia中抽取關(guān)系。Zhang等人[7]使用連接命名實(shí)體(重定向)來(lái)將一篇文章總結(jié)成信息框。在本文中,研究采用序列到序列(Seq2Seq)的神經(jīng)網(wǎng)絡(luò)模型來(lái)端到端地進(jìn)行文本到信息框的生成。

    4.2?序列到序列(Seq2Seq)的學(xué)習(xí)

    Seq2Seq模型在很多任務(wù)上均可見到效果可觀的應(yīng)用嘗試,例如機(jī)器翻譯、對(duì)話回復(fù)生成和文本摘要[10,12,22-23]。在本文中,設(shè)計(jì)展示了一個(gè)Seq2Seq模型來(lái)進(jìn)行文本到信息框的生成。文中的Seq2Seq模型采用了帶有注意力機(jī)制與拷貝機(jī)制的“編碼器-解碼器”框架。不同的注意力機(jī)制[13-14, 24]也相繼推出,用于將輸入序列與輸出序列進(jìn)行對(duì)齊。受到這些工作的啟發(fā),本文研究采用一種注意力機(jī)制來(lái)連接自然語(yǔ)言與信息框。拷貝機(jī)制的提出受益于近期的關(guān)于指向網(wǎng)絡(luò)(pointing network)與拷貝(copying)方法[10,25-29]的成功。

    5?結(jié)束語(yǔ)

    本文提出了一個(gè)序列到序列(Seq2Seq)的模型來(lái)進(jìn)行文本到信息框的生成。實(shí)驗(yàn)結(jié)果表明Seq2Seq模型有能力以生成序列的方式來(lái)生成一個(gè)結(jié)構(gòu)化的信息框。研究觀察到引入了注意力與拷貝機(jī)制可以提升模型的準(zhǔn)確率,同時(shí)拷貝機(jī)制有能力從原文本中拷貝稀有詞來(lái)生成目標(biāo)信息框中的“值”。

    參考文獻(xiàn)

    [1] ????MOONEY R J. Learning for semantic parsing[C]?//Computational Linguistics and Intelligent Text Processing(CICLing). Mexico City:dblp,2007:311-324.

    [2] ?BERANT J, CHOU A, FROSTIG R,et al. Semantic parsing on freebase from question-answer pairs[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle,Washington, USA:Association for Computational Linguistics,2013:1533-1544.

    [3] YIH W T, CHANG Mingwei, HE Xiaodong,et al. Semantic parsing via staged query graph generation: Question answering with knowledge base[C]?// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Beijing, China:Association for Computational Linguistics, 2015:1321-1331.

    [4] BORDES A, USUNIER N, CHOPRA S, et al. Large-scale simple question answering with memory networks[J]. arXiv preprint arXiv:1506.02075,2015 .

    [5] WU Fei, WELD D S. Autonomously semantifying wikipedia[C]?//Proceedings of the sixteenth ACM conference on ?Information and Knowledge Management.New York, ?USA: ACM, 2007:41-50.

    [6] MOUSAVI H, GAO Shi,ZANIOLO C. Ibminer: A text mining tool for constructing and populating infobox databases and knowledge bases[J]. Proceedings of the VLDB Endowment, 2013,6(12):1330-1333.

    [7] ZHANG Kezun, XIAO Yanghua, TONG Hanghang, et al. The links have it: Infobox generation by summarization over linked entities[J]. arXiv preprint arXiv:1406.6449,2014.

    [8] KALCHBRENNER N, BLUNSOM P. Recurrent continuous translation models[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing.Seattle:ACL, 2013:1700-1709.

    [9] SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks [C]// Advances in Neural Information Processing Systems. Montreal, Canada: Nips,2014:3104-3112.

    [10]NALLAPATI R, ZHOU Bowen, SANTOS C, et al. Abstractive text summarization using sequence-to-sequence RNNs and beyond[J]. arXiv preprint arXiv:1602.06023,2016.

    [11]LEBRET R, GRANGIER D, AULI M. Neural text generation from structured data with application to the biography domain[C]?// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin, Texas: Association for Computational Linguistics, 2016:1203-1213.

    [12]CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]?//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar:Association for Computational Linguistics, 2014:1724-1734.

    [13]BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473,2014 .

    [14]LUONG M H, PHAM H, Manning C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025,2015.

    [15]KADLEC R,SCHMID M, BAJGAR O, et al. Text understanding with the attention sum reader network[J]. arXiv preprint arXiv:1603.01547,2016.

    [16]AUER S, LEHMANN J. What have Innsbruck and leipzig in common? Extracting semantics from wiki content[C]// The Semantic Web: Research and Applications. Innsbruck Austria:Springer,2007:503-517.

    [17]SUCHANEK F M ,KASNECI G, WEIKUM G . Yago: A core of semantic knowledge[C]// Proceedings of the 16th International Conference on World Wide Web. Banff, Alberta, Canada:dblp,2007: 697-706.

    [18]HOFFART J, SUCHANEK F M, BERBERICH K, et al. Yago2: A spatially and temporally enhanced knowledge base from wikipedia[J]. Artificial Intelligence ,2013,194:28-61.

    [19]LANGE D, BHM C, NAUMANN F. Extracting structured information from wikipedia articles to populate infoboxes[C]?//Proceedings of the 19th ACM International Conference on Information and Knowledge Management.Toronto,Ontario,Canada: ACM, 2010:1661-1664.

    [20]WU Fei, WELD D S. Open information extraction using wikipedia[C]?// Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. ?Uppsala,Sweden:ACL, 2010:118-127.

    [21]NGUYEN D P T, MATSUO Y, ISHIZUKA M. Exploiting syntactic and semantic information for relation extraction from wikipedia[C]//Proceedings of the IJCAI Workshop on Text-Mining Link-Analysis Text Link 2007. Hyderabad, India: [s.n.]?,2007:1414-1420.

    [22]AULI M, GALLEYT M, QUIRK C, et al. Joint language and translation modeling with recurrent neural networks[C]// Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle, Washington, USA:ACL,2013:1044-1054.

    [23]SORDONI A, GALLEY M, AULI M,et al.A neural network approach to context-sensitive generation of conversational responses[C]// Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. ?Denver, Colorado:ACL, 2015: 196-205.

    [24]FENG Shi, LIU Shujie,YANG Nan, et al. ?Improving attention modeling with implicit distortion and fertility for machine translation[C]//Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. Osaka, Japan: ACL Press, 2016: 3082-3092.

    [25]VINYALS O, FORTUNATO M, JAITLY N. Pointer networks[J]. Advances in Neural Information Processing Systems, 2015:2692-2700.

    [26]GULCEHREC, AHN S, NALLAPATI R, et al. Pointing the unknown words[J].arXiv preprint arXiv:1603.08148,2016.

    [27]GU Jiatao, LU Zhengdong, LI Hang, et al. Incorporating copying mechanism in sequence-to-sequence learning[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Berlin, Germany:Association for Computational Linguistics, 2016:1631-1640.

    [28]YIN Jun, JIANG Xin, LU Zhengdong,et al. Neural generative question answering[J]. arXiv preprint arXiv:1512.01337,2015.

    [29]LUONG M T, SUTSKEVER I, LE Q V, et al. Addressing the rare word problem in neural machine translation[C]?// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). Beijing, China: Association for Computational Linguistics, ?2015: 11-19.

    猜你喜歡
    注意力機(jī)制
    基于注意力機(jī)制的改進(jìn)CLSM檢索式匹配問答方法
    基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型
    基于注意力機(jī)制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
    多特征融合的中文實(shí)體關(guān)系抽取研究
    基于深度學(xué)習(xí)的手分割算法研究
    從餐館評(píng)論中提取方面術(shù)語(yǔ)
    面向短文本的網(wǎng)絡(luò)輿情話題
    基于自注意力與動(dòng)態(tài)路由的文本建模方法
    基于深度學(xué)習(xí)的問題回答技術(shù)研究
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    www.www免费av| 悠悠久久av| 一级a爱片免费观看的视频| 中文字幕免费在线视频6| 老司机深夜福利视频在线观看| 性插视频无遮挡在线免费观看| 久久人人精品亚洲av| 成年女人看的毛片在线观看| 精品人妻熟女av久视频| 久久精品国产亚洲av香蕉五月| 中文字幕av成人在线电影| 亚洲天堂国产精品一区在线| 亚洲成人中文字幕在线播放| 午夜免费男女啪啪视频观看 | 亚洲国产欧洲综合997久久,| 美女cb高潮喷水在线观看| 午夜视频国产福利| 亚洲成人久久爱视频| 黄片wwwwww| 亚洲美女黄片视频| 99九九线精品视频在线观看视频| 亚洲人成伊人成综合网2020| 国产精品人妻久久久久久| 久久精品91蜜桃| 在线观看一区二区三区| 欧美激情在线99| 能在线免费观看的黄片| 99热精品在线国产| 三级国产精品欧美在线观看| 亚洲av中文av极速乱 | 深爱激情五月婷婷| x7x7x7水蜜桃| 日韩中文字幕欧美一区二区| 一区福利在线观看| 国产乱人视频| 国产成人a区在线观看| 亚洲七黄色美女视频| 十八禁网站免费在线| 我的老师免费观看完整版| aaaaa片日本免费| 国模一区二区三区四区视频| 一个人观看的视频www高清免费观看| 我要搜黄色片| 免费观看人在逋| АⅤ资源中文在线天堂| 在线观看一区二区三区| 午夜免费成人在线视频| 大型黄色视频在线免费观看| 免费在线观看日本一区| 久久人人精品亚洲av| 99久国产av精品| 69av精品久久久久久| 小说图片视频综合网站| 亚洲色图av天堂| 天堂动漫精品| 高清在线国产一区| 22中文网久久字幕| 亚洲va在线va天堂va国产| 日本a在线网址| 亚洲欧美日韩卡通动漫| 亚洲国产欧美人成| 一a级毛片在线观看| 亚洲精品色激情综合| 听说在线观看完整版免费高清| 中文字幕熟女人妻在线| h日本视频在线播放| 国产乱人伦免费视频| 小说图片视频综合网站| 国产白丝娇喘喷水9色精品| av在线观看视频网站免费| 88av欧美| 欧美成人性av电影在线观看| 男人的好看免费观看在线视频| 能在线免费观看的黄片| 九九爱精品视频在线观看| 国产综合懂色| 九色国产91popny在线| 国产伦精品一区二区三区四那| 一区二区三区激情视频| 国产免费av片在线观看野外av| 午夜亚洲福利在线播放| 岛国在线免费视频观看| 亚洲欧美日韩高清专用| 日韩 亚洲 欧美在线| 人妻少妇偷人精品九色| 18禁黄网站禁片午夜丰满| 在线看三级毛片| 淫妇啪啪啪对白视频| av天堂中文字幕网| 91狼人影院| 可以在线观看毛片的网站| 麻豆一二三区av精品| 国产精品亚洲美女久久久| 两性午夜刺激爽爽歪歪视频在线观看| av福利片在线观看| 婷婷精品国产亚洲av| 波野结衣二区三区在线| 在线a可以看的网站| 日韩av在线大香蕉| 舔av片在线| av视频在线观看入口| 十八禁网站免费在线| 在线观看美女被高潮喷水网站| 午夜亚洲福利在线播放| 精品乱码久久久久久99久播| 亚洲国产精品sss在线观看| 2021天堂中文幕一二区在线观| 久久久精品大字幕| 成年女人永久免费观看视频| 国产高清激情床上av| www.色视频.com| 99在线人妻在线中文字幕| 久久久久久国产a免费观看| 波多野结衣高清作品| 长腿黑丝高跟| 听说在线观看完整版免费高清| 成人午夜高清在线视频| 国产精品久久久久久av不卡| 久99久视频精品免费| 国产久久久一区二区三区| 国产精品亚洲一级av第二区| 少妇的逼好多水| 非洲黑人性xxxx精品又粗又长| 在线播放无遮挡| 91av网一区二区| 色播亚洲综合网| 一本精品99久久精品77| 久久精品人妻少妇| 岛国在线免费视频观看| 国产色婷婷99| 亚洲国产精品sss在线观看| 免费人成视频x8x8入口观看| 精品久久久噜噜| 国产乱人视频| 久久久久久久精品吃奶| 国内精品久久久久精免费| 欧美日韩黄片免| 国产精品日韩av在线免费观看| 久久99热6这里只有精品| 欧美激情久久久久久爽电影| 日本精品一区二区三区蜜桃| 女人被狂操c到高潮| 一个人看的www免费观看视频| 免费电影在线观看免费观看| 久久久久性生活片| 国产精品久久久久久久久免| 少妇熟女aⅴ在线视频| 国产高清激情床上av| 亚洲四区av| 成人一区二区视频在线观看| 国产不卡一卡二| 一边摸一边抽搐一进一小说| 日韩欧美在线乱码| 日本 av在线| 国产精华一区二区三区| 国产伦一二天堂av在线观看| 亚州av有码| 国产成人av教育| 欧美精品啪啪一区二区三区| 国产黄a三级三级三级人| 在线看三级毛片| 一个人看的www免费观看视频| 亚洲自偷自拍三级| 免费看日本二区| 国产老妇女一区| 天堂√8在线中文| 97超级碰碰碰精品色视频在线观看| 看免费成人av毛片| 亚洲熟妇熟女久久| 人妻久久中文字幕网| 中文亚洲av片在线观看爽| 床上黄色一级片| 免费看av在线观看网站| 永久网站在线| 两个人视频免费观看高清| 亚洲男人的天堂狠狠| 两性午夜刺激爽爽歪歪视频在线观看| 在现免费观看毛片| 国产精品亚洲美女久久久| 免费在线观看日本一区| 少妇熟女aⅴ在线视频| 成人高潮视频无遮挡免费网站| 精品一区二区三区人妻视频| 国产精品一区二区性色av| 老熟妇乱子伦视频在线观看| 看十八女毛片水多多多| 波多野结衣高清无吗| 国产主播在线观看一区二区| 一区二区三区免费毛片| 久久久久久久久久久丰满 | 亚洲中文字幕日韩| 91在线精品国自产拍蜜月| 亚洲第一电影网av| 国产av在哪里看| 精品久久久久久久末码| 中文资源天堂在线| 波多野结衣高清作品| 成人二区视频| 国产爱豆传媒在线观看| 一边摸一边抽搐一进一小说| 两性午夜刺激爽爽歪歪视频在线观看| 精品久久国产蜜桃| 日本在线视频免费播放| 欧美又色又爽又黄视频| 亚洲四区av| 国产精品99久久久久久久久| 国产高清视频在线观看网站| 日本黄色视频三级网站网址| 听说在线观看完整版免费高清| 欧洲精品卡2卡3卡4卡5卡区| 亚洲精品一区av在线观看| 久久午夜福利片| 成人欧美大片| 香蕉av资源在线| 国内精品久久久久久久电影| 精品一区二区三区视频在线观看免费| 成人午夜高清在线视频| 精品久久久久久久人妻蜜臀av| 最新中文字幕久久久久| 美女高潮的动态| 99视频精品全部免费 在线| a级毛片a级免费在线| 亚洲不卡免费看| 日本免费一区二区三区高清不卡| 成人无遮挡网站| 国产亚洲精品综合一区在线观看| 亚州av有码| 91精品国产九色| 日本黄大片高清| 岛国在线免费视频观看| netflix在线观看网站| 久久精品国产清高在天天线| 性欧美人与动物交配| 国产午夜福利久久久久久| 天美传媒精品一区二区| 久久久久久久久中文| 亚洲美女视频黄频| 啦啦啦啦在线视频资源| 又粗又爽又猛毛片免费看| 久久午夜福利片| 在线观看舔阴道视频| 99久久中文字幕三级久久日本| 国产日本99.免费观看| 九九在线视频观看精品| av视频在线观看入口| 国产伦精品一区二区三区四那| 久久精品久久久久久噜噜老黄 | 国产真实伦视频高清在线观看 | 国产av在哪里看| 久久国内精品自在自线图片| av福利片在线观看| 午夜亚洲福利在线播放| 在线播放无遮挡| 国产精品人妻久久久影院| 老司机福利观看| 老熟妇仑乱视频hdxx| 欧美成人a在线观看| 日日夜夜操网爽| 男女做爰动态图高潮gif福利片| 三级毛片av免费| 亚洲中文字幕日韩| 久久午夜福利片| 国产伦一二天堂av在线观看| 国产精品爽爽va在线观看网站| 国产久久久一区二区三区| 国产男靠女视频免费网站| 久久久色成人| av.在线天堂| 亚洲av第一区精品v没综合| 国产伦精品一区二区三区四那| 亚洲综合色惰| 亚洲国产精品久久男人天堂| 国产不卡一卡二| 韩国av在线不卡| 国内精品美女久久久久久| 啪啪无遮挡十八禁网站| 人妻制服诱惑在线中文字幕| av在线天堂中文字幕| 久久久精品大字幕| 99热只有精品国产| 乱码一卡2卡4卡精品| 久久国产乱子免费精品| 夜夜夜夜夜久久久久| 91久久精品电影网| 欧美色视频一区免费| 免费av不卡在线播放| 超碰av人人做人人爽久久| 国产欧美日韩精品一区二区| 国产亚洲91精品色在线| 亚洲人成网站高清观看| 91麻豆精品激情在线观看国产| 欧美成人免费av一区二区三区| 日日啪夜夜撸| 在线免费观看不下载黄p国产 | 日本撒尿小便嘘嘘汇集6| 欧美日韩黄片免| 午夜福利在线观看吧| 成人永久免费在线观看视频| 18禁在线播放成人免费| netflix在线观看网站| 精品久久久久久久久av| 国产色婷婷99| 长腿黑丝高跟| 国产在线精品亚洲第一网站| 亚洲av免费在线观看| 欧洲精品卡2卡3卡4卡5卡区| 国内揄拍国产精品人妻在线| 精品99又大又爽又粗少妇毛片 | 中文字幕人妻熟人妻熟丝袜美| 97人妻精品一区二区三区麻豆| 少妇人妻精品综合一区二区 | 国产av麻豆久久久久久久| 99久久中文字幕三级久久日本| 亚洲久久久久久中文字幕| 亚洲国产精品sss在线观看| 很黄的视频免费| 91久久精品电影网| 校园春色视频在线观看| 亚洲av中文av极速乱 | 婷婷色综合大香蕉| 蜜桃亚洲精品一区二区三区| 18禁黄网站禁片免费观看直播| 少妇人妻精品综合一区二区 | 精品久久久久久久人妻蜜臀av| 国产高清视频在线观看网站| 精品久久久噜噜| 国产精品一及| 亚洲天堂国产精品一区在线| 国产精品免费一区二区三区在线| av在线老鸭窝| 国产成年人精品一区二区| 乱码一卡2卡4卡精品| 久久精品国产亚洲av香蕉五月| 成人亚洲精品av一区二区| 深夜a级毛片| 麻豆av噜噜一区二区三区| 国产三级中文精品| 很黄的视频免费| 在线观看av片永久免费下载| 可以在线观看的亚洲视频| 我的老师免费观看完整版| 久久九九热精品免费| 全区人妻精品视频| 久久午夜亚洲精品久久| 国产女主播在线喷水免费视频网站 | 免费高清视频大片| 欧美一级a爱片免费观看看| 美女黄网站色视频| 亚洲在线观看片| 亚洲av免费在线观看| 观看免费一级毛片| 美女黄网站色视频| 午夜福利成人在线免费观看| 在线观看av片永久免费下载| 久久久精品欧美日韩精品| 老师上课跳d突然被开到最大视频| 日日啪夜夜撸| 99九九线精品视频在线观看视频| 极品教师在线视频| 国产高清不卡午夜福利| 最近视频中文字幕2019在线8| 久久人妻av系列| 午夜福利在线在线| 久久天躁狠狠躁夜夜2o2o| 啦啦啦观看免费观看视频高清| 午夜福利在线在线| 最近最新免费中文字幕在线| 成年女人毛片免费观看观看9| 欧美精品啪啪一区二区三区| 97超视频在线观看视频| bbb黄色大片| 国产白丝娇喘喷水9色精品| 成人特级av手机在线观看| 老司机福利观看| 夜夜看夜夜爽夜夜摸| 欧美一区二区亚洲| 日韩欧美在线二视频| 欧美+亚洲+日韩+国产| 欧美黑人巨大hd| 亚洲精华国产精华液的使用体验 | 村上凉子中文字幕在线| 男人狂女人下面高潮的视频| 深夜a级毛片| 国产v大片淫在线免费观看| 一级a爱片免费观看的视频| 欧美成人免费av一区二区三区| 五月伊人婷婷丁香| 欧美国产日韩亚洲一区| 久久精品国产亚洲av香蕉五月| 久久久久久久久久久丰满 | 婷婷丁香在线五月| 久久久成人免费电影| 黄色丝袜av网址大全| 国产91精品成人一区二区三区| 国产aⅴ精品一区二区三区波| 高清日韩中文字幕在线| 精品久久久久久久久久免费视频| 麻豆国产97在线/欧美| 少妇的逼水好多| 淫秽高清视频在线观看| 欧美绝顶高潮抽搐喷水| 丝袜美腿在线中文| 在线天堂最新版资源| 亚洲四区av| 老熟妇仑乱视频hdxx| 午夜激情福利司机影院| 少妇人妻一区二区三区视频| 亚洲精品乱码久久久v下载方式| www.色视频.com| av在线老鸭窝| 亚洲国产欧美人成| 亚洲,欧美,日韩| 岛国在线免费视频观看| 99视频精品全部免费 在线| 禁无遮挡网站| 1000部很黄的大片| 久久久久性生活片| 色噜噜av男人的天堂激情| 日本三级黄在线观看| 免费电影在线观看免费观看| 国产欧美日韩精品一区二区| 偷拍熟女少妇极品色| 老司机深夜福利视频在线观看| 搡老妇女老女人老熟妇| 亚洲专区国产一区二区| 国产欧美日韩一区二区精品| 中文字幕av成人在线电影| 两人在一起打扑克的视频| 亚洲欧美日韩无卡精品| 内地一区二区视频在线| 久久中文看片网| 大又大粗又爽又黄少妇毛片口| 欧美性猛交黑人性爽| 日韩欧美在线乱码| 69av精品久久久久久| 女同久久另类99精品国产91| 欧美色视频一区免费| 日韩精品青青久久久久久| 欧美中文日本在线观看视频| 久久久成人免费电影| 精品久久久久久久久久免费视频| 91久久精品国产一区二区三区| 亚洲无线观看免费| 毛片一级片免费看久久久久 | 两个人视频免费观看高清| 免费av不卡在线播放| 午夜精品在线福利| 99国产极品粉嫩在线观看| 女的被弄到高潮叫床怎么办 | 成人欧美大片| 日本免费a在线| 99久久九九国产精品国产免费| 日韩高清综合在线| 久久热精品热| 久久久国产成人精品二区| 日本 av在线| 亚洲人成网站高清观看| 我要看日韩黄色一级片| 黄色配什么色好看| 亚洲四区av| 亚洲精品在线观看二区| 日韩欧美在线二视频| 亚洲自偷自拍三级| 尾随美女入室| 中国美女看黄片| 国产高潮美女av| 美女高潮的动态| 九九久久精品国产亚洲av麻豆| 神马国产精品三级电影在线观看| xxxwww97欧美| 久久精品国产亚洲av香蕉五月| 人妻丰满熟妇av一区二区三区| 国产精品爽爽va在线观看网站| 看免费成人av毛片| 久久国内精品自在自线图片| 午夜免费成人在线视频| 国产精品永久免费网站| 国国产精品蜜臀av免费| 黄色一级大片看看| 好男人在线观看高清免费视频| 国产精品久久久久久亚洲av鲁大| 精品久久久久久成人av| 久久人人爽人人爽人人片va| 成人永久免费在线观看视频| 99riav亚洲国产免费| 亚洲 国产 在线| 三级毛片av免费| 久久久午夜欧美精品| 国模一区二区三区四区视频| 简卡轻食公司| 在线天堂最新版资源| 久久午夜福利片| 亚洲中文字幕日韩| 男插女下体视频免费在线播放| 国产高清不卡午夜福利| 亚洲精品影视一区二区三区av| 婷婷精品国产亚洲av| 一个人观看的视频www高清免费观看| 看免费成人av毛片| 搡老妇女老女人老熟妇| 中文资源天堂在线| 成年女人永久免费观看视频| 免费观看精品视频网站| 免费不卡的大黄色大毛片视频在线观看 | 精品一区二区三区人妻视频| 亚洲四区av| 不卡一级毛片| 国产精品嫩草影院av在线观看 | 亚洲精品粉嫩美女一区| 成人一区二区视频在线观看| 九色成人免费人妻av| 日韩一区二区视频免费看| 国产精品三级大全| 99精品在免费线老司机午夜| 国产av不卡久久| 日日夜夜操网爽| 成人特级av手机在线观看| 波多野结衣巨乳人妻| 在线观看美女被高潮喷水网站| 99视频精品全部免费 在线| 韩国av在线不卡| 日韩欧美一区二区三区在线观看| 99久久精品一区二区三区| 国产高清有码在线观看视频| 国产精品久久久久久久电影| 1024手机看黄色片| 日本成人三级电影网站| 国产乱人视频| 亚洲成人久久爱视频| 国产三级在线视频| 欧美日韩亚洲国产一区二区在线观看| 成人三级黄色视频| 三级毛片av免费| 99国产极品粉嫩在线观看| 性欧美人与动物交配| 99国产极品粉嫩在线观看| 老司机午夜福利在线观看视频| 搡女人真爽免费视频火全软件 | 日本免费一区二区三区高清不卡| 欧美日韩黄片免| 久久久久九九精品影院| 久久香蕉精品热| 99久久精品国产国产毛片| 国产一级毛片七仙女欲春2| 99在线视频只有这里精品首页| 我的老师免费观看完整版| 国产成人aa在线观看| 此物有八面人人有两片| 欧美丝袜亚洲另类 | 性插视频无遮挡在线免费观看| av天堂中文字幕网| 美女cb高潮喷水在线观看| 人妻夜夜爽99麻豆av| 日韩 亚洲 欧美在线| 亚洲美女黄片视频| 成熟少妇高潮喷水视频| 久久精品国产亚洲av香蕉五月| 最近最新中文字幕大全电影3| 精品乱码久久久久久99久播| 中文字幕久久专区| 亚洲精品国产成人久久av| 国产精品亚洲美女久久久| 欧美成人性av电影在线观看| av天堂中文字幕网| 亚洲四区av| av天堂在线播放| 国产大屁股一区二区在线视频| 亚洲性夜色夜夜综合| 久久香蕉精品热| 免费看日本二区| 麻豆国产97在线/欧美| 国产精品1区2区在线观看.| 欧美色欧美亚洲另类二区| 日韩欧美三级三区| 成人高潮视频无遮挡免费网站| 久99久视频精品免费| 色综合亚洲欧美另类图片| 欧美日韩国产亚洲二区| 国产欧美日韩一区二区精品| 精品国产三级普通话版| 18+在线观看网站| 午夜免费激情av| 亚洲成人中文字幕在线播放| 国产伦精品一区二区三区四那| 欧美xxxx黑人xx丫x性爽| 2021天堂中文幕一二区在线观| 亚洲欧美日韩高清在线视频| 亚洲aⅴ乱码一区二区在线播放| 日韩一本色道免费dvd| 乱码一卡2卡4卡精品| 日本爱情动作片www.在线观看 | 久久热精品热| 免费看日本二区| 一个人看视频在线观看www免费| 亚洲精品一区av在线观看| 国内久久婷婷六月综合欲色啪| 亚洲综合色惰| 成人精品一区二区免费| 亚洲国产欧美人成| 国产精品一区二区三区四区免费观看 | 久久精品人妻少妇| 精品99又大又爽又粗少妇毛片 | 成人美女网站在线观看视频| 国产精品自产拍在线观看55亚洲| h日本视频在线播放| 亚洲欧美日韩高清专用| 人人妻,人人澡人人爽秒播| 亚洲美女搞黄在线观看 | 91久久精品国产一区二区三区| 搞女人的毛片| 99riav亚洲国产免费| 91久久精品电影网| 啦啦啦啦在线视频资源| 国产蜜桃级精品一区二区三区| 99热精品在线国产|