• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于生成對抗網(wǎng)絡(luò)的事件描述生成

    2021-07-02 00:35:22孫鶴立孫玉柱張曉云
    計(jì)算機(jī)應(yīng)用 2021年5期
    關(guān)鍵詞:文本模型

    孫鶴立,孫玉柱,2*,張曉云

    (1.西安交通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,西安 710049;2.西安交通大學(xué)外國語學(xué)院,西安 710049)

    (*通信作者電子郵箱sunyuzhu12@xjtu.edu.cn)

    0 引言

    社交事件是基于事件的社會網(wǎng)絡(luò)(Event-Based Social Network,EBSN)[1]的核心要素,驅(qū)動(dòng)了線上和線下網(wǎng)絡(luò)的整體運(yùn)行。事件描述是事件的重要屬性,可綜合包含事件意義、安排、特點(diǎn)等多種信息,不但可輔助用戶決策是否參加該事件,而且給了組織者最大的自由度來使事件更有吸引力。目前,主流社交平臺如Meetup、豆瓣中的事件描述均為人工生成,由于受到語言描述能力和對事件描述認(rèn)知層次的影響,事件描述出現(xiàn)了描述貧乏或描述過度、要素覆蓋不全、語言吸引力不強(qiáng)的現(xiàn)象,導(dǎo)致事件參與人數(shù)不符合預(yù)期,且人工生成事件描述工作量較大,為事件組織者增加負(fù)擔(dān)。本文采用自然語言處理模型生成高質(zhì)量的事件描述供組織者參考,以幫助組織者快速形成豐富、準(zhǔn)確、高吸引力的事件描述。

    事件描述的生成算法最終會應(yīng)用到EBSN 平臺中,優(yōu)秀的算法不但可以生成高質(zhì)量文本,同時(shí)還需要滿足無監(jiān)督的特點(diǎn)。為了滿足以上特點(diǎn),本文中研究了多種語言生成模型。

    2011 年,文獻(xiàn)[2]中提出了循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型(Recurrent Neural Network Language Modeling,RNNLM)被廣泛應(yīng)用,并多次被應(yīng)用在文本生成實(shí)踐中。文獻(xiàn)[3]中對RNNLM 做了改進(jìn),使用單個(gè)字符而非單個(gè)單詞作為輸入,在RNNLM 前加入了卷積層和highway 層,使得模型從字符的角度,而非單詞的角度學(xué)會了如何表達(dá)自然語言。實(shí)驗(yàn)證明他們的改進(jìn)模型能大幅減少參數(shù)數(shù)量,并且在學(xué)習(xí)富詞法語言中,表現(xiàn)優(yōu)于傳統(tǒng)的以詞為最小單位的語言模型。

    為了令RNNLM 在生成文本時(shí)不但依賴當(dāng)前狀態(tài),而且依賴某個(gè)全局表達(dá),Seq2Seq 模型被提出,生成文本的過程變?yōu)榫幋a-解碼的過程。編碼器首先將某段文本表示為一個(gè)隱向量,再通過解碼器解碼,以控制輸出文本的效果。在編碼器的選擇上,有許多不同方案,文獻(xiàn)[4]率先將變分自編碼器引入文本生成中,利用變分自編碼器采樣得到編碼的特性,令隱編碼能夠服從特定分布,從而保證了編碼的連續(xù)性和局部相關(guān)性。文獻(xiàn)[5]同樣利用變分自編碼器編碼空間連續(xù)的特性,通過對特定文本編碼進(jìn)行梯度上升操作來最大化某個(gè)目標(biāo)函數(shù),從而達(dá)到改進(jìn)某段文本的目的。

    基于RNNLM 的生成方法多基于極大似然估計(jì),在模型訓(xùn)練時(shí)能夠很好地通過反向轉(zhuǎn)播更新參數(shù),并獲得跟訓(xùn)練集極為相似的結(jié)果,然而這些方法又易于過擬合,導(dǎo)致生成文本質(zhì)量不高,文本多樣性低。

    為了令生成的文本更接近真實(shí)文本,并且滿足無監(jiān)督的條件,生成對抗網(wǎng)絡(luò)(Generative Adversarial Net,GAN)成為最佳選擇。生成對抗網(wǎng)絡(luò)2014 年誕生于計(jì)算機(jī)視覺領(lǐng)域,是近年來迅速發(fā)展的一種無監(jiān)督深度學(xué)習(xí)技術(shù)。GAN 的本質(zhì)是尋找兩個(gè)不同分布之間的映射,這兩個(gè)分布通常為先驗(yàn)噪聲分布和真實(shí)數(shù)據(jù)樣本分布,這種特質(zhì)導(dǎo)致它在圖像生成領(lǐng)域具有天然的優(yōu)勢,不過把它應(yīng)用到文本生成時(shí)卻遇到了困難,主要因?yàn)樯善魃傻奈谋緮?shù)據(jù)是離散的、不可微的,因此判別器無法將信息反向傳播給生成器,導(dǎo)致生成器無法更新[6]。

    鑒于以上問題,目前主流的解決辦法是將GAN 與強(qiáng)化學(xué)習(xí)中策略梯度的思想結(jié)合起來,把文本生成構(gòu)建為一個(gè)連續(xù)的決策過程,通過策略梯度算法來估計(jì)生成器的梯度。使用這個(gè)方法的突出代表主要有文獻(xiàn)[7]提出的SeqGAN,SeqGAN使用RNNLM 作為生成模型,同時(shí)使用帶卷積層的神經(jīng)網(wǎng)絡(luò)作為判別模型來訓(xùn)練生成模型,很好地解決了文本的離散性問題,并且性能較高。文獻(xiàn)[8]也采用了類似的結(jié)構(gòu),通過訓(xùn)練生成模型生成評分勝過真實(shí)訓(xùn)練數(shù)據(jù)的文本,生成了足夠真實(shí)的文本序列。

    目前生成對抗網(wǎng)絡(luò)已經(jīng)用于法律文本生成[9]、醫(yī)療文本生成[10]等多個(gè)場景,但鮮有學(xué)者將生成對抗網(wǎng)絡(luò)用于EBSN平臺,尤其是生成事件描述。本文設(shè)計(jì)了生成對抗網(wǎng)絡(luò)GAN_PG,以無監(jiān)督地生成高質(zhì)量的事件描述。為了保證編碼的連續(xù)性和局部相關(guān)性,采用帶變分編碼器的網(wǎng)絡(luò)作為事件描述生成模型,為了對文本有良好的分類效果,采用帶控循環(huán)單元(Gated Recurrent Unit,GRU)的神經(jīng)網(wǎng)絡(luò)作為判別模型。實(shí)驗(yàn)結(jié)果表明,通過大量訓(xùn)練后,設(shè)計(jì)的生成對抗網(wǎng)絡(luò)生成事件描述的BLEU-4 值達(dá)到了0.67,證明了提出的事件描述生成模型GAN_PG 可以無監(jiān)督地產(chǎn)生與自然語言足夠相似的事件描述。

    1 相關(guān)模型原理

    為了更清楚地表現(xiàn)模型的計(jì)算過程,本章簡要介紹生成對抗網(wǎng)絡(luò)、變分自編碼器和帶GRU的神經(jīng)網(wǎng)絡(luò)的原理。

    1.1 生成對抗網(wǎng)絡(luò)

    生成對抗網(wǎng)絡(luò)是Goodfellow 等[11]于2014 年提出的,已經(jīng)成為主流生成模型框架之一。它包含生成模型和判別模型,通過生成模型和判別模型的反復(fù)博弈來提高生成質(zhì)量。在訓(xùn)練過程中,生成模型的目標(biāo)是生成能夠讓判別模型無法分辨出其和真實(shí)數(shù)據(jù)區(qū)別的樣本,而判別模型的訓(xùn)練目標(biāo)則是將生成模型生成的假樣本從真實(shí)樣本中區(qū)分開來。標(biāo)準(zhǔn)的生成對抗網(wǎng)絡(luò)最大化判別模型正確分類的概率,同時(shí)最小化生成模型所生成的樣本被判別器正確分類的概率:

    其中:D、G分別表示判別和生成模型,data表示真實(shí)數(shù)據(jù)集,Gθ表示生成模型產(chǎn)生的假數(shù)據(jù)。

    1.2 變分自編碼器

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一種對序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò),可以很好地刻畫詞匯的前后關(guān)聯(lián),它十分強(qiáng)大,幾乎可以擬合任何分布。循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型(RNNLM)是利用RNN 對語言建模,用來描述語言序列的產(chǎn)生過程,與RNN 相比,多了詞向量層(embedding)和softmax層[12]。

    變分自編碼器(Variational Auto-Encoder,VAE)于2013 年由Kingma 等[13]提出,2016 年Doersch[14]對VAE 做了更詳細(xì)的介紹。變分自編碼器是傳統(tǒng)的RNN 編碼器的改進(jìn)型,對隱空間中的z→編碼加入了先驗(yàn)分布,并在目標(biāo)函數(shù)中通過KL(Kullback-Leibler)散度來縮小實(shí)際分布和先驗(yàn)分布的距離,以此來強(qiáng)迫編碼器學(xué)到合適的編碼方式;同時(shí),它通過采樣來生成編碼,這也就保證了隱編碼周圍的點(diǎn)也都是有意義的。變分自編碼器的損失函數(shù)Li(θ,φ)如式(2):

    可以看出,其損失函數(shù)由兩部分構(gòu)成:第一部分是負(fù)對數(shù)似然損失函數(shù)NLL(Negative Log Likelihood),用來縮小輸入序列和輸出序列的差異;第二個(gè)部分則是KL 散度,其中qθ為編碼器,p(z)為對隱編碼z的先驗(yàn)分布。

    1.3 門控循環(huán)單元

    門控循環(huán)單元(GRU)是為了克服傳統(tǒng)RNN 無法很好處理遠(yuǎn)距離依賴而提出的長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)的一個(gè)變體,解決了傳統(tǒng)RNN 中出現(xiàn)的梯度彌散問題,在保留了LSTM 網(wǎng)絡(luò)很好的記憶功能的同時(shí),較少的參數(shù)也使得GRU 的訓(xùn)練過程能夠更快一些。它可以很好地將文本上下文特征的關(guān)聯(lián)進(jìn)行有效地整合,對文本有良好的分類效果[15]?;谏鲜鎏匦裕Y(jié)合事件描述的文本特點(diǎn),本文采用帶GRU的神經(jīng)網(wǎng)絡(luò)作為判別模型。

    門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)在處理序列文本的同時(shí),更好地保留了事件描述中原始文本信息,尤其是長文本中的信息,相較于卷積神經(jīng)網(wǎng)絡(luò),能夠捕捉更多文本信息,從而提高判斷的準(zhǔn)確率。本文使用文獻(xiàn)[16]中的GRU結(jié)構(gòu),如圖1所示。

    圖1 GRU的結(jié)構(gòu)Fig.1 Structure of GRU

    圖中:z[t]為更新門,r[t]為重置門,h[t]為當(dāng)前t時(shí)刻的隱含狀態(tài),橢圓中為算符,方框表示非線性函數(shù)。

    GRU的前向傳播函數(shù)如下:

    其中:W、U、b為參數(shù);xt為輸入向量,ht為輸出向量,zt、rt為更新門和重置門向量。同樣地,根據(jù)鏈?zhǔn)椒▌t,可以得到其反向傳播公式。

    2 生成對抗網(wǎng)絡(luò)GAN_PG

    由于本文設(shè)計(jì)的生成對抗網(wǎng)絡(luò)在訓(xùn)練時(shí)借鑒了強(qiáng)化學(xué)習(xí)中的策略梯度(Policy Gradient,PG)下降,因此本文將其命名為GAN_PG。

    2.1 事件描述生成模型

    本文參考了文獻(xiàn)[4]中的VAE 結(jié)構(gòu),在編碼器和解碼器的選擇上,使用了單層GRU。在實(shí)現(xiàn)過程中,使用0-1 高斯分布作為隱編碼的先驗(yàn)問題定義分布。同時(shí)基于文獻(xiàn)[13]中的重采樣技術(shù),用反向傳播來訓(xùn)練網(wǎng)絡(luò)。抽樣時(shí),本文并不直接對隱編碼進(jìn)行采樣,而是通過兩個(gè)線性神經(jīng)網(wǎng)絡(luò)獲得當(dāng)前編碼的平均值標(biāo)準(zhǔn)差然后通過式(6)獲得隱編碼,其中~Normal(0,1)。

    圖2 為事件描述生成模型的核心結(jié)構(gòu),其中z為向量,其他部分為神經(jīng)網(wǎng)絡(luò),輸入為預(yù)先訓(xùn)練的詞向量。在編碼環(huán)節(jié)完成后,LSTM 的隱狀態(tài)將分別輸入到兩個(gè)線性網(wǎng)絡(luò)中,得到隱編碼分布的平均值ū和方差,然后通過采樣獲得隱編碼,并將其輸入到解碼環(huán)節(jié)。

    圖2 生成模型核心結(jié)構(gòu)Fig.2 Core structure of generator

    本文將隱編碼連接在解碼器的輸入詞向量最后,以初始化解碼器中的隱狀態(tài)。在實(shí)際的訓(xùn)練過程中,為了防止損失函數(shù)中KL 散度降為0,本文還參考了文獻(xiàn)[4]所采用的策略:在訓(xùn)練剛開始時(shí)設(shè)置KL 散度項(xiàng)的權(quán)重為0,然后慢慢升到1。訓(xùn)練過程分為兩個(gè)階段:第一階段,編碼器從文本序列中學(xué)到盡可能多的信息,但不保證分布符合先驗(yàn)分布;第二階段,通過增加KL散度項(xiàng)的權(quán)重,強(qiáng)迫編碼器編得的隱編碼盡可能接近先驗(yàn)分布。

    通過事件描述生成器,可以生成讀上去通順的事件描述。本文有兩種方式可以獲得事件描述:一是在隱編碼空間里面隨機(jī)采樣,這樣生成的事件描述文法通順,但無法保證語義上的一致;二是在已知事件描述的隱編碼周圍采樣,由于采用了變分自編碼器,相似的文本序列的隱編碼在隱空間中也是相近的。本文采用第二種方法,僅在已知事件描述的隱編碼周圍采樣,便可獲得與已知事件描述在文法上相似的新事件描述。生成事件描述后,為了判別事件描述的質(zhì)量,需要引入判別模型。

    2.2 GAN_PG的結(jié)構(gòu)

    GAN_PG 的生成模型在上一節(jié)中進(jìn)行了介紹,判別模型為帶GRU的神經(jīng)網(wǎng)絡(luò),其損失函數(shù)如下:

    生成模型的損失函數(shù)為最大化式(8),即最大化生成模型在生成序列的每一步中所獲得的評分。其中G、D分別為生成模型和判別模型,式(8)的前半部分為在隱編碼z和已生成的序列y0:t-1下,生成當(dāng)前yt的概率。式(8)的后半部分為生成模型生成yt在判別模型所獲得的評分。

    接下來度量生成模型所生成的每一步獲得的評分。因?yàn)榕袆e模型只有在生成模型生成完整個(gè)序列以后,才能對該序列評分,而式(8)所要求的是對生成序列中每一步行為的評分。本文使用策略梯度來設(shè)計(jì)損失函數(shù):對于t時(shí)刻所生成的序列yt,使用策略網(wǎng)絡(luò)Gθ(即當(dāng)前生成模型)通過蒙特卡洛搜索算法對接下來T-t項(xiàng)(T為序列長)使用式(9)進(jìn)行采樣:

    其中:y0:t為當(dāng)前狀態(tài),yt+1:T為基于當(dāng)前生成器狀態(tài)采樣的結(jié)果。為了獲得更準(zhǔn)確的結(jié)果,可以將上述過程重復(fù)數(shù)次取平均。經(jīng)過改進(jìn)的生成模型目標(biāo)函數(shù)如式(10):

    從而可以將pg_loss改寫為式(11)的形式。?pg_loss可以通過式(12)求得。由于計(jì)算?pg_loss時(shí),判別模型的參數(shù)無變化,所以只需要對生成模型Gθ(yt|z,y0:t-1)進(jìn)行求導(dǎo)并僅更新參數(shù)即可。本文使用式(13)來更新判別模型的參數(shù)。

    在確定了判別器、生成器和其分別的目標(biāo)函數(shù)后,本文通過以下算法來訓(xùn)練GAN_PG。

    算法1 訓(xùn)練GAN_PG。

    Require:生成模型Gθ;判別模型Dσ;數(shù)據(jù)集X。

    3 訓(xùn)練事件描述生成模型的優(yōu)化技巧

    差分自編碼器的目標(biāo)是學(xué)會如何在隱空間中表達(dá)已有的事件描述。通過觀察式(2)可判斷編碼質(zhì)量:一個(gè)高質(zhì)量的編碼會有相對較小的NLL 和非零的KL 散度。較小的NLL 確保了生成結(jié)果和訓(xùn)練數(shù)據(jù)相似,而非零的KL散度確保了編碼的相異性。但如果直接使用式(2)訓(xùn)練,KL 散度會很快降為0,即編碼和先驗(yàn)分布完全相同,失去了編碼器的意義。

    當(dāng)KL 散度降為0 時(shí),本文提出的變分自編碼器從某種程度上便與RNNLM 完全相同了,RNN 可以擬合任意分布,所以在這種情況下,NLL也能降到接近0。但這樣并不是本文期望的,如果這種情況發(fā)生,解碼器會完全忽略編碼器的結(jié)果,即無論輸入何種文本序列,輸出的文本序列都相同。

    訓(xùn)練事件描述生成器時(shí),為了避免上述情況,式(2)的兩部分需處在平衡狀態(tài):NLL 部分較小且KL 散度較小但不為零。本文使用了兩種方式來達(dá)到此目標(biāo)。

    首先,在訓(xùn)練過程中,將后半項(xiàng)的系數(shù)置為0,以訓(xùn)練前半項(xiàng);再慢慢將后半項(xiàng)的系數(shù)增加,至1 為止,以訓(xùn)練后半項(xiàng)。在實(shí)現(xiàn)過程中,使用式(14)來調(diào)整后半項(xiàng)的權(quán)重,同時(shí)為了使后半項(xiàng)的值穩(wěn)定在合適范圍,本文將前半項(xiàng)的系數(shù)設(shè)置為79。

    第二是使用dropout 層,即隨機(jī)地將輸入文本的某些詞替換為“_”。采用這種方式的初衷是弱化編碼器對上一步生成文本序列的依賴,以迫使其使用之前編碼器得到的編碼結(jié)果來恢復(fù)輸入的文本序列。

    4 實(shí)驗(yàn)結(jié)果和分析

    本文首先用短文本單獨(dú)訓(xùn)練事件描述生成器,以考察變分自編碼器的訓(xùn)練過程及在處理自然語言中的表現(xiàn);然后使用GAN_PG 進(jìn)行正式訓(xùn)練,并考察生成的文本和真實(shí)的事件描述的接近程度;最后用訓(xùn)練好的GAN_PG 生成新的事件描述,以此證明GAN_PG 生成的事件描述在文法和語義上都是一致連貫的。

    4.1 數(shù)據(jù)集及評估指標(biāo)

    本次實(shí)驗(yàn)使用的語料來自Meetup 平臺洛杉磯市的真實(shí)事件,具體語料信息如表1 所示。在進(jìn)行訓(xùn)練前,本文對語料庫進(jìn)行了如下預(yù)處理:1)去除非英文單詞;2)將數(shù)字替換成“#”;3)將出現(xiàn)次數(shù)少于5次的詞替換為“<ukn>”。

    表1 數(shù)據(jù)集信息Tab.1 Information of dataset

    衡量生成的事件描述質(zhì)量時(shí),采用文獻(xiàn)[17]提出的BLEU文本評估方法和文獻(xiàn)[18]的用法。BLEU 起初被用于衡量機(jī)器翻譯的質(zhì)量,其設(shè)計(jì)思想是翻譯后得到的文本與參考文本越接近越好,所以適合衡量生成的文本與現(xiàn)實(shí)事件描述的接近程度。BLEU 采用一種n-gram 的匹配規(guī)則,即比較譯文和參考譯文之間n組詞的相似的占比。BLEU的計(jì)算公式如下:

    其中:BP為長度懲罰因子,Wn=1/n,Pn為各階n-gram 的精度。

    在實(shí)驗(yàn)中,本文使用了BLEU-4,即采用4-gram 作為采集窗口的BLEU 值。BLEU 值在[0,1),越接近1,則表示生成文本和參考文本越接近。

    同時(shí),為了衡量GAN_PG 的質(zhì)量,本文使用評分分布作為衡量指標(biāo),即比較生成文本在判別模型的評分分布與真實(shí)文本評分分布。由于生成模型和判別模型都處于理想狀態(tài)下的GAN_PG,為了滿足納什均衡的條件,其生成模型的評分分布一定是無限接近于真實(shí)文本的評分分布的。因此,本文選擇使用評分分布的差異來衡量GAN_PG的質(zhì)量。

    4.2 訓(xùn)練事件描述生成模型

    本文使用第3 章的技巧,使用分句后的事件描述來訓(xùn)練事件描述生成模型,訓(xùn)練過程中的損失函數(shù)變化如圖3 所示。在經(jīng)歷了大約120 000 輪的訓(xùn)練后,NLL 和KL 值都趨于穩(wěn)定,最后NLL值停留在1.3附近,而KL散度停留在7附近。

    圖3 NLL和KL值的變化Fig.3 Change of NLL and KL values

    1)在已知樣本周圍采樣。

    將對已知樣本的隱編碼z~p(z|x)進(jìn)行采樣,其中x為已知的文本序列,即事件描述。p(z|x)為編碼過程,本文通過式(3)進(jìn)行采樣。通過此舉,可以對生成器認(rèn)為相似的句子作總體了解。實(shí)驗(yàn)結(jié)果如表2所示。

    表2 已知樣本采樣結(jié)果Tab.2 Sampling results of known samples

    2)隨機(jī)采樣。

    對未知的隱編碼進(jìn)行采樣,同時(shí)檢驗(yàn)在編碼空間中相鄰點(diǎn)的編碼結(jié)果的語義一致性和文法一致性。先在隱空間中進(jìn)行采樣,獲得隱編碼z1、z2~Normal(0,1),然后在兩點(diǎn)之間進(jìn)行線性插值,獲得編碼集合{zi}=t*z1+(1-t)*z2,0 ≤t≤1。隨后再對集合{zi}進(jìn)行采樣,采樣結(jié)果見表3。

    表3 隨機(jī)采樣結(jié)果(加粗為起點(diǎn)和終點(diǎn))Tab.3 Random sampling results(sentences in bold as start and end)

    從采樣的結(jié)果可以看出,這些句子在文法上都是通暢的,且相鄰的句子的語義也保持連貫性。例如“the event is free,but donations will be greatly appreciated.”和“the event is free,but you must rsvp on meetup.”。這也證明文本生成器的編碼器已學(xué)到如何在編碼的同時(shí)保持文本間語義和文法的連貫和一致性。

    4.3 訓(xùn)練GAN_PG

    按照第3 章的方法來對生成模型進(jìn)行預(yù)訓(xùn)練,并使用最小化均方誤差來預(yù)訓(xùn)練判別模型。正式訓(xùn)練時(shí),設(shè)置g-step為5,d-step 為1。使用的語料庫與前文幾乎相同,唯一差異是未將事件描述拆分成句子,而是將整個(gè)事件描述輸入。為了控制文本序列的長度,本文只使用了長度小于500 的事件描述。

    圖4 為分別訓(xùn)練了1,2,4 個(gè)epoch 后,生成模型隨機(jī)采樣1 000 次產(chǎn)生的文本序列在評價(jià)模型獲得的評價(jià)分布與真實(shí)數(shù)據(jù)獲得評價(jià)分布的對比??梢钥吹?,多輪訓(xùn)練后,生成文本的評價(jià)分布更接近真實(shí)文本,這也表明GAN_PG 的生成模型已學(xué)到如何生成高評價(jià)的文本序列,同時(shí)判別模型也學(xué)會如何分辨生成文本,并且g-step和d-step的設(shè)置也相對合理。

    圖4 多輪訓(xùn)練后的評分分布Fig.4 Score distribution after multiple rounds of training

    采用真實(shí)文本作為參考語料庫,針對隨機(jī)采樣所生成的1 000 個(gè)樣本,預(yù)訓(xùn)練結(jié)束后的BLEU 值為0.64,訓(xùn)練4 個(gè)epoch后的BLEU 值為0.67,訓(xùn)練后的BLEU 有所提高,說明生成的文本更接近真實(shí)文本。

    4.4 生成新的事件描述

    在完成訓(xùn)練后,本文采用GAN_PG 中的生成模型來生成新的事件描述。由于使用了變分自編碼器,只需在隱空間中進(jìn)行服從0-1 高斯分布的隨機(jī)采樣便可借助解碼器來獲得新的事件描述。為了減少隨機(jī)性,本文還使用束搜索來最大化當(dāng)前文本序列出現(xiàn)的概率。表4 為部分隨機(jī)采樣下生成的新事件描述,其文法通順,語義連貫。

    表4 隨機(jī)采樣下生成的新事件描述Tab.4 New event descriptions generated under random sampling

    5 結(jié)語

    本文采用了變分自編碼器作為生成模型,采用帶GRU 的神經(jīng)網(wǎng)絡(luò)作為判別模型,組成了生成對抗網(wǎng)絡(luò)GAN_PG。對從Meetup平臺采集的數(shù)據(jù)進(jìn)行多輪訓(xùn)練,實(shí)驗(yàn)證明,GAN_PG可以無監(jiān)督地生成高質(zhì)量的事件描述,并且生成事件描述的評價(jià)分布也與真實(shí)的事件描述類似,且BLEU-4 值為0.67,表明生成的事件描述與真實(shí)事件描述是相似的。本次研究探索了英文事件描述的生成方法,此方法進(jìn)一步完備后可轉(zhuǎn)化為EBSN 平臺的事件描述自動(dòng)生成功能,促進(jìn)平臺智能化發(fā)展。后續(xù)的研究中,擬借助類似方法嘗試生成中文事件描述。

    猜你喜歡
    文本模型
    一半模型
    重要模型『一線三等角』
    初中群文閱讀的文本選擇及組織
    甘肅教育(2020年8期)2020-06-11 06:10:02
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    在808DA上文本顯示的改善
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    3D打印中的模型分割與打包
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    論《柳毅傳》對前代文本的繼承與轉(zhuǎn)化
    人間(2015年20期)2016-01-04 12:47:10
    FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
    国产有黄有色有爽视频| 国产精品免费视频内射| 成人18禁高潮啪啪吃奶动态图| 国产精品秋霞免费鲁丝片| 久久午夜亚洲精品久久| 麻豆av在线久日| 最近最新免费中文字幕在线| 成年人黄色毛片网站| 久久精品亚洲av国产电影网| 视频在线观看一区二区三区| 精品福利永久在线观看| 亚洲精华国产精华精| 久久天躁狠狠躁夜夜2o2o| 一区二区三区精品91| 69av精品久久久久久 | 国产无遮挡羞羞视频在线观看| 国产精品久久久av美女十八| 最近最新中文字幕大全免费视频| 18禁裸乳无遮挡动漫免费视频| 黑人操中国人逼视频| 亚洲全国av大片| 老汉色av国产亚洲站长工具| 日韩有码中文字幕| 黑人操中国人逼视频| 老熟女久久久| 国产精品自产拍在线观看55亚洲 | 亚洲中文日韩欧美视频| 91字幕亚洲| 久久久水蜜桃国产精品网| 嫁个100分男人电影在线观看| 一级毛片电影观看| 国产亚洲一区二区精品| 十八禁网站网址无遮挡| 高清毛片免费观看视频网站 | 99riav亚洲国产免费| www.精华液| 免费日韩欧美在线观看| 精品一品国产午夜福利视频| 日韩大码丰满熟妇| av一本久久久久| 国产精品一区二区精品视频观看| 亚洲视频免费观看视频| 日本av免费视频播放| 丰满迷人的少妇在线观看| 亚洲精品成人av观看孕妇| 久久精品aⅴ一区二区三区四区| 亚洲精品中文字幕一二三四区 | 宅男免费午夜| 欧美人与性动交α欧美精品济南到| 久久人妻av系列| 一边摸一边做爽爽视频免费| 一本一本久久a久久精品综合妖精| 最新的欧美精品一区二区| 国产片内射在线| 9热在线视频观看99| 99re在线观看精品视频| 1024视频免费在线观看| 亚洲欧美日韩高清在线视频 | 十分钟在线观看高清视频www| netflix在线观看网站| 人人妻,人人澡人人爽秒播| 黑丝袜美女国产一区| 国产麻豆69| 美女福利国产在线| 亚洲美女黄片视频| a级毛片在线看网站| 免费av中文字幕在线| 国产精品99久久99久久久不卡| 一个人免费看片子| 国产成人精品无人区| 狂野欧美激情性xxxx| 久久久久精品国产欧美久久久| av电影中文网址| 国产日韩欧美视频二区| 啦啦啦免费观看视频1| 久久久久久久精品吃奶| 多毛熟女@视频| 国产精品免费视频内射| 高清视频免费观看一区二区| 久久久精品国产亚洲av高清涩受| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲久久久国产精品| 精品人妻熟女毛片av久久网站| 欧美 亚洲 国产 日韩一| 黄色视频在线播放观看不卡| 国产视频一区二区在线看| 亚洲成国产人片在线观看| 高清在线国产一区| 精品免费久久久久久久清纯 | 国产精品欧美亚洲77777| 手机成人av网站| 午夜福利一区二区在线看| 亚洲av国产av综合av卡| 真人做人爱边吃奶动态| 国产在线观看jvid| 中国美女看黄片| 黑人欧美特级aaaaaa片| 亚洲av成人不卡在线观看播放网| 亚洲精品中文字幕一二三四区 | 久久久久精品人妻al黑| 99热国产这里只有精品6| 在线观看免费高清a一片| 欧美+亚洲+日韩+国产| 天天添夜夜摸| 国产亚洲午夜精品一区二区久久| 老司机靠b影院| 亚洲精品国产精品久久久不卡| bbb黄色大片| 久久精品国产综合久久久| 天天躁狠狠躁夜夜躁狠狠躁| 母亲3免费完整高清在线观看| 免费av中文字幕在线| 激情视频va一区二区三区| 久久久久精品人妻al黑| 欧美黄色淫秽网站| 变态另类成人亚洲欧美熟女 | 色播在线永久视频| 一区二区日韩欧美中文字幕| 美女主播在线视频| 中文字幕精品免费在线观看视频| 国产精品免费一区二区三区在线 | 色婷婷av一区二区三区视频| 在线观看66精品国产| 免费在线观看完整版高清| 最黄视频免费看| 丰满少妇做爰视频| 男女无遮挡免费网站观看| 又大又爽又粗| 精品卡一卡二卡四卡免费| 一个人免费看片子| 日本av免费视频播放| 亚洲成人手机| 亚洲国产毛片av蜜桃av| 一边摸一边抽搐一进一小说 | 亚洲国产成人一精品久久久| 99精品欧美一区二区三区四区| 大陆偷拍与自拍| 精品乱码久久久久久99久播| 成年人免费黄色播放视频| 狠狠婷婷综合久久久久久88av| 大香蕉久久成人网| av国产精品久久久久影院| 老熟妇仑乱视频hdxx| 99国产综合亚洲精品| 久久久久视频综合| 国产无遮挡羞羞视频在线观看| 女人久久www免费人成看片| 久久久久久亚洲精品国产蜜桃av| 激情视频va一区二区三区| 91成年电影在线观看| 大码成人一级视频| 美女视频免费永久观看网站| 极品教师在线免费播放| 亚洲国产中文字幕在线视频| 午夜精品国产一区二区电影| 久久久久久久久久久久大奶| 99国产精品99久久久久| avwww免费| 日本av免费视频播放| 黑人操中国人逼视频| 在线观看免费视频网站a站| 国产色视频综合| 精品国产国语对白av| 亚洲精品久久成人aⅴ小说| 中文欧美无线码| 精品少妇内射三级| 一进一出好大好爽视频| 国产97色在线日韩免费| 美女视频免费永久观看网站| 老鸭窝网址在线观看| 人人妻人人添人人爽欧美一区卜| 99国产极品粉嫩在线观看| cao死你这个sao货| 窝窝影院91人妻| 精品亚洲乱码少妇综合久久| 一区二区三区精品91| 精品卡一卡二卡四卡免费| 久久亚洲精品不卡| 黄色片一级片一级黄色片| a级毛片黄视频| 男女床上黄色一级片免费看| 亚洲精品国产一区二区精华液| 免费在线观看影片大全网站| 老鸭窝网址在线观看| 久久青草综合色| 波多野结衣av一区二区av| a在线观看视频网站| 亚洲av成人一区二区三| 免费在线观看完整版高清| 色婷婷av一区二区三区视频| 国产无遮挡羞羞视频在线观看| 丝袜美腿诱惑在线| 窝窝影院91人妻| 国产真人三级小视频在线观看| 制服诱惑二区| 国产精品1区2区在线观看. | 少妇的丰满在线观看| 天天躁日日躁夜夜躁夜夜| 国产欧美日韩一区二区三| 久久久精品94久久精品| 国产在线一区二区三区精| 久久久国产精品麻豆| 日本wwww免费看| 一级毛片精品| 飞空精品影院首页| 51午夜福利影视在线观看| 国产日韩一区二区三区精品不卡| 免费少妇av软件| 中文欧美无线码| 我要看黄色一级片免费的| 亚洲成人国产一区在线观看| 国产精品秋霞免费鲁丝片| 欧美精品亚洲一区二区| videosex国产| 黄片播放在线免费| 午夜福利欧美成人| 日本vs欧美在线观看视频| 久热爱精品视频在线9| 女性生殖器流出的白浆| 亚洲欧洲精品一区二区精品久久久| 嫩草影视91久久| 免费看十八禁软件| 搡老熟女国产l中国老女人| 亚洲第一青青草原| 大片电影免费在线观看免费| 少妇粗大呻吟视频| 高清黄色对白视频在线免费看| 久久久精品94久久精品| 在线十欧美十亚洲十日本专区| 亚洲少妇的诱惑av| 免费高清在线观看日韩| 精品国产亚洲在线| 叶爱在线成人免费视频播放| av国产精品久久久久影院| av欧美777| 国产国语露脸激情在线看| 少妇 在线观看| 黑丝袜美女国产一区| 久久热在线av| av视频免费观看在线观看| 99热网站在线观看| 亚洲 国产 在线| 中亚洲国语对白在线视频| 午夜日韩欧美国产| 黄色视频不卡| 一级毛片电影观看| 搡老岳熟女国产| 国产熟女午夜一区二区三区| 在线十欧美十亚洲十日本专区| 成年人免费黄色播放视频| 一级毛片电影观看| 亚洲国产毛片av蜜桃av| 亚洲成a人片在线一区二区| 精品一区二区三区视频在线观看免费 | 中文字幕高清在线视频| 深夜精品福利| 熟女少妇亚洲综合色aaa.| 欧美亚洲日本最大视频资源| 视频在线观看一区二区三区| 亚洲色图av天堂| 亚洲av电影在线进入| 最近最新中文字幕大全电影3 | 日韩欧美一区二区三区在线观看 | 国产97色在线日韩免费| 韩国精品一区二区三区| 精品国产乱码久久久久久小说| 又紧又爽又黄一区二区| 啪啪无遮挡十八禁网站| 国产精品熟女久久久久浪| 成人亚洲精品一区在线观看| 99精品在免费线老司机午夜| 亚洲男人天堂网一区| 老司机福利观看| 男人舔女人的私密视频| 免费观看a级毛片全部| 久热爱精品视频在线9| 狠狠婷婷综合久久久久久88av| 久久青草综合色| av欧美777| 亚洲免费av在线视频| 在线观看www视频免费| 一二三四社区在线视频社区8| 久久九九热精品免费| 99久久99久久久精品蜜桃| 国产精品久久久av美女十八| 精品久久久久久久毛片微露脸| 久久久久国产一级毛片高清牌| 成年人午夜在线观看视频| 久久天堂一区二区三区四区| 亚洲色图 男人天堂 中文字幕| 精品少妇内射三级| 亚洲少妇的诱惑av| 国产伦人伦偷精品视频| 亚洲成人手机| 日韩熟女老妇一区二区性免费视频| 欧美久久黑人一区二区| a级片在线免费高清观看视频| 色综合欧美亚洲国产小说| av天堂在线播放| av福利片在线| 国产成人欧美| 欧美人与性动交α欧美精品济南到| 精品少妇一区二区三区视频日本电影| 国产成人精品久久二区二区91| 天天躁日日躁夜夜躁夜夜| 国产精品九九99| 最新美女视频免费是黄的| 精品一品国产午夜福利视频| 美女扒开内裤让男人捅视频| 美女午夜性视频免费| 菩萨蛮人人尽说江南好唐韦庄| 少妇粗大呻吟视频| 欧美日韩一级在线毛片| 老司机靠b影院| 亚洲五月婷婷丁香| 亚洲成人免费电影在线观看| 汤姆久久久久久久影院中文字幕| 亚洲精品成人av观看孕妇| 纵有疾风起免费观看全集完整版| 欧美性长视频在线观看| 狠狠狠狠99中文字幕| 天天躁日日躁夜夜躁夜夜| 成人免费观看视频高清| 日日摸夜夜添夜夜添小说| 日韩欧美三级三区| 亚洲情色 制服丝袜| 人妻 亚洲 视频| av网站在线播放免费| 在线观看人妻少妇| 国产成人欧美在线观看 | 性高湖久久久久久久久免费观看| 啦啦啦在线免费观看视频4| 一本一本久久a久久精品综合妖精| 在线播放国产精品三级| 热99久久久久精品小说推荐| 制服人妻中文乱码| a级片在线免费高清观看视频| 色尼玛亚洲综合影院| 乱人伦中国视频| 一区二区三区精品91| 久久国产精品影院| 麻豆av在线久日| 欧美精品亚洲一区二区| 中国美女看黄片| av免费在线观看网站| 啪啪无遮挡十八禁网站| 久久国产精品影院| 在线观看免费日韩欧美大片| 日本黄色视频三级网站网址 | 欧美国产精品一级二级三级| 他把我摸到了高潮在线观看 | 亚洲精品美女久久久久99蜜臀| 欧美久久黑人一区二区| 老汉色av国产亚洲站长工具| 久久 成人 亚洲| 国产精品九九99| 日日摸夜夜添夜夜添小说| 国产麻豆69| 成人av一区二区三区在线看| 最黄视频免费看| 女人被躁到高潮嗷嗷叫费观| 制服诱惑二区| 天天躁夜夜躁狠狠躁躁| aaaaa片日本免费| 999精品在线视频| 亚洲色图 男人天堂 中文字幕| 另类精品久久| 久久久久久久久久久久大奶| 精品少妇一区二区三区视频日本电影| 久久性视频一级片| 麻豆成人av在线观看| 亚洲av国产av综合av卡| 在线观看www视频免费| 久久性视频一级片| 亚洲国产成人一精品久久久| 国产麻豆69| av天堂在线播放| 夜夜夜夜夜久久久久| 亚洲全国av大片| 热99re8久久精品国产| 12—13女人毛片做爰片一| 如日韩欧美国产精品一区二区三区| 午夜激情av网站| 久久精品91无色码中文字幕| 在线观看www视频免费| 欧美乱妇无乱码| 国产成人欧美| 在线观看免费午夜福利视频| www.自偷自拍.com| 一本色道久久久久久精品综合| 欧美av亚洲av综合av国产av| 欧美中文综合在线视频| 欧美在线黄色| 午夜久久久在线观看| 国产精品影院久久| 大码成人一级视频| 日韩欧美一区二区三区在线观看 | 热re99久久国产66热| 国产精品免费一区二区三区在线 | 国产成+人综合+亚洲专区| 精品国产乱码久久久久久男人| 欧美人与性动交α欧美软件| 少妇裸体淫交视频免费看高清 | 大片电影免费在线观看免费| 欧美av亚洲av综合av国产av| 午夜成年电影在线免费观看| 国产伦理片在线播放av一区| 啦啦啦视频在线资源免费观看| 成人亚洲精品一区在线观看| 又黄又粗又硬又大视频| 男女下面插进去视频免费观看| 一边摸一边抽搐一进一出视频| av网站免费在线观看视频| 757午夜福利合集在线观看| 一个人免费在线观看的高清视频| 色综合婷婷激情| 99精国产麻豆久久婷婷| 一边摸一边抽搐一进一出视频| 色精品久久人妻99蜜桃| 欧美亚洲日本最大视频资源| 极品人妻少妇av视频| tube8黄色片| 美女扒开内裤让男人捅视频| 日韩欧美三级三区| 怎么达到女性高潮| 精品乱码久久久久久99久播| 国产99久久九九免费精品| 19禁男女啪啪无遮挡网站| 黑人欧美特级aaaaaa片| 色94色欧美一区二区| 国产在视频线精品| 亚洲av欧美aⅴ国产| 中文亚洲av片在线观看爽 | 啦啦啦在线免费观看视频4| 一个人免费在线观看的高清视频| 老司机亚洲免费影院| 久久人妻熟女aⅴ| 97人妻天天添夜夜摸| 超色免费av| 久久久久久久大尺度免费视频| 国产麻豆69| 免费少妇av软件| 多毛熟女@视频| 高清毛片免费观看视频网站 | 丝袜美足系列| 国产野战对白在线观看| 午夜精品久久久久久毛片777| av免费在线观看网站| 亚洲精品一二三| 国产成人欧美在线观看 | 亚洲人成电影观看| netflix在线观看网站| 国产av精品麻豆| 午夜老司机福利片| 久久婷婷成人综合色麻豆| 一级片免费观看大全| 王馨瑶露胸无遮挡在线观看| 美女高潮喷水抽搐中文字幕| 多毛熟女@视频| 国产不卡一卡二| 国产区一区二久久| 在线观看66精品国产| 麻豆成人av在线观看| 午夜福利免费观看在线| 国产单亲对白刺激| 手机成人av网站| 99国产综合亚洲精品| 两个人看的免费小视频| 亚洲第一av免费看| 99久久国产精品久久久| 久久久精品区二区三区| 一边摸一边抽搐一进一小说 | 欧美黑人欧美精品刺激| 多毛熟女@视频| 久久精品aⅴ一区二区三区四区| 自拍欧美九色日韩亚洲蝌蚪91| 国产精品久久久久久精品古装| 亚洲人成电影观看| 亚洲精品成人av观看孕妇| 久久免费观看电影| 97人妻天天添夜夜摸| 国产成人精品久久二区二区91| 免费在线观看视频国产中文字幕亚洲| 国内毛片毛片毛片毛片毛片| 午夜日韩欧美国产| 成人亚洲精品一区在线观看| 亚洲中文日韩欧美视频| 午夜福利免费观看在线| 国产成人精品久久二区二区免费| 人人妻人人澡人人爽人人夜夜| 一区二区三区国产精品乱码| 亚洲精品粉嫩美女一区| 亚洲欧美日韩高清在线视频 | 国产精品免费大片| 欧美黑人精品巨大| 伦理电影免费视频| 女性生殖器流出的白浆| 9热在线视频观看99| 免费观看a级毛片全部| 精品亚洲成国产av| 国产精品 欧美亚洲| 国产午夜精品久久久久久| 一本久久精品| 国产黄频视频在线观看| 精品亚洲乱码少妇综合久久| 国产精品欧美亚洲77777| 十八禁网站网址无遮挡| 又黄又粗又硬又大视频| 中文欧美无线码| 日韩欧美国产一区二区入口| 法律面前人人平等表现在哪些方面| 亚洲久久久国产精品| 一本大道久久a久久精品| 一级片免费观看大全| 国产成人欧美| 国产单亲对白刺激| 天堂动漫精品| 中文字幕精品免费在线观看视频| 欧美日韩成人在线一区二区| 涩涩av久久男人的天堂| 成人影院久久| 亚洲九九香蕉| 久久久久久免费高清国产稀缺| 欧美黄色淫秽网站| 黄片小视频在线播放| 精品少妇内射三级| 国产黄色免费在线视频| 99久久人妻综合| 夫妻午夜视频| 午夜福利免费观看在线| 精品少妇一区二区三区视频日本电影| 精品久久久久久电影网| 热99久久久久精品小说推荐| 久久精品国产综合久久久| 夜夜爽天天搞| www.自偷自拍.com| 国产高清videossex| videosex国产| 中文字幕精品免费在线观看视频| 69av精品久久久久久 | 日韩一卡2卡3卡4卡2021年| 国产一区有黄有色的免费视频| 亚洲国产欧美在线一区| 久久久欧美国产精品| 99久久99久久久精品蜜桃| 这个男人来自地球电影免费观看| www.自偷自拍.com| 亚洲欧洲精品一区二区精品久久久| 黑丝袜美女国产一区| 日韩中文字幕欧美一区二区| 成人国产av品久久久| 一级片'在线观看视频| 国产午夜精品久久久久久| 97人妻天天添夜夜摸| 日本wwww免费看| 国产一卡二卡三卡精品| 高清欧美精品videossex| 后天国语完整版免费观看| 在线观看一区二区三区激情| 久久人人爽av亚洲精品天堂| 满18在线观看网站| 男人舔女人的私密视频| 亚洲欧洲精品一区二区精品久久久| 大陆偷拍与自拍| 激情视频va一区二区三区| 亚洲第一欧美日韩一区二区三区 | 久久影院123| 99国产综合亚洲精品| 999久久久精品免费观看国产| 成年女人毛片免费观看观看9 | 亚洲精品美女久久av网站| 窝窝影院91人妻| 一级片免费观看大全| 精品人妻1区二区| 天堂8中文在线网| 男女下面插进去视频免费观看| 久久人人97超碰香蕉20202| 正在播放国产对白刺激| 国内毛片毛片毛片毛片毛片| 国产成人欧美| 成人18禁在线播放| 欧美激情高清一区二区三区| 12—13女人毛片做爰片一| 国产精品欧美亚洲77777| 精品国产一区二区三区久久久樱花| 丰满饥渴人妻一区二区三| 色综合欧美亚洲国产小说| 亚洲av日韩精品久久久久久密| 麻豆乱淫一区二区| 91麻豆av在线| 国产免费现黄频在线看| 建设人人有责人人尽责人人享有的| 欧美一级毛片孕妇| 国产免费现黄频在线看| 在线观看www视频免费| 人妻久久中文字幕网| 午夜福利免费观看在线| 在线观看www视频免费| 高清av免费在线| 黑丝袜美女国产一区| 欧美亚洲日本最大视频资源| 欧美国产精品一级二级三级| 欧美激情高清一区二区三区| 老熟妇仑乱视频hdxx| 中文字幕最新亚洲高清| 狠狠狠狠99中文字幕| 99久久人妻综合| 精品国产乱子伦一区二区三区| 久久免费观看电影| 欧美av亚洲av综合av国产av| 国产免费视频播放在线视频| 一区二区三区精品91| 在线观看免费视频网站a站| 久久精品国产综合久久久| 久9热在线精品视频|