基于生成對(duì)抗網(wǎng)絡(luò)的事件描述生成

孫鶴立，孫玉柱，2*，張曉云

（1.西安交通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，西安 710049；2.西安交通大學(xué)外國(guó)語學(xué)院，西安 710049）

（*通信作者電子郵箱sunyuzhu12@xjtu.edu.cn）

0 引言

社交事件是基于事件的社會(huì)網(wǎng)絡(luò)（Event-Based Social Network，EBSN）［1］的核心要素，驅(qū)動(dòng)了線上和線下網(wǎng)絡(luò)的整體運(yùn)行。事件描述是事件的重要屬性，可綜合包含事件意義、安排、特點(diǎn)等多種信息，不但可輔助用戶決策是否參加該事件，而且給了組織者最大的自由度來使事件更有吸引力。目前，主流社交平臺(tái)如Meetup、豆瓣中的事件描述均為人工生成，由于受到語言描述能力和對(duì)事件描述認(rèn)知層次的影響，事件描述出現(xiàn)了描述貧乏或描述過度、要素覆蓋不全、語言吸引力不強(qiáng)的現(xiàn)象，導(dǎo)致事件參與人數(shù)不符合預(yù)期，且人工生成事件描述工作量較大，為事件組織者增加負(fù)擔(dān)。本文采用自然語言處理模型生成高質(zhì)量的事件描述供組織者參考，以幫助組織者快速形成豐富、準(zhǔn)確、高吸引力的事件描述。

事件描述的生成算法最終會(huì)應(yīng)用到EBSN 平臺(tái)中，優(yōu)秀的算法不但可以生成高質(zhì)量文本，同時(shí)還需要滿足無監(jiān)督的特點(diǎn)。為了滿足以上特點(diǎn)，本文中研究了多種語言生成模型。

2011 年，文獻(xiàn)［2］中提出了循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型（Recurrent Neural Network Language Modeling，RNNLM）被廣泛應(yīng)用，并多次被應(yīng)用在文本生成實(shí)踐中。文獻(xiàn)［3］中對(duì)RNNLM 做了改進(jìn)，使用單個(gè)字符而非單個(gè)單詞作為輸入，在RNNLM 前加入了卷積層和highway 層，使得模型從字符的角度，而非單詞的角度學(xué)會(huì)了如何表達(dá)自然語言。實(shí)驗(yàn)證明他們的改進(jìn)模型能大幅減少參數(shù)數(shù)量，并且在學(xué)習(xí)富詞法語言中，表現(xiàn)優(yōu)于傳統(tǒng)的以詞為最小單位的語言模型。

為了令RNNLM 在生成文本時(shí)不但依賴當(dāng)前狀態(tài)，而且依賴某個(gè)全局表達(dá)，Seq2Seq 模型被提出，生成文本的過程變?yōu)榫幋a-解碼的過程。編碼器首先將某段文本表示為一個(gè)隱向量，再通過解碼器解碼，以控制輸出文本的效果。在編碼器的選擇上，有許多不同方案，文獻(xiàn)［4］率先將變分自編碼器引入文本生成中，利用變分自編碼器采樣得到編碼的特性，令隱編碼能夠服從特定分布，從而保證了編碼的連續(xù)性和局部相關(guān)性。文獻(xiàn)［5］同樣利用變分自編碼器編碼空間連續(xù)的特性，通過對(duì)特定文本編碼進(jìn)行梯度上升操作來最大化某個(gè)目標(biāo)函數(shù)，從而達(dá)到改進(jìn)某段文本的目的。

基于RNNLM 的生成方法多基于極大似然估計(jì)，在模型訓(xùn)練時(shí)能夠很好地通過反向轉(zhuǎn)播更新參數(shù)，并獲得跟訓(xùn)練集極為相似的結(jié)果，然而這些方法又易于過擬合，導(dǎo)致生成文本質(zhì)量不高，文本多樣性低。

為了令生成的文本更接近真實(shí)文本，并且滿足無監(jiān)督的條件，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Net，GAN）成為最佳選擇。生成對(duì)抗網(wǎng)絡(luò)2014 年誕生于計(jì)算機(jī)視覺領(lǐng)域，是近年來迅速發(fā)展的一種無監(jiān)督深度學(xué)習(xí)技術(shù)。GAN 的本質(zhì)是尋找兩個(gè)不同分布之間的映射，這兩個(gè)分布通常為先驗(yàn)噪聲分布和真實(shí)數(shù)據(jù)樣本分布，這種特質(zhì)導(dǎo)致它在圖像生成領(lǐng)域具有天然的優(yōu)勢(shì)，不過把它應(yīng)用到文本生成時(shí)卻遇到了困難，主要因?yàn)樯善魃傻奈谋緮?shù)據(jù)是離散的、不可微的，因此判別器無法將信息反向傳播給生成器，導(dǎo)致生成器無法更新［6］。

鑒于以上問題，目前主流的解決辦法是將GAN 與強(qiáng)化學(xué)習(xí)中策略梯度的思想結(jié)合起來，把文本生成構(gòu)建為一個(gè)連續(xù)的決策過程，通過策略梯度算法來估計(jì)生成器的梯度。使用這個(gè)方法的突出代表主要有文獻(xiàn)［7］提出的SeqGAN，SeqGAN使用RNNLM 作為生成模型，同時(shí)使用帶卷積層的神經(jīng)網(wǎng)絡(luò)作為判別模型來訓(xùn)練生成模型，很好地解決了文本的離散性問題，并且性能較高。文獻(xiàn)［8］也采用了類似的結(jié)構(gòu)，通過訓(xùn)練生成模型生成評(píng)分勝過真實(shí)訓(xùn)練數(shù)據(jù)的文本，生成了足夠真實(shí)的文本序列。

目前生成對(duì)抗網(wǎng)絡(luò)已經(jīng)用于法律文本生成［9］、醫(yī)療文本生成［10］等多個(gè)場(chǎng)景，但鮮有學(xué)者將生成對(duì)抗網(wǎng)絡(luò)用于EBSN平臺(tái)，尤其是生成事件描述。本文設(shè)計(jì)了生成對(duì)抗網(wǎng)絡(luò)GAN_PG，以無監(jiān)督地生成高質(zhì)量的事件描述。為了保證編碼的連續(xù)性和局部相關(guān)性，采用帶變分編碼器的網(wǎng)絡(luò)作為事件描述生成模型，為了對(duì)文本有良好的分類效果，采用帶控循環(huán)單元（Gated Recurrent Unit，GRU）的神經(jīng)網(wǎng)絡(luò)作為判別模型。實(shí)驗(yàn)結(jié)果表明，通過大量訓(xùn)練后，設(shè)計(jì)的生成對(duì)抗網(wǎng)絡(luò)生成事件描述的BLEU-4 值達(dá)到了0.67，證明了提出的事件描述生成模型GAN_PG 可以無監(jiān)督地產(chǎn)生與自然語言足夠相似的事件描述。

1 相關(guān)模型原理

為了更清楚地表現(xiàn)模型的計(jì)算過程，本章簡(jiǎn)要介紹生成對(duì)抗網(wǎng)絡(luò)、變分自編碼器和帶GRU的神經(jīng)網(wǎng)絡(luò)的原理。

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是Goodfellow 等［11］于2014 年提出的，已經(jīng)成為主流生成模型框架之一。它包含生成模型和判別模型，通過生成模型和判別模型的反復(fù)博弈來提高生成質(zhì)量。在訓(xùn)練過程中，生成模型的目標(biāo)是生成能夠讓判別模型無法分辨出其和真實(shí)數(shù)據(jù)區(qū)別的樣本，而判別模型的訓(xùn)練目標(biāo)則是將生成模型生成的假樣本從真實(shí)樣本中區(qū)分開來。標(biāo)準(zhǔn)的生成對(duì)抗網(wǎng)絡(luò)最大化判別模型正確分類的概率，同時(shí)最小化生成模型所生成的樣本被判別器正確分類的概率：

其中：D、G分別表示判別和生成模型，data表示真實(shí)數(shù)據(jù)集，Gθ表示生成模型產(chǎn)生的假數(shù)據(jù)。

1.2 變分自編碼器

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，可以很好地刻畫詞匯的前后關(guān)聯(lián)，它十分強(qiáng)大，幾乎可以擬合任何分布。循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型（RNNLM）是利用RNN 對(duì)語言建模，用來描述語言序列的產(chǎn)生過程，與RNN 相比，多了詞向量層（embedding）和softmax層［12］。

變分自編碼器（Variational Auto-Encoder，VAE）于2013 年由Kingma 等［13］提出，2016 年Doersch［14］對(duì)VAE 做了更詳細(xì)的介紹。變分自編碼器是傳統(tǒng)的RNN 編碼器的改進(jìn)型，對(duì)隱空間中的z→編碼加入了先驗(yàn)分布，并在目標(biāo)函數(shù)中通過KL（Kullback-Leibler）散度來縮小實(shí)際分布和先驗(yàn)分布的距離，以此來強(qiáng)迫編碼器學(xué)到合適的編碼方式；同時(shí)，它通過采樣來生成編碼，這也就保證了隱編碼周圍的點(diǎn)也都是有意義的。變分自編碼器的損失函數(shù)Li（θ，φ）如式（2）：

可以看出，其損失函數(shù)由兩部分構(gòu)成：第一部分是負(fù)對(duì)數(shù)似然損失函數(shù)NLL（Negative Log Likelihood），用來縮小輸入序列和輸出序列的差異；第二個(gè)部分則是KL 散度，其中qθ為編碼器，p(z)為對(duì)隱編碼z的先驗(yàn)分布。

1.3 門控循環(huán)單元

門控循環(huán)單元（GRU）是為了克服傳統(tǒng)RNN 無法很好處理遠(yuǎn)距離依賴而提出的長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的一個(gè)變體，解決了傳統(tǒng)RNN 中出現(xiàn)的梯度彌散問題，在保留了LSTM 網(wǎng)絡(luò)很好的記憶功能的同時(shí)，較少的參數(shù)也使得GRU 的訓(xùn)練過程能夠更快一些。它可以很好地將文本上下文特征的關(guān)聯(lián)進(jìn)行有效地整合，對(duì)文本有良好的分類效果［15］?；谏鲜鎏匦裕Y(jié)合事件描述的文本特點(diǎn)，本文采用帶GRU的神經(jīng)網(wǎng)絡(luò)作為判別模型。

門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)在處理序列文本的同時(shí)，更好地保留了事件描述中原始文本信息，尤其是長(zhǎng)文本中的信息，相較于卷積神經(jīng)網(wǎng)絡(luò)，能夠捕捉更多文本信息，從而提高判斷的準(zhǔn)確率。本文使用文獻(xiàn)［16］中的GRU結(jié)構(gòu)，如圖1所示。

圖1 GRU的結(jié)構(gòu)Fig.1 Structure of GRU

圖中：z［t］為更新門，r［t］為重置門，h［t］為當(dāng)前t時(shí)刻的隱含狀態(tài)，橢圓中為算符，方框表示非線性函數(shù)。

GRU的前向傳播函數(shù)如下：

其中：W、U、b為參數(shù)；xt為輸入向量，ht為輸出向量，zt、rt為更新門和重置門向量。同樣地，根據(jù)鏈?zhǔn)椒▌t，可以得到其反向傳播公式。

2 生成對(duì)抗網(wǎng)絡(luò)GAN_PG

由于本文設(shè)計(jì)的生成對(duì)抗網(wǎng)絡(luò)在訓(xùn)練時(shí)借鑒了強(qiáng)化學(xué)習(xí)中的策略梯度（Policy Gradient，PG）下降，因此本文將其命名為GAN_PG。

2.1 事件描述生成模型

本文參考了文獻(xiàn)［4］中的VAE 結(jié)構(gòu)，在編碼器和解碼器的選擇上，使用了單層GRU。在實(shí)現(xiàn)過程中，使用0-1 高斯分布作為隱編碼的先驗(yàn)問題定義分布。同時(shí)基于文獻(xiàn)［13］中的重采樣技術(shù)，用反向傳播來訓(xùn)練網(wǎng)絡(luò)。抽樣時(shí)，本文并不直接對(duì)隱編碼進(jìn)行采樣，而是通過兩個(gè)線性神經(jīng)網(wǎng)絡(luò)獲得當(dāng)前編碼的平均值標(biāo)準(zhǔn)差然后通過式（6）獲得隱編碼，其中～Normal（0，1）。

圖2 為事件描述生成模型的核心結(jié)構(gòu)，其中z為向量，其他部分為神經(jīng)網(wǎng)絡(luò)，輸入為預(yù)先訓(xùn)練的詞向量。在編碼環(huán)節(jié)完成后，LSTM 的隱狀態(tài)將分別輸入到兩個(gè)線性網(wǎng)絡(luò)中，得到隱編碼分布的平均值ū和方差，然后通過采樣獲得隱編碼，并將其輸入到解碼環(huán)節(jié)。

圖2 生成模型核心結(jié)構(gòu)Fig.2 Core structure of generator

本文將隱編碼連接在解碼器的輸入詞向量最后，以初始化解碼器中的隱狀態(tài)。在實(shí)際的訓(xùn)練過程中，為了防止損失函數(shù)中KL 散度降為0，本文還參考了文獻(xiàn)［4］所采用的策略：在訓(xùn)練剛開始時(shí)設(shè)置KL 散度項(xiàng)的權(quán)重為0，然后慢慢升到1。訓(xùn)練過程分為兩個(gè)階段：第一階段，編碼器從文本序列中學(xué)到盡可能多的信息，但不保證分布符合先驗(yàn)分布；第二階段，通過增加KL散度項(xiàng)的權(quán)重，強(qiáng)迫編碼器編得的隱編碼盡可能接近先驗(yàn)分布。

通過事件描述生成器，可以生成讀上去通順的事件描述。本文有兩種方式可以獲得事件描述：一是在隱編碼空間里面隨機(jī)采樣，這樣生成的事件描述文法通順，但無法保證語義上的一致；二是在已知事件描述的隱編碼周圍采樣，由于采用了變分自編碼器，相似的文本序列的隱編碼在隱空間中也是相近的。本文采用第二種方法，僅在已知事件描述的隱編碼周圍采樣，便可獲得與已知事件描述在文法上相似的新事件描述。生成事件描述后，為了判別事件描述的質(zhì)量，需要引入判別模型。

2.2 GAN_PG的結(jié)構(gòu)

GAN_PG 的生成模型在上一節(jié)中進(jìn)行了介紹，判別模型為帶GRU的神經(jīng)網(wǎng)絡(luò)，其損失函數(shù)如下：

生成模型的損失函數(shù)為最大化式（8），即最大化生成模型在生成序列的每一步中所獲得的評(píng)分。其中G、D分別為生成模型和判別模型，式（8）的前半部分為在隱編碼z和已生成的序列y0：t-1下，生成當(dāng)前yt的概率。式（8）的后半部分為生成模型生成yt在判別模型所獲得的評(píng)分。

接下來度量生成模型所生成的每一步獲得的評(píng)分。因?yàn)榕袆e模型只有在生成模型生成完整個(gè)序列以后，才能對(duì)該序列評(píng)分，而式（8）所要求的是對(duì)生成序列中每一步行為的評(píng)分。本文使用策略梯度來設(shè)計(jì)損失函數(shù)：對(duì)于t時(shí)刻所生成的序列yt，使用策略網(wǎng)絡(luò)Gθ（即當(dāng)前生成模型）通過蒙特卡洛搜索算法對(duì)接下來T-t項(xiàng)（T為序列長(zhǎng)）使用式（9）進(jìn)行采樣：

其中：y0：t為當(dāng)前狀態(tài)，yt+1：T為基于當(dāng)前生成器狀態(tài)采樣的結(jié)果。為了獲得更準(zhǔn)確的結(jié)果，可以將上述過程重復(fù)數(shù)次取平均。經(jīng)過改進(jìn)的生成模型目標(biāo)函數(shù)如式（10）：

從而可以將pg_loss改寫為式（11）的形式。?pg_loss可以通過式（12）求得。由于計(jì)算?pg_loss時(shí)，判別模型的參數(shù)無變化，所以只需要對(duì)生成模型Gθ(yt|z，y0：t-1)進(jìn)行求導(dǎo)并僅更新參數(shù)即可。本文使用式（13）來更新判別模型的參數(shù)。

在確定了判別器、生成器和其分別的目標(biāo)函數(shù)后，本文通過以下算法來訓(xùn)練GAN_PG。

算法1 訓(xùn)練GAN_PG。

Require：生成模型Gθ；判別模型Dσ；數(shù)據(jù)集X。

3 訓(xùn)練事件描述生成模型的優(yōu)化技巧

差分自編碼器的目標(biāo)是學(xué)會(huì)如何在隱空間中表達(dá)已有的事件描述。通過觀察式（2）可判斷編碼質(zhì)量：一個(gè)高質(zhì)量的編碼會(huì)有相對(duì)較小的NLL 和非零的KL 散度。較小的NLL 確保了生成結(jié)果和訓(xùn)練數(shù)據(jù)相似，而非零的KL散度確保了編碼的相異性。但如果直接使用式（2）訓(xùn)練，KL 散度會(huì)很快降為0，即編碼和先驗(yàn)分布完全相同，失去了編碼器的意義。

當(dāng)KL 散度降為0 時(shí)，本文提出的變分自編碼器從某種程度上便與RNNLM 完全相同了，RNN 可以擬合任意分布，所以在這種情況下，NLL也能降到接近0。但這樣并不是本文期望的，如果這種情況發(fā)生，解碼器會(huì)完全忽略編碼器的結(jié)果，即無論輸入何種文本序列，輸出的文本序列都相同。

訓(xùn)練事件描述生成器時(shí)，為了避免上述情況，式（2）的兩部分需處在平衡狀態(tài)：NLL 部分較小且KL 散度較小但不為零。本文使用了兩種方式來達(dá)到此目標(biāo)。

首先，在訓(xùn)練過程中，將后半項(xiàng)的系數(shù)置為0，以訓(xùn)練前半項(xiàng)；再慢慢將后半項(xiàng)的系數(shù)增加，至1 為止，以訓(xùn)練后半項(xiàng)。在實(shí)現(xiàn)過程中，使用式（14）來調(diào)整后半項(xiàng)的權(quán)重，同時(shí)為了使后半項(xiàng)的值穩(wěn)定在合適范圍，本文將前半項(xiàng)的系數(shù)設(shè)置為79。

第二是使用dropout 層，即隨機(jī)地將輸入文本的某些詞替換為“_”。采用這種方式的初衷是弱化編碼器對(duì)上一步生成文本序列的依賴，以迫使其使用之前編碼器得到的編碼結(jié)果來恢復(fù)輸入的文本序列。

4 實(shí)驗(yàn)結(jié)果和分析

本文首先用短文本單獨(dú)訓(xùn)練事件描述生成器，以考察變分自編碼器的訓(xùn)練過程及在處理自然語言中的表現(xiàn)；然后使用GAN_PG 進(jìn)行正式訓(xùn)練，并考察生成的文本和真實(shí)的事件描述的接近程度；最后用訓(xùn)練好的GAN_PG 生成新的事件描述，以此證明GAN_PG 生成的事件描述在文法和語義上都是一致連貫的。

4.1 數(shù)據(jù)集及評(píng)估指標(biāo)

本次實(shí)驗(yàn)使用的語料來自Meetup 平臺(tái)洛杉磯市的真實(shí)事件，具體語料信息如表1 所示。在進(jìn)行訓(xùn)練前，本文對(duì)語料庫進(jìn)行了如下預(yù)處理：1）去除非英文單詞；2）將數(shù)字替換成“#”；3）將出現(xiàn)次數(shù)少于5次的詞替換為“＜ukn＞”。

表1 數(shù)據(jù)集信息Tab.1 Information of dataset

衡量生成的事件描述質(zhì)量時(shí)，采用文獻(xiàn)［17］提出的BLEU文本評(píng)估方法和文獻(xiàn)［18］的用法。BLEU 起初被用于衡量機(jī)器翻譯的質(zhì)量，其設(shè)計(jì)思想是翻譯后得到的文本與參考文本越接近越好，所以適合衡量生成的文本與現(xiàn)實(shí)事件描述的接近程度。BLEU 采用一種n-gram 的匹配規(guī)則，即比較譯文和參考譯文之間n組詞的相似的占比。BLEU的計(jì)算公式如下：

其中：BP為長(zhǎng)度懲罰因子，Wn=1/n，Pn為各階n-gram 的精度。

在實(shí)驗(yàn)中，本文使用了BLEU-4，即采用4-gram 作為采集窗口的BLEU 值。BLEU 值在［0，1），越接近1，則表示生成文本和參考文本越接近。

同時(shí)，為了衡量GAN_PG 的質(zhì)量，本文使用評(píng)分分布作為衡量指標(biāo)，即比較生成文本在判別模型的評(píng)分分布與真實(shí)文本評(píng)分分布。由于生成模型和判別模型都處于理想狀態(tài)下的GAN_PG，為了滿足納什均衡的條件，其生成模型的評(píng)分分布一定是無限接近于真實(shí)文本的評(píng)分分布的。因此，本文選擇使用評(píng)分分布的差異來衡量GAN_PG的質(zhì)量。

4.2 訓(xùn)練事件描述生成模型

本文使用第3 章的技巧，使用分句后的事件描述來訓(xùn)練事件描述生成模型，訓(xùn)練過程中的損失函數(shù)變化如圖3 所示。在經(jīng)歷了大約120 000 輪的訓(xùn)練后，NLL 和KL 值都趨于穩(wěn)定，最后NLL值停留在1.3附近，而KL散度停留在7附近。

圖3 NLL和KL值的變化Fig.3 Change of NLL and KL values

1）在已知樣本周圍采樣。

將對(duì)已知樣本的隱編碼z～p(z|x)進(jìn)行采樣，其中x為已知的文本序列，即事件描述。p(z|x)為編碼過程，本文通過式（3）進(jìn)行采樣。通過此舉，可以對(duì)生成器認(rèn)為相似的句子作總體了解。實(shí)驗(yàn)結(jié)果如表2所示。

表2 已知樣本采樣結(jié)果Tab.2 Sampling results of known samples

2）隨機(jī)采樣。

對(duì)未知的隱編碼進(jìn)行采樣，同時(shí)檢驗(yàn)在編碼空間中相鄰點(diǎn)的編碼結(jié)果的語義一致性和文法一致性。先在隱空間中進(jìn)行采樣，獲得隱編碼z1、z2～Normal(0，1)，然后在兩點(diǎn)之間進(jìn)行線性插值，獲得編碼集合{zi}=t*z1+(1-t)*z2，0 ≤t≤1。隨后再對(duì)集合{zi}進(jìn)行采樣，采樣結(jié)果見表3。

表3 隨機(jī)采樣結(jié)果（加粗為起點(diǎn)和終點(diǎn)）Tab.3 Random sampling results（sentences in bold as start and end）

從采樣的結(jié)果可以看出，這些句子在文法上都是通暢的，且相鄰的句子的語義也保持連貫性。例如“the event is free，but donations will be greatly appreciated.”和“the event is free，but you must rsvp on meetup.”。這也證明文本生成器的編碼器已學(xué)到如何在編碼的同時(shí)保持文本間語義和文法的連貫和一致性。

4.3 訓(xùn)練GAN_PG

按照第3 章的方法來對(duì)生成模型進(jìn)行預(yù)訓(xùn)練，并使用最小化均方誤差來預(yù)訓(xùn)練判別模型。正式訓(xùn)練時(shí)，設(shè)置g-step為5，d-step 為1。使用的語料庫與前文幾乎相同，唯一差異是未將事件描述拆分成句子，而是將整個(gè)事件描述輸入。為了控制文本序列的長(zhǎng)度，本文只使用了長(zhǎng)度小于500 的事件描述。

圖4 為分別訓(xùn)練了1，2，4 個(gè)epoch 后，生成模型隨機(jī)采樣1 000 次產(chǎn)生的文本序列在評(píng)價(jià)模型獲得的評(píng)價(jià)分布與真實(shí)數(shù)據(jù)獲得評(píng)價(jià)分布的對(duì)比。可以看到，多輪訓(xùn)練后，生成文本的評(píng)價(jià)分布更接近真實(shí)文本，這也表明GAN_PG 的生成模型已學(xué)到如何生成高評(píng)價(jià)的文本序列，同時(shí)判別模型也學(xué)會(huì)如何分辨生成文本，并且g-step和d-step的設(shè)置也相對(duì)合理。

圖4 多輪訓(xùn)練后的評(píng)分分布Fig.4 Score distribution after multiple rounds of training

采用真實(shí)文本作為參考語料庫，針對(duì)隨機(jī)采樣所生成的1 000 個(gè)樣本，預(yù)訓(xùn)練結(jié)束后的BLEU 值為0.64，訓(xùn)練4 個(gè)epoch后的BLEU 值為0.67，訓(xùn)練后的BLEU 有所提高，說明生成的文本更接近真實(shí)文本。

4.4 生成新的事件描述

在完成訓(xùn)練后，本文采用GAN_PG 中的生成模型來生成新的事件描述。由于使用了變分自編碼器，只需在隱空間中進(jìn)行服從0-1 高斯分布的隨機(jī)采樣便可借助解碼器來獲得新的事件描述。為了減少隨機(jī)性，本文還使用束搜索來最大化當(dāng)前文本序列出現(xiàn)的概率。表4 為部分隨機(jī)采樣下生成的新事件描述，其文法通順，語義連貫。

表4 隨機(jī)采樣下生成的新事件描述Tab.4 New event descriptions generated under random sampling

5 結(jié)語

本文采用了變分自編碼器作為生成模型，采用帶GRU 的神經(jīng)網(wǎng)絡(luò)作為判別模型，組成了生成對(duì)抗網(wǎng)絡(luò)GAN_PG。對(duì)從Meetup平臺(tái)采集的數(shù)據(jù)進(jìn)行多輪訓(xùn)練，實(shí)驗(yàn)證明，GAN_PG可以無監(jiān)督地生成高質(zhì)量的事件描述，并且生成事件描述的評(píng)價(jià)分布也與真實(shí)的事件描述類似，且BLEU-4 值為0.67，表明生成的事件描述與真實(shí)事件描述是相似的。本次研究探索了英文事件描述的生成方法，此方法進(jìn)一步完備后可轉(zhuǎn)化為EBSN 平臺(tái)的事件描述自動(dòng)生成功能，促進(jìn)平臺(tái)智能化發(fā)展。后續(xù)的研究中，擬借助類似方法嘗試生成中文事件描述。