孫鶴立,孫玉柱,2*,張曉云
(1.西安交通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,西安 710049;2.西安交通大學(xué)外國語學(xué)院,西安 710049)
(*通信作者電子郵箱sunyuzhu12@xjtu.edu.cn)
社交事件是基于事件的社會網(wǎng)絡(luò)(Event-Based Social Network,EBSN)[1]的核心要素,驅(qū)動(dòng)了線上和線下網(wǎng)絡(luò)的整體運(yùn)行。事件描述是事件的重要屬性,可綜合包含事件意義、安排、特點(diǎn)等多種信息,不但可輔助用戶決策是否參加該事件,而且給了組織者最大的自由度來使事件更有吸引力。目前,主流社交平臺如Meetup、豆瓣中的事件描述均為人工生成,由于受到語言描述能力和對事件描述認(rèn)知層次的影響,事件描述出現(xiàn)了描述貧乏或描述過度、要素覆蓋不全、語言吸引力不強(qiáng)的現(xiàn)象,導(dǎo)致事件參與人數(shù)不符合預(yù)期,且人工生成事件描述工作量較大,為事件組織者增加負(fù)擔(dān)。本文采用自然語言處理模型生成高質(zhì)量的事件描述供組織者參考,以幫助組織者快速形成豐富、準(zhǔn)確、高吸引力的事件描述。
事件描述的生成算法最終會應(yīng)用到EBSN 平臺中,優(yōu)秀的算法不但可以生成高質(zhì)量文本,同時(shí)還需要滿足無監(jiān)督的特點(diǎn)。為了滿足以上特點(diǎn),本文中研究了多種語言生成模型。
2011 年,文獻(xiàn)[2]中提出了循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型(Recurrent Neural Network Language Modeling,RNNLM)被廣泛應(yīng)用,并多次被應(yīng)用在文本生成實(shí)踐中。文獻(xiàn)[3]中對RNNLM 做了改進(jìn),使用單個(gè)字符而非單個(gè)單詞作為輸入,在RNNLM 前加入了卷積層和highway 層,使得模型從字符的角度,而非單詞的角度學(xué)會了如何表達(dá)自然語言。實(shí)驗(yàn)證明他們的改進(jìn)模型能大幅減少參數(shù)數(shù)量,并且在學(xué)習(xí)富詞法語言中,表現(xiàn)優(yōu)于傳統(tǒng)的以詞為最小單位的語言模型。
為了令RNNLM 在生成文本時(shí)不但依賴當(dāng)前狀態(tài),而且依賴某個(gè)全局表達(dá),Seq2Seq 模型被提出,生成文本的過程變?yōu)榫幋a-解碼的過程。編碼器首先將某段文本表示為一個(gè)隱向量,再通過解碼器解碼,以控制輸出文本的效果。在編碼器的選擇上,有許多不同方案,文獻(xiàn)[4]率先將變分自編碼器引入文本生成中,利用變分自編碼器采樣得到編碼的特性,令隱編碼能夠服從特定分布,從而保證了編碼的連續(xù)性和局部相關(guān)性。文獻(xiàn)[5]同樣利用變分自編碼器編碼空間連續(xù)的特性,通過對特定文本編碼進(jìn)行梯度上升操作來最大化某個(gè)目標(biāo)函數(shù),從而達(dá)到改進(jìn)某段文本的目的。
基于RNNLM 的生成方法多基于極大似然估計(jì),在模型訓(xùn)練時(shí)能夠很好地通過反向轉(zhuǎn)播更新參數(shù),并獲得跟訓(xùn)練集極為相似的結(jié)果,然而這些方法又易于過擬合,導(dǎo)致生成文本質(zhì)量不高,文本多樣性低。
為了令生成的文本更接近真實(shí)文本,并且滿足無監(jiān)督的條件,生成對抗網(wǎng)絡(luò)(Generative Adversarial Net,GAN)成為最佳選擇。生成對抗網(wǎng)絡(luò)2014 年誕生于計(jì)算機(jī)視覺領(lǐng)域,是近年來迅速發(fā)展的一種無監(jiān)督深度學(xué)習(xí)技術(shù)。GAN 的本質(zhì)是尋找兩個(gè)不同分布之間的映射,這兩個(gè)分布通常為先驗(yàn)噪聲分布和真實(shí)數(shù)據(jù)樣本分布,這種特質(zhì)導(dǎo)致它在圖像生成領(lǐng)域具有天然的優(yōu)勢,不過把它應(yīng)用到文本生成時(shí)卻遇到了困難,主要因?yàn)樯善魃傻奈谋緮?shù)據(jù)是離散的、不可微的,因此判別器無法將信息反向傳播給生成器,導(dǎo)致生成器無法更新[6]。
鑒于以上問題,目前主流的解決辦法是將GAN 與強(qiáng)化學(xué)習(xí)中策略梯度的思想結(jié)合起來,把文本生成構(gòu)建為一個(gè)連續(xù)的決策過程,通過策略梯度算法來估計(jì)生成器的梯度。使用這個(gè)方法的突出代表主要有文獻(xiàn)[7]提出的SeqGAN,SeqGAN使用RNNLM 作為生成模型,同時(shí)使用帶卷積層的神經(jīng)網(wǎng)絡(luò)作為判別模型來訓(xùn)練生成模型,很好地解決了文本的離散性問題,并且性能較高。文獻(xiàn)[8]也采用了類似的結(jié)構(gòu),通過訓(xùn)練生成模型生成評分勝過真實(shí)訓(xùn)練數(shù)據(jù)的文本,生成了足夠真實(shí)的文本序列。
目前生成對抗網(wǎng)絡(luò)已經(jīng)用于法律文本生成[9]、醫(yī)療文本生成[10]等多個(gè)場景,但鮮有學(xué)者將生成對抗網(wǎng)絡(luò)用于EBSN平臺,尤其是生成事件描述。本文設(shè)計(jì)了生成對抗網(wǎng)絡(luò)GAN_PG,以無監(jiān)督地生成高質(zhì)量的事件描述。為了保證編碼的連續(xù)性和局部相關(guān)性,采用帶變分編碼器的網(wǎng)絡(luò)作為事件描述生成模型,為了對文本有良好的分類效果,采用帶控循環(huán)單元(Gated Recurrent Unit,GRU)的神經(jīng)網(wǎng)絡(luò)作為判別模型。實(shí)驗(yàn)結(jié)果表明,通過大量訓(xùn)練后,設(shè)計(jì)的生成對抗網(wǎng)絡(luò)生成事件描述的BLEU-4 值達(dá)到了0.67,證明了提出的事件描述生成模型GAN_PG 可以無監(jiān)督地產(chǎn)生與自然語言足夠相似的事件描述。
為了更清楚地表現(xiàn)模型的計(jì)算過程,本章簡要介紹生成對抗網(wǎng)絡(luò)、變分自編碼器和帶GRU的神經(jīng)網(wǎng)絡(luò)的原理。
生成對抗網(wǎng)絡(luò)是Goodfellow 等[11]于2014 年提出的,已經(jīng)成為主流生成模型框架之一。它包含生成模型和判別模型,通過生成模型和判別模型的反復(fù)博弈來提高生成質(zhì)量。在訓(xùn)練過程中,生成模型的目標(biāo)是生成能夠讓判別模型無法分辨出其和真實(shí)數(shù)據(jù)區(qū)別的樣本,而判別模型的訓(xùn)練目標(biāo)則是將生成模型生成的假樣本從真實(shí)樣本中區(qū)分開來。標(biāo)準(zhǔn)的生成對抗網(wǎng)絡(luò)最大化判別模型正確分類的概率,同時(shí)最小化生成模型所生成的樣本被判別器正確分類的概率:
其中:D、G分別表示判別和生成模型,data表示真實(shí)數(shù)據(jù)集,Gθ表示生成模型產(chǎn)生的假數(shù)據(jù)。
循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一種對序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò),可以很好地刻畫詞匯的前后關(guān)聯(lián),它十分強(qiáng)大,幾乎可以擬合任何分布。循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型(RNNLM)是利用RNN 對語言建模,用來描述語言序列的產(chǎn)生過程,與RNN 相比,多了詞向量層(embedding)和softmax層[12]。
變分自編碼器(Variational Auto-Encoder,VAE)于2013 年由Kingma 等[13]提出,2016 年Doersch[14]對VAE 做了更詳細(xì)的介紹。變分自編碼器是傳統(tǒng)的RNN 編碼器的改進(jìn)型,對隱空間中的z→編碼加入了先驗(yàn)分布,并在目標(biāo)函數(shù)中通過KL(Kullback-Leibler)散度來縮小實(shí)際分布和先驗(yàn)分布的距離,以此來強(qiáng)迫編碼器學(xué)到合適的編碼方式;同時(shí),它通過采樣來生成編碼,這也就保證了隱編碼周圍的點(diǎn)也都是有意義的。變分自編碼器的損失函數(shù)Li(θ,φ)如式(2):
可以看出,其損失函數(shù)由兩部分構(gòu)成:第一部分是負(fù)對數(shù)似然損失函數(shù)NLL(Negative Log Likelihood),用來縮小輸入序列和輸出序列的差異;第二個(gè)部分則是KL 散度,其中qθ為編碼器,p(z)為對隱編碼z的先驗(yàn)分布。
門控循環(huán)單元(GRU)是為了克服傳統(tǒng)RNN 無法很好處理遠(yuǎn)距離依賴而提出的長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)的一個(gè)變體,解決了傳統(tǒng)RNN 中出現(xiàn)的梯度彌散問題,在保留了LSTM 網(wǎng)絡(luò)很好的記憶功能的同時(shí),較少的參數(shù)也使得GRU 的訓(xùn)練過程能夠更快一些。它可以很好地將文本上下文特征的關(guān)聯(lián)進(jìn)行有效地整合,對文本有良好的分類效果[15]?;谏鲜鎏匦裕Y(jié)合事件描述的文本特點(diǎn),本文采用帶GRU的神經(jīng)網(wǎng)絡(luò)作為判別模型。
門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)在處理序列文本的同時(shí),更好地保留了事件描述中原始文本信息,尤其是長文本中的信息,相較于卷積神經(jīng)網(wǎng)絡(luò),能夠捕捉更多文本信息,從而提高判斷的準(zhǔn)確率。本文使用文獻(xiàn)[16]中的GRU結(jié)構(gòu),如圖1所示。
圖1 GRU的結(jié)構(gòu)Fig.1 Structure of GRU
圖中:z[t]為更新門,r[t]為重置門,h[t]為當(dāng)前t時(shí)刻的隱含狀態(tài),橢圓中為算符,方框表示非線性函數(shù)。
GRU的前向傳播函數(shù)如下:
其中:W、U、b為參數(shù);xt為輸入向量,ht為輸出向量,zt、rt為更新門和重置門向量。同樣地,根據(jù)鏈?zhǔn)椒▌t,可以得到其反向傳播公式。
由于本文設(shè)計(jì)的生成對抗網(wǎng)絡(luò)在訓(xùn)練時(shí)借鑒了強(qiáng)化學(xué)習(xí)中的策略梯度(Policy Gradient,PG)下降,因此本文將其命名為GAN_PG。
本文參考了文獻(xiàn)[4]中的VAE 結(jié)構(gòu),在編碼器和解碼器的選擇上,使用了單層GRU。在實(shí)現(xiàn)過程中,使用0-1 高斯分布作為隱編碼的先驗(yàn)問題定義分布。同時(shí)基于文獻(xiàn)[13]中的重采樣技術(shù),用反向傳播來訓(xùn)練網(wǎng)絡(luò)。抽樣時(shí),本文并不直接對隱編碼進(jìn)行采樣,而是通過兩個(gè)線性神經(jīng)網(wǎng)絡(luò)獲得當(dāng)前編碼的平均值標(biāo)準(zhǔn)差然后通過式(6)獲得隱編碼,其中~Normal(0,1)。
圖2 為事件描述生成模型的核心結(jié)構(gòu),其中z為向量,其他部分為神經(jīng)網(wǎng)絡(luò),輸入為預(yù)先訓(xùn)練的詞向量。在編碼環(huán)節(jié)完成后,LSTM 的隱狀態(tài)將分別輸入到兩個(gè)線性網(wǎng)絡(luò)中,得到隱編碼分布的平均值ū和方差,然后通過采樣獲得隱編碼,并將其輸入到解碼環(huán)節(jié)。
圖2 生成模型核心結(jié)構(gòu)Fig.2 Core structure of generator
本文將隱編碼連接在解碼器的輸入詞向量最后,以初始化解碼器中的隱狀態(tài)。在實(shí)際的訓(xùn)練過程中,為了防止損失函數(shù)中KL 散度降為0,本文還參考了文獻(xiàn)[4]所采用的策略:在訓(xùn)練剛開始時(shí)設(shè)置KL 散度項(xiàng)的權(quán)重為0,然后慢慢升到1。訓(xùn)練過程分為兩個(gè)階段:第一階段,編碼器從文本序列中學(xué)到盡可能多的信息,但不保證分布符合先驗(yàn)分布;第二階段,通過增加KL散度項(xiàng)的權(quán)重,強(qiáng)迫編碼器編得的隱編碼盡可能接近先驗(yàn)分布。
通過事件描述生成器,可以生成讀上去通順的事件描述。本文有兩種方式可以獲得事件描述:一是在隱編碼空間里面隨機(jī)采樣,這樣生成的事件描述文法通順,但無法保證語義上的一致;二是在已知事件描述的隱編碼周圍采樣,由于采用了變分自編碼器,相似的文本序列的隱編碼在隱空間中也是相近的。本文采用第二種方法,僅在已知事件描述的隱編碼周圍采樣,便可獲得與已知事件描述在文法上相似的新事件描述。生成事件描述后,為了判別事件描述的質(zhì)量,需要引入判別模型。
GAN_PG 的生成模型在上一節(jié)中進(jìn)行了介紹,判別模型為帶GRU的神經(jīng)網(wǎng)絡(luò),其損失函數(shù)如下:
生成模型的損失函數(shù)為最大化式(8),即最大化生成模型在生成序列的每一步中所獲得的評分。其中G、D分別為生成模型和判別模型,式(8)的前半部分為在隱編碼z和已生成的序列y0:t-1下,生成當(dāng)前yt的概率。式(8)的后半部分為生成模型生成yt在判別模型所獲得的評分。
接下來度量生成模型所生成的每一步獲得的評分。因?yàn)榕袆e模型只有在生成模型生成完整個(gè)序列以后,才能對該序列評分,而式(8)所要求的是對生成序列中每一步行為的評分。本文使用策略梯度來設(shè)計(jì)損失函數(shù):對于t時(shí)刻所生成的序列yt,使用策略網(wǎng)絡(luò)Gθ(即當(dāng)前生成模型)通過蒙特卡洛搜索算法對接下來T-t項(xiàng)(T為序列長)使用式(9)進(jìn)行采樣:
其中:y0:t為當(dāng)前狀態(tài),yt+1:T為基于當(dāng)前生成器狀態(tài)采樣的結(jié)果。為了獲得更準(zhǔn)確的結(jié)果,可以將上述過程重復(fù)數(shù)次取平均。經(jīng)過改進(jìn)的生成模型目標(biāo)函數(shù)如式(10):
從而可以將pg_loss改寫為式(11)的形式。?pg_loss可以通過式(12)求得。由于計(jì)算?pg_loss時(shí),判別模型的參數(shù)無變化,所以只需要對生成模型Gθ(yt|z,y0:t-1)進(jìn)行求導(dǎo)并僅更新參數(shù)即可。本文使用式(13)來更新判別模型的參數(shù)。
在確定了判別器、生成器和其分別的目標(biāo)函數(shù)后,本文通過以下算法來訓(xùn)練GAN_PG。
算法1 訓(xùn)練GAN_PG。
Require:生成模型Gθ;判別模型Dσ;數(shù)據(jù)集X。
差分自編碼器的目標(biāo)是學(xué)會如何在隱空間中表達(dá)已有的事件描述。通過觀察式(2)可判斷編碼質(zhì)量:一個(gè)高質(zhì)量的編碼會有相對較小的NLL 和非零的KL 散度。較小的NLL 確保了生成結(jié)果和訓(xùn)練數(shù)據(jù)相似,而非零的KL散度確保了編碼的相異性。但如果直接使用式(2)訓(xùn)練,KL 散度會很快降為0,即編碼和先驗(yàn)分布完全相同,失去了編碼器的意義。
當(dāng)KL 散度降為0 時(shí),本文提出的變分自編碼器從某種程度上便與RNNLM 完全相同了,RNN 可以擬合任意分布,所以在這種情況下,NLL也能降到接近0。但這樣并不是本文期望的,如果這種情況發(fā)生,解碼器會完全忽略編碼器的結(jié)果,即無論輸入何種文本序列,輸出的文本序列都相同。
訓(xùn)練事件描述生成器時(shí),為了避免上述情況,式(2)的兩部分需處在平衡狀態(tài):NLL 部分較小且KL 散度較小但不為零。本文使用了兩種方式來達(dá)到此目標(biāo)。
首先,在訓(xùn)練過程中,將后半項(xiàng)的系數(shù)置為0,以訓(xùn)練前半項(xiàng);再慢慢將后半項(xiàng)的系數(shù)增加,至1 為止,以訓(xùn)練后半項(xiàng)。在實(shí)現(xiàn)過程中,使用式(14)來調(diào)整后半項(xiàng)的權(quán)重,同時(shí)為了使后半項(xiàng)的值穩(wěn)定在合適范圍,本文將前半項(xiàng)的系數(shù)設(shè)置為79。
第二是使用dropout 層,即隨機(jī)地將輸入文本的某些詞替換為“_”。采用這種方式的初衷是弱化編碼器對上一步生成文本序列的依賴,以迫使其使用之前編碼器得到的編碼結(jié)果來恢復(fù)輸入的文本序列。
本文首先用短文本單獨(dú)訓(xùn)練事件描述生成器,以考察變分自編碼器的訓(xùn)練過程及在處理自然語言中的表現(xiàn);然后使用GAN_PG 進(jìn)行正式訓(xùn)練,并考察生成的文本和真實(shí)的事件描述的接近程度;最后用訓(xùn)練好的GAN_PG 生成新的事件描述,以此證明GAN_PG 生成的事件描述在文法和語義上都是一致連貫的。
本次實(shí)驗(yàn)使用的語料來自Meetup 平臺洛杉磯市的真實(shí)事件,具體語料信息如表1 所示。在進(jìn)行訓(xùn)練前,本文對語料庫進(jìn)行了如下預(yù)處理:1)去除非英文單詞;2)將數(shù)字替換成“#”;3)將出現(xiàn)次數(shù)少于5次的詞替換為“<ukn>”。
表1 數(shù)據(jù)集信息Tab.1 Information of dataset
衡量生成的事件描述質(zhì)量時(shí),采用文獻(xiàn)[17]提出的BLEU文本評估方法和文獻(xiàn)[18]的用法。BLEU 起初被用于衡量機(jī)器翻譯的質(zhì)量,其設(shè)計(jì)思想是翻譯后得到的文本與參考文本越接近越好,所以適合衡量生成的文本與現(xiàn)實(shí)事件描述的接近程度。BLEU 采用一種n-gram 的匹配規(guī)則,即比較譯文和參考譯文之間n組詞的相似的占比。BLEU的計(jì)算公式如下:
其中:BP為長度懲罰因子,Wn=1/n,Pn為各階n-gram 的精度。
在實(shí)驗(yàn)中,本文使用了BLEU-4,即采用4-gram 作為采集窗口的BLEU 值。BLEU 值在[0,1),越接近1,則表示生成文本和參考文本越接近。
同時(shí),為了衡量GAN_PG 的質(zhì)量,本文使用評分分布作為衡量指標(biāo),即比較生成文本在判別模型的評分分布與真實(shí)文本評分分布。由于生成模型和判別模型都處于理想狀態(tài)下的GAN_PG,為了滿足納什均衡的條件,其生成模型的評分分布一定是無限接近于真實(shí)文本的評分分布的。因此,本文選擇使用評分分布的差異來衡量GAN_PG的質(zhì)量。
本文使用第3 章的技巧,使用分句后的事件描述來訓(xùn)練事件描述生成模型,訓(xùn)練過程中的損失函數(shù)變化如圖3 所示。在經(jīng)歷了大約120 000 輪的訓(xùn)練后,NLL 和KL 值都趨于穩(wěn)定,最后NLL值停留在1.3附近,而KL散度停留在7附近。
圖3 NLL和KL值的變化Fig.3 Change of NLL and KL values
1)在已知樣本周圍采樣。
將對已知樣本的隱編碼z~p(z|x)進(jìn)行采樣,其中x為已知的文本序列,即事件描述。p(z|x)為編碼過程,本文通過式(3)進(jìn)行采樣。通過此舉,可以對生成器認(rèn)為相似的句子作總體了解。實(shí)驗(yàn)結(jié)果如表2所示。
表2 已知樣本采樣結(jié)果Tab.2 Sampling results of known samples
2)隨機(jī)采樣。
對未知的隱編碼進(jìn)行采樣,同時(shí)檢驗(yàn)在編碼空間中相鄰點(diǎn)的編碼結(jié)果的語義一致性和文法一致性。先在隱空間中進(jìn)行采樣,獲得隱編碼z1、z2~Normal(0,1),然后在兩點(diǎn)之間進(jìn)行線性插值,獲得編碼集合{zi}=t*z1+(1-t)*z2,0 ≤t≤1。隨后再對集合{zi}進(jìn)行采樣,采樣結(jié)果見表3。
表3 隨機(jī)采樣結(jié)果(加粗為起點(diǎn)和終點(diǎn))Tab.3 Random sampling results(sentences in bold as start and end)
從采樣的結(jié)果可以看出,這些句子在文法上都是通暢的,且相鄰的句子的語義也保持連貫性。例如“the event is free,but donations will be greatly appreciated.”和“the event is free,but you must rsvp on meetup.”。這也證明文本生成器的編碼器已學(xué)到如何在編碼的同時(shí)保持文本間語義和文法的連貫和一致性。
按照第3 章的方法來對生成模型進(jìn)行預(yù)訓(xùn)練,并使用最小化均方誤差來預(yù)訓(xùn)練判別模型。正式訓(xùn)練時(shí),設(shè)置g-step為5,d-step 為1。使用的語料庫與前文幾乎相同,唯一差異是未將事件描述拆分成句子,而是將整個(gè)事件描述輸入。為了控制文本序列的長度,本文只使用了長度小于500 的事件描述。
圖4 為分別訓(xùn)練了1,2,4 個(gè)epoch 后,生成模型隨機(jī)采樣1 000 次產(chǎn)生的文本序列在評價(jià)模型獲得的評價(jià)分布與真實(shí)數(shù)據(jù)獲得評價(jià)分布的對比??梢钥吹?,多輪訓(xùn)練后,生成文本的評價(jià)分布更接近真實(shí)文本,這也表明GAN_PG 的生成模型已學(xué)到如何生成高評價(jià)的文本序列,同時(shí)判別模型也學(xué)會如何分辨生成文本,并且g-step和d-step的設(shè)置也相對合理。
圖4 多輪訓(xùn)練后的評分分布Fig.4 Score distribution after multiple rounds of training
采用真實(shí)文本作為參考語料庫,針對隨機(jī)采樣所生成的1 000 個(gè)樣本,預(yù)訓(xùn)練結(jié)束后的BLEU 值為0.64,訓(xùn)練4 個(gè)epoch后的BLEU 值為0.67,訓(xùn)練后的BLEU 有所提高,說明生成的文本更接近真實(shí)文本。
在完成訓(xùn)練后,本文采用GAN_PG 中的生成模型來生成新的事件描述。由于使用了變分自編碼器,只需在隱空間中進(jìn)行服從0-1 高斯分布的隨機(jī)采樣便可借助解碼器來獲得新的事件描述。為了減少隨機(jī)性,本文還使用束搜索來最大化當(dāng)前文本序列出現(xiàn)的概率。表4 為部分隨機(jī)采樣下生成的新事件描述,其文法通順,語義連貫。
表4 隨機(jī)采樣下生成的新事件描述Tab.4 New event descriptions generated under random sampling
本文采用了變分自編碼器作為生成模型,采用帶GRU 的神經(jīng)網(wǎng)絡(luò)作為判別模型,組成了生成對抗網(wǎng)絡(luò)GAN_PG。對從Meetup平臺采集的數(shù)據(jù)進(jìn)行多輪訓(xùn)練,實(shí)驗(yàn)證明,GAN_PG可以無監(jiān)督地生成高質(zhì)量的事件描述,并且生成事件描述的評價(jià)分布也與真實(shí)的事件描述類似,且BLEU-4 值為0.67,表明生成的事件描述與真實(shí)事件描述是相似的。本次研究探索了英文事件描述的生成方法,此方法進(jìn)一步完備后可轉(zhuǎn)化為EBSN 平臺的事件描述自動(dòng)生成功能,促進(jìn)平臺智能化發(fā)展。后續(xù)的研究中,擬借助類似方法嘗試生成中文事件描述。