基于動(dòng)態(tài)增強(qiáng)圖注意力網(wǎng)絡(luò)的突發(fā)事件預(yù)測(cè)

關(guān)鍵詞：事件預(yù)測(cè)，圖注意力網(wǎng)絡(luò)，特征增強(qiáng)，時(shí)間序列，多頭注意力機(jī)制

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

突發(fā)事件指突然發(fā)生，會(huì)造成或可能造成嚴(yán)重社會(huì)危害，需要采取應(yīng)急處置措施來應(yīng)對(duì)的自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件和社會(huì)安全事件. 突發(fā)社會(huì)安全事件一般指重大刑事案件、重特大火災(zāi)、恐怖襲擊等規(guī)模較大的，嚴(yán)重影響社會(huì)安定、人民生活和經(jīng)濟(jì)發(fā)展的群體性事件. 提前對(duì)社會(huì)安全事件進(jìn)行預(yù)測(cè)和預(yù)警，對(duì)于減少突發(fā)事件，減少生命和財(cái)產(chǎn)損失，具有重要的意義.

目前，對(duì)突發(fā)事件的時(shí)間、地點(diǎn)及其發(fā)生的可能性預(yù)測(cè)大多依賴于深度學(xué)習(xí)等先進(jìn)技術(shù)，這些方法能捕捉并分析數(shù)據(jù)，為預(yù)測(cè)的準(zhǔn)確性提供可靠的保障. 隨著知識(shí)圖譜的發(fā)展，學(xué)者們構(gòu)建了事件圖譜（Event Graph，EG）來對(duì)事件進(jìn)行預(yù)測(cè).EG 對(duì)一系列具有邏輯關(guān)系的事件原始數(shù)據(jù)進(jìn)行抽取分析與關(guān)聯(lián)融合，生成蘊(yùn)含豐富語(yǔ)義信息的圖數(shù)據(jù)結(jié)構(gòu)表示［1］. Li et al［2］從大量新聞?wù)Z料庫(kù)中構(gòu)建敘事事件進(jìn)化圖，利用豐富的事件特征，提出SGNN （Structured Graph Neural Network）建模事件交互和學(xué)習(xí)更好的事件表示來進(jìn)行事件預(yù)測(cè)，但忽視了時(shí)間特征的重要性. Zhao et al［3］利用圖卷積網(wǎng)絡(luò)和門控循環(huán)單元捕獲交通數(shù)據(jù)的空間特征和時(shí)間特征，但沒有捕獲各個(gè)時(shí)間點(diǎn)的特征變化. 目前，利用歷史時(shí)間中相關(guān)事件的潛在信息來增強(qiáng)事件預(yù)測(cè)效果的研究尚顯不足，進(jìn)一步的研究應(yīng)聚焦于有效整合和利用歷史事件中的潛在信息，以提高事件預(yù)測(cè)的精準(zhǔn)度和可靠性. 同時(shí)，應(yīng)用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)歷史事件特征及其時(shí)間特征進(jìn)行事件預(yù)測(cè)還存在以下挑戰(zhàn).

（1）事件的狀態(tài)和時(shí)間之間有著強(qiáng)關(guān)聯(lián)性，某個(gè)時(shí)間點(diǎn)的事件狀態(tài)發(fā)生改變會(huì)影響未來某種突發(fā)事件發(fā)生的可能性，難以有效地捕捉事件和時(shí)間之間的關(guān)聯(lián)性.

（2）圖神經(jīng)網(wǎng)絡(luò)聚合過程中學(xué)習(xí)到的節(jié)點(diǎn)表示破壞了原始特征空間的節(jié)點(diǎn)相似性，可能會(huì)降低學(xué)習(xí)節(jié)點(diǎn)表示的有效性［4］.

（3）將時(shí)間特征融入事件預(yù)測(cè)中的預(yù)測(cè)模型通常會(huì)使用局部特征，卻忽略了短時(shí)間切片之間的數(shù)據(jù)變化對(duì)事件的影響，導(dǎo)致不能體現(xiàn)事件隨著時(shí)間的全局特征，具體如圖1所示.

針對(duì)以上問題，本文提出基于動(dòng)態(tài)增強(qiáng)圖注意力網(wǎng)絡(luò)的突發(fā)事件預(yù)測(cè)模型（Dynamic En?hanced Graph Attention Network，DEGAT）. 首先，將處理后的歷史事件描述構(gòu)建成事件圖，并將初始的圖特征輸入EGAT （Enhanced Graph At?tention Network），實(shí)現(xiàn)增強(qiáng)節(jié)點(diǎn)表示以獲取事件的語(yǔ)義特征. 隨后，將初始的圖向量和最后時(shí)刻EGAT 輸出的圖向量分別傳遞給線性層處理，再通過激活函數(shù)合并以提取時(shí)間特征. 接著，將提取的時(shí)間特征序列作為輸入，經(jīng)過多頭注意力機(jī)制和長(zhǎng)短期記憶（Long Short ? Term Memroy，LSTM）網(wǎng)絡(luò)來捕獲和整合動(dòng)態(tài)的全局時(shí)間信息. 最后，將動(dòng)態(tài)時(shí)間信息輸入圖神經(jīng)網(wǎng)絡(luò)的最終階段，經(jīng)非線性變換后輸出預(yù)測(cè)結(jié)果.

本文的貢獻(xiàn)如下.

（1）提出添加高斯擾動(dòng)的EGAT 來進(jìn)行有效的事件圖節(jié)點(diǎn)表示學(xué)習(xí)，獲得事件特征，有效解決了圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的過平滑問題.

（2）構(gòu)建由多頭注意力機(jī)制和LSTM 相結(jié)合的時(shí)間編碼層，充分考慮各個(gè)時(shí)間切片的特征對(duì)整體的影響，能更好地捕獲局部和全局的動(dòng)態(tài)時(shí)間特征.

（3）提出一種基于動(dòng)態(tài)增強(qiáng)圖注意力網(wǎng)絡(luò)的突發(fā)事件預(yù)測(cè)模型DEGAT，在四個(gè)國(guó)家的社會(huì)突發(fā)事件數(shù)據(jù)集上進(jìn)行了驗(yàn)證，證明其和現(xiàn)有模型相比，預(yù)測(cè)突發(fā)事件的性能有明顯提高.

1 相關(guān)工作

1. 1事件預(yù)測(cè) 社會(huì)安全事件包括群體性事件、恐怖主義事件、刑事犯罪事件等，嚴(yán)重影響社會(huì)安定、人民生活和社會(huì)經(jīng)濟(jì)發(fā)展. 目前主流的預(yù)測(cè)方法是提取社會(huì)事件的特征，集中于各種突發(fā)事件類型的預(yù)測(cè)，如Feng et al［5］提出結(jié)合隨機(jī)森林和主成分分析的特征選擇方法，并采用遺傳算法對(duì)XGBoost 的超參數(shù)進(jìn)行調(diào)整的RP ? GAXG?Boost 算法來預(yù)測(cè)恐怖襲擊事件. Spiliotopouloset al［6］分析過去恐怖事件的時(shí)間序列數(shù)據(jù)以及與之相關(guān)的因素，預(yù)測(cè)每個(gè)國(guó)家的安全風(fēng)險(xiǎn). Risteaet al［7］分析了犯罪發(fā)生、人口統(tǒng)計(jì)學(xué)、社會(huì)經(jīng)濟(jì)和環(huán)境變量之間的空間關(guān)系，以歷史犯罪數(shù)據(jù)為基礎(chǔ)，引入推文和其他變量作為犯罪的協(xié)變量來進(jìn)行犯罪事件預(yù)測(cè). Xiong et al［8］根據(jù)犯罪的數(shù)量將該區(qū)域劃分為異構(gòu)區(qū)域，通過捕獲異構(gòu)模式來改善犯罪預(yù)測(cè)并且降低訓(xùn)練成本，提高犯罪預(yù)測(cè)準(zhǔn)確率. Rumi et al［9］引入一組特定于犯罪預(yù)測(cè)的動(dòng)態(tài)特征，通過揭示犯罪事件發(fā)生和人類流動(dòng)性之間的關(guān)系來進(jìn)行犯罪事件預(yù)測(cè). Yi et al［10］提出聚類連續(xù)條件隨機(jī)場(chǎng)，利用自回歸時(shí)間相關(guān)的時(shí)間特征和基于特征的區(qū)域間空間相關(guān)的空間特征來進(jìn)行犯罪事件預(yù)測(cè). Hu et al［11］提出CH?LSTM 模型，能夠捕獲子事件序列的兩級(jí)序列結(jié)構(gòu)，并對(duì)子事件序列的附加主題信息進(jìn)行子事件預(yù)測(cè).

提取社會(huì)事件特征進(jìn)行事件類型預(yù)測(cè)的研究已有豐厚的研究成果，但未能利用全面的事件信息進(jìn)行預(yù)測(cè). 隨著圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多研究開始將圖神經(jīng)網(wǎng)絡(luò)結(jié)合事件圖來構(gòu)建事件信息，進(jìn)行預(yù)測(cè).

1. 2圖神經(jīng)網(wǎng)絡(luò) 圖神經(jīng)網(wǎng)絡(luò)最早于2005 年由Gori et al［12］提出，是一種用于圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，其結(jié)合了圖計(jì)算和神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，能捕捉圖結(jié)構(gòu)并抽象節(jié)點(diǎn)特征. 隨著時(shí)間的推移，圖神經(jīng)網(wǎng)絡(luò)的研究不斷深入，出現(xiàn)了廣泛的探索和改進(jìn). Kipf and Welling［13］提出圖卷積網(wǎng)絡(luò)（Graph Convolution Neural Networks，GCN）來處理圖數(shù)據(jù)，通過鄰接矩陣或拉普拉斯矩陣，精確地描述圖的結(jié)構(gòu)并捕獲節(jié)點(diǎn)之間的空間特征. 隨著研究的深入，圖注意力網(wǎng)絡(luò)（Graph Attention Net?work，GAT）［14］應(yīng)運(yùn)而生，它將注意力機(jī)制融入GCN，使網(wǎng)絡(luò)能從相鄰節(jié)點(diǎn)中學(xué)習(xí)節(jié)點(diǎn)的個(gè)性化權(quán)重，為每個(gè)節(jié)點(diǎn)分配不同的重要性，從而更準(zhǔn)確地捕捉節(jié)點(diǎn)間的依賴關(guān)系，處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù). Schlichtkrull et al［15］提出關(guān)系圖卷積網(wǎng)絡(luò)（Re?lational Graph Convolutional Network，R?GCNs），豐富了圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)景.

將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于NLP （Natural Lan?guage Processing）領(lǐng)域已有所成就. 在文本分類領(lǐng)域，Yao et al［16］提出文本GCN，為整個(gè)語(yǔ)料庫(kù)構(gòu)建一個(gè)異構(gòu)的詞文檔圖，將文檔分類轉(zhuǎn)化為一個(gè)節(jié)點(diǎn)分類問題. Lin et al［17］進(jìn)一步提出Bert?GCN，結(jié)合大規(guī)模文本的預(yù)訓(xùn)語(yǔ)言模型和GCN的文本分類模型. 在事件預(yù)測(cè)領(lǐng)域，將事件相關(guān)元素構(gòu)建成圖結(jié)構(gòu)，結(jié)合圖神經(jīng)網(wǎng)絡(luò)進(jìn)行事件預(yù)測(cè)，如Du et al［18］提出GraphBert 模型，使用BERT模型自動(dòng)構(gòu)建事件圖，在BERT 中加入一個(gè)額外的結(jié)構(gòu)化變量來進(jìn)行事件預(yù)測(cè). Xie［19］采用序列標(biāo)注的方法構(gòu)建事件圖并整合到預(yù)測(cè)過程中，使用Logistic 回歸模型進(jìn)行股票事件預(yù)測(cè).

目前圖神經(jīng)網(wǎng)絡(luò)模型能捕獲事件元素節(jié)點(diǎn)之間的語(yǔ)義特征，但沒有將時(shí)間特征考慮在內(nèi). 靜態(tài)圖可以有效地進(jìn)行事件預(yù)測(cè)，但不能捕獲事件隨時(shí)間發(fā)展的特征. 為了利用歷史時(shí)間的相關(guān)事件及其潛在的事件信息進(jìn)行事件預(yù)測(cè)，后面的研究構(gòu)建了動(dòng)態(tài)事件圖來進(jìn)行事件預(yù)測(cè).

1. 3動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò) 隨著圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，后面的研究將時(shí)間特征融入事件圖譜以獲取包含時(shí)間特征的事件信息，構(gòu)建基于時(shí)間的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò). Chen et al［20］提出GC?LSTM 來捕捉時(shí)間依賴性，將結(jié)構(gòu)化數(shù)據(jù)和時(shí)間信息共同利用起來進(jìn)行人類活動(dòng)事件預(yù)測(cè). Deng et al［21］構(gòu)建一種動(dòng)態(tài)圖表示方法，在預(yù)測(cè)事件時(shí)使用圖結(jié)構(gòu)來總結(jié)事件上下文，在廣泛的社會(huì)突發(fā)事件預(yù)測(cè)中實(shí)現(xiàn)了可靠的性能. 為了實(shí)現(xiàn)對(duì)時(shí)間序列數(shù)據(jù)中的未來事件的準(zhǔn)確和可解釋的預(yù)測(cè)，Hu et al［22］提出進(jìn)化狀態(tài)圖來捕獲狀態(tài)之間的動(dòng)態(tài)關(guān)系，并構(gòu)建了EvoNet 來提高基于圖的事件預(yù)測(cè)性能. 為了綜合考慮大量異構(gòu)數(shù)據(jù)中的時(shí)空關(guān)系和外部影響，Yu et al［23］提出由空間學(xué)習(xí)層、時(shí)空學(xué)習(xí)層和嵌入層構(gòu)成的新的深度時(shí)空?qǐng)D卷積網(wǎng)絡(luò)來預(yù)測(cè)交通突發(fā)事件. Zheng and Zhang［24］將最新的時(shí)間片與過去的每個(gè)時(shí)間片連接起來，構(gòu)建時(shí)空?qǐng)D并學(xué)習(xí)跨時(shí)間的全局空間依賴性，通過圖卷積同時(shí)捕獲時(shí)空依賴性來進(jìn)行交通預(yù)測(cè). Li et al［25］利用節(jié)點(diǎn)屬性來提取動(dòng)態(tài)特征，提出DGCRN 用于交通預(yù)測(cè). Kumar et al［26］提出DyGCN ? LSTM，將動(dòng)態(tài)GCN 與LSTM 結(jié)合，以同時(shí)表示網(wǎng)絡(luò)的時(shí)空相關(guān)性來進(jìn)行交通事件預(yù)測(cè). Liu et al［27］提出魯棒時(shí)空?qǐng)D卷積網(wǎng)絡(luò)，利用高斯分布節(jié)點(diǎn)表示和基于方差的注意力機(jī)制來處理噪聲擾動(dòng)和缺失數(shù)據(jù)，進(jìn)行交通預(yù)測(cè). 綜上，盡管圖神經(jīng)網(wǎng)絡(luò)在從歷史事件中學(xué)習(xí)特征及其時(shí)間特征以進(jìn)行事件預(yù)測(cè)方面展現(xiàn)出潛力，但這一領(lǐng)域仍然面臨諸多挑戰(zhàn)和待解決的問題.

基于先前的研究，受到DynamicGCN［21］的啟發(fā)，本文提出一個(gè)新的突發(fā)事件預(yù)測(cè)模型，結(jié)合EGAT 進(jìn)行有效的事件圖節(jié)點(diǎn)表示學(xué)習(xí)和注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)模型對(duì)時(shí)間序列特征的提取，對(duì)未來是否會(huì)發(fā)生某類突發(fā)事件進(jìn)行預(yù)測(cè).

事件圖表示為G=（V，E），其中，V表示事件圖的節(jié)點(diǎn)集合，由預(yù)處理后的事件文檔中的關(guān)鍵詞表示；E 表示事件圖的邊集合，由關(guān)鍵詞之間的共現(xiàn)關(guān)系表示.

3基于動(dòng)態(tài)增強(qiáng)圖注意力網(wǎng)絡(luò)的突發(fā)事件預(yù)測(cè)模型

用于預(yù)測(cè)突發(fā)社會(huì)事件的DEGAT 模型的主要模塊有四個(gè)：（1）動(dòng)態(tài)事件圖層：將歷史時(shí)間的事件文本構(gòu)建成圖，并且用詞向量代表每個(gè)節(jié)點(diǎn)的特征；（2）語(yǔ)義編碼層：構(gòu)建事件語(yǔ)義信息的語(yǔ)義編碼層，得到全面的事件特征；（3）時(shí)間編碼層：獲得時(shí)間特征的時(shí)間編碼模塊，利用序列模型獲得時(shí)間序列的長(zhǎng)依賴性；（4）預(yù)測(cè)層：利用歷史事件信息進(jìn)行突發(fā)事件預(yù)測(cè). DEGAT 模型的結(jié)構(gòu)如圖2所示.

4 實(shí)驗(yàn)及結(jié)論

4. 1數(shù)據(jù)集 使用Deng et al［21］從IntegratedConflict Early Warning System （ICEWS）收集的四個(gè)國(guó)家的“protest”事件的數(shù)據(jù)集. 對(duì)于每個(gè)國(guó)家的數(shù)據(jù)，將事件發(fā)生前k 天內(nèi)的文檔作為原始輸入，并將目標(biāo)事件的發(fā)生作為真實(shí)標(biāo)簽. 四個(gè)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)如表1 所示.

4. 2實(shí)驗(yàn)參數(shù)設(shè)置 實(shí)驗(yàn)環(huán)境和配置如表2 所示. 部分參數(shù)：lr= 0.001，epoch =1000，dropoutrate = 0.2，weight_decay = 0.0005.

4. 3對(duì)比實(shí)驗(yàn) 將DEGAT 模型與多種事件預(yù)測(cè)方法及其變體進(jìn)行了實(shí)驗(yàn)比較，實(shí)驗(yàn)結(jié)果如表3 所示，表中黑體字表示最優(yōu)的預(yù)測(cè)結(jié)果，“*”表示與DynamicGCN［21］的相同數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果.

其余各模型的描述如下所示.

GCN+GRU［32］是一種用于交通預(yù)測(cè)的時(shí)間圖卷積網(wǎng)絡(luò)，結(jié)合GCN 和GRU 來捕獲交通數(shù)據(jù)中的時(shí)空相關(guān)性.

EGAT+GRU 是將GCN+GRU中的GCN模塊替換為EGAT模塊.

EGAT+LSTM是EGAT+GRU的變體，將GRU模塊替換為L(zhǎng)STM模塊.

EGAT+RNN與EGAT+LSTM類似，將LSTM模塊替換為RNN模塊.

EvolveGCN［33］是一種動(dòng)態(tài)圖表示學(xué)習(xí)方法，使用GCN 學(xué)習(xí)每個(gè)快照的網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點(diǎn)特征信息，使用循環(huán)神經(jīng)網(wǎng)絡(luò)模型演化GCN 參數(shù)來捕獲圖序列背后的動(dòng)態(tài)特征.

HGT［34］是一種異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型，使用與節(jié)點(diǎn)和邊緣類型相關(guān)的參數(shù)來表征每條邊緣上的異構(gòu)注意力，獲得不同類型的節(jié)點(diǎn)和邊的專有表示，使用動(dòng)態(tài)異構(gòu)上下文圖作為輸入.

使用F1 分?jǐn)?shù)、召回率（Rec）和精確率（Prec）來評(píng)估DEGAT 模型的預(yù)測(cè)性能，如表3 所示，表中黑體字表示性能最優(yōu). 由表可見，除了India 數(shù)據(jù)集，DEGAT 模型在其他數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)均為最優(yōu). 這是由于“India”數(shù)據(jù)集存在不平衡，詞匯量相對(duì)較大，根據(jù)Deng et al［21］的研究，其Rec和Prec 不是最優(yōu).

DEGAT 模型在四個(gè)國(guó)家的“protest”事件數(shù)據(jù)集上的訓(xùn)練過程中的損失變化如圖5 所示. 由圖可見，在訓(xùn)練初期的前五個(gè)epoch，損失值迅速下降，在訓(xùn)練20 個(gè)epoch 之后逐漸趨于穩(wěn)定. 訓(xùn)練過程中的AUC（ Area under Curve）變化如圖6所示. 由圖可見，在前五個(gè)epoch 的訓(xùn)練過程中，在Egypt 和India 兩個(gè)國(guó)家的數(shù)據(jù)集上的訓(xùn)練過程中波動(dòng)較大，到第五個(gè)epoch 之后AUC 才趨于穩(wěn)定. 通過訓(xùn)練過程中的Loss 和AUC 的變化情況可以看出，經(jīng)過訓(xùn)練，DEGAT 模型的預(yù)測(cè)性能趨于穩(wěn)定，訓(xùn)練時(shí)的AUC 穩(wěn)定在0. 9 左右，表現(xiàn)出良好的預(yù)測(cè)性能.

4. 4圖神經(jīng)網(wǎng)絡(luò)算法對(duì)比實(shí)驗(yàn) 為了證明EGAT的效果優(yōu)于其他圖神經(jīng)網(wǎng)絡(luò)算法，對(duì)比EGAT 和GAT，GCN，GIN，GraphSAGE，k?GNNs，SGC 和SSGC 在四個(gè)數(shù)據(jù)集上驗(yàn)證獲得的事件語(yǔ)義信息對(duì)事件預(yù)測(cè)結(jié)果的影響，使用準(zhǔn)確率（Acc）來進(jìn)行評(píng)估. 實(shí)驗(yàn)如表4 所示，表中黑體字表示最優(yōu)的預(yù)測(cè)結(jié)果. 由表可見，和其他七種圖神經(jīng)網(wǎng)絡(luò)算法相比，EGAT 獲得的事件語(yǔ)義信息更加全面，事件預(yù)測(cè)的準(zhǔn)確率更高.

4. 5循環(huán)神經(jīng)網(wǎng)絡(luò)模型對(duì)比實(shí)驗(yàn) 由于循環(huán)神經(jīng)網(wǎng)絡(luò)可以進(jìn)一步捕獲事件之間更多的時(shí)間依賴性，為了找到最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡(luò)模塊，將LSTM和BiLSTM，GRU，BiGRU 和RNN 進(jìn)行實(shí)驗(yàn)對(duì)比，使用準(zhǔn)確率（Acc）來進(jìn)行評(píng)估. 實(shí)驗(yàn)結(jié)果如表5 所示，表中黑體字表示最優(yōu)的預(yù)測(cè)結(jié)果. 由表可見，LSTM 提取序列特征效果最好，預(yù)測(cè)準(zhǔn)確率達(dá)到了88. 57%，和其他循環(huán)神經(jīng)網(wǎng)絡(luò)相比，準(zhǔn)確率提高1. 71%.

4. 6 k值調(diào)優(yōu) 為了找到最優(yōu)的節(jié)點(diǎn)信息傳遞輪數(shù)k，在四個(gè)數(shù)據(jù)集上選擇不同的k，比較EGAT 的預(yù)測(cè)準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖7 所示. 在EGAT 中，信息每傳遞一輪，節(jié)點(diǎn)就會(huì)獲取更豐富的鄰居節(jié)點(diǎn)信息，隨著輪數(shù)的增加，圖中每個(gè)節(jié)點(diǎn)會(huì)不斷融合更大鄰域的信息，能提升事件預(yù)測(cè)的效果. 由圖可見，klt;4時(shí)，K 越小，模型的訓(xùn)練效果越差，隨著K 的增大模型結(jié)果越來越穩(wěn)定；kgt;8 時(shí)，模型性能開始下降，變得不穩(wěn)定；k=6時(shí)，模型的預(yù)測(cè)準(zhǔn)確率較高，且性能穩(wěn)定. 所以，在實(shí)驗(yàn)中選擇k = 6.

4. 7消融實(shí)驗(yàn) 為了驗(yàn)證DEGAT模型各組成模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，使用準(zhǔn)確率（Acc）來進(jìn)行評(píng)估. 實(shí)驗(yàn)結(jié)果如表6 所示，表中黑體字表示最優(yōu)的預(yù)測(cè)結(jié)果，其中M?Attention 為多頭注意力機(jī)制. 由表可見，隨著模塊的增加，DE?GAT 在四個(gè)數(shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確率均在逐步提升，證明其各組成部分均具有有效性. 和基準(zhǔn)模型相比，EGAT 獲取歷史事件圖全面的事件特征，預(yù)測(cè)準(zhǔn)確率平均提高0. 86%，在India 數(shù)據(jù)集上提升1. 22%，證明提出的EGAT 可以進(jìn)行有效的事件圖節(jié)點(diǎn)表示學(xué)習(xí)并獲取較全面的事件特征. 加入M?Attention 后，模型的Acc 平均提升4. 32%，加入LSTM 后平均提升3. 36%，說明引入M? Attention 和LSTM 相結(jié)合的時(shí)間編碼層后，模型預(yù)測(cè)性能提升效果最明顯，證明了提出的時(shí)間編碼模塊獲取時(shí)間信息的有效性，并且對(duì)模型的準(zhǔn)確率有較大的影響. 提出的時(shí)間編碼層通過捕獲不同時(shí)間點(diǎn)的全局信息和局部信息提高了事件基于時(shí)間的演化信息的表示，從而提升后續(xù)事件是否會(huì)發(fā)生的事件預(yù)測(cè)的準(zhǔn)確率.

5結(jié)論

本文提出一種基于動(dòng)態(tài)增強(qiáng)圖注意力網(wǎng)絡(luò)的突發(fā)事件預(yù)測(cè)模型DEGAT. 利用歷史時(shí)間的事件描述構(gòu)建成事件圖，使用構(gòu)建的EGAT 獲得增強(qiáng)的事件特征并將初始圖向量和EGAT 輸出的圖向量分別輸入線性層，經(jīng)過激活函數(shù)合并得到時(shí)間特征，將時(shí)間特征序列輸入多頭注意力機(jī)制和LSTM，獲得動(dòng)態(tài)全局時(shí)間特征. 最后，將時(shí)間動(dòng)態(tài)特征輸入EGAT網(wǎng)絡(luò)，經(jīng)過非線性變換后輸出預(yù)測(cè)結(jié)果. 在四個(gè)國(guó)家的社會(huì)突發(fā)事件數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，提出的DEGAT 模型對(duì)事件預(yù)測(cè)的準(zhǔn)確率優(yōu)于現(xiàn)有模型，和DynamicGCN相比，準(zhǔn)確率和精確率分別提高3. 88% 和4. 12%.

（責(zé)任編輯 楊可盛）