基于BiLSTM-CRF的社會突發(fā)事件研判方法

胡慧君,王 聰，代建華，劉茂福

(1.武漢科技大學 計算機科學與技術(shù)學院，湖北 武漢 430065；2.湖南師范大學 智能計算與語言信息處理湖南省重點實驗室，湖南 長沙 410081)

0 引言

近年來，社會突發(fā)事件頻發(fā)，給社會帶來了巨大影響，也給應急處置帶來了巨大挑戰(zhàn)。社會突發(fā)事件突然發(fā)生的特性和所具有的破壞性，要求應急處理必須做到時效性和準確性，從而及時止損。而社會突發(fā)事件類型和等級研判作為應急處置的起始部分，決定著后續(xù)應急預案能否快速準確地實施。目前，國內(nèi)對社會突發(fā)事件的應急處置已初具規(guī)模，但如果讓應急決策者手工去處理應急處置中的所有工作，可能會缺乏效率，延誤最佳的應急時機。因而，社會突發(fā)事件類型和等級的自動研判在應急處置中非常關(guān)鍵。

國內(nèi)較早便開展了社會突發(fā)事件應急處置的相關(guān)工作，但當時標準不明，研究多是探索性的。自2005年后，國家陸續(xù)發(fā)布了社會突發(fā)事件的應急管理流程和相關(guān)標準，有關(guān)研究便逐漸多了起來。然而，由于各省份之間的差異性，頒發(fā)的文件中大多都是保證覆蓋到各地區(qū)的應急處置，而對于突發(fā)事件等級研判標準并不詳細，導致目前大多數(shù)研究更多注重的是對應急處置的綜合性評價，強調(diào)了應急處置的風險性。Ivica等[1]通過模糊決策的方式來確定雷電的位置對輸電網(wǎng)的影響，Sedova等[2]使用模糊推理方法來對海上突發(fā)事件進行等級研判，Sun等[3]采用了直覺模糊集理論，并結(jié)合層次分析法實現(xiàn)對水利工程施工應急救援方案的定量評價。近些年來，基于機器學習的方法也逐漸開始展露，Hou等[4]將聚類方法運用在突發(fā)事件應急物資的分類上，Qiu等[5]和Fu等[6]結(jié)合貝葉斯模型在突發(fā)事件的應急處置中進行運用，商麗媛等[7]融合支持向量機的方法實現(xiàn)對突發(fā)事件的等級研判，徐緒堪等[8]在商麗媛等[7]的基礎(chǔ)上，提出了基于隨機森林的突發(fā)事件等級研判方法。

雖說現(xiàn)有研究有一定的效果，但還是存在一些不足，目前應急處置的等級研判證據(jù)大多采用人工或規(guī)則方法。人工提取研判證據(jù)，需要大量人力，且進行研判時也需要人工識別研判證據(jù)，靈活性較差；采用規(guī)則方法，規(guī)則庫的建立需要專家大量的時間進行總結(jié)與歸納，并且中文語言靈活多變，還會存在規(guī)則庫建立不完全的問題，示例如例1和例2所示。

例1: 從首例病毒性肺炎到首例死亡病例……截至2020年1月7日21時，實驗室檢出一種新型冠狀病毒，獲得該病毒的全基因組序列，經(jīng)核酸檢測方法共檢出新型冠狀病毒陽性結(jié)果15例(1)https://www.bjnews.com.cn/news/2020/01/20/676837.html。

例2: 截至目前，我市累計報告新型冠狀病毒感染的肺炎病例41例，已治愈出院12例，在治重癥5例，死亡2例，其余患者病情穩(wěn)定，患者均在武漢市定點醫(yī)療機構(gòu)接受隔離治療(2)http://www.nhc.gov.cn/xcs/yqtb/202001/2f222cfb607e-4952a705ac34c420c057.shtml。

例1和例2中，“首例死亡病例”和“死亡2例”同時指向了死亡人數(shù)，而“新型冠狀病毒陽性結(jié)果15例”和“感染的肺炎病例41例”同時指向了感染人數(shù)，對“死亡”和“感染”人數(shù)方面的研判證據(jù)采用了不同的描述形式，規(guī)則方法將無法保證規(guī)則集覆蓋所有的研判證據(jù)描述。

從上述例子可以看出，現(xiàn)有研究方法在研判證據(jù)提取上還存在著許多不足，這些不足直接影響了后續(xù)應急處置的精準性。本文提出的基于BiLSTM-CRF的序列標注研判方法，實現(xiàn)了對研判證據(jù)更加細粒度化的識別，并結(jié)合注意力機制達到對社會突發(fā)事件精準研判的目的。相比較于以往研究，本文采用序列標注模型識別出研判證據(jù)，具有更好的靈活性和準確性。其次，以往研究大多只考慮了應急處置中的某一個環(huán)節(jié)，而忽略了不同環(huán)節(jié)之間的影響，本文將突發(fā)事件分類和等級研判結(jié)合，類別信息分別融入研判證據(jù)抽取和等級研判，從而提高等級研判效果。

1 基于BiLSTM-CRF的突發(fā)事件研判方法

社會突發(fā)事件研判任務(wù)是指針對某一條突發(fā)事件文本判定其具體突發(fā)事件類型和突發(fā)事件等級。受Mu等[9]和He等[10]的啟發(fā)，參考“事件抽取”的思想，將社會突發(fā)事件研判任務(wù)劃分為事件識別、事件分類、研判證據(jù)識別和等級研判四個子任務(wù)，通過對整個研判任務(wù)的細致劃分，獲取更加精準的事件語義信息，達到增強研判效果的目的。

事件識別通過識別事件觸發(fā)詞，判斷文本中是否含有事件，來達到識別事件的目的，如“婚慶現(xiàn)場發(fā)生了爆炸”，以 “爆炸”為事件的觸發(fā)詞，判斷文本中是否包含突發(fā)事件，進而對觸發(fā)詞進行分類，從而確定突發(fā)事件的類型，由此便可知發(fā)生了什么事件，是什么類型。對于突發(fā)事件等級研判，其關(guān)鍵是研判證據(jù)的識別，但中文語言的不規(guī)則化和靈活性導致現(xiàn)有研判證據(jù)識別準確率低，突發(fā)事件等級研判效果差。為了提高突發(fā)事件等級研判證據(jù)識別的準確率，本文在研判證據(jù)識別中結(jié)合事件分類任務(wù)，融入突發(fā)事件類別信息。突發(fā)事件類型不僅會加強研判證據(jù)的識別能力，并且對突發(fā)事件等級研判有很大影響，如“臺風登陸時中心附近最大風力有13級(38米/秒)”，通過識別“臺風”，可知突發(fā)事件發(fā)生，事件類型為“氣象災害”，若人為知道突發(fā)事件類型為“氣象災害”，可推斷到突發(fā)事件類型有“臺風”“暴雨”“大霧”等具體事件[11-12]，從而推測出研判證據(jù)為“風力”“降雨量”“能見度”等。為了使模型也能學習到這種關(guān)系，本文將類別信息融入研判證據(jù)識別任務(wù)中,進而增加研判證據(jù)識別效果。在進行等級研判時，為了避免其他因素的干擾，只將事件類型信息和研判證據(jù)作為等級研判的判別特征，整體方法框架如圖1所示。

圖1中，方法流程為先進行事件識別和事件分類，再進行研判證據(jù)識別，最后完成等級研判。研判證據(jù)的識別在輸入層結(jié)合了事件分類的結(jié)果，再將識別出來的研判證據(jù)和分類結(jié)果進行等級研判。對研判證據(jù)的精準識別，可在進行等級研判時減少其他因素的影響，讓等級研判只跟識別出的研判證據(jù)和類別信息相關(guān)，由此研判的等級會更加精確。

圖1 方法框架

1.1 事件分類與研判證據(jù)識別

事件分類用標注模型實現(xiàn)，包括觸發(fā)詞的識別和分類，將識別出的觸發(fā)詞進行分類，即可確定突發(fā)事件的類別[13]。與分類模型相比，標注模型對識別文本語義相似的不同類別事件有著更好的效果。事件分類的實現(xiàn)方法基于BiLSTM-CRF模型[14]，BiLSTM-CRF模型可以同時完成觸發(fā)詞識別和突發(fā)事件分類，減少錯誤傳播，從而最終分類結(jié)果較好。首先文本經(jīng)過字符嵌入后，輸入到BiLSTM模型中，再通過CRF方法獲取序列標注結(jié)果。由圖1可以看出，文本經(jīng)過模型識別出“爆炸”“縱火”等為激活事件元素[15]，進而進行事件分類，分成“安全事故”“刑事事件”等類別，從而得到了事件類型信息。

在本文提出的方法中，突發(fā)事件類型會作為等級研判環(huán)節(jié)的一部分，并將其當作研判證據(jù)之一[16-17]。主要影響表現(xiàn)為：一是作為研判證據(jù)，成為等級研判的輸入，而與其他研判證據(jù)不同的是，突發(fā)事件類型含有突發(fā)事件的類別信息，既可作為單獨任務(wù)提供信息，也可結(jié)合其他任務(wù)。當作為單獨任務(wù)時，屬于事件分類任務(wù)，對識別事件進行分類，獲取突發(fā)事件類別信息。而不作為單獨任務(wù)時，則可成為等級研判的一環(huán)，從而提升等級研判的效果。其次便是類別信息對研判證據(jù)的影響，如上所述，當發(fā)生了“氣象災害”事件時，可以推斷出“風力”“降雨量”等可能為其研判證據(jù)，由此便可看出類別信息很大程度上能幫助研判證據(jù)的識別?，F(xiàn)有的突發(fā)事件等級研判方法，由于研判證據(jù)的非標準化，傳統(tǒng)方法很難精準識別出研判證據(jù)，而BiLSTM-CRF的序列標注模型則可以細粒度地識別這些研判證據(jù)信息，考慮到類別信息對研判證據(jù)識別的影響，本文提出了基于類型信息融合的研判證據(jù)識別方法，此方法以BiLSTM-CRF模型為基礎(chǔ)，通過結(jié)合類別信息和原始文本，將得到的突發(fā)事件分類結(jié)果融合到研判證據(jù)的識別中，從而提高研判證據(jù)識別準確度，研判證據(jù)識別模型的框架如圖2所示。

圖2 研判證據(jù)識別模型的框架

在研判證據(jù)識別模型中，輸入層中由下往上分別表示突發(fā)事件分類輸出結(jié)果和文本向量表示，將其類別信息與當前輸入結(jié)合，經(jīng)過BiLSTM層進行處理，再通過CRF層得到預測的序列標注結(jié)果，則可得到研判證據(jù)識別結(jié)果。

輸入層：類別信息向量矩陣和輸入文本向量矩陣的結(jié)合語義向量表示。采用了預訓練模型BERT(Bidirectional Encoder Representation from Transformers)來獲取文本的語義向量表示，BERT采用了雙向Transformer作為特征抽取，可以獲取更豐富的語義信息，文本經(jīng)過BERT模型將字符級嵌入轉(zhuǎn)換成向量形式[18]。類別信息和輸入文本經(jīng)過BERT獲取到各自的語義向量表示，結(jié)合后作為輸入層。

BiLSTM層：由BERT傳過來的向量矩陣，經(jīng)過BiLSTM層可以得到更多的語義信息。LSTM(Long Short-Term Memory)為長短時記憶神經(jīng)網(wǎng)絡(luò)，是RNN的一個變種，可解決RNN在時間序列中長期依賴丟失的問題[19]。LSTM的輸入為向量矩陣，經(jīng)過下列步驟則可以得到隱藏層的向量表示。

CRF層：BiLSTM傳過來的概率矩陣通過條件隨機場(CRF)的方法來獲取序列的最優(yōu)標記。在以往研究中，已表明CRF在序列標注求解問題上有很好的效果。傳入的BiLSTM的輸出的概率矩陣為Om*l，其中Oij表示第i個字符映射到第j個標簽上的概率。當已知序列seq={w1,w2,…,wn}的預測的標簽序列為y={y1,y2,…,yn}，則從式(7)可以得到當前序列的得分。

(7)

其中，A為轉(zhuǎn)移概率矩陣，該矩陣在對當前位置進行標注時可以利用之前的標注信息，Ayi,yi+1表示標簽yi移到標簽yi+1時的概率。通過求解f(x,y)的最大值來獲取最優(yōu)的標簽序列，再采用動態(tài)規(guī)劃算法來得到最優(yōu)標注路徑。

輸出層：已標注的序列文本。

通過輸出層輸出的已標注的序列，可以識別出需要的研判證據(jù)，進而通過研判證據(jù)決定突發(fā)事件的等級。

1.2 等級研判

等級研判為社會突發(fā)事件研判任務(wù)中的最后一個環(huán)節(jié)，該環(huán)節(jié)融合了分類結(jié)果和證據(jù)識別結(jié)果，當獲取到突發(fā)事件類別信息和研判證據(jù)后，則可進行等級研判。突發(fā)事件的等級研判只受類型和研判證據(jù)的影響，從而避免其他不相關(guān)因素對等級研判的影響。識別出來的研判證據(jù)結(jié)果和突發(fā)事件分類輸出結(jié)果進行結(jié)合，作為等級研判任務(wù)的輸入，經(jīng)過BiLSTM層，再結(jié)合注意力機制，最終預測出當前文本的突發(fā)事件等級。等級研判模型的框如圖3所示。

圖3 等級研判模型的框架

圖3中的“類型”表示事件分類的輸出結(jié)果?！把信凶C據(jù)”則表示研判證據(jù)的識別結(jié)果，將這兩部分同時輸入，進行編碼，轉(zhuǎn)換成向量矩陣，輸入到BiLSTM層處理信息，再經(jīng)過注意力層，通過注意力機制來調(diào)節(jié)各個證據(jù)之間的權(quán)重大小。近些年，注意力機制在各個自然語言處理任務(wù)中已取得了不錯的成績，由于等級研判時不同證據(jù)對研判的影響不同，加入注意力機制可以有效地處理這個問題，從而提高等級研判的準確性。由BiLSTM層輸出的特征向量矩陣H，經(jīng)過以下步驟得到注意力層的輸出γ,如式(8)～式(11)所示。

得到注意力層的輸出后，經(jīng)Softmax層分類輸出研判等級。

2 實驗

2.1 數(shù)據(jù)集

社會突發(fā)事件的研判語料來源于政府網(wǎng)站信息公開的突發(fā)事件通報及微博中突發(fā)事件新聞報道，標注過程中參照《國家特別重大、重大突發(fā)公共事件分級標準(試行)》《貴州省突發(fā)事件分級標準》文件，確立標注規(guī)范，標注了突發(fā)事件的事件觸發(fā)詞、事件類型、研判證據(jù)和突發(fā)事件等級四部分，其中事件類型包括了安全事故、公共衛(wèi)生事件、地震災害、氣象災害及刑事事件五大類，突發(fā)事件等級包括特別重大(Ⅰ)、重大(Ⅱ)、較大(Ⅲ)和一般(Ⅳ)四個等級，按照此規(guī)范，共標注突發(fā)事件數(shù)據(jù)2 000條，形成突發(fā)事件研判語料集，具體語料分布情況如表1所示。

表1 語料分布表

社會突發(fā)事件研判語料按照BIO標注方式進行標注，標注出上述五個類型的事件觸發(fā)詞，即激活事件的事件元素和事件類型，同時標注出用于等級研判的研判證據(jù)和突發(fā)事件等級，如例3所示。

例3：2007年8月13日16時45分，湖南省湘西土家族苗族自治州鳳凰縣正在建設(shè)的堤溪沱江大橋發(fā)生特別重大坍塌事故，造成64人死亡、4人重傷、18人輕傷，直接經(jīng)濟損失3 974.7萬元。事故發(fā)生后，黨中央、國務(wù)院領(lǐng)導同志作出重要批示，華建敏國務(wù)委員趕赴事故現(xiàn)場指導搶險救援工作(3)https://www.bbaqw.com/js/701.html。

在例3中，將“坍塌事故”標注為當前文本的事件觸發(fā)詞，并確定當前文本事件類型為“安全事故”。而“64人死亡”“4人重傷”“18人輕傷”和“經(jīng)濟損失3 974.7萬元”是突發(fā)事件等級研判任務(wù)中的主要因素。在此文本中，這些證據(jù)同時作為評判突發(fā)事件等級的關(guān)鍵特征，都需要標注，并按照標注規(guī)范，確定當前文本突發(fā)事件等級為“特別重大(Ⅰ)”。整個突發(fā)事件研判語料集采用例3中標注方法進行標注，以小組內(nèi)交叉檢驗方式進行復查，歧義語料服從多數(shù)為準原則。本文選取了已標注突發(fā)事件研判語料集中的1 000份作為訓練集，500份作為驗證集，剩余500份為測試集。

2.2 實驗設(shè)置

社會突發(fā)事件的研判研究，本文將其劃分為四個子任務(wù)，在事件識別任務(wù)中，對于結(jié)果的判定，要求其預測的觸發(fā)詞與預先標注好的觸發(fā)詞匹配，才能判定正確;在事件分類任務(wù)中，目的是得到整個文本的突發(fā)事件類型，因此對于識別出的事件觸發(fā)詞，要求其類型正確，這是正確分類的前提。實驗參數(shù)設(shè)置如下：輸入的維度max_seq_length為256，訓練集的batch_size為16，測試集的batch_size為8，訓練學習率為1×10-5，使用dropout來防止過擬合，值為0.5。對于突發(fā)事件研判證據(jù)識別，同樣要求預測出的研判證據(jù)與預先標注好的研判證據(jù)一致，據(jù)此進行判斷，而對于突發(fā)事件等級研判，要求預測出的等級和預先標注等級一致。在研判證據(jù)識別任務(wù)中，使用了與事件分類任務(wù)相同的實驗參數(shù)設(shè)置。對于等級研判任務(wù)，實驗參數(shù)設(shè)置如下：輸入的維度max_seq_length為126，訓練集與測試集batch_size為256，訓練學習率為 1×10-3，dropout值為0.5。

評價標準采用了精準度(P)、召回率(R)和F-score(F值)來評估事件識別和分類、研判證據(jù)識別和等級研判的效果，如式(12)～式(14)所示。

2.3 實驗設(shè)置

按照上述方法和模型，將數(shù)據(jù)集劃分為訓練集、驗證集和測試集，用訓練集和驗證集進行訓練與驗證，將訓練好的模型在測試集上進行預測，根據(jù)預測結(jié)果與真實結(jié)果之間的差異進行評估，評估結(jié)果如表2所示。

表2 基于序列標注模型的研判結(jié)果表 (單位: %)

從表2中可以看到，事件識別和事件分類的F值相差了8.29%，造成如此差距是相近觸發(fā)詞導致。本文對于突發(fā)事件的類型分類，在于整個文本所屬類別，當出現(xiàn)了觸發(fā)詞，但識別的位置和詞語與預先標注好的不一致，預測的突發(fā)事件類型一樣時，也將判定為正確，具體示例如例4所示。

例4：9月13日上午，?？谑袞|湖南里發(fā)生一起故意傷害致死案：一男子持刀行兇，造成3名男子1死2傷(4)http://www.hinews.cn/news/system/2015/09/13/017797825.shtml。

例4中，標注的事件觸發(fā)詞為“行兇”，事件類型為“刑事事件”，在進行預測時并未識別出“行兇”，而將“故意傷害”作為事件的觸發(fā)詞識別出來，類型同樣也為“刑事事件”。在進行突發(fā)事件類型判定時，其對于文本而言預測出來的類型正確則為正確。

表2中的研判證據(jù)識別(+類型)和研判證據(jù)識別分別表示在加入分類結(jié)果和不加入分類結(jié)果的研判證據(jù)識別效果，從表中可以看出，在融入了分類結(jié)果后，研判證據(jù)抽取的F值有明顯的提升。

突發(fā)等級研判與事件分類不同，從表2中可以看出，研判證據(jù)識別的F值比等級研判的F值高，研判證據(jù)正確識別決定等級研判的準確性，若缺少研判證據(jù)，則大部分情況下都會造成判定的等級過低，具體示例如例5所示。

例5：8月19日15時05分，一輛安陽市區(qū)至安陽縣北郭鄉(xiāng)的公交車上發(fā)生持刀搶劫殺人案。車上33名乘客，15人被捅傷，其中2人在救治途中死亡，1名傷者經(jīng)搶救無效死亡(5)http://news.cntv.cn/special/anyanggjqja。

例5中，通過文中模型可以識別出當前類型為“刑事事件”，但對于其他等級研判特征的識別并未識別完全，文中模型識別出了“15人被捅傷”，而未識別出死亡研判證據(jù)，因此導致了最終的研判等級變低。

社會突發(fā)事件等級研判任務(wù)的最終目的是突發(fā)事件分類和等級研判，從表2中可以看到以BiLSTM-CRF的序列標注模型完成的突發(fā)事件分類和等級研判的效果，為了證明序列標注模型的有效性，本文將徐緒堪等[8]所使用的隨機森林模型進行復現(xiàn)，從而作為對比，同時也加入了BERT模型作為對比，結(jié)果如表3所示。

表3 實驗對比表

由表3可以看出，序列標注模型的實驗結(jié)果最好。當使用徐緒堪等[8]的方法，其效果與BERT模型以及序列標注模型都相差較多，造成這種情況的可能原因便是隨機森林模型在徐緒堪等[8]的實驗中所使用的語料集規(guī)模較少，只有一種突發(fā)事件類型，當擴大語料集和突發(fā)事件類別種類時便達不到較好的效果。序列標注模型在事件分類中比BERT模型F值提高了1.81%，在事件分類任務(wù)中，序列標注模型能更加有效地識別文中的類別信息，即事件的觸發(fā)詞，相比較于BERT模型直接用整句語義向量進行分類而言，序列標注模型能有效避免噪點信息的干擾。等級研判中序列標注模型與隨機森林模型和BERT模型相比，F(xiàn)值分別提高了30.21%和8.73%。隨機森林模型除上述提到的數(shù)據(jù)規(guī)模擴大、效果不佳的情況外，另一個較為重要的原因便是由于語言的靈活性，采用規(guī)則的方法[20-21]并不能很好地識別研判證據(jù)，從而導致等級研判結(jié)果較差，而BERT模型采用了句子語義信息來作為研判證據(jù)，其證據(jù)不如采用序列模型識別出的證據(jù)精確，如此便忽略了類別信息對研判證據(jù)的影響。本文通過對社會突發(fā)事件研判任務(wù)的重新劃分，結(jié)合類別信息來增加社會突發(fā)事件研判證據(jù)識別的準確性，從而提高等級研判的準確性。如此，本文序列標注模型在實驗中表現(xiàn)最佳。

3 總結(jié)與展望

本文中提出了基于序列標注模型來完成社會突發(fā)事件的研判方法，相比較以往研究，此方法能更加靈活準確地識別出研判證據(jù)，通過使用BiLSTM-CRF的方法提高識別的準確率，同時將事件分類和等級研判結(jié)合起來，來優(yōu)化等級研判的效果。目前本文中只考慮到了單一突發(fā)事件的情況，但有時一個社會突發(fā)事件的發(fā)生可能產(chǎn)生其他衍生突發(fā)事件，此時若要對當前突發(fā)事件進行等級研判則需考慮到其衍生突發(fā)事件的影響。接下來的工作將會加入衍生突發(fā)事件，若當前突發(fā)事件產(chǎn)生了其他衍生突發(fā)事件，則判定其對當前突發(fā)事件有聯(lián)系性和影響性，再而進行突發(fā)事件的等級研判。