基于文本挖掘的民航事件風(fēng)險評估

倪曉梅 王華偉 熊明蘭 王峻洲

摘要：為實現(xiàn)“安全第一、預(yù)防為主、綜合治理”的民航安全管理目標，建立了從報告中學(xué)習(xí)并評估風(fēng)險等級的深度學(xué)習(xí)模型.首先采集航空安全報告系統(tǒng)中10年報告，根據(jù)嚴重度建立事件后果的量化指標，確定5個風(fēng)險等級：高、中高、中、中低和低風(fēng)險，并消除事件結(jié)果分布不平衡和結(jié)果多樣性的影響.然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）探索非結(jié)構(gòu)化的事件概要與風(fēng)險等級之間的關(guān)系，通過該模型對事件進行分類，確定風(fēng)險等級. 風(fēng)險評估模型與不同量化指標和不同方法對比，其分類準確率可達96%，優(yōu)于其他指標和方法.最后應(yīng)用該模型對非結(jié)構(gòu)化的事件概要挖掘，對2020年事件進行快速的風(fēng)險評估，預(yù)測準確率可達80%.基于CNN的民航風(fēng)險評估模型可以對文本格式的事件概要充分挖掘，快速評估與主動感知風(fēng)險，對支持安全預(yù)警具有重要意義.

關(guān)鍵詞：民航安全；風(fēng)險評估；安全預(yù)警；文本挖掘；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：X949文獻標志碼：A

Civil Aviation Incident Risk Assessment Based on Text Mining

NI Xiaomei，WANG Huawei，XIONG Minglan，WANG Junzhou

（School of Civil Aviation，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China）

Abstract：In order to achieve the civil aviation safety management goal of ‘safety first，prevention first and comprehensive management’，a deep learning model is established to learn from reports and assess the risk level. Based on the 10-year incident reports available in the Aviation Safety Reporting System，we first establish quantitative indicators of incident consequences and classify all incidents into 5 levels according to their severity：high，moderately high，moderate，moderately low and low risk，which helps to eliminate the impact 0f unbalanced and intricate event consequences. Then，the relationship between the unstructured incident synopsis and the risk level is explored by convolutional neural network（CNN），and the events are classified by the model to determine the risk level. The classification model proves its superiority by comparing it with different quantitative indicators and methods，with an accuracy of 96%，which is better than the compared models. Finally，the 2020’s incident reports are predicted by this model，which enables rapid risk assessment of the synopsis of the incident，with an accuracy rate of 80%. The CNNbased civil aviation risk assessment model can fully mine the text-formatted incident synopsis，and quickly assess and actively perceive the risk level，which helps support the early warning of civil aviation safety.

Key words：civil aviation safety；risk assessment；safety warning；text mining；convolutional neural network

2021年是“十四五”的開局之年，民航局部署，到2025年，力爭全國運輸機場容量達到20億人次.運輸量的增加必然會給民航安全管理帶來嚴峻的挑戰(zhàn).安全風(fēng)險評估作為《民用航空安全管理規(guī)定》[1]的重要內(nèi)容，是實現(xiàn)“安全第一、預(yù)防為主、綜合治理”目標的保障.

民航安全發(fā)展的歷史，就是從事故中學(xué)習(xí)的過程.要實現(xiàn)上述管理的目標，挖掘可利用的事故數(shù)據(jù)與信息，實現(xiàn)精準的風(fēng)險評估是迫切需要解決的問題.若能深層次挖掘事故報告中描述的事故過程，拓展以往只局限于簡單查詢和統(tǒng)計的應(yīng)用，克服依靠領(lǐng)域?qū)＜曳治龊脱芯康闹饔^性等問題，將更好地實現(xiàn)通過事故進行學(xué)習(xí)的功能.

機器學(xué)習(xí)和自然語言處理的發(fā)展和應(yīng)用為分析航空安全報告中的非結(jié)構(gòu)化文本數(shù)據(jù)提供了工具和可能.當(dāng)前在本領(lǐng)域，陸續(xù)有學(xué)者開展了相關(guān)研究. Alkhamisi等[2]、Zhang等[3]和Tanguy等[4]對于航空安全報告系統(tǒng)（Aviation Safety Reporting System，ASRS）中非結(jié)構(gòu)化數(shù)據(jù)的分類和預(yù)測都采用了支持向量機（Support Vector Machine，SVM）.以上采用傳統(tǒng)機器學(xué)習(xí)的方法由于文本表示的高緯度高稀疏性，特征表達能力不強，導(dǎo)致預(yù)測精度不夠，需要通過其他方法的集成或處理來獲得更準確的預(yù)測結(jié)果.而如果風(fēng)險等級評估過高，將導(dǎo)致實際風(fēng)險管理中的“虛警”，造成資源的浪費；若風(fēng)險等級評價過低，則會導(dǎo)致實際風(fēng)險管理中的“漏警”，影響安全風(fēng)險.

最新的研究表明，深度學(xué)習(xí)技術(shù)逐漸取代了傳統(tǒng)機器學(xué)習(xí)方法，成為文本分類領(lǐng)域⑸的主流技術(shù). 深度學(xué)習(xí)能夠更準確地表達對象，從海量數(shù)據(jù)中自動獲取特征，實現(xiàn)端到端地解決問題，極大地提高了準確性.卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）作為典型的深度學(xué)習(xí)方法，在文本分類領(lǐng)域有著較好的應(yīng)用.如羅文慧等[6]、蘭秋軍等[7]和GAO等[8]，通過CNN構(gòu)建分類模型，有效抽取句子實體關(guān)系.

基于此，本文從文本挖掘的角度出發(fā)，提出一種能夠自動評估民航運營過程中安全風(fēng)險等級的模型.通過CNN找到非結(jié)構(gòu)化事件信息與事件結(jié)果之間的關(guān)聯(lián)關(guān)系，建立對應(yīng)風(fēng)險等級，從而協(xié)助民航總局等相關(guān)單位進行風(fēng)險量化、優(yōu)先級設(shè)置、資源分配和決策制定，實現(xiàn)主動安全管理的目標.

1民航事件結(jié)果量化

ASRS是事件報告數(shù)據(jù)庫，可提供過去幾十年來發(fā)生的事件/事故信息，描述了不安全事件和危險情況[9].但由于事件結(jié)果的復(fù)雜性、數(shù)據(jù)不平衡等特點，直接建立事件概要與結(jié)果的映射在實際中需要較強的專業(yè)性，在模型算法方面的難度也較大.針對上述問題，首先建立對應(yīng)的量化指標.

1.1民航事件結(jié)果

搜集從2010年1月至2019年12月ASRS報告，其中與民航運營[10]相關(guān)*的事件共有33個獨立結(jié)果，如表1所示.

此外還有約半數(shù)的事件有多個后果，對風(fēng)險的辨識造成嚴重的干擾.由于結(jié)果的多樣性和復(fù)雜性，直接建立評估模型難以準確判斷風(fēng)險水平.

1.2數(shù)據(jù)不平衡性

民航安全風(fēng)險具有一定的聚集特點，即表現(xiàn)為某類事件發(fā)生次數(shù)較多，某類則相對較少.

2010年報告的所有事件單一后果分布如圖1所示.

可以看出，這33類事件具有嚴重的不平衡特性，多數(shù)類與少數(shù)類的比值超過3000，這種不平衡的類分布對假設(shè)相對平衡分布的機器學(xué)習(xí)算法提出了嚴峻的挑戰(zhàn)[11]，同時難以解釋結(jié)果的客觀性和科學(xué)性.

1.3風(fēng)險等級量化

基于以上事件后果多樣且分布不平衡兩方面的問題，量化事件后果可以更直觀地表現(xiàn)結(jié)果的嚴重度，減少對專業(yè)的依賴性，降低人力成本.

國際民航組織對嚴重度等級依據(jù)人員傷亡、經(jīng)濟損失、機場關(guān)閉時間等[12]因素分為了5級，故本文按照此標準，將事件后果依據(jù)風(fēng)險等級劃分為5個等級.則每個等級按照表1中提供的事件結(jié)果，對應(yīng)風(fēng)險等級如表2所示，表中“損失”即為國際民航組織提供的劃分依據(jù).

對于單一后果的事件，按照風(fēng)險等級劃分，對于多后果的事件，根據(jù)民航局“安全隱患零容忍”的態(tài)度和“從嚴從實管控安全風(fēng)險”的原則，遵循按風(fēng)險等級高的劃分，則事件分布如下圖2所示.

風(fēng)險等級的劃分可以很好地解決事件不平衡的問題，并明確復(fù)雜事件的風(fēng)險等級，這有助于模型準確性的提升[13-14].

2CNN風(fēng)險評估模型

在文本分類領(lǐng)域常用的深度學(xué)習(xí)方法主要有CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）及其改進和集成模型等[5].

CNN仿造生物的視覺機制構(gòu)建，能夠很好地提取特征信息，在分類問題上取得了較好的效果，Yoon Kim[15]最早將CNN用于提取文本的特征實現(xiàn)文本分類.

基于CNN的民航事件風(fēng)險評估模型主要有兩大優(yōu)點：（1）文本表示自動化，泛化性較強，無需專業(yè)的民航背景知識即可得到較好的特征；（2）結(jié)構(gòu)靈活，基于常用結(jié)構(gòu)易于設(shè)計優(yōu)化結(jié)構(gòu)，以便后續(xù)依托民航數(shù)據(jù)特點及安全風(fēng)險規(guī)律改進模型.

CNN主要由六部分組成，輸入層、卷積層、激活層、池化層、全連接層、softmax函數(shù)等，它與普通網(wǎng)絡(luò)的區(qū)別就在于增加了由卷積層和池化層結(jié)合構(gòu)成的特征提取器.其結(jié)構(gòu)如圖3所示.

2.1文本預(yù)處理

事件概要是一種非結(jié)構(gòu)化數(shù)據(jù)，它是事件/事故的簡單說明.根據(jù)NLP文本處理的基礎(chǔ)步驟和民航事件的特點，本文的預(yù)處理過程包括數(shù)據(jù)清洗，加載風(fēng)險源自定義字典、去停用詞和分詞4個環(huán)節(jié).

1）由于涉及到飛機型號、機場、塔臺等編號，為了便于識別，則首先清洗數(shù)據(jù)：將飛機型號如（B737，A320…）等全部轉(zhuǎn)換為aircraft，機場編號全部轉(zhuǎn)換為airport等.

2）為保障文本處理的質(zhì)量，按照文獻［16］中專業(yè)術(shù)語的縮寫構(gòu)建自定義詞典.

3）停用詞和分詞按照常用英語停用詞，則轉(zhuǎn)換后的語言如圖4所示.

2.2CNN結(jié)構(gòu)

1）卷積層

卷積層的輸入為n×n的矩陣，卷積核大小為m×m，n≥m，權(quán)重為ω，卷積后的輸出為c，則對應(yīng)位置（i，j）的輸出為：

式中：x，ω分別為x，ω在位置（i，j）的值.

2）池化層

本文在池化層的構(gòu)造中采用Max-pooling方法，則對應(yīng)位置（i，j）的輸出為：

p=max{c，c，…，c，…，c}（2）

3）輸出層

全連接層后生成向量f=（d，d，…，d），其中d為特征值，g為f的維度，將f輸入到softmax分類器中進行風(fēng)險等級分類，由于風(fēng)險等級有5級，則選用多分類交叉熵損失函數(shù)作為目標函數(shù)L：

式中：y為樣本s的標簽，與等級c為同一風(fēng)險等級時

則為1，不同為0，p為樣本s屬于等級c的概率.

3實驗

實驗平臺為3.00 GHz，Intel（R）Core（TM）i7- 9700 CPU，8GB內(nèi)存，在Google Colab中實施，實驗程序基于開兀軟件庫Tensorflow2.0和keras.

3.1實驗結(jié)果

10年報告共28351條信息，選取其中25%為測試數(shù)據(jù)，其余為訓(xùn)練數(shù)據(jù).CNN風(fēng)險評估模型結(jié)構(gòu)和參數(shù)如圖5所示.

結(jié)構(gòu)圖說明最大詞向量維度為90，卷積層采用Conv1D.

參數(shù)設(shè)置如下：epoch次數(shù)為60，即共訓(xùn)練60 輪，迭代次數(shù)為1000，學(xué)習(xí)率為0.02，訓(xùn)練后準確率可達96.3%，結(jié)果如圖6所示.

3.2對比實驗

為驗證該方法的優(yōu)越性，分別通過不同量化指標和不同模型兩方面的對比說明，如下圖7所示.

其中（a）表示應(yīng)用CNN模型分別對事件后果無分類（即保留原始數(shù)據(jù)中的33種后果）、參考文獻[2]將事件后果風(fēng)險等級分為高，中，低三等（本文即將中高、中低等風(fēng)險全部歸結(jié)為中等風(fēng)險）和本文提出的5級對比.結(jié)果表明同樣使用CNN，5等級的量化指標不僅符合國內(nèi)和國際的標準，準確度也更高.

在5等級的量化標準下，圖7（b）表示分別應(yīng)用SVM、CNN和RNN進行文本分類.結(jié)果說明：CNN模型的分類效果最好；同時也表明，對于民航事件信息，以CNN和RNN為代表的深度學(xué)習(xí)模型準確度高于以SVM為代表的傳統(tǒng)機器學(xué)習(xí)模型.

在本實驗中，CNN模型在準確度上略優(yōu)于RNN，這是因為CNN模型的詞向量最大為90，不屬于長序列，CNN模型足夠處理.而民航詞匯的專業(yè)性讓CNN能夠?qū)Ｗ⒂诓蹲矫窈绞录谋镜恼Z義信息.

3.3預(yù)測

為進一步驗證模型的通用性，將2020年共2111份報告輸入CNN分類模型，預(yù)測2020年的風(fēng)險等級，對事件進行風(fēng)險評估，結(jié)果表明準確率可達到79.6%，混淆矩陣如圖8所示：

其中單個事件的風(fēng)險評估過程如圖9所示：

圖9說明對于單個事件，當(dāng)采集到一線人員的事件描述時，即可通過本模型進行風(fēng)險等級的預(yù)測，對于上述事件，風(fēng)險等級的預(yù)測結(jié)果為3級，即中度風(fēng)險，對比原事件信息，對應(yīng)的事件后果為發(fā)布新的起降許可，符合中等風(fēng)險的損失標準，說明預(yù)測正確.

同時預(yù)測結(jié)果的有效性也說明：采用該模型，后續(xù)在工程中，采集到一線人員對事件的描述后，可以無需專家分析而直接對事件進行評估，確定風(fēng)險水平，以便民航各個部門快速響應(yīng)，針對風(fēng)險等級采取對應(yīng)措施，從而減少財產(chǎn)損失和人員傷亡.

實驗結(jié)果表明CNN風(fēng)險評估模型可以有效對非結(jié)構(gòu)化的事件報告分類，而對事件結(jié)果按照風(fēng)險等級的量化可以有效提高分類的準確率，最新的實驗數(shù)據(jù)進一步驗證了模型的通用性.

4結(jié)論

本文通過提取ASRS事件信息，針對其非結(jié)構(gòu)化、不平衡等特點，通過對事件風(fēng)險等級的量化分級與映射，設(shè)計了風(fēng)險評估模型.提高了事件概要的分類與預(yù)測準確度，為實現(xiàn)主動風(fēng)險管理提供支撐.主要結(jié)論如下：

1）結(jié)合實際風(fēng)險管理需要，將所有事件結(jié)果分成5級，在工程上可直觀評估事件風(fēng)險，同時在算法上可解決數(shù)據(jù)不平衡問題；

2）應(yīng)用CNN網(wǎng)絡(luò)建立民航事件風(fēng)險評估模型，專注于捕捉民航事件文本的語義信息，準確率可達96.3%，通過與不同量化指標和模型的對比說明了優(yōu)越性；

3）在事件分類的基礎(chǔ)上，進一步拓展其功能，開展風(fēng)險預(yù)測，通過2020年的報告進行評估預(yù)測，新事件的風(fēng)險等級基本可被準確評估.

未來隨著事件分析維度的增加和事件數(shù)量的積累，為更好地發(fā)揮模型通過事件學(xué)習(xí)的功能，或可在原CNN模型的基礎(chǔ)上通過預(yù)訓(xùn)練、正則化和集成等方法進一步提高模型性能.

參考文獻

[1]中華人民共和國交通運輸部令2018年第3號.民用航空安全管理規(guī)定[S].北京：中華人民共和國國務(wù)院公報，2018.

Decree No. 3，2018 of the ministry of transport，PRC Civil aviation safety management regulations [S]. Beijing：Bulletin of The State Council of the People，s Republic of China，2018（In Chinese）.

[2]ALKHAMISI A O，MEHMOOD R. An ensemble machine and deep learning model for risk prediction in aviation systems [C]//2020 6th Conference on Data Science and Machine Learning Applications （CDMA）. Riyadh，Saudi Arabia：IEEE，2020：54-59.

[3] ZHANG X G，MAHADEVAN S. Ensemble machine learning models for aviation incident risk prediction [J]. Decision Support Sys- tems，2019，116：48-63.

[4] TANGUY L，TULECHKI N，URIELI A，et al. Natural language processing for aviation safety reports：from classification to interactive analysis[J]. Computers in Industry，2016，78：80-95.

[5] MINAEE S，KALCHBRENNER N，CAMBRIA E，et al. Deep learning：based text classification [J]. ACM Computing Surveys，2021，54（3）：1-40.

[6]羅文慧，蔡鳳田，吳初娜，等.基于文本挖掘的道路運輸安全風(fēng)險源辨識模型[J].西南交通大學(xué)學(xué)報，2021，56（1）：147-152.

LUO W H，CAI F T，WU C N，et al. Text-mining based risk source identification model for transportation safety[J]. journal of Southwestjiaotong University，2021，56（1）：147-152. （In Chinese）

[7]蘭秋軍，李衛(wèi)康，劉文星.不同情境下中文文本分類模型的表現(xiàn)及選擇[J].湖南大學(xué)學(xué)報（自然科學(xué)版），2016，43（4）：141-146.

LAN Q J，LI W K，LIU W X. Performance and choice of Chinese text classification models in different situations[J]. journal of Hunan University（Natural Sciences），2016，43（4）：141-146.（InChinese）.

[8] GAO X，XU X B，LI D C. Accuracy analysis of triage recommendation based on CNN，RNN and RCNN models [C]//2021 IEEE Asia-Pacific Conference on Image Processing，Electronics and Computers. Dalian，China：IEEE，2021：1323-1327.

[9] NASA. ASRS program briefing[EB/OL]. US：Aviation Safety Reporting System，2020[2021-04-10]. https：//asrs.arc.nasa.gov/overview/summary.html.

[10] Air carrier certification：14 CFR-121[S]. USA：Federal Aviation Administration，2020.

[11] BUDA M，MAKI A，MAZUROWSKI M A. A systematic study of the class imbalance problem in convolutional neural networks[J]. Neural Networks，2018，106：249-259.

[12] MOHAMED C. Safety management system [M]. Cairo：International Civil Aviation Organization，2018：34-39.

[13]郎憲明，李平，曹江濤，等.基于非平衡數(shù)據(jù)處理的管道泄漏檢測與定位研究[J].湖南大學(xué)學(xué)報（自然科學(xué)版），2018，45 （2）：110-118.

LANG X M，LI P，CAO j T，et al. Study on pipeline leak detection and location based on imbalance data processing[J]. journal of Hunan University（Natural Sciences），2018，45（2）：110-118. （In Chinese）.

[14] ZHU X H，WANG j Z，HONG Z H，et al. Empirical studies of institutional federated learning for natural language processing[C]//Findings of the Association for Computational Linguistics：EMNLP 2020. Stroudsburg，USA：Association for Computational Linguistics，2020：625-634.

[15] KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Stroudsburg，USA：Association for Computational Linguistics，2014：1746-1751.

[16] FAA. Approved NOTAM contractions [EB/OL]. USA：Federal Aviation Administration，2021 [2021-04-10]. https：//www. notams.faa.gov/downloads/contractions.pdf