基于大數(shù)據(jù)的突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)構(gòu)建★

杜文華

（中南民族大學(xué)，湖北 武漢 430074）

引言

大數(shù)據(jù)背景下突發(fā)事件、情報(bào)數(shù)據(jù)信息的采集與研判，需要充分利用大數(shù)據(jù)挖掘技術(shù)、云計(jì)算技術(shù)、人工智能技術(shù)等，對(duì)海量的外部環(huán)境空間信息，進(jìn)行數(shù)據(jù)采集、挖掘分析及應(yīng)急預(yù)警，并將網(wǎng)絡(luò)或現(xiàn)實(shí)突發(fā)事件的預(yù)警結(jié)果，經(jīng)由5G 通信網(wǎng)絡(luò)傳送至用戶端口。借助于DKhadoop 應(yīng)用程序框架、MySQL 數(shù)據(jù)庫(kù)，以及TCP/IP 開源協(xié)議、Apache 服務(wù)器等的軟硬件，建構(gòu)應(yīng)急管理情報(bào)系統(tǒng)，對(duì)前端收集到的突發(fā)事件信息、情報(bào)數(shù)據(jù)信息進(jìn)行處理，實(shí)現(xiàn)小范圍空間內(nèi)的突發(fā)事件信息收集、自主處理、資源共享與應(yīng)急預(yù)警等的管理[1-3]。

1 突發(fā)事件應(yīng)急管理系統(tǒng)中運(yùn)用的大數(shù)據(jù)技術(shù)

1.1 無(wú)線傳感技術(shù)

在某一小范圍的空間環(huán)境中，可能會(huì)由于外部因素、內(nèi)部因素等的影響，而發(fā)生不可控的突發(fā)事件或狀況，對(duì)于多種突發(fā)事件信息、情報(bào)信息的采集，通常會(huì)用到一系列的無(wú)線傳感技術(shù)。

當(dāng)前不同社會(huì)空間中使用到的無(wú)線傳感技術(shù)，包括環(huán)境光/溫度/濕度傳感器、聲音傳感器、RFID 無(wú)線射頻識(shí)別傳感器、人臉識(shí)別傳感器和視頻監(jiān)控器等的裝置，多種傳感裝置分別負(fù)責(zé)光線、溫度、濕度、聲音和視頻等數(shù)據(jù)信息的采集，完成某一空間范圍內(nèi)的人流車流、突發(fā)地震、非法侵入、爆炸、車禍和疾病等信息采集。隨后由應(yīng)急管理情報(bào)系統(tǒng)的后臺(tái)，去除傳感裝置中的冗余信息，獲取到穩(wěn)定的數(shù)字信號(hào)。

1.2 大數(shù)據(jù)挖掘技術(shù)

對(duì)于突發(fā)事件信息、情報(bào)信息的挖掘計(jì)算，主要利用DKhadoop 應(yīng)用程序管理平臺(tái)、spark 分布式計(jì)算框架，建立起用于突發(fā)事件數(shù)據(jù)挖掘的分布式計(jì)算系統(tǒng)。而后借助于多元線性回歸的統(tǒng)計(jì)分析算法、機(jī)器學(xué)習(xí)算法，對(duì)前端傳送的重要溫濕度、圖像、聲音等日志或表單信息，展開數(shù)據(jù)收集、分類、挖掘處理，并整合系統(tǒng)內(nèi)的日志信息、表單信息，輔助后臺(tái)管理人員作出工作決策。

1.3 分布式與并行計(jì)算技術(shù)

面對(duì)大規(guī)模的突發(fā)事件數(shù)據(jù)、信息計(jì)算任務(wù)，要利用基于Web service、Agent、中間件等的分布式計(jì)算技術(shù)，以及MIMD 多指令流向量處理的并行計(jì)算技術(shù)，從事前、事中、事后等的全流程，開展突發(fā)事件信息、情報(bào)信息的運(yùn)算處理。

其中Web service 為Web 應(yīng)用程序的可編程組件，通過(guò)使用XML 可擴(kuò)展標(biāo)記語(yǔ)言，對(duì)Web service組件進(jìn)行開發(fā)、軟件功能配置，可使后臺(tái)管理者無(wú)需第三方軟件，即可實(shí)現(xiàn)突發(fā)事件及情報(bào)的數(shù)據(jù)集成、資源交換。而Agent 技術(shù)、中間件技術(shù)，也常用于分布式數(shù)據(jù)處理系統(tǒng)的開發(fā)中，負(fù)責(zé)依托5G 通信網(wǎng)絡(luò)的D2D、M2M 技術(shù)，形成前端計(jì)算機(jī)硬件、后端數(shù)據(jù)庫(kù)設(shè)施之間的連接。突發(fā)事件數(shù)據(jù)的并行計(jì)算，則是運(yùn)用計(jì)算機(jī)硬件、網(wǎng)絡(luò)虛擬機(jī)，進(jìn)行海量化數(shù)據(jù)資源、數(shù)據(jù)處理任務(wù)的并行計(jì)算，可最大程度上提升突發(fā)事件數(shù)據(jù)處理、業(yè)務(wù)服務(wù)的效率。

2 突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)的組成架構(gòu)構(gòu)建

在不同區(qū)域空間的突發(fā)事件信息采集、應(yīng)急響應(yīng)管理執(zhí)行過(guò)程中，主要依托5G/GPRS 通信技術(shù)、TCP/IP 協(xié)議，以及網(wǎng)絡(luò)計(jì)算機(jī)、后臺(tái)服務(wù)器、數(shù)據(jù)庫(kù)、DKhadoop 應(yīng)用程序管理平臺(tái)、spark 分布式計(jì)算框架等的軟硬件，搭建起突發(fā)事件的應(yīng)急管理情報(bào)系統(tǒng)，包括IAAS 基礎(chǔ)軟硬件層、PAAS 平臺(tái)資源層、SAAS云任務(wù)處理層等的多層架構(gòu)，具體組成架構(gòu)如下頁(yè)圖1 所示[4]。

從下頁(yè)圖1 的突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)組成架構(gòu)可以得出：IAAS 基礎(chǔ)軟硬件層為整個(gè)系統(tǒng)的基礎(chǔ)設(shè)施底層，包含大數(shù)據(jù)云平臺(tái)、數(shù)據(jù)處理組件、情報(bào)感知組件和應(yīng)急響應(yīng)管理組件等的模塊。在網(wǎng)絡(luò)計(jì)算機(jī)、后臺(tái)服務(wù)器、數(shù)據(jù)庫(kù)等硬件的基礎(chǔ)上，運(yùn)行Web service 可編程組件、Agent 組件、中間件等的組件，虛擬化出網(wǎng)絡(luò)資源池、CPU 處理計(jì)算池、數(shù)據(jù)存儲(chǔ)資源池，來(lái)為突發(fā)事件信息、情報(bào)信息的挖掘與處理提供支持。

而后PAAS 平臺(tái)資源層，主要DKhadoop 應(yīng)用程序框架、Spark 分布式計(jì)算框架、MySQL 數(shù)據(jù)庫(kù)等的軟件服務(wù)工具，構(gòu)建起突發(fā)事件的業(yè)務(wù)系統(tǒng)、情報(bào)系統(tǒng)、應(yīng)急管理系統(tǒng)等組成模塊，并依托5G/GPRS 通信技術(shù)、TCP/IP 協(xié)議，與最外部的SAAS 云任務(wù)處理層形成連接。

其中DKhadoop 應(yīng)用程序架構(gòu)、Spark 分布式計(jì)算框架，共同構(gòu)成網(wǎng)絡(luò)或現(xiàn)實(shí)突發(fā)事件的監(jiān)控體系，負(fù)責(zé)計(jì)算機(jī)主機(jī)監(jiān)控、組件運(yùn)行監(jiān)控、突發(fā)事件的異常行為監(jiān)控，并依據(jù)突發(fā)事件信息、情報(bào)信息處理后的結(jié)果，發(fā)出指定事件的報(bào)警預(yù)警，具體業(yè)務(wù)執(zhí)行流程如圖2 所示[5]。

最后，SAAS 云任務(wù)處理層級(jí)，為突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)的最外層，依托于D2D、M2M、TCP/IP 協(xié)議、通用網(wǎng)關(guān)接口等的通信技術(shù)，也形成與PAAS 平臺(tái)資源層之間的對(duì)接，進(jìn)行突發(fā)情報(bào)獲取、資源調(diào)度、數(shù)據(jù)信息處理分析、應(yīng)急響應(yīng)與管理的任務(wù)執(zhí)行，并將突發(fā)事件信息、情報(bào)信息處理，以及應(yīng)急預(yù)警響應(yīng)的結(jié)果，在用戶端的視圖顯示頁(yè)面呈現(xiàn)。

3 大數(shù)據(jù)背景下突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)的功能實(shí)現(xiàn)

大數(shù)據(jù)挖掘技術(shù)、云計(jì)算技術(shù)應(yīng)用的環(huán)境下，搭建基于DKhadoop 應(yīng)用程序、MySQL 內(nèi)核、Spark 分布式計(jì)算框架的應(yīng)急管理情報(bào)系統(tǒng)，可針對(duì)海量的突發(fā)事件信息、情報(bào)信息，調(diào)用后臺(tái)云服務(wù)器的虛擬主機(jī)、API 接口，運(yùn)用DK.的統(tǒng)計(jì)分析算法、機(jī)器學(xué)習(xí)算法，進(jìn)行相關(guān)數(shù)據(jù)信息索引、排序、檢索的分布式管理，具體的業(yè)務(wù)執(zhí)行流程如圖2 所示。

3.1 主機(jī)監(jiān)控

面對(duì)突發(fā)事件管理系統(tǒng)中的軟硬件運(yùn)行狀況，利用虛擬化技術(shù)對(duì)網(wǎng)絡(luò)計(jì)算機(jī)、服務(wù)器主機(jī)、存儲(chǔ)設(shè)備進(jìn)行虛擬化操作，作出CPU 微處理器、服務(wù)器、I/O 接口、操作系統(tǒng)等的虛擬化，可完成現(xiàn)有物理硬件資源合理配置，以及實(shí)時(shí)監(jiān)控計(jì)算機(jī)與主機(jī)硬件、虛擬化硬件的正常工作情況.

目前突發(fā)事件應(yīng)急管理情報(bào)系統(tǒng)中，共運(yùn)行有1臺(tái)服務(wù)器主機(jī)、2 臺(tái)網(wǎng)絡(luò)計(jì)算機(jī)，且均屬于正常運(yùn)行狀態(tài)。其中服務(wù)器主機(jī)的物理內(nèi)存、交換內(nèi)存消耗分別為3 668 Gbyte、33 Gbyte，平均負(fù)載在30%左右、特定時(shí)間節(jié)點(diǎn)的高負(fù)載可達(dá)60%以上，表明物理內(nèi)存占用較高，但主機(jī)整體的磁盤使用、內(nèi)存占用仍舊合理，可保證集群主機(jī)的監(jiān)控效率、資源利用效率。

3.2 組件運(yùn)行監(jiān)控

多種Web service 可編程組件、Agent 組件、中間件等的監(jiān)控，主要通過(guò)不同角色實(shí)例、業(yè)務(wù)服務(wù)的級(jí)別健康檢查、問(wèn)題診斷，發(fā)現(xiàn)某個(gè)組件運(yùn)行過(guò)程中的健康狀態(tài)情況，并以審計(jì)日志的方式顯示診斷問(wèn)題的結(jié)果。系統(tǒng)管理員在查看組件的健康檢查狀態(tài)后，會(huì)對(duì)配置更改的審計(jì)日志作出處理建議。

3.3 突發(fā)事件的異常行為監(jiān)控

DKhadoop 應(yīng)用程序提供了不同突發(fā)事件的列表，并對(duì)異常突發(fā)事件的點(diǎn)度中心度、特征向量中心度等的數(shù)值，進(jìn)行界定與聚類計(jì)算，得出在海量突發(fā)事件數(shù)據(jù)搜集、整理完畢后，不同突發(fā)事件信息、情報(bào)信息處理的歷史數(shù)據(jù)結(jié)果，并通過(guò)配置DKM 的突發(fā)事件應(yīng)急管理系統(tǒng)響應(yīng)，可以對(duì)相應(yīng)的突發(fā)事件信息、情報(bào)信息產(chǎn)生警報(bào)預(yù)警。如某一區(qū)域在1 年內(nèi)突發(fā)事件異常行為的監(jiān)控結(jié)果如下頁(yè)表1 所示。

從下頁(yè)表1 的異常行為監(jiān)控結(jié)果可以得出：某一區(qū)域突發(fā)事件的點(diǎn)度中心度、特征向量中心度較高，管理人員在應(yīng)急預(yù)案、應(yīng)急指揮方面的反應(yīng)較為及時(shí)，但應(yīng)急救援、應(yīng)急管理仍舊存在著一定的滯后問(wèn)題，需要采取相應(yīng)措施予以完善。

表1 某一區(qū)域突發(fā)事件異常行為的監(jiān)控結(jié)果

4 結(jié)語(yǔ)

不同情報(bào)突發(fā)事件的應(yīng)急預(yù)警、響應(yīng)與控制，通常存在事前預(yù)警、事中響應(yīng)、事后管理控制等的執(zhí)行流程。面對(duì)重大突發(fā)事件的應(yīng)急管理，通常需要運(yùn)用無(wú)線傳感技術(shù)、大數(shù)據(jù)挖掘技術(shù)、分布式與并行計(jì)算技術(shù)，通過(guò)虛擬化硬件配置、分布式資源調(diào)配，開展復(fù)雜多樣化突發(fā)事件信息、情報(bào)信息的搜集，以及情報(bào)有價(jià)值信息挖掘、數(shù)據(jù)并行計(jì)算，然后對(duì)突發(fā)事件的異常行為監(jiān)控、警報(bào)預(yù)警作出及時(shí)處理，以保證突發(fā)事件數(shù)據(jù)處理、業(yè)務(wù)服務(wù)的質(zhì)量。