數(shù)據(jù)中臺(tái)在城市應(yīng)急領(lǐng)域中的應(yīng)用

黃禮成

（南京哈盧信息科技有限公司，江蘇 南京 210000）

0 引言

數(shù)據(jù)是新的生產(chǎn)要素，隨著信息技術(shù)的不斷發(fā)展，各領(lǐng)域都會(huì)不斷地產(chǎn)生數(shù)據(jù)，從而驅(qū)動(dòng)處理數(shù)據(jù)模式的變革。然而，當(dāng)前大量的交管業(yè)務(wù)數(shù)據(jù)散落在不同的系統(tǒng)中，無法立即掌握所有的數(shù)據(jù)形態(tài)，數(shù)據(jù)質(zhì)量也參差不齊，僅靠人力經(jīng)驗(yàn)難以了解城市數(shù)據(jù)下隱藏的深層次問題和規(guī)律，也難以發(fā)揮數(shù)據(jù)真正的價(jià)值。視頻數(shù)據(jù)、圖片數(shù)據(jù)等資源處于沉睡狀態(tài)，沒有發(fā)揮最大的作用。因此，亟需基于數(shù)據(jù)意識(shí)，應(yīng)用大數(shù)據(jù)、云計(jì)算以及人工智能等前沿科技，通過融合處理數(shù)據(jù)來改變單個(gè)系統(tǒng)、單批設(shè)備調(diào)用或獲取數(shù)據(jù)的方式，利用大數(shù)據(jù)的信息集成優(yōu)勢(shì)和關(guān)聯(lián)分析構(gòu)建統(tǒng)一的以信息充分共享、資源高度融合、數(shù)據(jù)深度挖掘以及部門協(xié)調(diào)聯(lián)動(dòng)為核心的數(shù)據(jù)中臺(tái)，深度挖掘潛藏在數(shù)據(jù)中的巨大價(jià)值，為各類業(yè)務(wù)應(yīng)用提供統(tǒng)一的數(shù)據(jù)資源。

基于數(shù)據(jù)中臺(tái)4ONE的理念，總結(jié)了一套面向應(yīng)急服務(wù)行業(yè)的具體的數(shù)據(jù)治理方法，從價(jià)值服務(wù)場(chǎng)景角度出發(fā)，通過制定數(shù)據(jù)中臺(tái)頂層設(shè)計(jì)規(guī)劃、數(shù)據(jù)中臺(tái)標(biāo)準(zhǔn)體系、理清數(shù)據(jù)中臺(tái)資源、智能化數(shù)據(jù)加工、價(jià)值化數(shù)據(jù)資產(chǎn)、超市化數(shù)據(jù)服務(wù)以及便捷化服務(wù)數(shù)據(jù)應(yīng)用助力快速實(shí)現(xiàn)整個(gè)鏈的數(shù)據(jù)化、數(shù)據(jù)智能化的目標(biāo)，幫助解決數(shù)據(jù)利用在存、管、通以及用等方面所存在的問題。

1 數(shù)據(jù)中臺(tái)的功能架構(gòu)

根據(jù)功能可以將應(yīng)急數(shù)據(jù)中臺(tái)分成大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)、應(yīng)急全息數(shù)據(jù)模型、應(yīng)急數(shù)據(jù)智能引擎、數(shù)據(jù)治理實(shí)施、數(shù)據(jù)運(yùn)營(yíng)管理以及配套的規(guī)章制度。

1.1 接入數(shù)據(jù)源

接入數(shù)據(jù)源包括接入應(yīng)急部門內(nèi)部數(shù)據(jù)、各委辦局?jǐn)?shù)據(jù)、物聯(lián)網(wǎng)實(shí)時(shí)采集數(shù)據(jù)以及互聯(lián)網(wǎng)數(shù)據(jù)。

1.2 基礎(chǔ)能力

構(gòu)建應(yīng)急數(shù)據(jù)治理的基礎(chǔ)設(shè)施，以便快速構(gòu)建應(yīng)急行業(yè)數(shù)據(jù)中臺(tái)，從而為數(shù)據(jù)賦能業(yè)務(wù)提供支撐。包括大數(shù)據(jù)基礎(chǔ)平臺(tái)和數(shù)據(jù)工廠。大數(shù)據(jù)基礎(chǔ)平臺(tái)采用Hadoop+MPP混搭技術(shù)架構(gòu)保障安全、可靠地存儲(chǔ)與計(jì)算海量業(yè)務(wù)數(shù)據(jù)，滿足各行各業(yè)、各種復(fù)雜業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)處理需求。數(shù)據(jù)工廠通過數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)融合、數(shù)據(jù)編排以及數(shù)據(jù)開放等工具可以輕松實(shí)現(xiàn)智能數(shù)據(jù)精煉、數(shù)據(jù)資產(chǎn)沉淀以及對(duì)外服務(wù)等功能。

1.3 應(yīng)急全息數(shù)據(jù)模型

應(yīng)急全息數(shù)據(jù)模型基于匯集多渠道、多視角且多維度的全量數(shù)據(jù)，利用各種算法模型對(duì)各類數(shù)據(jù)進(jìn)行邏輯組織，構(gòu)建面向行業(yè)的“數(shù)據(jù)-信息-知識(shí)-智慧”整體脈絡(luò)，具體包括行業(yè)數(shù)據(jù)技術(shù)管理層、應(yīng)急數(shù)據(jù)融合層和數(shù)據(jù)資產(chǎn)管理層。通過數(shù)據(jù)上云、數(shù)據(jù)融合以及數(shù)據(jù)資產(chǎn)化3個(gè)過程構(gòu)建面向應(yīng)急行業(yè)的數(shù)據(jù)資產(chǎn)體系。行業(yè)數(shù)據(jù)技術(shù)管理層即數(shù)據(jù)上云的過程，從“多源+多元+異構(gòu)”的源數(shù)據(jù)到精細(xì)化數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建，具體數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)包括原始層（STG）、資源層（ODS）、主題層（DWT）、專題層（DWS）、DIM層以及EVL層。

應(yīng)急數(shù)據(jù)融合層中數(shù)據(jù)融合是基于數(shù)據(jù)上云的成果，通過應(yīng)急基本要素的時(shí)空融合和交管數(shù)據(jù)智能引擎的能力實(shí)現(xiàn)精細(xì)化管理數(shù)據(jù)的目標(biāo)。完善數(shù)據(jù)資產(chǎn)管理層后，通過構(gòu)建業(yè)務(wù)基礎(chǔ)數(shù)據(jù)目錄結(jié)構(gòu)以及數(shù)據(jù)指標(biāo)體系來形成有價(jià)值的數(shù)據(jù)資產(chǎn)體系。

1.4 數(shù)據(jù)開放

數(shù)據(jù)開放是實(shí)現(xiàn)數(shù)據(jù)中臺(tái)能力的表現(xiàn)，對(duì)外提供各類數(shù)據(jù)服務(wù)，形成與外部的開放協(xié)同，還可以為各類業(yè)務(wù)應(yīng)用提供支撐。

1.5 數(shù)據(jù)運(yùn)營(yíng)服務(wù)

通過建立數(shù)據(jù)運(yùn)營(yíng)管理制度和流程規(guī)范來構(gòu)建完整的數(shù)據(jù)運(yùn)營(yíng)體系，對(duì)數(shù)據(jù)中臺(tái)的數(shù)據(jù)態(tài)勢(shì)進(jìn)行全景展示并提供數(shù)據(jù)增值服務(wù)，實(shí)現(xiàn)提高數(shù)據(jù)運(yùn)營(yíng)質(zhì)量與效益的目標(biāo)。

1.6 標(biāo)準(zhǔn)及規(guī)范體系

標(biāo)準(zhǔn)及規(guī)范體系包括數(shù)據(jù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)、運(yùn)營(yíng)標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)以及相關(guān)部門發(fā)布的一些規(guī)范要求，可以為建設(shè)數(shù)據(jù)中臺(tái)提供指導(dǎo)意見。

2 數(shù)據(jù)中臺(tái)的功能特性

構(gòu)建應(yīng)急管理大數(shù)據(jù)治理體系，實(shí)現(xiàn)數(shù)據(jù)訪問、處理、存儲(chǔ)和應(yīng)用的全生命周期管理。建設(shè)統(tǒng)一的應(yīng)急大數(shù)據(jù)資源中心，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)接入、數(shù)據(jù)服務(wù)、數(shù)據(jù)深度應(yīng)用并保障數(shù)據(jù)安全。通過提供數(shù)據(jù)共享交換、數(shù)據(jù)應(yīng)用等服務(wù)來構(gòu)建“縱向到末端、橫向到邊緣”的數(shù)據(jù)業(yè)務(wù)流程模型，為應(yīng)急管理業(yè)務(wù)提供有力支撐，其應(yīng)急數(shù)據(jù)治理結(jié)構(gòu)如圖1所示。

圖1 應(yīng)急主題數(shù)據(jù)服務(wù)主線流程圖

2.1 應(yīng)急數(shù)據(jù)治理

應(yīng)急主題數(shù)據(jù)服務(wù)的數(shù)據(jù)源來自數(shù)據(jù)接入、匯聚。數(shù)據(jù)匯聚包括以下7個(gè)方面：1） 市應(yīng)急數(shù)據(jù)。其主要包括市應(yīng)急管理局內(nèi)部系統(tǒng)產(chǎn)生的數(shù)據(jù)以及各區(qū)縣應(yīng)急生產(chǎn)數(shù)據(jù)。2）市其他部門數(shù)據(jù)。其主要包括市自然資源局、水利局、氣象局、林業(yè)局、住房保障和房地產(chǎn)管理局、衛(wèi)生健康委員會(huì)以及交通局等單位產(chǎn)生的數(shù)據(jù)。3） 省應(yīng)急數(shù)據(jù)。其主要包括省應(yīng)急綜合業(yè)務(wù)管理平臺(tái)、省危險(xiǎn)化學(xué)品安全生產(chǎn)風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)等產(chǎn)生的數(shù)據(jù)。4） 省其他部門數(shù)據(jù)。由政務(wù)網(wǎng)的省數(shù)據(jù)共享交換平臺(tái)統(tǒng)一進(jìn)行數(shù)據(jù)接入，市數(shù)據(jù)共享交換平臺(tái)通過與省數(shù)據(jù)共享交換平臺(tái)進(jìn)行對(duì)接來獲取相關(guān)數(shù)據(jù)。5） 市應(yīng)急感知數(shù)據(jù)。其主要包括物聯(lián)感知數(shù)據(jù)、視頻感知數(shù)據(jù)。6） 市其他部門感知數(shù)據(jù)。其主要包括物聯(lián)感知數(shù)據(jù)、視頻感知數(shù)據(jù)等市兄弟委辦局單位產(chǎn)生的感知數(shù)據(jù)。7） 省級(jí)感知數(shù)據(jù)。由政務(wù)網(wǎng)的省數(shù)據(jù)共享交換平臺(tái)統(tǒng)一進(jìn)行數(shù)據(jù)接入，市數(shù)據(jù)共享交換平臺(tái)通過與省數(shù)據(jù)共享交換平臺(tái)數(shù)據(jù)進(jìn)行對(duì)接來獲取相關(guān)數(shù)據(jù)。

應(yīng)急主題數(shù)據(jù)服務(wù)與業(yè)務(wù)系統(tǒng)的數(shù)據(jù)治理全鏈路數(shù)據(jù)處理流程包括以下5個(gè)方面：1）數(shù)據(jù)接入形成原始庫(kù)?；跀?shù)據(jù)接入、匯聚，根據(jù)應(yīng)急項(xiàng)目數(shù)據(jù)需求按需獲取應(yīng)急所關(guān)注的相關(guān)原始數(shù)據(jù)，數(shù)據(jù)接入后形成該項(xiàng)目的原始庫(kù)。該項(xiàng)目原始庫(kù)的數(shù)據(jù)來源包括市其他部門數(shù)據(jù)（例如氣象數(shù)據(jù)、地質(zhì)災(zāi)害數(shù)據(jù)等）、應(yīng)急管理局垂直內(nèi)部數(shù)據(jù)。數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。2）數(shù)據(jù)處理形成資源庫(kù)。基于原始庫(kù)，通過數(shù)據(jù)抽取、數(shù)據(jù)清洗以及數(shù)據(jù)標(biāo)準(zhǔn)化來形成資源庫(kù)。3）數(shù)據(jù)處理形成主題庫(kù)。主題庫(kù)是提取分散在資源庫(kù)各業(yè)務(wù)數(shù)據(jù)表中的要素，根據(jù)應(yīng)急對(duì)象要素、要素特征等進(jìn)行搭建，主要用于對(duì)資源庫(kù)存儲(chǔ)層中的數(shù)據(jù)進(jìn)行深度關(guān)聯(lián)、整合。主題庫(kù)數(shù)據(jù)包括災(zāi)害事故主題、管理對(duì)象主題、應(yīng)急環(huán)境主題、救援資源主題以及動(dòng)態(tài)感知主題。4）數(shù)據(jù)處理形成專題庫(kù)。專題庫(kù)面向應(yīng)急管理常態(tài)與非常態(tài)業(yè)務(wù)需求，通過二次抽取裝載資源庫(kù)、主題庫(kù)數(shù)據(jù)的方法重新組織數(shù)據(jù)，并按照不同事件專題的應(yīng)用需求重新整合形成專題庫(kù)。專題庫(kù)是資源庫(kù)和主題庫(kù)的延伸，專題庫(kù)存儲(chǔ)不同來源、不同主題的專項(xiàng)業(yè)務(wù)數(shù)據(jù)，是服務(wù)于某一專門領(lǐng)域的專題業(yè)務(wù)應(yīng)用。專題庫(kù)可劃分為?；肥鹿蕦ｎ}庫(kù)、地震專題庫(kù)以及地質(zhì)災(zāi)害專題庫(kù)等。5）數(shù)據(jù)處理形成業(yè)務(wù)庫(kù)。業(yè)務(wù)庫(kù)是應(yīng)急管理綜合應(yīng)用（應(yīng)急指揮救援系統(tǒng)、應(yīng)急一張圖等）的數(shù)據(jù)源。

2.2 數(shù)據(jù)接入

數(shù)據(jù)采集支持多源數(shù)據(jù)的接入，包括異構(gòu)數(shù)據(jù)源管理、異構(gòu)數(shù)據(jù)采集，支持?jǐn)?shù)據(jù)庫(kù)接入、文件接入、流式接入、批量數(shù)據(jù)接入、實(shí)時(shí)數(shù)據(jù)接入以及交互式接入。

對(duì)現(xiàn)有的系統(tǒng)接入來說，其已與應(yīng)用集成的系統(tǒng)采用一次性全量接入的方式進(jìn)行數(shù)據(jù)遷移，沿用系統(tǒng)全量數(shù)據(jù)抽取、增量同步的方式接入數(shù)據(jù)；在規(guī)劃新建系統(tǒng)時(shí)將根據(jù)實(shí)時(shí)性要求接入、交換數(shù)據(jù)。

數(shù)據(jù)采集功能支持通過JDBC/ODBC的方式從異構(gòu)數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)庫(kù)表或視圖中采集數(shù)據(jù)，在采集數(shù)據(jù)時(shí)，可以根據(jù)數(shù)據(jù)量大小、網(wǎng)絡(luò)情況以及系統(tǒng)負(fù)荷等情況采用不同的方式（全量采集或者增量采集）采集數(shù)據(jù)（支持Oracle、MySQL等多種數(shù)據(jù)庫(kù)）。

數(shù)據(jù)采集功能支持Blob、Clob類型的大字段數(shù)據(jù)。支持Excel、XML、CSV以及純文本等格式。支持來自通信協(xié)議的數(shù)據(jù)采集，例如HTTP、JMS、FTP以及Kafka等接口對(duì)接協(xié)議，支持自定義協(xié)議。

數(shù)據(jù)采集功能支持多種數(shù)據(jù)采集模式，每種數(shù)據(jù)采集模式都可配置不同的數(shù)據(jù)采集頻率，包括觸發(fā)器、時(shí)間戳、標(biāo)志位以及日志分析模式。

2.3 應(yīng)急數(shù)據(jù)融合

充分對(duì)接和利用省、市大數(shù)據(jù)管理局?jǐn)?shù)據(jù)，有針對(duì)性地對(duì)各委辦局的監(jiān)測(cè)、預(yù)測(cè)以及預(yù)警等各類數(shù)據(jù)進(jìn)行抽取選擇，充分考慮應(yīng)急管理機(jī)構(gòu)改革，實(shí)現(xiàn)消防救援、水利、氣象、自然資源、行政執(zhí)法、建設(shè)以及交通等相關(guān)部門資源整合的目標(biāo)，一方面保證數(shù)據(jù)層融合可以對(duì)單一數(shù)據(jù)源數(shù)據(jù)缺失和不完整等問題進(jìn)行修補(bǔ)，另一方面實(shí)現(xiàn)最大限度地?cái)U(kuò)展數(shù)據(jù)資源的目的。

應(yīng)急數(shù)據(jù)中臺(tái)的指標(biāo)體系建設(shè)不僅能夠?qū)ΜF(xiàn)有的基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)和指標(biāo)進(jìn)行整合，而且還能夠形成應(yīng)急管理行業(yè)獨(dú)有且能重復(fù)使用的指標(biāo)體系，最大程度地減少重復(fù)建設(shè)，節(jié)約協(xié)作成本。指標(biāo)體系建設(shè)后能夠?qū)φ麄€(gè)應(yīng)急行業(yè)的指標(biāo)進(jìn)行歸類，還能提供高質(zhì)量的應(yīng)急管理要素。

3 防汛防臺(tái)應(yīng)用

通過數(shù)據(jù)加工建立防汛防臺(tái)能力評(píng)價(jià)體系，包括水庫(kù)超汛限指標(biāo)、水庫(kù)超防洪高指標(biāo)、承災(zāi)體災(zāi)情指數(shù)指標(biāo)、區(qū)域面動(dòng)態(tài)風(fēng)險(xiǎn)指數(shù)指標(biāo)、承災(zāi)體應(yīng)轉(zhuǎn)移人員統(tǒng)計(jì)指標(biāo)以及累計(jì)降雨量統(tǒng)計(jì)指標(biāo)。

3.1 等級(jí)計(jì)算

業(yè)務(wù)模塊由洪澇判斷模塊和臺(tái)風(fēng)判斷模塊兩個(gè)部分組成。2個(gè)判斷模塊均將實(shí)時(shí)數(shù)據(jù)輸入各自的判斷矩陣，從而得到響應(yīng)等級(jí)結(jié)果，將洪澇監(jiān)測(cè)結(jié)果和臺(tái)風(fēng)判斷結(jié)果進(jìn)行比較，得到最終的響應(yīng)等級(jí)推薦結(jié)果。臺(tái)風(fēng)判斷是對(duì)臺(tái)風(fēng)的預(yù)測(cè)登陸區(qū)間、登陸等級(jí)以及警報(bào)類型進(jìn)行判斷，從而提出對(duì)應(yīng)的啟動(dòng)、升級(jí)以及解除建議。

洪澇判斷是通過定時(shí)監(jiān)測(cè)任務(wù)對(duì)全市日降雨量、48 h累計(jì)降雨量、72 h累計(jì)降雨量、市氣象臺(tái)預(yù)報(bào)未來24 h降雨等級(jí)以及洪水位進(jìn)行判斷。

3.2 典型場(chǎng)景

在發(fā)生臺(tái)風(fēng)洪澇的過程中，根據(jù)接入的降水?dāng)?shù)據(jù)和承災(zāi)體的信息可以在地圖上動(dòng)態(tài)地展現(xiàn)城市不同承災(zāi)體的災(zāi)情指數(shù)（用5種顏色分級(jí)顯示），清晰地為辨識(shí)風(fēng)險(xiǎn)提供依據(jù)。

根據(jù)歷史臺(tái)風(fēng)發(fā)生期間的人員轉(zhuǎn)移情況、氣象數(shù)據(jù)以及各區(qū)縣人員轉(zhuǎn)移基數(shù)建立模型。在臺(tái)風(fēng)到來期間根據(jù)各區(qū)縣的應(yīng)急響應(yīng)等級(jí)、是否休漁期、是否寒暑假以及未來降雨量等因素計(jì)算該區(qū)縣的建議轉(zhuǎn)移人數(shù)。

4 結(jié)語

數(shù)據(jù)中臺(tái)的建設(shè)理念是通過大數(shù)據(jù)賦能管理，利用數(shù)據(jù)中心將大數(shù)據(jù)轉(zhuǎn)化為實(shí)際的“可用”事物。隨著云計(jì)算技術(shù)和新一代人工智能技術(shù)的發(fā)展，“云”中的數(shù)字化建筑已成為發(fā)展的主要趨勢(shì)。數(shù)據(jù)中心作為一種新架構(gòu)、新實(shí)踐，其尚處于成長(zhǎng)階段，需要通過數(shù)字化建設(shè)來提高大數(shù)據(jù)的治理能力，從而解決城市應(yīng)急領(lǐng)域中所存在的問題。