大數(shù)據(jù)融合技術在城市澇情監(jiān)管預警中的應用

吳志成 紀綱 吳艷林

[摘 要]利用大數(shù)據(jù)技術獲取城市澇情信息，融合城市的降雨、防澇標準、歷史澇情等數(shù)據(jù)，建立城市澇情預警機制，是促進排水防澇工作的重要手段。文章利用信息爬取與語義識別、預警預測、數(shù)據(jù)可視化等技術，提出了大數(shù)據(jù)融合技術在城市澇情監(jiān)管預警中的應用方案。

[關鍵詞] 排水防澇;數(shù)據(jù)融合;澇情預警;數(shù)據(jù)可視化

[DOI]10.13939/j.cnki.zgsc.2021.12.183

1 引言

近年來，暴雨等極端天氣給社會管理、城市運行和人民群眾生產生活造成了巨大影響，加之部分城市排水防澇等基礎設施建設滯后、調蓄雨洪和應急管理能力不足，出現(xiàn)了嚴重的暴雨內澇災害。《全國城市市政基礎設施規(guī)劃建設“十三五”規(guī)劃》提出“加快對城市易澇點整治”“建設暴雨內澇監(jiān)測體系，提高內澇預報預警能力?！比绾渭皶r、準確、完整地掌握各個城市排水防澇工作進展，對城市排水防澇工作進行科學、有效的監(jiān)督指導，成為住建部、省、市城建管理部門的迫切需求。大數(shù)據(jù)技術在海量異構數(shù)據(jù)融合、分布式數(shù)據(jù)處理與計算、數(shù)據(jù)可視化等方面具有優(yōu)勢，[1]融合大數(shù)據(jù)技術與城市澇情監(jiān)管預警業(yè)務，成為客觀分析排水防澇效果，科學指導城市安全度汛的有效方法。[2]

2 應用需求

基于大數(shù)據(jù)技術，通過數(shù)據(jù)集成、互聯(lián)網(wǎng)信息爬取、傳感器采集等方式收集城市易澇點信息、城市降雨信息、城市澇情信息，為用戶提供綜合數(shù)據(jù)分析、可視化展現(xiàn)等服務，為城建管理部門監(jiān)督、指導城市開展排水防澇工作提供支撐平臺。系統(tǒng)主要需求包括以下三方面：①準確、及時掌握城市降雨及澇情信息。能夠從氣象網(wǎng)站獲取全國主要城市的逐小時降雨信息。從門戶網(wǎng)站、微博等渠道爬取城市澇情相關信息，及時掌握全國各地澇情程度和影響;②城市澇情信息預警預測。綜合降雨量、城市防澇標準、易澇點治理進展、歷史澇情等信息，建立城市澇情預警分析模型，對全國城市未來澇情情況進行預警，指導城市排水防澇工作;③對降雨、積水、澇情等信息進行綜合利用，提供每日澇情情況匯總報告、澇情周報、澇情預警情況報告。輔助領導決策，滿足監(jiān)督、指導各地開展排水防澇工作的需要。

3 系統(tǒng)建設方案

3.1 數(shù)據(jù)架構

排水防澇信息系統(tǒng)融合易澇點基礎信息、補短板項目進展信息、易澇點實時監(jiān)測信息、城市澇情信息、城市降雨信息，形成排水防澇綜合數(shù)據(jù)庫，支撐排水防澇業(yè)務處理及科學決策需要。排水防澇數(shù)據(jù)體系包括：基礎數(shù)據(jù)、業(yè)務數(shù)據(jù)、決策分析數(shù)據(jù)三類：①排水防澇基礎數(shù)據(jù)：基礎數(shù)據(jù)包括代碼數(shù)據(jù)、基礎數(shù)據(jù)、空間數(shù)據(jù)?；A數(shù)據(jù)在排水防澇系統(tǒng)各模塊共享使用;②排水防澇業(yè)務數(shù)據(jù)：包括補短板項目業(yè)務進展數(shù)據(jù)、易澇點實時監(jiān)控數(shù)據(jù)以及從互聯(lián)網(wǎng)、第三方采集的降雨數(shù)據(jù)、澇情數(shù)據(jù)、統(tǒng)計年鑒等排水防澇相關數(shù)據(jù)，為排水防澇分析決策提供支撐;③排水防澇決策分析數(shù)據(jù)：決策分析數(shù)據(jù)是依據(jù)數(shù)據(jù)分析與綜合決策要求，對排水防澇業(yè)務數(shù)據(jù)進行加工處理形成的數(shù)據(jù)，包括排水防澇統(tǒng)計數(shù)據(jù)、治理系統(tǒng)評價數(shù)據(jù)、澇情分析預測等數(shù)據(jù)。

3.2 技術架構

排水防澇信息系統(tǒng)利用大數(shù)據(jù)平臺的數(shù)據(jù)采集、存儲、計算、分析能力構建，由基礎設施層、綜合數(shù)據(jù)庫層、大數(shù)據(jù)技術支撐層、排水防澇應用層以及信息安全體系、數(shù)據(jù)指標體系組成，構建科學合理的數(shù)據(jù)分析、澇情預測模型，通過豐富、形象、易用的數(shù)據(jù)可視化技術，滿足排水防澇業(yè)務的數(shù)據(jù)應用需求。①基礎設施層：通過云計算技術，將網(wǎng)絡、計算、存儲、安全等基礎設施池化，為大數(shù)據(jù)支撐平臺、綜合數(shù)據(jù)庫、排水防澇應用提供穩(wěn)定、可靠、高效的運行環(huán)境;②綜合數(shù)據(jù)庫層：將易澇點數(shù)據(jù)、澇情數(shù)據(jù)、降雨數(shù)據(jù)、監(jiān)測數(shù)據(jù)等按照數(shù)據(jù)標準體系進行清理、轉換、加載等處理，形成滿足業(yè)務處理與分析決策的綜合數(shù)據(jù)庫;③大數(shù)據(jù)技術支撐層：滿足分布式環(huán)境下海量異構數(shù)據(jù)采集、存儲與資源管理、分布式計算框架、大數(shù)據(jù)分析與可視化展現(xiàn)等功能需求。主要的技術組件包括地理信息、信息爬取與搜索、數(shù)據(jù)挖掘、集成接入（ETL）、遙感遙測分析等;④信息安全體系：圍繞信息保密性、真實性、可用性（CAA）目標，參照涉密信息系統(tǒng)安全機制構建涵蓋物理安全、網(wǎng)絡安全、應用安全、數(shù)據(jù)安全、管理安全的數(shù)據(jù)安全服務體系，為排水防澇信息管理提供安全的數(shù)據(jù)服務;⑤數(shù)據(jù)指標體系：建立排水防澇信息的數(shù)據(jù)標準、技術標準和管理標準，確定數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)共享的技術路線，推動數(shù)據(jù)互聯(lián)互通與信息共享，形成排水防澇頂層數(shù)據(jù)指標體系;⑥排水防澇應用層：梳理排水防澇信息管理業(yè)務流程，按照數(shù)據(jù)指標體系要求，提供易澇點管理、澇情信息管理、降雨信息管理、綜合數(shù)據(jù)分析、業(yè)務一張圖、澇情預測等服務，滿足排水防澇業(yè)務需求。

3.3 功能架構

排水防澇系統(tǒng)主要功能包括：城市降雨信息管理、澇情報告生成、綜合展現(xiàn)一張圖、統(tǒng)計分析、基礎信息管理等模塊。①城市澇情預警。融合降雨數(shù)據(jù)、防澇標準、歷史澇情數(shù)據(jù)，構建澇情預警模型，提供城市澇情預警預測服務;②澇情報告生成。利用網(wǎng)絡爬蟲及語義識別技術，從微博、門戶網(wǎng)站等渠道采集城市澇情信息。提供城市澇情周報、日報等報告生成功能;③綜合展現(xiàn)一張圖?；诙SGIS地圖展現(xiàn)城市降雨、澇情以及易澇點位置、積水、視頻等數(shù)據(jù)，實現(xiàn)相關數(shù)據(jù)的綜合展現(xiàn);④統(tǒng)計分析。從行政區(qū)域、時間等維度提供澇情分布、澇情趨勢對比分析等功能，通過統(tǒng)計圖表方式，實現(xiàn)數(shù)據(jù)的直觀展現(xiàn)和應用;⑤基礎信息管理。對城市防澇標準、易澇點位置、監(jiān)測設備等基礎信息進行管理，為規(guī)范城市澇情、降雨、積水等信息提供支持。

4 關鍵技術

4.1 澇情信息爬取與識別技術

4.1.1 澇情信息爬取

通過爬蟲采集數(shù)據(jù)主要包括三種方式：定向采集、擴展采集以及源搜索。定向采集是指限定站點或者頻道來搜索，實現(xiàn)精確的數(shù)據(jù)采集;擴展采集是指通過設定采集的起始點和采集的深度來實現(xiàn)比較精確的數(shù)據(jù)采集;源搜索是指利用搜索引擎（如百度、搜狗、360等），通過設置關鍵詞組來實現(xiàn)數(shù)據(jù)的非精確采集。本項目采用定向采集方式。

按照數(shù)據(jù)采集范圍、關鍵詞持續(xù)采集數(shù)據(jù)，并對重復數(shù)據(jù)進行去重，能夠根據(jù)語義過濾垃圾數(shù)據(jù)。分布式城市澇情信息爬蟲體系包括如下四部分：①系統(tǒng)管理控制臺：對爬蟲系統(tǒng)部署的軟硬件資源進行監(jiān)控及動態(tài)管理，包括服務器資源及網(wǎng)絡狀況、爬蟲進程運行情況以及異常事件處理等;②爬取規(guī)則定義：能夠依據(jù)網(wǎng)絡爬蟲的運行狀況和信息爬取效果對爬取規(guī)則進行定義及優(yōu)化。主要定義的爬取規(guī)則包括：爬取范圍、優(yōu)先策略（深度、廣度）、分析詞策略（關鍵詞、剔除詞）、爬取頻率等;③功能中間件：主要包括爬取中間件、爬取防屏蔽中間件、數(shù)據(jù)存儲中間件等，提供數(shù)據(jù)采集、分析、避免反爬取策略、數(shù)據(jù)存儲及查詢服務;④分布式基礎設施：采用“主從”模式構建，主節(jié)點將爬取、分析任務在從服務器動態(tài)分配，并建立異常處理機制，實現(xiàn)爬蟲高效、穩(wěn)定運行。

4.1.2 澇情信息識別

網(wǎng)絡爬蟲依據(jù)“大雨、內澇”等關鍵字采集的輿情數(shù)據(jù)不都是有效澇情信息，存在大量噪聲。為了提高爬蟲獲取澇情數(shù)據(jù)的準確率，構建了“正則關聯(lián)”與機器學習算法結合的澇情信息識別模型。通過機器學習算法進行語義理解，建立爬蟲抽取的數(shù)據(jù)類別庫，即判讀每一條數(shù)據(jù)是否與洪澇相關，從而將樣本庫分為兩類。通過卷積神經(jīng)網(wǎng)絡（CNN）和循環(huán)神經(jīng)網(wǎng)絡（RNN）提取文本上下文語義特征信息，依據(jù)屬性特征對其進行分類，判別爬取的內容是否屬于澇情相關的數(shù)據(jù)。該模型進一步提高了澇情數(shù)據(jù)的精準度。

4.2 城市澇情預警預測技術

以降雨預報、歷史降雨信息、歷史澇情信息、排水防澇標準、易澇點治理進展為主要因子構建城市澇情預測模型，將風險劃分為“最高”“高”“較高”“一般”“無”5種等級，并發(fā)布三天內各城市的風險預警，為指導城市內澇工作提供決策依據(jù)。

通過接入澇情城市、基于內澇點的降水實況及預報、覆蓋內澇城市的降水實況及預報等數(shù)據(jù)，通過滾動計算方法，將其與城市防澇標準做對比，通過制定風險預警策略，預判城市澇情風險和易澇點澇情風險，并實時發(fā)布澇情預警信息。

4.3 排水防澇數(shù)據(jù)可視化技術

通過大數(shù)據(jù)技術融合城市澇情輿情信息、城市降雨信息、城市澇情監(jiān)控實時信息，利用專題一張圖、報告生成等方式實現(xiàn)多維度疊加式數(shù)據(jù)可視化，更好地服務綜合管廊建設管理部門的規(guī)劃和決策。①排水防澇專題一張圖?；贕IS的業(yè)務多圖層綜合展現(xiàn)，將全國易澇點、降雨和澇情信息集中在一張圖，關聯(lián)降雨對澇情的影響，科學評估易澇點治理效果;②排水防澇業(yè)務分析報告：面向不同用戶的業(yè)務需求，按照報告模板要求的格式、數(shù)據(jù)快速生成分析報告。報告采用文字、表格、統(tǒng)計圖等多種數(shù)據(jù)展現(xiàn)形式，內容包括降雨分布情況、澇情分布情況、降雨與澇情關系分析等。

5 結論

文章研究大數(shù)據(jù)在城市澇情監(jiān)管預警領域的應用方案，充分發(fā)揮大數(shù)據(jù)在分布式、海量、異構數(shù)據(jù)采集、存儲、處理、分析方面的優(yōu)勢，改變傳統(tǒng)信息采集方式，融合易澇點數(shù)據(jù)、降雨數(shù)據(jù)、澇情數(shù)據(jù)、補短板項目數(shù)據(jù)，實現(xiàn)“填報型”到“監(jiān)控型”應用的轉變，構建城市排水防澇效果評價、澇情預測等數(shù)據(jù)分析應用模型，為促進排水防澇工作提供有力支撐。

參考文獻：

[1]孫敏，王琳.大數(shù)據(jù)時代下的數(shù)據(jù)可視化方法分析[J].軟件，2019，40（9）.

[2]張麗虹.大數(shù)據(jù)背景下城市排水防澇設施動態(tài)管理系統(tǒng)設計[J].工程管理與技術，2018（4）.

[3]薛祥光， 蔣世峰， 李萌，等. GIS在城市排水防澇中的應用趨勢[J].科技視界， 2016（1）：71-72.

[4]侯圣巒，劉磊，曹存根.基于語義文法的網(wǎng)絡輿情精準分析方法研究[J].計算機科學，2014（10）.

[5]郝瑩，陳靖，王元，等.基于高時空分辨率降水預報產品的城市內澇預警研究[J].暴雨災害，2019（3）.

[6]都伊林，馬興.大數(shù)據(jù)構建城市應急預測預警體系[J].信息化研究，2017，43（2）.

[基金項目]中華人民共和國科學技術部 2017年研究課題“城市地下綜合管廊安全防控技術研究及示范”（項目編號：2017YFC0805000）;中國航天科工集團有限公司2019年研究課題“城建大數(shù)據(jù)平臺建設及應用研制”（項目編號：2019-M-4）;中國航天科工集團有限公司2019年研究課題“城市治理基礎服務云平臺研究與典型業(yè)務應用”（項目編號：2020-M-4）。

[作者簡介]吳志成（1983—），男，漢族，江蘇泰州人，研究生，北京京航計算通訊研究所副部長，高級工程師，研究方向：大數(shù)據(jù)技術與應用。