基于多源異構數據的水行政執(zhí)法綜合管理平臺研究與應用

李冬杰 ，楊柳，鄭策，陳良帥

（1.北京金水信息技術發(fā)展有限公司，北京 100053；2.水利部信息中心，北京 100053）

0 引言

水行政執(zhí)法是水行政主管部門履行法定職責、管理水利行政事務的重要方式，水行政執(zhí)法質量直接關系到涉水法律法規(guī)的有效實施、法治政府建設成效及人民群眾切身利益。2022年6 月，水利部印發(fā)《水行政執(zhí)法效能提升行動方案（2022—2025 年）》[1]，明確提出建設全國水行政執(zhí)法綜合管理平臺，加強信息共享、數據匯集，支持水利部、流域機構和?。▍^(qū)、市）各級水政監(jiān)察隊伍水政監(jiān)察人員在線執(zhí)法辦案，逐步打造全國水行政執(zhí)法一張圖，進一步提升水行政執(zhí)法智慧化水平?！丁笆奈濉逼陂g推進智慧水利建設實施方案》[2]也明確提出，在水行政執(zhí)法方面要圍繞業(yè)務需求，依托水利部在線政務服務平臺等，搭建水行政執(zhí)法綜合管理平臺。

通過前期項目實施，各流域機構、省市各級水行政管理部門針對水行政執(zhí)法建立多個信息系統(tǒng)[3-5]，因業(yè)務內容和需求不完全相同，不同用戶使用的系統(tǒng)存在差異，基礎數據缺乏統(tǒng)一技術標準規(guī)范，各單位之間存在數據壁壘，導致數據共享不充分，水事案件信息割裂。現(xiàn)階段主要依托水行政執(zhí)法統(tǒng)計直報系統(tǒng)，對業(yè)務數據進行靜態(tài)匯集及分析，難以全面掌握案件線索、辦案、執(zhí)行的全過程信息，對案件辦理質量進行全過程監(jiān)督及深入研判的支撐不夠，無法支撐新時期全國水行政執(zhí)法業(yè)務的分析預警、綜合決策和調度指揮。

本研究以多源異構數據融合為目的，重點研究如何提取多源異構數據，并對數據進行清洗、整合、加工，在此基礎上提出全國水行政執(zhí)法綜合管理平臺設計方案，全面推進水行政執(zhí)法相關數據共享及業(yè)務協(xié)同，實現(xiàn)案件線索自動發(fā)現(xiàn)、案件辦理網上流轉、執(zhí)法行為在線監(jiān)督等協(xié)同應用，分析初步應用效果，展望總體應用成效。

1 多源異構數據融合

1.1 數據來源

全國水行政執(zhí)法綜合管理平臺多源異構數據主要源于以下 5 個方面：1）各流域機構相關水行政遙感、執(zhí)法巡查等系統(tǒng)，主要包括人員、裝備、線索、辦案、隊伍等信息。2）視頻識別技術在違法線索識別中的大量應用產生的海量數據。3）前期水行政執(zhí)法能力提升行動中遙感監(jiān)控工程產生的幾何精校正產品、DOM（數字正射影像圖）、DSM（數字地表模型）等。4）水信息基礎平臺的水利基礎信息，包括水旱災害防御、水資源管理等業(yè)務協(xié)同數據。5）其他行業(yè)相關的案件線索，協(xié)同辦案信息等。數據來源千差萬別，數據獲取方式多種多樣。

1.2 數據融合難度分析

在數據標準化方面，空間數據格式包括 MapGIS（WT/WL/WP），ArcGIS（shp），AutoCAD（dwg/dxf/dwt）等。格式不統(tǒng)一，通用性較差，成果轉換難度較大。結構化數據尚未建立統(tǒng)一的標準，目前各流域機構已建系統(tǒng)主要參照司法部等相關系統(tǒng)進行建設，標準適用性不高，數據理解難，機器可讀性差，存在語義分歧。在數據存儲方面，各類信息分散于各業(yè)務系統(tǒng)，管理數據分散，數據平臺支撐能力參差不齊。

1.3 基于數據湖架構的多源異構數據融合方法

針對相關領域結構化、半結構化與等異構數據增加，數據來源逐漸多元化的現(xiàn)狀，數據湖作為一種新型大數據存儲處理架構和共享機制已被廣泛應用[6-7]。通過構建數據湖，實現(xiàn)對水行政執(zhí)法各相關系統(tǒng)數據的全量匯聚存儲，并通過數據復雜關聯(lián)計算和深度分析與挖掘，完成數據匯總、模型搭建及運行，為上層系統(tǒng)提供預測分析、即席查詢、復雜計算、數據挖掘等功能，提供一體化、智能化的水行政執(zhí)法數據融合服務，滿足跨部門、區(qū)域、層級的數據流通和治理需求?；跀祿臄祿幚砑軜嬋鐖D 1 所示。

1）數據匯集。面向水行政執(zhí)法數據匯集場景，實現(xiàn)水行政執(zhí)法統(tǒng)計直報系統(tǒng)、流域機構執(zhí)法、跨部門等領域業(yè)務系統(tǒng)數據接入，以數據資源目錄為核心，通過數據湖匯集平臺實現(xiàn)靈活可配置的數據匯聚、清洗、處理、入湖過程。在數據匯集過程中，對于結構化數據的實時采集，利用 HinkCDC（變化數據捕捉工具）構建采集任務，實現(xiàn)全量與增量數據采集；離線采集則使用 Sqoop（結構化數據連接器模塊）構建采集任務，首次采集執(zhí)行全量采集，后續(xù)使用增量采集方法。對于相關行為數據，使用本研究設計的MongoDB（存儲分布式文件的數據庫）構建 Flume 程序實現(xiàn)增量與全量采集。

2）數據存儲。數據湖中數據具有多樣性特征，通過數據湖多范式存儲系統(tǒng)，保證對數據的有效訪問[8]。將具有原始數據結構的元數據、管理數據，以及指標數據存儲到關系數據庫，將文本、圖片、視頻、日志等非結構化數據存儲到 NoSQL 文本數據庫中，將空間坐標、格柵數據等地理數據存儲到空間數據庫，將非現(xiàn)場執(zhí)法相關的實時監(jiān)測數據存儲到時序數據庫，將相關的檢索、查詢索引等存儲到索引數據庫。

3）數據處理。根據水行政執(zhí)法業(yè)務流程和規(guī)則，對需要匯集的原始數據進行質量檢查，并按照數據標準和轉換規(guī)則等進行數據抽取加載、清洗轉換、除冗規(guī)約，實現(xiàn)數據的標準化整編。根據結構化數據的業(yè)務需求建立關鍵詞抽取規(guī)則，實現(xiàn)對業(yè)務數據的提取并上傳。針對非結構化數據，通過建立關鍵字抽取規(guī)則，將 XML 格式文件作為中間數據存儲，將非結構化數據進行轉換，在此基礎上，面向水行政執(zhí)法分析、輔助、決策等專業(yè)應用需求，進行數據融合、關聯(lián)，形成不同的案件主題、產品等數據。

4）數據服務。對數據進行計算邏輯的封裝（過濾查詢、多維分析和算法模型等計算邏輯），生成 API服務，上層數據應用可以對接數據服務 API，將數據快速應用到業(yè)務場景中。除 API 服務之外，業(yè)務用戶也可以在智能數據分析平臺中使用一站式的數據即席查詢、自助取數、自助創(chuàng)建報表等在線功能。同時，數據湖提供橫、縱向級聯(lián)和級聯(lián)拓撲功能，級聯(lián)對象為信息資源目錄，所掛接的服務將與信息資源一并被級聯(lián)到下級節(jié)點。

2 水行政執(zhí)法綜合管理平臺設計與實現(xiàn)

圖1 基于數據湖的數據處理架構

圍繞水利部及流域管理機構水行政執(zhí)法業(yè)務需求，基于水信息基礎平臺和水利一張圖，匯集各流域管理機構和省、市水行政執(zhí)法部門已建數據成果，建成水行政執(zhí)法數據倉，開發(fā)水利部水行政執(zhí)法管理工作平臺，將案件來源、執(zhí)法巡查、執(zhí)法辦案、水事糾紛調處、行政復議/訴訟、水法律法規(guī)、水政監(jiān)察隊伍和裝備管理、水行政執(zhí)法監(jiān)督檢查管理和綜合調度指揮納入信息化管理，建設集數據交換、預警研判、業(yè)務協(xié)同、案件督辦、輔助決策和調度指揮等功能的一體化水行政執(zhí)法綜合管理平臺，逐步構建預警防控及時化、執(zhí)法操作規(guī)范化、執(zhí)法文書標準化、執(zhí)法過程痕跡化、統(tǒng)計分析可量化、執(zhí)法監(jiān)督嚴密化的水行政執(zhí)法管理信息化應用，形成全國各級水行政執(zhí)法部門水行政執(zhí)法一體化要求，實現(xiàn)一個平臺、多點應用、全面帶動的水行政執(zhí)法高效能模式。

2.1 平臺框架

水行政執(zhí)法綜合管理平臺以水利部信息化頂層設計、智慧水利為指導，充分利用云計算、大數據、移動互聯(lián)網等先進技術，按照整體規(guī)劃、統(tǒng)一建設、集中部署、分級應用的總體原則開展建設，總體框架如圖 2 所示。

圖2 總體框架圖

2.2 數據標準

針對水行政執(zhí)法數據在信息流程各環(huán)節(jié)的數據格式及存儲不統(tǒng)一、不規(guī)范等問題，制定《水行政執(zhí)法綜合管理數據資源共享交換管理辦法》《水行政執(zhí)法綜合管理業(yè)務數據庫表結構標準》等，為避免各自為政和形成信息孤島提供指導性意見，是實現(xiàn)資源共享和互聯(lián)互通的重要技術保障。

2.3 業(yè)務流程

水行政執(zhí)法相關業(yè)務包括執(zhí)法辦案、水事糾紛調處、行政復議、水法律法規(guī)、水利普法等，其中，核心業(yè)務主要為執(zhí)法辦案，依法處理包括下發(fā)責令停止水事違法行為通知書、責令改正違法行為通知書、水事案件處理呈報表、重大案件集體討論記錄、限期拆除通知書、催告通知書、公告書、強制執(zhí)行審批表、強制執(zhí)行決定書等過程，水行政執(zhí)法概化業(yè)務流程如圖 3 所示。

2.4 平臺核心功能

2.4.1 執(zhí)法線索監(jiān)控管理

圖3 水行政執(zhí)法業(yè)務流程圖（概化）

執(zhí)法線索監(jiān)控主要來自投訴舉報、遙感監(jiān)測、網絡輿情、流域上報等。根據具體任務需要，通過批量交換、動態(tài)采集和服務接口等多種方式，將執(zhí)法線索匯集至綜合監(jiān)管數據庫。各流域對已建視頻監(jiān)控工程及遙感數據進行分析，將疑似案件接入水行政執(zhí)法綜合管理平臺。

1）投訴舉報。接收水利部監(jiān)督舉報服務平臺相關的水行政執(zhí)法投訴舉報信息，進行轉派、核查、立案、處理、結案等全流程管理。

2）遙感監(jiān)測。以各流域管理機構重點執(zhí)法區(qū)域遙感影像數據為基礎，通過遙感“四查”平臺，全方位獲得岸線變化、沿江河湖庫工程建設情況、圍湖造地、圍網養(yǎng)殖、非法占用水面等水事活動信息，從而提高全國水政執(zhí)法監(jiān)控、調查取證和案件查處準確性。對監(jiān)測發(fā)生變化的區(qū)域進行重點現(xiàn)場巡查，及時發(fā)現(xiàn)和查處水事違法活動。

3）網絡輿情?；谒恳呀ㄝ浨樾畔⑾到y(tǒng)定制水行政執(zhí)法專題，接入每個輿情分類對應的新聞列表，包括總條數、分頁數，以及每條新聞的標題、摘要、來源、原文鏈接及當前新聞報警級別等相關信息。其中報警分為紅色和藍色 2 個級別，分別代表重點和一般輿情。

4）流域上報。在水利部統(tǒng)一制定水政業(yè)務信息模型和存儲交換標準的基礎上，各級流域管理機構按統(tǒng)一標準要求對已建執(zhí)法數據和數據源進行轉換，建設本級執(zhí)法基礎數據庫，存儲水政執(zhí)法監(jiān)控工程產生的衛(wèi)星遙感、無人機、執(zhí)法音視頻和監(jiān)控視頻等監(jiān)控數據，存儲執(zhí)法管理系統(tǒng)的業(yè)務數據。水利部執(zhí)法基礎數據庫按照業(yè)務要求，從各流域管理機構執(zhí)法基礎數據庫提取相關的監(jiān)控和業(yè)務管理等數據，并進行匯總處理。執(zhí)法基礎數據庫為水行政執(zhí)法統(tǒng)計系統(tǒng)提供統(tǒng)一標準的業(yè)務數據匯集上報渠道，同時為各水政業(yè)務應用系統(tǒng)提供數據支撐。流域上報信息包括流域管理機構遙感監(jiān)測成果、無人機監(jiān)控、視頻監(jiān)控目錄、執(zhí)法巡查等信息。

5）各專業(yè)監(jiān)管系統(tǒng)轉辦。各專業(yè)監(jiān)管系統(tǒng)發(fā)現(xiàn)水事違法事件，可直接推送到水行政執(zhí)法管理應用。

2.4.2 水行政執(zhí)法業(yè)務管理

按照業(yè)務流程實現(xiàn)水行政立案審批、登記立案、調查取證、提出初步處罰意見、處罰事先告知審批、處罰事先告知（初步處罰意見、陳述申辯權、聽證權）、記錄申辯意見、制作聽證記錄、形成調查終結報告、法制審核、行政處罰決定及送達、執(zhí)行行政處罰決定、結案、案件卷宗管理全環(huán)節(jié)線上辦理。支持動態(tài)采集水事矛盾和糾紛情況，主要包括水事糾紛基本信息和調處過程及結果等管理。

2.4.3 水政監(jiān)察隊伍和裝備管理

實現(xiàn)對水政監(jiān)察隊伍、人員、培訓、證書等動態(tài)管理，便于各級水行政監(jiān)察隊伍掌握管轄范圍內水行政執(zhí)法能力情況；實現(xiàn)執(zhí)法裝備建設管理；提供水行政執(zhí)法培訓管理功能，通過集成中國水利教育培訓網的水行政執(zhí)法模塊完成培訓計劃、記錄和監(jiān)督等內容。

2.4.4 水行政執(zhí)法監(jiān)督檢查管理

調取水行政執(zhí)法業(yè)務管理相關資料，對巡查檢查記錄、執(zhí)法臺賬、執(zhí)法案卷、執(zhí)法“三項制度”的執(zhí)行情況進行檢查；根據《水行政執(zhí)法監(jiān)督檢查辦法（試行）》，對行政處罰過程中執(zhí)法行為、程序進行檢查，對于檢查發(fā)現(xiàn)的問題進行責任追究；以水行政執(zhí)法業(yè)務管理相關數據為基礎，強制性全流程監(jiān)督，對以上過程提供監(jiān)管過程及責任追究結果的管理，重點檢查責任落實、執(zhí)法能力建設等情況。

2.4.5 水行政執(zhí)法綜合調度指揮

主要內容包括：1）一圖展示。將巡查、詳查、核查、復查等業(yè)務過程數據與空間地圖關聯(lián)，實現(xiàn)執(zhí)法過程回溯，增強上下游業(yè)務的透明度，具備空間定位、展示、分析等功能。支持基于空間位置的違法水事對象監(jiān)測信息綜合查詢，具備軌跡錄制和回放，以及視頻輸出等輔助功能。2）一圖監(jiān)管。以執(zhí)法一張圖和綜合監(jiān)管等數據為基礎，建立執(zhí)法監(jiān)管信息展示、執(zhí)法監(jiān)管分析、監(jiān)管預警與處理等功能于一體的一圖監(jiān)管體系。3）綜合決策支持。依托數據匯集，結合一張圖應用，通過數據處理分析，對水行政執(zhí)法工作中各個環(huán)節(jié)進行全流程業(yè)務展示，提供數據、綜合預警研判、會商、案件抽樣監(jiān)督、重大案件督辦、歷史事件復現(xiàn)等決策支持。

2.5 技術對接

水利部前期已通過本研究項目發(fā)布的《水行政執(zhí)法綜合管理平臺接口文檔》，各級部門須按照文檔規(guī)定的統(tǒng)一標準進行辦案業(yè)務系統(tǒng)對接改造。流域管理機構及各級水行政主管部門可依托本研究系統(tǒng)開展水行政執(zhí)法業(yè)務，對于已建相關業(yè)務系統(tǒng)的流域機構及省級水行政主管部門，須根據水行政執(zhí)法綜合管理平臺開發(fā)的標準接口，主動做好本地區(qū)平臺與水行政執(zhí)法綜合管理平臺的對接。由于目前數據湖的相關建設工作還在推進過程中，不能滿足水利部水行政執(zhí)法數據匯集進度要求，現(xiàn)階段提供 2 種數據匯集方式：1）流域機構或相關水行政主管部門先將歷史數據從原有系統(tǒng)導出或者收集，經整理后，再由水利部信息中心統(tǒng)一一次性導入本研究平臺數據庫；2）采取中間庫對接方式，對接規(guī)范依據《水行政執(zhí)法綜合管理平臺接口文檔》。

3 建設成效分析

圍繞水利部及各流域管理機構水行政執(zhí)法業(yè)務，目前完成流域管理機構已建數據成果匯集，初步建設水行政執(zhí)法數據倉，并搭建水行政執(zhí)法綜合管理平臺，通過接口開發(fā)打通數據交換鏈路，實現(xiàn)與黃河水利委員會和海河水利委員會等流域機構執(zhí)法巡查監(jiān)控系統(tǒng)、案件、隊伍、裝備、人員等 7 類實時在線數據，以及統(tǒng)計直報系統(tǒng)水事糾紛、行政復議、訴訟等 3 類實時在線數據的對接，完成長江水利委員會、黃河水利委員會等 7 家單位，執(zhí)法巡查、案件、水事糾紛等 10 類，共10 320 條歷史數據的對接入庫。統(tǒng)計實時數據，通過熱力圖形式精準聚焦重點區(qū)域案件、線索分布情況，基于多維度指標分析各流域執(zhí)法巡查情況，提供案件重點領域及辦件量趨勢等拓展分析功能。水行政執(zhí)法綜合管理平臺如圖 4 所示。

4 結語

本研究圍繞全國水行政執(zhí)法數據共享和業(yè)務協(xié)同管理需求，綜合考慮多源異構數據融合難點，采用基于數據湖架構的水行政執(zhí)法數據融合治理方法，提出水利部水行政執(zhí)法管理工作平臺的建設框架與核心功能，實現(xiàn)了流域級數據共享和業(yè)務協(xié)同，對于下階段推動全國水行政執(zhí)法數據共享和業(yè)務協(xié)同具有積極意義。下階段水行政執(zhí)法綜合管理平臺將作為全國水行政執(zhí)法數據匯集和交換的總樞紐，推動試點省份對接建設，探討采用基于數據湖架構的數據融合處理方式，實現(xiàn)數據匯集與業(yè)務協(xié)同，充分挖掘統(tǒng)計分析廣度與深度，進一步提升水行政執(zhí)法決策支持能力。

圖4 水行政執(zhí)法綜合管理平臺