深圳市生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)技術(shù)探討

毛慶國

摘要：深圳市生態(tài)環(huán)境大數(shù)據(jù)中心在開發(fā)過程中，解決了數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)采集匯聚、數(shù)據(jù)治理和存儲、數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全等關(guān)鍵性技術(shù)問題，突破了歷史數(shù)據(jù)匯聚、數(shù)據(jù)質(zhì)量控制、“一數(shù)一源”保障等技術(shù)難點(diǎn)，取得了較好的成效。

關(guān)鍵詞：生態(tài)環(huán)境 大數(shù)據(jù) 數(shù)據(jù)中心 信息資源規(guī)劃

一、背景

深圳市的生態(tài)環(huán)境信息化建設(shè)起步比較早。為滿足生態(tài)環(huán)境部門不同階段的業(yè)務(wù)需求，從2000年左右開始，深圳市陸續(xù)建設(shè)了80余套環(huán)境保護(hù)業(yè)務(wù)系統(tǒng)，并因此積累了豐富的數(shù)據(jù)資源。但由于缺乏統(tǒng)一的頂層設(shè)計和開發(fā)管理，龐大的數(shù)據(jù)存在很多問題，如結(jié)構(gòu)分散、來源多樣、標(biāo)準(zhǔn)不一、互相矛盾、共享程度低等，數(shù)據(jù)壁壘、數(shù)據(jù)孤島現(xiàn)象嚴(yán)重。2018年，《深圳市新型智慧城市建設(shè)總體方案》出臺，其中明確要求“建立陸海統(tǒng)籌、天地一體、上下協(xié)同、信息共享的生態(tài)環(huán)境監(jiān)測網(wǎng)絡(luò)，加強(qiáng)水、氣、聲、固廢、生態(tài)資源等環(huán)境資源數(shù)據(jù)匯集”。2019年，在全市新型智慧城市建設(shè)的總體框架下，“深圳市智慧環(huán)保平臺項(xiàng)目”啟動建設(shè)，開發(fā)統(tǒng)一的生態(tài)環(huán)境大數(shù)據(jù)中心被列為其中最重要的建設(shè)內(nèi)容之一，以解決困擾多年的數(shù)據(jù)問題。

二、生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)中的關(guān)鍵性技術(shù)問題

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的設(shè)計規(guī)模大、體系嚴(yán)謹(jǐn)，開發(fā)過程中面臨許多技術(shù)挑戰(zhàn)，主要包括數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)采集匯聚、數(shù)據(jù)治理和存儲、數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全等關(guān)鍵性技術(shù)問題，需要綜合運(yùn)用數(shù)據(jù)管理的基本理論、系統(tǒng)開發(fā)的最新技術(shù)，結(jié)合生態(tài)環(huán)境業(yè)務(wù)的實(shí)際情況，逐一解決。

（一）數(shù)據(jù)資源規(guī)劃。數(shù)據(jù)資源規(guī)劃是生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)的基礎(chǔ)。深圳市運(yùn)用信息資源規(guī)劃（Information Resource Planning，IRP）理論，對生態(tài)環(huán)境數(shù)據(jù)系統(tǒng)性地整理出12個業(yè)務(wù)大類、729個業(yè)務(wù)小類，并按照政務(wù)管理、社會服務(wù)、污染源監(jiān)管、環(huán)境質(zhì)量管理應(yīng)用4大類型，劃分出52個業(yè)務(wù)職能域，然后對每個職能域的用戶視圖、數(shù)據(jù)流進(jìn)行具體的規(guī)劃，形成職能域的數(shù)據(jù)元素集。

（二）數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范是高質(zhì)量、可持續(xù)數(shù)據(jù)管理的前提。深圳市在相關(guān)法律法規(guī)和國內(nèi)相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)的基礎(chǔ)上，建立了一套智慧環(huán)保數(shù)據(jù)標(biāo)準(zhǔn)體系，包括數(shù)據(jù)元管理規(guī)范、共享數(shù)據(jù)規(guī)范、元數(shù)據(jù)管理規(guī)范、資源目錄標(biāo)準(zhǔn)體系、數(shù)據(jù)安全管理規(guī)范、數(shù)據(jù)質(zhì)量管理規(guī)范、公共代碼管理規(guī)范、空間地理信息管理規(guī)范等，以保障數(shù)據(jù)定義和使用的一致性。

（三）數(shù)據(jù)采集匯聚。數(shù)據(jù)采集匯聚的難點(diǎn)在于解決不同來源數(shù)據(jù)的采集和匯聚問題。針對物聯(lián)感知數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)、離線非結(jié)構(gòu)化和互聯(lián)網(wǎng)數(shù)據(jù)這四種主要數(shù)據(jù)來源，深圳市生態(tài)環(huán)境大數(shù)據(jù)中心統(tǒng)一采取接口方式進(jìn)行采集，并分別設(shè)計了整套標(biāo)準(zhǔn)接口方案。對物聯(lián)感知數(shù)據(jù)統(tǒng)一通過物聯(lián)網(wǎng)平臺采集并存入時序數(shù)據(jù)庫，對線上的業(yè)務(wù)系統(tǒng)數(shù)據(jù)采用標(biāo)準(zhǔn)化接口方式采集，對圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)采用離線文件采集接口方式，對互聯(lián)網(wǎng)數(shù)據(jù)按照一定的規(guī)則手動或者自動抓取。

（四）數(shù)據(jù)治理和存儲。數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必要措施，包括初步數(shù)據(jù)庫標(biāo)準(zhǔn)化、數(shù)據(jù)智能稽查和統(tǒng)一元數(shù)據(jù)管理三個步驟，最終實(shí)現(xiàn)端到端的閉環(huán)治理。

數(shù)據(jù)存儲的難點(diǎn)在于存儲結(jié)構(gòu)的科學(xué)合理，以利于數(shù)據(jù)讀取的高效便捷。數(shù)據(jù)匯入大數(shù)據(jù)中心后，基于統(tǒng)一的元數(shù)據(jù)規(guī)范按照基礎(chǔ)數(shù)據(jù)庫、專題庫和決策庫建立標(biāo)準(zhǔn)化數(shù)據(jù)庫體系，存儲形成統(tǒng)一的生態(tài)環(huán)境主題庫。基礎(chǔ)數(shù)據(jù)庫存放環(huán)境質(zhì)量數(shù)據(jù)中相對固定且作為基礎(chǔ)核心的數(shù)據(jù)，包括環(huán)境質(zhì)量點(diǎn)位信息庫、污染源基礎(chǔ)信息庫、企業(yè)基本信息庫、政策法規(guī)信息庫、環(huán)境空間地理信息庫、環(huán)境行業(yè)代碼信息庫等；業(yè)務(wù)專題庫是以業(yè)務(wù)領(lǐng)域?yàn)楹诵臑槠涮峁┫嚓P(guān)信息集合的庫和表，包括大氣環(huán)境質(zhì)量專題庫、水環(huán)境質(zhì)量專題庫、土壤環(huán)境專題庫、污染源監(jiān)管信息庫等；綜合決策庫是面向數(shù)據(jù)運(yùn)營和決策分析需求，按照多維的方式進(jìn)行數(shù)據(jù)存儲的數(shù)據(jù)集，包括空氣質(zhì)量達(dá)標(biāo)規(guī)劃決策庫、水環(huán)境精準(zhǔn)治污決策庫、水環(huán)境異常告警分析決策庫等。最終形成了包含7大基礎(chǔ)數(shù)據(jù)庫，28個業(yè)務(wù)專題庫和7個綜合決策庫的生態(tài)環(huán)境主題庫。

（五）數(shù)據(jù)共享。基于采集到的生態(tài)環(huán)境數(shù)據(jù)，深圳市構(gòu)建了完整的數(shù)據(jù)資源目錄體系，并按照不同安全等級要求、共享類型、信息公開屬性進(jìn)行數(shù)據(jù)共享。對內(nèi)全部通過大數(shù)據(jù)中心共享，對外統(tǒng)一采用接口方式進(jìn)行共享，其中與全市的政務(wù)數(shù)據(jù)共享交換平臺之間實(shí)現(xiàn)實(shí)時共享。

（六）數(shù)據(jù)應(yīng)用。數(shù)據(jù)應(yīng)用的目標(biāo)是最大程度發(fā)揮數(shù)據(jù)的價值。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心集成了大氣、水、生態(tài)、噪聲4大類共18個環(huán)境仿真模型，通過輸入原始業(yè)務(wù)數(shù)據(jù)，調(diào)用模型，產(chǎn)生包括預(yù)測、分析等結(jié)果數(shù)據(jù)等支持業(yè)務(wù)應(yīng)用，并結(jié)合業(yè)務(wù)場景，搭建了異常闖入識別、溢流識別、漂浮物識別等AI智能模型，支撐固體廢物管理、水環(huán)境管理等具體業(yè)務(wù)應(yīng)用。

（七）數(shù)據(jù)安全。深圳生態(tài)環(huán)境大數(shù)據(jù)中心從四個方面全方位保障數(shù)據(jù)安全。一是統(tǒng)一數(shù)據(jù)安全平臺，圍繞數(shù)據(jù)全生命周期，提供定制化安全策略；二是基礎(chǔ)安全中臺支撐，利用安全態(tài)勢感知工具，提供從開發(fā)、運(yùn)營到監(jiān)管的360度安全基礎(chǔ)保障；三是可信執(zhí)行環(huán)境，基于CPU內(nèi)核機(jī)制和指令集層面的可信執(zhí)行環(huán)境，搭建基于物理/網(wǎng)絡(luò)隔離以及沙箱技術(shù)的數(shù)據(jù)安全屋；四是嚴(yán)格業(yè)務(wù)安全控制，針對不同安全等級要求的業(yè)務(wù)應(yīng)用場景，自動執(zhí)行不同安全保障的業(yè)務(wù)流程。

三、生態(tài)環(huán)境大數(shù)據(jù)中心開發(fā)中的技術(shù)難點(diǎn)

在深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的開發(fā)中，歷史數(shù)據(jù)匯聚、數(shù)據(jù)質(zhì)量控制、“一數(shù)一源”保障是突出的技術(shù)難點(diǎn)，需要重點(diǎn)突破。

（一）關(guān)于歷史數(shù)據(jù)匯聚。在深圳市原有80余套已建的環(huán)境保護(hù)業(yè)務(wù)系統(tǒng)中，大部分系統(tǒng)年代久遠(yuǎn)，數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)定義各不一致、內(nèi)容費(fèi)解、數(shù)據(jù)字典缺失，數(shù)據(jù)匯聚面臨很大困難。為了解決這個問題，深圳市通過大量的調(diào)研和協(xié)調(diào)工作，制定了一套標(biāo)準(zhǔn)的數(shù)據(jù)匯聚方案，編制了覆蓋生態(tài)環(huán)境業(yè)務(wù)及相關(guān)領(lǐng)域的通用數(shù)據(jù)字典，在此基礎(chǔ)上完成了80余個歷史數(shù)據(jù)庫、1萬余張歷史數(shù)據(jù)表的數(shù)據(jù)匯聚工作。

（二）關(guān)于數(shù)據(jù)質(zhì)量控制。數(shù)據(jù)質(zhì)量控制的影響因素眾多，在進(jìn)行數(shù)據(jù)資產(chǎn)建設(shè)之初就應(yīng)當(dāng)從戰(zhàn)略角度對數(shù)據(jù)質(zhì)量體系進(jìn)行規(guī)劃。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心在開發(fā)前，以元數(shù)據(jù)為基礎(chǔ)構(gòu)建了一套完整的、標(biāo)準(zhǔn)化的元數(shù)據(jù)管理規(guī)范，建立了完整的數(shù)據(jù)表述體系，形成了128個公共數(shù)據(jù)元、1750個環(huán)保數(shù)據(jù)元；同時配套形成了6大數(shù)據(jù)管理要求，以管理數(shù)據(jù)的完整性、有效性、一致性、唯一性、正確性、準(zhǔn)確性、充足性，從而形成了有效的數(shù)據(jù)質(zhì)量控制機(jī)制。

（三）關(guān)于“一數(shù)一源”保障。生態(tài)環(huán)境數(shù)據(jù)“一數(shù)多源”和“一源多數(shù)”的問題普遍存在，必須明確數(shù)據(jù)來源的主體性，確?！耙粩?shù)一源”。深圳市生態(tài)環(huán)境大數(shù)據(jù)中心的開發(fā)過程遵循一套“數(shù)據(jù)權(quán)屬”的核心原則，制定了數(shù)據(jù)來源、流程節(jié)點(diǎn)、時間更新、行政級別等數(shù)據(jù)整合原則，優(yōu)先選用數(shù)據(jù)源生產(chǎn)或采集單位的數(shù)據(jù)、時間較新的數(shù)據(jù)或者行政級別較高的數(shù)據(jù)，保障數(shù)據(jù)的完整性、準(zhǔn)確性和一致性，減少重復(fù)收集造成的資源浪費(fèi)和數(shù)據(jù)冗余。

四、生態(tài)環(huán)境大數(shù)據(jù)中心的建設(shè)成效

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心于2019年底開始建設(shè)，至2022年9月完成項(xiàng)目終驗(yàn)，初步實(shí)現(xiàn)了各類污染源、生態(tài)環(huán)境質(zhì)量和生態(tài)環(huán)境管理數(shù)據(jù)的全面匯聚，目前已匯聚各類數(shù)據(jù)676.76億條，除生態(tài)環(huán)境部門之外，還有水務(wù)、氣象、住房建設(shè)、自然資源等15個部門的重要數(shù)據(jù)接入，在大數(shù)據(jù)中心與省、市、區(qū)以及其他部門的數(shù)據(jù)平臺之間開發(fā)了400多個共享接口，數(shù)據(jù)共享通道暢順；大數(shù)據(jù)中心通過統(tǒng)一的數(shù)據(jù)支撐和決策分析支持，保障了智慧環(huán)保平臺上48個應(yīng)用系統(tǒng)的有效運(yùn)行，覆蓋了大多數(shù)生態(tài)環(huán)境業(yè)務(wù)，在新冠疫情防控、污染防治攻堅(jiān)、“無廢城市”建設(shè)、執(zhí)法指揮調(diào)度等重要工作中發(fā)揮了積極作用。

深圳市生態(tài)環(huán)境大數(shù)據(jù)中心下一步將繼續(xù)優(yōu)化、完善和升級，基于深圳市城市信息模型（City Information Model，CIM）打造生態(tài)環(huán)境三維數(shù)據(jù)底座，對各種數(shù)據(jù)“應(yīng)接盡接、全量接入”，加強(qiáng)數(shù)據(jù)治理和研究，提高數(shù)據(jù)開放水平和服務(wù)能力，挖掘更多應(yīng)用場景，助力生態(tài)環(huán)境監(jiān)管和綜合分析決策，充分發(fā)揮數(shù)據(jù)作為生產(chǎn)要素的應(yīng)有價值。（作者系深圳市生態(tài)環(huán)境智能管控中心主任，博士，高級工程師）

參考文獻(xiàn)：

[1]彭威：《水利信息化中信息資源規(guī)劃技術(shù)探討》，《中國信息化》2019年第2期。

[2]趙麗麗：《信息資源規(guī)劃中主題數(shù)據(jù)庫規(guī)劃研究與應(yīng)用》，大連海事大學(xué)，2016年。

[3]逯衍：《大數(shù)據(jù)平臺數(shù)據(jù)采集系統(tǒng)的設(shè)計與實(shí)現(xiàn)》，北京交通大學(xué)，2018年。

[4]王翔，鄭磊：《面向數(shù)據(jù)開放的地方政府?dāng)?shù)據(jù)治理：問題與路徑》，《電子政務(wù)》2019年第2期。

[5]張程燁：《基于元數(shù)據(jù)的動態(tài)數(shù)據(jù)資源管理機(jī)制研究》，《信息技術(shù)與信息化》2017年第12期。