青島市生態(tài)環(huán)境大數(shù)據(jù)資源體系的構(gòu)建與應(yīng)用研究

彭 亮, 劉倩男, 華 麗, 楊 隆, 崔俊梅

(1.青島市環(huán)境信息中心，山東 青島 266003；2.北京思路創(chuàng)新科技有限公司，北京 100085)

為貫徹落實(shí)國(guó)務(wù)院和環(huán)保部關(guān)于“大數(shù)據(jù)”發(fā)展行動(dòng)綱要和“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見，2016 年以來，山東省人民政府相繼發(fā)布《山東省“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃(2016—2018年)》、《山東省生態(tài)環(huán)境監(jiān)測(cè)網(wǎng)絡(luò)建設(shè)工作方案》、《山東省人民政府關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的意見》、《山東省環(huán)保機(jī)構(gòu)監(jiān)測(cè)監(jiān)察執(zhí)法垂直管理制度改革實(shí)施方案》等文件，在環(huán)境管理戰(zhàn)略轉(zhuǎn)型大環(huán)境下，充分運(yùn)用信息化手段規(guī)范和創(chuàng)新環(huán)境管理工作。結(jié)合青島市生態(tài)環(huán)境建設(shè)面臨的主要問題，本文研究青島市生態(tài)環(huán)境大數(shù)據(jù)資源體系的構(gòu)建，將互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等的創(chuàng)新成果深度融入環(huán)保領(lǐng)域之中，發(fā)揮大數(shù)據(jù)在精準(zhǔn)監(jiān)管、科學(xué)決策及環(huán)境管理轉(zhuǎn)型等方面的創(chuàng)新帶動(dòng)作用。

1 生態(tài)環(huán)境大數(shù)據(jù)概述

1.1 生態(tài)環(huán)境大數(shù)據(jù)的概念

大數(shù)據(jù)是以容量大、類型多、存取速度快、價(jià)值密度低為主要特征的數(shù)據(jù)集合，國(guó)際前沿學(xué)術(shù)期刊《Nature》于2008 年出版有關(guān)大數(shù)據(jù)的?？⒋髷?shù)據(jù)定義為: 大數(shù)據(jù)是指數(shù)據(jù)集的規(guī)模是無法在可容忍的時(shí)間內(nèi)用目前的技術(shù)、方法和理論去獲取、管理、處理的數(shù)據(jù)[1]。生態(tài)環(huán)境大數(shù)據(jù)是大數(shù)據(jù)理論在生態(tài)環(huán)境領(lǐng)域的應(yīng)用，數(shù)據(jù)資源體量大，涉及的領(lǐng)域廣泛，結(jié)構(gòu)復(fù)雜，涵蓋水、土壤、大氣、噪音、輻射等多方面海量的數(shù)據(jù)，使用傳統(tǒng)的技術(shù)手段很難進(jìn)行有效收集、處理，難以實(shí)現(xiàn)其實(shí)踐價(jià)值。構(gòu)建完整、系統(tǒng)的數(shù)據(jù)資源體系對(duì)于生態(tài)資源大數(shù)據(jù)庫(kù)的建立具有非常重要的意義。

1.2 生態(tài)環(huán)境大數(shù)據(jù)的發(fā)展現(xiàn)狀

生態(tài)問題已跨越局域尺度擴(kuò)展至全球尺度，這促使生態(tài)學(xué)家們?cè)诟蟮臅r(shí)空尺度、更多的領(lǐng)域收集數(shù)據(jù), 進(jìn)而完成更為復(fù)雜的分析[2]。為了能夠完成生態(tài)環(huán)境大數(shù)據(jù)的收集與監(jiān)測(cè)，目前國(guó)際上已經(jīng)建立了多套覆蓋全球的生態(tài)環(huán)境監(jiān)測(cè)網(wǎng)絡(luò), 總體來說可分為全球衛(wèi)星遙感監(jiān)測(cè)網(wǎng)絡(luò)和地面監(jiān)測(cè)網(wǎng)絡(luò)兩大類。主要的全球觀測(cè)網(wǎng)絡(luò)包括全球環(huán)境監(jiān)測(cè)系統(tǒng)( GEMS)、全球陸地觀測(cè)系統(tǒng)(CTOS) 、國(guó)際長(zhǎng)期生態(tài)研究網(wǎng)絡(luò)(ILTER) 、全球通量觀測(cè)網(wǎng)絡(luò)(FLUXNET) 以及國(guó)際生物多樣性觀測(cè)網(wǎng)絡(luò)(GEO·BON) 等。有代表性的國(guó)家生態(tài)環(huán)境觀測(cè)研究網(wǎng)絡(luò)包括美國(guó)的US-LTER 生態(tài)環(huán)境觀測(cè)研究網(wǎng)絡(luò)、英國(guó)的ECN生態(tài)環(huán)境觀測(cè)研究網(wǎng)絡(luò)、中國(guó)的CERN生態(tài)環(huán)境觀測(cè)研究網(wǎng)絡(luò)和日本的長(zhǎng)期生態(tài)研究網(wǎng)絡(luò)(JALTER)[3]。

在我國(guó)，大數(shù)據(jù)戰(zhàn)略已上升為國(guó)家基本戰(zhàn)略，“十三五”規(guī)劃綱要明確提出，實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)，加快推動(dòng)數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用。在國(guó)家的戰(zhàn)略支持下，近年來，大數(shù)據(jù)已經(jīng)在環(huán)境、氣象、交通、醫(yī)療、通信等領(lǐng)域得到了有效應(yīng)用，尤其在生態(tài)環(huán)境領(lǐng)域，大數(shù)據(jù)已經(jīng)逐步發(fā)揮出明顯的效果。2011年，為促進(jìn)中國(guó)—東盟的海洋綜合管理和公益性服務(wù)等領(lǐng)域的雙邊或多邊合作，特設(shè)立中國(guó)-東盟海洋環(huán)境大數(shù)據(jù)服務(wù)平臺(tái)，該平臺(tái)實(shí)現(xiàn)了數(shù)據(jù)服務(wù)、產(chǎn)品服務(wù)、大數(shù)據(jù)可視化、大數(shù)據(jù)技術(shù)研究、新聞動(dòng)態(tài)等門戶系統(tǒng)功能，以及綜合信息發(fā)布、系統(tǒng)管理等平臺(tái)管理功能[4]；2017年，四川省構(gòu)建了環(huán)保云平臺(tái)，通過建設(shè)同城災(zāi)備中心和異地中心來保證數(shù)據(jù)資源中心系統(tǒng)和數(shù)據(jù)的安全，從而實(shí)現(xiàn)服務(wù)全省21個(gè)市(州)及183個(gè)縣(市、區(qū))的四川省環(huán)境大數(shù)據(jù)環(huán)保云戰(zhàn)略[5]；2018年，內(nèi)蒙古自治區(qū)環(huán)境保護(hù)廳建立了大數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)了烏海及其周邊地區(qū)生態(tài)環(huán)境大數(shù)據(jù)分析、自行監(jiān)測(cè)數(shù)據(jù)可靠性評(píng)估、電力行業(yè)分析應(yīng)用等面向區(qū)域、流域、行業(yè)的污染治理[6]；2019年，陜西測(cè)繪地理信息局構(gòu)建了時(shí)空大數(shù)據(jù)資源體系，完成了海量數(shù)據(jù)資源的組織管理、混合存儲(chǔ)、云平臺(tái)構(gòu)建等眾多功能為一體的時(shí)空大數(shù)據(jù)環(huán)境下的陜西測(cè)繪地理信息大數(shù)據(jù)資源體系[7]。

1.3 生態(tài)環(huán)境大數(shù)據(jù)研究存在的問題

雖然大數(shù)據(jù)在為解決各種生態(tài)環(huán)境問題方面提供了新的機(jī)遇，最近幾年在我國(guó)多個(gè)省級(jí)行政區(qū)也有了初步的應(yīng)用，但由于處于起步階段[8]，尚有許多問題亟待解決。

1.3.1 數(shù)據(jù)共享服務(wù)能力不足

生態(tài)環(huán)境領(lǐng)域涉及的數(shù)據(jù)資源主要包括地面監(jiān)測(cè)數(shù)據(jù)、遙感影像數(shù)據(jù)、地理信息數(shù)據(jù)、社會(huì)調(diào)查數(shù)據(jù)以及科學(xué)研究數(shù)據(jù)[9]，這些數(shù)據(jù)分布在環(huán)保、國(guó)土、水利、農(nóng)業(yè)、林業(yè)、衛(wèi)生、氣象、海洋等多個(gè)政府部門，各部門都有自己的信息中心、自己的數(shù)據(jù)庫(kù)、自己的操作系統(tǒng)、自己選定的用戶界面，每個(gè)單位完全是一個(gè)獨(dú)立的體系，數(shù)據(jù)之間互不連通，數(shù)據(jù)共享存在難度，容易形成信息孤島。再者，數(shù)據(jù)類型、來源及格式復(fù)雜多樣，如果不具備先進(jìn)的數(shù)據(jù)整合與處理技術(shù)，這些海量的數(shù)據(jù)資源也很難真正體現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)作為一個(gè)整體的優(yōu)勢(shì)[3-4]。

1.3.2 技術(shù)創(chuàng)新不足

生態(tài)環(huán)境大數(shù)據(jù)來源廣泛，不僅包含“空天地”的檢測(cè)和調(diào)查數(shù)據(jù)，同時(shí)也包含如物聯(lián)網(wǎng)傳感器、網(wǎng)絡(luò)定位、視頻影像以及互聯(lián)網(wǎng)上的文本、圖片等海量的數(shù)據(jù)信息[10]。如何將這些多源異構(gòu)數(shù)據(jù)轉(zhuǎn)換成合適的格式和類型、將這些爆發(fā)式的數(shù)據(jù)資源集中存儲(chǔ)并將這些數(shù)據(jù)應(yīng)用于環(huán)境決策和監(jiān)管，還在探討之中。傳統(tǒng)的SOL數(shù)據(jù)庫(kù)已不適合用于大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理。

1.3.3 缺乏對(duì)數(shù)據(jù)的管理，質(zhì)量監(jiān)管不嚴(yán)，安全性、可靠性無法保障

大數(shù)據(jù)的多樣性決定了數(shù)據(jù)來源的復(fù)雜性，在數(shù)據(jù)的獲取、存儲(chǔ)、傳輸和計(jì)算過程中可能產(chǎn)生更多錯(cuò)誤，數(shù)據(jù)的大量更新會(huì)導(dǎo)致過時(shí)數(shù)據(jù)迅速產(chǎn)生，再者，由于市場(chǎng)龐大，廠商眾多，數(shù)據(jù)標(biāo)準(zhǔn)不完善，使得數(shù)據(jù)更易產(chǎn)生不一致和沖突。由于大數(shù)據(jù)在我國(guó)尚處于初步應(yīng)用階段，政府生態(tài)環(huán)境職能部門缺乏“大數(shù)據(jù)”思維和意識(shí)，質(zhì)量監(jiān)管尚不完善，我國(guó)已經(jīng)數(shù)字化的生態(tài)環(huán)境數(shù)據(jù)資源數(shù)量和質(zhì)量都表現(xiàn)出“雙低”狀態(tài)，數(shù)據(jù)可靠性無法保證[11]。在大數(shù)據(jù)的收集過程中，因人為操作不當(dāng)或黑客外部網(wǎng)絡(luò)攻擊，如對(duì)靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)的數(shù)據(jù)傳輸攻擊、數(shù)據(jù)內(nèi)容攻擊、數(shù)據(jù)管理和網(wǎng)絡(luò)物理攻擊等，還會(huì)形成嚴(yán)重的安全隱患[12-13]。

2 青島市生態(tài)環(huán)境大數(shù)據(jù)資源體系的構(gòu)建

2.1 研究目標(biāo)

本研究以青島市現(xiàn)有大數(shù)據(jù)平臺(tái)為技術(shù)支撐，充分利用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等先進(jìn)技術(shù)，以生態(tài)環(huán)境數(shù)據(jù)資源為抓手，構(gòu)建“數(shù)據(jù)大集中、應(yīng)用大整合、支撐大服務(wù)”的青島市生態(tài)環(huán)境數(shù)據(jù)資源體系，提升青島市生態(tài)環(huán)境數(shù)據(jù)資源服務(wù)能力。

2.2 構(gòu)建方案

2.2.1 數(shù)據(jù)資源規(guī)劃

將青島市生態(tài)環(huán)境大數(shù)據(jù)資源進(jìn)行規(guī)劃，對(duì)涉及的環(huán)境數(shù)據(jù)資源進(jìn)行整體梳理，構(gòu)建規(guī)范的分類體系，并基于此進(jìn)行完善的數(shù)據(jù)、數(shù)據(jù)庫(kù)體系設(shè)計(jì)，最終形成數(shù)據(jù)完整、結(jié)構(gòu)清晰、分類合理的生態(tài)環(huán)境大數(shù)據(jù)資源體系，為數(shù)據(jù)規(guī)范存儲(chǔ)和管理奠定基礎(chǔ)。

2.2.2 大數(shù)據(jù)匯聚整合

構(gòu)建“一縱一橫”的數(shù)據(jù)整合共享體系，縱向貫穿山東省、市、縣、企業(yè)環(huán)保內(nèi)部數(shù)據(jù)，為順利實(shí)現(xiàn)監(jiān)察監(jiān)測(cè)垂直管理奠定數(shù)據(jù)基礎(chǔ)，橫向整合其他委辦廳局及互聯(lián)網(wǎng)數(shù)據(jù)，為大數(shù)據(jù)分析應(yīng)用提供有力的數(shù)據(jù)支撐，實(shí)現(xiàn)生態(tài)環(huán)境數(shù)據(jù)體系建設(shè)。實(shí)現(xiàn)數(shù)據(jù)全面采集、來源維護(hù)、自動(dòng)入庫(kù)、智能加工等全過程的動(dòng)態(tài)可視化配置，采用整合匹配、多維度融合等方法手段，實(shí)現(xiàn)基于固定源、水專題、大氣專題數(shù)據(jù)的整合關(guān)聯(lián)，形成專題數(shù)據(jù)體系，最終為生態(tài)環(huán)境資源管理應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。

(1)建設(shè)數(shù)據(jù)集成與交換平臺(tái)。建成由交換服務(wù)總線、開發(fā)平臺(tái)、管理平臺(tái)、數(shù)據(jù)交換標(biāo)準(zhǔn)等部分組成的數(shù)據(jù)集成與交換平臺(tái)。

交換服務(wù)總線為平臺(tái)的核心，負(fù)責(zé)解析數(shù)據(jù)集成模型定義、處理請(qǐng)求、處理引擎自身的模型調(diào)度等；開發(fā)平臺(tái)滿足集開發(fā)、調(diào)試、配置、部署等功能于一體；管理平臺(tái)提供系統(tǒng)管理監(jiān)控與任務(wù)調(diào)度工具。

(2)數(shù)據(jù)匯聚接入。青島市生態(tài)環(huán)境數(shù)據(jù)資源體系將匯聚生態(tài)環(huán)境內(nèi)部數(shù)據(jù)、市直部門相關(guān)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等資源，實(shí)現(xiàn)“一橫一縱”數(shù)據(jù)交換共享，為生態(tài)環(huán)境監(jiān)測(cè)奠定數(shù)據(jù)基礎(chǔ)。

生態(tài)環(huán)境局內(nèi)部數(shù)據(jù)，包括環(huán)境質(zhì)量數(shù)據(jù)、污染源數(shù)據(jù)、政務(wù)數(shù)據(jù)等，主要來自國(guó)發(fā)系統(tǒng)、省發(fā)系統(tǒng)、局內(nèi)自建業(yè)務(wù)系統(tǒng)等業(yè)務(wù)數(shù)據(jù)；市直部門相關(guān)數(shù)據(jù)包括自然資源、住房城鄉(xiāng)建設(shè)、交通運(yùn)輸、農(nóng)業(yè)、林業(yè)、氣象等部門和單位的外部數(shù)據(jù)資源。實(shí)現(xiàn)與現(xiàn)有物聯(lián)監(jiān)測(cè)平臺(tái)對(duì)接，整合現(xiàn)有監(jiān)測(cè)點(diǎn)位的數(shù)據(jù)進(jìn)入生態(tài)環(huán)境大數(shù)據(jù)資源中心。建立互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，使用網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)對(duì)生態(tài)環(huán)境部網(wǎng)站及周邊城市生態(tài)環(huán)境部門網(wǎng)站公開數(shù)據(jù)以及氣象公開等數(shù)據(jù)進(jìn)行動(dòng)態(tài)采集，并存儲(chǔ)至數(shù)據(jù)資源中心數(shù)據(jù)庫(kù)。

(3)數(shù)據(jù)整合。對(duì)青島市生態(tài)環(huán)境局與監(jiān)管對(duì)象包括污染源、環(huán)境質(zhì)量監(jiān)測(cè)點(diǎn)等相關(guān)聯(lián)的不同來源的異構(gòu)數(shù)據(jù)進(jìn)行高效整合，保證數(shù)據(jù)的唯一性及原始數(shù)據(jù)的關(guān)聯(lián)性，完成固定污染源整合匹配、大氣專題數(shù)據(jù)整合和水專題數(shù)據(jù)整合。

2.2.3 大數(shù)據(jù)治理與深度融合

構(gòu)建大數(shù)據(jù)治理與深度融合組件，構(gòu)建從元數(shù)據(jù)至主數(shù)據(jù)至全面質(zhì)量管理與安全管控的組件體系，并構(gòu)建智能生產(chǎn)線，將治理組件底層打通，實(shí)現(xiàn)數(shù)據(jù)智能化入庫(kù)、加工，同時(shí)提供數(shù)據(jù)的資源目錄管理、大數(shù)據(jù)治理、數(shù)據(jù)資源監(jiān)控及智能生產(chǎn)功能。

(1)大數(shù)據(jù)資源目錄管理。大數(shù)據(jù)資源目錄管理在數(shù)據(jù)資源梳理整合基礎(chǔ)上，提供資源目錄分類管理、數(shù)據(jù)集元數(shù)據(jù)管理、指標(biāo)元數(shù)據(jù)管理、數(shù)據(jù)權(quán)限管理功能，為資源的高效共享提供基礎(chǔ)支撐。

(2)大數(shù)據(jù)治理。構(gòu)建大數(shù)據(jù)治理組件，包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理，實(shí)現(xiàn)對(duì)數(shù)據(jù)生命周期的管理，方便對(duì)各類數(shù)據(jù)進(jìn)行增刪、查詢、維護(hù)，保證數(shù)據(jù)安全和質(zhì)量。

(3)大數(shù)據(jù)資源管控。通過數(shù)據(jù)資源綜合監(jiān)控平臺(tái)，對(duì)大數(shù)據(jù)資源中心現(xiàn)有數(shù)據(jù)資源應(yīng)用、集成、交換情況進(jìn)行監(jiān)控統(tǒng)計(jì)，以便用戶及時(shí)掌握整體數(shù)據(jù)資源情況。大數(shù)據(jù)資源管控平臺(tái)具備總體監(jiān)控、數(shù)據(jù)資源監(jiān)控、數(shù)據(jù)交換監(jiān)控、數(shù)據(jù)服務(wù)監(jiān)控和數(shù)據(jù)訪問監(jiān)控等功能。

(4)智能生產(chǎn)線。智能生產(chǎn)線以每個(gè)數(shù)據(jù)源為一條生產(chǎn)線，可支持對(duì)任意生態(tài)環(huán)境數(shù)據(jù)實(shí)現(xiàn)通過全業(yè)務(wù)過程動(dòng)態(tài)可視配置方式完成元數(shù)據(jù)自動(dòng)采集、數(shù)據(jù)自動(dòng)入庫(kù)、自動(dòng)生成報(bào)表、服務(wù)接口數(shù)據(jù)監(jiān)控等全過程的智能可視化配置，支撐對(duì)持續(xù)擴(kuò)充的業(yè)務(wù)應(yīng)用做到彈性數(shù)據(jù)融合集成。智能生產(chǎn)線包括四個(gè)階段：數(shù)據(jù)資源體系初始化、數(shù)據(jù)來源管理、數(shù)據(jù)批量自動(dòng)入庫(kù)、數(shù)據(jù)智能加工?？芍С謱?duì)任意生態(tài)環(huán)境數(shù)據(jù)實(shí)現(xiàn)通過全業(yè)務(wù)過程動(dòng)態(tài)可視配置方式完成元數(shù)據(jù)維護(hù)、數(shù)據(jù)自動(dòng)采集、監(jiān)控。

青島市生態(tài)環(huán)境數(shù)據(jù)資源體系構(gòu)架技術(shù)路線示意圖如圖1。

圖1 青島市生態(tài)環(huán)境數(shù)據(jù)資源體系構(gòu)架技術(shù)路線

3 青島市生態(tài)環(huán)境大數(shù)據(jù)資源體系構(gòu)建取得的成效

自2019年10月份開展生態(tài)環(huán)境數(shù)據(jù)資源體系構(gòu)建以來，青島市已匯集整合環(huán)保、水務(wù)、農(nóng)業(yè)、林業(yè)、氣象、海洋等多部門、多要素的監(jiān)測(cè)監(jiān)管數(shù)據(jù)，實(shí)現(xiàn)了對(duì)生態(tài)環(huán)境重點(diǎn)領(lǐng)域數(shù)據(jù)高度集成共享。

3.1 數(shù)據(jù)匯聚能力

構(gòu)建“一縱一橫”的數(shù)據(jù)整合共享體系，在生態(tài)環(huán)境內(nèi)部，實(shí)現(xiàn)面向部、省兩級(jí)上層部門的32個(gè)系統(tǒng)的數(shù)據(jù)匯聚。市生態(tài)環(huán)境局內(nèi)部規(guī)劃對(duì)接已建、新建共39個(gè)系統(tǒng)，集成數(shù)據(jù)資源中心；生態(tài)環(huán)境局外部完成青島市16個(gè)其他市直部門99類數(shù)據(jù)的對(duì)接；針對(duì)匯聚的海量數(shù)據(jù)資源提供全方位的監(jiān)控，從數(shù)據(jù)交換、數(shù)據(jù)訪問、數(shù)據(jù)服務(wù)等方面進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，用戶可一目了然掌握數(shù)據(jù)現(xiàn)狀。

3.2 數(shù)據(jù)存儲(chǔ)能力

搭建完成多元化的大數(shù)據(jù)基礎(chǔ)管理平臺(tái)，對(duì)于PDF、WORD等沒有業(yè)務(wù)系統(tǒng)支撐的非結(jié)構(gòu)數(shù)據(jù)提供大數(shù)據(jù)平臺(tái)的HDFS存儲(chǔ)；對(duì)于輿情、日志等半結(jié)構(gòu)數(shù)據(jù)采用HBASE存儲(chǔ)；對(duì)于如污染源自動(dòng)監(jiān)控、水質(zhì)自動(dòng)監(jiān)控、空氣自動(dòng)監(jiān)控等小時(shí)、分鐘級(jí)數(shù)據(jù)提供時(shí)序數(shù)據(jù)庫(kù)實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)。

3.3 數(shù)據(jù)治理能力

平臺(tái)從元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理四個(gè)層面實(shí)現(xiàn)了數(shù)據(jù)的流程化、共同管控。對(duì)于水環(huán)境質(zhì)量、大氣環(huán)境質(zhì)量、污染源監(jiān)測(cè)、監(jiān)管等進(jìn)入資源中心的數(shù)據(jù)根據(jù)業(yè)務(wù)需要配置了規(guī)范性校驗(yàn)、空值校驗(yàn)、值域校驗(yàn)、重復(fù)數(shù)據(jù)校驗(yàn)等規(guī)則，并對(duì)每類數(shù)據(jù)形成質(zhì)量報(bào)告，反饋業(yè)務(wù)部門檢查。

3.4 數(shù)據(jù)分析支撐能力

依托大數(shù)據(jù)平臺(tái)的分布式、模型調(diào)度執(zhí)行能力，構(gòu)建了規(guī)則分析引擎、AI分析模型開發(fā)環(huán)境，滿足數(shù)據(jù)加工、挖掘分析的需求。同時(shí)根據(jù)統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、業(yè)務(wù)模型算法的積淀，結(jié)合大數(shù)據(jù)應(yīng)用場(chǎng)景的深入需求分析成果，面向水環(huán)境、大氣環(huán)境、固定源監(jiān)管三類核心環(huán)境業(yè)務(wù)提供敏感點(diǎn)預(yù)警分析、業(yè)務(wù)模型數(shù)據(jù)服務(wù)的輸出。業(yè)務(wù)預(yù)警規(guī)則實(shí)施30多個(gè)，AI模型實(shí)施10多個(gè)。

3.5 數(shù)據(jù)共享服務(wù)能力

以青島市生態(tài)環(huán)境局各業(yè)務(wù)處室、局屬單位，以及相關(guān)市直部門的數(shù)據(jù)調(diào)研、確認(rèn)成果為基礎(chǔ)，以數(shù)據(jù)資源規(guī)劃方法、理論為指導(dǎo)，根據(jù)用戶內(nèi)外部需求完成數(shù)據(jù)類別、數(shù)據(jù)集、指標(biāo)元數(shù)據(jù)及數(shù)據(jù)內(nèi)容的整理，共整理396個(gè)數(shù)據(jù)集、5 217個(gè)指標(biāo)，并將數(shù)據(jù)集分別配置掛接至各分類體系下，為每類用戶提供不同數(shù)據(jù)查看、下載、申請(qǐng)等角色與權(quán)限；對(duì)大氣、水、噪聲、土壤、輻射環(huán)境質(zhì)量監(jiān)測(cè)點(diǎn)位或斷面的基礎(chǔ)信息進(jìn)行可靠處理，形成集測(cè)點(diǎn)統(tǒng)一編碼、測(cè)點(diǎn)基礎(chǔ)信息、管理屬性、監(jiān)測(cè)指標(biāo)基礎(chǔ)信息、相關(guān)監(jiān)測(cè)業(yè)務(wù)數(shù)據(jù)為一體的測(cè)點(diǎn)檔案庫(kù)，實(shí)現(xiàn)“一站一檔”，關(guān)聯(lián)查詢。

4 結(jié)論

大數(shù)據(jù)不等于大量數(shù)據(jù)，其核心在于數(shù)據(jù)之間的關(guān)聯(lián)、融合、分析規(guī)律，從而找出新的價(jià)值，為決策提供科學(xué)依據(jù)，最終解決問題。

本研究在構(gòu)建青島市生態(tài)環(huán)境數(shù)據(jù)資源體系時(shí)，形成了“點(diǎn)、線、面”和“天、空、地”相結(jié)合的立體式環(huán)境大數(shù)據(jù)網(wǎng)絡(luò)，增加了傳統(tǒng)環(huán)境監(jiān)測(cè)數(shù)據(jù)源；獲取生態(tài)環(huán)境部、山東省生態(tài)環(huán)境廳、青島市生態(tài)環(huán)境局以及周邊地市的關(guān)鍵環(huán)保數(shù)據(jù)，為區(qū)域聯(lián)防聯(lián)控綜合分析提供數(shù)據(jù)支持；加強(qiáng)與其他部門的合作，吸納人口、氣候、交通、社會(huì)、經(jīng)濟(jì)等多種環(huán)保相關(guān)數(shù)據(jù)；獲取第三方監(jiān)測(cè)數(shù)據(jù)、科研成果數(shù)據(jù)，巧妙借助外界力量強(qiáng)化自身數(shù)據(jù)資源；利用物聯(lián)網(wǎng)以及移動(dòng)互聯(lián)等技術(shù)，拓寬數(shù)據(jù)采集渠道，獲取國(guó)內(nèi)外互聯(lián)網(wǎng)、社交媒體、新媒體、智慧設(shè)施等與環(huán)保相關(guān)的其他新興數(shù)據(jù)，建立統(tǒng)一的數(shù)據(jù)分析、處理標(biāo)準(zhǔn)。本研究利用可用的大數(shù)據(jù)平臺(tái)，匯集青島市各類環(huán)保數(shù)據(jù)，對(duì)各種形式的環(huán)保相關(guān)數(shù)據(jù)采取不同的采集策略，提供智能、靈活的數(shù)據(jù)資源自動(dòng)采集功能，依托青島市政務(wù)云提供統(tǒng)一的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、安全等服務(wù)，為不同部門數(shù)據(jù)互通、共享、開發(fā)利用、資源整合提供基礎(chǔ)，同時(shí)提高資源利用效率，節(jié)省政務(wù)信息化建設(shè)投資，為形成大數(shù)據(jù)應(yīng)用環(huán)境創(chuàng)造有利條件。

本研究有效地解決了現(xiàn)有大數(shù)據(jù)存在的“信息孤島”問題，已應(yīng)用于青島市生態(tài)環(huán)境大數(shù)據(jù)工程建設(shè)中，有效推進(jìn)生態(tài)環(huán)境治理體系和治理能力的現(xiàn)代化。