大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用研究

摘要：大數(shù)據(jù)技術(shù)在人工智能、數(shù)據(jù)預(yù)測(cè)、計(jì)算處理等方面展現(xiàn)出其強(qiáng)大的優(yōu)勢(shì)。本文在分析大數(shù)據(jù)在環(huán)境監(jiān)測(cè)領(lǐng)域適用性的基礎(chǔ)上，從大數(shù)據(jù)環(huán)境監(jiān)測(cè)采集與集成、大數(shù)據(jù)環(huán)境監(jiān)測(cè)平臺(tái)架構(gòu)、大數(shù)據(jù)環(huán)境監(jiān)測(cè)技術(shù)應(yīng)用保障等3個(gè)層面就大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用進(jìn)行了探討。

關(guān)鍵詞：環(huán)境監(jiān)測(cè)；大數(shù)據(jù)；應(yīng)用

中圖分類號(hào)：X83 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-672X（2018）06-0169-01

DOI：10.16647/j.cnki.cn15-1369/X.2018.06.101

Abstract： Big data technology shows its strong advantages in artificial intelligence， data prediction， and calculation processing. This paper analyzes the applicability of big data in the field of environmental monitoring， from the big data environment monitoring acquisition and integration， the framework of big data environment monitoring platform， the application of big data environment monitoring technology and other three aspects of the big data technology in environmental monitoring The application was discussed.

Keywords： Environmental monitoring； Big data； Application

大數(shù)據(jù)（Big Data）是從多種來源中搜集得到海量數(shù)據(jù)信息的總稱。“大數(shù)據(jù)”具有數(shù)據(jù)量大、類型復(fù)雜、需要即時(shí)處理和價(jià)值提純的特點(diǎn)。大數(shù)據(jù)技術(shù)在人工智能、數(shù)據(jù)預(yù)測(cè)、計(jì)算處理等方面展現(xiàn)出其強(qiáng)大優(yōu)勢(shì)。2015年，國務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，將大數(shù)據(jù)上升為國家戰(zhàn)略。在“十三五”規(guī)劃綱要中，強(qiáng)調(diào)要大力“實(shí)施國家大數(shù)據(jù)戰(zhàn)略”。2016年環(huán)保部出臺(tái)《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》，大力推動(dòng)生態(tài)環(huán)境大數(shù)據(jù)建設(shè)和應(yīng)用。據(jù)統(tǒng)計(jì)，2014年環(huán)保部污染物監(jiān)測(cè)中心每天會(huì)獲得391萬條自動(dòng)監(jiān)控?cái)?shù)據(jù)，一年便會(huì)接收到14.6億條數(shù)據(jù)信息[1]。如何運(yùn)用好這些大數(shù)據(jù)信息，對(duì)實(shí)時(shí)研判環(huán)境現(xiàn)狀，提高政府環(huán)境問題決策的科學(xué)性具有積極的現(xiàn)實(shí)意義。

1 大數(shù)據(jù)在環(huán)境監(jiān)測(cè)中的適用性分析

環(huán)境監(jiān)測(cè)機(jī)構(gòu)通過大數(shù)據(jù)技術(shù)的應(yīng)用，能夠?qū)崟r(shí)采集、存儲(chǔ)和分析環(huán)境監(jiān)測(cè)中的物理指標(biāo)、化學(xué)指標(biāo)和生態(tài)系統(tǒng)的信息數(shù)據(jù)，形成環(huán)境大數(shù)據(jù)的系統(tǒng)數(shù)據(jù)庫，有效提升環(huán)境治理的能力和管理決策水平。

1.1 提升數(shù)據(jù)采集質(zhì)量

大數(shù)據(jù)技術(shù)應(yīng)用于環(huán)境監(jiān)測(cè)中，能夠利用數(shù)據(jù)技術(shù)和算法對(duì)環(huán)境數(shù)據(jù)信息進(jìn)行全面、精準(zhǔn)采集，并能及時(shí)將采集到的數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，再通過數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的共享。尤其是現(xiàn)代高科技技術(shù)和器材的應(yīng)用，會(huì)產(chǎn)生越來越多的環(huán)境數(shù)據(jù)信息，如環(huán)境分析儀器、GPS、GIS信息系統(tǒng)、衛(wèi)星遙感技術(shù)應(yīng)用等，及時(shí)評(píng)估水質(zhì)、土壤、大氣、生態(tài)環(huán)境的狀況，及時(shí)獲取相關(guān)環(huán)境數(shù)據(jù)。再利用海量數(shù)據(jù)存儲(chǔ)技術(shù)、虛擬化技術(shù)和分布云技術(shù)[2]，以及智能分析技術(shù)等云計(jì)算技術(shù)處理工具和算法，如Python，將采集到的數(shù)據(jù)信息進(jìn)行深度分析，及時(shí)掌握環(huán)境現(xiàn)狀。

1.2 改善數(shù)據(jù)分析效率

大數(shù)據(jù)技術(shù)能夠?qū)崿F(xiàn)數(shù)據(jù)信息的實(shí)時(shí)處理和分析，從而大大提升了環(huán)境數(shù)據(jù)的分析效率和質(zhì)量。尤其是在環(huán)境應(yīng)急狀態(tài)下，通過重要儀器設(shè)備的實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)，能夠及時(shí)傳遞環(huán)境數(shù)據(jù)信息，高質(zhì)量數(shù)據(jù)流的匯集和分析，較傳統(tǒng)的手工數(shù)據(jù)收集、錄入、分析等有了顯著提升，或推導(dǎo)出的數(shù)據(jù)結(jié)論也更可信、更準(zhǔn)確。例如，在大數(shù)據(jù)技術(shù)背景下，采用紅外線監(jiān)控、無線傳感網(wǎng)絡(luò)技術(shù)等能夠有效監(jiān)測(cè)森林動(dòng)態(tài)，第一時(shí)間里查明森林火災(zāi)狀況，為環(huán)境治理提供了科學(xué)依據(jù)[3]。又如，現(xiàn)在全國各地均設(shè)立了大氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)實(shí)時(shí)發(fā)布系統(tǒng)，每天都會(huì)實(shí)時(shí)更新當(dāng)日的PM10、PM2.5、SO2、NO2、O3、CO2等六項(xiàng)指標(biāo)的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)和空氣質(zhì)量指數(shù)，讓社會(huì)各界及時(shí)掌握所在城市的大氣環(huán)境質(zhì)量狀況，便于安排出行，接受外界監(jiān)督等。

1.3 提升環(huán)境綜合預(yù)警能力

大數(shù)據(jù)技術(shù)將環(huán)境監(jiān)測(cè)中所獲取的海量數(shù)據(jù)信息進(jìn)行處理和分析后，能夠?qū)?dāng)前的環(huán)境狀況整體態(tài)勢(shì)和發(fā)展趨勢(shì)進(jìn)行預(yù)判，提高環(huán)境污染防治預(yù)警預(yù)報(bào)的精準(zhǔn)性。如，大氣實(shí)時(shí)自動(dòng)監(jiān)測(cè)系統(tǒng)，由環(huán)保部門與氣象部門根據(jù)氣象衛(wèi)星反饋到的數(shù)據(jù)信息和大氣污染物含量的實(shí)時(shí)監(jiān)測(cè)，對(duì)大氣污染的過程作出整體判斷，并對(duì)未來一段時(shí)間大氣環(huán)境污染狀況做出準(zhǔn)確的預(yù)警，為有關(guān)部門及時(shí)采取相關(guān)防治措施提供可靠的數(shù)據(jù)信息。

2 大數(shù)據(jù)在環(huán)境監(jiān)測(cè)中的應(yīng)用

2.1 大數(shù)據(jù)環(huán)境監(jiān)測(cè)采集與集成

2.1.1 數(shù)據(jù)采集

環(huán)境監(jiān)測(cè)中的數(shù)據(jù)有監(jiān)測(cè)部門采集的結(jié)構(gòu)化數(shù)據(jù)，另一部分是人群活動(dòng)中產(chǎn)生的與環(huán)境相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)。前者主要包括大氣、水、土壤、噪聲、降水、電磁輻射、森林植被防護(hù)等生態(tài)環(huán)境綜合監(jiān)測(cè)數(shù)據(jù)；廢水、廢氣、固廢等在線監(jiān)管數(shù)據(jù)包括環(huán)境污染源監(jiān)測(cè)、總量控制、排污費(fèi)征收等環(huán)境監(jiān)管方面的數(shù)據(jù)信息。這一類數(shù)據(jù)信息主要來自環(huán)境質(zhì)量監(jiān)測(cè)網(wǎng)和日常環(huán)境監(jiān)管執(zhí)法活動(dòng)中產(chǎn)生的數(shù)據(jù)信息[4]。后者主要包括經(jīng)濟(jì)社會(huì)發(fā)展、氣象、地理、人口經(jīng)濟(jì)統(tǒng)計(jì)、生活垃圾等方面的數(shù)據(jù)信息，這一類數(shù)據(jù)信息多來自年鑒、網(wǎng)絡(luò)等渠道。

2.1.2 數(shù)據(jù)集成

數(shù)據(jù)集成就是將采集到的環(huán)境監(jiān)測(cè)數(shù)據(jù)進(jìn)行必要的處理，剔除不真實(shí)數(shù)據(jù)，確保數(shù)據(jù)的質(zhì)量，為大數(shù)據(jù)應(yīng)用奠定可靠保障。大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)集成，就是要環(huán)境監(jiān)測(cè)數(shù)據(jù)進(jìn)行抽取、分發(fā)、清洗、轉(zhuǎn)換和裝載等，并將源數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)共享平臺(tái)中。具體來說，就是要做好：（1）數(shù)據(jù)模塊轉(zhuǎn)換，將不同類型或格式的數(shù)據(jù)信息轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)編碼格式；（2）數(shù)據(jù)模塊補(bǔ)采，將不完整或中斷的數(shù)據(jù)進(jìn)行人工補(bǔ)采，確保數(shù)據(jù)信息的完整性；（3）數(shù)據(jù)模塊清洗，將不符合事實(shí)、不規(guī)則數(shù)據(jù)及時(shí)進(jìn)行清洗、剔除；（4）數(shù)據(jù)采集監(jiān)控，在環(huán)境監(jiān)測(cè)數(shù)據(jù)平臺(tái)界面和功能管理中設(shè)置數(shù)據(jù)采集、啟動(dòng)、跟蹤和監(jiān)控功能，實(shí)現(xiàn)數(shù)據(jù)加載任務(wù)的自動(dòng)啟停和優(yōu)先級(jí)設(shè)置等功能。

2.2 大數(shù)據(jù)環(huán)境監(jiān)測(cè)平臺(tái)架構(gòu)

環(huán)境監(jiān)測(cè)大數(shù)據(jù)平臺(tái)是將數(shù)據(jù)信息進(jìn)行深度挖掘、分析，并根據(jù)環(huán)境監(jiān)測(cè)的行業(yè)標(biāo)準(zhǔn)及規(guī)則，進(jìn)行更高層次的組織、轉(zhuǎn)換和改造，使環(huán)境監(jiān)測(cè)的單一數(shù)字向多維方向轉(zhuǎn)化，利用某一領(lǐng)域中的環(huán)境監(jiān)測(cè)數(shù)據(jù)庫中的知識(shí)、標(biāo)準(zhǔn)、法規(guī)，實(shí)現(xiàn)對(duì)環(huán)境趨勢(shì)特征的自動(dòng)認(rèn)知。具體來說，環(huán)境監(jiān)測(cè)大數(shù)據(jù)平臺(tái)應(yīng)包括數(shù)據(jù)信息采集、數(shù)據(jù)信息存儲(chǔ)、數(shù)據(jù)信息處理、數(shù)據(jù)信息共享和數(shù)據(jù)信息應(yīng)用等，并利用物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)環(huán)境監(jiān)測(cè)數(shù)據(jù)信息的應(yīng)用和服務(wù)，為公眾、企業(yè)和政府等不同用戶提供優(yōu)質(zhì)、可靠的環(huán)保信息服務(wù)。與傳統(tǒng)的數(shù)據(jù)庫平臺(tái)不同的是，大數(shù)據(jù)環(huán)境信息監(jiān)測(cè)平臺(tái)的數(shù)據(jù)規(guī)模更大，常以TB、PB為單位；數(shù)據(jù)類型以結(jié)構(gòu)化、半結(jié)構(gòu)化為主，兼有非結(jié)構(gòu)化數(shù)據(jù)；多是在數(shù)據(jù)產(chǎn)生后進(jìn)行不斷演化，呈現(xiàn)出動(dòng)態(tài)性；大數(shù)據(jù)環(huán)境信息更具資源型特點(diǎn)。綜上所述，環(huán)境監(jiān)測(cè)大數(shù)據(jù)平臺(tái)應(yīng)由數(shù)據(jù)源、采集與存儲(chǔ)層、處理層、共享層和應(yīng)用層5個(gè)部分組成。（1）數(shù)據(jù)源：主要包括污染源排放數(shù)據(jù)、生態(tài)環(huán)境監(jiān)測(cè)和人類活動(dòng)產(chǎn)生的數(shù)據(jù)；（2）采集與存儲(chǔ)層：通過數(shù)據(jù)技術(shù)實(shí)現(xiàn)環(huán)境監(jiān)測(cè)數(shù)據(jù)的抽取、補(bǔ)采、裝載、匯總，并進(jìn)過數(shù)據(jù)的清洗、轉(zhuǎn)換和數(shù)據(jù)采集監(jiān)控，應(yīng)用接入適配技術(shù)，將海量數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫；（3）處理層：通過建模和挖掘，實(shí)現(xiàn)對(duì)環(huán)境監(jiān)測(cè)數(shù)據(jù)的自動(dòng)預(yù)測(cè)，并進(jìn)行數(shù)據(jù)的關(guān)聯(lián)分析，聚類和概念描述，將偏差數(shù)據(jù)進(jìn)行檢測(cè)，確保數(shù)據(jù)質(zhì)量；（4）共享層：建立環(huán)境監(jiān)測(cè)數(shù)據(jù)服務(wù)的標(biāo)準(zhǔn)化接口，通過現(xiàn)代信息技術(shù)應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)信息的共享管理和共享服務(wù)；（5）應(yīng)用層：通過環(huán)境監(jiān)測(cè)數(shù)據(jù)的分析、處理和共享，為相關(guān)部門進(jìn)行生態(tài)環(huán)境綜合評(píng)價(jià)、生態(tài)環(huán)境綜合預(yù)警、健康風(fēng)險(xiǎn)評(píng)估等應(yīng)用提供數(shù)據(jù)信息支持。近年來，高科技的應(yīng)用使決策達(dá)到可視化應(yīng)用效果，更為直觀。

2.3 大數(shù)據(jù)環(huán)境監(jiān)測(cè)技術(shù)應(yīng)用保障

除了上述技術(shù)層面的分析外，要實(shí)現(xiàn)大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)工作中的應(yīng)用效果，離不開標(biāo)準(zhǔn)規(guī)范的保障和人才的支持。一方面，要將環(huán)境監(jiān)測(cè)領(lǐng)域的相關(guān)行業(yè)標(biāo)準(zhǔn)和技術(shù)規(guī)范與大數(shù)據(jù)技術(shù)需要結(jié)合起來，盡快出臺(tái)大數(shù)據(jù)環(huán)境監(jiān)測(cè)領(lǐng)域的標(biāo)準(zhǔn)和規(guī)范，用以指導(dǎo)大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用，提升大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用標(biāo)準(zhǔn)化和規(guī)范化。如《環(huán)境空氣質(zhì)量預(yù)報(bào)預(yù)警方法技術(shù)指南》《大氣顆粒物來源解析技術(shù)指南》等標(biāo)準(zhǔn)和規(guī)范與信息系統(tǒng)結(jié)合起來，進(jìn)一步統(tǒng)一數(shù)據(jù)模型，為智能環(huán)境監(jiān)測(cè)提供制度保障。另一方面，要大力培養(yǎng)大數(shù)據(jù)復(fù)合型人才，重點(diǎn)培養(yǎng)大數(shù)據(jù)環(huán)境監(jiān)測(cè)應(yīng)用開發(fā)工程師、分析師和安全研發(fā)人才等，為大數(shù)據(jù)環(huán)境監(jiān)測(cè)技術(shù)的發(fā)展提供源源不斷的人才保障和智力支持。

參考文獻(xiàn)

[1]詹志明，尹文君.環(huán)保大數(shù)據(jù)及其在環(huán)境污染防治管理創(chuàng)新中的應(yīng)用[J].環(huán)境保護(hù)，2016，（6）：44-48.

[2]張洪君.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用探討[J].環(huán)境與發(fā)展，2017，（8）：149-150.

[3]何愛蓮.大數(shù)據(jù)在環(huán)境監(jiān)測(cè)中的應(yīng)用分析[J].農(nóng)技服務(wù)，2017，（4）：148.

[4]解輝.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用[J].環(huán)境監(jiān)控與預(yù)警，2016，8（4）：62-66.

收稿日期：2018-04-23

作者簡(jiǎn)介：李璐（1982-），女，碩士，工程師，研究方向?yàn)榄h(huán)境監(jiān)測(cè)研究和質(zhì)量管理。